JP6533363B2 - アーチファクト検出方法及びビデオアーチファクト検出器 - Google Patents

Description

本発明は、ビデオ分析に関し、より特には、ビデオフレームの各部分において構造化されたアーチファクトを検出する方法と機器に関する。

ビデオ若しくはビデオストリームは連続する画像フレームの集まりである。時折、多数の理由のうちのいずれかにより、アーチファクトがビデオフレームの部分に現れることがある。時には、アーチファクトは、ビデオがビデオテープの欠陥部分より読み込まれたときに生じるドロップアウトによって生み出される。欠陥は、たとえば、磁気テープ粒子の欠陥やテープ劣化やテープ損傷やほこりやビデオヘッドの摩滅によって生じることがある。他の場合には、テープ欠陥によって生じたものではないが他の手段によって生じたであろうアーチファクトが現れることがあり、完全なデジタルシステムにおいてすら現れることがある。

ここに用いられているように、アーチファクトは、ビデオフレームの影響される一群の画素と考えられることもできる。この群は一般的に矩形形状であり、構造化されたアーチファクト内の画素はパターンを形成する。このパターンは、たとえば、交互の水平ライン又は垂直ライン若しくはチェッカー盤に類似する２−Ｄアレイパターンにおける交互の画素又はそれらの変形を含むことがある。図１は、構造化されたアーチファクトの例を図示している。図１に示すように、フレーム５は複数のアーチファクト８を含み、その特別な例がエリア１０として特定されている。一般的に、フレーム５は、画像データと少し又はいくつかのアーチファクト８で充填されている。分解された部分に見られるように、交互の水平ラインから構成されるアーチファクト１５は、エリア１０内にいっぱいに広がっている。このアーチファクトは、テープドロップアウトによって生じたものであるかもしれないし、又は、上記のように他の手段によって生じたのかもしれない。

図２は、図１のアーチファクト８のいずれかを満たすことのできる他のアーチファクト形状を図示している。たとえば、アーチファクト形状は、垂直ライン２５又は一連の個別の画素３５若しくは４５、５５、６５及び７５によって示されているように、垂直及び水平ライン及び画素の組み合わせを含むことができる。アーチファクトパターンは、周囲の影響を受けていない画素と比べたときに、一般的に著しいコントラストを有する。

特開２００１−１９７５２５号

「ビデオテープのドロップアウト」の記載、カメラテクニック講座、ソニービジネスソリューション株式会社、［オンライン］、２０１３年１２月１３日検索、インターネット<https://www.sony.jp/products/Professional/c_c/camera_technic/issue05.html>

小さなアーチファクトは、再生時に看者によって完全に気がつかれないことがある。なぜならば、スタンダードなエラー訂正技術がそのアーチファクトを補償することができるからである。しかし、大きなアーチファクトは看者によって気がつかれる。時には、アーチファクトは多くの連続するフレームにおいて現れる。アーチファクトはビデオそれ自体の内容から看者の気を逸らすことによって看者の経験に悪い影響を及ぼす。

本発明の実施の形態は、従来技術のこれらの制約又は他の制約を処理する。

本発明のアスペクトは、ビデオ内の構造化されたアーチファクトを検出する方法を含んでいる。本発明の第１の基本理念は、ビデオ入力においてビデオフレームを受け取り、そして、そのビデオフレームから濾過されたフレームを発生することのできる方法である。次いで、受け取ったフレームから濾過されたフレームが差分化されて差分化フレーム（差分化画像）を作り出すことができる。そして、差分化フレーム内で関連した一群の画素がブロブ（ｂｌｏｂ）として特定され、そして、分離された群（すなわちブロブ）が取り除かれてクリーンな画像を生成する。フーリエ変換がこのクリーンな画像に対して行われ、そして、このクリーンな画像のフーリエ成分の大きさの比較に基づいて構造化されたアーチファクトが特定されうる。

本発明の第２の基本理念は、前記第１の基本理念のビデオ内の構造化されたアーチファクトを検出する方法であって、更に、構造化されたアーチファクトが起こったビデオフレームの領域をマークすることからなる。

本発明の第３の基本理念は、前記第１の基本理念のビデオ内の構造化されたアーチファクトを検出する方法であって、さらに、差分化フレームが閾値処理されることからなる。すなわち、たとえば、差分化フレームのすべての画素値が閾値と比較されバイナリー画像を生成する（閾値処理された差分化フレーム）ことからなる。

本発明の第４の基本理念は、前記第３の基本理念のビデオ内の構造化されたアーチファクトを検出する方法であって、更に、閾値処理された差分化フレームをフレーム内の明るい画素の最小閾値と比較し、ビデオフレームが構造化されたアーチファクトを含んでいるかを決定することからなる。

本発明の第５の基本理念は、前記第２の基本理念のビデオ内の構造化されたアーチファクトを検出する方法であって、構造化されたアーチファクトが起こったビデオフレームの領域をマークすることが、
差分化フレームを閾値処理してバイナリー画像を生成することと、
バイナリー画像を膨張することと、
膨張されたバイナリー画像内でブロブを特定することと、
バウンディングボックスを発生することと
からなる。

本発明の第６の基本理念は、前記第２の基本理念のビデオ内の構造化されたアーチファクトを検出する方法であって、構造化されたアーチファクトが起こったビデオフレームの領域をマークすることが、
差分化フレームを閾値処理してバイナリー画像を生成することと、
バイナリー画像を膨張することと、
膨張されたバイナリー画像内でブロブを特定することと、
重心を発生することと
からなる。

本発明の第７の基本理念は、前記第１の基本理念のビデオ内の構造化されたアーチファクトを検出する方法であって、分離されたブロブを取り除いてクリーンな画像を生成することが、２画素近傍にブロブがなく、そして、ブロブが４画素を越えないエリアを有する時に、ブロブ内の各画素を０で置き換えることからなる。

本発明の他のアスペクトは、ビデオ内の構造化されたアーチファクトを検出するビデオアーチファクト検出器を含んでいる。本発明の第８の基本理念は、たとえば、ビデオフレームを受け取るビデオ入力と、フィルタと、ビデオフレームとフィルタを介して濾過されたビデオフレームから差分画像を発生するように構成された差分発生器を含むビデオアーチファクト検出器である。この機器は、また、差分化フレーム内で関連した一群の画素をブロブ（ｂｌｏｂ）として特定するように構成されたブロブ特定器と、分離されたブロブを取り除いてクリーンな画像を生成するように構成されたブロブクリーナーを含んでいる。フーリエ変換器が存在してこのクリーンな画像から出力を生成する。この機器は、更に、このクリーンな画像のフーリエ成分の大きさの比較に基づいて構造化されたアーチファクトを有するものとしてビデオフレームを検出するように構成された識別器を含んでいる。

本発明の第９の基本理念は、前記第８の基本理念のビデオアーチファクト検出器であって、さらに、差分化フレームの閾値処理された出力を発生するスレッシュホルダーを含んでいるビデオアーチファクト検出器である。閾値処理された出力はバイナリー画像であってもよい。

本発明の第１０の基本理念は、前記第８の基本理念のビデオアーチファクト検出器であって、ブロブクリーナーが、２画素近傍にブロブがなく、そして、ブロブが４画素を越えないエリアを有する時に、ブロブ内の各画素を０で置き換えるように構成されているビデオアーチファクト検出器である。

本発明の第１１の基本理念は、前記第８の基本理念のビデオアーチファクト検出器あって、さらに、一又はそれ以上のアーチファクトの位置を発生するように構成されたアーチファクトマーカーを含んでいるビデオアーチファクト検出器である。

本発明の第１２の基本理念は、前記第１１の基本理念のビデオアーチファクト検出器であって、アーチファクトマーカーがバイナリー画像膨張器からなるビデオアーチファクト検出器である。

本発明の第１３の基本理念は、前記第１２の基本理念のビデオアーチファクト検出器であって、アーチファクトマーカーが更に重心発生器からなるビデオアーチファクト検出器である。

本発明の第１４の基本理念は、前記第１２の基本理念のビデオアーチファクト検出器であって、アーチファクトマーカーが更にバウンディングボックス発生器からなるビデオアーチファクト検出器である。

本発明の第１５の基本理念は、前記第８の基本理念のビデオアーチファクト検出器であって、ブロブクリーナーが、両側において２画素近傍にブロブがなく、そして、ブロブが４画素を越えないエリアを有する時に、ブロブ内の各画素を０で置き換えるように構成されているビデオアーチファクト検出器である。

図１は、構造化されたアーチファクト例を有するビデオフレームを図示している。 図２は、本発明の実施の形態を用いて特定されうる構造化されたアーチファクト例を図示している。 図３は、本発明の実施の形態によるビデオ内の構造化されたアーチファクトを検出する方法例の第１の部分を図示するフローチャートである。 図４は、本発明の実施の形態によるビデオ内の構造化されたアーチファクトを検出する方法例の第２の部分を図示するフローチャートである。 図５は、本発明の実施の形態による算出されたフーリエ成分の大きさを図示する略図である。 図６は、本発明の実施の形態によるビデオのためのアーチファクト検出器の構成部分を図示するブロック図である。

図３において、アーチファクトに対してテストされているビデオ１１０のフレームの輝度成分が、３ｘ３メジアンフィルタのようなフィルタステージ１２０に通過される。勿論、輝度と彩度の両成分が処理されてもよいし、よい結果を伴う他のフィルタが使用されてもよい。

オペレーション１２０においてフィルタによって濾過された後で、差分オペレーション１３０が元のフレーム１１０から濾過された画像を差し引いて差分画像を発生する。このことは、画素に関連した減算によって行われてもよい。

閾値オペレーション１４０が、そして、行われることもある。たとえば、差分画像のすべての画素値が閾値と比較される。閾値よりも大きい値は、たとえば、２５５に設定され、そして、閾値よりも小さい値は、たとえば、０に設定される。値２５５は「明るい（ｌｉｔ）」と言ってもよく、一方、値０は「明るくない（ｕｎ−ｌｉｔ）」と言う。オペレーション１４０の出力は、その値が０又は２５５のいずれかであるのでバイナリー画像と言ってもよく、バイナリー画像（バイナリーフレーム）内においてはこれらの値の中間の画素値が現れない。

次いで、決定オペレーション１５０は、バイナリーフレーム内の明るい画素の数が閾値より上か又は下かを決定する。バイナリーフレーム内の明るい画素の数が閾値より下の場合、テストフレーム１１０が良好のフレームと見なされ、そして、フロー１００がオペレーション１５０をＮＯ方向に抜ける。オペレーション１５５は、次のフレームにインクリメントする。それにかわって、バイナリーフレームにおいて閾値画素数よりも多くが明るい場合、フロー１００がＹＥＳ方向に抜ける。

主に、オペレーション１５０の閾値は高感度用に約３２−６４画素の間に設定される。この閾値数は、利用者の必要な感度に基づいて増加されうる。

ブロブ処理オペレーション１６０は、バイナリー画像についての情報を発生する。バイナリー画像内で個々の非関連画素又は関連画素群が「ブロブ（ｂｌｏｂ：しみ、よごれ）」と呼ばれる。一つの実施の形態においては、関連画素群が８近傍分析を用いて決定される。各ブロブは、インデックスのような固有のラベルを有する。オペレーション１６０のブロブ処理は、更に、各ブロブの重心を発生し、そして、各ブロブのエリアを算出する。ブロブ処理オペレーション１６０は、更に、各ブロブ内の各画素の画素座標と各ブロブに対するバウンディングボックスのリストを発生することもある。

クリーニングオペレーション１７０は分離されたブロブを取り除く。一つの実施の形態においては、４画素又はそれ以下のエリアを有するすべてのブロブであって、次に最も近いブロブから少なくとも２画素にあるすべてのブロブが取り除かれる。バイナリー画像のコンテキストにおいては取り除かれることは、０に設定された値を有することを意味する。このシナリオにおいて、４画素を越えるブロブ又は最も近いブロブから２画素以内にあるものはクリーンにされない。勿論、クリーンにされたブロブのサイズと最も近いブロブからの距離は、実施上のファクタであり、本発明を限定するものではない。

分離されたブロブがクリーニングオペレーション１７０において取り除かれた後で、上記のオペレーション１５０と同様に、クリーンなバイナリー画像が明るい画素の閾値数に対して再びチェックされる。一般的に、閾値評価オペレーション１５０と１８０の双方について同じ閾値が用いられる。クリーンなバイナリー画像が明るい画素の閾値数よりもより少ない明るい画素を有する場合、フロー１００がＮＯ方向に抜け、そして、そのフレームは良好とラベルされ、すなわち、構造化されたアーチファクトを有してはいない又はそのようにラベルされる程十分に構造化されたアーチファクトを有してはいないとして良好とラベルされる。そして、次のフレームがオペレーション１５５でインクリメントされる。それにかわって、バイナリー画像が明るい画素の閾値量を超えてまだ含んでいる場合、フロー１００がオペレーション１８０をＹＥＳ方向に抜けて、フローは図４に図示されたように継続する。

オペレーション２１０において、２次元高速フーリエ変換のような変換がクリーンなバイナリー画像に対して行われる。この変換は、図５に示されたような成分の大きさを発生する。

図５において、成分ｃ５は周波数０を表し、残りの成分ｃ１乃至ｃ４とｃ６乃至ｃ９は、水平方向及び垂直方向並びに対角線方向において正と負の双方の最高空間周波数を表し、言い換えれば、いずれかの方向又は双方向において一つの明るくない画素に関するギャップによって分離されている明るい画素を表している。そして、いくつかの比が算出される。

ｒ１＝ｃ５／ｃ１
ｒ２＝ｃ５／ｃ２
ｒ３＝ｃ５／ｃ３
ｒ４＝ｃ５／ｃ４
ｒ５＝ｃ５／ｃ５
ｒ６＝ｃ５／ｃ６
ｒ７＝ｃ５／ｃ７
ｒ８＝ｃ５／ｃ８
ｒ９＝ｃ５／ｃ９

アーチファクトはこれらの比に基づいて存在していると決定されることができる。たとえば、比（ｒ１＆ｒ２＆ｒ３）ＯＲ（ｒ４＆ｒ５＆ｒ６）ＯＲ（ｒ７＆ｒ８＆ｒ９）ＯＲ（ｒ１＆ｒ４＆ｒ７）ＯＲ（ｒ２＆ｒ５＆ｒ８）ＯＲ（ｒ３＆ｒ６＆ｒ９）が上限と下限の間にある場合、アーチファクトがテストされているフレーム内に存在すると決定されることができる。一つの実施の形態においては、下限は０．９９であってもよいし、上限は３であってもよい。限界は経験上決められうる。

比が上記のように両限界内にない場合、フロー１００はオペレーション２２０をＮＯ方向に抜けてフレームが良好とラベルされ、すなわち、アーチファクトを含まないものとラベルされる。

それにかわって、テストされているフレームがアーチファクトを含むと決定された場合、オペレーション２３０と２４０と２５０がテストされているフレーム内の領域をマークするのに役立つ。

オペレーション２３０において、クリーンなバイナリー画像が、影響される画素を領域にマージするオペレーションにおいて膨張される。一つの実施の形態において、このマージはクリーンなバイナリー画像のモルフォロジー膨張を用いて行われる。他の実施の形態においては、モルフォロジー膨張は、３回のような複数回行われることがありうる。モルフォロジー膨張後に形成された新しい各ブロブが看者によって気がつかれたアーチファクトブロックの近くにバウンディングボックスを有する。看者は、アーチファクトブロックが物理的に関連していない多くの個々のブロブでできているとしても単独のブロブとしてそれを認識する。モルフォロジー膨張の後で、ブロブは看者によって気がつかれたアーチファクトブロックに近いバウンディングボックスを今や含んでいる。

次のオペレーション２４０において、上記オペレーション１６０において行われたと同じ又はその程度のブロブ処理が行われるが、それは膨張したバイナリー画像に対して行われる。重心やバウンディングボックスやエリアが再び計算され、そして、オペレーション２５０において、元のテストフレームの影響される領域をマークするために用いられる。

図６は、本発明の実施の形態によるビデオのためのアーチファクト検出器の一例の構成部分を図示するブロック図である。アーチファクト検出器５００の構成部分のいずれもハードウェア又はファームウェア又はプログラムされたプロセッサー又は業界で公知の他の方法で実現可能である。たとえば、図示された構成部分は命令によってプログラムされたプロセッサー５９７及び／又は関連するメモリ５９８に保存されたデータによって行うことができる。

アーチファクト検出器５００は、一又はそれ以上のビデオフレームを受け入れる入力を含むことができる。フィルタ５１０が用いられて上記のようにフレームを濾過する。差分発生器５２０は、濾過されたフレームと元のフレームから差分化フレームを発生する。スレッシュホルダー５３０は差分化フレームからバイナリー画像を発生する。

ブロブプロセッサー５４０は上記オペレーション１６０に関連して記載されたようにバイナリー画像に対して作動する。ブロブプロセッサーによって一旦処理されると、分離されたブロブがブロブクリーナー５５０においてクリーンにされうる。ＦＦＴ５７０のような変換器がクリーンな画像に対し変換を行う。

識別器５８０は、ＦＦＴ５７０の出力を評価してフレームがアーチファクトを含んでいるか否かを決定する。フレームがアーチファクトを含んでいる場合、上記のように、バイナリー画像膨張器５６０においてクリーンなバイナリー画像が膨張されうる。そして、識別器５８０又は識別器５８０の一部と重心及びバウンディングボックス発生器５９０が検出されたアーチファクトを含んでいる元のフレームの領域をマークする。

このように、本発明の実施の形態は、ビデオにおいて構造化されたアーチファクトを検出する方法を含んでいる。この方法は、ビデオ入力においてビデオフレームを受け取り、ビデオフレームから濾過されたフレームを発生し、受け取ったフレームから濾過されたフレームを差分化して差分化フレームを作り出し、差分化フレーム内で関連した一群の画素をブロブとして特定し、分離されたブロブを取り除いてクリーンな画像を生成し、このクリーンな画像に対してフーリエ変換を行い、そして、このクリーンな画像のフーリエ成分の大きさの比較に基づいて構造化されたアーチファクトを有ものとしてビデオフレームを特定することを含む。そして、このビデオはアーチファクトを含むものとしてマークされうると共に、アーチファクト位置も生成されうる。

実施の形態は、また、ビデオ内の構造化されたアーチファクトを検出するビデオアーチファクト検出器を含んでいる。この検出器は、ビデオフレームを受け取るビデオ入力と、フィルタと、ビデオフレームとフィルタを介して濾過されたビデオフレームから差分画像を発生するように構成された差分発生器と、差分化フレーム内で関連した一群の画素をブロブとして特定するように構成されたブロブ特定器と、分離されたブロブを取り除いてクリーンな画像を生成するように構成されたブロブクリーナーと、このクリーンな画像から出力を生成するためのフーリエ変換器と、そして、このクリーンな画像のフーリエ成分の大きさの比較に基づいて構造化されたアーチファクトを有するものとしてビデオフレームを検出するように構成された識別器を含んでいる。更に他の実施の形態は、差分化フレームの閾値処理された出力を発生するスレッシュホルダーを含んでいる。更に他の実施の形態は、バイナリー画像膨張器と重心及びバウンディングボックス発生器を含んでいる。

各種の実施の形態において、本発明の構成要素は、ハードウェア又はソフトウェア又はそれら２つの組み合わせによって実現可能であり、汎用マイクロプロセッサーやデジタル信号プロセッサー（ＤＳＰ）や特定用途向け集積回路（ＡＳＩＣ）やフィールドプログラマブルゲートアレイ（ＦＰＧＡ）回路等を含んでいる。

上記の説明から、本発明がビデオフレーム評価の分野において相当な大きな効果を示すことが理解される。本発明の特定の実施の形態が説明され、且つ、例示の目的のために説明されてきたが、本発明の精神と範囲を逸脱しない限りにおいて各種の変形例がなされうることは理解されるべきである。したがって、本発明は添付の特許請求の範囲によることを除いて制限されるべきではない。

５００…アーチファクト検出器
５２０…差分発生器
５３０…スレッシュホルダー
５４０…ブロブプロセッサー
５５０…ブロブクリーナー
５７０…変換器
５８０…識別器
５９０…重心及びバウンディングボックス発生器
５９７…プロセッサー
５９８…メモリ

Claims (4)

1. ビデオにおいて構造化されたアーチファクトを検出する方法であって、
   ビデオ入力においてビデオフレームを受け取るステップと、
   上記ビデオフレームから濾過されたフレームを発生するステップと、
   受け取った上記ビデオフレームから上記濾過されたフレームを差分化して差分化フレームを作り出すステップと、
   上記差分化フレームを閾値処理するステップと、
   閾値処理された上記差分化フレーム内の明るい画素の数を閾値と比較し、上記構造化されたアーチファクトを含んでいるか判断するステップと、
   上記差分化フレーム内で関連した一群の画素をブロブとして特定するステップと、
   特定された上記ブロブを取り除いてクリーンな画像を生成するステップと、
   上記クリーンな画像内の明るい画素の数を上記閾値と比較するステップと、
   上記クリーンな画像内の上記明るい画素の数が上記閾値より多い場合に、上記クリーンな画像に対して２次元フーリエ変換を行うステップと、
   上記クリーンな画像の複数のフーリエ成分間の大きさの比較に基づいて、上記ビデオフレームが構造化されたアーチファクトを有するか特定するステップと
   を具えるアーチファクト検出方法。
2. 構造化された上記アーチファクトが生じた上記ビデオフレームの領域をマークするステップを更に具える請求項１に記載のアーチファクト検出方法。
3. ビデオ内の構造化されたアーチファクトを検出するビデオアーチファクト検出器であって、
   ビデオフレームを受け取るビデオ入力と、
   フィルタと、
   上記ビデオフレームと上記フィルタを介して濾過されたビデオフレームとから差分化フレームを発生するように構成された差分発生器と、
   上記差分化フレームを閾値処理するスレッシュホルダーと、
   上記差分化フレーム内で関連した一群の画素をブロブとして特定するように構成されたブロブ特定器と、
   閾値処理された上記差分化フレーム内の明るい画素の数を閾値と比較するよう構成されたプロセッサーと、
   上記差分化フレーム内の上記明るい画素の数が上記閾値より多い場合に、特定された上記ブロブを取り除いてクリーンな画像を生成するように構成されたブロブクリーナーと、
   上記プロセッサーが上記クリーンな画像内の上記明るい画素の数を上記閾値と比較し、上記クリーンな画像内の明るい画素の数が上記閾値よりも多い場合に、上記クリーンな画像に対して２次元フーリエ変換を行うことによって、上記クリーンな画像の複数のフーリエ成分を生成するためのフーリエ変換器と、
   上記クリーンな画像の複数の上記フーリエ成分間の大きさの比較に基づいて、上記ビデオフレームが構造化されたアーチファクトを有するかを検出するように構成された識別器と
   を具えるビデオアーチファクト検出器。
4. 更に、上記ブロブクリーナーが、２画素周辺に上記ブロブがなく、上記ブロブが４画素を越えないエリアを有する時には、上記ブロブ内の各画素を０で置き換えるように構成される請求項３に記載のビデオアーチファクト検出器。

Images