JP5364264B2 - ニューラルネットワークを用いたブロック性欠陥の位置検出 - Google Patents

Description

本発明は、ブロック毎に動作するＭＰＥＧを用いた圧縮とその後の解凍によって引き起こされるブロック性欠陥（artefacts）のような、ビデオ画像における可視欠陥を除去する方法及び装置に関する。

圧縮・解凍スキームがビデオ画像に用いられる場合には、いくらかのデータ損失が生じることは避けられない。ほとんどの圧縮・解凍スキーム、例えばＭＰＥＧは、ブロック毎に作用する。隣接するブロックの画像データは異なるので、圧縮・解凍の間に失われるデータの要素はブロック毎に異なるものとなる。解凍後にその画像を見る場合には、それは画像において可視的なブロック性欠陥につながることがある。データの圧縮・解凍により生じる隣接ブロック間におけるデータ調整に関するこの不整合は、ビデオ画像のどのような特性にも、例えば他のビデオデータを定義するＲＧＢ値その他の方法にもあてはまる。

もし画像における該ブロックの位置が分かれば、ブロックの各特性についてブロック変遷の前後にわたって平滑化フィルタを適用して、圧縮・解凍スキームから生じるブロック欠陥を排除することの助けとすることができる。これにより、ブロック欠陥が可視的になる程度を減少させることができる。

圧縮・解凍スキームの間に、ブロックアレイの幾つかのスケーリング（scaling）又はシフティング（shifting）が分からない信号から欠陥を除去しようと試みる場合には、問題が生じる。例えば、典型的には、衛星テレビ信号及びデジタルテレビ信号は何らかの形態のセット・トップ・ボックスを用いてデコードされる。セット・トップ・ボックスの多くは、ブロックアレイに対してシフティング又はスケーリングを行う。シフティング又はスケーリングは、画像が映し出される受像機には分かっていない。このシフティング又はスケーリングのために、ビデオストリームに対して前に行われた処理について、最終的な推定ができない。

圧縮・解凍により生じるブロック欠陥に加えて、ブロック性構造（blocky structure）を検知するように設計されたシステムを混乱させる可能性のある他の信号が存在する。これらの信号はノイズと見なされ、３つの主なグループに分けられる。

ａ）非常に細かいシーンから生じるノイズ
ｂ）レンガ、金属格子等を伴った背景といった実画像に実際に存在するブロックから生じるノイズ
ｃ）フィルタの適用により信号に生じる規則的なノイズ

第一のノイズグループはランダムな種類のものであるので、潜在的には問題になる可能性が少ない。第二のノイズグループは、データの何らかの分析において、紛らわしいブロックパターンの源となる可能性を秘めている。第三のグループは、前にどのような画像処理がなされたか分からないので、存在するかもしれないし、存在しないかもしれない。最悪の場合のシナリオは、規則的な格子に前段階でローパスフィルタを用いた場合であろう。第三の種類のノイズは、ビデオ圧縮によるブロックと同じぐらい重要である。

本発明の好ましい実施例は、一連のフレームにわたるビデオ信号の特性を分析し、これらフレームにおけるデータが、ブロック性構造のような規則的に発生する構造のいずれかを含むか否かを判定することにより、ビデオ画像におけるブロック性構造のような規則的に発生する欠陥を検知するための方法及び装置を提供するものである。ブロック性構造が検出されると、ビデオ画像に対して修正を行って、これらのブロック性欠陥の影響を減少させる。

ブロック性構造は、ニューラルネットワークを用いて検出されることが好ましい。

欠陥は、多数のビデオデータのフレームにわたって検出されることが好ましい。

欠陥は、繰り返し検出されることが好ましい。

本発明の好ましい実施形態を、添付図面を参照して例により以下に詳細に説明する。

図１において、放送用ハードウエア２、ユーザのために設けられるセット・トップ・ボックスその他のデコーダ、及びセット・トップ・ボックスによりデコードされる信号を表示するために用いられるテレビ受像機６のような受像機の３つの構成要素がある。

放送用ハードウエアはＭＰＥＧのようなＤＣＴブロック非可逆圧縮を用いて圧縮部１０において圧縮される入力ビデオストリーム８を受信する。この圧縮された信号は、セット・トップ・ボックスにおいて、ユニット１２により解凍され、テレビ受像機６に信号を送るためにデジタル・アナログ変換が行われる前に、ユニット１４によりある程度の再スケーリング（rescaling）を行うことができる。デジタル・アナログ変換はＤ／Ａコンバータ１６により行われる。

受像機６においては、ブロック性構造の有無についての画像分析を容易にするために、まずアナログ・デジタル変換が逆コンバータ１８により行われる。次いで、デブロッカ（deblocker）２０が画像におけるブロック状の構造を検知し、ビデオストリームを可視化する際に該ブロック状の構造に対して適切な修正フィルタ処理を適用する。

セット・トップ・ボックスが、再スケーリングユニット１４の後に出力部を備えていれば、受像機６のＡ／Ｄコンバータを省略することができる。その場合には、テレビ受像機には、２つの入力信号、１つはシステムにおけるブロック性構造を判定するのに用いるデジタル入力信号、そしてもう１つはブロック性構造の修正に適用されるアナログ信号があることになる。

デブロッカ２０は、ブロック性欠陥を見つけるために画像の行及び列に沿ってデータを分析する。分析の前にはフレーム全体にわたって２次元微分フィルタを適用することが好ましい。その目的は、後の処理のために重要な特徴のみを抽出する試みとして、フレームのデータの形状をより一般化することにある。１次元微分フィルタについてみると下記のような式となる。

微分フィルタ＝絶対値(データ(i+1)−データ(i))

ここで「ｉ」は画素の位置、「データ」はビデオ画像の所与の特性についての該画素の位置におけるデータである。

図２は、３つのビデオ構成信号Ｒ、Ｇ、Ｂについて、画像のラインに沿って作用するこのフィルタの効果の一般的な形を示す。左の３つのグラフの横軸は、１つのラインに沿った距離を表わし、縦軸は構成信号のレベルを表わす。このように、画像にブロック性構造がある場合には、ブロック境界におけるＲ、Ｇ、Ｂ値の各々に変遷があることが分かる。微分フィルタをこれらの値に適用し、次いで、その絶対値を加え合わせると右のグラフの出力スパイクＳが得られる。スパイクは、ラインに沿ったブロック境界の位置を表わす。同様のデータが画像の列についても得られる。

このように、ブロックの格子構造は微分フィルタによって一組のスパイクデータに変換される。格子が８×８画素であれば、それは縦横とも一組の８画素毎のスパイクとなるであろう。

このデータが画像全体について得られたとき、該データは、規則的な格子を表わすか否かを検知するために処理される。上述したように、画像にノイズがあると、付加的なスパイクが生じることになる。その場合には、どのスパイクがブロック性構造に関係するか、どのスパイクが他の画像特性に関係するかを判別することができるシステムを使用することが必要になる。本発明者らは、ニューラルネットワークのパターン認識システムを用いることが、画像において規則的に再発生するノイズによって特に引き起こされる問題を解決するための最良の方法であると認識した。

一組の８画素毎のスパイクについて、ニューラルネットワークはこの構造が８×８画素の格子の部類に属すると認識する。次いで、ニューラルネットワークは、格子ステップ（スパイク間の間隔）を８値として出力する。格子が検知されると、高い値をもつ複数のスパイクの位置により格子の水平方向及び垂直方向の間隔（shift）が得られる。

図３は、本発明の実施例における動作の概略を示す。図３において、各フレームのデータはフレームストア部３０を通る。次いで、同様の処理が垂直の行及び水平の列の画素に対して適用される。各行又は各列に沿って一対の画素が選択され、３２においてストアされ、該一対の画素に対して微分フィルタ３４が適用される。これは上述の形態の微分フィルタである。そして、各微分フィルタの出力に対して絶対値フィルタ３６が適用され、該絶対値フィルタの出力が対応する水平及び垂直蓄積器３８に加えられる。これらの目的は、フレーム内の画素位置について微分フィルタの出力をストアすることにある。このようにしてすべてのフレームが分析され、水平及び垂直蓄積器がフレームについてのすべてのデータをストアすると、該データはニューラルネットワークＣＰＵ４０に入力される。

ニューラルネットワークＣＰＵは、最初のフレームが処理された後に受け取ったデータの分析を始める。ニューラルネットワークＣＰＵは、図２に示される形態のラインに沿って、かつ、列を下向きに、スパイクパターンを探索する。もちろん、ニューラルネットワークは、学習行動によって動作する。したがって、ニューラルネットワークＣＰＵは、最初は解凍によって引き起こされるブロック性構造を識別することはできないかもしれない。そのような場合には、ニューラルネットワークＣＰＵは、表示されるビデオ信号に対して何らの修正もできない。多くのフレームを経て、解凍及びスケーリングによって引き起こされるスパイクがニューラルネットワークＣＰＵに次第に明らかになり、それによって、受像機に表示されるビデオ信号に対する平滑化フィルタの適用という形での修正が可能となる。

４２においてスパイクパターンが検知されると、ニューラルネットワークＣＰＵは、検知した格子の垂直及び水平オフセット並びに検知した垂直及び水平スケーリングに関するデータを平滑化フィルタ４４に出力する。次いで、該フィルタは、ブロックの交差部において、表示のためにビデオストリームに適用される。このフィルタは、ブロック変遷部における隣接画素間にわたってビデオ構成信号値を平滑化する単純なものである。２画素のみに作用する最も単純な形態に代えて、より複雑なフィルタを用いてもよい。より複雑なシステムにおいては、隣接した画素として２つより多い画素を用いることができる。

ＭＰＥＧシステムにおいては、ブロックサイズは典型的には８×８画素である。

受像機とデブロッカを始動するとき、ニューラルネットワークＣＰＵがブロック性構造を検出し始めるまでには少し時間が必要であり、それゆえ表示されるビデオ信号に平滑化フィルタが適用されるまでにも少し時間が必要であることが分かるであろう。システムが定常状態になると格子の検出が始まる。

表示される画像に他の格子状構造が存在すると、ニューラルネットワークＣＰＵは、それらをセット・トップ・ボックス４における解凍及び再スケーリングによって引き起こされるブロック性構造よりも重要なものであると検知する可能性がある。そのような状況にうまく対処する（connect for）ために、デブロッカが検知したブロック性構造を無視し、別のブロック性構造を探索するようにするためのユーザ入力をデブロッカに設けてもよい。

ビデオ信号のフレームからのデータは繰り返し収集される。ニューラルネットワーク回路はデータバッファを含む。該データバッファの記憶容量が限界に近づいたときには、すべてのデータ値を半減して、付加的な（additional）データが読み込まれるようにする。最新のデータ又は古いデータのいずれかに待ち時間が与えられることはない。すべてのデータについて同じ待ち時間である。

ニューラルネットワークは識別しようとしている特定のブロック性構造を認識するようにまず訓練される。この訓練は、ブロック性構造を識別しようと試みるときに与えられると思われるパターンに対応するデータパターンを最初に与えることにより行われる。ニューラルネットワークにパターンを示すことを何度も繰り返すと、訓練のために示されたパターンとまったく同一のものでなくとも、ニューラルネットワークは自身でパターンを認識できるようになる。システムが始動するごとにこの訓練手順が開始され、訓練パターンがデブロック回路と結合された別の記憶手段にストアされるようにすることが好ましい。このニューラルネットワークの訓練手順により、ニューラルネットワークが処理や出力を行うるために設定する自由パラメータについて２つの最適値が見出される。これらのパラメータは訓練の過程で最適値に収束する。訓練された場合には、ニューラルネットワークは、ブロック性構造を識別することができるようになり、したがって修正を行うことができる。

ニューラルネットワークが期待通りに行動しない場合、又は検知しようとしているパターンに何らかの変化があった場合には、訓練又は調整シーケンスを再実行する必要がある。修正パターンを検知すべき場合には、それを訓練セットに含める必要がある。したがって、デブロッカが異なるブロックサイズの解凍信号におけるブロック性構造を検知しなければならない場合は、そのための訓練シーケンスを与えて実行する必要がある。それらは手動で入力することができる。その場合には、ニューラルネットワーク自体のトポロジを変える必要はない。

本発明の好ましい実施例においては、２層パーセプトロンを用いる。これは、３２ユニットの入力層、２３１ユニットの中間層、並びに７ユニットの出力層からなる。この形態のニューラルネットワークはよく知られている。その基本構造を図４に示す。このようなニューラルネットワークはよく知られており、広く研究されてきた。ニューラルネットワークの詳細な動作は本発明にとって重要でない。

このように、本発明を具体化する演算処理機構には２つの主な段階があることが分かるであろう。まず、識別しようとしている格子状の構造の型についてニューラルネットワークを訓練しなければならない。その後、格子がフレーム毎にニューラルネットワークに与えられる。ニューラルネットワークはそのデータを分析し、それにより適切なパターンを識別し、オフセット及びスケーリングデータを出力する。そして、これらのデータが、好ましくはブロック変遷の前後にわたって平滑化フィルタを適用することにより画像データを修正するために用いられる。

欠陥が規則的に発生する可能性のあるビデオデータの圧縮・解凍システムのブロック図を示す。 ３つのビデオ構成信号における欠陥の影響及び該欠陥から導かれるデータを図示する。 本発明の実施例による、一連のフレームにわたって各フレームを分析するシステムのブロック図を示す。 本発明の実施例において用いられる可能性のある種類のニューラルネットワークの概略を示す。

Claims (15)

1. 圧縮・解凍スキームから生じる、解凍されたビデオ画像において規則的に発生する欠陥の構造を除去する方法であって、
   ニューラルネットワーク・プロセッサを提供するステップと、
   上記欠陥の構造を、ビデオ画像において規則的に発生する構造から特定的に識別するようにニューラルネットワーク・プロセッサを訓練するステップと、
   解凍されたビデオ信号を提供するステップと、
   上記ビデオ信号のビデオ信号フレームの行及び列をフレーム毎にフィルタ処理して可視欠陥に関するデータを抽出するステップと、
   上記抽出されたデータを上記ニューラルネットワーク・プロセッサにおいてフレーム毎に処理し、上記ビデオ信号における上記欠陥の構造の位置を識別するデータを生成するステップと、
   上記ビデオ信号を修正して、上記欠陥の識別された構造の影響を小さくするステップと、
   を含むことを特徴とする方法。
2. 上記欠陥が上記ビデオ信号の複数フレームにわたり識別される請求項１記載の方法。
3. 上記欠陥が繰り返し識別される請求項１又は２記載の方法。
4. 上記修正ステップは、上記欠陥の影響を小さくするためにフィルタ処理を行うことを含む請求項１〜３のいずれか１項に記載の方法。
5. 上記欠陥の影響を小さくするためのフィルタ処理を行うステップは、上記欠陥に対して平滑化フィルタを適用することを含む請求項４記載の方法。
6. 上記フィルタ処理は、微分フィルタにより行われる請求項１〜５のいずれか１項に記載の方法。
7. 上記ニューラルネットワーク・プロセッサは、上記フィルタ処理されたデータにおけるスパイクを検知し、どのスパイクが上記可視欠陥に関係するかを判断する請求項１〜６のいずれか１項に記載の方法。
8. 上記ニューラルネットワーク・プロセッサは、２層パーセプトロンを用いる請求項１〜７のいずれか１項に記載の方法。
9. 圧縮・解凍スキームから生じる、解凍されたビデオ画像において規則的に発生する可視欠陥を除去する装置であって、
   解凍されたビデオ信号を受信する手段と、
   フレーム毎に上記ビデオ信号をフィルタ処理して上記欠陥に関するデータを抽出する手段と、
   上記欠陥を、ビデオ画像において規則的に発生する構造から特定的に識別し、上記ビデオ信号における上記欠陥の位置に関するデータを生成するように訓練され、構成されるニューラルネットワーク・プロセッサと、
   上記識別された欠陥の影響を小さくするために上記ビデオ信号を修正する手段と、
   を含むことを特徴とする装置。
10. 上記ニューラルネットワーク・プロセッサは、上記欠陥を複数のビデオ信号フレームにわたり識別する請求項９記載の装置。
11. 上記修正手段は、上記欠陥の影響を小さくするために上記画像のフィルタ処理を行う手段を含む請求項９又は１０記載の装置。
12. 上記欠陥の影響を小さくするために上記画像のフィルタ処理を行う手段は、平滑化フィルタを含む請求項１１記載の装置。
13. 上記ニューラルネットワーク・プロセッサは、上記欠陥を繰り返し識別する請求項９〜１２のいずれか１項に記載の装置。
14. 圧縮・解凍スキームから生じる、解凍されたビデオ画像において規則的に発生する可視欠陥を識別する方法であって、
    解凍されたビデオ信号を受信するステップと、
    フレーム毎に上記ビデオ信号をフィルタ処理して上記欠陥に関するデータを抽出するステップと、
    上記欠陥を、ビデオ画像において規則的に発生する構造から特定的に識別するようにニューラルネットワーク・プロセッサを訓練するステップと、
    上記ニューラルネットワーク・プロセッサを使用して上記欠陥の位置を識別するステップと、
    上記ビデオ信号を修正して上記識別された欠陥の影響を小さくするステップと、
    を含むことを特徴とする方法。
15. 圧縮・解凍スキームから生じる、解凍されたビデオ画像において規則的に発生する可視欠陥を識別する装置であって、
    解凍されたビデオ信号を受信する手段と、
    フレーム毎に上記ビデオ信号をフィルタ処理して上記欠陥に関するデータを抽出する手段と、
    上記欠陥を、ビデオ画像において規則的に発生する構造から特定的に識別し、上記ビデオ信号における上記欠陥の位置に関するデータを生成するように訓練され、構成されるニューラルネットワーク・プロセッサと、
    上記ビデオ信号を修正して上記識別された欠陥の影響を小さくする手段と、
    を含むことを特徴とする装置。

Images