JPH09503890A - ビデオ画像におけるエラー検出 - Google Patents

Abstract

(57)【要約】 エラーは、画像のブロックに対する周波数関連係数を計算し、前記係数の統計的な分布を考慮することによってビデオ画像において識別される。係数の変化値が計算され、計算された変化値が記憶されたしきい値より著しく高い場合および、または計算された変化値が前のフレーム内の同様にして位置されたブロックに対して得られた変化値と著しく異なっている場合に、もとの画像データのブロックが隠蔽される。隠蔽は、前のフレームから画像データを選択することによって行われ、送信された運動ベクトルに応答して変移される。

Description

【発明の詳細な説明】 ビデオ画像におけるエラー検出 本発明は、ビデオ画像を表す信号中のエラーの検出に関する。 全帯域幅のビデオ信号の放送および記憶に加えて、ビデオ信号の送信または記 憶に対する帯域幅要求を減少する技術の重要性もまた高まってきている。これら の技術は特にビデオ信号の両方向伝送を容易にし、提供可能なビデオ会議装置お よびビデオ電話機を発達させている。 制限された帯域幅の伝送路にわたって送信される会議ビデオデータに関する問 題は、データが送信エラーの存在の影響をさらに受け易くなることである。伝送 路の性質は、通常エラーが阻止されることができないというものであり、送信さ れた画像の全体的な結果を改良するためには、エラーの存在およびビデオ画像内 におけるそれらの位置を識別し、可能な場合にはこれらのエラーを隠蔽する動作 を行なうことが好ましい。 エラーを検出する１つの方法では、オーバーヘッドとしてエラー補正コードを 含む。循環的な冗長コードは、送信された信号における小さいオーバーヘッドを 犠牲にしてエラー検出のために広く使用されている。 エラー補正コードが送信中に劣化した場合、これは受信機で検出され、劣化し たデータは例えば米国特許第5150210号 明細書に記載されているように置換される。 本発明は、ビデオ信号におけるエラーの存在を検出する改良された方法および 装置を提供するものである。 本発明の第１の観点によると、ビデオ画像を表す信号中のエラーを検出する方 法が提供され、その方法は、 ビデオ画像中の各ブロックを表した周波数関連係数のブロックを受取り、 劣化したデータの存在を検出するためにブロック内における前記係数の統計的 分布を解析する。 好ましい実施例において、前記解析ステップは、ブロック中の前記係数の変化 を計算する。変化は、実際の係数値と平均値との間の差を計算して、前記差の２ 乗を形成し、前記２乗を合計すること、すなわち、 によって決定される。 ここで、σ ＝変化量、 ｘ_i ＝ｉ番目の係数の値、 ｘ ＝ブロック内の全ての係数の平均値、 Ｎ ＝１ブロック中の係数の個数。 変化は予め定められたしきい値に対して比較され、変化が前記しきい値より大 きい場合に、エラーが識別されることができる。その代わりに、またはそれに加 えて、あるフレームのブロックに対する変化値が記憶されて、考慮されているブ ロックに対する変化が、同時に位置された前のフレームの中 のこのブロックの変化および、または前のフレームの周囲にあるブロックに対す るこのブロックの変化と比較されることができる。平均変化値は、前のフレーム のブロックに対して計算され、考慮されている変化値が前のフレームに対する平 均値よりはるかに大きいか、或ははるかに小さい場合に、エラーが検出されるこ とができる。 送信コーディング方式がブロック内における画素の実際の値を表わす周波数関 連係数を使用した場合、例えばビデオ信号はＤＣＴ係数だけを使用してフレーム 内(intraframe)コード化され、送信された係数の数学的な分布が直接解析される ことができる。しかしながら、使用されるコーディング方式は結果的に実際の画 素の値を表した周波数関連係数を生成しない。例えば、送信された信号が現在の フレームと前のフレームとの間の差を表した場合、最初に受信された信号を圧縮 から復元して実際の画素値を生成し、その後信号をブロックに分割し、信号を周 波数ドメインに変換して周波数関連係数を生成することなく、実際の画素値、し たがって結果的な周波数係数の数学的な分布を得ることはできない。 好ましい実施例において、エラーが識別された場合に、ブロックを隠蔽する動 作が行われる。これは、前のフレーム中に同様の位置にあるブロック或はその運 動補償されたブロックにより検出されたブロックを置換することを含む。その代 わりとして、新しい運動ベクトルが前のフレームからの同様の位置のブロックお よび周囲にあるブロックに対する運動ベクトルを平均して、現在のブロックが置 換される前のフレー ム中のブロックに関する運動ベクトルを生成することによって計算されてもよい 。 以下、添付図面を参照して本発明を単なる例示として説明する。 図１は、エラーを検出して隠蔽する回路を含む圧縮されたビデオ信号を送信お よび受信するシステムを示す。 図２は、画像が複数のブロックからどのようにして形成されるかを示す。 図３は、図１に示されたシステムにおいて使用される、処理装置を備えたエラ ーを検出して隠蔽する回路の第１の実施形態を示す。 図４は、図３に示された処理装置がエラーの存在を検出する動作を詳細に示す 。 図５は、図３に示された処理装置がエラーを隠蔽する動作を詳細に示す。 図６は、エラーを検出して隠蔽する装置の第２の実施形態を含むシステムを示 す。 図７は、図６に示されたエラーを検出して隠蔽する装置をより詳細に示す。 送信ステーション16から受信ステーション17に対して伝送路15にわたって圧縮 されたビデオデータを送信するシステムが図１に示されている。通常のビデオ信 号はビデオ源18によって生成され、このビデオ源18はビデオカメラ、ビデオテー プ再生装置または類似の装置でもよい。伝送路15は、制限された帯域幅を有し、 したがってビデオデータは利用可能な帯 域幅内に保持されるように圧縮される。伝送路は、電話線、専用のデジタルリン ク、無線リンクまたは通信チャンネル供給する他の任意の既知の手段であっても よい。協定によると、圧縮されたビデオ信号はインターレースされない形態であ り、各ビデオ信号フレームは各ライン上に352個の画素を有する288個のラインを 有している。非圧縮形態において、各画素はデータの８ビットで表される輝度値 を有し、それより小さい数のビットが各色差信号を表すために割当てられる。 ビデオ源18によって生成されたビデオデータは、例えばＣＣＩＴＴＨ．261圧 縮勧告にしたがってビデオデータを圧縮することができる圧縮回路19によって圧 縮される。もっとも、本発明はこの形態の圧縮に制限されるものではない。Ｈ.2 61圧縮勧告によると、圧縮されるビデオ信号は、ビデオ画像の画素のブロックを 表した部分に分割される。各ブロックは、ディスクリートな余弦変換（ＤＣＴ） によって周波数ドメインに変換され、係数が送信される。ブロックは、任意の他 のブロックまたはフレーム（フレーム内コーディング）を基準とせずに、或は別 のブロックまたはフレームを基準にして圧縮されてもよく、その場合にはＤＣＴ 係数は比較されたブロック間の差を表す。元のビデオデータは、各画素位置に対 して8ビット輝度値を含み、ブロックは画素の8×8アレイから構成される。係数 のアレイは同様に比例しているが、解像度は最小の12ビットが特定の係数に対し て要求されるものプラス符号ビットである。多数の係数はゼロの値を有している ため、圧縮が行われ、したがって効果的に無視されることが できる。出力回路20は増幅し、必要に応じて圧縮されたビデオ信号を変調し、そ れによってそれを伝送路15による伝送に適した形態にする。 送信された信号によって与えられる減衰のレベルは、周波数依存性であり、し たがって受信ステーションにある等化回路26が補償を行なう。その後、受信され た信号は、示されていない手段によって復調され（必要ならば）、増幅回路25に よって増幅される。 圧縮からの復元は圧縮復元回路27によって行なわれ、圧縮回路19によって行わ れる圧縮と逆のプロセスを行なうように構成される。伝送チャンネル15上の雑音 のために信号に導入された全てのエラーが結果的にデータを劣化させる。これは 、結果的に表示装置28上で見ることのできる劣化されたデータを生じさせる。し たがって、ある方法により劣化されたデータを検出して、隠蔽することができる ならば、表示画像の全体的な完全性が改良される。 このような検出および隠蔽プロセスを実現するために、システムは、劣化され たデータのブロックを識別し、前に送信されたフレームから等価なブロックを選 択することによって劣化されたデータのこのブロックを隠蔽するように構成され たエラー検出および隠蔽回路29を具備している。 図２に示されているように通常のビデオフレーム31は、１ラインが352個の画 素を有する288個のラインから構成されている。Ｈ.261圧縮過程の一部分として 、フレームは、各ブロック内に64個の画素を有する8×8マトリクスの形態の15 84個のブロックに分割される。 輝度ブロック32が図２に示されており、これはその３個の隣接したブロックと 組合せられてマクロブロック33を提供する。マクロブロック33は拡大されて示さ れており、ブロック32は画素35の全マトリクスを表わしている。さらに、フルカ ラー映像にも１輝度ブロック当たり２個の色差ブロックを送信する必要がある。 図３には、エラー検出および隠蔽回路29が詳細に示されており、ここにおいて 圧縮復元回路27からの圧縮から復元されたビデオデータが入力ポート41で受信さ れ、表示装置28上に表示するために処理されたビデオデータが出力ポート42に供 給される。回路29は、第１の画像記憶装置43および第２の画像記憶装置44を含み 、それぞれ全ビデオフレームを記憶することができる。ビデオ書込み制御装置45 は、第１のフレームが記憶装置43に書込まれ、第２のフレームが記憶装置44に書 込まれるように画像記憶装置へのビデオデータの書込みを制御し、一方第１のフ レームはビデオ読取り制御装置46の制御の下に第１の画像記憶装置43から読取ら れる。全ビデオフレームが第２の画像記憶装置44に書込まれた後、次のビデオフ レームが第１の画像記憶装置43に書込まれ、前に書込まれたフレームに重ね書き し、記憶装置44から画像を読取ることによってポート42に対する出力信号を導出 する。 データは画像記憶装置43または44の一方に書込まれるが、前記データはまたエ ラーの存在を検出するように処理されることができる。エラーが検出された場合 、画像記憶装置43お よび44におけるデータのブロックはブロック重ね書き制御装置47の制御の下に重 ね書きされる。エラーの存在を識別するために、ポート41からの入力画像データ はまた変換装置48に供給され、この装置48は画素の各ブロックに対する周波数関 連係数に入力画像データを変換するようにように構成されている。好ましい実施 例において、変換装置48は画像データのブロックに関してディスクリートな余弦 変換（ＤＣＴ）を行なう。その後、周波数関連係数は処理装置49に供給される。 伝送されたビデオデータにおけるエラーの存在を検出するために、処理装置49 は各ブロック内の係数値の平均および変化を計算するように構成される。これら の変化値が計算された時に、それらは第１の変化記憶装置55または第２の変化記 憶装置56に供給され、それによって前のフレームに対して計算された変化値が処 理装置49に対して利用できることを確実にする。記憶装置55および56に対する、 およびそれらからの変化値の書込みおよび読取りは、変化記憶制御装置57によっ て制御される。 伝送路15によって供給されたビデオ情報が、空間的に圧縮された係数を含んで いることに加えて圧縮されたデータの各ブロックに対する運動ベクトルを表わす データも供給されるような形態で圧縮された場合、運動ベクトルもまた入力ポー ト50を介してエラー隠蔽回路29に供給される。 運動ベクトルは、前のフレーム中の同様の位置のブロック、およびｘおよびｙ の両方向における複数の画素の変移によってシフトされたブロックと現在のフレ ーム中の画素のブロッ クを比較することによって計算される。運動ベクトルは、もとの画像内の対象物 の動きと直接関係ないが、実際には前のフレームの類似したブロックと関係する ブロックを比較することによって得られた最も高い適合性を表す。運動ベクトル を生成するためにこのような比較を行なう技術は、本出願人に譲渡された米国特 許第5,083,202号明細書に記載されている。 したがって、ビデオデータの各ブロックに対して、ｘおよびｙ値が送信され、 前のフレームからの最も近い適合ブロックの運動ベクトルを示す。これらの変移 ベクトルはベクトル記憶書込み制御装置51に供給され、第１のフレームから得ら れたベクトルが第１のベクトル記憶装置52に書込まれ、次のフレームからのベク トルが第２のベクトル記憶装置53に書込まれ、その後第１の記憶装置が重ね書き され、その他も同様である。したがって、前のフレームに対するベクトル値はベ クトル記憶読取り回路54を介して処理装置49に対して利用できる。 図４には、処理装置49の動作手順が詳細に示されている。 変換装置48によって行なわれた変換の結果として、係数の１フレームが処理装置 49に対して利用できるようになり、ステップ61で装置49がその処理手順を開始す る。ステップ62において、フレームの別のブロックが利用可能か否かについて質 問され、フレームの第１のブロックに対してこの質問が肯定的に応えられる。肯 定的に応えられた場合、ステップ63でブロック中の係数に対する平均値が計算さ れる。係数の値を全 て加算してから64で除算することによって8×8ブロックの係数に対する平均値が 得られる。 ステップ64において、値の変化は、各係数値から平均値を減算して、それぞれ 特定の係数に対する差の値を生成することによって計算される。この差の値は２ 乗され、64個の２乗された項を全て加算することによって変化値が得られる。 ステップ65において、特定のブロックに対して計算された変化値は、考慮され ている特定のフレームの位相に応じて変化値記憶装置55または56に記憶される。 ステップ66においてしきい値Ｔが読取られ、ステップ67において、ステップ64 で計算された変化値がしきい値Ｔより大きいか否かが質問される。しきい値Ｔは オペレータにより調節可能または選択可能であり、また特定のタイプのビデオ送 信に適合するように調節されてもよい。ステップ64で計算された変化値がステッ プ66で読取られたしきい値より大きい場合、考慮されているブロックはエラーを 含んでおり、大きい変化値はエラーの存在により生成されたと考えられる。した がって、ステップ67で問われた質問が肯定的な答えの場合、ブロックはステップ 68で隠蔽ブロックルーティンを呼出すことによって隠蔽される。 ステップ67で問われた質問が否定的な答えの場合、前記値がエラーの存在を表 しているか否かを決定するために変化値に関してさらにチェックが行われる。前 記変化値は前にしきい値に対して比較されており、これは非常に大きい変化値を 生成する非常に深刻なエラーを識別するのに適切である。し かしながら、それ程大きくない変化を持つ係数を有するブロックは依然としてエ ラーを有しており、このようなエラーは、その変化が考慮されているブロックの 周囲にあるブロックの変化値と著しく異なっている場合に前のフレームの等価な 位置で検出される。 したがって、ステップ69において処理装置49は、前のフレームに対する変化値 記憶装置にアクセスする。それ故、ステップ64で計算された変化値が記憶装置55 に書込まれたならば、ステップ69は記憶装置56からの変化値にアクセスする。考 慮されているブロックに対して等価な位置が識別され、それに対する変化値およ び8個の周囲にあるブロックは記憶装置56から読取られる。 ステップ70において、前のフレームの変化値に対する平均値Ｐが計算され、ス テップ71でこの前の平均値が現在の変化値と比較される。考慮されているブロッ クに対する値が前の平均値Ｐの３倍より大きいか、或は３で除算した前の平均値 Ｐより小さい場合、ブロックはエラーを含んでおり、隠蔽アルゴリズムが再度呼 出されると仮定する。したがって、この値が前の平均の３倍より大きいか、或は ３で除算した前記前の平均より小さい場合、ステップ71で問われた質問は肯定的 に答えられたものであり、ステップ72で隠蔽ブロックルーティンが呼出される。 その代りとして、ステップ71で問われた質問が否定的に答えられた場合、ステッ プ73においてブロックにはエラーがないと見なされ、制御がステップ62に戻され る。結局、特定のフレームに対するブロックが全て考慮され、 ステップ62において問われた質問は否定的に答えられ、制御をステップ61に戻し 、処理装置49を係数の次のフレームのために準備された状態にする。 ステップ68またはステップ72で呼出される可能性のある隠蔽ルーティンは、図 ５に詳細に示されている。これを例示するために、画像データは画像記憶装置43 に書込まれており、処理装置49はエラーを含む画像データのブロックを識別した と仮定する。データが画像記憶装置43に書込まれると、前に処理されたデータは 画像記憶装置44から読出され、それによって出力ポート42にビデオ出力信号を供 給する。したがって、前記データが出力制御装置46によって選択される前に、記 憶装置43に記憶された画像データに対して修正が行なわれる期間を利用できる。 画像データが画像記憶装置43に書込まれると、運動ベクトルはベクトル記憶装置 52に書込まれ、同様に画像データの書込みが画像記憶装置44に切替えられると、 運動ベクトルデータの書込みは記憶装置53に切替えられる。 このようにして、エラーは画像記憶装置43に書込まれた画像データのブロック で処理装置49によって検出され、この時処理装置49は、このデータが出力ポート 42に供給される前に、エラーを隠蔽する手順を実行することを要求される。 図５のステップ81において、ベクトル記憶装置52は前のフレームの等価なブロ ックに対する運動ベクトルを読取るようにアクセスされる。 ステップ82において、８個の周囲にあるブロックがベクトル記憶装置52から読 取られ、それによって全部で９個の運動 ベクトルを処理装置49に提供する。 ステップ83において、平均運動ベクトルは、前のフレームの画像データにアク セスするために前記９個の値を加算してから９で除算して、平均運動ベクトルを 生成することによって計算される。したがって、平均運動ベクトルは、運動ベク トルによって特定された量だけｘおよびｙ方向に移動された後に、前のフレーム におけるブロックの位置を識別し、現在のフレーム中の考慮されているブロック に対する厳密な整合を実現する。 したがって、平均された運動ベクトルは前のフレーム中のデータのブロックを 識別し、この時点でそれは画像記憶装置44に保持され、記憶装置はこの時出力信 号を供給するために読取られている。したがって、ステップ85において記憶装置 44で識別されたデータは、処理装置49から受取られた命令に応答してブロック重 ね書き制御装置47によって読取られ、入力画像記憶装置43中の考慮されているブ ロックに書込まれる。 出力画像記憶装置44から読取られたブロックは、運動ベクトルが画素の位置に 対して特定された場合に、必ずしももとのブロック範囲内に存在するものではな いことを認識することが重要である。 画像ブロックが重ね書きされた後、ステップ62に制御が戻され、別のブロック が考慮されることを可能にする。 図６は、圧縮されて送信された信号がフレームの実際の画素値を表す周波数関 連係数を含んでいるシステムを示す。したがって、図７に示されているように処 理装置49に入力され る前に、それ以上ＤＣＴ係数を処理する必要がほとんどないか、或は不要である 。それ以外、図７に示されている回路の動作は図３に示されたものと同じである 。 圧縮復元回路27は、例えばエラー補正コードチェック手段等の通常の形態のエ ラーチェック装置を含む。この場合、圧縮復元回路27は、エラーを含むものとし て識別されたマクロブロックまたはブロックのグループ（ＧＯＢ）にフラッグを 付ける（ブロックのグループは11×3個のマクロブロックのマトリクスを含む） 。フラッグを付けられたマクロブロックまたはＧＯＢのブロックだけがエラー検 出および隠蔽回路29に送られ、マクロブロックまたはＧＯＢ内のどのブロックが エラーを含んでいるかを決定する。したがって、劣化していないブロックが保持 され、エラーが検出されたブロックが隠蔽されることができる。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 ガンビー、スチーブン・リチャード イギリス国、シーオー15・３エイチジェ イ、エセックス、クラクトン―オン―シ ー、セント・オシス・ロード 250

Claims (1)

1. 【特許請求の範囲】 １．画像の各ブロックを表した周波数関連係数のブロックを受取り、 劣化したデータ存在を検出するためにブロック内における前記係数の統計的分 布を解析するステップを含んでいるビデオ画像を表す信号中のエラーを検出する 方法。 ２．前記解析ステップは、ブロック中の前記係数の変化を計算する請求項１記載 の方法。 ３．さらに、予め定められたしきい値とブロックの計算された変化値を比較する ステップを含み、計算された変化値が予め定められたしきい値を越えた場合、前 記エラーが検出される請求項２記載の方法。 ４．さらに、現在のフレームのブロックの計算された変化値を前のフレーム中に 同様の位置にあるブロックに対して計算された変化値と比較するステップを含み 、現在のフレームのブロックに対して計算された変化値が予め定められた量だけ 前のフレームの同様の位置にあるブロックの変化値と異なる場合、前記エラーが 検出される請求項２または３記載の方法。 ５．さらに、まず画像の各ブロックに対応した複数の部分に信号を分割し、前記 部分を周波数関連係数のブロックに変換する請求項１乃至４のいずれか１項記載 の方法。 ６．画像の各ブロックを表わす周波数関連係数の統計的分布を解析して、劣化し たデータを識別する手段を具備していることを特徴とするビデオ画像を表わした 信号におけるエラーの存在を識別する装置。 ７．前記解析する手段は、ブロック中の係数の変化値を計算する手段を具備して いる請求項６記載の装置。 ８．前記解析する手段は、予め定められたしきい値と前記変化値を比較する手段 を具備している請求項７記載の装置。 ９．前記解析する手段は、前のフレームにおける１以上の同様の位置にあるブロ ックに対して得られた変化値と前記変化値を比較する手段を具備している請求項 ７または８記載の装置。 １０．画像データを記憶する手段と、ブロック内のエラーの検出に応答して動作 し、画像の前のフレームからの記憶されたブロックによりそのブロックを置換す る手段とを具備している請求項６乃至９のいずれか１項記載の装置。 １１．送信されたビデオデータト共に含まれている運動ベクトルを読取る手段と 、前記運動ベクトルに応答して記憶されたブロックを選択することによりエラー を含むものとして識別されたブロックを隠蔽する処理手段とを具備している請求 項１０記載の装置。 １２．新しい運動ベクトルは、前のフレーム内の同様の位置にあるブロックと関 連した運動ベクトルを平均することによって計算される請求項１１記載の装置。 １３．さらに、まず画像の各ブロックに対応した複数の部分に信号を分割する手 段と、 前記部分を周波数関連係数のブロックに変換する手段とを具備している請求項 ６乃至１２のいずれか１項記載の装置。