JPH02501701A - 信号コーディング - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるため要約のデータは記録されません。

Description

【発明の詳細な説明】 信号符号化法 この発明は特に条件付き補充符号化法を用いるビデオ信号の符号化法に関し、こ の場合情報は一般に、先行フレームに対して変化した画像のフレームの要素に関 してのみ伝送され、伝送されたデータは、画像の記憶バージョンを更新するため に受信器で用いられる。

こうして、符号化されるべき画像の各々のブロックの画素は、ブロックが２つの 画像間で変化したかどうかを決定するために、前もって符号化した画像に対応す るブロックの画素と比較される。もしもそうならば、画素データは出力に対して 発生される。

このようなシステムは、ＷＯ３６１０３９２２号に基づき公開された国際特許出 願において記述されており、ブロックがより初期の（基準）画像に対応するブロ ックと比較されることもまた提案する。もしそれらが同じであれば、画像データ は発生されなく、その代わりに符号語が発生され、受信器が基準画像の局部的に 記憶された複製からデータを得ることを示す。

本発明の一つの局面によると、画像の多数のブロックの各々毎に下記のステップ でなる画像の符号化方法が提供される。

（ｉ）　ブロックの画素と先の符号化画像の対応ブロックの画素とを比較し、対 応画素が所定基準に従って２つの画像間において変化したと仮定されるか否かを 夫々示すマトリックス値を生成する工程。

（１１）　変化したと仮定されるブロックの領域を夫々認識する所定の一組のマ トリックスの一つに前記マトリックスを整合し、その組の一つのマトリックスを 認識する符号語を発生する工程。

（１１１）　ブロックの画素を少なくとも一つの先のフレームからのブロックに より構成される基準画像の対応ブロックの画素と比較し、前記ブロックが所定基 準に従って２つの画像間において変化したと仮定されるか否かを決定する工程。

（１ｖ）　前記領域内の全ての画素が基準画像を示す符号語が発生されると、基 準画像に関して変化されないとして比較工程（ｉｉｉ　’）によって認識されな ければ前記認識領域内の画素を出力する符号化工程。

もう一つの局面において、本発明は下記構成部材（ｉ）〜（１ｖ）で構成される 画像の符号化装置を提供する。

（ｉ）　画像の多数のブロックの各々に対して、ブロックの画素と先の符号化画 像の対応ブロックの画素とを比較し、対応画素が所定基準に従って２つの画像間 において変化したと仮定されるか否かを夫々示すマトリックス値を生成する手段 。

（ＩＩ）　変化したと仮定されるブロックの領域を夫々認識する所定の一組のマ トリックスの一つに前記マトリックスを整合し、その組の一つのマトリックスを 認識する符号語を発生する手段。

（ｉｉｌ　）　少なくとも一つの先のフレームからのブロックにより構成される 基準画像を記憶するのに準備された記憶装置、およびブロックの画素を基準画像 の対応ブロックの画素と比較し、前記ブロックが所定基準に従って２つの画像間 において変化したと仮定されるか否かを決定する手段。

（１ｖ）　前記領域内の全ての画素が基準画像を示す符号語が発生されると、基 準画像に関して変化されないとして比較工程（ｆｉｔ　）によって認識されなけ れば前記認識領域内の画素を出力する符号化手段。

２次元のマツプの整合手段−よくベクトル量子化と呼ばれる−が、画像符号化法 に関して例えば欧州特許出願連続番号０２３９０７６Ａで以前に提案されており 、この場合、変換係数ブロックのブロックが分類されている。

しかしながら、本発明はベクトル量子化を更に開示しており、これにおいてはど の画素が出力のために符号化されたかを示すために伝送されるべき情報量を減少 するために（必要なら）用いられるだけでなく、“基準°符号語が代わりに発生 される事象数が増加される。

本発明のいくつかの具体化は、−例として添附された図面を参照して述べられて いる。

第１図は、本発明の一実施例に従った符号器のブロック線図である。

第２図は、第１図の符号器の変化検出器によって生成された典型的なビットマツ プを示す。

第３図は、第１図の符号器のベクトル量子化器で用いられる少数の基準ピッ゛ト マップを示し、第４図は、本発明の他の実施例に従った符号器のブロック線図で ある。

第１図は、条件付き補充ビデオコーダを示し、ビデオ信号（デジタル形式で想定 された）は入力１に供給される。画像の現フレームは、局部複合器３の出力と変 化または移動検出器２で比較される。この局部複合器は、遠隔複合器で生成され るのと同じ“先行フレーム°を生成する。すなわち、比較の目的は変化してしま った画像のその部分を認識することであり、それによりその部分に関する情報だ けがフレームの記憶表示を更新するために複合器に送る必要がある。

信号は、ブロック・パイ・ブロック方式、すなわち想定された８Ｘ８のブロック で処理され、それ故、８Ｘ８のビットマツプを生成する。典型的なマツプは第２ 図に示され、この場合、変化した画素（ビクセル）に対応するブロックの要素が 陰線で示されている。

実際には、変化した要素のみに関しての情報の伝送は、重要なアドレス指定用オ ーバヘッドを含めており、それ故、限定された数、典型的に４０個の標準形状（ 少数が第３図に図解されている）の一つにビットマツプを整合させることが好ま しい。変化したビクセルについて情報を伝送しそこなうよりはむしろ、変化しな いビクセルについて情報を伝送することが好ましいので、選ばれた形状はビット マツプの陰線素子を包括する陰領域を有する最小形状（すなわち、最少陰線素子 ）である。この処理はベクトル量子化（ＶＱ）と呼ばれ、第１図のベクトル量子 化器４に表示される。一つは、選ばれた形状に従って変化したと考えられるビク セルに関しての情報と共に、選ばれた形状を認識するＶＱ番号をブロックに対し て伝送する。出力データは、出力６への電路以前にバッファー５において混合さ れ、緩衝される。そのようなシステムで一般に行なやれているように、バッファ ーはデータが（画像内容に依存する符号化により）発生される速度の変化を滑ら かにするため、および一定の伝送速度をインタフェースするために用いられ、バ ッファー満杯状態は、（例えば、変化検出器しきい値（制御ライン７）を変化す ることで）発生速度を制御するために用いられる。

変化したと考えられるビクセルは、符号器８（例えば、国際特許出願ＰＣＴ／Ｇ Ｂ８８１００７０９　（公開番号・・・・・・）、および欧州特許出願第８８３ ０７９８１．６号（公開番号・・・・・・）で記述されている方式）で符号化さ れる。

特にビデオ会議またはビデオ電話環境においての多くのテレビ放送画面は、固定 された背景に対して動く大または物体の集合を含んでいる。変化検出器２によっ て変化したと観測されたビクセルは、その位置が変化した（または画面に入った ）または物体で覆われていない背景の部分のどちらかと関連している。この符号 器においては、第２の変化検出器３０も示されており、現フレームとフレーム記 憶装置に記憶された基準または背景フレームとを比較する。記憶された背景フレ ームの抽出は、さらに続けて以後に論議するが、第１図においては、伝送の開始 時のスイッチ３２の手動操作に応答する局部複合器３から得られたと想定される 。符号は、遠隔複合器で同様な動作を開始させるために受信器に伝送される。

変化検出器３０は、背景と同様な現フレームのビクセルを認識するためのビット マツプを生成する。

もしこれが、新たな画像がＶＱ髪形状よって言明されたいくつかのビクセルに関 する背景とは異なることを示していれば、背景情報は使用することができず、そ れらのビクセルに関しての情報はＶＱ番号と共に伝送される。

しかしながら、もしＶＱ髪形状よって与えられるような変化領域が、記憶された 背景フレームの対応ピクセルと同様に検出器３０によって認識されるビクセルの みを包括するなら、ＶＱ番号は“背景゛を示す予約符号語を伴ない、さらに情報 を疑問のブロックについて伝送する必要がない。

これらの機能は、比較器３３によって第２図の状態の中で成し遂げられ、その出 力３４は符号器８の動作を無効にする。

第４図は、複合器を示す。入力処理装置４０は、符号化された入力信号を受信す る。背景フレームは、背景記憶装置４１に記憶される。正常動作の下では、フレ ーム記憶装置のアドレス指定を制御するためのライン４４を介して受信されたＶ Ｑ番号を使用することによって、フレーム記憶装置４３の内容をライン４２を介 して更新するために、処理装置４０は受信されたピクセル情報を使用する。しか しながら、処理装置が予約された“背景′符号語を（ライン４５を介して）受信 すると、それは背景記憶装置４１から（ＶＱ番号によって認識された）関連ビク セルを取戻し、フレーム記憶装置４３の中へ入る。これは、切換スイッチ４６に よって概略的に図解される。フレーム記憶装置４３は、出力４８で受信された映 像を生成するために、（出力制御手段４７によって）読み出される。符号器にお けるように、“ロード背景°命令が受信された（ライン４９）場合、背景記憶装 置４１は記憶装置４３の複合化画像からロードされる。

第１図の局部複合器３は、第４図の複合器のような同様な構成であることを忘れ てはいけないけれども、実際には、局部複合器はそれ自身の一つを持つよりむし ろ背景記憶装置３１を用いる。

変化検出器２．３０は、原則的には任意に通常通り使用でき、または両方が我々 の前述の特許出願で記述されているように用いられてもよい。ベクトル量子化器 ４は、また周知の装置となり得る。一つの可能性は、我々の国際特許出願番号Ｐ ＣＴ／ＧＢ８７１００８１６　（公開番号ＷＯ３８１０４０８４）　、および欧 州特許出願第８６２７７８７号（公開番号０２７２７９４）において記述されて いる。

より簡単だが、より粗雑なもう一つの選択は、４つの“旧°要素のオア機能とし て各“新′要素を作り出すことによって、８×８のマトリックスに変換すること である。すなわち、これは適切なＶＱ番号が記憶されている６４にバイトの読取 り専用メモリの形態でルックアップテーブルをアドレスするために使用できるサ イズ（１６）にマトリックスの要素数を減少する。

背景画面は、伝送の開始時に手動的に“凍結°されてもよい。しかし、それは固 定背景を厳密に構成する必要がない。

例えば、背景画像が座った人物像を含んでもよい（これによって、人間がちょっ との間自分の顔の上方を通り過ぎる状態をカバーすること、もし顔が背景′の一 部を構成するならば、顔は再度伝送しなければならない）。

背景を更新するための条件を含むことはこましい。例えば、入力映像は（第１図 において点線で示されたユニット３５によって）符号器で監視でき、本来の背景 と相違する画面の部分はフレーム記憶装置内に書込まれた所定時間変化しなかっ た。信号は、複合器に同様にせよと命令するために（ライン３６を介して）複合 器に送られる。

背景記憶装置を更新する吊りの方法は、真の背景を認識するある試みを放棄し、 その代わりとしである期間における先行画像から取出されたブロックの合成であ る基準画像を形成する。各フレーム期間にて、画像領域に散在している若干（例 えば８個）の選択ブロックに関するデータは、背景記憶装置内に入力され、ブロ ック選択は全画像データが包括されてしまうまで異なるブロックが各フレームか ら選択されるように行なわれる。１秒につき２５フレームで１フレームにつき１ ０２４ブロツクと仮定すれば、これはほぼ４０秒の期間を表わす。ブロックは、 複合器のフレーム記憶装置４３、および局部複合器の対応する記憶装置からロー ドでき、それから変化監視装置は適切なブロックを選ぶために、簡単なアドレス 発生器に置換される。明らかに、これは基準画像のいくつかのブロックが、背景 物質を表わされないことにおいて有効でないが、重要な符号化利点がさらに得ら れ、簡素な長所を有する。

このアプローチの変更は、複合化した画像から得られる代わりに、選択ブロック の画像が実際に伝送されることを提供する。すなわち、たとえ一部分のみが動き として検出器２および量子化器４によって指示され、または指示されなかったと しても、全ブロックの伝送は強制される。この場合、フレーム記憶装置３１．４ １は、それぞれ人力１および処理装置４０から入力を得る。これはまた、めった に変化しないブロック上の伝送エラーが複合化画像に持続しないことを確実にす る利益を有する。

国際調査報告 １１−＃□−°Ａゝ−−＋　ｂｅＰ（＋７Ｑｔ；　ε＝ｌｏｏａ＝１−＝−国際 調査報告 ＣＢ８８０りε７ｌ −５Ａ２４ε８６

Claims (6)

【特許請求の範囲】
1. １．画像の多数のブロックの各々に対して、画像の符号化方法は： （ｉ）ブロックの画素と先の符号化画像の対応ブロックの画素とを比較し、対応 画素が所定基準に従って２つの画像間において変化したと仮定されるか否かを夫 々示すマトリックス値を生成する工程と、 （ｉｉ）変化したと仮定されるブロックの領域を夫々認識する所定の一組のマト リックスの一つに前記マトリックスを整合し、その組の一つのマトリックスを認 識する符号語を発生する工程と、 （ｉｉｉ）ブロックの画素を少なくとも一つの先のフレームからのブロックによ り構成される基準画像の対応ブロックの画素と比較し、前記ブロックが所定基準 に従って２つの画像間において変化したと仮定されるか否かを決定する工程と、 （ｉｖ）前記領域内の全ての画素が基準画像を示す符号語が発生されると、基準 画像に関して変化されないとして比較工程（ｉｉｉ）によって認識されなければ 前記認識領域内の画素を出力する符号化工程と、 により構成される。
2. ２．前記識別領域内の画素の符号化において、少なくとも画素のいくつかが前記 画素と１以上の先に符号化したブロックの画素から得られたそれらの画素に関す る予測値との差異に応じて符号化されており、前記画素の一連の符号化法が前記 織別領域のオリエンテーションに依存している請求の範囲１項に従った方法。
3. ３．画像の符号化装置は、 （ｉ）画像の多数のブロックの各々に対して、ブロックの画素と先の符号化画像 の対応ブロックの画素とを比較し、対応画素が所定基準に従って２つの画像間に おいて変化したと仮定されるか否かを夫々示すマトリックス値を生成する手段と 、 （ｉｉ）変化したと仮定されるブロックの領域を夫々認識する所定の一組のマト リックスの一つに前記マトリックスを整合し、その組の一つのマトリックスを認 識する符号語を発生する手段と、 （ｉｉｉ）少なくとも一つの先のフレームからのブロックにより構成される基準 画像を記憶するのに準備された記憶装置、およびブロックの画素を基準画像の対 応ブロックの画素と比較し、前記ブロックが所定基準に従って２つの画像間にお いて変化したと仮定されるか否かを決定する手段と、（ｉｖ）前記領域内の全て の画素が基準画像を示す符号語が発生されると、基準画像に関して変化されない として比較工程（ｉｉｉ）によって認識されなければ前記認識領域内の画素を出 力する符号化手段と、 により構成される。
4. ４．所定時間変化しなかった前記画像の部分を認識し、そのような部分が認識さ れた場合には、（ａ）記憶された基準画像を更新し、さらに（ｂ）こうして更新 された基準画像の部分を表示する出力データに関して符号化する、 ために連続画像と比較する手段を含む請求の範囲３項に従った装置。
5. ５．最新画像の対応ブロック単位で前記記憶装置に記憶された基準画像の少数の ブロックの周期的な取替えを成し遂げるための操作において準備された手段を含 む請求の範囲３項に従った装置であって、前記ブロックは、記憶装置が符号化さ れた画像の多数のフレームからの、ブロックにより構成される合成画像を常に含 むような、連続する取替えに対して異なって選択される。
6. ６．．下記構成部材で構成される請求の範囲３項または５項の符号器と共に用い られる復合器。 （ａ）受信された画像を記憶するフレーム記憶装置。 （ｂ）第２のフレーム記憶装置。 （ｃ）受信されたデータを用いる前記第２のフレーム記憶装置の内容を更新する ために受信したデータに応答し、かつ前記第１のフレーム記憶装置からの情報で 前記第２のフレーム記憶装置を更新するために受信した符号語に応答する制御手 段。 （ｄ）ビデオ出力信号を生成するために前記第２のフレーム記憶装置の内容を繰 返して読み取る手段。