JPH01194583A - 一連の画像の動きを推定し、補償する方法及び配置並びにこの配置を設けた画像伝送システム - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 本発明は各画素の輝度がディジタル的に表わされる一連
の画像の動きを推定し、補償する方法に関するものであ
る。

又、本発明はかかる方法を実施する動きの推定及び補償
配置、或いはかかる配置を設けた画像伝送システム、更
にばかがるシステムの送信段及び受信段にも関するもの
である。従って本発明ではこの型の動き推定及び補償を
サブサンプリング及び一時補間方法に適用する。

かかる発明は、例えば高品位テレビジョンの分野、又は
例えば遠隔会議（ビデオ会議とも称する）或いは画像記
録に適用することもできる。フランス国特許出願ＰＲ−
Ａ　２，５９０，７０１号明細書には、反復的変位推定
方法に基づく動き推定配置が記載されている。正確には
、この方法では所定の基準に従って画素を３群に分類し
、これらの群で点が画像の順次の走査に従ってＬ個の素
子遅延して分類される。この分類は、分類樹木の検査後
、その順次の分校が３つの可能な群に関連し、これら群
にＬ個の順次の画素が属するものとして、実行すること
ができる。好適には、この分類は、現時点の画素に次ぐ
Ｌ個の画素に対しこれら可能な順次の群の所定の限定数
を前記樹木において検査した後簡単に行うことができる
。

一連の画像において、前の画像に基き１つの画像を再生
したい場合には、実際上、前記文献に記載された配置は
満足に作動する。しかし、これを高品位テレビジョンに
用いる場合にはかかる配置の動作原理が好適でないこと
を確かめた。この高品位テレビジョンの用途では、実際
上、処理作動を追加して、伝送チャネル（ＳＥＣＡＭ又
はＰＡＬ標準と置換するためにＭＡＣ−パケット伝送標
準を用いる場合にはアナログチャネル）を適合し、極め
て多量の情報成分を伝送する必要がある。多くの例のう
ち、かかる処理作動は特定のサブサンプリング作動を有
し、これによって同一の画像内又は同一のフィールド内
の成る数の画素を規則正しく抑圧するか、或いは一時サ
ブサンプリング作動を有し、これによって一連の順次の
画像の成る数の画像又はフィールドを規則正しく抑圧し
得るようにする。

高品位テレビジョンでは、成る数の画像又はフィールド
、例えば２画像毎に１画像のこの周期的な抑圧によって
後続の列ｎ−２の画像に基く再生を行うようにしている
。この再生は可能ではあるが適宜な品質の高品位画像を
再生するものではない。

本発明の目的は、上記用途の場合に伝送すべき多数の情
報成分及び利用できる伝送チャネルの制限されたスペク
トル特性を考慮する必要のある用途に使用するに好適な
一連の画像の動きを推定し、補償する方法を提供せんと
するにある。

本発明方法は、各画素の輝度をデジタル的に表示する一
連の画像の動きを推定し、補償するに当り、各画像を、
ＩＸＪ個の画素より成るブロックに分割し、これらブロ
ックの各々は、１ブロツクが位置する画像ラインの行と
、このｍ番目のラインのブロックの位置とを夫々示す２
つの座標（ｍ。

ｎ）によって規定し、 （Ａ）個別の行２ｋ、　２ｋ＋１、２ｋ＋２ｋより示さ
れる画像の最初のシーケンスに３つの連続画像を保持し
； （Ｂ）　これらブロックを、補正された水平方向の反復
によって推定されるブロックと、補正されない水平方向
の反復によって推定されるブロックと、垂直方向の反復
によって推定されるブロックとに分類する３つの群をこ
れらブロックに対して規定し、これら群においては分類
を行うために考慮する現ブロックχに続くしブロックに
対し可能な群の所定数のシーケンスを試験して進行画像
走査に従ってＬブロックの遅延により前記ブロックを分
類し、この分類に基づ（基準は１つの画像及び他の画像
間に生じる変位を考慮して画像のシーケンス中の２つの
画像間の輝度の差とし； （Ｃ）各分校点にみられる３つの分枝の数から可能な群
の数に等しく、各順次のレベル１−Ｌに結果として生ず
る３Ｌ個の分校がＬ個の連続する考察ブロックに対する
可能な群のシーケンスに相当するように分類樹木を形成
し； （Ｄ）各レベルの各分校に対して３つのパラメータを害
１１当て： ａ）第１パラメータである変位ベクトルは前の画像２ｋ
及び次の画像２ｋ＋２ｋ対し画像２ｋ＋１の現ブロック
の任意の変位を表わすと共に反復的変位推定法によりブ
ロックを表わす画素に対し計算し； ｂ）　第２のパラメータである累積歪みパラメータは、
ブロックの数りにおいて現ブロックの概算誤りと前のブ
ロックの概算誤りとの累積和を表わし、各概算誤りは１
つのブロックに対する推定変位がＬ個の後続ブロックに
対し推定された変位に及ぼす影響を考慮して最小とし、
この可能な影響は分類樹木の３Ｌ個の可能な分枝間で残
存分枝と称される最小累積歪みのＭ個の分枝（Ｍは分枝
の最大数３Ｌよりも小さい制限数）を除き調査せず； （Ｅ）走査方向におけるＬ個の連続ブロックに関しこの
方法の終了時に、現ブロックに対しＬブロック前に位置
するブロックの有効群に関し多数決判定を行い、この判
定は、残存分枝を試験し、Ｌ個のブロック前に位置する
ブロックを残存する分枝の大部分が関連する群に分類す
ることにより行い、この判定処理を多数決判定が行われ
ないＬ個の最後のブロックを除き同様に繰返すようにし
たことを特徴とする。

かかる方法は、達成された動きの推定が高品位テレビジ
ョンの適当な伝送特性を考慮する場合に有利である。特
に正確には、−旦情報成分を抑圧すると、本発明方法に
よって反復の選定を次のように行う反復的推定を得るこ
とができる。即ち、１画像への画像ブロックの変位が特
定の隣接ブロックの変位に極めて類似して起こるものと
すると、これから、この変位を補正項があってもなくて
も推測することができる。同時に、この方法によってこ
の反復的推定を最適化してこれら反復モードによるブロ
ックの分類により推定誤りを最小にし、前記分類は、成
る遅延により行い、分類シーケンスの前の統計的調査を
、現在のブロックに続く成る数のブロックに対し適用可
能とし、従ってシーケンスが調査された後まで何等の分
類判定を実際に行わないようにする。

図面につき本発明を説明する。

説明の便宜上、撮像し、信号処理し、アナログ−ディジ
タル変換した後、１２５０ライン、ライン当り１４４０
個の画素、５０Ｈｚ、飛越し２：１で形成された一連の
デジタル画像が得られ、これにより伝送すべき高品位画
像が得られるものとする。以下の記載において用語を簡
単化するために、飛越しフォーマットの２つの奇数及び
偶数フィールドの組合せとして画像を規定する代りに、
予定瞬時ｔに関して得られる全部の空間情報（即ち１フ
イールドの等価）として画像を規定する。各画像は、各
々が次に走査されるＩＸＪ画素を具えるＮ個のブロック
に細分割する。これらブロック自体の各々は各ブロック
を表わす画素Ｘの２つの座標（ｍ。

ｎ）で規定され、ここにｍは各画素が位置する画像ライ
ンの行であり、ｎはこのｍ番目のラインのブロックの列
である。

一連のデジタル化画像を処理する方法は次の通りである
。伝送に当り、この画像シーケンスを前置濾波して空間
サブサンプリングが後続する次のサブサンプリング作動
の周波数帯域の外側に位置する高い周波数の全部を除去
し得るようにする。

この空間サブサンプリングとは、例えばラインークイン
カンクスとも称され、成るパーティのラインの２画素毎
に１画素を除去すると共に他のパーティのラインで同様
に２画素毎に１画素を除去するが１画素分の水平変位を
有するようなザブサンプリング作動である。又、一時サ
ブサンプリングによって画像シーケンスの２画像から１
画像を消去せしめるようにする（周波数が１／Ｔの場合
（ここにＴは初期画像シーケンスの２つの連続画像を分
離する時間間隔に相当する）には、一時サブサンプリン
グ後の２画像間の時間間隔は２丁となる）。

即ち例えば瞬時ｔ＋（２ｋ＋１）Ｔに関連する画像は除
去されるが、瞬時ｔ＋２ｋＴ及びｔ＋（２ｋ＋２）’Ｔ
に関する画像は保持される。

次いで、かくして空間的及び時間的にサブサンプルされ
た画像のシーケンスを、画像シーケンスが適合する周波
数帯域で転送チャネル、本例ではアナログＭＡＣチャネ
ルに伝送する。一時サブサンプリングと同時に、フィル
タ処理後、実際の動き推定を行って一旦伝送されて除去
された画像を再生する動き情報成分を決めるようにする
。かかる再生に必要且つ充分なこれら画像情報成分はア
ナログＭＡＣチャネルに関連するデジタル支援チャネル
（ＯＡＴＶチャネル、デジタル支援ＴＶを表わす）を経
て伝送する。

受信側では、アナログチャネルにより伝送された信号の
後置フィルタリングの後に一時補間（即ちこれら信号に
基づく空間補間）を行い、且つ後置フィルタ処理後の出
力信号及びデジタル支援チャネルを経て伝送された情報
成分に基づく新たな動き推定によって再び高品位画像を
得るようにする。第１８及びｌｂ図は上述したこれら機
能の全部、即ち送信側では、前置フィルタリング配置１
、空間サブサンプリング配置２、一時サブサンプリング
配置３、後置フィルタリング配置４、動き推定配置５、
アナログチャネル６及びデジタル支援チャネル７；受信
側では、これらチャネル６及び７の出力側に配設された
空間後置フィルタ配置８、動き推定配置９、一時補間配
置１２及びテレビジョン受像機１３を夫々示す。

これら作動の目的、即ち、除去された画像の各ブロック
（例えば瞬時ｔ　＋（２ｋ＋１）　Ｔに相当する画像又
は（２ｋ＋１）番目の画像の各ブロック）に対し、変位
ベクトルＤを決めて除去された画像を囲む除去されてい
ない画像の和の’ＡＣ本例では画像２ｋ及び２ｋ＋２の
和の２）に基づいて除去された画像を推定し得るように
した目的の後、本発明による動きの推定、補償方法を詳
細に説明する。本例では、この概゛算を後述する式（１
）により表わす。ここにＸは画像２ｋ＋１で現に考察さ
れるブロック、又はその表示素子を示し、Ｄは動きの推
定が画像（２ｋ、　２ｋ＋２）に適用された際の動きベ
クトルを示し、Ｂは画像（２ｋ＋１）の現在のブロック
の概算を示す。。

本発明によれば画像のブロックの走査が進行する際、こ
れらブロックを、次の３つの群のうちの１つの群で、後
述するしブロックを経る変位によって分類する。第１群
のブロックは、補正された水平反復により推定されたブ
ロックを示し、第２群のブロックは補正されていない水
平反復により推定されたブロックを示し、第３群のブロ
ックは垂直反復により推定されたブロックを示す。即ち
送信時に除去すべき、及び受信時に再生すべき画像２ｋ
＋１の各現在のブロックＸは、画像の走査方向にみて前
のブロックの１つが受けた変位と同−又はこれに近い変
位を受けるものとする。Ｄｉ＋１を現在のブロックＸの
変位ベクトルとする場合には３つの解決策が可能となる
。

（ａ）　　走査方向における現在のブロックＸに先行す
るブロックの変位ベクトルをＤムで示し、このベクトル
Ｄ直に指標りを付してこれが水平変位に関連することを
表わす場合式（２）を得ることができる。即ちり、、、
は変位補正項ｄＤｉ、により修正されたブロックの解析
方向にみた前のブロックの変位ベクトルＤ１に等しくな
る。ブロックの動きは水平方向反復によって推定され、
現在のブロックは、この分類に関する判定がこの瞬時に
とられる際第１群のブロックに属するようになる。前述
したようにかかる判定は成る遅延後にのみ行うことがで
きる。

（ｂ）　　第２の解決策は式（３）によって表わされる
解決策に相当する。ここに口、。１は何等変位補正項が
ない場合の変位ベクトルＤｉｈに等しく、従って現在の
ブロックは判定が何等遅延なく直ちに行われる際第２群
のブロックに属するようになる。

（ｃ）　　第３の解決策は、現ブロックの変位を、式（
４）により表わされる変位補正項ｄＤ、ｖにより修正さ
れたこの現ブロックの垂直方向の隣接ブロックの変位ベ
クトルに等しくする必要があることであり、ここにＶは
空間的に隣接するブロックの垂直方向の位置を表わすベ
クトルＤ、を示す。

前述した所は実際に各判定を成る遅延後にのみ行うこと
について説明した。３つの群の１つにおける各ブロック
を分類することは、直ちに行わず、考慮されたブロック
に続くしブロックに対する所定数の可能な群のシーケン
ス後にのみ行う。これがため変位ベクトルの方向及び振
幅は、ブロックの群及びこのブロックに対し、又はブロ
ックを表わす中央素子Ｘに対し生ずる分類誤りの関数と
して次のブロックで補正する。この分類誤りは、現ブロ
ック（画像２ｋ＋２）の表示素子と、前の画像に対する
このブロックの有効変位を考慮して前の画像２ｋの関連
する素子との間の輝度差に等しい。

分類の規準を規定するために、（関連する動作回路の複
雑さを制限する目的での成る制限内で）１つのブロック
に対し推定された変位が次のしブロックに対して推定さ
れた変位に及ぼす影響を試験することにより分類誤りを
最小にする手段がとられた。この影響は第２図に示す分
類樹木を、そのレベル１．２．・・・Ｌの順次の分枝が
走査方向における順次のしブロックが属すると思われる
３つの可能な群に相当するように構成することによって
研究することができる。Ｌ個の分枝レベルが存在するも
のとすると、かかる樹木は３Ｌの分枝を有し、そのうち
の任意の数Ｍのみのいわゆる残存分枝が実際に使用され
るようになる。例えば第２ブロツクの到来時にこの樹木
に３つの分枝が構成され、その後この処理がかくして現
われる各分枝に対し繰返されるようになる。従って分枝
の数は、少なくとも現われる分枝の数が制限Ｍよりも少
い場合に各レベルで３倍にされるようになる。かように
認定された制限数は所定分枝レベルに対し可能な分枝の
最大数よりも著しく少く、実際上、−般に固定されてか
かる方法を実施する回路配置の複雑さを制限し得るよう
にする。この数Ｍが過剰になると直ちに、Ｌよりも少い
次数のレベルに対しても樹木構造において残存分枝をＭ
分枝以下に系統だって保持し、他の分枝を除去し得るよ
うにする。

第２図に示す分類樹木では、各分枝レベルに対し、且つ
３つの群に関連する３つの分枝の各々に対し２つのパラ
メータを関連させるようにする。

第１のパラメータは既に前に規定され、分枝レベル１〜
Ｌに従って、且つ可能な群（第１、第２及び第３群に対
し夫々ｈ、ｐ、ｖ）に従って第２図−に示された変位ベ
クトル、例えばＤ　（２，ｈ）、　Ｄ（３，ｐ）。

・・・等であり、各分枝の第２パラメータの特性は上記
レベル及び可能な群に従って現われる累積歪み、例えば
ｄｉｓｔ（１，ｐ）＋ｄｉｓｔ（３，ｖ）　＋＋等であ
る。ここに云う累積歪みとは、ブロックしの群における
現ブロックの概算誤り及び前のブロックの概算誤りの累
積和を意味するものとする。各素子の概算誤りはこの点
と前の画像の対応点との輝度差に比例し、ここでは式（
５）に従ってブロックＸ、叶Ｄ　（Ｘ、　Ｄ）の各素子
に対し表示する（ここにＤは各分枝に関連する動きのベ
クトルを示す）。現ブロックに対し、この概算誤りはブ
ロックの画素全部の誤りＤＦＤの二乗の和に等しい。第
２図の樹木では動きのベクトル及び累積歪みの表示はそ
の全部に再現できないため、分枝が著しく多数となる場
合にはこの樹木が複雑となり過ぎないようにする。

上述した所ではＤｉ＋１　、即ち現ブロックＸ（Ｘはこ
のブロックの代表面素である）変位ベトクルを、分類判
定が直ちに行われた場合にこのブロックが属する群に依
存する関係式（２）、（３）又は（４）の１つによって
規定した。第２群のブロックに対してＯｉ。１はｏｔｈ
に等しくなり、従ってその決定は直ちに行われるように
なる。第１及び第３群のブロックに対しては、夫々ｄＤ
ｉｈ及びｄＤ、ｖを評価する必要がある。この変位補正
項ｄＤは、前の画像の変位を考慮して代表点に対応する
画素の輝度の傾斜（又は空間変化）と、例えば式（６）
により表されるブロックを表わす中央画素の輝度の強さ
の概算誤り（以前に規定）との積に比例する。

この関係において、ベクトル形状で表わされる画素の空
間輝度の傾斜（水平方向の傾斜、垂直方向の傾斜）は前
の画像の対応画素Ｘ　−ＤＥＰ　ｉの隣接画素Ｐ＋、Ｐ
ｔ、Ｐ＋、Ｐａの輝度に作用する。第３図はこれら画素
Ｘ−ＤＥＰ　ｉを囲む４つの画素Ｐｌ＋　Ｐ２＋Ｐ３．
　Ｐａを示し、この空間傾度を式（７）によって規定す
る。本発明の特定の場合には式（８）により表わされる
この傾斜は、画像２ｋに対する画素Ｘ　−Ｄ／２の領域
及び画像２ｋ＋２ｋ対する画素Ｘ　＋　Ｄ／２の領域の
順次の画像２ｋ及び２ｋ＋２ｋ対して計算された傾斜の
和の乙である。即ち式（８）において、ＧＲＡＤ　（Ｘ
−Ｄ／２．２ｋ）は画像２ｋ（７）画素Ｘ　−Ｄ／２を
囲む画素Ｐ、　−Ｐ、に関連し、ＧＲＡＤ　（Ｘ＋Ｄ／
２゜２ｋ　＋　２）は画像２ｋ＋２の画素Ｘ　＋　Ｄ／
２を囲む画素点ｐ、　−ｐ、に関連する。

樹木を構成する方法は、新たなパラメータＤ（１）及び
ｄｉｓｔ　（、）を各新たな分枝にリンクさせながらＬ
番目のブロックまで継続する。次いでＬブロックの現在
考慮中のブロックの前のブロックの有効群及び有効変位
ベクトルに関し多数決判定を行う。

上述したように、この遅延判定を行う前に、数Ｍ以上の
分枝全部を順次除去（ｌ及びＬ間に構成される各レベル
で）することにより３Ｌ−Ｍ分枝を除去し、この際残存
分枝は最も弱い累積歪みを有する分枝である。分類樹木
の構成終了時のＭ個の残存分枝間で、（又はレベルの数
が充分に低くて数３Ｌが高くなり過ぎず、分枝の除去が
行われない場合の３Ｌ個の分枝間で）これら分枝の各々
に生ずる累積歪みを再び調査する。前述した所では動き
推定の目的は、画像２ｋ＋１の各ブロックに対し動きの
ベクトルを決め、これにより画像２ｋ及び２ｋ＋２の和
の％に基づき画像２ｋ＋１の概算を得ることができるよ
うにすることである。この目的は、各画像ブロックに対
しパラメータＤを割当てて式（９）が最小となるものと
する際、異って公式化することができる。これらの場合
の全部において遅延の判定を後述するように行う。即ち
Ｌ個の追加の画像ブロックに情報が存在するものとする
と、関連する残存分枝を調査し、（Ｌ個のブロックのう
ちの現ブロックの前の）第１ブロツクを、最高数の残存
ブロックが関連するブロックの群で分類する。従って関
連する変位ベクトルはこの第１ブロツクの変位ベクトル
であるとみなされ、以下同様とする。走査方向にＬ番目
のブロックから出発し、前述した処理により各新たなブ
ロックの到来時にＬ個のブロックのうちのこの新たなブ
ロックの前のブロックに相当する群（及び変位ベクトル
）を決めることができるようにする。画像のＬ個の連続
ブロックに対しては、かかる多数決判定は行わず、累積
歪みを最小にする分類シーケンスを保持する。

第４図は上述した方法を実施する動き推定補償配置の１
例を示す。デジタルサンプルがビデオ画像の場合５４Ｍ
Ｈｚに等しいサンプリング速度で例えば発生する入カラ
イン已に存在する読出し画像を、直列配置の３つの画像
メモリ１０．２０．３０に供給して画像シーケンスの例
えば行２ｋ、２ｋ＋１、２ｋ＋２の３つの順次の画像を
永久に記憶し得るようにする。画像２ｋを記憶するメモ
リ１０の出力及び画像２ｋ＋２を記憶するメモリ３０の
出力を反復的変位推定器４０に供給して傾斜及び補正項
ｄＤｉｈ及びｄＤｉｖの計算を行い得るようにする。

この変位推定器４０は４個の同一の推定段４０−八〜４
０−Ｍで構成する。これら６個の推定段の各個別の段は
、補正された水平反復モードに従って新たな変位を計算
するセル４０ａと、垂直反復モードに従って新たな変位
を計算するセル４０ｂとを具える。

実際上、セル４０ｂはｎ個の推定段の各々に対して同一
とし、従ってこれら推定段の全部に対して共通とするの
が好適である。これがため、唯１個のセル４０ｉ（ｉは
１からＨまで）のみを第５図（推定器４０を示す）につ
き説明し、ここに指標ｉは関連する回路素子の全部に対
して示し、セル４０ｂはＭ個の推定段に対し共通とし、
これに関連する素子には指標を付さない。

この第５図において、セル４０ｉ　は減算器４０１１を
具え、その例えば正の入力側に画像メモリ１０からの出
力を受け、その負の入力側に画像メモリ３０からの出力
を受けるようにする。この減算器によって、その出力信
号として画像２ｋ＋２の現ブロックを表わす画素Ｘと、
前の画像２ｋの対応する画素Ｘ−ＤＢＰ、との間の輝度
差を発生する。この減算器４０１１７″゛ の出力信号を２個の乗算器４０２１及び４１２ｋ供給し
、これら乗算器によって画素Ｘ−ＤＥＰｉにおける輝度
の空間傾斜だけ乗算された積を発生する（乗算器４０２
１はｉ番目のセル４０ｉに関連し、乗算器４１２はｈ推
定段に共通のセル４０ｂに関連する）。この傾斜自体は
、隣接画素Ｐ、Ｐｚ　、Ｐ３．Ｐｇの輝度に作用する傾
斜計算回路４０３１によってベクトル形状（方向ｍの傾
斜及び方向ｎの傾斜）で供給される。

次いで乗算器４０２量及び４１２のベクトル出力信号は
以下に示すように処理する。この乗算器４０２１の出力
信号を重みのない巡回形フィルタに供給して水平方向の
変位り、を与えるようにする。このフィルタは減算器４
０４１及びベクトルＤ６の遅延メモリである遅延回路４
０５１を具える。遅延回路４０５１は減算器４０４１か
らの出力を受けてその負入力端子にある遅延時間後再び
供給して減算器の出力側に補正水平反復モードに従って
新たな変位ベクトルを供給し得るようにする。乗算器４
１２自体の出力信号を加算器４１４に供給し、この加算
器４１４には１ラインの遅延を生ずる回路６０の出力を
も受けて垂直反復モードに従って新たな変位ベクトルを
供給し得るようにし、前記ｌラインの遅延の目的は後述
する。

最後に、動き推定補償配置には遅延判定回路５０を設け
、その好適な例を第６図に示す。この遅延判定回路５０
は先ず最初評価回路５００を設け、これにより各画像２
ｋ及び２ｋ＋２の関連するブロックＸ−ＤＥＰｉ及びＸ
＋　ＤＥＰｉの輝度の和の１／２を取出すようにする。

この評価回路５００の出力側を並列に配設し、補正水平
反復モードに関連する分枝に対してはｎ個の減算器５０
１　（１）−５０１（Ｍ）のｎ個の各入力端子に接続し
、且つ、他の減算器５０２（垂直反復モード）の入力端
子に接続し、更に補正を行わない水平反復モードに関連
する分枝に対してはＭ個の更に他の減算器５０（１）−
５０（Ｍ）のｎ個の各入力端子に夫々接続する。カッコ
（１〜Ｍ）間の数は分類樹木の接合点を示すことは明ら
かである。

群に従ってかくして得た値を（２Ｍ＋１）個の回路５１
１（１）−５１ＨＭ）、５１２．及び５１（１）−５１
（Ｍ）で二乗し且つブロックの画素全部に対して平均化
し、これら回路の出力を３Ｍ個の加算器に供給して現ブ
ロックを形成する画素全部に対する分類誤りの和を得る
ようにする。遅延判定回路５０のその他の素子は前述し
たフランス国特許出願ＦＲ−Ａ２．５９０．７０１号明
細書の第５図につき説明した素子と殆んど同一であり、
従ってこの回路素子と同一の符号を付ける。しかし、分
類樹木の保護及び更新回路６００によってＬブロックの
現ブロックの前段の各ブロック（Ｘ　−Ｌ）に対しては
群情報Ｇ（Ｘ−Ｌ）（即ちこのブロック（Ｘ−Ｌ）が厳
密に分類されている群を示す）及び関連する変位ベクト
ル情報Ｄ（Ｘ−Ｌ）を発生するが、第４図につき説明し
た場合に対しては群情報のみをデジタル支援チャネルを
経て伝送するものである。１ラインの遅延を生ぜしめる
遅延回路である回路６０にベトクルＤ（Ｘ−Ｌ）を記憶
し、この遅延回路によってこのベクトルを１ラインの遅
延後に推定器４０に伝送する。

受信に当り、アナログチャネル６の出力側には空間サブ
サンプリング配置２及び一時サブサンプリング配置３に
夫々空間及び一時サブサンプリング信号を得るようにす
ると共にデジタル支援チャネル７の出力側はブロックの
分類群を得るようにする。アナログチャネル６の出力信
号を後置フィルタリング配置８に供給し、このフィルタ
リング８の出力信号を動き推定配置９及び一時補間配置
１２ｋ供給する。

第７図は受信側における動き推定配置９の１例を示す。

この動き推定配置９は先ず最初２個の画像メモリ９１及
び９２を設け、これらメモリは後置フィルタリング配置
８の出力側に直列に配列されると共にアナログチンネル
を経て伝送された２つの順次の画像を記憶する。メモリ
９１及び９２の各々の出力を変位計算回路９３に供給し
、この変位計算回路は前記メモリの２つの出力信号を受
けると共に走査方向においてその前のブロックの変位ベ
クトルＤ、及び前のラインに位置する空間的に隣接する
ブロックの変位ベル）０２をも受けて、３つの反復モー
ド（補正された水平方向の反復、補正されない水平方向
の反復及び垂直反復）に相当する３つのベクトル値を供
給し得るようにする。

この目的のため、変位計算回路９３には送信端に推定器
４０に設けたセルと同一形式の２個のセル９３０及び９
４０を設け、例えばセル９３０（又は９４０）には減算
器を設け、その１方の入力端子にメモリ９１及び９２の
１方の出力を供給し、他方の入力端子にメモリ９１及び
９２の他方の出力を供給し、その出力をベクトル乗算器
に供給し得るようにする。又、このベクトル乗算器には
傾斜計算回路のベクトル出力信号を供給し、この傾斜計
算回路に画像メモリ９１及び９２の出力を供給する。次
いでこのベクトル乗算器の出力信号を推定器４０におけ
る重みを有さない２つの巡回形フィルタにより処理しな
いで、第２入力端子が後述するように規定された２つの
加算器によって処理する。

３つの可能な反復モードに相当する３つの変位ベクトル
値を乗算器９４に転送し、この乗算器９４はデジタル支
援チンネル７を経て伝送された群Ｇ（×＝Ｌ）の関数と
してこの群に関連する変位ベクトルの１方を各ブロック
に対して選択して変位を考慮した２つの隣接画像の和の
１７２を発生する一時補間配置Ｉ２ｋ転送する。更にこ
の変位ベクトルは、ｌラインメモリ９５に供給してこれ
により１ライン遅延した後変位計算回路９３の変位計算
セル９４０の加算器の第２出力端子に帰還すると共にこ
の変位計算回路９３のセル９３０の加算器の第２入力端
子に直接帰還する。次いでこのセル９３０によって、？
ｉ正されない水平反復モードの場合にこの変位ベクトル
値を直接供給するか（この変位ベクトルは前のブロック
の変位ベクトルと同一である。）又は補正された水平反
復モードの場合にはこの変位ベクトル値をｄＤｉｈだけ
増大する。垂直反復モードの場合にはセル９４０によっ
てラインメモリ９５により帰還され　ｄＤ、いだけ増大
された値を供給する。

本発明は上述した例にのみ限定されるものではなく、要
旨を変更しない範囲で幾多の変形を加えることができる
。

本発明は上述したように送信時動き推定補償配置に関連
するか又は受信端に設けられた同様の動き推定補償配置
に関連するだけでなく、かかる推定補償配置を含む高品
位テレビジョン画像の伝送システムにも関連するもので
ある。特に本発明は、情報成分をチャネルの帯域幅に適
合させるために、伝送すべき情報成分の量を圧縮する処
理を行う制限された通過帯域を有するアナログチャネル
を経て画像シーケンスの伝送を行う場合のかかる画像伝
送システムにも関するものである。かかる適合は、基本
的には、情報成分の空間圧縮又は一時圧縮によって達成
し、これは上述した例では空間サブサンプリング装置２
及び一時サブサンプリン配置３によって達成している。

又、本発明は、かかる伝送システムで上述した構体を具
え、特に前述した好適例に従って動き推定補償配置を含
む送信段と、これに関連する受信段とを有している。前
述したようにかかる受信段は、後置フィルタ配置８と前
述した動き推定配置９を有する時間補間配置１２との間
に設けるようにしている。

上述した伝送システムでは動き推定補償配置の出力側か
ら伝送すべき群の情報をデジタル支援チャネルを経て受
信段に供給するようにしている。

この受信段には動き推定配置９を設けるようにしている
。しかし受信段を簡単化する必要がある場合にはこの動
き推定配置９を省略することもできる。かようにして受
信端において（ｉ送雑音の感度を減少させることができ
る。従ってデジタル支援チャネルにより伝送された情報
はもはやブロック分類群とはならず、これらブロックの
各々に対して最終的に保持された変位ベクトルとなり、
この変位ベクトルに情報を一時補間配置１２ｋ直接供給
し、従って空間後置フィルタ配置８及び動き推定配置９
を接続する導線はもはや必要でなくなる。

これがため本発明は、かくして修正した送信段及びこれ
から得た簡単な受信段並びにこれら送信及び受信段を有
する送信システムに関連するようになる。

本例の変更例では、デジタル支援チャネルにより伝送す
べきデータの量がこのチャネルの最大伝送流速よりも迅
速となる。従ってこの流速を減少させるために、伝送す
べき動きのベクトルを符号化するのが有利である。この
目的のための符号化回路としては種々のものがあり、従
ってその詳細な説明はここでは省略する。かかる回路を
選択する際の基準は、所望の流速と動きベクトルの伝送
との間の両立性及びデジタル支援チャネルの容量である
。

【図面の簡単な説明】

第１８及びｌｂ図は本発明伝送システムに含まれる主回
路配置量を示すブロック図、 第２図は補正水平反復モード、非補正水平反復モード及
び垂直反復モードにより推定される第１゜第２及び第３
群のブロックに分割し得る画像ブロック分類樹木の説明
図、 第３図は画素Ｘ−ＤＥＰｉの輝度を決める４つの画素Ｐ
Ｉ、Ｐ２．Ｐ３．Ｐ４を示す説明図、第４図は本発明動
き推定補償配置の１例を示すブロック図、 第５及び６図は第４図の動き推定補償配置の反復変位推
定器及び遅延判定回路の構成を示すブロック図、 第７図は本発明画像伝送システムの受信端に設けられた
動き推定配置の構成を示すブロック図である。 １・・・前置フィルタ配置 ２・・・空間サブサンプリング配置 ３・・・一時サブサンプリング配置 ４・・・後置フィルタ配置　５・・・動き推定配置６・
・・アナログチャネル ７・・・デジタル支援チャネル ８・・・空間後置フィルタ配置 ９・・・動き推定配置　　　１２・・・一時補間配置１
３・・・テレビジョン受像機 １０・・・画像メモリ　　　　　２０・・・画像メモリ
３０・・・画像メモリ　　　　　４０・・・反復変位推
定器５０・・・遅延判定回路　　　　６０・・弓ライン
遅延回路９１・・・画像メモリ　　　　　９２・・・画
像メモリ９３・・・変位計算回路　　　　９３０・・・
セル９４・・・乗算器　　　　　　　９５０・・・１ラ
インメモリＦＩＧ、　３ Ｘ−ＤＥＰ Ｐｌ・　　　・　１　・Ｐ２

Claims (1)

1. 【特許請求の範囲】 １、各画素の輝度をデジタル的に表示する一連の画像の
   動きを推定し、補償するに当り、各画像を、Ｉ×Ｊ個の
   画素より成るブロックに分割し、これらブロックの各々
   は、１ブロックが位置する画像ラインの行と、このｍ番
   目のラインのブロックの位置とを夫々示す２つの座標（
   ｍ、ｎ）によって規定し、 （Ａ）個別の行２ｋ、２ｋ＋１、２ｋ＋２により示され
   る画像の最初のシーケンスに３つの連続画像を保持し； （Ｂ）これらブロックを、補正された水平方向の反復に
   よって推定されるブロックと、補正されない水平方向の
   反復によって推定されるブロックと、垂直方向の反復に
   よって推定されるブロックとに分類する３つの群をこれ
   らブロックに対して規定し、これら群においては分類を
   行うために考慮する現ブロックＸに続くＬブロックに対
   し可能な群の所定数のシーケンスを試験して進行画像走
   査に従ってＬブロックの遅延により前記ブロックを分類
   し、この分類に基づく基準は１つの画像及び他の画像間
   に生じる変位を考慮して画像のシーケンス中の２つの画
   像間の輝度の差とし； （Ｃ）各分枝点にみられる３つの分枝の数から可能な群
   の数に等しく、各順次のレベル１−Ｌに結果として生ず
   る３＾Ｌ個の分枝がＬ個の連続する考察ブロックに対す
   る可能な群のシーケンスに相当するように分類樹木を形
   成し； （Ｄ）各レベルの各分枝に対して３つのパラメータを割
   当て： ａ）第１パラメータである変位ベクトルは前の画像２に
   及び次の画像２ｋ＋２に対し画像２ｋ＋１の現ブロック
   の任意の変位を表わすと共に反復的変位推定法によりブ
   ロックを表わす画素に対し計算し； ｂ）第２のパラメータである累積歪みパラメータは、ブ
   ロックの数Ｌにおいて現ブロックの概算誤りと前のブロ
   ックの概算誤りとの累積和を表わし、各概算誤りは１つ
   のブロックに対する推定変位がＬ個の後続ブロックに対
   し推定された変位に及ぼす影響を考慮して最小とし、こ
   の可能な影響は分類樹木の３＾Ｌ個の可能な分枝間で残
   存分枝と称される最小累積歪みのＭ個の分枝（Ｍは分枝
   の最大数３＾Ｌよりも小さい制限数）を除き調査せず；
   （Ｅ）走査方向におけるＬ個の連続ブロックに関しこの
   方法の終了時に、現ブロックに対しＬブロック前に位置
   するブロックの有効群に関し多数決判定を行い、この判
   定は、残存分枝を試験し、Ｌ個のブロック前に位置する
   ブロックを残存する分枝の大部分が関連する群に分類す
   ることにより行い、この判定処理を多数決判定が行われ
   ないＬ個の最後のブロックを除き同様に繰返すようにし
   たことを特徴とする一連の画像の動きを推定し補償する
   方法。 ２、数Ｌを０になるように選定し、 （Ａ）個別の行２ｋ、２ｋ＋１、２ｋ＋２で表わされる
   画像の最初のシーケンスに３つの連続画像を保持し； （Ｂ）各ブロックに対し２つのパラメータを割当て： ａ）第１のパラメータである変位ベクトルは前の画像２
   ｋ及び次の画像２ｋ＋２に対し画像２ｋ＋１の現ブロッ
   クの可能な変位を表わすと共にこのブロックの代表素子
   に対して計算し； ｂ）第２のパラメータである局部歪みパラメータは現ブ
   ロックの概算誤りを表わし； （Ｃ）これらブロックを、補正された水平向の反復によ
   って推定されるブロックと、補正されない水平方向の反
   復によって推定されるブロックと、垂直方向の反復によ
   って推定されるブロックとに分類する３つの群をこれら
   ブロックに対して規定し、これら群においては分類を行
   うために最小とする必要のある概算誤りを試験して進行
   画像走査中前記ブロックを分類し； （Ｄ）局部歪みの試験後この方法に従って現ブロックの
   有効群に関する判定を行うようにしたこと を特徴とする請求項１に記載の一連の画像の動きを推定
   し補償する方法。 ３、直列に配設され、画像のシーケンスの例えば行２ｋ
   、２ｋ＋１、２ｋ＋２により表わされる３つの各連続画
   像を永久的に記憶する第１、第２及び第３の画像メモリ
   と、これら第１及び第３の画像メモリの出力信号を受け
   て分類樹木の各延長点でこの分類樹木の接続点に対する
   変位ベクトルを更新してこれら変位ベクトルを遅延判定
   回路に供給する反復変位推定器とを具え、この遅延判定
   回路は、前記更新情報及び前記画像メモリの出力を受け
   てＬ個のブロックの現ブロックの前の各ブロックに対し
   この前のブロックが最終的に分類された群の情報及び関
   連する変位ベクトルの情報を供給することを特徴とする
   請求項１及び２の何れかの項に記載の方法を実施する一
   連の画像の動きを推定し補償する回路配置。４、前記反
   復変位推定器はＭ個の推定段を具え、各推定段は補正さ
   れた水平反復モードに従って新たな変位を計算するセル
   と、垂直反復モードに従って新たな変位を計算するセル
   とを具えることを特徴とする請求項３に記載の回路配置
   。 ５、前記遅延回路は、 （Ａ）個別の画像２ｋ及び２ｋ＋２の関連するブロック
   Ｘ−ＤＥＰ＿ｉ及びＸ＋ＤＥＰ＿ｉの輝度の和の１／２
   を評価する回路と： （Ｂ）この回路の出力側に並列に配置され、補正された
   水平反復モードに関連するＭ個の分枝及び垂直反復モー
   ドに関連する分枝並びに補正されない水平反復モードに
   関連するＭ個の分枝に夫々対応する（２Ｍ＋１）個の減
   算器及びその後段の直列配置の（２Ｍ＋１）個の二乗回
   路と； （Ｃ）出力信号が前記分類樹木の分枝の累積歪みを表わ
   す３Ｍ個の加算器と； （Ｄ）この３Ｍ個の加算器の出力信号の選択回路と； （Ｅ）前記分類樹木を保持し、更新する回路とを具える
   ことを特徴とする請求項４に 記載の回路配置。 ６、伝送すべき情報成分の量に対し圧縮処理を施して通
   過帯域に適合させるための制限通過帯域を有するチャネ
   ルを用い、少なくとも１個の送信段及び受信段を具え、
   この送信段に請求項３〜５の何れかの項に記載の動きを
   推定し、補償する回路配置を設けるようにしたことを特
   徴とする画像伝送システム。 ７、前記送信段及び受信段は少なくとも１個の空間サブ
   サンプリング配置及び一時サブサンプリング配置を夫々
   具えると共に少なくとも空間後置フィルタ配置及び一時
   補間配置を具え、Ｌ個のブロックのうちの現ブロックの
   前のブロックが最終的に分類される群の情報を供給する
   動き推定補償回路配置の出力側を群情報の伝送を行うデ
   ジタル支援チャネルに結合するようにしたことを特徴と
   する請求項６に記載の画像伝送システム。 ８、前記受信段は、空間後置フィルタ配置及び一時補間
   配置間のリンクに並列に接続され、前記デジタル支援チ
   ャネルの出力側にも接続され、空間後置フィルタ配置の
   出力側に直列に配設された第１及び第２画像メモリを有
   する動き推定配置と、２つの画像メモリの各々の出力を
   受け、補正された水平反復、補正されない水平反復及び
   垂直反復を夫々表わす第１、第２及び第３反復モードに
   夫々対応する３つの変位ベクトルを供給する変位計算回
   路と、前記デジタル支援チャネルの出力情報に関連する
   変位ベクトルの１つを各ブロックに対して選択してこの
   ベクトルを一時補間配置に転送する乗算器又はスイッチ
   ング回路とを具えることを特徴とする請求項７に記載の
   画像伝送システム。 ９、前記送信段及び受信段は、少なくとも空間サブサン
   プリング配置及び一時サブサンプリング配置を夫々具え
   ると共に少なくとも空間後置フィルタ配置及び一時補間
   配置を具え、判定後に最終的に得られた変位ベクトルの
   情報を供給する動き推定補償回路の出力側を変位ベクト
   ル情報の伝送を行うデジタル支援チャネルに結合するよ
   うにしたことを特徴とする請求項６に記載の画像伝送シ
   ステム。 １０、伝送すべき情報を構成するデータ速度を圧縮する
   符号化回路を、前記送信段の前記動き推定補償回路配置
   の出力側と前記デジタル支援チャネルの入力側との間に
   設けるようにしたことを特徴とする請求項９に記載の画
   像伝送システム。 １１、前記受信段において、前記一時補間配置は、最終
   的に得られた変位ベトクルにより構成されたデジタル支
   援チャネルの出力情報を直接受けるようにしたことを特
   徴とする請求項９及び１０の何れかの項に記載の画像伝
   送システム。 １２、請求項６〜１１の何れかの項に記載の画像伝送シ
   ステムに用いる送信段。 １３、請求項６〜１１の何れかの項に記載の画像伝送シ
   ステムに用いる受信段。