JPH04227184A - 動きベクトル評価装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明はビデオ画像における動き
ベクトル評価装置、特に標準変換方式に対する動きベク
トル評価装置に関するものである。

【０００２】

【従来の技術】動きベクトルは例えば２つの入力フィー
ルド間に内挿すべきフィールドに占められるビデオ画像
の１部分（一般に極めて僅かの部分）の位置を推定する
ために用いる。この場合の処理は送信端および／または
受信端で行うことができ、画像の１部分（ここではブロ
ックと称する）はできるだけ小さな単一画素とするか、
または互いに隣接する複数の画素とすることができる。 一般に、所定のブロックに対しては、推定ベクトル、例
えば、前のブロックからの動きベクトルを設け、第２フ
ィールドの推定区域を中心とする探索を行って第１フィ
ールドのブロックの画素値に対する第２フィールドの１
ブロック全体の画素値の最良の整合を見いだし得るよう
にする。成分に基づく反復を有するかかるシステムはＩ
ＥＥＥ，ＳＭＰＴＥ等のスポンサーによるプロシーディ
ングス　　オブ　　ザ　　サード　　インターナショナ
ル　　ワークシップ　　オン　　ＨＤＴＶ、１９８９年
、トリノにおいてヘラルド　　デ　　ハーンおよびハン
ク　　ホイヘンが発表した文献“ニュー　　アルゴリズ
ム　　フォー　　モーション　　エスティメイション”
に記載されている。

【０００３】

【発明が解決しようとする課題】また、この文献には２
次元コンバージェンス構成をも含まれている。この文献
の内容を以下に詳細に示し、上記システムは制限された
探索区域を有し、安定な推定値を得るように提案されて
いるがコンバージェンス速度は改善させることができる
。

【０００４】本発明の目的は既知のシステムの安定性は
維持するがコンバージェンスの速度は増大し得るように
した上述した種類の動きベクトル評価装置を提供せんと
するにある。

【０００５】

【課題を解決するための手段】本発明は所定フィールド
のブロックの画素値を、この所定フィールドの関連する
ブロックに対して、出力動きベクトルの成分を構成する
ｘおよびｙ値だけシフトされた前のフィールドのブロッ
クの画素値に整合するブロック整合動きベクトル評価装
置であって、推定ベクトルを構成する遅延出力動きベク
トルを形成する遅延素子と、この遅延素子に接続され、
前記推定ベクトルに僅かなインクレメントを加えて少な
くとも第１および第２候補動きベクトルを発生する候補
動きベクトル発生器と、これら候補動きベクトルから出
力動きベクトルを選択する選択回路とを具える動きベク
トル評価装置において、前記候補動きベクトル発生器は
第１インクレメントを前記推定動きベクトルに第１の選
択方向に追加するとともに前記第１のインクレメントと
は異なる値を有する第２のインクレメントを前記推定動
きベクトルに第２の選択方向に追加するようにしたこと
を特徴とする。

【０００６】

【作用】かかる手段によれば、大きな更新長さ、即ち、
正しい値に対する迅速なコンバージェンスと、短い更新
長さ、即ち、正確かつ安定な結果とを、画素当たりの作
動数を増大させることなく、１つの推定器で合成させ得
る利点がある。

【０００７】

【実施例】本発明および上記文献の動きベクトル推定方
法を実施するに好適な動きベクトル推定器の基本ブロッ
ク図を図１に示す。

【０００８】図１において内挿入力信号を低域通過フィ
ルタ１０でフィルタ処理する。この低域通過フィルタ１
０の出力信号をフィールド遅延素子１２および最良の整
合を決定する段１４に供給する。この最良整合決定段１
４の出力はベクトルまたはベクトル成分であり、これに
より第１および第２フィールドにおけるブロックの画素
値の最良の整合を得るようにする。例えばこの最良の整
合は、全ブロックに亘る画素値または同様の基準で取出
した最低平均二乗誤差を比較する際、最小平均絶対値の
差を生ぜしめる整合とすることができる。また、図１に
示すように最良の整合を生ぜしめるベクトルまたはベク
トル成分を遅延素子１６を経てフィードバックし次のブ
ロックに対する推定プログラムを構成し得るようにする
。既知の回路では、最良の整合を決定する探索を推定位
置から＋ｘおよび−ｘ方向並びに＋ｙおよび−ｙ方向に
等距離に位置する４つのブロックに対して行う。換言す
れば、候補動きベクトルＤｉは次表により規定すること
ができる。

【０００９】 表１ Ｄｉ１＝Ｄｉ−１＋Ｌ＊ｘｕ Ｄｉ２＝Ｄｉ−１＋Ｌ＊ｘｕ Ｄｉ３＝Ｄｉ−１＋Ｌ＊ｙｕ Ｄｉ４＝Ｄｉ−１＋Ｌ＊ｙｕ Ｄｉ−１＝遅延素子１６により得られた推定ベクトルｘ
ｕ＝ｘ軸の単位ベクトル ｙｕ＝ｙ軸の単位ベクトル Ｌ＝更新長さ（整数値）

【００１０】エラー値は例えば前記平均絶対値の差（Ｍ
ＡＤ）規準を用いるこれら候補ベクトルに割当てるよう
にする。 誤差（Ｄｉ）＝ＭＡＤ＝ΣｘΣｙ｜ｓｋ（ｘ）−ｓｋ−
１（ｘ−ｄｉ）｜また、平均二乗誤差（ＭＳＥ）規準 誤差（Ｄｉ）＝ＭＳＥ−ΣｘΣｙ（ｓｋ（ｘ）−ｓｋ−
１（ｘ−ｄｉ））２ここにｓｋ（ｘ）：位置ｘにおける
現在のフィールドの信号値ｓｋ−１（ｘ）：位置ｘにお
ける前のフィールドの信号値ｘおよびｙ：それぞれ水平
および垂直ブロックの大きさ

【００１１】候補ベクトル計算段１８により得た候補動
きベクトルＤｉの各々に対して、従って例えば平均絶対
値の差または平均二乗誤差は、候補動きベクトルに従っ
て推移された到来データの位置および到来ブロックの画
素値に対応する位置においてブロックの画素値間で計算
する。誤差の計算および計算された誤差の決定は段１４
に生じた最小値とする。

【００１２】最小誤差を発生する動きベクトルは信号処
理段２０で低域通過フィルタ処理する。既知のシステム
は＋ｘおよび−ｘ方向並びに＋ｙおよび−ｙ方向におけ
る対称更新を考慮すること明らかである。

【００１３】上記文献では、個別のコンバージェンス方
向を用いることが示唆されている。ここに云うコンバー
ジェンス方向とは１ブロックの出力に関連するベクトル
を他のブロックに対する推定ベクトルとして用いる方向
であると規定する。画素の各ブロックは図２に示すよう
に２つのサブサンプルブロックに細分割する。第１のサ
ブサンプルされたブロックは１で表わされるサンプルの
みを示し、かつ、第２のサブサンプルされたブロックは
２で表わされるサンプルを示す。これがため、画素当た
りの作動の総数は不変の儘であるが、２つのサブサンプ
ルされたブロックに対するコンバージェンス方向は相違
する。従って最小のブロックエラーを発生する合成ベク
トルは完全なブロックに対して割当てられる。かように
２つのサブサンプルブロックを用いることは、図１の回
路が１サンプルに対して１つの配列および２サンプルに
対して１つの配列を重複させることを意味する。次の記
載においてはこの可能な変更を無視する。

【００１４】本発明の原理によれば、候補ベクトル計算
段１８において、少なくとも１つの候補ベクトルＤｉの
更新長さＬを少なくとも１つの他の候補ベクトルの更新
長さとは相違させる。

【００１５】本発明動きベクトル評価装置の１例では、
２つの非対称更新群を設け、これらを変換ラインに沿っ
て奇数および偶数ブロックに対して相違させるのが好適
である。好適には、第２の更新群を第１の更新群のミラ
ー像とする。これを次の表２で示すように表わす。

【００１６】 表２ Ｄｉ１ｏ＝Ｄｉ−１＋Ｌ１＊ｘｕ Ｄｉ２ｏ＝Ｄｉ−１−Ｌ２＊ｘｕ Ｄｉ３ｏ＝Ｄｉ−１＋Ｌ１＊ｙｕ Ｄｉ４ｏ＝Ｄｉ−１−Ｌ２＊ｙｕ Ｄｉ１ｅ＝Ｄｉ−１＋Ｌ１＊ｘｕ Ｄｉ２ｅ＝Ｄｉ−１−Ｌ２＊ｘｕ Ｄｉ３ｅ＝Ｄｉ−１＋Ｌ１＊ｙｕ Ｄｉ４ｅ＝Ｄｉ−１−Ｌ２＊ｙｕ Ｄｉｏ＝奇数ブロックに対する候補ベクトルＤｉｅ＝偶
数ブロックに対する候補ベクトルＤｉ−１＝遅延装置に
より得られた推定ベクトルｘｕ＝ｘ軸の単位ベクトル ｙｕ＝ｙ軸の単位ベクトル Ｌｎ＝更新長さ（整数値） 例えばＬ１は小さく（例えば、１）、Ｌ２は大きく（例
えば、３）することができる。

【００１７】所定値に対し得られた探索区域を図３に示
し、奇数番目のブロックに対する探索区域をＡで示し、
偶数番目のブロックに対する探索区域をＢで示す。上記
表によれば現在の好適な実施例を得ることができる。し
かし、単位ベクトルｘｕおよびｙｕは互いに直角とする
必要はなく、Ｌ２ファクタを有する候補ベクトルをＬ１
ファクタを有する候補ベクトルに対し１８０゜とする必
要もない。

【００１８】更に、ｘおよびｙ方向における更新長さを
等しくしないようにする。図３に示す探索戦略はいまだ
適用し、種々の単位ベクトルがｘおよびｙ方向にそれぞ
れ用いられるものとする。例えば、単位ベクトルはｘ方
向に１画素距離を有し、ｙ方向に２画素距離を有する。

【００１９】本発明動きベクトル評価装置の概略を図４
に示す。本例でも図１に示す所と同様の低域通過フィル
タ１０およびフィールド遅延装置１２を用いる。しかし
、図４のブロック１８に対応するブロック１８’は４つ
のブロックＤｉ１，Ｄｉ２，Ｄｉ３およびＤｉ４の代わ
りに、８つのブロック、即ち、奇数および偶数ブロック
、特に図１のブロックの各々に対し異なる他の遅延素子
を具える。

【００２０】図５につき詳細に示すように、奇数番目の
ブロックに対し図３Ａに示す探索パターンから取出した
画素値は図４のブロック１８’の出力側に“０”で示す
ラインに現われる。これらのラインをマルチプレクサ４
０に接続して供給し、このマルチプレクサによって、端
子４２に供給される信号の制御のもとで、奇数ブロック
に対しては“ｏ“入力を選択し、偶数ブロックに対して
は“ｅ”入力を選択する。これがため、ブロック１８’
の“ｏ”出力側のこれら信号はライン４４ａ−４４ｄに
現れ、次いで端子１５で最良に整合したブロック１４に
供給される信号の現在値と比較する。従来技術の場合の
ように、ライン４４ａ−４４ｄを経て供給される画素値
と端子１５に供給される画素値との絶対差を決め、最小
の差で画素値を発生する方向を出力ベクトルとして選択
し、次のブロックに対しては推定ベクトルとして選択す
る。ブロック１８’にｏおよびｅで示すように奇数およ
び偶数ブロックはコンバージェンス方向に交互のブロッ
クで示す。

【００２１】動き推定の最大の問題の１つは可動格子ド
アのような可動周期構体を有する物体の実際の動きを示
す動きベクトルを得る必要があることである。画像にお
いて格子ドアのバーが例えば一方から他方に１４画素位
置する場合には＋６画素の動きベクトルが−８画素の動
きベクトルにできるだけ近付くことは明らかである。し
かし、これらの動きベクトルは、これを用いて２つの現
在の画像間の中間画像を補間する場合には真の動きを示
すベクトルを有するのが重要である。

【００２２】本発明の次の例では、構体が明確な境界を
有する場合に周期的な構体の性能を改善することができ
る。アルゴリズムが可動（周期的）物体の境界でコンバ
ージェンスを開始するにつれて、改善された空間調和の
とれた動き推定アルゴリズムを保証し、従ってこの境界
でのコンバージェンス後、他のベクトルを選択しない。 この改善された空間調和は更新長さに依存する候補ベク
トルの選択に“ペナルティ”を加えることによって達成
することができる。かかるペナルティとは候補ベクトル
の整合エラーに或る量をブロック１４によって加えるこ
とにある。例えば、推定ベクトル自体は整合エラーでペ
ナルティを受けず、長さ１の小さな水平更新は１０ユニ
ットのペナルティを受け、長さ５の大きな水平更新は５
０ユニットのペナルティを受け、長さ２の垂直更新は２
０ユニットのペナルティを受ける。ヨーロッパ特許出願
ＥＰ−Ａ　０，４１５，４９１号に記載されているよう
に、前のフィールドからの一時的な候補ベクトルをも用
いる場合には、かかる一時的な候補ベクトルは１０ユニ
ットのペナルティを受ける。これらのユニットは８ビッ
トの輝度量子化を有する１６画素のブロックにおいて１
６×２５５＝４０８０ユニットの最大値を有する整合エ
ラーに関連する。

【００２３】上述した例では更新長さおよび／またはペ
ナルティは空間周波数に依存する。高度にディテールな
区域においては短い更新が好適である。特に、水平傾度
を用いて水平更新長さおよび／またはこれに課せられる
ペナルティを制御し、かつ垂直傾度を用いて垂直更新長
さおよび／またはこれに課せられるペナルティを制御し
て、ディテール区域において、選択するために大きな更
新長さを有する候補ベクトルは短い更新長さを有する候
補ベクトルよりも充分低い整合エラーを有する。ディテ
ールの量を決めるために、２つの隣接画素間の差の絶対
値を各々８画素毎に一回決めるようにする。次いで、か
くして得た絶対差を巡回フィルタに供給して雑音を減少
し、ディテール区域が或る最小程度以上となる際のみ動
き推定器の特性に影響を与えるようにする。

【００２４】ブロック１８のボックスＤｉ１ｏ−Ｄｉ４
ｅの各々内の作動を図５にさらに詳細に示す。図５にお
いて、アドレス計数器５２により発生する書込みアドレ
スの制御のもとで、ビデオ情報をＦＩＦＯ５１を経てＲ
ＡＭ５０に格納する。ＦＩＦＯ５１はＲＡＭ５０の寸法
を最小とするために挿入するとともに整数ラインから後
述するオフセット値Ｋを差し引いた値に等しい１フィー
ルド遅延の遅延素子を設ける。次いでＲＡＭ５０内に格
納したビデオ情報の各ブロックに対し、所定ブロックに
対する４つの関連する探索位置における画素値がＲＡＭ
５０の出力５４に現れるように補正読出しアドレスを発
生させる必要がある。この目的のため、加算器５６によ
って、動きベクトルの最大ｘ値と、最大候補動きベクト
ルを考慮し、ライン当たりの画素の数（画素／ライン）
で乗算され、書込みアドレスおよび読出しアドレス間の
最小所望オフセットをカバーするために選択された動き
ベクトル最大ｙ値との和に等しいオフセット値Ｋを加算
する。ＦＩＦＯ５１を省略する場合には、オフセット値
Ｋはラインの整数のフィールド遅延に対応させる必要が
ある。この和には加算器５８において推定ベクトルのｘ
成分およびｙ成分を代数的に加算する。従ってこの加算
器５８の出力側には推定ベクトルＰからの読出しアドレ
スが現われる。このアドレス値は奇数番目のブロックに
対しては図３の部分Ａ、偶数番目のブロックに対しては
図３の部分Ｂに示すように増大させる必要がある。これ
がため、加算段５８の出力は加算器６０の一方の入力端
子に供給し、この加算器の他方の入力端子にはマルチプ
レクサ６２の出力を供給する。このマルチプレクサ６２
は奇数番目のブロック（ｏ）および偶数番目のブロック
（ｅ）に対して切換わるようにする。奇数番目のブロッ
クに対してはマルチプレクサ６２はマルチプレクサ６４
の出力を加算器６０の第２入力端子に供給する。これら
の出力は、ｘ方向における負の単位ベクトルの更新長さ
Ｌ１倍、ｘ方向における正の単位ベクトルの更新長さＬ
２倍、ｙ方向における負の単位ベクトルの更新長さＬ１
倍およびｙ方向における正の単位ベクトルの更新長さＬ
２倍である。ｙ方向における単位ベクトルはライン当た
りの画素の数（画素／ライン）に等しい。

【００２５】偶数ブロックに対しマルチプレクサ６２お
よび６６を経て加算器６０に供給される第２入力は、負
の方向における単位ｘベクトルの更新長さＬ２倍、ｘ方
向における単位ベクトルの更新長さＬ１倍、負の方向に
おける単位ｙベクトルの更新長さＬ２倍およびｙ方向に
おける単位ベクトルの更新長さＬ１倍である。

【００２６】これがため、加算器６０の出力はＲＡＭ５
０に対する補正された読出しアドレスとなる。ライン５
４に結果として現われる値は整合決定段１４’における
ライン６８の現在の値と比較し、その最小差によってそ
の結果のベクトルを他の処理段２０および遅延素子１６
に出力する。

【００２７】上述した非対称探索方法は図２に示すサブ
サンプリングと組み合わせることができる。特に、所定
方向の変換に対して各サブサンプリングされたブロック
に対し上述した非対称探索対策を改善することができる
。

【００２８】本発明は明瞭のため特定の例に容易に組合
わせ得る或る段を個別に示した特定の例について説明し
た。その一例が加算段５８および５６である。また、種
々のマルチプレクサも種々の異なる手段で実現すること
ができる。本発明の重要な点は探索案を非対称とする点
であり、これはブロックを選択することであり、好適に
はコンバーゼンスラインに沿う奇数ブロックおよび偶数
ブロックが異なる探索パターンを有し、これにより、安
定であるが緩慢なコンバージェンスシステムの利点と、
急速なコンバージェンスの利点とを組合わせることがで
きる。

【図面の簡単な説明】

【図１】ベクトル推定器の構成を示すブロック図である
。

【図２】個別のコンバージェンス方向に沿う推定を行う
既知の方法を示す説明図である。

【図３】本発明動きベクトル評価装置による非対称探索
区域を示す説明図である。

【図４】本発明による非対称探索戦略を実行する装置の
構成を示すブロック回路図である。

【図５】図４の装置の構成を更に詳細に示すブロック回
路図である。

【符号の説明】

１０　　低域通過フィルタ １２　　フィールド遅延素子 １４　　最良の整合決定段 １４’整合決定段 １５　　端子 １６　　遅延素子 １８　　候補ベクトル計算段 １８’候補ベクトル計算段 ２０　　信号処理段 ４０　　マルチプレクサ ４２　　端子 ４４ａ〜４４ｄ　　ライン ５０　　ＲＡＭ ５１　　ＦＩＦＯ ５２　　アドレス計数器 ５４　　出力ライン ５６　　加算段 ５８　　加算段 ６０　　加算器 ６２　　マルチプレクサ ６４　　マルチプレクサ ６６　　マルチプレクサ ６８　　ライン

Claims (9)

【特許請求の範囲】
1. 【請求項１】　　所定フィールドのブロックの画素値を
   、この所定フィールドの関連するブロックに対して、出
   力動きベクトルの成分を構成するｘおよびｙ値だけシフ
   トされた前のフィールドのブロックの画素値に整合する
   ブロック整合動きベクトル評価装置であって、推定ベク
   トルを構成する遅延出力動きベクトルを形成する遅延素
   子と、この遅延素子に接続され、前記推定ベクトルに僅
   かなインクレメントを加えて少なくとも第１および第２
   候補動きベクトルを発生する候補動きベクトル発生器と
   、これら候補動きベクトルから出力動きベクトルを選択
   する選択回路とを具える動きベクトル評価装置において
   、前記候補動きベクトル発生器は第１インクレメントを
   前記推定動きベクトルに第１の選択方向に追加するとと
   もに前記第１のインクレメントとは異なる値を有する第
   ２のインクレメントを前記推定動きベクトルに第２の選
   択方向に追加するようにしたことを特徴とする動きベク
   トル評価装置。
2. 【請求項２】　　前記候補動きベクトル発生器は更に第
   ３のインクレメントを第３の選択方向に、前記第３のイ
   ンクレメントとは異なる値を有する第４のインクレメン
   トを第４の選択方向にそれぞれ加えて、第３および第４
   の候補動きベクトルを発生させるようにしたことを特徴
   とする請求項１に記載の動きベクトル評価装置。
3. 【請求項３】　　前記第１および第３のインクレメント
   を等しくしたことを特徴とする請求項２に記載の動きベ
   クトル評価装置。
4. 【請求項４】　　前記第２および第４のインクレメント
   を等しくしたことを特徴とする請求項２または３に記載
   の動きベクトル評価装置。
5. 【請求項５】　　前記候補動きベクトル発生器によって
   前記ブロックの第１の選択されたブロックに対し前記第
   １および第２のインクレメントの方向を反転させるよう
   にしたことを特徴とする請求項１または２に記載の動き
   ベクトル評価装置。
6. 【請求項６】　　前記候補動きベクトル発生器によって
   前記ブロックの第２の選択されたブロックに対し前記第
   ３および第４のインクレメントの方向を反転させるよう
   にしたことを特徴とする請求項２または５に記載の動き
   ベクトル評価装置。
7. 【請求項７】　　前記ブロックのうちの第１および第２
   の選択されたブロックは集束方向に交互のブロックとし
   たことを特徴とする請求項５または６に記載の動きベク
   トル評価装置。
8. 【請求項８】　　前記選択回路は前記候補動きベクトル
   の各々に対し整合エラーを決定する手段と、最低の整合
   エラーを有する候補動きベクトルを選択する手段とを具
   え、前記決定手段によって前記候補動きベクトルのイン
   クレメントの長さに依存し前記整合エラーにペナルティ
   を加えるようにしたことを特徴とする請求項１に記載の
   動きベクトル評価装置。
9. 【請求項９】　　前記インクレメント長さおよび／また
   はペナルティは前記所定フィールドの空間内容に依存す
   るようにしたことを特徴とする請求項８に記載の動きベ
   クトル評価装置。