JPH06326976A

JPH06326976A - 動き補償ビデオ信号処理方式

Info

Publication number: JPH06326976A
Application number: JP6066297A
Authority: JP
Inventors: James E Burns; エドワードバーンズジェームズ; Morgan W A David; ウィリアムエイモスデビッドモーガン; Martin R Dorricott; レックスドリコットマーチン
Original assignee: Sony United Kingdom Ltd
Current assignee: Sony Europe BV United Kingdom Branch
Priority date: 1993-04-08
Filing date: 1994-04-04
Publication date: 1994-11-25
Also published as: GB2277000A; GB9307410D0; GB9707521D0; US5485224A; GB2309350B; GB2309350A; GB2277000B

Abstract

(57)【要約】【目的】多くの計算を行う複雑な処理装置を必要とし
ない動き補償ビデオ信号処理方式を得ること。【構成】入力映像対の一方内のサーチブロックを、入
力映像対の他方内の、複数ブロックより成る各サーチ区
域と比較して、各々が夫々のサーチブロックとサーチ区
域間の相関を表す相関値のアレイを含む第１の複数の原
相関面を発生する手段１９０と、原相関面から補間によ
り第２の複数の補間相関面を発生する手段２００と、補
間相関面における最大相関点に応じて、各補間相関面か
ら夫々動きベクトルを発生する手段２１０とを設ける。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、動き補償ビデオ信号処
理方式（装置及び方法）に関するものである。

【０００２】

【従来の技術】動き補償ビデオ信号処理は、テレビジョ
ン方式変換、フィルム方式変換及びビデオ−フィルム方
式変換などに使用されている。英国公開特許出願ＧＢ−
Ａ−２２３１７４９号に記載の如き動き補償テレビジョ
ン方式変換器では、連続する入力映像の対は、それらの
映像対の間の映像の動きを表す動きベクトルの組を発生
するように処理される。該処理は映像の別々のブロック
について行われるので、各動きベクトルは、夫々のブロ
ックの内容の映像間の動きを表す。

【０００３】動きベクトルの各組はそれから、各ブロッ
クに対する動きベクトルの組の部分集合（サブセット）
を導出する動きベクトル削減器に供給される。該サブセ
ットはそれから、動きベクトルのサブセットの１つを各
映像ブロックにおける各画素（ピクセル）に割当てる動
きベクトル選択器に送られる。各ピクセルに対し選択さ
れた動きベクトルは、入力映像間の動きを考慮に入れて
入力映像から出力映像を補間する動き補償補間器に供給
される。

【０００４】上述の如き動き補償ビデオ信号処理は、入
力映像の各対に対する動きベクトルを発生し処理するの
に必要な極めて多くの計算を行う強力で複雑な処理装置
を必要とする。これは、映像が高精細度フォーマットで
ある場合、又は入力ビデオ信号に対して実時間で出力ビ
デオ信号を生じるような処理を行う場合に、特に当ては
まる。この場合、各出力映像に対する動きベクトルの組
を使用可能な時間（例えば、出力フィールド期間）内に
発生するために、同じ装置の多数の組を並列に動作させ
ることになる。

【０００５】

【発明が解決しようとする課題】本発明の課題は、上述
の点を改良した動き補償ビデオ信号処理方式を提供する
ことである。

【０００６】

【課題を解決するための手段及び作用】本発明の動き補
償ビデオ信号処理装置は、入力ビデオ信号の入力映像対
間の映像の動きを表す動きベクトルを発生するものであ
って、上記入力映像対の一方の中のサーチブロックを、
該入力映像対の他方の中の、複数のブロックより成る夫
々のサーチ区域と比較して、各々が、上記夫々のサーチ
ブロック及びサーチ区域間の相関を表す相関値のアレイ
より成る、第１の複数の原相関面を発生する手段と、上
記の原相関面から補間によって第２の複数の補間された
相関面を発生する手段と、上記の補間された相関面にお
ける最大相関点に応じて、各補間された相関面から夫々
の動きベクトルを発生する手段とを具える。

【０００７】上述のように、動き補償ビデオ信号処理に
は、ビデオ信号処理装置の大きな処理能力が必要であ
る。本発明は、相関面を発生するのに用いるブロック突
合せ処理に特に要求が多く、これらの要求を、複数の原
（ブロック突合せをした）相関面から補間された相関面
より動きベクトルを発生することにより、緩和できるこ
とを見出したものである。これにより、動きベクトルを
実時間で発生するための並列処理の必要がなくなるか又
は軽減され、ひいては装置の複雑さ（並びにこれに対応
するコスト及び大きさ）が減少する。

【０００８】原相関面は、相関が増すにつれ値が増す相
関値を有するが、好適な具体例では、各原相関面は、夫
々のサーチブロック及びサーチ区域間の内容の差を表す
相関値のアレイより成る。

【０００９】相関値は、サーチブロック及びサーチ区域
間の輝度内容の差を表すのがよい。

【００１０】動きベクトルを発生する手段は、サーチブ
ロック及びサーチ区域間の最小差を示す相関値を検出す
る手段を含むのがよい。

【００１１】第２の複数は第１の複数より大きいのがよ
い。こうすると、装置のデータ処理装置を、ブロック突
合せにより発生される少数の相関面から補間によって動
きベクトル推定に用いる多数の相関面を発生することに
より、大幅に減らすことができる。

【００１２】好適な具体構成では、第１の複数の原相関
面は、原相関面の四角いアレイより成り、この四角いア
レイ内の各原相関面の位置は、夫々の入力映像内の対応
するサーチブロックの位置によって決まる。第２の複数
の補間された相関面は、補間された相関面の四角いアレ
イより成る。

【００１３】各補間された相関面が相関値のアレイより
成る場合に、多くの局部的な相関の最大点を見分け易く
するために、装置は、各補間された相関面における相関
値に該相関値のアレイ内の位置に応じた重み付け（加
重）値を乗じて、加重された相関値のアレイより成る加
重補間された相関面を発生する手段と、加重相関面にお
ける最大相関点を示す加重相関値に応じて、加重補間さ
れた相関面から動きベクトルを発生する手段とを具える
のがよい。

【００１４】動きベクトル推定過程において、各最大相
関点について確認テストを行い、当該点が相関面の残部
にわたって有効な相関の最大を表すかどうかを決める。
以前に、（加重されない）相関面が多くの明瞭な局部最
小点（相関最大点）を含む場合でも、映像の動きのゼロ
を示す点に近い相関最大点に重きをおき、有効な動きベ
クトル（即ち、確認テストに合格したもの）の発生を助
けるために、可変加重関数を足して相関面を「重み付
け」すべきである、と提案されたことがある。

【００１５】本発明は、他の面からみて、入力ビデオ信
号の入力映像対間の映像の動きを表す動きベクトルを発
生する動き補償ビデオ信号処理装置であって、入力映像
対の一方の中のサーチブロックを、該入力映像対の他方
の中の、複数のブロックより成る夫々のサーチ区域と比
較して、上記サーチブロック及び上記サーチ区域間の相
関を表す相関値のアレイより成る相関面を発生する手段
と、各相関値に、上記アレイ内の上記相関値の位置に応
じた加重値を乗じ、加重された相関値のアレイより成る
加重された相関面を発生する手段と、上記加重された相
関面内の最大相関点を示す加重された相関値に応じて、
上記加重された相関面から動きベクトルを発生する手段
とを具える装置を提供する。

【００１６】この第２の面では、本発明は、加重関数を
加算して使用すると、相関面の平均レベルに応じて種々
異なる結果が得られることを見出している。これらの差
を解消するため、本発明は、相関面の平均レベルに応じ
て加重効果が変化する如き乗算する加重関数を与えてい
る。

【００１７】相関面において間違った最小点の発生を回
避するため、加重値はすべてゼロでないのがよい。

【００１８】加重値は、相関値のアレイ内の所定点から
の距離が増すに従って単調に増加するものがよい。

【００１９】好適な具体構成では、上記の所定点は映像
の動きがゼロであることを示す点である。

【００２０】所定点からの距離の線形関数のような種々
の増加関数を使用できるが、加重値は、所定点からの距
離の平方根に比例して増加するものがよい。

【００２１】好適な具体構成では、装置は、各動きベク
トルに対し、加重された相関面内の検出された最大相関
点がその加重された相関面内で有効な最大相関を表すか
どうかを決める所定の確認テストを行う手段を具える。

【００２２】本発明装置は、入力映像対から発生された
動きベクトルに従って出力ビデオ信号の出力映像を補間
する動き補償補間器を具えるのがよい。本発明による動
き補償ビデオ信号処理装置は、動き補償テレビジョン方
式変換器に用いて特に好適である。

【００２３】本発明は、第３の面からみて、次の如きス
テップを含む動き補償ビデオ信号処理方法を提供する。
即ち、入力映像対の一方の中のサーチブロックを、該入
力映像対の他方の中の、複数のブロックより成る夫々の
サーチ区域と比較して、各々が、上記夫々のサーチブロ
ック及びサーチ区域間の相関を表す相関値のアレイより
成る、第１の複数の原相関面を発生するステップ、上記
の原相関面からの補間により第２の複数の補間された相
関面を発生するステップ、上記補間された相関面内の最
大相関点に応じて、各補間相関面から夫々の動きベクト
ルを発生するステップ。

【００２４】本発明は、第４の面からみて、次の如きス
テップを含む動き補償ビデオ信号処理方法を提供する。
即ち、入力映像対の一方の中のサーチブロックを、該入
力映像対の他方の中の、複数のブロックより成る夫々の
サーチ区域と比較して、上記サーチブロック及び上記サ
ーチ区域間の相関を表す相関値のアレイより成る相関面
を発生するステップ、上記アレイ内の上記相関値の位置
に応じた加重値を各相関値に乗じて、加重された相関値
のアレイを有する加重された相関面を発生するステッ
プ、上記加重された相関面内の最大相関点を示す加重相
関値に応じて、上記加重相関面から動きベクトルを発生
するステップ。

【００２５】

【実施例】以下、図面により本発明を具体的に説明す
る。図１は、本発明を用いた動き補償テレビジョン方式
変換装置を示すブロック図である。この装置は、飛越し
デジタルビデオ信号５０（例えば、１１２５／６０，
２：１高品位ビデオ信号（ＨＤＶＳ））を入力として受
信し、飛越しデジタルビデオ信号６０（例えば、１２５
０／５０，２：１ＨＤＶＳ）を出力として発生する。

【００２６】入力ビデオ信号５０はまず、入力バッファ
／パッカー１１０に供給される。通常の精細度の入力信
号の場合、入力バッファ／パッカー１１０は映像データ
を高品位（１６：９縦横比）フォーマットにフォーマッ
ト変換し、必要に応じて黒ピクセルを入れる。ＨＤＴＶ
入力の場合、入力バッファ／パッカー１１０は単にデー
タを一時記憶するだけである。データは入力バッファ／
パッカー１１０からマトリクス回路１２０に送られ、そ
こで（必要に応じ）入力ビデオ信号のフォーマットが標
準「ＣＣＩＲ勧告６０１」（Ｙ，Ｃｒ，Ｃｂ）フォーマ
ットに変換される。

【００２７】入力ビデオ信号は、マトリクス回路１２０
からタイムベース変換（ＴＢＣ）及び遅延回路１３０に
送られると共に、サブサンプラー１７０を介してＴＢＣ
及び遅延回路１８０に送られる。ＴＢＣ及び遅延回路１
３０は、出力ビデオ信号の各フィールドの時間的位置を
決め、当該出力フィールドに時間的に最も近い入力ビデ
オ信号の２フィールドを、当該出力フィールドの補間に
使うために選択する。出力ビデオ信号の各フィールドに
対し、ＴＢＣ及び遅延回路１３０により選択された２入
力フィールドは、適正に遅延されてから補間器１４０に
送られ、そこで出力フィールドが補間される。選択され
た２入力フィールドに対する各出力フィールドの時間的
位置を示す制御信号ｔが、ＴＢＣ及び遅延回路１３０か
ら補間器１４０に供給される。

【００２８】サブサンプルされたタイムベース変換（Ｔ
ＢＣ）及び遅延回路１８０も、同様な動作をするが、た
だ、サブサンプラー１７０から供給された空間的にサブ
サンプル（ダウンサンプル）されたビデオを用いる点が
異なる。サブサンプルされたビデオからＴＢＣ及び遅延
回路１８０により動きベクトルの発生に用いる入力フィ
ールド対が選択される。

【００２９】ＴＢＣ及び遅延回路１３０及び１８０は、
入力ビデオ信号、出力ビデオ信号又は両方に付随する同
期信号に従って動作することができる。１つの同期信号
しか供給されない場合、２ビデオ信号の他方のフィール
ドのタイミングは、ＴＢＣ及び遅延回路１３０，１８０
内で決定論的に発生される。

【００３０】ＴＢＣ及び遅延回路１８０により選択され
た、サブサンプルされた入力ビデオ信号のフィールド対
は、直接ブロック突合せ器１９０、データストリッパ２
００、動きベクトル推定器２１０、動きベクトル削減器
２２０、動きベクトル選択器２３０及び動きベクトルあ
と処理器２４０を含む動き処理器１８５に供給される。
入力フィールド対はまず直接ブロック突合せ器に送ら
れ、そこで、選択された２入力フィールドのうち時間的
に早い方におけるサーチブロックと、上記２入力フィー
ルドのうち時間的に遅い方における（もっと大きい）サ
ーチ区域との間の空間相関を表す相関面が計算される。

【００３１】ブロック突合せ器１９０が出力する相関面
から、データストリッパ２００はもっと多数の補間され
た相関面を発生し、それを動きベクトル推定器２１０に
送る。動きベクトル推定器２１０は、補間された相関面
内で最大相関点を検出する。（原相関面は、実際には上
記２入力フィールドのブロック間の差を表す。よって、
相関面上の最大相関点は実際には最小点であり、以下こ
れを「最小点」という。）最小点を検出するため、相関
面に補足点が補間される。これは、相関面の発生にサブ
サンプルされたビデオを用いることによる解像度の低下
を補うために行う。動きベクトル推定器２１０は、各相
関面上の検出した最小点から動きベクトルを発生し、こ
れを動きベクトル削減器２２０に供給する。

【００３２】動きベクトル推定器２１０はまた、発生し
た各動きベクトルについて確認テストを行い、当該動き
ベクトルが全般的なノイズレベルよりかなり上であるか
どうかを確定し、各動きベクトルに確認テストの結果を
示す確認フラグを付ける。「閾」テストとして知られる
確認テストは、（図１の装置の他の特徴と共に）英国公
開特許出願ＧＢ−Ａ−２２３１７４９号に記載されてい
る。確認テストについては、あとでもっと詳しく述べ
る。

【００３３】動きベクトル推定器２１０では、各ベクト
ルが本物かどうかを調べるテストが行われる。このテス
トでは、相関面（検出された最小点の周囲の除外域を除
く。）を調べて次に低い最小点を検出する。この第２の
最小点が除外域の境界部にない場合、原最小点から導出
された動きベクトルは、潜在的に偽物である（偽物であ
るかも知れない）とのフラグが付けられる。

【００３４】動きベクトル削減器２２０は、動きベクト
ルを動きベクトル選択器２３０に送る前に、出力フィー
ルドの各ピクセルに対して考えられる動きビクトルの選
択幅を減らす動作をする。出力フィールドを概念的にピ
クセルの複数ブロックに分け、各ブロックは、出力フィ
ールド内において、選択された入力フィールドの早い方
におけるサーチブロックの装置に対応する位置を有す
る。動きベクトル削減器は、４つの動きベクトルを１グ
ループにまとめて出力フィールドの各ブロックに対応さ
せ、４つの動きベクトルの当該グループの選択した１つ
を用いて最終的に当該ブロックにおける各ピクセルが補
間される。

【００３５】「偽物である」とのフラグを付けられたベ
クトルは、それらが隣接ブロックにおけるフラグのない
ベクトルと同一である場合、ベクトル削減時に再び適格
とされる。

【００３６】動きベクトル削減器２２０は、その機能の
１つとして、「適正な」動きベクトル（即ち、確認テス
ト及び偽物テストに合格した動きベクトル、或いは偽物
でないとして再び適格とされたもの）の発生頻度をカウ
ントする。ただし、それらの動きベクトルを得るために
用いた入力フィールドのブロックの位置は考慮しない。
適正な動きベクトルはそれから、頻度が減少する順に格
付けされる。互いに著しく異なる適正な動きベクトルの
うち最も共通するものは、「広域」動きベクトルとして
分類される。確認テストに合格した３つの動きベクトル
が、それから出力ピクセルの各ブロックに対して選択さ
れ、動きベクトル選択器２３０にゼロ動きベクトルと共
に供給され、更に処理される。これらの選択される３つ
の動きベクトルは、次のものから所定の優先順位で選択
される。（ｉ）対応するサーチブロックから発生された動きベク
トル（ii) 周りのサーチブロックから発生されたもの（「局
部」動きベクトル）（iii)広域動きベクトル。

【００３７】動きベクトル選択器２３０はまた、入力と
して、サブサンプルされたＴＢＣ及び遅延回路１８０に
より選択され、動きベクトルの計算に使用された２入力
フィールドを受信する。これらのフィールドは、適正に
遅延されているので、それらのフィールドから導出され
たベクトルと同時に動きベクトル選択器２３０に供給さ
れる。動きベクトル選択器２３０は、出力フィールドの
ピクセル当たり１つの動きベクトルを有する出力を供給
する。この動きベクトルは、動きベクトル削減器２２０
から供給された当該ブロックに対する４つの動きベクト
ルから選択される。

【００３８】ベクトル選択過程には、テスト中の動きベ
クトルによって指示された、２入力フィールドのテスト
ブロック間の相関度を検出することが含まれる。テスト
ブロック間の最大相関度をもつ動きベクトルが、出力ピ
クセルの補間に用いるために選択される。「動きフラ
グ」も、ベクトル選択器により発生される。このフラグ
は、ゼロ動きベクトルにより指示されたブロック間相関
度が所定閾値より大きい場合、「静止」（動きなし）に
セットされる。

【００３９】ベクトルあと処理器２４０は、動きベクト
ル選択器２３０により選択された動きベクトルを、画像
の垂直スケーリングを反映するように作り直し、この作
り直したベクトルを補間器１４０に供給する。補間器１
４０は、動きベクトルを用いて、タイムベース変換（Ｔ
ＢＣ）及び遅延回路１３０により選択された対応する２
つの（サブサンプルされない）飛越し入力フィールドか
ら出力フィールドを補間する。このとき、現在補間器１
４０に供給されている動きベクトルにより示される映像
の動きがあれば、これを考慮に入れる。

【００４０】動きフラグが、現出力ピクセルが映像の動
いている部分に在ることを示す場合、補間器に供給され
る選択された２フィールドからのピクセルは、該２入力
フィールドに対する出力フィールドの時間的位置（制御
信号ｔで示される）に応じた相対的割合で組合せられ、
より近い入力フィールドのより大きい部分が使用される
ことになる。

【００４１】動きフラグが「静止」にセットされた場
合、時間的重み付けは使用されない。補間器１４０の出
力は、出力バッファ１５０に送られてＨＤＶＳ出力信号
として出力されると共に、ダウンコンバータ１６０に送
られ動きフラグを用いて従来精細度の出力信号１６５が
発生される。

【００４２】サブサンプラー１７０は、マトリクス１２
０から受けた入力フィールドの水平及び垂直空間サブサ
ンプリングを行う。水平サブサンプリングは、簡単な動
作であって、まず１／２帯域幅ローパスフィルタにより
前段濾波（本例の場合、２：１水平デシメーション（間
引き））を行い、それから各ビデオラインに沿って１つ
おきのビデオサンプルを捨て、これにより各ビデオライ
ンに沿うサンプル数を１／２に減らす。

【００４３】入力フィールドの垂直サブサンプリング
は、入力ビデオ信号が飛越し走査されているので、複雑
である。これは、各飛越しフィールドにおけるビデオサ
ンプルの連続するラインが、完全なフレームの２つのビ
デオラインにより実効的に分離され、各フィールドのラ
インが前又は後のフィールドのラインとフレームの１ビ
デオライン分だけ垂直方向に変位していることを意味す
る。実際に使用する垂直サブサンプリング法は、最初に
垂直方向におけるローパス濾波段を含み（エイリアシン
グを避けるため）、その後に各ピクセルを垂直方向に１
／２ビデオライン分だけ下方（偶数フィールドの場合）
又は上方（奇数フィールドの場合）に実効的に変位させ
る濾波動作を含む。その結果得られる変位されたフィー
ルドは、２の率で垂直方向にサブサンプルされた連続的
に走査されたフレームと大体均等である。

【００４４】図２は、相関面３００を示す図である。相
関面は、該面が発生された２入力フィールドの早い方の
サーチブロックと、該２入力フィールドの遅い方の（よ
り大きい）サーチ区域との間の差を表すものである。し
たがって、相関のピークは、相関面３００における最小
点３１０によって表される。相関面３００における最小
点の位置は、該相関面から導出される動きベクトルの大
きさ及び方向を決める。

【００４５】図１の装置では、各動きベクトルは、夫々
の相関面における最小点を検出することによって発生さ
れる。動き処理器１８５に供給される入力フィールドの
各対当たり、合計で８０００の相関面がベクトル推定器
２１０に供給され、８０００の動きベクトルの発生に使
用される。

【００４６】図１の装置の処理要求量を減らすために、
相関面の合計数の１／４だけを、ブロック突合せ器１９
０に供給された２つのサブサンプルされた入力フィール
ドのブロックを比較することにより、発生する。動きベ
クトルの発生に用いようとする相関面はそれから、ブロ
ック突合せ器により発生された相関面から補間される。
こうすると、２０００の「原」相関面がブロック突合せ
器１９により発生され、データストリッパ２００に供給
されることになる。データストリッパ２００は、この２
０００の原相関面から８０００の「補間された」相関面
を発生し、動きベクトル推定器に送る。

【００４７】図３は、データストリッパ２００により行
われる相関面の補間を示す図である。図３のＡにおい
て、各原相関面（ＣＳ）４００は、（ブロック突合せ器
１９０により）入力フィールド対の早い方のものの中の
個々の位置にあるサーチブロックを、入力フィールド対
の他方の中の（より大きな）サーチ区域と比較して発生
される。図３のｂに示すように、サーチブロックは、各
入力フィールドに形成された格子パターン４２０におけ
る各位置（例えば、位置４１０）の中央にある。サーチ
ブロックから発生される原相関面は、格子上４２０に、
対応する相対位置４１０を有する。

【００４８】上述のとおり、相関面の数をブロック突合
せにより発生した２０００から、動きベクトル推定器２
１０に必要な８０００に増すために、データストリッパ
２００で補間処理が行われ、各原相関面４００から４つ
の補間された相関面（以下「補間相関面」という。）４
３０，４４０，４５０及び４６０が発生される。（実際
には、各補間相関面が周囲の或る数の原相関面によって
決まるように濾波処理を用いる。）

【００４９】補間相関面４３０〜４６０は、原相関面４
００の位置を中心とする実効位置を有するが、原相関面
４００の位置から水平及び垂直方向に僅かに変位され
る。この変位は、図３のＡに、原相関面の格子（即ち、
サーチブロック格子４２０）の分数の水平及び垂直スペ
ーシングで示す。詳しくいえば、原相関面４００から発
生される４つの補間相関面（ＣＳ）４３０，４４０，４
５０及び４６０の変位は、次のとおりである。補間ＣＳ４３０‥‥（−１／４水平方向、−１／４垂
直方向）補間ＣＳ４４０‥‥（−１／４水平方向、＋１／４垂
直方向）補間ＣＳ４５０‥‥（＋１／４水平方向、＋１／４垂
直方向）補間ＣＳ４６０‥‥（＋１／４水平方向、−１／４垂
直方向）

【００５０】上述の変位を用いる補間相関面の効果を図
３のＣに示す。この図は、補間相関面の実効位置４８０
の格子４７０を示す。図３のＣにはまた、比較のため
に、原相関面のそれらの位置を示す格子４２０を（破線
で）示している。

【００５１】次に、図４及び５を参照して動きベクトル
発生への補間相関面の用い方を説明する。図４は、垂直
バー５１０が時計方向に回転する映像の一部５００を示
し、図５のＡ及びＢは夫々、該バー５１０の動きを表す
ため映像から発生された原及び補間相関面を示す。

【００５２】図４において、＋ｖａはバー５１０の上端
の動きの水平成分、−ｖａはバー５１０の下端の動きの
水平成分を示す。該バーの長さ方向に沿い、水平成分は
バー５１０の回転中心５２０におけるゼロを通って連続
的に変化する。

【００５３】図５に示すように、３つの原相関面５３
０，５４０及び５５０は、上記映像の部分５００から発
生される。図には、これら原相関面の各々の断面を示
す。相関面５３０では、最小点５３５はバー５１０の上
端の動きを表し、その動きの水平成分＋ｖａに対応す
る。相関面５４０では、最小点５４５は動きゼロを示す
点にあり、したがって、これはバー５１０の中心５２０
の動きを表す。相関面５５０では、最小点５５５は、水
平成分−ｖａを表す点にあり、該バーの下端の動きを表
す。

【００５４】上述のように、原相関面５３０〜５５０
は、ベクトル推定器２１０での動きベクトルの発生には
使用されない。その代わりに、原相関面の水平及び垂直
スペーシングが夫々１／２の補間相関面が発生され、こ
れが動きベクトルの補間に使用される。図５のＢに、こ
のような５つの補間相関面５６０，５７０，５８０，５
９０及び６００の断面を示す。これら５つの補間相関面
５６０〜６００は、夫々次のような水平動き成分を示す
最小点５６５，５７５，５８５，５９５及び６０５を有
する。最小点５６５：＋ｖａ（バー５１０の上端の水平の動
き）最小点５７５：＋ｖａ／２（バー５１０の上端及び中心
５２０の中間点の水平の動き）最小点５８５：０（バー５１０の中心５２０の水平の動
き）最小点５９５：−ｖａ／２（バー５１０の下端及び中心
５２０の中間点の水平の動き）最小点６０５：−ｖａ（バー５１０の下端の水平の動
き）

【００５５】よって、補間相関面５６０〜６００は、原
相関面５３０〜５５０の垂直空間解像度の２倍で回転バ
ー５１０の動きを表す。

【００５６】図６及び７は、相関面を補間するデータス
トリッパ２００の要部の各半部を示す図である。図６に
おいて、原相関面を表す入力データ６１０が、ブロック
突合せ器１９０から或る数の相関面遅延回路６２０に直
列形式で供給される。各相関面（ＣＳ）遅延回路６２０
は、入力データ６１０を、１相関面を表すデータの送信
時間に等しい期間だけ遅延させる。こうすると、各ＣＳ
遅延回路６２０の入力及び出力におけるデータが、隣接
する２相関面内の同一点を表すようになる。

【００５７】入力データ６１０はまた、２つの行遅延回
路６３０及び６４０に供給され、相関面の１行（即ち、
サーチブロックの１行（横列）から発生された相関面）
の送信時間に等しい期間だけ遅らされる。こうすると、
行遅延回路（６３０又は６４０）の入力及び出力におけ
るデータが、２つの隣接する行における対応位置にある
２つの相関面内の同一点を表す。各行遅延回路６３０，
６４０の出力は、一連の４つのＣＳ遅延回路６２０に供
給される。

【００５８】入力データ６１０、各ＣＳ遅延回路６２０
の出力データ及び各行遅延回路６３０，６４０の出力デ
ータは、夫々のフィルタ係数Ｃ００，Ｃ０１，‥‥Ｃ４
２を乗じたのち加算器６５０により合算される。加算器
６５０の合算出力６６０は、補間相関面内の連続する点
を表す。図６及び７に示すフィルタ構成を用いると、１
５個の周りの原相関面における対応位置を表すデータを
濾波して組合せることにより、各補間相関面が導出され
る。

【００５９】図６及び７に示す装置を用いて所要の８０
００の相関面を発生すると、８０００の相関面を直接ブ
ロック突合せによって発生する場合に比べて、データ処
理ハードウェアがかなり少なくて済む。

【００６０】図６及び７の装置によって補間された相関
面を動きベクトル推定器２１０に送ると、それらは、各
面における最小差の点（最大相関点）を検出するために
調べられ、その点から夫々の動きベクトルが発生され
る。第２の最小点も相関面から検出されるが、実際の最
小値の周りの除外域は除かれる。それから確認テストが
行われ、相関面の残部について原最小点の有効性が検出
される。確認テストの基本形式は、第１及び第２の最小
点間の差が所定閾値より大きいかどうかの検出を含む。

【００６１】図８に、上述の基本的確認テストに合格し
た最小点を示す。詳しくいうと、第１の最小点７００は
除外域７１０に囲まれており、該除外域の外の次に低い
点（即ち、点７２０）が第２の最小点として検出され
る。第１の最小点７００は有効と考えられ、有効動きベ
クトルの発生に使用される。その理由は、第１及び第２
最小点間の相関の差７３０が所定閾値より大きいからで
ある。

【００６２】相関面に１より多い最小点があるとき、基
本的確認テストで有効結果を生じない。図９に、この状
態を示し、第１の最小点８００の周りに除外域８１０が
ある。除外域外の次に低い点（即ち、点８２０）は、第
２最小点として検出される。第１及び第２最小点８００
及び８２０の相関差８３０は、所定の閾値より小さいの
で、最小点８００から発生される動きベクトルは有効と
認められない。

【００６３】上述の確認テストでは、多数の潜在的に使
用可能の動きベクトルが無効として捨てられることにな
る。図９の相関面における複数の最小点の１つを検出し
動きベクトルの発生に使用するため、最小点を検出する
前に相関面に加重（重み付け）関数を適用する。この加
重処理を図１０，１１，１２，１３，１４及び１５に示
す。

【００６４】図１０のＡは、低平均レベルをもつ相関面
ＣＳ（ｘ，ｙ）を示し、図１０のＢは高平均レベルをも
つ類似の相関面ＣＳ（ｘ，ｙ）を示す。図１１のＡ及び
Ｂに、円錐形の加重関数ｗ（ｘ，ｙ）を示す。この関数
は、次の式で表される。ｗ（ｘ，ｙ）＝Ａ・｛（ｘ−ｘ_C）²＋（ｙ−ｙ_C）²｝^1/n

【００６５】上式において、指数「ｎ」は、例えば３で
もよい。座標ｘ_C及びｙ_Cは、相関面の中心、即ちゼロ
の映像の動きを示す点を表す。

【００６６】この具体構成では、図１２のＡ及びＢに示
すように、定数Ｂを円錐（形）加重関数ｗ（ｘ，ｙ）に
加える。円錐加重関数と定数Ｂとの和はそれから、相関
面と組合され（に乗ぜられ）、図１３のＡ，Ｂに示すよ
うに、夫々加重された相関面を発生する。図１３のＡ，
Ｂにおいては、明瞭な最小点（９００，９１０）が検出
される。

【００６７】比較のために、円錐加重関数を相関面に加
えた場合の結果を図１４のＡ，Ｂに示す。低平均レベル
相関面（図１４のＡ）では、不正確な最小点が発生して
いる。

【００６８】同様に、比較のため図１５のＡ，Ｂに、円
錐加重関数のみ（定数Ｂなし）を各相関面ＣＳ（ｘ，
ｙ）に乗じた場合の結果を示す。図１５のＡ及びＢは、
２つの各相関面に誤って動きゼロを表す偽最小点が発生
する可能性を示す。

【００６９】図１３，１４及び１５に示すように、一定
値（Ｂ）に可変関数（円錐関数）を足した乗算用加重関
数を使用すると、相関面に適用された重み付けが該相関
面の平均レベルに従ってスケール（拡大縮小）される。
更に、加重関数は常にゼロでないため、加重関数を適用
しても誤った最小点は発生しない。

【００７０】図１６は、相関面を加重するための装置を
示すブロック図である。相関面は、乗算器９５０に連続
データ値として直列形式で供給され、該乗算器は、加重
係数メモリ９６０（例えば、リードオンリメモリ）に記
憶された加重値を各データ値に乗算する。夫々の相関面
内の各データ値の位置に応じて、加重係数メモリ９６０
により適正な加重値が循環的に出力される。

【００７１】図１６の装置は、ブロック突合せ器１９０
とベクトル推定器の間に介挿される。加重は、原又は補
間相関面のどちらかに適用してもよい。

【００７２】他の具体構成では、ベクトル推定に必要な
すべての相関面をブロック突合せにより（即ち、相関面
の補間を行わない。）発生する。この場合、直接発生し
た相関面に図１６の装置により加重を施したのち、ベク
トル推定を行ってもよい。

【００７３】以上、本発明の具体例を詳しく説明した
が、本発明は、これら特定の具体例に限定されるもので
はなく、特許請求の範囲内において種々の変形、変更を
することができるものである。

【００７４】

【発明の効果】以上説明したとおり、本発明によれば、
入力映像の各対に対する動きベクトルを発生し処理する
のに極めて多くの計算を行う複雑な処理装置を必要とし
ない動き補償ビデオ信号処理方式を得ることができる。

【図面の簡単な説明】

【図１】本発明を用いた動き補償テレビジョン方式変換
装置を示すブロック図である。

【図２】相関面の例を示す図である。

【図３】相関面の補間を示す説明図である。

【図４】垂直のバーが時計方向に回転する映像の一部を
示す図である。

【図５】図４の映像から発生された原及び補間相関面
（断面）を示す説明図である。

【図６】図１のデータストリッパの要部の左半部を示す
ブロック図である。

【図７】図１のデータストリッパの要部の右半部を示す
ブロック図である。

【図８】確認テストに合格する単一の最小点をもつ相関
面を示す図である。

【図９】確認テストに失敗する複数の最小点をもつ相関
面を示す図である。

【図１０】低及び高平均レベルを有する相関面の例を示
す図である。

【図１１】円錐加重関数を示す図である。

【図１２】円錐加重関数と一定値の和を示す図である。

【図１３】図１０の相関面に図１２の複合加重関数を乗
じたものを示す図である。

【図１４】図１０の相関面に図１１の円錐加重関数を加
えたものを示す図である。

【図１５】図１０の相関面に図１１の円錐加重関数を乗
じたものを示す図である。

【図１６】相関面を加重する装置を示すブロック図であ
る。

【符号の説明】

１９０第１の複数の原相関面を発生する手段（ブロッ
ク突合せ器）２００第２の複数の補間相関面を発生する手段（デー
タストリッパ）２１０動きベクトルを発生する手段（ベクトル推定
器）

───────────────────────────────────────────────────── フロントページの続き (72)発明者モーガンウィリアムエイモスデビッドイギリス国サリー，ファーナム，ブルームリーフロード 18 (72)発明者マーチンレックスドリコットイギリス国ハンプシャー，ベーシングストーク，ベーシング，リングフィールドクロース６

Claims

【特許請求の範囲】

【請求項１】入力ビデオ信号の入力映像の対の間の映
像の動きを表す動きベクトルを発生する動き補償ビデオ
信号処理装置であって、上記入力映像対の一方の中のサーチブロックを、上記入
力映像対の他方の中の、複数のブロックより成る夫々の
サーチ区域と比較して、各々が、上記夫々のサーチブロ
ック及びサーチ区域間の相関を表す相関値のアレイより
成る、第１の複数の原相関面を発生する手段と、上記原相関面から補間により第２の複数の補間された相
関面を発生する手段と、上記補間された相関面における最大相関点に応じて、各
補間された相関面から夫々動きベクトルを発生する手段
とを具えた動き補償ビデオ信号処理装置。
【請求項２】各原相関面は、上記夫々のサーチブロッ
ク及び上記夫々のサーチ区域間の内容の差を表す相関値
のアレイより成る請求項１の装置。
【請求項３】上記相関値は、上記サーチブロック及び
上記サーチ区域間の輝度の内容の差を表す請求項２の装
置。
【請求項４】上記の動きベクトルを発生する手段は、
上記サーチブロック及び上記サーチ区域間の最小差を示
す相関値を検出する手段を含む請求項２の装置。
【請求項５】上記第２の複数は上記第１の複数より大
きい請求項１の装置。
【請求項６】上記第１の複数の原相関面は原相関面の
四角いアレイより成り、該四角いアレイ内の各原相関面
の位置は、上記夫々の入力映像内の対応するサーチブロ
ックの位置によって決まり、上記第２の複数の補間され
た相関面は補間された相関面の四角いアレイより成る請
求項１の装置。
【請求項７】各補間相関面が相関値のアレイより成
り、各補間相関面における上記相関値に、上記アレイ内の上
記相関値の位置に応じた加重値を乗じることにより、加
重相関値のアレイより成る加重補間相関面を発生する手
段と、上記加重相関面における最大相関点を示す加重相関値に
応じて、上記加重補間相関面から動きベクトルを発生す
る手段とを具える請求項１の装置。
【請求項８】入力ビデオ信号の入力映像の対の間の映
像の動きを表す動きベクトルを発生する動き補償ビデオ
信号処理装置であって、上記入力映像対の一方の中のサーチブロックを、上記入
力映像の他方の中の、複数のブロックより成る夫々のサ
ーチ区域と比較して、上記サーチブロック及び上記サー
チ区域間の相関を表す相関値のアレイより成る相関面を
発生する手段と、上記各相関値に、上記アレイ内の上記相関値の位置に応
じた加重値を乗じることにより、加重された相関値のア
レイより成る加重相関面を発生する手段と、上記加重相関面は最大相関点を示す加重された相関値に
応じて、上記加重相関面から動きベクトルを発生する手
段とを具えた動き補償ビデオ信号処理装置。
【請求項９】上記加重値はすべてゼロでない請求項８
の装置。
【請求項１０】上記加重値は、上記相関値のアレイ内
の所定点から離れるにつれて単調に増加するものである
請求項８の装置。
【請求項１１】上記所定点は、映像の動きがゼロであ
ることを表す点である請求項１０の装置。
【請求項１２】上記加重値は、上記所定点からの距離
の平方根に比例して増加するものである請求項１０の装
置。
【請求項１３】各動きベクトルに所定の確認テストを
施して、上記加重相関面において検出された上記最大相
関点が上記加重相関面において有効な相関の最大を表す
かどうかを決める手段を含む請求項８の装置。
【請求項１４】上記入力映像対から発生された上記動
きベクトルに従って、出力ビデオ信号の出力映像を補間
する動き補償補間器を含む請求項１の装置。
【請求項１５】上記入力映像対から発生れた上記動き
ベクトルに従って、出力ビデオ信号の出力映像を補間す
る動き補償補間器を含む請求項８の装置。
【請求項１６】請求項１の装置を具える動き補償テレ
ビジョン方式変換器。
【請求項１７】請求項８の装置を具える動き補償テレ
ビジョン方式変換器。
【請求項１８】入力ビデオ信号の入力映像の対の間の
映像の動きを表す動きベクトルを発生する動き補償ビデ
オ信号処理方法であって、上記入力映像対の一方の中のサーチブロックを、上記入
力映像対の他方の中の、複数のブロックより成る夫々の
サーチ区域とを比較して、各々が、上記夫々のサーチブ
ロック及びサーチ区域間の相関を表す相関値のアレイよ
り成る、第１の複数の原相関面を発生するステップと、上記原相関面から補間により第２の複数の補間された相
関面を発生するステップと、上記補間された相関面における最大相関点に応じて、各
補間された相関面から夫々動きベクトルを発生するステ
ップとを含む動き補償ビデオ信号処理方法。
【請求項１９】入力ビデオ信号の入力映像の対の間の
映像の動きを表す動きベクトルを発生する動き補償ビデ
オ信号処理方法であって、上記入力映像対の一方の中のサーチブロックを、上記入
力映像対の他方の中の、複数のブロックより成る夫々の
サーチ区域と比較して、上記サーチブロック及び上記サ
ーチ区域間の相関を表す相関値のアレイより成る相関面
を発生するステップと、上記各相関値に、上記アレイ内の上記相関値の位置に応
じた加重値を乗じることにより、加重された相関値のア
レイより成る加重相関面を発生するステップと、上記加重相関面内の最大相関点を示す加重された相関値
に応じて、上記加重相関面から動きベクトルを発生する
ステップとを含む動き補償ビデオ信号処理方法。