JPH0715700A - 動き補正映像信号処理装置及び方法 - Google Patents

Abstract

(57)【要約】 【目的】入力画像の相関面における最大相関リッジを検
出して動きベクトル発生させ、画像の動き補償を行う。 【構成】本発明は、入力映像信号の一対の入力画像間の
画像の動きを示す動きベクトルを発生する、動き補正映
像信号処理装置であって、一対の入力画像を、一対の入
力画像の一方と、一対の入力画像の他方に複数のブロッ
クを有する検索領域とを比較して、検索ブロックと検索
領域との間に相関を示す一連の相関値を有する相関面を
形成する手段１９０と、相関面内で最大相関値を検出す
る手段２１０と、相関面内の最大相関値の位置に応じて
動きベクトルを発生する手段２３０（リッジの最大相関
値を示す最大相関値の総閾値内で相関面の相関値を検出
するリッジ検出手段を含む。）とを有する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、動き補正映像信号処理
装置及び方法に関するものである。

【０００２】

【従来の技術】動き補正映像信号処理装置は、テレビジ
ョン標準方式変換、映画方式変換（film standard conv
ersion）及び映像方式と映画方式等の種々の変換装置に
用いられている。

【０００３】英国公開特許公報GB-A-2231749号に述べら
れている動き補正テレビジョン標準方式変換器におい
て、連続する入力画像の対を処理して一対の入力画像間
の画像の動きを示す動きベクトルの集合を発生させるよ
うにしている。この処理は画像の別個のブロックで行わ
れるので、各動きベクトルが夫々のブロックの中に含ま
れる画像間の動きを示すことになる。

【０００４】動きベクトルの推定処理において、２つの
入力画像のブロック間の空間的相関を示す相関面を検査
し、最大相関点を検出する。（この相関面は、実際に
は、２つの入力画像間の差を表すが、これは、その最大
相関点が相関面上の真の最小点にあることを意味する
（以下、最小点と呼ぶ。））。最小点が検出された場
合、相関面の最小点となる空間位置から動きベクトルを
生成する。この最小点が、残りの相関面に関連する相関
において有効なピークを示すか否かを判定するための検
査が行われる。この最小点がこの検査を通過した場合、
“有効”なものとして処理し、その動きベクトルに伴う
有効フラッグを設定する。

【０００５】次に、各動きベクトル集合は動きベクトル
低減器に送られ、この動きベクトル低減器は、各ブロッ
ク毎に（有効な）動きベクトル集合から部分集合を抽出
し、この動きベクトルの部分集合を動きベクトル選択器
に出力して、この動きベクトル選択器により、動きベク
トルの部分集合の１つを画像の各ブロック内の各画素に
割り当てる。各画素毎に選択された動きベクトルは、動
き補正用補間器へ送られ、この動き補正用補間器によ
り、入力画像間の動きに応じて入力画像から出力画像を
補間する。

【０００６】

【発明が解決しようとする課題】しかしながら、画像が
動く対象物を含み、この動く対象物が、ブロック突き合
わせ処理に用いられる検索ブロックの長さより、一方向
において長い場合に（例えば、街灯柱）問題がある。こ
の場合、動画はブロック突き合わせ処理に用いられる検
索ブロックからはみ出してしまうため、対象物の垂直方
向の軸に沿うその動きの成分を（この検索ブロック内で
は）検出することができない。このため、“一次元”又
はリッジ（突出部）最小点（ridge minimum ）（リッジ
最大相関点：ridge correlation maximum ）が検出され
ることになる。

【０００７】図１は、最小リッジ１０を有する相関面５
の例を示す。この最小リッジは、リッジ方向（このリッ
ジ方向は対象物の垂直軸に沿っている）に垂直な方向に
おける対象物の動きの成分を確定するが、リッジ方向に
沿う対象物の動きを示すものではない。

【０００８】従来より提案されている動きベクトル推定
器において、最小リッジから発生する動きベクトルは、
適性検査ができなかったので出力画像の補間には使用さ
れていない。その代わりに、ゼロの動きベクトルを省略
時（default ）により使用していた。しかしながら、長
い動きのある対象物の画素を補間する際にゼロの動きベ
クトルを使用すると、対象物の部分的な脱落等の欠陥が
発生することがある。図２にこの種の欠陥を示す。図２
において、縦方向に動く細長い対象物１５を有する出力
画像の補間が示されている。正常な動きベクトル２０は
動画像１５の上下で検出されるが、欠陥であるゼロの動
きベクトル２５は、動画像１５の中央部で検出される。
正常な動きベクトルを用いて補間された上部と、ゼロの
動きベクトルを用いて補間された中央部との間に間隙
（ギャップ）３０が生じる。

【０００９】従って、本発明の課題は、入力映像信号の
一対の入力画像間の画像の動きを示す動きベクトルを生
成する動き補正映像信号処理装置において、相関面にお
ける最大相関リッジを検出する手段を設けることにあ
る。

【００１０】

【課題を解決するための手段及び作用】具体的には、本
発明は、入力ビデオ信号の１対の入力画像間の画像の動
きを示す動きベクトルを発生する動き補正映像信号処理
装置であって、上記一対の入力画像を、上記１対の入力
画像の一方と、上記一対の入力画像の他方に複数のブロ
ックを有する検索領域とを比較して、上記検索ブロック
と上記検索領域との間に相関を示す一連の相関値を有す
る相関面を生成する手段と、上記相関面内で最大相関値
を検出する手段と、上記相関面内の上記最大相関値の位
置に応じて動きベクトルを発生する手段と、リッジの最
大相関値を示す上記最大相関値の総閾値内で相関面の相
関値を検出するリッジ検出手段とを有する。

【００１１】また、本発明は、上記具体例において、相
関面内で最大相関リッジを検出する手段を有する。この
検出に続き、結果として生ずる動きベクトルを使用しな
いこと、この問題を避けるためにより大きな検索ブロッ
クを使用すること、或いは動きベクトルの再適格化を行
うこと等の種々のステップを取ることができる。

【００１２】また、本発明の上記具体例に用いるリッジ
検出手段は、最大相関値の総閾値の範囲内により多くの
所要数の相関値があるか否かを検出する手段を有する。
リッジの鋭さに応じて適当な処置がとれるように、リッ
ジ検出手段は、最大相関値の総閾値の範囲内に、より少
ない第２の所定数の相関値があるか否かを検出する手段
を有し、この第２の所定数は上記第１の所要数より大き
い。

【００１３】また、本発明の上記具体例において、この
装置は、リッジの最大相関値の検出に応じ、最大相関値
の総閾値の範囲内で２つの最大間隔の相関値の相関面内
の位置に応じて平均動きベクトルを発生する手段を有す
る。

【００１４】また、本発明の上記具体例において、リッ
ジ検出手段は、これらの相関値を有する相関面の領域を
最大相関値の総閾値の範囲内から検出する手段と、垂直
の画像の動きを示す方向における領域の長さと、水平の
画像の動きを示す方向における領域の長さとの比を検出
する手段と、この比を第１の所定値と比較して水平の画
像の動きを示す方向におけるリッジの最大相関値を検出
する手段と、この比を第２の所定値と比較して垂直の画
像の動きを示す方向に置けるリッジの最大相関値を検出
する手段とを有する。

【００１５】また、本発明の上記具体例において、リッ
ジの最大相関値の検出が装置の他の部分へ供給できるよ
うに、この装置は、リッジの最大相関値を示すリッジフ
ラッグをセットする手段を有するのがよい。

【００１６】また、本発明の上記具体例においてリッジ
フラッグは、リッジの最大相関値が水平の画像の動きを
示す方向又は垂直の画像の動きを示す方向にあるか否か
を示すのがよい。

【００１７】また、本発明の上記具体例において、リッ
ジの最小値から生成する動きベクトル成分が有効値とし
て割り当てられて動きベクトルが動き補正の補間に使用
できるように、リッジの最大相関値が検出された相関面
から生成する検査中の動きベクトルと、一対の入力画像
から発生する次の動きベクトルとを比較する手段と、次
の動きベクトルと検査中の動きベクトルの対応する成分
が実際に同一か否かを検出する手段と、次の動きベクト
ルがリッジの最大相関値が検出された相関面から生成し
たか否かを検出する手段とを有し、次の動きベクトル
が、リッジの最大相関値が検出された相関面から発生し
なかったことが検出された場合に、次のベクトルの対応
する成分によるリッジ方向において検査中の動きベクト
ルの成分を置き換える手段とを有する。

【００１８】また、次の動きベクトルを、リッジ方向に
おいて、検査中の動きベクトルと置き換えられた相関面
から発生するのがよい。

【００１９】また、次の動きベクトルを、リッジ方向に
おいて、検査中の動きベクトルに垂直方向に隣接する相
関面から発生するのがよい。

【００２０】また、斜め方向の長い対象物の動きを示す
最大相関リッジを有する相関面から生成する動きベクト
ルの再適格化を可能にするために、次の動きベクトル
を、リッジ方向において検査中の動きベクトルに斜めに
隣接する相関面から発生するのがよい。

【００２１】また、閾値は、相関面における相関値の平
均値とするのがよい。

【００２２】相関面は相関が大きくなると共に増加する
相関値を持つが、相関面は、検索ブロックと検索領域の
容量間の差を示す一連の相関値をもたせることにより簡
略化できる。こうすれば、最大相関値は、実際に相関面
において最小値で示される。

【００２３】相関値は、検索ブロックと検索領域間にお
いて、色度、又は検索ブロックの色度及び輝度、成分の
差を示すが、相関値は、検索ブロックと検索領域間の輝
度成分の差を示すのがよい。

【００２４】本発明による動き補正映像信号処理装置
は、動き補正テレビジョン標準方式変換器の一部に用い
ると特に有利となる。

【００２５】本発明の第２の具体例は、入力映像信号の
一対の入力画像間の画像の動きを示す動きベクトルを発
生する動き補正映像信号処理方法を提供するもので、次
のステップからなる。即ち、上記一対の入力画像の一方
にある検索ブロックを、上記一対の入力画像の他方の複
数のブロックを有する検索領域と比較し、上記検索ブロ
ックと上記検索領域間の相関を示す一連の相関値を有す
る相関面を形成するステップと、上記相関面において最
大相関値を検出するステップと、上記相関面における上
記最大相関値の位置により動きベクトルを生成するステ
ップと、最大相関リッジを示す上記最大相関値の総閾値
内で、上記相関面における相関値を検出するステップと
を有する。

【００２６】

【実施例】以下、図３〜１２を参照して本発明の実施例
を説明する。図３は、動き補正テレビジョン標準方式変
換装置（以下、単に「変換装置」と云う。）の概略ブロ
ック図である。この変換装置は、入力されるインターレ
ース走査（飛び越し走査）されたデジタル入力映像信号
（例えば１１２５／６０の２対１の高精細度映像信号
（ＨＤＶＳ））５０を取り込み、インターレース走査し
た出力デジタル映像信号（例えば１２５０／５０の２対
１のＨＤＶＳ）６０を出力する。

【００２７】最初に、入力映像信号５０は入力バッファ
／パッカー１１０に供給される。入力映像信号が標準精
細度の信号の場合には、入力バッファ／パッカー１１０
は、画像データのフォーマットを、必要な位置に黒画素
を補って高精細度（１６対９のアスペクト比）のフォー
マットにする。入力映像信号がＨＤＶＳの場合には、入
力バッファ／パッカー１１０は、単にデータの緩衝作用
を行う。

【００２８】このデータは、入力バッファ／パッカー１
１０からマトリクス回路１２０へ送られ、このマトリク
ス回路１２０において、必要ならば入力映像信号のフォ
ーマットは、「ＣＣＩＲ推奨規格６０１」（Ｙ、Ｃｒ、
Ｃｂ）のフォーマットに変換される。

【００２９】入力映像信号は、マトリクス回路１２０か
ら時間軸変換（ＴＢＣ）・遅延回路１３０に送られると
共に、サブサンプラー１７０を介してサブサンプル時間
軸変換・遅延回路１８０に送られる。時間軸変換・遅延
回路１３０は、出力映像信号の各フィールドの時間的な
位置を識別し、その出力フィールドを補間処理に使用す
る際、この出力フィールドに時間的に最も近い映像入力
信号の２つのフィールドを選択する。出力映像信号の各
フィールド毎に、時間軸変換・遅延回路１３０により選
択された２つの入力フィールドが、適当に遅延されて補
間器１４０へ送られ、この補間器１４により出力フィー
ルドを補間する。選択された２つの入力フィールドに対
する各出力フィールドの時間的な位置を示す制御信号ｔ
が、時間軸変換・遅延回路１３０から補間器１４０に供
給される。

【００３０】サブサンプル時間軸変換・遅延回路１８０
は、時間軸変換・遅延回路１３０と同様に作動するが、
サブサンプラー１７０により送られる空間的にサブサン
プルされた映像信号を用いている。サブサンプル時間軸
変換・遅延回路１８０によりサブサンプルされた映像信
号から選択され、対の入力フィールドが動きベクトルの
生成に用いられる。

【００３１】時間軸変換・遅延回路１３０及び１８０
は、入力映像信号、出力映像信号、或いは両方に含まれ
る同期信号に従って作動できる。いずれか一方の同期信
号のみしか供給されない場合には、入力映像信号及び出
力映像信号のうち、同期信号の供給されない方の映像信
号のフィールドのタイミングが、時間軸変換・遅延回路
１３０、１８０内で決定論的に生じる。

【００３２】サブサンプル時間軸変換・遅延回路１８０
により選択され、サブサンプリングされた映像入力信号
のフィールドの対は、動き処理装置１８５へ送られ、こ
の動き処理装置は、直接ブロック突き合わせ器１９０、
データストリッパー２００、動きベクトル推定器２１
０、動きベクトル低減器２２０、動きベクトル選択器２
３０及び動きベクトル後処理装置２４０を有する。入力
フィールド対は、最初に直接ブロック突き合わせ器１９
０に送られ、この直接ブロック突き合わせ器１９０は、
選択された２つの入力フィールドの内時間的に速い方の
検索ブロックと、時間的に遅い方の（より大きな）検索
ブロック間の空間的相関を示す相関面を計算する。これ
らの相関面を示すデータは、データストリッパー２００
により再フォーマットされ、動きベクトル推定器２１０
に送られる。動きベクトル推定器２１０は、相関面の最
大相関点を検出する。（実際には、これらの相関面は、
２つの入力フィールドのブロック間の差を示し、これ
は、最大相関値が相関面上の真の最小値にあることを意
味し、以下、この最大相関点を「最小値」と呼ぶ。）最
小値を検出するために、相関面上の付加点との間で補間
処理を行い、サブサンプリングされた映像信号を使用し
て相関面を生成する際に生じる解像度の低下を補償する
ようにしている。動きベクトル推定器２１０は、各相関
面毎に検出される最小値から動きベクトルを発生し、こ
の動きベクトルをベクトル低減器２２０に送出する。

【００３３】また、動きベクトル推定器２１０は、発生
した各々の動きベクトルの信頼検査を行い、その動きベ
クトルが全ノイズレベルよりも大きいか否かを判定し
て、信頼検査の結果を示す信頼フラッグを各々の動きベ
クトルに付与する。この信頼検査は「閾値」検査として
知られているが、この信頼検査は、（図３に示す装置の
その他の特徴と共に）英国公開特許公報GB-A-2 231749
号に記載されている。

【００３４】また、動きベクトル推定器２１０により、
各動きベクトルが偽動きベクトルであるか否かを検出す
る検査も行われる。この検査において、（検出された最
小値の周囲の除外領域を除く）相関面が検査され、２番
目に小さい最小値が検出される。この第２の最小値が除
外領域の境界部に存在しない場合、最初に検出した最小
値から発生した動きベクトルが、偽動きベクトルの可能
性があるものとしてフラッグをセットする。

【００３５】動きベクトル低減器２２０は、動きベクト
ルを動きベクトル選択器２３０に供給する前に、出力フ
ィールドの各画素毎に発生することがある動きベクトル
の選択の幅を低減させるように作動する。出力フィール
ドは、仮想的に画素のブロックに分割され、各ブロック
の出力フィールド内の位置は、選択された入力フィール
ドの内の先行する入力フィールド内の検索ブロックの位
置に対応する。動きベクトル低減器２２０は、出力フィ
ールドの各ブロックに組み入れる４つずつの動きベクト
ルから成る動きベクトルをグループとして構成し、最終
的に、夫々のブロックの各画素が、４つの動きベクトル
を持つグループから１つを選択して補間する。

【００３６】「偽の可能性有り」としてフラッグが設定
された動きベクトルであっても、それらが隣隣接するブ
ロック内のフラッグがセットされていない、即ち、偽で
はない動きベクトルと同一である場合、上述の動きベク
トルの低減処理中に再適格化される。

【００３７】動きベクトル低減器２２０は、その機能の
一部として、「正常」な動きベクトル（例えば信頼検査
及び偽検査を通過したか、或いは偽でないように再適格
化されたもの）の発生頻度を計数するが、これらの動き
ベクトルを得るのに用いられた入力フィールドのブロッ
ク位置は考慮しない。正常な動きベクトルを発生頻度順
に区分する。互いに大きな差を持つ最も多くの正常な動
きベクトルは、広域動きベクトルとして区分される。信
頼検査を通過した３種の動きベクトルは、出力画素の各
ブロック毎に選択され、且つ次の処理を行うためにゼロ
の動きベクトルを含めて動きベクトル選択器２３０へ送
出される。

【００３８】これらの選択された３種の動きベクトル
は、所定の選択順に次に示す３つの動きベクトルから選
択される。 （ｉ） 対応する検索ブロックから発生した動きベ
クトル （ｉｉ） 周囲の検索ブロックから発生した動きベク
トル（局部動きベクトル） （ｉｉｉ） 広域動きベクトル。

【００３９】また、動きベクトル選択器２３０には、サ
ブサンプル時間軸変換・遅延回路１８０により選択さ
れ、動きベクトルを計算するのに使用された２つの入力
フィールドも入力される。これらのフィールドは適当に
遅延されて入力されるので、動きベクトルがこれらのフ
ィールドから生成されるのと同時に動きベクトル選択器
２３０に供給できる。動きベクトル選択器２３０が供給
する出力は、出力フィールドの１画素につき１つの動き
ベクトルである。この動きベクトルは、動きベクトル低
減器２２０から送られる該当ブロックの４つの動きベク
トルから選択される。

【００４０】ベクトルの選択処理は、検査中の動きベク
トルにより指示される２つの入力フィールドの検査ブロ
ック間の相関度を検出する過程を有する。検査ブロック
間で最大の相関度を持つ動きベクトルを選択して、出力
画素の補間に用いる。また、動きベクトル選択器２３０
から「動きフラッグ」が生成される。この動きフラッグ
は、ゼロの動きベクトルにより指示されたブロック間の
相関度が予め設定された閾値より大きい場合、「静止」
（動きのないこと）としてセットされる。

【００４１】ベクトル後処理装置２４０は、動きベクト
ル選択器２３０により選択された動きベクトルを再フォ
ーマットして画素の垂直方向の大きさを任意に再現させ
ると共に、再フォーマットされた動きベクトルを補間器
１４０に送る。動きベクトルを用いることにより、補間
器１４０は、この補間器に現在供給されている動きベク
トルにより示される画像の動きに応じて、時間軸変換・
遅延回路１３０で選択された２つの（サブサンプリング
されていない）インターレース走査された入力フィール
ドから１つの出力フィールドを補間する。

【００４２】動きフラッグが、現在の出力画素が画像の
動画部分にあることを示す場合、補間器１４０に送出さ
れた選択された２つのフィールドから得られる画素は、
２つの入力フィールドに対する出力フィールドの時間的
な位置（制御信号ｔで示す）に依存する相対的比率で結
合される。このためには、これら２つの入力フィールド
の内大きい比率を持つ近い方の入力フィールドを使用す
る。動きフラッグが「静止」に設定されていることを示
す場合、時間的な重み付け処理（temporal weighting）
は行わない。補間器１４０の出力は、ＨＤＶＳ信号を出
力する出力バッファ１５０と、動きフラッグを用いて標
準精細度の出力信号１６５を発生するダウンコンバータ
（標準精細度変換器）１６０とに送られる。

【００４３】サブサンプラー１７０は、マトリクス回路
１２０から送られる入力フィールドの水平及び垂直方向
の空間的なサブサンプリングを行う。水平方向のサブサ
ンプリングは、入力フィールドが最初に半帯域幅ローパ
スフィルタ（本例では２：１の水平間引き処理）により
プリフィルタされる簡単な処理で済み、各映像ライン上
の１つおきの映像サンプルを除去することにより、各映
像ライン上のサンプル数を２分の１に減らすことができ
る。

【００４４】入力フィールドの垂直方向のサブサンプリ
ングは、入力映像信号がインターレース走査されること
により複雑になる。これは、インターレース走査された
各々のフィールド内の映像サンプルの連続するラインの
間隔が、実際には、完成した映像信号ラインの２本分の
間隔であり、各フィールド内のラインの位置は、完成し
たフレームの映像ラインの前又は後のフィールドのライ
ンから垂直方向に１本分ずれているためである。実際に
使用される垂直方向のサブサンプリングの方法は、最初
に（折り返し歪を防止するために）垂直方向のローパス
フィルタ処理を行い、次に、各画素を、映像ラインの１
本分の間隔の２分の１だけ下方（奇数フィールド）又は
上方（偶数フィールド）に変位させるフィルタ処理を行
う。このようにして得られる変位したフィールドは、垂
直方向に２分の１のサブサンプリング処理を施した順次
走査フレームのフィールドにほぼ等しくなる。

【００４５】図４は、本発明の動きベクトル推定器２１
０の詳細を示すブロック図である。図４において、一連
の相関値を有する相関面はデータストリッパー２００か
ら入力され、相関面メモリ３００に記憶される。相関値
が、相関面メモリ３００から「第１の」最小値検出器３
１０により読み出され、この最小値検出器３１０は、相
関面を走査してこれから１つの最小点を検出する。第１
の最小点検出器３１０は、次に示す３つの条件を出力す
る。即ち、実際の最小相関値（ＭＶ）３２０、相関面の
平均相関値（ＡＶ）３３０及び相関面の最小相関値３２
０の座標値（又は位置）（ＭＣ）３４０である。

【００４６】最初の走査が行われて最小相関値（ＭＶ）
３２０が検出された後に、相関面の第２の検査が第２の
最小値検出器３６０により行われる。第２の最小値検出
器３６０は、これらの相関値の座標値と共に相関面用メ
モリ３００から相関値を入力する。また、相関値の座標
値は、除外信号発生器３７０に送出され、この除外信号
発生器３７０は、除外フラッグ３８０を出力して最小相
関値３２０の座標値３４０の周囲に、例えば５×５の相
関値を持つ除外領域をマスクする。次に、第２の最小検
出器３６０は、この除外領域の外側にある最小相関値を
検出する。検出された第２の最小相関値は、この第２の
最小相関値と第１の最小相関値３２０との差を、相関面
の平均値３３０を用いて導出された閾値と比較する閾値
比較処理を受ける。最小相関値３２０と第２の（次の）
最小相関値との差がその閾値よりも大きい場合には、
「有効ベクトル」フラッグ（ＶＶ）３９０がセットさ
れ、第１の最小相関値３２０が大きな相関ピーク値を持
つことが示される。

【００４７】相関面の第３の検査が「類似」用最小値検
出器４００により行われる。この類似用最小値検出器４
００は、最小相関値３２０の閾値内にある相関面の全て
の相関値を検出する。この類似用最小値検出器４００で
用いられる閾値は、平均相関値３３０を用いて再度導出
される。これらの点の夫々が類似用最小値検出器４００
により検出されると、最小値カウンタ・比較器４１０
（以下、単に「最小値カウンタ」と云う。）に保持され
た計数値がインクリメントされる。

【００４８】類似用最小値検出器４００は、最小相関値
３２０の閾値の範囲内で、相関面において最大間隔を持
つ２つの相関値の位置を検出する。これらの最大間隔の
最小値の座標値４２０がベクトル平均化器４４０に送出
される。

【００４９】ベクトル平均化器４４０は、類似用最小値
検出器４００により検出された最大間隔の最小値４２０
の平均位置から生成した動きベクトルを示す出力４５０
を出力して、出力ベクトル選択器４６０に送出する。ま
た、ベクトル平均化器４４０は、最大間隔の最小値４２
０の空間的な関連を検出し、リッジが実際に水平又は垂
直方向にあるどうかを検出する。この検査の結果が、
「リッジ方向」フラッグ４４５として出力される。

【００５０】有効ベクトルフラッグ３９０及び最小座標
値３４０は、ベクトル発生器４７０に送られ、ここで
（第１の最小値が有効である場合）、最小座標値３４０
から動きベクトルを生成する。

【００５１】最小値カウンタ４１０に保持された計数値
は、リッジ領域４８０を示す２つの閾値と比較される。
最小値カウンタ４１０の計数値が、相関面で検出された
最小値に対して第１の所定数より大きく第２の所定数よ
り小さいことを示す場合、最小リッジが検出されたこと
を示す「有効リッジ」フラッグ（ＶＲ）４９０と「リッ
ジ」フラッグ４９５がセットされる。但し、実際には、
ベクトル平均化器４４０から発生したリッジベクトル４
５０を有効なものとして使用する。この場合、出力ベク
トル選択器４６０からリッジベクトル４５０を出力ベク
トル４６５として送出する。

【００５２】検出された最小値の数が第２の所定数より
多い場合、有効リッジフラッグ４９０がセットされずに
リッジフラッグ４９５がセットされる。これは、リッジ
ベクトル４５０を用いるべきでなく、また、動きベクト
ルを再適格化（後述）すべきか、或いは使用すべきでな
いかのどちらかを示している。この場合、ベクトル出力
選択器４６０は、ベクトル発生器４７０から発生した動
きベクトルを出力ベクトル４６５として出力する。

【００５３】また、検出された最小値の数が第１の所定
数より少ない場合、有効リッジフラッグ４９０もリッジ
フラッグ４９５のどちらもセットされない。この場合、
出力ベクトル選択器４６０は、ベクトル発生器４７０か
ら発生した動きベクトルを出力ベクトル４６５として出
力する。

【００５４】図５のａ、ｂ及びｃは、有効リッジフラッ
グ４９０がセットされた場合の図４に示す動きベクトル
推定器の動作を夫々示すものである。

【００５５】図５のａ及びｂは、水平方向の動き成分５
１０（ｖ）を持った垂直方向の細長い対象物である連続
する画像を夫々示している。図５のａ及びｂにおいて、
画像ブロック５２０及び５３０を比較して相関面５４０
（図５のｃ）を形成する際、非常に類似した相関値を持
つ多数の最小値５５０が発生することを示している。

【００５６】相関面５４０を図４に示す動きベクトル推
定器２１０により処理する場合、最大間隔の２つの最小
値５６０、５７０がベクトル平均化器４４０に送出され
る。このベクトル平均化器４４０は、（ｖ_a ＋ｖ_b ）／
２に等しいリッジベクトル４５０を生成するが、例え
ば、これは２つの最小値５６０、５７０の平均位置を示
す動きベクトルである。最小値５５０の数が所定数を超
えた場合、出力ベクトル選択器４６０から、リッジベク
トル４５０が出力ベクトル４６５として出力される。

【００５７】図６は、同様に、最小リッジを検出するた
めの第２の方法を示す。相関面６００の第１の検査にお
いて、最小相関値６１０が検出される。この最小相関値
６１０の閾値内にある全ての相関値が検出され、閾値領
域６２０を形成する。しかしながら、図４の動きベクト
ル推定器を参照して説明した方法に比較すると、この方
法では、最小相関値６１０の閾値内の最小の数が検出で
きない。代わりに、閾値領域６２０の（水平方向の）幅
に対する（垂直方向の）長さの比である「アスペクト
比」が検出される。

【００５８】このアスペクト比から、閾値領域が、図７
〜図９に示す３つの分類の１つに区分される。図７は、
閾値領域の分類の第１の例を示す。図７において、検出
されたアスペクト比が第１と第２の所定値との間にあっ
て閾値領域６３０が細長くないこと示す場合、最小値
は、水平方向（ｘ）及び垂直方向（ｙ）に有効座標値を
有する最小点として区分される。

【００５９】図８は、上記閾値領域の分類の第２の例を
示す。図８において、最小領域６４０が第１の所定値よ
り大きいアスペクト比を有し、この領域が垂直方向６５
０に細長いことを示している。この最小値は、垂直方向
の最小リッジとして区分されると共に、その結果生成す
る動きベクトルは、水平方向に確定された成分６６０を
持つが、垂直方向６５０の成分は未確定である。

【００６０】同様に、図９は、上記閾値領域の分類の第
３の例を示す。図９において、閾値領域が、第２の所定
値より少ないアスペクト比を有し、水平方向の最小リッ
ジを示している。この結果、動きベクトルは、確定した
垂直方向成分を持つが、水平方向の成分は未確定であ
る。

【００６１】上述した閾値領域の分類から、動きベクト
ルが発生した最小値の分類を示すために、リッジフラッ
グが各動きベクトルに付けられる。即ち、リッジフラッ
グ（２ビットでよい）は、動きベクトルが垂直方向の最
小リッジ又は水平方向の最小リッジの最小点から生成し
たか否かを示すものである。

【００６２】動きベクトルが最小リッジから発生した場
合、リッジ方向（例えば、垂直方向の最小リッジの場合
には垂直方向）の動きベクトルの成分は未確定となる。
しかしながら、本例のベクトル低減処理動作の一部とし
て、リッジ方向の有効ベクトル成分を割り当てることに
より、水平又は垂直方向の最小リッジから発生した動き
ベクトルを再適格化する処理が行われる。

【００６３】図１０は、最小リッジから発生する動きベ
クトルの再適格化の概略を示す。動きベクトル低減器２
２０において、動きベクトルは、それらに付属している
リッジ及び信頼フラッグと共に、この動きベクトルを発
生した検索ブロックの相対位置に対応する位置となるよ
うにメモリ・アレー６８０に記憶される。動きベクトル
の検査中、最小リッジから発生した動きベクトルが現れ
た場合、隣接するリッジ方向の動きベクトルを検査し、
リッジ方向に対して９０度のベクトル成分が最小リッジ
から発生した動きベクトルの対応する成分に一致する
（例えば、閾値の範囲内にある）かどうかを検出する。

【００６４】一致した場合は、隣のベクトルは同一の細
長い動く対象物に関連するものとみなされる。隣接する
ベクトルが、最小リッジから発生したもの自体であった
場合には、リッジ方向における検査が継続される。従っ
て、動きベクトルは、最小点（例えば、この点がリッジ
方向に沿った確定された成分を持つ。）から発生した場
合を除き、リッジ方向に対して９０度の実際の同一の成
分を有することが分かる。この動きベクトルが細長い対
象物の端部の動きを表し、リッジ方向のこの動きベクト
ル成分が、検査中の動きベクトルのリッジ方向の前に未
確定であった成分に等しいものとみなされる。

【００６５】図１０は、上記処理の２つの例（１つは水
平方向、他の１つは垂直方向）を示している。図１０に
おいて、垂直方向の場合には、動きベクトル７００は、
垂直方向の最小リッジから発生したことを示すリッジフ
ラッグを有すると共に、未確定の垂直方向の（ｙ）成分
を除く正常な水平方向の（ｘ）成分を持つ。次に、リッ
ジ方向の隣の動きベクトル７１０が検査され、未確定の
ｙ成分を除き一致するｘ成分を持つことが検出される
（この動きベクトル７１０も、垂直方向の最小リッジか
ら生成する。）。同様に、続くベクトル７２０及び７３
０の検索も、未確定のｙ成分を除き一致するｘ成分を表
す。このように、一致するｘ成分及び確定されたｙ成分
を有する動きベクトル７４０が検出される（この動きベ
クトルは最小点から発生する。）。動きベクトル７４０
は、細長い対象物の端部の動きを表すので、動きベクト
ル７４０のｙ成分が、動きベクトル７００に割り当てら
れるものとみなされる。この動きベクトル７００に伴う
リッジフラッグは、動きベクトル７００が（これが最小
点から発生したことを示すリッジフラッグをセットする
ことにより）再適格化されることを示すように変更さ
れ、この結果、出力画素の補間に使用できることを示
す。

【００６６】水平方向の最小リッジから生成した動きベ
クトルの再適格化について、対応する処理も示されてい
る。この場合、左から右方向へ行う第１の検索は有効で
はない。これは、動きベクトルを記憶したメモリ・アレ
ー６８０の端部に突き当たるためである。次に、右から
左方向に第２の検索が行われ、未確定のｘ成分を除き動
きベクトル７５０に一致するｙ成分を持つ３つの動きベ
クトル７６０が検出される。

【００６７】この結果、動きベクトル７５０の成分に一
致するｙ成分及び確定したｘ成分を持つ動きベクトル７
７０が検出される。動きベクトル７７０のｘ成分は、動
きベクトル７５０に割り当てられ、リッジフラッグも上
述と同様に変更される。

【００６８】図１１は、上述の処理を行う動きベクトル
低減器２２０（図３）の一部を示す概略ブロック図であ
る。図１１において、動きベクトル推定器２１０（図
３）から入力される動きベクトルは、それらの信頼フラ
ッグ及びリッジフラッグと共に入力ベクトルメモリ８０
０に書き込まれる。ベクトル処理装置８１０が、記憶さ
れた動きベクトルを読み出して図１０を参照して説明し
た再適格化処理を行う。次のベクトル低減処理を行う前
に、ベクトル処理装置８１０から出力される再適格化さ
れたものを含む動きベクトルが、出力ベクトルメモリ８
２０に書き込まれる。入力及び出力ベクトルメモリ８０
０及び８２０を別々に使用するのは、再適格化処理の結
果生じる一連のベクトルにエラーが増加するのを防ぐた
めである。

【００６９】図１２は、図１１のベクトル処理装置８１
０による処理を示すフローチャートである。ステップ９
００において、検査中の動きベクトルが（リッジフラッ
グと共に）入力ベクトルメモリ８００から読み出され
る。ステップ９１０では、検査中のベクトルに伴うリッ
ジフラッグが検査され、検査中のベクトルが水平又は垂
直の最小リッジから発生したかが検出される。次に、ス
テップ９２０において、検査中のベクトルが最小点から
発生した場合、検査中のベクトルとそれに伴うフラッグ
が出力ベクトル８２０に書き込まれる。次の動きベクト
ルを入力ベクトルメモリ８００から読み出すために、ス
テップ９００に戻される。

【００７０】次に、ステップ９３０で、検査中の動きベ
クトルが最小リッジから発生した場合には、リッジ方向
における隣接する動きベクトルが読み出される。ステッ
プ９４０では、リッジ方向に対して９０度の隣接する動
きベクトル成分を、検査中の対応する動きベクトル成分
と比較する。比較の結果、これらの値に差があり、総閾
値より多い場合にはステップ９５０に移行して、検査中
のベクトルを変更せずに（再適格化せずに）出力ベクト
ルメモリ８２０に書き込む。書き込み後は、ステップ９
００に戻り、検査中の次の動きベクトルを入力ベクトル
メモリ８００から読み出す。

【００７１】上記ステップ９４０における検査の結果、
隣接ベクトルがリッジ方向に対して９０度のほぼ同一成
分を有する場合にはステップ９６０に進み、この隣接ベ
クトルに伴うリッジフラッグを検査する。隣接ベクトル
自体が、最小リッジから発生した場合はステップ９３０
に戻り、次の隣接ベクトルを検査する。

【００７２】ステップ９６０の検査において、隣接ベク
トルが最小リッジから発生しなかったことを示す場合に
はステップ９７０に進み、隣接ベクトル成分を検査中の
動きベクトルに割り当てる。次にステップ９８０に移行
し、検査中の動きベクトルが再適格化されたことを示す
ために、検査中の動きベクトルに付けられたリッジフラ
ッグを変更する。この処理は、検査中の動きベクトルが
最小点から発生したことを表すようにして、この動きベ
クトルのリッジフラッグをセットすることにより達成さ
れる。

【００７３】最後に、ステップ９９０に移行し、検査中
の動きベクトルの変更値が（変更されたフラッグと共
に）出力ベクトルメモリ８２０に書き込まれ、再びステ
ップ９００に戻る。

【００７４】上述した処理において、最小リッジから導
出されるベクトルに対して斜めのベクトルについても検
査を行って、リッジ方向に９０度の同一のベクトル成分
を検出できるように改良することもできる。図１２の各
ステップにおいて、リッジ方向に沿った隣接ベクトル
が、ステップ９３０、９４０及び９６０で検査され、こ
の隣接ベクトルのどちらかの側（前又は後）にあるベク
トルに続くようにする。また、この改良例は、装置コス
トの増加を問わなければ、希に現れることのある斜めに
動く長い対象物にもより良い結果を得ることができる。

【００７５】以上、本発明の具体例を添付図面を参照し
て詳細に説明したが、本発明は、これらの詳細な具体例
に限定されるものではなく、また、添付の請求項に定義
された本発明の範囲及び精神を逸脱することなく、当該
技術分野の者にとって種々の変更及び修正を取り得るこ
とは明かであろう。

【００７６】

【発明の効果】以上説明したように、本発明によれば、
相関面における最大相関リッジを検出し、入力映像信号
の一対の入力画像間の画像の動きを示す動きベクトルを
生成して画像の動き補正を行うようにしたので、画像の
欠陥を低減させることができる。

【図面の簡単な説明】

【図１】本発明の説明に供する画像の相関面のリッジ
（一次元）の最小値を示す図である。

【図２】従来のゼロの動きベクトルによる画像の欠陥を
示す概略図である。

【図３】本発明に用いられる動き補正テレビジョン標準
方式変換装置のブロック図である。

【図４】図３の装置に使用する本発明による動きベクト
ル推定器の詳細を示すブロック図である。

【図５】図４の動きベクトル推定器の動作を示す説明図
である。

【図６】本発明の第２の方法によるリッジ最小値の検出
を示す図である。

【図７】３つ分類される閾値領域の第１の例を示す図で
ある。

【図８】上記閾値領域の第２の例を示す図である。

【図９】上記閾値領域の第３の例を示す図である。

【図１０】本発明によるリッジ最小値から発生する動き
ベクトルの再適格化を説明する概略図である。

【図１１】図３の動きベクトル低減器の一部を示すブロ
ック図である。

【図１２】図１１による処理を示すフローチャートであ
る。

【符号の説明】

２００ データストリッパー（相関面生成手段） ２１０ ベクトル推定器 ３１０、３６０、４００ 最小値検出器（最大相関値検
出手段） ４１０ 最小値カウンタ・比較器（リッジ検出手段） ４７０ ベクトル発生器（動きベクトル発生手段）

───────────────────────────────────────────────────── フロントページの続き (72)発明者 ジェームス エドワード バーンズ イギリス国 ハンプシャー，ベーシングス トーク，オールドベーシング，ハッチレー ン 81 (72)発明者 マーチン レックス ドリコット イギリス国 ハンプシャー，ベーシングス トーク，ベーシング，リングフィールド クロース ６ (72)発明者 シマ ラブジ バーサニ イギリス国 ハンプシャー，ベーシングス トーク，フック，フォーエーカー コピス ５

Claims (16)

【特許請求の範囲】
1. 【請求項１】 入力映像信号の一対の入力画像間の画像
   の動きを示す動きベクトルを生成する動きベクトル補正
   映像信号処理装置であって、 上記一対の入力画像の一方にある検索ブロックを、複数
   のブロックを有する上記一対の入力画像の他方の検索領
   域と比較し、上記検索ブロックと上記検索領域間の相関
   を示す一連の相関値を有する相関面を生成する手段と、 上記相関面の最大相関値を検出する手段と、 上記相関面の上記最大相関値の位置に応じた動きベクト
   ルを生成する手段と、 最大相関リッジを示す上記最大相関値の総閾値内で上記
   相関面の相関値を検出するリッジ検出手段とを有する装
   置。
2. 【請求項２】 上記リッジ検出手段が、上記最大相関値
   の総閾値の範囲に含まれる相関値が、上記相関値の第１
   の所定数より多いかを検出する手段を有する請求項１記
   載の装置。
3. 【請求項３】 上記リッジ検出手段は、上記最大相関値
   の総閾値の範囲に含まれる相関値が、上記相関値の上記
   第１の所定数より大きい第２の所定数より少ないかを検
   出する手段を有する請求項２記載の装置。
4. 【請求項４】 最大相関リッジの検出に応じ、上記最大
   相関値の上記総閾値の範囲内で、最大間隔の２つの相関
   値の上記相関面における位置に応じた平均動きベクトル
   を発生する手段を有する請求項１記載の装置。
5. 【請求項５】 上記リッジ検出手段は、上記最大相関値
   の総閾値の範囲に相関値を有する上記相関面の領域を検
   出する手段と、 垂直の画像の動きを示す方向の上記領域の長さと水平の
   画像の動きを示す方向の上記領域の長さとの比を検出す
   る手段と、 上記比を第１の所定値と比較し、水平の画像の動きを示
   す上記方向の最大相関リッジを検出する手段と、 上記比を第２の所定値と比較し、垂直の画像の動きを示
   す上記方向の最大相関リッジを検出する手段とを有する
   請求項１記載の装置。
6. 【請求項６】 最大相関リッジを示すリッジフラッグを
   セットする手段を有する請求項１記載の装置。
7. 【請求項７】 上記最大相関リッジが、水平の画像の動
   きを示す方向か、又は垂直の画像の動きを示す上記方向
   にあるか否かを示すリッジフラッグを発生させる手段を
   有する請求項６記載の装置。
8. 【請求項８】 最大相関リッジが検出された相関面から
   発生した検査中の動きベクトルを、上記一対の入力画像
   から発生した次の動きベクトルと比較する手段と、上記
   次の動きベクトルと検査中の上記動きベクトルの対応す
   る成分がほぼ同一であるかを検出する手段と、上記次の
   動きベクトルが、最大相関リッジを検出した相関面から
   発生したかを検出する手段と、上記次の動きベクトル
   が、最大相関リッジを検出した相関面から生成されなか
   った場合、上記リッジ方向の検査中の上記動きベクトル
   の成分を上記次の動きベクトルと置き換える手段とを有
   する請求項５記載の装置。
9. 【請求項９】 上記次の動きベクトルを、上記リッジ方
   向において、検査中の上記動きベクトルと置き換えられ
   た相関面から発生する請求項８記載の装置。
10. 【請求項１０】 上記次の動きベクトルを、上記リッジ
    方向において、検査中の上記動きベクトルに対して垂直
    方向に隣接する相関面から生成する請求項９記載の装
    置。
11. 【請求項１１】 上記次の動きベクトルを、上記リッジ
    方向において上記動きベクトルに対して斜め方向に隣接
    する相関面から生成する請求項９記載の装置。
12. 【請求項１２】 上記総閾値が上記相関面の相関値の平
    均値である請求項１記載の装置。
13. 【請求項１３】 上記相関面が、上記検索ブロックと上
    記検索領域の容量の差を示す一連の相関値から成る請求
    項１記載の装置。
14. 【請求項１４】 上記相関値は、上記検索ブロックと上
    記検索領域間の輝度の差を示す請求項１３の装置。
15. 【請求項１５】 請求項１に記載の装置を有する動き補
    正テレビジョン標準方式変換器。
16. 【請求項１６】 入力映像信号の一対の入力画像間の画
    像の動きを示す動きベクトルを発生する動き補正映像信
    号の処理方法であって、 上記一対の入力画像の一方を、複数のブロックを有する
    上記一対の入力画像の他方の検索領域と比較し、上記検
    索ブロックと上記検索領域間の相関を示す一連の相関値
    を有する相関面を生成し、 上記相関面の最大相関値を検出し、 上記相関面の上記最大相関値の位置に応じて動きベクト
    ルを発生し、 上記相関面の相関値を、最大相関リッジを示す上記最大
    相関値の総閾値の範囲内で検出するステップを有する方
    法。