JP2000201328A

JP2000201328A - 動きベクトルの検出方法および回路

Info

Publication number: JP2000201328A
Application number: JP258299A
Authority: JP
Inventors: Yasuhiro Hirano; 裕弘平野; Masahito Sugiyama; 雅人杉山; Mitsuo Nakajima; 満雄中嶋; Yasutaka Tsuru; 康隆都留; Takaaki Matono; 孝明的野; Haruki Takada; 春樹高田; Kazuo Ishikura; 和夫石倉
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1999-01-08
Filing date: 1999-01-08
Publication date: 2000-07-18

Abstract

(57)【要約】【課題】動き補正の信号処理に適した動きベクトルを高
精度、かつ効率よく検出する方法および回路を提供す
る。【解決手段】ブロック間では動きベクトルの相関が高い
性質に着目し、ブロック単位の動きベクトルの検出で
は、対象ブロックに隣接するブロックの既検出の動きベ
クトルのうちで予測誤差成分が最少なものを対象ブロッ
クの代表ベクトルに設定し、この代表ベクトルによる予
測誤差が所定値を越えるときは、所定領域内の既検出し
た動きベクトルより算出した平均速度とその方向で規定
する探索領域をブロックマッチング処理で探索し、対象
ブロックの動きベクトルを検出する。また、隣接ブロッ
クの動きベクトルとの相関の低い動きベクトルを特異ベ
クトルとして検出し、隣接ブロックの動きベクトルのう
ちで予測誤差が最少なもので置き換える修正を行う。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は画像の単位時間当た
りの動きベクトルを検出する方法および回路に係り、特
に動き補正処理を用いたフレーム数変換や飛び越し〜順
次の走査変換などの信号処理に好適な動きベクトルの検
出方法および回路に関する。

【０００２】

【従来の技術】近年、情報家電端末として、テレビジョ
ン受像機やＰＣでは、画像信号の各種フォーマット変換
機能、例えば、フレーム数変換、飛び越し〜順次の走査
変換、画素数変換などの機能が必要になっている。そし
て、これらのフォーマット変換機能を高画質で行うた
め、動き補正処理を用いた信号処理の関心が高まってい
る。

【０００３】さて、画像の高能率符号化の分野では動き
補償の予測符号化が主流になってきた。これは、ブロッ
ク単位（例えば、８画素×８ライン）で検出した動きベ
クトルで画像の位置を移動させて生成する予測フレーム
の信号と、現フレームの信号との誤差成分を符号化す
る。従って、動きベクトルはブロック単位でよく、ま
た、検出精度が悪くても符号化効率が若干悪くなるだけ
で、画質を著しく劣化させることはない。

【０００４】一方、動き補正処理を用いた高画質化のた
めの信号処理では、動きベクトルが不正確であると画像
の一部が無関係な画像に置き換わるといった目障りな画
質劣化が発生する。したがって、動きベクトルの検出で
は高精度が要求される。また、信号処理を画素毎に行う
ため、画素毎での動きベクトルが必要になる。

【０００５】動き補正処理に適した動きベクトルの検出
方法としてこれまで多くの考案がなされている。例え
ば、特開平７−１７０４９６号公報では動きベクトルを
効率よく探索する方法が開示されている。しかしなが
ら、これら従来技術では動きベクトルの検出精度に課題
を有し、動き補正処理を用いた信号処理を実現するうえ
で大きな障害になっている。

【０００６】

【発明が解決しようとする課題】本発明は、上記の問題
に鑑みてなされたもので、動き補正処理に適した動きベ
クトルを高精度、かつ効率よく検出する動きベクトルの
検出方法および回路の提供を目的とする。

【０００７】

【課題を解決するための手段】上記目的を達成するた
め、本発明においては以下に述べる技術的手段を採用す
る。

【０００８】動きベクトルの検出は段階的に行い、ま
ず、ブロックマッチング処理をベースとしたブロック単
位の動きベクトルの検出、次に、ブロックを水平・垂直
に細分化したミニブロックに対してこの動きベクトルを
もとに探索処理し、最終的に画素毎の動きベクトルを検
出する。そして、各段階では、既検出した動きベクトル
の情報、および画像の動きの特徴をフルに活用した検出
処理を行う。

【０００９】ブロック間では動きベクトルの相関が高い
性質に着目し、ブロック単位の動きベクトルの検出で
は、対象ブロックに隣接するブロックの既検出の動きベ
クトルのうちで予測誤差成分が最少なものを対象ブロッ
クの代表ベクトルに設定する。そして、この代表ベクト
ルによる予測誤差が所定値を越えるときは、所定領域内
の既検出した動きベクトルより算出した平均速度とその
方向で規定する探索領域をブロックマッチング処理で探
索し、対象ブロックの動きベクトルを検出する。

【００１０】次に、隣接ブロックの動きベクトルとの相
関の低い動きベクトルを特異ベクトルとして検出し、隣
接ブロックの動きベクトルのうちで予測誤差が最少なも
ので置き換える修正を行う。

【００１１】以上の技術的手段により、ブロック単位の
動きベクトルを、高精度、かつ、効率よく検出すること
が可能になる。

【００１２】最終目標である画素毎の動きベクトルの検
出は、ブロックを水平・垂直に細分化したミニブロック
に対して、予測誤差が設定値未満の時は対象ブロックの
動きベクトル、設定値以上のミニブロックでは、対象ブ
ロックおよびこれに隣接するブロックの動きベクトルの
うちで予測誤差が最少なものを、それぞれミニブロック
内の画素の動きベクトルに割り当てる。この際、ミニブ
ロックのサイズを例えば、２画素×２ライン程度と設定
すれば、ミニブロック内の画素はほぼ同じ動きベクトル
となる可能性が極めて高く、効率よく画素毎の動きベク
トルを検出することができる。

【００１３】また、ブロック単位の動きベクトルの検出
では、フレーム間の差分信号成分より静止ブロックと動
画ブロックに判別し、動きベクトルの検出は動画ブロッ
クのみに限定して行う。

【００１４】さらに、動き補償予測符号化で用いる動き
ベクトル情報を活用し、これを所定単位時間当たりの動
きベクトルに変換したものを併用して代表ベクトルの設
定を行う。

【００１５】これらの技術的手段により、動き補正処理
に適した動きベクトルを、より高精度、より効率よく検
出することが可能になる。

【００１６】

【発明の実施の形態】（実施例１）本発明の第１の実施
例について、図１〜図１２の図面で説明する。図１は本
発明の実施例１の動きベクトル検出回路のこのブロック
構成を示し、遅延部１、代表ベクトル設定部２、再探索
部３、特異ベクトル検出部４、ミニブロック探索部５、
メモリ部６、ベクトル解析部７、制御部８で構成され
る。

【００１７】入力画像信号Ｓ１（走査形態は飛び越し走
査もしくは順次走査、信号成分は輝度信号もしくは輝度
信号と色差信号のいずれの組み合わせも可能）の一方は
遅延部１に入力し、所定の単位時間遅延させた信号Ｓ２
を生成する。例えば、フレーム数変換処理で使用する場
合は信号Ｓ２は１フレーム期間遅延させた信号、飛び越
し〜順次の走査変換で使用する場合は信号Ｓ２は数フレ
ーム期間遅延させた信号である。

【００１８】代表ベクトル設定部２は、図２に示す動き
ベクトル検出のフローチャートの第１、第２ステップの
信号処理を行う。すなわち、対象ブロックが静止／動画
ブロックのいずれかを判別し、静止ブロックの時は代表
ベクトルＴＭＶに０、動画ブロックの時は既検出の参照
ベクトルＲＭＶのうちで予測誤差が最少なものを代表ベ
クトルＴＭＶに設定する。なお、ブロックのサイズは、
例えば、水平８画素×垂直８ラインである。

【００１９】再探索部３は、図２のフローチャートの第
３ステップの信号処理を行う。すなわち、代表ベクトル
ＴＭＶの予測誤差が所定値以上のブロックに対し、探索
設定信号ＭＯＤで定まる探索領域をブロックマッチング
処理で再探索し、動きベクトルＭＶ１を生成する。

【００２０】特異ベクトル検出部４は、図２のフローチ
ャートの第４ステップの信号処理を行う。すなわち、対
象ブロックとこれに隣接するブロックとの動きベクトル
の相関から特異ベクトルを検出し、相関の高い動きベク
トルで置換する修正処理を行い、誤検出ベクトル（画像
本来の動きとは異なる動きのベクトル）を除去する。そ
して、精度の高い動きベクトルＭＶを生成する。

【００２１】動きベクトルＭＶの一方は、メモリ部６に
記憶し、既検出の参照ベクトルＲＭＶを出力する。ま
た、ベクトル解析部７は、この出力をもとに、所定領域
における動きベクトルの平均速度、方向などの動きベク
トル情報ＭＶＩＦを抽出する。

【００２２】ミニブロック探索部５は、図２のフローチ
ャートの第５ステップの信号処理を行う。すなわち、ブ
ロックを水平・垂直方向に細分化したミニブロック（サ
イズは例えば水平２画素×垂直２ライン）毎の動きベク
トルを生成する。そして、この出力に動き補正処理に適
した画素単位の動きベクトルＰＶを得る。

【００２３】制御部８は、動きベクトル情報ＭＶＩＦよ
り探索設定信号ＭＯＤを生成する。また、図面には明示
されていないが、各ブロックでの信号処理の動作に必要
な信号類を生成する。

【００２４】以上で全体構成の説明を終え、以下では、
各ブロックの構成、動作について詳述する。

【００２５】初めに代表ベクトル設定部２について、図
３〜図４の図面で説明する。図３は代表ベクトル設定部
２の一構成例を示し、静止動画ブロック判別部９、演算
部１０、判定部１１で構成される。

【００２６】静止動画ブロック判別部９は、まず、信号
Ｓ１とＳ２との減算処理でフレーム間（例えば、１〜数
フレーム期間）の差分信号成分を抽出する。そして、こ
の差分成分が閾値未満の画素の占める比率が例えば１０
％以上のブロックは静止ブロック、以下は動画ブロック
と判別し、信号ＳＭＦに静止ブロックでは０、動画ブロ
ックでは１を出力する。

【００２７】演算部１０−１〜１０−ｎは、既検出の参
照ベクトルＲＭＶｉ（ｉ＝１，…，ｎ）に対して、数１
に示す予測誤差ＥＲｉの算出を行う。そして、既検出の
参照ベクトルＲＭＶ１〜ＲＭＶｎと、その予測誤差ＥＲ
１〜ＥＲｎとを出力する。

【００２８】

【数１】ＥＲｉ＝Σ｜Ｓ１（ｘ，ｙ）−Ｓ２（ｘ＋Ｖｘｉ，ｙ＋Ｖｙｉ）｜ …(1) （ここに、Ｓ１（ｘ，ｙ）は対象ブロック内の画素
（ｘ，ｙ）の信号、Ｓ２（ｘ＋Ｖｘｉ，ｙ＋Ｖｙｉ）は
画素（ｘ，ｙ）を参照ベクトルＲＭＶｉ（ｘ方向成分Ｖ
ｘｉ、ｙ方向成分Ｖｙｉ）で位置を移動させた点の信
号、記号｜｜はその絶対値、Σは対象ブロック内の画素
の総和を示す）図４は、この既検出の参照ベクトルの一例である。対象
ブロックに隣接するブロックの動きベクトルを参照ベク
トルとして使用する。なお、対象ブロックより以前では
現フレームで検出した動きベクトル、以降（図面中の斜
線で示す領域）では前フレームで検出した動きベクトル
がそれぞれ参照ベクトルになる。

【００２９】図３に戻り、判定部１１は、信号ＳＭＦが
０の静止ブロックは代表ベクトルＴＭＶと予測誤差ＥＲ
Ｔに０を出力する。一方、信号ＳＭＦが１の動画ブロッ
クでは、予測誤差ＥＲ１〜ＥＲｎのうちで最少なものを
検出し、対応する参照ベクトルを代表ベクトルＴＭＶ、
その予測誤差をＥＲＴに出力する。

【００３０】次に、再探索部３について、図５〜図７の
図面で説明する。図５は上記再探索部３の一構成例で、
第１探索領域設定部１２、ブロックマッチング処理部１
３、１６、第２探索領域設定部１５、設定部１４、１７
からなる。

【００３１】第１探索領域設定部１２は、制御部からの
探索設定信号ＭＯＤに従い、図６に示す特性でブロック
マッチング処理で探索する領域を指定する制御信号ＳＲ
１を生成する。

【００３２】すなわち、ＭＯＤが１〜３で平均の動きベ
クトルの方向ａｎｇ（ａｎｇ＝ave｜Ｖｙ｜／ave｜Ｖｘ
｜で、ave｜Ｖｘ｜、ave｜Ｖｙ｜は平均水平速度、平均
垂直速度）が１／２以下の水平方向の動きが主体の時
は、制御信号ＳＲ１は、平均水平速度ave｜Ｖｘ｜の大
小に比例する０．５〜２の値の探索範囲設定係数Ｓｘで
水平方向の探索領域ＤＸは１２＊Ｓｘ画素と広く、垂直
方向の探索領域ＤＹは１〜４ラインと狭い横長形状の領
域を指定する。

【００３３】また、ＭＯＤが４のベクトル方向が１／２
＜ａｎｇ＜２の時は、制御信号ＳＲ１は、水平方向の最
大探索領域ＤＸが１２＊Ｓｘ画素、垂直方向の最大探索
領域ＤＹが１２＊Ｓｙラインとなる四角形状の領域を指
定する。なお、探索範囲設定係数Ｓｙは、平均垂直速度
ave｜Ｖｙ｜の大小に比例する０．５〜２の値をとる。

【００３４】一方、ＭＯＤが５〜７でベクトル方向が２
以上の垂直方向の動きが主体の時は、制御信号ＳＲ１
は、水平方向の探索領域ＤＸは１〜４画素と狭く、垂直
方向の探索領域ＤＹは１２＊Ｓｙと広い、縦長形状の領
域を指定する。

【００３５】以上に述べた処理を行うことで、探索領域
を画像の動きにマッチした領域に設定することができ
る。

【００３６】図５に戻り、ブロックマッチング処理部１
３は、制御信号ＳＲ１で指定された探索領域について、
逐次、ブロックマッチング処理を行い、動きベクトルＭ
ＶＢｉとその予測誤差ＥＲを出力する。

【００３７】設定部１４は、この予測誤差ＥＲに対し
て、逐次、大小比較を行い、予測誤差が最少なものを検
出する。そして、その動きベクトルＭＶＢと予測誤差Ｅ
Ｒminを出力する。

【００３８】次に、予測誤差の大小と動きベクトルの精
度との間にはかなり高い相関があることに着目し、第２
探索領域設定部１５は、図７（ａ）に示すように、動き
ベクトルＭＶＢを起点にブロックマッチング処理で第２
探索する領域を、予測誤差が小では実線、中では点線、
大では太線の領域に指定する制御信号ＳＲ２を生成す
る。この特性例を図７（ｂ）に示す。まず、予測誤差Ｅ
Ｒminが設定値ｔｈ未満の時は動きベクトルの精度は高
いと判定する。そして、制御信号ＳＲ２は、探索設定係
数Ｓｃが０で第２探索の水平方向の探索領域ＤＸＳ、垂
直方向の探索領域ＤＹＳのいずれもが０の領域を指定す
る。したがって、この時には、第２探索は行わないこと
になる。

【００３９】一方、予測誤差ＥＲminが設定値ｔｈ以上
の時は、動きベクトルの精度は悪いと判断し、第２探索
で精度の向上を図る。そこで、制御信号ＳＲ２は、第２
探索の水平方向の探索領域ＤＸＳ＝ＤＸ＊Ｓｃと垂直方
向の探索領域ＤＹＳ＝ＤＹ＊Ｓｃの領域を指定する。な
お、ＤＸ，ＤＹは、第１探索領域設定部で指定したもの
である。また、予測誤差がｔｈ〜ｔｈ１では探索設定係
数Ｓｃを０．２、ｔｈ１〜ｔｈ２では０．４、ｔｈ２以
上では０．６と設定し、予測誤差に比例して探索領域を
拡大する。

【００４０】図５のブロックマッチング処理部１６は、
動きベクトルＭＶＢを起点に制御信号ＳＲ２で指定され
た探索領域を逐次ブロックマッチング処理し、動きベク
トルＭＶＢｍとその予測誤差ＥＲＲを出力する。

【００４１】設定部１７は、この予測誤差ＥＲＲを逐次
大小比較し、予測誤差が最少なものを検出する。そし
て、その動きベクトルＭＶ１を出力する。

【００４２】次に、特異ベクトル検出部４について、図
８〜図９の図面で説明する。図８は上記特異ベクトル検
出部４の一構成例で、予測誤差算出部１８、ベクトル相
関検出部１９、判別部２０からなる。

【００４３】ベクトル相関検出部１９は、図９に示すよ
うに、対象ブロックと隣接する上、左、右、下のブロッ
クの動きベクトルの相関を調べ、相関の少ない特異ベク
トルを検出する。具体的には、対象ブロックの動きベク
トルＭＶが、隣接する４つのブロックの動きベクトルＭ
Ｖｕ，ＭＶｌ，ＭＶｒ，ＭＶｄのいずれかと一致する時
は相関が高いと判定して信号ＳＶＦには０を出力する。
一方、ＭＶが４つの動きベクトルのいずれとも異なる時
は特異ベクトルと判定し、信号ＳＶＦに１を出力する。
なお、この特異ベクトルの殆どは誤検出ベクトル（前述
したように画像の動きとは異なるベクトル）に相当す
る。

【００４４】図８の予測誤差算出部１８は、対象ブロッ
ク上で前記数１に示した予測誤差を、上述した４つの動
きベクトルに対して逐次算出し、その動きベクトルＭＶ
１ｉ（図９のＭＶｕ，ＭＶｌ，ＭＶｒ，ＭＶｄ）と予測
誤差ＥＲＲを出力する。

【００４５】設定部２０は、信号ＳＶＦが０の時は、対
象ブロックの動きベクトルＭＶとその予測誤差、信号Ｓ
ＶＦが１の時は、４つの動きベクトルのうちで予測誤差
が最少な動きベクトルとその予測誤差を信号ＭＶ、ＥＲ
minに出力する。この信号処理で誤検出ベクトルの発生
を大幅に抑圧する。

【００４６】次にミニブロック探索部５について、図１
０〜図１１の図面で説明する。図１０は上記ミニブロッ
ク探索部５の一構成例で、分割探索判定部２１、隣接ベ
クトル生成部２２、演算部２３、選択部２４からなる。

【００４７】分割探査判定部２１は、予測誤差ＥＲmin
の大小に応じて、ミニブロック分割探索の動作を制御す
る信号ＣＴを生成する。具体的には、予測誤差ＥＲmin
が設定値未満のブロックは、動きベクトルの精度は高い
と判定し、信号ＣＴに０を出力する。一方、予測誤差が
設定値以上のブロックは動きベクトルが不正確と判定
し、信号ＣＴに１を出力する。

【００４８】隣接ベクトル生成部２２は、図１１に示す
ように、ミニブロック分割探索で使用する参照ベクトル
ＭＶｕ，ＭＶｒ，…，ＭＶｄを出力する。すなわち、対
象ブロックと、この周縁の左上、上、右上、左、右、左
下、下、右下のブロックの動きベクトルを参照ベクトル
として出力する。

【００４９】演算部２３は、図１１に示すように、ブロ
ックを水平・垂直方向に細分化したミニブロック（サイ
ズは例えば水平２画素×垂直２ライン）毎に、参照ベク
トルによる予測誤差を算出し、参照ベクトルと予測誤差
とを出力する。

【００５０】選択部２４は、信号ＣＴが０のブロックで
は、全てのミニブロックにブロックの動きベクトルを選
択し、ＣＴが１のブロックでは、各ミニブロック毎に予
測誤差が最少な参照ベクトルを選択し、高精度な画素単
位の動きベクトルＰＶを出力する。

【００５１】このミニブロック探索部５の信号処理によ
り、図１１に示すように、ブロック内に異なる動きが存
在する場合（図面では点線より上部の物体は右上方向、
太字点線より下部の物体は左方向の動き）でも、上部物
体に含まれるミニブロックは予測誤差が最少になる例え
ば上ブロックの動きベクトルＭＶｕ、下部物体に含まれ
るミニブロックは予測誤差が最少になる例えば右下ブロ
ックの動きベクトルＭＶｒｄになる。したがって、ミニ
ブロック分割探索の処理で、画素の動きベクトルを高精
度に検出することができる。

【００５２】なお、ミニブロック内の画素は全て同じ動
きベクトルとなるが、ミニブロックのサイズを小さくす
ることで、動き補正処理による信号処理では全く問題の
ない動きベクトルを得ることができる。

【００５３】最後に、ベクトル解析部７について、図１
２の図面で説明する。図１２は上記ベクトル解析部７の
一構成例で、｜Ｖｘ｜累積部２５、｜Ｖｙ｜累積部２
６、動き方向算出部２７、｜Ｖｘ｜平均速度算出部２
８、｜Ｖｙ｜平均速度算出部２９からなる。

【００５４】｜Ｖｘ｜累積部２５と｜Ｖｙ｜累積部２６
は、動きベクトルＭＶの水平成分の絶対値｜Ｖｘ｜と、
垂直成分の絶対値｜Ｖｙ｜を所定領域の間で累積し、そ
の累積値を信号Ｓ３、Ｓ４に出力する。なお、所定領域
には、画像の１画面、あるいは１画面をＮ個に分割した
Ｎ分割画面の領域など様々な領域を設定することができ
る。

【００５５】動き方向算出部２７は、Ｓ４をＳ３で除算
する演算でベクトル方向ａｎｇ｜Ｖｙ｜／｜Ｖｘ｜を算
出し、動きベクトル情報ＭＶＩＦ１に出力する。

【００５６】｜Ｖｘ｜平均速度算出部２８は、Ｓ３を所
定領域内の動きベクトルが０でないもののブロック数で
除算する演算で平均水平速度ave｜Ｖｘ｜を算出し、動
きベクトル情報ＭＶＩＦ２に出力する。

【００５７】｜Ｖｙ｜平均速度算出部２９は、Ｓ４を所
定領域内の動きベクトルが０でないもののブロック数で
除算する演算で平均垂直速度ave｜Ｖｙ｜を算出し、動
きベクトル情報ＭＶＩＦ３に出力する。

【００５８】以上に述べた如く、本発明の第１の実施例
によれば、動き補正処理に適した動きベクトルを、高精
度、かつ、効率よく検出する動きベクトルの検出回路が
実現できる。

【００５９】（実施例２）次に、本発明の第２の実施例
について、図１３〜図１５の図面で説明する。本実施例
は、動き補償予測符号化で使用する動きベクトルの情報
を併用し、より高精度な動きベクトルを検出するのに好
適なものである。

【００６０】図１３は本実施例のブロック構成例で、第
１の実施例にベクトル変換部３０を追加して構成する。
このうち、遅延部１、代表ベクトル設定部２、再探索部
３、特異ベクトル検出部４、ミニブロック探索部５、メ
モリ部６、ベクトル解析部７、制御部８の構成や動作は
第１の実施例と同様であり、以下では、ベクトル変換部
３０に関して、図１４〜図１５の図面で説明する。

【００６１】図１４は上記ベクトル変換部３０の一構成
例で、Ｐベクトル変換部３１、Ｂベクトル変換部３２、
選択部３３からなる。

【００６２】動き補償予測符号化（例えばＭＰＥＧビデ
オ符号化など）の信号系列を所定の復号処理で復号して
得る動きベクトル情報ＭＶＤのうち、Ｐピクチャ符号化
に使用する動きベクトルは、Ｐベクトル変換部３１で所
定の単位時間当たりの動きベクトルＭＴＶ１に変換す
る。

【００６３】この動作概略を図１５（ａ）に示す。動き
補償予測符号化のＰピクチャ符号化では、画像信号系列
のうち記号ＩとＰで示したフレームの信号を一方向予測
の動き補償処理で符号化する。すなわち、ＰベクトルＰ
Ｖで位置を移動させて生成した予測フレームと現フレー
ムとの差分成分を符号化する。そして、この符号化を行
うＰの記号のフレームは複数フレーム周期（図では３フ
レーム周期）にとられる。そこで、このＰベクトルＰＶ
を１／Ｎ倍する変換処理を行い、所定の単位時間、例え
ば、１フレーム期間の動きベクトルＭＶＴ１（図ではＮ
＝３に相当）を生成する。

【００６４】一方、Ｂベクトル変換部３２は、Ｂピクチ
ャ符号化に使用する動きベクトルより所定の単位時間当
たりの動きベクトルＭＴＶ２に変換する。この動作概略
を図１５（ｂ）に示す。Ｂピクチャ符号化では、画像信
号系列のうち記号Ｂで示したフレームの信号を双方向の
動き補償処理で符号化する。したがって、この符号化に
使用するＢベクトルＢＶは、方向の異なる２種類のベク
トルとなる。そこで、これらＢベクトルのうちで所定の
単位時間、例えば１フレーム期間のものを選択し、動き
ベクトルＭＶＴ２を生成する。

【００６５】図１４に戻り、選択部３３は、両者の動き
ベクトルのうち信頼性の高いもの、言い換えれば予測誤
差が少ないものを選択し、参照ベクトルＲＭＶ１に出力
する。

【００６６】なお、代表ベクトル設定部２では、参照ベ
クトルＲＭＶに、さらに参照ベクトルＲＭＶ１を併用し
て代表ベクトルの設定を行う。

【００６７】以上に述べた如く、本発明の第２の実施例
によれば、動き補正処理に適した動きベクトルを、より
高精度、かつ、効率よく検出する動きベクトルの検出回
路が実現できる。

【００６８】（実施例３）次に本発明の第３の実施例に
ついて図１６の図面で説明する。本実施例はシーンチェ
ンジが発生した領域での動きベクトル検出に要する演算
量を抑圧するのに好適なものである。

【００６９】この実施例においては、第１の実施例にシ
ーンチェンジ検出部３４を追加し、制御部３５では、シ
ーンチェンジの発生領域では動きベクトル検出の動作を
中止する制御を行う。なお、遅延部１、代表ベクトル設
定部２、再探索部３、特異ベクトル検出部４、ミニブロ
ック探索部５、メモリ部６、ベクトル解析部７の構成や
動作は第１の実施例と同様である。

【００７０】シーンチェンジ検出部３４は、信号Ｓ１と
Ｓ２との減算処理でフレーム差分信号成分を抽出し、こ
れが閾値を越える画素の数が例えば１画面の半数以上の
場合をシーンチェンジの発生領域として検出する。そし
て、信号ＳＣＦに１を出力する。これ以外の場合は０を
出力する。なお、シーンチェンジ領域ではフレーム差分
信号成分のレベルが相当に大きいため、通常の動き検出
の場合に比べ、閾値はかなり高い値に設定することが望
ましい。

【００７１】制御部３５は、信号ＳＣＦが１の時は、各
ブロック動きベクトル検出の動作を中止する信号を発生
する。

【００７２】なお、図面には明示していないが、動き補
正処理による高画質化信号処理では信号ＳＣＦが１の時
は、動き補正処理を中止するなどの動作制御に使用する
ことができる。

【００７３】（実施例４）最後に、本発明の第４の実施
例を図１７に示す。本実施例は、前記第２の実施例にシ
ーンチェンジ検出部３４を追加したものであり、制御部
３５はシーンチェンジの発生領域での動きベクトル検出
を中止する制御を行うものである。この構成や動作に関
してはこれまでの説明で容易に理解できるため、説明は
省略する。

【００７４】以上に述べた如く、本発明の第３、第４の
実施例によれば、動き補正処理に適した動きベクトル
を、より高精度、かつ、より効率よく検出する動きベク
トルの検出回路を実現できる。

【００７５】なお、実施例の説明では特にはふれなかっ
たが、本発明では、予測誤差の算出において、輝度信
号、あるいは輝度信号と色差信号のいずれかの信号で行
うこともできる。

【００７６】また、本発明では、飛び越し走査、もしく
は順次走査のいずれの形態の信号に対しても適用するこ
とができる。

【００７７】

【発明の効果】本発明によれば、高画質化のための動き
補正処理に適した動きベクトルを、高精度、かつ効率よ
く検出する動きベクトルの検出方法および回路を実現す
ることが可能になる。これにより動き検出回路の低コス
ト化、さらには情報家電端末の高画質化に顕著な効果を
得ることができる。

【図面の簡単な説明】

【図１】本発明の第１の実施例の動きベクトル検出回路
のブロック構成図。

【図２】動きベクトル検出のフローチャート図。

【図３】第１実施例の代表ベクトル設定部の一構成例
図。

【図４】参照ベクトルの一例図。

【図５】第１実施例の再探索部の一構成例図。

【図６】第１探索領域設定部の一特性例図。

【図７】第２探索領域設定部の特性例図。

【図８】第１実施例の特異ベクトル検出部の一構成例
図。

【図９】ベクトル相関検出の動作概略図。

【図１０】第１実施例のミニブロック探索部の一構成例
図。

【図１１】ミニブロック探索部の動作概略図。

【図１２】ベクトル解析部の一構成例図。

【図１３】本発明の第２の実施例の動きベクトル検出回
路のブロック構成図。

【図１４】第２実施例におけるベクトル変換部の一構成
例図。

【図１５】ベクトル変換部の動作概略図。

【図１６】本発明の第３の実施例の動きベクトル検出回
路のブロック構成図。

【図１７】本発明の第４の実施例の動きベクトル検出回
路のブロック構成図。

【符号の説明】

１…遅延部、２…代表ベクトル設定部、３…再探索部、
４…特異ベクトル検出部、５…ミニブロック探索部、６
…メモリ部、７…ベクトル解析部、８，３５…制御部、
９静止動画ブロック判別部、１０，２３…演算部、１１
…判定部、１２…第１探索領域設定部、１３，１６…ブ
ロックマッチング処理部、１４，１７…設定部、１５…
第２探索領域設定部、１８…予測誤差算出部、１９…ベ
クトル相関検出部、２０…判別部、２１…分割探索判定
部、２２…隣接ベクトル生成部、２４，３３…選択部、
２５…｜Ｖｘ｜累積部、２６…｜Ｖｙ｜累積部、２７…
動き方向算出部、２８…｜Ｖｘ｜平均速度算出部、２９
…｜Ｖｙ｜平均速度算出部、３０…ベクトル変換部、３
１…Ｐベクトル変換部、３２…Ｂベクトル変換部、３４
シーンチェンジ検出部。

フロントページの続き (72)発明者中嶋満雄神奈川県横浜市戸塚区吉田町292番地株式会社日立製作所マルチメディアシステム開発本部内 (72)発明者都留康隆神奈川県横浜市戸塚区吉田町292番地株式会社日立製作所マルチメディアシステム開発本部内 (72)発明者的野孝明神奈川県横浜市戸塚区吉田町292番地株式会社日立製作所ＡＶ事業部内 (72)発明者高田春樹神奈川県横浜市戸塚区吉田町292番地株式会社日立製作所ＡＶ事業部内 (72)発明者石倉和夫東京都小平市上水本町五丁目20番１号株式会社日立製作所システムＬＳＩ開発センタ内Ｆターム(参考） 5C059 KK00 LA00 NN02 NN03 NN11 NN21 NN28 NN29 PP05 PP06 PP07 UA34 5C063 BA12

Claims

【特許請求の範囲】

【請求項１】画像の単位時間当たりの動きベクトルを検
出する動きベクトル検出方法において、既検出した動き
ベクトルの平均速度と方向とを抽出する動きベクトル解
析の手段と、対象ブロックと隣接するブロックの既検出
な動きベクトルより上記対象ブロックの代表動きベクト
ルを設定する手段と、上記代表動きベクトルによる予測
誤差が所定値を越えるブロックは上記動きベクトル解析
で定まる所定の探索領域を探索して動きベクトルを検出
する再探索の手段と、隣接ブロックの動きベクトルとの
相関の低い動きベクトルを検出し相関の高い動きベクト
ルに修正する特異ベクトル検出の手段と、ブロックを水
平・垂直に細分化したミニブロックに対して対象ブロッ
クおよびこれに隣接するブロックの動きベクトルを参照
して上記ミニブロックの動きベクトルを検出するミニブ
ロック分割探索の手段とを備えてなることを特徴とする
動きベクトルの検出方法。
【請求項２】上記対象ブロックが静止のブロックか動画
のブロックかを判別する手段を備え、静止のブロックで
は、代表動きベクトルを設定する手段と再探索の手段の
動作を中止し、上記対象ブロックには０の動きベクトル
を割り当てることを特徴とする請求項１に記載の動きベ
クトルの検出方法。
【請求項３】上記特異ベクトル検出の手段においては、
対象ブロックに隣接するブロックの動きベクトルのうち
で上記対象ブロックでの予測誤差が最少な動きベクトル
を上記対象ブロックの動きベクトルとする修正を行うこ
とを特徴とする請求項１または２に記載の動きベクトル
の検出方法。
【請求項４】上記ミニブロック分割探索の手段において
は、対象ブロックの予測誤差が設定値未満の時は上記対
象ブロック内の全てのミニブロックには上記対象ブロッ
クの動きベクトルを割り当て、設定値以上の時は上記対
象ブロックとこれに隣接するブロックの動きベクトルの
うちでミニブロックでの予測誤差が最少な動きベクトル
を上記ミニブロックの動きベクトルとすることを特徴と
する請求項１ないし３のいずれかに記載の動きベクトル
の検出方法。
【請求項５】上記予測誤差の算出においては、画像信号
の輝度信号成分を用いることを特徴とする請求項１ない
し４のいずれかに記載の動きベクトルの検出方法。
【請求項６】上記予測誤差の算出においては、画像信号
の輝度信号成分と色差信号成分とを用いることを特徴と
する請求項１ないし４のいずれかに記載の動きベクトル
の検出方法。
【請求項７】画像のシーンチェンジを検出する手段を備
え、シーンチェンジの区間では動きベクトルの検出の動
作を中止することを特徴とする請求項１ないし６のいず
れかに記載の動きベクトルの検出方法。
【請求項８】上記動きベクトルの検出に使用する画像信
号は飛び越し走査の形態の信号であることを特徴とする
請求項１ないし７のいずれかに記載の動きベクトルの検
出方法。
【請求項９】上記動きベクトルの検出に使用する画像信
号は順次走査の形態の信号であることを特徴とする請求
項１ないし７のいずれかに記載の動きベクトルの検出方
法。
【請求項１０】動き補償予測符号化に用いられる動きベ
クトルを所定の単位時間当たりの動きベクトルに変換す
るベクトル変換の手段を有し、対象ブロックにおいては
上記変換した動きベクトル、もしくは上記変換した動き
ベクトルと既検出の動きベクトルとの併用により代表動
きベクトルを設定することを特徴とする請求項１ないし
９のいずれかに記載の動きベクトルの検出方法。
【請求項１１】画像の単位時間当たりの動きベクトルを
検出する動きベクトルの検出回路において、既検出した
動きベクトルの平均速度と方向とを抽出する動きベクト
ル解析部と、対象ブロックと隣接するブロックの既検出
な動きベクトルより上記対象ブロックの代表動きベクト
ルを設定する代表ベクトル設定部と、上記代表動きベク
トルによる予測誤差が所定値を越えるブロックは上記動
きベクトル解析で定まる所定の探索領域を探索して動き
ベクトルを検出する再探索部と、隣接ブロックの動きベ
クトルとの相関の低い動きベクトルを検出し相関の高い
動きベクトルに修正する特異ベクトル検出部と、ブロッ
クを水平・垂直に細分化したミニブロックに対して対象
ブロックおよびこれに隣接するブロックの動きベクトル
を参照して上記ミニブロックの動きベクトルを検出する
ミニブロック探索部とを備えてなることを特徴とする動
きベクトルの検出回路。
【請求項１２】対象ブロックが静止のブロックか動画の
ブロックかを判別する静止動画ブロック判別部を備え、
静止ブロックでは、代表動きベクトルの設定と再探索の
動作を中止し、上記対象ブロックには０の動きベクトル
を割り当てることを特徴とする請求項１１に記載の動き
ベクトルの検出回路。
【請求項１３】上記特異ベクトル検出部においては、対
象ブロックに隣接するブロックの動きベクトルのうちで
上記対象ブロックでの予測誤差が最少な動きベクトルを
上記対象ブロックの動きベクトルとする修正を行うこと
を特徴とする請求項１１または１２に記載の動きベクト
ルの検出回路。
【請求項１４】上記ミニブロック探索部においては、対
象ブロックの予測誤差が設定値未満の時は上記対象ブロ
ック内の全てのミニブロックには上記対象ブロックの動
きベクトルを割り当て、設定値以上の時は上記対象ブロ
ックとこれに隣接するブロックの動きベクトルのうちで
ミニブロックでの予測誤差が最少な動きベクトルを上記
ミニブロックの動きベクトルとすることを特徴とする請
求項１１ないし１３のいずれかに記載の動きベクトルの
検出回路。
【請求項１５】上記予測誤差の算出においては、画像信
号の輝度信号成分を用いることを特徴とする請求項１１
ないし１４のいずれかに記載の動きベクトルの検出回
路。
【請求項１６】上記予測誤差の算出においては、画像信
号の輝度信号成分と色差信号成分とを用いることを特徴
とする請求項１１ないし１４のいずれかに記載の動きベ
クトルの検出回路。
【請求項１７】画像のシーンチェンジを検出するシーン
チェンジ検出部を備え、シーンチェンジの区間では動き
ベクトルの検出の動作を中止することを特徴とする請求
項１１ないし１６のいずれかに記載の動きベクトルの検
出回路。
【請求項１８】上記動きベクトルの検出に使用する画像
信号は飛び越し走査の形態の信号であることを特徴とす
る請求項１１ないし１７のいずれかに記載の動きベクト
ルの検出回路。
【請求項１９】上記動きベクトルの検出に使用する画像
信号は順次走査の形態の信号であることを特徴とする請
求項１１ないし１７のいずれかに記載の動きベクトルの
検出回路。
【請求項２０】動き補償予測符号化に用いられる動きベ
クトルを所定の単位時間当たりの動きベクトルに変換す
るベクトル変換部を有し、対象ブロックにおいては上記
変換した動きベクトル、もしくは上記変換した動きベク
トルと既検出の動きベクトルとの併用により代表動きベ
クトルを設定することを特徴とする請求項１１ないし１
９のいずれかに記載の動きベクトルの検出回路。