JPH07264603A - 動き量検出方法及び動き量検出装置 - Google Patents

Abstract

(57)【要約】 【目的】階層的なブロツクマツチング法により画像の動
き量を検出する際に、高精度で動き量を検出し得る動き
量検出装置を提案する。 【構成】第１の時点で入力された入力画像Ｓ１_n より解
像度の異なる複数階層の画像データＳ２_n 、Ｓ３_n を形
成すると共に、第２の時点で入力された入力画像Ｓ１
_n-1 に基づいて、解像度の高い下位階層の画像データか
ら互いにオーバーラツプした画素を選択して縮小するこ
とにより解像度の低い多重化された上位階層の画像デー
タＳ２_n-1 、Ｓ３_n-1 を形成し、階層化された画像デー
タＳ２_n 、Ｓ３_n 及び多重化して階層化された画像デー
タＳ２_n-1 、Ｓ３_n-1 の対応する階層毎に所定ブロツク
単位でブロツクマツチングによつて動きベクトルを検出
したことにより、動き量の検出精度を格段に向上し得る
動き量検出装置１を実現できる。

Description

【発明の詳細な説明】

【０００１】

【目次】以下の順序で本発明を説明する。 産業上の利用分野 従来の技術 発明が解決しようとする課題 課題を解決するための手段（図１、図８〜図１１、図１
５及び図１７） 作用（図１、図８〜図１１、図１５及び図１７） 実施例 （１）第１実施例（図１〜図８） （２）第２実施例（図９） （３）第３実施例（図１０及び図１１） （４）第４実施例（図１） （５）第５実施例（図１２〜図１７） （６）他の実施例 発明の効果

【０００２】

【産業上の利用分野】本発明は動き量検出装置及び動き
量検出方法に関し、特に画像の動きを検出する際に時間
的に異なる２つの画像データをそれぞれ階層化してから
動き量を検出するものに適用し得る。

【０００３】

【従来の技術】従来、動画像の処理として、動き量（動
きベクトル）すなわち時間的に異なる画像中の物体の動
き方向と大きさ（又は速さ）を用いるものがある。例え
ば画像の高能率符号化における動き補償フレーム間符号
化や、フレーム間時間領域フイルタによるテレビジヨン
雑音低減装置における動きによるパラメータ制御等に動
き量が用いられている。この画像の動き量を求める動き
量検出方法として、ブロツクマツチング法が用いられて
いる（特公昭54-124927 号公報）。

【０００４】このブロツクマツチング法では、まず１つ
の画面を適当な数画素からなるブロツクに分割する。続
いてこのようにブロツク化された画像データと、この画
像データが動いた領域を検索するために時間的に異なる
画面の画像データがブロツク化されてなるサーチ領域と
の間で、所定の評価関数を用いて画素単位で評価し、こ
の評価値を最小とする最適値を求めることにより、２つ
のブロツク化された画像データ間の動き量を検出する。
これにより高い精度で画像の動き量を検出し得るように
なされている。

【０００５】

【発明が解決しようとする課題】ところがブロツクマツ
チング法においては、検出対象のブロツクの全ての画素
に対して、検出範囲となる全てのサーチ領域をくまなく
サーチし、その差分を求める必要がある。このため動き
量を検出する計算量が大きくなり、装置自体が大型化し
たり、演算時間が長くなる問題があつた。このような問
題を解決するため、それぞれ異なる解像度でなる複数の
階層画像を作成し、この階層画像を用いてブロツクマツ
チング法で動き量を検出するようになされた動き量検出
方法が提案されている（特願平5-2448814 号）。

【０００６】この動き量検出方法では、まずオリジナル
の画像データ（以下これを第１階層と呼ぶ）を、平均化
やローパスフイルタ処理等により平均値階層化して、画
素数を低減した画像データ（以下これを第２階層と呼
ぶ）を作成する。次に作成した第２階層の画像データで
大まかな動き量を検出し、その動き量に基づいて第１階
層の画像データについて細かい動き量検出を行うことに
より、少ない計算量で動き量を検出し得るようになされ
ている。なおここでの階層数は２階層に限らず、順次平
均値階層化を繰り返すことにより、さらにデータ量の少
ない第３階層、第４階層、……の画像データを作成する
こともできる。

【０００７】このような動き量検出方法を用いれば、階
層数が多くなる程少ない計算量で動き量を求めることが
できる。すなわち上位階層の画像データほどブロツクの
サイズとサーチ領域が小さくなるため、評価関数による
演算量は必然的に小さくなる。最終的に動き量を求める
最下位階層での評価は、ブロツクサイズ自体は通常のブ
ロツクマツチング法と同じになるが、上位階層の画像デ
ータで求めた動き量に応じて動き補償して、サーチ領域
を小さくすることができるため、演算量を削減すること
ができる。

【０００８】ところがこの動き量検出方法においては、
階層数が多くなる程動き量の検出精度が劣化する問題が
あつた。実際上この動き量検出方法では、まず画像の粗
い上位階層においてブロツク毎の動き量を検出し、この
検出結果に基づいて下位階層において動き量を検出する
ため、上位階層での検出結果が下位階層での動き量検出
に大きな影響を与える。すなわち上位階層の画像データ
は、平均値階層化の処理でブロツクサイズを小さくする
ため、画像の特徴量が最下位階層のオリジナル画像と異
なつてくる。特にエツジ成分は平均値階層化により失わ
れることになるため、平均値階層化された画像データに
おける動き量とオリジナル画像により動き量の対応関係
にずれが生じる場合がある。

【０００９】実際上下位階層で動き量を求める場合に
は、上位階層での動き量の結果を反映させるため、もし
対応関係のずれ量が大きくサーチ領域以内でカバーでき
なかつたときには誤動作となる。このように平均値階層
化された画像データによる動き量検出方法では、平均値
階層化による情報量の欠落により、誤動作が起きる可能
性が大きくなる問題がある。また階層が上位になる程ブ
ロツクサイズが小さくなることから、平均値階層化され
た画像データ上での動き量検出は、オリジナル画像に対
する動き量検出の分解能が低下して誤動作が発生する問
題もある。

【００１０】本発明は以上の点を考慮してなされたもの
で、階層化された画像データを用いてブロツクマツチン
グ法で動き量を検出する際に、動き量の検出精度を向上
し得る動き量検出装置及び動き量検出方法を提案しよう
とするものである。

【００１１】

【課題を解決するための手段】かかる課題を解決するた
め本発明においては、解像度の低い上位階層で検出した
動きベクトルに基づいて、解像度の高い下位階層での動
きベクトルを順次検出する動き量検出方法において、第
１の時点で入力された入力画像より解像度の異なる複数
階層の画像データを形成する画像階層化ステツプと、第
２の時点で入力された入力画像より解像度の異なる複数
階層の画像データを形成すると共に、解像度の高い下位
階層の画像データから互いにオーバーラツプした画素を
選択して縮小することにより解像度が低く、かつ多重化
された上位階層の画像データを形成する上位階層多重化
ステツプと、画像階層化ステツプ及び上位階層多重化ス
テツプで階層化された画像データの対応する階層同士
で、下位階層については上位階層で求めた動きベクトル
を基準にするようにして、上位階層から順に各階層毎に
所定ブロツク単位でブロツクマツチングによつて動きベ
クトルを検出する動きベクトル検出ステツプとを設ける
ようにする。

【００１２】また本発明においては、解像度の低い上位
階層で検出した動きベクトルに基づいて、解像度の高い
下位階層での動きベクトルを順次検出する動き量検出方
法において、第１の時点で入力された入力画像より解像
度の異なる複数階層の画像データを形成する画像階層化
ステツプと、画像階層化ステツプで形成された複数階層
の画像データに基づいて、当該階層毎の画像データの高
周波成分を表す複数階層のアクテイビテイデータを形成
する第１のアクテイビテイ階層化ステツプと、第２の時
点で入力された入力画像より解像度の異なる複数階層の
画像データを形成すると共に、解像度の高い下位階層の
画像データから互いにオーバーラツプした画素を選択し
て縮小することにより解像度が低く、かつ多重化された
上位階層の画像データを形成する上位階層多重化ステツ
プと、上位階層多重化ステツプで形成された複数階層の
画像データに基づいて、当該階層毎の画像データの高周
波成分を表す複数階層のアクテイビテイデータを形成す
る第２のアクテイビテイ階層化ステツプと、画像階層化
ステツプ及び上位階層多重化ステツプで階層化された画
像データの対応する階層同士で所定ブロツク単位でブロ
ツクマツチングによる評価値を求める画像データ評価値
算出ステツプと、第１のアクテイビテイ階層化ステツプ
及び第２のアクテイビテイ階層化ステツプで階層化され
たアクテイビテイデータの対応する階層同士で所定ブロ
ツク単位でブロツクマツチングによる評価値を求めるア
クテイビテイデータ評価値算出ステツプと、画像データ
評価値算出ステツプで求めた評価値とアクテイビテイデ
ータ評価値算出ステツプで求めた評価値とを総合判定し
て、上位階層から順に各階層毎に動きベクトルを検出す
る動きベクトル検出ステツプとを設けるようにする。

【００１３】また本発明においては、解像度の低い上位
階層で検出した動きベクトルに基づいて、解像度の高い
下位階層での動きベクトルを順次検出する動き量検出装
置１において、第１の時点で入力された入力画像Ｓ１_n
より解像度の異なる複数階層の画像データＳ２_n 、Ｓ３
_n を形成する画像階層化手段１Ａと、第２の時点で入力
された入力画像Ｓ１_n-1 より解像度の異なる複数階層の
画像データＳ２_n-1 、Ｓ３_n-1 を形成すると共に、解像
度の高い下位階層の画像データから互いにオーバーラツ
プした画素を選択して縮小することにより解像度が低
く、かつ多重化された上位階層の画像データＳ３_n-1 を
形成する上位階層多重化手段１Ｂと、画像階層化手段１
Ａ及び上位階層多重化手段１Ｂで階層化された画像デー
タＳ１_n 、Ｓ１_n-1 、Ｓ２_n 、Ｓ２_n-1 、Ｓ３_n 、Ｓ３
_n-1 の対応する階層同士で、下位階層については上位階
層で求めた動きベクトルを基準にするようにして、上位
階層から順に各階層毎に所定ブロツク単位でブロツクマ
ツチングによつて動きベクトルを検出する動きベクトル
検出手段１Ｃとを設けるようにする。

【００１４】また本発明においては、解像度の低い上位
階層で検出した動きベクトルに基づいて、解像度の高い
下位階層での動きベクトルを順次検出する動き量検出装
置１００において、第１の時点で入力された入力画像Ｓ
１_n より解像度の異なる複数階層の画像データＳ２_n 、
Ｓ３_n を形成する画像階層化手段１Ａと、画像階層化手
段１Ａにより形成された複数階層の画像データＳ１_n 、
Ｓ２_n 、Ｓ３_n に基づいて、当該階層毎の画像データの
高周波成分を表す複数階層のアクテイビテイデータＰ２
_n 、Ｐ３_n を形成する第１のアクテイビテイ階層化手段
１００Ａと、第２の時点で入力された入力画像Ｓ１_n-1
より解像度の異なる複数階層の画像データＳ２_n-1 、Ｓ
３_n-1 を形成すると共に、解像度の高い下位階層の画像
データから互いにオーバーラツプした画素を選択して縮
小することにより解像度が低く、かつ多重化された上位
階層の画像データＳ３_n-1 を形成する上位階層多重化手
段１Ｂと、上位階層多重化手段１Ｂにより形成された複
数階層の画像データＳ１_n-1 、Ｓ２_n-1 、Ｓ３_n-1 に基
づいて、当該階層毎の画像データの高周波成分を表す複
数階層のアクテイビテイデータＰ２_n-1 、Ｐ３_n-1 を形
成する第２のアクテイビテイ階層化手段１００Ｂと、画
像階層化手段１Ａ及び上位階層多重化手段１Ｂにより階
層化された画像データＳ１_n 、Ｓ２_n 、Ｓ３_n 、Ｓ１
_n-1 、Ｓ２_n-1、Ｓ３_n-1 の対応する階層同士で所定ブ
ロツク単位でブロツクマツチングによる評価値を求める
画像データ評価値算出手段１５０と、第１のアクテイビ
テイ階層化手段１００Ａ及び第２のアクテイビテイ階層
化手段１００Ｂにより階層化されたアクテイビテイデー
タＰ２_n 、Ｐ３_n 、Ｐ２_n-1 、Ｐ３_n-1 の対応する階層
同士で所定ブロツク単位でブロツクマツチングによる評
価値を求めるアクテイビテイデータ評価値算出手段１５
１と、画像データ評価値算出手段１５０で求めた評価値
とアクテイビテイデータ評価値算出手段１５１で求めた
評価値とを総合判定して、上位階層から順に各階層毎に
動きベクトルを検出する動きベクトル検出手段１００Ｃ
とを設けるようにする。

【００１５】また本発明においては、上位階層多重化手
段１Ｂは、互いに縦方向及び横方向にオーバーラツプし
た下位階層の画像データの画素を選択することにより、
格子状に配列した多重化した上位階層の画像データの画
素を形成するようにする。

【００１６】また本発明においては、上位階層多重化手
段１Ｂは、縦方向及び横方向に対して互いに斜め方向に
オーバーラツプした下位階層の画像データの画素を選択
することにより、縦方向及び横方向に対して斜め方向に
配列した多重化した上位階層の画像データの画素を形成
するようにする。

【００１７】また本発明においては、動き量検出装置１
又は１００は、上位階層多重化手段１Ｂにより多重化し
ない上位階層の画像データを形成すると共に、動きベク
トル検出手段１Ｃ又は１００Ｃにより、画像階層化手段
１Ａで階層化された画像データＳ２_n 、Ｓ３_n 及び上位
階層多重化手段１Ｂで階層化された多重化しない画像デ
ータについて、階層毎に所定ブロツク単位でブロツクマ
ツチングによつて動きベクトルを検出した後、上位階層
多重化手段１Ｂにより、動きベクトル検出手段１Ｃ又は
１００Ｃの検出結果に基づいて、動きベクトルの大きな
画像データの周辺に多重化した画像データを形成すると
共に、動きベクトル検出手段１Ｃ又は１００Ｃにより、
画像階層化手段１Ａで階層化された画像データ２_n 、Ｓ
３_n 及び上位階層多重化手段１Ｂで多重化した画像デー
タＳ２_n-1 、Ｓ３_n-1 について、階層毎に所定ブロツク
単位でブロツクマツチングによつて動きベクトルを検出
するようにする。

【００１８】また本発明においては、上位階層多重化手
段１Ｂは、動きベクトル検出手段１Ｃ又は１００Ｃにお
いてブロツクマツチングを行う注目ブロツク毎に多重化
した上位階層の画像データＳ３_n-1 を形成するようにす
る。

【００１９】さらに本発明においては、動き量検出装置
１又は１００は、異なる時点の入力画像データＳ１_n 及
びＳ１_n-1 のうち現在又は現在に近い時点の入力画像Ｓ
１_nに対して上位階層多重化手段１Ｂにより多重化した
上位階層画像データＳ２_n 、Ｓ３_n を形成すると共に、
当該上位階層多重化手段１Ｂに入力した入力画像Ｓ１_n
に対して過去の入力画像Ｓ１_n-1 を画像階層化手段１Ａ
に入力することにより上位階層多重化手段１Ｂにより多
重化した上位階層画像データＳ２_n 、Ｓ３_n に対して過
去の解像度の異なる複数階層の階層画像データＳ
２_n-1 、Ｓ３_n-1 を形成するようにする。

【００２０】

【作用】第１の時点で入力された入力画像より解像度の
異なる複数階層の画像データを形成すると共に、第２の
時点で入力された入力画像に基づいて、解像度の高い下
位階層の画像データから互いにオーバーラツプした画素
を選択して縮小することにより解像度が低く、かつ多重
化された上位階層の画像データを形成したことにより、
入力画像に応じてブロツクマツチングに用いるブロツク
の位相が様々に変化した場合でも、上位階層での誤検出
を回避し得、階層ブロツクマツチングによる動き量の検
出精度を向上し得る。

【００２１】またこれに加えて、第１の時点の入力画像
及び第２の時点の入力画像に対応して、画像データの高
周波成分を表す複数階層のアクテイビテイデータを形成
し、このアクテイビテイデータを用いたブロツクマツチ
ングでの評価値も参照して動きベクトルを検出するよう
にしたことにより、一段と動き量の検出精度を向上し得
る。

【００２２】また第１の処理として、上位階層多重化ス
テツプにおいて、多重化しない上位階層の画像データを
形成し、動きベクトル検出ステツプにおいて、動きベク
トルを検出するした後、第２の処理として、上位階層多
重化ステツプにおいて、動きベクトル検出ステツプの検
出結果に基づいて、動きベクトルの大きな画像データの
周辺に多重化した画像データを形成し、動きベクトル検
出ステツプにおいて、動きベクトルを検出するようにし
たことにより、入力画像に応じてブロツクマツチングに
用いるブロツクの位相が様々に変化した場合でも、上位
階層での誤検出を回避し得、階層ブロツクマツチングに
よる動き量の検出精度を向上し得ると共に、計算量を格
段に低減することができる。

【００２３】また上位階層多重化ステツプで、動きベク
トル検出ステツプにおいてブロツクマツチングを行う注
目ブロツク毎に多重化した上位階層の画像データを形成
するようにしたことにより、計算量及びメモリ使用量を
低減することができる。

【００２４】さらに異なる時点の入力画像データのうち
現在又は現在に近い時点の入力画像に対して上位階層多
重化ステツプを施すと共に、当該上位階層多重化ステツ
プを施した入力画像に対して過去の入力画像に対して画
像階層化ステツプを施すようにしたことにより、計算量
及びメモリ使用量を格段に低減することができる。

【００２５】

【実施例】以下図面について、本発明の一実施例を詳述
する。

【００２６】（１）第１実施例 図１において、１は全体として動き量検出装置を示し、
階層処理部１Ａによつて現フレームの画像データについ
て解像度の異なる複数の階層データを作成すると共に、
階層処理部１Ｂによつて現フレームに対して１フレーム
分過去の画像データについて解像度の異なる複数の階層
データを作成する。

【００２７】動き量検出装置１は、階層処理部１Ａ及び
１Ｂで作成した異なる時点の階層データを用いて、動き
検出部１Ｃによつて各階層毎にブロツクマツチングの手
法により動き量を求める。このとき動き検出部１Ｃは上
位階層から順に動き量を求め、かつ上位階層で求めた動
き量を基準にして下位階層での動き量を求めることによ
り、少ない演算量で最終的な第１階層の動きベクトルＭ
Ｖを求める。

【００２８】これに加えて動き量検出装置１において
は、後述するように上位階層データとして多重化したデ
ータを作成し、この多重化した上位階層データを用いて
上位階層での動き量を求めることにより、動きベクトル
の検出精度を向上し得るようになされている。

【００２９】実際上動き量検出装置１は、入力端子から
コンポーネント信号の輝度信号を第１階層画像データ
（オリジナルデータ）Ｓ１_n として入力し、この第１階
層画像データＳ１_n を階層処理部１Ａのメモリ２に供給
する。メモリ２の出力信号は第２階層データ作成回路３
に供給され、第２階層データ作成回路３は第１階層画像
データＳ１_n から第２階層画像データＳ２_n を作成す
る。例えば、第１階層画像データＳ１_n の２画素×２ラ
インの小領域の画像データを平均化して第２階層画像デ
ータＳ２_n の１画素を作成する。

【００３０】すなわち第２階層データ作成回路３は、図
２に示すように、ｎフレームにおける第１階層画像デー
タＳ１_n の各画素をｘ_n(a,b)とした場合、第２階層画像
データＳ２の各画素ｙ_n(a,b)を、次式

【数１】 により算出する。

【００３１】第２階層データ作成回路３は供給されたｎ
フレームデータ全体に亘つて第２階層画像データＳ２_n
を作成する。第２階層データ作成回路３の出力信号は、
メモリ４に供給される。メモリ４の出力信号は第３階層
データ作成回路５に供給され、第３階層データ作成回路
５は第２階層画像データＳ２_n から第３階層画像データ
Ｓ３_n を作成する。例えば第２階層画像データＳ２_n の
２画素×２ラインの小領域の画像データを平均化して第
３階層画像データＳ３_n の１画素を作成する。

【００３２】すなわち第３階層データ作成回路５は、図
２（Ｂ）に示すようなｎフレームにおける第２階層画像
データＳ２_n の各画素ｙ_n(a,b)から、図３（Ａ）に示す
ような第３階層画像データＳ３_n の各画素ｚ_n(a,b)を、
次式

【数２】 により算出する。第３階層データ作成回路５は供給され
たｎフレームのデータ全体に亘つて第３階層データＳ３
_n を作成する。第３階層データ作成回路５の出力信号は
メモリ６に供給される。

【００３３】一方、入力画像データでなる第１階層画像
データＳ１_n は階層処理部１Ｂの遅延回路（ＤＬ）７に
も供給される。遅延回路７は第１階層画像データＳ１_n
を１フレーム分蓄える。従つて遅延回路７は現フレーム
データに比べて１フレーム過去の第１階層画像データＳ
１_n-1 をメモリ８に送出する。メモリ８から出力される
１フレーム過去の第１階層画像データＳ１_n-1 は第２階
層データ作成回路９に供給される。第２階層データ作成
回路９は上述した第２階層データ作成回路３と同様の構
成でなり、供給された１フレーム過去の第１階層画像デ
ータＳ１_n-1 から１フレーム過去の第２階層画像データ
Ｓ２_n-1 を作成する。例えば図４に示すように、（ｎ−
１）フレームにおける第１階層画像データＳ１_n-1 の各
画素をｘ_n-1(a,b)とした場合、第２階層画像データＳ２
_n-1 の各画素ｙ_n-1(a,b)を、次式

【数３】 により算出する。

【００３４】第２階層データ作成回路９は供給された１
フレーム分過去の画像データ全体に亘つて第２階層画像
データＳ２_n-1 を作成する。第２階層データ作成回路９
の出力信号はメモリ１０に供給される。メモリ１０の出
力信号は第３階層データ作成回路１１に供給され、第３
階層データ作成回路１１は前フレームの第２階層画像デ
ータＳ２_n-1 から前フレームの第３階層画像データＳ３
_n-1 を作成する。

【００３５】すなわち第３階層データ作成回路１１は、
図４（Ｂ）に示すような（ｎ−１）フレームにおける第
２階層画像データＳ２_n-1 の各画素をｙ_n-1(a,b)とした
場合、図３（Ｂ）に示すような（ｎ−１）フレームの第
３階層画像データの各画素ｚ_n-1(a,b)を、次式

【数４】 により算出する。

【００３６】これに加えて第３階層データ作成回路１１
は、（４）式で求めた第３階層の画像データｚ_n-1(a,b)
に対して位相の異なる第３階層画像データも作成するよ
うになされている。すなわち第３階層データ作成回路１
１は、図３（Ｂ）に示すように、通常の第３階層画像デ
ータの各画素に縦方向及び横方向に隣接する画素、例え
ば画素ｚ_n-1(1.5,1)、ｚ_n-1(1,1.5)、ｚ
_n-1(1.5,1.5)を、次式

【数５】 により算出する。

【００３７】すなわち第３階層データ作成回路１１は、
通常の第３階層画像データ（ｚ_n-1(1、1) 、ｚ
_{n-1 (1、2)} 、ｚ_{n-1 (2、1)} 、ｚ_{n-1 (2、2)} 等）を作成す
る際に用いた第２階層画像データＳ２_n-1 の画素とオバ
ーラツプするような第２階層画像データＳ２_n-1 の画素
を選択することにより、通常の第３階層画像データと位
相の異なる第３階層画像データ（ｚ_n-1(1,1.5)、ｚ
_n-1(1.5,1)、ｚ_n-1(1.5,1.5)等）をも作成する。

【００３８】従つて第３階層データ作成回路１１は、供
給された前フレームのフレームデータ全体に亘つて通常
の第３階層画像データ及びこれと位相の異なる第３階層
画像データを作成する。かくして多重化された第３階層
画像データＳ３_n-1 が作成される。第３階層データ作成
回路１１の出力信号はメモリ１２に供給される。

【００３９】この実施例の場合、動き量検出部１Ｃは現
フレームのブロツクを固定する（以下これを参照ブロツ
クと呼ぶ）と共に、前フレームのブロツクを所定のサー
チ範囲内で移動させて（以下これを候補ブロツクと呼
ぶ）、参照ブロツクと最も似通つた候補ブロツクが検出
された位置に基づいて動きベクトルを検出するようにな
されている。

【００４０】実際上動き検出部１Ｃは先ず、メモリ６に
格納された現フレームの第３階層画像データＳ３_n と、
メモリ１２に格納された前フレームの多重化された第３
階層画像データＳ３_n-1 とを、メモリコントロール回路
１３により読み出す。このときメモリコントロール回路
１３からは、今ベクトルを算出しようとするブロツクア
ドレスがメモリ６に送出され、この結果メモリ６からは
第３階層画像データＳ３_n の所定ブロツクが参照ブロツ
クとして第３階層動き量検出回路１４に出力される。

【００４１】一方、メモリコントロール回路１３からメ
モリ１２には、メモリ６へのブロツクアドレスに対して
所定のサーチ範囲内で位置を移動させたブロツクアドレ
スが送出され、この結果メモリ１２からは与えられたブ
ロツクアドレスに対応する第３階層データＳ３_n-1 が第
３階層動き量検出回路１４に出力される。第３階層動き
量検出回路１４は、ブロツクマツチング法により第３階
層における動きベクトルを求める。すなわち第３階層動
き量検出回路１４は、先ずｎフレームと（ｎ−１）フレ
ームの対応するブロツク同志の画素間の絶対値差分を積
算し、その積算値をパラメータとして、その積算値が最
小となるものを見つけることにより、第３階層における
動き量を検出する。

【００４２】換言すれば、第３階層動き量検出回路１４
は、ｎフレームと（ｎ−１）フレームにおいて空間的に
対応する位置に設定されたＭ画素×Ｎラインの大きさの
ブロツクについて、ｎフレームにおけるブロツクと、
（ｎ−１）フレームにおいてｎフレームのブロツクに対
して空間的に対応する位置から所定のサーチ範囲だけ位
置的にオフセツトをはかせたブロツクとの間でパターン
マツチングを行い、最も似通つたブロツクを検出する。

【００４３】このときブロツク内の対応画素間の差分絶
対値和を評価値として使用する。具体的には、ｎフレー
ムの第３階層の各画素レベルをｚ_n(i,j)、（ｎ−１）フ
レームの第３階層の各画素レベルをｚ_n-1(i,j)、第３階
層におけるブロツクサイズを、Ｐ画素×Ｑラインとする
と、座標（ｘ，ｙ）における評価値Ｅ（ｘ，ｙ）を、次
式、

【数６】 により求める。

【００４４】ここで従来の階層構造を利用したブロツク
マツチング法においては、オリジナルデータのサーチ範
囲を（±16，±16）とした場合、第３階層におけるサー
チ領域は（±4 ，±4 ）となることにより、オフセツト
座標（ｘ，ｙ）を、それぞれ−４から＋４まで１ずつ変
化させて、評価値を算出し、動き量を決定している。

【００４５】これに対して、この実施例の動き量検出装
置１においては、第３階層画像において、従来のブロツ
クマツチング法のように１画素精度の動き量検出を行う
のではなく、 0.5画素精度で動き量を検出するようにな
されている。すなわち動き量検出装置１においては、オ
フセツト座標（ｘ，ｙ）を、それぞれ−４から＋４まで
0.5ずつ変化させて、評価値を算出し、動き量を決定す
る。

【００４６】具体的には、例えば第３階層におけるブロ
ツクサイズが２×２であり、ｎフレームにおけるその要
素が、ｚ_n(1,1)、ｚ_n(2,1)、ｚ_n(1,2)、ｚ_n(2,2)であつ
た場合、オフセツト座標（ｘ，ｙ）における評価値を、
次式、

【数７】 により求める。なお、ｚ_n-1(x,y)のデータは、上述した
第３階層データ作成回路１１により作成したものを用い
る。これにより動き量検出装置１においては、上位階層
での情報量の低下によつて生じる動き量の検出誤差を低
減し得るようになされている。

【００４７】ここで例えば図５に示すように、第１階層
画像（オリジナル画像）において４画素幅の白黒のスト
ライプ画像があつたとすると、このストライプ画像のエ
ツジが階層ブロツクマツチング法における階層化のブロ
ツク境界と一致している場合、第３階層においては１画
素幅の白黒のストライプ画像となり情報は十分残つてい
る。

【００４８】しかしながら図６に示すように、この第１
階層画像が１フレーム後に２画素分だけ横に移動した場
合、階層化のブロツク境界がストライプの丁度中心にく
るため、従来の階層ブロツクマツチング法では第３階層
においてストライプが完全に失われたグレーの単色画像
となり、この場合には第１階層の情報が完全に失われて
しまう。このように従来の階層ブロツクマツチング法に
おける上位階層の動き量検出においては、画像の動きに
応じてブロツク化の位相が変化した場合、階層化後の縮
退した画像においてその詳細が全く変化してしまい、正
確なパターンマツチング、すなわち正確な動き量を算出
することが不可能な状態になることがあつた。

【００４９】これに対して実施例の動き量検出装置１に
おいては、下位階層の画像データをオーバーラツプさせ
て選択して、多重化した上位階層の画像データＳ３_n-1
を作成するようにしたことにより、画像の動きに応じて
ブロツク化の位相が変化した場合でも、上位階層での情
報量の減少を抑制でき、動き量の検出精度を向上し得
る。

【００５０】ここで第３階層動き量検出回路１４は、図
７に示すように構成されている。第３階層動き量検出回
路１４には、メモリコントロール回路１３からのブロツ
クアドレスに応じてメモリ６から読み出された第３階層
画像データＳ３_n が動き量を求める基準となる参照ブロ
ツクとして入力される。

【００５１】また第３階層動き量検出回路１４には、メ
モリコントロール回路１３からのブロツクアドレスに応
じてサーチ範囲内で 0.5画素ずつ移動した位置から切り
出された第３階層画像データＳ３_n-1 が候補ブロツクと
して入力される。

【００５２】例えば第３階層におけるサーチ範囲が（±
4 ，±4 ）であつた場合、メモリ１２からは((4+4)×2+
1)×((4+4)×2+1)のブロツクデータが入力される。因
に、通常の１画素オフセツト（１画素精度）のサーチで
は、（±4 ，±4 ）のサーチ範囲では、(4×2+1)×(4×
2+1)のブロツクデータが出力される。メモリ６から与え
られたブロツクデータはレジスタ３１を介して加算器３
３に与えられると共に、メモリ１２から与えられたブロ
ツクデータはレジスタ３２を介して加算器３３に与えら
れる。

【００５３】加算器３３では、第３階層画像データＳ３
_n のブロツクデータと、それに対応する第３階層画像デ
ータＳ３_n-1 のブロツクデータとのそれぞれ対応する画
素毎の差分が取られる。この画素毎の差分データは絶対
値化回路３４で絶対値化された後、加算器３５及びレジ
スタ３６で累積加算される。このようにして（７）式の
演算が実行され、この結果得られる評価値（累積加算
値）が評価値メモリ３７に入力される。

【００５４】従つて評価値メモリ３７には、候補ブロツ
クを 0.5画素単位で移動させた際の各移動位置に対応す
る評価値が格納された、所謂評価値テーブルが形成され
る。評価値メモリ３７に格納された各評価値は、評価値
メモリコントロール回路３８によつて指定されたアドレ
スに従つて順次読み出され、比較器４０及びレジスタ４
１に与えられる。

【００５５】比較器４０は他方の入力と評価値メモリ３
７より読み出された評価値を順次比較し、このうち入力
された評価値が小さいとき、レジスタ４１及び４２の内
容を更新する信号を送出する。このレジスタ４２には、
評価値メモリ３７を読み出すアドレスが順次設定され
る。このようにして順次評価値メモリ３７に格納された
評価値が評価され、そのうちの評価値の最小を与えるア
ドレスがレジスタ４２より送出され、これが第３階層の
動きベクトルとして第２階層のメモリコントロール回路
１５に与えられる。

【００５６】メモリコントロール回路１５は、図１に示
すように、第２階層画像データＳ２_n が格納されている
メモリ４から今動き量を検出しようとしている注目ブロ
ツクの画素データを読み出すためのブロツクアドレスを
出力する。この結果メモリ４から読み出された画素デー
タが第２階層動き量検出回路１６に与えられる。一方、
メモリコントロール回路１５は、第２階層画像データＳ
２_n-1 が格納されているメモリ１０にブロツクアドレス
を出力する。このブロツクアドレスは、メモリ１０か
ら、メモリ４から読み出される第２階層画像データＳ２
_n のブロツクに対応する画像データを、所定のサーチ範
囲内で１画素単位のオフセツトをもつて読み出すための
ものである。この際、サーチ範囲は第３階層動き量検出
回路１４で得られた第３階層における動き量を、第２階
層のスケールに変換しただけオフセツトをはかせた位置
を中心に（±１）とする。

【００５７】第２階層動き量検出回路１６は第３階層動
き量検出回路１４（図７）と同様の構成でなり、メモリ
４及び１０から供給された対応するブロツク同士の、差
分の絶対値の累積加算値を算出し、その最小となるオフ
セツト量を第２階層における動き量とする。第２階層動
き量検出回路１６は、この第２階層における動き量と、
先に求めた第３階層における動き量を第２階層のスケー
ルに変換したものとを足し合わせ、これを第２階層にお
ける動き量としてメモリコントロール回路１７に出力す
る。

【００５８】メモリコントロール回路１７は、第１階層
画像データＳ１_n が格納されているメモリ２から今動き
量を検出しようとしている注目ブロツクの画素データを
読み出すためのブロツクアドレスを出力する。この結果
メモリ２から読み出された画像データが第１階層動き量
検出回路１８に与えられる。一方、メモリコントロール
回路１７は、第１階層画像データＳ１_n-1 が格納されい
るメモリ８にブロツクアドレスを出力する。このブロツ
クアドレスは、メモリ８から、メモリ２から読み出され
る第１階層画像データＳ１_n のブロツクに対応する画素
データを、所定のサーチ範囲内で１画素単位のオフセツ
トをもつて読み出すためのものである。この際、サーチ
範囲は第２階層動き量検出回路１６で得られた第２階層
における動き量を、第１階層のスケールに変換しただけ
オフセツトをはかせた位置を中心に（±１）とする。

【００５９】第１階層動き量検出回路１８も第３階層動
き量検出回路１４（図７）と同様の構成でなり、メモリ
２及び８から供給された互いに対応するブロツク同士
の、差分の絶対値の累積加算値を算出し、その最小とな
るオフセツト量を第１階層における動き量とする。第１
階層動き量検出回路１８は、この第１階層における動き
量と、先に求めた第２階層における動き量を第１階層の
スケールに変換したものとを足し合わせ、これを第１階
層における最終的な動き量とする。このようにして算出
された第１階層における動き量は、検出目的である動き
量ＭＶであり、動き量検出装置１はこのように算出され
た注目ブロツクの動き量を出力端子を介して出力する。

【００６０】以上の構成において、動き量検出装置１は
最上位階層である第３階層画像データを求める際、第２
階層画像データの複数の画素の平均値をとることにより
図８の「◎」印で示すような通常の平均値画素を作成す
るのに加えて、「◎」印で示す通常の平均値画素を作成
する際に用いた第２階層画像データの画素にオーバーラ
ツプする第２階層画像データの画素を選択してこれを平
均値化することにより、図８の「○」印で示す平均値画
素を作成する。

【００６１】動き量検出装置１は、この「◎」及び
「○」印で示す平均値画素を用いて、従来の１画素精度
ではなく、より正確な 0.5画素精度で第３階層での動き
量を検出する。この結果階層ブロツクマツチング法によ
り生じる階層間での位相の変動を低減し得ることによ
り、第３階層での動き量の誤検出を低減することができ
る。これにより最終的な第１階層での動き量の検出精度
を格段的に向上し得る。

【００６２】因に、第３階層をこのように多重化した構
造とし、 0.5画素精度の動き量を検出すると、第３階層
の動き量検出に関しては１画素精度の動き量検出を行つ
た場合と比して４倍弱の計算量が必要となる。しかしな
がら、第３階層はブロツクサイズが、第２階層の１／４
であるため、第３階層における計算量が増大しても、全
体的な計算量はそれほど増大しない。

【００６３】以上の構成によれば、下位の階層画像デー
タから互いにオーバーラツプした画素を選択して平均値
をとることにより多重化した上位階層画像データを作成
し、、当該上位階層データにおいて１画素精度よりも細
かい精度で動き量を検出するようにしたことにより、動
き量の検出精度を格段的に向上し得る動き量検出装置１
を実現することができる。

【００６４】（２）第２実施例 上述した第１実施例では、第２階層画像データの画素か
ら互いにオーバーラツプした画素を選択して平均値化す
ることにより図８の「◎」印で示す通常の第３階層の画
素に加えて、この「◎」印で示す画素の周囲に、縦、横
及び斜め方向に隣接する「○」印の画素を作成したが、
この第２実施例では、図９に示すように、第２階層画像
データの画素から互いにオーバーラツプした画素を選択
して平均値化することにより「◎」印で示す通常の第３
階層の画素に加えて、この「◎」印で示す画素の斜め方
向に隣接する「○」印の画素を作成する。

【００６５】すなわちこの第２実施例では、第１実施例
で作成したｚ_n-1(1,1.5)やｚ_n-1(1.5,1)等の画素データ
は作成せずに、ｚ_n-1(1,1)やｚ_n-1(1.5,1.5)等の画素デ
ータのみを平均値演算により求める。第２実施例の動き
量検出装置では、このように作成した第３階層画像デー
タＳ３_n-1 を用いて上述した第１実施例と同様の動き量
検出を行う。これにより第２実施例の動き量検出装置に
おいては、第３階層における計算量の増大を、通常の階
層ブロツクマツチング法と比較して２倍弱に抑えること
ができる。

【００６６】ところで図６に示すように、例えば第１階
層画像データにおいて横方向に２画素の動きが生じた場
合は、第３階層における動き量検出において、極端な画
像縮退が生じることが多く、正しい動き量を求めること
が困難になる場合が多い。しかしながら、縦方向の動き
が無い場合は、縦方向に関しては画像縮退が生じないの
で、その方向の動き量は正しく求まる場合が多い。また
縦方向に２画素の動きが生じた場合も、縦方向に関して
は極端な画像縮退が生じることが多く、正しい動き量を
求めることが困難になる場合が多いが、この場合も横方
向に動きが無い場合は、そちらの方向の動き量は正しく
求まることも多い。従つて縦又は横方向のどちらか一方
のブロツク位相が大きくずれた場合は、ある程度正しい
動き量が求まる場合が多い。

【００６７】これに対して、縦及び横の双方に２画素
（±４画素）の動きがあつた場合、縦横の双方で極端な
画像縮退が生じることが多いので、誤つた動き量が求ま
る可能性が高くなる。これを考慮して第２実施例では、
通常の階層ブロツクマツチング方式に加えて、縦横の双
方に２画素（±４画素）の動きがある位相の動き量検出
のみを行う。

【００６８】すなわち図９について説明すると、サーチ
範囲が水平、垂直共に±８であつた場合、通常の階層ブ
ロツクマツチング法の第３階層における動き量検出を行
うのは「◎」印の位置だけである。これに対して第２実
施例においては、「◎」印の位置に加えて、下位階層の
所定の画素データをオーバーラツプして選択することに
より、通常の第３階層画像データ（「◎」印）の斜め方
向に隣接するような第３階層画像データ（「○」印）も
作成し、この２種類の画素のデータに基づいて動き量を
検することにより、階層ブロツクマツチング法において
情報量の最も失われ易い縦及び横の両方向へのブロツク
位相の変化があつた場合でも、上位階層の情報量の低下
を低減し得、動き量の検出精度を向上させることができ
る。

【００６９】以上の構成によれば、下位の階層画像デー
タから互いにオーバーラツプした所定画素を選択して平
均値をとることにより、斜め方向に多重化した上位階層
画像データを作成し、当該上位階層画像データにおいて
１画素精度よりも細かい精度で動き量を検出するように
したことにより、動き量の検出精度を向上し得ると共
に、計算量を低減し得る。

【００７０】（３）第３実施例 上述の第１実施例及び第２実施例では、予め多重化した
構造の第３階層画像データＳ３_n-1 を作成して動き量の
検出精度を向上させた場合について述べたが、この第３
実施例では、先ず第１ステツプとして通常の階層ブロツ
クマツチングにおける第３階層の動き量検出と全く同じ
処理を行う。すなわち図１０における「◎」印の画素の
みを候補ブロツクの画素として用いて動き量検出を行
い、その中で評価値の高いもの、すなわち動きブロツク
であると考えられるものを選択する。

【００７１】続いて第２ステツプでは、その候補ベクト
ルを中心に 0.5画素単位の動き量検出を行う。例えば第
１ステツプにおいて検出された動きベクトルが、（-1,
1）であつた場合、第２ステツプで動き量を検出するの
は、図１０における「○」印の位置だけである。これに
より第３実施例の動き量検出装置においては、第３階層
における計算量の増大を格段的に低減し得るようになさ
れている。すなわち第３実施例の動き量検出装置におい
ては、第１ステツプにおいて検出された動きベクトル及
び第２ステツプでサーチした８つの位置の評価値を比較
し、この中で最も評価値の高いものを第３階層における
動き量とするようになされている。

【００７２】実際上第３実施例における第３階層の動き
量検出は、図１１に示すような回路によつて実現され
る。すなわち図１との対応部分に同一符号を付して示す
図１１において、この実施例の第３階層動き量検出回路
１４は、ＡＲ１で示す部分で第１ステツプを実行し、Ａ
Ｒ２で示す部分で第２ステツプを実行することにより第
３階層の動き量を検出する。

【００７３】先ずメモリコントロール回路１３により、
第３階層画像データＳ３_n が格納されているメモリ６に
ブロツクアドレスが送出されることにより、動き量を求
める基準となる参照ブロツクの画素データがメモリ６か
ら読み出される。一方、メモリコントロール回路１３に
より、第３階層画像データＳ３_n-1 が格納されているメ
モリ１２にブロツクアドレスが送出されることにより、
メモリ６から読み出される第３階層画像データＳ３_n の
ブロツクに対応する候補ブロツクの画素データがメモリ
１２から読み出される。因にこの実施例の場合、メモリ
１２から読み出される第３階層画像データＳ３_n-1 は、
第１実施例のように多重化された第３階層画像データで
はなく、通常の第３階層画像データである。

【００７４】メモリ６からの出力信号はレジスタ５１を
介して加算器５３に供給されると共に、メモリ１２から
の出力信号はレジスタ５２を介して加算器５３に供給さ
れる。加算器５３では、ｎフレームの第３階層画像デー
タと、それに対応する（ｎ−１）フレームの第３階層画
像データとのそれぞれ対応する画素毎の差分が取られ
る。この画素毎の差分データは絶対値化回路５４で絶対
値された後、加算器５５及びレジスタ５６で累積加算さ
れる。このようにして（６）式の演算が実行され、この
結果得られる評価値が評価値メモリ５７に入力される。
評価値メモリ５７に格納された評価値は、評価値メモリ
コントロール回路５８によつて指定されたアドレスに従
つて読み出され、比較器６０及びレジスタ６１に入力さ
れる。

【００７５】比較器６０は他方の入力と評価値メモリ５
７より読み出された評価値を順次比較し、このうち入力
された評価値が小さいとき、レジスタ６１及び６２の内
容を更新する信号を送出する。このレジスタ６２には、
評価値メモリ５７を読み出すアドレスが順次設定され
る。このようにして順次評価値メモリ５７に格納された
評価値が評価され、そのうちの評価値の最小を与えるア
ドレスがレジスタ６２より送出され、これが動きベクト
ルとしてメモリコントロール回路６３に送出される。こ
のようにして第１ステツプの処理を実行する。

【００７６】第１ステツプが終了すると、メモリコント
ロール回路６３から、メモリ１０にアドレス信号が送出
される。これは第１ステツプで求めたベクトル周辺の
0.5画素精度の動き検出を行うためのもので、メモリ１
０はアドレス信号に基づいた第２階層データを第３階層
データ作成回路６４に供給する。

【００７７】第３階層データ作成回路６４は基本的に
は、図１について上述した第３階層データ作成回路１１
と同様な働きをするものであり、第２階層データから多
重化した第３階層データを作成する。第３階層データ作
成回路６４は例えば（５）式に示すような演算を施すこ
とにより第３階層データを作成し、これを一旦メモリ６
５に格納する。但しｚ_n-1(1,1)等のデータについては既
に第３階層データ作成回路１１において作成済みであ
り、またこれ以降使用しないので、ここでは作成しな
い。一方、メモリ６の出力信号、すなわち現フレームの
注目ブロツクの第３階層データは遅延回路（ＤＬ）６６
及びレジスタ６７を介して加算器６９に供給される。ま
たメモリ６５からの出力信号はレジスタ６８を介して加
算器６９に供給される。

【００７８】加算器６９では、ｎフレームの第３階層画
像データと、それに対応する（ｎ−１）フレームの第３
階層画像データとのそれぞれ対応する画素毎の差分が取
られる。この画素毎の差分データは絶対値化回路７０で
絶対値された後、加算器７１及びレジスタ７２で累積加
算される。このようにして（７）式の演算が実行され、
この結果得られる評価値が評価値メモリ７３に入力され
る。評価値メモリ７３は、 0.5画素のオフセツトを持た
せた各ブロツク毎の差分の絶対値の累積加算値である評
価値が格納されている。評価値メモリ７３に格納された
評価値は、評価値メモリコントロール回路７４によつて
指定されたアドレスに従つて読み出され、比較器７５及
びレジスタ７６に入力される。

【００７９】比較器７５は他方の入力と評価値メモリ７
３より読み出された評価値を順次比較し、このうち入力
された評価値が小さいとき、レジスタ７６及び７７の内
容を更新する信号を送出する。レジスタ７７には、評価
値メモリ７３を読み出すアドレスが順次設定される。こ
のようにして順次評価値メモリ７３に格納された評価値
が評価され、そのうちの評価値の最小を与えるアドレス
がレジスタ７７より送出され、これが第３階層の動きベ
クトルとして第２階層の動き量検出用のメモリコントロ
ール回路１５に送出され、これにより第２ステツプの処
理を終了する。第３実施例の動き量検出装置は、これ以
降第１実施例と同様の処理を施すことにより最終的な第
１階層画像の動き量を検出する。

【００８０】以上の構成によれば、第１ステツプにより
通常の第３階層の動き量検出を行い、この検出結果に基
づいて動き量が大きいと思われる画素の周辺について第
２ステツプにより、その周囲で多重化した上位階層デー
タを作成し、当該上位階層データにおいて１画素精度よ
りも細かい精度で動き量を検出するようにしたことによ
り、動き量の検出精度を向上し得ると共に計算量を有効
に低減し得る。

【００８１】（４）第４実施例 上述の第１〜第３の実施例では、現フレームデータを参
照ブロツクとして、多重化して作成した過去のフレーム
データをサーチ範囲だけ移動させることにより動き量を
求める場合について述べたが、この第４実施例では、参
照ブロツクとなる現フレームデータを多重化する。これ
に加えて第４実施例においては、予め１フレーム分の階
層画像を全て作成するのではなく、注目するブロツク毎
に階層画像を作成するようになされている。これにより
第４実施例の動き量検出装置においては、全体の計算量
及びメモリの使用量を低く抑えた状態で、動き量の検出
精度を向上し得るようになされている。

【００８２】すなわち第４実施例の動き量検出装置にお
いては、図１に示す第２階層データ作成回路３で、現フ
レームデータのうち、現在注目するブロツクの周辺のデ
ータのみの第２階層データを作成する。具体的には、動
き量を求めようとする第１階層のブロツクサイズが８×
８のとき、第２階層のブロツクサイズは４×４となる
が、さらに上下左右１画素ずつ膨らませた６×６のデー
タを作成する。すなわち、周辺の他のブロツクのデータ
をも多少使用する。

【００８３】第２階層データ作成回路３の出力信号はメ
モリ４に供給され、メモリ４の出力信号は第３階層デー
タ作成回路５に供給される。ここで第３階層データ作成
回路５は供給された第２階層画像データから、第３階層
画像データを作成する。具体的には、第２階層画像デー
タの２×２の小領域の画像データから平均値を算出する
ことにより、第３階層画像データの１画素を作成する。

【００８４】第３階層データ作成回路５は、現フレーム
のうち、現在注目のブロツクの周辺のデータのみの第３
階層データを作成する。具体的には、動きブロツクを求
めようとするブロツクのサイズが８×８のとき、第３階
層のブロツクサイズは、２×２となるが、第２階層デー
タ作成回路３から供給された６×６の第２階層データを
基に、２×２から上下左右１画素ずつ膨らませた４×４
のデータを作成する。すなわち周辺のデータをも多少使
用することにより多重化した現フレームの第３階層画像
データを作成する。例えば第３階層データ作成回路５
は、（２）式で示されるような通常の第３階層画像デー
タだけでなく、データの位相をずらして、（２）式で作
成した画像データの中間に位置するデータをも作成する
ようになされている。

【００８５】またこの実施例の場合、第２階層データ作
成回路９では、現在注目のブロツクを所定のサーチ範囲
だけ移動させた範囲内のデータに関して第２階層データ
を作成する。さらに第３階層データ作成回路１１では、
多重化した第３階層画像データを作成せずに、通常の第
３階層画像データを作成する。従つて第４実施例の第３
階層動き量検出回路１４では、オフセツト座標（ｘ，
ｙ）における評価値を、次式、

【数８】 により求める。

【００８６】階層データ格納用のメモリを削減するため
には、１フレーム分の階層データを予め作成する手法を
用いることは出来ない。従つて、メモリ使用量の削減と
いう点に関しては注目ブロツクの周辺のデータを毎回作
成し直す方式が有利である。ところが、階層データを多
重化し、１画素以下の動き量を検出する場合、現在のフ
レームデータを参照データとし、過去のフレームデータ
をサーチ範囲だけ移動させる方式では、過去のフレーム
データを多重化する際の計算量が増大する。特にサーチ
範囲が大きくなればなるほど、計算量が増大することに
なる。

【００８７】これを考慮して、第４実施例においては、
注目するブロツク毎に階層データを作成すると共に、参
照ブロツクとなる現在のフレームデータを多重化するよ
うになされている。これにより第４実施例においては、
階層データを作成する際の計算量を格段に低減し得ると
共に、メモリの使用量を格段に低減し得る。

【００８８】以上の構成によれば、注目するブロツク毎
に階層データを作成すると共に、参照ブロツクとなる現
フレームデータについて多重化した上位階層データを作
成し、当該上位階層データにおいて１画素精度よりも細
かい精度で動き量を検出するようにしたことにより、動
き量の検出精度を向上し得ると共に、計算量及びメモリ
使用量を低減することができる。

【００８９】（５）第５実施例 この第５実施例の動き量検出方法では、第１実施例のよ
うにオーバーラツプした下位階層データから多重化した
上位階層データを作成し、この多重化した上位階層デー
タを用いて動き量を求めるのに加えて、画像の高周波成
分を反映したアクテイビテイ情報をも階層化し、このア
クテイビテイ情報における評価値をも参照することによ
り、一段と高精度の動き量を検出するようになされてい
る。

【００９０】すなわちこの第５実施例の動き量検出方法
では、オリジナル画像について平均値階層化の手法によ
つて複数階層の画像データを形成すると共に、各階層の
高周波成分（以下アクテイビテイと呼ぶ）を表すデータ
についても階層化（以下これをアクテイビテイ階層化と
よぶ）してアクテイビテイデータを形成し、階層毎にこ
れらを用いて動き量を検出する。

【００９１】実際上それぞれ階層化された画像データと
アクテイビテイデータについては、上位階層から順にブ
ロツクマツチング法で評価値を求め、これらを総合判定
することにより、その階層の動き量を求める。この動き
量を順次下位階層の評価値を求める際に動き補償して参
照することにより、最終的にオリジナル画像の動き量を
検出する。

【００９２】階層化された画像データを生成する例を、
図１２に示す。図１２（Ａ）はオリジナル画像について
３階層に階層化された画像データを生成する場合で、第
１階層はオリジナル画像である。オリジナル画像上のブ
ロツク（例えば16×16）より上位階層の画像データ、第
ｎ階層における画像データをＭ_n （ｘ、ｙ）とすると、
次式

【数９】 のように平均値化によつて求めることができ、ブロツク
サイズは水平及び垂直方向にそれぞれ１／２になる。ま
たこのように平均値階層化された第１階層の画像データ
から第２階層の画像データを生成するときも、（９）式
により同様に求めることができる。

【００９３】第１〜４実施例の階層画像を用いた動き量
検出方法では、図１２（Ａ）の平均値階層化しか行わな
いが、この実施例では（９）式により平均値階層化され
た画像データを生成すると同時に、図１２（Ｂ）に示す
ように、平均値階層化された画像データについてアクテ
イビテイ階層化してアクテイビテイデータを生成する。
第２階層のアクテイビテイデータをΔ₂ （ｘ、ｙ）とす
ると、このアクテイビテイデータΔ₂ （ｘ、ｙ）は、平
均値階層化された画像データからオリジナル画像の対応
する画素の差分の絶対値和によつて、次式

【数１０】 で求め、同様に第３階層のアクテイビテイデータΔ
₃ （ｘ、ｙ）は、次式

【数１１】 で求める。アクテイビテイデータとして、全てオリジナ
ル画像を基底にして求めるようにしたことにより、オリ
ジナル画像に忠実な高周波成分を抽出し得るようになさ
れている。

【００９４】このようにしてアクテイビテイデータを求
めると、その階層構造は図１２（Ｂ）に示すようにな
り、最下位階層以外での階層プレーンを持つことにな
る。このアクテイビテイデータは、平均値階層化したと
きに画像データ中で欠落する特徴量を反映していること
になる。

【００９５】ここで例えば図１３に示すようなオリジナ
ル画像中の画像データの４×４の画素ｘ１、ｘ２、…
…、ｘ15、ｘ16でなるブロツクを第１階層として階層化
する場合、平均値階層化の第２階層の画像データ中の画
素ｙ１、ｙ２、ｙ３、ｙ４は（９）式に基づいて、次式

【数１２】 によつて求め、さらにこの階層２の２×２の画素を用い
て、平均値階層化した第３階層の画像データ中の画素ｚ
１も（９）式に基づいて、次式

【数１３】 により求める。

【００９６】また同様にして、アクテイビテイ階層化し
てなる階層２のアクテイビテイデータは、平均値階層化
された第２階層の画像データの画素ｙ１、ｙ２、ｙ３、
ｙ４と第１階層の画像データの画素ｘ１、ｘ２、……、
ｘ15、ｘ16を用いて、（10）式に基づいて、次式

【数１４】 により求め、さらにアクテイビテイ階層化してなる第３
階層のアクテイビテイデータは、平均値階層化された第
３階層の画像データの画素ｚ１と第１階層の画像データ
の画素ｘ１、ｘ２、……、ｘ15、ｘ16を用いて、（11）
式に基づいて、次式

【数１５】 により求める。

【００９７】上述のようにして求めた平均値階層化した
画像データとアクテイビテイ階層化したアクテイビテイ
データを用いて、各階層でブロツクマツチング法による
動き量検出を行う。すなわちブロツクマツチングの評価
関数は、現フイールドをｔで表すと、次式

【数１６】 で表される。ただし（ｕ_n 、ｖ_n ）は、第ｎ階層での動
き量を示す。この評価関数Ｅ（Ｙ）_n の最小を与える
Ｖ′_n ＝（ｕ_n 、ｖ_n ）を求める動き量とする。現在の
階層における動き量Ｖ_n は、次式

【数１７】 という関係から、最終的な動き量を求めることができ
る。

【００９８】この実施例の場合の評価関数とは、図１２
（Ｂ）のアクテイビテイデータについても（16）式と同
様に、次式

【数１８】 となる評価を行い、新たな評価関数Ｅ（Ｇ）_n を、次式

【数１９】 とする。ただしｗ₁ 、ｗ₂ は重み係数である。そして評
価関数Ｅ（Ｇ）_n の最小を与える動き量を求める。なお
最下位階層ではアクテイビテイデータが存在しないた
め、（16）式の評価関数Ｅ（Ｙ）_n のみによる評価を行
う。

【００９９】このように平均値階層化された画像データ
とアクテイビテイ階層化されたアクテイビテイデータの
両者を用いて評価することにより、一方の階層の最適評
価値が誤検出であつても、もう一方の評価値で正しい検
出ができるようになり、各階層における動き量検出の精
度が向上する。このように各階層における動き量検出精
度が向上すると、（17）式で求める最終的な動き量も検
出精度を向上することになる。

【０１００】ここでこの実施例における動き量検出処理
手順ＳＰ０を図１４に示す。すなわちまずステツプＳＰ
１において、比較する２画面のオリジナル画像をブロツ
ク化し、次のステツプＳＰ２でブロツク化されたオリジ
ナル画像を、（９）式に従つて平均値階層化すると共
に、（10）式及び（11）式に従つてアクテイビテイ階層
化して、例えば第１階層、第２階層及び第３階層の画像
データと第２階層及び第３階層のアクテイビテイデータ
を生成する。

【０１０１】続くステツプＳＰ３では現在処理済みの階
層が最下位階層か否か判断し、否定結果の場合にはステ
ツプＳＰ４で全サーチ領域について探索終了か否か判断
し、ここで否定結果を得るとステツプＳＰ５で画像デー
タ及びアクテイビテイデータの現在及び過去のデータを
用いて、（16）式及び（18）式について上述した評価関
数Ｅ（Ｙ）_n 及びＥ（Ｄ）_n による評価を行い、ステツ
プＳＰ４に戻る。

【０１０２】やがてステツプＳＰ４で肯定結果を得る
と、ステツプＳＰ６に移つて所定階層の画像データ及び
アクテイビテイデータについて求めた評価関数Ｅ（Ｙ）
_n 及びＥ（Ｄ）_n を用いて（19）式より得られる新たな
評価関数Ｅ（Ｇ）_n による評価を行つて最適評価値を求
めステツプＳＰ７に移る。ステツプＳＰ７では最適評価
値より動き量を決定し、次のステツプＳＰ８で動き量を
加算して、それぞれ下位階層に適用し、ステツプＳＰ３
に戻る。やがてこのステツプＳＰ３で否定結果を得る
と、ステツプＳＰ９に移つて当該動き量検出方法の処理
手順ＳＰ０を終了する。

【０１０３】このようにサーチ領域内の探索を、最上位
階層から始め平均値階層化された画像データとアクテイ
ビテイ階層化されたアクテイビテイデータの評価値を
（19）式により総合判定しながら最適な動き量を求め、
（17）式によつて求めた動き量を下位階層に適用しなが
ら最下位階層まで処理を繰り返し行い、最終的な動き量
を求める。これにより平均値階層化の画像データのみよ
り求めた動き量に比較して、各階層の高周波成分でなる
アクテイビテイデータより求めた評価値を加味して動き
量を求めるようにしたことにより、平均値化による誤判
定を有効に防止して高い精度で動きを検出し得る。

【０１０４】ここで、この実施例の動き量検出方法を用
いる動き量検出装置は、図１５に示すように構成されて
いる。なお図１５では、図１との対応部分に同一符号を
付して示している。また図１５における平均値階層化回
路３、５、９及び１１は、それぞれ図１の第２階層デー
タ作成回路３、第３階層データ作成回路５、第２階層デ
ータ作成回路９及び第３階層データ作成回路１１と同様
の構成及び機能を有する。

【０１０５】動き量検出装置１００は、階層処理部１Ａ
及び１Ｂに加えて、階層化したアクテイビテイデータを
生成するアクテイビテイ階層処理部１００Ａ及び１００
Ｂを有する。動き量検出装置１００はアクテイビテイ階
層処理部１００Ａで現フレームの階層アクテイビテイデ
ータを生成すると共に、アクテイビテイ階層処理部１０
０Ｂで前フレームの階層アクテイビテイデータを生成す
る。

【０１０６】アクテイビテイ階層処理部１００Ａのアク
テイビテイ階層化回路１０１は、第１階層画像データＳ
１_n 及び平均値階層化回路３からの第２階層画像データ
Ｓ２_n を用いて、（10）式の演算によるアクテイビテイ
階層化処理を実行して第２階層のアクテイビテイデータ
Ｐ２_n を求める。このアクテイビテイデータＰ２_n はメ
モリ１０２に格納される。

【０１０７】アクテイビテイ階層化回路１０３は、第１
階層画像データＳ１_n 及び平均値階層化回路５からの第
３階層画像データＳ３_n を用いて、（11）式の演算によ
るアクテイビテイ階層化処理を実行して第３階層のアク
テイビテイデータＰ３_n を求める。このアクテイビテイ
データＰ３_n はメモリ１０４に格納される。

【０１０８】同様に、前フレームの階層アクテイビテイ
データを生成するアクテイビテイ階層処理部１００Ｂで
は、アクテイビテイ階層化回路１０５に前フレームの第
１階層画像データＳ１_n-1 及び平均値階層化回路９から
の第２階層画像データＳ２_n-1 を受ける。アクテイビテ
イ階層化回路１０５は、第１階層画像データＳ１_n-1及
び第２階層画像データＳ２_n-1 を用いて、（10）式に基
づいて第２階層アクテイビテイデータＰ２_n-1 を求め
る。このアクテイビテイデータＰ２_n-1 はメモリ１０６
に格納される。

【０１０９】アクテイビテイ階層化回路１０７は、第１
階層画像データＳ１_n-1 及び平均値階層化回路１１から
の多重化された第３階層画像データＳ３_n-1 を用いて、
（11）式に基づいて多重化された第３階層アクテイビテ
イデータＰ３_n-1 を求める。この多重化されたアクテイ
ビテイデータＰ３_n-1 はメモリ１０８に格納される。多
重化された第３階層アクテイビテイデータＰ３_n-1 は、
図３（Ｂ）に示す多重化された第３階層画像データＳ３
_n-1 と対応して、図１６（Ｂ）のように表すことができ
る。このように各メモリに格納された階層画像データ及
び階層アクテイビテイデータは、動き検出部１００Ｃに
よつて各階層の所定ブロツク毎に読み出され、上位階層
から順に動き量が求められる。

【０１１０】実際の動き量の検出は最上位階層でなる第
３階層において、まずメモリ１２に格納された前フレー
ムの画像データ及びメモリ１０８に格納された前フレー
ムのアクテイビテイデータが候補ブロツクとして、サー
チ内で読み出され、第３階層動き量検出回路１１０に与
えられる。またメモリ６に格納された現フレームの画像
データ及びメモリ１０４に格納された現フレームのアク
テイビテイデータが参照ブロツクとして読み出され、第
３階層動き量検出回路１１０に与えられる。

【０１１１】このような第３階層の画像データ及びアク
テイビテイデータの読み出しはメモリコントロール回路
１０９からのブロツクアドレスに基づいて行われる。メ
モリコントロール回路１０９は、メモリ１２及び１０８
に対してはサーチ範囲内で候補ブロツクを 0.5画素単位
で読み出すようなブロツクアドレスを送出する。なお同
時点にメモリコントロール回路１０９により読み出され
るブロツク位置は、メモリ６とメモリ１０４で同一位置
であり、かつメモリ１２とメモリ１０８で同一位置であ
る。

【０１１２】第３階層動き量検出回路１１０は、入力し
た画像データ及びアクテイビテイデータを用いて、それ
ぞれ（16）式及び（18）式の評価関数Ｅ（Ｙ）₃ 及びＥ
（Ｄ）₃ に基づいて評価値を求める。次にこの評価値に
対して、（19）式に示すように、重み係数ｗ₁ 、ｗ₂ に
応じて所定の重み付けして加算し、この結果得られる新
たな評価関数Ｅ（Ｇ）₃ に基づいて動き量を検出する。

【０１１３】実際上第３階層動き量検出回路１１０及び
第２階層動き量検出回路１１２は、図１７に示すように
構成されている。ここで第２階層動き量検出回路１１２
は第３階層動き量検出回路１１０と同様の構成でなるた
め第３階層動き量検出回路１１０について説明する。第
３階層動き量検出回路１１０は、メモリ６及び１２から
の第３階層画像データＳ３_n 及びＳ３_n-1 をそれぞれ画
像データ評価値算出部１５０のレジスタ３１及び３２に
入力する。この画像データ評価値算出部１５０は第１実
施例で上述したのと同様の累積加算処理を実行し、レジ
スタ３６から平均値画像データについての評価値を出力
する。かくして（16）式の演算が画像データ評価値算出
部１５０で実行される。

【０１１４】また第３階層動き量検出回路１１０は、メ
モリ１０４及び１０８からの第３階層アクテイビテイデ
ータＰ３_n 及びＰ３_n-1 をそれぞれアクテイビテイデー
タ評価値算出部１５１のレジスタ１３１及び１３２に入
力する。このアクテイビテイデータ評価値算出部１５１
は、アクテイビテイデータＰ３_n 及びＰ３_n-1 に対し
て、画像データ評価値算出部１５０が画像データＳ３_n
及びＳ３_n-1 に対して行つたのと同様の累積加算処理を
実行し、レジスタ１３６からアクテイビテイデータにつ
いての評価値を出力する。かくして（18）式の演算がア
クテイビテイデータ評価値算出部１５１で実行される。

【０１１５】画像データ評価値算出部１５０から出力さ
れた平均値画像データについての評価値は続く乗算回路
１５２において重み係数ｗ₁ が乗じられた後加算回路１
５４に与えられると共に、アクテイビテイデータ評価値
算出部１５１から出力されたアクテイビテイデータにつ
いての評価値は続く乗算回路１５３において重み係数ｗ
₂ が乗じられた後加算回路１５４に与えられる。この結
果加算回路１５４では、（19）式に基づく加算演算が実
行され、当該加算演算結果が新たな評価値として評価値
メモリ３７に与えられる。

【０１１６】ここで評価値メモリ３７、評価値メモリコ
ントロール回路３８、比較回路４０及びレジスタ４１、
４２は図７について第１実施例で上述したものと同様の
構成でなり、最終的にレジスタ４２から、アクテイビテ
イデータの評価値をも加味した新たな評価値の最小を与
えるアドレスが出力される。このアドレスが第３階層の
動きベクトルとして第２階層のメモリコントロール回路
１１１に与えられる。

【０１１７】メモリコントロール回路１１１は、サーチ
範囲が第３階層における動き量を第２階層のスケールに
変換しただけオフセツトをはかせた位置を中心に（±
１）になるようなブロツクアドレスをメモリ１０、１０
６に送出する。このブロツクアドレスに基づいてメモリ
１０、１０６から読み出される第２階層画像データＳ２
_n-1 及び第２階層アクテイビテイデータＰ２_n-1 は第２
階層動き量検出回路１１２に送出される。

【０１１８】第２階層動き量検出回路１１２は第３階層
動き量検出回路１１０と同様に、画像データの評価値に
アクテイビテイデータの評価値を加味した新しい評価値
に基づいて第２階層の動きベクトルを検出し、当該検出
結果を第１階層のメモリコントロール回路１１３に送出
する。但し、この第２階層の動き量検出では、第３階層
のように多重化した画像データ及びアクテイビテイデー
タがないため、 0.5画素単位ではなく、１画素単位でブ
ロツクマツチングを行う。

【０１１９】メモリコントロール回路１１３は、サーチ
範囲が第２階層における動き量を第１階層のスケールに
変換しただけオフセツトをはかせた位置を中心に（±
１）になるようなブロツクアドレスをメモリ８に送出す
る。このブロツクアドレスに基づいてメモリ８から読み
出される第１階層画像データＳ１_n-1 は第１階層動き量
検出回路１１４に送出される。

【０１２０】第１階層動き量検出回路１１４は、図７に
ついて第１実施例で上述した動き量検出回路１４と同様
の構成でなり、画像データの評価値のみを用いて動き量
を検出する。第１階層動き量検出回路１１４は、この第
１階層における動き量と、先に求めた第２階層における
動き量を第１階層のスケールに変換したものとを足し合
わせ、これを第１階層における最終的な動き量ＭＶとし
て出力端子を介して出力する。

【０１２１】以上の構成において、第５実施例の動き量
検出装置１００は、平均値演算による階層画像データＳ
２_n 、Ｓ２_n-1 、Ｓ３_n 、Ｓ３_n-1 に加えて、画像の過
渡成分を反映した階層アクテイビテイデータＰ２_n 、Ｐ
２_n-1 、Ｐ３_n 、Ｐ３_n-1 を生成する。さらに最上位階
層である第３階層の画像データＳ３_n-1 及びアクテイビ
テイデータＰ３_n-1 は多重化したデータを生成する。

【０１２２】動き量検出装置１００は、第３階層におい
て、多重化した画像データＳ３_n-1及びアクテイビテイ
データＰ３_n-1 から候補ブロツクを切り出し、かつ画像
データＳ３_n 及びアクテイビテイデータＰ３_n から参照
ブロツクを切り出して、ブロツクマツチングによつて総
合判定することにより、この階層での動き量を求める。
これにより平均値階層画像のみを用いる場合に比して、
格段に検出精度を向上させることができる。

【０１２３】動き量検出装置１００は、第２階層におい
て、画像データＳ２_n-1 及びアクテイビテイデータＰ２
_n-1 から候補ブロツクを第３階層での動き量の分動き補
償して切り出し、かつ画像データＳ２_n 及びアクテイビ
テイデータＰ２_n から参照ブロツクを切り出して、ブロ
ツクマツチングによつて総合判定してこの階層の動き量
を求める。この結果第２階層での動き量の検出精度も向
上させることができる。動き量検出装置１００は、最後
に第２階層での動き分動き補償して第１階層の動き量を
求め、これを最終的な動き量ＭＶとして出力する。

【０１２４】以上の構成によれば、多重化した最上位階
層データＳ３_n-1 を生成するのに加えて、階層化したア
クテイビテイデータＰ２_n 、Ｐ２_n-1 、Ｐ３_n 、Ｐ３
_n-1 を生成し、各階層において階層画像データ及び階層
アクテイビテイデータをブロツクマツチングによつて総
合判定して動き量を求めるようにしたことにより、最終
的なオリジナル画像についての動き量の検出精度を一段
と向上し得る。

【０１２５】（６）他の実施例 （６−１）なお上述の実施例においては、オリジナル画
像より平均値階層化で３階層の画像データを作成した場
合について述べたが、階層数はこれに限らず２階層や４
階層以上でも、上述の実施例と同様の効果を得ることが
できる。また平均値階層化する際、下位階層の２×２の
ブロツクの平均値をとることにより上位階層の１ブロツ
クを生成する場合について述べたが、ブロツク範囲はこ
れに限らず、また平均値に限らず例えばローパスフイル
タ等で平滑化処理することにより上位階層データを生成
するようにしても良い。

【０１２６】（６−２）また上述の実施例においては、
ブロツクマツチングの評価値を求めるために、（６）式
又は（16）式でなる評価関数によつて、両ブロツクの差
分の絶対値和を用いた場合について述べたが、その他ブ
ロツクマツチングの評価関数としては、差分の２乗和や
相関係数等を用いるようにしても上述の実施例と同様の
効果を得ることができる。

【０１２７】（６−３）また上述の実施例においては、
多重化した上位階層データを作成することにより、上位
階層において 0.5画素単位の動き量検出を行う場合につ
いて述べたが、 0.5画素単位の動き量検出に限らず、例
えば0.25画素単位の動き量検出等、更に細かい単位で動
き量検出をする場合にも適用することができる。また上
位階層を多重化するために用いる下位階層データの選択
は、上述の実施例の場合に限らず、要は下位階層データ
をオーバーラツプするように選択することにより多重化
した上位階層データを作成するようにすれば良い。

【０１２８】（６−４）また上述の実施例においては、
第３階層画像データＳ３_n-1 のみを多重化する場合につ
いて述べたが、本発明はこれに限らず、第１階層の画像
データをオーバーラツプして選択することにより第２階
層画像データも多重化するようにしても良い。

【０１２９】（６−５）また上述の第５実施例において
は、平均値階層化回路１１によつて第１実施例のように
通常の第３階層の画素に対して縦方向、横方向及び斜め
方向に隣接する多重化した画素を作成する場合について
述べたが、本発明はこれに限らず、第２実施例のように
斜め方向にのみ多重化した画素を作成するようにしても
良い。

【０１３０】また第５実施例において、第３実施例のよ
うな２段階の処理を導入するようにしても良い。このよ
うにすれば、第５実施例における計算量を有効に低減す
ることができる。さらに第５実施例において、第４実施
例のように、参照ブロツクとなる現フレームを多重化す
ると共に、注目するブロツク毎に階層画像を作成するよ
うな方法を導入するようにしても良い。このようにすれ
ば、第５実施例における計算量及びメモリ使用量を低減
することができる。

【０１３１】（６−６）また上述の第５実施例において
は、アクテイビテイ階層化する際に差分の絶対値和の平
均値を用いた場合について述べたが、標準偏差や分散値
を用いてアクテイビテイ階層化するようにしても良い。
さらにラプラシアンフイルタを前処理に用いて画像の高
周波成分を抽出した後に、アクテイビテイ階層化するよ
うにしても良い。さらにオリジナル画像の最大値と最小
値の差で定義されるダイナミツクレンジを用いて、アク
テイビテイ階層化するようにしても良い。

【０１３２】

【発明の効果】上述のように本発明によれば、第１の時
点で入力された入力画像より解像度の異なる複数階層の
画像データを形成すると共に、第２の時点で入力された
入力画像に基づいて、解像度の高い下位階層の画像デー
タから互いにオーバーラツプした画素を選択して縮小す
ることにより解像度の低い多重化された上位階層の画像
データを形成し、階層化された画像データ及び多重化し
て階層化された画像データについて、階層毎に所定ブロ
ツク単位でブロツクマツチングによつて動きベクトルを
検出したことにより、入力画像に応じてブロツクマツチ
ングに用いるブロツクの位相が様々に変化した場合で
も、上位階層での誤検出を回避し得、階層ブロツクマツ
チングによる動き量の検出精度の向上し得る動き量検出
装置を実現できる。

【０１３３】また本発明によれば、これに加えて、第１
の時点の入力画像及び第２の時点の入力画像に対応し
て、画像データの高周波成分を表す複数階層のアクテイ
ビテイデータを形成し、このアクテイビテイデータを用
いたブロツクマツチングでの評価値も参照して動きベク
トルを検出するようにしたことにより、一段と動き量の
検出精度を向上し得る。

【図面の簡単な説明】

【図１】本発明による動き量検出装置の一実施例の回路
構成を示すブロツク図である。

【図２】ｎフレームの第２階層画像データ作成の説明に
供する略線図である。

【図３】ｎフレームと（ｎ−１）フレームの第３階層画
像データの説明に供する略線図である。

【図４】（ｎ−１）フレームの第２階層画像データ作成
の説明に供する略線図である。

【図５】エツジと階層化のブロツク境界が一致している
場合の説明に供する略線図である。

【図６】エツジと階層化のブロツク境界が一致してしな
い場合の説明に供する略線図である。

【図７】動き量検出回路の回路構成を示すブロツクであ
る。

【図８】第１実施例の第３階層画像データの説明に供す
る略線図である。

【図９】第２実施例の第３階層画像データの説明に供す
る略線図である。

【図１０】第３実施例の第３階層画像データの説明に供
する略線図である。

【図１１】第３実施例の回路構成を示すブロツク図であ
る。

【図１２】第５実施例による階層画像の説明に供する略
線図である。

【図１３】第５実施例による階層画像の説明に供する略
線図である。

【図１４】第５実施例による動き量検出処理手順を示す
フローチヤートである。

【図１５】第５実施例による動き量検出装置の構成を示
すブロツク図である。

【図１６】ｎフレームと（ｎ−１）フレームの第３階層
アクテイビテイデータの説明に供する略線図である。

【図１７】第５実施例の動き量検出装置における動き量
検出回路の構成を示すブロツク図である。

【符号の説明】

１、１００……動き量検出装置、１Ａ、１Ｂ……階層処
理部、１Ｃ、１００Ｃ……動き検出部、３、９……第２
階層データ作成回路、５、１１……第３階層データ作成
回路、１４、１１０……第３階層動き量検出回路、１
６、１１２……第２階層動き量検出回路、１８、１１４
……第１階層動き量検出回路、１００Ａ、１００Ｂ……
アクテイビテイ階層処理部、１５０……画像データ評価
値算出部、１５１……アクテイビテイデータ評価値算出
部、Ｓ１_n 、Ｓ１_n-1 ……第１階層画像データ、Ｓ
２_n 、Ｓ２_n-1 ……第２階層画像データ、Ｓ３_n 、Ｓ３
_n-1 ……第３階層画像データ、Ｐ２_n 、Ｐ２_n-1 ……第
２階層アクテイビテイデータ、Ｐ３_n 、Ｐ３_n-1 ……第
３階層アクテイビテイデータ。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 堀士 賢 東京都品川区北品川６丁目７番35号ソニー 株式会社内 (72)発明者 石坂 敏弥 東京都品川区北品川６丁目７番35号ソニー 株式会社内

Claims (14)

【特許請求の範囲】
1. 【請求項１】解像度の低い上位階層で検出した動きベク
   トルに基づいて、解像度の高い下位階層での動きベクト
   ルを順次検出する動き量検出方法において、 第１の時点で入力された入力画像より解像度の異なる複
   数階層の画像データを形成する画像階層化ステツプと、 第２の時点で入力された入力画像より解像度の異なる複
   数階層の画像データを形成すると共に、解像度の高い下
   位階層の画像データから互いにオーバーラツプした画素
   を選択して縮小することにより解像度が低く、かつ多重
   化された上位階層の画像データを形成する上位階層多重
   化ステツプと、 上記画像階層化ステツプ及び上記上位階層多重化ステツ
   プで階層化された画像データの対応する階層同士で、下
   位階層については上位階層で求めた動きベクトルを基準
   にするようにして、上位階層から順に各階層毎に所定ブ
   ロツク単位でブロツクマツチングによつて動きベクトル
   を検出する動きベクトル検出ステツプとを具えることを
   特徴とする動き量検出方法。
2. 【請求項２】解像度の低い上位階層で検出した動きベク
   トルに基づいて、解像度の高い下位階層での動きベクト
   ルを順次検出する動き量検出方法において、 第１の時点で入力された入力画像より解像度の異なる複
   数階層の画像データを形成する画像階層化ステツプと、 上記画像階層化ステツプで形成された複数階層の画像デ
   ータに基づいて、当該階層毎の画像データの高周波成分
   を表す複数階層のアクテイビテイデータを形成する第１
   のアクテイビテイ階層化ステツプと、 第２の時点で入力された入力画像より解像度の異なる複
   数階層の画像データを形成すると共に、解像度の高い下
   位階層の画像データから互いにオーバーラツプした画素
   を選択して縮小することにより解像度が低く、かつ多重
   化された上位階層の画像データを形成する上位階層多重
   化ステツプと、 上記上位階層多重化ステツプで形成された複数階層の画
   像データに基づいて、当該階層毎の画像データの高周波
   成分を表す複数階層のアクテイビテイデータを形成する
   第２のアクテイビテイ階層化ステツプと、 上記画像階層化ステツプ及び上記上位階層多重化ステツ
   プで階層化された画像データの対応する階層同士で所定
   ブロツク単位でブロツクマツチングによる評価値を求め
   る画像データ評価値算出ステツプと、 上記第１のアクテイビテイ階層化ステツプ及び上記第２
   のアクテイビテイ階層化ステツプで階層化されたアクテ
   イビテイデータの対応する階層同士で所定ブロツク単位
   でブロツクマツチングによる評価値を求めるアクテイビ
   テイデータ評価値算出ステツプと、 上記画像データ評価値算出ステツプで求めた評価値と上
   記アクテイビテイデータ評価値算出ステツプで求めた評
   価値とを総合判定して、上位階層から順に各階層毎に動
   きベクトルを検出する動きベクトル検出ステツプとを具
   えることを特徴とする動き量検出方法。
3. 【請求項３】上記上位階層多重化ステツプでは、互いに
   縦方向及び横方向にオーバーラツプした上記下位階層の
   画像データの画素を選択することにより、格子状に配列
   した多重化した上位階層の画像データの画素を形成する
   ことを特徴とする請求項１又は請求項２に記載の動き量
   検出方法。
4. 【請求項４】上記上位階層多重化ステツプでは、縦方向
   及び横方向に対して互いに斜め方向にオーバーラツプし
   た上記下位階層の画像データの画素を選択することによ
   り、縦方向及び横方向に対して斜め方向に配列した上記
   多重化した上位階層の画像データの画素を形成すること
   を特徴とする請求項１又は請求項２に記載の動き量検出
   方法。
5. 【請求項５】上記動き量検出方法は、 第１の処理として、 上記上位階層多重化ステツプにおいて、多重化しない上
   位階層の画像データを形成し、上記動きベクトル検出ス
   テツプにおいて、動きベクトルを検出するした後、 第２の処理として、 上記上位階層多重化ステツプにおいて、上記動きベクト
   ル検出ステツプの検出結果に基づいて、動きベクトルの
   大きな画像データの周辺に多重化した画像データを形成
   し、上記動きベクトル検出ステツプにおいて、動きベク
   トルを検出することを特徴とする請求項１又は請求項２
   に記載の動き量検出方法。
6. 【請求項６】上記上位階層多重化ステツプでは、上記動
   きベクトル検出ステツプにおいてブロツクマツチングを
   行う注目ブロツク毎に上記多重化した上位階層の画像デ
   ータを形成することを特徴とする請求項１又は請求項２
   に記載の動き量検出方法。
7. 【請求項７】上記動き量検出方法は、 異なる時点の上記入力画像データのうち現在又は現在に
   近い時点の入力画像に対して上記上位階層多重化ステツ
   プを施すと共に、当該上位階層多重化ステツプを施した
   入力画像に対して過去の上記入力画像に対して上記画像
   階層化ステツプを施すことを特徴とする請求項１又は請
   求項２に記載の動き量検出方法。
8. 【請求項８】解像度の低い上位階層で検出した動きベク
   トルに基づいて、解像度の高い下位階層での動きベクト
   ルを順次検出する動き量検出装置において、 第１の時点で入力された入力画像より解像度の異なる複
   数階層の画像データを形成する画像階層化手段と、 第２の時点で入力された入力画像より解像度の異なる複
   数階層の画像データを形成すると共に、解像度の高い下
   位階層の画像データから互いにオーバーラツプした画素
   を選択して縮小することにより解像度が低く、かつ多重
   化された上位階層の画像データを形成する上位階層多重
   化手段と、 上記画像階層化手段及び上記上位階層多重化手段で階層
   化された画像データの対応する階層同士で、下位階層に
   ついては上位階層で求めた動きベクトルを基準にするよ
   うにして、上位階層から順に各階層毎に所定ブロツク単
   位でブロツクマツチングによつて動きベクトルを検出す
   る動きベクトル検出手段とを具えることを特徴とする動
   き量検出装置。
9. 【請求項９】解像度の低い上位階層で検出した動きベク
   トルに基づいて、解像度の高い下位階層での動きベクト
   ルを順次検出する動き量検出装置において、 第１の時点で入力された入力画像より解像度の異なる複
   数階層の画像データを形成する画像階層化手段と、 上記画像階層化手段により形成された複数階層の画像デ
   ータに基づいて、当該階層毎の画像データの高周波成分
   を表す複数階層のアクテイビテイデータを形成する第１
   のアクテイビテイ階層化手段と、 第２の時点で入力された入力画像より解像度の異なる複
   数階層の画像データを形成すると共に、解像度の高い下
   位階層の画像データから互いにオーバーラツプした画素
   を選択して縮小することにより解像度が低く、かつ多重
   化された上位階層の画像データを形成する上位階層多重
   化手段と、 上記上位階層多重化手段により形成された複数階層の画
   像データに基づいて、当該階層毎の画像データの高周波
   成分を表す複数階層のアクテイビテイデータを形成する
   第２のアクテイビテイ階層化手段と、 上記画像階層化手段及び上記上位階層多重化手段により
   階層化された画像データの対応する階層同士で所定ブロ
   ツク単位でブロツクマツチングによる評価値を求める画
   像データ評価値算出手段と、 上記第１のアクテイビテイ階層化手段及び上記第２のア
   クテイビテイ階層化手段により階層化されたアクテイビ
   テイデータの対応する階層同士で所定ブロツク単位でブ
   ロツクマツチングによる評価値を求めるアクテイビテイ
   データ評価値算出手段と、 上記画像データ評価値算出手段で求めた評価値と上記ア
   クテイビテイデータ評価値算出手段で求めた評価値とを
   総合判定して、上位階層から順に各階層毎に動きベクト
   ルを検出する動きベクトル検出手段とを具えることを特
   徴とする動き量検出装置。
10. 【請求項１０】上記上位階層多重化手段は、 互いに縦方向及び横方向にオーバーラツプした上記下位
    階層の画像データの画素を選択することにより、格子状
    に配列した上記多重化した上位階層の画像データの画素
    を形成することを特徴とする請求項８又は請求項９に記
    載の動き量検出装置。
11. 【請求項１１】上記上位階層多重化手段は、 縦方向及び横方向に対して互いに斜め方向にオーバーラ
    ツプした上記下位階層の画像データの画素を選択するこ
    とにより、縦方向及び横方向に対して斜め方向に配列し
    た上記多重化した上位階層の画像データの画素を形成す
    ることを特徴とする請求項８又は請求項９に記載の動き
    量検出装置。
12. 【請求項１２】上記動き量検出装置は、 上記上位階層多重化手段により多重化しない上位階層の
    画像データを形成すると共に、上記動きベクトル検出手
    段により、上記画像階層化手段で階層化された画像デー
    タ及び上記上位階層多重化手段で階層化された多重化し
    ない画像データの対応する階層同士で、所定ブロツク単
    位でブロツクマツチングによつて動きベクトルを検出し
    た後、 上記上位階層多重化手段により、上記動きベクトル検出
    手段の検出結果に基づいて、動きベクトルの大きな画像
    データの周辺に多重化した画像データを形成すると共
    に、上記動きベクトル検出手段により、上記画像階層化
    手段で階層化された画像データ及び上記上位階層多重化
    手段で多重化した画像データの対応する階層同士で、所
    定ブロツク単位でブロツクマツチングによつて動きベク
    トルを検出することを特徴とする請求項８又は請求項９
    に記載の動き量検出装置。
13. 【請求項１３】上記上位階層多重化手段は、 上記動きベクトル検出手段においてブロツクマツチング
    を行う注目ブロツク毎に上記多重化した上位階層の画像
    データを形成することを特徴とする請求項８又は請求項
    ９に記載の動き量検出装置。
14. 【請求項１４】上記動き量検出装置は、 異なる時点の上記入力画像データのうち現在又は現在に
    近い時点の入力画像に対して上記上位階層多重化手段に
    より多重化した上位階層画像データを形成すると共に、
    当該上位階層多重化手段に入力した入力画像に対して過
    去の入力画像を上記画像階層化手段に入力することによ
    り上記上位階層多重化手段により多重化した上位階層画
    像データに対して過去の解像度の異なる複数階層の上記
    階層画像データを形成することを特徴とする請求項８又
    は請求項９に記載の動き量検出装置。