JPH04180371A - 画像の動き検出装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 産業上の利用分野 本発明は、カメラのゆれ、回転などにより発生する画面
の捲れを検出する画像の動き検出装置に関する。

従来の技術 従来、このような分野の技術としては、例えば特願昭６
１−２６９４７５号公報に示されているものが知られて
いる。第６図は、この従来の画像の動き検出′装置の構
成図を示すものである。第６図において、２２〜２９は
画面を４分割した各領域のそれぞれについていわゆるブ
ロックマツチング法によって、前画像フレームの信号と
現画像フレームの信号との相関演算を行い、それによっ
て得られた相関値の中で最も相関の大きい相関値を探索
するとともに、その相関値を与える候補ベクトルを検出
する。゛有効・無効判定回路３０は候補ベクトルの有効
・無効を相関値の１１程を用いて判定し、ベクトル判定
回路３１へ判定信号りを出力する。ベクトル判定回路３
１は有効と判定された候補ベクトルより画像全体の平行
移動量を示す動きベクトルを算出する。このような構成
により、絵柄に変化の乏しい部分の候補ベクトルは信頼
性が低いとして無効とし、動きベクトルの計算から除外
することにより、動きベクトル検出の精度を向上させよ
うとするものである。

また回転、ズームを含む動きをもった物体の動きを求め
る方法として、例えば「大きさ・向きを変える物体の動
きベクトル検出方法」　（電子情報通信学会春季全国大
会（１９８９年）　Ｄ−１０９、ｐ７−９１）に示され
るものがある。

発明が解決しようとする課題 しかしながら、前者の第６図のような構成では、各候補
ベクトルの有効・無効の判定を各候補ベクトルの対応す
る各分割画面について得られた相関値によってのみ行っ
ており、画像全体の動きと異なる候補ベクトルに刻する
考慮が不十分てあった。

例えば、変化に冨む絵柄をもった画面の一部の領域が全
体と異なる動きをする場合であっても、この動きに対す
る候補ベクトルは前述の相関値による判定では有効と判
定され、画像全体の動きの判定に大きな誤差を与えるこ
とがあった。

また従来例では、例えばカメラのズーミング状態を検出
するためにはカーメラの光学系の中心点と信号処理上の
中心点とが一致している必要があり、しかも回転、平行
移動が絹み合わされた場合にはこれを検出することがで
きなかった。

また後者の電子情報通信学会春季全国大会（１９８９年
）　Ｄ−１０９、ｐ？−９１に示されたような方法では
、画像全体の動きと大きく異ムる動きをもった領域が存
在する場合でも、これを排除せず画像全体の動きの算出
に用いているため、通常の画像では局所的な動きの影響
を受け、必ずしも高い精度を得ることができなかった。

本発明は、このような従来の課題を解決するもので、画
面の一部が全体と異なった動きをした場合や、カメラの
ゆれや回転、カメラのズーミング操作等が発生した場合
においても、画像の動きを精度よく検出できる画像の動
き検出装置を提供することを目的としている。

課題を解決するための手段 本発明は、画像の複数の領域の動き量を検出する手段と
、これら検出した動き量のうちの複数を用いて画像の動
きを表す変換係数を算出する手段と、この変換係数を用
いて画面上の複数の領域における予測動き量を算出する
手段と、この予測動き量と検出した複数の領域の動き量
との誤差が所定の値以下となる領域を抽出する動き領域
抽出手段と、抽出された動き量を用いて画像全体の動き
を決定する手段とを備えてなるものである。

作用 本発明によれば、上記した構成により、画像の複数の領
域の動き量を検出し、これら検出した複数の領域の動き
量のうち複数個を選んで、平行移動のばか回転、拡大、
縮小の組合せによって生じた画像全体の動きを表す変換
係数を算出する。従って、回転、拡大、縮小などの動き
のように、画面の位置によって得られる動きベクトルの
向きや大きさが異なる場合でも、同一の動きに刻しては
同一の変換係数が得られ、同一の動きに属する領域を識
別することが可能になる。また算出された変換係数をも
とに、画像の他の位置における動き量を予測し、予測し
た動き量と検出した動き量の差が所定の閾値より小さい
領域を抽出しているので、類似した動きをもつ部分のみ
を同一の領域として得ることができ、平行移動のばか回
転、拡大、縮小を含む画像全体の動き、および全体の動
きと異なる一部の領域の動きを高い精度で検出すること
ができる。

実施例 以下、本発明の実施例について、以下図面を参照しなが
ら説明する。

第１図は、本発明の一実施例における画像の動き検出装
置の構成図を示すものである。第１図において、ｌは画
像入力端子、２は動きベクトル検出回路で、画面をｎ個
に分割した領域の動き量を動きベクトル■１〜■ｏとし
て検出する手段である。

３は動きベクトル選択回路であって、その得られた動き
ベクトルＶＩ−Ｖｏのうち、任意の２つの動きベクトル
■１、■１（１≠Ｊ）を選択する動きベクトル選択回路
であり、４はその２つの動きベクトル■１、■、（１≠
Ｊ）に基づき、変換係数を算出する変換係数算出回路で
ある。５は動き量予測回路であり、変換係数算出回路４
で得た変換係数を用いて画面上の他の位置における動き
量を予測する手段である。６はその動きベクトル検出回
路２で検出した動き量と、動き量予測回路５て予測した
動き量との誤差を求める誤差検出回路、７はその誤差と
閾値を比較する閾値回路、８はその結果から動き領域を
抽出する動き領域抽出回路、９は画像全体の動きを決定
する動き決定回路、１０はその結果を出力する動き量出
力端子である。

以上のように構成された本実施例の画像の動き検出装置
についてＳ以下その動作を説明する。

動きベクトル検出回路２では、いわゆるパターンマツチ
ング法によって、画面をｎ分割した場合の各領域におけ
る動き量を動きベクトル■１〜Ｖ。

として検出する。動きベクトル選択回路３は■１〜ｖｎ
の中から２つの動きベクトルを選択し、これを用いて変
換係数算出回路４は画像の動きを変換係数として、以下
のようにして算出する。

平行移動、拡大・縮小、回転などの動きによって画像中
の（ｘ＋ｙ）の点が（Ｘ、　　Ｙ）に移動したとすると
、Ｘ、　　Ｙは移動前のｘ、ｙと係数−ａ、ｂ、　　ｃ
、　　ｄを用いて Ｘ＝　　ａｘ＋ｂｙ十ｃ Ｙ＝−ｂｘ十ａｙ十ｄ と表すことができる。変換係数ａ　−ｄは、２つの位置
における動きベクトルを用いて以下のようにして求める
ことができる。

点（ｘ、　　ｙ）における動きベクトルのＸ成分とＹ成
分をそれぞれ■１、■、とすると ■つ＝Ｘ−ｘ ｖ、＝ｙ−ｙ であるから、変換係数と点（ｘ、　　ｙ）における動き
ベクトル■８、■、の関係は （ａ−１）ｘ＋ｂｙ＋ｃ＝Ｖ。

−ｂｘ＋　（ａ−１）ｙ＋ｃ＝Ｖｖ と表すことができる。係数ａ、ｂ、　　ｃ、　　ｄは２
点（Ｘ＋、　　ｙ＋＞、　（Ｘ２．　　Ｖ２）のそれぞ
れの位置における動きベクトルのＸ成分Ｖｘｌ、ＶＸ２
、Ｙ成分■ｙ１、■ｙ２、を用いて次のように表すこと
ができる。

（ａ　　１）Ｘ＋＋ｔ）ｙ＋＋Ｃ：ＶＸ＋（ａ−１）ｘ
２＋ｂｙｐ＋ｃ＝Ｖｘ２ ｂＸ＋＋（ａ　　Ｉ）５’＋＋ｄ＝Ｖ５／’＋ｂｘ２＋
（ａ−１）ｙ２＋ｄ＝■ｙ２ したがって係数ａ、　　ｂ、　　ｃ、　　ｄはこの連立
方程式を解くことによフて求めることができる。

以上のような方法により、変換係数算出回路３はｎ個の
動きベクトル■１〜ｖｎのうち、２つを用いて変換係数
を算出する。このように、画像の動きを変換係数を用い
て表すことによりｊ　回転、拡大、縮小などの動きのよ
うに、画面の位置によって得られる動きベクトルの向き
や大きさが異なる場合でも、同一の動きに対しては同一
の変換係数が得られる。

次に、動き量予測回路５は、算出した変換係数をもとに
、画像の他の位置における動きベクトルを予測する。誤
差検出回路６は、その予測した動きベクトルと、動きベ
クトル検出回路２で検出した動きベクトルとの誤差を算
出する。なお、変換係数を算出するのに用いた２つの領
域の動きと類似した動きをもつ領域では、予測した動き
ベクトルと検出した動きベクトルの誤差が所定の闇値よ
り小さくなる。そこで、このような領域を同値回路７で
検出し、動き領域抽出回路８によって、同一の動きをも
つ領域として抽出する。

以上のように、本実施例によれば、画像の動きを変換係
数を用いて表しているので、回転、拡大、縮小などの動
きのように、画面の位置によって得られる動きベクトル
の向きや大きさが異なる場合でも、同一の動きに対して
は同一の変換係数が得られ、同一の動きに属する領域を
識別することが可能になる。また、予測した動き量と検
出した動き量の差が所定の閾値より小さい領域を抽出し
ているので、類似した動きをもつ部分の抽出が可能にな
り、画像全体の動きを検出することおよび画面全体の動
きと異なる部分を検出することが可能となる。

従って、画像の動きを精度よく検出できる。

第２図は本発明の第２の実施例における画像の゛動き検
出装置の構成図である。第１図の実施例と同じ手段には
、同じ符号を付し、その説明を省略する。第１図と異な
るところは係数評価回路４１、係数選択回路４２、候補
領域係数回路８１、最大領域選択回路８２を設けたこと
である。

以上のように構成された第２の実施例の画像の動き検出
装置について、以下その動作を第１図のものと異なる点
について説明する。

動きベクトル選択回路３は検出した動きベクトル■１〜
■ｏの中から任意の３つの動きベクトル■１、■４、Ｖ
ｋ（ｉ≠Ｊ、１≠ｋ１．１ｆ−ｋ）を選ぶ。

そして、変換係数算出回路４は、それらの動きベクトル
から画像全体の動きを与える変換係数を算出する。すな
わち、変換係数ａ　−ｆは、３つの位置における動きベ
クトルＶ１、■４、Ｖｂを用いて以下のようにして求め
ることができる。

平行移動、拡大・縮小、回転などの動きによって画像中
の（ｘｔ　’　ｙ　）の点が（Ｘ、　　Ｙ）に移動した
とすると、ｘ、Ｙは移動前のｘ、　　ｙと係数ａ、ｂ、
　　ｃ、　　ｄ、　　ｅ、　　ｆを用いてＸ＝ａｘ＋ｂ
ｙ＋ｃ Ｙ＝ｄｘ＋ｅｙ＋ｆ と表すことができる。係数ａ、ｂ、ｃは３点（ＸＩ。

ｙ＋）、（ｘ２ｖ　　３’　２）　　（Ｘ３、Ｖ３）の
それぞれの位置における動きベクトルのＸ成分Ｖｘ＋、
ＶＸ２、ｖｘ３を用いて次のように表すことができる。

（ａ　　　　１）　　ｘ＋＋ｂｙ＋＋ｃ＝Ｖｘ＋（ａ−
１）Ｘ２＋ｂ５／＋＋Ｃ＝ＶＸ２（ａ　　　１）ｘ３＋
ｂｙ３＋ｃ＝Ｖｘ３したがって係数ａ、　　ｂ、　　ｃ
はこの連立方程式を解くことによって求めることができ
る。また係数ｄ、ｅ、　　ｆは３点（Ｘ　Ｉ　！　　’
／　’　）・　（Ｘ２１　　Ｖ２）　　（ｘａ・ｙ３）
のそれぞれの位置における動きベクトルのＹ成分Ｖｙ＋
、■ｙ２、ｖｙ３を用いて次のように表すことができる
。

ｄＸ＋＋　（ｅ　　１）’ｙ＋＋ｆ＝ＶＶ＋ｄＸ２＋　
（ｅ　　１）　ｙ２＋ｆ＝Ｖｙ２ｄＸ３＋　（ｅ−１）
Ｖ３＋ｆ＝Ｖｙ３したがって係数ｄ、　　ｅ、　　ｆは
この連立方程式を解くことによって求めることができる
。

以上のような方法により、変換係数算出回路４はｎ個の
動きベクトル■１〜■ｏのうち、３つを用いて変換係数
を算出することができる。

ここで画像全体の動きが平行移動、回転、拡大、縮小の
組合せであり、形状のひずみがない場合には、変換係数
ａ　−ｄについては特別の関係、すな−わち ａ＝ｅ＝ｓｘφｃｏｓθ　　　−（１）ｂ＝−ｄ＝−Ｓ
ｘ−ｓｉｎθ　　−−−（２）の関係が成立するはずで
ある。ただしＳｘはＸ軸方向の拡大率、Ｓ、、はＹ軸方
向の拡大率、θは画像の回転角度である。通常のカメラ
操作では、被写体が静止している場合、画像全体の動き
は平行移動、回転、拡大、縮小の絹合せと考えられる。

したがって３つの動きベクトル■１、■１、■により変
換係数を求めたのち、係数評価回路４１によってこの変
換係数を評価し、前述の関係を満たしているものを係数
選択回路４２によって選択して動き量の予測に用いるこ
とにより、３つの動きベクトルｖ１、■１、Ｖｂから求
めた画像の動きが平行移動、回転、拡大・縮小といった
通常のカメラ操作で起こり得る動きか否かを判定するこ
とができる。例えば画面の一部の領域が全体とは異なる
動きをしたり、画面内に異物体が進入して、画像がＸ軸
方向には拡大する動きを、Ｙ軸方向には縮小する動きを
示したとすると、このような領域の動きベクトルから求
めた変換係数は上述の（１）式および（２）式の関係を
満たさず、画像全体の動きの検出に用いることは不適当
であることがわかる。前述の（１）式および（２）式の
関係を満たす変換係数のみを動き量予測に用いることに
より、画像全体の動きと異なる領域の動きを排°除して
、精度よく画像全体の動きを検出することができる。

第３図は、３つの動きベクトルから得られた係数を評価
して画像の動きを判定する方法を示すためのものである
。第３図（ａ）のように画像の４つの領域の動きベクト
ルが得られているものとする。これは例えばカメラが画
面中央を中心として左に回転している隙に、画面右上の
領域の物体が大きく左に移動したような場合に相当する
。４つの動きベクトルこれらのうち３らを選んで、変換
係数を求めると、第３図（ｂ）、　（ｃ）および（ｄ）
は前述の（１）式および（２）式の関係を満たさず、同
図（ｄ）の組合せのみ有効と判定することができる。し
たがって全体と異なる動きをもつ画面右上の領域の動き
ベクトルを排除することにより、精度よく画像全体の動
きを検出することができる。

変換係数は検出動きベクトルの組合せの数、本実施例の
場合はｎ個の動きベクトルから３個を選ぶ組合せの数だ
け得られるが、画像、全体の動きはこれらの変換係数が
類似した集まりどうし分類することに帰着される０通常
このような分類は次元の数が多いとパラメータの決定、
演算数の点で困難であるが、本実施例のように、変換係
数から動きベクトルを予測し、予測した動きベクトルと
検出した動きベクトルの誤差が所定の値より小さくなる
領域の数が最大となる領域を求め、この領域に属する検
出動きベクトルのみを用いることで代表的な動きに属す
る領域を容易に分類することができる。

第４図は本実施例における動き領域抽出回路（候補領域
係数回路８１及び、最大領域選択回路８２）の動作を説
明するための図である。第４図（ａ）は画面を１６の領
域に分割し、検出された１６＠の動きベクトルの概略を
示す図であり、画像の大部分は左から右に平行移動して
いる。領域９．１３．１４および１６はこれとは異なフ
た動きをしている。このような場合、例えば領域１．２
．５の動きベクトルより予測した各位置における誤差が
所定の値より小さくなる領域（ｖｃ補領領域する）を図
示すると、例えば第４図（ｂ）のようになる。このとき
候補領域数は１３となり、領域ｌ、２．５の動きは画像
の大部分の動きを代表していることがわかる。一方領域
９．１３．１４の動きベクトルより予測した場合の候補
領域は第４図（Ｃ）のようになり、候補領域の数は３と
なり、領域９．１３．１４の動きは全体の動きとは孤立
した動きであることがわかる。そこで、画像全体の代表
的な動きは、孤立した領域９．１３．１４の動きベクト
ルを排除してその他の領域の動きベクトルを用いること
により、より精度よく求めることができる。

以下本実施例の全体的動作を第５図を参照しながら説明
する。

（ステブブＳｌ）動きベクトル検出回路２によって、ま
ず各領域の動きベクトルｎ個を求める。

（ステップ”Ｓ２）最大候補領域数をＯとする。

（ステップＳ３）動きベクトル選択回路３によって、動
きベクトルｎ個のうち、３個の組合せを選ぶ。

（ステップ５４）ｖｃ補領領域数０とする。

（ステブブＳ５）変換係数算出回路４によって、変換係
数ａ　−ｆを求める。

（ステラ７”Ｓ６）係数評価臼ｖｆｉ４１によって、変
換係数の有効性を画像の動きが平行移動、回転、拡大、
縮小かを評価して判断する。

（ステップ′″５７）係数選択回路４２によって、評価
すべき領域をひとつ選ぶ。

（スｉ）ブＳ８）動き量予測回路５によって、有効な動
きベクトルのみを用いて動きベクトルを予測する。゛ （ス１ツブＳ９）Ｍ差検出回路６によって、検出動きベ
クトルと予測した動きベクトルの誤差を検出する。

（ステフブ５１０）閾値回路７によって、誤差は所定の
閾値以下かを判定する。

（ステップ５ｌｌ）ｆＰＡ補領域計数回路８１により、
誤差が閾値以下の場合、候補領域数を１増加する。

（スｉツブ５１２）評価すべき領域はすべて終了かを判
断する。

（スンフブ５１３）評価すべき領域が残っていれば次の
領域を選び、　（ステヴブＳ７）へ戻る。

（スｉツ７”５１４）ｆＰ？ｃ補領域補数域最大候補領
域数より大きいかどうか判断する。

（ステフブＳ　１５）候補領域の数が最大候補領域数よ
り大であれば最大候補領域数を更新する。

（ステップ”３１６）すべての動きベクトルの組合せを
終了したかを判定する。

（ステップ５１７）組合せがまだ残っていれば組合せを
更新して（スｉヴブＳ４）へ戻る。

（ステップ”８１８）すべての組合せのうち、最大領域
選択回路８２により候補領域が最大となった領域の動き
ベクトルのみを選択し、これらの動きベクトルを用いて
動き量決定回路９によフて画像全体の動きを決定し、動
き量出力端子１０へ出力する。

このように、３つの動きベクトルを用いて両像の動きを
表す変換係数を算出し、この変換係数の係数値より、画
像の動きが平行移動、回転、縮小、拡大の組合せか否か
を判定することにより、画像全体の動きと異なる領域の
動きを排除して、精度よく画像全体の動きを検出するこ
とができる。また、予測した動きベクトルと検出した動
きベクトルの誤差が所定の値より小さくなる領域の数が
最大となる領域を求めるという方法により、予測した動
きと大きく異なる領域の動きの影響を排除して画像全体
の代表的な動き精度よくを検出することが容易に実現で
きる。

なお、本発明は上記実施例に限定されるものでなく、本
発明の趣旨に基づいて種々の変形が可能である。たとえ
ば、４以上の動き量から画像全体の動きを算出してもよ
い。

発明の詳細 な説明したように、本発明によれば次のような効果を奏
することができる。

（１）画像全体の動きを、検出した２つ以上の動き量か
ら変換係数として算出しているので、回転、拡大、縮小
などのように、画面の位置によって得られる動きベクト
ルの向きや大きさが異なる動きの場合でも、同一の動き
に対しては同一の変換係数が得られ、同一の動きに属す
る領域を識別することが可能になる。

（２）算出された変換係数をもとに、画像の他の位置に
おける動き量を予測し、予測した動き量と検出した動き
量の差が所定の閾値より小さい領域を抽出しているので
、類似した動きをもつ部分が同一の領域として得られ、
平行移動のほか回転、拡大、縮小を含む画像全体の動き
を、全体の動きと異なる一部の領域の動きに影響されず
に検出することができる。

【図面の簡単な説明】

第１図は本発明の第１の実施例における画像動き検出装
置のブロック図、第２図は本発明の第２の実施例におけ
る画像動き検出装置のブロック図、第３図は本発明の第
２の実施例における係数評価を説明するためのベクトル
構成図、第４図は本発明の第２の実施例における動き領
域抽出の動作を説明するためのベクトル構成図、第５図
は本発明の第２の実施例における動作のフローチャート
、第６図は従来の画像動き検出装置のブロック図である
。 ｌ・・・画像入力端子、２・・・動きベクトル検出回路
、３・・・動きベクトル選択回路、４・・・変換係数算
出回路、５・・・動き量予測回路、６・・・誤差検出回
路、７・・・閾値回路、８・・・動き領域抽出回路、９
・・・動き量決定回路、１０・・・動き量出力端子、４
１・・・係数評価回路、４２・・・係数選択回路、８１
・・・候補領域係数回路、８２・・・最大領域選択回路
。 代理人　弁理士　松　１）正　道 第３図 第４図

Claims (3)

【特許請求の範囲】
1. （１）画面上の複数の領域の動き量を検出する動きベク
   トル検出手段と、前記検出した動き量のうちの複数を用
   いて画像の動きを表す変換係数を算出する変換係数算出
   手段と、前記変換係数を用いて前記画面上の複数の領域
   における予測動き量を算出する動き量子測手段と、前記
   予測動き量と前記検出した複数の領域の動き量との誤差
   が所定の値以下となる領域を抽出する動き領域抽出手段
   と、前記抽出された領域の動き量を用いて画像全体の動
   きを決定する動き量決定手段とを備えたことを特徴とす
   る画像の動き検出装置。
2. （２）動き領域抽出手段は、前記算出した予測動き量の
   各々について、この予測動き量と画面上の複数の領域で
   検出した動き量との誤差が所定の閾値以下となる領域の
   数を求め、この領域の数の最大を与える領域の動き量を
   選択することを特徴とする請求項１記載の画像の動き検
   出装置。
3. （３）変換係数算出手段は、画面上の３つ以上の領域の
   動き量を用いて変換係数を算出し、前記動き量子測手段
   は、この変換係数の有効性を画像の動きが平行移動、回
   転、拡大、縮小のいずれかまたはこれらの組合せである
   ことを評価することにより判定するとともに、無効とさ
   れた変換係数を排除して残りの変換係数を用いて前記画
   面上の複数の領域における予測動き量を算出することを
   特徴とする請求項１記載の画像の動き検出装置。