JP4804238B2 - 動きベクトル検出装置 - Google Patents

Description

この発明は、動画像の画面の動きを検出する動きベクトル検出装置に関する。

従来より、所定の大きさのブロックに画像を分割し、各ブロックについて、前フレーム画像と現フレーム画像との相関を算出することにより動きベクトルを検出する種々の方法が提案されている。動きベクトル検出の主な方法として、輝度値の空間的勾配および時間的勾配から動きベクトルを求める勾配法や、現在の画像の一部の輝度値と所定時間前の画像の一部の輝度値とのフレーム間差分の絶対値から動きベクトルを求めるマッチング法などがある。

このうち、比較的小さなハードウェア規模で実現可能で、広く実用化されているのが、代表点マッチング法である。代表点マッチング法は、ＭＵＳＥエンコーダや画面ゆれ（手振れ）補正などに使用されている。また、評価対象を点ではなくブロックとしたブロックマッチング法もあり、ブロックマッチング法は画像の高能率符号化を目的とした動き補償等に使用されている。代表点マッチング法もブロックマッチング法も基本的な考え方は同様である。

しかし、従来の代表点マッチングによる動きベクトル検出法では、全体に暗い画像や濃度勾配の小さい平坦な画面ではノイズによって誤動作しやすいという問題がある。そのため、各代表点位置付近の輝度値の濃度勾配を求めて、濃度勾配値に応じて重みづけを行い、累積加算するものが提案されている（例えば下記特許文献１）。

特許第２８６０７０２号公報

しかしながら、上述した特許文献１の場合も、基本的には代表点の位置が固定で、その代表点付近の輝度値の濃度勾配情報が、動きベクトルを算出するのに信頼性を有しているか否かを判定するものである。よって、例えばすべての代表点について輝度値の濃度勾配情報の信頼性が低いとなれば、正確な動きベクトルは検出できない。すなわち、特許文献１の技術では、誤動作を減らすことに主眼が置かれており、積極的に正しい検出を可能にするものではない。

また、代表点マッチング法にとり動きベクトル検出が困難な画像として、いわゆる繰返しパターンが存在する。一般的に距離が離れるほど画素の濃度値の差は大きくなる、との画像の相関性質を代表点マッチング法が利用しているためであり、例えば繰返しパターンで全ての代表点位置から所定量シフトした画素の濃度データが代表点の濃度データと同じであったとすると、動いているのか静止しているのかの判定が困難であるという問題がある。

この発明は、上述の問題に鑑みてなされたもので、動きベクトルの検出が困難な、濃度勾配の小さい平坦な画像だけでなく、誤動作しやすい繰返しパターンにおいても、誤動作を減らし、正しい動きベクトルを検出することが可能な動きベクトル検出装置を実現することを目的とする。

請求項１に記載の発明は、時間的に連続する複数のフレームで構成される動画像の映像信号から、動きベクトルを代表点マッチング法により検出する動きベクトル検出装置であって、前記複数のフレームの各々の画面を所定の大きさのブロックに分割し、各前記ブロック内の各画素において、輝度の勾配値たる濃度勾配値を演算する濃度勾配演算部と、各前記ブロック内において各前記画素のうち前記濃度勾配値が所定の条件を満たす一画素を、各前記ブロック内における代表点と決定する代表点位置判定部と、動きベクトル検出部と、勾配方向修正部とを備え、前記動きベクトル検出部は、前記代表点位置判定部により決定された前記代表点に基づいて、代表点マッチング法により前記複数のフレーム間の動きベクトルを検出し、前記濃度勾配演算部は、前記濃度勾配値を、前記ブロック内の各前記画素において、複数の方向のうちの一方向たる第１方向の勾配に関して演算し、前記代表点位置判定部は、前記第１方向の前記濃度勾配値に基づいて前記ブロック内における前記代表点を決定し、前記勾配方向修正部は、前記代表点と、その代表点を含む前記ブロック内における各画素との輝度値の相関に基づいて、前記代表点の位置から、前記相関が前記代表点に次いで高い画素へと向かう方向を、前記ブロック毎に第２方向として検出し、前記第２方向の検出後は、前記濃度勾配演算部は、前記濃度勾配値を、次の前記ブロック内の各前記画素において、前記第２方向の勾配に関して演算し、前記第２方向の検出後は、前記代表点位置判定部は、前記第２方向の前記濃度勾配値に基づいて次の前記ブロック内における前記代表点を決定する動きベクトル検出装置である。

請求項３に記載の発明は、時間的に連続する複数のフレームで構成される動画像の映像信号から、動きベクトルを代表点マッチング法により検出する動きベクトル検出装置であって、前記複数のフレームの各々の画面を所定の大きさのブロックに分割し、各前記ブロック内の各画素における輝度値と、各画素から所定位置だけずらした画素における輝度値との差分絶対値たる、第１差分絶対値を演算する第１差分絶対値演算部と、各前記ブロック内において各前記画素のうち前記第１差分絶対値が最大となる一画素を、各前記ブロック内における代表点と決定する代表点位置判定部と、動きベクトル検出部と、画素シフト量決定部とを備え、前記動きベクトル検出部は、前記代表点位置判定部により決定された前記代表点に基づいて、代表点マッチング法により前記複数のフレーム間の動きベクトルを検出し、前記画素シフト量決定部は、前記ブロック毎に、前記代表点と、その代表点を含む前記ブロック内における各画素との輝度値の相関に基づいて、前記相関が前記代表点に次いで高い画素の前記代表点からの変位を画素シフト量として検出し、前記画素シフト量を前記所定位置として更新し、前記所定位置の更新後は、前記第１差分絶対値演算部は、更新後の前記所定位置だけずらした画素における輝度値に基づいて前記第１差分演算値を、次の前記ブロック内の各前記画素において演算し、前記所定位置の更新後は、前記代表点位置判定部は、更新後の前記所定位置だけずらした画素における輝度値に基づいて演算された前記第１差分演算値に基づいて、次の前記ブロック内における前記代表点を決定する動きベクトル検出装置である。

請求項１に記載の発明によれば、ブロック内の各画素において濃度勾配値を演算する濃度勾配演算部と、濃度勾配値が所定の条件を満たす一画素を各ブロック内における代表点と決定する代表点位置判定部と、動きベクトル検出部と、勾配方向修正部とを備え、動きベクトル検出部は、代表点位置判定部により決定された代表点に基づいて、代表点マッチング法により複数のフレーム間の動きベクトルを検出する。よって、代表点の位置を各フレームの各ブロックごとに異ならしめることができ、動きベクトルの検出が困難な、濃度勾配の小さい平坦な画像や、誤動作しやすい繰返しパターンにおいても、誤動作を減らし、正しい動きベクトルを検出することが可能な動きベクトル検出装置を実現することができる。
また濃度勾配演算部は、濃度勾配値を、ブロック内の各画素において、複数の方向のうちの一方向たる第１方向の勾配に関して演算する。代表点位置判定部は、第１方向の濃度勾配値に基づいてブロック内における代表点を決定する。勾配方向修正部は、代表点と、その代表点を含むブロック内における各画素との輝度値の相関に基づいて、代表点の位置から、相関が代表点に次いで高い画素へと向かう方向を、ブロック毎に第２方向として検出する。第２方向の検出後は、濃度勾配演算部は、濃度勾配値を、次のブロック内の各画素において、第２方向の勾配に関して演算する。第２方向の検出後は、代表点位置判定部は、第２方向の濃度勾配値に基づいて次のブロック内における代表点を決定する。画像に線状の成分が含まれる場合、第１方向の濃度勾配値にのみ基づいて代表点を決定した場合には、代表点を誤検出する可能性があるが、勾配方向修正部が第２方向を検出し、第２方向に基づいて代表点を決定することにより、より適切な代表点を決定することが可能となる。よって、正しい動きベクトルをより高い信頼性で検出することが可能な動きベクトル検出装置が得られる。

請求項３に記載の発明によれば、ブロック内の各画素における輝度値と、各画素から所定位置だけずらした画素における輝度値との第１差分絶対値を演算する第１差分絶対値演算部と、ブロック内において各画素のうち第１差分絶対値が最大となる一画素を、各ブロック内における代表点と決定する代表点位置判定部と、動きベクトル検出部と、画素シフト量決定部とを備え、動きベクトル検出部は、代表点位置判定部により決定された代表点に基づいて、代表点マッチング法により複数のフレーム間の動きベクトルを検出する。よって、代表点の位置を各フレームの各ブロックごとに異ならしめることができ、動きベクトルの検出が困難な、濃度勾配の小さい平坦な画像や、誤動作しやすい繰返しパターンにおいても、誤動作を減らし、正しい動きベクトルを検出することが可能な動きベクトル検出装置を実現することができる。また、画素シフト量決定部は、ブロック毎に、一度決定された代表点と、その代表点を含むブロック内における各画素との輝度値の相関に基づいて、相関が代表点に次いで高い画素の代表点からの変位を画素シフト量として検出し、画素シフト量を所定位置として更新し、所定位置の更新後は、第１差分絶対値演算部は、更新後の所定位置だけずらした画素における輝度値に基づいて第１差分演算値を、次のブロック内の各画素において演算し、所定位置の更新後は、代表点位置判定部は、更新後の所定位置だけずらした画素における輝度値に基づいて演算された第１差分演算値に基づいて、次のブロック内における代表点を決定する。画像に線状の成分が含まれる場合等には、代表点を誤検出する可能性があるが、画素シフト量決定部が画素シフト量を所定位置として更新し、第１差分絶対値が最大となる一画素を代表点として決定することにより、より適切な代表点を決定することが可能となる。よって、正しい動きベクトルをより高い信頼性にて検出することが可能な動きベクトル検出装置が得られる。

＜実施の形態１＞
本実施の形態は、時間的に連続する複数のフレームで構成される動画像の映像信号から、動きベクトルを代表点マッチング法により検出する動きベクトル検出装置であって、ブロック内の各画素において濃度勾配値を演算する濃度勾配演算部と、濃度勾配値が所定の条件を満たす一画素を各ブロック内における代表点と決定する代表点位置判定部と、動きベクトル検出部とを備え、動きベクトル検出部が、代表点位置判定部により決定された代表点に基づいて、代表点マッチング法により複数のフレーム間の動きベクトルを検出する動きベクトル検出装置である。

まず、図１及び図２を用いて代表点マッチング法の原理を説明する。代表点マッチング法においては、複数のフレームの各々の画面を所定の大きさのブロックに分割し、そのブロック毎に動きベクトルを検出する場合が一般的である。しかし、ここでは簡単のためにブロック毎の動きベクトルではなく、画面全体で１つの動きベクトルを検出する場合について説明する。

図１に示すように、時間的に連続する複数のフレームＦ（ｔ），Ｆ（ｔ−１）の画面（ｔは時間）を、ａ×ｂの画素数で構成されるＫ×Ｌ個のブロックに分割する。各ブロックにはそれぞれ、一つの代表点Ｒが設定される。前フレームＦ（ｔ−１）の第（ｋ，ｌ）ブロック（ｋおよびｌは各フレーム内での水平および垂直ブロック番号）の代表点における輝度値と、同ブロック内の代表点の位置から（ｉ，ｊ）だけ変位（ｉおよびｊは同ブロック内での水平および垂直画素数）した現フレームＦ（ｔ）内の第（ｋ，ｌ）ブロックの各画素における輝度値との相関値ｐ_(k,l)（ｉ，ｊ）を各変位ごとに求め、相関値ｐ_(k,l)（ｉ，ｊ）を全ブロックに亘って変位毎に累積加算すれば、画面全体についての相関値Ｐ（ｉ，ｊ）が得られる。なお、このときの相関値Ｐ（ｉ，ｊ）は、１ブロック分の大きさの平面上における相関分布として表現される。

一般的に、画像の相関値Ｐ（ｉ，ｊ）は、図２に示すように逆円錐形状（すり鉢状）となる。相関値Ｐ（ｉ，ｊ）の最小点が１ブロック分の平面上に投影された位置までの、ブロック内の代表点ＲからのベクトルＭＶが、フレームＦ（ｔ），Ｆ（ｔ−１）間の動きベクトルとなる。フレームＦ（ｔ），Ｆ（ｔ−１）間で画像が静止している場合には、その最小点はフレームＦ（ｔ−１）の代表点位置に相当する原点（０，０）となる。一方、フレームＦ（ｔ），Ｆ（ｔ−１）間で画像が動く場合には、このすり鉢状の相関分布の形状が平行移動するので、このＰ（ｉ，ｊ）が最小となる（ｉ，ｊ）が動きベクトルと検出できる。

次に、本実施の形態に係る動きベクトル検出装置の構成を説明する。図３は、本実施の形態に係る動きベクトル検出装置を示すブロック図である。この動きベクトル検出装置は、例えば携帯電話に附属のカメラの手振れ補正用として、携帯電話に搭載される。そして、動きベクトル検出装置には、携帯電話に附属のカメラ等からアナログ映像信号１０が供給される。

当該動きベクトル検出装置は、アナログ映像信号１０を、時間的に連続する複数のフレームで構成される動画像のデジタル映像信号に変換するＡ／Ｄ変換器１１を有する。また、当該動きベクトル検出装置は、濃度勾配演算部１２と、代表点位置判定部１３と、動きベクトル検出部とを備える。

濃度勾配演算部１２は、デジタル映像信号の複数のフレームの各々の画面を所定の大きさのブロック（図１のＫ×Ｌ個のブロック）に分割し、各ブロック内の各画素（図１のａ×ｂ個の画素）において、輝度の勾配値たる濃度勾配値を演算する。また、代表点位置判定部１３は、各ブロック内において各画素のうち濃度勾配値が所定の条件を満たす一画素を、各ブロック内における代表点（ａ₀，ｂ₀）と決定する。ここで、所定の条件とは、各ブロック内において濃度勾配値が最大であることを指す。

また、動きベクトル検出部は、代表点位置判定部１３により決定された代表点（ａ₀，ｂ₀）に基づいて、代表点マッチング法により複数のフレーム間の動きベクトルを検出する機能部であり、具体的には、代表点メモリ１４と、差分絶対値演算部１５と、相関値メモリ１６と、相関値比較部１７とで構成される。

次に、本実施の形態に係る動きベクトル検出装置の動作を説明する。まず、アナログ映像信号１０はＡ／Ｄ変換器１１によりデジタル映像信号に変換された後、濃度勾配演算部１２と差分絶対値演算部１５とに入力される。濃度勾配演算部１２は、勾配値演算用の既知の各種オペレータを用いて、演算対象画素とその周囲の画素データとから濃度勾配値を演算する。このオペレータには、一次微分演算に相当する図４に示す水平方向ソーベルオペレータ（Sobel Operator）や図５に示す垂直方向ソーベルオペレータ、あるいは、二次微分演算に相当する図６に示すラプラシアンオペレータを用いればよい。その他にも、次式の数１で表現されるMoravecオペレータ等、コンピュータビジョン研究で特徴点抽出に用いられている各種オペレータを利用してもよい。

濃度勾配演算部１２で演算された濃度勾配情報は、代表点位置判定部１３に入力される。代表点位置判定部１３は、各ブロックごとに、ブロック内で濃度勾配値が最大となる一画素を代表点と決定する。なお、従来の技術においては、代表点位置判定部１３により代表点（ａ₀，ｂ₀）を決定するとの本発明に係る処理は行ってはおらず、代表点は例えば各ブロックの中央点（ａ／２，ｂ／２）として一律に固定していた。

各ブロックにおける代表点の位置（ａ₀，ｂ₀）とその輝度値の情報は、代表点メモリ１４にブロックごとに記憶される。すなわち、代表点メモリ１４では、現在のフレームＦ（ｔ）の代表点の値が書き込まれる。また、現在のフレームから一つ前のフレームＦ（ｔ−１）の代表点の値が、差分絶対値演算部１５により代表点メモリ１４から読み出される。

そして、差分絶対値演算部１５は、現在のフレームＦ（ｔ）の各ブロック内における各画素の輝度値（これをｄ^t _(k,l)（ａ₀＋ｉ，ｂ₀＋ｊ）と表す）と、一つ前のフレームＦ（ｔ−１）の各ブロックにおける代表点メモリ１４に記憶された代表点の輝度値（これをｄ^t-1 _(k,l)（ａ₀，ｂ₀）と表す）との差分絶対値（これをｐ_(k,l)（ｉ，ｊ）と表す）を演算する。

すなわち、差分絶対値演算部１５では、前フレームＦ（ｔ−１）の代表点と代表点から（ｉ，ｊ）だけ離れた現フレームの画素との相関を示す差分絶対値が算出される。画面をａ×ｂの大きさのＫ×Ｌ個のブロックに分割して、各ブロックの中から濃度勾配の大きい画素（ａ₀，ｂ₀）を代表点とし、前フレームＦ（ｔ−１）の第（ｋ，ｌ）ブロックの代表点と現フレームＦ（ｔ）の同ブロック内の各画素との相関値として、差分絶対値ｐ_(k,l)（ｉ，ｊ）が以下の数２のように算出される。

差分絶対値演算部１５で算出された各ブロックの相関情報は、相関値メモリ１６に入力される。相関値メモリ１６は、Ｋ×Ｌ個のブロックのすべてに亘って、代表点メモリ１４に記憶された前フレームＦ（ｔ−１）の代表点の位置からの各画素の変位ごとに、差分絶対値ｐ_(k,l)（ｉ，ｊ）を累積して加算し、加算結果を変位ごとの相関値（これをＰ（ｉ，ｊ）と表す）として記憶する。すなわち、相関値メモリ１６では、（ｉ，ｊ）の変位ごとに全ブロックに渡って差分絶対値ｐ_(k,l)（ｉ，ｊ）の値が累積加算され、最終的に、１ブロック分の大きさの平面上における相関分布として、画面全体の相関を示す相関値Ｐ（ｉ，ｊ）の情報が得られる。この画面全体の相関値Ｐ（ｉ，ｊ）を式で表現すると、

となる。

相関値比較部１７は、相関値メモリ１６に記憶されたａ×ｂの２次元空間を持つ相関値Ｐ（ｉ，ｊ）の中から相関値が最小（すなわち相関が最大）となる変位（ｉ，ｊ）を動きベクトルとして検出する。

次に、従来技術のように代表点の位置を固定する場合と、濃度勾配値の情報に従って代表点の位置を変更する本実施の形態の場合との違いについて説明する。簡単のために、あるブロックが、図７に示すように１次元データとして静止しているとする。代表点の位置が中央の（Ｏ）の位置と決定された場合には、このブロックの代表点に基づいて得られる差分絶対値の出力は、図８のようになる。この図８では、代表点（Ｏ）の位置以外に、範囲Ｏ１に亘って差分絶対値「０」となる領域が広く存在する。

一方、図７のうち濃度勾配の最大値をとる位置（Ｐ）を代表点とすると、このブロックの代表点に基づいて得られる差分絶対値の出力は、図９のようになる。この図９では、代表点（Ｐ）の位置Ｐ１以外では差分絶対値「０」となる領域がなく、差分絶対値「０」となる領域が図８に比べてはるかに少なくなる。

最終的には、他のブロックのデータも累積加算して相関値の最小位置を検出するため、この１ブロックの影響は弱まるものの、最終的な動きベクトル検出に対しては、図８の場合よりも本発明に係る図９の場合の方が、明らかに信頼性の高いデータになる。すなわち、代表点マッチングが容易となる。

すなわち、本実施の形態に係る動きベクトル検出装置によれば、ブロック内の各画素において濃度勾配値を演算する濃度勾配演算部１２と、濃度勾配値が所定の条件を満たす一画素を各ブロック内における代表点と決定する代表点位置判定部１３と、動きベクトル検出部とを備え、動きベクトル検出部は、代表点位置判定部１３により決定された代表点に基づいて、代表点マッチング法により複数のフレーム間の動きベクトルを検出する。よって、代表点の位置を各フレームの各ブロックごとに異ならしめることができ、動きベクトルの検出が困難な、濃度勾配の小さい平坦な画像や、誤動作しやすい繰返しパターンにおいても、誤動作を減らし、正しい動きベクトルを検出することが可能な動きベクトル検出装置を実現することができる。

また、本実施の形態に係る動きベクトル検出装置によれば、所定の条件とは、各ブロック内において濃度勾配値が最大であることを指す。濃度勾配値の最大となる画素を代表点と決定すると、上述のように代表点マッチングが容易となる。よって、動きベクトルを精度よく検出することが可能となる。

また、本実施の形態に係る動きベクトル検出装置によれば、動きベクトル検出部は、代表点メモリ１４と、差分絶対値演算部１５と、相関値メモリ１６と、相関値比較部１７とを含む。よって、簡単な装置構成で動きベクトル検出部を構成することができる。

＜実施の形態２＞
本実施の形態は、実施の形態１に係る動きベクトル検出装置の変形例であって、一度決定された代表点の輝度値に対して相関を有する輝度値の画素が並ぶ方向を検出する勾配方向修正部をさらに備え、方向検出後は、濃度勾配演算部に、濃度勾配値を各ブロック内の各画素において、検出方向の勾配に関して演算させ、代表点位置判定部に、検出方向の濃度勾配値に基づいて各ブロック内における代表点を決定させるようにしたものである。

図１０は、本実施の形態に係る動きベクトル検出装置を示す図である。本実施の形態に係る動きベクトル検出装置は、実施の形態１におけるＡ／Ｄ変換器１１、濃度勾配演算部１２、代表点位置判定部１３、代表点メモリ１４、差分絶対値演算部１５、相関値メモリ１６及び相関値比較部１７と、それぞれ同様の機能を有するＡ／Ｄ変換器４１、濃度勾配演算部４２、代表点位置判定部４３、代表点メモリ４４、差分絶対値演算部４５、相関値メモリ４６及び相関値比較部４７を備える。

本実施の形態に係る動きベクトル検出装置はさらに、一度決定された代表点の輝度値に対して相関を有する輝度値の画素が並ぶ方向を検出する勾配方向修正部を備える。この勾配方向修正部は、具体的には差分絶対値演算部４８と、相関値メモリ４９と、相関値比較部５０と、勾配方向決定部５１とを含む。

次に、本実施の形態に係る動きベクトル検出装置の動作を説明する。まず、携帯電話に附属のカメラ等から供給されたアナログ映像信号４０はＡ／Ｄ変換器４１によりデジタル映像信号に変換された後、濃度勾配演算部４２と差分絶対値演算部４５，４８とに入力される。

濃度勾配演算部４２は、実施の形態１の場合と異なり、濃度勾配値を、各ブロック内の各画素において、複数の方向のうちの一方向たる第１方向の勾配に関して演算する。より具体的には、例えば図１１〜図１８に示すような８方向の微分に相当するオペレータの中からひとつを選択して勾配情報を演算する。なお、図１１は左上方向微分の、図１２は上方向微分の、図１３は右上方向微分の、図１４は右方向微分の、図１５は右下方向微分の、図１６は下方向微分の、図１７は左下方向微分の、図１８は左方向微分の、各オペレータを示している。ここでは３×３のオペレータとしたが、５×５等のオペレータを用いてもよい。

なお、８方向のオペレータのうちいずれを用いるかは、後述のように勾配方向決定部５１からの情報に基づいて選択されるが、最初のオペレータの選択については、例えば右上方向微分のオペレータを用いると設定されておればよい。

濃度勾配演算部４２で演算された濃度勾配情報は、代表点位置判定部４３に入力される。代表点位置判定部４３は、各ブロックごとに、ブロック内で、８方向のうちの一方向たる第１方向の濃度勾配値が最大となる一画素を代表点と決定する。

各ブロックにおける代表点の位置（ａ₁，ｂ₁）とその輝度値の情報は、代表点メモリ４４にブロックごとに記憶される。すなわち、代表点メモリ４４では、現在のフレームＦ（ｔ）の代表点の値が書き込まれる。また、現在のフレームから一つ前のフレームＦ（ｔ−１）の代表点の値が、差分絶対値演算部４５により代表点メモリ４４から読み出される。

そして、差分絶対値演算部４５は、現在のフレームＦ（ｔ）の各ブロック内における各画素の輝度値（これをｄ^t _(k,l)（ａ₁＋ｉ，ｂ₁＋ｊ）と表す）と、一つ前のフレームＦ（ｔ−１）の各ブロックにおける代表点メモリ４４に記憶された代表点の輝度値（これをｄ^t-1 _(k,l)（ａ₁，ｂ₁）と表す）との差分絶対値（これをｐ_(k,l)（ｉ，ｊ）と表す）を演算する。

すなわち、差分絶対値演算部４５では、前フレームＦ（ｔ−１）の代表点と代表点から（ｉ，ｊ）だけ離れた現フレームの画素との相関を示す差分絶対値が算出される。画面をａ×ｂの大きさのＫ×Ｌ個のブロックに分割して、各ブロックの中から濃度勾配の大きい画素（ａ₁，ｂ₁）を代表点とし、前フレームＦ（ｔ−１）の第（ｋ，ｌ）ブロックの代表点と現フレームＦ（ｔ）の同ブロック内の各画素との相関値として、差分絶対値ｐ_(k,l)（ｉ，ｊ）が以下の数４のように算出される。

差分絶対値演算部４５で算出された各ブロックの相関情報は、相関値メモリ４６に入力される。相関値メモリ４６は、Ｋ×Ｌ個のブロックのすべてに亘って、代表点メモリ４４に記憶された前フレームＦ（ｔ−１）の代表点の位置からの各画素の変位ごとに、差分絶対値ｐ_(k,l)（ｉ，ｊ）を累積して加算し、加算結果を変位ごとの相関値（これをＰ（ｉ，ｊ）と表す）として記憶する。すなわち、相関値メモリ４６では、（ｉ，ｊ）の変位ごとに全ブロックに渡って差分絶対値ｐ_(k,l)（ｉ，ｊ）の値が累積加算され、最終的に、１ブロック分の大きさの平面上における相関分布として、画面全体の相関を示す相関値Ｐ（ｉ，ｊ）の情報が得られる。この画面全体の相関値Ｐ（ｉ，ｊ）を式で表現すると、

となる。

相関値比較部４７は、相関値メモリ４６に記憶されたａ×ｂの２次元空間を持つ相関値Ｐ（ｉ，ｊ）の中から相関値が最小（すなわち相関が最大）となる変位（ｉ，ｊ）を動きベクトルとして検出する。

次に、実施の形態１では現れなかった勾配方向修正部、すなわち差分絶対値演算部４８、相関値メモリ４９、相関値比較部５０、勾配方向決定部５１の動作について説明する。代表点位置判定部４３により画面内のある途中のブロックまたは最後のブロックの代表点が決定されると、次のフレームＦ（ｔ＋１）の相関演算のために代表点メモリ４４に書き込まれるとともに、差分絶対値演算部４８にも入力される。

そして、差分絶対値演算部４８は、現在のフレームＦ（ｔ）の各ブロック内における各画素の輝度値（これをｄ^t _(k,l)（ａ₁＋ｉ，ｂ₁＋ｊ）と表す）と、現在のフレームＦ（ｔ）の各ブロックにおける代表点位置判定部４３により決定された代表点の輝度値（これをｄ^t _(k,l)（ａ₁，ｂ₁）と表す）との差分絶対値（これをｑ_(k,l)（ｉ，ｊ）と表す）を演算する。

すなわち、差分絶対値演算部４８では、前フレームＦ（ｔ−１）の代表点ではなく、現フレームＦ（ｔ）の代表点と、現フレームの代表点から（ｉ，ｊ）だけ離れた画素との相関を示す差分絶対値が算出される。画面をａ×ｂの大きさのＫ×Ｌ個のブロックに分割して、各ブロックの中から濃度勾配の大きい画素（ａ₁，ｂ₁）を代表点とし、現フレームＦ（ｔ）の第（ｋ，ｌ）ブロックの代表点と現フレームＦ（ｔ）の同ブロック内の各画素との相関値として、差分絶対値ｑ_(k,l)（ｉ，ｊ）が以下の数６のように算出される。

差分絶対値演算部４８で算出された各ブロックの相関情報は、相関値メモリ４９に入力される。相関値メモリ４９は、Ｋ×Ｌ個のブロックのすべてまたは一部に亘って、代表点位置判定部４３により決定された現フレームＦ（ｔ）の代表点の位置からの各画素の変位ごとに、差分絶対値ｑ_(k,l)（ｉ，ｊ）を累積して加算し、加算結果を変位ごとの相関値（これをＱ（ｉ，ｊ）と表す）として記憶する。

この相関値メモリ４９に記憶された相関値Ｑ（ｉ，ｊ）の情報は、濃度勾配演算部４２における、隣接する次のブロックでの濃度勾配演算時に用いられる８方向オペレータの選択に利用される。この画面途中までの、または画面全部の画面内相関値Ｑ（ｉ，ｊ）を式で表現すると、

となる。

相関値比較部５０は、相関値メモリ４９に記憶されたａ×ｂの２次元空間を持つ相関値Ｑ（ｉ，ｊ）の中から相関値が代表点の相関値（「０」）に次いで最小（すなわち相関が代表点に次いで最大）となる変位（ｉ，ｊ）を、画面途中までの、あるいは全画面の、画面内の相関の高い位置として検出する。

そして、勾配方向決定部５１は、代表点の位置から相関値が代表点の相関値に次いで最小となる変位へと向かう方向を、ブロック毎に、代表点の輝度値に対して相関を有する輝度値の画素が並ぶ方向たる第２方向と決定する。

この第２方向の検出後は、濃度勾配演算部４２は、濃度勾配値を、次のブロック内の各画素において、第２方向の勾配に関して演算する。なお、この第２方向の勾配演算の場合も、図１１〜図１８に示す８方向の微分に相当するオペレータのうちのひとつが選択して用いられる。そして、第２方向の検出後は、代表点位置判定部４３は、第２方向の濃度勾配値に基づいて次のブロック内における代表点を決定する。

次に、実施の形態１のように単純に濃度勾配情報に従って代表点の位置を変更する場合と、本実施の形態のように画面内の相関の高い第２方向を検出して、その第２方向の濃度勾配に従って代表点の位置を変更する場合との違いについて説明する。

一般的に、映像の被写体となる壁、柱、机等の濃度変化は線状となって現れる。例えば図１９に示すように、線上に（奥行き方向に連続して）大きな濃度勾配がある場合、方向を考慮せずに濃度勾配の強度だけに着目すると、線上の（Ｐ）の位置ばかりを検出してしまう。その結果、差分絶対値ｐ_(k,l)（ｉ，ｊ）を累積加算した相関値Ｐ（ｉ，ｊ）は、図２０に示すように、線状に低い値になる。図１９では（Ｑ）の位置に輝度のピークがあるため、図２０においては位置Ｐ２が代表点として望ましいが、図２０における相関値Ｐ（ｉ，ｊ）では、いずこも線状に低い値となっているので、必ずしも位置Ｐ２が代表点として選択されるとは限らない。そのため、代表点を誤検出する可能性がある。

一方、本実施の形態のように、図１９のうちの線状に濃度勾配が連続する方向（すなわち図１９における奥行き方向であって、この方向が、一度決定された代表点の輝度値に対して相関を有する輝度値の画素が並ぶ方向たる第２方向に相当する）を勾配方向修正部が検出し、その方向の勾配に着目すると、（Ｐ）ではなく（Ｑ）の位置を認識することが可能となる。その結果、差分絶対値ｐ_(k,l)（ｉ，ｊ）を累積加算した相関値Ｐ（ｉ，ｊ）は、図２１に示すように、線状の低い値をＰ２ａに示すように引き下げる効果が生じ、動きベクトル検出の精度が向上する。

すなわち、本実施の形態に係る動きベクトル検出装置によれば、勾配方向修正部をさらに備え、勾配方向修正部は、一度決定された代表点の輝度値に対して相関を有する輝度値の画素が並ぶ方向を、第２方向として検出し、第２方向の検出後は、濃度勾配演算部４２は、濃度勾配値を、次のブロック内の各画素において、第２方向の勾配に関して演算し、第２方向の検出後は、代表点位置判定部４３は、第２方向の濃度勾配値に基づいて次のブロック内における代表点を決定する。画像に線状の成分が含まれる場合、第１方向の濃度勾配値にのみ基づいて代表点を決定した場合には、代表点を誤検出する可能性があるが、勾配方向修正部が第２方向を検出し、第２方向に基づいて代表点を決定することにより、より適切な代表点を決定することが可能となる。よって、正しい動きベクトルをより高い信頼性にて検出することが可能な動きベクトル検出装置が得られる。

また、本実施の形態に係る動きベクトル検出装置によれば、勾配方向修正部は、差分絶対値演算部４８と、相関値メモリ４９と、相関値比較部５０と、勾配方向決定部５１とを含む。よって、簡単な装置構成で勾配方向修正部を構成することができる。

＜実施の形態３＞
本実施の形態は、実施の形態２に係る動きベクトル検出装置の変形例であって、濃度勾配演算部４２に代わって差分絶対値演算部を採用し、勾配方向修正部に代わって画素シフト量決定部を採用したものである。

実施の形態２では代表点の輝度値と相関の高い位置を検出して、その方向の勾配情報を評価データとしてフィードバックし、次の代表点を選定する構成としていた。一方、本実施の形態では、代表点の輝度値と相関の高い輝度を有する画素の位置を検出してその位置までの代表点からの差分を直接のシフト量とし、濃度勾配演算部４２に代わって採用された差分絶対値演算部にて、演算対象画素の輝度値と、シフト量だけずらした画素における輝度値との差分絶対値が最大となる輝度を有する画素を代表点と決定する。

図２２は、本実施の形態に係る動きベクトル検出装置を示す図である。本実施の形態に係る動きベクトル検出装置は、実施の形態２におけるＡ／Ｄ変換器４１、代表点メモリ４４、差分絶対値演算部４５，４８、相関値メモリ４６，４９、相関値比較部４７，５０と、それぞれ同様の機能を有するＡ／Ｄ変換器７１、代表点メモリ７４、差分絶対値演算部７５，７８、相関値メモリ７６，７９及び相関値比較部７７，８０を備える。

本実施の形態に係る動きベクトル検出装置はさらに、差分絶対値演算部７２と、代表点位置判定部７３と、画素シフト部８１とを含む。なお、代表点メモリ７４、差分絶対値演算部７５、相関値メモリ７６及び相関値比較部７７は、代表点位置判定部７３により決定された代表点に基づいて、代表点マッチング法により複数のフレーム間の動きベクトルを検出する機能部たる動きベクトル検出部を構成する。そして、差分絶対値演算部７８、相関値メモリ７９、相関値比較部８０及び画素シフト部８１は、ブロック毎に代表点の輝度値に対して相関を有する輝度値の画素の位置と、代表点の位置との差を画素シフト量として検出し、画素シフト量を所定位置として更新する画素シフト量決定部を構成する。

次に、本実施の形態に係る動きベクトル検出装置の動作を説明する。まず、携帯電話に附属のカメラ等から供給されたアナログ映像信号７０はＡ／Ｄ変換器７１によりデジタル映像信号に変換された後、差分絶対値演算部７２と差分絶対値演算部７５，７８と画素シフト部８１とに入力される。

差分絶対値演算部７２は、デジタル映像信号の複数のフレームの各々の画面を所定の大きさのブロック（図１のＫ×Ｌ個のブロック）に分割し、各ブロック内の各画素（図１のａ×ｂ個の画素）における輝度値と、各画素から所定位置だけずらした画素における輝度値との差分絶対値を演算する。なお、所定位置の情報は、後述のように画素シフト部８１からの情報に基づいて更新されるが、最初の所定位置については、例えば（ａ／２，ｂ／２）と設定されておればよい。

代表点位置判定部７３は、各ブロック内において各画素のうち、差分絶対値演算部７２にて演算された差分絶対値が最大となる一画素を、各ブロック内における代表点（ａ₂，ｂ₂）と決定する。

すなわち、差分絶対値演算部７２は、代表点位置を決定するための評価関数として、現フレームＦ（ｔ）の対象画素と画素シフト部８１によって現フレームＦ（ｔ）の対象画素から所定位置（最初は例えば（ａ／２，ｂ／２））だけシフトした画素との差分絶対値を演算し、代表点位置判定部７３は、差分絶対値演算部７２で演算された評価データが最大となる位置を、各ブロック単位で代表点と決定する。

各ブロックにおける代表点の位置（ａ₂，ｂ₂）とその輝度値の情報は、代表点メモリ７４にブロックごとに記憶される。すなわち、代表点メモリ７４では、現在のフレームＦ（ｔ）の代表点の値が書き込まれる。また、現在のフレームから一つ前のフレームＦ（ｔ−１）の代表点の値が、差分絶対値演算部７５により代表点メモリ７４から読み出される。

そして、差分絶対値演算部７５は、現在のフレームＦ（ｔ）の各ブロック内における各画素の輝度値（これをｄ^t _(k,l)（ａ₂＋ｉ，ｂ₂＋ｊ）と表す）と、一つ前のフレームＦ（ｔ−１）の各ブロックにおける代表点メモリ７４に記憶された代表点の輝度値（これをｄ^t-1 _(k,l)（ａ₂，ｂ₂）と表す）との差分絶対値（これをｐ_(k,l)（ｉ，ｊ）と表す）を演算する。

すなわち、差分絶対値演算部７５では、前フレームＦ（ｔ−１）の代表点と代表点から（ｉ，ｊ）だけ離れた現フレームの画素との相関を示す差分絶対値が算出される。画面をａ×ｂの大きさのＫ×Ｌ個のブロックに分割して、各ブロックの中から差分絶対値演算部７２にて演算された差分絶対値が最大となる画素（ａ₂，ｂ₂）を代表点とし、前フレームＦ（ｔ−１）の第（ｋ，ｌ）ブロックの代表点と現フレームＦ（ｔ）の同ブロック内の各画素との相関値として、差分絶対値ｐ_(k,l)（ｉ，ｊ）が以下の数８のように算出される。

差分絶対値演算部７５で算出された各ブロックの相関情報は、相関値メモリ７６に入力される。相関値メモリ７６は、Ｋ×Ｌ個のブロックのすべてに亘って、代表点メモリ７４に記憶された前フレームＦ（ｔ−１）の代表点の位置からの各画素の変位ごとに、差分絶対値ｐ_(k,l)（ｉ，ｊ）を累積して加算し、加算結果を変位ごとの相関値（これをＰ（ｉ，ｊ）と表す）として記憶する。すなわち、相関値メモリ７６では、（ｉ，ｊ）の変位ごとに全ブロックに渡って差分絶対値ｐ_(k,l)（ｉ，ｊ）の値が累積加算され、最終的に、１ブロック分の大きさの平面上における相関分布として、画面全体の相関を示す相関値Ｐ（ｉ，ｊ）の情報が得られる。この画面全体の相関値Ｐ（ｉ，ｊ）を式で表現すると、

となる。

相関値比較部７７は、相関値メモリ７６に記憶されたａ×ｂの２次元空間を持つ相関値Ｐ（ｉ，ｊ）の中から相関値が最小（すなわち相関が最大）となる変位（ｉ，ｊ）を動きベクトルとして検出する。

次に、実施の形態２の勾配方向修正部に代わって設けられた画素シフト量決定部、すなわち差分絶対値演算部７８、相関値メモリ７９、相関値比較部８０及び画素シフト部８１の動作について説明する。代表点位置判定部７３により画面内のある途中のブロックまたは最後のブロックの代表点が決定されると、次のフレームＦ（ｔ＋１）の相関演算のために代表点メモリ７４に書き込まれるとともに、差分絶対値演算部７８にも入力される。

そして、差分絶対値演算部７８は、現在のフレームＦ（ｔ）の各ブロック内における各画素の輝度値（これをｄ^t _(k,l)（ａ₂＋ｉ，ｂ₂＋ｊ）と表す）と、現在のフレームＦ（ｔ）の各ブロックにおける代表点位置判定部７３により決定された代表点の輝度値（これをｄ^t _(k,l)（ａ₂，ｂ₂）と表す）との差分絶対値（これをｑ_(k,l)（ｉ，ｊ）と表す）を演算する。

すなわち、差分絶対値演算部７８では、前フレームＦ（ｔ−１）の代表点ではなく、現フレームＦ（ｔ）の代表点と、現フレームの代表点から（ｉ，ｊ）だけ離れた画素との相関を示す差分絶対値が算出される。画面をａ×ｂの大きさのＫ×Ｌ個のブロックに分割して、各ブロックの中から差分絶対値演算部７２にて演算された差分絶対値が最大となる画素（ａ₂，ｂ₂）を代表点とし、現フレームＦ（ｔ）の第（ｋ，ｌ）ブロックの代表点と現フレームＦ（ｔ）の同ブロック内の各画素との相関値として、差分絶対値ｑ_(k,l)（ｉ，ｊ）が以下の数１０のように算出される。

差分絶対値演算部７８で算出された各ブロックの相関情報は、相関値メモリ７９に入力される。相関値メモリ７９は、Ｋ×Ｌ個のブロックのすべてまたは一部に亘って、代表点位置判定部７３により決定された現フレームＦ（ｔ）の代表点の位置からの各画素の変位ごとに、差分絶対値ｑ_(k,l)（ｉ，ｊ）を累積して加算し、加算結果を変位ごとの相関値（これをＱ（ｉ，ｊ）と表す）として記憶する。

この相関値メモリ７９に記憶された相関値Ｑ（ｉ，ｊ）の情報は、差分絶対値演算部７２における、隣接する次のブロックでの差分絶対値演算に用いられる所定位置の決定に利用される。この画面途中までの、または画面全部の画面内相関値Ｑ（ｉ，ｊ）を式で表現すると、

となる。

相関値比較部８０は、相関値メモリ７９に記憶されたａ×ｂの２次元空間を持つ相関値Ｑ（ｉ，ｊ）の中から相関値が代表点の相関値（「０」）に次いで最小（すなわち相関が代表点に次いで最大）となる変位（ｉ，ｊ）を、画面途中までの、あるいは全画面の、画面内の相関の高い位置として検出する。

そして、画素シフト部８１は、ブロック毎に、代表点の位置からの相関値が代表点に次いで最小となる変位を、画素シフト量として検出し、画素シフト量を、差分絶対値演算部７２にて用いられる画素のずらし量たる所定位置として更新する。そして、更新後の所定位置の情報を差分絶対値演算部７２に入力する。

この所定位置の更新後は、差分絶対値演算部７２は、（ａ／２，ｂ／２）だけずらした画素ではなく、更新後の所定位置だけずらした画素における輝度値に基づいて差分演算値を、次のブロック内の各画素において演算する。そして、代表点位置判定部７３は、更新後の所定位置だけずらした画素における輝度値に基づいて演算された差分演算値に基づいて、次のブロック内における代表点を決定する。

実施の形態２では画面内の相関の高い位置を検出して、その方向の勾配情報を評価データとしてフィードバックして次の代表点を選定する構成としていたが、この実施の形態３では、画面内の相関の高い位置を検出してその位置そのものを直接のシフト量とした差分絶対値を評価データとしてフィードバックしている。そのため、相関値がより理想的となる代表点を選定することが可能になる。

次に、動きベクトルの検出が非常に困難な、単調かつ繰返しのパターンにおいて、代表点の位置を固定した従来の場合と、この実施の形態３の方法で行った場合のシミュレーション画像を図２３〜図２７に示す。

図２３は、入力画像であって、水平３２０画素、垂直２４０画素の８ビットの白黒画像である。この入力画像に対して、それぞれ水平４８画素、垂直３６画素単位に５×５の合計２５個のブロックを設定する。

図２４は、各ブロックの中央の白丸の位置（ａ／２，ｂ／２）に固定して代表点を設定する従来の場合を示す図である。図２５は、各ブロックにおける評価データを上書きして、その中で差分絶対値が最大となる白丸の位置を代表点と決定する本実施の形態の場合を示す図である。

相関値の検出範囲を水平６４画素、垂直４８画素として、図２４の固定代表点から得られた相関情報は図２６のようになり、図２５の代表点位置から得られた相関情報は図２７のようになった。図２６および図２７は、相関情報を８ビットの白黒画像として表現したものであり、理想的には中央点が最小（黒）で中央から離れるほど値が大きく（白く）なるようなすり鉢状であればよい。図２６の場合は中央以外にもかなり黒い位置が周期的に存在し、すり鉢状には程遠い形状になっているが、図２７ではかなり改善されていることが確認できる。

以上のように、本発明では、従来の固定位置による代表点では動きベクトルを検出するのが困難であった単調な繰返しパターンなどでも動きを検出することが出来る。

すなわち、本実施の形態に係る動きベクトル検出装置によれば、ブロック内の各画素における輝度値と、各画素から所定位置だけずらした画素における輝度値との差分絶対値を演算する差分絶対値演算部７２と、ブロック内において各画素のうち差分絶対値が最大となる一画素を、各ブロック内における代表点と決定する代表点位置判定部７３と、動きベクトル検出部と、画素シフト量決定部とを備え、動きベクトル検出部は、代表点位置判定部７３により決定された代表点に基づいて、代表点マッチング法により複数のフレーム間の動きベクトルを検出する。よって、代表点の位置を各フレームの各ブロックごとに異ならしめることができ、動きベクトルの検出が困難な、濃度勾配の小さい平坦な画像や、誤動作しやすい繰返しパターンにおいても、誤動作を減らし、正しい動きベクトルを検出することが可能な動きベクトル検出装置を実現することができる。また、画素シフト量決定部は、ブロック毎に、一度決定された代表点の輝度値に対して相関を有する輝度値の画素の位置と、代表点の位置との差を画素シフト量として検出し、画素シフト量を所定位置として更新し、所定位置の更新後は、差分絶対値演算部７２は、更新後の所定位置だけずらした画素における輝度値に基づいて差分演算値を、次のブロック内の各画素において演算し、所定位置の更新後は、代表点位置判定部７３は、更新後の所定位置だけずらした画素における輝度値に基づいて演算された差分演算値に基づいて、次のブロック内における代表点を決定する。画像に線状の成分が含まれる場合等には、代表点を誤検出する可能性があるが、画素シフト量決定部が画素シフト量を所定位置として更新し、差分絶対値が最大となる一画素を代表点として決定することにより、より適切な代表点を決定することが可能となる。よって、正しい動きベクトルをより高い信頼性にて検出することが可能な動きベクトル検出装置が得られる。

また、本実施の形態に係る動きベクトル検出装置によれば、動きベクトル検出部は、代表点メモリ７４と、差分絶対値演算部７５と、相関値メモリ７６と、相関値比較部７７とを含む。よって、簡単な装置構成で動きベクトル検出部を構成することができる。

また、本実施の形態に係る動きベクトル検出装置によれば、画素シフト量決定部は、差分絶対値演算部７８と、相関値メモリ７９と、相関値比較部８０と、画素シフト部８１とを含む。よって、簡単な装置構成で画素シフト量決定部を構成することができる。

本発明の活用例として、手振れ補正等の従来の用途以外にも、カメラからの映像信号を利用したモーションセンサなどにも適用でき、ゲームや文字入力などの入力インターフェース等にも使用可能になる。

代表点マッチング法の原理を説明する図である。 代表点マッチング法の原理を説明する図である。 実施の形態１に係る動きベクトル検出装置を示すブロック図である。 水平方向ソーベルオペレータを示す図である。 垂直方向ソーベルオペレータを示す図である。 ラプラシアンオペレータを示す図である。 実施の形態１に係る動きベクトル検出装置の効果を示す図である。 実施の形態１に係る動きベクトル検出装置の効果を示す図である。 実施の形態１に係る動きベクトル検出装置の効果を示す図である。 実施の形態２に係る動きベクトル検出装置を示すブロック図である。 左上方向微分のオペレータを示す図である。 上方向微分のオペレータを示す図である。 右上方向微分のオペレータを示す図である。 右方向微分のオペレータを示す図である。 右下方向微分のオペレータを示す図である。 下方向微分のオペレータを示す図である。 左下方向微分のオペレータを示す図である。 左方向微分のオペレータを示す図である。 実施の形態２に係る動きベクトル検出装置の効果を示す図である。 実施の形態２に係る動きベクトル検出装置の効果を示す図である。 実施の形態２に係る動きベクトル検出装置の効果を示す図である。 実施の形態３に係る動きベクトル検出装置を示すブロック図である。 実施の形態３に係る動きベクトル検出装置の効果を示す図である。 実施の形態３に係る動きベクトル検出装置の効果を示す図である。 実施の形態３に係る動きベクトル検出装置の効果を示す図である。 実施の形態３に係る動きベクトル検出装置の効果を示す図である。 実施の形態３に係る動きベクトル検出装置の効果を示す図である。

符号の説明

１２，４２ 濃度勾配演算部、１３，４３，７３ 代表点位置判定部、１４，４４，７４ 代表点メモリ、１５，４５，４８，７２，７５，７８ 差分絶対値演算部、１６，４６，４９，７６，７９ 相関値メモリ、１７，４７，５０，７７，８０ 相関値比較部、５１ 勾配方向決定部、８１ 画素シフト部。

Claims (5)

1. 時間的に連続する複数のフレームで構成される動画像の映像信号から、動きベクトルを代表点マッチング法により検出する動きベクトル検出装置であって、
   前記複数のフレームの各々の画面を所定の大きさのブロックに分割し、各前記ブロック内の各画素において、輝度の勾配値たる濃度勾配値を演算する濃度勾配演算部と、
   各前記ブロック内において各前記画素のうち前記濃度勾配値が所定の条件を満たす一画素を、各前記ブロック内における代表点と決定する代表点位置判定部と、
   動きベクトル検出部と、
   勾配方向修正部と
   を備え、
   前記動きベクトル検出部は、前記代表点位置判定部により決定された前記代表点に基づいて、代表点マッチング法により前記複数のフレーム間の動きベクトルを検出し、
   前記濃度勾配演算部は、前記濃度勾配値を、前記ブロック内の各前記画素において、複数の方向のうちの一方向たる第１方向の勾配に関して演算し、
   前記代表点位置判定部は、前記第１方向の前記濃度勾配値に基づいて前記ブロック内における前記代表点を決定し、
   前記勾配方向修正部は、前記代表点と、その代表点を含む前記ブロック内における各画素との輝度値の相関に基づいて、前記代表点の位置から、前記相関が前記代表点に次いで高い画素へと向かう方向を、前記ブロック毎に第２方向として検出し、
   前記第２方向の検出後は、前記濃度勾配演算部は、前記濃度勾配値を、次の前記ブロック内の各前記画素において、前記第２方向の勾配に関して演算し、
   前記第２方向の検出後は、前記代表点位置判定部は、前記第２方向の前記濃度勾配値に基づいて次の前記ブロック内における前記代表点を決定する
   動きベクトル検出装置。
2. 請求項１に記載の動きベクトル検出装置であって、
   前記勾配方向修正部は、
   差分絶対値演算部と、
   相関値メモリと、
   相関値比較部と、
   勾配方向決定部と
   を含み、
   前記差分絶対値演算部は、前記複数のフレームのうちの現在のフレームの各前記ブロック内における各前記画素の輝度値と、前記現在のフレームの各前記ブロックにおける前記代表点位置判定部により決定された前記代表点の輝度値との差分絶対値を演算し、
   前記相関値メモリは、前記ブロックのすべてまたは一部に亘って、前記代表点位置判定部により決定された前記代表点の位置からの各前記画素の変位ごとに、前記差分絶対値を累積して加算し、加算結果を前記変位ごとの相関値として記憶し、
   前記相関値比較部は、前記相関値が前記代表点の相関値に次いで最小となる変位を検出し、
   前記勾配方向決定部は、前記代表点の位置から前記相関値が前記代表点の相関値に次いで最小となる前記変位へと向かう方向を、前記ブロック毎に前記第２方向と決定する
   動きベクトル検出装置。
3. 時間的に連続する複数のフレームで構成される動画像の映像信号から、動きベクトルを代表点マッチング法により検出する動きベクトル検出装置であって、
   前記複数のフレームの各々の画面を所定の大きさのブロックに分割し、各前記ブロック内の各画素における輝度値と、各画素から所定位置だけずらした画素における輝度値との差分絶対値たる、第１差分絶対値を演算する第１差分絶対値演算部と、
   各前記ブロック内において各前記画素のうち前記第１差分絶対値が最大となる一画素を、各前記ブロック内における代表点と決定する代表点位置判定部と、
   動きベクトル検出部と、
   画素シフト量決定部と
   を備え、
   前記動きベクトル検出部は、前記代表点位置判定部により決定された前記代表点に基づいて、代表点マッチング法により前記複数のフレーム間の動きベクトルを検出し、
   前記画素シフト量決定部は、前記ブロック毎に、前記代表点と、その代表点を含む前記ブロック内における各画素との輝度値の相関に基づいて、前記相関が前記代表点に次いで高い画素の前記代表点からの変位を画素シフト量として検出し、前記画素シフト量を前記所定位置として更新し、
   前記所定位置の更新後は、前記第１差分絶対値演算部は、更新後の前記所定位置だけずらした画素における輝度値に基づいて前記第１差分演算値を、次の前記ブロック内の各前記画素において演算し、
   前記所定位置の更新後は、前記代表点位置判定部は、更新後の前記所定位置だけずらした画素における輝度値に基づいて演算された前記第１差分演算値に基づいて、次の前記ブロック内における前記代表点を決定する
   動きベクトル検出装置。
4. 請求項３に記載の動きベクトル検出装置であって、
   前記動きベクトル検出部は、
   代表点メモリと、
   第２差分絶対値演算部と、
   第１相関値メモリと、
   第１相関値比較部と
   を含み、
   前記代表点メモリは、前記代表点位置判定部により決定された前記代表点の位置とその輝度値とを各前記ブロックごとに記憶し、
   前記第２差分絶対値演算部は、前記複数のフレームのうちの現在のフレームの各前記ブロック内における各前記画素の輝度値と、前記現在のフレームから一つ前のフレームの各前記ブロックにおける前記代表点メモリに記憶された前記代表点の輝度値との第２差分絶対値を演算し、
   前記第１相関値メモリは、前記ブロックのすべてに亘って、前記代表点メモリに記憶された前記代表点の位置からの各前記画素の変位ごとに、前記第２差分絶対値を累積して加算し、加算結果を前記変位ごとの第１相関値として記憶し、
   前記第１相関値比較部は、前記第１相関値が最小となる変位を動きベクトルとして検出する
   動きベクトル検出装置。
5. 請求項３に記載の動きベクトル検出装置であって、
   前記画素シフト量決定部は、
   第３差分絶対値演算部と、
   第２相関値メモリと、
   第２相関値比較部と、
   画素シフト部と
   を含み、
   前記第３差分絶対値演算部は、前記複数のフレームのうちの現在のフレームの各前記ブロック内における各前記画素の輝度値と、前記現在のフレームの各前記ブロックにおける前記代表点位置判定部により決定された前記代表点の輝度値との第３差分絶対値を演算し、
   前記第２相関値メモリは、前記ブロックのすべてまたは一部に亘って、前記代表点位置判定部により決定された前記代表点の位置からの各前記画素の変位ごとに、前記第３差分絶対値を累積して加算し、加算結果を前記変位ごとの第２相関値として記憶し、
   前記第２相関値比較部は、前記第２相関値が前記代表点の相関値に次いで最小となる変位を検出し、
   前記画素シフト部は、前記ブロック毎に、前記代表点の位置からの前記相関値が前記代表点の相関値に次いで最小となる前記変位を、前記画素シフト量として検出し、前記画素シフト量を前記所定位置として更新する
   動きベクトル検出装置。