JPH05110932A - 画像の動きベクトル検出装置 - Google Patents

Abstract

(57)【要約】 【目的】 高精度で画像の動きベクトルを検出すること
のできる画像の動きベクトル検出装置を提供する。 【構成】 現フレームのブロックの各画素の画像データ
と代表点メモリ１１から読み出される前フレームのブロ
ックの代表点画素の画像データとの差分を減算回路１２
により検出して、相関積算値表形成回路１３により相関
積算値表を形成する。動きベクトル推定回路１４は、上
記相関積算値表の最小相関積算値の座標が中央に位置す
る周辺座標における相関積算値を比例係数として周辺座
標間距離に対応する画素間距離を比例分割した座標を求
めて、動きベクトルを推定する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画像の動きベクトル検
出装置に関し、ハンディタイプのビデオカメラの撮像出
力等をビデオデータに含まれる所謂手振れによる画像の
移動量を検出して補正する画像動き補正装置などに適用
される。

【０００２】

【従来の技術】一般に、ハンディタイプのビデオカメラ
では、撮影時の手振れすなわちカメラの振動が画像の振
動となって現れる。そこで、このような手振れによる画
像の振動を補正する画像動き補正装置として、例えば特
開昭６３−１６６３７０号公報に開示されているよう
に、画像の動きベクトルを検出し、この動きベクトルに
基づいて、画像メモリに貯えられているビデオデータを
補正するものが提案されている。

【０００３】画像の動きベクトルの検出には、例えばブ
ロックマッチング法が採用される。このブロックマッチ
ング法による画像の動きベクトルの検出では、画面を多
数の領域（ブロックと称する）に分割し、各ブロックの
中心に位置する前フレームの代表点画素と現フレームの
ブロック内の各画素の画像データとのフレーム差の絶対
値を演算し、各ブロックのフレーム差分絶対値を対応す
る画素毎に積算して相関積分値を求めて、１ブロック分
の画素配列に対応する座標を有する相関積算値表を形成
する。そして、この相関積算値表における相関積分値の
最小値の座標値を画像の動きベクトルの座標値として画
面全体の動きベクトルを決定している。

【０００４】そして、画像動き補正装置では、検出され
た動きベクトルを補正信号に変換し、この補正信号によ
り現画像を移動する補正を行っている。このような画像
動き補正装置における補正精度は、画像の動きベクトル
の検出精度に依存する。

【０００５】

【発明が解決しようとする課題】ところで、上述のよう
に相関積算値表における相関積分値の最小値の座標値を
画像の動きベクトルの座標値として画面全体の動きベク
トルを決定するようにした従来のブロックマッチング法
による画像の動きベクトル検出装置では、上記相関積分
値が各画素に対応して離散的に算出されており、上記相
関積算値表における整数座標値でしか画像の動きベクト
ルが求まらないので、検出精度が低いという問題点があ
った。従って、従来の画像の動きベクトル検出装置によ
り検出した画像の動きベクトルにより例えば手振れ補正
信号を形成して、手振れ補正を行った場合に、十分な補
正精度が得られず、不自然が画像となってしまう。

【０００６】本発明は、このような実情に鑑みてなされ
たものであり、ハンディタイプのビデオカメラなどにお
ける高性能の手振れ補正を可能にすることを目的とし、
高精度で画像の動きベクトルを検出することのできる画
像の動きベクトル検出装置を提供するものである。

【０００７】

【課題を解決するための手段】発明に係る画像の動きベ
クトル検出装置は、上述の課題を解決するために、入力
ビデオ信号で構成される１フレームの画像を複数に分割
した各ブロック毎の代表点画素の画像データを記憶する
メモリと、現フレームのブロックの各画素の画像データ
と上記メモリに記憶された前フレームのブロックの代表
点画素の画像データとの差分の絶対値を検出する差分検
出手段と、上記差分検出手段により検出された各ブロッ
クのフレーム差分絶対値を対応する画素毎に積算し、１
ブロック分の画素配列に対応する座標を有する相関積算
値表を形成する相関積算値表形成手段と、上記相関積算
値表形成手段により形成された相関積算値表の相関積算
値の最小値の座標を検出し、この座標が中央に位置する
周辺座標における相関積算値を比例係数として上記周辺
座標間距離に対応する画素間距離を比例分割した座標を
求め、この座標に基づいて画像の動きベクトルを推定す
る動きベクトルを推定手段とを備えることを特徴とする
ものである。

【０００８】

【作用】発明に係る画像の動きベクトル検出装置では、
入力ビデオ信号で構成される１フレームの画像を複数に
分割した各ブロック毎の代表点画素の画像データをメモ
リに記憶し、現フレームのブロックの各画素の画像デー
タと上記メモリに記憶された前フレームのブロックの代
表点画素の画像データとの差分の絶対値を差分検出手段
により検出して、相関積算値表形成手段により１ブロッ
ク分の画素配列に対応する座標を有する相関積算値表を
形成する。そして、動きベクトルを推定手段は、上記相
関積算値表形成手段により形成された相関積算値表の相
関積算値の最小値の座標を検出し、この座標が中央に位
置する周辺座標における相関積算値を比例係数として上
記周辺座標間距離に対応する画素間距離を比例分割した
座標を求め、この座標に基づいて画像の動きベクトルを
推定する。

【０００９】

【実施例】以下、本発明に係る画像の動きベクトル検出
装置の一実施例について図面に従い詳細に説明する。本
発明に係る画像の動きベクトル検出装置は、例えば図１
に示すように構成される。

【００１０】この図１に示した画像の動きベクトル検出
装置１０は、ハンディタイプのビデオカメラにおける手
振れによる画像の動きを補正する手振れ補正装置に本発
明を適用したもので、補正量発生部２０及び補正部３０
とともに手振れ補正装置を構成している。図１におい
て、信号入力端子１には、上記ビデオカメラの図示しな
い撮像部による撮像出力として得られるビデオ信号をデ
ィジタル化した入力ビデオデータが供給される。

【００１１】上記動きベクトル検出装置１０は、上記入
力ビデオデータが上記信号入力端子１を介して供給され
る代表点メモリ１１及び減算回路１２と、この減算回路
１２による減算出力データが供給される相関積算値表形
成回路１３と、この相関積算値表形成回路１３により形
成された相関積算値表の相関積算値データが供給される
動きベクトル推定回路１４とを備えてなる。

【００１２】上記代表点メモリ１１は、上記入力ビデオ
データで構成される１フレームの画像を複数に分割した
各ブロック毎の代表点画素の画像データを記憶する。具
体的には、例えば図２に示すように、１フレームの画面
をｍ画素×ｎラインのブロックに分割し、図３に示すよ
うに各ブロックの中心の画素を代表点とし、各代表点画
素の画像データを上記代表点メモリ１１に１フレーム期
間記憶する。なお、上記代表点は、画面上で均一のばら
まかれている。そして、この代表点メモリ１１から読み
出される１フレーム前の各代表点画素の画像データが上
記減算回路１２に供給される。

【００１３】上記減算回路１２は、上記信号入力端子１
を介して供給される入力ビデオデータすなわち現フレー
ムの画像データについて、ブロック毎のｍ×ｎ個の各画
素の画像データと上記代表点メモリ１１から読み出され
る前フレームの対応するブロックの代表点画素の画像デ
ータとの差分すなわちフレーム間差の絶対値を検出す
る。そして、この減算回路１２による減算出力データと
して得られるフレーム差分絶対値データが上記相関積算
値表形成回路１３に供給される。

【００１４】上記相関積算値表形成回路１３は、上記減
算回路１２により得られた各ブロックのフレーム差分絶
対値を対応する画素毎に１フレーム期間に亘って積算
し、１ブロック分の画素配列に対応するｍ×ｎの整数座
標を有する相関積算値表を形成する。この相関積算値表
形成回路１３により形成される相関積算値表は、ｍ×ｎ
個のフレーム差分絶対値の積算値すなわち相関積算値の
分布を示し、フレーム相関の最も強い座標の相関積算値
が最小値となる。そして、この相関積算値表形成回路１
３により形成される相関積算値表のｍ×ｎ個の相関積算
値が上記動きベクトル推定回路１４に供給される。

【００１５】上記動きベクトル推定回路１４では、上記
相関積算値表形成回路１３により形成された相関積算値
表の相関積算値の最小値の座標を検出し、この座標が中
央に位置する周辺座標における相関積算値を比例係数と
して上記周辺座標間距離に対応する画素間距離を比例分
割した座標を求め、この座標に基づいて画像の動きベク
トルを推定する。

【００１６】ここで、上記動きベクトル推定回路１４に
おける画像の動きベクトルの推定処理には、図４に示す
ように上記相関積算値の最小値の座標Ｐ（ｘ，ｙ）とそ
の８近傍座標Ｐ（ｘ＋１，ｙ），Ｐ（ｘ＋１，ｙ＋
１），Ｐ（ｘ，ｙ＋１），Ｐ（ｘ−１，ｙ＋１），Ｐ
（ｘ−１，ｙ），Ｐ（ｘ−１，ｙ−１），Ｐ（ｘ，ｙ−
１），Ｐ（ｘ＋１，ｙ−１）のうちの２座標を通る４軸
Ｓ₁ ，Ｓ₂ ，Ｓ₃ ，Ｓ₄ を用いて２次元セパラブルに行
うことができる。そこで、この実施例における動きベク
トル推定回路１４では、図５のフローチャートに示すよ
うに、ステップ１で上記相関積算値表形成回路１３によ
り形成された相関積算値表について、ステップ２で相関
積算値の最小値の座標を検出する。このステップ２で検
出される相関積算値の最小値の座標は、上記相関積算値
表の整数座標値で示される。ステップ３で変数ＮをＮ＝
０に設定してから、ステップ４でＮ＝４であるか否かの
判定処理を行い、その判定結果がＮＯである場合にステ
ップ５に進んで各軸の最小値の座標の推定処理を行う。

【００１７】ある軸についての最小値の座標の１次元推
定は、例えば軸Ｓ₁において図６に示すように中央の座
標Ｐ（ｘ，ｙ）の相関積算値が最小値であって隣接座標
Ｐ（ｘ＋１，ｙ），Ｐ（ｘ−１，ｙ）の各相関積算値と
上記最小相関積算値との間にａ，ｂなる差があるとする
と、隣接座標間距離Ｌをａ／（ａ＋ｂ）：ｂ／（ａ＋
ｂ）に比例分割した座標Ｐ（Ｘ，Ｙ）を求めることによ
り行われる。これにより、上記相関積算値表の整数座標
値よりも細かい分解能で最小値座標を求めることができ
る。なお、α・ａ／（ａ＋ｂ）：β・ｂ／（ａ＋ｂ）の
ように上記隣接座標間距離Ｌを比例分割するための比例
係数の重みα，βを変えることで、上記隣接座標Ｐ（ｘ
＋１，ｙ），Ｐ（ｘ−１，ｙ）の各相関積算値の変化に
応じた推定を取り入れることも可能である。

【００１８】そして、上記ステップ５において１軸の最
小値の座標の推定処理を終了すると、ステップ６に進ん
で変数Ｎをインクリメント（Ｎ＝Ｎ＋１）してから上記
ステップ４の判定処理に戻り、上記ステップ４〜ステッ
プ６を繰り返し行う。そして、上記４軸Ｓ₁ ，Ｓ₂ ，Ｓ
₃ ，Ｓ₄ について最小値の座標の推定処理を行い、上記
ステップ４での判定結果がＹＥＳになるとステップ７に
進む。

【００１９】このステップ７では、各軸Ｓ₁ ，Ｓ₂ ，Ｓ
₃ ，Ｓ₄ の最小値の推定座標を合成して２次元座標値を
算出し、この２次元座標値から画像の動きベクトルを決
定する。そして、このステップ７において決定された画
像の動きベクトルが推定存在範囲にあることをステップ
８で確認して、画像の動きベクトルの推定処理を終了す
る。

【００２０】このような構成の画像の動きベクトル検出
装置１０では、上記相関積算値形成回路１３により形成
した表相関積算値表の相関積算値の最小値の座標を検出
することにより整数座標値を得て、上記座標が中央に位
置する周辺座標における相関積算値を比例係数として上
記周辺座標間距離に対応する画素間距離を比例分割した
座標を求めることにより少数座標値を得ることができ、
この座標に基づいて画像の動きベクトルを推定するの
で、上記動きベクトルを高い精度で検出することができ
る。

【００２１】そして、この動きベクトル検出装置１０に
より検出された動きベクトルが上記補正量発生部２０に
供給される。

【００２２】上記補正量発生部２０は、上記動きベクト
ル検出装置１０が検出した動きベクトルを手振れベクト
ルとして手振れ補正信号を形成し、この手振れ補正信号
を上記補正部３０に供給する。

【００２３】また、上記補正部３０は、例えば図７に示
すように、上記補正量発生部２０から手振れ補正信号が
供給されるアドレス制御回路３１及びセレクト信号発生
回路３２と、上記アドレス制御回路３１から供給される
アドレス信号に従ってビデオデータの書き込み／読み出
しが行われるフレームメモリ３３及び周辺メモリ３４
と、上記フレームメモリ３３及び周辺メモリ３４から読
み出されるビデオデータを上記セレクト信号発生回路３
２から供給されるセレクト信号に応じて選択的に出力す
るセレクタ３５とを備えてなる。

【００２４】上記フレームメモリ３２には、上記信号入
力端子１を介して供給される入力ビデオデータが順次書
き込まれる。そして、このフレームメモリ３２の読み出
しアドレスが上記手振れ補正信号により上記手振れベク
トルに応じて制御される。これにより、上記フレームメ
モリ３２からは、１フレームの入力ビデオデータが上記
手振れベクトルに応じて移動されたビデオデータが得ら
れる。そして、このフレームメモリ３２から読み出され
るビデオデータと上記周辺メモリ３３から読み出される
周辺ビデオデータとが上記セレクタ３５による選択によ
って合成され、手振れ補正処理済のビデオデータとして
信号出力端子２から出力される。

【００２５】なお、上記周辺メモリ３３には、上記セレ
クタ３５を介して出力される手振れ補正処理済のビデオ
データによる画像の補正範囲に相当する周辺部分のビデ
オデータが周辺ビデオデータとして逐次書き込まれる。

【００２６】上述のように上記動きベクトル検出装置１
０により画像の動きベクトルを高い精度で検出すること
ができるので、この動きベクトルに基づいて手振れ補正
を行う手振れ補正装置では、高い手振れ補正精度を確保
することができ、自然な画像出力が得られる。

【００２７】

【発明の効果】以上の説明からも明らかなように、発明
に係る画像の動きベクトル検出装置では、相関積算値表
の相関積算値の最小値の座標を検出することにより整数
座標値を得て、上記座標が中央に位置する周辺座標にお
ける相関積算値を比例係数として上記周辺座標間距離に
対応する画素間距離を比例分割した座標を求めることに
より少数座標値を得て、この座標に基づいて画像の動き
ベクトルを推定するので、上記動きベクトルを高い精度
で検出することができる。

【００２８】従って、本発明によれば、高精度で画像の
動きベクトルを検出することのできる画像の動きベクト
ル検出装置を提供することができ、ハンディタイプのビ
デオカメラなどにおける高性能の手振れ補正を可能にす
ることができる。

【図面の簡単な説明】

【図１】本発明に係る画像の動きベクトル検出装置を設
けた手振れ補正装置の構成を示すブロック図である。

【図２】上記動きベクトル検出装置における画面のブロ
ック分割の状態を示す図である。

【図３】上記ブロック分割された画面の１ブロックの構
造を示す図である。

【図４】上記動きベクトル検出装置における動きベクト
ルの推定処理に用いる相関積算値表上の最小値近傍の軸
を説明するための図である。

【図５】上記動きベクトル検出装置における動きベクト
ルの推定処理手順を示すフローチャートである。

【図６】上記動きベクトル検出装置における動きベクト
ルの１次元推定例を説明するための図である。

【図７】上記動きベクトル検出装置を設けた手振れ補正
装置の補正部の構成を示すブロック図である。

【符号の説明】

１０・・・・・・・・・動きベクトル検出装置 １１・・・・・・・・・代表点メモリ １２・・・・・・・・・減算回路 １３・・・・・・・・・相関積算値表形成回路 １４・・・・・・・・・動きベクトル推定回路

───────────────────────────────────────────────────── フロントページの続き (72)発明者 堀士 賢 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 (72)発明者 橋野 司 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内

Claims (1)

【特許請求の範囲】
1. 【請求項１】 入力ビデオ信号で構成される１フレーム
   の画像を複数に分割した各ブロック毎の代表点画素の画
   像データを記憶するメモリと、 現フレームのブロックの各画素の画像データと上記メモ
   リに記憶された前フレームのブロックの代表点画素の画
   像データとの差分の絶対値を検出する差分検出手段と、 上記差分検出手段により検出された各ブロックのフレー
   ム差分絶対値を対応する画素毎に積算し、１ブロック分
   の画素配列に対応する座標を有する相関積算値表を形成
   する相関積算値表形成手段と、 上記相関積算値表形成手段により形成された相関積算値
   表の相関積算値の最小値の座標を検出し、この座標が中
   央に位置する周辺座標における相関積算値を比例係数と
   して上記周辺座標間距離に対応する画素間距離を比例分
   割した座標を求め、この座標に基づいて画像の動きベク
   トルを推定する動きベクトルを推定手段とを備えること
   を特徴とする画像の動きベクトル検出装置。