JPH04302590A - ビデオデータの手振れ検出装置およびその方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、ハンディタイプのビ
デオカメラの撮影出力等のビデオデータに含まれる手振
れの方向および量を検出するための手振れ検出装置に関
する。

【０００２】

【従来の技術】ハンディタイプのビデオカメラを使用し
て撮影を行う時に、手振れで再生画面が揺れる問題があ
る。この問題を解決するのに、動きベクトルを検出し、
この動きベクトルに基づいて、画像メモリに貯えられて
いるビデオデータを補正するものが提案されている（例
えば特開昭６３−１６６３７０号公報）。動きベクトル
の検出は、例えばブロックマッチングでなさる。すなわ
ち、画面を多数の領域（ブロックと称する）に分割し、
各ブロックの中心に位置する前フレームの代表点と現フ
レームのブロック内の画素データとのフレーム差の絶対
値を演算し、このフレーム差の絶対値を１画面に関して
積算し、積算フレーム差データの最小値の位置から動き
ベクトルを検出している。また、この文献に記載のよう
に、動き補正をした時に、ビデオデータが欠落すること
を防止するために、画像メモリの読み出しの制御と補間
回路とにより、例えば１５％程度、画像の拡大を行って
いる。かかる手振れ補正装置では、手振れの検出が正し
くなされることが必要である。

【０００３】

【発明が解決しようとする課題】ブロックマッチングに
よる動きベクトルの検出では、手振れで生じた動き、す
なわちビデオカメラの動きか、又は画面中の対象物の動
きかの判定が難しい。従って、対象物が動いたことを手
振れと誤判定するおそれがある。そこで、従来の手振れ
検出の方法として、１フレームの画像を数個の領域（マ
クロブロックと称する）に分割するものが知られている
。これは、ブロックマッチングによる動きベクトルの検
出を１フレーム全体ではなくて、マクロブロック毎に行
い、次に、マクロブロック毎の動きベクトルを多数決判
定し、多数である動きベクトルとして採用している。 しかしながら、１フレーム中でその占める面積の大きい
物体が動く時には、この物体を動きを手振れとして、誤
検出する問題があった。従って、この発明の目的は、検
出された動きベクトルが対象物の動きに起因するものか
、手振れによるものかを判定できるビデオデータの手振
れ検出装置を提供することにある。

【０００４】

【課題を解決するための手段】この発明は、１画面を複
数の領域に分割し、各領域毎に前フレームの代表点と現
フレームの各領域内の画素データとのフレーム差を検出
し、フレーム差の絶対値が１画面に関して累算されるこ
とで積算フレーム差データを形成し、積算フレーム差デ
ータから動きベクトルを検出する手段（５、６、８）と
、各領域に等しい大きさであって、代表点とこの代表点
に対応する画素データ間のフレーム差が略０であって、
且つレベルの傾きがある時に、この傾きの方向の画素の
位置の度数がインクリメントされ、度数が上記１画面に
関して累算されることで積算度数表を形成する手段（９
）と、検出された動きベクトルと積算度数表とを受け取
り、動きベクトルと対応する位置の積算度数表の度数が
所定値より少ない場合に、動きベクトルを手振れベクト
ルとする判定手段（１０）と、からなるビデオデータの
手振れ検出装置である。

【０００５】

【作用】代表点を使用したブロックマッチングにより動
きベクトルが検出される。また、動きのサーチ領域と等
しい大きさの度数分布表を作成する度数分布表作成回路
が設けられる。フレーム差が略０であって、動きがあれ
ば、フレーム差が生じる画素の位置が＋１（インクリメ
ント）される。この度数が１画面にわたって累算され、
積算度数分布表が形成される。検出された動きベクトル
と積算度数分布表とから、若し、動きベクトルと対応す
る度数がしきい値以下であれば、対象物の動きでなく、
手振れと判定する。

【０００６】

【実施例】以下、この発明の一実施例について図面を参
照して説明する。この発明は、手振れがビデオカメラの
動きであるため、画面全体が動き、一方、対象物の動き
は、画面のある部分が動くこと、すなわち、画面中に静
止している部分があることに着目して、両者の区別を行
うものである。図１において、１がディジタルビデオデ
ータの入力端子である。このビデオデータは、例えばビ
デオカメラのＣＣＤで撮影されたもので、インターレス
走査の順序の系列である。

【０００７】入力ビデオデータがフィールドメモリ２お
よび代表点メモリ３に供給される。フィールドメモリ２
の出力には、後述の補正信号により手振れ補正されたデ
ータが読み出される。１フレーム毎に処理を行う時には
、フィールドメモリ２に代えてフレームメモリが使用さ
れる。代表点メモリ３の出力が減算回路４および代表点
メモリ５に供給される。代表点メモリ５の出力が減算回
路６に供給される。減算回路４および６には、入力ビデ
オデータが供給される。代表点メモリ３は、１フィール
ド前の代表点のデータを記憶し、代表点メモリ５が２フ
ィールド（すなわち、１フレーム）前の代表点のデータ
を記憶する。

【０００８】図２に示すように、１フィールドの画面が
ｍ画素×ｎラインのブロックに細分化され、各ブロック
の中心の画素が代表点とされる。代表点は、画面上で、
均一にばらまかれている。減算回路４は、現フィールド
のあるブロックのｍ×ｎの画素データのそれぞれと前フ
ィールドの同一位置のブロックの代表点のデータとのそ
れぞれの差（すなわち、フィールド間差）を検出する。 このフィールド間差が絶対値積分回路７に供給される。 同様に、減算回路６が現フィールドのブロックと２フィ
ールド前の代表点とのフレーム差を検出する。フレーム
差が絶対値積分回路８および度数表作成回路９に供給さ
れる。

【０００９】動きベクトルの検出は、絶対値積分回路８
でフレーム差を使用してなされる。フィールド間差から
絶対値積分回路７で得られたフィールド間の動きは、補
助手段として使用される。つまり、フィールド間の差は
、時間の精度が良いが、位置の精度が悪い特徴があり、
フレーム間の差は、時間の精度が悪いが、位置の精度が
良い特徴がある。従って、フレーム差から動きベクトル
を検出する時に、フィールド間差も利用することで、検
出精度を向上できる。

【００１０】図３に示すように、動きのサーチ領域がブ
ロックの大きさと同一とされる。例えば（ｍ＝ｎ＝２５
）である。ブロック毎に２フィールド前の代表点と現フ
ィールドのブロック内の画素データとのｍ×ｎ個の差が
減算回路６で発生する。絶対値積分回路８では、ブロッ
ク内の各位置のフレーム差の絶対値が１フレーム期間に
わたって積算され、ｍ×ｎの積算フレーム差データの分
布が形成され、この分布の中の最小値が動きベクトルと
して検出される。この動きベクトルの検出は、従来と同
様である。

【００１１】度数分布表作成回路９には、減算回路６か
らのフレーム差が供給される。度数分布表作成回路９は
、上述の動きのサーチ領域と対応する大きさの容量を持
つメモリを含んでいる。そして、以下の条件を満たす時
に、その位置の度数をインクリメントする。 Ｉｋ−１　（０，０）　≒Ｉｋ　（０，０）　　　　　
且つ、｛Ｉｋ−１　（０，０）　−Ｉｋ　（ｘ，ｙ）　
｝絶対値≧Ｔｈ

【００１２】ここで、Ｉｋ　（０，０）
　は、現フィールドのブロックの中心の画素データの値
、Ｉｋ−１　（０，０）　は、１フレーム（２フィール
ド）前の画素データの値、Ｔｈは、空間内のレベル差の
有無を判定するためのしきい値である。上式の条件が成
立する時に、度数分布表中の度数ｆ（ｘ，ｙ）がインク
リメントされる。この度数分布表の作成の処理が１画面
の全体で累算され、度数分布表が形成される。この条件
は、フレーム差がないこと、並びに、この（ｘ，ｙ）の
位置が傾きを有し、従って、動きがあれば、必ずフレー
ム差が生じることを意味している。

【００１３】動き量決定回路１０に対して、絶対値積分
回路８で検出された動きベクトルと度数分布表作成回路
９の出力とが供給される。動き量決定回路１０は、動き
ベクトルを手振れベクトルとして使用して良いかどうか
を度数分布表を参照して検証する。すなわち、動きベク
トルの位置の度数が調べられ、この度数としきい値とが
比較される。この度数が手振れベクトル判定のためのし
きい値以下の場合には、手振れによって動きベクトルが
派生したものと判定し、動きベクトルを手振れベクトル
と判定する。そうでない時には、画面内の静止ブロック
の個数が多いものと判定し、画面内の対象物の動きから
この動きベクトルが派生したものと判定する。

【００１４】動き量決定回路１０に対して絶対値積分回
路７からのフィールド間の動きベクトルを供給している
のは、前述のように、検出された動きベクトルの定常性
をチェックし、精度の向上を図るためである。動き量決
定回路１０の出力（手振れベクトル）が補正量発生回路
１１に供給される。手振れベクトルは、フレーム間の動
きから検出されたもので、手振れの補正量と同一ではな
い。例えば連続する３フレームの期間で、第２番目およ
び第３番目のフレームの期間で、同一方向の手振れが生
じている時では、最初のフレームと次のフレームとの間
の手振れベクトルＶ１が検出され、第２番目と第３番目
のフレーム間の手振れベクトルＶ２が検出される。第２
番目のフレームに対する補正量は、Ｖ１で良いが、第３
番目のフレームに対する補正量は、（Ｖ１＋Ｖ２）の必
要がある。補正量発生回路１１は、手振れベクトルを積
分した補正量を発生する。また、この実施例のように、
手振れ補正がフィールド単位でなされる時には、フレー
ム間の動き量をフィールド間の動き量に変換するために
、フィールドとフレームの時間差に対応するために動き
ベクトルが１／２とされる。

【００１５】補正量発生回路１１からの手振れ補正信号
がアドレス制御回路１２およびセレクト信号発生回路１
３に供給される。アドレス制御回路１２は、フィールド
メモリ２および周辺メモリ１６に対するアドレス信号を
発生する。フィールドメモリ２には、１フィールドの画
像が書き込まれ、補正量に応じてその読み出しアドレス
が制御される。従ってフィールドメモリ２からは、１フ
ィールドの入力ビデオデータが補正量に応じて移動され
たビデオデータが得られる。フィールドメモリ２の出力
がセレクタ１４に供給され、セレクタ１４の出力が出力
端子１５に取り出されると共に、周辺メモリ１６に供給
される。周辺メモリ１６の出力である周辺データがセレ
クタ１４に供給される。セレクタ１４は、セレクト信号
発生回路１３からのセレクト信号に応答して、手振れ補
正されたフィールドメモリ２からのビデオデータと周辺
メモリ１６に記憶されている周辺データとを選択する。

【００１６】図４Ａに示すように、フィールドメモリ２
に取り込まれた１フィールドの画像（その画枠を２１で
表す）の周辺部（一点鎖線の外側の領域）２２が周辺メ
モリ１６に格納される。周辺部２２の幅は、手振れ補正
の範囲を考慮して設定され、例えば約１０〜２０％程度
の幅に設定される。図４Ｂにおいて、画枠２１ａで示す
ように、手振れにより図４Ａの位置であるべき画像が図
面に向かって例えば右方向へ動いた時では、手振れ補正
量Ｖにより画像の全体が破線で示す位置に補正される。 このような場合には、撮像された画像中には、元々存在
していないために、移動後の画像の左側の斜線で示す部
分２３の画像が欠落する。この欠落部分２３が周辺メモ
リ１６に貯えられている対応する位置の画像に置換され
る。この置換は、アドレス制御回路１２によるアドレス
制御と、セレクタ１４の切り換え動作で実行される。ま
た、周辺メモリ１６には、撮像されたビデオデータ中の
欠落部分２３以外の周辺の画像データが書き込まれ、周
辺メモリ１６の内容が更新される。

【００１７】この発明においては、ビデオカメラの撮像
出力の手振れ補正をリアルタイムで行っても良く、また
、ＶＴＲにより記録されたものに対して手振れ補正を行
っても良い。ビデオカメラの撮像出力をリアルタイムで
補正する時には、手振れが生じたことを示すマーカーを
ビューファインダの画面内に表示することが好ましい。

【００１８】図５Ａに示すように、破線で示す画枠２１
が実際に撮像された画像であって、上述の手振れ補正に
よって実線で示す画像２１ｂのように、補正されている
ものとする。この場合では、図５Ｂに示すように、ビデ
オカメラのビューファインダ２４の画面内で、実際に撮
像している画枠２１のエッジと対応する位置に縦線のマ
ーカー２５が表示される。このマーカー２５を撮影者が
見て、手振れの方向および量或いは手振れ補正の方向お
よび量が判り、この手振れを補正する方向にビデオカメ
ラを動かす。上述の手振れ補正に加えて、撮影者の視覚
に基づいたフィードバックがかかるので、手振れの範囲
が補正範囲を超えてしまうことを未然にかなり防止でき
る。若し、手振れの表示をビューファインダに行わない
時には、手振れを補正できなくなるある時点で、画面が
急に動くことが生じる。マーカー２５としては、縦線に
限らず、矢印等を使用しても良い。

【００１９】

【発明の効果】この発明は、検出された動きベクトルが
手振れと対象物の動きとの何れに起因するのかを判別で
きるので、手振れ補正を良好に行うことができる。

【図面の簡単な説明】

【図１】この発明の一実施例のブロック図である。

【図２】この発明の一実施例のブロック分割を示す略線
図である。

【図３】この発明の一実施例の動きベクトルのサーチ範
囲を示す略線図である。

【図４】この発明の一実施例の手振れ補正の説明に用い
る略線図である。

【図５】ビデオカメラのビューファインダの画面になさ
れる手振れ表示の説明に用いる略線図である。

【符号の説明】

１　　　　ビデオデータの入力端子 ２　　　　フィールドメモリ ３　　　　１フィールド前の代表点データを記憶する代
表点メモリ ５　　　　２フィールド前の代表点データを記憶する代
表点メモリ ９　　　　度数分布表作成回路 １０　　動き量決定回路

Claims (1)

【特許請求の範囲】
1. 【請求項１】　　１画面を複数の領域に分割し、各領域
   毎に前フレームの代表点と現フレームの上記各領域内の
   画素データとのフレーム差を検出し、上記フレーム差の
   絶対値が上記１画面に関して累算されることで積算フレ
   ーム差データを形成し、上記積算フレーム差データから
   動きベクトルを検出する手段と、上記各領域と等しい大
   きさであって、上記代表点と上記代表点に対応する画素
   データ間のフレーム差が略０であって、且つレベルの傾
   きがある時に、この傾きの方向の画素の位置の度数がイ
   ンクリメントされ、上記度数が上記１画面に関して累算
   されることで積算度数表を形成する手段と、上記検出さ
   れた動きベクトルと上記積算度数表とを受け取り、上記
   動きベクトルと対応する位置の上記積算度数表の度数が
   所定値より少ない場合に、上記動きベクトルを手振れベ
   クトルとする判定手段とからなるビデオデータの手振れ
   検出装置。