JPH04302591A - ビデオデータの手振れ補正装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、ハンディタイプのビ
デオカメラの撮影出力等のビデオデータに含まれる手振
れを補正する手振れ補正装置に関する。

【０００２】

【従来の技術】ハンディタイプのビデオカメラを使用し
て撮影を行う時に、手振れで再生画面が揺れる問題があ
る。この問題を解決するのに、動きベクトルを検出し、
この動きベクトルに基づいて、画像メモリに貯えられて
いるビデオデータを補正するものが提案されている（例
えば特開昭６３−１６６３７０号公報）。動きベクトル
の検出は、例えばブロックマッチングでなさる。すなわ
ち、画面を多数の領域（ブロックと称する）に分割し、
各ブロックの中心に位置する前フレームの代表点と現フ
レームのブロック内の画素データとのフレーム差の絶対
値を演算し、このフレーム差の絶対値を１画面に関して
積算し、積算フレーム差データの最小値の位置から動き
ベクトルを検出している。また、この文献に記載のよう
に、動き補正をした時に、ビデオデータが欠落すること
を防止するために、画像メモリの読み出しの制御と補間
回路とにより、例えば１５％程度、画像の拡大を行って
いる。

【０００３】

【発明が解決しようとする課題】手振れベクトルは、フ
レーム間の動きから検出されたもので、手振れの補正量
と同一ではない。例えば連続する３フレームの期間で、
第２番目および第３番目のフレームの期間で、同一方向
の手振れが生じている時では、最初のフレームと次のフ
レームとの間の手振れベクトルＶ１が検出され、第２番
目と第３番目のフレーム間の手振れベクトルＶ２が検出
される。第２番目のフレームに対する補正量は、Ｖ１で
良いが、第３番目のフレームに対する補正量は、（Ｖ１
＋Ｖ２）の必要がある。従って、従来の手振れ補正装置
では、動きベクトルを積分した補正量を発生する回路を
必要としていた。従って、この発明の目的は、従来のよ
うに、手振れベクトルを積分して補正量に変換する必要
がなく、回路の簡略化を達成できるビデオデータの手振
れ補正装置を提供することにある。

【０００４】

【課題を解決するための手段】この発明は、フレーム差
を検出することにより手振れの方向および量を示す手振
れベクトルを検出するための回路と、この検出回路の出
力信号に基づいて手振れを補正するための回路を有して
なるビデオデータの手振れ補正装置において、検出回路
は、１フレーム分の画像データを複数のブロックに分割
した時に、各ブロックの代表点を記憶するメモリ（５）
と、メモリ（５）に記憶された代表点データと現フレー
ムのブロック内の画素データとを減算する減算回路（６
）とを少なくとも有し、検出回路で検出されたベクトル
が手振れベクトルと判定された時には、メモリ出力を再
度メモリ（５）に書き込むようにしたことを特徴とする
ビデオデータの手振れ補正装置である。

【０００５】

【作用】代表点を使用したブロックマッチングにより動
きベクトルが検出される。この動きベクトルから手振れ
ベクトルが検出される。手振れベクトルが検出されると
、代表点を記憶するメモリの更新が停止される。従って
、それ以降の検出された手振れベクトルは、フレーム間
の動きではなく、２フレーム、３フレーム、・・・の動
きに対応する。従って、手振れベクトルが手振れ補正量
と対応し、手振れベクトルを積分して、手振れ補正信号
を形成する必要がなくなり、回路構成が簡略化できる。

【０００６】

【実施例】以下、この発明の一実施例について図面を参
照して説明する。この発明の一実施例における手振れ検
出は、手振れがビデオカメラの動きであるため、画面全
体が動き、一方、対象物の動きは、画面のある部分が動
くこと、すなわち、画面中に静止している部分があるこ
とに着目して、両者の区別を行うものである。図１にお
いて、１がディジタルビデオデータの入力端子である。 このビデオデータは、例えばビデオカメラのＣＣＤで撮
影されたもので、インターレス走査の順序の系列である
。

【０００７】入力ビデオデータがフィールドメモリ２に
供給されると共に、スイッチング回路ＳＷ１の端子ａを
通じて代表点メモリ３に供給される。フィールドメモリ
２の出力には、後述のように手振れ補正されたデータが
読み出される。１フレーム毎に処理を行う時には、フィ
ールドメモリ２に代えてフレームメモリが使用される。 代表点メモリ３の出力が減算回路４に供給されると共に
、スイッチング回路ＳＷ１の入力端子ｂを通じて自身に
戻される。従って、スイッチング回路ＳＷ１の入力端子
ｂが選択される時には、代表点メモリ３の更新が停止さ
れ、記憶されている代表点のデータがホールドされる。

【０００８】更に、代表点メモリ３の出力がスイッチン
グ回路ＳＷ２の入力端子ｃを通じて代表点メモリ５に供
給される。代表点メモリ５の出力が減算回路６に供給さ
れると共に、スイッチング回路ＳＷ２の入力端子ｄを通
じて自身に戻される。従って、スイッチング回路ＳＷ２
の入力端子ｄが選択される時には、代表点メモリ５の更
新が停止され、記憶されている代表点のデータがホール
ドされる。減算回路４および６には、入力ビデオデータ
が供給される。代表点メモリ３は、１フィールド前の代
表点のデータを記憶し、代表点メモリ５が２フィールド
（すなわち、１フレーム）前の代表点のデータを記憶す
る。

【０００９】図２に示すように、１フィールドの画面が
ｍ画素×ｎラインのブロックに細分化され、各ブロック
の中心の画素が代表点とされる。代表点は、画面上で、
均一にばらまかれている。減算回路４は、現フィールド
のあるブロックのｍ×ｎの画素データのそれぞれと前フ
ィールドの同一位置のブロックの代表点のデータとのそ
れぞれの差（すなわち、フィールド差）を検出する。こ
のフィールド差が絶対値積分回路７に供給される。同様
に、減算回路６が現フィールドのブロックと２フィール
ド前の代表点とのフレーム差を検出する。フレーム差が
絶対値積分回路８および度数表作成回路９に供給される
。

【００１０】動きベクトルの検出は、絶対値積分回路８
でフレーム差を使用してなされる。フィールド間差から
絶対値積分回路７で得られたフィールド間の動きは、補
助手段として使用される。つまり、フィールド間の差は
、時間の精度が良いが、位置の精度が悪い特徴があり、
フレーム間の差は、時間の精度が悪いが、位置の精度が
良い特徴がある。従って、フレーム差から動きベクトル
を検出する時に、フィールド間差も利用することで、検
出精度を向上できる。

【００１１】図３に示すように、動きのサーチ領域がブ
ロックの大きさと同一とされる。例えば（ｍ＝ｎ＝２５
）である。ブロック毎に２フィールド前の代表点と現フ
ィールドのブロック内の画素データとのｍ×ｎ個の差が
減算回路６で発生する。絶対値積分回路８では、ブロッ
ク内の各位置のフレーム差の絶対値が１フレーム期間に
わたって積算され、ｍ×ｎの積算フレーム差データの分
布が形成され、この分布の中の最小値が動きベクトルと
して検出される。この動きベクトルの検出は、従来と同
様である。

【００１２】度数分布表作成回路９には、減算回路６か
らのフレーム差が供給される。度数分布表作成回路９は
、上述の動きのサーチ領域と対応する大きさの容量を持
つメモリを含んでいる。そして、以下の条件を満たす時
に、その位置の度数をインクリメントする。 Ｉｋ−１　（０，０）　≒Ｉｋ　（０，０）　　　　　
且つ、｛Ｉｋ−１　（０，０）　−Ｉｋ　（ｘ，ｙ）　
｝絶対値≧Ｔｈ

【００１３】ここで、Ｉｋ　（０，０）
　は、現フィールドのブロックの中心の画素データの値
、Ｉｋ−１　（０，０）　は、１フレーム（２フィール
ド）前の画素データの値、Ｔｈは、空間内のレベル差の
有無を判定するためのしきい値である。上式の条件が成
立する時に、度数分布表中の度数ｆ（ｘ，ｙ）がインク
リメントされる。この度数分布表の作成の処理が１画面
の全体で累算され、度数分布表が形成される。この条件
は、フレーム差がないこと、並びに、この（ｘ，ｙ）の
位置が傾きを有し、従って、動きがあれば、必ずフレー
ム差が生じることを意味している。

【００１４】動き量決定回路１０に対して、絶対値積分
回路８で検出された動きベクトルと度数分布表作成回路
９の出力とが供給される。動き量決定回路１０は、動き
ベクトルを手振れベクトルとして使用して良いかどうか
を度数分布表を参照して検証する。すなわち、動きベク
トルの位置の度数が調べられ、この度数としきい値とが
比較される。この度数が手振れベクトル判定のためのし
きい値以下の場合には、手振れによって動きベクトルが
派生したものと判定し、動きベクトルを手振れベクトル
と判定する。そうでない時には、画面内の静止ブロック
の個数が多いものと判定し、画面内の対象物の動きから
この動きベクトルが派生したものと判定する。なお、度
数分布表作成回路９として、動きベクトルのサーチ領域
と等しい大きさの度数分布表を作成する代わりに、代表
点を中心とする（３×３）画素程度の領域の度数分布表
を作成するようにしても良い。

【００１５】動き量決定回路１０に対して絶対値積分回
路７からのフィールド間の動きベクトルを供給している
のは、前述のように、検出された動きベクトルの定常性
をチェックし、精度の向上を図るためである。また、動
き量決定回路１０では、動きベクトルと度数分布表とか
ら手振れベクトルを検出したことを示す状態信号が発生
する。この状態信号により、スイッチング回路ＳＷ１お
よびＳＷ２が制御される。

【００１６】若し、状態信号により、手振れベクトルを
検出したことが示される時には、スイッチング回路ＳＷ
１が入力端子ｂを選択すると共に、スイッチング回路Ｓ
Ｗ２が入力端子ｄを選択する。そうでないときは、スイ
ッチング回路ＳＷ１およびＳＷ２が入力端子ａおよびｃ
をそれぞれ選択する。このようにして、手振れベクトル
が検出されると、代表点メモリ３および５の更新が停止
され、最初に手振れベクトルが検出されたフレームの１
フレーム前の代表点が保存される。その結果、手振れベ
クトルが検出されてから以降の動きベクトル（手振れベ
クトル）の検出は、２フレーム間、３フレーム間、・・
・の差信号の絶対値を用いてなされる。このことは、検
出された手振れベクトルは、最早、１フレーム間の手振
れを示すものではなくて、手振れ補正量そのものである
ことを意味する。

【００１７】動き量決定回路１０の出力（手振れベクト
ル）が補正量発生回路１１に供給される。上述のように
、この手振れベクトルは、手振れ補正量と対応している
ので、補正量発生回路１１は、手振れベクトルを積分す
る必要がなく、回路が簡略化される。従って、補正量発
生回路１１を設けることは、必須ではない。但し、この
実施例のように、手振れ補正がフィールド単位でなされ
る時には、フレーム間の動き量をフィールド間の動き量
に変換するために、補正量発生回路１１において、フィ
ールドとフレームの時間差に対応するために動きベクト
ルが１／２とされる。

【００１８】補正量発生回路１１からの手振れ補正信号
がアドレス制御回路１２およびセレクト信号発生回路１
３に供給される。アドレス制御回路１２は、フィールド
メモリ２および周辺メモリ１６に対するアドレス信号を
発生する。フィールドメモリ２には、１フィールドの画
像が書き込まれ、補正量に応じてその読み出しアドレス
が制御される。従ってフィールドメモリ２からは、１フ
ィールドの入力ビデオデータが補正量に応じて移動され
たビデオデータが得られる。フィールドメモリ２の出力
がセレクタ１４に供給され、セレクタ１４の出力が出力
端子１５に取り出されると共に、周辺メモリ１６に供給
される。周辺メモリ１６の出力である周辺データがセレ
クタ１４に供給される。セレクタ１４は、セレクト信号
発生回路１３からのセレクト信号に応答して、手振れ補
正されたフィールドメモリ２からのビデオデータと周辺
メモリ１６に記憶されている周辺データとを選択する。

【００１９】図４Ａに示すように、フィールドメモリ２
に取り込まれた１フィールドの画像（その画枠を２１で
表す）の周辺部（一点鎖線の外側の領域）２２が周辺メ
モリ１６に格納される。周辺部２２の幅は、手振れ補正
の範囲を考慮して設定され、例えば約１０〜２０％程度
の幅に設定される。図４Ｂにおいて、画枠２１ａで示す
ように、手振れにより図４Ａの位置であるべき画像が図
面に向かって例えば右方向へ動いた時では、手振れ補正
量Ｖにより画像の全体が破線で示す位置に補正される。 このような場合には、撮像された画像中には、元々存在
していないために、移動後の画像の左側の斜線で示す部
分２３の画像が欠落する。この欠落部分２３が周辺メモ
リ１６に貯えられている対応する位置の画像に置換され
る。この置換は、アドレス制御回路１２によるアドレス
制御と、セレクタ１４の切り換え動作で実行される。ま
た、周辺メモリ１６には、撮像されたビデオデータ中の
欠落部分２３以外の周辺の画像データが書き込まれ、周
辺メモリ１６の内容が更新される。

【００２０】この発明においては、ビデオカメラの撮像
出力の手振れ補正をリアルタイムで行っても良く、また
、ＶＴＲにより記録されたものに対して手振れ補正を行
っても良い。ビデオカメラの撮像出力をリアルタイムで
補正する時には、手振れが生じたことを示すマーカーを
ビューファインダの画面内に表示することが好ましい。

【００２１】図５Ａに示すように、破線で示す画枠２１
が実際に撮像された画像であって、上述の手振れ補正に
よって実線で示す画像２１ｂのように、補正されている
ものとする。この場合では、図５Ｂに示すように、ビデ
オカメラのビューファインダ２４の画面内で、実際に撮
像している画枠２１のエッジと対応する位置に縦線のマ
ーカー２５が表示される。このマーカー２５を撮影者が
見て、手振れの方向および量或いは手振れ補正の方向お
よび量が判り、この手振れを補正する方向にビデオカメ
ラを動かす。上述の手振れ補正に加えて、撮影者の視覚
に基づいたフィードバックがかかるので、手振れの範囲
が補正範囲を超えてしまうことを未然にかなり防止でき
る。若し、手振れの表示をビューファインダに行わない
時には、手振れを補正できなくなるある時点で、画面が
急に動くことが生じる。マーカー２５としては、縦線に
限らず、矢印等を使用しても良い。

【００２２】

【発明の効果】この発明は、動きベクトルを手振れベク
トルとして判定した時に、フレーム間の差を検出する時
の以前の画素データの更新を停止するので、それ以降に
検出される手振れベクトルを手振れ補正量と対応させる
ことができる。従って、手振れベクトルを積分して手振
れ補正量に変換する必要がなくなり、回路構成の簡略化
を図ることができる。

【図面の簡単な説明】

【図１】この発明の一実施例のブロック図である。

【図２】この発明の一実施例のブロック分割を示す略線
図である。

【図３】この発明の一実施例の動きベクトルのサーチ範
囲を示す略線図である。

【図４】この発明の一実施例の手振れ補正の説明に用い
る略線図である。

【図５】ビデオカメラのビューファインダの画面になさ
れる手振れ表示の説明に用いる略線図である。

【符号の説明】

１　　　　ビデオデータの入力端子 ２　　　　フィールドメモリ ３　　　　１フィールド前の代表点データを記憶する代
表点メモリ ５　　　　２フィールド前の代表点データを記憶する代
表点メモリ ９　　　　度数分布表作成回路 １０　　動き量決定回路 ＳＷ１、ＳＷ２　　スイッチング回路

Claims (1)

【特許請求の範囲】
1. 【請求項１】　　フレーム差を検出することにより手振
   れの方向および量を示す手振れベクトルを検出するため
   の手段と、上記検出手段の出力信号に基づいて手振れを
   補正するための手段を有してなるビデオデータの手振れ
   補正装置において、上記検出手段は、１フレーム分の画
   像データを複数のブロックに分割した時に、各ブロック
   の代表点を記憶するメモリと、上記メモリに記憶された
   代表点データと現フレームのブロック内の画素データと
   を減算する減算手段とを少なくとも有し、上記検出手段
   で検出されたベクトルが手振れベクトルと判定された時
   には、メモリ出力を再度メモリに書き込むようにしたこ
   とを特徴とするビデオデータの手振れ補正装置。