JP5374220B2 - 動きベクトル検出装置およびその制御方法、ならびに撮像装置 - Google Patents

動きベクトル検出装置およびその制御方法、ならびに撮像装置 Download PDF

Info

Publication number
JP5374220B2
JP5374220B2 JP2009105608A JP2009105608A JP5374220B2 JP 5374220 B2 JP5374220 B2 JP 5374220B2 JP 2009105608 A JP2009105608 A JP 2009105608A JP 2009105608 A JP2009105608 A JP 2009105608A JP 5374220 B2 JP5374220 B2 JP 5374220B2
Authority
JP
Japan
Prior art keywords
motion vector
group
representative
determined
entire image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009105608A
Other languages
English (en)
Other versions
JP2010258710A5 (ja
JP2010258710A (ja
Inventor
賢一 宮迫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2009105608A priority Critical patent/JP5374220B2/ja
Priority to US12/762,888 priority patent/US8508599B2/en
Publication of JP2010258710A publication Critical patent/JP2010258710A/ja
Publication of JP2010258710A5 publication Critical patent/JP2010258710A5/ja
Application granted granted Critical
Publication of JP5374220B2 publication Critical patent/JP5374220B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/167—Detection; Localisation; Normalisation using comparisons between temporally consecutive images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Description

本発明は、動きベクトル検出装置およびその制御方法、ならびに撮像装置関し、特には、撮影された動画像のブレを補正するために用いる動きベクトルを検出する動きベクトル検出装置およびその制御方法、ならびに撮像装置に関する。
ビデオカメラといった、動画像を撮影する撮像装置においては、特にレンズを望遠側にズームしたときに、撮影された画像が手ぶれによりぶれることが問題となる。このような手ぶれによる画像のぶれを防止するために、従来より、撮影した画像信号から画像の動きベクトルを検出し、この動きベクトルに基づいて画像のぶれを補正する技術が提案されている。
画像の動きベクトルを検出する方法としては、従来より、相関演算に基づく相関法やブロックマッチング法などが知られている。ブロックマッチング法では、画像を所定サイズのブロック（例えば８画素×８画素）に分割する。そして、このブロック単位で前のフィールド（またはフレーム）の一定範囲の画素との差分を計算し、この差分の絶対値の和が最小となる前のフィールド（またはフレーム）のブロックを探索する。そして、現在のフィールド（またはフレーム）と、前のフィールド（またはフレーム）との相対的なずれが、探索されたブロックの動きベクトルを示している。
また、マッチング演算については、尾上守夫らにより、「情報処理Vol.17,No.7,p.634 〜640 July 1976」で詳しく論じられている。
次に、ブロックマッチング法を用いた従来の動きベクトル検出法の一例を、図面を用いて説明する。図２２は、従来の動きベクトル検出方法によりぶれを防止するための一例の構成を示す。動きベクトルの検出対象となる画像信号（フィールド画像信号とする）が画像メモリ１０１に供給され一時的に記憶されると共に、空間周波数成分を抽出するフィルタ１０２に供給される。フィルタ１０２は、画像信号から動きベクトル検出に有用な空間周波数成分を抽出する。すなわち、フィルタ１０２は、画像信号の空間周波数成分のうち低周波成分と高周波成分とを除去する。
フィルタ１０２を通過した画像信号は、２値化回路１０３に加えられる。２値化回路１０３は、画像信号を、ゼロレベルを基準として２値化する。具体的には、出力信号の符号ビットを出力する。２値化された画像信号は、相関演算回路１０４およびメモリ１０５に供給される。メモリ１０５は、画像信号を１フィールド期間だけ遅延させるためのものである。メモリ１０５から読み出された１フィールド前の画像信号は、相関演算回路１０４に供給される。
相関演算回路１０４は、ブロックマッチング法に従い、画像信号による画像領域を所定サイズのブロックに分割し、現フィールドと前フィールドとの相関演算をブロック毎に行う。相関演算により算出されたブロック毎の相関値は、動きベクトル検出回路１０６に供給される。動きベクトル検出回路１０６は、供給された相関値から、ブロック毎の動きベクトルを検出する。具体的には、相関値が最小となる前フィールドのブロックを探索し、その相対的なずれを動きベクトルとしている。
このブロック毎の動きベクトルは、動きベクトル決定回路１０７に供給される。動きベクトル決定回路１０７は、ブロック毎の動きベクトルから、フィールド画像全体の動きベクトルを決定する。具体的には、ブロック毎の動きベクトルの中央値または平均値を、フィールド画像全体の動きベクトルとしている。
動きベクトル決定回路１０７は、決定した全体の動きベクトルをメモリ読み出し制御回路１０８に供給する。メモリ読み出し制御回路１０８は、画像メモリ１０１に記憶されたフィールド画像信号を読み出して出力する。このとき、メモリ読み出し制御回路１０８は、動きベクトル決定回路１０７で決定された全体の動きベクトルに応じて、画像の動きが相殺されるように画像メモリ１０１の読み出し位置を制御する。これにより、ぶれが補正された画像信号が画像メモリ１０１から出力される。
ところで、上述の従来の方法では、画像中に移動被写体がある場合、例えばブロック毎に検出された動きベクトルの平均値を全体の動きベクトルにすると、画像中の移動被写体の動きが全体の動きベクトルに混入してしまうことになる。その結果、メモリ読み出し制御回路１０８の制御により、移動被写体が画面内の元の位置に止まるように画像メモリ１０１の読み出し位置が変化する。それにより、本来動きが無いはずである画面内の領域の位置が変化するため、画面内の画像が移動物に引っ張られたような動きをしてしまう。
この問題を解決するために、特許文献１には、各ブロック領域に対して、重み付けの係数を設定し、各重み係数と各ブロック領域のベクトル検出値から、画面全体の動きベクトルを算出するようにした技術が開示されている。特許文献１では、画面の中央は人などの移動する被写体が存在する可能性が高いため重み付けの係数を小さくし、画面の周辺部は重み付けの係数を大きくすることにより、移動する被写体に画面内の画像が引っ張られるような動きを回避している。
特開平０４−１８０３７０号公報
上述した特許文献１の方法では、例えば図２３（ａ）のように、主たる被写体２００（人物）の画面に占める割合が比較的小さければ、画面周辺部の背景領域の重み付け係数を大きくすることで、背景領域のぶれに近似した動きベクトルを算出できる。しかし、図２３（ｂ）に示すように、被写体２００の画面に占める割合が比較的大きければ、画面周辺部の領域では被写体２００と背景とが両方存在することになり、動きベクトル検出値の誤差が大きくなるという問題点があった。
したがって、本発明の目的は、撮像画像のぶれを補正するために用いる動きベクトルを、画面内の主たる被写体の状態に関わらず高精度に求めることができる動きベクトル検出装置およびその制御方法、ならびに撮像装置を提供することにある。
本発明は、上述した課題を解決するために、連続して撮像される画像のぶれを補正するために用いる、画像全体の動きベクトルを検出する動きベクトル検出装置であって、画像を所定サイズに分割したブロック毎に動きベクトルを検出する動きベクトル検出手段と、動きベクトル検出手段で検出された動きベクトルに基づき、ブロックのそれぞれをグループに分類する分類手段と、分類手段で分類されたグループに属するブロックの動きベクトルを代表する代表動きベクトルを算出する代表動きベクトル算出手段と、分類手段で分類されたグループが、第１のグループと、第１のグループに対して画像上で相対的に移動している第２のグループのいずれであるかを判定する第１の判定手段と、第１の判定手段により第２のグループと判定されたグループに含まれるブロックの数が閾値を超えていれば、画像全体の動きベクトルとして第２のグループに対応する代表動きベクトルを選択し、第２のグループに含まれるブロックの数が閾値を超えていなければ、画像全体の動きベクトルとして第１のグループに対応する代表動きベクトルを選択する選択手段とを有することを特徴とする動きベクトル検出装置である。
本発明は、撮像画像のぶれを補正するために用いる動きベクトルを、画面内の主たる被写体の状態に関わらず高精度に求めることができる。
本発明に適用可能な撮像装置の一例の構成を示すブロック図である。 本発明に係る動きベクトル検出部の一例の構成を示すブロック図である。 動きベクトル分類部における処理を説明するための図である。 動きベクトル分類部における処理を説明するためのヒストグラムである。 度数分布に基づくベクトル検出領域のグループ分類を説明するための図である。 度数分布に基づくベクトル検出領域のグループ分類を説明するための図である。 本発明の第１の実施形態による全体動きベクトルの算出処理を示す一例のフローチャートである。 動きベクトル分類部で検出された各ベクトルに対する第１の判定方法による判定処理を説明するための図である。 動きベクトル分類部で検出された各ベクトルに対する第２の判定方法による判定処理を説明するための図である。 動きベクトル分類部で検出された各ベクトルに対する第２の判定方法による判定処理を説明するためのヒストグラムである。 本発明の第１の実施形態による処理結果をより具体的に説明するための図である。 本発明の第１の実施形態による処理結果をより具体的に説明するためのヒストグラムである。 本発明の第１の実施形態による処理結果をより具体的に説明するための図である。 本発明の第１の実施形態による処理結果をより具体的に説明するためのヒストグラムである。 本発明の第２の実施形態による全体動きベクトルの算出処理を示す一例のフローチャートである。 本発明の第３の実施形態による全体動きベクトルの算出処理を示す一例のフローチャートである。 本発明の第３の実施形態の変形例による全体動きベクトルの算出処理を示す一例のフローチャートである。 本発明の第４の実施形態による全体動きベクトルの算出処理を示す一例のフローチャートである。 第１のグループ選択の一例の処理を示すフローチャートである。 第２のグループ選択の一例の処理を示すフローチャートである。 本発明の第４の実施形態の変形例による全体動きベクトルの算出処理を示す一例のフローチャートである。 従来の動きベクトル検出方法によりぶれを防止するための一例の構成を示すブロック図である。 従来技術の問題点を説明するための図である。
＜第１の実施形態＞
以下、本発明の第１の実施形態を、図面を参照しながら説明する。図１は、本発明に適用可能な撮像装置１の一例の構成を示す。撮像装置１は、例えば、連続して撮像される撮像画像の一例としての動画像の撮影を行うデジタルビデオカメラである。
図１において、撮像光学系１１は、レンズおよび絞りなどを含む。撮像手段としての固体撮像素子１２は、ＣＣＤやＣＭＯＳセンサなどであって、撮像光学系１１を介して入射された光を撮像信号に変換して出力する。駆動部２１は、撮像光学系１１が含むズームレンズ、フォーカスレンズおよび絞りなど（図示しない）をシステム制御部２２の制御に従い駆動する。駆動部２３は、システム制御部２２の制御に従い固体撮像素子１２を駆動する。信号処理部１３は、固体撮像素子１２から出力されたアナログ画像信号に対して、ノイズ除去、ゲイン制御、Ａ／Ｄ変換、ガンマ補正およびホワイトバランス補正など必要な信号処理を行い、画像データとして出力する。
動きベクトル検出部１４は、信号処理部１３で信号処理された画像データから、動きベクトルを検出する。顔検出部２４は、信号処理部１３から出力された画像データから顔を検出する。画像メモリ１６は、信号処理部１３から出力された画像データを記憶する。ぶれ補正手段としてのメモリ読み出し制御部１５は、動きベクトル検出部１４により検出された動きベクトルに基づき画像メモリ１６からの画像データの読み出しを制御する。これにより、後述する記録媒体１８に記録される画像データや、表示デバイス２０に表示される画像データの範囲が決められる。
記録手段としての記録部１７は、画像メモリ１６から読み出された画像データを記録媒体１８に記録する。このとき、記録部１７は、画像データに対して所定の方式により圧縮符号化を施し、圧縮符号化された圧縮画像データを記録媒体１８に記録する。記録媒体１８としては、不揮発性の半導体メモリやハードディスク、光ディスクなどを適用することができる。表示部１９は、画像メモリ１６から読み出された画像データを表示デバイス２０の表示解像度に合わせて解像度変換し、表示デバイス２０に表示させる。
システム制御部２２は、例えばＣＰＵ、ＲＯＭおよびＲＡＭを有し、ＲＯＭに予め記憶されたプログラムに従い、ＲＡＭをワークメモリとして用いて、この撮像装置１の各部を制御する。
次に、上述のような構成の撮像装置１における一例の撮影動作について説明する。駆動部２１は、システム制御部２２からの制御信号に基づいて、撮像光学系１１内のズームレンズ、フォーカスレンズ、絞りを駆動して、被写体像を撮像素子１２上に結像させる。撮像素子１２は、システム制御部２２により制御される駆動部２１が発生する駆動パルスにより駆動され、被写体像を光電変換して電気信号に変換し、アナログ画像信号を出力する。
撮像素子１２から出力されたアナログ画像信号は、信号処理部１３に供給され、信号処理部１３が有するＡ／Ｄ変換器でデジタル画像信号に変換される。信号処理部１３は、システム制御部２２の制御に従い、デジタル画像信号に対して、色変換処理、ホワイトバランス補正処理、ガンマ補正処理などの画像処理を行う。画像メモリ１６は、信号処理部１３で信号処理中のデジタル画像信号を一時的に記憶したり、信号処理されたデジタル画像信号である画像データを記憶するために用いられる。
動きベクトル検出部１４は、本発明に係る動きベクトル検出装置としての処理を行う部分で、信号処理部１３で信号処理された画像データから動きベクトルを検出し、動きベクトル情報として出力する。動きベクトル検出部１４における動きベクトル検出処理の詳細については、後述する。メモリ読み出し制御部１５は、動きベクトル検出部１４により検出された動きベクトル情報に基づいて画像メモリ１６からの画像データの読み出しを制御し、画像ぶれが補正されるように、記録または表示する画像データの範囲を決定する。
顔検出手段としての顔検出部２４は、信号処理部１３で信号処理された画像データから顔を検出し、画像データ上での顔の位置を算出する。算出された画像データ上の顔の位置は、画像データと共に、顔検出枠として表示部１９により表示デバイス２０に表示させることができる。
なお、顔検出部２４での顔検出には、公知の顔検出技術を利用できる。公知の顔検出技術としては、ニューラルネットワークなどを利用した学習に基づく手法、テンプレートマッチングを用いて目、鼻、口等の形状に特徴のある部位を画像から探し出し、類似度が高ければ顔とみなす手法などがある。また、他にも、肌の色や目の形といった画像特徴量を検出し、統計的解析を用いた手法等、多数提案されている。一般的にはこれらの手法を複数組み合わせ、顔検出の精度を向上させている。具体的な例としては特開２００２−２５１３８０号公報に記載のウェーブレット変換と画像特徴量を利用して顔検出する方法などが挙げられる。
信号処理部１３で信号処理され画像メモリ１６に記憶されている画像データは、記録部１７において、記録媒体１８への記録に適したデータに変換されて記録媒体１８に記録される。例えば、記録部１７は、供給された画像データを、例えば階層構造を持つファイルシステムによるファイルに格納して、記録媒体１８に記録する。
また、画像メモリ１６から読み出された画像データは、表示部１９において表示デバイス２０の表示解像度に合わせて解像度変換される。表示部１９は、さらに、解像度変換された画像データを、表示デバイス２０に適した信号、例えばＮＴＳＣ方式のアナログ画像信号に変換して表示デバイス２０に供給する。
図２は、上述した、本発明に係る動きベクトル検出部１４の一例の構成を示す。信号処理回路から出力された例えばフィールド画像による画像データは、画像メモリ１６に記憶されると共に、フィルタ３３に供給される。フィルタ３３は、画像データから、空間周波数の低周波成分と高周波成分とを除去し、動きベクトル検出に有用な空間周波数成分を抽出する。フィルタ３３から出力された画像データは、２値化部３４で例えばゼロレベルを基準として２値化され、相関演算部３５に供給されると共に、メモリ３６に記憶される。メモリ３６は、画像データを１フィールド分遅延させるためのものである。
相関演算部３５は、ブロックマッチング法に従い、画像データによる画像領域を、例えば８画素×８画素といった所定サイズのブロックに分割し、現フィールドと前フィールドとの相関演算をブロック毎に行う。相関演算により算出された相関値は、動きベクトル検出部３７に供給される。動きベクトル検出手段としての動きベクトル検出部３７は、供給された相関値からブロック毎の動きベクトルを検出する。具体的には、相関値が最小となる前フィールドのブロックを探索し、その相対的なずれを動きベクトルとしている。
動きベクトル検出部３７で検出されたブロック毎の動きベクトルは、分類手段としての動きベクトル分類部３０に供給される。動きベクトル分類部３０は、供給されたブロックを、Ｘ方向（画面の水平方向）およびＹ方向（画面の垂直方向）それぞれの動きベクトル値に基づきグループに分類する。動きベクトル分類部３０で分類されたブロックの動きベクトル値は、動きベクトル演算部３１に供給される。
代表動きベクトル算出手段としての動きベクトル演算部３１は、動きベクトル分類部３０で分類されたグループ毎に、グループとしての代表動きベクトルを求める。代表動きベクトルは、例えば動きベクトル値の出現頻度のヒストグラムを取ったときの、グループ内で最大度数を持つ階級の階級値を用いることができる。これに限らず、グループに属する全てのベクトル検出領域で検出された動きベクトル値の平均値を、グループとしての代表動きベクトルとして用いることもできる。
動きベクトル演算部３１で求められたグループ毎の代表動きベクトルは、第１の判定手段、第２の判定手段および選択手段としての動きベクトル制御部３２に供給される。動きベクトル制御部３２には、さらに、顔検出部２４から顔検出情報が供給される。動きベクトル制御部３２は、これらグループ毎の代表動きベクトルと、顔検出情報とを用いて、画面全体すなわち１フィールドの画像全体での動きベクトル（全体動きベクトルと呼ぶ）を算出する。
動きベクトル制御部３２で算出された全体動きベクトルは、メモリ読み出し制御部１５に供給される。メモリ読み出し制御部１５により、この全体動きベクトルに基づき画像メモリ１６に記憶される画像データの読み出しを制御することで、手ぶれ補正を行うことができる。
次に、上述した動きベクトル分類部３０における処理について、より詳細に説明する。先ず、相関演算部３５および動きベクトル検出部３７において、図３（ａ）に例示されるように、撮影され入力された画像データによる画面を、所定サイズのブロックに分割する。そして、図３（ｂ）に例示されるように、ブロック毎に動きベクトルを検出する。以下、この動きベクトルを検出するためのブロックを、ベクトル検出領域と呼ぶ。
動きベクトル分類部３０は、このベクトル検出領域毎の動きベクトルから、動きベクトルの大きさに関する度数分布を、画面の水平および垂直方向にそれぞれについて求める。図４は、こうして求めた度数分布の例を示すヒストグラムである。図４（ａ）が画面の水平方向（Ｘ方向）について求めた度数分布をプロットしたヒストグラムの例、図４（ｂ）が画面の垂直方向（Ｙ方向）について求めた度数分布をプロットしたヒストグラムの例である。
より具体的には、動きベクトル分類部３０は、動きベクトルの大きさについて、所定の範囲毎に区切って階級を設定する。そして、動きベクトル検出部３７で検出された動きベクトルの大きさに基づき、ベクトル検出領域が何れの階級に属するかを判定し、判定結果に応じてベクトル検出領域を階級に分類し、当該階級に対して度数を加算する。この処理を、画面内の全てのベクトル検出領域について、画面の水平および垂直方向に対してそれぞれ行う。
図３（ｂ）の例によれば、画面が４０個のベクトル検出領域に分割されているので、画面内の動きベクトルとして、合計で４０個の動きベクトルが検出される。すなわち、画面内の度数の合計は、４０である。この４０の度数を、動きベクトルの大きさに基づき階級に振り分けて階級毎に加算することで、各階級におけるベクトル検出領域の度数（頻度）を得ることができる。なお、それぞれ範囲を持つ階級の階級値としては、その階級の上限値と下限値の中間値を用いればよい。
動きベクトル分類部３０は、動きベクトルの度数分布に基づき、各ベクトル検出領域をさらにグループに分類する。この度数分布に基づくベクトル検出領域のグループ分類について、図５および図６を用いて説明する。図５（ａ）に示すように、画面内に存在する主たる被写体４２（斜線を付して示す）がフィールド間で移動した場合について考える。この場合、図５（ｂ）に例示されるように、主たる被写体４２が含まれるベクトル検出領域による領域４３内の動きベクトルは、領域４３以外のベクトル検出領域の動きベクトルとは異なったものとなる。例えば、この図５の例では、領域４３が画面の右上方向に移動し、領域４３以外の部分が画面の左上方向に移動している。なお、以下では、主たる被写体が含まれるベクトル検出領域による領域を、主被写体領域と呼ぶ。
このとき、例えば画面水平方向における動きベクトルの大きさに基づく度数分布は、図６にヒストグラムで例示されるように、２つのピークが存在する形となる。このとき、１つのピークを構成する度数が属する階級に基づき、グループを形成する。図６の例では、領域４３以外の部分による、画面の左上方向に移動する動きベクトルの度数のピークに基づくグループ＃１と、領域４３による、画面の右上方向に移動する動きベクトルの度数のピークに基づくグループ＃２とが形成される。
図５（ａ）および図５（ｂ）と、図６とを対比させることで、グループ＃２が被写体４２が含まれる領域４３の動きベクトルに基づくグループで、グループ＃１が領域４３以外（背景領域）の動きベクトルに基づくグループであることが理解できる。しかしながら、データ上では、分離され得る２つのグループが検出できたに過ぎない。すなわち、データ上では、グループ＃１および＃２の何れが手ぶれのみの動きベクトルに基づくグループであり、何れが手ぶれに被写体の動きベクトルが重畳された動きベクトルに基づくグループであるかは分からない。動きベクトルに基づくグループが手ぶれのみの動きベクトルを表すグループか、手ぶれに被写体の動きが重畳された動きベクトルに基づくグループかを判断する方法については、後述する。
検出された動きベクトルに基づきベクトル検出領域をグループに分類する方法について、より具体的に説明する。動きベクトル分類部３０は、図６のようにして得られた動きベクトルの度数分布に対し、階級４０３および４０５のような極値（ピーク）を探索する。ここで、動きベクトル分類部３０は、予め決められた閾値ｐより大きい度数をグループ分類に際して有効な度数とし、この閾値ｐより大きく、且つ、両隣の所定範囲の階級の度数よりも大きい度数を、極値として検出するものとする。
さらに、動きベクトル分類部３０は、極値が複数見つかった場合、互いに隣り合う極値について、極値に対応する階級間の距離Ｄを求める。そして、この距離Ｄが予め決めれらた閾値ｃを超えるものであるか否かを判定する。ここで、距離ｃは、動きベクトル検出部３７による動きベクトル検出誤差よりも大きな値に設定される。
若し、求められた距離Ｄが予め決められた閾値ｃを超えていれば、それぞれの極値を構成する度数が属する階級が互いに別グループを形成すると判定する。一方、求められた距離Ｄが予め決められた閾値ｃを超えていないとされれば、それぞれの極値を構成する度数が属する階級は、同一のグループを形成すると判定する。
図６の例では、度数が閾値ｐより大きな、グループ分類に際して有効な度数を有する階級を、階級４０１〜４０５として検出する。そして、両隣の階級より大きな度数を持つ階級４０３および４０５を、極値として検出する。さらに、極値として検出された階級４０３および４０５の間の距離は、距離Ｄであって、閾値ｃより大きいので、階級４０３および４０５は、それぞれ別のグループに分類されると判定できる。
さらに、極値である階級４０３に隣接する階級４０２は、度数が閾値ｐを超えるため有効であり、且つ、階級４０３との距離が閾値ｃを超えないので、階級４０３と同一のグループ＃１に分類される。これは、階級４０３に隣接する階級４０１についても、同様である。また、極値を取る階級４０５に隣接する階級４０４は、度数が閾値ｐを超えるため有効であり、且つ、階級４０５との距離が閾値ｃを超えないので、階級４０５と同一のグループ＃２に分類される。
このようにして、動きベクトル分類部３０では、各ベクトル検出領域が、各ベクトル検出領域毎に検出された動きベクトルに基づき１つ以上のグループに分類される。動きベクトル分類部３０で得られた各グループの情報は、例えば動きベクトル検出部１４が有する図示されないメモリなどに保持される。グループの情報は、例えばグループを識別する識別情報、グループに含まれるベクトル検出領域を示す情報（座標情報など）、当該ベクトル検出領域の動きベクトルを示す情報などからなる。
次に、上述した動きベクトル演算部３１における処理について説明する。動きベクトル演算部３１では、動きベクトル分類部３０にて定められたグループ毎に、グループとしての代表動きベクトルを求める。代表動きベクトルは、各グループの中で最も大きな度数を持つ階級の階級値とする。また、グループに属する全てのベクトル検出領域で検出された動きベクトルの値の平均値を、グループとしての代表動きベクトルとしても良い。
＜第１の実施形態による全体動きベクトル算出処理＞
次に、動きベクトル制御部３２における処理について、より詳細に説明する。上述したように、動きベクトル制御部３２では、画面全体すなわち１フィールドの画像全体の動きベクトル（全体動きベクトル）を算出する。動きベクトル制御部３２は、動きベクトル分類部３０でのグループ分類の結果と、動きベクトル演算部３１で算出された各グループの代表ベクトル値と、顔検出部２４で検出された顔検出情報などを用いて、全体動きベクトルを算出する。
図７は、本発明の第１の実施形態による全体動きベクトルの算出処理を示す一例のフローチャートである。図７のフローチャートにおける各処理は、システム制御部２２の制御に従い動きベクトル制御部３２により実行される。
先ず、ステップＳ１０で、動きベクトル制御部３２は、動きベクトル分類部３０が現在の画像データ、すなわち、現フィールドの画像データにおいて複数個のグループを検出したか否かを判定する。若し、検出されたグループが１つであると判定された場合は、処理はステップＳ１１に移行され、検出されたグループの代表動きベクトルを全体動きベクトルとして採用する。そして、次のフィールド画像に対する処理が開始される（図示しない）。
一方、ステップＳ１０で、動きベクトル分類部３０にて検出されたグループが複数個存在すると判定された場合は、処理はステップＳ１２に移行される。ステップＳ１２で、動きベクトル制御部３２は、動きベクトル分類部３０で検出された各グループが背景領域のベクトル検出領域によるものか、主被写体領域のベクトル検出領域によるものかの判定を行う。
＜判定処理の第１の方法＞
ステップＳ１２での判定処理の第１の方法について、詳細に説明する。ここで、現フィールド画像が上述した図５（ａ）に例示するものであって、図５（ｂ）のように各ベクトル検出領域における動きベクトルが検出され、図６に示されるように、各ベクトル検出領域がグループ＃１および＃２に分類されたものとする。ステップＳ１２において、動きベクトル制御部３２は、図８（ａ）に例示されるように、各ベクトル検出領域の画面内における座標を定義する。
次に、動きベクトル制御部３２は、各グループ＃１および＃２のそれぞれについて、属するベクトル検出領域の重心座標（ＧＸ,ＧＹ）と、各ベクトル検出領域の座標の重心座標に対するばらつきを示すばらつき値Ｚとを求める。Ｘ方向（画面水平方向）のグループの重心座標ＧＸは、グループに属する各ベクトル検出領域のＸ方向の座標Ｘの平均値とする。Ｙ方向（画面垂直方向）のグループの重心座標ＧＹについても、同様とする。
一例として、上述の図６におけるグループ＃２に属するベクトル検出領域は、図８（ｂ）に斜線で示す領域５０に含まれる６個のベクトル検出領域となる。すなわち、領域５０に含まれるブロック数は６個である。各ベクトル検出領域の座標を、下記に示す。
領域＃１：（Ｘ3,Ｙ1）
領域＃２：（Ｘ3,Ｙ2）
領域＃３：（Ｘ3,Ｙ3）
領域＃４：（Ｘ4,Ｙ1）
領域＃５：（Ｘ4,Ｙ2）
領域＃６：（Ｘ4,Ｙ3）
グループ＃２のＸ方向の重心座標ＧＸ02は、下記の式（１）に示されるように、各ベクトル検出領域のＸ座標の値を加算してベクトル検出領域数で除して求められる。
ＧＸ02＝(Ｘ3＋Ｘ3＋Ｘ3＋Ｘ4＋Ｘ4＋Ｘ4)／６ …（１）
グループ＃２のＹ方向の重心座標ＧＹ02も同様にして、下記の式（２）で求められる。
ＧＹ02＝(Ｙ1＋Ｙ2＋Ｙ3＋Ｙ1＋Ｙ2＋Ｙ3)／６ …（２）
また、各ベクトル検出領域の座標の重心座標に対するばらつき値Ｚは、以下のように求める。ベクトル検出領域毎に、Ｘ座標と当該グループのＸ方向の重心座標ＧＸとの差の二乗と、Ｙ座標と当該グループのＹ方向の重心座標ＧＹとの差の二乗とを加算して、加算結果のグループ内での平均値をばらつき値Ｚとして求める。
グループ＃２のばらつき値Ｚ02は、下記の式（３）で求められる。
Ｚ02＝[{(Ｘ3−ＧＸ02)2＋(Ｙ1−ＧＹ02)2}＋
{(Ｘ3−ＧＸ02)2＋(Ｙ2−ＧＹ02)2}＋{(Ｘ3−ＧＸ02)2＋(Ｙ3−ＧＹ02)2}＋
{(Ｘ4−ＧＸ02)2＋(Ｙ1−ＧＹ02)2}＋{(Ｘ4−ＧＸ02)2＋(Ｙ2−ＧＹ02)2}＋
{(Ｘ4−ＧＸ02)2＋(Ｙ3−ＧＹ02)2}]／６ …（３）
上述では、図６のグループ＃２について、重心座標(ＧＸ02,ＧＹ02)とばらつき値Ｚ02とを求めたが、グループ＃１の重心座標(ＧＸ01,ＧＹ01)とばらつき値Ｚ01も、同様にして求められる。
ここで、図６（ｂ）の例では、グループ＃１よりグループ＃２の占める領域の方が小さいことから明らかなように、グループ＃１とグループ＃２のばらつきを示す値の大小関係は、Ｚ02＜Ｚ01となる。通常の撮影では、人物など撮影の目的となるべき主たる被写体（主被写体と呼ぶ）が画面の中央に位置するように撮影が行われると考えられる。そのため、撮影画面から検出された２つのグループのうち、上述の、ばらつきを示す値Ｚの小さい方が主たる被写体の被写体画像による主被写体領域である可能性が高い。したがって、ばらつきを示す値Ｚが小さいグループ＃２が、主被写体領域のグループであると判定することができる。
動きベクトル制御部３２は、動きベクトル分類部３０で求められた各グループの情報に基づき、上述の式（１）〜式（３）の演算をグループ＃１およびグループ＃２について行う。そして、演算の結果得られたグループ＃１およびグループ＃２それぞれのばらつき値Ｚ01およびばらつき値Ｚ02を比較することで、グループ＃１およびグループ＃２のうち何方が主被写体領域のグループであるかを判定する。
なお、式（１）〜（３）に示したばらつきを示す値の計算方法は一例であり、他の方法を用いても問題ない。例えば、複数グループそれぞれのベクトル検出領域の４隅の座標を直線で結び四角形を作成し、その四角形の４辺の和を、ばらつき値Ｚとして採用してもよい。
＜判定処理の第２の方法＞
図７のステップＳ１２での判定処理の第２の方法について、詳細に説明する。ここで、現フィールド画像が図９（ａ）に例示するものであって、画面中央部に人物である主被写体６０が存在しているものとする。また、この現フィールド画像の画像データに対して顔検出部２４で顔検出が行われ、検出された顔の位置が算出される。顔位置の算出結果を、図９（ａ）に顔検出枠６１として太枠表示して示す。
図９（ｂ）は、図９（ａ）で示した現フィールド画像の各ベクトル検出領域について、動きベクトル検出部３７で検出された動きベクトルの例を示す。図９（ａ）における主被写体６０が背景に対して移動している場合、図９（ｂ）に斜線を付して示す、主被写体６０が含まれる主被写体領域６２の動きベクトルは、画面内の他の領域の動きベクトルとは異なるものとなる。このとき、例えばＸ方向における動きベクトルの値に基づく度数分布は、図１０のヒストグラムに例示するように、グループ＃１１およびグループ＃１２の２つ極値が存在する形となる。図９（ｂ）を参照することで、グループ＃１２が主被写体領域６２の動きベクトルに基づき、グループ＃１１が主被写体領域６２以外、すなわち、背景領域における背景画像の動きベクトルに基づくことが分かる。
図９（ｂ）の太枠で示す領域６３は、図９（ａ）に示される顔検出枠６１の内部を含むベクトル検出領域である。このうち、背景領域であるグループ＃１１に属するベクトル検出領域は２個であり、主被写体領域６２であるグループ＃１２に属するベクトル検出領域は４個である。顔検出枠６１の内部と共有する部分を持つベクトル検出領域の数が多い方が、主被写体領域である可能性が高いので、グループ＃１２が主被写体領域のグループであると判定することができる。
動きベクトル制御部３２は、動きベクトル分類部３０で求められた各グループの情報と、顔検出部２４で検出された顔の位置情報とに基づき、主被写体領域のグループを特定する。すなわち、動きベクトル制御部３２は、グループ＃１１およびグループ＃１２それぞれについて、各グループに含まれるベクトル検出領域と、顔検出枠６１を含むベクトル検出領域との重複部分を検出する。そして、グループ＃１１およびグループ＃１２のうち、当該重複部分の大きい方を、主被写体領域のグループであると判定する。
以上のように、顔検出機能を利用することによって、動きベクトル分類部３０にて検出されたグループが複数個存在し、且つ、主被写体が人である場合に、背景領域と主被写体領域の判別を容易に行うことができる。
なお、上述では、背景に対して移動する被写体が１種類であるものとして説明したが、実際の撮影においては、背景に対して移動する被写体が複数存在することも有り得る。本第１の実施形態では、このような場合、画面内に存在する複数の被写体のうち、最も画面上に占める割合の大きい被写体を主たる被写体とし、他の被写体領域のベクトル検出値については処理の対象としない。つまり、背景に対して移動する被写体が画面内に複数、存在する場合でも、処理の対象となる被写体が１種類しか存在しないと見做すものとする。
例えば、現フィールドの画像においてベクトル検出領域が３以上のグループに分類された場合、上述の判定処理の第１の方法では、ばらつき値Ｚが最も大きいグループを背景グループとし、背景グループ以外のグループを被写体グループとする。そして、複数の被写体グループについて、グループに含まれる階級における度数の総和を比較して、最も大きな値を得た被写体グループを処理の対象（処理する被写体グループ）とすることが考えられる。この場合、他の被写体グループ（第３のグループ）については処理対象としない。
また例えば、上述の判定処理の第２の方法では、顔領域を含むベクトル検出領域の数が最も少ないグループを背景グループとし、背景グループ以外のグループを被写体グループとする。そして、複数の被写体グループについて、グループに含まれる階級における度数の総和を比較して、最も大きな値を得た被写体グループを処理の対象（処理する被写体グループ）とすることが考えられる。この場合も、他の被写体グループ（第３のグループ）については処理対象としない。
説明は図７のフローチャートに戻り、ステップＳ１２で主被写体領域のグループが判定されたら、処理はステップＳ１３に移行される。ステップＳ１３では、ステップＳ１２で主被写体領域であると判定されたグループ（主被写体グループと呼ぶ）に属するベクトル検出領域の数が、予め設定された閾値ｔｈ0より大きいか否かの判定を行う。
若し、主被写体グループに属するベクトル検出領域の数が閾値ｔｈ0より大きいと判定されたら、処理はステップＳ１４に移行される。ステップＳ１４では、主被写体グループの代表動きベクトルを、全体動きベクトルとして採用する。
一方、ステップＳ１３で、主被写体グループに属するベクトル検出領域の数が閾値ｔｈ0よりも大きくない（閾値以下）と判定されたら、処理はステップＳ１５に移行される。ステップＳ１５では、背景領域によるグループ（以下、背景グループと呼ぶ）の代表動きベクトルを、全体動きベクトルとして採用する。そして、次のフィールド画像に対する処理が開始される（図示しない）。
一例として、図１１（ａ）に示すように、画面内に占める割合が比較的小さい主被写体７０が現フィールド画像の中央部分に存在している場合について考える。この場合において、当該現フィールド画像における動きベクトル検出結果は、図１１（ｂ）に示されるように、画面の中央部分の６個のベクトル検出領域からなる領域７１と、それ以外の領域とで異なっているものとする。当該動きベクトル検出結果による動きベクトルの値に基づく度数分布は、図１２のヒストグラムに例示するように、背景領域によるグループ＃２１と、主被写体領域によるグループ＃２２との２つの極値が存在する形となる。
このような場合において、動きベクトル制御部３２により、例えば主被写体領域によるグループ＃２２に属するベクトル検出領域の数が閾値ｔｈ0以下であると判定され、背景領域であるグループ＃２１の動きベクトルを精度良く算出することができる。
別の例として、図１３（ａ）に示すように、画面内に占める割合が比較的大きい主被写体７５が現フィールド画像の中央部分に存在している場合について考える。この図１３（ａ）に示すように、主被写体の画面に占める割合が比較的大きいときは、撮影者が被写体を画面の中央に収めるように撮影していることが多い。そのため、背景領域の動きベクトル検出値を用いるよりも、主被写体領域のみの動きベクトル検出値を用いて、主被写体が画面内の元の位置に留まるように画像メモリの読み出し位置を変化させた方が、防振効果が高い映像を得ることができる。
この場合において、当該現フィールド画像における動きベクトル検出結果は、図１３（ｂ）に示されるように、画面中央部分の２６個のベクトル検出領域からなる領域７６と、それ以外の領域とで異なっているものとする。当該動きベクトル検出結果による動きベクトルの値に基づく度数分布は、図１４のヒストグラムに例示するように、背景領域によるグループ＃３１と、主被写体領域によるグループ＃３２の２つの極値が存在する形となる。
このような場合において、動きベクトル制御部３２により、例えば主被写体領域によるグループ＃３２に属するベクトル検出領域の数が閾値ｔｈ0より大きいと判定され、主被写体領域であるグループ＃３２の動きベクトルを精度良く算出することができる。
上述したように、本発明の第１の実施形態によれば、主被写体の画面に占める割合が比較的大きい場合であっても、背景領域と主被写体領域とを適切に検出することができ、精度の高い動きベクトル値を算出することが可能となる。
＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。本第２の実施形態では、過去、例えば１フィールド前の画像データにおいて、背景領域によるグループ（背景グループ）を全体動きベクトルを算出するグループとして選択したか否かを判定する。そして、この判定結果に基づき、全体動きベクトルを背景領域および主被写体領域の何れを用いて算出するかを判定する際の閾値を設定する。
なお、本第２の実施形態では、第１の実施形態で説明した撮像装置１および動きベクトル検出部１４の構成をそのまま適用できる。また、動きベクトル検出部１４における、フィルタ３３から動きベクトル演算部３１に至る処理も、第１の実施形態で説明した処理と同一であるので、ここでの説明を省略する。
図１５は、本第２の実施形態による全体動きベクトルの算出処理を示す一例のフローチャートである。図１５のフローチャートにおける各処理は、システム制御部２２の制御に従い動きベクトル制御部３２により実行される。
図１５のフローチャートにおいて、ステップＳ２０〜ステップＳ２２の処理は、図７のフローチャートにおけるステップＳ１０〜ステップＳ１２の処理と同様である。すなわち、ステップＳ２０で、動きベクトル制御部３２は、動きベクトル分類部３０が現在の画像データ、すなわち、現フィールドの画像データにおいて複数個のグループを検出したか否かを判定する。若し、検出されたグループが１つであると判定された場合は、処理はステップＳ２１に移行され、検出されたグループの代表動きベクトルを全体動きベクトルとして採用する。そして、次のフィールド画像に対する処理が開始される（図示しない）。
一方、ステップＳ２０で、動きベクトル分類部３０にて検出されたグループが複数個存在すると判定された場合は、処理はステップＳ２２に移行される。そして、図８〜図１４を用いて説明した方法により、動きベクトル分類部３０で検出された各グループが背景領域のベクトル検出領域によるものか、主被写体領域のベクトル検出領域によるものかの判定を行う。
ステップＳ２２での判定処理が終了すると、処理は次のステップＳ２３に移行される。ステップＳ２３では、過去の画像データにおいて、動きベクトル分類部３０にて検出された複数個のグループのうち、背景グループを全体動きベクトルを算出するグループとして選択したか否かが判定される。過去の画像データは、例えば処理中の画像データに対して時間的に直前の、１フィールド前の画像データである。なお、過去の画像データにおいて、動きベクトル分類部３０にて複数のグループが存在すると判定されていなかった場合は、背景グループを全体動きベクトルを算出するグループとして選択していたと見做す。
若し、ステップＳ２３において、背景グループが選択されていたと判定された場合は、処理はステップＳ２４に移行され、第１の値ｔｈ1を、後述するステップＳ２６で用いる閾値ｔｈに設定する。
一方、ステップＳ２３において、背景グループが選択されていなかった、すなわち、主被写体グループが選択されていたと判定された場合は、処理はステップＳ２５に移行される。ステップＳ２５では、第１の値ｔｈ1より小さい第２の値ｔｈ2を、後述するステップＳ２６で用いる閾値ｔｈに設定する。
ステップＳ２４またはステップＳ２５で閾値ｔｈが設定されると、処理はステップＳ２６に移行される。ステップＳ２６では、ステップＳ２２で主被写体領域であると判定された主被写体グループに属するベクトル検出領域の数が、ステップＳ２４またはステップＳ２５で設定された閾値ｔｈより大きいか否かの判定を行う。
若し、主被写体グループに属するベクトル検出領域の数が閾値ｔｈより大きいと判定されたら、処理はステップＳ２７に移行される。ステップＳ２７で、動きベクトル制御部３２は、主被写体グループの代表動きベクトルを画面全体の動きベクトルとして採用する。
一方、ステップＳ２６で、主被写体グループに属するベクトル検出領域の数が閾値ｔｈよりも大きくないと判定されたら、処理はステップＳ２８に移行される。ステップＳ２８では、背景グループの代表動きベクトルを全体動きベクトルとして採用する。そして、次のフィールド画像に対する処理が開始される（図示しない）。
本第２の実施形態では、上述したステップＳ２４またはステップＳ２５において閾値ｔｈに設定するための第１の値ｔｈ1および第２の値ｔｈ2の関係を、第１の値ｔｈ1＞第２の値ｔｈ2となるようにしている。
これにより、過去の画像データにおいて背景グループを選択している場合に、現在の画像データでも背景グループが選択され易くなる。そして、主被写体領域に属する動きベクトル検出領域の数が閾値ｔｈ1を一旦超え、主被写体グループが選択されたら、閾値ｔｈが閾値ｔｈ1より小さい値の閾値ｔｈ2に変更される。これにより、主被写体グループが選択され易い状態となる。
したがって、全体動きベクトルとして用いるグループが主被写体グループと背景グループとで頻繁に切り替わるのが抑制される。そのため、例えば主被写体領域と背景領域とでベクトル検出領域の数の差が小さい場合に、違和感のある映像になることを防止することができる。
＜第３の実施形態＞
次に、本発明の第３の実施形態について説明する。本第３の実施形態では、背景グループの代表動きベクトルと、主被写体領域のグループの代表動きベクトルとを、所定の割合で合成して、全体動きベクトルを生成する。
なお、本第３の実施形態では、第１の実施形態で説明した撮像装置１および動きベクトル検出部１４の構成をそのまま適用できる。また、動きベクトル検出部１４における、フィルタ３３から動きベクトル演算部３１に至る処理も、第１の実施形態で説明した処理と同一であるので、ここでの説明を省略する。
図１６は、本第３の実施形態による全体動きベクトルの算出処理を示す一例のフローチャートである。図１６のフローチャートにおける各処理は、システム制御部２２の制御に従い動きベクトル制御部３２により実効される。
図１６のフローチャートにおいて、ステップＳ３０〜ステップＳ３３の処理は、図７のフローチャートにおけるステップＳ１０〜ステップＳ１３の処理と同様である。すなわち、ステップＳ３０で、動きベクトル制御部３２は、動きベクトル分類部３０が現在の画像データ、すなわち、現フィールドの画像データにおいて複数個のグループを検出したか否かを判定する。
若し、検出されたグループが１つであると判定された場合は、処理はステップＳ３１に移行され、検出されたグループの代表動きベクトルを全体動きベクトルとして採用する。そして、次のフィールド画像に対する処理が開始される（図示しない）。
一方、ステップＳ３０で、動きベクトル分類部３０にて検出されたグループが複数個存在すると判定された場合は、処理はステップＳ３２に移行される。そして、図８〜図１４を用いて説明した方法により、動きベクトル分類部３０で検出された各グループが背景領域のベクトル検出領域によるものか、主被写体領域のベクトル検出領域によるものかの判定を行う。
若し、ステップＳ３２で主被写体領域によるグループであると判定されたら、処理はステップＳ３３に移行される。ステップＳ３３では、ステップＳ３２で主被写体領域によるグループである判定された主被写体グループに属するベクトル検出領域の数が、閾値ｔｈ0より大きいか否かの判定を行う。
若し、主被写体グループに属するベクトル検出領域の数が閾値ｔｈ0より大きいと判定されたら、処理はステップＳ３４に移行される。ステップＳ３４では、動きベクトル制御部３２は、後述するステップＳ３６で用いる変数MIX_RATEに例えば１を加算し、変数MIX_RATEをインクリメント（増加）させる。但し、変数MIX_RATEが上限値MIX_RATE_MAXに達したら、インクリメントは行わない。変数MIX_RATEは、例えば動きベクトル制御部３２が持つレジスタなどに保持される。
一方、ステップＳ３３で、主被写体グループに属するベクトル検出領域の数が閾値ｔｈ0よりも大きくないと判定されたら、処理はステップＳ３５に移行される。ステップＳ３５では、動きベクトル制御部３２は、変数MIX_RATEから例えば１を減じ、変数MIX_RATEをデクリメント（減少）させる。但し、変数MIX_RATEが下限値０に達したら、デクリメントは行わない。
ステップＳ３４またはステップＳ３５の処理が終了したら、処理はステップＳ３６に移行される。ステップＳ３６では、全体動きベクトルFINAL_VECTORを下記に示す式（４）により算出する。なお、式（４）において、値BACK_VECTORは、背景グループの代表動きベクトルであり、値TARGET_VECTORは、主被写体領域のグループの代表動きベクトルである。
FINAL_VECTOR＝BACK_VECTOR×(MIX_RATE_MAX−MIX_RATE)／MIX_RATE_MAX＋TARGET_VECTOR×MIX_RATE／MIX_RATE_MAX …（４）
ステップＳ３６で式（４）により全体動きベクトルが算出されると、次のフィールド画像に対する処理が開始される（図示しない）。変数MIX_RATEは保持され、当該次のフィールド画像に対する処理の際のステップＳ３４またはステップＳ３５で、インクリメントまたはデクリメントされる。
ここで、式（４）において、変数MIX_RATEは、上限値MIX_RATE_MAXを１００％としたときの、全体動きベクトルFINAL_VECTORにおける主被写体領域の動きベクトルの割合を示す。したがって、式（４）内の式(MIX_RATE_MAX−MIX_RATE)は、全体動きベクトルFINAL_VECTORのうちの背景領域の動きベクトルの割合を示す値となる。
すなわち、本第３の実施形態においては、全体動きベクトルとして用いる代表動きベクトルを、主被写体グループと背景グループとで切り替える際に、主被写体領域および背景領域の動きベクトルの混合割合を徐々に入れ替えている。例えば、主被写体領域と背景領域とでベクトル検出領域の数の差が小さい場合には、全体動きベクトルとして用いるグループが主被写体領域と背景領域とで頻繁に切り替わると考えられる。このような場合には、主被写体領域および背景領域の代表動きベクトルが略等しい割合で用られ、全体動きベクトルが生成される。
これにより、全体動きベクトルとして用いるグループの主被写体グループから背景グループとの間での切り替わりが急激に生じるのが抑制され、違和感のある映像になることを防止することができる。
＜第３の実施形態の変形例＞
次に、第３の実施形態の変形例について説明する。本変形例は、第３の実施形態に対して、上述した第２の実施形態による処理を組み合わせたものである。図１７は、本第３の実施形態の変形例による全体動きベクトルの算出処理を示す一例のフローチャートである。図１７のフローチャートにおける各処理は、システム制御部２２の制御に従い動きベクトル制御部３２により実行される。なお、図１７のフローチャートにおいて、上述した図１５および図１６のフローチャートと共通する処理には同一の符号を付し、詳細な説明を省略する。
ステップＳ２０で、動きベクトル制御部３２は、動きベクトル分類部３０が現在の画像データにおいて複数個のグループを検出したか否かを判定する。若し、検出されたグループが１つであると判定された場合は、処理はステップＳ２１に移行され、検出されたグループの代表動きベクトルを全体動きベクトルとして採用する。そして、次のフィールド画像に対する処理が開始される（図示しない）。
一方、ステップＳ２０で、動きベクトル分類部３０にて検出されたグループが複数個存在すると判定された場合は、処理はステップＳ２２に移行される。そして、図８〜図１４を用いて説明した方法により、動きベクトル分類部３０で検出された各グループが背景領域のベクトル検出領域によるものか、主被写体領域のベクトル検出領域によるものかの判定を行う。
ステップＳ２２での判定処理が終了すると、処理は次のステップＳ２３に移行される。ステップＳ２３では、過去の画像データにおいて、動きベクトル分類部３０にて検出された複数個のグループのうち、背景グループを全体動きベクトルを算出するグループとして選択したか否かが判定される。
若し、ステップＳ２３において、背景グループが選択されていたと判定された場合は、処理はステップＳ２４に移行され、第１の値ｔｈ1を、後述するステップＳ２６で用いる閾値ｔｈに設定する。一方、ステップＳ２３において、背景グループが選択されていなかったと判定された場合は、処理はステップＳ２５に移行され、第１の値ｔｈ1より小さい第２の値ｔｈ2を、後述するステップＳ２６で用いる閾値ｔｈに設定する。
処理はステップＳ２６に移行され、ステップＳ２２で主被写体領域であると判定された主被写体グループに属するベクトル検出領域の数が、ステップＳ２４またはステップＳ２５で設定された閾値ｔｈより大きいか否かの判定を行う。
若し、主被写体グループに属するベクトル検出領域の数が閾値ｔｈより大きいと判定されたら、処理はステップＳ３４に移行され、変数MIX_RATEをインクリメントする。但し、変数MIX_RATEが上限値MIX_RATE_MAXに達したら、インクリメントは行わない。一方、ステップＳ２６で、主被写体グループに属するベクトル検出領域の数が閾値ｔｈよりも大きくないと判定されたら、処理はステップＳ３５に移行され、変数MIX_RATEをデクリメントする。但し、変数MIX_RATEが下限値MIX_RATE_MINに達したら、デクリメントは行わない。
ステップＳ３４またはステップＳ３５の処理が終了したら、処理はステップＳ３６に移行され、全体動きベクトルFINAL_VECTORを上述した式（４）により算出する。全体動きベクトルが算出されると、次のフィールド画像に対する処理が開始される（図示しない）。
＜第４の実施形態＞
次に、本発明の実施の第４の形態について説明する。本第４の実施形態では、全体動きベクトルとして用いる代表動きベクトルを、上述した第１および第２の実施形態による判定処理と、主被写体領域および背景領域の代表動きベクトルの差が所定値以内であるか否かの判定処理とを組み合わせた判定により選択する。
図１８は、本第４の実施形態による全体動きベクトルの算出処理を示す一例のフローチャートである。図１８のフローチャートにおける各処理は、システム制御部２２の制御に従い動きベクトル制御部３２により実行される。
図１８のフローチャートにおいて、ステップＳ４０〜ステップＳ４３の処理は、図１５のフローチャートにおけるステップＳ２０〜ステップＳ２３の処理と同様である。すなわち、ステップＳ４０で、動きベクトル制御部３２は、動きベクトル分類部３０が現在の画像データ、すなわち、現フィールドの画像データにおいて複数個のグループを検出したか否かを判定する。若し、検出されたグループが１つであると判定された場合は、処理はステップＳ４１に移行され、検出されたグループの代表動きベクトルを画面全体すなわち画像全体の動きベクトルとして採用する。そして、次のフィールド画像に対する処理が開始される（図示しない）。
一方、ステップＳ４０で、動きベクトル分類部３０にて検出されたグループが複数個存在すると判定された場合は、処理はステップＳ４２に移行される。そして、図８〜図１４を用いて説明した方法により、動きベクトル分類部３０で検出された各グループが背景領域のベクトル検出領域によるものか、主被写体領域のベクトル検出領域によるものかの判定を行う。
ステップＳ４２での判定処理が終了すると、処理は次のステップＳ４３に移行される。ステップＳ４３では、過去、例えば１フィールド前の画像データにおいて、動きベクトル分類部３０にて検出された複数個のグループのうち、背景グループを全体動きベクトルを算出するグループとして選択したか否かが判定される。なお、過去の画像データにおいて、動きベクトル分類部３０にて複数のグループが存在すると判定されていなかった場合は、背景グループを全体動きベクトルを算出するグループとして選択していたとみなす。
若し、ステップＳ４３において、背景グループが選択されていたと判定された場合は、処理はステップＳ４４に移行され、フラグBACK_FLAGがセットされる。一方、ステップＳ４３において、背景グループが選択されていなかった、すなわち、主被写体グループが選択されていたと判定された場合は、処理はステップＳ４５に移行され、フラグBACK_FLAGがリセットされる。フラグBACK_FLAGは、例えば動きベクトル制御部３２が持つレジスタなどに保持される。
ステップＳ４４またはステップＳ４５でフラグBACK_FLAGの設定が行われたら、処理はステップＳ４６に移行される。ステップＳ４６では、差分算出手段としての動きベクトル制御部３２で背景領域の代表動きベクトルと主被写体領域の代表動きベクトルとの差分が求められる。そして、この差分が所定値以内であるか否かが判定される。このステップＳ４６の判定は、換言すれば、主被写体の画面上での移動速度が所定速度以下であるか否かの判定となる。
若し、ステップＳ４６において、背景領域および主被写体領域の代表動きベクトルの差分が所定値以内であると判定されたら、処理はステップＳ４７に移行され、フラグCHANGE_FLAGがセットされる。これは、主被写体の画面上での移動速度が所定速度よりも小さい場合である。フラグCHANGE_FLAGは、例えば動きベクトル制御部３２が持つレジスタなどに保持される。
一方、ステップＳ４６において、背景領域および主被写体領域の代表動きベクトルの差分が所定値より大きいと判定されたら、処理はステップＳ４８に移行され、フラグCHANGE_FLAGがリセットされる。これは、主被写体の画面上での移動速度が所定速度より大きい場合である。
ステップＳ４７またはステップＳ４８でのフラグCHANGE_FLAGの設定が行われたら、処理はステップＳ４９に移行される。ステップＳ４９では、上述したステップＳ４２で主被写体領域であると判定された主被写体グループに属するベクトル検出領域の数が、予め設定された閾値ｔｈ0より大きいか否かの判定を行う。
若し、ステップＳ４９で、主被写体グループに属するベクトル検出領域の数が閾値ｔｈ0よりも大きいと判定されたら、処理はステップＳ５０に移行される。ステップＳ５０では、後述する第１のグループ選択により全体動きベクトルに用いる代表動きベクトルが選択される。
一方、ステップＳ４９で、主被写体グループに属するベクトル検出領域の数が閾値ｔｈ0よりも大きくないと判定されたら、処理はステップＳ５１に移行される。ステップＳ５１では、後述する第２のグループ選択により全体動きベクトルに用いる代表動きベクトルが選択される。
ステップＳ５０またはステップＳ５１で全体動きベクトルとして用いる代表動きベクトルが選択されたら、次のフィールド画像に対する処理が開始される（図示しない）。
図１９は、上述したステップＳ５０による第１のグループ選択の一例の処理を示すフローチャートである。先ず、ステップＳ６０において、フラグBACK_FLAGがリセットされているか否かが判定される。すなわち、ステップＳ６０では、過去の画像データにおいて、主被写体グループの代表動きベクトルが全体動きベクトルとして選択されていたかどうかが判定される。若し、フラグBACK_FLAGがリセットされていたと判定されたら、処理はステップＳ６１に移行される。これは、過去の画像データにおいて、主被写体グループの代表動きベクトルが全体動きベクトルとして選択されていた場合である。ステップＳ６１では、主被写体グループの代表動きベクトルを全体動きベクトルとして採用する。
一方、ステップＳ６０において、フラグBACK_FLAGがリセットされていないと判定されたら、処理はステップＳ６２に移行される。これは、過去の画像データにおいて、背景領域の代表動きベクトルが全体動きベクトルとして選択されていた場合である。ステップＳ６２では、フラグCHANGE_FLAGがセットされているか否かが判定される。すなわち、ステップＳ６２では、主被写体の画面上での移動速度が所定速度以下か否かが判定される。
若し、ステップＳ６２において、フラグCHANGE_FLAGがセットされていると判定されたら、処理はステップＳ６３に移行される。これは、主被写体の画面上での移動速度が所定速度以下であった場合である。ステップＳ６３では、主被写体グループの代表動きベクトルを、全体動きベクトルとして採用する。
一方、ステップＳ６２において、フラグCHANGE_FLAGがセットされていないと判定されたら、処理はステップＳ６４に移行される。これは、主被写体の画面上での移動速度が所定速度より大きい場合である。ステップＳ６４では、背景グループの代表動きベクトルを、全体動きベクトルとして採用する。
ステップＳ６１、ステップＳ６３またはステップＳ６４により、全体動きベクトルとして用いる代表動きベクトルが決定されたら、処理は図１９のフローチャートを抜け、図１８のフローチャートに戻される。
図２０は、上述したステップＳ５１による第２のグループ選択の一例の処理を示すフローチャートである。先ず、ステップＳ７０において、フラグBACK_FLAGがセットされているか否かが判定される。すなわち、ステップＳ７０では、過去の画像データにおいて、背景グループの代表動きベクトルが全体動きベクトルとして選択されていたかどうかが判定される。若し、フラグBACK_FLAGがセットされていたと判定されたら、処理はステップＳ７１に移行される。これは、過去の画像データにおいて、背景グループの代表動きベクトルが全体動きベクトルとして選択されていた場合である。ステップＳ７１では、背景グループの代表動きベクトルを全体動きベクトルとして採用する。
一方、ステップＳ７０において、フラグBACK_FLAGがセットされていないと判定されたら、処理はステップＳ７２に移行される。これは、過去の画像データにおいて、主被写体領域の代表動きベクトルが全体動きベクトルとして選択されていた場合である。ステップＳ７２では、フラグCHANGE_FLAGがセットされているか否かが判定される。すなわち、ステップＳ７２では、主被写体の画面上での移動速度が所定速度以下か否かが判定される。
若し、ステップＳ７２において、フラグCHANGE_FLAGがセットされていると判定されたら、処理はステップＳ７３に移行される。これは、主被写体の画面上での移動速度が所定速度以下であった場合である。ステップＳ７３では、背景グループの代表動きベクトルを、全体動きベクトルとして採用する。
一方、ステップＳ７２において、フラグCHANGE_FLAGがセットされていないと判定されたら、処理はステップＳ７４に移行される。これは、主被写体の画面上での移動速度が所定速度より大きい場合である。ステップＳ７４では、主被写体のグループの代表動きベクトルを、全体動きベクトルとして採用する。
ステップＳ７１、ステップＳ７３またはステップＳ７４により、全体動きベクトルとして用いる代表動きベクトルが決定されたら、処理は図２０のフローチャートを抜け、図１８のフローチャートに戻される。
上述の図１８〜図２０のフローチャートによる全体動きベクトルの算出処理を要約すると、下記のようになる。
先ず、主被写体グループに属するベクトル検出領域の数が閾値ｔｈ0より多い場合には、下記のようになる。
（１）過去の画像データにおいて主被写体グループの代表動きベクトルが全体動きベクトルとして選択されていた場合、主被写体の画面上での移動速度に関わらず、主被写体グループの代表動きベクトルを全体動きベクトルとして採用する。
（２）過去の画像データにおいて背景グループの代表動きベクトルが全体動きベクトルとして選択されていた場合、若し、主被写体の動きが所定速度よりも速ければ、背景グループの代表動きベクトルを全体動きベクトルとして採用する。一方、主被写体の動きが所定速度よりも遅ければ、主被写体グループの代表動きベクトルを全体動きベクトルとして採用する。
次に、主被写体グループに属するベクトル検出領域の数が閾値ｔｈ0以下の場合には、下記のようになる。
（１）過去の画像データにおいて主被写体グループの代表動きベクトルが全体動きベクトルとして選択されていた場合、若し、主被写体の動きが所定速度よりも速ければ、主被写体グループの代表動きベクトルを全体動きベクトルとして採用する。一方、主被写体の動きが所定速度よりも遅ければ、背景グループの代表動きベクトルを全体動きベクトルとして採用する。
（２）過去の画像データにおいて背景グループの代表動きベクトルが全体動きベクトルとして選択されていた場合、主被写体の画面上での移動速度に関わらず、背景グループの代表動きベクトルを全体動きベクトルとして採用する。
以上の処理によって、全体動きベクトルとして用いる代表動きベクトルを、主被写体グループによる代表動きベクトルと背景グループによる代表動きベクトルとの間で切り換える処理を、主被写体の動きが小さいときに行うようにした。これによって、全体動きベクトルとして用いる代表動きベクトルの、主被写体グループと背景グループとの間での切り替わりが生じたときに、今まで防振されていた領域が急激に動きだすといった現象が生じることを防止することができる。
＜第４の実施形態の変形例＞
上述した第４の実施形態の変形例について説明する。本変形例は、上述した第４の実施形態による図１８のフローチャートに対して、さらに上述の第２の実施形態による図１５のフローチャートのステップＳ２４およびステップＳ２５の処理を追加し、ステップＳ４９の処理をステップＳ２６の処理と入れ替えたものである。すなわち、本変形例は、上述の第４の実施形態に対して、過去の画像データにおいて背景グループの代表動きベクトルを全体動きベクトルとして選択したか否かに応じて閾値ｔｈの設定を行う処理を追加して行う。
図２１は、本変形例による全体動きベクトルの算出処理を示す一例のフローチャートである。図２１のフローチャートにおける各処理は、システム制御部２２の制御に従い動きベクトル制御部３２により実行される。なお、図２１のフローチャートにおいて、上述した図１８のフローチャートと共通する処理には同一の符号を付し、詳細な説明を省略する。
図２１のフローチャートにおいて、先ず、ステップＳ４０で、動きベクトル制御部３２は、動きベクトル分類部３０が現在の画像データにおいて複数個のグループを検出したか否かを判定する。若し、検出されたグループが１つであると判定された場合は、処理はステップＳ４１に移行され、検出されたグループの代表動きベクトルを全体動きベクトルとして採用し、次のフィールド画像に対する処理が開始される（図示しない）。
一方、ステップＳ４０で、動きベクトル分類部３０にて検出されたグループが複数個存在すると判定された場合は、処理はステップＳ４２に移行される。そして、図８〜図１４を用いて説明した方法により、動きベクトル分類部３０で検出された各グループが背景領域のベクトル検出領域によるものか、被写体領域のベクトル検出領域によるものかの判定を行う。
ステップＳ４２での判定処理が終了すると、処理は次のステップＳ４３に移行される。ステップＳ４３では、過去、例えば１フィールド前の画像データにおいて、動きベクトル分類部３０にて検出された複数個のグループのうち、背景グループの代表動きベクトルを全体動きベクトルとして選択したか否かが判定される。
若し、ステップＳ４３において、背景グループが選択されていたと判定された場合は、処理はステップＳ２４に移行され、第１の値ｔｈ1を、後述するステップＳ２６で用いる閾値ｔｈに設定する。そして、処理はステップＳ４４に移行され、フラグBACK_FLAGがセットされる。
一方、ステップＳ４３において、背景グループが選択されていなかったと判定された場合は、処理はステップＳ２５に移行され、第１の値ｔｈ1より小さい第２の値ｔｈ2を閾値ｔｈに設定する。そして、処理はステップＳ４５に移行され、フラグBACK_FLAGがリセットされる。
ステップＳ４４またはステップＳ４５でフラグBACK_FLAGの設定が行われたら、処理はステップＳ４６に移行され、背景領域および主被写体領域の代表動きベクトルの差分が求められ、この差分が所定値以内であるか否かが判定される。
若し、ステップＳ４６において、背景領域および主被写体領域の代表動きベクトルの差分が所定値以内であると判定されたら、処理はステップＳ４７に移行され、フラグCHANGE_FLAGがセットされる。一方、ステップＳ４６において、背景領域および主被写体領域の代表動きベクトルの差分が所定値より大きいと判定されたら、処理はステップＳ４８に移行され、フラグCHANGE_FLAGがリセットされる。
ステップＳ４７またはステップＳ４８でのフラグCHANGE_FLAGの設定が行われたら、処理はステップＳ２６に移行される。ステップＳ２６では、上述したステップＳ４２で主被写体領域であると判定された主被写体グループに属するベクトル検出領域の数が、上述のステップＳ２４またはステップＳ２５で設定された閾値ｔｈより大きいか否かの判定を行う。
若し、ステップＳ２６で、主被写体グループに属するベクトル検出領域の数が閾値ｔｈよりも大きいと判定されたら、処理はステップＳ５０に移行される。ステップＳ５０では、図１９で説明した第１のグループ選択処理により全体動きベクトルに用いる代表動きベクトルが選択される。
一方、ステップＳ２６で、主被写体グループに属するベクトル検出領域の数が閾値ｔｈよりも大きくないと判定されたら、処理はステップＳ５１に移行される。ステップＳ５１では、図２０で説明した第２のグループ選択処理により全体動きベクトルに用いる代表動きベクトルが選択される。
ステップＳ５０またはステップＳ５１で全体動きベクトルとして用いる代表動きベクトルが選択されたら、次のフィールド画像に対する処理が開始される（図示しない）。
以上説明したように、本発明によれば、主被写体の画面に占める割合が比較的大きい場合は、主被写体領域のベクトル検出結果を積極的に用いることにより、精度の高い動きベクトル値を算出することが可能となる。また、主被写体の大きさが変わったときの全体ベクトルの算出を行う領域の切り替えを、滑らかに行うことが可能となる。
＜他の実施形態＞
上述では、本発明がデジタルビデオカメラなどの撮像装置に適用されるように説明したが、これはこの例に限定されない。例えば、本発明は、ビデオカメラを装着したパーソナルコンピュータに適用することもできるし、動画撮影が可能とされた携帯電話端末に適用してもよい。さらに、本発明は、撮影によりリアルタイムに出力される画像データに対する処理として適用される以外に、記録媒体に記録された画像データに対する処理としても適用可能である。この場合、撮像装置１において、撮影され記録媒体１８に記録された画像データに対して本発明による処理を行うことができる。また、パーソナルコンピュータのハードディスクなどに記録された画像データに対して、パーソナルコンピュータ上のソフトウェアにより本発明による処理を行ってもよい。
このように、上述の各実施形態は、システム或は装置のコンピュータ（或いはＣＰＵ、ＭＰＵ等）によりソフトウェア的に実現することも可能である。従って、上述の各実施形態をコンピュータで実現するために、該コンピュータに供給されるコンピュータプログラム自体も本発明を実現するものである。つまり、上述の各実施形態の機能を実現するためのコンピュータプログラム自体も本発明の一つである。
なお、上述の各実施形態を実現するためのコンピュータプログラムは、コンピュータで読み取り可能であれば、どのような形態であってもよい。例えば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等で構成することができるが、これらに限るものではない。
上述の各実施形態を実現するためのコンピュータプログラムは、記憶媒体又は有線／無線通信によりコンピュータに供給される。プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記憶媒体、ＭＯ、ＣＤ、ＤＶＤ等の光／光磁気記憶媒体、不揮発性の半導体メモリなどがある。
有線／無線通信を用いたコンピュータプログラムの供給方法としては、コンピュータネットワーク上のサーバを利用する方法がある。この場合、本発明を形成するコンピュータプログラムとなりうるデータファイル（プログラムファイル）をサーバに記憶しておく。プログラムファイルとしては、実行形式のものであっても、ソースコードであっても良い。
そして、このサーバにアクセスしたクライアントコンピュータに、プログラムファイルをダウンロードすることによって供給する。この場合、プログラムファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに分散して配置することも可能である。
つまり、上述の各実施形態を実現するためのプログラムファイルをクライアントコンピュータに提供するサーバ装置も本発明の一つである。
また、上述の各実施形態を実現するためのコンピュータプログラムを暗号化して格納した記憶媒体を配布し、所定の条件を満たしたユーザに、暗号化を解く鍵情報を供給し、ユーザの有するコンピュータへのインストールを許可してもよい。鍵情報は、例えばインターネットを介してホームページからダウンロードさせることによって供給することができる。
また、上述の各実施形態を実現するためのコンピュータプログラムは、すでにコンピュータ上で稼働するＯＳの機能を利用するものであってもよい。
さらに、上述の各実施形態を実現するためのコンピュータプログラムは、その一部をコンピュータに装着される拡張ボード等のファームウェアで構成してもよいし、拡張ボード等が備えるＣＰＵで実行するようにしてもよい。

Claims (19)

  1. 連続して撮像される画像のぶれを補正するために用いる、画像全体の動きベクトルを検出する動きベクトル検出装置であって、
    画像を所定サイズに分割したブロック毎に動きベクトルを検出する動きベクトル検出手段と、
    前記動きベクトル検出手段で検出された前記動きベクトルに基づき、前記ブロックのそれぞれをグループに分類する分類手段と、
    前記分類手段で分類された前記グループに属する前記ブロックの前記動きベクトルを代表する代表動きベクトルを算出する代表動きベクトル算出手段と、
    前記分類手段で分類された前記グループが、第１のグループと、前記第１のグループに対して相対的に移動している第２のグループのいずれであるかを判定する第１の判定手段と、
    前記第１の判定手段により前記第２のグループと判定されたグループに含まれる前記ブロックの数が閾値を超えていれば、前記画像全体の動きベクトルとして該第２のグループに対応する前記代表動きベクトルを選択し、該第２のグループに含まれる該ブロックの数が該閾値を超えていなければ、該画像全体の動きベクトルとして前記第１のグループに対応する前記代表動きベクトルを選択する選択手段とを有することを特徴とする動きベクトル検出装置。
  2. 前記撮像された画像について、前記第２のグループに対応する前記代表動きベクトルを前記画像全体の動きベクトルとして選択しているか否かを判定する第２の判定手段をさらに有し、
    前記選択手段は、
    前記第２の判定手段により、前記第２のグループに対応する前記代表動きベクトルを前記画像全体の動きベクトルとして選択していると判定されるか否かによって、前記閾値を変更して前記画像全体の動きベクトルとして用いる前記代表動きベクトルを選択することを特徴とする請求項１に記載の動きベクトル検出装置。
  3. 前記第２のグループに対応する前記代表動きベクトルを前記画像全体の動きベクトルとして選択していると判定された際の前記閾値は、前記第２のグループに対応する前記代表動きベクトルを前記画像全体の動きベクトルとして選択していると判定されなかった際の前記閾値よりも小さいことを特徴とする請求項２に記載の動きベクトル検出装置。
  4. 前記画像に対して時間的に直前の画像について、前記第２のグループに対応する前記代表動きベクトルを前記画像全体の動きベクトルとして選択しているか否かを判定する第２の判定手段と、
    前記第１のグループに対応する前記代表動きベクトルと、前記第２のグループに対応する前記代表動きベクトルとの差分を算出する差分算出手段と
    をさらに有し、
    前記選択手段は、前記第２の判定手段による判定結果と、前記差分算出手段で算出された前記差分とをさらに用いて、前記第１のグループに対応する前記代表動きベクトルと前記第２のグループに対応する前記代表動きベクトルとのうち前記画像全体の動きベクトルとして用いる代表動きベクトルを選択することを特徴とする請求項１に記載の動きベクトル検出装置。
  5. 前記第１の判定手段により判定された前記第２のグループに含まれる前記ブロックの数が閾値を超え、かつ、前記第２の判定手段により前記第２のグループに対応する前記代表動きベクトルを前記画像全体の動きベクトルとして選択していると判定された際は、前記選択手段は、前記第２のグループに対応する前記代表動きベクトルを前記画像全体の動きベクトルとして選択することを特徴とする請求項４に記載の動きベクトル検出装置。
  6. 前記第１の判定手段により判定された前記第２のグループに含まれる前記ブロックの数が閾値を超え、かつ、前記第２の判定手段により前記第１のグループに対応する前記代表動きベクトルを前記画像全体の動きベクトルとして選択していると判定された際は、前記選択手段は、前記差分が所定値より大きければ前記第１のグループに対応する前記代表動きベクトルを前記画像全体の動きベクトルとして選択することを特徴とする請求項４に記載の動きベクトル検出装置。
  7. 前記第１の判定手段により判定された前記第２のグループに含まれる前記ブロックの数が閾値を超え、かつ、前記第２の判定手段により前記第１のグループに対応する前記代表動きベクトルを前記画像全体の動きベクトルとして選択していると判定された際は、前記選択手段は、前記差分が所定値以内であれば前記第２のグループに対応する前記代表動きベクトルを前記画像全体の動きベクトルとして選択することを特徴とする請求項４に記載の動きベクトル検出装置。
  8. 前記第１の判定手段により判定された前記第２のグループに含まれる前記ブロックの数が前記閾値以下であり、かつ、前記第２の判定手段により前記第１のグループに対応する前記代表動きベクトルを前記画像全体の動きベクトルとして選択していると判定された際は、前記選択手段は、前記第１のグループに対応する前記代表動きベクトルを前記画像全体の動きベクトルとして選択することを特徴とする請求項４に記載の動きベクトル検出装置。
  9. 前記第１の判定手段により判定された前記第２のグループに含まれる前記ブロックの数が前記閾値以下であり、かつ、前記第２の判定手段により前記第２のグループに対応する前記代表動きベクトルを前記画像全体の動きベクトルとして選択していると判定された際は、前記選択手段は、前記差分が所定値より大きければ前記第２のグループに対応する前記代表動きベクトルを前記画像全体の動きベクトルとして選択することを特徴とする請求項４に記載の動きベクトル検出装置。
  10. 前記第１の判定手段により判定された前記第２のグループに含まれる前記ブロックの数が前記閾値以下であり、かつ、前記第２の判定手段により前記第２のグループに対応する前記代表動きベクトルを前記画像全体の動きベクトルとして選択していると判定された際は、前記選択手段は、前記差分が所定値以内であれば前記第１のグループに対応する前記代表動きベクトルを前記画像全体の動きベクトルとして選択することを特徴とする請求項４に記載の動きベクトル検出装置。
  11. 前記選択手段は、
    前記第２の判定手段により、前記第２のグループに対応する前記代表動きベクトルを前記画像全体の動きベクトルとして選択していると判定されるか否かによって、前記閾値を変更して前記画像全体の動きベクトルとして用いる前記代表動きベクトルを選択することを特徴とする請求項５乃至請求項１０の何れか１項に記載の動きベクトル検出装置。
  12. 前記第２のグループに対応する前記代表動きベクトルを前記画像全体の動きベクトルとして選択していると判定された際の前記閾値は、前記第２のグループに対応する前記代表動きベクトルを前記画像全体の動きベクトルとして選択していると判定されなかった際の前記閾値よりも小さいことを特徴とする請求項１１に記載の動きベクトル検出装置。
  13. 前記選択手段は、
    前記第１の判定手段により判定された前記第２のグループに含まれる前記ブロックの数に基づき、前記第１のグループに対応する前記代表動きベクトルと、前記第２のグループに対応する前記代表動きベクトルとを所定の割合で合成し、前記画像全体の動きベクトルとして用いることを特徴とする請求項１に記載の動きベクトル検出装置。
  14. 前記選択手段は、
    前記第１の判定手段により判定された前記第２のグループに含まれる前記ブロックの数が前記閾値を超えていた際は、前記第２のグループに対応する前記代表動きベクトルに対する前記所定の割合を増加させることを特徴とする請求項１３に記載の動きベクトル検出装置。
  15. 前記画像から顔を検出する顔検出手段をさらに有し、
    前記第１の判定手段は、
    前記分類手段で前記ブロックが分類された前記グループの間で、前記顔検出手段で検出された前記顔の領域を含む該ブロック数を比較し、該ブロック数が多い方の該グループを前記第２のグループとし、該ブロック数が少ない方の該グループを前記第１のグループとすることを特徴とする請求項１乃至請求項１４の何れか１項に記載の動きベクトル検出装置。
  16. 前記第１の判定手段は、さらに、
    前記分類手段で前記ブロックのそれぞれが３以上のグループに分類された場合、前記顔の領域を含むブロックが最も少ないグループを前記第１のグループとし、該第１のグループでない複数のグループのうち、分類された前記ブロックの数が最も多いグループを前記第２のグループとし、前記第１及び第２のグループでないグループを第３のグループとすることを特徴とする請求項１５に記載の動きベクトル検出装置。
  17. 連続して撮像される画像のぶれを補正するために用いる、画像全体の動きベクトルを検出する動きベクトル検出装置の制御方法であって、
    検出手段が、画像を所定サイズに分割したブロック毎に動きベクトルを検出する動きベクトル検出ステップと、
    分類手段が、前記動きベクトル検出ステップで検出された前記動きベクトルに基づき、前記ブロックのそれぞれをグループに分類する分類ステップと、
    算出手段が、前記分類ステップで分類された前記グループに属する前記ブロックの前記動きベクトルを代表する代表動きベクトルを算出する代表動きベクトル算出ステップと、
    判定手段が、前記分類ステップで分類された前記グループが、第１のグループ及び前記第１のグループに対して相対的に移動している第２のグループのいずれであるか判定する第１の判定ステップと、
    選択手段が、前記第１の判定ステップにより前記第２のグループと判定されたグループに含まれる前記ブロックの数が閾値を超えていれば、前記画像全体の動きベクトルとして該第２のグループに対応する前記代表動きベクトルを選択し、該第２のグループに含まれる該ブロックの数が該閾値を超えていなければ、該画像全体の動きベクトルとして前記第１のグループに対応する前記代表動きベクトルを選択する選択ステップとを有することを特徴とする動きベクトル検出装置の制御方法。
  18. 撮像光学系と、
    前記撮像光学系を介して入射された光を撮像して撮像信号として出力する撮像手段と、
    前記撮像信号に対して所定の信号処理を施して撮像画像として出力する信号処理手段と、
    前記信号処理手段から出力された前記撮像画像に基づき該撮像画像による画像全体の動きベクトルを求める請求項１乃至請求項１６の何れか１項に記載の動きベクトル検出装置と、
    前記動きベクトル検出装置で求められた前記画像全体の動きベクトルを用いて前記信号処理手段から出力された前記撮像画像のぶれを補正するぶれ補正手段とを有することを特徴とする撮像装置。
  19. コンピュータを請求項１乃至請求項１６の何れか１項に記載の動きベクトル検出装置の各手段として機能させるためのプログラム。
JP2009105608A 2009-04-23 2009-04-23 動きベクトル検出装置およびその制御方法、ならびに撮像装置 Expired - Fee Related JP5374220B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2009105608A JP5374220B2 (ja) 2009-04-23 2009-04-23 動きベクトル検出装置およびその制御方法、ならびに撮像装置
US12/762,888 US8508599B2 (en) 2009-04-23 2010-04-19 Motion vector detection apparatus, motion vector detection method, and image capturing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009105608A JP5374220B2 (ja) 2009-04-23 2009-04-23 動きベクトル検出装置およびその制御方法、ならびに撮像装置

Publications (3)

Publication Number Publication Date
JP2010258710A JP2010258710A (ja) 2010-11-11
JP2010258710A5 JP2010258710A5 (ja) 2012-06-07
JP5374220B2 true JP5374220B2 (ja) 2013-12-25

Family

ID=42991793

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009105608A Expired - Fee Related JP5374220B2 (ja) 2009-04-23 2009-04-23 動きベクトル検出装置およびその制御方法、ならびに撮像装置

Country Status (2)

Country Link
US (1) US8508599B2 (ja)
JP (1) JP5374220B2 (ja)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009072264A1 (ja) * 2007-12-03 2009-06-11 Panasonic Corporation 画像処理装置、撮影装置、再生装置、集積回路及び画像処理方法
JP2011040902A (ja) * 2009-08-07 2011-02-24 Toshiba Corp 撮像装置及び撮像装置用制御装置
CN102906789B (zh) 2010-03-29 2017-05-17 索尼公司 数据处理装置、数据处理方法、图像处理装置和方法以及程序
KR101710624B1 (ko) * 2010-07-27 2017-02-27 삼성전자주식회사 객체의 모션 벡터를 이용하여 자동 촬영 기능을 수행하는 디지털 영상 촬영 방법, 디지털 영상 촬영 장치 및 상기 방법을 기록한 기록 매체
US9661232B2 (en) * 2010-08-12 2017-05-23 John G. Posa Apparatus and method providing auto zoom in response to relative movement of target subject matter
US8970770B2 (en) 2010-09-28 2015-03-03 Fotonation Limited Continuous autofocus based on face detection and tracking
US8648959B2 (en) 2010-11-11 2014-02-11 DigitalOptics Corporation Europe Limited Rapid auto-focus using classifier chains, MEMS and/or multiple object focusing
US8659697B2 (en) 2010-11-11 2014-02-25 DigitalOptics Corporation Europe Limited Rapid auto-focus using classifier chains, MEMS and/or multiple object focusing
US20120162449A1 (en) * 2010-12-23 2012-06-28 Matthias Braun Digital image stabilization device and method
US8508652B2 (en) * 2011-02-03 2013-08-13 DigitalOptics Corporation Europe Limited Autofocus method
KR20230165392A (ko) * 2011-02-09 2023-12-05 엘지전자 주식회사 움직임 정보 저장 방법 및 이를 이용한 시간적 움직임 벡터 예측자 유도 방법
JP5887777B2 (ja) * 2011-09-14 2016-03-16 セイコーエプソン株式会社 プロジェクター、および、プロジェクターの制御方法
KR101318835B1 (ko) 2011-09-20 2013-10-16 아주대학교산학협력단 섹터 기반의 액티브 트랙킹 가능한 멀티 카메라 제어 장치 및 방법
WO2013057904A1 (ja) * 2011-10-19 2013-04-25 パナソニック株式会社 蝟集判定装置及び蝟集判定方法
JP6208936B2 (ja) * 2012-11-14 2017-10-04 国立大学法人広島大学 映像動き評価方法および映像動き評価装置
KR102072014B1 (ko) * 2013-09-16 2020-01-31 에스케이 텔레콤주식회사 영상 흔들림 보정을 이용한 영상 안정화 장치 및 방법
KR102150705B1 (ko) * 2014-01-22 2020-09-01 한화테크윈 주식회사 영상 처리 장치 및 방법
DE102014201313A1 (de) * 2014-01-24 2015-07-30 Myestro Interactive Gmbh Verfahren zur Erkennung einer Bewegungsbahn mindestens eines bewegten Objektes innerhalb eines Erfassungsbereiches, Verfahren zur Gestikerkennung unter Einsatz eines derartigen Erkennungsverfahrens sowie Vorrichtung zur Durchführung eines derartigen Erkennungsverfahrens
JP6463066B2 (ja) * 2014-07-07 2019-01-30 キヤノン株式会社 情報処理装置、情報処理方法、プログラム
US20180352177A1 (en) * 2015-09-18 2018-12-06 Hitachi Kokusai Electric Inc. Image-processing device
JP6725979B2 (ja) * 2015-11-27 2020-07-22 キヤノン株式会社 像ブレ補正装置及びその制御方法、記憶媒体
JP6700831B2 (ja) * 2016-02-12 2020-05-27 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP6700872B2 (ja) * 2016-03-07 2020-05-27 キヤノン株式会社 像振れ補正装置及びその制御方法、撮像装置、プログラム、記憶媒体
JP6781589B2 (ja) * 2016-08-08 2020-11-04 キヤノン株式会社 像ブレ補正装置及びその制御方法、プログラム、記憶媒体
KR102716731B1 (ko) * 2016-09-20 2024-10-11 엘지디스플레이 주식회사 영상 처리 방법 및 이를 이용한 표시 장치
JP2018146663A (ja) * 2017-03-02 2018-09-20 キヤノン株式会社 像ブレ補正装置およびその制御方法、撮像装置、レンズ装置
JP6935247B2 (ja) * 2017-07-04 2021-09-15 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
US10688662B2 (en) 2017-12-13 2020-06-23 Disney Enterprises, Inc. Robot navigation in context of obstacle traffic including movement of groups
GB2569556B (en) * 2017-12-19 2022-01-12 Canon Kk Method and apparatus for detecting motion deviation in a video sequence
GB2569557B (en) 2017-12-19 2022-01-12 Canon Kk Method and apparatus for detecting motion deviation in a video
GB2569555B (en) * 2017-12-19 2022-01-12 Canon Kk Method and apparatus for detecting deviation from a motion pattern in a video
JP7324066B2 (ja) * 2018-07-27 2023-08-09 キヤノン株式会社 画像処理装置およびその制御方法、ならびに撮像装置
CN110858895B (zh) 2018-08-22 2023-01-24 虹软科技股份有限公司 一种图像处理方法和装置
US11153485B2 (en) * 2019-09-05 2021-10-19 Gopro, Inc. Automated camera mode selection using local motion vector
US11574020B1 (en) * 2019-12-12 2023-02-07 Pinterest, Inc. Identifying similar content in a multi-item embedding space
JP7490428B2 (ja) * 2020-04-07 2024-05-27 キヤノン株式会社 画像処理装置、画像処理方法、プログラム、および記憶媒体
CN113076894B (zh) * 2021-04-09 2022-05-17 中山大学 一种连续帧目标检测去重方法及装置
US11956539B2 (en) * 2021-06-29 2024-04-09 Canon Kabushiki Kaisha Correction control apparatus, image capturing apparatus, control method, and recording medium

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5237405A (en) * 1990-05-21 1993-08-17 Matsushita Electric Industrial Co., Ltd. Image motion vector detecting device and swing correcting device
JPH04180370A (ja) 1990-11-14 1992-06-26 Matsushita Electric Ind Co Ltd 画像の動きベクトル検出装置及び揺れ補正装置
JPH08251474A (ja) * 1995-03-15 1996-09-27 Canon Inc 動きベクトル検出装置，動きベクトル検出方法，画像ぶれ補正装置，画像追尾装置及び撮像装置
JP2002251380A (ja) 2001-02-22 2002-09-06 Omron Corp 利用者照合システム
JP5003991B2 (ja) * 2005-10-26 2012-08-22 カシオ計算機株式会社 動きベクトル検出装置及びそのプログラム
JP5044922B2 (ja) * 2005-11-08 2012-10-10 カシオ計算機株式会社 撮像装置及びプログラム
JP4595834B2 (ja) * 2006-03-03 2010-12-08 日本ビクター株式会社 動きベクトル検出方法及び装置
JP4438099B2 (ja) * 2007-11-22 2010-03-24 カシオ計算機株式会社 撮像装置及びそのプログラム
JP5048542B2 (ja) * 2008-02-07 2012-10-17 オリンパス株式会社 画像処理装置及び画像処理プログラム
US20090225227A1 (en) * 2008-03-05 2009-09-10 Panasonic Corporation Motion vector detecting device

Also Published As

Publication number Publication date
US8508599B2 (en) 2013-08-13
US20100271494A1 (en) 2010-10-28
JP2010258710A (ja) 2010-11-11

Similar Documents

Publication Publication Date Title
JP5374220B2 (ja) 動きベクトル検出装置およびその制御方法、ならびに撮像装置
US8509481B2 (en) Image processing apparatus, image processing method, imaging apparatus
JP4840426B2 (ja) 電子機器、ぼけ画像選別方法及びプログラム
JP4755490B2 (ja) ブレ補正方法および撮像装置
US8472747B2 (en) Image composition device, image composition method, and storage medium storing program
CN104704807B (zh) 图像处理装置、摄像装置及图像处理方法
JP2005252626A (ja) 撮像装置および画像処理方法
JP4286292B2 (ja) 電子カメラ
JP2010114752A (ja) 撮像装置及び撮像方法及びプログラム
JP2014121019A (ja) 画像処理装置およびその制御方法
JPWO2011021235A1 (ja) 画像処理方法および画像処理装置
JP2020095673A (ja) 画像処理装置およびその制御方法、ならびに撮像装置
JP2023033355A (ja) 画像処理装置およびその制御方法
EP2958073A1 (en) Image processing device, image processing method, and recording medium
US12008773B2 (en) Object tracking apparatus and control method thereof using weight map based on motion vectors
US9117110B2 (en) Face detection-processing circuit and image pickup device including the same
JP2010109461A (ja) 動きベクトル検出装置及び動きベクトル検出方法及び撮像装置及びプログラム
JP2008035125A (ja) 撮像装置、画像処理方法およびプログラム
JP2007096437A (ja) 画像生成者の意図の判定
JP6708131B2 (ja) 映像処理装置、映像処理方法及びプログラム
CN116266864A (zh) 信息处理设备及其控制方法、介质和头戴式显示器
JP7059239B2 (ja) 画像処理装置、撮像装置、画像処理方法、プログラムおよび記録媒体
JP6218520B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2023090492A (ja) 画像処理装置および画像処理方法、撮像装置
CN115239777B (zh) 视频处理方法及其装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120423

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120423

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130530

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130607

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130611

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130823

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130920

R151 Written notification of patent or utility model registration

Ref document number: 5374220

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees