JP2019021990A - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】追跡先の特徴点が画像内で偏在した場合に、ベクトル検出精度の低下を抑えることを課題とする。
【解決手段】領域分割部（１０３）は、フレームの画像を複数の領域に分割する。
特徴点抽出部（１０４）は、複数に分割された各領域内で画像の特徴点を抽出する。ベクトル検出部（１０５）は、特徴点を基に動きベクトルを検出する。領域区分部（１０６）は、分割された複数の領域を少なくとも二つの領域区分に区分けする。追跡先特徴点算出部（１０７）は、前フレームから検出された前記動きベクトルの値と特徴点とを基に、次のフレームの動きベクトル検出に用いられる追跡先特徴点を算出する。再設定部（１０８）は、領域区分のなかで追跡先特徴点の位置に偏りがある場合、追跡先特徴点の位置に偏りがある領域区分のなかで追跡先特徴点の位置を均等に再設定する。
【選択図】図１

Description

本発明は、画像内の動きを検出する画像処理装置、画像処理方法、及びプログラムに関する。

デジタルスチルカメラやデジタルビデオカメラ等の撮像装置を用いて撮影された映像に対して手ぶれ補正を施すためには、フレーム画像間の動き量を検出して複数枚の画像に対して位置合わせを行う必要がある。フレーム画像間の動き量を検出する方法としては、ジャイロセンサのような外部機器の情報を用いたり、撮影されたフレーム画像から動き量を推定したりする方法等がある。

フレーム画像を用いた動き量推定の方法は従来から種々提案されているが、その代表的なものとしてテンプレートマッチングによる動きベクトル検出がある。テンプレートマッチングでは、まず映像中の連続した２枚のフレーム画像の一方を原画像、もう一方を参照画像とする。そして、原画像上に配置した所定の大きさの矩形領域をテンプレートブロックとし、参照画像の各位置においてテンプレートブロック内の画素値の分布との相関を求める。このとき、参照画像中で最も相関が高くなる位置がテンプレートブロックの移動先であり、原画像上でのテンプレートブロックの位置を基準とした時の移動先への向きと移動量が動きベクトルとなる。

動きベクトルの検出率を向上させるため、特徴点を抽出し、抽出した特徴点にテンプレートブロックを配置して、フレーム画像間でテンプレートマッチングを行う技術がある。ここで、画像全体で特徴点抽出を行うと、特徴点の分布は不均一になることが多い。分布が不均一な特徴点に対して得られた動きベクトルを手ぶれ補正の用途で使用する場合、特徴点の集中した領域が主となる手ぶれ補正となってしまう。

そこで、特徴点を均一に分布させるため、画像をグリッド状に分割して、特徴の大きさを表す特徴値を画素毎に計算し、各グリッド内で特徴値が最も大きい画素を特徴点として抽出する技術がある（例えば特許文献１）。
さらに動きベクトルの検出率を向上させるため、特徴点を追跡する技術がある。特徴点追跡は、画像から抽出された特徴点の動きベクトルを、連続する複数のフレーム画像に渡って逐次検出することで実現できる（例えば特許文献２）。

特開２００８−１９２０６０号公報 特開２０１２−９４０５０号公報

ところで、前述したように特徴点の追跡処理が行われる場合、追跡先の特徴点が、画像内の一部の領域に偏在してしまうことがある。このように追跡先の特徴点が一部の領域に偏在すると、動きベクトル検出性能の低下してしまうことになる。

そこで、本発明は、追跡先の特徴点が画像内で偏在した場合に、ベクトル検出精度の低下を抑えることを目的とする。

本発明は、フレームの画像を複数の領域に分割する分割手段と、前記複数に分割された各領域内で画像の特徴点を抽出する抽出手段と、前記特徴点を基に動きベクトルを検出する検出手段と、前記分割された複数の領域を、少なくとも二つの領域区分に区分けする区分手段と、前フレームから検出された前記動きベクトルの値と特徴点とを基に、次のフレームの動きベクトル検出に用いられる追跡先特徴点を算出する算出手段と、前記領域区分のなかで前記追跡先特徴点の位置に偏りがある場合、前記追跡先特徴点の位置に偏りがある前記領域区分のなかで前記追跡先特徴点の位置を均等に再設定する再設定手段と、を有することを特徴とする。

本発明によれば、追跡先の特徴点が画像内で偏在した場合に、ベクトル検出精度の低下を抑えることが可能となる。

実施形態の画像処理装置の概略構成例を示す図である。 特徴点と追跡先特徴点と動きベクトルの説明に用いる図である。 テンプレートマッチング処理タイミングの説明図である。 動きベクトル（追跡先特徴点）の偏りを説明する図である。 被写体領域区分と背景領域区分の説明図である。 被写体領域区分を複数の計数領域に分けた図である。 偏った追跡先特徴点を均等に再設定した例の説明図である。 追跡先特徴点の削除手法の説明図である。 領域区分で処理を分けた画像処理装置の概略構成例を示す図である。 領域区分で処理を分けた構成例の領域区分の一例を示す図である。 追跡先特徴点が偏った場合の処理タイミング遅延例の説明図である。 領域区分と指定区域の説明に用いる図である。

以下、添付図面を参照して本発明の好適な実施形態について説明する。
＜第１の実施形態＞
図１は第１の実施形態の画像処理装置の一適用例としてのデジタルカメラの概略構成例を示す図である。なお、本実施形態の画像処理装置は、デジタルカメラの他にも、例えばデジタルビデオカメラ、カメラ機能を備えたスマートフォンやタブレット端末等の各種携帯端末、工業用カメラ、車載カメラ、医療用カメラ等の各種撮像装置にも適用可能である。
図１に示した本実施形態の画像処理装置は、撮像素子部１０１、メモリ１０２、領域分割部１０３、特徴点抽出部１０４、ベクトル検出部１０５、領域区分部１０６、追跡先特徴点算出部１０７、再設定部１０８を有して構成されている。

撮像素子部１０１は、不図示のレンズや絞り等の光学系を通して得られる被写体像を光電変換し、さらにデジタル画像データに変換していわゆるラスタスキャン順に出力する。本実施形態の場合、撮像素子部１０１は、光電変換、デジタル画像データへの変換、その画像データの出力を、一定時間周期で繰り返し行うことで、動画のフレーム毎の画像データを出力する。
メモリ１０２は、撮像素子部１０１から入力された動画の各フレームの画像データを記憶・保持する。メモリ１０２は、少なくとも、現在のフレームの画像データと、一つ前のフレーム画像データとを、記憶する。

領域分割部１０３は、メモリ１０２から読み出されたフレーム毎の画像を、複数の領域に分割する。なお、領域分割部１０３は、フレームの画像が入力されたタイミングで、そのフレームの画像を複数の領域に分割する。領域分割部１０３における領域分割処理の詳細は後述する。
特徴点抽出部１０４は、領域分割部１０３により分割された各分割領域につき一つの特徴点を求める。分割領域毎に抽出される特徴点の詳細は後述する。
ベクトル検出部１０５は、分割領域毎に抽出された特徴点を基に、動きベクトルを検出する。特徴点に基づく動きベクトル検出の詳細は後述する。

以下、領域分割部１０３による領域分割、特徴点抽出部１０４による特徴点の抽出、ベクトル検出部１０５によるベクトル検出について詳細に説明する。
動きベクトル検出処理では、前述したテンプレートマッチングを用いた動きベクトル検出処理が知られている。動きベクトル検出処理の際には、ベクトル検出率を向上させるために、前述したように画像をグリッド状に分割して特徴点を抽出する処理、特徴点を追跡する処理等が行われる。

図２（ａ）は、ベクトル検出処理の際の、グリッド配置と抽出される特徴点、テンプレートマッチング領域、抽出された特徴点を用いた追跡処理の概要説明に用いる図である。
図１の領域分割部１０３は、フレームの画像を複数の領域（グリッド）に分割する。各グリッドは、予め設定されたサイズの特徴抽出グリッド１０１０及び周辺グリッド１０１１（図２（ａ）中のドット模様が付されたグリッド）として、水平，垂直方向にそれぞれ設定された個数分配置される。なお、周辺グリッド１０１１は、各特徴抽出グリッド１０１０からなる特徴抽出グリッド群の周囲に配置される。周辺グリッド１０１１は、後段のベクトル検出部１０５のテンプレートマッチング処理には使用されるが、特徴点抽出部１０４における特徴点の抽出には使用されない。図２（ｂ）については後述する第３の実施形態で説明する。

特徴点抽出部１０４は、特徴抽出グリッド１０１０毎に、特徴点１００１を一つ抽出する。具体的には、特徴点抽出部１０４は、特徴抽出グリッド１０１０内で特徴量が最も大きいと判定された位置を、その特徴抽出グリッド１０１０の特徴点として抽出する。特徴量の求め方には様々な手法が存在し、一例として、特徴点抽出部１０４は、特徴抽出グリッド１０１０の画像にバンドパスフィルタ処理を施した結果に対し、着目点を中心としたｎ×ｎ画素の値を積分した積分値を特徴量として求める。この例の場合、積分値が大きいほど特徴量が多いとみなされる。

ベクトル検出部１０５は、動画の時間軸上で隣接した二枚のフレーム画像の一方を原画像とし、他方を参照画像として、参照画像内の特徴点を中心とした矩形領域内の画素値と原画像の矩形領域内の画素値との間の相関値演算処理を行って動きベクトルを検出する。具体的には、ベクトル検出部１０５は、二枚目の画像が入力されたタイミングで、一枚目の画像上の特徴点に対応する点が、二枚目の画像上のどこに存在するかを検出する。特徴点に基づくベクトル検出の場合、ベクトル検出部１０５は、一枚目の画像上の特徴点の位置から、２枚目の画像上の検出位置への移動量を、その特徴点に対応した動きベクトルとして検出する。ベクトル検出部１０５は、特徴点の数（つまり領域分割部１０３により分割された分割領域の数）だけ動きベクトルを検出して出力する。

ここで、図２（ａ）の場合、テンプレートマッチング処理の際、現フレームの画像における特徴抽出グリッド１０１０内で、特徴点１００１を中心として、予め決めたサイズの矩形状のサーチ領域１００５及びテンプレート領域１００３が設定される。そして、ベクトル検出部１０５は、これらサーチ領域１００５とテンプレート領域１００３を用いたテンプレートマッチング処理により、動きベクトルのベクトル値１００４を算出する。なお、テンプレートマッチング処理の際のサーチ領域１００５及びテンプレート領域１００３は、撮像素子部１０１のセンサ出力におけるいわゆるラスタスキャン順に合わせて順に設定される。

また、ベクトル検出部１０５では、次のフレームの処理の際には、前フレームにおいて後述する追跡先特徴点算出部１０７にて算出された追跡先特徴点１００２を中心としたテンプレートマッチング処理が行われる。そして、追跡先特徴点１００２は、前フレームで算出されたベクトル値１００４を特徴点１００１に加算することにより算出されている。したがって、複数のフレームにわたって順番に前述同様の処理が行われ、各フレームで順に算出された追跡先特徴点に対してベクトル値が順に加算されることにより、特徴点の追跡が実現される。

図３（ａ）は、撮像素子部１０１の画像出力（以下、センサ出力とする。）からテンプレートマッチング処理の終了までのタイミングチャートである。また、図３（ｂ）は、図２（ａ）と同様の特徴抽出グリッド１０１０、周辺グリッド１０１１、サーチ領域１００５、テンプレート領域１００３、追跡先特徴点１００２を表した図である。また、図３（ｂ）には、いわゆるラスタスキャン１０２０を表す矢印と、テンプレートマッチング処理を開始できる最初（一番初め）のテンプレート位置１１０１も示されている。図３（ａ）において、撮像素子部１０１の画像出力（センサ出力）は１フレームの垂直同期信号ＶＤのパルス間隔の周期内（フレーム周期）で行われ、そのセンサ出力の画像データを基にテンプレートマッチング用画像が生成される。テンプレートマッチング用画像の生成は、ラスタスキャン順のセンサ出力に合わせて開始され、画像生成処理に要する時間分だけ遅延したタイミングで完了する。テンプレートマッチング処理はテンプレートマッチング用画像を用いて行われ、図３（ａ）中の期間Ｔ１〜Ｔ８の各期間は、それぞれが追跡先特徴点に対応したテンプレートマッチングの処理に要する時間を表している。なお、テンプレートマッチング処理に要する時間は、テンプレート領域の大きさ（サイズ）に応じて増減する。

図３（ｂ）の例では、特徴抽出グリッド１０１０として８個のみを図示し、それら各特徴抽出グリッド１０１０にそれぞれ１個の追跡先特徴点１００２が得られている。このため、図３（ａ）には、それら８個の追跡先特徴点１００２のそれぞれに対するテンプレートマッチング処理に要する時間として、８個の期間Ｔ１〜Ｔ８が表されている。また、１フレームの期間におけるテンプレートマッチング処理は、図３（ｂ）に示すように、ラスタスキャン順で最初（一番目）となる追跡先特徴点１００２に対して設定されたテンプレート位置１１０１から開始される。そして、テンプレートマッチング処理は、８個の追跡先特徴点１００２にそれぞれ対応した各期間Ｔ１〜Ｔ８の全ての処理が終了した時点で完了する。

ここで、本実施形態に係るデジタルカメラのように、撮影時の手ぶれ補正のために動きベクトルを用いる場合には、フレームの画像を例えば被写体領域区分と背景領域区分とに分けて、それぞれの領域区分毎に動きベクトルを検出する。このように、被写体領域区分と背景領域区分のそれぞれの動きベクトルを検出して、その動きベクトルを用いたぶれ補正処理を行うことにより、被写体のぶれを精度良く補正することが可能となる。

一方、動きベクトルの検出時の特徴点追跡処理では、時間的に連続した各フレームの画像範囲内で、追跡先特徴点が徐々に移動して行くことになる。このため、例えば被写体の動きやカメラそのものの動きによっては、追跡先特徴点が、フレームの画像範囲内の例えば一部の領域に偏在してしまうようになることがある。そして、前述したように領域区分毎に動きベクトルを検出する場合において、このような追跡先特徴点の偏在が生ずると、例えば被写体のような対象となる領域区分内における動きの変化を正確に捉えられなくなることがある。

図４（ａ）〜図４（ｃ）は、被写体領域区分内で追跡先特徴点に偏りが生じたことにより、動きの変化を正確に捉えられなくなるケースの一例を示す図である。図４（ａ）は第１フレームの画像内の被写体領域としての顔領域８００を示し、図４（ｂ）は次の第２フレームにおいて顔領域８００の中で追跡先特徴点に基づく複数の動きベクトル８０１が検出された例を示している。図４（ｂ）の例には、顔領域８００が図４（ａ）の例から図中右回り方向（時計回り方向）に回転したことで、その右回り方向の回転に応じた複数の動きベクトル８０１が検出された例が示されている。

ところで、被写体の顔を撮影した際に、例えばカメラがパンニングされたことなどにより、追跡先特徴点が一部の領域に偏在した結果、図８（ｃ）に示すように複数の動きベクトル８０２が一部の領域に密集して検出されてしまうことがある。図８（ｃ）のように複数の動きベクトル８０２が一部の領域に密集して検出された場合、顔領域８００が右回り方向に回転したのか、カメラがパンニングされたことで顔領域８００が左方向へ平行移動したのかを区別するのが難しい。このように、追跡先特徴点が一部の領域に偏在して動きベクトルが一部の領域に密集して検出されると、画像の正確な動きの変化を捉えることができず、ベクトル検出精度が低下してしまうことになる。そして、このような低い精度の動きベクトルを撮影時の手ぶれ補正に使用すると、カメラの手ぶれ補正性能も低下してしまうことになる。

そこで、第１の実施形態の画像処理装置は、フレームの画像に対して第１の領域区分と第２の領域区分の少なくとも二つの区分を設定し、特徴抽出グリッド毎に検出された動きベクトルの情報を基に追跡先特徴点が何れの領域区分に属するかを判定する。さらに、第１の実施形態の画像処理装置は、領域区分毎に追跡先特徴点の位置の偏りを判定し、偏りが所定の閾値より大きいと判定された場合には、同一領域区分内で略々均等になるように追跡先特徴点を再設定（再配置）する。
第１の実施形態の画像処理装置は、領域区分の区分け、追跡先特徴点の属する領域区分の判定及び偏りの判定、その判定結果に応じた追跡先特徴点の再設定のための構成として、領域区分部１０６、追跡先特徴点算出部１０７、再設定部１０８を有している。

領域区分部１０６は、前述した複数の特徴抽出グリッドを第１の領域区分と第２の領域区分とに区分けする。区分け処理には様々な手法があり、どのような区分け処理が用いられてもよいが、本実施形態では、一例として、顔検出結果に基づく区分け処理を用いる例を挙げる。図５は、顔検出技術を応用した区分け処理のイメージ図である。図５の例の場合、領域区分部１０６は、顔検出技術により検出された顔領域を含む矩形領域２０１と、その顔領域を含む矩形領域２０１からフレーム画像範囲の下端部に接するまでの矩形領域２０２とを、第１の領域区分として設定する。本実施形態では、この第１の領域区分を被写体領域区分２００と表記する。また、領域区分部１０６は、フレーム画像範囲内において被写体領域区分２００を除いた残りの領域を、第２の領域区分として設定する。本実施形態では、フレーム画像範囲内で被写体領域区分２００を除いた残りの領域である第２の領域区分を、背景領域区分と表記する。そして、領域区分部１０６は、動きベクトル検出部１０５による動きベクトル検出の際の各追跡先特徴点の各位置が、それら被写体領域区分２００と背景領域区分の何れに属する位置であるかを判定することで、各追跡先特徴点の区分けを行う。このように追跡先特徴点の区分けが行われることで、ベクトル検出部１０５にて検出された各動きベクトルが、被写体領域区分２００と背景領域区分の何れに属するかについての分別も行われる。

追跡先特徴点算出部１０７は、ベクトル検出部１０５にて検出された前フレームのベクトル値と、特徴点抽出部１０４にて抽出された前フレームの特徴点とを基に、次のフレームの追跡対象となる特徴点（追跡先特徴点）を算出する。そして、追跡先特徴点算出部１０７は、それら算出した追跡先特徴点の位置の情報（座標情報）と、それら追跡先特徴点が属する領域区分を表す情報（区分情報とする）とを、内部のメモリに記憶する。

再設定部１０８は、被写体領域区分２００の内にある各追跡先特徴点の位置に偏りが生じているか否かを判定し、偏りが生じていると判定した場合には、被写体領域区分２００内で略々均等になるように追跡先特徴点の再設定を行う。

具体的には、先ず、再設定部１０８は、被写体領域区分２００内の追跡先特徴点の数を計数するとともに、図６に示すように被写体領域区分２００を複数の計数領域に分け、それら計数領域毎に追跡先特徴点の数を計数する。図６は、一例として、被写体領域区分２００を上下左右４分割して、４個の計数領域（左上計数領域３０１，右上計数領域３０２，左下計数領域３０３，右下計数領域３０４）に分けた例を挙げている。また、図７（ａ）は、図６に示した左上計数領域３０１，右上計数領域３０２，左下計数領域３０３，右下計数領域３０４の中で検出された各動きベクトル４００を示している。図７（ａ）に示したような各動きベクトル４００はそれぞれが追跡先特徴点を基に求められるため、これら動きベクトル４００の数は追跡先特徴点の数と対応している。図７（ａ）の例の場合、追跡先特徴点は、左上計数領域３０１に４個、右上計数領域３０２に２個、左下計数領域３０３に１個、右下計数領域３０４に１個が存在しており、被写体領域区分２００内には合計８個が存在している。

この図７（ａ）の例の場合、８個の追跡先特徴点を４個の計数領域で等分して、計数領域毎の追跡先特徴点数を２個ずつにした状態が、各追跡先特徴点の位置が偏っていない状態であると考えられる。すなわち、図７（ａ）の例の場合、左上計数領域３０１には４個の追跡先特徴点数が存在するため、図７（ｂ）に示すように、２個削減して追跡先特徴点数を二つにする。また、図７（ａ）の例の場合、右上計数領域３０２には既に二つの追跡先特徴点が存在するため、図７（ｂ）に示すように、右上計数領域３０２ではそれら二つの追跡先特徴点をそのまま維持する。一方、図７（ａ）の例の場合、左下計数領域３０３及び右下計数領域３０４にはそれぞれ一つしか追跡先特徴点が存在していない。このため、図７（ｂ）に示すように、左上計数領域３０１から削除した２個の追跡先特徴点を、左下計数領域３０３及び右下計数領域３０４にそれぞれ一つずつ再設定（再配置）する。これにより、図７（ｂ）に示すように、各計数領域の追跡先特徴点数がそれぞれ２個ずつになされ、各追跡先特徴点の位置が偏っていない状態が実現されることになる。

再設定部１０８は、このような追跡先特徴点の再設定を実現するため、被写体領域区分２００内の追跡先特徴点数を計数領域数で等分した数を目標数として算出し、計数領域毎に、その計数領域内の追跡先特徴点数と目標数とを比較する。そして、再設定部１０８は、計数領域の追跡先特徴点数が目標数を超えている場合には、その計数領域の追跡先特徴点数を、目標数を超えない数まで（目標数以下まで）削減する。

本実施形態の場合、計数領域の追跡先特徴点数が目標数を超えている際に削減対象となる追跡先特徴点を決める手法としては、例えば図８（ａ）〜図８（ｃ）で説明するような手法を用いることができる。ここでは、前述した図７（ａ）の左上計数領域３０１から追跡先特徴点数を２個削除する例を挙げて説明する。図８（ａ）は追跡先特徴点の削除前の状態の左上計数領域３０１を示している。再設定部１０８は、先ず、図８（ａ）の左上計数領域３０１内の四つの動きベクトル４００に対応した四つの追跡先特徴点の座標の重心位置５０１を求め、この重心位置５０１から最も近い位置にある追跡先特徴点を削減対象とする。図８（ｂ）は、図８（ａ）の重心位置５０１から最も近い位置の追跡先特徴点が一つ削除された後の状態の左上計数領域３０１を示している。次に、再設定部１０８は、図８（ｂ）の左上計数領域３０１内の三つの動きベクトル４００に対応した三つの追跡先特徴点の座標から新たな重心位置５０２を求め、この重心位置５０２から最も近い位置にある追跡先特徴点を削減対象とする。図８（ｃ）は、図８（ｂ）の重心位置５０２から最も近い位置の追跡先特徴点が一つ削除された後の状態の左上計数領域３０１を示しており、左上計数領域３０１内の追跡先特徴点数は２個となっている。なお、この例では四つの追跡先特徴点から２個削除する例を挙げたが、追跡先特徴点を３個以上削除する場合には、前述同様に、重心位置の算出と、その重心位置から最も近い位置の追跡先特徴点を削除する処理が繰り返される。また、前述の例では、追跡先特徴点を一つ削除するごとに、重心位置を再計算して更新するようにしたが、重心位置は最初に求めたものを、それ以降の追跡先特徴点削除の際にそのまま使用してもよい。

また、再設定部１０８は、計数領域に対して追跡先特徴点を再設定（補填）する際には、一例として、計数領域内の追跡先特徴点の特徴量を求め、特徴量が最も大きい位置に、追跡先特徴点を再設定（補填）するような手法を用いることができる。
なお、前述の説明では被写体領域区分２００を例に挙げたが、再設定部１０８は、背景領域区分についても同様にして追跡先特徴点の再設定処理を行う。

以上説明したように、第１の実施形態の画像処理装置は、フレーム画像範囲を区分けした領域区分の内で各追跡先特徴点の位置に偏りが生じている場合、その領域区分内で略々均等配置になるように追跡先特徴点の再設定を行う。これにより、第１の実施形態の画像処理装置によれば、追跡先特徴点がフレーム画像範囲内で偏在した場合であっても、ベクトル検出精度の低下を抑えることが可能となる。
＜第２の実施形態＞
図９は、第２の実施形態の画像処理装置の一適用例としてのデジタルカメラの概略構成例を示す図である。なお、第２の本実施形態の画像処理装置についても、第１の実施形態の場合と同様に、各種撮像装置に適用可能である。

図９に示した第２の実施形態の画像処理装置は、撮像素子部６０１、メモリ６０２、領域区分部６０３、オプティカルフロー検出部６０９及び６１９を有して構成されている。オプティカルフロー検出部６０９は、領域分割部６０４、特徴点抽出部６０５、ベクトル検出部６０６、追跡先特徴点算出部６０７、再設定部６０８を有して構成されている。また、オプティカルフロー検出部６１９は、領域分割部６１４、特徴点抽出部６１５、ベクトル検出部６１６、追跡先特徴点算出部６１７、再設定部６１８を有して構成されている。なお本実施形態の場合、オプティカルフロー検出部６０９とオプティカルフロー検出部６１９とは同一の構成となされているが、互いに異なる領域に対してオプティカルフローを検出できるのであれば、異なる構成であってもよい。

撮像素子部６０１は、前述した図１の撮像素子部１０１と同様の構成であり、撮像により得られた画像データを出力する。メモリ６０２は、撮像素子部６０１から入力された動画の各フレームの画像データを記憶・保持する。メモリ６０２は、図１のメモリ１０２と同様に、少なくとも、現在のフレームの画像データと、一つ前のフレーム画像データとを、記憶する。第２の実施形態の場合、メモリ６０２から読み出されたフレーム毎の画像データは、オプティカルフロー検出部６０９の領域分割部６０４、オプティカルフロー検出部６１９の領域分割部６１４、領域区分部６０３にそれぞれ送られる。

領域区分部６０３は、フレームの画像範囲を前述の図１の領域区分部１０６と同様の第１の領域区分と第２の領域区分に区分けする。図１０は、第２の実施形態の場合の領域区分部６０３における領域区分の一例を示す図である。図１０は、顔検出処理により検出された二つの顔領域９００を含み、それら顔領域９００からフレームの画像範囲の下端部までを含む矩形領域が被写体領域区分９０１として設定され、また前述同様の背景領域区分９０２が設定された例を挙げている。

第２の実施形態の場合、領域区分部６０３は、第１の領域区分の一例である被写体領域区分を示す情報をオプティカルフロー検出部６０９に送り、第２の領域区分の一例である背景領域区分を示す情報をオプティカルフロー検出部６１９に送る。したがって、本実施形態の場合、オプティカルフロー検出部６０９では被写体領域区分に対する処理が行われ、オプティカルフロー検出部６１９では背景領域区分に対する処理が行われる。

以下、オプティカルフロー検出部６０９を例に挙げて説明する。
オプティカルフロー検出部６０９の領域分割部６０４は、フレームの画像データのうち、被写体領域区分の画像を所定の領域（前述したグリッド）毎に分割する。特徴点抽出部６０５は、領域分割部６０４により分割されたグリッドごとに特徴量を求め、特徴が最も大きいと判定された位置に特徴点を配置する。これにより、グリッド毎に一つの特徴点の位置が定まる。特徴量に関しては、前述した第１の実施形態と同様である。

ベクトル検出部６０６は、二枚のフレームの被写体領域区分の一方を原画像とし、他方を参照画像として、図１のベクトル検出部１０５と同様に、相関値演算処理を行って動きベクトルを検出する。ベクトル検出部６０６は、特徴点の数（つまり被写体領域区分内の特徴抽出グリッド数）だけ動きベクトルを検出して出力する。

追跡先特徴点算出部６０７は、図１の追跡先特徴点算出部１０７と同様に、ベクトル検出部６０６にて検出された前フレームのベクトル値と、特徴点抽出部６０５にて抽出された前フレームの特徴点とを基に、次のフレームの追跡先特徴点を算出する。そして、追跡先特徴点算出部６０７は、算出した追跡先特徴点の位置の情報（座標情報）と、それら追跡先特徴点が属する領域区分を表す情報とを、内部のメモリに記憶する。

再設定部６０８は、図１の再設定部１０８と同様に、被写体領域区分の内にある各追跡先特徴点の位置に偏りが生じているか否かを判定し、偏りが生じていると判定した場合には、被写体領域区分内で略々均等になるように追跡先特徴点の再設定を行う。
オプティカルフロー検出部６１９では、処理対象が背景領域区分になっていること以外は、オプティカルフロー検出部６０９と同様の処理が行われる。

以上説明したように、第２の実施形態の画像処理装置は、第１の領域区分（被写体領域区分）と第２の領域区分（背景領域区分）とで分けて、それぞれオプティカルフローの検出処理を行う。そして、第２の実施形態でも第１の実施形態と同様に、領域区分の内で各追跡先特徴点の位置に偏りが生じている場合、その領域区分内で略々均等配置になるように追跡先特徴点の再設定が行われる。これにより、第２の実施形態の画像処理装置は、追跡先特徴点がフレーム画像範囲内で偏在した場合であっても、ベクトル検出精度の低下を抑えることが可能となる。

＜第３の実施形態＞
以下、第３の実施形態について説明する。
第３の実施形態では、フレーム画像の画素入力順序（例えば撮像素子部１０１からの画素読み出し順序）に応じて、フレーム画像範囲を分ける場合の例を挙げる。
ここで、複数の追跡先特徴点がフレームの画像範囲内の一部の領域に偏在する例としては、前述の実施形態で挙げた例の他にも、例えば図２（ｂ）に示すように、追跡先特徴点がフレームの画像範囲内の下部領域に集中するように偏在する場合もある。図２（ｂ）に示すように、追跡先特徴点がフレームの画像範囲内の下部領域に集中するように偏在する状態は、例えばデジタルカメラの撮影時にカメラがチルティングされた場合などに生ずることが多い。なお、図２（ｂ）には、図２（ａ）と同様の特徴抽出グリッド１０１０、周辺グリッド１０１１、サーチ領域１００５、テンプレート領域１００３、追跡先特徴点１００２等も示している。

図１１（ａ）は、図３（ａ）と同様、撮像素子部１０１のセンサ出力からテンプレートマッチング処理の終了までのタイミングチャートであり、図２（ｂ）のように下部領域に多数の追跡先特徴点が集中した場合の処理タイミングを表している。図１１（ｂ）は、下部領域に多数の追跡先特徴点が集中した場合において、前述の図３（ｂ）と同様の特徴抽出グリッド１０１０、周辺グリッド１０１１、サーチ領域１００５、テンプレート領域１００３、追跡先特徴点１００２を表した図である。また、図１１（ｂ）には、図３（ｂ）と同様に、ラスタスキャン１０２０を表す矢印と、テンプレートマッチング処理を開始できる最初（一番初め）のテンプレート位置１２０１も示されている。図１１（ｂ）の例では、８個の追跡先特徴点１００２が、フレームの画像範囲内の下部領域に集中するように偏在している。そして、図１１（ａ）の８個の期間Ｔ１〜Ｔ８は、図１１（ｂ）の８個の追跡先特徴点１００２のそれぞれに対するテンプレートマッチング処理に要する時間を表している。

テンプレートマッチング処理は、撮像素子部１０１（センサ出力）からの画素読み出し順序であるラスタスキャン順に合わせて行われるため、フレームの画像範囲内の下部領域は、ラスタスキャン順では終盤に処理が行われる領域となる。図２（ｂ）や図１１（ｂ）のように下部領域に多数の追跡先特徴点が集中した場合、図１１（ａ）に示すように、垂直同期信号ＶＤのパルス間隔の期間内に、期間Ｔ１〜Ｔ８の全てのテンプレートマッチング処理を完了できなくなることがある。つまり、下部領域に追跡先特徴点が集中した場合、図１１（ｂ）に示すように、テンプレートマッチング処理が開始される最初のテンプレート位置１２０１は、ラスタスキャン順の終盤に相当する位置になる。そして、ラスタスキャン順の終盤に相当するテンプレート位置１２０１からテンプレートマッチング処理が始まると、図１１（ａ）に示すように、期間Ｔ１〜Ｔ８の処理の開始までの期間１２００が長くなる。このため、期間Ｔ１〜Ｔ８の処理が完了する前に、垂直同期信号ＶＤの次のパルスが来てしまって処理を完了できなくなることがある。

また、本実施形態のデジタルカメラのように、撮影時の手ぶれ補正に動きベクトルを用いる場合、１フレーム期間内にテンプレートマッチング処理を完了させて動きベクトルを検出し、その動きベクトルを次のフレームの処理にフィードバックする必要がある。
前述した図３（ａ）及び図３（ｂ）の例の場合、１フレーム分の周期内で期間Ｔ１〜Ｔ８の全ての処理が終了し、テンプレートマッチング処理が完了している。このため、動きベクトルを次のフレームの処理にフィードバックでき、その結果、デジタルカメラの撮影時の手ぶれ補正も正しく行える。
これに対し、図１１（ａ）及び図１１（ｂ）の例のように、１フレームの期間内でテンプレートマッチング処理を完了できない場合、正しい動きベクトルを次のフレームの処理にフィードバックすることができなくなる。この場合、ベクトル検出性能が低下し、その結果、デジタルカメラ等の撮影時の手ぶれ補正性能も低下してしまうことになる。

このため、第３の実施形態の画像処理装置では、前述した複数のグリッドを、前述した第１の領域区分と第２の領域区分の少なくとも二つの領域区分に区分けすると共に、後述する第１の指定区域と第２の指定区域の少なくとも二つの指定区域にも区域分けする。また、第３の実施形態の画像処理装置は、第１の指定区域の追跡先特徴点数を計数し、第１の指定区域の追跡先特徴点数が所定数を超えているか否か判定する。そして、第３の実施形態の画像処理装置は、第１の指定区域の追跡先特徴点数が所定数を超えている場合には、第１の指定区域内の追跡先特徴点を、所定数を超えない数まで削除する。さらに、第３の実施形態の画像処理装置は、第１の指定区域内で削除した数の追跡先特徴点を、第２の指定区域の中で同領域区分内の位置に再設定（補填）する。追跡先特徴点の削除の手法には前述した第１の実施形態で説明した重心位置に基づく削除の手法や、特徴量の少ない順に削除する手法などを用いることができる。また、追跡先特徴点の再設定（補填）の手法についても第１の実施形態で説明したのと同様の手法などを用いることができる。

第３の実施形態の画像処理装置の構成は前述の図１と同様であるため、その図示は省略する。第３の実施形態の場合の画像処理装置では、以下に説明するような処理が行われる。
第３の実施形態の画像処理装置の領域区分部１０６は、前述した各分割領域（複数のグリッド）を前述の第１の実施形態と同様の第１の領域区分と第２の領域区分とに区分けする。第３の実施形態の場合も前述した第１の実施形態と同様に、顔検出の結果に基づいて、第１の領域区分として被写体領域区分が、また第２の領域区分として背景領域区分が設定されるとする。

さらに第３の実施形態の場合、領域区分部１０６は、各分割領域（複数のグリッド）を、後述する第１の指定区域と第２の指定区域とに区域分けする。第３の実施形態において、第１の指定区域と第２の指定区域は、フレーム画像の画素入力順序（センサ出力の画素読み出し順序）に応じて設定される。例えば、入力フレーム画像の画素入力順序が、フレーム画像範囲の左上端の画素から水平方向への走査がなされるラスタスキャン順である場合、第１の指定区域はフレーム画像範囲の下部区域となされ、第２の指定区域はフレーム画像範囲の上部区域となされる。すなわち、第１の指定区域はラスタスキャン順で終盤に処理が行われる区域となされ、一方、第２の指定区域はラスタスキャン順で初期に処理が行われる区域となされる。

図１２は、第３の実施形態における第１の領域区分（被写体領域区分２００）及び第２の領域区分（背景領域区分）と、第１の指定区域７０１及び第２の指定区域７０２との配置イメージを示した図である。図１２において、第１の領域区分（被写体領域区分２００）及び第２の領域区分（背景領域区分）は前述の図５で説明したとの同様の領域区分である。一方、第３の実施形態において、第１の指定区域７０１はラスタスキャン順では終盤に処理が行われる区域となされ、第２の指定区域７０２はラスタスキャン順では初期に処理が行われる区域となされる。

第３の実施形態の追跡先特徴点算出部１０７は、前述同様に追跡先特徴点を算出し、それら算出した追跡先特徴点の位置の情報と、追跡先特徴点が属する領域区分と指定区域を表す情報とを、内部のメモリに記憶する。

第３の実施形態の再設定部１０８は、第１の指定区域７０１内で算出された追跡先特徴点数を計数し、その第１の指定区域７０１内の追跡先特徴点数が所定数を超えているか否か判定する。そして、再設定部１０８は、第１の指定区域７０１内の追跡先特徴点数が所定数を超えている場合には、第１の指定区域７０１内の追跡先特徴点を、所定数を超えない数まで削除する。さらに、第３の実施形態の再設定部１０８は、第２の指定区域７０２に対し、第１の指定区域７０１から削除された追跡先特徴点を再設定（補填）する。この削除された追跡先特徴点を第２の指定区域７０２に再設定する際には、第２の指定区域７０２内において、第１の指定区域７０１から削除された追跡先特徴点が属していた領域区分と同一の領域区分内に補填するようにする。すなわち、再設定部１０８は、例えば第１の指定区域７０１内の被写体領域区分２００から削除された追跡先特徴点については第２の指定区域７０２の被写体領域区分２００内に補填するような再設定（再配置）を行う。また、再設定部１０８は、例えば第１の指定区域７０１内の背景領域区分から削除された追跡先特徴点については第２の指定区域７０２の背景領域区分内に補填するような再設定を行う。

以上説明したように第３の実施形態の画像処理装置は、フレーム画像範囲を、第１の領域区分と、第２の領域区分とに分け、さらに、ラスタスキャン順で終盤に処理が行われる第１の指定区域と、初期に処理が行われる第２の指定区域とに区域分けする。そして、第３の実施形態の画像処理装置は、第１の指定区域の追跡先特徴点数が所定数を越える場合、所定数を超えない数まで追跡先特徴点を削除して、第２の指定区域の同領域区分内に追跡先特徴点を再設定する。これにより、第３の実施形態の画像処理装置によれば、追跡先特徴点がフレーム画像範囲内で偏在した場合であっても、ベクトル検出精度の低下を抑え、且つ、１フレーム期間などの所定期間内に処理を完了させることができる。

＜第４の実施形態＞
第４の実施形態について以下に説明する。第４の実施形態の画像処理装置の構成は、前述した図９の構成と同じであるため、その図示は省略する。
第４の実施形態の画像処理装置は、前述した第２の実施形態と同様に、第１の領域区分である被写体領域区分と第２の領域区分である背景領域区分とで、それぞれオプティカルフローの検出処理を行う。
さらに、第４の実施形態の画像処理装置は、第３の実施形態のように、第１の指定区域と第２の指定区域の区域分け処理についても行う。

第４の実施形態の画像処理装置において、前述の図９と同様に、撮像素子部６０１は撮像した画像データを出力し、メモリ６０２から読み出された画像データはオプティカルフロー検出部６０９及び６１９、領域区分部６０３にそれぞれ送られる。

第４の実施形態の領域区分部６０３は、フレームの画像範囲を、前述同様の第１の領域区分と第２の領域区分に区分けし、また、第３の実施形態と同様の第１の指定区域と第２の指定区域とに区域分けする。そして、領域区分部６０３は、第１の領域区分（被写体領域区分）を示す情報をオプティカルフロー検出部６０９に送り、第２の領域区分の一例である背景領域区分を示す情報をオプティカルフロー検出部６１９に送る。したがって、本実施形態の場合、オプティカルフロー検出部６０９では被写体領域区分に対する処理が行われ、オプティカルフロー検出部６１９では背景領域区分に対する処理が行われる。また第３の実施形態の場合、領域区分部６０３は、第１の指定区域及び第２の指定区域を示す情報を、オプティカルフロー検出部６０９及び６１９の両方に送る。

以下、オプティカルフロー検出部６０９を例に挙げて説明する。
オプティカルフロー検出部６０９の領域分割部６０４は、フレームの画像データのうち、被写体領域区分の画像を所定の領域（前述したグリッド）毎に分割する。特徴点抽出部６０５は、領域分割部６０４により分割されたグリッド毎に特徴量を求め、特徴が最も大きいと判定された位置に特徴点を配置する。これにより、グリッド毎に一つの特徴点の位置が定まる。特徴量に関しては、前述した第１の実施形態と同様である。

ベクトル検出部６０６は、前述した図９の例と同様に、特徴点の数（つまり被写体領域区分内の特徴抽出グリッド数）だけ動きベクトルを検出して出力する。また、追跡先特徴点算出部６０７は、前述した図９の例と同様に、追跡先特徴点を算出し、それら算出した追跡先特徴点の位置の情報と、各追跡先特徴点が属する領域区分を表す情報とを内部のメモリに記憶する。

第４の実施形態の再設定部６０８は、第１の指定区域７０１の被写体領域区分２００内で算出された追跡先特徴点数を計数し、その第１の指定区域７０１の被写体領域区分２００内の追跡先特徴点数が所定数を超えているか否か判定する。そして、再設定部１０８は、第１の指定区域７０１の被写体領域区分２００内の追跡先特徴点数が所定数を超えている場合には、第１の指定区域７０１の被写体領域区分２００内の追跡先特徴点を、所定数を超えない数まで削除する。さらに、第４の実施形態の再設定部６０８は、第２の指定区域７０２の被写体領域区分２００内に対し、第１の指定区域７０１の被写体領域区分２００内から削除された追跡先特徴点を再設定（補填）する。
第４の実施形態の場合のオプティカルフロー検出部６１９では、処理対象が背景領域区分になっていること以外はオプティカルフロー検出部６０９と同様の処理が行われる。

以上説明したように、第４の実施形態の画像処理装置は、第１の領域区分（被写体領域区分）と第２の領域区分（背景領域区分）とについてそれぞれオプティカルフローの検出処理を行う。そして、第４の実施形態でも第３の実施形態と同様に、第１の指定区域の追跡先特徴点数が所定数を越える場合、所定数を超えない数まで追跡先特徴点を削除して、第２の指定区域の同一領域区分内に追跡先特徴点を再設定する。これにより、第４の実施形態の画像処理装置によれば、追跡先特徴点がフレーム画像範囲内で偏在した場合であっても、ベクトル検出精度の低下を抑え、且つ、１フレーム期間などの所定期間内に処理を完了させることができる。

なお、第１及び第３の実施形態はベクトル検出のための構成が１セットの例を、第２及び第４の実施形態はベクトル検出のための構成が複数セット（２セット）の例を挙げている。ベクトル検出精度の低下を抑えるという目的を実現するには基本的には第１や第３の実施形態の構成でよい。ただし、例えば領域区分として分けられる領域が顔等の被写体領域だけでなく、他の様々な領域区分に分けられる場合や、その他の用途にも適用する場合には、第２や第４の実施形態の構成を適宜組み合わせた構成を用いることが好適である。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１０１：撮像素子部、１０２：メモリ、１０３：領域分割部、１０４：特徴点抽出部、１０５：ベクトル検出部、１０６：領域区分部、１０７：追跡先特徴点算出部、１０８：再設定部

Claims (18)

1. フレームの画像を複数の領域に分割する分割手段と、
   前記複数に分割された各領域内で画像の特徴点を抽出する抽出手段と、
   前記特徴点を基に動きベクトルを検出する検出手段と、
   前記分割された複数の領域を、少なくとも二つの領域区分に区分けする区分手段と、
   前フレームから検出された前記動きベクトルの値と特徴点とを基に、次のフレームの動きベクトル検出に用いられる追跡先特徴点を算出する算出手段と、
   前記領域区分のなかで前記追跡先特徴点の位置に偏りがある場合、前記追跡先特徴点の位置に偏りがある前記領域区分のなかで前記追跡先特徴点の位置を均等に再設定する再設定手段と、
   を有することを特徴とする画像処理装置。
2. フレームの画像を、少なくとも二つの領域区分に区分けする区分手段と、
   前記領域区分ごとに、画像を複数の領域に分割する分割手段と、
   前記領域区分ごとに、前記複数に分割された各領域内で画像の特徴点を抽出する抽出手段と、
   前記領域区分ごとに、前記特徴点を基に動きベクトルを検出する検出手段と、
   前記領域区分ごとに、前フレームから検出された前記動きベクトルの値と特徴点とを基に、次のフレームの動きベクトル検出に用いられる追跡先特徴点を算出する算出手段と、
   前記領域区分のなかで前記追跡先特徴点の位置に偏りがある場合、前記追跡先特徴点の位置に偏りがある前記領域区分のなかで前記追跡先特徴点の位置を均等に再設定する再設定手段と、
   を有することを特徴とする画像処理装置。
3. 前記再設定手段は、
   前記領域区分を複数の計数領域に分割して前記計数領域ごとに前記追跡先特徴点を計数し、
   前記計数した追跡先特徴点の数が目標数を越えている計数領域のなかで前記目標数を超えた追跡先特徴点を削除し、前記削除された前記追跡先特徴点を、前記計数した追跡先特徴点の数が前記目標数より少ない計数領域のなかに再設定することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記再設定手段は、前記領域区分のなかの前記追跡先特徴点の数を、前記計数領域の数を基に等分した数を、前記目標数として設定することを特徴とする請求項３に記載の画像処理装置。
5. 前記再設定手段は、前記追跡先特徴点の数が前記目標数を超えている前記計数領域のなかの前記追跡先特徴点の各位置の重心位置から最も近い位置の追跡先特徴点を、前記削除する追跡先特徴点として設定することを特徴とする請求項３又は４に記載の画像処理装置。
6. 前記再設定手段は、前記計数領域のなかで特徴量が最も大きい位置に前記追跡先特徴点を再設定することを特徴とする請求項３から５の何れか１項に記載の画像処理装置。
7. フレームの画像を複数の領域に分割する分割手段と、
   前記複数に分割された各領域内で画像の特徴点を抽出する抽出手段と、
   前記特徴点を基に動きベクトルを検出する検出手段と、
   前記分割された複数の領域を、少なくとも二つの領域区分と、第１の指定区域と第２の指定区域の少なくとも二つの指定区域とに、区分けする区分手段と、
   前フレームから検出された前記動きベクトルの値と特徴点とを基に、次のフレームの動きベクトル検出に用いられる追跡先特徴点を算出する算出手段と、
   前記領域区分ごとに、前記第１の指定区域のなかの前記追跡先特徴点の数を計数する計数手段と、
   前記追跡先特徴点の数が所定数を超えた前記第１の指定区域の前記領域区分のなかから、前記所定数を超えない数まで前記追跡先特徴点を削除し、前記第２の指定区域のなかの前記領域区分に、前記削除した数の追跡先特徴点を再設定する再設定手段と、
   を有することを特徴とする画像処理装置。
8. フレームの画像を、少なくとも二つの領域区分と、第１の指定区域と第２の指定区域の少なくとも二つの指定区域とに、区分けする区分手段と、
   前記領域区分ごとに、画像を複数の領域に分割する分割手段と、
   前記領域区分ごとに、前記複数に分割された各領域内で画像の特徴点を抽出する抽出手段と、
   前記領域区分ごとに、前記特徴点を基に動きベクトルを検出する検出手段と、
   前記領域区分ごとに、前フレームから検出された前記動きベクトルの値と特徴点とを基に、次のフレームの動きベクトル検出に用いられる追跡先特徴点を算出する算出手段と、
   前記領域区分ごとに、前記第１の指定区域のなかの前記追跡先特徴点の数を計数する計数手段と、
   前記領域区分ごとに、前記追跡先特徴点の数が所定数を超えた前記第１の指定区域のなかから、前記所定数を超えない数まで前記追跡先特徴点を削除し、前記第２の指定区域のなかに、前記削除した数の追跡先特徴点を再設定する再設定手段と、
   を有することを特徴とする画像処理装置。
9. 前記区分手段は、
   フレームの画像の入力順序で終盤に入力が行われる領域を、前記第１の指定区域として設定し、
   前記入力順序で初期に入力が行われる区分を、前記第２の指定区域として設定することを特徴とする請求項７又は８に記載の画像処理装置。
10. 前記再設定手段は、前記削除した追跡先特徴点が属する領域区分と同一の領域区分が前記第２の指定区域のなかに含まれる場合、前記第２の指定区域のなかの前記同一の領域区分に、前記追跡先特徴点を再設定することを特徴とする請求項７から９の何れか１項に記載の画像処理装置。
11. 前記再設定手段は、前記第１の指定区域の各追跡先特徴点のなかで、特徴量が少ない追跡先特徴点から順に前記削除を行うことを特徴とする請求項７から１０の何れか１項に記載の画像処理装置。
12. 前記再設定手段は、前記追跡先特徴点の数が前記所定数を超えている前記第１の指定区域のなかの前記追跡先特徴点の各位置の重心位置から最も近い位置の追跡先特徴点を、前記削除する追跡先特徴点として設定することを特徴とする請求項７から１１の何れか１項に記載の画像処理装置。
13. 前記再設定手段は、前記第２の指定区域のなかで特徴量が最も大きい位置に前記追跡先特徴点を再設定することを特徴とする請求項７から１２の何れか１項に記載の画像処理装置。
14. フレームの画像を複数の領域に分割する分割工程と、
    前記複数に分割された各領域内で画像の特徴点を抽出する抽出工程と、
    前記特徴点を基に動きベクトルを検出する検出工程と、
    前記分割された複数の領域を、少なくとも二つの領域区分に区分けする区分工程と、
    前フレームから検出された前記動きベクトルの値と特徴点とを基に、次のフレームの動きベクトル検出に用いられる追跡先特徴点を算出する算出工程と、
    前記領域区分のなかで前記追跡先特徴点の位置に偏りがある場合、前記追跡先特徴点の位置に偏りがある前記領域区分のなかで前記追跡先特徴点の位置を均等に再設定する再設定工程と、
    を有することを特徴とする画像処理装置の画像処理方法。
15. フレームの画像を、少なくとも二つの領域区分に区分けする区分工程と、
    前記領域区分ごとに、画像を複数の領域に分割する分割工程と、
    前記領域区分ごとに、前記複数に分割された各領域内で画像の特徴点を抽出する抽出工程と、
    前記領域区分ごとに、前記特徴点を基に動きベクトルを検出する検出工程と、
    前記領域区分ごとに、前フレームから検出された前記動きベクトルの値と特徴点とを基に、次のフレームの動きベクトル検出に用いられる追跡先特徴点を算出する算出工程と、
    前記領域区分のなかで前記追跡先特徴点の位置に偏りがある場合、前記追跡先特徴点の位置に偏りがある前記領域区分のなかで前記追跡先特徴点の位置を均等に再設定する再設定工程と、
    を有することを特徴とする画像処理装置の画像処理方法。
16. フレームの画像を複数の領域に分割する分割工程と、
    前記複数に分割された各領域内で画像の特徴点を抽出する抽出工程と、
    前記特徴点を基に動きベクトルを検出する検出工程と、
    前記分割された複数の領域を、少なくとも二つの領域区分と、第１の指定区域と第２の指定区域の少なくとも二つの指定区域とに、区分けする区分工程と、
    前フレームから検出された前記動きベクトルの値と特徴点とを基に、次のフレームの動きベクトル検出に用いられる追跡先特徴点を算出する算出工程と、
    前記領域区分ごとに、前記第１の指定区域のなかの前記追跡先特徴点の数を計数する計数工程と、
    前記追跡先特徴点の数が所定数を超えた前記第１の指定区域の前記領域区分のなかから、前記所定数を超えない数まで前記追跡先特徴点を削除し、前記第２の指定区域のなかの前記領域区分に、前記削除した数の追跡先特徴点を再設定する再設定工程と、
    を有することを特徴とする画像処理装置の画像処理方法。
17. フレームの画像を、少なくとも二つの領域区分と、第１の指定区域と第２の指定区域の少なくとも二つの指定区域とに、区分けする区分工程と、
    前記領域区分ごとに、画像を複数の領域に分割する分割工程と、
    前記領域区分ごとに、前記複数に分割された各領域内で画像の特徴点を抽出する抽出工程と、
    前記領域区分ごとに、前記特徴点を基に動きベクトルを検出する検出工程と、
    前記領域区分ごとに、前フレームから検出された前記動きベクトルの値と特徴点とを基に、次のフレームの動きベクトル検出に用いられる追跡先特徴点を算出する算出工程と、
    前記領域区分ごとに、前記第１の指定区域のなかの前記追跡先特徴点の数を計数する計数工程と、
    前記領域区分ごとに、前記追跡先特徴点の数が所定数を超えた前記第１の指定区域のなかから、前記所定数を超えない数まで前記追跡先特徴点を削除し、前記第２の指定区域のなかに、前記削除した数の追跡先特徴点を再設定する再設定工程と、
    を有することを特徴とする画像処理装置の画像処理方法。
18. コンピュータを、請求項１から１３の何れか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images