JP7766406B2 - 画像処理装置および画像処理方法 - Google Patents

Description

本発明は、画像処理装置および画像処理方法に関し、特には被写体を追尾する技術に関する。

時系列的に撮影される複数の画像において、特定の被写体が写っている領域（被写体領域）を順次探索する被写体追尾技術が知られている。また、被写体領域を探索する手法として、テンプレートマッチングが知られている（特許文献１）。テンプレートマッチングは、探索を行う画像内において、テンプレートとして登録された画像と最も類似度が高い領域を探索する手法である。テンプレートと同じ大きさの画像領域との類似度の指標は様々な方法で求めることができる。例えば、対応画素間の差分絶対値の総和を類似度の指標として求めることができ、この場合は総和が小さいほど類似度が高いことを示す。

特開２０１９－１３４４３８号公報

例えばライブビュー表示画像中の位置を指定する操作によって、追尾する被写体をユーザが指定できるように構成することができる。この場合、ユーザは、ライブビュー表示しているタッチディスプレイへのタッチ操作や、キーおよびボタン操作の組み合わせによってカーソルなどのポインタを移動させることにより、所望の位置を指定することができる。

しかしながら、撮像装置を保持しながら位置を指定する操作を行うため、指定位置が意図した被写体の領域から外れることが起こりうる。この場合、ユーザの意図しない領域をテンプレートとした追尾処理が実行され、ユーザの意図した被写体を追尾できない場合がある。

本発明はこのような従来技術の課題を少なくとも緩和し、意図した被写体の領域からずれた位置に追尾領域が指定された場合であっても、適切に追尾領域を更新することが可能な画像処理装置および画像処理方法を提供することを目的の１つとする。

上述の目的は、追尾領域を設定する設定手段と、設定された追尾領域に基づいて、テンプレートマッチングに用いるテンプレートを生成する生成手段と、生成手段が生成したテンプレートを用いたテンプレートマッチングを画像に適用することにより、画像においてテンプレートと類似する第１領域を検出する検出手段と、画像において予め定められた被写体が写っている被写体領域を、第１被写体検出処理と、第１被写体検出処理よりも検出精度が低い第２被写体検出処理とによって検出する被写体検出手段と、を有し、被写体追尾を行う画像処理装置であって、設定手段が、検出手段がテンプレートマッチングを適用した画像で検出された第１領域と、前回設定された追尾領域と位置が対応する画像の第２領域との一方を新たな追尾領域として設定し、設定手段が、被写体検出手段で被写体領域が検出されている場合、被写体に基づいて追尾領域を設定し、第１被写体検出処理の検出結果を、第２被写体検出処理の検出結果よりも優先して用いる、ことを特徴とする画像処理装置によって達成される。

本発明によれば、意図した被写体の領域からずれた位置に追尾領域が指定された場合であっても、適切に追尾領域を更新することが可能な画像処理装置および画像処理方法を提供することができる。

実施形態に係る画像処理装置の一例としての撮像装置の機能構成例を示すブロック図 実施形態に係るテンプレートの安定化処理に関するフローチャート 図２の追尾領域設定処理の詳細に関するフローチャート 実施形態に係る追尾領域設定処理の効果を説明するための模式図 実施形態における第１所定時間Ｔ１の効果を説明するための模式図

以下、添付図面を参照して本発明をその例示的な実施形態に基づいて詳細に説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定しない。また、実施形態には複数の特徴が記載されているが、その全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

なお、以下の実施形態では、本発明をデジタルカメラやデジタルビデオカメラなどの撮像装置で実施する場合に関して説明する。しかし、本発明において撮像機能は必須でなく、画像データを取り扱うことが可能な任意の電子機器でも実施可能である。このような電子機器には、ビデオカメラ、コンピュータ機器（パーソナルコンピュータ、タブレットコンピュータ、メディアプレーヤ、ＰＤＡなど）、携帯電話機、スマートフォン、ゲーム機、ロボット、ドローン、ドライブレコーダが含まれる。これらは例示であり、本発明は他の電子機器でも実施可能である。

（撮像装置の構成）
図１を参照して、本発明の実施形態に係る画像処理装置の一例としての撮像装置１００の構成例について説明する。ここでは、撮像装置１００のレンズユニット１０１が交換できないものとするが、本発明はレンズ交換型の撮像装置でも実施可能である。

レンズユニット１０１は、固定レンズ１０２および１２１と、可動レンズであるズームレンズ１１１およびフォーカスレンズ１３１と、絞り１０３とを有している。なお、図では１枚のレンズとして記載している個々のレンズは、複数のレンズから構成されてもよい。

絞り１０３はシャッタを兼ねている。絞り１０３の開口径や開閉動作は、ＣＰＵ１５１の制御に従って絞り制御部１０５が絞りモータ１０４（ＡＭ）を駆動することによって制御される。

ズームレンズ１１１はレンズユニット１０１の光軸に沿って移動することにより、レンズユニット１０１の焦点距離（画角）を変更する。ズームレンズ１１１の位置は、ＣＰＵ１５１の制御に従ってズーム制御部１１３がズームモータ１１２（ＺＭ）を駆動することによって制御される。

フォーカスレンズ１３１はレンズユニット１０１の光軸に沿って移動することにより、レンズユニット１０１の合焦距離を変更する。フォーカスレンズ１３１の位置は、ＣＰＵ１５１の制御に従ってフォーカス制御部１３３がフォーカスモータ１３２（ＦＭ）を駆動することによって制御される。フォーカスレンズ１３１の駆動方向および駆動量は、デフォーカス算出部１６３が算出するデフォーカス量に応じてＣＰＵ１５１が決定する。

ＣＰＵ１５１（主制御部）は、１つ以上のプロセッサであり、例えばＲＯＭ１５５に格納された１つ以上のプログラムをＲＡＭ１５４に読み込んで実行することにより、バス１６０に接続された機能ブロックを制御し、撮像装置１００の機能を実現する。なお、バス１６０に接続された機能ブロックが実現する機能の少なくとも一部を、ＣＰＵ１５１がプログラムを実行することによって実施してもよい。

レンズユニット１０１は、被写体の光学像を撮像素子１４１の撮像面に形成する。撮像素子１４１は、例えばカラーフィルタを有するＣＣＤイメージセンサまたはＣＭＯＳイメージセンサであってよい。撮像素子１４１には光電変換部を有する画素が例えば行列状に複数配列されており、被写体の光学像を複数の画素によってアナログ画像信号に変換する。撮像素子１４１には画素の動作を制御するための回路が設けられている。撮像素子１４１から読み出されたアナログ画像信号は、信号処理部１４２に供給される。

信号処理部１４２はアナログ画像信号に対してノイズ除去、欠陥画素補正、Ａ／Ｄ変換などの処理を適用し、ＲＡＷ形式のデジタル画像信号（ＲＡＷ画像データ）を生成する。信号処理部１４２はＲＡＷ画像データを撮像制御部１４３に出力する。

撮像制御部１４３は、ＲＡＷ画像データをＲＡＭ１５４に格納する。撮像制御部１４３はまた、ＣＰＵ１５１の制御に従い、撮像素子１４１の動作を制御する。

画像処理部１５２は、ＲＡＭ１５４に格納されたＲＡＷ画像データに対して予め定められた画像処理を適用し、信号や画像データを生成したり、各種の情報を取得および／または生成したりする。画像処理部１５２は例えば特定の機能を実現するように設計されたＡＳＩＣのような専用のハードウェア回路であってもよいし、ＤＳＰのようなプログラマブルプロセッサがソフトウェアを実行することで特定の機能を実現する構成であってもよい。

ここで、画像処理部１５２が適用する画像処理には、色補間処理、補正処理、データ加工処理、評価値算出処理、特殊効果処理などが含まれる。色補間処理は、個々の画素について、撮影時に得られない色成分の値を周辺画素の値から補間する処理であり、デモザイク処理とも呼ばれる。補正処理には、ホワイトバランス調整、階調補正（ガンマ処理）、レンズユニット１０１の光学収差や周辺減光の影響を補正する処理、色を補正する処理などが含まれる。データ加工処理には、合成処理、スケーリング処理、データファイルのヘッダ情報生成処理などが含まれる。評価値算出処理には、自動焦点検出（ＡＦ）に用いる信号や評価値の生成、自動露出制御（ＡＥ）に用いる評価値の算出処理などが含まれる。特殊効果処理には、ぼかしの付加、色調の変更、リライティング処理などが含まれる。また、画像処理部１５２は、後述する物体検出部１６２による検出結果を利用して画像処理を適用することができる。例えば、画像処理部１５２は、物体検出部１６２による検出結果を利用して、被写体追尾処理におけるパターンマッチング（画像領域間の相関度を示す値（相関量）の演算処理）を実行ことができる。なお、これらは画像処理部１５２が適用可能な画像処理の例示であり、画像処理部１５２が適用する画像処理を限定するものではない。

上述した画像処理のうち、色補間処理および補正処理は、ＲＡＷ画像データの現像処理とも呼ばれる。画像処理部１５２は、色補間処理および補正処理を含む画像処理をＲＡＷ画像データに適用し、例えばディスプレイ１５０に表示するための表示用画像データおよび、記録部１５７に記録するための記録用画像データを生成し、ＲＡＭ１５４に格納する。

ＣＰＵ１５１は、画像処理部１５２が生成する評価値を用い、撮像装置１００の撮影条件（絞り値、シャッタ速度（露光時間）、撮影感度）を決定する。ＣＰＵ１５１は、決定した絞り値およびシャッタ速度に応じて絞り制御部１０５を制御する。また、ＣＰＵ１５１は、決定した露光時間および撮影感度に応じて撮像制御部１４３を制御する。

コーデック（ＣＯＤＥＣ）１５３は、データの符号化および符号化データの復号を行う。コーデック１５３は、複数の符号化方式をサポートすることができる。コーデック１５３は、ＲＡＭ１５４に格納された記録用画像データやＲＡＷ画像データを符号化する。また、記録部１５７から読み出され、または外部装置から受信されてＲＡＭ１５４に格納された符号化データを復号する。

ＲＡＭ１５４は、いわゆるメインメモリであり、プログラムやプログラムの実行に必要なデータを格納したり、画像データなどを一時的に格納したりするために用いられる。また、ＲＡＭ１５４の一部はＶＲＡＭとして用いられる。

ＲＯＭ１５５は電気的に書き換え可能な不揮発性メモリである。ＲＯＭ１５５は、ＣＰＵ１５１が実行するプログラムおよび定数、撮像装置１００の各種の設定値、ＧＵＩデータなどを記憶する。ＲＯＭ１５５に格納されたプログラムは、撮像装置１００が電源ＯＦＦ状態から電源ＯＮ状態へ移行するとＲＡＭ１５４に読み込まれ、ＣＰＵ１５１によって実行される。

ディスプレイ１５０は例えば液晶ディスプレイ（ＬＣＤ）である。撮影中の動画をディスプレイ１５０にリアルタイム表示することにより、ディスプレイ１５０を電子ビューファインダ（ＥＶＦ）として機能させることができる。ディスプレイ１５０はまた、メニュー画面などのＧＵＩ画面を表示したり、記録済みの画像を表示したり、撮像装置１００の状態や設定値などの情報を表示したりする。

物体検出部１６２は、ＲＡＭ１５４に格納された画像データ（例えば表示用画像データ）に対して、あらかじめ定められた被写体検出処理を適用し、あらかじめ定められた被写体が写っていると判定される領域（被写体領域）を検出する。本実施形態において、物体検出部１６２は、精度と処理時間の異なる複数の被写体検出処理を適用することが可能である。以下では、物体検出部１６２が第１被写体検出処理と、第１被写体検出処理よりも検出精度が低いが処理時間が短い第２被写体検出処理を適用可能であるものとするが、３種類以上の被写体検出処理を適用可能であってもよい。

一例として、第１被写体検出処理は、Haar-Like特徴量を用いて特徴領域を検出する処理であり、第２被写体検出処理は色分布に基づいて特徴領域を検出する処理であるものとする。また、それぞれの被写体検出処理は、検出する被写体について学習済みであるものとする。色分布に基づいて特徴領域を検出する場合、着目領域とその周辺領域の色分布が所定量以上異なれば着目領域を特徴領域として検出することができる。第２被写体検出処理は被写体領域と背景の境界を抽出しやすいが、背景を被写体領域として誤検出する確率が第１被写体検出処理よりも高い。

第１被写体検出処理および第２被写体検出処理はそれぞれ、検出する被写体の種類ごとに異なるパラメータを適用して実行されてもよい。例えば、人物や動物の顔、自動車、飛行機、鉄道、鳥、花など、主被写体となりうる複数種類の物体ごとのパラメータを用いて、第１被写体検出処理および第２被写体検出処理を適用することができる。

操作部１５６はユーザが撮像装置１００に指示を与えるために設けられている入力デバイスの総称である。入力デバイスにはボタン、キー、ダイヤル、タッチパネルなどが含まれる。ディスプレイ１５０がタッチディスプレイの場合、ディスプレイ１５０は操作部１５６としても機能する。操作部１５６を構成する入力デバイスには、静的または動的に機能が割り当てられる。ＣＰＵ１５１は、入力デバイスの操作を検出すると、検出した操作に応じた動作を実行する。

デフォーカス算出部１６３は、専用のフォーカスセンサから得られる信号対、あるいは画像処理部１５２が画像データから生成する信号対を用い、焦点検出領域のデフォーカス量を位相差検出方式によって算出する。撮影範囲内でレンズユニット１０１を合焦させる焦点検出領域は、ユーザもしくはＣＰＵ１５１によって設定される。

ＣＰＵ１５１は、デフォーカス算出部１６３が算出したデフォーカス量に基づいてフォーカス制御部１３３を制御する。これにより、フォーカスレンズ１３１がＦＭ１３２によってデフォーカス量に応じた位置に駆動され、レンズユニット１０１が焦点検出領域に合焦する。

バッテリ１５９は例えば撮像装置１００に装着された２次電池である。バッテリ１５９は電源管理部１５８により管理され、撮像装置１００の全体に電源を供給する。

位置姿勢検出部１６１は、例えばジャイロや加速度センサ、電子コンパス等の位置姿勢センサであり、撮像装置１００の姿勢や動きを表す値を所定の周期で出力する。位置姿勢検出部１６１の出力値はＲＡＭ１５４に格納される。

（テンプレートの安定化処理）
次に、本実施形態において、被写体追尾処理の冒頭に実施するテンプレートの安定化処理の一例について、図２に示すフローチャートを用いて説明する。被写体追尾処理は、例えば撮像装置１００で動画の撮影中に、操作部１５６を通じてユーザから追尾領域が指定されたことに応じて実行される。追尾領域の指定方法に制限はなく、ディスプレイ１５０に表示されているライブビュー画像について、タッチ操作や入力デバイスを用いて範囲もしくは位置を指定する任意の方法であってよい。例えば、ライブビュー画像をタップして追尾対象の被写体の位置を指定したり、ライブビュー画像の中央に追尾対象の被写体が位置するようにフレーミングして操作部１５６の所定のボタンを押下したりすることにより、ユーザは追尾領域を指定することができる。

テンプレートの安定化処理は、例えばユーザが意図した被写体とずれた位置を追尾領域の位置として指定したり、フレーミングが定まっていない可能性のある期間において、適切な追尾領域が設定されるようにする処理である。

Ｓ２００においてＣＰＵ１５１は、追尾処理の経過時間を表す変数ｔを０に初期化し、タイマによる経過時間の計測を開始する。かわりに、ＣＰＵ１５１は、内蔵時計から現在時刻を取得し、追尾処理の開始時刻としてＲＡＭ１５４に格納してもよい。

Ｓ２０１においてＣＰＵ１５１は、指定された追尾領域のサイズが所定サイズ以下か否かを判定し、所定サイズ以下と判定されればＳ２０２を実行し、所定サイズ以下と判定されなければテンプレートの安定化処理を実行する。なお、ユーザが追尾領域の位置を指定し、追尾領域のサイズは撮像装置１００（ＣＰＵ１５１）が設定する場合には、Ｓ２０１はスキップする。

指定された追尾領域のサイズが小さい場合、追尾領域が被写体領域からずれて指定されている可能性が高くなるため、テンプレートの安定化処理を実施する。一方、追尾領域のサイズが小さくない場合には、追尾領域が被写体領域からずれて指定されている可能性が高くないため、テンプレートの安定化処理を行わず、指定された追尾領域をテンプレートとして用いる通常の被写体追尾処理を実行する。

Ｓ２０２においてＣＰＵ１５１は、撮像制御部１４３を通じて動画の１フレームの撮像を実施する。これにより、１フレーム分のＲＡＷ画像データがＲＡＭ１５４に格納される。画像処理部１５２はＲＡＷ画像データから表示用画像データを生成してＲＡＭ１５４に格納する。

Ｓ２０３において検出手段としての画像処理部１５２は、ユーザが指定した追尾領域もしくは更新された追尾領域をテンプレートとして用い、ＲＡＭ１５４に格納された表示用画像データに対してテンプレートマッチング処理を行う。これは、現フレームにおける被写体領域の探索処理に相当する。テンプレートマッチングにより、現フレームにおいてテンプレートと類似する領域が検出される。なお、被写体追尾処理を開始して最初のフレームには用いるテンプレートが存在しないので、Ｓ２０３をスキップする。

Ｓ２０４で設定手段としての画像処理部１５２は、現フレームの画像データに対して追尾領域を設定する。被写体追尾処理を開始して最初のフレームについては、ユーザが指定した追尾領域もしくは、ユーザが指定した位置（座標）を中心とした所定サイズの矩形領域を追尾領域として設定する。第２フレーム以降における追尾領域の設定処理については、詳細を後述する。

Ｓ２０５において生成手段としての画像処理部１５２は、ＲＡＭ１５４に格納されている現フレームの表示用画像データのうち、Ｓ２０４で設定した追尾領域のデータをテンプレートとしてＲＡＭ１５４に格納する。なお、本実施形態ではテンプレートをフレームごとに更新するものとした。しかし、Ｓ２０４で設定した追尾領域の信頼性が低い場合や、フレームレートが高い場合など、あらかじめ定められた条件を満たす場合には、Ｓ２０５でテンプレートを更新せず、現在のテンプレートを維持してもよい。

Ｓ２０６において物体検出部１６２は、ＲＡＭ１５４に格納されている表示用画像データに対して第１被写体検出処理を適用する。物体検出部１６２は、処理結果として、検出した被写体領域の総数、個々の被写体領域の位置、サイズ、信頼度などをＲＡＭ１５４に格納する。

Ｓ２０７において物体検出部１６２は、ＲＡＭ１５４に格納されている表示用画像データに対して第２被写体検出処理を適用する。物体検出部１６２は、処理結果として、検出した被写体領域の総数、個々の被写体領域の位置、サイズ、信頼度などをＲＡＭ１５４に格納する。

Ｓ２０８～Ｓ２１２においてＣＰＵ１５１は、第１被写体検出処理と第２被写体検出処理の結果のうち、いずれを採用するかを判定する。
Ｓ２０８においてＣＰＵ１５１は、ＲＡＭ１５４を参照し、現在設定されている追尾領域との距離が所定値以下の被写体領域が第１被写体検出処理で検出されているか否かを判定する。ＣＰＵ１５１は、現在設定されている追尾領域との距離が所定値以下の被写体領域が第１被写体検出処理で検出されていると判定されればＳ２１２を、判定されなければＳ２０９を実行する。

Ｓ２０９においてＣＰＵ１５１は、被写体追尾処理を開始してからの経過時間が第１所定時間Ｔ１未満か否かを判定し、第１所定時間Ｔ１未満と判定されれば現フレームの処理を終了してＳ２０２を実行する。一方、ＣＰＵ１５１は、被写体追尾処理を開始してからの経過時間が第１所定時間Ｔ１未満と判定されなければＳ２１０を実行する。

Ｓ２１０においてＣＰＵ１５１は、ＲＡＭ１５４を参照し、現在設定されている追尾領域との距離が所定値以下の被写体領域が第２被写体検出処理で検出されているか否かを判定する。ＣＰＵ１５１は、現在設定されている追尾領域との距離が所定値以下の被写体領域が第２被写体検出処理で検出されていると判定されればＳ２１２を、判定されなければＳ２１１を実行する。

Ｓ２１１においてＣＰＵ１５１は、被写体追尾処理を開始してからの経過時間が第２所定時間Ｔ２（＞Ｔ１）未満か否かを判定し、第２所定時間Ｔ２未満と判定されれば現フレームの処理を終了してＳ２０２を実行する。一方、ＣＰＵ１５１は、被写体追尾処理を開始してからの経過時間が第２所定時間Ｔ２未満と判定されなければテンプレートの安定化処理を終了する。その後は、第２所定時間Ｔ２が経過した時点の追尾領域をテンプレートとしたテンプレートマッチングによる被写体追尾処理を継続する。

Ｓ２１２においてＣＰＵ１５１は、第１被写体検出処理もしくは第２被写体検出処理の検出結果に基づいて追尾領域の設定を更新する。例えばＣＰＵ１５１は、現在設定されている追尾領域との距離が所定値以下かつ最も短い被写体領域を、新たな追尾領域とする。また、画像処理部１５２は、更新された追尾領域にしたがってテンプレートを更新する。なお、Ｓ２１２で更新される追尾領域は検出された被写体領域に基づくため、サイズおよび形状は一定でなくてもよい。あるいは、検出された被写体領域の中心もしくは重心座標を中心として、Ｓ２０４で設定するものと同じサイズの矩形領域を更新後の追尾領域として設定してもよい。

Ｓ２１２が実行されると、テンプレートの安定化処理は終了し、その後は、Ｓ２１２で更新された追尾領域をテンプレートとしたテンプレートマッチングによる被写体追尾処理を継続する。

（追尾領域設定について）
Ｓ２０４における追尾領域設定処理について、図３に示すフローチャートを用いてさらに詳細に説明する。

Ｓ３００において画像処理部１５２は、Ｓ２０３におけるテンプレートマッチングによって検出された、現フレーム内でテンプレートと最も類似度の高い領域（候補領域）の情報を、ＲＡＭ１５４から取得する。そして、画像処理部１５２は、現フレームから、候補領域を含んだ所定サイズの矩形領域を抽出し、第１領域とする。第１領域は、例えば、候補領域の中心または重心座標を中心とした矩形領域、候補領域を最も多く含む矩形領域、候補領域を最も多く含み、かつ中心が候補領域の中心または重心座標に最も近い矩形領域のいずれかであってよいが、これらに限定されない。

Ｓ３０１において画像処理部１５２は、前回設定（更新）した追尾領域に対応する、現フレームの領域を抽出し、第２領域とする。ここでは、前フレームの処理においてＳ２０５またはＳ２１２で設定（更新）した追尾領域が、前回設定（更新）した追尾領域である。追尾領域がＳ２１２で更新されている場合、画像処理部１５２は追尾領域の中心または重心座標を中心とする所定サイズの矩形領域を現フレームから抽出し、第２領域とする。第１領域および第２領域は同じサイズの矩形領域である。

第１領域および第２領域は、前フレームから現フレームまでの間にユーザがカメラをパンニングするなどして撮影範囲が変更されないかぎり、ほぼ同じ領域となる。

Ｓ３０２において画像処理部１５２は、Ｓ３００およびＳ３０１で取得した第１領域および第２領域のそれぞれに対する評価値を算出する。ここで算出する評価値は、領域内の画像の（背景でない）被写体らしさを表す任意の評価値であってよい。評価値は、領域に背景でない何らかの被写体が含まれている確からしさを表すが、評価値の算出処理は、物体検出部１６２が行う被写体検出処理のような、特定の被写体を検出する処理とは異なり、より単純な演算処理である。

本実施形態では一例として、領域のコントラスト値を評価値として算出する。コントラスト値は、領域内の水平方向における隣接画素対の値の差分絶対値和である。コントラスト値が大きいほど、領域内の画像が被写体らしいと考えられる。なお、領域にフィルタ処理を適用して抽出した特定帯域成分（例えば高周波成分）の絶対値和や、公知の特徴量、動き量のいずれかを評価値として算出してもよい。

Ｓ３０３において画像処理部１５２は、Ｓ３０２で算出した第１領域の評価値と第２領域の評価値とを比較する。画像処理部１５２は、第２領域の評価値の方が大きい場合はＳ３０４を実行し、第２領域の評価値が第１領域の評価値以下の場合にはＳ３０５を実行する。なお、第２領域の評価値が第１領域の評価値より大きく、かつ評価値の差が所定値以上の場合にＳ３０４を実行し、それ以外の場合はＳ３０５を実行するようにしてもよい。

Ｓ３０４で画像処理部１５２は、第２領域を追尾領域に設定し、追尾領域設定処理を終了する。
Ｓ３０５で画像処理部１５２は、第１領域を追尾領域に設定し、追尾領域設定処理を終了する。
このようにして設定された追尾領域について、Ｓ２０５でテンプレートが生成される。なお、Ｓ２０５におけるテンプレート生成処理において、Ｓ３０２で算出した評価値の大きさを追尾領域の信頼度として用いることができる。

図４は、図３に基づいて説明した追尾領域設定処理の効果について模式的に示した図である。ここで、図４（ａ）および図４（ｂ）は、同一シーンについて、ユーザが意図した追尾対象が異なるにも係わらず、同じ追尾領域が指定された場合を示している。具体的には、図４（ａ）と図４（ｂ）では同一シーンについて同じ位置に追尾領域４１０、５１０が指定されているが、ユーザが意図した追尾対象が図４（ａ）は自動車であり、図４（ｂ）では植物である。なお、ここでは説明および理解を容易にするため、自動車は静止しているか、フレーム間における自動車の動きは無視できる程度であるものとする。また、Ｓ２０８～Ｓ２１２における第１被写体検出処理および第２被写体検出処理に基づく追尾領域の更新はなされないものとする。

図４（ａ）の場合、第１フレームにおいて、追尾領域４１０が意図した追尾対象（自動車）の中心からずれた位置に指定されており、追尾領域４１０は意図した追尾対象をごくわずかしか含んでいない反面、他の被写体（植物）を多く含んでいる。
一方、図４（ｂ）の場合、第１フレームにおいて、追尾領域５１０が意図した追尾対象（植物）を包含する位置に指定されており、追尾領域５１０は他の被写体（自動車）をほとんど含んでいない。

図４（ａ）の場合、第１フレームの処理では、Ｓ２０５において追尾領域４１０がテンプレートとして生成される。
ここで、第１フレームから第２フレームの間にユーザが撮像装置１００を動かし、意図した追尾対象（自動車）が追尾領域４１０の中央に来る方向（図の右方向）に撮影範囲を変更（フレーミング）したものとする。

第２フレームの処理において、Ｓ２０３のテンプレートマッチングでは領域４２１が現フレームにおいて最もテンプレートと類似度が高い領域として検出される。Ｓ３００では領域４２１が第１領域として現フレームから抽出される。一方、Ｓ３０１では指定された追尾領域４１０と位置が同じ領域４２２が第２領域として現フレームから抽出される。

そして、Ｓ３０２において第１領域（領域４２１）と第２領域（領域４２２）について評価値が算出される。第２領域（領域４２２）の評価値が第１領域（領域４２１）の評価値よりも大きくなることにより、Ｓ３０４で第２領域（領域４２２）が追尾領域として設定される。
したがって、Ｓ２０５では領域４２２がテンプレートとして生成される。

フレーミングが継続することにより、第３フレームではさらに撮影範囲が変化している。第３フレームの処理において、Ｓ２０３のテンプレートマッチングでは領域４３１が現フレームにおいて最もテンプレートと類似度が高い領域として検出される。Ｓ３００では領域４３１が第１領域として現フレームから抽出される。一方、Ｓ３０１では前フレームにおける領域４２２と位置が同じ領域４３２が第２領域として現フレームから抽出される。

そして、Ｓ３０２において第１領域（領域４３１）と第２領域（領域４３２）について評価値が算出される。第１領域（領域４３１）の評価値が第２領域（領域４３２）の評価値よりも大きくなることにより、Ｓ３０５で第１領域（領域４３１）が追尾領域として設定される。
したがって、Ｓ２０５では領域４３１がテンプレートとして生成される。

このように、本実施形態では、前回テンプレートとして抽出された領域と、現フレームでテンプレートと最も類似度が高い領域として検出された領域とのうち、被写体らしさがより高い領域を追尾領域に設定する。そのため、意図した被写体から多少ずれた位置を追尾領域として指定してしまった場合でも、ユーザは、追尾を意図した被写体の方向に撮影範囲を変更することにより、意図した被写体が追尾されるようになる。

図４（ｂ）に示す状況では、第１フレームで追尾を意図した被写体（植物）に対して適切な追尾領域５１０が設定されている。第１フレームの処理では、Ｓ２０５において追尾領域５１０がテンプレートとして生成される。
ここでは、第１フレームから第２フレームの間に撮影範囲は変更されず、実質的に同じである。

第２フレームの処理において、Ｓ２０３のテンプレートマッチングでは領域５２１が現フレームにおいて最もテンプレートと類似度が高い領域として検出される。Ｓ３００では領域５２１が第１領域として現フレームから抽出される。一方、Ｓ３０１では指定された追尾領域５１０と位置が同じ領域５２２が第２領域として現フレームから抽出される。

そして、Ｓ３０２において第１領域（領域４２１）と第２領域（領域４２２）について評価値が算出される。第１領域（領域４２１）と第２領域（領域４２２）とはほぼ同一であるため、第１領域（領域４２１）の評価値が第２領域（領域４２２）の評価値は等しいかその差が小さくなる。そのため、Ｓ３０５で第１領域（領域４２１）が追尾領域として設定される。
したがって、Ｓ２０５では領域４２１がテンプレートとして生成される。

第３フレームでも撮影範囲は実質的に同じである。第３フレームの処理において、Ｓ２０３のテンプレートマッチングでは領域５３１が現フレームにおいて最もテンプレートと類似度が高い領域として検出される。Ｓ３００では領域５３１が第１領域として現フレームから抽出される。一方、Ｓ３０１では前フレームにおける領域５２２と位置が同じ領域５３２が第２領域として現フレームから抽出される。

第３フレームでも第１領域（領域４２１）と第２領域（領域４２２）とはほぼ同一であるため、第１領域（領域４２１）の評価値が第２領域（領域４２２）の評価値は等しいかその差が小さくなる。そのため、Ｓ３０５で第１領域（領域４２１）が追尾領域として設定される。

次に、Ｓ２０８～Ｓ２１２の処理についてさらに説明する。
上述したように、第１被写体検出処理は、第２被写体検出処理よりも精度よく被写体領域を検出できる反面、第２被写体検出処理よりも演算負荷が高い。したがって、第１被写体検出処理は、第２被写体検出処理よりも検出結果が得られるまでに要する時間が長い。

現在の追尾領域との距離が閾値以下の被写体領域が第１被写体検出処理で検出されている場合、第１被写体検出処理の検出結果を優先して用いた方がよい。しかし、第１被写体検出処理で現在の追尾領域との距離が閾値以下の被写体領域が検出されない場合には、第２被写体検出処理の検出結果を利用する。本実施形態では、第１被写体検出処理による被写体領域の検出を待機する時間の上限として、第１所定時間Ｔ１を設定している。第１所定時間Ｔ１が経過するまでの間は、上述した追尾領域設定処理によって追尾領域が決定される。

第１所定時間Ｔ１が経過するまでの間に現在の追尾領域との距離が閾値以下の被写体領域が第１被写体検出処理で検出されれば、精度の高い検出結果に基づいてＳ２１２で追尾領域が更新されるため、次のフレームからの追尾精度の向上が見込まれる。

一方、第１所定時間Ｔ１を経過しても現在の追尾領域との距離が閾値以下の被写体領域が第１被写体検出処理で検出されない場合には、第２被写体検出処理の検出結果を用いる。この場合でも、第１所定時間Ｔ１が経過するまでの間に上述した追尾領域設定処理によって追尾領域が適切に更新されている。第２所定時間Ｔ２が経過するまでに、現在の追尾領域との距離が閾値以下の被写体領域が第２被写体検出処理で検出されれば、Ｓ２１２が実行される。

Ｓ２１２では、第２被写体検出処理で検出された被写体領域のうち、現在の追尾領域との距離が閾値以下（例えば重複する）被写体領域に基づいて追尾領域を更新することで、第２被写体検出処理による誤検出による影響を抑制することができる。

（第１所定時間Ｔ１の設定方法）
第１所定時間Ｔ１は、フレームレートなどを勘案して適宜定めることができるが、例えば追尾領域の指定が正確に行いづらい状態についてはそうでない場合よりも第１所定時間Ｔ１を長くしてもよい。これは、追尾領域が意図した被写体からずれて指定されたとしても、第１所定時間Ｔ１が経過して第２被写体検出処理の検出結果が用いられるまでの間に、追尾領域設定処理によって追尾領域が意図した被写体に設定されていることが望ましいからである。

例えば、レンズユニット１０１の焦点距離が長いと撮影範囲が安定しづらくなり、ライブビュー表示される画像が動きやすくなる。表示位置が安定しない画像について意図した位置を指定することは容易でなく、意図した位置からずれた位置が指定されてしまう可能性が高くなる。そのため、ＣＰＵ１５１は、追尾領域が指定された際のレンズユニット１０１の焦点距離が閾値以上（望遠側）の場合には、閾値未満の場合よりも第１所定時間Ｔ１を長くしてもよい。あるいは、ＣＰＵ１５１は、追尾領域が指定された際のレンズユニット１０１の焦点距離が大きいほど第１所定時間Ｔ１を長くしてもよい。

また、追尾領域が指定された際の撮像装置１００の動きを考慮して第１所定時間Ｔ１を決定してもよい。例えば、追尾領域が指定された際に撮像装置１００が動いていた場合には指定された追尾領域と意図した被写体とがずれている可能性が高い。そのため、ＣＰＵ１５１は追尾領域が指定された際に撮像装置１００が動いていたと判定された場合、判定されない場合よりも第１所定時間Ｔ１を長くすることができる。ＣＰＵ１５１は、位置姿勢検出部１６１の出力信号に基づいて、撮像装置１００のヨーおよびピッチ方向のいずれかについて、動きの大きさの単位時間当たりの変化量が所定の閾値以上であれば、撮像装置１００が動いていると判定することができる。

あるいは、動体領域が追尾領域外の近傍に存在するか否かに応じて第１所定時間Ｔ１を異ならせてもよい。ＣＰＵ１５１は、動体領域が追尾領域外の近傍に存在する場合には、指定された追尾領域と意図した被写体とがずれている可能性が高いと判定し、動体領域が追尾領域外の近傍に存在しない場合よりも第１所定時間Ｔ１を長くする。なお、動体領域は公知の任意の手法によって検出することができ、例えば特開２０２０－９５６７３号公報に記載の手法を用いることができる。

また、ＣＰＵ１５１は、追尾領域が安定したと判定されたことを持って第１所定時間Ｔ１が経過したと判定してもよい。ＣＰＵ１５１は例えば、直近の所定時間内に実行された複数回の追尾領域設定処理、または直近に実行された所定回数の追尾領域設定処理において、第１領域が追尾領域として設定された回数の割合が閾値以上のとき、追尾領域が安定したと判定することができる。

第１領域が追尾領域として設定されるのは、前フレームで設定されたテンプレートが適切であると考えられる場合である。したがって、例えば直近の複数回の追尾領域設定処理において、第１領域が追尾領域として設定された回数の割合が閾値以上（例えば８０％以上）であれば、追尾領域が適切な被写体に継続して設定されている可能性が高い。そのため、第２被写体検出処理の検出結果を用いても、精度は担保されるとみなし、第１所定時間Ｔ１が経過したと判定することができる。

（第２所定時間Ｔ２の設定方法）
本実施形態では、第２所定時間Ｔ２の間に第１被写体検出処理でも第２被写体検出処理でも現在の追尾領域との距離が閾値以下の被写体領域が検出されない場合、テンプレートの安定化処理を終了し、通常の被写体追尾処理に移行する。

したがって、第２所定時間Ｔ２は、例えば追尾領域が安定して設定される状態になってから終了するように設定する。基本的には第１所定時間Ｔ１と同様の考え方で第２所定時間Ｔ２を設定することができる。最も単純には、第２所定時間Ｔ２を、第１所定時間Ｔ１の２倍とすることができる。あるいは、被写体領域が存在する場合に第２被写体検出処理によって被写体領域を検出するのに必要な時間と第１所定時間Ｔ１との合計を第２所定時間Ｔ２として設定してもよい。

図５は、図４（ａ）と同様の状況におけるテンプレート安定化処理において、第１所定時間Ｔ１が与える影響を模式的に示している。

図５（ａ）は、第１所定時間Ｔ１を実質的に設けない（第１所定時間Ｔ１＝０）場合を示している。また、図５（ｂ）は、第１所定時間Ｔ１がＳ２０４の追尾領域設定によって追尾領域が第１領域に安定するのに十分な時間である場合を示している。さらに、図５（ｃ）は、第１所定時間Ｔ１が図５（ｂ）の場合と同じ時間であるが、第１所定時間Ｔ１を経過しても現在の追尾領域との距離が閾値以下の被写体領域が第１被写体検出処理で検出されない場合を示している。

以下の説明において、第１被写体検出処理および第２被写体検出処理が検出する被写体領域とは、現在の追尾領域との距離が閾値以下の被写体領域である。６０１は第１被写体検出処理で検出された被写体領域を、６０２は、第２被写体検出処理で検出された被写体領域をそれぞれ示している。

図５（ａ）は、経過時刻ｔ＝０、すなわち第１所定時間Ｔ１経過時点において、第１被写体検出処理では被写体領域が検出されず、第２被写体検出処理で被写体領域が検出されている状態を示している。

この場合、経過時刻ｔ＝０時点で第２被写体検出処理によって検出されている被写体領域６０２に基づく追尾領域がＳ２１２で設定される。そして、次フレームからは、現フレームから抽出された、被写体領域６０２に基づく追尾領域をテンプレートとして用いた被写体追尾処理が行われる。

第１フレームで追尾領域が意図した被写体とずれた位置に設定され、かつ追尾領域には意図しない被写体が含まれている。この場合、第２被写体検出処理で検出される、現在の追尾領域との距離が閾値以下の被写体領域は、意図していない被写体の領域である。そして、第１所定時間Ｔ１が実質的に設けられていないため、ユーザによる撮影範囲の変更が追尾領域の設定に影響を与えることなく、意図していない被写体を追尾し続けることになる。

図５（ｂ）は、図５（ａ）の状態で第１所定時間Ｔ１がＴ１＞０に設定されている。そのため、第１被写体検出処理で被写体領域が検出されるか、経過時間がＴ１に達するまでの間、Ｓ２０４による追尾領域設定処理が繰り返し時実行される。そして、経過時間がＴ１に達するまでの間、第２被写体検出処理で検出される被写体領域６０２は追尾領域の設定に考慮されない。

第１フレームから第２フレームまでの間にユーザが撮像装置１００を自動車の方向にパンニングし、第２フレームの第２領域４２２に自動車が含まれるようになる。これにより、第２フレームに対する追尾領域設定処理（Ｓ２０４）において、第１領域よりも第２領域の評価値が大きくなり、第２領域４２２が次フレームに対する追尾領域として設定される。そして、この時点で、第１被写体検出処理により、追尾領域４２２に重複する被写体領域６０１が検出されているため、Ｓ２０８からＳ２１２へ処理が移行する。

Ｓ２１２では、追尾領域４２２が、第１被写体検出処理の結果に基づいて更新される。ここでは、第１被写体検出処理で検出された被写体領域６０１がそのまま次フレームの追尾領域として設定される例を示している。第１所定時間Ｔ１の経過を待たずにテンプレートの安定化処理が終了し、第３フレーム以降は、被写体領域６０１をテンプレートとして用いる被写体追尾処理が実行される。

第１所定時間Ｔ１を設定することにより、意図した被写体からずれた位置に追尾領域が指定された場合でも、ユーザが撮像装置１００を意図した被写体の方向にパンニングすることにより、意図した被写体を追尾できる確率を高めることができる。

図５（ｃ）は、図５（ｂ）と同様の第１所定時間Ｔ１が設定されており、第１所定時間Ｔ１が経過した時点で第１被写体検出処理によって被写体領域が検出されない場合を示している。
第１フレームでは、第２被写体検出処理で被写体領域が検出されているが、第１所定時間Ｔ１の経過前であるため、第２被写体検出処理の検出結果は追尾領域の設定に考慮されない。

第１フレームから第２フレームまでの間にユーザが撮像装置１００を自動車の方向にパンニングし、第２フレームの第２領域４２２に自動車が含まれるようになり、植物が含まれなくなる。第２フレームに対する追尾領域設定処理（Ｓ２０４）において、第１領域よりも第２領域の評価値が大きくなり、第２領域４２２が次フレームに対する追尾領域として設定される。

これにより、第２被写体検出処理の検出結果としての被写体領域６０２が、植物の領域から自動車の領域に変化する。ただし、第１所定時間Ｔ１の経過前であるため、Ｓ２０９からＳ２０２へ処理が移行し、第２被写体検出処理の検出結果は考慮されない。

その後、第１所定時間Ｔ１が経過するまでの間は、第１領域と第２領域がほぼ同一の状態が継続する。図３に示した追尾領域設定処理では、この間、継続して第１領域が追尾領域に設定されるが、実質的に第２フレームにおける第２領域４２２と同じである。

第１被写体検出処理で被写体領域が検出されないまま第１所定時間Ｔ１が経過した後の第ｍフレームについて、Ｓ２０９からＳ２１０に処理が移行し、第２被写体検出処理の検出結果が考慮されるようになる。そして、Ｓ２１０からＳ２１２に処理が移行し、設定されている追尾領域（第１領域４２１）と重複する被写体領域６０２に基づく追尾領域が設定される。

ここでは、第２被写体検出処理で検出された被写体領域６０２がそのまま次フレーム（第ｍ＋１フレーム）の追尾領域として設定される例を示している。第２所定時間Ｔ２の経過を待たずにテンプレートの安定化処理が終了し、第ｍ＋１フレーム以降は、被写体領域６０２をテンプレートとして用いる被写体追尾処理が実行される。

第１所定時間Ｔ１を設定することにより、意図した被写体からずれた位置に追尾領域が指定された場合でも、ユーザが撮像装置１００を意図した被写体の方向にパンニングすることにより、意図した被写体を追尾できる確率を高めることができる。

そのため、第２被写体検出処理の検出結果に基づいて追尾領域を設定する場合であっても、第２被写体検出処理の誤検出が追尾領域の設定に影響を与える可能性を低減することができる。

本実施形態によれば、現フレームについて、パターンマッチングで検出された領域と、前フレームの追尾領域に対応する領域とのうち、評価値に基づいて被写体らしさがより高いと判定される領域に追尾領域を更新するようにした。そのため、ユーザは、意図した被写体からずれた位置に追尾領域を指定してしまった場合でも、意図した被写体の方向に撮影範囲を移動させることにより、意図した被写体が追尾されるようになり、使い勝手がよい。

また、被写体検出処理の検出結果を用いて追尾領域を更新することにより、被写体の追尾精度をより高めることができる。さらに、精度の異なる複数の被写体検出処理を用いることにより、より精度の良い被写体検出処理の結果を優先しつつ、より精度の良い被写体検出処理の結果を用いることができない場合でも、被写体検出結果に基づいた追尾領域を設定することができる。

さらに、評価値に基づく追尾領域の設定を所定時間実行した後に、精度の低い方の被写体検出処理の結果を用いるようにすることで、誤った被写体検出結果が用いられる可能性を低減することができる。

（その他の実施形態）
上述の実施形態では、第１所定時間Ｔ１を経過するまでは第２被写体検出処理の検出結果を利用しない構成について説明した。しかし、第１所定時間Ｔ１を経過する前に第２被写体検出処理の検出結果を利用しうる構成としてもよい。例えば、被写体検出結果を採用するかどうかを判定する採用度を設け、第１所定時間Ｔ１の経過前には、第２被写体検出処理の検出結果の採用度を低く設定し、第１被写体検出処理の検出結果の採用度を高く設定するようにしてもよい。この場合、第１所定時間Ｔ１の経過前には採用度に従った確率で第１被写体検出処理と第２被写体検出処理の一方の検出結果を用いることができる。

また、上述の実施形態では、テンプレートの安定化処理を被写体追尾処理の開始時に実行し、安定化処理が終了した後は、従前の被写体追尾処理を実行するものとした。しかしながら、被写体追尾処理の開始時だけでなく、被写体追尾処理の実行中にテンプレートの安定化処理を実行してもよい。例えば、焦点検出領域が追尾領域とは異なる位置に設定された場合、焦点検出領域を含んだ追尾領域についてテンプレートの安定化処理を実施してもよい。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

本発明は上述した実施形態の内容に制限されず、発明の精神および範囲から離脱することなく様々な変更及び変形が可能である。したがって、発明の範囲を公にするために請求項を添付する。

１００…撮像装置、１０１…レンズユニット、１４１…撮像素子、１５１…ＣＰＵ、１５２…画像処理部、１５４…ＲＡＭ、１５５…ＲＯＭ

Claims (12)

1. 追尾領域を設定する設定手段と、
   設定された追尾領域に基づいて、テンプレートマッチングに用いるテンプレートを生成する生成手段と、
   前記生成手段が生成したテンプレートを用いたテンプレートマッチングを画像に適用することにより、前記画像において前記テンプレートと類似する第１領域を検出する検出手段と、
   画像において予め定められた被写体が写っている被写体領域を、第１被写体検出処理と、前記第１被写体検出処理よりも検出精度が低い第２被写体検出処理とによって検出する被写体検出手段と、を有し、被写体追尾を行う画像処理装置であって、
   前記設定手段が、前記検出手段が前記テンプレートマッチングを適用した画像で検出された前記第１領域と、前回設定された前記追尾領域と位置が対応する該画像の第２領域との一方を新たな追尾領域として設定し、
   前記設定手段が、前記被写体検出手段で被写体領域が検出されている場合、前記被写体に基づいて前記追尾領域を設定し、前記第１被写体検出処理の検出結果を、前記第２被写体検出処理の検出結果よりも優先して用いる、ことを特徴とする画像処理装置。
2. 前記設定手段は、前記第１領域および前記第２領域のうち、被写体らしさが高い一方を前記新たな追尾領域として設定することを特徴とする請求項１に記載の画像処理装置。
3. 前記設定手段は、前記第１領域および前記第２領域のそれぞれについて被写体らしさを表す予め定められた評価値を算出し、前記評価値に基づいて前記第１領域および前記第２領域の一方を前記新たな追尾領域として設定することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記設定手段は、前記被写体検出手段によって検出された被写体領域のうち、前記第１領域および前記第２領域のうちの一方として設定した前記追尾領域との距離が所定値以下である被写体領域に基づいて前記追尾領域を設定することを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記被写体検出手段によって被写体領域が検出されるか、予め定められた時間が経過するまで、前記追尾領域の設定、前記テンプレートの生成、および前記第１領域の検出を繰り返し実行することを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記設定手段は、第１所定時間が経過するまでは前記第２被写体検出処理の処理結果を用いないことを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
7. 前記画像処理装置が撮像装置であり、前記追尾領域が最初に設定された際の前記撮像装置のレンズユニットの焦点距離が閾値以上の場合には、閾値未満の場合よりも前記第１所定時間を長くすることを特徴とする請求項６に記載の画像処理装置。
8. 前記追尾領域が最初に設定された際に前記画像処理装置が動いていた場合には、動いていない場合よりも前記第１所定時間を長くすることを特徴とする請求項６に記載の画像処理装置。
9. 動体領域が前記追尾領域の近傍に存在する場合には、存在しない場合よりも前記第１所定時間を長くすることを特徴とする請求項６に記載の画像処理装置。
10. 前記設定手段は、前記第１領域が前記追尾領域として設定される割合が閾値以上であれば、前記第１所定時間が経過したと判定することを特徴とする請求項６に記載の画像処理装置。
11. 装置が実行する、被写体追尾のための画像処理方法であって、
    追尾領域を設定する設定工程と、
    設定された追尾領域に基づいて、テンプレートマッチングに用いるテンプレートを生成する生成工程と、
    前記生成工程で生成されたテンプレートを用いたテンプレートマッチングを画像に適用することにより、前記画像において前記テンプレートと類似する第１領域を検出する検出工程と、
    画像において予め定められた被写体が写っている被写体領域を、第１被写体検出処理と、前記第１被写体検出処理よりも検出精度が低い第２被写体検出処理とによって検出する被写体検出工程と、を有し、
    前記設定工程では、前記検出工程が前記テンプレートマッチングを適用した画像で検出された前記第１領域と、前回設定された前記追尾領域と位置が対応する該画像の第２領域との一方を新たな追尾領域として設定し、
    前記設定工程では、前記被写体検出工程で被写体領域が検出されている場合、前記被写体に基づいて前記追尾領域を設定し、前記第１被写体検出処理の検出結果を、前記第２被写体検出処理の検出結果よりも優先して用いる、ことを特徴とする画像処理方法。
12. コンピュータを、請求項１から１０のいずれか１項に記載の画像処理装置が有する各手段として機能させるためのプログラム。