JP7706896B2 - 撮像装置、撮像装置の制御方法及びプログラム - Google Patents

Description

本発明は、撮像装置、撮像装置の制御方法及びプログラムに関する。

撮像装置により検出された被写体内において、ユーザ（撮影者）が焦点検出したい領域を設定し、被写体を追従する必要がある。関連する技術として、特許文献１の技術が提案されている。特許文献１の技術では、被写体が人の顔である場合に、顔の中の目を検出し、検出された目の大きさを判定し、焦点検出領域を目や顔に設定する。

特開２０１２－１２３３０１号公報

上述した特許文献１の技術では、被写体が人物の場合にその人物の目や顔に焦点検出領域を設定すればよいが、撮影シーンによって焦点検出したい領域が、異なる被写体に対してユーザの意思とは異なる領域に焦点検出領域を設定してしまう恐れがある。

本発明は、検出可能な被写体において、焦点検出領域をユーザが設定したい領域に設定することを目的とする。

上記目的を達成するために、本発明の撮像装置は、画像内の乗物領域の少なくとも一部に相当し、運転手の頭部を含む領域を第１局所領域として検出する第１検出手段と、前記乗物領域の少なくとも一部に相当し、乗物の絵柄を含む領域を第２局所領域として検出する第２検出手段と、前記乗物の進行方向の情報を取得する取得手段と、前記第１検出手段及び前記第２検出手段により、前記第１局所領域と前記第２局所領域との両方が検出された場合に、前記取得手段により取得された前記乗物の進行方向の情報である乗物の倒れ、コーナリングの方向、乗物の向きの少なくとも一つに関する情報に応じて、前記第１局所領域と前記第２局所領域との何れかを合焦させる領域として選択する局所領域選択手段と、を備え、前記局所領域選択手段は、前記乗物の進行方向に対して正面からの撮影と、前記乗物の進行方向に対して側面からの撮影では、合焦させる領域として異なる領域を選択することを特徴とする。

本発明によれば、検出可能な被写体において、焦点検出領域をユーザが設定したい領域に設定することができる。

本発明の第１実施形態に係る撮像装置の構成例を示すブロック図である。 第１実施形態に係る撮像装置における撮像素子の画素配列を示す図である。 図３（Ａ）は第１実施形態の撮像素子における撮像画素の平面図であり、図３（Ｂ）は第１実施形態の撮像素子における撮像画素の断面図である。 第１実施形態の撮像素子における撮像画素の構造を説明するための図である。 第１実施形態の撮像素子による瞳分割を説明するための図である。 第１実施形態におけるデフォーカス量と像ずれ量との関係を説明するための図である。 第１実施形態における焦点検出領域を説明するための図である。 第１実施形態に係る撮像装置のライブビュー撮影の流れを示すフローチャートである。 第１実施形態の撮影処理の流れを示すフローチャートである。 第１実施形態の被写体追従ＡＦ処理の流れを示すフローチャートである。 第１実施形態の被写体検出処理及び追尾処理の流れを示すフローチャートである。 第１実施形態のフォーカス領域検出処理の流れを示すフローチャートである。 第１実施形態の焦点検出領域設定処理の流れを示すフローチャートである。 図１４（Ａ）、図１４（Ｂ）、図１４（Ｃ）及び図１４（Ｄ）は第１実施形態のフォーカス領域検出処理で検出されるフォーカス領域を説明するための図である。 第１実施形態におけるフォーカス領域としての検出が有効となりうるシーンの例を示す図である。 第１実施形態の予測ＡＦ処理の流れを示すフローチャートである。 第１実施形態における被写体の像面移動量と予測曲線を説明するための図である。 図１８（Ａ）、図１８（Ｂ）、図１８（Ｃ）、図１８（Ｄ）、図１８（Ｅ）及び図１８（Ｆ）は第１実施形態におけるフォーカス移動可能範囲を説明するための図である。 第１実施形態におけるフォーカス移動可能範囲を説明するための図である。 第１実施形態における予測演算とフォーカス制御時に変更する項目を説明するための図である。 本発明の第２実施形態の焦点検出領域設定処理の流れを示すフローチャートである。 図２２（Ａ）及び図２２（Ｂ）は第２実施形態における局所領域と焦点検出候補領域を説明するための概念図である。 図２３（Ａ）、図２３（Ｂ）、図２３（Ｃ）及び図２３（Ｄ）は第２実施形態における焦点検出候補領域の設定を説明するための概念図である。

以下、本発明の各実施形態について図面を参照しながら詳細に説明する。しかしながら、以下の各実施形態に記載されている構成はあくまで例示に過ぎず、本発明の範囲は各実施形態に記載されている構成によって限定されることはない。

＜第１実施形態＞
以下、図面を参照して、本発明の第１実施形態について説明する。図１は、本発明の第１実施形態に係る撮像装置（カメラ１００）の構成例を示すブロック図である。

図１に示すように、カメラ１００は撮像光学系、ズームアクチュエータ１１１、絞りアクチュエータ１１２、フォーカスアクチュエータ１１４、電子フラッシュ１１５、ＡＦ補助光発光部１１６、撮像素子１０７及びシャッター１０８を有する。また、カメラ１００はＣＰＵ１２１、電子フラッシュ制御回路１２２、補助光駆動回路１２３、撮像素子駆動回路１２４、画像処理回路１２５、フォーカス駆動回路１２６、絞り駆動回路１２８及びズーム駆動回路１２９を有する。更に、カメラ１００は表示器１３１、操作スイッチ群１３２、フラッシュメモリ１３３、被写体検出部１４０、辞書データ記憶部１４１及びフォーカス領域検出部１４２を有する。

第１レンズ群１０１、絞り１０２、第２レンズ群１０３、第３レンズ群１０５及び光学ローパスフィルタ１０６により撮像光学系が構成される。第１レンズ群１０１は、結像光学系としての撮像光学系のうち最も被写体側（前側）に配置され、光軸方向に移動可能に保持されている。絞り１０２は、その開口径を調節することにより、光量調節を行う。第２レンズ群１０３は、絞り１０２と一体となって光軸方向に移動し、光軸方向に移動する第１レンズ群１０１と共に変倍（ズーム）を行う。第３レンズ群（フォーカスレンズ）１０５は、光軸方向に移動して焦点調節を行う。光学ローパスフィルタ１０６は、撮像画像の偽色やモアレを軽減するための光学素子である。

ズームアクチュエータ１１１は、不図示のカム筒を光軸回りで回動させることにより、該カム筒に設けられたカムによって、第１レンズ群１０１及び第２レンズ群１０３を光軸方向に移動させて変倍を行わせる。また、絞りアクチュエータ１１２は、絞り１０２の光量調節動作のために、不図示の複数の遮光羽根を開閉方向に駆動する。そして、フォーカスアクチュエータ１１４は、第３レンズ群１０５を光軸方向に移動させて焦点調節を行わせる。

フォーカス駆動回路１２６は、ＣＰＵ１２１からのフォーカス駆動指令に応じてフォーカスアクチュエータ１１４を駆動し、第３レンズ群１０５を光軸方向に移動させる。絞り駆動回路１２８は、ＣＰＵ１２１からの絞り駆動指令に応じて絞りアクチュエータ１１２を駆動する。ズーム駆動回路１２９は、ユーザのズーム操作に応じてズームアクチュエータ１１１を駆動する。

第１実施形態では、撮像光学系、ズームアクチュエータ１１１、絞りアクチュエータ１１２、フォーカスアクチュエータ１１４、フォーカス駆動回路１２６、絞り駆動回路１２８及びズーム駆動回路１２９がカメラ本体と一体に設けられた場合について説明する。また、カメラ本体は撮像素子１０７を含む。ただし、撮像光学系、ズームアクチュエータ１１１、絞りアクチュエータ１１２、フォーカスアクチュエータ１１４、フォーカス駆動回路１２６、絞り駆動回路１２８及びズーム駆動回路１２９を有する交換レンズがカメラ本体に着脱可能であってもよい。

電子フラッシュ１１５は、キセノン管やＬＥＤ等の発光素子を有し、被写体を照明する光を発する。ＡＦ補助光発光部１１６は、ＬＥＤ等の発光素子を有し、所定の開口パターンを有するマスクの像を投光レンズを介して被写体に投射することにより、暗い又は低コントラストの被写体に対する焦点検出性能を向上させる。また、電子フラッシュ制御回路１２２は、撮像動作に同期して電子フラッシュ１１５を点灯させるように制御する。補助光駆動回路１２３は、焦点検出動作に同期してＡＦ補助光発光部１１６を点灯させるように制御する。

ＣＰＵ１２１は、カメラ１００における各種制御を司る。ＣＰＵ１２１は、演算部、ＲＯＭ、ＲＡＭ、Ａ／Ｄコンバータ、Ｄ／Ａコンバータ及び通信インターフェイス回路等を有する。ＣＰＵ１２１は、ＲＯＭに記憶されているコンピュータプログラムを実行することによって、カメラ１００内の各種回路を駆動したり、ＡＦ処理、撮像処理、画像処理及び記録等の一連の処理（動作）を制御したりする。ＣＰＵ１２１は画像処理装置として機能する。画像処理装置は、ＣＰＵ１２１の他に、被写体検出部１４０や辞書データ記憶部１４１、フォーカス領域検出部１４２等を含む構成であってもよい。

撮像素子１０７は、複数の画素を含む２次元ＣＭＯＳフォトセンサとその周辺回路からなり、撮像光学系の結像面に配置されている。撮像素子１０７は、撮像光学系により形成される被写体像を光電変換する。撮像素子駆動回路１２４は、撮像素子１０７の動作を制御すると共に、光電変換により生成されたアナログ信号をＡ／Ｄ変換して得られたデジタル信号をＣＰＵ１２１に送信する。

シャッター１０８は、フォーカルプレーンシャッターの構成を有しており、ＣＰＵ１２１からの指示に基づき、シャッター１０８に内蔵されているシャッター駆動回路からの指令に応じて、フォーカルプレーンシャッターの駆動を行う。撮像素子１０７の信号を読み出し中には、撮像素子１０７を遮光する。また、露光が行われているときには、フォーカルプレーンシャッターが開かれ、撮像素子１０７に撮影光束が導かれる。

画像処理回路（画像処理部）１２５は、ＣＰＵ１２１内のＲＡＭに蓄積された画像データに対して予め定められた画像処理を適用する。画像処理回路１２５が適用する画像処理には、ホワイトバランス調整処理、色補間処理（デモザイク処理）、ガンマ補正処理といった所謂現像処理のほか、信号形式変換処理、スケーリング処理などがあるが、これらに限定されない。

更に、画像処理回路１２５は、被写体の姿勢情報やシーンに固有の物体（以下、「固有物体」と称する）の位置情報に基づいて主被写体を判定する。画像処理回路１２５が行った判定処理の結果を他の画像処理（例えば、ホワイトバランス調整処理）に利用してもよい。画像処理回路１２５は、処理した画像データや各被写体の関節位置、固有物体の位置や大きさ情報、主被写体と判定した被写体の重心、顔や瞳の位置情報などをＣＰＵ１２１内のＲＡＭに保存する。

表示器（表示手段）１３１は、ＬＣＤ（Liquid Crystal Display）等の表示素子を有し、カメラ１００の撮像モードに関する情報、撮像前のプレビュー画像、撮像後の確認用画像、焦点検出領域の指標及び合焦画像等を表示する。操作スイッチ群１３２は、メインスイッチ（電源スイッチ）、レリーズスイッチ（撮影トリガスイッチ）、ズーム操作スイッチ及び撮影モード選択スイッチ等を含み、ユーザにより操作される。フラッシュメモリ１３３は撮像画像を記録する。なお、フラッシュメモリ１３３はカメラ１００に対して着脱可能である。

被写体検出手段としての被写体検出部１４０は、機械学習により生成される被写体検出用辞書データに基づいて、被写体検出処理を行う。第１実施形態では、被写体検出部１４０は、複数種類の被写体を検出するために、被写体ごとの被写体検出用辞書データを用いる。各被写体検出用辞書データは、例えば、対応する被写体の特徴が登録されたデータである。被写体検出部１４０は、被写体ごとの被写体検出用辞書データを順次切り替えながら被写体検出を行う。第１実施形態では、被写体ごとの被写体検出用辞書データは、辞書データ記憶部１４１に記憶される。従って、辞書データ記憶部１４１には、複数の被写体検出用辞書データが記憶される。ＣＰＵ１２１は、複数の被写体検出用辞書データの中から何れの被写体検出用辞書データを用いて被写体検出を行うかを、事前に設定された被写体の優先度やカメラ１００（撮像装置）の設定に基づいて決定する。

フォーカス領域検出手段としてのフォーカス領域検出部１４２は、機械学習により生成されるフォーカス領域検出用辞書データに基づいて、被写体内の領域で合焦すべき領域（ピントを合わせるべき領域）の検出を行う。第１実施形態では、フォーカス領域検出部１４２は、被写体検出部１４０により検出された被写体（以下、「検出被写体」と称する）の領域（以下、「被写体検出領域」と称する）の画像信号を少なくとも入力とし、出力としてのフォーカス領域を得る。フォーカス領域は、検出被写体内の領域で合焦すべき領域である。第１実施形態では、被写体ごとのフォーカス領域検出用辞書データは辞書データ記憶部１４１に記憶される。従って、辞書データ記憶部１４１には、複数のフォーカス領域検出用辞書データが記憶される。被写体検出部１４０で用いられた被写体検出用辞書データと対応付けられたフォーカス領域検出部１４２で用いられるフォーカス領域検出用辞書データを選択して用いる。詳細は後述する。

記憶手段としての辞書データ記憶部１４１には、被写体ごとの被写体検出用辞書データ及びフォーカス領域検出用辞書データが記憶されている。被写体検出部１４０は、撮像された画像データと被写体検出用辞書データとに基づいて、画像中の被写体の位置を推定する。また、被写体検出部１４０は、被写体の位置やサイズ、信頼度等の情報を推定して、推定したこれらの情報を出力してもよい。更に、被写体検出部１４０は、他の情報を出力してもよい。同様に、フォーカス領域検出部１４２は、上述の通り、被写体検出領域の画像データを入力画像として、フォーカス領域検出用辞書データに基づいて、入力画像内の合焦すべき領域（フォーカス領域）を出力する。

被写体検出部１４０が使用する被写体検出用辞書データとしては、例えば、被写体として「人物」を検出するための人物辞書データや「動物」を検出するための動物辞書データ、「乗物」を検出するための乗物辞書データ等がある。また、「人物の全体」を検出するための辞書データと「人物の顔」を検出するための辞書データとが別個に辞書データ記憶部１４１に記憶されていてもよい。

フォーカス領域検出用辞書データとしては、例えば、被写体として「乗物」が検出され、入力画像とされた場合に、被写体のサイズや撮影設定に応じて、乗物の運転手の頭部の領域を出力したり、乗物の筐体の側面の領域を出力したりする辞書データである。フォーカス領域検出部１４２がフォーカス領域検出用辞書データを使用する。本発明では、このように、被写体検出領域とは別に、合焦すべき領域（フォーカス領域）を出力することにより、撮影シーンに応じて適切な領域でピントを合わせた画像を得ることができる。詳細は後述する。

第１実施形態では、被写体検出部１４０は、機械学習（深層学習）されたＣＮＮ（コンボリューショナル・ニューラル・ネットワーク）により構成され、撮像された画像データに含まれる被写体の位置等を推定する。また、フォーカス領域検出部１４２は、機械学習（深層学習）されたＣＮＮ（以下、「学習済みＣＮＮ」と称する）により構成され、検出被写体内の領域でピントを合わせるべき位置等を推定する。第１実施形態では、被写体検出部１４０及びフォーカス領域検出部１４２は、それぞれ異なる手法により機械学習されたＣＮＮにより構成される。被写体検出部１４０及びフォーカス領域検出部１４２は、ＧＰＵ（グラフィックス・プロセッシング・ユニット）やＣＮＮによる推定処理に特化した回路で実現されてもよい。

本発明では、ＣＮＮの機械学習は任意の手法で行われ得る。例えば、サーバ等の所定のコンピュータがＣＮＮの機械学習を行って学習済みＣＮＮ（即ち、学習済みモデル）を生成し、カメラ１００は所定のコンピュータから学習済みＣＮＮを取得してもよい。例えば、所定のコンピュータが、学習用の画像データを入力とし、学習用の画像データに対応する被写体の位置等を教師データとした教師あり学習を行うことにより、被写体検出部１４０のＣＮＮの機械学習を行わってもよい。また、所定のコンピュータが、学習用の画像データを入力とし、学習用の画像データの被写体に対応するピントを合わせるべき位置等を教師データとした教師あり学習を行うことにより、フォーカス領域検出部１４２のＣＮＮの機械学習を行わってもよい。このように、被写体検出部１４０及びフォーカス領域検出部１４２の学習済みＣＮＮ（学習済みモデル）が生成される。

ここで、上述したように、被写体検出部１４０は被写体検出用辞書データを使用して被写体を検出する。また、被写体検出部１４０は、それぞれ異なる種類の被写体（人物や動物、乗物等）についての被写体検出用辞書データを使用して被写体を検出する。第１実施形態では、被写体検出部１４０が使用する各被写体検出用辞書データは、被写体検出部１４０を構成する学習済みＣＮＮを適用することにより、生成される。また、フォーカス領域検出部１４２はフォーカス領域検出用辞書データを使用してフォーカス領域を検出する。フォーカス領域検出部１４２が使用する各フォーカス領域検出用辞書データも、フォーカス領域検出部１４２を構成する学習済みＣＮＮを適用することにより、生成される。

また、ＣＮＮの機械学習は、カメラ１００（撮像装置）又はＣＰＵ１２１（画像処理装置）で行われてもよい。

なお、上述したように、第１実施形態では、被写体検出部１４０及びフォーカス領域検出部１４２はそれぞれ異なる機械学習されたＣＮＮにより構成されている。しかしながら、本発明はこれに限定されず、被写体検出部１４０及びフォーカス領域検出部１４２は、それぞれ異なる機械学習されたニューラルネットワークにより構成されてもよい。また、被写体検出部１４０及びフォーカス領域検出部１４２は、学習済みＣＮＮ以外の学習済みモデルにより構成されてもよい。例えば、被写体検出部１４０及びフォーカス領域検出部１４２は、サポートベクターマシンやロジスティクス回帰等の任意の機械学習アルゴリズムにより機械学習された学習済みモデルにより構成されてもよい。

次に、図２を参照して、第１実施形態に係る撮像装置（カメラ１００）の撮像素子１０７の画素配列について説明する。図２は、撮像素子１０７のうち、光軸方向（以下、「ｚ方向」と称する）から見た、４画素列×４画素行の範囲の画素配列を示している。

図２に示すように、１つの画素ユニット２００は２行×２列に配置された４つの撮像画素を含む。撮像素子１０７上に多数の画素ユニット２００が配列されることにより、２次元の被写体像の光電変換を行うことができる。１つの画素ユニット２００のうち、左上にはＲ（赤）の分光感度を有する撮像画素（以下、「Ｒ画素」と称する）２００Ｒが配置され、右上と左下にはＧ（緑）の分光感度を有する撮像画素（以下、「Ｇ画素」と称する）２００Ｇがそれぞれ配置されている。更に、右下にはＢ（青）の分光感度を有する撮像画素（以下、「Ｂ画素」と称する）２００Ｂが配置されている。また、各撮像画素は、水平方向（以下、「ｘ方向」と称する）に分割された第１焦点検出画素２０１と第２焦点検出画素２０２を含む。

第１実施形態に係るカメラ１００の撮像素子１０７において、撮像画素の画素ピッチＰは４μｍであり、撮像画素数Ｎは約２０７５万画素（ｘ方向５５７５列×垂直方向（以下、「ｙ方向」と称する）３７２５行）である。また、焦点検出画素の画素ピッチＰＡＦは２μｍであり、焦点検出画素数ＮＡＦは約４１５０万画素（ｘ方向１１１５０列×ｙ方向３７２５行）である。

第１実施形態では、各撮像画素が水平方向に２分割されている場合について説明するが、各撮像画素が垂直方向に分割されていてもよい。また、第１実施形態の撮像素子１０７は、第１焦点検出画素２０１と第２焦点検出画素２０２をそれぞれ含む撮像画素を複数有しているが、撮像画素と第１焦点検出画素及び第２焦点検出画素とを別々の画素として設けてもよい。例えば、複数の撮像画素の中に、第１焦点検出画素及び第２焦点検出画素を離散的に配置してもよい。

図３（Ａ）は第１実施形態の撮像素子１０７の受光面側（＋ｚ方向）から見た１つの撮像画素（図中では、Ｇ画素２００Ｇ）を示している。図３（Ｂ）は、図３（Ａ）の撮像画素のａ－ａ断面を－ｙ方向から見て示している。

図３（Ｂ）に示すように、１つの撮像画素には、入射光を集光するための１つのマイクロレンズ３０５が設けられている。また、撮像画素には、ｘ方向にＮ分割（第１実施形態では２分割）された光電変換部３０１及び光電変換部３０２が設けられている。光電変換部３０１及び光電変換部３０２はそれぞれ、第１焦点検出画素２０１及び第２焦点検出画素２０２に相当する。光電変換部３０１及び光電変換部３０２の重心はそれぞれ、マイクロレンズ３０５の光軸に対して、－ｘ方向側および＋ｘ方向側に偏心している。

各撮像画素におけるマイクロレンズ３０５と光電変換部３０１及び光電変換部３０２との間には、Ｒ、Ｇ又はＢのカラーフィルタ３０６が設けられている。なお、光電変換部ごとにカラーフィルタの分光透過率を変えてもよいし、カラーフィルタを省略してもよい。

撮像光学系から撮像画素に入射した光は、マイクロレンズ３０５により集光され、カラーフィルタ３０６で分光された後、光電変換部３０１及び光電変換部３０２で受光されてから、光電変換される。

次に、図４を参照して、図３（Ａ）及び図３（Ｂ）に示した撮像画素の構造と瞳分割との関係を説明する。図４は、図３（Ａ）に示した撮像画素のａ－ａ断面を＋ｙ方向から見て示すと共に、撮像光学系の射出瞳を示す。図４では、射出瞳の座標軸との対応を取るために、撮像画素のｘ方向とｙ方向とを図３（Ｂ）に対して反転させている。

図４に示すように、射出瞳のうち、＋Ｘ方向側に重心が偏心した第１瞳領域５０１は、マイクロレンズ３０５によって、撮像画素のうち－ｘ方向側の光電変換部３０１の受光面と概ね共役な関係とされた領域である。第１瞳領域５０１を通過した光束は、光電変換部３０１、即ち、第１焦点検出画素２０１により受光される。また、射出瞳のうち、－Ｘ方向側に重心が偏心した第２瞳領域５０２は、マイクロレンズ３０５によって、撮像画素のうち＋ｘ方向側の光電変換部３０２の受光面と概ね共役な関係とされた領域である。第２瞳領域５０２を通過した光束は、光電変換部３０２、即ち、第２焦点検出画素２０２により受光される。瞳領域５００は、光電変換部３０１及び光電変換部３０２（第１焦点検出画素２０１及び第２焦点検出画素２０２）を全て合わせた撮像画素全体で受光可能な瞳領域を示している。

次に、図５を参照して、撮像素子による瞳分割を説明する。図５は撮像素子１０７による瞳分割を示している。図５に示すように、第１瞳領域５０１と第２瞳領域５０２をそれぞれ通過した一対の光束は、撮像素子１０７の各撮像画素にそれぞれ異なる角度で入射し、２分割された第１焦点検出画素２０１及び第２焦点検出画素２０２により受光される。第１実施形態では、撮像素子１０７の複数の撮像画素の第１焦点検出画素２０１からの出力信号を集めて第１焦点検出信号を生成し、撮像素子１０７の複数の撮像画素の第２焦点検出画素２０２からの出力信号を集めて第２焦点検出信号を生成する。また、複数の撮像画素の第１焦点検出画素２０１からの出力信号と第２焦点検出画素２０２からの出力信号とを加算して撮像画素信号を生成する。そして、複数の撮像画素からの撮像画素信号を合成して、有効画素数Ｎ（撮像画素数Ｎ）に相当する解像度の画像を生成するための撮像信号を生成する。

次に、図６を参照して、撮像光学系のデフォーカス量と撮像素子１０７から取得される第１焦点検出信号と第２焦点検出信号の位相差（以下、「像ずれ量」と称する）との関係について説明する。図６において、撮像面６００には撮像素子１０７が配置されており、図４及び図５を参照して説明したように、撮像光学系の射出瞳は第１瞳領域５０１と第２瞳領域５０２とに２分割されている。

図６に示すように、デフォーカス量ｄは、被写体（８０１，８０２）からの光束の結像位置Ｃから撮像面６００までの距離（大きさ）を｜ｄ｜として、結像位置Ｃが撮像面６００より被写体側にある前ピン状態を負符号（ｄ＜０）で表すように定義される。また、デフォーカス量ｄは、結像位置Ｃが撮像面６００より被写体とは反対側にある後ピン状態を正符号（ｄ＞０）で表すように定義される。結像位置Ｃが撮像面６００にある合焦状態では、ｄ＝０である。撮像光学系は、被写体８０１に対して合焦状態（ｄ＝０）にあり、被写体８０２に対して前ピン状態（ｄ＜０）にある。前ピン状態（ｄ＜０）と後ピン状態（ｄ＞０）を合わせてデフォーカス状態（｜ｄ｜＞０）と称する。

前ピン状態（ｄ＜０）では、被写体８０２からの光束のうち、第１瞳領域５０１（第２瞳領域５０２）を通過した光束は、一旦集光した後、光束の重心位置Ｇ１（Ｇ２）を中心として幅Γ１（Γ２）に広がり、撮像面６００上でボケ像を形成する。このボケ像は、撮像素子１０７上の各第１焦点検出画素２０１（各第２焦点検出画素２０２）により受光され、第１焦点検出信号（第２焦点検出信号）が生成される。つまり、第１焦点検出信号（第２焦点検出信号）は、撮像面６００上での光束の重心位置Ｇ１（Ｇ２）にて被写体８０２がボケ幅Γ１（Γ２）だけボケた被写体像を表す信号となる。

被写体像のボケ幅Γ１（Γ２）は、第１焦点検出信号と第２焦点検出信号のデフォーカス量ｄの大きさ｜ｄ｜の増加に概ね比例して増加する。同様に、第１焦点検出信号と第２焦点検出信号間の被写体像の像ずれ量ｐ（＝光束の重心位置の差Ｇ１－Ｇ２）の大きさ｜ｐ｜も、デフォーカス量ｄの大きさ｜ｄ｜の増加に概ね比例して増加する。後ピン状態（ｄ＞０）でも、第１焦点検出信号と第２焦点検出信号間の被写体像の像ずれ方向は前ピン状態とは反対となるが、同様である。

このように、デフォーカス量の大きさが増加するのに伴って、第１焦点検出信号と第２焦点検出信号間の被写体像の像ずれ量の大きさが増加する。第１実施形態では、撮像素子１０７を用いて得られた第１焦点検出信号と第２焦点検出信号間の被写体像の像ずれ量からデフォーカス量を算出する「撮像面位相差検出方式による焦点検出」を行う。

次に、図７を参照して、撮像素子１０７のうち、第１焦点検出信号及び第２焦点検出信号を取得する焦点検出領域について説明する。図７において、Ａ（ｎ，ｍ）は、撮像素子１０７の有効画素領域１０００に設定された複数（図中では、ｘ方向及びｙ方向に３つずつの計９つ）の焦点検出領域のうち、ｘ方向でのｎ番目、ｙ方向でのｍ番目の焦点検出領域を示す。焦点検出領域Ａ（ｎ，ｍ）に含まれる複数の第１焦点検出画素２０１及び第２焦点検出画素２０２からの出力信号から、第１焦点検出信号及び第２焦点検出信号が生成される。Ｉ（ｎ，ｍ）は、表示器１３１において焦点検出領域Ａ（ｎ，ｍ）の位置を表示する指標を示す。

なお、図７に示した９つの焦点検出領域はあくまでも一例に過ぎず、本発明では、焦点検出領域の数、位置及びサイズは図７の例に限定されない。例えば、ユーザが指定した位置や被写体検出部１４０により検出された被写体の位置（以下、「被写体位置」とも称する）を中心とした所定の範囲に、一つ若しくは複数の領域を焦点検出領域として設定してもよい。第１実施形態では、後述するデフォーカスマップの取得に際して、より高分解能の焦点検出結果が得られるように、焦点検出領域を配置する。例えば、撮像素子１０７上に、水平１２０分割及び垂直８０分割で計９６００点の焦点検出領域を配置する。

次に、第１実施形態に係る撮像装置（カメラ１００）のライブビュー撮影の流れについて説明する。図８は第１実施形態に係るカメラ１００のライブビュー撮影の流れを示すフローチャートである。具体的には、図８はカメラ１００にライブビュー画像を表示器１３１に表示する撮像前から静止画撮像を行うまでの動作を行わせる処理を示している。ＣＰＵ１２１は、コンピュータプログラムに従って図８の処理を実行する。なお、以下の説明において、Ｓはステップを意味する。

まず、Ｓ１において、ＣＰＵ１２１は、撮像素子駆動回路１２４に撮像素子１０７を駆動させ、撮像素子１０７から撮像データを取得する。その後、ＣＰＵ１２１は、取得した撮像データのうち、図７に示した焦点検出領域のそれぞれに含まれる複数の第１焦点検出画素及び第２焦点検出画素から第１焦点検出信号及び第２焦点検出信号を取得する。また、ＣＰＵ１２１は、撮像素子１０７の全有効画素の第１焦点検出信号及び第２焦点検出信号を加算して撮像信号を生成し、画像処理回路１２５に撮像信号（撮像データ）に対する画像処理を行わせて画像データを取得する。なお、撮像画素と第１焦点検出信号及び第２焦点検出画素とを別々に設けた場合に、ＣＰＵ１２１は焦点検出用画素に対する補完処理を行って画像データを取得する。

次に、Ｓ２において、ＣＰＵ１２１は、画像処理回路１２５にＳ１で得られた画像データからライブビュー画像を生成させ、生成されたライブビュー画像を表示器１３１に表示させる。なお、ライブビュー画像は表示器１３１の解像度に合わせた縮小画像であり、ユーザはライブビュー画像を見ながら撮像構図や露出条件等を調整することができる。そのため、ＣＰＵ１２１は、画像データから得られた測光値に基づき露出調整を行い、表示器１３１に表示する。露出調整は、露光時間、撮影レンズの絞り開口の開閉、撮像素子出力に対するゲイン調整を適宜行うことにより実現する。

次に、Ｓ３において、ＣＰＵ１２１は、操作スイッチ群１３２に含まれるレリーズスイッチの半押し操作によって、撮像準備動作の開始を指示するスイッチＳｗ１（以下、単に「Ｓｗ１」と称する）がオンされたか否かを判定する。ＣＰＵ１２１は、Ｓ３でＳｗ１がオンされていないと判定した場合に、Ｓｗ１がオンになるタイミングを監視するため、Ｓ３で行われる判定を繰り返す。一方、ＣＰＵ１２１は、Ｓ３でＳｗ１がオンされたと判定した場合に、処理をＳ４００に進め、被写体追従ＡＦ処理（被写体追従オートフォーカス処理）を行う。被写体追従ＡＦ処理では、得られた撮像信号や焦点検出信号から被写体領域の検出、フォーカス領域の検出、焦点検出領域の設定、焦点検出タイミングから画像露光タイミングまでのタイムラグの影響を抑制するための予測ＡＦ処理などを行う。カメラ１００に被写体追従ＡＦ動作を行わせる「被写体追従ＡＦ処理」の詳細は後述する。

ＣＰＵ１２１は被写体追従ＡＦ処理を行ってから、処理をＳ５に進め、レリーズスイッチの全押し操作によって、撮像動作の開始を指示するスイッチＳｗ２（以下、単に「Ｓｗ２」と称する）がオンされたか否かを判定する。ＣＰＵ１２１は、Ｓ５でＳｗ２がオンされていないと判定した場合に、処理をＳ３に戻す。一方、ＣＰＵ１２１は、Ｓ５でＳｗ２がオンされたと判定した場合に、処理をＳ３００に進め、撮像処理を実行する。カメラ１００に撮像動作を行わせる「撮像処理」の詳細は後述する。撮像処理が終了すると、ＣＰＵ１２１は処理をＳ７に進める。

Ｓ７において、ＣＰＵ１２１は、操作スイッチ群１３２に含まれるメインスイッチがオフされたか否かを判定する。ＣＰＵ１２１は、Ｓ７でメインスイッチがオフされたと判定した場合に、ライブビュー撮影を終了する。一方、ＣＰＵ１２１は、Ｓ７でメインスイッチがされていないと判定した場合に、処理をＳ３に戻す。

第１実施形態では、Ｓ３でＳｗ１のオンが検出された後に（Ｓｗ１がオンされたと判定された後に）、被写体追従ＡＦ処理を行うように構成したが、被写体追従ＡＦ処理を行うタイミングはこれに限らない。Ｓｗ１がオンされる前の状態に、Ｓ４００で行われる被写体追従ＡＦ処理を行うことにより、撮影者の撮影前の予備動作を不要とすることができる。

次に、図８のＳ３００でＣＰＵ１２１が実行する撮像処理の流れについて説明する。図９は図８のＳ３００でＣＰＵ１２１が実行する撮像処理の流れを示すフローチャートである。

Ｓ３０１において、ＣＰＵ１２１は、露出制御処理を行い、撮像条件（シャッター速度、絞り値、撮像感度等）を決定する。この露出制御処理は、ライブビュー画像の画像データから取得した輝度情報を用いて行うことができる。そして、Ｓ３０１において、ＣＰＵ１２１は、決定した絞り値を絞り駆動回路１２８に送信して、絞り１０２を駆動させる。また、Ｓ３０１において、ＣＰＵ１２１は、決定したシャッター速度をシャッター１０８に送信して、フォーカルプレーンシャッターを開く動作を行う。更に、Ｓ３０１において、ＣＰＵ１２１は、撮像素子駆動回路１２４を通じて露光期間の間、撮像素子１０７に電荷蓄積を行わせる。

露光制御処理を行ったＣＰＵ１２１は、Ｓ３０２において、撮像素子駆動回路１２４に、撮像素子１０７からの静止画撮像のための撮像信号の全画素読み出しを行わせる。また、ＣＰＵ１２１は、撮像素子駆動回路１２４に撮像素子１０７内の焦点検出領域（合焦目標領域）からの第１焦点検出信号及び第２焦点検出信号のうち一方の読み出しを行わせる。このときに読み出される第１焦点検出信号又は第２焦点検出信号は、後述する画像再生時に、画像のピント状態を検出するために用いられる。第１焦点検出信号及び第２焦点検出信号のうち一方の焦点検出信号を撮像信号から差し引くことにより、他方の焦点検出信号を取得することができる。

次に、Ｓ３０３において、ＣＰＵ１２１は、画像処理回路１２５に、Ｓ３０２で読み出されてＡ／Ｄ変換された撮像データに対して、欠陥画素補正処理を行わせる。

更に、Ｓ３０４において、ＣＰＵ１２１は、画像処理回路１２５に、欠陥画素補正処理後の撮像データに対して、デモザイク処理、ホワイトバランス調整処理、γ補正処理（階調補正処理）、色変換処理及びエッジ強調処理等の画像処理と符号化処理を行わせる。

そして、Ｓ３０５において、ＣＰＵ１２１は、Ｓ３０４で画像処理と符号化処理が行われることで得られた画像データとしての静止画データと、Ｓ３０２で読み出された一方の焦点検出信号とを、画像データファイルとしてフラッシュメモリ１３３に記録する。

次に、Ｓ３０６において、ＣＰＵ１２１は、Ｓ３０５で記録した静止画データに対応付けて、カメラ１００（撮像装置）の特性情報としてのカメラ特性情報（撮像装置特性情報）をフラッシュメモリ１３３とＣＰＵ１２１内のメモリ（ＲＡＭ）に記録する。カメラ特性情報は、例えば、以下の情報を含む。
・撮像条件（絞り値、シャッター速度、撮像感度等）
・画像処理回路１２５で行った画像処理に関する情報
・撮像素子１０７の撮像画素及び焦点検出画素の受光感度分布に関する情報
・カメラ１００内での撮像光束のケラレに関する情報
・カメラ１００における撮像光学系の取り付け面から撮像素子１０７までの距離の情報
・カメラ１００の製造誤差に関する情報

撮像素子１０７の撮像画素及び焦点検出画素の受光感度分布に関する情報（以下、単に、「受光感度分布情報」と称する）は、撮像素子１０７から光軸上の距離（位置）に応じた撮像素子１０７の感度の情報である。この受光感度分布情報は、マイクロレンズ３０５と光電変換部３０１及び光電変換部３０２に依存するため、これらに関する情報であってもよい。また、受光感度分布情報は、光の入射角度に対する感度の変化の情報であってもよい。

次に、Ｓ３０７において、ＣＰＵ１２１は、Ｓ３０５で記録した静止画データに対応付けて、撮像光学系の特性情報としてのレンズ特性情報（撮影レンズ特性情報）をフラッシュメモリ１３３とＣＰＵ１２１内のメモリ（ＲＡＭ）に記録する。レンズ特性情報は、例えば、以下の情報を含む。
・射出瞳に関する情報
・光束をける鏡筒等の枠に関する情報
・撮像時の焦点距離やＦナンバーの情報
・撮像光学系の収差に関する情報
・撮像光学系の製造誤差に関する情報
・撮像時のフォーカスレンズ１０５の位置（被写体距離）の情報

次に、Ｓ３０８において、ＣＰＵ１２１は、静止画データに関する情報としての画像関連情報をフラッシュメモリ１３３とＣＰＵ１２１内のメモリ（ＲＡＭ）に記録する。画像関連情報は、例えば、撮像前の焦点検出動作に関する情報、被写体の移動に関する情報及び焦点検出精度に関する情報を含む。

次に、Ｓ３０９において、ＣＰＵ１２１は、表示器１３１に、撮像画像のプレビュー表示を行わせる。これにより、ユーザは撮像画像を簡易的に確認することができる。Ｓ３０９で行われる処理が終了すると、ＣＰＵ１２１は撮像処理を終了して、処理を図８のＳ７に進める。

次に、図８のＳ４００でＣＰＵ１２１が実行する被写体追従ＡＦ処理の流れについて説明する。図１０は図８のＳ４００でＣＰＵ１２１が実行する被写体追従ＡＦ処理の流れを示すフローチャートである。

Ｓ４０１において、ＣＰＵ１２１は、Ｓ２で取得した複数の焦点検出領域のそれぞれで得られた第１焦点検出信号と第２焦点検出信号間の被写体像の像ずれ量を算出し、算出した像ずれ量から焦点検出領域ごとのデフォーカス量を算出する。このように、ＣＰＵ１２１は、焦点検出領域ごとのデフォーカス量を算出することにより、デフォーカスマップを取得する。上述の通り、第１実施形態では、撮像素子１０７上に、水平１２０分割及び垂直８０分割の計９６００点配置された焦点検出領域から得られた焦点検出結果の群を、デフォーカスマップと称する。

次に、Ｓ４０２において、ＣＰＵ１２１は、被写体検出処理及び追尾処理を行う。上述の被写体検出部１４０が被写体領域を検出する被写体検出処理を行う。被写体検出処理では、得られた画像の状態によっては、被写体領域を検出することが不可能な場合があるため、そのような場合には、ＣＰＵ１２１は、テンプレートマッチングなどの他の手段を用いた追尾処理を行い、被写体の位置を推定する。被写体検出処理及び追尾処理の詳細は後述する。

続いて、Ｓ４０３において、ＣＰＵ１２１は、フォーカス領域検出部１４２に、フォーカス領域を検出するフォーカス領域検出処理を行わせる。フォーカス領域検出処理の詳細は後述する。本発明では、Ｓ４０２では被写体検出部１４０（第１検出手段）が被写体領域の検出処理（被写体検出処理）を行い、Ｓ４０３ではフォーカス領域検出部１４２（第２検出手段）がフォーカス領域の検出処理（フォーカス領域検出処理）を行うようになっている。

以下、被写体領域の検出処理とフォーカス領域の検出処理の違いについて説明する。被写体領域の検出処理では、被写体が人物である場合に、その人物の顔の領域や瞳の領域を被写体領域として検出する。また、被写体がバイクなどの乗物である場合に、被写体領域の検出処理では、バイクの車体全体の領域やバイクを運転している運転手のヘルメットの領域を被写体領域として検出する。換言すると、被写体領域の検出処理では、被写体が生物の場合に、生物の体全体や器官を検出し、被写体が乗物などの非生物の場合に、非生物のある機能を有する部品(例えば、乗物のタイヤ、乗物のハンドルなど)を検出する。

一方、フォーカス領域の検出処理では、撮影者がピントを合わせたい領域（以下、「合焦したい領域」と称する）をフォーカス領域として、撮影シーン（被写体の撮影シーンに関する情報）に応じて検出する。例えば、被写体が人物である場合に、顔が、比較的大きく撮影されていて、被写界深度の浅い条件で、斜め前を向いている撮影シーンでは、フォーカス領域の検出処理は前側の目のまつ毛の領域（まつ毛領域）をフォーカス領域として検出する。また、被写体が人物である場合に、顔が、比較的大きく撮影されていて、被写界深度の浅い条件で、片目をつぶっている撮影シーンでは、フォーカス領域の検出処理は開いている瞳の領域をフォーカス領域として検出する。いずれの撮影シーンも、Ｓ４０２で行う被写体領域の検出処理（被写体検出処理）では、瞳の領域が被写体領域として検出される。

第１実施形態では、瞳の領域とは異なる領域で、フォーカス領域としてまつ毛領域を検出するが、まつ毛は隙間が大きく焦点検出が適切に行えない場合がある。そのような場合には、表示はまつ毛領域で行うが、焦点検出は、瞳の領域で行った結果に対して、事前に登録されたオフセット量を加味して、焦点調節を行ってもよい。

また、同様に、オートバイのロードレースにおいて撮影する際には、被写体はバイクとその運転手である場合が多い。レース中のバイクが、撮影者に対して近づく方向にコーナリングしている際には、バイクの車体が、撮影者側(手前側)に倒れ、撮影者に対して遠ざかる方向にコーナリングしている際には、バイクの車体が、撮影者から遠ざかる側(奥側)に倒れる。このような撮影環境では、撮影者の合焦したい領域は、撮影シーンによっては生物である運転手の器官の領域である場合も非生物であるバイクの部品の領域である場合もあり、一意に決まらない。例えば、バイクの車体が手前側に倒れている撮影シーンに、撮影者の合焦したい領域はヘルメットの領域になり、バイクの車体が奥側に倒れている撮影シーンに、撮影者の合焦したい領域はエンジンやガソリンタンク付近のボディの領域になる。これは、ある程度、深度の浅い画像を撮影する際には、被写体の中でピントの合っている領域があまり奥側にあると、不自然さが生じるためである。

Ｓ４０２では、被写体の特定の領域を固定的に検出すると共に、被写体の向きも検出する。Ｓ４０３では、被写体の向き(例えば、バイク車体の傾斜方向)や撮影環境(例えば、被写体サイズ、深度の浅さ)や背景の環境などから、統計的に、撮影者が望む合焦したい領域を検出する。Ｓ４０２で検出された領域は第１局所領域（被写体領域の少なくとも一部に相当する領域）であり、Ｓ４０３で検出される領域は第２局所領域（被写体領域の少なくとも一部に相当する領域）である。また、Ｓ４０２では、被写体検出部１４０は、被写体が人物の場合にその人物の全身や器官、被写体が乗物の場合にその乗物の部品などの被写体特性を示す領域を被写体領域（第１局所領域）として検出する。Ｓ４０３では、フォーカス領域検出部１４２は、被写体の絵柄、被写体サイズ、深度の深さ、被写体の傾斜方向などの撮影シーン特性を示す領域をフォーカス領域（第２局所領域）として検出する。撮影シーン特性を示す領域は、合焦対象の特性に応じた領域でもある。

次に、Ｓ４０４において、ＣＰＵ１２１はＳ４０２で得られた被写体検出領域の情報とＳ４０３で得られた合焦したい領域としてのフォーカス領域の情報を用いて、焦点検出領域（合焦させる領域）を設定する焦点検出領域設定処理を行う。Ｓ４０４において、ＣＰＵ１２１は局所領域選択手段として機能する。焦点検出領域設定処理の詳細は後述する。

次に、Ｓ４０５において、ＣＰＵ１２１は、Ｓ４０４の焦点検出領域設定処理で設定された焦点検出領域の焦点検出結果（デフォーカス量）を取得する。Ｓ４０５で取得する焦点検出結果は、Ｓ４０１で算出された焦点検出結果（Ｓ４０１で取得されたデフォーカスマップ）から、所望の領域に近い焦点検出結果を選択してもよい。また、Ｓ４０５で取得する焦点検出結果は、設定された焦点検出領域に対応する焦点検出信号を用いて、デフォーカス量の算出を新たに行ってもよい。また、デフォーカス量を算出する焦点検出領域は、一つに限らず、周囲に複数配置し、算出してもよい。

次に、Ｓ４０６において、ＣＰＵ１２１は、Ｓ４０５で得られたデフォーカス量と、過去に得られたデフォーカス量を用いて、予測ＡＦ処理を行う。予測ＡＦ処理は、焦点検出を行ったタイミングと、画像の露光を行うタイミングにタイムラグがある場合に、必要となる処理で、焦点検出を行ったタイミングに対して所定時刻後の被写体の位置を予測して、ＡＦ制御を行う処理である。予測ＡＦ処理の詳細は後述する。

Ｓ４０６で行われる予測ＡＦ処理が終了すると、ＣＰＵ１２１は被写体追従ＡＦ処理を終了して、処理を図８のＳ５に進める。

次に、図１０のＳ４０２でＣＰＵ１２１が実行する被写体検出処理及び追尾処理について説明する。図１１は図１０のＳ４０２でＣＰＵ１２１が実行する被写体検出処理及び追尾処理の流れを示すフローチャートである。

Ｓ２０００において、ＣＰＵ１２１は、Ｓ２で取得した画像データから検出したデータから、検出したい被写体の種別に応じた辞書データの設定を行う。具体的に、Ｓ２０００において、事前に設定された被写体の優先度やカメラ１００（撮像装置）の設定に基づき、辞書データ記憶部１４１に記憶された複数の辞書データから、被写体検出処理及び追尾処理で用いる辞書データを選択（設定）する。例えば、複数の辞書データとして、「人物」「乗物」「動物」など被写体を分類して記憶されている。第１実施形態では、選択する辞書データは一つでもよいし、複数でもよい。一つの辞書データを選択する場合は、一つの辞書データが検出可能な被写体を、高頻度で繰り返し検出を行うことが可能になる。一方で、複数の辞書データを選択する場合は、検出被写体としての優先度に応じて、シーケンシャルに辞書データを設定することにより、順次、被写体を検出することができる。

次に、Ｓ２００１において、被写体検出部１４０は、Ｓ２で読み出した画像データを入力画像として、Ｓ２０００で設定された辞書データを用いて、被写体検出を行う。このとき、被写体検出部１４０は、検出した被写体の位置やサイズ、信頼度等の情報を被写体検出領域の情報として出力する。このとき、ＣＰＵ１２１は、被写体検出部１４０が出力した上記被写体検出領域の情報を表示器１３１に表示させてもよい。また、Ｓ２００１において、被写体検出部１４０は、画像データから、階層的に被写体の複数の領域を被写体検出領域として検出する。例えば、Ｓ２０００で辞書データとして「人物」や「動物」が設定されている場合は、被写体検出部１４０は「全身」の領域、「顔」の領域、「目」の領域といった複数の領域を被写体検出領域として階層的に検出する。検出された「全身」の領域は被写体の全身を示す全体領域であり、検出された「顔」の領域と「目」の領域は被写体の器官を示す局所領域である。人物や動物の「顔」の領域や「目」の領域などの局所領域は、被写体としてピントを合わせたい領域である一方、周囲の障害物や顔の向きによって検出できない場合がある。本発明では、そのような場合でも、全身の検出を行うことで、被写体をロバストに検出し続けるため、階層的に被写体を検出するように、被写体検出部１４０を構成している。同様に、Ｓ２０００で辞書データとして、「乗物」が設定されている場合は、被写体検出部１４０は乗物の運転手及び乗物の車体を含む全体領域と局所領域としての運転手のヘルメット(運転手の頭部)の領域を被写体検出領域として階層的に検出する。本発明では、辞書データとして「乗物」が設定されている場合に、乗物の運転手及び乗物の車体を含む乗物全体の検出を行うことで、階層的に被写体を検出するように、被写体検出部１４０を構成している。

次に、Ｓ２００２において、ＣＰＵ１２１は、Ｓ２００１で得られた被写体検出領域をテンプレートとして、公知のテンプレートマッチング処理を行う。Ｓ２で得られた複数枚の画像を用いて、過去の画像で得られた被写体検出領域をテンプレートとして、直前に得られた画像内に、類似の領域を検索する。テンプレートマッチングに用いる情報としては、周知の通り、輝度情報、色のヒストグラム情報、コーナーやエッジなどの特徴点情報など、いずれを用いてもよい。マッチング方法やテンプレート更新方法も種々の方法が考えられるが、いずれの方法を用いてもよい。Ｓ２００２で行われる追尾処理は、Ｓ２００１で被写体が検出されなかった場合に、過去の被写体検出データと類似の領域を直前に得られた画像データから検出することにより、安定した被写体検出処理及び追尾処理を実現するために行う。

Ｓ２００２で行われる追尾処理が終了すると、ＣＰＵ１２１は被写体検出処理及び追尾処理を終了して、処理を図１０のＳ４０３に進める。

次に、図１０のＳ４０３でＣＰＵ１２１が実行するフォーカス領域検出処理について説明する。図１２は図１０のＳ４０３でＣＰＵ１２１が実行するフォーカス領域検出処理の流れを示すフローチャートである。

Ｓ３０００において、ＣＰＵ１２１は、フォーカス領域検出処理を実施するか否かを判定する。上述の通り、フォーカス領域は被写体内の領域で合焦すべき領域であり、フォーカス領域検出処理は、図１１で説明した被写体検出処理により検出された被写体検出領域とは異なる領域（フォーカス領域）を検出する処理である。そのため、合焦すべき領域を被写体内で検出することは不適切な場合や不可能な場合は、フォーカス領域検出処理をスキップする。フォーカス領域検出処理をスキップするのは、Ｓ４０２で検出されている被写体領域のサイズが所定サイズより小さい場合や、撮影設定やライブビュー設定における被写体内の深度差が所定値より小さい場合である。これらの場合には、被写体領域内でピント状態の差(ピントが合っている領域とぼけている領域の差)が視認しにくい状態となるため、フォーカス領域検出処理をスキップする。

被写体領域のサイズが所定サイズより小さい場合は、被写体領域内でピント状態の差が視認しにくい状態となる。そのため、第１実施形態では、Ｓ３０００において、ＣＰＵ１２１は、被写体領域のサイズが所定サイズより小さい場合に、フォーカス領域検出処理をスキップすると判定する。

また、被写体内の深度差は、周知のとおり、被写体の距離と撮影光学系の絞り開口径によって定まるもので、被写体距離が遠いほど、また、絞り開口径が小さいほど、深度が深くなり、被写体領域内で、許容できるボケ状態(ピント状態)である領域が広がる。即ち、被写体領域内で深度内となる領域が広がる。これにより、被写体領域内でピント状態の差が視認しにくい状態となる。そのため、第１実施形態では、Ｓ３０００において、ＣＰＵ１２１は、被写体領域の深度差が所定値より小さい場合に、フォーカス領域検出処理をスキップすると判定する。

以上のように、Ｓ３０００において、ＣＰＵ１２１はフォーカス領域検出処理を実施しないと判定した場合（即ち、フォーカス領域検出処理をスキップすると判定した場合）に、フォーカス領域検出処理を終了して、処理を図１０のＳ４０４に進める。

一方、Ｓ３０００において、ＣＰＵ１２１はフォーカス領域検出処理を実施すると判定した場合に、処理をＳ３００１に進め、被写体領域の信号取得を行う。即ち、Ｓ３００１において、ＣＰＵ１２１は、被写体検出部１４０により階層的に検出された、全体領域及び局所領域を含む全ての被写体検出領域の画像データを取得する。上述したように、被写体の全体領域とは、被写体が人物や動物の生物であれば、その生物の全身の領域であり、被写体がバイクなどの乗物であれば、その乗物及び乗物の運転手を包含する領域である。第３検出手段としての被写体検出部１４０は、Ｓ２で得られた画像データに基づき、Ｓ４０２で説明した被写体検出処理及び追尾処理を行った結果として、被写体検出領域として検出された全体領域の検出結果（全体領域の信号）を出力する。被写体検出部１４０により検出された被写体領域（被写体検出領域）が複数ある場合は、Ｓ３００２で行われるフォーカス領域検出処理を複数回行う。

次に、Ｓ３００２において、ＣＰＵ１２１は、フォーカス領域検出部１４２に、フォーカス領域の検出を行うフォーカス領域検出処理を行わせる。上述の通り、フォーカス領域検出部１４２は、ＣＰＵ１２１の指示に基づき、被写体検出部１４０により検出された被写体領域（被写体検出領域）の被写体の状況に基づき、合焦すべき領域をフォーカス領域として検出する。フォーカス領域検出処理では、フォーカス領域として、一つ領域のみを検出してもよいし、複数の領域を検出してもよい。フォーカス領域として複数の領域が検出された場合には、撮像装置（カメラ１００）が検出された複数の領域を自動的に選択したり、撮影者が検出された複数の領域を選択したりすることにより、適切にフォーカスを合わせるべき領域を設定する。このとき、ＣＰＵ１２１は、フォーカス領域検出部１４２が出力した上記フォーカス領域の情報を表示器１３１に表示させてもよい。

Ｓ３００２で行われるフォーカス領域検出処理（被写体検出領域が複数ある場合は複数回のフォーカス領域検出処理）が終了すると、ＣＰＵ１２１はフォーカス領域検出処理を終了して、処理を図１０のＳ４０４に進める。

次に、図１０のＳ４０４でＣＰＵ１２１が実行する焦点検出領域設定処理について説明する。図１３は図１０のＳ４０４でＣＰＵ１２１が実行する焦点検出領域設定処理の流れを示すフローチャートである。

Ｓ４０００において、ＣＰＵ１２１は、Ｓ４０２で行われた被写体検出処理及び追尾処理の出力として得られる被写体検出領域の情報として、被写体の位置やサイズ、信頼度等の情報を取得する。次に、Ｓ４００１において、ＣＰＵ１２１は、Ｓ４０３で行われたフォーカス領域検出処理の出力として得られるフォーカス領域の情報として、フォーカス領域の位置やサイズ、信頼度などの情報を取得する。

次に、Ｓ４００２において、ＣＰＵ１２１は、Ｓ４０００で得られた被写体検出領域の情報及びＳ４００１で得られたフォーカス領域の情報を用いて、焦点検出領域の設定を行う。焦点検出領域の設定としては、被写体検出領域とフォーカス領域として設定された領域内の焦点検出領域の結果から、信頼性が高く、比較的、至近側の距離にいる被写体を示す焦点検出結果を選択するよう行えば良い。また、焦点検出領域の設定として、得られた被写体検出領域とフォーカス領域として設定された領域内に改めて焦点検出領域を配置し、再度、画像データ及び焦点検出信号を取得して、同様に焦点検出結果の選択を行ってもよい。

被写体検出領域とフォーカス領域から、焦点検出領域の設定に用いる領域の選択については、以下のような方法を用いることができる。被写体検出領域とフォーカス領域の一方のみが検出されている場合には、検出されている領域を焦点検出領域として設定する。被写体検出領域とフォーカス領域のいずれも検出されていない場合には、事前の焦点検出領域と同じ位置に、焦点検出領域を設定する。被写体検出領域とフォーカス領域の両方が検出されている場合には、フォーカス領域が被写体検出領域より優先で、フォーカス領域を焦点検出領域として設定する。また、被写体検出領域とフォーカス領域の両方が検出されている場合には、被写体の撮影シーンに関する情報に応じて、被写体検出領域を焦点検出領域として設定してもよいし、フォーカス領域を焦点検出領域として設定してもよい。設定された焦点検出領域を表示器１３１に表示するように、カメラ１００（撮像装置）を構成してもよい。被写体検出領域、フォーカス領域、焦点検出領域を、区別して表示したり、選択的に表示したりできるように、カメラ１００（撮像装置）を構成してもよい。

Ｓ４００２で行われる焦点検出領域の設定が終了すると、ＣＰＵ１２１は焦点検出領域設定処理を終了して、処理を図１０のＳ４０５に進める。

次に、図１４（Ａ）～図１４（Ｄ）及び図１５を用いて、Ｓ４０３で行われるフォーカス領域検出処理により検出されるフォーカス領域について説明する。図１４（Ａ）～図１４（Ｄ）は、被写体としてバイク及び運転手が対象である場合に、撮影者が撮影を行いたいシーンの例を示している。

図１４（Ａ）は、バイク及び運転手が、カメラ１００（撮像装置）に近づく方向を進行方向として走行中の様子を示している。図１４（Ｂ）は、バイクおよび運転手が手前に近づきながら、運転手から見て左側にコーナリングしようとしている様子を示している。図１４（Ｃ）は、運転手から見て左側にコーナリングしようとしているシーンで、バイクの側面から撮影している様子を示している。図１４（Ｄ）は、運転手から見て右側にコーナリングしようとしているシーンで、バイクの側面から撮影している様子を示している。図１４（Ａ）～図１４（Ｄ）では、Ｓ４０２で検出された被写体領域（被写体検出領域）として、全体領域９００と局所領域９０１を示している。同様に、図１４（Ａ）～図１４（Ｄ）では、Ｓ４０３で検出されたフォーカス領域として、局所領域９０２と局所領域９０３を示している。

図１４（Ａ）及び図１４（Ｂ）では、被写体検出の局所領域９０１として運転手の頭部が検出され、フォーカス領域として局所領域９０２と局所領域９０３が検出されている様子を示している。フォーカス領域として複数の領域（局所領域９０２と局所領域９０３）が検出されているのは、撮影者の好みや意図によって、どちらにピントを合わせた画像も望まれている場合があるためである。Ｓ４００２において、ＣＰＵ１２１は焦点検出領域の設定を行う際に、運転手優先や近距離優先などの撮影装置の設定や、撮影範囲における検出領域の画像内位置、事前の焦点検出領域の設定との連続性などを鑑みて、フォーカス領域の優先度を決定する。例えば、ＣＰＵ１２１は、近距離優先であると決定した場合に、フォーカス領域９０３を焦点検出領域として設定する。

図１４（Ｃ）では、被写体検出の局所領域９０１として運転手の頭部が検出され、フォーカス領域として局所領域９０２が検出されている様子を示している。図１４（Ｃ）の撮影シーンでは、バイクの車体はカメラ１００（撮像装置）から奥側に傾斜している。そのため、バイクのボディ部である局所領域９０２と被写体検出領域９０１は深度差が生じる。このような状況では、近距離優先で、局所領域９０２にフォーカスの合った画像が好まれる場合が多い。そのため、図１４（Ｃ）の撮影シーンの場合、本発明のフォーカス領域検出処理では、フォーカス領域として、頭部の局所領域９０１を検出せず、ボディ部の局所領域９０２を検出する。

図１４（Ｄ）の撮影シーンでは、バイクの車体が手前側に傾斜しているため、被写体として重要な器官である頭部領域と近距離であり、合焦したい領域が一致する。そのため、被写体検出により検出された局所領域９０１とフォーカス領域検出により検出された局所領域９０２が重畳している様子は図１４（Ｄ）に示されている。

なお、被写体検出領域がフォーカス領域を包含するようになっている図１４（Ａ）～図１４（Ｄ）を用いて、被写体検出領域とフォーカス領域を説明したが、本発明では、各領域の大小関係は、これに限らない。

このように、本発明においては、撮影時に重要となる器官として頭部や瞳などを検出するだけでなく、撮影シーンによって、被写体検出領域とは異なる領域として、フォーカス領域を検出することにより、より撮影者の意図にあった焦点調節を行うことができる。

フォーカス領域の検出が有効となる撮影シーンとしては、様々な場合が考えられる。図１５に、フォーカス領域としての検出が有効となりうるシーンの主な例を示している。

図１５に示すように、被写体が「人物」でポートレートの撮影を行う際に、顔の右側がカメラ１００（撮像装置）に近い場合は、一般的には、被写体の右目にピントを合わせることが多い。よって、被写体検出では重要器官として右目を検出し、フォーカス領域検出も右目を検出する。本発明のフォーカス領域の検出（図１０のＳ４０３で行われるフォーカス領域検出処理）を行うことにより、人物の顔が大きく、深度が浅い撮影シーンの場合は、フォーカス領域として右目まつ毛領域を検出する。これにより、よりピント状態が分かりやすいまつ毛のコントラストの高い画像を得ることができる。

また、被写体が「バイク」である場合に、図１４（Ａ）～図１４（Ｄ）で説明した通り、進行方向に対して正面からの撮影では、被写体検出も、フォーカス領域検出もヘルメットを検出し、ヘルメットに焦点調節を行う。車体が手前に傾斜している場合も同様である。一方で、車体が奥側に傾斜している場合には、被写体検出は重要器官としてヘルメット(頭部)を検出するが、フォーカス領域としてエンジン近傍のボディ領域を検出する。

また、被写体が「車(例えば、Ｆ１などのレースカー)」である場合に、進行方向に対して正面で、やや上から撮影するシーンでは、被写体検出は、重要器官としてヘルメット(頭部)を検出する。しかしながら、上記撮影するシーンでは、フォーカス領域としては、車体全体を深度内に収めるために、運転席より前方の位置を検出する。これは、Ｆ１などのレースカーを正面上から撮影する場合に、車体の奥行があり、ヘルメット(頭部)にピントを合わせると、車体の前方が深度から外れ、ぼけてしまうことに対応するためである。フォーカス領域検出部１４２を構成するＣＮＮ（以下、「フォーカス領域検出用ＣＮＮ」と称する）として、機械学習する際に、レースカーの画像の撮影方向ごとに、フォーカス領域を設定し学習させることにより、上述の検出を実現する。このような撮影シーンでは、フォーカス領域検出の出力として、必要深度情報を出力することが考えられる。車体全体が深度内に収めるための撮影光学系の絞り値情報などを出力すればよい。フォーカス領域の検出に基づき、焦点検出領域を設定し、必要に応じて絞り値を設定することにより、奥行方向に広がる車全体を深度内に収めた画像を得ることができる。

被写体が「車(例えば、Ｆ１などのレースカー)」である場合に、進行方向に対して側面から撮影する撮影シーンでは、被写体検出は、重要器官としてヘルメット(頭部)を検出するが、フォーカス領域としては、車体側面の領域を検出する。これは、車体よりヘルメット(頭部)が奥側にあるためで、バイクの奥側に車体が傾斜している場合と同様の理由である。

次に、フォーカス領域検出を実現するためのフォーカス領域検出用ＣＮＮの機械学習と、被写体検出を実現するための被写体検出部１４０を構成するＣＮＮ（以下、「被写体検出用ＣＮＮ」と称する）の機械学習との差異について説明する。

フォーカス領域検出のための教師データを付与した画像群の収集について説明する。まず、機械学習時の教師データを付与した画像について、収集した画像群に対して被写体検出を行い、所望の被写体が検出された画像を抽出する。検出された被写体領域内で深度差がある画像を、被写体領域内のコントラスト分布や、対応するデフォーカスマップ情報を用いて抽出する。抽出された画像に対して、教師データを付与する。被写体領域内でコントラストが高い部分と浅い部分がある場合や、デフォーカスマップ情報からデフォーカス量が小さい領域と大きい領域がある場合に、深度差があると判定する。一方で、被写体領域内で深度差がない場合(コントラストの差がない場合や、デフォーカス量の分布が所定値以内場合)は、その画像データをネガティブサンプルとして学習する。このような方法で機械学習することにより、被写体検出領域内に深度差がある場合はフォーカス領域検出を行い、深度差がない場合はフォーカス領域検出を行わないフォーカス領域検出用ＣＮＮを実現することができる。

抽出された画像に対して、教師データの付与は、１枚ずつ画像を確認しながら、付与してもよいが、被写体領域内でコントラストが高い領域やデフォーカス量が小さい領域が分かる場合は、自動的に教師データを付与することができる。自動的に教師データを付与した後、人手を利用して、教師データの微修正を行ってもよい。

学習データの収集を効率的に行うために、データオーギュメンテーションを行うことができる。周知の方法として、平行移動、拡大縮小、回転、ノイズ付与、ボケの付与などが挙げられる。本発明では、フォーカス検出領域のために有効なデータオーギュメンテーションの方法として、ボケの付与に関して、画像全体もしくは被写体領域全体にボケを付与する周知の方法ではなく、フォーカス領域以外の領域にボケを付与する方法を用いる。これにより、１枚の教師データが付与された画像から、被写体領域内の深度差が異なることに相当する画像データを得ることができる。また、付与するボケの程度を画像ごとに異ならせることにより、教師データとなるフォーカス領域以外の領域のボケ状態を異ならせることができ、異なる撮影光学系の絞り開口径で撮影された場合に対してロバストな学習を行うことができる。ボケの付与の方法としては、フォーカス検出領域からの距離に応じて、付与するボケを大きくする方法や、フォーカス検出領域とそれ以外の領域でボケの付与の有無を異ならせ、境界領域を適切に処理する方法などを用いることができる。また、絞り開口径の変化に応じて、フォーカス領域以外の領域に付与するボケの程度を設定してもよい。これにより、実際に撮影される画像に近い学習データを生成することができる。

また、第１実施形態では、画像データをフォーカス領域検出用ＣＮＮに入力したが、フォーカス領域検出用ＣＮＮの入力データは画像データに限らない。フォーカス領域検出用ＣＮＮの入力データとして、画像データに加えて、コントラストマップやデフォーカスマップなどの深度が類推できる情報もフォーカス領域検出用ＣＮＮに入力することにより、より適切にフォーカス領域を検出することができる。その際には、フォーカス領域検出用ＣＮＮに機械学習させる時に、画像データに加えて、コントラストマップやデフォーカスマップも用意し、学習を行えば良い。

次に、図１０のＳ４０６でＣＰＵ１２１が実行する予測ＡＦ処理について説明する。図１６は図１０のＳ４０６でＣＰＵ１２１が実行する予測ＡＦ処理の流れを示すフローチャートである。

Ｓ６０００において、ＣＰＵ１２１は、被写体が光軸方向に移動する動体であるか否かを判定する。具体的に、ＣＰＵ１２１は、過去のデフォーカス検出結果の時系列データを参照し、複数の時系列データの隣接差分が同一符号であるか否かを判定することにより、被写体が光軸方向に移動しているか否かことを判定する。Ｓ６０００において、ＣＰＵ１２１は、被写体が光軸方向に移動する動体であると判定した場合に、処理をＳ６００１に進める。一方、Ｓ６０００において、ＣＰＵ１２１は、被写体が光軸方向に移動する動体でないと判定した場合に、処理をＳ６０１２に進める。

Ｓ６００１において、ＣＰＵ１２１は、最新の画像データで検出された被写体の進行方向を算出する。Ｓ４０２で行われる被写体検出処理及び追尾処理により、該被写体の向きが既に検出されている。被写体の進行方向を算出する方法としては、被写体内の局所検出(例えば、顔や目など)を利用する方法と、被写体の姿勢検出結果を利用する方法がある。

まず、被写体内の局所検出(例えば、顔や瞳など)を利用する方法について説明する。被写体内の局所検出とは、被写体が人物である場合は、局所検出領域として、その人物の瞳、頭部や胴体があり、被写体がバイクなどの乗物である場合は、局所検出領域として、その乗物の運転手の頭部（ヘルメット部）がある。被写体が人物のみである場合に、既知の方法について説明する。局所検出領域が瞳であり、両方の瞳が検出されている場合に被写体の進行方向を光軸方向とし、右の瞳のみが検出されている場合に被写体の進行方向を右方向とし、左の瞳のみが検出されている場合に被写体の進行方向を左方向とする。被写体が人物のみでない場合（例えば、バイクも含む場合）には、瞳の位置がわからない場合や、瞳の検出と被写体の進行方向が異なる場合がある。本発明では、そのような場合に、検出被写体全体の範囲を示す矩形枠のサイズと、検出被写体全体の範囲に対する検出被写体内の局所検出領域の位置関係から、検出被写体の進行方向を推定する。ここで、被写体がバイク及び運転手の場合を例として説明する。被写体全体の検出範囲の縦横比の縦が長く横が短いかつ局所検出領域(この例では運転手のヘルメット)の位置が検出被写体全体の範囲の上側にある場合には、被写体は正面を向いているとし、検出被写体の進行方向を光軸方向とする。被写体全体の検出範囲の縦横比の縦が短く横が長いかつ局所検出領域の位置が検出被写体全体の範囲の右上にある場合には、検出被写体の進行方向を右方向とする。以上のように、検出被写体全体の範囲の縦横比や検出被写体の範囲と局所検出領域との位置関係から、検出被写体の進行方向を算出することができる。

上述した方法でも、検出被写体の進行方向が急に変化する場合(例えば、ジャンプ動作のように、検出被写体が光軸方向に近づいている状態から、急に上方向へ移動する場合)に、上述した方法では、検出被写体の進行方向を算出できない可能性がある。その場合には、検出被写体が進行方向を変更する前に、その進行方向を推定する必要がある。

検出被写体の進行方向を推定する推定方法としての被写体の姿勢検出結果を利用する方法について説明する。被写体の姿勢検出には様々な方法があるが、第１実施形態では、画像から先ず被写体の関節部位を、深層学習がされたニューラルネットワークを用いて推定する。推定されたそれらの関節を繋ぎ合わせることによって、被写体の姿勢情報を検出する。予め、各被写体の進行方向を事前に学習させておいてもよいし、フレーム間での各関節の移動量から進行方向を推定してもよい。また、特徴的な進行方向が変わる前の前動作(例えば、ジャンプ前の動作)を事前に学習させておいてもよい。更に、被写体内の局所検出(例えば、顔や目など)と併用して進行方向を推定してもよい。被写体が人物のみの場合には、ジャンプ前の腕や足の関節部位の検出による姿勢情報から、進行方向を推定する。例えば、腕が下がっていることや両足が曲がっていることにより、進行方向が変化すること（例えば、ジャンプ前の姿勢）を推定する。被写体が人物のみでない場合(例えば、バイクも含む場合)でも、人の腕や足の関節部位の位置関係から、検出被写体の進行方向を推定する。バイクも含む場合に図１４（Ｄ）に示すように、右足が検出され、関節が曲がっている、かつ腰や背骨の関節部位が検出されている場合には、光軸方向かつ右方向に検出被写体が進行していると推定できる。また、バイクも含む場合に、タイヤやハンドルの傾きを検出することによっても、検出被写体の進行方向を推定できる。

光軸方向へ進行しているかの推定は、デフォーカス量から被写体位置を推定して、検出してもよい。

Ｓ６００２において、ＣＰＵ１２１は、被写体の進行方向の将来予測（被写体の将来の進行方向の予測）を行う。具体的に、ＣＰＵ１２１は、過去のフレームでの被写体の進行方向の算出結果の時系列変化から、被写体の進行方向を予測する。被写体全体の検出範囲の縦横比（以下、単に「縦横比」とも称する）や被写体全体の検出範囲と局所検出領域との位置関係（以下、単に「被写体領域の位置関係」とも称する）のフレーム間の時系列変化量から、被写体の将来の進行方向を推定してもよい。ここで、被写体がバイク及び運転手の場合を例として説明する。縦横比の変化が、縦が長い状態から横が長い状態に変化し、局所検出領域が被写体全体の検出範囲に対して右上へ位置関係が変化している場合に光軸方向への近づきから、右方向へ進行方向が変化しているため、進行方向が右方向へ変化していると推定できる。この例では、局所検出領域は運転手のヘルメットである。

また、被写体の姿勢推定により被写体の進行方向の予測を行う場合には、例えば、被写体である人物の腕と足の関節部位による姿勢情報や関節部位の時系列変化からジャンプ前の動作を推定し、検出被写体の進行方向が上方向に変化すると予測できる。

以上のように、Ｓ６００２において、ＣＰＵ１２１は、過去の複数のフレームで得られた検出被写体の進行方向算出結果の時系列変化から、検出被写体の将来の進行方向の予測を行う。図１８（Ａ）～図１８（Ｆ）を用いて、検出被写体の将来の進行方向の予測について説明する。図１８（Ａ）は検出被写体の進行方向を矢印で示した図である。下方向を光軸方向とし、右側を右方向とする。図１８（Ａ）のように検出被写体の進行方向が徐々に変化する場合に、検出被写体全体の範囲の縦横比や局所領域との位置関係から進行方向を算出し、時系列の進行方向の変化から、検出被写体の次の進行方向を予測する。図１８（Ｃ）のように検出被写体の進行方向が急に変化する場合に、前述の被写体の姿勢推定により、進行方向が急に変化する前の被写体の姿勢を検出し、検出被写体の次の進行方向を予測する。

Ｓ６００３において、ＣＰＵ１２１は、被写体の像面速度が大きいか否かを判定する。被写体の像面速度は被写体の像面位置の時系列変化から算出される。Ｓ６００３において、ＣＰＵ１２１は、被写体の像面速度が大きいと判定した場合に、処理をＳ６００４に進める。一方、Ｓ６００３において、ＣＰＵ１２１は、被写体の像面速度が大きくないと判定した場合に、処理をＳ６０１２に進める。Ｓ６００４において、ＣＰＵ１２１は、被写体の進行方向の変化があるか否かを判定し、進行方向の変化があると判定した場合に、処理をＳ６００５に進め、進行方向の変化がないと判定した場合に、処理をＳ６００８に進める。

Ｓ６００５において、ＣＰＵ１２１は、予測演算に使用する履歴データ数を変更する。具体的に、ＣＰＵ１２１は、被写体位置を予測する際に使用する過去フレームのデフォーカス量とフォーカス位置から算出される被写体位置のデータの使用する履歴データ数を変更する。図１７に被写体の像面位置の時系列変化の例を図示した。図１７において、横軸は時間を示し、縦軸は被写体の像面移動量を示し、黒丸は焦点検出した結果に基づいた被写体の像面位置の履歴データを示し、点線は予測処理による予測曲線を示す。履歴データとは過去に取得した、被写体の像面上の位置（被写体の像面位置）とその時間の情報のことである。図１８（Ａ）～図１８（Ｆ）の概念図を用いて説明する。図１８（Ａ）は被写体の進行方向を矢印で示した図である。図１８（Ｂ）は図１８（Ａ）に対応する。図１８（Ｂ）において、横軸は時間を示し、縦軸は被写体の像面位置を示し、実線は被写体の軌跡を示し、黒丸は焦点検出したタイミングの被写体の像面位置を示し、点線はフォーカス移動可能範囲を示す。図１８（Ａ）は下側からカメラで撮影していることを想定しており、上下方向が光軸方向に相当し、前述したＳ６００１で行われる被写体進行方向算出とＳ６００２で行われる被写体進行方向予測により推定された被写体の進行方向を示す。図１８（Ａ）は被写体の進行方向が光軸方向に近づき、途中で進行方向が右側に変更する例を示す図である。図１８（Ｂ）において、進行方向が光軸方向の時間範囲を１８－ｂ１とし、右方向を含んだ進行方向の時間範囲を１８－b２とする。１８－ｂ１の時間範囲では、進行方向が変化せず、像面速度変化が大きくないので、予測演算に使用する履歴データ数を変更しない。一方、１８－ｂ２の時間範囲では、進行方向が変化し、像面速度変化も生じているため、進行方向が光軸方向の履歴データを使用する数を削減することにより、予測演算に使用する履歴データ数を減少させることで、後述の予測演算での誤差を低減する。

図１８（Ｃ）と図１８（Ｄ）に被写体の進行方向が異なる例を示す。図１８（Ｃ）は被写体の進行方向が光軸方向から急に右方向に変化する例を示す図である。図１８（Ｄ）は図１８（Ｃ）に対応する。図１８（Ｄ）において、横軸は時間を示し、縦軸は被写体の像面位置を示し、被写体の進行方向が光軸方向の時間範囲を１８－ｄ１とし、被写体の進行方向が右方向の時間範囲を１８－ｄ２とする。図１８（Ｃ）と図１８（Ｄ）の例では、被写体の進行方向が急に変化することを被写体進行方向予測により推定し、光軸方向から右方向のみに変化する場合に、方向変化直前に予測演算に使用する履歴データ数をリセットすることで使用しない。これにより、被写体の進行方向が右方向に急に変化しても、被写体の進行方向が光軸方向であるという誤った予測を抑制できる。

更に、図１８（Ｅ）と図１８（Ｆ）に被写体の進行方向の変化が異なる例を示す。図１８（Ｅ）は被写体の進行方向が光軸方向と右方向、光軸方向と左方向を交互に繰り返す例を示す図である。図１８（Ｆ）は図１８（Ｅ）に対応する。図１８（Ｆ）において、横軸は時間を示し、縦軸は被写体の像面位置を示す。図１８（Ｅ）と図１８（Ｆ）の例では、被写体の進行方向は変化しているが、被写体の像面速度は変化していないため、予測演算に使用する履歴データ数を変更しない。以上のように、被写体の進行方向に応じて予測演算に使用する履歴データ数を変更することにより、被写体の像面位置の予測誤差を低減できる。

Ｓ６００６において、ＣＰＵ１２１は、フォーカス移動可能範囲を設定する。フォーカス移動可能範囲について、図１９を用いて説明する。図１９において、横軸は時間を示し、縦軸は被写体の像面位置を示し、実線はフォーカス位置を示し、点線はフォーカス移動可能範囲を示す。被写体が動体の場合には撮影者が被写体から誤ってＡＦ枠を外し、ＡＦ枠内が背景となった場合に、フォーカス移動してしまうと、被写体にフォーカスが戻るのに時間がかかってしまう。本発明では、被写体が移動する範囲を被写体の像面移動速度や被写体距離などから推定し、推定した被写体が移動する範囲に基づいてフォーカス移動可能範囲を設定することで、被写体がフォーカス移動可能範囲外となった場合に、フォーカス移動しない。

これにより、フレーミング等によりＡＦ枠内が誤って背景となった場合でも、被写体に対して急にボケたりすることを抑制できる。第１実施形態では、フォーカス移動可能範囲を説明したが、被写体がフォーカス移動可能範囲外となった場合のフォーカスが移動しない、つまり、フォーカス停止時間を変更してもよい。

被写体の進行方向とフォーカス移動可能範囲の設定について、図１８（Ａ）～図１８（Ｆ）を用いて説明する。図１８（Ｂ）、図１８（Ｄ）及び図１８（Ｆ）の点線がフォーカス移動可能範囲を示す。図１８（Ｂ）では、被写体の進行方向が光軸方向から右方向に変化した場合に、被写体は光軸方向へ移動していないので、光軸方向移動時に対してフォーカス移動可能範囲を小さく設定する。図１８（Ｄ）でも、被写体の進行方向が光軸方向から右方向に変化する場合又は変化直前に、光軸方向移動時に対してフォーカス移動可能範囲を小さく設定する。

Ｓ６００７において、ＣＰＵ１２１は、焦点検出領域を変更する。具体的に、ＣＰＵ１２１は、前述のＳ６００２で行われる被写体進行方向予測により、被写体の光軸方向以外の進行方向に対して、焦点検出領域を広げるまたは焦点検出領域の重心を進行方向に移動させるように、焦点検出領域を変更する。これにより、被写体の進行方向が変化した場合にも、被写体が焦点検出領域外となることを抑制できる。

Ｓ６００８において、ＣＰＵ１２１は、被写体の像面予測位置の演算を行う。具体的に、ＣＰＵ１２１は、過去の被写体の像面位置と時刻の履歴データを用いて、多変量解析（例えば、最小２乗法）を行い、予測曲線の式を求めることにより、被写体の像面位置の予測を行う。また、ＣＰＵ１２１は、求めた予測曲線の式に静止画撮影の時刻を代入することにより、被写体の像面予測位置を算出する。

Ｓ６００９において、ＣＰＵ１２１は、フォーカス移動速度（フォーカスの像面移動速度）を変更する。具体的に、ＣＰＵ１２１は、Ｓ６００２で得られた被写体進行方向予測結果やＳ６００８で得られた被写体の像面予測位置（予測した被写体の像面位置）と履歴データから、被写体の像面移動速度を推定することにより、フォーカスの像面移動速度を変更する。前述の図１８（Ａ）と図１８（Ｂ）の例では、ＣＰＵ１２１は、被写体の像面移動速度が減少していると推定するので、フォーカスの像面移動速度を減少させることにより、フォーカスの像面移動速度を変更する。また、前述の図１８（Ｃ）と図１８（Ｄ）の例では、ＣＰＵ１２１は、被写体の進行方向が急に変化し、光軸方向に移動しないため、フォーカスの像面移動速度を０に設定することにより、フォーカスの像面移動速度を変更する。このように、Ｓ６００９において、ＣＰＵ１２１は、被写体の進行方向に応じてフォーカスの像面移動速度を設定することにより、フォーカスの像面移動速度を変更する。

Ｓ６０１０において、ＣＰＵ１２１は、被写体がＳ６００６で設定したフォーカス移動可能範囲内であるか否かを判定し、被写体がフォーカス移動可能範囲内であると判定した場合に、処理をＳ６０１１に進める。一方、Ｓ６０１０において、ＣＰＵ１２１は、被写体がフォーカス移動可能範囲内でない（即ち、フォーカス移動可能範囲外である）と判定した場合に、フォーカス移動せず、予測ＡＦ処理を終了する。Ｓ６０１１において、ＣＰＵ１２１は、予測した被写体位置に相当する像面位置（被写体の像面予測位置）へフォーカスを移動し（フォーカスレンズ１０５を被写体の像面予測位置へ移動させ）、予測ＡＦ処理を終了する。Ｓ６０１２において、ＣＰＵ１２１は、焦点検出結果（デフォーカス量）から算出された被写体位置に相当する像面位置（被写体の像面位置）へフォーカスを移動し（フォーカスレンズ１０５を被写体の像面位置へ移動させ）、予測ＡＦ処理を終了する。

第１実施形態で説明した被写体の進行方向に応じて、予測演算時とフォーカス制御時に変更する項目を図２０に示す。ＣＰＵ１２１は、予測演算時とフォーカス制御時に、被写体の進行方向に応じて、図２０に示された「予測演算に使用する履歴データ数」、「フォーカス移動可能範囲」、「フォーカス移動速度」、「焦点検出領域」といった項目を変更する。図２０に示されたこれらの項目は、検出被写体の進行方向の変化に応じたテーブルとして、値が撮像装置（カメラ１００）内のＣＰＵ１２１のＲＯＭに記憶されている。ＣＰＵ１２１は、ＲＯＭに記憶されている検出被写体の進行方向の変化に応じたテーブルを参照することにより、これらの項目の値を変更する。

本発明では、検出された被写体領域のサイズや被写体領域の位置関係、縦横比を用いて、検出被写体の進行方向を推定する。また、本発明では、時系列に変化する被写体領域のサイズ、被写体領域の位置関係、縦横比や検出被写体の進行方向の情報を用いて、検出被写体の進行方向の将来の変化を予測する。本発明のこれらの技術構成によって、焦点検出結果を用いて同様のことを行う場合と比べて、焦点検出タイミングから画像露光タイミングまでのタイムラグが少なく、より精度良い撮影結果を得ることができる。

例えば、焦点検出結果（デフォーカス量）のみを用いて、被写体が近づいた後、遠ざかることを推定しようとした場合に、一度、被写体が停止した際に、そのまま停止するのか、反転して遠ざかるのかを推定することは難しい。しかし、本発明では、撮影シーン特性としての被写体の絵柄を用いて、複数の絵柄を区別し、検出被写体の進行方向を推定すると共に進行方向の将来予測も行うため、タイムラグが少なく、より精度良い撮影結果を得ることができる。例えば、複数の絵柄は、「向かってくるバイク」の絵柄、「横向きのバイク」の絵柄、「遠ざかるバイク」の絵柄である。

上述したように、第１実施形態では、フォーカス領域が検出された場合に、被写体検出領域に対して優先的に焦点検出を行う焦点検出領域として、フォーカス領域を選択するよう構成したが、本発明では、焦点検出領域の設定方法としては、これに限らない。

例えば、焦点検出領域の設定方法としては、撮影者が設定可能なモードとして、被写体検出領域を優先するモード（第２モード）と、フォーカス領域を優先するモード（第１モード）をＣＰＵ１２１に設けることができる。具体的に、第１モードでは、被写体検出領域（第１局所領域）とフォーカス領域（第２局所領域）の両方を焦点検出領域として選択可能にし、フォーカス領域を優先的に焦点検出領域として設定する。第２モードでは、被写体検出領域（第１局所領域）を焦点検出領域として設定する。このように、被写体検出領域を優先する第２モードとフォーカス領域を優先する第１モードを局所領域選択手段としてのＣＰＵ１２１に設けることにより、被写体における合焦したい領域に関する撮影者の意図の反映を容易にすることができる。

また、上述したように、第１実施形態では、フォーカス領域の検出を機械学習に基づいた領域検出で実現する構成（機械学習されたＣＮＮにより構成され、フォーカス領域の検出を行うフォーカス領域検出部１４２）について説明した。しかしながら、本発明では、フォーカス領域の検出を実現する構成としては、第１実施形態で説明した構成に限らない。

例えば、本発明では、被写体検出領域の縦横比や、被写体検出領域のサイズ、デフォーカスマップを活用した被写体の奥行情報などの情報（以下、「被写体検出情報」と称する）を用いて、フォーカス領域を設定することができる。被写体が人物の場合は、被写体検出領域のサイズが所定サイズ以上である場合に、被写体検出領域として検出された瞳領域に対して、まつ毛の位置を推定し、推定されたまつ毛の領域をフォーカス領域として設定することができる。被写体がバイクの場合は、デフォーカスマップを活用してバイク車体の傾斜方向を検出し、頭部にフォーカス領域を設定するか、バイク全体に対応する被写体検出領域のボディ位置と推定される領域にフォーカス領域を設定するかを切り替えることができる。同様に、被写体検出領域として、バイク車体のデフォーカス情報とヘルメット（頭部）のデフォーカス情報を用いて被写体の距離の遠近を判定することもできる。更に、被写体検出領域の縦横比を用いて、バイクや車などの乗物の車体が正面から検出されているか、側面から検出されているかを判定し、フォーカス領域を設定するようにしてもよい。

以上のように、被写体検出情報を用いてフォーカス領域を設定する構成を用いることにより、撮像装置内にＣＮＮによるフォーカス領域検出を行う回路（フォーカス領域検出用ＣＮＮ）を用意する必要がなく、フォーカス領域検出を低コストで実現できる。

＜第２実施形態＞
次に、図２１、図２２（Ａ）、図２２（Ｂ）及び図２３（Ａ）～図２３（Ｄ）を参照して、本発明の第２実施形態について説明する。第２実施形態の構成は第１実施形態の構成と同様であるが、第２実施形態で行われる焦点検出領域設定処理だけが、第１実施形態のＳ４０００～Ｓ４００２で行われる焦点検出領域設定処理と異なる。第２実施形態で行われる焦点検出領域設定処理では、検出された被写体内の焦点検出候補領域から焦点検出領域を選択するようになっている。

以下、第１実施形態の構成と同様である第２実施形態の構成の説明については省略する。図２１は本発明の第２実施形態の焦点検出領域設定処理の流れを示すフローチャートである。

Ｓ４１００において、ＣＰＵ１２１は、取得した画像に対して検出された被写体全体（検出被写体全体）から局所領域（フォーカス領域も含む）の表示を行う。図２２（Ａ）と図２２（Ｂ）に局所領域（フォーカス領域も含む）の表示例を示す。図２２（Ａ）と図２２（Ｂ）に検出被写体としてバイクが検出された例を示す。図２２（Ａ）と図２２（Ｂ）において、点線で囲まれた領域が検出被写体の焦点検出候補となる領域を示し、実線で囲まれた領域が焦点検出候補領域を示す。図２２（Ａ）と図２２（Ｂ）において、点線で囲まれたヘルメットの領域、ヘッドライト部の領域、ボディロゴ部の領域及びマフラの領域は検出被写体の焦点検出候補となる領域である。

Ｓ４１０１において、指定手段としてのＣＰＵ１２１は、検出被写体の局所領域（フォーカス領域も含む）から焦点検出候補領域の選択（指定）を行う。図２２（Ａ）と図２２（Ｂ）で示した局所領域（フォーカス領域も含む）から、ユーザが焦点検出候補領域の指定を行う。図２２（Ａ）では、焦点検出候補領域がヘルメットの領域であり、図２２（Ｂ）では、焦点検出候補領域がボディロゴ部の領域である。焦点検出候補領域の指定方法は、ユーザの指によるタッチ操作やボタン操作で、焦点検出候補領域を変更して選択する。ユーザの視線による焦点検出候補領域の選択でもよい。焦点検出候補領域の変更はＳｗ１がオンされた状態のみでなく、Ｓｗ１がオンされた状態になる前やＳｗ２がオンされた状態の連続撮影時に行っても良い。また、Ｓ４１００で行われる局所領域の事前表示はなく、ユーザの指によるタッチ操作やボタン操作によって指定位置が決定された後に、指定位置に近い局所領域をカメラ１００側で選択し、選択した局所領域を焦点検出候補領域としてもよい。

その他の方法として、カメラ１００内のメニュー操作から、焦点検出候補領域を選択（指定）する方法を図２３（Ａ）～図２３（Ｄ）で説明する。図２３（Ａ）は検出被写体選択の設定画面を示す。図２３（Ａ）において、検出可能な被写体（例えば、乗物、動物、人物）から検出被写体を選択する（図２３（Ａ）の例では、乗物を検出被写体として選択）。図２３（Ｂ）において、選択した検出被写体である乗物から、更に乗物の種類を選択する（図２３（Ｂ）の例では、乗物の種類としてバイクを選択）。図２３（Ｃ）において、選択した種類の検出被写体であるバイクの向きを指定する（図２３（Ｃ）の例では、右向きを選択）。図２３（Ｄ）において、選択した種類の検出被写体内の焦点検出候補領域を選択する(図２３（Ｄ）の例では、ボディロゴ部を焦点検出候補領域として選択する)。図２３（Ｃ）と図２３（Ｄ）は検出被写体の向きに対して、局所領域（フォーカス領域も含む）から異なる焦点検出候補領域を選択してもよい。以上のようにメニュー操作で焦点検出候補領域を選択してもよい。また、各検出被写体のイメージ画像を選択し、焦点検出候補領域となる局所領域を表示して選択できるようにしてもよい。更に、各検出被写体の３次元モデルをイメージ画像として表示し、ユーザ操作により３次元モデルを回転可能にし、検出被写体の向きや姿勢に応じて異なる焦点検出候補領域を指定できるようにしてもよい。

検出被写体の向きに応じて、局所領域（フォーカス領域も含む）の候補となる項目を変更してもよい。例えば、図２３（Ｃ）でバイクの向きとして、正面を選択したら、焦点検出候補領域として、ヘルメット、ヘッドライト部のみを表示し、右向きを選択したら、図２３（Ｄ）に示すように、ヘルメット、ヘッドライト部、ボディロゴ部、マフラを表示してもよい。

また、検出被写体の向きに応じて、局所領域（フォーカス領域も含む）の候補となる項目をユーザが設定してもよい。

Ｓ４１０２において、ＣＰＵ１２１は、Ｓ４１０１で指定手段により指定された焦点検出候補領域を記録する。記録は局所領域（フォーカス領域も含む）から指定された焦点検出候補領域の画面上の位置関係と、各局所領域（フォーカス領域も含む）のデフォーカス量から光軸方向の位置関係をＣＰＵ１２１内のメモリに記憶してもよい。

Ｓ４１０３において、ＣＰＵ１２１は、Ｓ４１０１で指定手段により指定された焦点検出候補領域が選択可能であるか否かを判定し、焦点検出候補領域が選択可能であると判定した場合に、処理をＳ４１０４に進める。一方、Ｓ４１０３において、ＣＰＵ１２１は、焦点検出候補領域が選択可能でないと判定した場合又は焦点検出候補領域を選択しない場合に、処理をＳ４１０５に進める。以下、ＣＰＵ１２１は焦点検出候補領域が選択可能であるか否かを判定する際に必要な判定条件を単に「判定条件」と称する。判定条件は、「指定した焦点検出候補領域が検出被写体の進行方向や姿勢変化で見えなくなり、検出できない」場合や「指定した焦点検出候補領域を検出できているが、ユーザが指定したタイミングとは異なり、被写体の姿勢が変化している」場合がある。被写体の姿勢が変化しているか否かの場合は、Ｓ４１０２で記録した時点での、被写体の姿勢や進行方向の結果や各局所領域との位置関係との一致度を比較し、判定してもよい。具体的には、画面上をＸＹ方向とし、光軸方向をＺ方向としたＸＹＺ方向のベクトルとし、記録時のＸＹＺ方向のベクトルとの大きさと向きの相関を判定し、相関がある場合に姿勢が変化していないと判定し、相関がない場合に姿勢が変化していると判定する。相関方法はベクトルの内積を計算し、２つのベクトルの各角度を求める。各角度が所定値未満の場合に相関があると判定し、各角度が所定値以上の場合に相関がないと判定する。図２３（Ａ）～図２３（Ｄ）で説明したように、検出被写体の向きに応じた焦点検出候補領域が選択されている場合に、焦点検出候補領域が選択可能であると判定する。一方、検出被写体の向きに応じた焦点検出候補領域が選択されていない場合、焦点検出候補領域が見えない場合、又は、撮影シーンに応じてフォーカス領域として検出されていない場合に、焦点検出候補領域が選択可能でないと判定する。

Ｓ４１０４において、ＣＰＵ１２１は、指定手段により指定された焦点検出候補領域を焦点検出領域として設定する。Ｓ４１０４で行われる焦点検出領域の設定が終了すると、ＣＰＵ１２１は焦点検出領域設定処理を終了して、処理を図１０のＳ４０５に進める。Ｓ４１０５において、ＣＰＵ１２１は、指定手段により指定された焦点検出候補領域ではなく、カメラ１００が自動で選択した局所領域を焦点検出領域として設定する。Ｓ４１０５で行われる焦点検出領域の設定が終了すると、ＣＰＵ１２１は焦点検出領域設定処理を終了して、処理を図１０のＳ４０５に進める。カメラ１００による自動での選択方法は、例えば、各局所領域の最も至近の局所領域、又は、予め被写体の形状、姿勢や進行方向に対して優先の局所領域を選択してもよい。

以上、本発明の好ましい実施形態について説明したが、本発明は上述した各実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。本発明は、上述の各実施形態の１以上の機能を実現するプログラムを、ネットワークや記憶媒体を介してシステムや装置に供給し、そのシステム又は装置のコンピュータの１つ以上のプロセッサーがプログラムを読み出して実行する処理でも実現可能である。また、本発明は、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ カメラ
１０７ 撮像素子
１２１ ＣＰＵ
１２６ フォーカス駆動回路
１４０ 被写体検出部
１４１ 辞書データ記憶部
１４２ フォーカス領域検出部

Claims (6)

1. 画像内の乗物領域の少なくとも一部に相当し、運転手の頭部を含む領域を第１局所領域として検出する第１検出手段と、
   前記乗物領域の少なくとも一部に相当し、乗物の絵柄を含む領域を第２局所領域として検出する第２検出手段と、
   前記乗物の進行方向の情報を取得する取得手段と、
   前記第１検出手段及び前記第２検出手段により、前記第１局所領域と前記第２局所領域との両方が検出された場合に、前記取得手段により取得された前記乗物の進行方向の情報である乗物の倒れ、コーナリングの方向、乗物の向きの少なくとも一つに関する情報に応じて、前記第１局所領域と前記第２局所領域との何れかを合焦させる領域として選択する局所領域選択手段と、
   を備え、
   前記局所領域選択手段は、前記乗物の進行方向に対して正面からの撮影と、前記乗物の進行方向に対して側面からの撮影では、合焦させる領域として異なる領域を選択する
   ことを特徴とする撮像装置。
2. 前記局所領域選択手段は、前記乗物領域又は前記第１局所領域の深度差が所定値より小さい場合に、若しくは、前記乗物領域又は前記第１局所領域のサイズが所定サイズより小さい場合に、前記第１局所領域を前記合焦させる領域として選択することを特徴とする請求項１に記載の撮像装置。
3. 更に、前記画像を表示する表示手段を備え、
   前記表示手段は前記乗物領域と前記第１局所領域と前記第２局所領域とを区別して表示することを特徴とする請求項１又は請求項２に記載の撮像装置。
4. 撮影者が設定可能なモードとして、前記第１局所領域と前記第２局所領域との何れかを前記合焦させる領域として選択する第１モードと、前記第１局所領域を前記合焦させる領域として選択する第２モードとを、前記局所領域選択手段に設けることを特徴とする請求項１乃至請求項３のうち何れか１項に記載の撮像装置。
5. 画像内の乗物領域の少なくとも一部に相当し、運転手の頭部を含む領域を第１局所領域として検出する第１検出工程と、
   前記乗物領域の少なくとも一部に相当し、乗物の絵柄を含む領域を第２局所領域として検出する第２検出工程と、
   前記乗物の進行方向の情報を取得する取得工程と、
   前記第１検出工程及び前記第２検出工程により、前記第１局所領域と前記第２局所領域の両方が検出された場合に、前記取得工程で取得された前記乗物の進行方向の情報である乗物の倒れ、コーナリングの方向、乗物の向きの少なくとも一つに関する情報に応じて、前記第１局所領域と前記第２局所領域の何れかを合焦させる領域として選択する局所領域選択工程と、
   を有し、
   前記局所領域選択工程では、前記乗物の進行方向に対して正面からの撮影と、前記乗物の進行方向に対して側面からの撮影では、合焦させる領域として異なる領域を選択することを特徴とする撮像装置の制御方法。
6. 請求項１乃至請求項４のうち何れか１項に記載の撮像装置の各手段をコンピュータに実行させるためのプログラム。

Images