JP7005236B2 - 撮像装置及びその制御方法、プログラム、記憶媒体 - Google Patents

Description

本発明は、撮像装置における自動焦点調節技術に関するものである。

従来、撮像装置を用いて止まっている被写体を撮影する際には、従来から広く知られているオートフォーカス（以下、ＡＦ）機能を用いて焦点調節を行い撮影する。これにより、被写体にピントがあった良好な画像を得ることができる。

一方、動いている被写体に同様の方法で焦点を合わせてから撮影を行うと、撮像装置内のシャッターが動作を開始してから露光するまでにタイムラグが発生する。そのタイムラグにより、ピントを合わせた位置から被写体がさらに動いた位置で撮像が行われ、ピントが合っていない画像が得られる場合がある。そのため、被写体の過去の複数点の焦点調節情報から、露光するタイミングでの被写体位置を予測する。そして、あらかじめ焦点調節用レンズを予測した位置に動かしておいてから露光することにより、高い確率でピントが合った画像を得ることができる。このような技術も、一般に広く使われている。

さらに、上記で説明したような撮像装置に対する奥行き方向（Ｚ方向）だけではなく、撮像素子の撮像面に平行な方向（ＸＹ方向）の動きも予測して焦点検出を行う例が、特許文献１に開示されている。

特開２００９－２８４４６２号公報

しかしながら、たとえば特許文献１に開示された従来技術では、被写体のＸＹＺ方向の動きを検出し、焦点検出に用いるＸＹ方向の焦点検出領域を変更するだけである。そのため、たとえば複数の被写体が焦点検出領域に入ってきた場合に、どちらの被写体が追尾するべきユーザの目的の被写体であるかが分からなくなってしまうという問題が発生する。

本発明は上述した課題に鑑みてなされたものであり、その目的は、焦点検出領域に複数の被写体が入ってきた場合でも、ユーザが目的とする被写体を正しく追尾してピントを合わせ続けることができる撮像装置を提供することである。

本発明に係わる撮像装置は、被写体に撮像レンズのピントを自動的に合わせる機能を有する撮像装置において、前記撮像レンズのピントを合わせる対象である主被写体を設定する設定手段と、前記主被写体の位置を算出する位置算出手段と、前記位置算出手段により算出された過去の複数点の前記主被写体の位置に基づいて、前記主被写体の速度ベクトルを算出する速度ベクトル算出手段と、前記速度ベクトル算出手段により算出された速度ベクトルを用いて、前記主被写体が存在すると予測されるとともに、前記主被写体以外の背景領域も含む第１の被写体存在空間を算出する空間算出手段と、を備え、前記設定手段は、画面内の複数の被写体同士の距離が、所定の距離以下になるまで接近した場合に、前記空間算出手段により算出された第１の被写体存在空間において検出された被写体を、ピントを合わせる対象である前記主被写体として再設定することを特徴とする。

本発明によれば、焦点検出領域に複数の被写体が入ってきた場合でも、ユーザが目的とする被写体を正しく追尾してピントを合わせ続けることができる撮像装置を提供することが可能となる。

本発明の撮像装置の第１の実施形態であるカメラの構成を示す図。 撮像素子の画素配列の概略図。 画素の概略平面図と概略断面図。 画素と瞳分割の概略説明図。 撮像素子と瞳分割の概略説明図。 デフォーカス量と像ずれ量の概略関係図。 焦点検出処理の流れを示すフローチャート。 第１焦点検出信号と第２焦点検出信号の瞳ずれによるシェーディングの概略説明図。 フィルターの周波数帯域の例を示す図。 第１の実施形態における被写体の動きと速度ベクトルを説明する図。 第１の実施形態における複数の被写体が交差した状態を説明する図。 第１の実施形態における複数の被写体が交差した状態を説明する図。 第１の実施形態における被写体存在空間を示す図。 第２の実施形態における被写体存在空間を示す図。

以下、本発明の実施形態について、添付図面を参照して詳細に説明する。

（第１の実施形態）
本実施形態では、撮像装置が検知する焦点調節情報に基づいて、被写体が存在すると予想される空間（以下、被写体存在空間）を定義し、その被写体存在空間内に存在する被写体を主被写体として設定する方法について説明する。

［全体構成］
図１は、本発明の撮像装置の第１の実施形態であるカメラの構成を示す図である。図１において、第１レンズ群１０１は、結像光学系の先端に配置され、光軸方向に進退可能に保持されている。絞り兼用シャッタ１０２は、その開口径を調節することで撮影時の光量調節を行なうほか、静止画撮影時には露光秒時調節用シャッタとしても機能する。第２レンズ群１０３は、絞り兼用シャッタ１０２と一体となって光軸方向に進退し、第１レンズ群１０１の進退動作との連動により、変倍作用（ズーム機能）をなす。

第３レンズ群１０５は、光軸方向の進退により、焦点調節を行なう。光学的ローパスフィルタ１０６は、撮影画像の偽色やモアレを軽減するための光学素子である。撮像素子１０７は、２次元ＣＭＯＳフォトセンサーと周辺回路からなり、結像光学系の結像面に配置される。

ズームアクチュエータ１１１は、不図示のカム筒を回動することで、第１レンズ群１０１及び第２レンズ群１０３を光軸方向に進退駆動し、変倍操作を行なう。絞りシャッタアクチュエータ１１２は、絞り兼用シャッタ１０２の開口径を制御して撮影光量を調節すると共に、静止画撮影時の露光時間制御を行なう。フォーカスアクチュエータ１１４は、第３レンズ群１０５を光軸方向に進退駆動して焦点調節を行なう。

電子フラッシュ１１５は撮影時に被写体を照明する。電子フラッシュ１１５には、キセノン管を用いた閃光照明装置が好適であるが、連続発光するＬＥＤを備えた照明装置を用いても良い。ＡＦ補助光装置１１６は、所定の開口パターンを有したマスクの像を、投光レンズを介して被写界に投影し、暗い被写体あるいは低コントラスト被写体に対する焦点検出能力を向上させる。

ＣＰＵ１２１は、カメラ本体の種々の制御を司るカメラ内ＣＰＵで、演算部、ＲＯＭ、ＲＡＭ、Ａ／Ｄコンバータ、Ｄ／Ａコンバータ、通信インターフェイス回路等を有する。そして、ＲＯＭに記憶された所定のプログラムに基づいて、カメラが有する各種回路を駆動し、ＡＦ、撮影、画像処理、記録等の一連の動作を実行する。

電子フラッシュ制御回路１２２は、撮影動作に同期して電子フラッシュ１１５を点灯制御する。補助光駆動回路１２３は、焦点検出動作に同期してＡＦ補助光装置１１６を点灯制御する。撮像素子駆動回路１２４は、撮像素子１０７の撮像動作を制御するとともに、撮像素子１０７から出力された画像信号をＡ／Ｄ変換してＣＰＵ１２１に送信する。画像処理回路１２５は、撮像素子１０７が取得した画像のγ変換、カラー補間、ＪＰＥＧ圧縮等の処理を行なう。

フォーカス駆動回路１２６は、焦点検出結果に基づいてフォーカスアクチュエータ１１４を駆動制御し、第３レンズ群１０５を光軸方向に進退駆動して焦点調節を行なう。絞りシャッタ駆動回路１２８は、絞りシャッタアクチュエータ１１２を駆動制御して絞り兼用シャッタ１０２の開口を制御する。ズーム駆動回路１２９は、撮影者のズーム操作に応じてズームアクチュエータ１１１を駆動する。

表示装置１３１はＬＣＤ等からなり、カメラの撮影モードに関する情報、撮影前のプレビュー画像と撮影後の確認用画像、焦点検出時の合焦状態表示画像等を表示する。表示装置１３１はタッチパネルを備え、ユーザーはタッチパネルに直接触ることにより、各種操作を行うことができる。操作スイッチ群１３２は、電源スイッチ、レリーズ（撮影トリガ）スイッチ、ズーム操作スイッチ、撮影モード選択スイッチ等で構成される。フラッシュメモリ１３３はカメラ本体に対して着脱可能であり、撮影済み画像を記録する。

［撮像素子］
図２は、本実施形態における撮像素子の撮像画素と焦点検出画素の配列の概略を示す図である。図２では、本実施形態に用いられる撮像素子である２次元ＣＭＯＳセンサーの画素（撮像画素）配列を４列×４行の範囲で、焦点検出画素配列を８列×４行の範囲で示している。

図２に示した２列×２行の画素群２００では、Ｒ（赤）の分光感度を有する画素２００Ｒが左上に、Ｇ（緑）の分光感度を有する画素２００Ｇが右上と左下に、Ｂ（青）の分光感度を有する画素２００Ｂが右下に配置されている。さらに、各撮像画素は２列×１行に配列された第１焦点検出画素２０１と第２焦点検出画素２０２により構成されている。

図２に示した４列×４行の撮像画素（８列×４行の焦点検出画素）を面上に多数配置し、撮像画像（焦点検出信号）の取得を可能としている。本実施形態では、撮像画素の周期Ｐが４μｍ、撮像画素の画素数Ｎが横５５７５列×縦３７２５行＝約２０７５万画素、焦点検出画素の列方向周期ＰＡＦが２μｍ、焦点検出画素の画素数ＮＡＦが横１１１５０列×縦３７２５行＝約４１５０万画素の撮像素子を使用するものとして説明を行う。

図２に示した撮像素子の１つの画素２００Ｇを、撮像素子の受光面側（＋ｚ側）から見た平面図を図３（ａ）に示し、図３（ａ）のａ－ａ断面を－ｙ側から見た断面図を図３（ｂ）に示す。なお、本実施形態では、撮像面上で地面に対する水平方向をｘ方向、垂直方向をｙ方向、被写体の奥行き方向をｚ方向とする。

図３に示すように、画素２００Ｇでは、各画素の受光側に入射光を集光するためのマイクロレンズ３０５が形成され、ｘ方向にＮＨ分割（２分割）、ｙ方向にＮＶ分割（１分割）された光電変換部３０１と光電変換部３０２が形成される。光電変換部３０１と光電変換部３０２は、それぞれ、第１焦点検出画素２０１と第２焦点検出画素２０２に対応する。

光電変換部３０１と光電変換部３０２は、ｐ型層とｎ型層の間にイントリンシック層を挟んだｐｉｎ構造フォトダイオードとしても良いし、必要に応じて、イントリンシック層を省略し、ｐｎ接合フォトダイオードとしても良い。

各画素には、マイクロレンズ３０５と、光電変換部３０１および光電変換部３０２との間に、カラーフィルター３０６が形成されている。また、必要に応じて、各焦点検出画素毎にカラーフィルターの分光透過率を変えても良いし、カラーフィルターを省略しても良い。

図３に示した画素２００Ｇに入射した光は、マイクロレンズ３０５により集光され、カラーフィルター３０６で分光されたのち、光電変換部３０１と光電変換部３０２で受光される。光電変換部３０１と光電変換部３０２では、受光量に応じて電子とホールが対生成され、空乏層で分離された後、負電荷の電子はｎ型層（不図示）に蓄積され、一方、ホールは定電圧源（不図示）に接続されたｐ型層を通じて撮像素子外部へ排出される。光電変換部３０１と光電変換部３０２のｎ型層（不図示）に蓄積された電子は、転送ゲートを介して、静電容量部（ＦＤ）に転送され、電圧信号に変換される。

図４は、図３に示した画素構造と瞳分割との対応関係を示した概略説明図である。図４では、図３（ａ）に示した画素構造のａ－ａ断面を＋ｙ側から見た断面図と結像光学系の射出瞳面を示している。また、射出瞳面の座標軸と対応を取るために、断面図のｘ軸とｙ軸を図３に対して反転させている。

図４において、第１焦点検出画素２０１の第１瞳部分領域５０１は、重心が－ｘ方向に偏心している光電変換部３０１の受光面と、マイクロレンズによって、概ね共役関係になっており、第１焦点検出画素２０１で受光可能な瞳領域を表している。第１焦点検出画素２０１の第１瞳部分領域５０１は、瞳面上で＋ｘ側に重心が偏心している。

同様に、第２焦点検出画素２０２の第２瞳部分領域５０２は、重心が＋ｘ方向に偏心している光電変換部３０２の受光面と、マイクロレンズによって、概ね共役関係になっており、第２焦点検出画素２０２で受光可能な瞳領域を表している。第２焦点検出画素２０２の第２瞳部分領域５０２は、瞳面上で－Ｘ側に重心が偏心している。

また、図４において、瞳領域５００は、光電変換部３０１と光電変換部３０２（第１焦点検出画素２０１と第２焦点検出画素２０２）を全て合わせた際の画素２００Ｇ全体で受光可能な瞳領域である。

図５は、撮像素子と瞳分割との対応関係を示した概略図である。第１瞳部分領域５０１と第２瞳部分領域５０２の異なる瞳部分領域を通過した光束は、撮像素子の各画素に、それぞれ異なる角度で入射し、２×１分割された第１焦点検出画素２０１と第２焦点検出画素２０２で受光される。本実施形態は、瞳領域が水平方向に２つに瞳分割されている例である。必要に応じて、垂直方向に瞳分割を行ってもよい。

本実施形態の撮像素子は、結像光学系の第１瞳部分領域を通過する光束を受光する第１焦点検出画素と、第１瞳部分領域とは異なる結像光学系の第２瞳部分領域を通過する光束を受光する第２焦点検出画素を有する。さらに、結像光学系の第１瞳部分領域と第２瞳部分領域を合わせた瞳領域を通過する光束を受光する撮像画素が複数配列されている。本実施形態の撮像素子では、それぞれの撮像画素が第１焦点検出画素と第２焦点検出画素から構成されている。必要に応じて、撮像画素と第１焦点検出画素、第２焦点検出画素を個別の画素構成とし、撮像画素配列の一部に、第１焦点検出画素と第２焦点検出画素を部分的に配置する構成としてもよい。

また、本実施形態では、撮像素子の各画素の第１焦点検出画素２０１の受光信号を集めて第１焦点検出信号を生成し、各画素の第２焦点検出画素２０２の受光信号を集めて第２焦点検出信号を生成して自動的に焦点検出を行う。また、撮像素子の各画素毎に、第１焦点検出画素２０１と第２焦点検出画素２０２の信号を加算することで、有効画素数Ｎの解像度の撮像信号（撮像画像）を生成する。

［デフォーカス量と像ずれ量の関係］
以下、撮像素子により取得される第１焦点検出信号と第２焦点検出信号のデフォーカス量と像ずれ量の関係について説明する。

図６は、デフォーカス量と第１焦点検出信号と第２焦点検出信号間の像ずれ量の概略的な関係を示す図である。撮像面８００に撮像素子が配置され、図４、図５と同様に、結像光学系の射出瞳が、第１瞳部分領域５０１と第２瞳部分領域５０２に２分割されている。

デフォーカス量ｄは、被写体の結像位置から撮像面までの距離を大きさ｜ｄ｜とし、被写体の結像位置が撮像面より被写体側にある前ピン状態を負符号（ｄ＜０）、被写体の結像位置が撮像面より被写体の反対側にある後ピン状態を正符号（ｄ＞０）として定義される。被写体の結像位置が撮像面（合焦位置）にある合焦状態はｄ＝０である。図６で、被写体８０１は合焦状態（ｄ＝０）の例を示しており、被写体８０２は前ピン状態（ｄ＜０）の例を示している。前ピン状態（ｄ＜０）と後ピン状態（ｄ＞０）を合わせて、デフォーカス状態（｜ｄ｜＞０）とする。

前ピン状態（ｄ＜０）では、被写体８０２からの光束のうち、第１瞳部分領域５０１（第２瞳部分領域５０２）を通過した光束は、一度、集光した後、光束の重心位置Ｇ１（Ｇ２）を中心として幅Γ１（Γ２）に広がり、撮像面８００でボケた像となる。ボケた像は、撮像素子に配列された各画素を構成する第１焦点検出画素２０１（第２焦点検出画素２０２）により受光され、第１焦点検出信号（第２焦点検出信号）が生成される。よって、第１焦点検出信号（第２焦点検出信号）は、撮像面８００上の重心位置Ｇ１（Ｇ２）に、被写体８０２が幅Γ１（Γ２）にボケた被写体像として記録される。被写体像のボケ幅Γ１（Γ２）は、デフォーカス量ｄの大きさ｜ｄ｜が増加するのに伴い、概ね比例して増加していく。同様に、第１焦点検出信号と第２焦点検出信号間の被写体像の像ずれ量ｐ（＝光束の重心位置の差Ｇ１－Ｇ２）の大きさ｜ｐ｜も、デフォーカス量ｄの大きさ｜ｄ｜が増加するのに伴い、概ね比例して増加していく。後ピン状態（ｄ＞０）でも、第１焦点検出信号と第２焦点検出信号間の被写体像の像ずれ方向が前ピン状態と反対となるが、同様である。

したがって、本実施形態では、第１焦点検出信号と第２焦点検出信号、もしくは、第１焦点検出信号と第２焦点検出信号を加算した撮像信号のデフォーカス量の大きさが増加するのに伴い、第１焦点検出信号と第２焦点検出信号間の像ずれ量の大きさが増加する。

［焦点検出］
以下、位相差方式の焦点検出方法について説明する。位相差方式の焦点検出では、第１焦点検出信号と第２焦点検出信号を相対的にシフトさせて信号の一致度を表す相関量（第１評価値）を計算し、相関（信号の一致度）が良くなるシフト量から像ずれ量を検出する。撮像信号のデフォーカス量の大きさが増加するのに伴い、第１焦点検出信号と第２焦点検出信号間の像ずれ量の大きさが増加する関係性から、像ずれ量を検出デフォーカス量に変換して焦点検出を行う。

図７は、焦点検出処理の概略的な流れを示すフローチャートである。なお、図７の動作は、撮像素子１０７、画像処理回路１２５、ＣＰＵ１２１によって実行される。

ステップＳ１１０では、撮像素子の有効画素領域の中から焦点調節を行う焦点検出領域を設定する。画像処理回路１２５とＣＰＵ１２１で構成される焦点検出信号生成部により、焦点検出領域の第１焦点検出画素の受光信号から第１焦点検出信号（Ａ像）を生成し、焦点検出領域の第２焦点検出画素の受光信号から第２焦点検出信号（Ｂ像）を生成する。

ステップＳ１２０では、第１焦点検出信号と第２焦点検出信号に対して、それぞれ信号データ量を抑制するために列方向に３画素加算処理を行い、さらに、ＲＧＢ信号を輝度Ｙ信号にするためにベイヤー（ＲＧＢ）加算処理を行う。これら２つの加算処理を合わせて画素加算処理とする。

ステップＳ１３０では、第１焦点検出信号と第２焦点検出信号に、それぞれ、シェーディング補正処理（光学補正処理）を行う。

ここで、第１焦点検出信号と第２焦点検出信号の瞳ずれによるシェーディングについて説明する。図８は、撮像素子の周辺像高における第１焦点検出画素２０１の第１瞳部分領域５０１、第２焦点検出画素２０２の第２瞳部分領域５０２、および結像光学系の射出瞳４００の関係を示す図である。

図８（ａ）は、結像光学系の射出瞳距離Ｄｌと撮像素子の設定瞳距離Ｄｓが同じ場合である。この場合は、第１瞳部分領域５０１と第２瞳部分領域５０２により、結像光学系の射出瞳４００が、概ね均等に瞳分割される。

これに対して、図８（ｂ）に示したように、結像光学系の射出瞳距離Ｄｌが撮像素子の設定瞳距離Ｄｓより短い場合、撮像素子の周辺像高では、結像光学系の射出瞳と撮像素子の入射瞳の瞳ずれを生じ、結像光学系の射出瞳４００が、不均等に瞳分割されてしまう。同様に、図８（ｃ）に示したように、結像光学系の射出瞳距離Ｄｌが撮像素子の設定瞳距離Ｄｓより長い場合、撮像素子の周辺像高では、結像光学系の射出瞳と撮像素子の入射瞳の瞳ずれを生じ、結像光学系の射出瞳４００が、不均等に瞳分割されてしまう。周辺像高で瞳分割が不均等になるのに伴い、第１焦点検出信号と第２焦点検出信号の強度も不均等になり、第１焦点検出信号と第２焦点検出信号のいずれか一方の強度が大きくなり、他方の強度が小さくなるシェーディングが生じる。

図７のステップＳ１３０では、焦点検出領域の像高と、撮像レンズ（結像光学系）のＦ値、射出瞳距離に応じて、第１焦点検出信号の第１シェーディング補正係数と、第２焦点検出信号の第２シェーディング補正係数を、それぞれ生成する。第１シェーディング補正係数を第１焦点検出信号に乗算し、第２シェーディング補正係数を第２焦点検出信号に乗算して、第１焦点検出信号と第２焦点検出信号のシェーディング補正処理（光学補正処理）を行う。

位相差方式の焦点検出では、第１焦点検出信号と第２焦点検出信号の相関（信号の一致度）に基づいて、第１検出デフォーカス量の検出を行う。瞳ずれによるシェーディングが生じると第１焦点検出信号と第２焦点検出信号の相関（信号の一致度）が低下する場合がある。よって、位相差方式の焦点検出では、第１焦点検出信号と第２焦点検出信号の相関（信号の一致度）を改善し、焦点検出性能を良好とするために、シェーディング補正処理（光学補正処理）を行うことが望ましい。

図７のステップＳ１４０では、第１焦点検出信号と第２焦点検出信号に、フィルター処理を行う。フィルター処理の通過帯域例を、図９の実線で示す。本実施形態では、位相差方式の焦点検出により、大デフォーカス状態での焦点検出を行うため、フィルター処理の通過帯域は低周波帯域を含むように構成される。必要に応じて、大デフォーカス状態から小デフォーカス状態まで焦点調節を行う際に、デフォーカス状態に応じて、焦点検出時のフィルター処理の通過帯域を、図９の１点鎖線のように、より高周波帯域に調整しても良い。

次に、図７のステップＳ１５０では、フィルター処理後の第１焦点検出信号と第２焦点検出信号を相対的に瞳分割方向にシフトさせるシフト処理を行い、信号の一致度を表す相関量（評価値）を算出する。

フィルター処理後のｋ番目の第１焦点検出信号をＡ（ｋ）、第２焦点検出信号をＢ（ｋ）、焦点検出領域に対応する番号ｋの範囲をＷとする。シフト処理によるシフト量をｓ１、シフト量ｓ１のシフト範囲をΓ１として、相関量（第１評価値）ＣＯＲは、式（１）により算出される。

シフト量ｓ１のシフト処理により、ｋ番目の第１焦点検出信号Ａ（ｋ）とｋ－ｓ１番目の第２焦点検出信号Ｂ（ｋ－ｓ１）を対応させて減算し、シフト減算信号を生成する。生成されたシフト減算信号の絶対値を計算し、焦点検出領域に対応する範囲Ｗ内で番号ｋの和を取り、相関量（評価値）ＣＯＲ（ｓ１）を算出する。必要に応じて、各行毎に算出された相関量（評価値）を、各シフト量毎に、複数行に渡って加算してもよい。

ステップＳ１６０では、相関量（評価値）から、サブピクセル演算により、相関量が最小値となる実数値のシフト量を算出して像ずれ量ｐ１とする。像ずれ量ｐ１に、焦点検出領域の像高と、撮像レンズ（結像光学系）のＦ値、射出瞳距離に応じた変換係数Ｋ１をかけて、デフォーカス量を検出する。

[被写体存在空間の定義]
次に、被写体存在空間の定義について説明する。

まず、主被写体決定手段により、撮影時のピントを合わせるための主被写体を選択する。主被写体決定手段は、ユーザーが操作して指示する操作スイッチ群１３２もしくはタッチパネルを有した表示器１３１と、ＣＰＵ１２１とにより構成され、ユーザーの操作により主被写体が選択される。もしくは、撮像装置が有する顔検出機能により被写体を検出した場合は、その被写体を主被写体として設定してもよいし、撮像した際の毎フレームの画像の相関結果などにより、動いている物体を検出し、それを主被写体としてもよい。さらには、被写体の色を検出し、特定の色を有するものを主被写体とする、もしくは撮像面内の全部、もしくは一部において焦点検出を行い、所定の距離において検出された被写体を主被写体とする。このような主被写体の選択例が考えられ、広く知られている被写体検出方法によって検出された被写体を主被写体とすればよい。

図１０は、主被写体決定手段により決定された主被写体が撮像装置に向かって斜めに向かってくる様子を示している。本来はＸ、Ｙ、Ｚ方向それぞれについて動きを検出して被写体存在空間を定義するのが望ましいが、ここでは説明を分かりやすくするため、ＸおよびＺ方向で図示する。なお、ここでいうＺ方向とはレンズの光軸方向を示しており、図１０における垂直方法をＺ方向とする。またＸ方向とは、Ｚ軸を法線とする撮像素子１０７の撮像面において、水平方向をＸ方向、Ｘ方向と直交する方向をＹ方向とする。

図１０には、それぞれ被写体が存在した時刻ｔ０～ｔ３を示している。また、それぞれの時刻におけるＸ方向、Ｚ方向の速度ベクトルをそれぞれｘ０～ｘ２、ｚ０～ｚ２で示している。このときの時刻ｔ０～ｔ３は、任意の時間間隔で設定することができ、撮像装置の撮像フレームレート周期で毎フレームでサンプリングしてもよいし、演算負荷を低減するため、それよりも遅い周期でサンプリングしてもよい。

主被写体の位置は、画像処理回路１２５とＣＰＵ１２１により構成される被写体位置検出手段により検出される。被写体位置算出手段は、Ｘ、Ｙ、Ｚ方向の位置をそれぞれ算出する。そして、被写体位置算出手段によって算出されたＸ、Ｙ、Ｚ方向の位置の変化から、画像処理回路１２５とＣＰＵ１２により構成される被写体速度ベクトル算出手段により、それぞれの方向に対する動きベクトルを算出する。この場合のＸ方向の動き速度ベクトルは、撮像装置内での被写体検出結果を元に算出すればよく、一般的に広く知られている顔検出機能や、そのほか被写体追尾機能を用いてＸ方向のそれぞれの座標、および速度ベクトルを算出すればよい。

またＺ方向の動き速度ベクトルは、被写体位置を像面位置に換算しなおしたものを用いる。例えば、前述した焦点検出方法により検出したデフォーカス量を用いる方法が考えられる。時刻ｔ０～ｔ３までにおけるそれぞれのデフォーカス量を検出し、そこからデフォーカス量の速度ベクトル成分ｚ０～ｚ２を算出すればよい。

なお、本実施形態では、像面位置に換算しなおしているが、被写体側の位置で換算しなおしてもよく、相対的な移動量と方向が分かればよいものとする。また静止画を連写する場合においては、撮像するたびに焦点調節用レンズを動かし被写体にピントを合わせているため、デフォーカス量だけからでは被写体の位置を推定することができない。その場合は、連写毎のレンズ駆動量をＺ方向の位置に置き換えて算出すればよい。

このようにして求めたＸ方向の速度ベクトル、Ｚ方向の速度ベクトルの変化から、例えば時刻ｔ３におけるＸ方向、Ｚ方向それぞれの速度ベクトルを予測することが可能である。本実施形態では過去３点の速度ベクトル情報、つまりｘ０～ｘ２、ｚ０～ｚ２を用いて、それぞれの近似式を作成する。近似式はどのような形態を用いてもよいが、例えば最少二乗法を用いた多項式近似を行うと、精度よく予測することが可能となる。

次にこの近似式を用いて時刻ｔ３におけるＸ方向、Ｚ方向の速度ベクトル量を外挿予測する。これは撮像装置が途中で被写体位置を見失うことがあっても、過去の動きの変化から被写体が存在すると予測される範囲を定義できるものである。ＣＰＵ１２１などにより構成される被写体存在空間設定手段（空間算出手段）は、上記方法によって算出した被写体が存在しうる範囲（被写体が存在すると予想される範囲）を被写体存在空間として設定する。

例えば、撮像装置が被写体を時刻ｔ０から追尾しつづけているときに、時刻ｔ３を過ぎた後に被写体を見失う、もしくは他の被写体と混同し、主被写体がどれか分からなくなった場合、時刻ｔ３からｔ４の間の被写体Ｈ１は、時刻ｔ３における被写体位置からｘ３およびｚ３で定義された被写体存在空間の中に存在することになる。上記の説明では、Ｘ方向、Ｚ方向について示しているが、当然Ｙ方向についても適用することができ、Ｘ、Ｙ、Ｚ方向の速度ベクトルで被写体存在空間を三次元空間として定義することが可能となる。

図１１は、複数の被写体が画面内の同じ焦点検出領域に混在した場合の例を示す図である。図１１では、被写体Ｈ１およびＨ２の二つの被写体が存在する。撮影者は撮像装置を用いて被写体Ｈ１を撮像しようとしており、撮像装置の追尾機能は被写体Ｈ１を主被写体としてとらえているものとする。このとき、被写体Ｈ１とＨ２が互いに重なる位置Ｘｎ（被写体同士の距離が所定の距離以下になる位置）に来たとする。この時、撮像装置から見える被写体Ｈ１、Ｈ２は図１２（ａ）のように互いに重なっており、顔追尾機能等を用いて追尾していたとしても、どちらの顔が主被写体だったかが判別しにくい状態となっている。この後、一定の時間が経過した後、図１２（ｂ）に示したように被写体Ｈ１、Ｈ２が分離し、再度追尾を開始できるようになる。しかし、一旦主被写体Ｈ１の顔が別の被写体Ｈ２の顔によって遮られ消失しているため、顔追尾機能がＨ２を主被写体だと誤認識し、被写体Ｈ２を追尾対象としてしまう可能性が高くなる。

そこで、上記で説明した被写体存在空間を用いて、被写体Ｈ１、およびＨ２のうち、どちらが主被写体だったかを判別する。

図１３に示したように、被写体が重なったときの時刻をｔ５とする。この時刻ｔ５の時点では二つの被写体Ｈ１、Ｈ２が重なっており、主被写体であるＨ１は、別の被写体であるＨ２の陰に隠れ、一旦追尾ができなくなる。

ここで、時刻ｔ５から次の時刻までの速度ベクトルを、上記で説明した方法で算出し、被写体存在空間を定義する。このとき、被写体同士が重なった時刻ｔ５を正確に検出してもよいし、その他の方法としては、主被写体位置から、追尾対象の乗り移りが起きやすい所定の範囲内に他の被写体が接近した時と定義してもよい。

図１３のＳ１で示した領域が、算出された被写体存在空間であり、被写体が重なった時刻ｔ５の位置を起点として空間を設定している。つまり時刻ｔ５からｔ６の間は被写体Ｈ１はＳ１で示した被写体存在空間内に存在する可能性が高いため、主被写体を判別するためには、被写体同士が重なった時刻ｔ５の位置から設定した被写体存在空間Ｓ１内で検出した顔を、主被写体として再設定する。このようにして、再び追尾を開始すれば、主被写体を間違えることなく焦点調節を行い、ピントが合った良好な画像を得ることが可能となる。

（第２の実施形態）
次に、第２の実施形態について説明する。第１の実施形態では、被写体の速度ベクトルｘ、ｙ、ｚのいずれか一つが逆向きだったため、被写体存在空間が重なりあうことがなく、主被写体とそれ以外の被写体を明確に分けることが可能であった。しかし、例えば二つの被写体が並走するようなシーン、つまりＸ、Ｙ、Ｚの速度ベクトルの方向が３つとも同じ方向を向いている場合、被写体存在空間はある程度重なってしまうことになる。

図１４は、主被写体Ｈ１とその他の被写体Ｈ２が並走状態で走っているところを表した図である。この場合、被写体Ｈ１とＨ２のＸ、Ｙ、Ｚ方向の速度ベクトルはそれぞれの量は違うが、向きは同じである。なお、図１４では、説明を分かりやすくするためにＸ、Ｚの２方向でのみ表しているが、本発明はＸ、Ｙ、Ｚの３次元方向に適用される。

図１４における被写体Ｈ１のＸ方向、Ｚ方向の動きはそれぞれｘｈ１、ｚｈ１で表され、その場合の被写体存在空間はＳＨ１で表されている。同様に被写体Ｈ２のＸ方向、Ｚ方向の動きはそれぞれｘｈ２、ｚｈ２で表され、その場合の被写体存在空間はＳＨ２で表されている。

この場合、被写体存在空間ＳＨ１とＳＨ２は、それぞれ図１４のＳＨ３で示した領域で重なっている。この重なっている空間では被写体Ｈ１と被写体Ｈ２を切り分けることができないため、被写体がこの空間にいるときは、どちらか一方の被写体を追尾しながら焦点調節を行うものとする。

上記のように追尾は続けつつ、ＳＨ１とＳＨ３の差分領域において被写体が検出されるのを待つ。このＳＨ１とＳＨ３の差分領域には、主被写体Ｈ１のみが存在しうるため、この差分領域で検出された被写体を主被写体として再度設定し、追尾を再開すれば、追尾対象の乗り移りを防止することが可能となる。

なお、本発明は、その趣旨を逸脱しない範囲で、上記実施形態を種々変形可能である。

例えば、上記の実施形態では、被写体のＸ、Ｙ、Ｚ方向をそれぞれ撮像装置の追尾機能、および焦点検出方法を用いて算出している。そして、ここで用いる焦点検出方法には、上記で説明してきたように撮像を行いながら焦点検出を行える、撮像面位相差方式を用いた。しかし、この焦点検出方法に限らず、広く知られるコントラスト検出方式を用いた焦点検出方法を用いてもよい。その場合、被写体までのデフォーカス量を検出することはできないが、例えば連写を行いながら、その都度ピント合わせを行ったレンズ駆動量に基づいて、Ｚ方向の速度ベクトルを定義してもよい。またその他の焦点検出方法においても、Ｚ方向の速度ベクトルを定義できるものであれば、いかなる方法を用いてもよい。

また同様に、Ｘ、Ｙ方向においても、上記の実施形態では撮像装置の顔追尾機能を用いるように説明した。しかし、被写体の顔検出に限らず、被写体の色を検出し、前後のフレームとの相関から検出した色の移動方向を検出する色追尾機能を用いたものでもよい。

以上、説明してきた方法を用いることによって、主被写体以外の被写体が混入してきた場合でも、ピントの乗り移りを起こすことなく、主被写体を追尾しつづけ、主被写体にピントが合った良好な画像を得ることが可能となる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１：第１レンズ群、１０２：絞り兼用シャッタ、１０３：第２レンズ群、１０５：第３レンズ群、１０７：撮像素子、１２１：ＣＰＵ、１２５：画像処理回路

Claims (14)

1. 被写体に撮像レンズのピントを自動的に合わせる機能を有する撮像装置において、
   前記撮像レンズのピントを合わせる対象である主被写体を設定する設定手段と、
   前記主被写体の位置を算出する位置算出手段と、
   前記位置算出手段により算出された過去の複数点の前記主被写体の位置に基づいて、前記主被写体の速度ベクトルを算出する速度ベクトル算出手段と、
   前記速度ベクトル算出手段により算出された速度ベクトルを用いて、前記主被写体が存在すると予測されるとともに、前記主被写体以外の背景領域も含む第１の被写体存在空間を算出する空間算出手段と、を備え、
   前記設定手段は、画面内の複数の被写体同士の距離が、所定の距離以下になるまで接近した場合に、前記空間算出手段により算出された第１の被写体存在空間において検出された被写体を、ピントを合わせる対象である前記主被写体として再設定することを特徴とする撮像装置。
2. 前記速度ベクトル算出手段は、前記撮像装置の光軸方向、および前記光軸に直交する撮像素子の撮像面上での水平方向、垂直方向における前記主被写体の動きの方向と量を算出することを特徴とする請求項１に記載の撮像装置。
3. 前記速度ベクトル算出手段は、前記過去の複数点における前記主被写体のデフォーカス量に基づいて、前記主被写体の動きの方向と量を算出することを特徴とする請求項１または２に記載の撮像装置。
4. 前記速度ベクトル算出手段は、前記過去の複数点における前記撮像レンズの焦点調節のための動き量に基づいて、前記主被写体の動きの方向と量を算出することを特徴とする請求項１または２に記載の撮像装置。
5. 前記空間算出手段は、前記速度ベクトル算出手段を用いて算出した前記撮像装置の光軸方向のベクトル、および前記光軸に直交する撮像素子の撮像面上での水平方向のベクトル、垂直方向のベクトルの３つのベクトルを用いて前記第１の被写体存在空間を算出することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記空間算出手段は、主被写体ではない被写体についても、該主被写体ではない被写体が存在すると予測される第２の被写体存在空間を算出することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 前記設定手段は、前記第１の被写体存在空間と前記第２の被写体存在空間とが重なる領域を有する場合には、該重なる領域においては、前記主被写体と前記主被写体ではない被写体のいずれかをピントを合わせる対象である被写体として選択することを特徴とする請求項６に記載の撮像装置。
8. 前記設定手段は、前記第１の被写体存在空間と前記第２の被写体存在空間とが重なる領域を有する場合には、前記第１の被写体存在空間から前記重なる領域を引いた差分領域において検出された被写体を、前記主被写体として再設定することを特徴とする請求項６または７に記載の撮像装置。
9. 前記設定手段は、ユーザーからの指示を受けて前記主被写体を設定することを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
10. 前記設定手段は、撮像素子から出力される画像信号に基づいて、前記主被写体を設定することを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
11. 前記設定手段は、被写体の顔の検出結果、被写体の距離、被写体の色、前記速度ベクトル算出手段を用いて算出した速度ベクトルの少なくとも１つを用いて、前記主被写体を設定することを特徴とする請求項１０に記載の撮像装置。
12. 被写体に撮像レンズのピントを自動的に合わせる機能を有する撮像装置を制御する方法であって、
    前記撮像レンズのピントを合わせる対象である主被写体を設定する設定工程と、
    前記主被写体の位置を算出する位置算出工程と、
    前記位置算出工程により算出された過去の複数点の前記主被写体の位置に基づいて、前記主被写体の速度ベクトルを算出する速度ベクトル算出工程と、
    前記速度ベクトル算出工程により算出された速度ベクトルを用いて、前記主被写体が存在すると予測されるとともに、前記主被写体以外の背景領域も含む第１の被写体存在空間を算出する空間算出工程と、を有し、
    前記設定工程では、画面内の複数の被写体同士の距離が、所定の距離以下になるまで接近した場合に、前記空間算出工程により算出された第１の被写体存在空間おいて検出された被写体を、ピントを合わせる対象である前記主被写体として再設定することを特徴とする撮像装置の制御方法。
13. 請求項１２に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。
14. 請求項１２に記載の制御方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images