JP6300670B2 - 焦点調節装置、焦点調節方法およびプログラム、並びに撮像装置 - Google Patents

Description

本発明は、撮像素子で取得された画像信号を用いて焦点調節を行うデジタルスチルカメラ、デジタルビデオカメラ、携帯電話などに搭載される撮像装置に関する。

一般的に、撮像装置の焦点検出調節方式として、コントラストＡＦ（ＡｕｔｏＦｏｃｕｓ）検出方式と位相差ＡＦ検出方式とがある。

コントラストＡＦ検出方式はデジタルスチルカメラやデジタルビデオカメラで多く用いられるＡＦ方式であり、撮像素子が焦点検出用センサとして用いられている。撮像素子の出力信号、特に高周波成分のコントラスト情報に着目し、そのＡＦ評価値が最も大きくなるフォーカスレンズの位置を合焦位置とするＡＦ方式である（以下、コントラストＡＦと称す）。

一方、位相差ＡＦ検出方式の焦点検出は、一眼レフカメラに多く用いられ、自動焦点検出（ＡＦ）一眼レフカメラの実用化に貢献した技術である。例えば、デジタル一眼レフカメラでは、位相差ＡＦ検出方式は、２次結像光学系からなる焦点検出部により行われる。焦点検出部は、撮影光学系の射出瞳を通過した光束を２つの領域に分割する瞳分割部を備え、２分割された光束はミラーボックス内に配置された光路分割部を介して、２次結像光学系により一組の焦点検出用センサ上に結像される。そして、その焦点検出用センサから受光量に応じて出力される信号のずれ量すなわち瞳分割方向の相対的位置ずれ量を検出することで、撮影光学系のピント方向のずれ量を直接的に求める。従って、焦点検出用センサで蓄積動作を一回行なえば、ピントずれの量と方向が同時に得られ、高速な焦点調節動作が可能となる。焦点検出した後の撮影時には、光路分割部を撮影光束外へ退避させ、撮像素子への露光を行い撮影画像を取得する。

位相差ＡＦ検出方式の中でも、撮像素子に位相差ＡＦ機能を付与し、背面液晶などの表示部でリアルタイムに画像を確認する電子ファインダ観察時や動画撮影時でも高速のＡＦを実現する技術は、撮像面位相差ＡＦ検出方式（以下、撮像面位相差ＡＦ）と呼ばれる。

また、レンズの収差などが原因で、撮像素子の出力信号から得られる水平方向のみのコントラトの変化を用いてＡＦした場合と、垂直方向のみのコントラトの変化を用いてＡＦした場合では、焦点検出の結果に差が生じることがある。つまり、水平方向の信号を評価するか、垂直方向の信号を評価するかという、評価対象となる信号の方向によってピント位置がずれる現象が起こることがある。

上記のＡＦ方式の中でもコントラストＡＦや撮像面位相差ＡＦでは、演算負荷低減や演算速度向上のために、撮像素子の出力信号から水平又は垂直方向のどちらか一方向のみに抜き出した信号を用いて焦点検出を行うことが多い。しかしながら、前述のように評価対象となる信号の方向によってピント位置がずれるため、水平又は垂直方向のどちらか一方向のみに抜き出した信号を用いた焦点検出結果は、撮影画像を観賞している人が最も合焦していると感じるボケ状態からずれてしまう欠点があった。

そこで、撮影画像を観賞している人が最も合焦していると感じるボケ状態となるようにピント位置を補正することができる合焦位置検出装置の構成を有するものがある（特許文献１）。即ち、特許文献１の合焦位置検出装置は、ＡＦを終えたあとにピント補正を行うことで被写体にピントを合わせることを特徴としている。

特開２００６−０７２０１６号公報

しかしながら、上述の特許文献１に開示された従来技術で用いられる補正値はレンズ個体ごとにデータが異なるため、レンズ個体ごとに補正値を算出しなければ補正ができないという欠点がある。更に、被写体のパターンに因っては補正誤差が生じてしまい補正精度が悪くなるという場合があった。

本発明は上記問題点を鑑みてなされたものであり、ＡＦ後に行うレンズ毎のピント補正値の算出を不要にし、高精度な焦点検出の実現が可能な焦点検出装置を有する撮像装置を提供することである。

本発明の焦点調節装置は、フォーカスレンズを含む撮影光学系で形成された被写体像を撮像手段で撮像して得られた画像信号を取得する取得手段と、画像信号を用いて、撮像手段の撮像面の第１の方向での被写体像のピント状態を検出してフォーカスレンズの第１の駆動情報を生成する第１の焦点検出手段と、デフォーカス量が異なるボケ状態の被写体像に対応する複数の画像信号を用いて、第１の方向を含む複数の方向について、フォーカスレンズの位置と相関関係を有するボケ状態の評価値を生成し、評価値に基づいて前記フォーカスレンズの第２の駆動情報を生成する第２の焦点検出手段と、評価値に従って、第１の駆動情報および第２の駆動情報のいずれかを用いて前記フォーカスレンズの駆動を制御する焦点調節手段とを備える。

本発明によれば、ＡＦ後に行うピント補正を不要にすることによって、高精度な焦点検出の実現と演算負荷の低減を可能にする焦点調節装置を提供できる。

本発明の第１の実施例に係わる焦点調節装置を適用した撮像装置のブロック図である。 本発明の第１の実施例に係わる焦点調節装置の一部のボケ部ブロック図である。 画像信号のパワーとフォーカスレンズ位置の関係を示す図である。 本発明の第１の実施例に係わる焦点調節装置を適用した撮像装置にけるＡＦ動作のフローチャートを示す図である。 デフォーカス範囲とフォーカスレンズ位置の関係を示す図である。 本発明の第１の実施例に係わる焦点調節装置を適用した撮像装置部ＡＦ動作のフローチャートを示す図である。 本発明の第１の実施例に係わるボケ評価値とフォーカスレンズ位置の関係を示す図である。 本発明の第２の実施例に係わる焦点調節装置を適用した撮像装置のＡＦ動作のフローチャートを示す図である。 本発明の第２の実施例に係わる焦点調節装置を適用した撮像装置のＡＦ動作のフローチャートを示す図である。

［実施例１］
撮像装置の全体概略構成
以下に、本発明の好ましい実施例を、図１〜図７を参照して詳細に説明する。

図１は、本実施例に係わる焦点調節装置を適用した撮像装置としてのデジタルカメラのブロック図である。本実施例のデジタルカメラは交換レンズ式一眼レフカメラであり、レンズユニット１００とカメラ本体１２０とを有する。レンズユニット１００は図中央の点線で示されるマウントＭを介して、カメラ本体１２０と着脱可能に接続される。

レンズユニット１００は、第１レンズ群１０１、絞り兼用シャッタ１０２、第２レンズ群１０３、フォーカスレンズ群（以下、単に「フォーカスレンズ」という）１０４、及び、後述する制御部を有する。このようにレンズユニット１００は、フォーカスレンズ１０４を含むと共に被写体の像を形成する撮影光学系を有する。

第１レンズ群１０１は、レンズユニット１００の先端に配置され、光軸方向ＯＡに進退可能に保持される。絞り兼用シャッタ１０２は、その開口径を調節することで撮影時の光量調節を行う他、静止画撮影時には露光秒時調節用シャッタとして機能する。絞り兼用シャッタ１０２及び第２レンズ群１０３は一体として光軸方向ＯＡに進退可能であり、第１レンズ群１０１の進退動作との連動によりズーム機能を実現する。フォーカスレンズ１０４は、光軸方向の進退移動により焦点調節を行う。

レンズユニット１００の制御部は、ズームアクチュエータ１１１、絞りシャッタアクチュエータ１１２、フォーカスアクチュエータ１１３、ズーム駆動部１１４、絞りシャッタ駆動部１１５、フォーカス駆動部１１６、レンズＭＰＵ１１７、レンズメモリ１１８を有する。

ズームアクチュエータ１１１は、第１レンズ群１０１や第３レンズ群１０３を光軸方向ＯＡに進退駆動し、ズーム操作を行なう。絞りシャッタアクチュエータ１１２は、絞り兼用シャッタ１０２の開口径を制御して撮影光量を調節すると共に、静止画撮影時の露光時間制御を行なう。フォーカスアクチュエータ１１３は、フォーカスレンズ１０４を光軸方向ＯＡに進退駆動して焦点調節を行ない、フォーカスレンズ１０４の現在位置を検出する位置検出部としての機能が備わっている。

ズーム駆動部１１４は、撮影者のズーム操作に応じてズームアクチュエータ１１１を駆動する。シャッタ駆動部１１５は、絞りシャッタアクチュエータ１１２を駆動制御して絞り兼用シャッタ１０２の開口を制御する。フォーカス駆動部１１６は、焦点検出結果に基づいてフォーカスアクチュエータ１１３を駆動制御し、フォーカスレンズ１０４を光軸方向ＯＡに進退駆動して焦点調節を行なう。

レンズＭＰＵ１１７は、撮影光学系に係る全ての演算、制御を行い、ズーム駆動部１１４、シャッタ駆動部１１５、フォーカス駆動部１１６、レンズメモリ１１８を制御する。また、レンズＭＰＵ１１７は、現在のレンズ位置を検出し、カメラＭＰＵ１２５からの要求に対してレンズ位置情報を通知する。レンズメモリ１１８には自動焦点調節に必要な光学情報を記憶する。

カメラ本体１２０は、光学的ローパスフィルタ１２１、撮像素子１２２、後述する制御部を有する。光学的ローパスフィルタ１２１は、撮影画像の偽色やモアレを軽減する。
撮像素子１２２は、Ｃ−ＭＯＳセンサとその周辺部で構成され、Ｃ−ＭＯＳセンサは横方向にｍ画素、縦方向にｎ画素の受光ピクセル上に１つの光電変換素子が配置された画素配列を有する。撮像素子１２２は、画素配列の各画素の独立な出力が可能なように構成されている。また、一部の画素が焦点検出用画素となっており、撮像面における位相差ＡＦ検出方式の焦点検出（撮像面位相差ＡＦ）が可能となっている。

より具体的には、撮像素子１２２の画素配列は、被写体の像を形成する撮影光学系の射出瞳の全域を通る光束を各々が受光して被写体の像を生成する複数の撮影用画素を有する。また、画素配列は、各々が撮影光学系の異なる射出瞳の領域を通る光束を受光する複数の焦点検出用画素を更に有する。複数の焦点検出用画素は全体として撮影光学系の射出瞳の全域を通る光束を受光することができ、１つの撮影用画素に対応する。例えば、画素配列において、２行×２列の画素のうち、対角に配置される一対のＧ画素は撮影用画素として残し、Ｒ画素とＢ画素を焦点検出用画素に置き換える。

駆動部は、撮像素子駆動部１２３、画像処理部１２４、第１の制御部、第２の制御部、第３の制御部の機能を備えたカメラＭＰＵ１２５、表示器１２６、操作スイッチ群１２７、メモリ１２８、第１の焦点検出部１２９、第２の焦点検出部１３０を有する。

撮像素子駆動部１２３は、撮像素子１２２の動作を制御するとともに、取得した画像信号をＡ／Ｄ変換してカメラＭＰＵ１２５に送信する。画像処理部１２４は、撮像素子１２２が取得した画像のγ変換、カラー補間、ＪＰＥＧ圧縮などを行う。

第１の制御部、第２の制御部、第３の制御部の機能を備えたカメラＭＰＵ（プロセッサ）１２５は、カメラ本体１２０に係る全ての演算、制御を行う。これにより、撮像素子駆動部１２３、画像処理部１２４、表示器１２６、操作ＳＷ１２７、メモリ１２８、第１の焦点検出部１２９、第２の焦点検出部１３０を制御する。

第１の制御部、第２の制御部、第３の制御部の機能を備えたカメラＭＰＵ１２５はマウントＭの信号線を介してレンズＭＰＵ１１７と接続されている。これにより、レンズＭＰＵ１１７に対してレンズ位置の取得や所定の駆動量でのレンズ駆動要求を発行したり、レンズユニット１００に固有の光学情報を取得したりする。

第１の制御部、第２の制御部、第３の制御部の機能を備えたカメラＭＰＵ１２５には、カメラ動作を制御するプログラムを格納したＲＯＭ１２５ａ、変数を記憶するＲＡＭ１２５ｂ、諸パラメータを記憶するＥＥＰＲＯＭ１２５ｃが内蔵されている。更に、カメラＭＰＵ１２５は、ＲＯＭ１２５ａに格納したプログラムをロードして実行することで焦点検出処理を実行する。焦点検出処理の詳細は後述する。また、カメラＭＰＵ１２５は、撮像面位相差ＡＦにおいて、焦点検出位置の像高が大きい時にケラレの影響が大きく信頼度が低下するため、その補正も行う。

表示器１２６はＬＣＤなどから構成され、カメラの撮影モードに関する情報、撮影前のプレビュー画像と撮影後の確認用画像、焦点検出時の合焦状態表示画像などを表示する。操作スイッチ群１２７は、電源スイッチ、レリーズ（撮影トリガ）スイッチ、ズーム操作スイッチ、撮影モード選択スイッチ等で構成される。本実施例のメモリ１２８は、着脱可能なフラッシュメモリで、撮影済み画像を記録する。また、レリーズスイッチは撮影動作に先立って行われるＡＥ処理、ＡＦ動作を開始させる指示信号を発生する第１ストローク（以下ＳＷ１）と実際の露光動作を開始させる指示信号を発生する第２ストローク（以下ＳＷ２）との二段スイッチにより構成される。

第１の焦点検出部１２９は、撮像素子１２２に埋め込まれた焦点検出用画素の像信号により位相差ＡＦ方式での焦点検出処理を行う。より具体的には、第１の焦点検出部１２９は、撮像光学系の一対の瞳領域を通過する光束により焦点検出用画素に形成される一対の像（以下Ａ像、Ｂ像と呼ぶ）のずれ量に基づいて撮像面位相差ＡＦを行う。撮像面位相差ＡＦの原理は、特開２００９−００３１２２号公報の図５〜図７、図１６などにおいて説明されているものと同様である。

本実施例の撮像装置が有する撮像素子１２２は、特開２００９−００３１２２号公報の図６のように、撮像面位相差ＡＦを行う焦点検出用画素のうち、Ａ像用の焦点検出画素を水平方向に規則的に配列し、これらの画素群で取得した被写体像がＡ像である。また、Ｂ像用の焦点検出画素も水平方向（長辺方向）に規則的に配列し、これらの画素群で取得した被写体像がＢ像である。ここで水平方向とは、撮影光学系の光軸と撮像素子の撮像面の長辺とが地面に平行となるように撮像装置を構えたとき、この光軸に直交し、かつ水平方向に伸びる直線に沿った方向をいう。長辺方向とは撮影画面（画素配列）の中で画素数が多く長辺である方向のことをいう。

上記のように、Ａ像、Ｂ像の各焦点検出画素が配置されている方向（この例では水平方向）、すなわち撮像面位相差ＡＦが評価する方向のことを、第１の方向と定義する。ただし、第１の焦点検出部１２９が行う第１の焦点検出方法としては、撮像面位相差ＡＦに限らない。撮像素子１２２の面内の方向である第１の方向のコントラストを利用して焦点検出を行うことができればよい。例えば、第１の焦点検出方法はコントラストＡＦでもよい。コントラストＡＦの詳細な合焦位置算出方法としては、例えば、特開２０１０−０７８８１０号公報の図１２で説明されているような方法を用いればよい。つまり、合焦状態を示すコントラスト焦点評価値のフォーカスレンズ１０４の位置に対する変化を表わす曲線の一定値以上の傾きで傾斜している部分の長さ、および傾斜している部分の勾配の変化具合から、ピーク位置を算出する。コントラスト焦点評価値のピーク位置は、合焦位置にほかならないので、これにより合焦位置算出を行うことができる。なお、第１の焦点検出部１２９で行うＡＦ方式のことを以下において第１の焦点検出と称することにする。

第２の焦点検出部１３０は、画像処理部１２４にて得られた画像情報から算出されるボケ評価値に基づいた第２の焦点検出方式により第２の焦点検出を行う。第２の焦点検出方式は、Ｄｅｐｔｈ Ｆｒｏｍ Ｄｅｆｏｃｕｓ法（以下ＤＦＤ）と呼ばれる方法を用いており、所定のデフォーカス量だけ異なる２つの画像に対して演算処理を行うことでボケ評価値を算出する。ボケ評価値の具体的な算出方法については後述する。

ＤＦＤに用いる所定のデフォーカス量だけ異なる２つの画像を得るためには、撮像画像のボケ状態に影響を与える、フォーカスレンズの位置、絞り量、焦点距離などの撮影パラメータをカメラＭＰＵ１２５の制御で変更して撮影を行う。撮影パラメータの変更は、１つ以上のパラメータの変更であれば、どれを変更してもよい。本実施例では、フォーカスレンズの位置のみを変更する場合の説明を行う。

本実施例に係わるボケ評価値とは撮像画像のボケ状態を示す値であり、撮影光学系の点像強度分布関数の分散と相関をもつ値である。ここで、点像強度分布関数とは点像がレンズを通過したあとの広がり具合の関数のことである。また、撮影光学系の点像強度分布関数の分散は被写体距離と相関をもっている。即ち撮影光学系の点像強度分布関数の分散はフォーカスレンズ位置と相関をもっていると言い換えることができる。以上のことから、ボケ評価値とフォーカスレンズ位置の間には相関関係があるとわかる。この関係について詳しくは後述する。

本実施例に係わる焦点調節装置は、第１の焦点検出部１２９と第２の焦点検出部１３０により２つの焦点検出方法を行うことを特徴としている。この目的については後述する。

ボケ評価値の説明
次に、図２を参照して、図１のカメラＭＰＵ１２５及び第２の焦点検出部１３０により算出されるボケ評価値の算出方法について説明する。図２は、本発明のボケ評価値を算出する部のブロック図である。同図において、図１と同様の部分は同じ符号を付して示す。

第２の焦点検出部１３０では、画像信号からボケ評価値を算出する。前述の通り、ボケ評価値の算出には、所定のデフォーカス量だけ異なる２つの画像信号を用いる。撮像素子が１つしかない本実施例の機構では、同時に２つの画像を撮像することができないので、所定のデフォーカス量だけ異なる２つの画像信号を得るためには順番に撮像する必要がある。ここで、先に撮像される画像を画像１、後に撮像される画像を画像２と呼び、画像１と画像２はＤＦＤに用いるために所定のデフォーカス量だけ異なる２つの画像である。

まず画像１の輝度信号を取得するために、撮像素子駆動部１２３でＡ／Ｄ変換された画像信号がＭＰＵ１２５に送信され、画像１の画像信号がＲＡＭ１２５ｂに格納される。

画像１の画像信号が、第２の焦点検出部１３０に入力されると、ＡＦ評価用信号処理部２０１で、輝度信号Ｙに変換された後、低輝度成分を強調して高輝度成分を抑圧するガンマ補正処理が施される。また、ガンマ補正処理された輝度信号Ｙは、赤の輝度信号(以下ＲＹ)、緑の輝度信号(以下ＧＹ)、青の輝度信号(以下ＢＹ)の３色の輝度信号と、ＲＹ，ＧＹ，ＢＹを所定の重みづけし加算することにより計算されたＹ信号を含む。なお以下では、赤、緑、青の各色をそれぞれＲ、Ｇ、Ｂと呼ぶことにする。ただし、ＡＦ評価用信号処理部２０１の出力信号である画像１の輝度信号Ｙは、ノイズ低減や精度向上を目的として、ＲＹ、ＧＹ、ＢＹ、Ｙ信号のどれか一つを用いてもよいし、複数の信号を組み合わせて複数のボケ評価値を算出してもよい。

続いて、画像１と所定のデフォーカス量だけ異なる画像２の輝度信号を取得するべく、撮像素子上に結像される像のボケ状態を変えるために、フォーカスレンズ１０４を所定量だけ駆動させる。駆動後に撮像された画像２の画像信号は、ＲＡＭ１２５ｂに格納され、更に第２の焦点検出部１３０を通して画像１と同様の処理を行って画像２の輝度信号Ｙを生成する。ガンマ補正された画像１、画像２の輝度信号Ｙのことを、以下においてそれぞれ画像１の輝度信号２０２（Ｇ１）、画像２の輝度信号２０３（Ｇ２）と称する。

Ｇ１、Ｇ２はそれぞれ領域設定２１５によって設定される横方向ｍ画素、縦方向ｎ画素のＡＦ評価範囲から切り出されて、より小さい範囲の領域に設定される。具体的には、ＡＦ評価範囲の大きさを横方向Ｍ画素、縦方向Ｎ画素とすると、ＭとＮにそれぞれ後述するフィルタのタップ数（以下、Ｔａｐ）を考慮した項を足し合わせて、横方向Ｍ＋Ｔａｐ画素、縦方向Ｎ＋Ｔａｐ画素に領域設定される。

Ｇ１、Ｇ２は横方向、縦方向に値をもつＭ＋Ｔａｐ行、Ｎ＋Ｔａｐ列の２次元の信号であるため、以下においてそれぞれＧ１（ｉ，ｊ）、Ｇ２（ｉ，ｊ）のように表すことにする。ただしｉ＝１〜Ｍ＋Ｔａｐ、ｊ＝１〜Ｎ＋Ｔａｐとした。

Ｇ１はＢＰＦ部２０４に入力されて特定の周波数成分が抽出され、信号Ｓ１として出力される。ここで、特定の周波数成分の抽出には、被写体のＤＣ成分や高周波成分などの除外も含まれる。このＢＰＦ部２０４を通す目的は、被写体の空間周波数依存をなくすことである。

ＢＰＦ部２０４で行われる演算について説明する。ＢＰＦ部２０４では、まず、Ｇ１に対して、２次元フィルタ（ＢＰＦ）の畳み込み演算が行われる。畳み込み演算によりＳ１（ｉ，ｊ）は、式（１）のように求められる。ここで、畳み込み演算の結果には、２次元フィルタ（ＢＰＦ）のサイズによって、正しくないデータが一部出力される。この正しく出力されない一部のデータのことをフィルタのタップと呼び、行方向のタップの数（Ｔａｐ）はフィルタの行方向の要素数−１で求められる。同様に列方向のＴａｐはフィルタの列方向の要素数−１で求められる。

以上のことから、正しいデータのみを出力するために畳み込み演算の結果であるＳ１（ｉ，ｊ）からＴａｐ分の信号を除外した信号Ｓ１（ｉ’，ｊ’）が、ＢＰＦ部２０４の出力信号となる。ただし、ｉ’＝１〜Ｍ、ｊ’＝１〜Ｎとした。なお、（１）式で使用するＢＰＦの例としては、（３）式のような２次元フィルタを用いればよい。ただし、ＢＰＦの要素数はその値は、抽出したい周波数帯域に応じて変更してもよい。

Ｇ２についても同様に、ＢＰＦ部２０５を通して（２）式のような畳み込み演算を行った結果の信号から、Ｔａｐ分の信号を除外したＳ１（ｉ’，ｊ’）信号Ｓ２が出力される。

次に、二乗演算部２０６と領域内積分部２０８により周波数空間における画像信号のパワーを求める。そのために、パーシバルの定理と呼ばれる式を用いて周波数空間上の計算を実空間における計算により求める。ここでパーシバルの定理とは、関数の平方の総和（積分）が、そのフーリエ変換の平方の総和（積分）と等しい、とする定理である。パーシバルの定理は一般に、式（４）のように表され、波形s(x)が持つ全エネルギーの全実空間xについての総和と、その波形のエネルギーのフーリエ変換S(f)の全周波数成分fについての総和とが等しいことを意味する。

以下において、周波数空間における画像信号のパワーをＰと称し、画像１のＰをＰ１，画像２のＰをＰ２と呼ぶことにする。

Ｐ１、Ｐ２を求めるために、まず二乗演算を行う。具体的には、二乗演算部２０６でＢＰＦ部２０４の出力信号Ｓ１に対して（５）式のように二乗演算を行い、信号Ｔ１を生成する。同様に、二乗演算部２０５でＢＰＦ部２０７の出力信号Ｓ２に対して（６）式のように二乗演算を行い、信号Ｔ２を生成する。

続いてＰ１、Ｐ２を求めるために、領域内積分部２０８では、二乗演算部２０６の出力信号に対して、ＡＦ評価範囲の大きさである横方向Ｍ、縦方向Ｎの領域の積分演算を行う。領域内積分部２０８の出力信号をＰ１とすると、（７）式のようにＰ１は求められる。同様に、領域内積分部２０９の出力信号をＰ２とすると、（８）式のようにＰ２は求められる。

ただし、積分領域は主被写体の位置や、主被写体以外の被写体の位置などに応じて、領域を狭くするか、または複数に分けてもよい。また、後述するボケ評価値演算部２１２による演算の後に行ってもよい

以上のように、二乗演算部２０６と領域内積分部２０８を通してＰ１が、二乗演算部２０７と領域内積分部２０９を通して、Ｐ２が生成される。ここで、Ｐの値と、フォーカスレンズ位置の関係を、図３に示した。図３のように、Ｐは合焦位置で最大値となる。これは、合焦位置が最も画像のコントラストがはっきりしているため、画像信号のパワーが最も強い状態となるからである。一方、合焦から無限側や至近側にむかってボケていくにつれ、Ｐは徐々に小さい値をとる。これは、画像がボケるにつれて画像のコントラストが減っていくためである。

差分演算部２１０では、領域内積分部２０８、２０９の出力信号Ｐ１、Ｐ２の差分Ｐ２−Ｐ１を演算する。これは、画像１と画像２の周波数空間における信号のパワーを比較し、２つの画像のボケ具合の違いを評価するためである。２つの画像のボケ具合が大きく異なるときは、Ｐ２−Ｐ１が大きい値をとり、２つの画像のボケ具合にあまり差がないときは、Ｐ２−Ｐ１は小さい値をとる。

積分演算部２１１では、領域内積分部２０８、２０９の出力信号Ｐ１、Ｐ２の和Ｐ１＋Ｐ２を演算する。これは、後述するボケ評価値算出の際の規格化に用いる。ボケ評価値演算部２１２では、差分演算部２１０の出力結果を積分演算部２１１の出力結果で規格化することにより、（９）式のようにボケ評価値を演算する。

以下において、ボケ評価値をＣと呼ぶことにする。Ｃを用いた焦点検出方法について詳しくは後述する。また、（９）式を、

のように（Ｐ１＋Ｐ２）／２のように変更して、Ｐ１とＰ２の平均値で規格化してもよい。また、焦点検出を行い易くするために（１０）式の右辺に係数をつけてもよい。以下、本実施例においては、簡易的にボケ評価値Ｃを求める（９）式を用いて説明する。

図２のＡＦ制御部１２５１は、ボケ評価値Ｃを取り込み、フォーカス駆動部１１６を通じて、焦点検出結果に基づいてフォーカスアクチュエータ１１３を駆動制御し、フォーカスレンズ１０４を進退駆動してＡＦ制御を行なう。

以上のような手順で、第２の焦点検出部１３０では、算出されたボケ評価値Ｃによりフォーカスレンズ１０４を駆動して第２の焦点検出を行う。

合焦位置判定処理動作の説明
以下、図２、図４を参照して、上記構成を有するカメラＭＰＵ（プロセッサ）１２５が実行する、本実施例に係わる焦点調節装置を適用した撮像装置における合焦動作（ＡＦ動作）について説明する。

図４は、本実施例に係わる焦点調節装置を適用した撮像装置のＡＦ動作のフローチャートを示す。この動作に関する制御プログラムは、カメラＭＰＵ１２５によって実行される。なお、図４において、「Ｓ」はステップの略である。

カメラＭＰＵ１２５に含まれる領域設定部２１５は、ＡＦ動作を開始すると（Ｓ４００）、まず、被写体に対する焦点調節を行うためのＡＦ評価範囲を設定する（Ｓ４０１）。このステップＳ４０１の処理では、画像内に１つの測距領域が設定される。ＡＦ評価範囲は、後述するＡＦ動作によって焦点調節するための画像信号を評価する範囲であり、ＡＦ動作の目的は、焦点検出エリアとしてのＡＦ評価範囲内の撮影者が意図する被写体に焦点調節を行うことである。なお、ここで設定されるＡＦ評価範囲は、第１の焦点検出を行うための範囲（以下、第１のＡＦ評価範囲）であり、第２の焦点検出を行うための範囲（以下、第２のＡＦ評価範囲）は本ステップで設定してもしなくてもよい。また、第２のＡＦ評価範囲も共に設定する場合は、第１のＡＦ評価範囲と同じにしてもしなくてもよい。

次に、撮像素子１２２への露光を行う（Ｓ４０２）。これにより、第１の焦点検出や第２の焦点検出に用いる出力信号を得るだけでなく、各焦点検出部用の焦点検出領域を含む近傍の被写体の情報を得ることができる。また、第１の焦点検出や第２の焦点検出は、必要な焦点調節精度に合わせて、撮像画素の出力信号の数を間引いて用いてもよい。また、露光はフォーカスレンズが連続に動いている最中に行ってもよいし、止まっている間に行ってもよい。

次に、第１の焦点検出部によってデフォーカス量を算出する（Ｓ４０３）。デフォーカス量は焦点検出用画素列の長さ及び像ずれ量をデフォーカス量に変換する係数（Ｋ値）から決定されるが、詳しい算出方法は特開２００９−００３１２２号公報の図５〜図７、図１６などにおいて説明されているものと同様である。

以下の説明において、第１の焦点検出部によって算出されるデフォーカス量のことを第１のデフォーカス量と称する。ここで留意すべき点は、本ステップは、第１のデフォーカス量が算出できた場合と算出できない場合、いずれの場合も含まれている点である。Ｓ４０３の処理を終了するとＳ４０４へ進む。

Ｓ４０４では、Ｓ４０３で第１のデフォーカス量が算出できた場合は、第１のデフォーカス量に対応したフォーカスレンズ１０４のレンズ駆動量（第１の駆動情報）を算出し、その後Ｓ４０５へ進む。Ｓ４０３で第１のデフォーカス量が算出できなかった場合は、Ｓ４０４でレンズ駆動量を算出しないまま処理を終了し、Ｓ４０５へ進む。

次に、Ｓ４０５で露光の回数を判定する。露光回数が２回以上の場合はＳ４０６へ進み（Ｓ４０５のＹｅｓ）、第２の焦点検出部による焦点検出と第２の焦点検出結果の信頼性判定を行う（Ｓ４０６）。以下において、第２の焦点検出部によって算出されるデフォーカス量のことを第２のデフォーカス量と称する。

Ｓ４０６で第２のデフォーカス量を算出するためには、前述したように２回の露光分の画像がＲＡＭ１２５ｂに蓄積されている必要がある。この理由は、第２の焦点検出に用いるボケ評価値の算出には、図２の２０２，２０３に示すように、画像１と画像２の輝度信号を用いるためである。そこで、露光回数が１回以下の場合（Ｓ４０５のＮｏ）は第２のデフォーカス量が算出できないため、もう１回以上露光を繰り返すために後述するＳ４１０を実行後露光ステップ（Ｓ４０２）に戻る。Ｓ４０６の第２の焦点検出方法や信頼性判定方法の詳細は後述する。

ここで、Ｓ４０３で算出した第１のデフォーカス量と、Ｓ４０６で算出した第２のデフォーカス量それぞれの精度について説明する。結論としては、以下で述べる理由により、第１のデフォーカス量よりも第２のデフォーカス量の方が、焦点検出結果として精度が良いと言える。

まず前提として、収差などの影響により、評価する方向によってピントがずれる現象が起こることがあるのは前述の通りである。また、一般に撮影画像を観賞している人が最も合焦していると感じるボケ状態が望ましいとされているが、このボケ状態は１方向だけではなく、上下左右など複数の方向の画像のコントラスト（エッジ形状）の状況により決められる。つまり、撮影画像を観賞している人が最も合焦していると感じるボケ状態のピント状態を得るためには、１方向のボケ状態の評価だけでは精度が不十分と言える。

第１の焦点検出方法では第１の方向のボケ状態しか評価しないため精度が不十分であるのに対して、第２の焦点検出方法では前述のように２次元的なエッジのパワーの情報をボケ評価値としているため、第２のデフォーカス量は実際の絵のピント状態の評価とほぼ等しい。このように、第１のデフォーカス量よりも第２のデフォーカス量の方が、精度が良いと言える。

Ｓ４０６で第２のデフォーカス量の算出とその信頼性判定を行い、第２のデフォーカス量が信頼できると判定された場合は、Ｓ４０８へ進み（Ｓ４０７のＹｅｓ）、更に第２のデフォーカス量が合焦位置のデフォーカス量か否かを判定する。合焦と判定された場合は（Ｓ１０８のＹｅｓ）、カメラＭＰＵ１２５は合焦表示を行い（Ｓ４０９）、その後、本ＡＦ動作を終了（Ｓ４１２）する。

Ｓ４１０では、第２のデフォーカス量が算出できない場合（Ｓ４０５のＮｏ）または信頼性の低い第２のデフォーカス量が算出された場合（Ｓ４０７のＮｏ）に、第１のレンズ制御によるフォーカスレンズ駆動を行う（Ｓ４１０）。ただし第１のレンズ制御とは、第２のデフォーカス量が算出できない場合または信頼性の低い第２のデフォーカス量が算出された場合に、本ステップでカメラＭＰＵ１２５が行うフォーカスレンズ駆動の制御を指す。

第１のレンズ制御では、Ｓ４０４で算出されたレンズ駆動量だけフォーカスレンズ１０４を駆動するか、またはサーチ駆動を行う。ここで、サーチ駆動とは、事前に設定した方向（通常は至近方向）に所定の速度で所定の量フォーカスレンズ１０４を駆動することを指す。レンズ駆動方向を通常は至近方向に設定するのは、撮影者が焦点調節の対象とする被写体は至近側に存在することが多いためであるが、この方向に限らなくてもよい。以上のように第１のレンズ制御によってフォーカスレンズ１０４を駆動した後、フローはＳ４０２に戻る。

Ｓ４１１では、信頼性のある第２のデフォーカス量が算出された場合（Ｓ４０７のＹｅｓ）で且つ第２のデフォーカス量が合焦と判定されなかった場合（Ｓ４０８のＮｏ）、第２のレンズ制御を行う（Ｓ４１１）。ただし第２のレンズ制御とは、第２のデフォーカス量の信頼性は高いと判定され且つ合焦と判定されなかった場合に、本ステップでカメラＭＰＵ１２５が行うフォーカスレンズ駆動の制御を指す。第２のレンズ制御では、フォーカスレンズ１０４の位置が所定の間隔だけ異なる位置で露光を行うことができるようにレンズ駆動を行う。所定の間隔の決定方法については後述する。また、露光はフォーカスレンズ１０４が連続に動いている最中に行ってもよいし、止まっている間に行ってもよい。

以上のように第２のレンズ制御によってフォーカスレンズ１０４を駆動した後、フローはＳ４０２に戻る。

上述した図４のフローチャートからわかるように、本実施例では、最終的には、第１のデフォーカス量ではなく第２のデフォーカス量を用いて、合焦位置へレンズ駆動を行う。より具体的に言えば、第１のデフォーカス量と第２のデフォーカス量のうち、第２のデフォーカス量が演算可能な場合は、第２のデフォーカス量を用いて焦点検出を行う。

最終的に第２のデフォーカス量を用いるならば、常に第２の焦点検出部のみを用いてＡＦすればいいように思えるが、第１の焦点検出部も必ず並行して用いる必要がある。この理由を、デフォーカス量検出可能範囲の観点から図５を用いて説明する。以下において、第１のデフォーカス量を検出することが可能なフォーカスレンズ１０４の位置の範囲を第１のデフォーカス範囲と呼び、第２のデフォーカス量を検出することが可能なフォーカスレンズ１０４の位置の範囲を第２のデフォーカス範囲と呼ぶことにする。

図５は第１、第２のデフォーカス検出範囲とフォーカスレンズ位置の関係を表した図である。図５の至近端、無限端、とはフォーカスレンズ１０４の駆動の限界位置の両端を表しており、合焦となるフォーカスレンズの位置を、合焦位置として示した。

図５に示すように、第１、第２のデフォーカス範囲は共に合焦位置を必ず含んでいる。また、第１のデフォーカス量よりも第２のデフォーカス量の方が、精度が良いのは前述の通りである。そこで、フォーカスレンズ位置が合焦位置に近く、第１のデフォーカス量も第２のデフォーカス量も算出可能な場合は、精度のよい第２のデフォーカス検出結果を用いて合焦位置の算出を行う。

一方、図５に示すように、第２のデフォーカス検出範囲は第１のデフォーカス範囲に比べて狭いので、合焦位置から遠い位置にフォーカスレンズ１０４があるときは、第１の焦点検出部を用いる方が有利となる。そこで、第１のデフォーカス量は算出可能且つ第２のデフォーカス量は算出不可能な場合は、第１のデフォーカス量を用いて合焦位置の算出を行う。

以上をふまえると、本撮像装置は、第１の焦点検出部と第２の焦点検出部の両方の部を有する必要がある。

このように、Ｓ４０２の露光時の出力信号は、第１の焦点検出や第２の焦点検出のいずれにも用いられる可能性がある。そのため、露光の度に、第１の焦点検出部による第１のデフォーカス量と第２の焦点検出部による第２のデフォーカス量をともに算出する。これにより、常に両方の焦点検出方式で焦点検出が行える。しかし、本発明の実施形態として、これに限る必要はなく、露光の度に、いずれか一方のみの焦点検出を行うようにしてもよい。その場合には、焦点検出に必要な演算量が減るという効果が得られる。

第２の焦点検出部による焦点検出と信頼性判定処理動作の説明
次に、図６を参照して第２の焦点検出部１３０による焦点検出と信頼性判定処理動作について説明する。図６は、図４のＳ４０６で実行される第２の焦点検出部による焦点検出と信頼性判定処理動作のフローチャートを示す図である。この動作に関する制御プログラムは、カメラＭＰＵ１２５によって実行される。図６においても、「Ｓ」はステップの略である。

カメラＭＰＵ１２５に含まれる領域設定部２１５は、第２の焦点検出によるＡＦ動作を開始すると（Ｓ６００）、被写体に対して第２のＡＦ評価範囲を設定する（Ｓ６０１）。本ステップＳ６０１の処理では、画像内に１つの測距領域が設定される。第２のＡＦ評価範囲は、第２の焦点検出部によって焦点調節するための画像信号を評価する範囲である。図４のＳ４０１において既に第２のＡＦ評価範囲が設定されている場合には、本ステップＳ６０１で第２のＡＦ評価範囲設定を行わずにＳ６０２へ進む。続いて、画像１、画像２の輝度信号よりボケ評価値Ｃを算出する（Ｓ６０２）。算出方法については上述の通りである。

次に、Ｓ６０２で算出されたボケ評価値から、第２のデフォーカス量を算出する（Ｓ６０３）。前述したように、ボケ評価値Ｃはフォーカスレンズ位置と相関をもっている。この相関関係について図７（ａ）を用いて説明する。

図７（ａ）は、ボケ評価値Ｃとフォーカスレンズ位置の関係を示す図である。図７（ａ）の至近端、無限端とはフォーカスレンズ１０４の駆動の限界位置の両端を表している。

図７（ａ）に示すように、第２のデフォーカス範囲内に関しては、ボケ評価値Ｃとフォーカスレンズ位置は１対１の対応関係にある。この１対１の対応関係のうち、Ｃ＝０に対応するフォーカスレンズの位置が合焦位置となる。この理由を、図３と（９）式を用いて説明する。

（９）式によると、ボケ評価値Ｃは、フォーカスレンズ位置が所定のデフォーカス量だけ異なる２つの画像のパワーＰ１、Ｐ２の差分を和で除して求めている。図３に示すように、画像１と画像２のフォーカスレンズ１０４の位置をそれぞれＬ１’、Ｌ２’とし、Ｌ１’、Ｌ２’は合焦位置近傍ではないとする。Ｌ１’、Ｌ２’に対応する画像のパワーをＰ１’、Ｐ２’とし、Ｌ２’−Ｌ１’は第２の焦点検出を行うために必要な所定のデフォーカス量であるとする。このようにＰ１’＜Ｐ２’のとき、（９）式に代入するとＣ>０となるので、Ｃ＝０のときが合焦位置と分かる。

同様に、合焦位置をまたいで画像１と画像２が得られた場合の画像１と画像２のフォーカスレンズ位置をそれぞれＬ１、Ｌ２とする。Ｌ１、Ｌ２に対応する画像のパワーをＰ１、Ｐ２とし、Ｌ２−Ｌ１は第２の焦点検出を行うために必要な所定のデフォーカス量であるとする。前述のようにＰは合焦位置で最大値をとるので、Ｌ１，Ｌ２のように合焦位置をまたいだ位置に画像１と画像２のフォーカスレンズがあるとき、１箇所だけＰ１とＰ２の値が同じ値をとることになる。Ｐ１＝Ｐ２のとき、（９）式に代入するとＣ＝０となるので、Ｃ＝０のときが合焦位置と分かる。

以下において、図７（ａ）に戻りＳ６０３における第２のデフォーカス量の算出方法について説明する。例えば、Ｓ６０２で算出されたボケ評価値がＣａであった場合は、相関関係よりフォーカスレンズ１０４の位置Ｌａが得られる。デフォーカス量とは、合焦位置からＬａの距離（方向も含む）を指すので、ボケ評価値Ｃａから第２のデフォーカス量を求めることができた。

この図７（ａ）に示すような相関関係はテーブル（以下Ｃテーブル）としてＲＯＭ１２５ａに記憶されており、算出されたボケ評価値ＣでＣテーブルを参照することにより第２のデフォーカス量を求めることができる（Ｓ６０３）。なお、算出したボケパラメータＣに対応する値が、ＲＯＭ１２５ａに記憶されているＣテーブルになかった場合はＣテーブルに対して補完演算を行って第２のデフォーカス量を求めればよい。

図３は、合焦位置から至近側と無限側にほぼ左右対称な例を挙げたが、実際のレンズは左右対称になっていない。左右対称でないことによりＰ１＝Ｐ２のときでも合焦位置からずれてしまうが、このずれ量はレンズの設計値からわかるので、ずれ量分Ｃテーブルを事前にオフセットすればよい。

次に、Ｓ６０３で算出された第２のデフォーカス量に対応したフォーカスレンズ１０４のレンズ駆動量（第２の駆動情報）を算出し（Ｓ６０４）、処理を終了するとＳ６０５へ進む。

次に、第２のデフォーカス量の信頼性を判定する（Ｓ６０５）。まず、第２のデフォーカス量の信頼性について図７（ｂ）を用いて説明する。
図７（ｂ）は、ボケ評価値Ｃとフォーカスレンズ位置の関係を示す図である。図７（ｂ）の至近端Ｌｓ、無限端Ｌｍ、はフォーカスレンズ１０４の駆動の限界位置の両端を表しており、Ｌｇは合焦位置である。

図７（ｂ）では、Ｃとフォーカスレンズ位置の関係のプロット範囲を図７（ａ）よりも広げて至近端から無限端まで図示している。ボケ評価値Ｃとフォーカスレンズ１０４の位置は１対１の対応関係となる部分と、１対２の対応関係になる部分がある。図７（ｂ）では、ＬｘからＬｙの間は１対１の対応関係で、ＬｓからＬｘの間とＬｙからＬｍの間は１対２の対応関係である。１対２対応の関係が生じる理由は後述する。ここで１対２対応の関係とは、例えばひとつのボケ評価値ＣｘがＳ６０２で算出されＳ６０３でＣテーブルに照らしたときに、Ｌｓ、Ｌｘの２つのフォーカスレンズ位置が算出される関係である。

評価値Ｃとフォーカスレンズ位置が１対２の対応関係になる部分が生じる原因は、図３に示すＰの変化を表わす曲線の形状と、（９）式に示すＣの演算方法にある。

前述のように、Ｐのグラフ形状は合焦位置で最大値をとり、合焦から無限側や至近側にむかってボケていくにつれＰの値は減少する。すると、Ｐの傾きは合焦位置で０となり、合焦から無限側や至近側にむかってボケていくにつれ増加し、無限端や至近端が近づくと再び０に近づいていく。また、（９）式右辺の分子Ｐ２−Ｐ１の傾向も、Ｐの傾きと同じく、合焦からボケていくにつれ増加し、無限端や至近端が近づくと再び０に近づいていく。即ち、（９）式右辺の分子の影響で、（９）式左辺であるＣの傾向は０から増加し、再び減少するような傾向となる。

一方（９）式右辺の分母のＰ１＋Ｐ２の値は、合焦からボケていくにつれ、最大値から徐々に減少していく。即ち、分母の影響でＰは規格化され、（９）式左辺であるＣの傾向は合焦近傍では小さい値をもち、ボケていくつれ大きい値をもつような傾向となる。

この（９）式のようにＣを算出することから、Ｃの絶対値（以下｜Ｃ｜）は合焦位置から離れるにつれて増加し、あるところから減少するため、Ｃとフォーカスレンズ位置が１対２の対応関係になる部分が生じる。以上を踏まえると、Ｃの値は図７（ｂ）のような値をとる。

図７（ａ）に戻り、信頼性判定に関する説明をする。ボケ評価値ＣｘがＳ６０２で算出されたとき、Ｃテーブルに照らすだけではＬｓ，Ｌｘのうちどちらが正しいフォーカスレンズ位置か判定できないため、１対１の対応関係が成立しない場合はＳ６０３で間違った第２のデフォーカス量を算出する可能性がある。そこで、ボケ評価値がＣｘからＣｙの間以外の値をとる場合は、信頼性の無いボケ評価値と言える。第２のデフォーカス範囲内に関しては、１対１対応の関係が成立しているため、ボケ評価値がＣｙからＣｘの間の値をとる場合は、信頼性の有るボケ評価値と言える。

Ｓ６０５では、以上のようなボケ評価値の信頼性の有無を、Ｐの値を用いて判定する。信頼性判定には、Ｐ１とＰ２どちらか一方のＰを用いてもよいし、両方を用いてもよい。

以下において、第２のデフォーカス量の信頼性算出方法について図３を用いて説明する。

図３の縦軸である画像のパワーは、被写体のコントラストによって異なる値をとるが、撮像画像の明暗差（最大出力値―最小出力値）で規格化を行えば、どのようなコントラストの被写体を撮影してもＰのグラフ形状は概ね一致する。そこで、明暗差で規格化したＰの値が所定の閾値以上の値を取る場合には、第２のデフォーカス量は信頼性があると判定する。他方、閾値未満の場合は第２のデフォーカス量は信頼性がないと判定し（Ｓ６０５）、第２の焦点検出部による焦点検出と信頼性判定処理を終える（Ｓ６０６）。

また、より簡単に、明暗差によるＰの規格化を行わずに信頼性判定を行ってもよい。以下の判定方法で用いる閾値のうち、Ｐ２−Ｐ１に対して用いる閾値をＰ差分閾値、Ｐに対して用いる閾値をＰ閾値と呼ぶことにする。

具体的には、Ｐ２−Ｐ１が所定のＰ差分閾値以下の値を取り且つＰがＰ閾値以上の場合には第２のデフォーカス量は信頼性有りと判定し、Ｐ２−Ｐ１が所定の差分閾値以下の値を取り且つＰがＰ閾値以下の場合には第２のデフォーカス量は信頼性無しと判定する。図３に示すように、無限端や至近端付近のように画像のコントラストが大きく減ってしまったボケ状態（以下大ボケ状態）の画像１と画像２には、パワーＰの差がほとんど無くなる。そこで、パワーＰの差に対して差分閾値を設けた。ただし、合焦位置近傍の場合もパワーＰの差は小さくなるので、Ｐ閾値を更に設け、Ｐ閾値以下の場合は大ボケ状態と判断する。

また、Ｐ２−Ｐ１が所定のＰ差分閾値以下の値をとる回数が所定回数以下の場合は第２のデフォーカス量は信頼性有りと判定し、Ｐ２−Ｐ１が所定のＰ差分閾値以下の値をとる回数が所定回数以下の場合は第２のデフォーカス量は信頼性無しと判定してもよい。図３に示すように、大ボケ状態のときは画像１と画像２のパワーＰの差が無くなった状態が連続し、一方合焦状態のときはＰ２−Ｐ１≒０となるのは合焦近傍のみであることを利用する。

以上のようにＳ６０５で第２のデフォーカス量の信頼性判定を終えると、第２の焦点検出部による焦点検出と信頼性判定処理を終了する（Ｓ６０６）。

このように本実施例では、所定のデフォーカス量に基づいてフォーカスレンズ１０４を動かすことで得られる画像１、画像２のパワーＰからボケ評価値Ｃを算出してＣテーブルを参照して第２のデフォーカス量を算出している。そしてその際に、パワーＰに対して閾値を設けることで第２のデフォーカス量の信頼性を判定を可能としている。

また、前述したボケ評価値Ｃの算出方法として、ＢＰＦ部２０５で抽出する周波数帯域の、中心近傍の周波数をωとしたときに、以下の（１１）式のように、周波数の重みづけのための係数として１/ω＾２をつけてもよい。

この目的は、複数のＢＰＦを用いて複数のボケ評価値Ｃを算出して比較する場合に、周波数の二乗で規格化することで複数のボケ評価値Ｃの値を一致させることである。

また、第２のデフォーカス量を得るために２つの画像を用いるのではなく、３つの画像を用いてもよい。その場合は、３つの画像から複数のボケ評価値Ｃを算出したあとに複数のＣを重みづけして組み合わせて第２の焦点検出に用いてもよい。

このように、撮像素子の出力信号から水平又は垂直方向のどちらか一方向のみに抜き出した信号を用いた第１の焦点検出動作において、第１の焦点検出動作のあとに第２の焦点検出動作を行うことにより、ＡＦ後に行うピント補正を不要にすることが可能である。また、ＡＦ後に行うピント補正よりも高精度な焦点検出の実現が可能である。

［実施例２］
以下、図８から図９を参照して、本発明の第２の実施例に係わる焦点調節装置を適用した撮像装置について説明する。なお、本実施例においては、第１の実施例に係わる焦点調節装置を有する撮像装置のブロック図（図１）、ボケ評価値を算出する部のブロック図（図２）は同様の構成であり、同様の動作を行うため、説明は省略する。また、画像信号のパワーとフォーカスレンズ位置の関係を示す図（図３）、デフォーカス範囲とフォーカスレンズ位置の関係を示す図（図５）に関しても、同様の構成であり、説明は省略する。

第１の実施例との主な違いは、２点ある。１点目は、第１の実施例に対してＳＷ１前の動作を加えた点である。この理由は詳しく後述する。２点目は、第２の焦点検出方式であるＤＦＤに用いる所定のデフォーカス量だけ異なる２つの画像を得るために変更する撮影パラメータである。撮像画像のボケ状態に影響を与える撮影パラメータには、フォーカスレンズ位置、絞り量、焦点距離などが挙げられ、１つ以上変更すれば、所定のデフォーカス量だけ異なる２つの画像が得られる。第１の実施例ではフォーカスレンズ位置のみを変更することでボケ状態の異なる２つの画像を得たが、本実施例では、被写体が動いたり、撮影者の手振れしたりすることで第２のＡＦ評価領域内の被写体が揺れ動くことを利用する。ただし被写体の移動や撮影者の手振れの方向は、図２の光軸方向ＯＡであるとする。

第２の実施例では、ＳＷ１前のＡＦ動作に対して、被写体の移動や撮影者の手振れによって得られたボケ状態の異なる２つの画像から第２の焦点検出を行うことにより、事前にデフォーカス量を知ることができる。

以下では、第２の実施例で行う処理動作の内容を、図８および図９のフローチャートを参照して説明する。

合焦位置判定処理動作の説明
以下、図８を参照して、上記構成を有するカメラＭＰＵ（プロセッサ）１２５が実行する、本実施例による合焦動作（ＡＦ動作）について説明する。図８は、本実施例に係わる焦点調節装置を適用した撮像装置のＡＦ動作のフローチャートを示す図である。この動作に関する制御プログラムは、カメラＭＰＵ１２５によって実行される。なお、図８において、「Ｓ」はステップの略であり、図４と同様の部分は同じ符号を付して示す。図８ではステップＳ８０１，８０２，８０３以外のステップは、第１の実施例の図１と同様の構成であり、同様の動作を行うため、説明は省略する。

図８によると、まず、ＳＷ１がＯＮかＯＦＦかの判定を行い、ＳＷ１がＯＮの場合はＳ８０２へ進む（Ｓ８０１のＹｅｓ）。ＯＦＦの場合はＳ８０３へ進み（Ｓ８０２のＮｏ）、ＳＷ１前のＡＦ動作を行ったあと（Ｓ８０３）、フローはＳ４０１へ戻る。ＳＷ１前のＡＦ動作の詳細については後述する。

Ｓ８０２では、既に第２のデフォーカス量が算出できたか否かを判定する。Ｓ８０２で第２のデフォーカス量が算出できた場合はＳ４０８へ進み（Ｓ８０２のＮｏ）、合焦か否かを判定する。Ｓ４０８で合焦と判定された場合（Ｓ１０８のＹｅｓ）は、カメラＭＰＵ１２５は合焦表示を行い（Ｓ４０９）、本ＡＦ動作を終了する。

一方、Ｓ８０２で第２のデフォーカス量が算出できなかったと判定された場合はＳ４０２へ進み（Ｓ８０２のＹｅｓ）、第１の実施例と同様なＡＦ動作を実行する。

このように、ＳＷ１前に事前にデフォーカス量を検出しておくことで、第１の実施例で行っていたＳ４０２〜Ｓ４１１のステップを省略可能となる場合にＡＦ動作の高速化が可能である。

ＳＷ１前のＡＦ動作の説明
以下、図８のステップＳ８０３で実行されるＳＷ１前のＡＦ動作を、図９を参照して説明する。図９は、本実施例におけるＳＷ１前のＡＦ動作（Ｓ８０３）のフローチャートを示す図であり、同図においても、「Ｓ」はステップの略であり、図４と同様の部分は同じ符号を付して示す。図９の動作に関する制御プログラムは、カメラＭＰＵ１２５によって実行される。

まず、図９において、ステップＳ９０５以外のステップに関しては、第１の実施例の図４と同様の構成であり、同様の動作を行うため、説明は省略する。ただし、注意すべき点は図４のＳ４０４とＳ４１０のステップが、図９では無くなっている点である。この理由は後述する。また、ＳＷ１前なので、画像３および画像４の画像信号を取得するための露光をカメラＵＰＵ１２５の制御で行う。

前述したように、本実施例では、被写体が動いたり、撮影者の手振れしたりすることで第２のＡＦ評価領域内の被写体が揺れ動くことを利用して所定のデフォーカス量だけ異なる複数の画像信号を取得する。ただし、被写体の移動や撮影者の手振れの方向は、図２の光軸方向ＯＡであるとする。ＯＡ以外の方向に被写体移動や撮影者の手振れがある一定生じた場合は、ＡＦ評価範囲内の画像に対してパターンマッチング（正規化相関）処理などを行い第２の焦点検出を行えばよい。

以下において、光軸方向ＯＡに被写体の移動や撮影者の手振れが生じる前の、あるボケ状態の画像を画像３、生じた後の画像を画像４と呼ぶことにする。

Ｓ９０５では、第２のデフォーカス間隔が、デフォーカス間隔閾値より大きいか否かを判定する。ただし、第２のデフォーカス間隔とは、画像３から得られる第１のデフォーカス量と、画像４から得られる第１のデフォーカス量の差分を指すとする。また、デフォーカス間隔閾値とは、第２のデフォーカス間隔に対して判定に用いる閾値を指すとする。Ｓ９０５で第２のデフォーカス間隔を算出するためには、画像３、画像４の露光を終えている必要がある。つまり、Ｓ１０２の露光が１回以下の場合は、Ｓ９０５はＮｏとなりフローはＳ４０２に帰還し露光を行う。

また、画像３、画像４に関して露光が二回以上である場合において、第２のデフォーカス間隔がデフォーカス間隔閾値未満ならば（Ｓ９０５のＮｏ）、フローはＳ４０２に戻り露光を行う。即ち、画像３と画像４のボケ状態の違いが、デフォーカス閾値以上の所定のデフォーカス間隔となるまで、Ｓ９０５、Ｓ４０２、Ｓ４０３を繰り返す。

第２のデフォーカス間隔がデフォーカス間隔閾値より大きい場合（Ｓ９０５のＮｏ）、Ｓ１０６へ進み画像３と画像４を用いて第２の焦点検出とその信頼性判定を行う。

なお、留意すべき点は、画像３と画像４のデフォーカス量が変化することは、図３のＬ１’，Ｌ２’の幅が変化することに他ならないため、（９）式により算出されたボケ評価値Ｃの値も変化する点である。第１の実施例では、フォーカスレンズ位置の間隔は常に所定のデフォーカス間隔で動かしていたが、本実施例は、デフォーカス閾値以上のさまざまな値のデフォーカス間隔によって第２の焦点検出が行われる（Ｓ４０６）。そこで、第２の焦点検出に用いた画像３と画像４のデフォーカス間隔によって、参照するＣテーブルも変化させる必要がある。そこで、Ｓ４０６では複数のＣテーブルをメモリに記憶しておくことが望ましい。

さらに、ＳＷ１前にはできるだけレンズを駆動しないことが望ましいものの、レンズ駆動を行ってもよい。所定のデフォーカス量だけ異なる２つの画像を得る際に、本実施例のようにＡＦ評価領域内で被写体が揺れ動くことを利用する場合と、第１の実施例で説明したようにフォーカスレンズ位置などの撮影パラメータの変更を利用する場合とを、併用しても構わない。

また、第１の実施例では、ＡＦ動作開始時に、既にフォーカスレンズ位置が合焦位置に近かった場合においても、第２の焦点検出のために用いる２枚の画像を撮像するためにフォーカスレンズを駆動して第２の画像を撮像する必要があった。つまり、合焦レンズ位置から離れる駆動を入れなければならないという欠点があった。しかし、本実施例によれば、ＳＷ１前にはできるだけレンズを駆動しないことが望ましいため、レンズを駆動させずに第２の焦点検出を行うことが可能となる。

このように、撮像素子の出力信号から水平又は垂直方向のみのどちらか一方向に抜き出した信号を用いた第１の焦点検出動作において、第１の焦点検出動作のあとに第２の焦点検出動作を行うことにより、ＡＦ後に行うピント補正を不要にすることが可能である。また、ＡＦ後に行うピント補正よりも高精度な焦点検出の実現が可能である。更に、ＳＷ１前の動作を加えることで、ＳＷ２時にＡＦ結果が得られている場合も含まれたため、より高速な焦点検出の実現が可能である。

また、上述した実施の形態の処理は、各機能を具現化したソフトウェアのプログラムコードを記録した記憶媒体をシステム或いは装置に提供してもよい。そして、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによって、前述した実施形態の機能を実現することができる。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フロッピィ（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスクなどを用いることができる。或いは、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリーカード、ＲＯＭなどを用いることもできる。

また、コンピュータが読み出したプログラムコードを実行することにより、前述した各実施の形態の機能が実現されるだけではない。そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部又は全部を行い、その処理によって前述した各実施例の機能が実現される場合も含まれている。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリーに書きこまれてもよい。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって前述した各実施の形態の機能が実現される場合も含むものである。

また、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。

Claims (15)

1. フォーカスレンズを含む撮影光学系で形成された被写体像を撮像手段で撮像して得られた画像信号を取得する取得手段と、
   前記画像信号を用いて、前記撮像手段の撮像面の第１の方向での前記被写体像のピント状態を検出して前記フォーカスレンズの第１の駆動情報を生成する第１の焦点検出手段と、
   デフォーカス量が異なるボケ状態の前記被写体像に対応する複数の画像信号を用いて、前記第１の方向を含む複数の方向について、前記フォーカスレンズの位置と相関関係を有するボケ状態の評価値を生成し、前記評価値に基づいて前記フォーカスレンズの第２の駆動情報を生成する第２の焦点検出手段と、
   前記評価値に従って、前記第１の駆動情報および前記第２の駆動情報のいずれかを用いて前記フォーカスレンズの駆動を制御する焦点調節手段と、
   を備えることを特徴とする焦点調節装置。
2. 前記焦点調節手段は、前記評価値が所定の範囲にある場合は、前記第２の駆動情報を用いて前記フォーカスレンズの駆動を制御し、前記所定の範囲にない場合は、前記第１の駆動情報を用いて前記フォーカスレンズの駆動を制御することを特徴とする請求項１に記載の焦点調節装置。
3. 前記焦点調節手段は、前記評価値が所定の範囲にあるかどうかを、前記第２の焦点検出手段が用いる画像信号の前記複数の方向におけるパワーに基づいて判定し、前記パワーは、前記複数の方向についての画像信号の二乗の総和であり、前記焦点調節手段は、少なくとも前記パワーが所定の閾値以上であるときに、前記評価値が所定の範囲にあると判定することを特徴とする請求項２に記載の焦点調節装置。
4. 前記第２の焦点検出手段は、前記デフォーカス量が異なるボケ状態の前記被写体像に対応する前記画像信号のパワーに基づいて前記評価値を生成することを特徴とする請求項３に記載の焦点調節装置。
5. 前記第２の焦点検出手段は、前記デフォーカス量が異なるボケ状態の前記被写体像に対応する複数の画像信号それぞれのデフォーカス量の差分が所定の閾値よりも大きいかどうかを判定する判定手段を有し、前記判定の結果に従って前記評価値の生成および第２の駆動情報の生成を制御することを特徴とする請求項１から４のいずれか１項に記載の焦点調節装置。
6. 前記第２の焦点検出手段は、前記評価値を、それと相関関係にある前記フォーカスレンズの位置に対応するデフォーカス量に変換する変換手段を有し、前記変換手段で変換されたデフォーカス量に基づいて前記第２の駆動情報を生成することを特徴とする請求項１から５のいずれか１項に記載の焦点調節装置。
7. 前記第１の焦点検出手段および第２の焦点検出手段のそれぞれが用いる画像信号を抽出する評価範囲を設定する設定手段を備え、前記設定手段は、少なくとも一つの前記評価範囲を設定することを特徴とする請求項１から６のいずれか１項に記載の焦点調節装置。
8. 焦点調節装置の制御方法において、
   フォーカスレンズを含む撮影光学系で形成された被写体像を撮像手段で撮像して得られた画像信号を取得する取得工程と、
   前記画像信号を用いて、前記撮像手段の撮像面の第１の方向でのピント状態を検出して前記フォーカスレンズの第１の駆動情報を生成する第１の焦点検出工程と、
   デフォーカス量が異なるボケ状態の前記被写体像に対応する複数の画像信号を用いて、前記第１の方向を含む複数の方向について、前記フォーカスレンズの位置と相関関係を有するボケ状態の評価値を生成し、前記評価値に基づいて前記フォーカスレンズの第２の駆動情報を生成する第２の焦点検出工程と、
   前記評価値に従って、前記第１の駆動情報および前記第２の駆動情報のいずれかを用いて前記フォーカスレンズの駆動を制御する焦点調節工程と、
   を備えることを特徴とする制御方法。
9. 請求項８に記載の制御方法をコンピュータに実行させるためのプログラム。
10. 請求項８に記載の制御方法をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
11. 光軸方向に進退可能なフォーカスレンズを含む撮影光学系により形成された被写体像を撮像して画像信号を生成する撮像手段と、
    前記撮影光学系で形成された異なるボケ状態の被写体像を前記撮像手段で撮像して得られた画像信号を取得する取得手段と、
    前記画像信号を用いて、前記撮像手段の撮像面の第１の方向でのピント状態を検出して前記フォーカスレンズの第１の駆動情報を生成する第１の焦点検出手段と、
    デフォーカス量が異なるボケ状態の前記被写体像に対応する複数の画像信号を用いて、前記第１の方向を含む複数の方向について、前記フォーカスレンズの位置と相関関係を有するボケ状態の評価値を生成し、前記評価値に基づいて前記フォーカスレンズの第２の駆動情報を生成する第２の焦点検出手段と、
    前記評価値に従って、前記第１の駆動情報および前記第２の駆動情報のいずれかを用いて、前記フォーカスレンズを駆動する駆動手段を制御する焦点調節手段と、
    を備えることを特徴とする撮像装置。
12. 前記撮影光学系の撮影パラメータを変更する変更手段を備え、前記デフォーカス量が異なるボケ状態の前記被写体像に対応する複数の画像信号は、前記変更手段で前記撮影パラメータが変更された撮影光学系で形成された被写体像を前記撮像手段で撮像して得られた画像信号であり、前記撮影パラメータは、少なくとも前記フォーカスレンズの位置、絞り量、焦点距離を含むことを特徴とする請求項１１に記載の撮像装置。
13. 前記撮像手段に前記被写体像の撮像を行わせるための露光を指示する指示手段を有し、前記焦点調節手段は、前記指示手段により前記露光が指示されたかどうかを判定し、前記判定の結果に従って、前記駆動手段の制御を行うことを特徴とする請求項１１又は１２に記載の撮像装置。
14. 前記指示手段により前記露光が指示されていないと判定した場合の前記焦点調節手段による前記駆動手段の制御は、前記撮像手段に前記被写体像の撮像を行わせる制御を含む、前記第２の駆動情報を用いた前記駆動手段の制御であり、前記指示手段により前記露光が指示されていると判定した場合の前記焦点調節手段による前記駆動手段の制御は、前記評価値に従って前記第１の駆動情報と前記第２の駆動情報のいずれかを用いる前記駆動手段の制御を含むことを特徴とする請求項１３に記載の撮像装置。
15. 前記撮像手段は、前記被写体像の画像を生成するための撮影用画素と、複数の光電変換手段が前記撮影用画素に対応する画素を構成する焦点検出用画素を含み、前記第１の焦点検出手段は、前記焦点検出用画素からの画像信号を用いて前記ピント状態を検出することを特徴とする請求項１１から１３のいずれか１項に記載の撮像装置。

Images