JP5207797B2

JP5207797B2 - 撮像装置およびその制御方法

Info

Publication number: JP5207797B2
Application number: JP2008088815A
Authority: JP
Inventors: 和男中川
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2008-03-28
Filing date: 2008-03-28
Publication date: 2013-06-12
Anticipated expiration: 2028-03-28
Also published as: JP2009244429A

Description

本発明は、撮像装置に関する。

デジタルカメラのライブビューのピント合わせとしては、コントラスト検出方式を使用したオートフォーカス（以下、「コントラストＡＦ」又は「ＴＶ−ＡＦ」と略す）が主流である。一方、デジタル一眼レフカメラには連写性能や動体追従性能が求められるため、合焦速度の速い位相差検出方式を使用したＡＦ（以下、「位相差ＡＦ」と略す）が適しており、ライブビュー時のピント合わせにＴＶ−ＡＦを使用すると合焦速度が遅くなる。

そこで、特許文献１は、ライブビュー時に位相差ＡＦとＴＶ−ＡＦの２つのＡＦ方式を利用可能にしたハイブリッドＡＦを提案している。特許文献１は、撮影光路を複数の光路に分割するためハーフミラーで構成された主ミラーと、分割後の光路の一方を合焦位置判断素子に他方を撮像素子に導くための光路に分割するハーフミラーで構成されたサブミラーとを備えている。主ミラーとサブミラーは撮影待機時に撮影光路内に移動して焦点検出素子と撮像素子による合焦位置検出を行い、撮影時に撮影光路外に移動して撮像素子による合焦位置検出を行う。

その他の特許文献としては特許文献２がある。
特開２００６−２５１０６５号公報特開２００５−２８３７５０号公報

しかし、特許文献１は、撮像領域内で位相差ＡＦ可能な場所が像検出センサの配置場所に限られてしまうし、撮影する際には主ミラーとサブミラーの移動により、レリーズタイムラグが生じるおそれがある。

本発明は、ライブビュー時に撮像領域内の何処ででもＡＦが可能で合焦精度と合焦速度に優れた撮像装置を提供することを例示的な目的とする。

本発明の一側面としての撮像装置は、フォーカスレンズを含む撮影レンズの射出瞳の全域を通る光を各々が受光して撮像信号を生成する複数の撮影用画素と、各々が前記撮影レンズの前記射出瞳の一部の領域を通る光を受光する複数の焦点検出用画素と、を有する撮像素子と、前記焦点検出用画素の出力から得られた一対の像信号に基づいて焦点ずれ量を検出する第１の検出手段と、前記撮像信号に基づいてコントラスト検出方式の焦点検出を行う第２の検出手段と、焦点検出の対象である焦点検出領域を前記撮像素子の撮像領域中に設定する設定部と、を有し、前記第１の検出手段は、前記設定部が設定した前記焦点検出領域に対応する前記焦点検出用画素の出力を用いて焦点ずれ量を算出するとともに、前記焦点検出領域外を含む領域の前記焦点検出用画素の出力信号をメモリに記録し、検出された焦点ずれ量に基づく第１の合焦位置を基準として、前記第２の検出手段は、前記焦点検出領域に対応する前記撮影用画素からの撮像信号に基づいてコントラスト検出方式の焦点検出を行い、第２の合焦位置を検出することを特徴とする。

本発明によれば、ライブビュー時に撮像領域内の何処ででもＡＦが可能で合焦精度と合焦速度に優れた撮像装置を提供することができる。

図１及び２は本実施例のデジタル一眼レフカメラの断面図である。

１はカメラ本体、２は後述の撮影レンズ３をカメラ本体１に着脱可能とするためのマウントであり、各種信号を通信したり、駆動電源を供給したりするためのインターフェース部を有する。３は交換可能な撮影レンズであり、内部にフォーカスレンズ群やズームレンズ群、不図示の絞り装置を有している。図１及び図２は各レンズ群を便宜上１枚のレンズで図示しており、例えば、フォーカスレンズ群をフォーカスレンズ３ａとして示している。しかし、実際には多数のレンズにより複雑なレンズ群の組み合わせで構成されている。なお、図１及び図２はフォーカスレンズ３ａを撮影レンズ３の前側のレンズに限定する趣旨ではない。

４はハーフミラーで構成された主ミラーであり、カメラの動作状態に応じて回動可能となっている。主ミラー４は、被写体をファインダーで観察する時は撮影光路へ斜設され、撮影レンズ３からの光束を折り曲げて後述のファインダー光学系へ導く（図１）。主ミラー４は、撮影時やライブビュー時は撮影光路から退避して、撮影レンズ３からの光束を後述の撮像素子６へ導く（図２）。５は撮影レンズ３からの光束を後述の撮像素子６に入射制御するためのシャッターで、通常は閉じた状態（図１）で、撮影時やライブビュー時に開いた状態（図２）となる。

６はＣＭＯＳイメージセンサとその周辺回路で構成された撮像素子である。撮像素子６は、全画素独立出力が可能なように構成されている。また一部の画素が焦点検出用画素となっており、撮像面で位相差検出方式の焦点検出（位相差ＡＦ）が可能となっている。より具体的には、撮像素子６は、被写体の像を形成する撮影レンズ３の射出瞳（後述するＥＰ）の全域を通る光を各々が受光して被写体の像を生成する複数の撮影用画素を有する。また、撮像素子６は、各々が撮影レンズ３の射出瞳ＥＰの一部の領域（後述するＥＰ_ＨＡ及びＥＰ_ＨＢ）を通る光を受光する複数の焦点検出用画素を更に有する。複数の焦点検出用画素は全体として撮影レンズ３の射出瞳の全域を通る光を受光することができる。

７は主ミラー４とともに回動するサブミラーであり、主ミラー４が撮影光路へ斜設されている時に主ミラー４を透過した光束をＡＦセンサ８に向かって折り曲げて後述のＡＦセンサ８へ導く（図１）。サブミラー７は、撮影時やライブビュー時は主ミラー４と共に回動して撮影光路から退避する（図２）。サブミラー７はハーフミラーではなく撮像素子６を遮光する。８はＡＦセンサであり、２次結像レンズや複数のＣＣＤ又はＣＭＯＳからなるエリアセンサ等から構成されており、位相差ＡＦが可能となっている。

９は撮影レンズ３の一次結像面に配置されたピント板であり、入射面にはフレネルレンズ（集光レンズ）が設けられ、射出面には被写体像（ファインダー像）が結像している。１０はファインダー光路変更用のペンタプリズムであり、ピント板９の射出面に結像した被写体像を正立正像に補正する。１１、１２は接眼レンズである。ここで、ピント板９、ペンタプリズム１０、接眼レンズ１１、１２により構成されている光学系をファインダー光学系と称する。

１３は自動露光（ＡＥ）センサであり、多分割された撮像領域内の各領域に対応したフォトダイオードから構成されており、ピント板９の射出面に結像した被写体像の輝度を測定する。１４は撮影した画像や各種の撮影情報を表示する液晶モニタ（表示部）である。液晶モニタ１４は、ライブビューモード時に撮像素子６が撮像した被写体の像（被写体像）を表示すると共に後述するＡＦ枠設定部としてのマルチコントローラー３３が設定可能なＡＦ枠とマルチコントローラー３３が設定したＡＦ枠を表示する。

図３はデジタル一眼レフカメラの制御系のブロック図である。

２０はカメラ部の制御とカメラ全体の制御を行うマイクロコンピュータ（中央処理装置；以下、「ＭＰＵ」と称す）である。ＭＰＵ（制御部）２０は、後述する枠設定部であるマルチコントローラー３３が設定したＡＦ枠の焦点検出用画素の出力信号を演算することによってＡＦ枠に対して位相差ＡＦを行って焦点検出枠の焦点ずれ量を算出する。また、ＭＰＵ２０は、焦点ずれ量とフォーカスレンズ３ａの現在位置から求まる撮影レンズ３の合焦位置（後述するＰｓ）を基準としてコントラスト検出方式の焦点検出（コントラストＡＦ又はＴＶ−ＡＦ）をマルチコントローラー３３が設定したＡＦ枠に対して行う。フォーカスレンズ３ａの現在位置は後述する位置検出部３５が検出する。

２１は画像データの各種制御を行うメモリコントローラ、２２は各種制御を行うための設定、調整データ等を格納しているＥＥＰＲＯＭである。２３は撮影レンズ３内にあるレンズ制御回路であり、マウント２を介してＭＰＵ２０と接続されており、後述の各情報に基づいてフォーカスレンズ３ａの焦点調節（合焦駆動）や絞り駆動を行う。

２４は焦点検出回路であり、ＡＦセンサ８のエリアセンサの蓄積制御と読み出し制御とを行って、各焦点検出点の画素情報をＭＰＵ２０に出力する。ＭＰＵ２０は各焦点検出点の画素情報を周知の位相差ＡＦを行い、検出した焦点検出情報をレンズ制御回路２３へ送出してフォーカスレンズ３ａの焦点調節を行う。この焦点検出から焦点調節までの一連の動作をＡＦ動作と称する。

２５は測光回路であり、ＡＥセンサ１３の各領域からの輝度信号をＭＰＵ２０に出力する。ＭＰＵ２０は、輝度信号をＡ／Ｄ変換して被写体の測光情報とし、この測光情報を用いて撮影露出を演算し設定する。この測光情報を得てから撮影露出の設定までの一連の動作をＡＥ動作と称する。２６はモータ駆動回路であり、主ミラー４を駆動する不図示のモータやシャッター５のチャージを行う不図示のモータを制御する。２７はシャッター駆動回路であり、シャッター５を開閉するための不図示のコイルへの電力供給制御を行う。２８は電源２９の電圧を各回路に必要な電圧に変換するＤＣ／ＤＣコンバータである。

３０はレリーズボタンであり、ＳＷ１とＳＷ２の信号をＭＰＵ２０へ出力する。ＳＷ１は、第１ストローク（半押し）操作でＯＮし、測光（ＡＥ）、ＡＦ動作を開始させるためのスイッチである。ＳＷ２は、レリーズボタンの第２ストローク（全押し）操作でＯＮし、露光動作を開始させるためのスイッチである。３１はモードボタンであり、操作したまま後述の電子ダイヤル３２を操作すると、そのカウントに応じて撮影モードが変更され、操作を止めると決定される。３２は電子ダイヤルであり、ダイヤルの回転クリックに応じたＯＮ信号がＭＰＵ２０内の不図示のアップダウンカウンタに出力され、その数がカウントされる。このカウントに応じて各種の数値やデータ等の選択が行われる。

３３はマルチコントローラーであり、後述するライブビュー時に液晶モニタ１４に表示されるＡＦ枠（焦点検出枠）や各種モードを選択、決定するために用いられる入力装置である。マルチコントローラー３３は、上下左右、斜め右上、斜め右下、斜め左上、斜め左下の８方向の入力と、押し操作による入力を行うことができる。マルチコントローラー３３は、ライブビューモードを設定するモード設定部として機能する。また、マルチコントローラー３３は、焦点検出の対象であるＡＦ枠を撮像素子６の撮像領域の任意の位置に設定する枠設定部としても機能する。３４は電源ボタンであり、操作するとカメラの電源がＯＮ／ＯＦＦされる。

３５はフォーカスレンズ３ａの現在位置を検出する位置検出部である。３６はフォーカスレンズ３ａを光軸方向に駆動するレンズドライバである。レンズドライ３６によるフォーカスレンズ３ａの駆動はレンズ制御回路２３によって制御される。

４０は撮像素子６から出力される画像信号をサンプルホールド及び自動ゲイン調整するＣＤＳ（相関２重サンプリング）／ＡＧＣ（自動ゲイン調整）回路である。４１はＣＤＳ／ＡＧＣ回路４０のアナログ出力をデジタル信号に変換するＡ／Ｄ変換器である。４２はＴＧ（タイミング発生）回路であり、撮像素子６に駆動信号を、ＣＤＳ／ＡＧＣ回路４０にサンプルホールド信号を、Ａ／Ｄ変換器４１にサンプルクロック信号を供給する。ここでメモリコントローラ２１は、撮像素子６から出力される画像信号をＣＤＳ／ＡＧＣ回路４０、Ａ／Ｄ変換器４１を経て受けて、ＴＶ−ＡＦにより被写体像の焦点検出を行うことが可能である。

４３はＡ／Ｄ変換器４１でデジタル変換された画像等を一時的に記録するためのＳＤＲＡＭ（メモリ）である。ＳＤＲＡＭ４３は、撮像素子６の撮像領域の全域の焦点検出用画素の出力信号を記録することができる。あるいは、ＳＤＲＡＭ４３は、撮像素子６の撮像領域の全域に対して位相差ＡＦを行って焦点ずれ量を算出して記録する。

４４は画像をＹ／Ｃ（輝度信号／色差信号）分離、ホワイトバランス補正、γ補正等を行う画像処理回路である。４５は画像をＪＰＥＧ等の形式に従って圧縮したり、圧縮された画像の伸張を行う画像圧縮／伸張回路である。ここでメモリコントローラ２１は、撮像素子６から出力される画像信号を画像処理回路４４で画像処理することにより、被写体の測光情報を得ることが可能である。４６はＳＤＲＡＭ４３や後述するメディア４８に記録された画像を液晶モニタ１４に表示するために、画像をアナログ信号に変換するＤ／Ａ変換器である。４７は画像を記録保存するためのメディア４８とのＩ／Ｆ（インターフェース）である。

続いて、撮像素子６による撮像面位相差ＡＦについて説明する。本実施形態においては、画素ピッチが８μｍ、有効画素数が縦３０００行×横４５００列＝１３５０万画素、撮像画面サイズが横３６ｍｍ×縦２４ｍｍの撮像素子を一例として説明を行なう。またこの撮像素子６は、受光画素上にベイヤー配列の原色カラーモザイクフィルタがオンチップで形成された、２次元単板カラーセンサとなっている。

図４〜図６は、撮像用画素と焦点検出用画素の構造を説明する図である。本実施形態は、２行×２列の４画素のうち、対角２画素にＧ（緑色）の分光感度を有する画素を配置し、他の２画素にＲ（赤色）とＢ（青色）の分光感度を有する画素を各１個配置した、ベイヤー配列を採用している。そして、このベイヤー配列の間に、後述する構造の焦点検出用画素が所定の規則にて分散配置される。

図４に撮像用画素の配置と構造を示す。図４（ａ）は、２行×２列の撮像用画素の平面図である。周知のように、ベイヤー配列では対角方向にＧ画素が、他の２画素にＲとＢの画素が配置される。そして２行×２列の構造が繰り返し配置される。図４（ａ）におけるＡ−Ａ断面図を図４（ｂ）に示す。ＭＬは各画素の最前面に配置されたオンチップマイクロレンズ、ＣＦ_ＲはＲ（赤色）のカラーフィルタ、ＣＦ_ＧはＧ（緑色）のカラーフィルタである。ＰＤ（ＰｈｏｔｏＤｉｏｄｅ）はＣＭＯＳイメージセンサの光電変換素子を模式的に示したものである。ＣＬ（ＣｏｎｔａｃｔＬａｙｅｒ）は、ＣＭＯＳイメージセンサ内の各種信号を伝達する信号線を形成するための配線層である。ＴＬ（ＴａｋｉｎｇＬｅｎｓ）は撮影レンズ３の撮影光学系を模式的に示したものである。

ここで、撮像用画素のオンチップマイクロレンズＭＬと光電変換素子ＰＤは、撮影光学系ＴＬを通過した光束を可能な限り有効に取り込むように構成されている。換言すると、撮影光学系ＴＬの射出瞳ＥＰ（ＥｘｉｔＰｕｐｉｌ）と光電変換素子ＰＤは、マイクロレンズＭＬにより共役関係にあり、かつ光電変換素子の有効面積は大面積に設計される。また、図４（ｂ）ではＲ画素の入射光束について説明したが、Ｇ画素及びＢ（青色）画素も同一の構造となっている。従って、撮像用のＲＧＢ各画素に対応した射出瞳ＥＰは大径となり、被写体からの光束（光量子）を効率よく取り込んで画像信号のＳ／Ｎを向上させている。

図５は、撮影光学系の水平方向（左右方向又は横方向）に瞳分割を行なうための焦点検出用画素の配置と構造を示す。ここで水平方向とは、撮影光学系の光軸と撮像領域の長辺とが地面に平行となるように撮像装置を構えたとき、この光軸に直交し、かつ水平方向に伸びる直線に沿った方向をいう。図５（ａ）は、焦点検出用画素を含む２行×２列の画素の平面図である。記録又は観賞のための画像信号を得る場合、Ｇ画素で輝度情報の主成分を取得する。そして人間の画像認識特性は輝度情報に敏感であるため、Ｇ画素が欠損すると画質劣化が認知されやすい。一方でＲ画素又はＢ画素は、色情報（色差情報）を取得する画素であるが、人間の視覚特性は色情報には鈍感であるため、色情報を取得する画素は多少の欠損が生じても画質劣化は認識され難い。そこで本実施形態は、２行×２列の画素のうち、Ｇ画素は撮像用画素として残し、Ｒ画素とＢ画素を焦点検出用画素に置き換えている。この焦点検出用画素を図５（ａ）においてＳ_ＨＡ及びＳ_ＨＢと示す。

図５（ａ）におけるＡ−Ａ断面図を図５（ｂ）に示す。マイクロレンズＭＬと光電変換素子ＰＤは図４（ｂ）に示した撮像用画素と同一構造である。本実施形態においては、焦点検出用画素の信号は画像生成には用いないため、色分離用カラーフィルタの代わりに透明膜ＣＦ_Ｗ（白色）が配置される。また撮像素子６で瞳分割を行なうため、配線層ＣＬの開口部はマイクロレンズＭＬの中心線に対して一方向に偏倚している。具体的には、画素Ｓ_ＨＡ及び開口部ＯＰ_ＨＡは右側に偏倚して撮影光学系ＴＬの左側の射出瞳ＥＰ_ＨＡを通過した光束を受光する。画素Ｓ_ＨＢの開口部ＯＰ_ＨＢは左側に偏倚して撮影光学系ＴＬの右側の射出瞳ＥＰ_ＨＢを通過した光束を受光する。画素Ｓ_ＨＡを水平方向に規則的に配列し、これらの画素群で取得した被写体像をＡ像とする。また画素Ｓ_ＨＢも水平方向に規則的に配列し、これらの画素群で取得した被写体像をＢ像とする。すると、Ａ像とＢ像の相対位置を検出することで被写体像のピントずれ量（デフォーカス量）が検出できる。なお、画素Ｓ_ＨＡ及びＳ_ＨＢでは、撮像領域の横方向に輝度分布を有した被写体、例えば縦線に対しては焦点検出可能だが、縦方向に輝度分布を有する横線は焦点検出不能である。そこで本実施形態では、後者についても焦点状態を検出できるよう、撮影光学系の垂直方向（縦方向）にも瞳分割を行なう画素も備えるよう構成されている。

図６は、撮影光学系の垂直方向（上下方向又は縦方向）に瞳分割を行なうための焦点検出用画素の配置と構造を示す。ここで垂直方向とは、撮影光学系の光軸と撮像領域の長辺とが地面に平行となるように撮像装置を構えたとき、この光軸に直交し、鉛直方向に伸びる直線に沿った方向をいう。図６（ａ）は、焦点検出用画素を含む２行×２列の画素の平面図であり、図５（ａ）と同様に、Ｇ画素は撮像用画素として残し、Ｒ画素とＢ画素を焦点検出用画素としている。この焦点検出用画素を図６（ａ）においてＳ_ＶＣ及びＳ_ＶＤと示す。

図６（ａ）のＡ−Ａ断面図を図６（ｂ）に示す。図５（ｂ）の画素が横方向に瞳分離する構造であるのに対して、図６（ｂ）の画素は瞳分離方向が縦方向になっているが、その他の画素の構造は同様である。画素Ｓ_ＶＣの開口部ＯＰ_ＶＣは下側に偏倚して撮影光学系ＴＬの上側の射出瞳ＥＰ_ＶＣを通過した光束を受光する。同様に、画素Ｓ_ＶＤの開口部ＯＰ_ＶＤは上側に偏倚して撮影光学系ＴＬの下側の射出瞳ＥＰ_ＶＤを通過した光束を受光する。画素Ｓ_ＶＣを垂直方向に規則的に配列し、これらの画素群で取得した被写体像をＣ像とする。また画素Ｓ_ＶＤも垂直方向に規則的に配列し、これらの画素群で取得した被写体像をＤ像とする。するとＣ像とＤ像の相対位置を検出することで、垂直方向に輝度分布を有する被写体像のピントずれ量（デフォーカス量）を検出することができる。

図７〜図９は、図４〜図６に示した撮像用画素及び焦点検出用画素の配置規則を説明する図である。図７は撮像用画素の間に焦点検出用画素を離散的に配置する場合の最小単位の配置規則を説明するための図である。

図７において、１０行×１０列＝１００画素の正方形領域を１つのブロックと定義する。左上のブロックＢＬＫ_Ｈ（１，１）において、一番左下のＲ画素とＢ画素を、水平方向に瞳分割を行なう１組の焦点検出用画素Ｓ_ＨＡ及びＳ_ＨＢで置き換える。その右隣りのブロックＢＬＫ_Ｖ（１，２）においては、同じく一番左下のＲ画素とＢ画素を、垂直方向に瞳分割を行なう１組の焦点検出用画素Ｓ_ＶＣ及びＳ_ＶＤで置き換える。また最初のブロックＢＬＫ_Ｈ（１，１）の下に隣接したブロックＢＬＫ_Ｖ（２，１）の画素配列は、ブロックＢＬＫ_Ｖ（１、２）と同一とする。そしてその右隣りのブロックＢＬＫ_Ｈ（２，２）の画素配列は、先頭のブロックＢＬＫ_Ｈ（１，１）と同一とする。この配置規則を一般化すると、ブロックＢＬＫ（ｉ，ｊ）において、ｉ＋ｊが偶数であれば水平瞳分割用の焦点検出用画素を配置し、ｉ＋ｊが奇数であれば垂直瞳分割用の焦点検出用画素を配置することになる。そして図７の２×２＝４ブロック、即ち、２０行×２０列＝４００画素の領域をブロックの上位の配列単位としてクラスタと定義する。

図８はクラスタを単位とした配置規則を説明するための図である。図８において、２０行×２０列＝４００画素で構成された一番左上のクラスタをＣＳＴ（ｕ，ｗ）＝ＣＳＴ（１，１）とする。クラスタＣＳＴ（１，１）においては、各ブロックの一番左下のＲ画素とＢ画素を焦点検出用画素Ｓ_ＨＡ及びＳ_ＨＢ又はＳ_ＶＣ及びＳ_ＶＤで置き換える。その右隣りのクラスタＣＳＴ（１，２）においては、ブロック内における焦点検出用画素の配置を、クラスタＣＳＴ（１，１）に対して上方向に２画素分シフトした位置に配置する。また最初のクラスタＣＳＴ（１，１）の下に隣接したクラスタＣＳＴ（２，１）においては、ブロック内における焦点検出用画素の配置を、クラスタＣＳＴ（１，１）に対して右方向に２画素分シフトした位置に配置する。以上の規則を適用すると図８に示す配置が得られる。

この配置規則を一般化すると以下のようになる。なお焦点検出用画素の座標は、図５又は図６で示したＧ画素を含む４画素を一つの単位（ペア）とし、そのうちの左上の画素の座標で規定する。また各ブロック内の座標は左上を（１、１）とし、下方向と右方向を正とする。クラスタＣＳＴ（ｕ，ｗ）において、各ブロック内の焦点検出用画素ペアの水平座標は２×ｕ−１となり、垂直座標は１１−２×ｗとなる。そして、図８の５×５＝２５クラスタ、即ち１００行×１００列＝１万画素の領域を、クラスタの上位の配列単位として、フィールドと定義する。

図９はフィールドを単位とした配置規則を説明するための図である。図９において、１００行×１００列＝１万画素で構成された一番左上のフィールドをＦＬＤ（ｑ，ｒ）＝ＦＬＤ（１，１）とする。そして本実施形態では、すべてのフィールドＦＬＤ（ｑ，ｒ）は先頭フィールドＦＬＤ（１，１）と同様の配列となっている。そこでフィールドＦＬＤ（ｑ，ｒ）を水平方向に４５個、垂直方向に３０個配列すると、３０００行×４５００列＝１３５０万画素の撮像領域は１３５０個のフィールドＦＬＤ（ｑ，ｒ）で構成される。そして撮像領域全面に亘って焦点検出用画素を均一に分布させることができる。

次に図１０〜図１３を用いて、焦点検出時の画素のグループと信号加算方法について説明する。

図１０は撮影光学系によって形成された被写体像の横ずれ方向の焦点検出を行なう場合の画素グループ化方法を説明する図である。横ずれ方向の焦点検出とは、図５で説明した、撮影光学系の射出瞳を横方向（水平方向又は左右方向）に分割するための焦点検出用画素を用いて、位相差式焦点検出を行なうことを指す。

図１０に示す画素配列は図８で説明したものであるが、焦点検出の際には、横方向に１ブロック、縦方向に１０ブロックの合計１０ブロックを１つのグループとし、これをセクションと定義する。そして横方向に配列されたセクションＳＣＴ_Ｈ（ｋ）を複数連結して１つの焦点検出領域を構成する。本実施形態では一例として１つの焦点検出領域は、セクションＳＣＴ_Ｈ（１）からセクションＳＣＴ_Ｈ（１０）までの１０個のセクションを連結して構成している。即ち、１００行×１００列＝１万画素の領域が１つの焦点検出領域となる。これは１フィールドと同一領域であり、図９で説明したように撮像領域で１３５０個の固定焦点検出領域となるように設定している。もちろん設定方法は様々で、被写体に応じて撮像領域の任意位置のセクションＳＣＴ_Ｈ（ｋ）を複数連結することで撮像領域の任意位置に可変焦点検出領域を設定することも可能である。

ここで１つのセクションには、横方向における一方の瞳分割を行なう画素Ｓ_ＨＡが５個、他方の瞳分割を行なう画素Ｓ_ＨＢも５個含まれている。そこで、本実施形態においては、５個のＳ_ＨＡの出力を加算して１画素の信号とし、位相差演算用の一方の画像信号（Ａ像と称する）の１ＡＦ画素を得る。同様に、５個のＳ_ＨＢの出力を加算して１画素の信号とし、位相差演算用の他方の画像信号（Ｂ像と称する）の１ＡＦ画素を得る。

図１１は一つのセクションにおける被写体像の捕捉能力を説明するための図である。図１１は図１０の左端のセクションＳＣＴ_Ｈ（１）を切り出したものである。そして下端に示された水平線ＰＲＪ_Ｈは、焦点検出用画素Ｓ_ＨＡ及びＳ_ＨＢの瞳分割方向に延伸した第１の射影軸（ＰｒｏｊｅｃｔｉｏｎＬｉｎｅ）、右端に示された垂直線ＰＲＪ_Ｖは、瞳分割方向と直交する方向に延伸した第２の射影軸である。ここで１つのセクション内の画素Ｓ_ＨＡはすべて加算され、Ｓ_ＨＢも加算される。そこで１つのセクションを１つのＡＦ画素と見なした場合、１つのＡＦ画素に含まれる受光部を瞳分割方向の射影軸ＰＲＪ_Ｈに射影すると、画素Ｓ_ＨＡとＳ_ＨＢが交互に緻密に並ぶことがわかる。このときの、瞳分割方向の射影軸ＰＲＪ_Ｈにおける画素Ｓ_ＨＡの配列ピッチをＰ１とすると、Ｐ１＝ＰＨ_Ｈ＝２（単位は画素）となる。ピッチの代わりに空間周波数Ｆ１で表わすと、Ｆ１＝０．５（単位は画素／画素）となる。同様に射影軸ＰＲＪ_Ｈにおける画素Ｓ_ＨＢの配列ピッチもＰ１＝２（単位は画素）、空間周波数表記ではＦ１＝０．５（単位は画素／画素）となる。

一方、１つのＡＦ画素に含まれる受光部を瞳分割方向と直交方向の射影軸ＰＲＪ_Ｖに射影すると、画素Ｓ_ＨＡとＳ_ＨＢはまばらに並ぶことがわかる。このときの、射影軸ＰＲＪ_Ｖにおける画素Ｓ_ＨＡの配列ピッチをＰ２とすると、Ｐ２＝ＰＨ_Ｖ＝２０（単位は画素）となる。ピッチの代わりに空間周波数Ｆ２で表わすと、Ｆ２＝０．０５（単位は画素／画素）となる。同様に射影軸ＰＲＪ_Ｖにおける画素Ｓ_ＨＢの配列ピッチも、Ｐ２＝２０（単位は画素）、空間周波数表記ではＦ２＝０．０５（単位は画素／画素）となる。

即ち、本実施形態におけるＡＦ画素は、グループ化前の分散特性については、瞳分割方向とこれに直交する方向の配置上のピッチが等しい。しかしながら、グループ化する際のグループ形状を長方形とすることで、瞳分割方向のサンプリング誤差を低減している。具体的には、１セクションの瞳分割方向の最大寸法Ｌ１は１０画素、瞳分割と直交する方向の最大寸法Ｌ２は１００画素としている。即ち、セクション寸法をＬ１＜Ｌ２とすることで、瞳分割方向のサンプリング周波数Ｆ１を高周波（密）に、これと直交する方向のサンプリング周波数Ｆ２を低周波（疎）としている。

図１２は撮影光学系によって形成された被写体像の縦ずれ方向の焦点検出を行なう場合の画素グループ化方法を説明する図である。縦ずれ方向の焦点検出とは、図６で説明した、撮影光学系の射出瞳を縦方向（垂直方向又は上下方向）に分割するための焦点検出用画素を用いて、位相差式焦点検出を行なうことをいう。即ち、図１０を９０度回転したものに相当する。

図１２に示す画素配列も図８で説明したものであるが、焦点検出の際には、横方向に１０ブロック、縦方向に１ブロックの合計１０ブロックを１つのグループとし、これをセクションと定義する。そして縦方向に配列されたセクションＳＣＴ_Ｖ（ｋ）を複数連結して１つの焦点検出領域を構成する。本実施形態では一例として１つの焦点検出領域は、セクションＳＣＴ_Ｖ（１）からセクションＳＣＴ_Ｖ（１０）までの１０個のセクションを連結して構成している。即ち、１００行×１００列＝１万画素の領域が１つの焦点検出領域となる。これは１フィールドと同一領域であり、図９で説明したように撮像領域で１３５０個の固定焦点検出領域となるように設定している。もちろん設定方法は様々で、被写体に応じて撮像領域の任意位置のセクションＳＣＴ_Ｖ（ｋ）を複数連結することで撮像領域の任意位置に可変焦点検出領域を設定することも可能である。

ここで１つのセクションには、縦方向における一方の瞳分割を行なう画素Ｓ_ＶＣが５個、他方の瞳分割を行なう画素Ｓ_ＶＤも５個含まれている。そこで本実施形態においては、５個のＳ_ＶＣの出力を加算して１画素の信号とし、位相差演算用の一方の画像信号（Ｃ像と称する）の１ＡＦ画素を得る。同様に、５個のＳ_ＶＤの出力を加算して１画素の信号とし、位相差演算用の他方の画像信号（Ｄ像と称する）の１ＡＦ画素を得る。

図１３は一つのセクションにおける被写体像の捕捉能力を説明するための図であり、図１１を９０度回転したものと等価である。図１３は図１２の上端のセクションＳＣＴ_Ｖ（１）を切り出したものである。そして右端に示された垂直線ＰＲＪ_Ｖは、焦点検出用画素Ｓ_ＶＣ及びＳ_ＶＤの瞳分割方向に延伸した第３の射影軸、下端に示された水平線ＰＲＪ_Ｈは、瞳分割方向と直交する方向に延伸した第４の射影軸である。図１２においても、１つのセクション内の画素Ｓ_ＶＣはすべて加算され、Ｓ_ＶＤも加算される。そこで１セクションを１ＡＦ画素と見なした場合、１ＡＦ画素に含まれる受光部を瞳分割方向の射影軸ＰＲＪ_Ｖに射影すると、画素Ｓ_ＶＣ及びＳ_ＶＤが交互に緻密に並ぶことがわかる。このときの瞳分割方向の射影軸ＰＲＪ_Ｖにおける画素Ｓ_ＶＣの配列ピッチをＰ１とすると、Ｐ１＝ＰＶ_Ｖ＝２（単位は画素）となる。ピッチの代わりに空間周波数Ｆ１で表わすと、Ｆ１＝０．５（単位は画素／画素）となる。同様に射影軸ＰＲＪ_Ｖにおける画素Ｓ_ＶＤの配列ピッチもＰ１＝２（単位は画素）、空間周波数表記ではＦ１＝０．５（単位は画素／画素）となる。

一方、１つのＡＦ画素に含まれる受光部を瞳分割方向と直交方向の射影軸ＰＲＪ_Ｈに射影すると、画素Ｓ_ＶＣとＳ_ＶＤはまばらに並ぶことがわかる。このときの射影軸ＰＲＪ_Ｈにおける画素Ｓ_ＶＣの配列ピッチをＰ２とすると、Ｐ２＝ＰＶ_Ｈ＝２０（単位は画素）となる。ピッチの代わりに空間周波数Ｆ２で表わすと、Ｆ２＝０．０５（単位は画素／画素）となる。同様に射影軸ＰＲＪ_Ｖにおける画素Ｓ_ＶＤの配列ピッチも、Ｐ２＝２０（単位は画素）、空間周波数表記ではＦ２＝０．０５（単位は画素／画素）となる。

以上のように、図１３におけるＡＦ画素のサンプリング特性は、瞳分割方向を基準に考えると、図１１と同様の特性、即ち、Ｆ１＞Ｆ２となっている。これは、図１３のセクションにおいても、瞳分割方向のセクション寸法Ｌ１とこれと直交する方向の寸法Ｌ２がＬ１＜Ｌ２を満足するからである。これにより、空間周波数の高い被写体に対しても瞳分割方向の輝度情報を正確に検出することができるとともに、被写体輝度が低くても複数画素の加算によって焦点検出信号のＳ／Ｎ比を向上させることができる。

図１４は本実施形態における撮像素子の瞳分割機能を概念的に説明する図である。ＯＢＪは被写体、ＩＭＧは被写体像である。撮像用画素は図４で説明したように、撮影光学系ＴＬの射出瞳全域ＥＰを通過した光束を受光する。一方、焦点検出用画素は図５及び図６で説明したように、瞳分割機能を有している。具体的には、図５の画素Ｓ_ＨＡは撮像面からレンズ後端を見て左側の瞳を通過した光束Ｌ_ＨＡ、即ち、図１４の瞳ＥＰ_ＨＡを通過した光束を受光する。同様に画素Ｓ_ＨＢ、Ｓ_ＶＣ及びＳ_ＶＤはそれぞれ瞳ＥＰ_ＨＢ、ＥＰ_ＶＣ及びＥＰ_ＶＤを通過した光束Ｌ_ＨＢ、Ｌ_ＨＣ、Ｌ_ＨＤをそれぞれ受光する。そして焦点検出用画素は、図９で説明したように撮像素子６の全領域に亘って分布しているため、撮像領域全域で焦点検出も可能となっている。

図１５は、ライブビュー時のＡＦ動作を説明する図で、ライブビュー時に液晶モニタ１４に画像が表示されている状態を示している。撮像面に形成された被写体像には、中央に人物、左下に近景の柵、右上に遠景の山が写っており、それらが画面に表示されている。また画面中央にはＡＦ枠が表示されている。本実施形態では一例として、ＡＦ枠は横方向に６フィールド、縦方向に６フィールドの大きさに設定されている。更にＡＦ枠はマルチコントローラー３３の入力信号に従って、撮像領域内の任意位置に移動可能となっている。本実施形態では一例として、ＡＦ枠の移動は１フィールド単位となっている。もちろん移動量は様々で、１セクション単位や１画素単位でも構わない。

初めに撮像面位相差ＡＦについて説明する。焦点検出用画素は横ずれ検出用の画素ペアＳ_ＨＡ及びＳ_ＨＢと、縦ずれ検出用の画素ペアＳ_ＶＣ及びＳ_ＶＤが、図９に示したように撮像領域全域に亘って均等な密度で配置されている。そして横ずれ検出の際には、位相差演算のためのＡＦ画素信号を図１０及び図１１で示したようにグループ化処理する。また、縦ずれ検出の際には、位相差演算のためのＡＦ画素信号を図１２及び図１３で示したようにグループ化処理する。よって撮像領域の任意位置において、横ずれ検出及び縦ずれ検出のための焦点検出領域を設定可能である。上記の通り、本実施形態では一例として、焦点検出領域はフィールドと同一領域に設定している。

図１５においては画面中央に人物の顔が存在している。そこで公知の顔認識技術によって顔の存在が検出されると、顔領域と検知された部分にＡＦ枠が表示され、ＡＦ枠内の焦点検出が行なわれる。まず横ずれ検知のために焦点検出領域を複数連結したＡＦ枠領域ＡＦＡＲ_Ｈ（１）〜（６）と、縦ずれ検知のために焦点検出領域を複数連結したＡＦ枠領域ＡＦＡＲ_Ｖ（１）〜（６）が設定される。

横ずれ検知のためのＡＦ枠領域ＡＦＡＲ_Ｈ（１）は、ＡＦ枠内の上から１行目の焦点検出領域のフィールドＦＬＤ（１３，２１）からフィールドＦＬＤ（１３，２６）までの６フィールド分を連結している。ＡＦ枠領域ＡＦＡＲ_Ｈ（２）は、ＡＦ枠内の上から２行目の焦点検出領域のフィールドＦＬＤ（１４，２１）からフィールドＦＬＤ（１４，２６）までを連結している。ＡＦ枠領域ＡＦＡＲ_Ｈ（３）は、ＡＦ枠内の上から３行目の焦点検出領域のフィールドＦＬＤ（１５，２１）からフィールドＦＬＤ（１５，２６）までを連結している。ＡＦ枠領域ＡＦＡＲ_Ｈ（４）は、ＡＦ枠内の上から４行目の焦点検出領域のフィールドＦＬＤ（１６，２１）からフィールドＦＬＤ（１６，２６）までを連結している。ＡＦ枠領域ＡＦＡＲ_Ｈ（５）は、ＡＦ枠内の上から５行目の焦点検出領域のフィールドＦＬＤ（１７，２１）からフィールドＦＬＤ（１７，２６）までを連結している。ＡＦ枠領域ＡＦＡＲ_Ｈ（６）は、ＡＦ枠内の上から５行目の焦点検出領域のフィールドＦＬＤ（１８，２１）からフィールドＦＬＤ（１８，２６）までを連結している。

縦ずれ検知のためのＡＦ枠領域ＡＦＡＲ_Ｖ（１）は、ＡＦ枠内の左から１列目の焦点検出領域のフィールドＦＬＤ（１３，２１）からフィールドＦＬＤ（１８，２１）までの６フィールド分を連結している。ＡＦ枠領域ＡＦＡＲ_Ｖ（２）は、ＡＦ枠内の左から２列目の焦点検出領域のフィールドＦＬＤ（１３，２２）からフィールドＦＬＤ（１８，２２）までを連結している。ＡＦ枠領域ＡＦＡＲ_Ｖ（３）は、ＡＦ枠内の左から１列目の焦点検出領域のフィールドＦＬＤ（１３，２３）からフィールドＦＬＤ（１８，２３）までを連結している。ＡＦ枠領域ＡＦＡＲ_Ｖ（４）は、ＡＦ枠内の左から１列目の焦点検出領域のフィールドＦＬＤ（１３，２４）からフィールドＦＬＤ（１８，２４）までを連結している。ＡＦ枠領域ＡＦＡＲ_Ｖ（５）は、ＡＦ枠内の左から５列目の焦点検出領域のフィールドＦＬＤ（１３，２５）からフィールドＦＬＤ（１８，２５）までを連結している。ＡＦ枠領域ＡＦＡＲ_Ｖ（６）は、ＡＦ枠内の左から６列目の焦点検出領域のフィールドＦＬＤ（１３，２６）からフィールドＦＬＤ（１８，２６）までを連結している。

図１５は、横ずれ検知及び縦ずれ検知のためのＡＦ枠領域をＡＦＡＲ_Ｈ（３）とＡＦＡＲ_Ｖ（５）として１領域ずつ示しており、他のそれぞれ５領域は図示を割愛している。ＡＦ枠領域ＡＦＡＲ_Ｈ（３）の各セクション内に含まれる５個の焦点検出用画素Ｓ_ＨＡを加算し、６０セクション（＝１焦点検出領域１０セクション×ＡＦ枠の幅６フィールド）に亘って連結した位相差検出用のＡ像信号がＡＦＳＩＧ_Ｈ（Ａ３）である。同様に、各セクションの５個の焦点検出用画素Ｓ_ＨＢを加算し、これを６０セクションに亘って連結した位相差検出用のＢ像信号がＡＦＳＩＧｈ（Ｂ３）である。Ａ像信号ＡＦＳＩＧ_Ｈ（Ａ３）とＢ像信号ＡＦＳＩＧ_Ｈ（Ｂ３）の相対的な横ずれ量を公知の相関演算によって演算することで、被写体の焦点ずれ量（デフォーカス量）を求める。同様にＡＦ枠領域ＡＦＡＲ_Ｈ（１）〜（６）それぞれで被写体の焦点ずれ量を求める。

ＡＦ枠領域ＡＦＡＲ_Ｖ（５）についても同様である。即ち、各セクション内に含まれる５個の焦点検出用画素Ｓ_ＨＣを加算し、６０セクション（＝１焦点検出領域１０セクション×ＡＦ枠の高さ６フィールド）に亘って連結した位相差検出用のＣ像信号がＡＦＳＩＧ_Ｖ（Ｃ５）である。また、各セクションの５個の焦点検出用画素Ｓ_ＨＤを加算し、これを６０セクションに亘って連結した位相差検出用のＤ像信号がＡＦＳＩＧ_Ｖ（Ｄ５）である。そしてＣ像信号ＡＦＳＩＧ_Ｖ（Ｃ５）とＤ像信号ＡＦＳＩＧ_Ｖ（Ｄ５）の相対的な横ずれ量を公知の相関演算によって演算することで、被写体の焦点ずれ量（デフォーカス量）を求める。同様に、ＡＦ枠領域ＡＦＡＲ_Ｖ（１）〜（６）それぞれで被写体の焦点ずれ量を求める。

そして横ずれ及び縦ずれのＡＦ枠領域で検出した計１２の焦点ずれ量を比較し、信頼性の高い値を採用することで、ＡＦ枠内の焦点ずれ量を求めることができる。ここで信頼性とは、２像の一致度を指し、２像の一致度が良い場合は一般的に焦点検出結果の信頼性が高い。そこで複数の焦点検出領域の焦点検出結果がある場合は、信頼性の高い情報を優先的に使用する。また信頼性ではなく、計１２の焦点ずれ量の平均値としたり、それらの中の最至近値とする等の方法でＡＦ枠内の焦点ずれ量を決めても構わない。

上記説明においては、ＡＦ枠領域の全セクション（６０セクション）を連結した像信号からＡＦ枠領域の焦点ずれ量を求めている。しかし、ＡＦ枠領域を構成する６焦点検出領域の焦点ずれ量をそれぞれ求めて、それらの中の信頼性の高い値や最至近値としたり、平均値としたりするなどの方法でＡＦ枠領域内の焦点ずれ量を求めることもできる。またＡＦ枠領域を設定せずにＡＦ枠内の３６焦点検出領域の焦点ずれ量をそれぞれ求めて、それらの中の信頼性の高い値や最至近値としたり、平均値としたりするなどの方法でＡＦ枠内の焦点ずれ量を求めることもできる。

一方、画面左下の柵部分にＡＦ枠を移動した時は、同様に横ずれ検知及び縦ずれ検知のためにＡＦ枠領域を再設定して被写体の焦点ずれ量を求めることができる。しかし、縦線成分が主体、即ち、横方向に輝度分布を有しているため、横ずれ検知に適した被写体と判断することができる。このため、横ずれ検知のためのＡＦ枠領域ＡＦＡＲ_Ｈ（ｎ）だけを設定して、ＡＦ枠領域ＡＦＡＲ_Ｈ（３）と同様に、Ａ像信号とＢ像信号から横ずれ量を演算して、被写体の焦点ずれ量を求めることもできる。

ここではＡＦ枠領域を設定した前提で焦点ずれ量を求める説明を行った。しかし、ＡＦ枠領域を設定しなくても、それぞれの焦点検出領域においてＡ像信号とＢ像信号から横ずれ量を演算して、複数の焦点検出領域の焦点検出結果から信頼性の高い情報を基にして、被写体の焦点ずれ量を求めることも可能である。即ち、顔認識により主被写体と判断された画面中央の人物の顔部分の焦点ずれ量を求めると同時に、撮像領域内にある他の被写体（ここでは画面左下の柵）の焦点ずれ量も求めることが可能である。

また画面右上の山部分にＡＦ枠を移動した時も、上記同様に横ずれ検知及び縦ずれ検知のためにＡＦ枠領域を設定して被写体の焦点ずれ量を求めることができる。しかし、横線成分が主体、即ち、縦方向に輝度分布を有しているため、縦ずれ検知に適した被写体と判断することができる。このため、縦ずれ検知のためのＡＦ枠領域ＡＦＡＲ_Ｖ（ｎ）だけを設定して、ＡＦ枠領域ＡＦＡＲ_Ｖ（５）と同様に、Ｃ像信号とＤ像信号から横ずれ量を演算して、被写体の焦点ずれ量を求めることもできる。

ここではＡＦ枠領域を設定した前提で焦点ずれ量を求める説明を行なった。しかし、ＡＦ枠領域を設定しなくても、それぞれの焦点検出領域においてＣ像信号とＤ像信号から横ずれ量を演算して、複数の焦点検出領域の焦点検出結果から信頼性の高い情報を基にして、被写体の焦点ずれ量を求めることも可能である。即ち、顔認識により主被写体と判断された画面中央の人物の顔部分の焦点ずれ量を求めると同時に、撮像領域内にある他の被写体（ここでは画面右上の山）の焦点ずれ量も求めることが可能である。

以上のように本実施形態においては、横ずれ及び縦ずれ検出のための焦点検出領域が撮像素子６の全領域に設定されているため、被写体の投影位置や輝度分布の方向性が様々であっても、撮像領域全域で撮像面位相差ＡＦによる焦点検出が可能である。

次に、ＴＶ−ＡＦについて説明する。本来ならば撮像面位相差ＡＦだけでＡＦを行なうのが理想である。しかし実際には、撮像素子６の製造誤差によるマイクロレンズＭＬの偏芯や、撮影レンズ３のＦ値や像高による瞳ケラレなどの問題により、合焦精度がＴＶ−ＡＦよりも劣ってしまう場合がある。そこで本実施形態では、いかなる場合においても合焦精度を高く保つために、ＡＦ枠内の画像に対して撮像面位相差ＡＦで求めた焦点ずれ量を基にしたＴＶ−ＡＦも行なっている。

図１６はＡＦ枠内の画像に対する、撮影レンズ３内のフォーカスレンズ３ａの位置とコントラスト値の関係を示す図である。撮像面位相差ＡＦで求めた被写体の焦点ずれ量とフォーカスレンズ３ａの現在位置から、フォーカスレンズ３ａの合焦位置Ｐ_Ｓを求める。そして本実施形態では一例として、その合焦位置Ｐ_Ｓと、前後Ｆδ位置（Ｐ_Ｓ−Ｆδ、Ｐ_Ｓ＋Ｆδ）の３箇所へフォーカスレンズ３ａを駆動し、それぞれの位置から得た３枚の画像からＴＶ−ＡＦによる合焦位置Ｐ_Ｃを求めることができる。ここでＦは撮影レンズ３の絞り値、δは許容錯乱円を示している。

ＴＶ−ＡＦでは、コントラストのピークが何処にあるか分からないため、フォーカスレンズ３ａを無限位置から至近位置まで駆動し、その間に複数の画像を取得してピーク検出をする必要があり、フォーカスレンズ３ａの駆動量が多く、合焦時間がかかる。しかし本実施形態では、フォーカスレンズ３ａは合焦位置Ｐ_Ｓとその前後への駆動でピーク検出が可能なため、駆動量が少なく合焦時間を短縮できる。

以上のように本実施形態においては、ＡＦ枠内の画像に対して撮像面位相差ＡＦ結果に基づいたＴＶ−ＡＦを行うため、撮像領域内の何処ででもＡＦが可能で、合焦精度が高く合焦時間が短いＡＦが可能となっている。

続いて本実施形態のデジタル一眼レフカメラの動作を、図１７〜図２３の制御フローを用いて説明する。図１７はデジタル一眼レフカメラの基本動作を示すメインフローである。

Ｓ１０１では、ユーザーが電源ボタン３４を操作してカメラの電源をＯＮする。電源がＯＮされるとＭＰＵ２０はカメラ内の各アクチュエータや撮像素子６の動作確認を行う。そしてメモリ内容や実行プログラムの初期化状態を検出すると共に、撮影準備動作を実行する。Ｓ１０２では、各種ボタンを操作してカメラの各種設定を行う。例えば、モードボタン３１を操作して撮影モード選択したり、電子ダイヤル３２を操作してシャッタースピードや絞りの設定を行ったりする。

Ｓ１０３では、マルチコントローラー３３によりライブビューモードが設定されているか否かの判定を行い、ライブビューモードに設定されていればライブビューモードルーチンのＳ１１１へ進み、設定されていなければ通常モードルーチンのＳ１０４へ進む。

まず通常モード（ユーザーがファインダーを覗いて撮影する一眼レフカメラの通常使用モード）の動作ルーチンを説明する。Ｓ１０４では、レリーズボタン３０が半押しされてＳＷ１がＯＮされたか否かの判定を行い、ＯＮされていればＳ１０５へ進み、ＯＮされていなければＯＮされるまで待機する。Ｓ１０５では、ＡＦセンサ８を用いた所定のＡＦ動作を行なう。Ｓ１０６では、ＡＥセンサ１３を用いた所定のＡＥ動作を行なう。Ｓ１０７では、ファインダー内に合焦した焦点検出点が何処かを不図示の表示装置で表示する。Ｓ１０８では、レリーズボタン３０が全押しされてＳＷ２がＯＮされたか否かの判定を行い、ＯＮされていればＳ１０９へ進み、ＯＮされていなければＯＮされるまで待機する。Ｓ１０９では、通常撮影ルーチンを実行する。

図１８は通常撮影ルーチンのフローである。Ｓ１３１では、モータ駆動回路２６により不図示のミラー駆動用モータを制御し、主ミラー４とサブミラー７を撮影光路から退避（ミラーアップ）させる（図２）。Ｓ１３２では、ＡＥ結果により演算された撮影露出に従って、レンズ制御回路２３により撮影レンズ３内の不図示の絞りを駆動する。Ｓ１３３では、シャッター駆動回路２７によりシャッター５を開閉する。Ｓ１３４では、メモリコントローラ２１により撮像素子６で受光された画像を読み込んでＳＤＲＡＭ４３に一時記録する。Ｓ１３５では、メモリコントローラ２１で読み出した画像信号の欠損画素補間を行なう。何故ならば、焦点検出用画素の出力は撮像のためのＲＧＢカラー情報を有しておらず、画像を得る上では欠陥画素に相当するため、周囲の撮像用画素の情報から補間により画像信号を生成する。Ｓ１３６では、画像処理回路４４で画像のホワイトバランス補正、γ補正、エッジ強調等の画像処理を行ない、画像圧縮／伸張回路４５で画像をＪＰＥＧ等の形式に従って圧縮する。Ｓ１３７では、画像処理した撮影画像をメディア４８に記録する。Ｓ１３８では、モータ駆動回路２６により不図示のミラー駆動用モータを制御し、撮影光路から退避している主ミラー４とサブミラー７を、撮影光束をファインダーへと反射し導く観察位置へ駆動（ミラーダウン）する（図１）。Ｓ１３９では、モータ駆動回路２６により不図示のチャージ用モータを通電制御し、シャッター５をチャージする。そして図１７のメインルーチン内のＳ１１０にリターンする。Ｓ１１０では、ユーザーが電源ボタン３４を操作して、カメラの電源がＯＦＦされたか否かを判断し、ＯＦＦされていなければＳ１０２へ進み次の撮影に備え、ＯＦＦされていれば一連のカメラ動作を終了する。

続いてライブビューモード（ユーザーがライブビューを使用して撮影するモード）の動作ルーチンを説明する。Ｓ１１１では、ライブビュー表示ルーチンを実行する。

図１９はライブビュー表示ルーチンのフローである。Ｓ１４１では、モータ駆動回路２６により不図示のミラー駆動用モータを制御し、主ミラー４とサブミラー７を撮影光路から退避（ミラーアップ）させる。Ｓ１４２では、シャッター駆動回路２７によりシャッター５を開放状態にする（図２の状態となる）。Ｓ１４３では、メモリコントローラ２１により撮像素子６で受光された動画像の読み込みを開始する。Ｓ１４４では、読み出した動画像を液晶モニタ１４に表示する。ユーザーはこのライブビュー画像を目視して撮影時の構図決定を行なう。そして図１７のメインルーチン内のＳ１１２にリターンする。

図１７のＳ１１２では、撮像領域内に顔が存在するか認識処理を行う。Ｓ１１３では、ライブビュー画像に重ねてＡＦ枠を灰色で表示する。ここでＳ１１２において、撮像領域内に顔が存在していると認識された場合には、認識された顔領域にＡＦ枠の表示を行なう。撮像領域内に顔が存在していないと認識された場合には、画面中央にＡＦ枠の表示を行なう。本実施形態では図１５の通り、画面中央の人物の顔が顔認識によって検知され、顔領域にＡＦ枠が表示さる。Ｓ１１４では、ＡＦ枠領域設定を行なう。ＡＦ枠領域設定は前述の通り、横ずれ検知のためにＡＦ枠領域ＡＦＡＲ_Ｈ（１）〜（６）と、縦ずれ検知のためにＡＦ枠領域ＡＦＡＲ_Ｖ（１）〜（６）が設定される。Ｓ１１５では、ユーザーによりマルチコントローラー３３が操作されて、ＡＦ枠が移動されたか否かの判定を行い、移動されていればＳ１１４へ進み、移動されていなければＳ１１６へ進む。ここでのＡＦ枠移動は例えば、顔認識がされずＡＦ枠が画面中央に表示されたのに対して、ユーザーが画面中央以外の被写体にピントを合わせたい場合などが考えられる。Ｓ１１６では、レリーズボタン３０が半押しされてＳＷ１がＯＮされたか否かの判定を行い、ＯＮされていればＳ１１７へ進み、ＯＮされていなければ構図が変更された可能性を考慮してＳ１１２へ進む。Ｓ１１８では、撮像面位相差ＡＦルーチンを実行する。

図２０は撮像面位相差ＡＦルーチンのフローである。Ｓ１５１では、メモリコントローラ２１により撮像素子６から各焦点検出領域に含まれる各焦点検出用画素を読み出す。Ｓ１５２では、メモリコントローラ２１により図１０又は図１２で説明したセクション構造に基づき、各セクション内の焦点検出用画素を加算し、その加算結果により各セクションのＡＦ画素信号を得る。Ｓ１５３では、ＡＦ画素信号がＡＦ枠領域設定されている焦点検出領域の信号か否かの判定を行い、ＡＦ枠領域設定されていればＳ１５５へ進み、されていなければＳ１５４へ進む。Ｓ１５４では、ＡＦ枠領域設定されていない各焦点検出領域におけるＡＦ画素信号をＳＤＲＡＭ４３に一時記録する。そして図１７のメインルーチン内のＳ１１８にリターンする。Ｓ１５５では、ＭＰＵ２０によりＡＦ画素信号から相関演算用の２像の信号を生成する。本実施形態においては、図１５に示したＡＦＳＩＧｈ（Ａ３）とＡＦＳＩＧｈ（Ｂ３）、又はＡＦＳＩＧｖ（Ｃ５）とＡＦＳＩＧｖ（Ｄ５）等の６０セクションを連結した対の信号を生成する。Ｓ１５６では、ＭＰＵ２０により得られた２像の相関演算を行ない、２像の相対的な位置ずれ量を演算する。Ｓ１５７では、ＭＰＵ２０により相関演算結果の信頼性を判定する。Ｓ１５８では、ＭＰＵ２０により信頼性の高い検出結果から焦点ずれ量を演算する。ここでＡＦ枠内は１つの焦点ずれ量が決定記憶される。そして図１７のメインルーチン内のＳ１１８にリターンする。

撮像面位相差ＡＦルーチンにおいては、ＡＦ枠領域設定されていない焦点検出領域については、それらの焦点検出領域における焦点ずれ量を演算していない。これは相関演算がＭＰＵ２０で行なう処理の中では比較的時間が掛かるためで、この時点で焦点ずれ量そのものが不必要なＡＦ枠外の焦点検出領域については、相関演算を行なわないことで僅かでもＭＰＵ２０の処理時間を短くするためである。但し、それらの焦点検出領域における焦点ずれ量が必要になった時に直ぐに演算できるように、ＡＦ画素信号の状態で一時記録している。もちろんＭＰＵ２０の処理能力に余裕があったり、後述するコントラストＡＦルーチン時に同時処理するなどして各焦点検出領域における各焦点ずれ量を演算して一時記録しておいても構わない。

図１７のＳ１１８では、コントラストＡＦルーチンを実行する。図２１はコントラストＡＦルーチンのフローである。Ｓ１６１では、ＭＰＵ２０により撮像面位相差ＡＦルーチンで求められたＡＦ枠内の焦点ずれ量と、位置検出部３５が検出した撮影レンズ３内のフォーカスレンズ３ａの現在位置から、フォーカスレンズの合焦位置Ｐ_Ｓを求める。Ｓ１６２では、レンズ制御回路２３とレンズドライバ３６によりフォーカスレンズをＰ_Ｓ−Ｆδの位置まで駆動する。Ｓ１６３では、メモリコントローラ２１により撮像素子６で受光された画像を読み込んでＳＤＲＡＭ４３に一時記録する。Ｓ１６４では、レンズ制御回路２３とレンズドライバ３６によりフォーカスレンズをＰ_Ｓの位置まで駆動する。Ｓ１６５では、メモリコントローラ２１により撮像素子６で受光された画像を読み込んでＳＤＲＡＭ４３に一時記録する。Ｓ１６６では、レンズ制御回路２３とレンズドライバ３６によりフォーカスレンズをＰ_Ｓ＋Ｆδの位置まで駆動する。Ｓ１６７では、メモリコントローラ２１により撮像素子６で受光された画像を読み込んでＳＤＲＡＭ４３に一時記録する。Ｓ１６８では、メモリコントローラ２１によりＳＤＲＡＭ４３に一時記録された３枚の画像からコントラストのピーク検出により合焦位置Ｐ_Ｃを求める。Ｓ１６９では、レンズ制御回路２３とレンズドライバ３６によりフォーカスレンズをＰ_Ｃの位置まで駆動する。そして図１７のメインルーチン内のＳ１１９にリターンする。

図１７のＳ１１９では、ＡＦ枠の色を灰色から緑色に変更してＡＦ枠内が合焦したことをユーザーに知らせる。

Ｓ１２０では、撮影レンズ３の合焦後にＡＦ枠が移動した場合の処理であるＡＦ枠移動処理ルーチンを実行する。図２２はＡＦ枠移動処理ルーチンのフローである。Ｓ１７１では、ユーザーによりマルチコントローラー３３が操作されたか否かの判定を行い、操作されていればＳ１７２へ進み、操作されていなければ図１７のメインルーチン内のＳ１２１にリターンする。Ｓ１７２では、ＡＦ枠の色を緑色から灰色に変更し、合焦表示を消去する。Ｓ１７３では、マルチコントローラー３３の操作方向や操作時間に従って、ＡＦ枠を移動させる。Ｓ１７４では、ＡＦ枠が移動した場所において、ＡＦ枠領域の再設定を行なう。Ｓ１７５では、再設定されたＡＦ枠領域の撮像面位相差ＡＦルーチンを行なう。

図２３はＡＦ枠領域の撮像面位相差ＡＦルーチンのフローである。Ｓ１８１では、再設定されたＡＦ枠領域を構成する各焦点検出領域におけるＡＦ画素信号をＳＤＲＡＭ４３から読み出す。このデータは図２０の撮像面位相差ＡＦルーチンのＳ１５４においてＳＤＲＡＭ４３に一時記録された、各焦点検出領域におけるＡＦ画素信号である。Ｓ１８２では、ＭＰＵ２０により相関演算用の２像の信号を生成する。図１５に示したＡＦＳＩＧｈ（Ａ３）とＡＦＳＩＧｈ（Ｂ３）、又はＡＦＳＩＧｖ（Ｃ５）とＡＦＳＩＧｖ（Ｄ５）等の６０セクションを連結した対の信号を生成する。Ｓ１８３では、ＭＰＵ２０により得られた２像の相関演算を行ない、２像の相対的な位置ずれ量を演算する。Ｓ１８４では、ＭＰＵ２０により相関演算結果の信頼性を判定する。Ｓ１８５では、ＭＰＵ２０により信頼性の高い検出結果から焦点ずれ量を演算する。ここで再設定されたＡＦ枠内の１つの焦点ずれ量が決定記憶される。そして図２２のＡＦ枠移動処理ルーチン内のＳ１７６にリターンする。

ＡＦ枠領域撮像面位相差ＡＦルーチンにおいては、再設定されたＡＦ枠領域を構成する焦点検出領域におけるＡＦ画素信号を読み出して焦点ずれ量を演算している。しかし、例えば、撮像面位相差ＡＦルーチンで各焦点検出領域の焦点ずれ量を演算・記録してもよい。これにより、ＡＦ枠移動時はＡＦ枠領域を構成する６焦点検出領域の各焦点ずれ量を読み出して、それらの中の信頼性の高い値や最至近値としたり、平均値としたりするなどの方法でＡＦ枠領域内の焦点ずれ量を求めることができる。また、ＡＦ枠領域を設定せずに、ＡＦ枠内の３６焦点検出領域の各焦点ずれ量を読み出して、それらの中の信頼性の高い値や最至近値としたり、平均値としたりするなどの方法で移動されたＡＦ枠内の焦点ずれ量を求めても構わない。

Ｓ１７６では、コントラストＡＦルーチンを実行する。このルーチンはＳ１１８のコントラストＡＦルーチンと同一のため説明は割愛する。Ｓ１７７では、ＡＦ枠の色を灰色から緑色に変更してＡＦ枠内が合焦したことをユーザーに知らせる。そして図１７のメインルーチン内のＳ１２１にリターンする。

ＡＦ枠移動処理ルーチンにおいては、ユーザーによるＡＦ枠の移動が停止した後でＡＦ枠領域設定を行い、撮像面位相差ＡＦ及びＴＶ−ＡＦによりフォーカスレンズを合焦させている。この場合は、例えば一旦合焦動作させた被写体に対して比較的合焦位置が近い被写体は、液晶モニタ１４の表示上はほぼ合焦しているように見えるため、ＡＦ枠を移動して再合焦動作を行なっても、ライビュー表示の見え方に変化はない。

ところが、合焦位置が大きく異なる被写体は液晶モニタ１４の表示上はボケて見える。このため、その状態でＡＦ枠の位置を合わせて再合焦動作により被写体が合焦した状態で表示されると、ＡＦ枠の位置がズレたり、合焦位置が変わることにより液晶モニタ１４の表示の雰囲気が急に変化することがある。そこで、ＡＦ枠移動に追従してレンズドライバ３６がフォーカスレンズ３ａを合焦させたり、ＡＦ枠移動中のＡＦ枠内の焦点ずれ量を演算し、その焦点ずれ量に応じて（焦点ずれ量が所定値よりも大きい場合等）フォーカスレンズ３ａを合焦させたりする。これにより、ＡＦ枠移動し易くしたり、ライブビュー表示が見易くしたりすることができる。

図１７のＳ１２１では、レリーズボタン３０が全押しされてＳＷ２がＯＮされたか否かの判定を行い、ＯＮされていればＳ１２２へ進み、ＯＮされていなければ更にＡＦ枠が移動された可能性を考慮してＳ１２０へ進む。

Ｓ１２２では、ライブビュー撮影ルーチンを実行する。図２４はライブビュー撮影ルーチンのフローである。Ｓ１９１では、メモリコントローラ２１により撮像素子６から画像信号を読み込み、合焦している主被写体及びその周りの測光情報を得る、所謂、撮像面ＡＥ動作を行なう。Ｓ１９２では、撮像面ＡＥ結果により演算された撮影露出に従って、レンズ制御回路２３により撮影レンズ３内の不図示の絞りを駆動する。Ｓ１９３では、メモリコントローラ２１により撮像素子６に受光されている画像をリセットして撮像素子６の受光状態を初期状態、即ち何も撮像されていない状態に戻す。Ｓ１９４では、再びメモリコントローラ２１により撮像素子６の受光を行い、画像を読み込んでＳＤＲＡＭ４３に一時記録する。Ｓ１９５では、メモリコントローラ２１で読み出した画像信号の欠損画素補間を行なう。Ｓ１９６では、画像処理回路４４で画像のホワイトバランス補正、γ補正、エッジ強調等の画像処理を行ない、画像圧縮／伸張回路４５で画像をＪＰＥＧ等の形式に従って圧縮する。Ｓ１９７では、画像処理した撮影画像をメディア４８に記録する。Ｓ１９８では、シャッター駆動回路２７によりシャッター５を閉じる。Ｓ１９９では、モータ駆動回路２６により不図示のミラー駆動用モータを制御し、主ミラー４とサブミラー７をミラーダウンする（図１の状態となる）。Ｓ２００では、モータ駆動回路２６により不図示のチャージ用モータを通電制御し、シャッター５をチャージする。そして図１７のメインルーチン内のＳ１１０にリターンする。

以上説明したように、本実施形態によれば、ＡＦ枠内の画像に対して撮像面位相差ＡＦ結果に基づいたＴＶ−ＡＦを行なっているため、ライブビュー時に撮像領域内の何処ででもＡＦが可能で、合焦精度が高く、合焦時間が速いＡＦを行なうことが実現できる。また撮像素子６の撮像領域の全域に横ずれ検出用画素と縦ずれ検出用画素を市松状に実質上等間隔かつ等密度で配置することより、横方向に輝度分布を有する被写体と、縦方向に輝度分布を有する被写体の、いずれに対しても撮像面位相差ＡＦが可能である。このため、ＡＦ枠が顔認識やユーザーにより撮像領域内の任意位置に移動されても、何処でも撮像面位相差ＡＦ結果が得られる。しかも焦点検出用画素は離散的に配置されているため、撮像用画素の欠損が少なく撮影画像の劣化も回避できる。

本発明は、デジタル一眼レフカメラだけでなく、デジタルコンパクトカメラ、デジタルビデオカメラ、各種検査デジタルカメラ、監視デジタルカメラ、内視鏡デジタルカメラ、ロボット用デジタルカメラ等に適用可能である。また本実施形態に記載された構成要素の配置や数値等は例示的なものであり、本発明の範囲をそれらのみに限定する趣旨のものではない。

マルチビュー及び撮影時の実施例のデジタルカメラの断面図である。ファインダー観察時の実施例のデジタルカメラの断面図である。図１に示すデジタルカメラの制御系のブロック図である。図１に示す撮像素子に使用される撮像用画素と焦点検出用画素の構造を説明する図である。図１に示す撮像素子に使用される撮像用画素と焦点検出用画素の構造を説明する図である。図１に示す撮像素子に使用される撮像用画素と焦点検出用画素の構造を説明する図である。図１に示す撮像素子の最小単位の画素配列説明図である。図１に示す撮像素子の上位単位の画素配列説明図である。図１に示す撮像素子の全領域における画素配列説明図である。横ずれ焦点検出時の画素グループ化方法説明図である。横ずれ焦点検出時の画像サンプリング特性説明図である。縦ずれ焦点検出時の画素グループ化方法説明図である。縦ずれ焦点検出時の画像サンプリング特性説明図である。図１に示す撮像素子の瞳分割状況を説明する概念図である。ライブビュー時のＡＦ動作説明図である。ＡＦ枠内の画像に対するフォーカスレンズ位置とコントラスト値の関係図である。図１に示すデジタルカメラの動作を示すフローチャートである。図１７に示す通常撮影ルーチンＳ１０９の詳細を説明するフローチャートである。図１７に示すライブビュー表示ルーチンＳ１１１の詳細を説明するフローチャートである。図１７に示す撮像面位相差ＡＦルーチンＳ１１７の詳細を説明するフローチャートである。図１７に示すコントラストＡＦルーチンＳ１１８の詳細を説明するフローチャートである。図１７に示すＡＦ枠移動処理ルーチンＳ１２０の詳細を説明するフローチャートである。図２２に示すＡＦ枠領域撮像面位相差ＡＦルーチンＳ１７５の詳細を説明するフローチャートである。図１７に示すライブビュー撮影ルーチンＳ１２２の詳細を説明するフローチャートである。

符号の説明

３撮影レンズ
６撮像素子
１４液晶モニタ（表示部）
２０ＭＰＵ（制御部）
３３マルチコントローラー（モード設定部、枠設定部）
４３ＳＤＲＡＭ

Claims

フォーカスレンズを含む撮影レンズの射出瞳の全域を通る光を各々が受光して撮像信号を生成する複数の撮影用画素と、各々が前記撮影レンズの前記射出瞳の一部の領域を通る光を受光する複数の焦点検出用画素と、を有する撮像素子と、
前記焦点検出用画素の出力から得られた一対の像信号に基づいて焦点ずれ量を検出する第１の検出手段と、
前記撮像信号に基づいてコントラスト検出方式の焦点検出を行う第２の検出手段と、
焦点検出の対象である焦点検出領域を前記撮像素子の撮像領域中に設定する設定部と、を有し、
前記第１の検出手段は、前記設定部が設定した前記焦点検出領域に対応する前記焦点検出用画素の出力を用いて焦点ずれ量を算出するとともに、前記焦点検出領域外を含む領域の前記焦点検出用画素の出力信号をメモリに記録し、
検出された焦点ずれ量に基づく第１の合焦位置を基準として、前記第２の検出手段は、前記焦点検出領域に対応する前記撮影用画素からの撮像信号に基づいてコントラスト検出方式の焦点検出を行い、第２の合焦位置を検出することを特徴とする撮像装置。
前記設定部は、第１の方向に対して焦点ずれ量を検出するための第１の焦点検出領域と、前記第１の方向と異なる第２の方向に対して焦点ずれ量を検出するための第２の焦点検出領域を設定することを特徴とする請求項１に記載の撮像装置。
前記第１の検出手段は、前記第１の焦点検出領域と前記第２の焦点検出領域のそれぞれについて焦点ずれ量を算出することを特徴とする請求項２に記載の撮像装置。
前記撮像装置は前記焦点検出用画素と異なる焦点検出センサを更に有し、
ライブビューモードが設定されている場合、前記第１の検出手段は、前記設定部が設定した前記焦点検出領域に対応する前記焦点検出用画素の出力を用いて焦点ずれ量を算出するとともに、前記焦点検出領域外を含む領域の前記焦点検出用画素の出力信号をメモリに記録し、
ライブビューモードが設定されていない場合、前記第１の検出手段は、前記焦点検出センサの出力を用いて焦点ずれ量を算出することを特徴とする請求項１乃至３のいずれか一項に記載の撮像装置。
前記第１の検出手段は、前記焦点検出領域に応じた前記焦点検出用画素から算出された複数の焦点ずれ量の中で信頼性が最も高い値、最至近値、又は、前記複数の焦点ずれ量の平均値を選択することを特徴とする請求項１乃至４のいずれか一項に記載の撮像装置。
前記撮像装置は前記フォーカスレンズを駆動するドライバを更に有し、
前記ドライバが前記フォーカスレンズを前記第２の合焦位置に移動した後で前記焦点検出領域が移動した場合、前記第１の検出手段は、移動した前記焦点検出領域に対応する前記焦点検出用画素の出力信号を前記メモリから読み出して焦点ずれ量を算出し、当該焦点ずれ量に基づく新たな第１の合焦位置を基準として、前記第２の検出手段は、移動した前記焦点検出領域に対応する前記撮影用画素からの撮像信号に基づいてコントラスト検出方式の焦点検出を行い、新たな第２の合焦位置を検出することを特徴とする請求項１乃至５のいずれか一項に記載の撮像装置。
フォーカスレンズを含む撮影レンズの射出瞳の全域を通る光を各々が受光して撮像信号を生成する複数の撮影用画素と、各々が前記撮影レンズの前記射出瞳の一部の領域を通る光を受光する複数の焦点検出用画素と、を有する撮像素子と、
焦点検出の対象である焦点検出領域を前記撮像素子の撮像領域中に設定する設定部と、を有する撮像装置の制御方法であって、
前記焦点検出用画素の出力から得られた一対の像信号に基づいて焦点ずれ量を検出する第１の検出ステップと、
前記撮像信号に基づいてコントラスト検出方式の焦点検出を行う第２の検出ステップと、を有し、
前記第１の検出ステップにおいて、前記設定部が設定した前記焦点検出領域に対応する前記焦点検出用画素の出力を用いて焦点ずれ量を算出するとともに、前記焦点検出領域外を含む領域の前記焦点検出用画素の出力信号をメモリに記録し、
検出された焦点ずれ量に基づく第１の合焦位置を基準として、前記第２の検出ステップにおいて、前記焦点検出領域に対応する前記撮影用画素からの撮像信号に基づいてコントラスト検出方式の焦点検出を行い、第２の合焦位置を検出することを特徴とする撮像装置の制御方法。