JP6584149B2 - 撮像装置 - Google Patents

Description

本発明は、焦点検出することが可能な撮像装置に関する。

近年、記録用又は表示用の画像を取得するとともに、撮像面で位相差式の焦点検出を行う撮像素子を複数有する撮像装置の発明が提案されている。特許文献１の撮像装置では、動画撮影用と静止画撮影用に画素ピッチの異なる２つ撮像素子を有する。２つの撮像素子は互いに基線長の異なる焦点検出用の画素部を複数備え、一方の撮像素子で画像を生成しようとする場合は、他方の撮像素子を用いて焦点検出を行うことが開示されている。

特開２０１５−３４９１７号公報

特許文献１では、焦点検出用の画素部が遮光部を有しており、遮光部の寸法を変更することで焦点検出特性を左右する要因の１つである基線長を異ならせることができる。しかしながら、焦点検出用の画素部では光電変換部に入射する光束を遮る遮光部の寸法を比較的自由に変更できる反面、画質の観点では記録用の画像に不自然な部分が生じてしまう場合があるという課題があった。本発明は、２つの撮像素子のそれぞれから、高画質の記録用の画像信号や焦点検出信号を取得することができる撮像装置を提供することを目的とする。

本発明は、撮影レンズの射出瞳を通過した光束を複数の光束に分割する光束分割手段と、複数のマイクロレンズを有し前記分割された光束の一方を受光する第１の撮像素子と、複数のマイクロレンズを有し前記分割された光束の他方を受光する第２の撮像素子と、を有し、前記第１、第２の撮像素子は、それぞれ各マイクロレンズに対応して、一対の光電変換部を有し、前記一対の光電変換部が受光する光束がそれぞれ通過する前記射出瞳の一対の瞳領域は、前記第１、第２の撮像素子のいずれでも重複し、前記第２の撮像素子における前記射出瞳の一対の瞳領域の重心間の距離は前記第１の撮像素子における前記重心間の距離と比べて大きいよう構成したことを特徴とする。

本発明によれば、２つの撮像素子のそれぞれから、高画質の記録用の画像信号や焦点検出信号を取得することができる撮像装置を得ることができる。

撮像装置の構成図 撮像素子１０１と撮像素子１０２の構成図 撮像素子１０１の読み出し回路構成図 撮像素子１０１と撮像素子１０２のマイクロレンズ焦点位置を説明する図 瞳領域の大きさと基線長を説明する図 撮影レンズ５００のＦナンバと瞳領域の基線長との関係を説明する図 撮像素子１０１と撮像素子１０２の瞳領域との関係を説明する図 撮像素子１０１と撮像素子１０２の瞳領域の平面形状と受光効率を説明する図 デフォーカス量と像ずれの関係を説明する図 Ｆナンバと基線長の関係図 Ｆナンバとデフォーカス量変換係数を説明する図 撮影に関わるメインフロー図 「焦点検出１」のサブルーチンフロー図 「静止画撮影１」のサブルーチンフロー図 「焦点検出２」のサブルーチンフロー図 「静止画撮影２」のサブルーチンフロー図 焦点検出に用いる撮像素子切り替え条件を説明する図 撮像素子２０１の構成と瞳領域を説明する図 撮像素子２０１と撮像素子２０２の瞳領域の平面形状と受光効率を説明する図 撮像素子３０１の構成と瞳領域を説明する図

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。

図１は、本発明を実施した撮像装置の一例としての、レンズ交換式デジタルカメラ本体１００および交換式レンズである撮影レンズ５００の構成図である。

撮影レンズ５００のレンズ群を透過した光束は、カメラ本体１００に備え付けられた光束分割手段としてのビームスプリッタ１０３に入射する。ビームスプリッタ１０３はカメラ内に固定されており、本実施例においてはハーフミラーである。ビームスプリッタ１０３によって分割された光束の一方の光束はビームスプリッタ１０３を透過して第１の撮像面に配置された第１の撮像素子としての撮像素子１０１へと導かれる。他方の光束はビームスプリッタ１０３で反射して第２の撮像面に配置された第２の撮像素子としての撮像素子１０２へと導かれる。なお、ビームスプリッタ１０３は、ハーフミラーと同様に入射する光束を分割することができるものであれば、必ずしもハーフミラーでなくても良い。

第１及び第２の撮像面は撮影レンズ５００から見て光学的に等価な位置にある。言い換えると、第１の撮像面に配置された撮像素子１０１と第２の撮像面に配置された撮像素子１０２はそれぞれ、撮影レンズ５００を介して、被写体に対して光学的に共役な結像面にあると言える。

第１及び第２の撮像面には、ビームスプリッタ１０３の透過率及び反射率に応じた明るさの被写体像が形成される。撮像光束中に配置されたハーフミラーは理想的な平面であることが望ましいが、現実にはある程度のうねりや湾曲を有しているため、ビームスプリッタ１０３を透過及び反射した光束により形成される画像は画質が低下する場合がある。そして、この画質の低下の程度は、透過した光束により形成される画像と比較し、反射した光束により形成される画像において相対的に大きい。そこで本実施例においては、透過側の撮像素子１０１を、個々の画素サイズが小さく、総画素数の多い静止画の撮影に用いることとし、反射側の撮像素子１０２は個々の画素サイズが大きく、総画素数の少ない動画の撮影に用いる撮像素子こととしている。しかしながら本発明はこの形態に限定されるものではなく、ビームスプリッタ１０３の特性やその他の条件に応じて撮像素子１０１と撮像素子１０２の位置を入れ替えても良い。

ＣＭＯＳエリアセンサからなる撮像素子１０１および撮像素子１０２は、被写体像を電気信号に変換するマトリクス状に配置された画素部によって構成される。電気信号に変換された画素情報は、カメラＣＰＵ１０４で画像信号や焦点検出信号を得るための各種補正処理や、得られた画像信号をライブビュー画像や記録画像へ変換するための処理等が行われる。なお、本実施例においてはこれらの処理等をカメラＣＰＵ１０４で行っているが、これらの処理等は専用の回路を設けて当該回路によって処理しても良い。操作部材１０５はカメラの撮影モードや撮影条件等を設定するための各種部材である。記憶媒体１０６はフラッシュメモリであり、撮影した静止画や動画を記録するための媒体である。ファインダ内表示器１０７は、有機ＥＬディスプレイや液晶ディスプレイ等の小型で高精細な表示手段としてのディスプレイ１０８と接眼レンズ１０９とで構成される。外部表示器１１０は、裸眼視に適した画面サイズの有機ＥＬディスプレイや液晶ディスプレイである。カメラ本体１００の設定状態、ライブビュー画像、撮影済み画像等の各種情報は、ファインダ内表示器１０７や外部表示器１１０に表示される。

フォーカルプレンシャッタ１１１は撮像素子１０１の前面に配置されている。シャッタ駆動部１１２は例えばモーターであり、シャッタの羽根を駆動制御することで、静止画を撮像する際の露光時間を制御する。カメラ側通信端子１１３は、交換レンズを装着するためのカメラマウント部に設けられている。カメラ側通信端子１１３はレンズマウント部に設けられたレンズ側通信端子５０８とともにカメラＣＰＵ１０４後述のレンズＣＰＵ５０７の間でやりとりされる情報を送受信する。

撮影レンズ５００はカメラ本体１００に対して着脱可能であり、本実施例では焦点距離が可変なズームレンズである。被写体からの光束は第１レンズ群５０１、第２レンズ群５０２、第３レンズ群５０３を透過し、カメラ本体１００内の撮像面に被写体像を形成する。第２レンズ群５０２は光軸方向に進退して変倍を行なうバリエータとして機能する。第３レンズ群５０３は光軸方向に進退して焦点調節を行なうフォーカスレンズとして機能する。第３レンズ群５０３は、ステッピングモーターなどを用いたフォーカス駆動部５０４によって駆動される。虹彩絞り５０５は撮影レンズ５００に入射する光量を調節するための複数の絞り羽根で構成されている。絞り駆動部５０６は絞り羽根を所定のＦナンバになるまで絞り込み駆動する。レンズＣＰＵ５０７は、レンズ側通信端子５０８及びカメラ側通信端子１１３を介してカメラＣＰＵ１０４と通信し、各種情報を送受信するとともに、カメラＣＰＵ１０４からの指令に基づいてフォーカス駆動部５０４や絞り駆動部５０６を駆動制御する。

図２は撮像素子１０１および撮像素子１０２の構成を説明する図である。撮像素子１０１は主として静止画を撮影するための撮像素子である。本実施例では、撮像素子１０１の有する複数の画素部はそれぞれ撮像面上の水平方向（ｘ）、垂直方向（ｙ）共に４μｍの大きさを有した正方形の画素部である。撮像素子１０１の有する画素部の構造は、後述するマイクロレンズの偏心を除きすべて同じである。これらの画素部が水平方向に６０００画素、垂直方向に４０００画素配列された、有効画素数２４００万画素の撮像素子である。撮像領域の大きさは画素部の大きさ、すなわち画素ピッチに画素数を乗じれば求めることができ、この場合は水平方向に２４ｍｍ、垂直方向に１６ｍｍとなる。各画素部にはＲＧＢのカラーフィルタがモザイク状に配列されている。

撮像素子１０２は主として動画を撮影するための撮像素子である。本実施例では、撮像素子１０２の有する複数の画素部はそれぞれ水平方向（ｘ）、垂直方向（ｙ）共に６μｍの大きさを有する。撮像素子１０２の有する画素部の構造は、後述するマイクロレンズの偏心を除きすべて同じである。これらの画素部が水平方向に３８４０画素、垂直方向に２１６０画素配列された、有効画素数８３０万画素のいわゆる４Ｋ動画用の撮像素子である。撮像領域の大きさは第１の撮像素子と同様の計算で求めることができ、水平方向に２３．０４ｍｍ、垂直方向に１２．９６ｍｍとなる。各画素部には第１の撮像素子と同様にＲＧＢのカラーフィルタがモザイク状に配列されている。

このように、本実施例においては、撮像素子１０１の有する個々の画素部は、撮像素子１０２の有する画素部と比較して小さい。また、撮像素子１０１の撮像領域は撮像素子１０２の撮像領域と比較して大きい。ただし、画素数や画素部の大きさについては、本発明の趣旨を逸脱しない範囲での変更が可能である。

図２（ａ）（ｂ）は、第１の撮像素子１０１の構成図であり、同図（ａ）は撮像面の中央近傍（像高０付近）における一部の画素部を撮影レンズ５００側から見た平面図、同図（ｂ）はそのうちの一つの画素部の断面図である。ＣＭＯＳイメージセンサの基体を成すシリコン基板１０１ｄ内には第１の光電変換部としての光電変換部１０１ａ及び第２の光電変換部としての光電変換部１０１ｂが設けられている。また、シリコン基板１０１ｄ内には該光電変換部で発生した光電子を電圧に変換して外部に読み出す不図示のスイッチングトランジスタ等が形成されている。光電変換部の出力信号は配線層１０１ｅによって読み出される。

各配線層は透明な層間膜１０１ｆによって絶縁されている。オンチップマイクロレンズ１０１ｃの下には色分離用のカラーフィルタ１０１ｇが設けられている。位相差式の焦点検出を行なう際は、光電変換部１０１ａ及び光電変換部１０１ｂの出力信号を個別に処理して一対２像の位相差像を生成する。焦点検出手段としてのカメラＣＰＵ１０４が当該２像の相対的な像ずれ量から撮像面における被写体像のデフォーカス量を算出する。また、加算制御手段としてのカメラＣＰＵ１０４が一対の光電変換部１０１ａ及び１０１ｂの信号を加算して静止画又は動画の記録用画像信号もしくはライブビュー用（表示用）の画像信号を得る。なお、当該加算処理は専用の回路を設けて行っても良い。

図２（ｃ）及び（ｄ）は、撮像素子１０２の要部平面図及び断面図で、撮像素子１０１を示した同図（ａ）及び（ｂ）に対応する。撮像素子１０１と撮像素子１０２は、画素部が有する各種機能部の大きさ、すなわちｘｙｚ方向の寸法は異なるが、機能は実質的に同一であるため、詳細説明は省略する。

図３は本実施例の撮像素子１０１の読み出し回路の構成を示したものである。光電変換部１０１ａ及び光電変換部１０１ｂは１つの画素部に配置された一対の光電変換部、１２１は水平走査回路、１２３は垂直走査回路である。そして各画素部の境界部には、水平走査ライン１２２ａ及び１２２ｂと、垂直走査ライン１２４ａ及び１２４ｂが配線され、各光電変換部からの信号は、これらの走査ラインを介して外部に読み出される。撮像素子１０２もこれと同様の読み出し回路を有しているため、説明は省略する。

そして、本実施例の撮像素子１０１及び撮像素子１０２は、以下の２種類の読み出しモードを有する。第１の読み出しモードは全画素読み出しモードと称するもので、記録用の静止画もしくは動画を撮像するためのモードである。この場合は、全画素部の信号が読み出される。第２の読み出しモードは間引き読み出しモードと称するもので、ライブビュー画像の表示を行うためのモードである。ライブビュー画像とは、撮像素子が取得した画像をファインダ内表示器１０７や外部表示器１１０にリアルタイムで表示するための画像である。ライブビューに必要な画素数は全画素数よりも少ないため、撮像素子はｘ方向及びｙ方向ともに所定比率に間引いた画素部のみから信号読み出すことで、信号処理回路の処理負荷を軽減するとともに、消費電力の低減にも寄与する。また、第１及び第２のいずれの読み出しモードにおいても、各画素部が備える一対２個の光電変換部の信号は独立して読み出しされるため、いずれのモードにおいても焦点検出のための信号生成が可能である。

なお、本実施例では撮像素子１０１は主として静止画撮影用に用いられるが、動画撮影を禁止するものでは無い。たとえば、撮像素子１０２で動画撮影中に、撮像素子１０１は先に説明した間引き読み画像を低解像度動画として記録することも可能である。同様に、撮像素子１０２は主として動画撮影用に用いられるが、静止画撮影も可能である。例えば、動画記録中に所望の１フレームを静止画として記録することも可能である。

図４は本実施例の撮像素子の各画素部が備えるマイクロレンズの焦点位置を概念的に説明する図で、図４（ａ）は撮像素子１０１が備える画素部、図４（ｂ）は撮像素子１０２が備える画素部の説明図である。まず図４（ａ）について説明する。

画素部１０１−１は撮像領域の中央、すなわち撮影レンズ５００の光軸上に位置している。主点１０１ｐは該画素部が備えるマイクロレンズ１０１ｃの光線屈折作用を考える上での基準位置となる予定結像位置であり、主点１０１ｐを通って光軸に直交する面ＩＰが撮像素子の予定結像面、いわゆる撮像面となる。すなわち、撮影レンズ５００によって形成される被写体像のピント位置が各マイクロレンズの主点１０１ｐを連ねた予定結像面ＩＰ上に一致する状態が合焦で、この時に撮像素子が取得する被写体像が最も先鋭なものとなる。なお、マイクロレンズの厚さは１μｍ程度なので、主点１０１ｐはマイクロレンズの頂点とみなしても差し支えない。撮影レンズ５００の射出瞳ＥＰＬは撮像面から絞りを見たときの絞りの像であり、撮像素子１０１及び１０２は射出瞳ＥＰＬを通過した光束を受光する。射出瞳ＥＰＬの平面形状は円形、断面は平面であるが、以降で説明する瞳領域との大小関係をわかりやすくするため、当図では楕円で表記している。

マイクロレンズの主点１０１ｐと撮影レンズ５００の射出瞳ＥＰＬの間の距離が射出瞳距離ＰＤＬである。主点１０１ｐと光電変換部１０１ａ及び光電変換部１０１ｂの上面間の高さｈ１が画素部の光学的な高さである。厳密な光学的高さは、機械的寸法である高さｈ１に画素部内の光路部分の屈折率を乗じた値であるが、ここでは図示した高さｈ１を画素部の高さとする。同図においては、高さｈ１に対して射出瞳距離ＰＤＬは数倍程度の大きさに描かれているが、現実には高さｈ１がマイクロメートルオーダーであるのに対して、ＰＤＬは数１０ｍｍオーダーであり、両者の大きさには４桁程度の開きがある。すなわち、画素部１０１−１から見た撮影レンズ５００の射出瞳ＥＰＬは無限遠にあると見なしてよい。よって、マイクロレンズ１０１ｃの焦点位置が光電変換部の上面であれば、射出瞳ＥＰＬと光電変換部の上面が光学的に共役となり、光軸方向に対して射出瞳と同じ位置に、一対の光電変換部１０１ａ及び１０１ｂに対応する一対の逆投影像が形成される。当該一対の逆投影像に対応する領域のうち射出瞳ＥＰＬと重なる領域である一対の瞳領域を通過した、一対の光束に対応する一対の画像信号の相対的なずれ量を検出することで、カメラＣＰＵ１０４は当該画像の焦点ずれ量、いわゆるデフォーカス量を検出する。すなわち、当該一対の瞳領域は撮像面における位相差検出のためのいわゆる一対の測距瞳として機能する。当該一対の瞳領域については図５で詳しく説明する。

ここで、マイクロレンズの焦点位置が撮影用の画像と焦点検出用の画像に及ぼす影響について説明する。本実施例の撮像素子の各画素部は撮像と焦点検出の両機能を担っている。すなわち、一対の光電変換部１０１ａ及び１０１ｂの出力を個別に取り扱うことで、焦点検出を行なう。この場合、当該一対の光電変換部の逆投影像である当該一対の瞳領域の輪郭が先鋭でその重心間の距離が大きいほど、焦点検出用画像のぼけが少なく、かつ像ずれ量も大きく、高精度な焦点検出が可能となる。一方で、一対の光電変換部１０１ａ及び１０１ｂの出力を加算制御手段としてのカメラＣＰＵ１０４によって加算したものが、記録用または表示用の画像信号となる。なお、当該加算処理は専用の回路を設けることで、当該専用の回路において処理を行っても良い。

この場合、前述した一対の瞳領域は射出瞳ＥＰＬの面座標のｕ方向に明確に分離されていると、一対の瞳領域の間には光線を通過させる瞳としての機能を有さない領域が生じてしまう。このとき、射出瞳ＥＰＬの中心（光軸）上を通過して画素部に入射した光束は光電変換されない。光電変換されない理由は下記の通りである。

例えば、一対の光電変換部１０１ａ及び１０１ｂの間には境界部が存在し、またプロセスによってはこの境界部が不感帯となる場合もある。仮に該境界部が不感帯でその寸法が無視できないほど大きく、かつマイクロレンズ１０１ｃの焦点位置が光電変換部上面に一致していると、一対の瞳領域は射出瞳ＥＰＬの面座標のｕ方向に明確に分離される。このように、一対の瞳領域がｕ方向に明確に分離されるため、前述の理由により射出瞳ＥＰＬの中心（光軸）上を通過して画素部に入射した光束は光電変換されない。

このように一対の瞳領域が射出瞳ＥＰＬの面座標のｕ方向に明確に分離されている場合、焦点の合った画像への影響は無視できるが、焦点のはずれたぼけ画像にはその一部に陰りを生じ、いわゆる二線ボケのような画質の低下が起こってしまう場合がある。この現象を回避するため、本実施例では、撮像素子１０１の各画素部が備えるマイクロレンズ１０１ｃの焦点位置は、図４（ａ）に示すように光電変換部の上面より所定寸法だけ下方向に偏差した位置である。言い変えると、マイクロレンズに対して光電変換部の表面よりも深い方向に位置している。すなわち、前述した射出瞳ＥＰＬと光電変換部の上面の光学的な共役状態を崩すことで瞳領域をボケさせている。瞳領域をボケさせて、前述した一対の瞳領域における互いが重複する領域を設けることで、射出瞳ＥＰＬの中心（光軸）を通過して画素部に入射した光束も光電変換される。焦点のずれたぼけ画像においても画質が低下しない。

次に図４（ｂ）を用いて撮像素子１０２の画素特性について説明する。図４（ａ）と同様に画素部１０２−１は撮像領域の中央、すなわち撮影レンズ５００の光軸上に位置している。マイクロレンズ１０２ｃの主点１０２ｐを通って光軸に直交する面ＩＰが撮像素子の予定結像面、すなわち撮像面となる。当画素部においては、マイクロレンズ１０２ｃの焦点位置は光電変換部の上面より若干下方に偏差した位置に設定されているが、その偏差量は撮像素子１０１における偏差量に比べれば少ない。言い換えると、撮像素子１０１における画素高さに対するマイクロレンズの焦点位置と主点１０２ｐとの距離の比は、撮像素子１０２における画素高さに対するマイクロレンズの焦点位置と主点１０２ｐとの距離比よりも大きい。撮像素子１０１の画素部の高さをｈ１、マイクロレンズの焦点距離をｆ１、撮像素子１０２の画素部の高さをｈ２、マイクロレンズの焦点距離をｆ２とすると、これらの数値の関係は、
ｆ１／ｈ１＞ｆ２／ｈ２ （式１）
である。すなわち、撮像素子１０１の瞳領域は相対的にボケが大きくて先鋭度が低く、これに対して、撮像素子１０２の瞳領域は相対的にボケが小さく先鋭度が高い。よって、焦点検出性能の観点では第２の撮像素子が優れ、ぼけ画像の品位の観点では第１の撮像素子が優れている。このような特性にする理由は以下のとおりである。

第１の撮像素子は主として静止画撮影に用いられるが、静止画観賞時は大画面の液晶モニタ上で拡大表示されることが多く、画質の劣化が視認されやすい。また、インクジェットプリンタ等で印刷した画像を観賞する場合も、近年のプリンタは出力解像度が非常に高く、僅かな画質劣化も視認されてしまう。これに対して、動画観賞時に画像の一部を拡大することはまれであり、しかも動画はカメラのパン操作やズーム操作で画像が変化するため、静止画に比べて画質劣化に対する許容度が大きい。そこで本実施例においては、静止画用撮像素子は画質重視の画素特性としている。

図５は、撮影レンズ５００の射出瞳と光電変換部の投影関係を図４とは異なる観点で説明する図である。図５（ａ）は撮像素子１０１の有する画素部内の一対の光電変換部のうち一方の光電変換部１０１ａに対応する瞳領域の特性、図５（ｂ）は一対の光電変換部１０１ａ及び１０１ｂに対応する一対の瞳領域の基線長を説明する図である。図４で説明したものと同一部分の説明は省略する。

マイクロレンズ１０１ｃを介して、撮影レンズ５００の射出瞳ＥＰＬと光電変換部１０１ａの上面が光学的に略共役とであるため、光軸方向に対して射出瞳ＥＰＬと同じ位置に一対の光電変換部１０１ａに対応する逆投影像が形成される。よって、被写体から出射した光束は、当該逆投影像に対応する領域のうち、射出瞳と重なる領域である瞳領域ＡＦＰａ１の内側を通過して撮像面に結像し、光電変換部１０１ａに入射して光電変換される。

光電変換部１０１ａのＸ方向の幅をＴＳ、瞳領域ＡＦＰａ１の幅をＴＰとすると、マイクロレンズの主点１０１ｐを頂点とした２つの三角形の相似関係より、
ＴＰ／ＰＤＬ＝ＴＳ／ｈ１ （式２）
となり、瞳領域ＡＦＰａ１の幅ＴＰは次式、
ＴＰ＝ＴＳ×（ＰＤＬ／ｈ１） （式３）
で計算できる。ただし、式２や式３が厳密に成り立つのは光電変換部１０１ａとその逆投影像が光学的に理想な共役関係である場合のみである。一方で、本実施例の撮像素子のマイクロレンズは図４で説明したように、その焦点位置が光電変換部の上面に対して後ピン状態であるため、光電変換部１０１ａと瞳領域ＡＦＰａ１は理想的な共役関係とはなっておらず、瞳領域ＡＦＰａ１にもボケが生じる。また、撮像素子の各画素部の大きさはマイクロメートルオーダーと非常に小さく、画素部に入射する光束は波動の性質が顕著になり、幾何光学的には理想的な結像関係が成立していても、光波の回折によりいわゆる回折ボケが発生する。

更に、光電変換部の中でも実際に光電変換が行われる領域はｘｙ平面上の１平面のみに収まるものではなく、ｚ軸に沿った数μｍの領域に広がっている。そこで、光軸方向に対して射出瞳ＥＰＬと同じ位置に逆投影される光電変換部の逆投影像も正確には平面では無く、ｚ軸方向にも伸びる立体であるため、これを一つの平面上に射影するとその輪郭は鋭利ではなく、所定のボケを生ずる。すなわち対応する瞳領域ＡＦＰａ１も同様にｚ軸方向に伸びる領域となる。

以上のようないくつかの理由によって瞳領域ＡＦＰａ１には撮像素子固有のボケが発生し、幾何光学的な瞳領域ＡＦＰａ１よりも外側に広がる。当該広がった領域を、図５（ａ）において破線の瞳領域ＡＦＰａ１−ｅとして図示し、その幅をＴＰ−ｅとする。

図５（ａ）では１個の光電変換部１０１ａに対応する瞳領域について説明したが、図５（ｂ）では一対の光電変換部１０１ａ及び１０２ｂが形成する一対の瞳領域の基線長について説明する。図５（ｂ）において、画素部は光軸に対して対称な一対の光電変換部１０１ａ及び１０１ｂを備える。図５（ａ）において瞳領域ＡＦＰａ１は光電変換部１０１ａに対応する、射出瞳ＥＰＬに含まれる一部の領域であることは前述の通りであり、瞳領域ＡＦＰｂ１は同様に光電変換部１０１ｂに対応する、射出瞳ＥＰＬに含まれる一部の領域である。幾何光学上理想的な共役関係が成り立っていると仮定した場合の瞳領域ＡＦＰａ１及び瞳領域ＡＦＰｂ１に対し、現実の瞳領域ＡＦＰａ１−ｅ及び瞳領域ＡＦＰｂ１−ｅは前述の理由により広がりを生じている。

被写体から出射し、一対の瞳領域ＡＦＰａ１及びＡＦＰｂ１の内側を通過して撮像面に結像した光束は、一対の光電変換部１０１ａ及び１０１ｂに入射して光電変換される。このように、一対の光電変換部１０１ａ及び１０１ｂが受光する光束は、撮影レンズ５００の射出瞳ＥＰＬの異なる領域を通過した光束であるため、該一対の光束は視差を有する。そしてその視差量は、一対の瞳領域ＡＦＰａ１及び瞳領域ＡＦＰｂ１（瞳領域ＡＦＰａ１−ｅ及び瞳領域ＡＦＰｂ１−ｅでも良い）の重心間の距離に比例する。当該重心間の距離を基線長と呼ぶことにする。

ただし、本実施例において瞳領域ＡＦＰａ１−ｅ及び瞳領域ＡＦＰｂ１−ｅは完全に分離されておらず、瞳領域ＡＦＰａ１−ｅ及び瞳領域ＡＦＰｂ１−ｅが重複する領域として重なりＲＰを有する。重なりＲＰを通過する複数の光線は、それぞれ一対の光電変換部１０１ａ及び１０１ｂのいずれかに入射する。すなわち、光電変換部１０１ａにおいて光電変換した電気信号には、瞳領域ＡＦＰｂ１−ｅを通過する光束に対応する信号も含まれている。同様に、光電変換部１０１ｂにおいて光電変換した電気信号には、瞳領域ＡＦＰａ１−ｅを通過する光束に対応する信号も含まれている。なお、本実施例の説明において、焦点検出のための一対の瞳領域をＡＦＰａ１及び瞳領域ＡＦＰｂ１と記載している場合も、実際にはぼけて広がった瞳領域ＡＦＰａ１−ｅ及び瞳領域ＡＦＰｂ１−ｅを含むものとする。撮像素子１０２についても同様である。

次に、基線長について説明する。光電変換部１０１ａ及び１０１ｂの各々において実際に光電変換する領域の重心間の距離をＧＳ、瞳領域ＡＦＰａ１及びＡＦＰｂ１の重心間の距離、すなわち基線長をＧＰとすると、マイクロレンズの主点１０１ｐを頂点とした２つの三角形の相似関係より、
ＧＰ／ＰＤＬ＝ＧＳ／Ｈ （式４）
となり、基線長ＧＰは次式、
ＧＰ＝ＧＳ×（ＰＤＬ／Ｈ） （式５）
で計算できる。

基線長という用語は、２眼式ステレオカメラや、外測式位相差検出モジュールにおける一対の光学系の入射瞳間の距離を指す。しかし本実施例における撮像面での位相差式の焦点検出では、撮影レンズ５００の射出瞳ＥＰＬを通過する一対の光束の間の距離ＧＰを基線長と称することにする。この場合、射出瞳ＥＰＬと撮像面のとの間の距離である射出瞳距離ＰＤＬが変わると基線長ＧＰも変化してしまうので、基線長の大小を比較する場合は、射出瞳距離ＰＤＬを揃える必要がある。

同図（ｂ）を参照すると、マイクロレンズの主点１０１ｐから見た基線長ＧＰの張る角度α、及びマイクロレンズの主点１０１ｐから光電変換部の重心間の距離ＧＳの張る角度αは共に等しい。角度αは、主点１０１ｐと、一対の光電変換部それぞれの重心とを結んだ線が成す劣角と言い変えられる。また、射出瞳距離ＰＤＬが変化しても角度αは変化しない。すなわち、撮像面で位相差式の焦点検出を行うにあたっての一対の像の視差量はこの角度αに比例し、角度αが大きいほど基線長ＧＰは長く、角度αが小さいほど基線長は短い。つまり、本実施例の各実施例で説明する基線長ＧＰは、正確には角度αと読み替えるのが正しい。ただし、本実施例では説明を平易にするために、角度αではなく基線長ＧＰで説明する。

なお、図５では撮像素子１０１の例を用いて説明したが、撮像素子１０２についても大きさや寸法は異なるものの機能は実質的に同一であるため、詳細説明は省略する。

図６は、撮影レンズ５００のＦナンバと一対の瞳領域の基線長について説明する図である。図６（ａ）は先に説明した図５（ｂ）と同じ図で、撮影レンズ５００のＦナンバが小さい場合、すなわち絞り開口径が大きく、瞳領域のけられが無視できる場合を示している。一対の瞳領域は各々がボケて広がっており、両者の裾は重なり量ＲＰを生じており、また重心間の距離が基線長ＧＰである。図６（ｂ）はＦナンバが大きい場合、すなわち光彩絞りを絞り込んで絞り開口径が小さくなった場合である。一対の瞳領域は互いに光軸から離れた外側領域から対称的にけられていき、けられに応じて基線長も短くなる。図６（ｂ）の基線長ＧＰ−ｄは、このように光彩絞りを絞り込んで絞り開口径が小さくなった場合の基線長である。光彩絞りを絞り込んで絞り開口径が小さくなった場合、瞳領域の内側の重なり部はけられずに残るため、絞り開口径が小さくなるほど、一対の瞳領域の重心間の距離は急激に小さくなっていく。一方で、一対の光電変換部の重心間の距離は不変であるが、けられによって光電変換部の外側の領域（図中の斜線で示した部分）には光束が到達しなくなるため、光量を考慮した重心間の距離ＧＳ−ｄは図６（ａ）のＧＳより短くなる。

図７は、１つの撮影レンズ５００と２つの撮像素子の瞳領域の関係を説明する図であり、図７（ａ）は撮像素子１０１の瞳領域、図７（ｂ）は撮像素子１０２の瞳領域を示す。高精度な位相差ＡＦを実現するためには、一対の位相差像を取得するために設けられる一対の瞳領域の基線長が長いこと、小絞りでも焦点検出可能なこと、撮像面の端部でも焦点検出性能が低下しないこと、等が挙げられる。これらの性能を満足するための画素部の構造に関し、図７（ａ）を用いて説明する。

図７（ａ）には撮影レンズ５００の射出瞳ＥＰＬと、２個の画素部１０１−１及び１０１−２が図示されている。画素部１０１−１は撮像面中央、すなわち像高ｘ＝０に配置された画素部、画素１０１−２は撮像面の端に近い場所、例えば像高ｘ＝１０ｍｍに配置された画素部である。画素部１０１−１は、マイクロレンズ１０１ｃの光軸が画素部の中心（一対の光電変換部の境界部）と一致しており、画素部１０１−１が形成する瞳領域の特性は図５や図６で説明したとおりである。

すなわち、第１の瞳領域としての瞳領域ＡＦＰａ１を通過した光束は、第１の光電変換部としての光電変換部１０１ａに到達して光電変換される。第２の瞳領域としての瞳領域ＡＦＰｂ１を通過した光束は、第２の光電変換部としての光電変換部１０１ｂに到達して光電変換される。よって、瞳領域ＡＦＰａ１及びＡＦＰｂ１が位相差検出に用いる測距瞳に相当する。直線ＲＹａは光電変換部１０１ａの中心と瞳領域ＡＦＰａ１の中心を結ぶ線、すなわち光電変換部１０１ａが受光する光束の主光線である。同様に直線ＲＹｂは光電変換部１０１ｂの中心と瞳領域ＡＦＰｂ１の中心を結ぶ線、すなわち光電変換部１０１ｂが受光する光束の主光線である。図５でも説明したように、射出瞳ＥＰＬの領域内を通過する一対の光束の、主光線の間の距離、すなわち瞳領域の重心間の距離ＧＰ１が位相差検出の際の基線長となる。なお、後述するように、記録用又は表示用の画像信号を得る際は一対の光電変換部の出力を加算制御手段としてのＣＰＵ１０４又は専用の回路によって加算して用いるため、一対の光電変換部を隔てる境界部が撮像時の光電変換領域の中心になる。そこで、一対の光電変換部の境界部とマイクロレンズの主点１０１ｐを通る光線を画素部の主光線と呼ぶことにする。像高ｘ＝０の画素部の主光線は撮影レンズ５００の光軸と一致する。

次に、画素部１０１−２について説明する。画素部１０１−２のマイクロレンズ１０１ｃ−ｏは画素部の中心には一致しておらず、撮影レンズ５００の光軸寄りに所定量ｄｘ１だけ偏心している。そこで、画素部１０１−２の主光線ＲＹｃ−ｏは光軸に対して所定の角度ω１だけ傾斜することになり、撮像面から所定距離だけ隔たった位置で光軸と交差する。この交差位置における光軸と直交する仮想面をセンサ瞳面、センサ瞳面と撮像面の間の距離ＰＤＳ１をセンサ瞳距離と呼ぶことにする。同図（ａ）において、２つの三角形の相似関係より、
Ｘ／（ＰＤＳ１＋ｈ１）＝ｄｘ１／ｈ１ （式６）
とである。当実施例においては、マイクロレンズ１０１ｃ−ｏの偏心量ｄｘ１によってセンサ瞳距離ＰＤＳ１は撮影レンズ５００の射出瞳距離ＰＤＬと等しい。よって式５より、マイクロレンズの偏心量ｄｘ１は、
ｄｘ１＝Ｘ×ｈ１／（ＰＤＳ１＋ｈ１） （式７）
である。そしてマイクロレンズの偏心により、一対の光電変換部１０１ａ−ｏと１０１ｂ−ｏの主光線ＲＹａ−ｏ及びＲＹｂ−ｏも撮影レンズ５００の光軸方向に偏倚し、センサ瞳面で、画素部１０１−１の各光電変換部の主光線ＲＹａ及びＲＹｂと交差する。

画素部１０１−１と画素部１０１−２の間にある画素部のマイクロレンズの偏心量ｄｘ１は、当該画素部の像高ｘに比例する。すると、任意の像高に位置する画素部の主光線は、撮像面から同一距離のセンサ瞳面上で光軸と交わることになる。すなわち、すべての画素部の瞳領域は、センサ瞳面上において撮像面中央の画素部の瞳領域ＡＦＰａ１及びＡＦＰｂ１と実質的に一致し、その基線長はＧＰ１となる。このように撮影レンズ５００の射出瞳距離ＰＤＬとセンサ瞳距離をＰＤＳ１一致させることで、一対の焦点検出光束の光量が像高に依らず等しくなるため、焦点検出領域が撮像面の端部にあっても正確な焦点検出が可能となる。

図７（ｂ）は、撮影レンズ５００と撮像素子１０２の関係を示すものである。撮影レンズ５００から撮像素子１０２に向かう光束はビームスプリッタ１０３を介して９０度折れ曲がるとともに、撮像素子１０２上に形成される被写体像は鏡像であるが、ここでは光束を直線状に展開し、鏡像も元の正像に戻した状態で説明する。図２で説明したように、撮像素子１０１に対して撮像素子１０２はｘｙ平面上における画素部の大きさが異なるため、ｘｚ断面における画素部内の各機能部の大きさも異なる。

図７（ｂ）には図７（ａ）と同様に２個の画素部１０２−１及び１０２−２が図示され、画素部１０２−１は撮像面中央、すなわち像高ｘ＝０ｍｍに配置され、画素部１０２−２は像高ｘ＝１０ｍｍに配置されている。画素部１０２−１のマイクロレンズ１０２ｃは、光軸が画素部中心（一対の光電変換部の境界部）と一致する。マイクロレンズ１０２ｃの焦点位置は、図４（ｂ）で説明したように、一対の光電変換部１０２ａ及び１０２ｂの最上面近傍であるため、撮影レンズ５００の射出瞳ＥＰＬと光電変換部の上面はマイクロレンズにより光学的に略共役である。

よって、撮像素子１０１の場合と同様に、一対の光電変換部１０２ａ及び１０２ｂは、対応する一対の瞳領域ＡＦＰａ２及びＡＦＰｂ２を通過した光束を受光する。この瞳領域ＡＦＰａ２及びＡＦＰｂ２が画素部１０２−１の瞳領域に相当する。直線ＲＹａ、ＲＹｂは、それぞれ第１の光電変換部としての光電変換部１０２ａ及び第２の光電変換部としての光電変換部１０２ｂがそれぞれ受光する光束の主光線である。よって、撮影レンズ５００の射出瞳ＥＰＬの領域内を通過する一対の光束の、主光線の間の距離、すなわち瞳領域の重心間の距離である基線長ＧＰ２が、位相差検出の際の基線長となる。また、ＲＹｃは記録用又は表示用の画像信号を得る際の画素部の主光線であり、撮影レンズ５００の光軸と一致する。

画素部１０２−２のマイクロレンズ１０２ｃ−ｏは、第１の撮像素子の画素部１０１−２と同様に撮影レンズ５００の光軸寄りに所定量ｄｘ２だけ偏心している。そのために、画素部１０２−２の主光線ＲＹｃ−ｏは光軸に対して所定の角度ω２をなし、像面からの距離ＰＳＤ２の所で光軸と交差する。そして、画素部１０２−１と画素部１０２−２の間にある画素部のマイクロレンズの偏心量ｄｘ２は、当該画素部の像高Ｘに比例し、先に説明した式５及び式６と同様の関係が成り立つ。よって、任意の像高に位置する画素部の主光線はセンサ瞳面上で光軸と交わることになる。すなわち、第２の撮像素子においても、すべての画素部の瞳領域はセンサ瞳面上において、撮像面中央の画素部の瞳領域ＡＦＰａ２及びＡＦＰｂ２と実質的に一致し、その基線長はＧＰ２となる。

ここで、基線長ＧＰ１とＧＰ２の関係について説明する。撮像素子１０１に対して撮像素子は画素部の寸法が大きいため、画素サイズ（画素ピッチ）に対する光電変換部のｘ及びｙ方向の寸法比は、撮像素子１０１の有する画素部と比べて第２の撮像素子が有する画素部において大きくすることが可能である。当実施例では撮像素子１０２の光電変換部１０２ａ及び１０２ｂのｘ方向寸法が、撮像素子１０１の光電変換部１０１ａ及び１０１ｂのｘ方向寸法よりも大きい。その結果センサ瞳面上での瞳領域も大きく、撮像素子１０２の基線長ＧＰ２も撮像素子の基線長ＧＰ１より大きい。

また、撮像素子１０１と同様の理由により、撮像素子１０２の瞳領域にも所定のボケが生じ、一対の瞳領域はＲＰ２だけ重なっているが、その重なり量ＲＰ２は第１の撮像素子１０１における重なり量ＲＰ１より小さい。

本実施例において撮像素子１０１では撮像素子１０２よりも重なり量が大きい理由は、撮像素子１０１では撮像素子１０２よりもボケ量が大きいからである。前述の通り、撮像素子１０１では撮像素子１０２と比べてマイクロレンズの焦点位置がマイクロレンズに対して光電変換部の方向に深い、すなわち後ピンである。撮像素子１０１では射出瞳ＥＰＬと光電変換部の上面の光学的な共役状態を崩すことで瞳領域をボケさせている。

光軸方向に対して射出瞳と同じ位置に逆投影される、撮像素子１０１の光電変換部の逆投影像も、撮像素子１０２の場合と比べてよりｚ軸方向にも伸びる立体であるため、撮像素子１０２の場合よりもボケを生ずる。すなわち対応する撮像素子１０１の瞳領域ＡＦＰａ１及びＡＦＰｂ１も同様に、撮像素子１０２のＡＦＰａ２及びＡＦＰｂ２と比較してｚ軸方向に伸びる領域となる。これにより、撮像素子１０１では撮像素子１０２と比べてより瞳領域のボケが大きくなる。

以上の理由により、撮像素子１０１の瞳領域ＡＦＰａ１及びＡＦＰｂ１は、撮像素子１０２の瞳領域ＡＦＰａ２及びＡＦＰｂ２と比較してボケが大きいため、重なり量ＲＰも撮像素子１０１において撮像素子１０２より大きい。

以上説明したように、撮像面で位相差式の焦点検出を行うための撮像素子においては、センサ瞳距離、瞳領域の基線長、及び瞳領域の重なり量が焦点検出性能を決める重要な特性値である。そしてこれらの特性値は撮像素子を構成する画素部内の各機能部の配置や寸法に依存する。本実施例においては、第１の撮像素子１０１と第２の撮像素子１０２に関し、前述したようにセンサ瞳距離は実質的に同一となる。一方で、位相差検出のための基線長は撮像素子１０１よりも撮像素子１０２において大となり、瞳領域の重なり量は撮像素子１０１の方が大となる。すなわち式で表わすと以下のようになる。
ＰＤＳ１≒ＰＤＳ２ （式８）
ＧＰ１＜ＧＰ２ （式９）
ＲＰ１＞ＲＰ２ （式１０）

なお、瞳領域の重なりと基線長については図８以降で更に説明する。

図８は瞳領域の広がりと受光特性について説明する図である。図８（ａ）は、撮像素子１０１のセンサ瞳面上における瞳領域の平面図、図８（ｂ）は該瞳領域の受光特性を説明する図である。

図８（ａ）の平面における座標軸をｕｖとし、撮影レンズ５００の射出瞳ＥＰＬは直径Ｄ０の円で示される。瞳領域ＡＦＰａ１及びＡＦＰｂ１に対応する光電変換部１０１ａ及び１０１ｂの平面形状は、図２（ａ）に示したように撮像面のｘｙ平面上においてｘ方向に分離された２個の矩形である。しかしながら前述したように瞳領域は種々の原因でボケるため、図８（ａ）のように瞳領域ＡＦＰａ１及びＡＦＰｂ１の瞳領域の外周形状はボケて広がり、四隅は丸みを帯びるとともに隣接部は重なりを生じている。

図８（ａ）のＡ−Ａ断面における瞳領域ＡＦＰａ１及びＡＦＰｂ１の受光効率を図８（ｂ）に示す。横軸はセンサ瞳面上におけるＸ座標、縦軸は瞳領域ＡＦＰａ１及びＡＦＰｂ１の受光効率である。撮像面で位相差式の焦点検出を行う本実施例では、撮影レンズ５００と一対の光電変換部が、マイクロレンズにより、撮影レンズ５００の射出瞳ＥＰＬを仮想的に一対の領域に分割しており、これを前述の通り瞳領域と定義した。そして瞳領域は所定のボケを有していることを説明したが、瞳領域のボケている領域を通過する光束は光電変換部における光束の受光効率が低下していることを意味する。そこで、瞳領域のボケを受光効率の観点で説明したのが図８（ｂ）である。ＥＦａ１は瞳領域ＡＦＰａ１の受光効率、ＥＦｂ１は瞳領域ＡＦＰｂ１の受光効率である。各瞳領域は各々の中心部で受光効率が高く、周辺に行くに従って受光効率が低下し、裾を引いている。そして、各々の受光効率曲線で囲まれた領域の重心が各瞳領域の重心、一対の瞳領域の重心間の距離基線長ＧＰ１が位相差検出時の基線長となる。厳密には、同８（ａ）においてＡ−Ａ断面線をｖ軸上にずらしながら当該受光効率を積分し、積分した結果のｕ方向における重心間の距離が基線長ＧＰ１である。図８における撮影レンズ５００はＦナンバが小さいものを想定しているため、射出瞳ＥＰＬの直径Ｄ０は基線長ＧＰ１に対して十分に大きい。また、一対の瞳領域の受光率曲線が隣接する裾部分は幅ＲＰ１の重なりを生ずる。

図８（ｃ）は、撮像素子１０２の瞳領域の平面図、図８（ｄ）は該瞳領域の特性を説明する図で、撮像素子１０１における図８（ａ）及び図８（ｂ）に対応する。図８（ｂ）と図８（ｄ）の受光効率曲線を対比すると、基線長については撮像素子１０１の基線長ＧＰ１よりも撮像素子１０２の基線長ＧＰ２が大きい。一方で、受光効率曲線の裾のひろがり形状が異なり、裾の重なり量は撮像素子１０１の重なり量ＲＰ１に対して撮像素子１０２の重なり量ＲＰ２の方が小さい。撮影レンズ５００の絞りが開放近傍で、一対の瞳領域のケラレが無い場合、撮像素子１０１及び撮像素子１０２における焦点検出時の基線長は十分に大きい。一方で、撮影レンズ５００の絞りを絞り込んでいくに従い、一対の瞳領域は外側からケラレていくため、Ｆナンバの増加に応じて基線長ＧＰ１及びＧＰ２が短くなるが、その減少程度はＧＰ２よりもＧＰ１の方が著しい。

なお、本発明の実施例の説明では、瞳領域の重なり量を各瞳領域の裾の先端間の距離ＲＰ１及びＲＰ２で定義したが、この定義に限定されるものではない。一般に波形の裾先端の位置、すなわち応答性がゼロになる位置を厳密に規定することは困難なため、各波形の最高点に対する相対高さ、たとえば最高点の１０％になるところを波形の裾とし、その間の距離を瞳領域の重なり量と定義しても良い。あるいは、一方の波形の面積に対する両波形の重なり領域面積の比率で定義することも可能である。その例を図８（ｂ）で説明する。瞳領域ＡＦＰａ１に対応する受光効率波形ＥＦａ１で囲まれた部分の面積をＳａ１、瞳領域ＡＦＰｂ１に対応する受光効率波形ＥＦｂ１で囲まれた部分の面積をＳｂ１、両波形の重なり部（共通領域）の面積をＳａｂ１とし、瞳領域の重なり比ＳＲ１を、
ＳＲ１＝Ｓａｂ１／（（Ｓａ１＋Ｓｂ１）／２） （式１１）
で定義する。すなわち、重なり比とは、一対の瞳領域ぞれぞれの受光効率曲線で囲まれた領域を足して２で割った面積に対する当該一対の瞳領域の受光効率曲線で囲まれた領域の重複部分の領域の面積の比である。この定義によると、一対の瞳領域が完全に分離している場合はＳＲ１＝０、完全に重なっている場合はＳＲ１＝１となり、図８（ｂ）ではおよそＳＲ１＝０．１５となる。

図８（ｄ）に示した第２の撮像素子についても同様に、瞳領域の重なり比ＳＲ２を、
ＳＲ２＝Ｓａｂ２／（（Ｓａ２＋Ｓｂ２）／２） （式１２）
で定義すると、この場合はおよそＳＲ２＝０．０８となる。従って２つの撮像素子の瞳領域の重なり比の関係は、
ＳＲ１＞ＳＲ２ （式１３）
となり、式１０で定義したものと同様の大小関係である。すなわち、本実施例では、前記一対の瞳領域の重心を結んだ線を通る断面であるＡ−Ａ断面についてみたときに、撮像素子１０１における重なり比は第２の撮像素子１０２における重なり比よりも大きい。 次に図９を用いてデフォーカス量と像ずれ量の関係について説明する。図９（ａ）に示すように、被写体から射出し、瞳領域ＡＦＰａ１及びＡＦＰｂ１を通過した光束は合焦面ＪＰで交差する。これに対して撮像素子の撮像面ＩＰ、すなわち予定結像面が合焦面ＪＰからずれている場合、そのずれ量ＤＥＦがデフォーカス量であり、撮像面に到達した瞳領域の主光線はφだけ離間する。そこで合焦面を頂点とした２つの三角形の相似関係より、
ＧＰ／（ＰＤＬ−ＤＥＦ）≒ＧＰ／ＰＤＬ＝φ／ＤＥＦ （式１４）
となり、離間量φは、
φ＝ＤＥＦ×（ＧＰ／ＰＤＬ） （式１５）
となって、基線長ＧＰとデフォーカス量ＤＥＦに比例することがわかる。

図９（ａ）は点像について説明したものだが、焦点検出時には焦点検出視野内でｘ方向に広がった画像情報を用いる。そこで、ｘ方向に隣接した隣接した複数の画素部において、各画素部が含む第１の光電変換部の出力信号を連結して得た信号（Ａ像と呼ぶ）と、第２の光電変換部の出力信号を連結して得た信号（Ｂ像と呼ぶ）を生成する。この時のＡ像とＢ像の強度分布を概念的に示したものが図９（ｂ）である。ＳａがＡ像信号、ＳｂがＢ像信号を表わすが、両信号はｘ方向にφだけずれており、この像ずれ量φが同図（ａ）の光線離間量φに等しい。そこで、公知の相間演算アルゴリズムを用いてＡ像とＢ像のｘ方向の相対ずれ量φを算出する。そして、（式１５）を変形した以下の式、
ＤＥＦ＝φ×（ＰＤＬ／ＧＰ） （式１６）
を用いてデフォーカス量ＤＥＦを算出し、これにフォーカスレンズに固有の係数を乗じてフォーカスレンズ群を駆動することで、被写体像を撮像面に一致させ、合焦させることができる。

図１０は撮影レンズ５００のＦナンバに対する瞳領域の基線長や焦点検出精度の関係を説明する図である。同図（ａ）は、撮影レンズ５００のＦナンバに対する撮像素子１０１及び撮像素子１０２における瞳領域の基線長の変化状況を示す図である。横軸は撮影レンズ５００のＦナンバで１目盛がＦナンバの１段、縦軸は基線長で１目盛が２倍もしくは２分の１の変化になる対数目盛である。図中のＧＰ１及びＧＰ２は撮像素子１０１及び撮像素子１０２における一対の瞳領域の基線長である。また参考のため、撮影レンズ５００の射出瞳ＥＰＬの直径もＤ０で表記している。当実施例における撮影レンズ５００は、焦点距離と射出瞳距離ＰＤＬが共に１００ｍｍ、開放ＦナンバがＦ１．４としている。絞りを２段絞り込む、すなわちＦナンバが２段大きな数値になると、撮影レンズ５００の有効径は２分の１になるため、直径Ｄ０は傾きが−０．５の直線となる。

これに対して基線長ＧＰ１及び基線長ＧＰ２も撮影レンズ５００の絞り込みと共に減少するが、基線長ＧＰ１及び基線長ＧＰ２の減少の程度はＤ０の減少率よりも大で、かつ基線長Ｐ２よりも基線長ＧＰ１の方減少が著しい。その理由は、撮像素子１０２と比べて撮像素子１０１の方が瞳領域のボケが大きく、小絞りになるほど瞳領域の分離が不完全で基線長が短くなるためである。すなわち当実施例では、開放から小絞りの全領域に渡り、撮像素子１０１よりも第２の撮像素子１０２の基線長の方が大きく、両者の基線長の差異は小絞りになるほど差異（厳密には比）が顕著になる。よって焦点検出精度は全Ｆナンバ領域において、撮像素子１０１よりも撮像素子１０２において高精度となる。このように、撮像素子１０２は焦点検出性能重視であるといえる。

図１０（ｂ）は撮影レンズ５００のＦナンバと焦点深度の関係を示す図である。横軸は撮影レンズ５００のＦナンバで１目盛がＦナンバの１段、縦軸は焦点深度で１目盛が２倍もしくは２分の１の変化になる対数目盛とである。図１０（ａ）で説明したように、撮像面で位相差式の焦点検出を行う本実施例では、絞り込みとともに基線長が減少し、焦点検出精度が低下するが、絞り込みと共に画像の焦点深度は深くなるため、焦点検出時の許容誤差も大きくなる。撮影レンズ５００のＦナンバをＦ、画像の許容錯乱円径をδとすると、焦点深度は合焦点を基準に±Ｆδとなり、これはピントずれの許容値と見なすことができる。許容錯乱円の定義方法は種々あるが、ここでは撮像素子の画素サイズの２倍とする。本実施例では、撮像素子１０１の画素サイズは４μｍなので許容錯乱円径は８μｍ、撮像素子の画素サイズは６μｍなので許容錯乱円径は１２μｍとなる。

図８（ｂ）のＦδ１は撮像素子１０１の焦点深度で、絞り値が開放のＦ１．４の場合、焦点深度は±１１．２μｍ、絞り値がＦ４なら焦点深度は±３２μｍとなる。同様に焦点深度Ｆδ２は撮像素子１０２の焦点深度で、絞り値が開放のＦ１．４の場合の焦点深度は±１１．２μｍ、絞り値がＦ４なら焦点深度は±３２μｍとなる。このように絞りを２段絞り込む、すなわちＦナンバが２段大きな数値になると、撮影レンズ５００の有効径は２分の１になるため、焦点深度グラフは傾きが＋０．５の直線となる。また、所定のＦナンバで比較した時の大きさは画素サイズに比例する。

図１０（ａ）によると、Ｆナンバの増加とともに一対の瞳領域の基線長が減少するので焦点検出精度も低下するが、一方で図１０（ｂ）のごとくＦナンバの増加に応じて焦点深度が深くなるため、焦点検出の許容誤差も大きくなる。これらの状況を勘案し、焦点検出誤差と該誤差の許容値を概念的に示したものが図１０（ｃ）である。横軸は撮影レンズ５００のＦナンバで１目盛がＦナンバの１段、縦軸はＦナンバ毎の許容深度で正規化した焦点検出誤差で、直線目盛となっており、１Ｆδが許容値である。図中の破線の曲線Ｅｒ１は撮像素子１０１の焦点検出誤差、実線の曲線Ｅｒ２は撮像素子１０２の焦点検出誤差である。Ｆナンバの増加に応じて正規化された焦点検出誤差も増加し、Ｅｒ１はＦ８で許容値を超えるが、Ｅｒ２はＦ１６まで許容値以下に収まっている。すなわち、静止画撮影時に静止画用である撮像素子１０１で焦点検出を行なうと、小絞り時に合焦精度が規格を満足できない恐れがある。ただし、静止画撮影時は絞りを開放側に制御して焦点検出することにより、正規化された誤差を許容値以下に抑えることができる。絞り開放でＡＦし、所定のＦナンバまで絞り込んで撮影する場合の焦点検出誤差を一点鎖線のＥｒ０で示す。静止画撮影時の絞り制御のタイミングについては図１２の制御フロー図で説明する。

式１６によると、検出した像ずれ量からデフォーカス量を算出する場合には、基線長に関する情報が必要であり、図１０では基線長がＦナンバに応じて変化する様子を説明した。よって、本実施例の撮像装置では、式１６のＰＤＬ／ＧＰをＫとし、撮像素子とＦナンバ毎の定数として図１１に示すようなルックアップテーブルとして記憶している。

ここで、図１０（ａ）で説明したように、基線長は撮像素子１０１と撮像素子１０２で異なり、かつ撮影レンズ５００のＦナンバによっても変化する。そこで、図１１のルックアップテーブルでは撮像素子別にＦナンバ１段毎に定数を有している。すなわち、Ｋ１１ないしＫ１８は各Ｆナンバにおける撮像素子１０１の比例定数、Ｋ２１ないしＫ２８は撮像素子１０２の比例定数である。撮像素子１０１もしくは撮像素子１０２で検出した像ずれ量φと、この時のＦナンバより、図１１のテーブルから該当する定数Ｋを読み出し、以下の式、
ＤＥＦ＝φ×Ｋ （式１７）
を用いてデフォーカス量を算出することができる。なお、上式によれば、比例定数Ｋが小さいほど算出されるデフォーカス量ＤＥＦが小さいので、Ｋが小さいほど焦点検出分解能が高い、すなわち焦点検出精度が高いことになる。

図１２は本実施例における撮影処理の手順を示すメインフローチャートである。Ｓ１０１で撮影者がカメラの電源スイッチをオン操作すると、カメラＣＰＵ１０７はカメラ内の各アクチュエータや撮像素子１０１及び撮像素子１０２の動作確認を行なうとともに、メモリ内容や実行プログラムの初期化を行う。

Ｓ１０２ではカメラＣＰＵ１０４がレンズＣＰＵ５０７と通信を行ない、交換レンズの開放Ｆナンバ、焦点距離、射出瞳距離ＰＤＬ、フォーカスレンズ繰り出し量とピント変化量の比例定数であるフォーカス敏感度等の情報を受信する。

Ｓ１０３では撮影モードが静止画モードであるか動画モードであるかを判別し、静止画モードであればＳ１１１へ移行し、動画モードであればＳ１３１へ移行する。静止画モードが設定されている場合はＳ１１１以降のフローを実行する。

Ｓ１１１では静止画撮影用の撮像素子１０１をライブビューモードで駆動する。ライブビューとは、撮像素子で取得した画像を図１のファインダ内表示器１０７もしくは外部表示器１１０にリアルタイムで表示するモードである。記録用画像の画素数に対して該表示器の画素数は水平及び垂直方向共に少ないため、ライブビューモードでは撮像素子から読み出す際に、水平方向及び垂直方向共に画素の間引きを行ない、撮像素子や信号処理回路の消費電力を低く抑えている。また、ライブビューモードで読み出した画像信号を用いて位相差検出も行なうが、焦点検出信号の分解能維持のため、焦点検出領域のみ間引き読みせずに全画素情報を読み出してもよい。

Ｓ１１２では、Ｓ１１１で取得した画像信号の明るさを判断し、ライブビュー時の絞り制御を行なう。Ｓ１１１ないしＳ１１５は静止画撮影時のライブビューと焦点調節を行なうステップであるが、静止画撮影時はライブビュー時と静止画撮影時の絞りが異なっても大きな支障は無い。一方で、静止画用撮像素子は画素サイズが小さく、記録画素数が多いために合焦誤差の許容値は小さい。そこで、Ｓ１１２では撮影レンズ５００のＦナンバが小さい、すなわち絞り開口径が大きくなるように絞り制御を行なう。具体的には撮影レンズ５００のＦナンバを開放寄りのＦナンバとし、決定したＦナンバ情報をカメラ側通信端子１１３及びレンズ側通信端子５０８を介してレンズＣＰＵ５０７に送信する。すると、交換レンズ５００は絞り駆動部５０６を駆動制御し、光彩絞りの開口径を所定の値に制御する。そして撮影光学系を通過する光量が多く露光過多となる場合は、撮像素子の信号を増幅するアンプゲインを低くするとともに、露光時間を制御する電子シャッタの蓄積時間を短くする。

Ｓ１１３では、撮像素子１０１で取得した信号を表示用信号に変換し、ファインダ内表示器１０７もしくは外部表示器１１０に送信してライブビュー表示を開始する。

Ｓ１１４では、静止画撮影に適した焦点検出１のサブルーチンを実行する。当サブルーチンの詳細は図１３で説明する。

Ｓ１１５では、Ｓ１１４で算出したフォーカスレンズ駆動量を、カメラ側通信端子１１３及びレンズ側通信端子５０８を介してレンズＣＰＵ５０７に送信する。すると、交換レンズ５００はフォーカス駆動部５０４を所定量だけ駆動し、ピントズレを解消する。

Ｓ１１６では静止画開始トリガボタンがオン操作されたか否かを判断する。そしてオン操作されていなければＳ１１１に戻り、Ｓ１１１ないしＳ１１５のライブビュー表示と焦点調節動作を繰り返し実行する。静止画開始トリガボタンがオン操作されていたら、Ｓ１１６からＳ１２１に移行する。

Ｓ１２１では静止画撮影１のサブルーチンを実行する。当サブルーチンの詳細は図１４で説明する。

Ｓ１２２では、カメラＣＰＵ１０４がＳ１２１で取得した信号の処理を行ない、静止画像信号を生成する第１の生成手段又は動画信号を生成する第２の生成手段としてのカメラＣＰＵ１０４が記録画像を生成してメモリ手段としての記憶媒体１０６に記録する。なお、当該信号の処理や記録画像の生成は、専用の回路を設け、当該回路で行っても良い。その場合、第１の生成手段としての専用回路と第２の生成手段としての専用回路とは互いにほぼ同時に並行して動作可能なように構成してもよい。具体的には以下の処理を行なう。撮像素子１０１の各画素部は位相差検出のために一対２個の光電変換部を有しているため、その出力信号も各画素部について一対２個の信号からなりたっている。そこで画素部毎の一対の信号を加算制御手段としてのカメラＣＰＵ１０４又は専用の回路が加算し、各画素部の記録用又は表示用の画像信号を得る。ついで、ベイヤー配列の色情報をデモザイキングするカラー変換、ガンマ補正、圧縮等の処理を行ない、記録用の画像を生成する。

そしてＳ１２３で静止画撮影を終了する。

次いで、動画撮影時のフローについて説明する。Ｓ１０３において、動画撮影モードが設定されていたら、Ｓ１０３からＳ１３１に移行する。

Ｓ１３１では動画撮影用である撮像素子１０２をライブビューモードで駆動する。

Ｓ１３２では動画記録用の絞り制御を行なう。動画撮影時はライブビュー時と動画記録時の絞りが同じであるため、当ステップにおいては動画に適した絞り値を選択する。動画撮影時に電子シャッタの露光時間を短くし過ぎると、動きのある被写体の連続性が失われ、ストップモーションの静止画が高速でコマ送りされるような不自然な動画となる。よって、このような現象を回避する電子シャッタの秒時が選択され、適正露光となるように撮影レンズ５００の絞り値や撮像素子のアンプゲインが適正に制御される。ここで決定したＦナンバはカメラ側通信端子１１３及びレンズ側通信端子５０８を介してレンズＣＰＵ５０７に送信される。すると、交換レンズ５００は絞り駆動部５０６を駆動制御し、光彩絞りの開口径を所定の値に制御する。

Ｓ１３３では、撮像素子１０２で取得した信号を表示用信号に変換し、ファインダ内表示器１０７もしくは外部表示器１１０に送信してライブビュー表示を開始する。

Ｓ１３４では、動画撮影に適した焦点検出２のサブルーチンを実行する。当サブルーチンの詳細は図１５で説明する。

Ｓ１３５では、カメラＣＰＵ１０４が、Ｓ１３４で算出したフォーカスレンズ駆動量を、カメラ側通信端子１１３及びレンズ側通信端子５０８を介してレンズＣＰＵ５０７に送信する。すると、交換レンズ５００はフォーカス駆動部５０４を所定量だけ駆動し、ピントズレを解消する。

Ｓ１４１では動画撮影トリガボタンがオン操作されたか否かを判断する。そしてオン操作されていたら、Ｓ１４２でカメラＣＰＵ１０４が動画用の画像処理を行い、動画信号を生成する第２の生成手段としてのカメラＣＰＵ１０４が記録画像である動画を生成する。生成された動画が記録されると、Ｓ１４３に移行する。動画撮影トリガボタンがオン操作されていなければ動画記録することなく、Ｓ１４１からＳ１４３にジャンプする。

Ｓ１４３では静止画開始トリガボタンがオン操作されたか否かを判断する。本実施例では、動画用ライブビューもしくは動画記録時に静止画撮影が指示されると、撮像素子１０１による静止画の記録を可能としている。そこで、静止画開始トリガボタンがオン操作されていたら、Ｓ１４３からＳ１４４に移行する。

Ｓ１４４では静止画撮影２のサブルーチンを実行する。当サブルーチンでは、Ｓ１２１の静止画撮影１のサブルーチンとは異なり、動画撮影モードが選択された状態で、動画撮影に並行して静止画撮影を行なうよう，第１の制御手段としてのカメラＣＰＵ１０４が制御する。詳細は図１６で説明する。

Ｓ１４５では、カメラＣＰＵ１０４がＳ１４４で取得した静止画信号の処理を行ない、静止画像信号を生成する第１の生成手段としてのカメラＣＰＵ１０４が記録するための静止画像を生成してメモリ手段としての記憶媒体１０６に記録する。なお、当該信号の処理や記録画像の生成は、専用の回路を設け、当該回路において行っても良い。具体的な処理内容は先に説明したＳ１２２と同様である。

Ｓ１４５を実行したのちはＳ１４６に移行し、動画撮影トリガボタンがオフ操作されたか否かを判断する。そしてオン状態が継続していたら、Ｓ１３１ないしＳ１４５のステップを繰り返し実行し、動画用のＡＦ制御や動画記録を継続するとともに、静止画の割り込みも許可する。そしてＳ１４６で動画撮影トリガボタンがオフ操作されたと判断したら、Ｓ１２３に移行して動画撮影を終了する。

図１３は「焦点検出１」のフローであり、図１２のＳ１１４で実行するサブルーチンである。

Ｓ１１４よりＳ１５１に移行すると、ライブビューで制御されている撮影レンズ５００のＦナンバＦｎと、所定のＦナンバＦｎＣとの大小比較を行なう。そして、現在のＦナンバＦｎが所定値ＦｎＣ以下の第１のＦナンバである場合、すなわち絞り開口径が所定値より大きい場合はＳ１５２に移行する。

Ｓ１５２では第２制御手段としてのカメラＣＰＵ１０４が静止画用の撮像素子１０１から検出した信号を用いて焦点検出を行うよう制御する。具体的には、カメラＣＰＵ１０４が静止画用撮像素子１０１で取得した信号から一対の焦点検出信号（Ａ像とＢ像）を生成し、公知の相間演算アルゴリズムを用いて像ずれ量φ１を計算する。そして、カメラＣＰＵ１０４は図１１で説明した変換係数のなかから現在のＦナンバに対応した変換係数１を読み出し、前述の式１７を用いてデフォーカス量ＤＥＦを算出してＳ１５５に移行する。Ｓ１５５では、デフォーカス量をフォーカスレンズ駆動量に変換し、Ｓ１５６でメインフローにリターンする。

一方、Ｓ１５１において現在のＦナンバＦｎが所定値ＦｎＣより大の第２のＦナンバである場合、つまり絞り開口径が所定値以下である場合は、第２の制御手段としてのカメラＣＰＵ１０４が次のように制御する。カメラＣＰＵ１０４は動画用の撮像素子１０２から検出した信号を用いて焦点検出を行なうよう制御する。その理由は、図８で説明したように、Ｆナンバが大きくなるほど静止画用の撮像素子１０１の瞳領域の基線長が急激に小さくなり、焦点検出精度の低下が動画用の撮像素子１０２に比べて顕著になるためである。現Ｓ１５１によって現在のＦナンバＦｎが所定値ＦｎＣより大であるとわかったら、Ｓ１５３に移行する。

Ｓ１５３では動画用の撮像素子１０２を駆動し、所定の焦点検出領域における画素信号を読み出す。Ｓ１５４では読み出した画素信号から一対の焦点検出信号を生成し、像ずれ量φ２を計算する。そして、カメラＣＰＵ１０４は図１１で説明した変換係数のなかから現在のＦナンバに対応した変換係数２を読み出し、前述の式１７を用いてデフォーカス量ＤＥＦを算出し、Ｓ１５５に移行する。Ｓ１５５では、カメラＣＰＵ１０４又はレンズＣＰＵ５０７はデフォーカス量をフォーカスレンズ駆動量に変換し、Ｓ１５６でメインフローにリターンする。

前述のように本実施例では現在のＦナンバＦｎが所定値ＦｎＣ以下であるか、もしくは所定値ＦｎＣよりも大きいかに応じて撮像素子１０１と撮像素子１０２のいずれを焦点検出に行うかを第２の制御手段としてのカメラＣＰＵ１０４が制御する。すなわち、Ｆナンバがその時装着している撮影レンズ５００の最小値であるときは、第２の制御手段としてのカメラＣＰＵ１０４が静止画用の撮像素子１０１から検出した信号を用いて焦点検出を行うよう制御する。Ｆナンバがその時装着している撮影レンズ５００の最大値であるときは、第２の制御手段としてのカメラＣＰＵ１０４が動画用の撮像素子１０２から検出した信号を用いて焦点検出を行なうよう制御する。

以上のごとく、静止画撮影モードでの焦点検出において、Ｆナンバが小さく、静止画用の撮像素子１０１での焦点検出精度が十分な場合は、静止画用の撮像素子１０１の焦点検出信号が用いられる。静止画用撮像素子１０１に選択的に電力を供給し、動画用撮像素子を駆動しないため、消費電力の増加を抑えることができる。一方で、Ｆナンバが大きく、静止画用撮像素子１０１での焦点検出精度が十分でない場合は、動画用撮像素子を駆動し、該撮像素子の焦点検出信号を用いる。撮影に用いる静止画用撮像素子１０１だけでなく動画用撮像素子１０２にも電力を供給し、動画用撮像素子１０２を焦点検出に用いることで、焦点検出精度が維持される。このように、本実施例では焦点検出と撮影のために、撮影モードとレンズのＦナンバに応じて２つの撮像素子のうちのどちらか一方を駆動するためにいずれか一方の撮像素子に選択的に電力を供給する第１の電力供給モードを有する。また、２つの撮像素子両方を駆動し利用するために両方の撮像素子に電力を供給する第２の電力供給モードを有する。当該２つの電力供給モードを使い分けることで、画質と焦点検出性能を保つと同時により消費電力を抑えることができる。

図１４は「静止画撮影１」のフローであり、図１２のＳ１２２で実行するサブルーチンである。Ｓ１２２よりＳ１６１に移行すると、静止画撮影用のＦナンバをカメラ側通信端子１１３及びレンズ側通信手段５０８を介してレンズＣＰＵ５０７に送信する。すると、交換レンズ５００は絞り駆動部５０６を駆動制御し、光彩絞りの開口径を静止画撮影用のＦナンバに対応する値に制御する。

Ｓ１６２では、ライブビュー用に開放状態となっていたフォーカルプレンシャッタを、いったん閉鎖状態にリセット駆動する。

Ｓ１６３では撮像素子１０１で静止画撮影行なうための電荷蓄積動作を開始する。

Ｓ１６４では所定の露出演算プログラムで計算された静止画撮影用のシャッタ秒時に基づき、フォーカルプレンシャッタの先幕及び後幕を駆動制御し、撮像素子に所定の露光量を与える。

フォーカルプレンシャッタの走行が完了すると、Ｓ１６５で撮像素子１０１の蓄積動作を終了し、電荷転送を行ない、Ｓ１６６でメインフローにリターンする。

以上のごとく、静止画撮影モードが選択された状態で静止画撮影を行なう場合は、フォーカルプレンシャッタで光量調節を行ない、電荷転送時には撮像素子へ到達する光束を遮蔽する。これによりスミアやブルーミングの発生が回避でき、高画質の静止画を得ることができる。

図１５は「焦点検出２」のフローであり、図１２のＳ１３４で実行するサブルーチンである。

Ｓ１３４よりＳ１７１に移行すると、カメラＣＰＵ１０４は撮像素子１０２で取得された画像の（平均）空間周波数Ｆｒｑと、予め規定されている所定の空間周波数ＦｒｑＣとの大小比較を行なう。そして、取得画像の空間周波数Ｆｒｑが所定値ＦｒｑＣ以下の値であればＳ１７２に移行する。

Ｓ１７２では、第３の制御手段としてのカメラＣＰＵ１０４が、現時点で使用している動画用の撮像素子１０２で取得した信号を用いてから一対の焦点検出信号を生成し、公知の相間演算アルゴリズムを用いて像ずれ量φ２を計算するよう制御する。そして、カメラＣＰＵ１０４は図１１で説明した変換係数のなかから現在のＦナンバに対応した変換係数２を読み出し、前述の式１７を用いてデフォーカス量ＤＥＦを算出してＳ１７５に移行する。Ｓ１７５では、カメラＣＰＵ１０４又はレンズＣＰＵ５０７はデフォーカス量をフォーカスレンズ駆動量に変換し、Ｓ１７６でメインフローにリターンする。

一方で、Ｓ１７１において、撮像素子が空間周波数の非常に高い被写体像を撮像する場合、折り返し歪み（エイリアス）により取得した信号に誤差が生じる場合がある。そこで、取得画像の空間周波数Ｆｒｑが所定値ＦｒｑＣより大きい場合はＳ１７３に移行する。Ｓ１７３では第３の制御手段としてのカメラＣＰＵ１０４が画素ピッチの小さい静止画用の撮像素子１０１から信号を取得し、焦点検出に用いるよう制御する。具体的には撮像素子１０１を起動させ、所定の焦点検出領域における画素信号を読み出す。そして、Ｓ１７４では読み出した画素信号から一対の焦点検出信号を生成し、像ずれ量φ１を計算する。そして、カメラＣＰＵ１０４は図１１で説明した変換係数のなかから現在のＦナンバに対応した変換係数１を読み出し、前述の式１７を用いてデフォーカス量ＤＥＦを算出し、Ｓ１７５に移行する。Ｓ１７５では、カメラＣＰＵ１０４又はレンズＣＰＵ５０７はデフォーカス量をフォーカスレンズ駆動量に変換し、Ｓ１７６でメインフローにリターンする。

なお、本実施例のフローでは、動画用である撮像素子１０２で記録用又は表示用の画像信号を取得する場合に、画像の空間周波数に応じて２つの撮像素子を焦点検出において使い分けることを説明した。しかしながら、２つの撮像素子のどちらで画像信号を取得するかに関わらず、画像の空間周波数に応じて２つの撮像素子を焦点検出において使いわけることができる。例えば、画像の空間周波数が所定値以下である場合、すなわち折り返し歪みが起りにくい場合に基線長の長い撮像素子１０２で取得した信号を用いて焦点検出を行うようカメラＣＰＵ１０４が制御することもできる。これにより、より高い精度で焦点検出を行うことができる。

また、「焦点検出２」では、撮像素子１０２で取得した取得画像の空間周波数に応じて撮像素子１０１と撮像素子１０２のいずれから検出した信号を焦点検出に用いるかを制御することを説明した。これ以外にも、撮像素子１０２が取得した画像が高周波成分を有する第１の画像であるか、又は高周波成分を有しない第２の画像であるかに応じて、撮像素子１０１と撮像素子１０２のいずれを焦点検出に用いるかを制御しても良い。この場合に、当該取得画像が所定レベル以上の高周波成分を含む場合は第１の画像であり、当該取得画像が所定レベル以上の高周波成分を含まない場合は第２の画像であると判定される。当該取得画像が第１の画像である場合には撮像素子１０１から取得した信号を、当該取得画像が第２の画像である場合には撮像素子１０２から取得した信号を、焦点検出に用いるよう第４の制御手段としてのカメラＣＰＵ１０４が制御する。

このように、動画撮影モードでの焦点検出においても、Ｆナンバが大きくなっても基線長が相対的に大きな動画用の撮像素子１０２で焦点検出を行ない、静止画用の撮像素子１０１を駆動しないため、消費電力の増加を抑えることができる。一方で、焦点検出誤差が大きくなる恐れがある高周波被写体では静止画用の撮像素子１０１を駆動し、該撮像素子の焦点検出信号を用いることで焦点検出精度が維持され、常に焦点の合った高精細動画が取得できる。すなわち、動画撮影モードにおいても前述の第１の電力供給モードと第２の電力供給モードを備える。

図１６は「静止画撮影２」のフローであり、図１２のＳ１４４で実行するサブルーチンである。

Ｓ１４４よりＳ１８１に移行する時点で、フォーカルプレンシャッタは開放状態であるとともに、撮影レンズ５００の絞りは動画撮影用のＦナンバに制御されている。そこでＳ１８１では、この時点におけるＦナンバや撮像素子１０１について設定された感度に基づき、静止画用の撮像素子１０１の露出時間を演算する。

Ｓ１８２では、フォーカルプレンシャッタは開放状態のまま、撮像素子１０１の電子シャッタを動作させ、電荷蓄積を開始する。

Ｓ１８３では、所定時間が経過したのちに電子シャッタを閉動作させて電荷蓄積を終了し、Ｓ１８４で電荷転送を行ない、Ｓ１８４でメインフローにリターンする。

以上のごとく、動画撮影モードが選択された状態で、動画撮影に並行して静止画撮影を行なう場合は、動画撮影モードで制御されているＦナンバのまま静止画撮影を行なう。また、フォーカルプレンシャッタは動作させない。したがって、動画記録中に絞り開口径が不用意に変化することなく、かつフォーカルプレンシャッタの動作音が録音されることもないため、高品位な動画記録を継続したまま、静止画を得ることができる。

なお、前述の通り、撮像素子１０１の一対の瞳領域における基線長ＧＰ１は撮像素子１０２の基線長ＧＰ２よりも短い。また、撮像素子１０１の一対の瞳領域における重なり量ＲＰ１は撮像素子１０２の一対の瞳領域におけるＲＰ２よりも大きく、Ｆナンバの増加に応じて基線長ＧＰ１及びＧＰ２が短くなるが、その減少程度はＧＰ２よりもＧＰ１の方が著しい。これにより、本実施例では撮影レンズ５００のＦナンバに関係なく撮像素子１０２の一対の瞳領域の基線長は撮像素子１０１と比べて長い。しかしながら、これはＲＰ１よりもＲＰ２が大きくなることを妨げる趣旨ではない。この場合、絞りが開放である場合には撮像素子１０１と比べて撮像素子１０２における基線長が長かったとしても、Ｆナンバが大きく一対の瞳領域がけられると、撮像素子１０１のほうが撮像素子１０２よりも基線長が長くなる場合もある。この場合は、撮像素子１０１の基線長が撮像素子１０２の基線長よりも長い場合は撮像素子１０１で焦点検出し、撮像素子１０２の基線長が撮像素子１０１の基線長よりも長い場合は撮像素子１０２で焦点検出するように制御しても良い。このとき、撮像素子１０１と撮像素子１０２における基線長の関係が逆転する所定のＦナンバをカメラＣＰＵ１０４に記憶し、当該Ｆナンバに応じて焦点検出に用いる撮像素子を切り替えるよう構成しても良い。これにより、２つの撮像素子の異なる焦点検出特性を状況に応じて使い分けることができる。

更に、図１３の「焦点検出１」フローのＳ１５１では、静止画撮影時の焦点検出に用いる撮像素子の選択基準を撮影レンズ５００のＦナンバとしていたが、本実施例ではこれに限定されるものではない。図１７（ａ）は、静止画撮影時の焦点検出に用いる撮像素子を、静止画用撮像素子１０１から動画用撮像素子１０２に切り替える条件の一例を示している。図１７（ａ）において、番号１は図１３のサブルーチンフローで説明した判定指針に対応するもので、焦点検出時のＦナンバＦｎが所定のＦナンバＦｎＣ値より大であれば、静止画撮影時でも動画用撮像素子の焦点検出結果を採用する。

番号２は被写体輝度に応じて判断する例である。撮像素子が備える画素部の大きさは図２で説明したように、静止画用撮像素子１０１より動画用撮像素子１０２の方が画素部の開口面積が大きく高感度のため、被写体輝度が低い時には後者の信号の方が低ノイズである。よって、被写体輝度が所定値より低い場合は、動画用撮像素子の焦点検出結果を採用する。

番号３は連続撮影か否かに応じて判断する例である。静止画を連続撮影する場合の連写速度、いわゆる連写コマ速はライブビューのフレームレートよりも低速となるため、焦点検出サイクルも低下してしまう。そこで、静止画用撮像素子での連続撮影と並行し、動画用撮像素子で焦点検出を行なうことで、焦点検出サイクルの低下が回避でき、動く被写体に対するＡＦの追従能力が維持できる。

同様に、図１５の「焦点検出２」フローのＳ１７１では、動画撮影時の焦点検出に用いる撮像素子の選択基準を焦点検出用画像の空間周波数としていたが、本実施例ではこれに限定されるものではない。図１７（ｂ）は、動画撮影時の焦点検出に用いる撮像素子を、動画用撮像素子１０２から静止画用撮像素子１０１に切り替える条件の一例を示している。図１７（ｂ）において、番号１は図１５のサブルーチンフローで説明した判定指針に対応するもので、焦点検出信号の空間周波数Ｆｒｑが所定の周波数ＦｒｑＣ値より大であれば、動画撮影時でも静止画用撮像素子の焦点検出結果を採用する。

番号２は焦点検出用信号のコントラストに応じて判断する例である。図８で説明したように、静止画用撮像素子に対して動画用撮像素子は各瞳領域が大きく、基線長も長い。すると、動画用撮像素子で取得した焦点検出像はデフォーカス量の増加に応じてコントラストが低下しやすく、またＡ像とＢ像の相対ずれ量も大きいため、焦点検出が不能となる確率が高い。そこで、動画用撮像素子による焦点検出信号が低コントラストで焦点検出不能と判断された場合は、静止画用撮像素子による焦点検出結果を採用する。

以上の実施例１においては、動画用の撮像素子１０２に対して静止画用の撮像素子１０１の画素サイズは小さい。また、撮像素子１０１では撮像素子１０２と比較して光電変換部に対するマイクロレンズの焦点位置がマイクロレンズに対して光電変換部の方向に深い、すなわち焦点のずらし量が大きい。これらにより、撮像素子１０１は画質重視の瞳領域、動画用の撮像素子１０２は焦点検出性能重視の瞳領域としている。そして、静止画撮影モードと動画撮影モードのいずれにおいても、各撮像素子の焦点検出性能に応じた撮像素子の使い分けを行なうことで、消費電力が無駄に増加することを回避し、かつ高精度なＡＦを可能としている。

また、本実施例では２つ撮像素子を焦点検出にあたって焦点検出特性に応じて使い分けできるので、焦点検出精度の向上させることができる。また、複数種類の画素部を備えた１つの撮像素子において画素部の焦点検出特性に応じて画素部を焦点検出にあたって使い分ける場合と比較し、各撮像素子が１種類の画素により構成されている本実施例の撮像素子より画質を保つことができる。

以上、本実施例においては、前述した一対の瞳領域における互いが重複する領域を作ることで、射出瞳ＥＰＬの中心（光軸）上を通過して画素部に入射した光束も光電変換されるようになり、焦点のはずれたぼけ画像においても画質が低下しない。

また、本実施例の撮像素子１０１の瞳領域ＡＦＰａ１及びＡＦＰｂ１の基線長は撮像素子１０２の瞳領域ＡＦＰａ２及びＡＦＰｂ２の基線長と比べて長い。すなわち、２つの撮像素子では一対の瞳領域の基線長が異なるため、異なる基線長を持つ撮像素子を使い分けることで、総合的な焦点検出精度を向上させることができる。

実施例１では、図４に示したように、動画用撮像素子に対して静止画用の撮像素子１０１の画素サイズを小さく、またマイクロレンズの焦点位置を光電変換部に対してずらすことで、静止画用の撮像素子１０１の瞳領域の重なりが大きくなるようにした。以下に示す実施例２では、一方の撮像素子の画素部内に導波路を設けることで実施例１と同様の特性を得るようにしたものである。実施例２における第１の撮像素子としての撮像素子２０１と第２の撮像素子としての撮像素子２０２の撮像面内における形状は、図２に示した撮像素子１０１及び撮像素子１０２と同一である。また、撮像素子２０１及び撮像素子２０２の読み出し回路構成は図３に示したものと同一である。また、実施例２における撮像素子２０２の構造は実施例１の撮像素子１０２の構造と同じであるため、同一構成部分の説明は省略する。

図１８は実施例２における撮像素子２０１の画素部の構造と瞳領域を説明する図である。図１８（ａ）は実施例１の図４（ａ）に対応するもので、画素部２０１−１は撮像領域の中央、すなわち撮影レンズ５００の光軸上に位置している。

ＣＭＯＳイメージセンサの基体を成すシリコン基板２０１ｄ内には第１の光電変換部としての光電変換部２０１ａ及び第２の光電変換部としての光電変換部２０１ｂが形成されている。該また、光電変換部で発生した光電子を電圧に変換して外部に読み出す不図示のスイッチングトランジスタ等が形成されている。光電変換部の出力信号は配線層２０１ｅによって読み出される。各配線層は透明な層間膜２０１ｆによって絶縁されている。オンチップマイクロレンズ２０１ｃの下には色分離用のカラーフィルタ２０１ｇが設けられている。本実施例では層間膜２０１ｆは屈折率が約１．５の二酸化ケイ素が用いられ、その中央部分には屈折率が約２．０の窒化ケイ素製の導波路が形成されている。平坦化層２０１ｊは、層間膜２０１ｆと導波路２０１ｊの上面を平坦に保つとともに、マイクロレンズ２０１ｃと導波路２０１の距離を隔てる役割を有している。当図にはマイクロレンズの光軸に対して平行に入射する光線が図示されているが、当実施例ではマイクロレンズの焦点位置が導波路２０１ｊの高さ方向の中央付近となっている。

図１８（ｂ）は撮影レンズ５００と画素部間の瞳領域の関係を説明する図であり、実施例１の図７（ａ）に対応している。図１８（ｂ）には撮影レンズ５００の射出瞳ＥＰＬと、２個の画素部２０１−１及び２０１−２が図示されている。画素部２０１−１は撮像面中央、すなわち像高ｘ＝０に配置された画素部、画素部２０１−２は撮像面の端に近い場所、例えば像高ｘ＝１０ｍｍに配置された画素部である。画素部２０１−１は、マイクロレンズ２０１ｃの光軸が画素部の中心（一対の光電変換部の境界部）と一致している。一対の光電変換部２０１ａ及び２０１ｂに対応して、マイクロレンズ２０１ｃによって光軸方向に対して射出瞳ＥＰＬと同じ位置に一対の逆投影像が投影される。当該逆投影像に対応する領域瞳領域ＡＦＰａ１２及び瞳領域ＡＦＰｂ１２が位相差検出のためのいわゆる測距瞳となる。すなわち位相差検出時の基線長である基線長ＧＰ１２は一対一対の瞳領域の重心間の距離である。一対の瞳領域は重なり量ＲＰ１２を有している。

ここで、瞳領域の基線長ＧＰ１２と重なり量ＲＰ１２は共に図７（ａ）に示した実施例１における基線長ＧＰ１及び重なり量ＲＰ１と異なるが、特に実施例２では重なり量ＲＰ１２が重なり量ＲＰ１よりもかなり大きい。その理由は以下のとおりである。第１に、前述した通り、マイクロレンズ２０１ｃの焦点位置は光電変換部２０１ａ及び２０１ｂの上面に対してかなり前ピンであるため、瞳領域ＡＦＰａ１２及び瞳領域ＡＦＰｂ１２も大きくぼけて、各々の瞳領域の裾の広がりも大きくなる。また、導波路の内側壁面に到達した光線は全反射して導波路内を進むため、マイクロレンズの光軸に対して大きな角度で入射した光線も光電変換部に到達する。一例として、直線ＲＹｄは第１の瞳領域としての瞳領域ＡＦＰａ１２の中心より左に偏倚した位置から画素部に入射する光線である。直線ＲＹｄに対応する光線はマイクロレンズ２０１ｃの主点を通過して導波路２０１ｈに入射し、導波路の右側壁面で全反射して一対の光電変換部の境界部近傍に到達する。このように、本来は光電変換部２０１ａに入射すべき光線が２０１ｂに入射する割合が増加するため、瞳領域のボケが更に大きくなる効果を生み、一対の瞳領域の重なり量が増加することになる。

次に、画素部２０１−２について説明する。画素部２０１−２においても、実施例１の図７（ａ）で説明した画素部１０１−２と同様に、画素部２０１−２のマイクロレンズ２０１ｃ−ｏは所定量だけ偏心させている。このため、画素部の主光線ＲＹｃ−ｏは光軸に対してω１の傾きを有し、撮像面からセンサ瞳距離ＰＤＳ１だけ隔たった所で光軸と交差する。そして画素部２０１−１と画素部２０１−２の間にある画素部のマイクロレンズの偏心量は、当該画素部の像高ｘに比例する。従って、すべての画素部の瞳領域は、センサ瞳面上において撮像面中央の画素部の瞳領域ＡＦＰａ１２及び瞳領域ＡＦＰｂ１２と実質的に一致する。

図１９は実施例２の撮像素子における瞳領域の広がりと受光特性について説明する図で、実施例１の図８に対応する。図１９（ｃ）及び（ｄ）は撮像素子２０２の特性図であるが、これは実施例１における第２の撮像素子の特性と同一であるため、説明は省略する。同図（ａ）は実施例２における撮像素子２０１のセンサ瞳面上における瞳領域の平面図、該瞳領域のＡ−Ａ断面におけるが受光特性が図１９（ｂ）である。図１８（ｂ）で説明したように、一対の瞳領域ＡＦＰａ１２及びＡＦＰｂ１２はその輪郭が大きくボケて広がり、裾の重なりは重なり量ＲＰ１２だけ重複する。そして当実施例２においても、撮像素子２０１の瞳領域の重なり量ＲＰ１２は撮像素子２０２の瞳領域の重なり量ＲＰ２より大、すなわち、
ＲＰ１２＞ＲＰ２ （式１８）
の関係である。また、重なり部の面積比で比較する場合は、図８（ｂ）及び式１１で説明したものと同様の定義を適用し、撮像素子２０１の瞳領域の重なり比はＳＲ１２＝０．３となるため、
ＳＲ１２＞ＳＲ２ （式１９）
の関係が維持されている。なお、実施例２の撮像装置における焦点検出特性や、撮影フロー、焦点検出サブルーチン等は図１０ないし図１７で説明した実施例１と基本的に同一のため、説明は省略する。

以上のごとく実施例２においては、撮像素子２０１、すなわち静止画用の撮像素子の画素部内に導波路を設け、光軸に対して大きな角度で入射する光線も導波路の全反射作用で捕捉できるようにした。これにより瞳領域の重なりを大きくすることができ、実施例１と同様の作用や効果を得ることができる。

また、実施例では撮像素子２０１の画素部に導波路を設置したことで、集光効率が向上している。静止画用の撮像素子２０１の集光効率が向上することで、撮像素子２０１によって取得する画像の画質が向上する。

以下に示す実施例３は、一方の撮像素子をいわゆる裏面照射型ＣＭＯＳイメージセンサとし、他方の撮像素子を前述の実施例と同様に表面照射型ＣＭＯＳイメージセンサとすることで、実施例１及び実施例２と同様の特性を得るようにしたものである。実施例３における第１の撮像素子としての撮像素子３０１と第２の撮像素子としての撮像素子３０２の撮像面内における形状は、図２に示したものと同一であり、各撮像素子の読み出し回路構成は図３に示したものと同一である。また、実施例３における撮像素子３０２の構造は実施例１の撮像素子１０２の構造と同じであるため、同一構成部分の説明は省略する。

図２０は実施例３における撮像素子３０１の画素部の構造と瞳領域を説明する図である。図２０（ａ）は実施例１の図４（ａ）に対応するもので、画素部３０１−１は撮像領域の中央、すなわち撮影レンズ５００の光軸上に位置している。

シリコン基板３０１ｄはＣＭＯＳイメージセンサの基体を成し、シリコン基板３０１ｄ内には第１の光電変換部としての光電変換部３０１ａ及び第２の光電変換部としての光電変換部３０１ｂが形成されている。また、該光電変換部で発生した光電子を電圧に変換して外部に読み出す不図示のスイッチングトランジスタ等が形成されている。配線層３０１ｅによって光電変換部の出力信号が読み出される。層間膜３０１ｆは各配線層を絶縁している。撮像素子３０１は裏面照射型ＣＭＯＳイメージセンサであるため、本実施例においては、一対の光電変換部に対して配線層や層間膜は撮影光束の入射側とは反対の面に形成されている。光電変換部、配線層、及び層間膜が形成されたシリコン基板３０１ｄは、配線層形成部とは反対の面が化学研磨で除去されたのち、所定の厚さの平坦化層３０１ｊが形成される。平坦化層３０１ｊの上に色分離用のカラーフィルタ３０１ｇ、そしてオンチップマイクロレンズ３０１ｃが形成される。平坦化層３０１ｊは光電変換部の光束入射面を平坦に保つとともに、該光電変換部とマイクロレンズ３０１ｃとの距離を所定の値に保つ役割も有している。裏面照射型ＣＭＯＳイメージセンサは集光用マイクロレンズと光電変換部の間に配線層が無いため、表面照射型ＣＭＯＳイメージセンサに比べて光束の存在する部分が低背化される。そのため、各画素部の光の利用効率は高くなるが、マイクロレンズの焦点位置は光電変換部の上面よりもかなり下方向に深くなる。

図２０（ｂ）は撮影レンズ５００と画素部間の瞳領域の関係を説明する図であり、実施例１の図７（ａ）に対応している。図面には撮影レンズ５００の射出瞳ＥＰＬと、２個の画素部３０１−１及び３０１−２が図示されている。画素部３０１−１は撮像面中央、すなわち像高ｘ＝０に配置された画素部、画素部３０１−２は撮像面の端に近い場所、例えば像高ｘ＝１０ｍｍに配置された画素部である。画素部３０１−１は、マイクロレンズ２０１ｃの光軸が画素部中心（一対の光電変換部の境界部）と一致している。一対の光電変換部３０１ａ及び３０１ｂに対応して、マイクロレンズ３０１ｃによって光軸方向に対して射出瞳と同じ位置に一対の逆投影像が形成される。当該一対の逆投影像に対応する領域である瞳領域ＡＦＰａ１３及びＡＦＰｂ１３が位相差検出のためのいわゆる測距瞳となる。

本実施例においても、第１の撮像素子としての撮像素子３０１における一対の瞳領域の重なり量は、第２の撮像素子としての撮像素子３０２における一対の瞳領域の重なり量よりも大きい。本実施例１の場合と同様、撮像素子３０１では撮像素子３０２よりも当該重なり量が大きい理由は、撮像素子３０１では撮像素子３０２よりも各瞳領域のボケ量が大きいからである。

前述の通り、撮像素子３０１では撮像素子３０２と比べてマイクロレンズの焦点位置がマイクロレンズに対して光電変換部の方向に深い、すなわち後ピンである。これにより撮像素子３０１では射出瞳ＥＰＬと光電変換部の上面の光学的な共役状態が崩れるため、瞳領域がボケる。なお、マイクロレンズの焦点位置を後ピンとすることで瞳領域がボケる理由は実施例１において説明した通りである。

射出瞳ＥＰＬに逆投影される撮像素子３０１の光電変換部の逆投影像も、撮像素子３０２の場合と比べてよりｚ軸方向にも伸びる立体であるため、撮像素子３０２の場合よりもボケを生ずる。すなわち対応する撮像素子３０１の瞳領域ＡＦＰａ１３及びＡＦＰｂ１３も同様に、撮像素子３０２のＡＦＰａ２３及びＡＦＰｂ２３（不図示）と比較してｚ軸方向に伸びる領域となる。これにより、撮像素子３０１では撮像素子３０２と比べてより瞳領域のボケが大きくなる。

以上の理由により、撮像素子３０１の瞳領域ＡＦＰａ１３及びＡＦＰｂ１３は撮像素子３０２の瞳領域ＡＦＰａ２３及びＡＦＰｂ２３と比較してボケが大きいため、重なり量ＲＰも撮像素子３０１において撮像素子３０２より大きい。

位相差検出時の基線長である基線長ＧＰ１３は一対の瞳領域の重心間の距離である。一対の瞳領域の重なり量ＲＰ１３の重複領域を有している。

次に、画素部３０１−２について説明する。画素部３０１−２においても、実施例１の図７（ａ）で説明した画素部１０１−２と同様に、画素部３０１−２のマイクロレンズ３０１ｃ−ｏは所定量だけ偏心させている。これにより、画素部の主光線ＲＹｃ−ｏは光軸に対してω１の傾きを有し、撮像面からセンサ瞳距離ＰＤＳ１だけ隔たった所で光軸と交差する。そして画素部３０１−１と画素部３０１−２の間にある画素部のマイクロレンズの偏心量は、当該画素部の像高ｘに比例するので、すべての画素部の瞳領域は、センサ瞳面上において撮像面中央の画素部の瞳領域ＡＦＰａ１３及びＡＦＰｂ１３と実質的に一致する。

実施例３における瞳領域の基線長ＧＰ１３と重なり量ＲＰ１３は、マイクロレンズ３０１ｃの形状や平坦化層３０１ｊの厚さに依存するが、当実施例では実質的に図１８（ｂ）に示した実施例２と類似の特性である。従って、瞳領域の広がりと受光特性は図１９に示した実施例２と同様の特性となるため、詳細な説明は省略する。

以上のごとく実施例３においては、第１の撮像素子、すなわち静止画用の撮像素子３０１を裏面照射型ＣＭＯＳイメージセンサとした。マイクロレンズの集光特性や画素部の高さを調節することで、瞳領域の重なりを大きくでき、実施例１と同様の作用や効果を得ることができる。また、裏面照射型ＣＭＯＳイメージセンサでは、各画素部に入射する光が配線層に遮られないことから、より多くの光を受光できることが知られている。静止画用の撮像素子３０１として裏面照射型ＣＭＯＳイメージセンサを採用することで、静止画像の画質の向上が期待できる。

（変形例）
先に説明した実施例１ないし実施例３の各撮像素子は、各画素はｘ方向に並置された一対の光電変換部を備え、撮影レンズ５００の射出瞳をｘ方向に瞳分割し、被写体像のｘ方向の位相差を検出する実施形態であった。これに対して、撮像素子の各画素を撮像面に沿ったｘ方向とｙ方向に２×２個の合計４個の光電変換部で構成することもできる。これにより、被写体像の明暗パターンの方向性に応じてｘ方向もしくはｙ方向のうちの所望の方向、もしくは両方向に対して位相差検出することができる。この場合、撮像素子の各画素は二対の光電変換部で構成されるが、位相差検出の際は４個の光電変換部のなかから所定の２個を選択して一対の光電変換部として取り扱えば良い。または、ｙ方向に隣接する２個の光電変換部の出力を加算して一対の信号を得るようにしても良い。そしてこの変形例においても、一対の瞳領域の重なりは実施例１ないし実施例３で説明した特性とすることで、各実施例と同様の効果を得ることができる。

１０１、２０１、３０１ 第１の撮像素子
１０２ 第２の撮像素子
１０３ ビームスプリッタ
５００ 撮影レンズ
１０１ａ、１０１ｂ、１０２ａ、１０２ｂ、２０１ａ、２０１ｂ、３０１ａ、３０１ｂ 光電変換部
１０１ｃ、１０２ｃ、２０１ｃ、３０１ｃ マイクロレンズ
ＥＰＬ 射出瞳
ＩＰ 予定結像面
ＡＦＰａ１、ＡＦＰｂ１、ＡＦＰａ２、ＡＦＰｂ２、ＡＦＰａ１２、ＡＦＰｂ１２、ＡＦＰａ１３、ＡＦＰｂ１３ 瞳領域

Claims (21)

1. 撮影レンズの射出瞳を通過した光束を複数の光束に分割する光束分割手段と、
   複数のマイクロレンズを有し前記分割された光束の一方を受光する第１の撮像素子と、
   複数のマイクロレンズを有し前記分割された光束の他方を受光する第２の撮像素子と、を有し、
   前記第１、第２の撮像素子は、それぞれ各マイクロレンズに対応して、一対の光電変換部を有し、
   前記一対の光電変換部が受光する光束がそれぞれ通過する前記射出瞳の一対の瞳領域は、前記第１、第２の撮像素子のいずれでも重複し、
   前記第２の撮像素子における前記射出瞳の一対の瞳領域の重心間の距離は前記第１の撮像素子における前記重心間の距離と比べて大きいことを特徴とする撮像装置。
2. 前記射出瞳の直径は、前記一対の瞳領域の重心間の距離よりも大きいことを特徴とする請求項１に記載の撮像装置。
3. 前記第１の撮像素子の有する前記複数の光電変換部の各面積は、前記第２の撮像素子の有する前記複数の光電変換部の各面積よりも小さいことを特徴とする請求項１又は請求項２に記載の撮像装置。
4. 前記第１の撮像素子と前記第２の撮像素子は、
   撮影レンズを介して、被写体に対して光学的に共役な結像面にあることを特徴とする請求項１乃至請求項３のいずれか１項に記載の撮像装置。
5. 第１及び第２の撮像素子は複数の画素部を有し、
   前記第１の撮像素子は前記第２の撮像素子よりも画素数が多いことを特徴とする請求項１乃至請求項４のいずれか１項に記載の撮像装置。
6. 前記第１の撮像素子と前記第２の撮像素子において、記録用又は表示用の信号を得るために前記一対の光電変換部の信号を加算する加算制御手段を有することを特徴とする請求項１乃至請求項５のいずれか１項に記載の撮像装置。
7. 前記第１の撮像素子から静止画用の画像信号を生成する第１の生成手段と、前記第２の撮像素子から動画用の画像信号を生成する第２の生成手段を有することを特徴とする請求項６に記載の撮像装置。
8. 前記第１の生成手段と前記第２の生成手段が並行して画像信号の生成を行うよう制御する第１の制御手段を有する請求項７に記載の撮像装置。
9. 前記一対の瞳領域の重心を結んだ線を通る断面についてみたときに、前記一対の瞳領域の受光効率を示す受光効率曲線において、一対の瞳領域ぞれぞれの受光効率曲線で囲まれた領域の面積を足して２で割った面積に対する当該一対の瞳領域の受光効率曲線で囲まれた領域の重複部分の領域の面積の比が重なり比であり、第１の撮像素子における前記一対の瞳領域が重複する部分の重なり比は、第２の撮像素子における前記一対の瞳領域が重複する部分の重なり比とは異なることを特徴とする請求項１乃至請求項８のいずれか１項に記載の撮像装置。
10. 第１の撮像素子における重なり比は第２の撮像素子における重なり比よりも大きいことを特徴とする請求項９に記載の撮像装置。
11. 前記第１の撮像素子におけるマイクロレンズの焦点位置は、前記第２の撮像素子におけるマイクロレンズの焦点位置よりもマイクロレンズに対して光電変換部の方向に深い位置であることを特徴とする請求項９又は請求項１０に記載の撮像装置。
12. 前記第１の撮像素子は、前記マイクロレンズと一対の光電変換部との間に光をより効率よく受光するための導波路を有し、前記第２の撮像素子は導波路を有しないことを特徴とする請求項１又は請求項１０に記載の撮像装置。
13. 前記第１の撮像素子は、裏面照射型ＣＭＯＳイメージセンサであり、前記第２の撮像素子は表面照射型ＣＭＯＳイメージセンサであることを特徴とする請求項１乃至請求項１０のいずれか１項に記載の撮像装置。
14. 前記第１、第２の撮像素子の少なくとも一方から取得した信号を用いて焦点検出する焦点検出手段を有することを特徴とする請求項１乃至請求項１３のいずれか１項に記載の撮像装置。
15. 前記撮影レンズのＦナンバに応じて、前記第１、第２の撮像素子のいずれから信号を取得して焦点検出に選択的に用いるよう制御する第２の制御手段を有することを特徴とする請求項１４に記載の撮像装置。
16. 前記第１の撮像素子によって画像信号を取得する場合において、前記撮影レンズのＦナンバが所定値以下である第１のＦナンバである場合には、前記第１の撮像素子から取得した信号を用いて焦点検出を行い、撮影レンズのＦナンバが所定値よりも大きい第２のＦナンバである場合には、前記第２の撮像素子から取得した信号を用いて焦点検出を行うよう前記第２の制御手段が制御することを特徴とする請求項１５に記載の撮像装置。
17. 前記第１、第２の撮像素子の少なくとも一方から取得した信号を用いて焦点検出する撮像装置において、取得した画像の空間周波数に応じて、前記第１、第２の撮像素子のいずれかから信号を取得して焦点検出に選択的に用いるよう制御する第３の制御手段を有することを特徴とする請求項３に記載の撮像装置。
18. 前記第１又は第２の撮像素子から取得した画像の前記空間周波数が所定値以下である場合には、前記第２の撮像素子から取得した信号を用いて焦点検出を行い、前記空間周波数が所定値よりも大きい場合には、前記第１の撮像素子から取得した信号を用いて焦点検出を行うよう前記第３の制御手段が制御することを特徴とする請求項１７に記載の撮像装置。
19. 前記第１、第２の撮像素子の少なくとも一方から取得した信号を用いて焦点検出する撮像装置において、
    前記第２の撮像素子によって取得した画像が所定レベル以上の高周波成分を含む第１の画像である場合には、前記第１の撮像素子から取得した信号を用いて焦点検出を行い、
    前記画像が前記所定レベル以上の高周波成分を含まない第２の画像である場合には、第２の撮像素子から取得した信号を用いて焦点検出を行うよう制御する第４の制御手段を有することを特徴とする請求項３に記載の撮像装置。
20. 前記第１、第２の撮像素子のいずれかを選択して選択的に電力を供給する第１の電力供給モードと、前記第１、第２の撮像素子の両方に電力を供給する第２の電力供給モードを有することを特徴とする請求項１乃至請求項１９のいずれか１項に記載の撮像装置。
21. 撮影レンズを通過した光束を複数の光束に分割する光束分割手段と、
    複数のマイクロレンズを有しそれぞれ前記分割された光束の一方を受光する第１の撮像素子と、
    前記分割された光束の他方を受光する第２の撮像素子と、を有し、
    前記第１、第２の撮像素子は、それぞれ各マイクロレンズに対応して、一対の光電変換部を有し、
    前記第１の撮像素子と前記第２の撮像素子のそれぞれにおいて、前記一対の光電変換部のうちそれぞれ一方の光電変換部が受光する光束と、他方の光電変換部が受光する光束とは一部が重複し、
    前記第１の撮像素子と前記第２の撮像素子では、前記一方の光電変換部が受光する光束の主光線が通過する射出瞳の領域内の点と前記他方の光電変換部が受光する光束の主光線が通過する射出瞳の領域内の点との間の距離が異なることを特徴とする撮像装置。

Images