JP7145048B2 - 撮像装置及びその制御方法、プログラム、記憶媒体 - Google Patents

Description

本発明は、デジタルカメラ等の撮像装置に関するものである。

撮影レンズの射出瞳を複数の瞳領域に分割し、分割された瞳領域に応じた複数の視差画像を同時に撮影することができる撮像装置が提案されている。

特許文献１には、１つの画素に対して、１つのマイクロレンズと２つに分割された光電変換部が形成されている２次元撮像素子を用いた撮像装置が開示されている。分割された光電変換部は、１つのマイクロレンズを介して撮影レンズの射出瞳の異なる瞳部分領域を受光するように構成され、瞳分割を行っている。これらの分割された光電変換部で受光したそれぞれの信号から、分割された瞳部分領域に応じた複数の視差画像を生成することができる。

特許文献２では、水平方向と垂直方向に複数に分割した画素群から複数の視差画像を取得する画像処理装置が提案されている。２次元画像用の標準的な表示装置を用いて、利便性を低下させずに、取得した複数の視差画像を立体的に表示することができる。

特許第６１１６３０１号公報 特許第５９１７１２５号公報

しかしながら、特許文献１では、一方向にのみ分割された画素群を有する構成であり、その画素群を用いて水平視差と垂直視差を同時に取得する方法は開示されていない。特許文献２では、水平方向と垂直方向にそれぞれ分割された画素群を用いて水平方向と垂直方向の視差を同時に取得することができる。画素密度を変えずに水平方向と垂直方向にそれぞれ分割された画素群を実現させるためには、画素の小画素化が必要となる。しかしながら、小画素化により画素に付随する電気回路等が増加し、配線が複雑になる等、技術的な難度やコストが高くなるという課題がある。

本発明は上述した課題に鑑みてなされたものであり、その目的は、画素が一方向にのみ分割されている構成においても、撮像素子の行方向視差と列方向視差の双方を取得することが可能な撮像装置を実現することである。

本発明に係わる撮像装置は、結像光学系の異なる瞳領域をそれぞれ通過する光束を受光する複数の光電変換部が設けられた画素が複数配列された撮像素子と、前記撮像素子を遮光するメカニカルシャッタと、前記複数の光電変換部から取得される信号から視差画像を生成する生成手段と、を有し、前記撮像素子及び前記メカニカルシャッタにより、前記画素の露光を開始させる第１の先幕と、該第１の先幕から前記結像光学系の光軸に沿う方向に第１のずれ量だけ離れて配置され、前記第１の先幕によって露光が開始された前記画素の露光を終了させる第１の後幕とによる第１のシャッタ動作と、前記画素の露光を開始させる第２の先幕と、該第２の先幕から前記結像光学系の光軸に沿う方向に前記第１のずれ量よりも小さい第２のずれ量だけ離れて配置され、前記第２の先幕によって露光が開始された前記画素の露光を終了させる第２の後幕とによる第２のシャッタ動作と、が実現され、前記生成手段は、前記第１のシャッタ動作によって前記複数の光電変換部から取得される第１の信号群と、前記第２のシャッタ動作によって前記複数の光電変換部から取得される第２の信号群とを用いて、前記複数の光電変換部の数より多くの視差画像を生成することを特徴とする。

本発明によれば、画素が一方向にのみ分割されている構成においても、撮像素子の行方向視差と列方向視差の双方を取得することが可能な撮像装置を実現することが可能となる。

本発明の実施形態における撮像装置の機能構成例を示すブロック図。 本発明の実施形態における画素の回路構成例と画素配列の概略図。 本発明の実施形態における撮像素子の構成例を示す図。 本発明の実施形態における４視差画像取得フローチャート。 本発明の実施形態における画素と瞳分割の概略説明図。 第１の実施形態における第１のシャッタ動作の駆動時のボケ像を説明する図。 第１の実施形態における第２のシャッタ動作の駆動時のボケ像を説明する図。 第１の実施形態における縦方向視差信号と横方向視差信号の瞳部分領域の説明図。 第１の実施形態における縦方向視差信号例を示す図。 第１の実施形態における４視差信号取得時の瞳部分領域の説明図。 第１の実施形態における４視差画像例を示す図。 第２の実施形態における第１のシャッタ駆動時のボケ像を説明する図。 第２の実施形態における６視差信号取得時の瞳の部分領域の説明図。

以下、図面を参照しながら本発明の例示的な実施形態について説明する。なお、実施形態は発明の理解と説明を容易にするため、具体的かつ特定の構成を有するが、本発明はそのような特定の構成に限定されない。例えば、以下では本発明をレンズ交換が可能な一眼レフタイプのデジタルカメラに適用した実施形態について説明するが、本発明はレンズ交換が可能な一眼タイプのデジタルカメラや、レンズ交換できないタイプのデジタルカメラに対しても適用可能である。

（第１の実施形態）
図１は、本発明の撮像装置の第１の実施形態である撮影レンズを交換可能なカメラと撮影レンズからなるカメラシステムの構成例を示す図である。図１において、カメラシステムはカメラ１００と、交換可能な撮影レンズ３００とを備えて構成される。

撮影レンズ３００を通過した光束は、レンズマウント１０６を通過し、メインミラー１３０により上方へ反射されて光学ファインダ１０４に入射する。光学ファインダ１０４により、撮影者は被写体光学像を観察しながら撮影を行うことができる。光学ファインダ１０４内には、表示部５４の一部の機能、例えば、合焦表示、手振れ警告表示、絞り値表示、露出補正表示等が設置されている。

メインミラー１３０の一部は半透過性のハーフミラーで構成され、メインミラー１３０に入射する光束のうち一部はこのハーフミラー部分を通過し、サブミラー１３１で下方へ反射されて焦点検出装置１０５へ入射する。焦点検出装置１０５は、２次結像光学系とラインセンサを有する位相差検出方式の焦点検出装置であり、１対の像信号をＡＦ部（オートフォーカス部）４２に出力する。ＡＦ部４２では、１対の像信号に対して位相差検出演算を行い、撮影レンズ３００のデフォーカスの量および方向を求める。この演算結果に基づき、システム制御部５０が、撮影レンズ３００のフォーカス制御部３４２（後述）に対してフォーカスレンズの駆動制御を行う。

撮影レンズ３００の焦点調節処理が終了して静止画撮影を行う場合や、電子ファインダ表示を行う場合、動画撮影を行う場合には、不図示のクイックリターン機構によりメインミラー１３０とサブミラー１３１を光路外に退避させる。そうすると、撮影レンズ３００を通過してカメラ１００に入射する光束は、露光量を制御するためのメカニカルシャッタ１２を介して、撮像素子１４に入射可能になる。撮像素子１４による撮影動作終了後には、メインミラー１３０とサブミラー１３１は図示する様な位置に戻る。

ここで、本実施形態における第１のシャッタ動作と第２のシャッタ動作について説明する。本実施形態における第２のシャッタ動作は、撮像素子１４およびシステム制御部５０により実現する電子シャッタによるシャッタ動作、またはメカニカルシャッタ１２の先幕と後幕の走行により撮像素子１４の露光量を制御するシャッタ動作である。撮像素子１４およびシステム制御部５０により実現する電子シャッタは、システム制御部５０により、後述するメカニカルシャッタ１２の駆動方向（走行方向）に、撮像素子１４の電荷を順次リセットするリセットタイミングを制御して露光を行わせる機能である。なお本実施形態では、電子シャッタのシャッタ動作を、メカニカルシャッタ１２のシャッタ機構の動作と同様に、走行と表現して説明する。メカニカルシャッタ１２は、メカニカルシャッタの駆動方向に、先幕と後幕でスリットを形成し露光を行うシャッタ機構である。

また、本実施形態における第１のシャッタ動作は、撮像素子１４の有する電子シャッタ機能における先幕としての電荷のリセットと、メカニカルシャッタ１２の後幕とにより、スリットを形成し露光を行うシャッタ機構である。なお、先幕としての電子シャッタが走行する撮像面と、メカニカルシャッタ１２の後幕は、光軸に沿う方向の位置が異なる。また、本実施形態では、先幕を電子シャッタ機能で実現し、後幕をメカニカルシャッタの後幕で実現するようにしているが、これを逆にして、先幕をメカニカルシャッタの先幕で実現し、後幕を電子シャッタ機能で実現するようにしてもよい。

撮像素子１４はＣＣＤまたはＣＭＯＳイメージセンサであり、複数の光電変換部（またはフォトダイオード）を有する画素が複数、２次元的に配置された構成を有する。撮像素子１４は被写体光学像に対応する電気信号を出力する。撮像素子１４により光電変換されて得られた電気信号はＡ／Ｄ変換器１６へ送られ、アナログ信号出力がデジタル信号（画像データ）に変換される。なお、後述するように、Ａ／Ｄ変換器１６は撮像素子１４に組み込まれていてもよい。

本実施形態における撮像素子１４は少なくとも一部の画素が、上記のように複数の光電変換領域（またはフォトダイオード）を有するように構成されている。背景技術の欄で説明したように、このような構成を有する画素は、位相差検出方式の焦点検出に用いる信号を出力可能である。従って、クイックリターン機構によりメインミラー１３０とサブミラー１３１が光路外に退避し、焦点検出装置１０５に光が入射しない状態であっても、撮像素子１４の出力を用いた位相差検出方式の焦点検出が可能である。

本実施形態では、前述した第１のシャッタ動作と第２のシャッタ動作の２種類のシャッタ動作を用いて、１つの画素における複数の光電変換領域の数以上の視差信号を取得する。本実施形態では、図２（ｂ）に示す各画素の複数の光電変換領域２０１ａ，２０１ｂから、図２（ｂ）の紙面横方向の視差画像である横方向視差画像を取得し、生成する。さらに、第１のシャッタ動作と第２のシャッタ動作の２種類のシャッタ動作で取得される２枚の画像から、シャッタ動作の駆動方向である図２（ｂ）の紙面縦方向の視差画像である縦方向視差画像を取得し、生成する。縦方向視差信号と横方向視差信号の取得、生成については後述する。

タイミング発生回路１８は、撮像素子１４、Ａ／Ｄ変換器１６、Ｄ／Ａ変換器２６にクロック信号や制御信号を供給する。タイミング発生回路１８は、メモリ制御部２２及びシステム制御部５０により制御される。複数の光電変換領域を有する画素から、一部の光電変換領域の出力を読み出したり、全ての光電変換領域の出力を加算読み出ししたりするための制御信号は、システム制御部５０がタイミング発生回路１８を制御して撮像素子１４に供給する。

画像処理部２０は、Ａ／Ｄ変換器１６からの画像データ或いはメモリ制御部２２からの画像データに対して画素補間処理、ホワイトバランス調整処理、色変換処理などの所定の処理を適用する。また、画像処理部２０には、本実施形態における視差画像生成手段、信頼性判定手段、コントラスト情報判定手段、デフォーカス情報判定手段、露光量判定手段、エッジ判定手段が含まれる。

画像処理部２０はまた、Ａ／Ｄ変換器１６からの画像データ（撮像素子１４の出力信号）のうち、焦点検出用信号の生成に用いられる出力信号から、位相差検出方式の焦点検出に用いる１対の信号列を生成する。その後、１対の信号列はシステム制御部５０を介してＡＦ部４２へ送られる。ＡＦ部４２は１対の信号列の相関演算により信号列間のずれ量（シフト量）を検出し、ずれ量を撮影レンズ３００のデフォーカス量とデフォーカス方向に変換する。ＡＦ部４２は、変換したデフォーカスの量および方向をシステム制御部５０に出力する。システム制御部５０は、撮影レンズ３００のフォーカス制御部３４２を通じてフォーカスレンズを駆動し、撮影レンズ３００の合焦距離を調節する。

また、画像処理部２０は、撮像素子１４から得られる、通常の画像データを生成するための信号（それぞれの画素における複数の光電変換部の信号を加算した信号に相当）に基づいて、コントラスト評価値を演算することができる。システム制御部５０は、撮影レンズ３００のフォーカス制御部３４２を通じてフォーカスレンズ位置を変更しながら撮像素子１４で撮影を行い、画像処理部２０で算出したコントラスト評価値の変化を調べる。そして、システム制御部５０は、フォーカスレンズを、コントラスト評価値が最大となる位置に駆動する。このように、本実施形態のカメラ１００は、コントラスト検出方式の焦点検出も可能である。

従って、カメラ１００は、ライブビュー表示時や動画撮影時のようにメインミラー１３０とサブミラー１３１が光路外に退避していても、撮像素子１４から得られる信号に基づいて、位相差検出方式とコントラスト検出方式の両方の焦点検出が可能である。また、カメラ１００は、メインミラー１３０とサブミラー１３１が光路内にある通常の静止画撮影では、焦点検出装置１０５による位相差検出方式の焦点検出が可能である。このように、カメラ１００は、静止画撮影時、ライブビュー表示時、動画撮影時のどの状態においても焦点検出が可能である。

メモリ制御部２２は、Ａ／Ｄ変換器１６、タイミング発生回路１８、画像処理部２０、画像表示メモリ２４、Ｄ／Ａ変換器２６、メモリ３０、圧縮伸長部３２を制御する。そして、Ａ／Ｄ変換器１６のデータが画像処理部２０およびメモリ制御部２２を介して、あるいはメモリ制御部２２のみを介して、画像表示メモリ２４あるいはメモリ３０に書き込まれる。画像表示メモリ２４に書き込まれた表示用の画像データは、Ｄ／Ａ変換器２６を介して液晶モニタ等から構成される画像表示部２８に表示される。撮像素子１４で撮影した動画像を画像表示部２８に逐次表示することで、電子ファインダ機能（ライブビュー表示）を実現できる。画像表示部２８は、システム制御部５０の指示により表示をＯＮ／ＯＦＦすることが可能であり、表示をＯＦＦにした場合にはカメラ１００の電力消費を大幅に低減できる。

また、メモリ３０は、撮影した静止画像や動画像の一時記憶に用いられ、所定枚数の静止画像や所定時間の動画像を記憶するのに十分な記憶容量を備えている。これにより、連射撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ３０に対して行うことができる。また、メモリ３０はシステム制御部５０の作業領域としても使用できる。圧縮伸長部３２は、適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮伸長する機能を有し、メモリ３０に記憶された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えた画像データをメモリ３０に書き戻す。

シャッタ制御部３６は、測光部４６からの測光情報に基づいて、撮影レンズ３００の絞り３１２を制御する絞り制御部３４４と連携しながら、メカニカルシャッタ１２を制御する。インターフェース部３８とコネクタ１２２は、カメラ１００と撮影レンズ３００とを電気的に接続する。これらは、カメラ１００と撮影レンズ３００との間で制御信号、状態信号、データ信号等を伝え合うと共に、各種電圧の電流を供給する機能も備えている。また、電気通信のみならず、光通信、音声通信等を伝達する構成としてもよい。

測光部４６は、自動露出制御（ＡＥ）処理を行う。撮影レンズ３００を通過した光束を、レンズマウント１０６、メインミラー１３０、そして不図示の測光用レンズを介して、測光部４６に入射させることにより、被写体光学像の輝度を測定できる。被写体輝度と露出条件とを対応付けたプログラム線図などを用いて、測光部４６は露出条件を決定することができる。また、測光部４６は、フラッシュ４８と連携することにより調光処理機能も有する。なお、画像処理部２０による撮像素子１４の画像データを演算した演算結果に基づき、システム制御部５０が、シャッタ制御部３６と撮影レンズ３００の絞り制御部３４４に対してＡＥ制御を行うことも可能である。フラッシュ４８は、ＡＦ補助光の投光機能、フラッシュ調光機能も有する。

システム制御部５０は例えばＣＰＵやＭＰＵなどのプログラマブルプロセッサを有し、予め記憶されたプログラムを実行することによりカメラシステム全体の動作を制御する。不揮発性のメモリ５２はシステム制御部５０の動作用の定数、変数、プログラム等を記憶する。表示部５４はシステム制御部５０でのプログラムの実行に応じて、文字、画像、音声等を用いて動作状態やメッセージ等を表示する、例えば液晶表示装置である。表示部５４はカメラ１００の操作部近辺の視認し易い位置に単数或いは複数設置され、例えばＬＣＤやＬＥＤ等の組み合わせにより構成される。表示部５４の表示内容のうち、ＬＣＤ等に表示するものとしては、記録枚数や残撮影可能枚数等の撮影枚数に関する情報や、シャッタースピード、絞り値、露出補正、フラッシュ等の撮影条件に関する情報等がある。その他、電池残量や日付・時刻等も表示される。また、表示部５４は、前述した様にその一部の機能が光学ファインダ１０４内に設置されている。

不揮発性メモリ５６は、電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭ等が用いられる。６０，６２，６４，６６，６８及び７０は、システム制御部５０の各種の動作指示を入力するための操作部であり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。

モードダイアル６０は、電源オフ、オート撮影モード、マニュアル撮影モード、再生モード、ＰＣ接続モード等の各機能モードを切り替え設定できる。シャッタースイッチＳＷ１（６２）は、不図示のシャッターボタンが半押しされるとＯＮとなり、ＡＦ処理、ＡＥ処理、ＡＷＢ処理、ＥＦ処理等の動作開始を指示する。シャッタースイッチＳＷ２（６４）は、シャッターボタンが全押しされるとＯＮとなり、撮影に関する一連の処理の動作開始を指示する。撮影に関する一連の処理とは、露光処理、現像処理及び記録処理等のことである。露光処理では、撮像素子１４から読み出した信号をＡ／Ｄ変換器１６、メモリ制御部２２を介してメモリ３０に画像データとして書き込む。現像処理では、画像処理部２０やメモリ制御部２２での演算を用いた現像を行う。記録処理では、メモリ３０から画像データを読み出し、圧縮伸長部３２で圧縮を行い、記録媒体１５０或いは１６０に画像データとして書き込む。

画像表示ＯＮ／ＯＦＦスイッチ６６は、画像表示部２８のＯＮ／ＯＦＦを設定できる。この機能により、光学ファインダ１０４を用いて撮影を行う際に、液晶モニタ等から成る画像表示部２８への電流供給を遮断することにより、省電力を図ることができる。クイックレビューＯＮ／ＯＦＦスイッチ６８は、撮影した画像データを撮影直後に自動再生するクイックレビュー機能を設定する。操作部７０は、各種ボタンやタッチパネル等からなる。各種ボタンには、メニューボタン、フラッシュ設定ボタン、単写／連写／セルフタイマー切り替えボタン、露出補正ボタン等がある。

電源制御部８０は、電池検出回路、ＤＣ／ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成されている。電池の装着の有無、電池の種類、電池残量の検出を行い、検出結果及びシステム制御部５０の指示に基づいてＤＣ／ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体を含む各部へ供給する。コネクタ８２及び８４は、アルカリ電池、リチウム電池等の一次電池や、ＮｉＣｄ電池、ＮｉＭＨ電池、リチウムイオン電池等の二次電池、ＡＣアダプタ等からなる電源部８６をカメラ１００と接続する。

インターフェース９０及び９４は、メモリカードやハードディスク等の記録媒体との接続機能を有し、コネクタ９２及び９６は、メモリカードやハードディスク等の記録媒体と物理的接続を行う。記録媒体着脱検知部９８は、コネクタ９２または９６に記録媒体が装着されているかどうかを検知する。なお、本実施形態では、記録媒体を取り付けるインターフェース及びコネクタを２系統持つものとして説明しているが、インターフェース及びコネクタは、単数あるいは複数、いずれの系統数を備える構成としても構わない。また、異なる規格のインターフェース及びコネクタを組み合わせて備える構成としても構わない。更に、インターフェース及びコネクタにＬＡＮカード等の各種通信カードを接続することにより、コンピュータやプリンタ等の他の周辺機器との間で画像データや画像データに付属した管理情報を転送し合うことができる。

通信部１１０は、有線通信、無線通信等の各種通信機能を有する。コネクタ１１２は、通信部１１０によりカメラ１００を他の機器と接続し、無線通信の場合はアンテナである。記録媒体１５０及び１６０は、メモリカードやハードディスク等である。記録媒体１５０及び１６０は、半導体メモリや磁気ディスク等から構成される記録部１５２，１６２、カメラ１００とのインターフェース１５４，１６４、カメラ１００と接続を行うコネクタ１５６，１６６を備えている。

次に、撮影レンズ３００について説明する。撮影レンズ３００は、レンズマウント３０６をカメラ１００のレンズマウント１０６に係合させることによりにカメラ１００と機械的並びに電気的に結合される。電気的な結合はレンズマウント１０６及びレンズマウント３０６に設けられたコネクタ１２２及びコネクタ３２２によって実現される。レンズ３１１には撮影レンズ３００の合焦距離を調節するためのフォーカスレンズが含まれる。フォーカス制御部３４２は、フォーカスレンズを光軸に沿って駆動することで撮影レンズ３００の焦点調節を行う。フォーカス制御部３４２の動作は、システム制御部５０が、レンズシステム制御部３４６を通じて制御する。絞り３１２はカメラ１００に入射する被写体光の量と角度を調節する。

コネクタ３２２及びインターフェース３３８は、撮影レンズ３００をカメラ１００のコネクタ１２２と電気的に接続する。そして、コネクタ３２２は、カメラ１００と撮影レンズ３００との間で制御信号、状態信号、データ信号等を伝え合うと共に、各種電圧の電流を供給される機能も備えている。コネクタ３２２は電気通信のみならず、光通信、音声通信等を伝達する構成としてもよい。

ズーム制御部３４０はレンズ３１１の変倍レンズを駆動し、撮影レンズ３００の焦点距離（画角）を調整する。撮影レンズ３００が単焦点レンズであればズーム制御部３４０は存在しない。絞り制御部３４４は、測光部４６からの測光情報に基づいて、メカニカルシャッタ１２を制御するシャッタ制御部３６と連携しながら、絞り３１２を制御する。

レンズシステム制御部３４６は、例えばＣＰＵやＭＰＵなどのプログラマブルプロセッサを有し、予め記憶されたプログラムを実行することにより撮影レンズ３００全体の動作を制御する。そして、レンズシステム制御部３４６は、撮影レンズの動作用の定数、変数、プログラム等を記憶するメモリの機能を備えている。不揮発性メモリ３４８は、撮影レンズ固有の番号等の識別情報、管理情報、開放絞り値や最小絞り値、焦点距離等の機能情報、現在や過去の各設定値などを記憶する。以上が、カメラ１００と撮影レンズ３００からなる本実施形態のカメラシステムの構成である。

次に、撮像素子１４の構成について図２および図３を用いて説明する。

図２（ａ）は、撮像素子１４が有する複数の画素のうち、位相差検出方式の焦点検出に用いる信号を出力可能な構成を有する画素の回路構成例を示す。ここでは、１つの画素２００に、マイクロレンズを共有する複数の光電変換領域または光電変換部として２つのフォトダイオード（ＰＤ）２０１ａ，２０１ｂが設けられた構成について説明する。ＰＤ２０１ａ（第１の光電変換部）、ＰＤ２０１ｂ（第２の光電変換部）は、後述するように、焦点検出画素として機能するとともに、撮像画素としても機能する。なお、以下では、ＰＤ２０１ａから得られる信号をＡ信号、ＰＤ２０１ｂから得られる信号をＢ信号、ＰＤ２０１ａの信号とＰＤ２０１ｂの信号を加算した信号をＡ＋Ｂ信号と呼ぶ。

転送スイッチ２０２ａ，２０２ｂ、リセットスイッチ２０５、選択スイッチ２０６は例えばＭＯＳトランジスタにより構成される。以下の説明ではこれらスイッチはＮ型のＭＯＳトランジスタとするが、Ｐ型のＭＯＳトランジスタであってもよいし、他のスイッチング素子であってもよい。

図２（ｂ）は、撮像素子１４に２次元配列された複数の画素のうち、水平ｎ画素、垂直ｍ画素を模式的に示した画素配列の概略図である。ここでは、全ての画素が図２（ａ）に示した構成を有するものとする。各画素にはマイクロレンズ２３６が設けられ、ＰＤ２０１ａ，２０１ｂは同一のマイクロレンズを共有する
転送スイッチ２０２ａはＰＤ２０１ａとフローティングディフュージョン（ＦＤ）２０３との間に接続される。また、転送スイッチ２０２ｂはＰＤ２０１ｂとＦＤ２０３との間に接続される。転送スイッチ２０２ａ，２０２ｂは、それぞれＰＤ２０１ａ，２０１ｂで発生した電荷を共通のＦＤ２０３に転送する素子である。転送スイッチ２０２ａ，２０２ｂは、それぞれ制御信号ＴＸ＿Ａ，ＴＸ＿Ｂによって制御される。

ＦＤ２０３は、ＰＤ２０１ａ、ＰＤ２０１ｂから転送された電荷を一時的に保持するとともに、保持した電荷を電圧信号に変換する電荷電圧変換部（キャパシタ）として機能する。

増幅部２０４は、ソースフォロワＭＯＳトランジスタである。増幅部２０４のゲートは、ＦＤ２０３に接続され、増幅部２０４のドレインは電源電位ＶＤＤを供給する共通電源２０８に接続される。増幅部２０４は、ＦＤ２０３に保持された電荷に基づく電圧信号を増幅して、画像信号として出力する。

リセットスイッチ２０５は、ＦＤ２０３と共通電源２０８との間に接続される。リセットスイッチ２０５は、制御信号ＲＥＳによって制御され、ＦＤ２０３の電位を電源電位ＶＤＤにリセットする機能を有する。

選択スイッチ２０６は、増幅部２０４のソースと垂直出力線２０７の間に接続される。選択スイッチ２０６は、制御信号ＳＥＬによって制御され、増幅部２０４で増幅された画像信号を垂直出力線２０７に出力する。

図３は、撮像素子１４の構成例を示す図である。撮像素子１４は、画素アレイ２３４、垂直走査回路２０９、電流源負荷２１０、読み出し回路２３５、共通出力線２２８，２２９、水平走査回路２３２、データ出力部２３３を有する。以下では画素アレイ２３４に含まれる全ての画素が図２（ａ）に示した回路構成を有するものとする。しかしながら、一部の画素はマイクロレンズあたり１つのフォトダイオードが設けられた構成を有してもよい。

画素アレイ２３４は、行列状に配置された複数の画素２００を有する。図３には説明を分かりやすくするために、４行ｎ列の画素アレイ２３４を示している。しかし、画素アレイ２３４が有する画素２００の行数および列数は任意である。また、本実施形態において、撮像素子１４は単板式カラー撮像素子であり、原色ベイヤー配列のカラーフィルタを有している。そのため、画素２００には赤（Ｒ）、緑（Ｇ）、青（Ｂ）のカラーフィルタのいずれか１つが設けられている。なお、カラーフィルタを構成する色や配列に特に制限はない。また、画素アレイ２３４に含まれる一部の画素は遮光され、オプチカルブラック（ＯＢ）領域を形成する。

垂直走査回路２０９は、行ごとに設けられた駆動信号線２０８を介して、各行の画素２００に、図２（ａ）に示した各種の制御信号を供給する。なお、図３では説明を分かりやすくするために各行の駆動信号線２０８を１本の線で表しているが、実際には複数の駆動信号線が各行に存在する。

画素アレイ２３４に含まれる画素は、一列ごとに共通の垂直出力線２０７に接続される。垂直出力線２０７の各々には、電流源負荷２１０が接続される。それぞれの画素２００からの信号は、列ごとに設けられた読み出し回路２３５に垂直出力線２０７を通じて入力される。

水平走査回路２３２は、それぞれが１つの読み出し回路２３５に対応する制御信号ｈｓｒ（０）～ｈｓｒ（ｎ－１）信号を出力する。制御信号ｈｓｒ（）はｎ個の読み出し回路２３５の１つを選択する。制御信号ｈｓｒ（）で選択された読み出し回路２３５は、共通出力線２２８，２２９を通じてデータ出力部２３３に信号を出力する。

次に、読み出し回路２３５の具体的な回路構成例について説明する。図３には、ｎ個の読み出し回路２３５のうち１つについての回路構成例を示しているが、他の読み出し回路２３５も同じ構成を有する。本実施形態の読み出し回路２３５はランプ型のＡＤ変換器を含んでいる。

垂直出力線２０７を通じて読み出し回路２３５に入力された信号は、クランプ容量２１１を介してオペアンプ２１３の反転入力端子に入力される。オペアンプ２１３の非反転入力端子には、基準電圧源２１２から基準電圧Ｖｒｅｆが供給される。フィードバック容量２１４～２１６とスイッチ２１８～２２０がオペアンプ２１３の反転入力端子と出力端子の間に接続される。オペアンプ２１３の反転入力端子と出力端子の間にはさらにスイッチ２１７が接続される。スイッチ２１７は制御信号ＲＥＳ＿Ｃにより制御され、フィードバック容量２１４～２１６の両端をショートさせる機能を有する。また、スイッチ２１８～２２０はシステム制御部５０からの制御信号ＧＡＩＮ０～ＧＡＩＮ２で制御される。

比較器２２１にはオペアンプ２１３の出力信号と、ランプ信号発生器２３０から出力されるランプ信号２２４が入力される。Ｌａｔｃｈ＿Ｎ２２２はノイズレベル（Ｎ信号）を保持するための記憶素子であり、Ｌａｔｃｈ＿ＳはＡ信号およびＡ信号とＢ信号が加算された信号レベル（Ａ＋Ｂ信号）を保持するための記憶素子である。比較器２２１の出力（比較結果を表す値）とカウンタ２３１の出力（カウンタ値）２２５が、Ｌａｔｃｈ＿Ｎ２２２とＬａｔｃｈ＿Ｓ２２３のそれぞれに入力される。Ｌａｔｃｈ＿Ｎ２２２とＬａｔｃｈ＿Ｓ２２３の動作（有効または無効）はそれぞれ、ＬＡＴＥＮ＿Ｎ、ＬＡＴＥＮ＿Ｓで制御される。Ｌａｔｃｈ＿Ｎ２２２で保持したノイズレベルはスイッチ２２６を介して共通出力線２２８に出力される。Ｌａｔｃｈ＿Ｓ２２３で保持した信号レベルはスイッチ２２７を介して共通出力線２２９に出力される。共通出力線２２８，２２９はデータ出力部２３３に接続される。

スイッチ２２６，２２７は水平走査回路２３２からの制御信号ｈｓｒ（ｈ）信号で制御される。ここで、ｈは制御信号線が接続されている読み出し回路２３５の列番号を示す。各読み出し回路２３５のＬａｔｃｈ＿Ｎ２２２、Ｌａｔｃｈ＿Ｓ２２３に保持された信号レベルは共通出力線２３８，２２９に順次出力され、データ出力部２３３を通じてメモリ制御部２２や画像処理部２０に出力される。この、各読み出し回路２３５で保持された信号レベルを順次外部に出力する動作を水平転送と呼ぶ。なお、読み出し回路に入力される制御信号（ｈｓｒ（）を除く）や、垂直走査回路２０９、水平走査回路２３２、ランプ信号発生器２３０、カウンタ２３１の制御信号は、タイミング発生回路１８やシステム制御部５０から供給される。

以下、本実施形態における４視差画像生成について、図４から図１１を用いて説明する。なお本実施形態では、後述する方法で瞳領域を横方向に２分割した横視差信号Ｓ＿Ａ，Ｓ＿Ｂと、縦方向に２分割した縦視差信号Ｓ＿Ｃ，Ｓ＿Ｄから、縦横にそれぞれ２分割した４視差画像（Ｓ＿１、Ｓ＿２、Ｓ＿３、Ｓ＿４）を算出する。

図４は、本実施形態における４視差画像の生成フローチャートである。ステップＳ１、ステップＳ２では、前述した第１のシャッタ動作と第２のシャッタ動作を用いて、第１の信号群、第２の信号群を取得する。第１の信号群、第２の信号群は、撮像素子１４の画素毎に１×２分割された図４のＰＤ２０１ａ、ＰＤ２０１ｂによって取得される。ＰＤ２０１ａ、ＰＤ２０１ｂは、それぞれ図５に示す瞳部分領域３０１と瞳部分領域３０２の異なる瞳部分領域を通過する光束を受光する。

ステップＳ１では、前述した第１のシャッタ動作を高速秒時で用いて、図５のＰＤ２０１ａ、ＰＤ２０１ｂから得られる第１の信号群を取得する。なお、第１のシャッタ動作について再度記載すると、第１のシャッタ動作は、先幕としての撮像素子１４の電荷のリセットと、メカニカルシャッタ１２の後幕とにより、スリットを形成し露光を行う方式である。ここで、第１のシャッタ動作を高速秒時で用いた際に取得される第１の信号群における縦方向（図６、図７におけるＹ方向）の受光量について図６を用いて説明する。

図６は、ある時刻（ｔ１もしくはｔ２もしくはｔ３）にピント位置が撮像素子面よりも後方の１５７に位置している場合のボケ像が、第１のシャッタ動作によってケラレる様子を模式的に示した図である。第１のシャッタ動作の駆動方向は紙面上から下方向である。本実施形態では、第１のシャッタ動作を高速秒時で用いて瞳の部分領域からの光束を受光して縦方向の視差信号を取得する。また図６では、時刻ｔ１，ｔ２，ｔ３において、左側に第１のシャッタ動作が光束を遮る様子をＹＺ平面で模式的に示しており、右側に撮像素子面１５３におけるボケ像とケラレの様子をＸＹ平面で模式的に示している。

図６（ａ）の左側の図において、１８１，１８２は光学系の合成レンズ１５１の瞳の異なる部分領域を示している。１５３は本実施形態の電子シャッタの駆動する撮像素子面を示している。１５４は本実施形態のメカニカルシャッタ１２の走行するメカニカルシャッタ面を示している。１５５は電子シャッタによるリセット駆動による遮光部（電子先幕）を模式的に示している。１５６はメカニカルシャッタ１２による後幕（メカ後幕）を模式的に示している。このような電子先幕とメカ後幕を用いるシャッタ動作を本実施形態では、電子先幕シャッタと呼ぶ。電子先幕シャッタでは、電子先幕とメカ後幕は光軸方向に第１の光軸方向ずれ量ｄだけ離れて配置されている。

図６（ａ）の右側の図において、１７０ａ，１７０ｂ，１７０ｃは撮像素子面１５３におけるボケ像を示している。１７１ａ，１７１ｂ，１７１ｃは前述のボケ像が、電子先幕１５５もしくはメカ後幕１５６によってケラレている部分を示している。１７２ｂ，１７２ｃは前述のボケ像が、電子先幕１５５もしくはメカ後幕１５６によってケラレていない部分（第１のシャッタ動作時の開口部）を示している。

まず、図６（ａ）の時刻ｔ１における図を用いて説明する。時刻ｔ１は、電子先幕１５５の上端１５９が、撮像素子面１５３上に形成されるボケ像の上部に位置しており、メカ後幕１５６の下端１５８が、メカニカルシャッタ面１５４上に形成されるボケ像の上部に位置している瞬間である。この時、合成レンズ１５１からの光束は、メカ後幕１５６ではほとんど遮られていないが、電子先幕１５５によって遮られている状態である。この時の撮像素子面１５３におけるボケ像１７０ａは、図６（ａ）の時刻ｔ１における右側の図の通り、電子先幕１５５によって遮られている。

次に、図６（ａ）の時刻ｔ２における図を用いて説明する。時刻ｔ２は、メカ後幕１５６の下端１６０と、電子先幕１５５の上端１６２によって、撮像素子面１５３上に形成されるボケ像がケラレている瞬間である。この時、撮像素子面１５３における第１のシャッタ動作の開口部は、メカ後幕１５６の下端を撮像素子面１５３に投影した１６１と電子先幕の上端１６２によって形成される。この時の撮像素子面１５３におけるボケ像１７０ｂは、図６（ａ）の時刻ｔ２における右側の図の通り、開口部１７２ｂを形成し、それ以外の部分は電子先幕１５５とメカ後幕１５６によって部分的に遮られる（１７１ｂ）。

次に、図６（ａ）の時刻ｔ３における図を用いて説明する。時刻ｔ３は、メカ後幕１５６の下端１６３と、電子先幕１５５の上端１６５によって撮像素子面１５３上に形成されるボケ像がケラレている瞬間である。この時、撮像素子面１５３における第１のシャッタ動作の開口部は、メカ後幕１５６の下端を撮像素子面１５３に投影した１６４と電子先幕の上端１６５によって形成される。この時の撮像素子面１５３におけるボケ像１７０ｃは、図６（ａ）の時刻ｔ３における右側の図の通り、開口部１７２ｃを形成し、それ以外の部分は電子先幕１５５とメカ後幕１５６によって部分的に遮られる（１７１ｃ）。

以上の様にして、第１のシャッタ動作を用いた撮影が行われた際にボケ像がケラレる。次に図６（ｂ）を用いて、合成レンズの瞳がケラレる様子について説明する。

図６（ｂ）は、図６（ａ）の撮像素子面１５３において、電子先幕１５５とメカ後幕１５６によって作られる開口部の時間変化と、第１のシャッタ動作を用いた場合の撮像素子面１５３におけるボケ像を表している。図６（ｂ）における１５８～１６５は図６（ａ）における１５８～１６５と同一である。横軸は時刻ｔ１，ｔ２，ｔ３を示しており、縦軸は、カメラ内におけるＹ方向の遮光部の端部の位置を示している。各時刻における開口部は縦軸で示されている。まず、時刻ｔ１における開口部を考える。時刻ｔ１では、電子先幕１５５の上端１５９とメカ後幕１５６の下端１５８とで、光束が遮られる。メカ後幕１５６の下端１５８は撮像素子面１５３の１５９に投影されるため、撮像素子面１５３における開口部は、１５９－１５９となり全光束が遮られている状態となる。

次に、時刻ｔ２における開口部を考える。時刻ｔ２では、電子先幕１５５の上端１６２とメカ後幕１５６の下端１６０とで、光束が遮られる。メカ後幕１５６の下端１６０は撮像素子面１５３の１６１に投影されるため、撮像素子面１５３における開口部は、１６１－１６２となり光束の一部分が遮られている状態となる。また、開口部１６１－１６２は、メカ後幕１５６を撮像素子面１５３に投影する前の開口部１６０－１６２に比べて狭くなっている。

最後に、時刻ｔ３における開口部を考える。時刻ｔ３では、電子先幕１５５の上端１６５とメカ後幕１５６の下端１６３とで、光束が遮られる。メカ後幕１５６の下端１６３は撮像素子面１５３の１６４に投影されるため、撮像素子面１５３における開口部は、１６４－１６５となり光束の一部分が遮られている状態となる。また、開口部１６４－１６５は、メカ後幕１５６を撮像素子面１５３に投影する前の開口部１６３－１６５に比べて広くなっている。これにより光量のアンバランスが生じて、撮像素子面１５３におけるボケ像は、第１のシャッタ動作においてケラレている領域Ａｒｅａ０１と、ケラレていない領域Ａｒｅａ０２とに分かれる。以上の様に、第１のシャッタ動作を高速秒時で用いた際に取得される第１の信号群は、受光量分布がＹ方向に均一ではない。これは、合成レンズ１５１における瞳の部分領域１８１からの光束を受光していると考えることができる。

上述の説明では、ピント位置が撮像素子面よりも後方の１５７に位置している場合を説明したが、ピント位置が撮像素子面より前方にある場合も、同様に、ケラレが生じる。ケラレの生じる光束の角度は、ピント位置によらず同様であるが、その結果、生成されるボケ像のケラレ状況は、図６の場合と異なる。つまり、図６（ｂ）の右側の図で、下側（Ｙ軸負の方向）の方が、より多くケラレる。

ステップＳ２では、前述した第２のシャッタ動作をステップＳ１と同じ高速秒時で用いて、図５のＰＤ２０１ａ，ＰＤ２０１ｂから得られる第２の信号群を取得する。なお、第２のシャッタ動作について再度記載すると、第２のシャッタ動作は、撮像素子１４とシステム制御部５０で実現される電子シャッタ、またはメカニカルシャッタ１２である。第２のシャッタ動作は、先幕が走行する面と後幕が走行する面の光軸に沿う方向のずれ量が、第１のシャッタ動作に比較して少ないかあるいはゼロである。ここで、第２のシャッタ動作を高速秒時で用いた際に取得される第２の信号群における縦方向（図６、図７におけるＹ方向）の受光量について図７を用いて説明する。

図７は、ある時刻（ｔ１もしくはｔ２もしくはｔ３）にピント位置が撮像素子面よりも後方の点１５７に位置している場合のボケ像が、第２のシャッタ動作によってケラレる様子を模式的に示した図である。第２のシャッタ動作の駆動方向（走行方向）は紙面上から下方向である。また図７では、時刻ｔ１，ｔ２，ｔ３において、左側に第２のシャッタ動作において光束を遮る様子をＹＺ平面で模式的に示しており、右側に撮像素子面１５３におけるボケ像とケラレの様子をＸＹ平面で模式的に示している。

なお、図７では第２のシャッタ動作は、本実施形態の電子シャッタによるリセット動作による遮光部１９１（電子先幕）、１９２（電子後幕）として説明する。しかし１９１、１９２は、メカニカルシャッタ１２を用いた遮光部１９１（メカ先幕）、１９２（メカ後幕）であってもよい。

なお、本実施形態では電子先幕と電子後幕として説明するので、遮光部１９１（電子先幕）、１９２（電子後幕）は光軸方向にずれて配置されておらず、光軸方向ずれ量は０（ゼロ）となるため、第１のシャッタ動作に比べて遮光幕の光軸方向ずれ量は小さい。一方、メカ先幕とメカ後幕の場合は、遮光幕は光軸方向に離れて配置されてはいるが、電子先幕とメカ後幕の光軸方向ずれ量に比べると小さい。そのため、メカ先幕とメカ後幕においても、遮光幕の光軸方向ずれ量は小さい。

図７（ａ）の左側の図において、１８０は光学系の合成レンズ１５１の瞳領域を示している。１５３は本実施形態の電子シャッタを駆動する撮像素子面を示している。１９１は、電子シャッタによるリセット駆動による遮光部（電子先幕）を模式的に示している。１９２は、電子シャッタによるリセット駆動の後に行われる信号の読出しが完了する、読出し完了動作を表している（電子後幕）。本実施形態では、読出し完了動作を後幕の動作として模式的に示している。

図７（ａ）の右側の図において、１７０ａ，１７０ｂ，１７０ｃは撮像素子面１５３におけるボケ像を示している。１７３ａ，１７３ｂ，１７３ｃは前述のボケ像が、電子先幕１９１もしくは電子後幕１９２によってケラレている部分を示している。１７４ａ，１７４ｂ，１７４ｃは前述のボケ像が、電子先幕１９１もしくは電子後幕１９２によってケラレていない部分（第２のシャッタ動作の開口部）を示している。

まず図７（ａ）の時刻ｔ１における図を用いて説明する。時刻ｔ１は、電子先幕１９１の上端が、撮像素子面１５３上に形成されるボケ像の上端１５９に位置しており、電子後幕１９２の下端が、撮像素子面１５３上に形成されるボケ像の上端１９３に位置している瞬間である。この時、合成レンズ１５１からの光束は、電子先幕１９１、電子後幕１９２によって遮られている状態である。この時の撮像素子面１５３におけるボケ像１７０ａのほとんどの部分は、図７（ａ）の時刻ｔ１における右側の図の通り、電子先幕１９１、電子後幕１９２によって遮られている。

以降、図７（ａ）の時刻ｔ２、時刻ｔ３においても同様に電子先幕１９１、電子後幕１９２によって光束が遮られる。第２のシャッタ動作を用いた場合には、時刻ｔ１における電子先幕と電子後幕によって作られる開口部１５９－１９３と、時刻ｔ２における開口部１６２－１９４と、時刻ｔ３における開口部１６５－１９５は、等しい。

以上の様にして、第２のシャッタ動作を用いた撮影が行われた際にボケ像がケラレる。次に図７（ｂ）を用いて、合成レンズの瞳がケラレる様子について説明する。

図７（ｂ）は、図７（ａ）の撮像素子面１５３において、電子先幕１９１と電子後幕１９２によって作られる開口部の時間変化と、第２のシャッタ動作を用いた場合の合成レンズ１５１の瞳を模式的に表している。図７（ｂ）における１５９～１９５は図７（ａ）における１５９～１９５と同一である。各時刻における開口部は縦軸で示されている。図７（ｂ）では、図６（ｂ）とは異なり、電子先幕１９１と電子後幕１９２とが撮像素子面１５３にある（光軸上の同じ位置にある）ため、時刻ｔ１における開口部１５９－１９３と、時刻ｔ２における開口部１６２－１９４と、時刻ｔ３における開口部１６５－１９５は等しい。これにより、撮像素子面１５３におけるボケ像は、第２のシャッタ動作においてケラレていない領域Ａｒｅａ０３となる。これは、合成レンズ１５１における瞳領域１８０からの光束を受光していることになる。以上の様にして、第２のシャッタ動作を高速秒時で用いた際に取得される第２の信号群は、受光量分布がＹ方向に均一となる。

ステップＳ３では、ステップＳ２で取得した第２の信号群から横方向視差信号を算出する。横方向視差信号の算出について図５と図８(ａ）を用いて説明する。図８（ａ）は、図２（ｂ）の複数ある画素のうち１画素を抜き出して、横方向視差信号Ｓ＿Ａ，Ｓ＿ＢとＳ＿Ａ，Ｓ＿Ｂの合算信号である撮像信号Ｓ＿ＡＬＬを取得する際の瞳の部分領域を模式的に示している。

まず、画素毎に図５のＰＤ２０１ａとＰＤ２０１ｂから第１の信号群が得られる。そして、得られた第１の信号群から結像光学系の瞳部分領域３０１と瞳部分領域３０２に対応した図８（ａ）の横方向視差信号Ｓ＿ＡとＳ＿Ｂを算出することができる。本実施形態では、結像光学系の異なる瞳部分領域を通過する光束を受光する複数のＰＤが設けられた画素を複数配列した撮像素子により、異なる瞳部分領域毎の複数の横方向視差画像が取得される。

通過する瞳部分領域が異なれば、視点が異なる。したがって、本実施形態の撮像素子１４により、異なる視点の複数の横方向視差画像が取得される。また画素毎に、図４のＰＤ２０１ａとＰＤ２０１ｂの横方向視差信号Ｓ＿ＡとＳ＿Ｂを加算することで、図８(ａ）の有効画素数の解像度の撮像信号Ｓ＿ＡＬＬを生成することができる。

ステップＳ４では、ステップＳ１で取得された第１の信号群と、ステップＳ２で取得された第２の信号群を用いて、縦方向視差信号Ｓ＿Ｃ，Ｓ＿Ｄを算出する。縦方向視差信号の算出について図８（ｂ）、図９を用いて説明する。図８（ｂ）は、図２（ｂ）の複数ある画素のうち１画素を抜き出して、ステップＳ１とＳ２で取得された第１の信号群と、第２の信号群とから算出される縦方向視差信号Ｓ＿Ｃ，Ｓ＿Ｄと、Ｓ＿Ｃ，Ｓ＿Ｄの合算信号である撮像信号Ｓ＿ＡＬＬを取得する際の瞳の部分領域を模式的に示している。

また図９は、２本のバーを被写体として第１のシャッタ動作と第２のシャッタ動作を用いたときの光電変換部２０１ａ，２０１ｂの合算信号を示している。図９の横軸は、図６、図７におけるＹ方向位置を示しており、縦軸は信号強度を示している。図９（ａ）には、ステップＳ３で算出した撮像信号Ｓ＿ＡＬＬと、ステップＳ１で取得された第１の信号群Ｓ＿Ｃ’が示されている。また、図９（ｂ）には、後述する方法によりＳ＿Ｃ’から算出された縦方向視差信号Ｓ＿Ｃと、Ｓ＿ＡＬＬとＳ＿Ｃを用いて算出された縦方向視差信号Ｓ＿Ｄが示されている。

図６の合成レンズ１５１において、瞳の部分領域１８２と、瞳の部分領域１８１とは領域の大きさが等しく、かつ瞳の部分領域１８１と瞳の部分領域１８２を合算した領域が瞳領域１８０であるとすると、Ｓ＿Ｄは、下記式により求めることができる。

Ｓ＿Ｄ＝Ｓ＿ＡＬＬ－Ｓ＿Ｃ …（１）
図９（ｂ）に示したとおり、Ｓ＿ＤはＳ＿Ｃとミラー対称系であり、Ｓ＿ＣとＳ＿Ｄの合算信号（Ｓ＿ＣとＳ＿Ｄの合計面積）が撮像信号Ｓ＿ＡＬＬとなる。

次にＳ＿Ｃの取得方法について説明する。図９（ａ）は、撮像素子１４の中央像高における第２のシャッタ動作を高速秒時で用いたときの撮像信号Ｓ＿ＡＬＬと第１のシャッタ動作を高速秒時で用いたときの縦方向視差信号Ｓ＿Ｃ‘を示している。Ｓ＿ＡＬＬは合成レンズ１５１の瞳領域１８０からの光束を光電変換して得られる。縦方向視差信号Ｓ＿Ｃ’は前述したとおり、図６（ｂ）のように合成レンズ１５１の瞳の部分領域１８１からの光束を光電変換して得られるが、第１のシャッタ動作の駆動時刻ｔ１からｔ３において、光量のアンバランスが生じている。前述したとおり、合成レンズ１５１の瞳の部分領域１８２と、瞳の部分領域１８１とは領域の大きさが等しく、かつ瞳の部分領域１８１と瞳の部分領域１８２を合算した領域が瞳領域１８０である。また、図９のように中央像高であれば、縦方向視差信号Ｓ＿Ｃは下記式により求めることができる。

また、第１のシャッタ動作を用いる際のＩＳＯ感度を第２のシャッタ動作を用いる際のＩＳＯ感度よりも低感度にすることにより、前述の式（２）と同様の効果を得ることもできる。よって、本実施形態では、第１のシャッタ動作と第２のシャッタ動作を用いることで縦方向視差信号が取得される。

以上の様にして、縦方向視差信号Ｓ＿Ｃ，Ｓ＿Ｄを取得することができる。なお、縦方向視差信号Ｓ＿Ｃ，Ｓ＿Ｄを足し合わせた撮像信号Ｓ＿ＡＬＬの瞳領域とステップＳ３で算出した横方向視差信号Ｓ＿Ａ，Ｓ＿Ｂを足し合わせた撮像信号Ｓ＿ＡＬＬの瞳領域は同じ大きさである。

上述の通り、ステップＳ１で取得する信号と、合成レンズ１５１における瞳の対応領域は、光軸方向に位置のずれた遮光部（メカ後幕１５６と電子先幕１５５）によるケラレが生じる角度によって決定される。光軸方向に位置のずれた遮光部（メカ後幕１５６と電子先幕１５５）によるケラレが生じる光線の角度は、図６（ａ）の位置関係からわかるとおり、２つの遮光部の光軸方向のずれ量と開口の幅（Ｙ軸方向）によって決まる。そのため、２つの遮光部の開口の幅（Ｙ軸方向）を変更することにより、ケラレの状態を変えることができ、上述の場合とは異なる合成レンズ１５１における瞳の部分領域と対応した信号を得ることができる。本実施形態では、縦方向視差信号Ｓ＿Ｃ，Ｓ＿Ｄの視差量（対応する光束中心の角度差）が、最も大きくなるように、２つの遮光部の開口の幅を設定すればよい。

ステップＳ５では、縦方向視差信号Ｓ＿Ｃ，Ｓ＿Ｄの信頼性を判定する。縦方向視差信号Ｓ＿Ｃ，Ｓ＿Ｄは第１のシャッタ動作と第２のシャッタ動作の２種類のシャッタ動作で時系列に取得される２枚の画像を用いるため、２枚の画像を比較して信頼性を判定する。本実施形態では、信頼性判定として、コントラスト情報判定、デフォーカス情報判定、エッジ傾き度合い判定、露光量判定の４つの判定を行う。前述した４つの判定のうち、少なくとも１つが判定ＮＧの場合には、視差画像の信頼性が低いとして、４視差画像生成を行わずに本フローを終了する。

まず、コントラスト情報判定を行う。第１のシャッタ動作を高速秒時で用いて取得された縦方向視差信号Ｓ＿ＣもしくはＳ＿Ｄと、第２のシャッタ動作を用いて取得された横方向視差信号Ｓ＿Ａ，Ｓ＿Ｂを足し合わせた瞳領域Ｓ＿ＡＬＬとのコントラスト情報を比較する。コントラストを取得する方向は、第１のシャッタ動作の駆動方向と直交する方向である。縦視差信号を取得する際には、第１のシャッタ動作と第２のシャッタ動作の２種類のシャッタ動作で時系列に２つの画像を取得するが、第１のシャッタ動作の駆動方向と直交する方向であれば、時分割の影響がなければ２つの画像のコントラスト情報はあまり差が生じない。２つの画像のコントラスト情報に差があるとすれば、例えばパンニング動作や被写体移動等により、被写体の位置や明るさが変わった場合等である。以上の様にして、コントラスト情報の差が少なければ判定をＯＫとし、多ければ判定をＮＧとする。

次に、横方向視差信号Ｓ＿Ａ，Ｓ＿Ｂから算出される第１のデフォーカス量と、縦方向視差信号Ｓ＿Ｃ，Ｓ＿Ｄから算出される第２のデフォーカス量とのデフォーカス量の差を判定するデフォーカス情報判定を行う。なお、第１のデフォーカス量と第２のデフォーカス量の算出には、公知の方法を用いる。また、横方向視差信号として後述する図１０のＳ＿Ｃａ，Ｓ＿Ｃｂを用いてもよい。縦視差信号を取得する際には、第１のシャッタ動作と第２のシャッタ動作の２種類のシャッタ動作で時系列に２つの画像を取得するが、時分割の影響がなければ２つのデフォーカス量の差は少ない。デフォーカス量に差が生じるとすれば、例えばパンニング動作や被写体移動等により、被写体の位置や明るさが変わった場合等である。以上の様にして、デフォーカス量の差が少なければ判定をＯＫとし、多ければ判定をＮＧとする。

次に、第２のシャッタ動作で取得したＳ＿ＡＢ（Ｓ＿Ａ＋Ｓ＿Ｂ）と、第１のシャッタ動作で取得したＳ＿ＣＤ（Ｓ＿Ｃ＋Ｓ＿Ｄ）の露光量判定を行う。本実施形態では、縦視差信号Ｓ＿Ｃ，Ｓ＿Ｄを取得するために、まず図９（ａ）のＳ＿Ｃ’とＳ＿ＡＬＬの視差信号を取得する。Ｓ＿Ｃ’とＳ＿ＡＬＬは第１のシャッタ動作と第２のシャッタ動作の違いがあるが、上述の通り、視差量を重視して第１のシャッタ動作の２つの遮光部の開口の幅を決定している。そのため、２つの画像の露光量は異なる。しかしながら、その露光量の差は事前に把握しておくことが可能であるため、露光量判定のための補正値として記憶しておく。また、視差量を取得するため、第１のシャッタ動作と第２のシャッタ動作での撮影において、Ｆ値を同一に設定する。

そこで、本判定では、第１のシャッタ動作で取得したＳ＿Ｃ’と第２のシャッタ動作で取得したＳ＿ＡＬＬの露光量の差を判定する。第１のシャッタ動作と第２のシャッタ動作の２種類のシャッタ動作で時系列に２つの画像を取得するが、時分割の影響がなければ、Ｓ＿Ｃ’の露光量に補正値を乗じた値とＳ＿ＡＬＬの露光量の差は少ない。なお、露光量に差が生じるとすれば、例えばパンニング動作や被写体移動等により、被写体の位置や明るさが変わった場合等である。以上の様にして、露光量の差が少なければ判定をＯＫとして、多ければＮＧとする。Ｓ＿Ｃ’の露光量に乗じる補正値は、Ｆ値、判定を行う像高、結像光学系の射出瞳の光軸方向の距離によって異なるため、これらのパラメータに対応させて記憶しておけばよい。

最後に、第２のシャッタ動作で取得したＳ＿ＡまたはＳ＿ＢまたはＳ＿ＡＢと、第１のシャッタ動作で取得したＳ＿ＣまたはＳ＿ＤまたはＳ＿ＣＤとの略同一箇所に存在するエッジ部の傾き度合いの差を判定する。本実施形態では、第２のシャッタ動作は電子シャッタであり、順次リセット読出しを行うスリットローリングシャッタであるとする。そのため、高速移動被写体等を撮影した場合にはセンサ上下位置での読出し時間差によって被写体が斜めに歪んだようになるスリットローリング歪みが生じる。一方で、第１のシャッタ動作は、撮像素子１４の有する電子シャッタの電荷のリセット及び露光と、メカニカルシャッタ１２の後幕とにより、スリットを形成し露光を行うシャッタ動作である。後幕としてメカニカルシャッタを用いているため、前述の第２のシャッタ動作に比べて、歪みは小さい。本実施形態のエッジ判定では、このスリットローリング歪みが生じているか否かをエッジの傾き度合いの差から判定する。以上の様にして、エッジの傾き度合いの差が小さい場合には、スリットローリング歪みの影響がないと考えて判定をＯＫとし、エッジの傾き度合いの差が大きい場合には、スリットローリング歪みの影響があると考えて判定をＮＧとする。

以上の様にして、コントラスト情報判定、デフォーカス情報判定、エッジ傾き度合い判定、露光量判定の４つの判定から、縦方向視差信号の信頼性を決定する。４つの判定のうち少なくとも１つがＮＧの場合には、縦方向視差信号の信頼性はＮＧと決定する。また、４つの判定全てがＯＫの場合には、縦方向視差信号の信頼性ＯＫと決定する。縦方向視差信号の信頼性が決定した後、ステップＳ６へ移行する。

ステップＳ６では、ステップＳ５で判定した信頼性の結果に応じて、４視差画像を生成するか否かを判定する。ステップＳ５の判定結果がＮＧの場合には、縦方向視差信号の信頼性が低いとして、４視差画像は生成せずに本実施形態のフローを終了する。また、ステップＳ５の判定結果がＯＫの場合には、縦方向視差信号の信頼性が高いとして、４視差画像を生成するために、ステップＳ７へ移行する。

ステップＳ７では、ステップＳ５で信頼性が高いと判定された場合に４視差画像を生成する。ステップＳ３で取得された横方向視差信号Ｓ＿Ａ，Ｓ＿Ｂと、ステップＳ４で取得された縦方向視差信号Ｓ＿Ｃ，Ｓ＿Ｄから、４視差画像を生成する方法について図１０、図１１を用いて説明する。

図１０は、図２（ｂ）の複数ある画素のうち１画素を抜き出して、４視差信号取得時の瞳の部分領域を模式的に表している。図１０（ａ）は、第１のシャッタ動作を高速秒時で用いて取得される縦方向視差信号Ｓ＿Ｃ，Ｓ＿Ｄを横方向視差信号Ｓ＿Ａ，Ｓ＿Ｂ毎に分けて取得した際の信号Ｓ＿Ｃａ，Ｓ＿Ｃｂを示している。図１０（ｂ）では、図８（ａ）で取得されたＳ＿Ａ，Ｓ＿Ｂと、図１０（ａ）で取得されたＳ＿Ｃａ，Ｓ＿Ｃｂを用いて算出される４視差信号（Ｓ＿１，Ｓ＿２，Ｓ＿３，Ｓ＿４）を示している。本実施形態では、４視差信号（Ｓ＿１，Ｓ＿２，Ｓ＿３，Ｓ＿４）は、図１０（ｂ）の瞳中心から見てプラスＸ方向かつプラスＹ方向の瞳の部分領域の視差信号がＳ＿１である。また、マイナスＸ方向かつプラスＹ方向の瞳の部分領域の視差信号がＳ＿２、プラスＸ方向かつマイナスＹ方向の瞳の部分領域の視差信号がＳ＿３、マイナスＸ方向かつマイナスＹ方向の瞳の部分領域の視差信号がＳ＿４である。４視差信号（Ｓ＿１，Ｓ＿２，Ｓ＿３，Ｓ＿４）は以下の式で算出することができる。

Ｓ＿１＝Ｓ＿Ｃａ （３－１）
Ｓ＿２＝Ｓ＿Ｃｂ （３－２）
Ｓ＿３＝Ｓ＿Ａ－Ｓ＿Ｃａ （３－３）
Ｓ＿４＝Ｓ＿Ｂ－Ｓ＿Ｃｂ （３－４）
以上の様にして、第１のシャッタ動作と第２のシャッタ動作を用いて撮像素子１４に複数配置された光電変換部から取得された横方向視差信号と縦方向視差信号を用いて４視差信号を生成することができる。

本実施形態における４視差画像の例を図１１に示す。図１１は前述の４視差信号（Ｓ＿１，Ｓ＿２，Ｓ＿３，Ｓ＿４）から生成された４視差画像（Ｐ＿１，Ｐ＿２，Ｐ＿３，Ｐ＿４）を示している。図１１中の二点鎖線は各視差画像のｘｙ軸を表している。図１１の実線は、視差画像Ｐ＿１における被写体像（４００，４１０）の一部の輪郭を示しており、実線両側矢印は視差画像Ｐ＿１におけるｘｙ軸から実線までの距離を示している。また、図１１の破線は、視差画像Ｐ＿２からＰ＿４における被写体像（４００，４１０）の一部の輪郭を示しており、基準となる視差画像Ｐ＿１からのずれを示している。

図１１の例において、被写体像４００，４１０は像ずれしており、視差画像Ｐ＿１を基準と考えて水平垂直方向にそれぞれ矢印４０１，４０２で示される量だけ位置がずれている。視差画像Ｐ＿１を基準と考えると、視差画像Ｐ＿２は被写体像４１０がｘ軸プラス方向に矢印４０１で示される量だけ像ずれしている。視差画像Ｐ＿１からＰ＿２において、被写体４１０の側面４１１の面積が増え、かつ被写体４００との重なり部分がなくなり、左右視差が変化していることが分かる。一方、視差画像Ｐ＿３は被写体像４００がｙ軸マイナス方向に矢印４０２で示される量だけ像ずれしている。視差画像Ｐ＿１からＰ＿３において、被写体４００の上面４１２の面積が減っており、上下視差が変化していることが分かる。また視差画像Ｐ＿１を基準と考えると、視差画像Ｐ＿４は被写体像４００と４１０がそれぞれ矢印４０１，４０２で示される量だけ像ずれしていることが分かる。生成した４視差画像を、視差画像Ｐ＿１を基準と考えて、視差画像Ｐ＿１から視差画像Ｐ＿２、視差画像Ｐ＿４、視差画像Ｐ＿３、視差画像Ｐ＿１と連続的に変化させると、視点が回転して変化することがわかる。それぞれ像ずれ量が順に、ｘ軸プラス方向、ｙ軸マイナス方向、ｘ軸マイナス方向、ｙ軸プラス方向に変化する。以上の様にして４視差画像を生成した後、本実施形態のフローを終了する。

以上の様な一方向のみ分割された画素群を有する撮像素子１４であっても、第１のシャッタ動作と第２のシャッタ動作を用いて、横方向視差信号と縦方向視差信号を略同時に取得することが可能となる。また、横方向視差信号と縦方向視差信号から４視差画像を生成することができる。

（第２の実施形態）
第２の実施形態では、縦方向視差信号の分割数を２よりも多くする点が第１の実施形態とは異なる。第１の実施形態では縦方向視差信号の分割数を２として説明したが、本実施形態では、分割数３の縦方向視差信号を取得する方法について図１２、図１３を用いて説明する。

図１２は、図６と同様に、ある時刻（ｔ１もしくはｔ２もしくはｔ３）にピント位置が撮像素子面よりも後方の点１５７に位置している場合のボケ像が、第１のシャッタ動作においてケラレる様子を模式的に示した図である。また図１２では、図６と比較して電子先幕１５５とメカ後幕１５６によって形成される開口部が狭い状態を表している。これにより、合成レンズ１５１の瞳を３つの部分領域１８３，１８４，１８５に分けることができる。

まず図１２（ａ）の時刻ｔ１における図を用いて説明する。時刻ｔ１は、電子先幕１５５の上端が、撮像素子面１５３上に形成されるボケ像の上端５０１に位置しており、メカ後幕１５６の下端が、メカニカルシャッタ面１５４上に形成されるボケ像の上端１５８に位置している瞬間である。この時、合成レンズ１５１からの光束は、電子先幕１５５、メカ後幕１５６によって遮られている状態である。この時の撮像素子面１５３におけるボケ像１７０ａは、図１２（ａ）の時刻ｔ１における右側の図の通り、電子先幕１５５、メカ後幕１５６によって遮られている。なお、図１２においては時刻ｔ２においても合成レンズ１５１からの光束は、電子先幕１５５、メカ後幕１５６によって遮られている。

次に、図１２（ａ）の時刻ｔ３における図を用いて説明する。時刻ｔ３は、メカ後幕１５６の下端１６３と、電子先幕１５５の上端５０３によって撮像素子面１５３上に形成されるボケ像がケラレている瞬間である。この時、撮像素子面１５３における第１のシャッタ動作の開口部は、メカ後幕１５６の下端を撮像素子面１５３に投影した５０４と電子先幕の上端５０３によって形成される。この時の撮像素子面１５３におけるボケ像１７０ｃは、図１２（ａ）の時刻ｔ３における右側の図の通り、開口部１７６ｃを形成し、それ以外の部分は電子先幕１５５とメカ後幕１５６によって部分的に遮られる（１７５ｃ）。

以上の様にして、第１のシャッタ動作を用いた撮影が行われた際にボケ像がケラレる。次に図１２（ｂ）を用いて、合成レンズ１５１の瞳がケラレる様子について説明する。

図１２（ｂ）は、図１２（ａ）の撮像素子面１５３において、電子先幕１５５とメカ後幕１５６によって作られる開口部の時間変化と、第１のシャッタ動作を用いた場合の合成レンズ１５１の瞳を模式的に表している。図１２（ｂ）における１５８～５０４は図１２（ａ）における１５８～５０４と同一である。各時刻における開口部は縦軸で示されている。時刻ｔ１、時刻ｔ２では、電子先幕１５５とメカ後幕１５６により全光束が遮られる。時刻ｔ３では、メカ後幕１５６の下端１６３は撮像素子面１５３の５０４に投影されるため、撮像素子面１５３における開口部は、５０３－５０４となる。

これにより、図６（ｂ）よりも更に大きな光量のアンバランスが生じて、撮像素子面１５３におけるボケ像は、第１のシャッタ動作においてケラレている領域Ａｒｅａ０４と、ケラレていない領域Ａｒｅａ０５とに分かれる。これは、合成レンズ１５１における瞳の部分領域１８３からの光束を受光していることになる。

以上の様にして、図６よりも電子先幕１５５とメカ後幕１５６によって形成される開口部を狭くすることで、合成レンズ１５１の瞳の部分領域１８３に対応した縦方向視差信号を取得することができる。この時取得できる縦方向視差信号をＳ＿Ｅとする。また不図示であるが、図６よりも電子先幕１５５とメカ後幕１５６によって形成される開口部を広くすることにより、合成レンズ１５１の瞳の部分領域１８３＋１８４に対応した縦方向視差信号を取得することができる。この時取得できる縦方向視差信号をＳ＿ＥＦとすると、合成レンズ１５１の瞳の部分領域１８４に対応した縦方向視差信号Ｓ＿Ｆは、下記式で算出される。

Ｓ＿Ｆ＝Ｓ＿ＥＦ－Ｓ＿Ｅ （４）
本実施形態では、上記の方法で得られた縦方向視差信号Ｓ＿Ｅ，Ｓ＿Ｆと、ＰＤ２０１ａ，ＰＤ２０１ｂから得られた横方向視差信号Ｓ＿Ａ，Ｓ＿Ｂとにより、行方向に３分割、列方向に２分割した計６視差信号を取得することができる。６視差信号の取得方法について図１３を用いて説明する。なお、本実施形態では縦方向視差信号を３分割する方法を説明しているが、電子先幕１５５とメカ後幕１５６によって形成される開口部を更に狭めることで３分割以上に設定することもできる。

図１３は、図８、図１０と同様に、図２（ｂ）の複数ある画素のうち１画素を抜き出して、６視差信号取得時の瞳の部分領域を模式的に表している。図１３（ａ）は、図１０（ａ）と同様で第２のシャッタ動作を高速秒時で用いてＰＤ２０１ａ，２０１ｂから取得される横方向視差信号Ｓ＿Ａ，Ｓ＿Ｂを表している。図１３（ｂ）は、前述した第１のシャッタ動作を高速秒時で用いて取得される縦方向視差信号Ｓ＿Ｅ，Ｓ＿Ｆを表している。さらに図１３（ｂ）ではＰＤ２０１ａ，２０１ｂから取得されるＳ＿Ｅａ，Ｓ＿Ｅｂ，Ｓ＿Ｆａ，Ｓ＿Ｆｂに分けて取得することができる。図１３（ｃ）では、図１３（ａ）、図１３（ｂ）で取得されたＳ＿Ａ，Ｓ＿Ｂ，Ｓ＿Ｅａ，Ｓ＿Ｅｂ，Ｓ＿Ｆａ，Ｓ＿Ｆｂを用いて算出される６視差信号（Ｓ＿１１，Ｓ＿１２，Ｓ＿２１，Ｓ＿２２，Ｓ＿３１，Ｓ＿３２）を表している。６視差信号は以下の式で算出することができる。

１１＝Ｓ＿Ｅａ （５－１）
Ｓ＿１２＝Ｓ＿Ｅｂ （５－２）
Ｓ＿２１＝Ｓ＿Ｆａ （５－３）
Ｓ＿２２＝Ｓ＿Ｆｂ （５－４）
Ｓ＿３１＝Ｓ＿Ａ－（Ｓ＿Ｅａ＋Ｓ＿Ｆａ） （５－５）
Ｓ＿３２＝Ｓ＿Ｂ－（Ｓ＿Ｅｂ＋Ｓ＿Ｆｂ） （５－６）
以上の様にして、第１のシャッタ動作と第２のシャッタ動作を用いて撮像素子１４に複数配置された光電変換部から取得された横方向視差信号と縦方向視差信号を用いて６視差信号を生成することができる。また、本実施形態では、複数の光電変換領域が紙面横方向に並んでおり、シャッタ駆動方向が紙面縦方向であり、複数の光電変換領域の並び方向とは異なる方向であるとして説明した。しかし、複数の光電変換領域の並び方向とシャッタ駆動方向が同一であったとしてもよい。この場合には複数の光電変換部の並び方向、つまりシャッタ駆動方向にのみ複数に分割された視差信号を取得することができる。このような構成により、複数の光電変換部による瞳領域の分割と、第１のシャッタ動作と第２のシャッタ動作を用いたスリット幅による瞳領域の分割を同一方向（シャッタ駆動方向）に行うことができる。これによって、複数の光電変換部の数よりも更に多く分割された瞳部分領域からの光束を受光することができるため、複数の光電変換部の数よりも更に多くの視差信号を取得することができる。

以上説明したように、一方向のみ分割された画素群を有する撮像素子１４であっても、第１のシャッタ動作と第２のシャッタ動作を用いて、横方向視差信号と縦方向視差信号から６視差画像を生成することが可能となる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００：カメラ、１０６：レンズマウント、１２：メカニカルシャッタ、１４：撮像素子、５０：システム制御部、１３０：メインミラー、３００：撮影レンズ、３４６：レンズシステム制御部

Claims (17)

1. 結像光学系の異なる瞳領域をそれぞれ通過する光束を受光する複数の光電変換部が設けられた画素が複数配列された撮像素子と、
   前記撮像素子を遮光するメカニカルシャッタと、
   前記複数の光電変換部から取得される信号から視差画像を生成する生成手段と、を有し、
   前記撮像素子及び前記メカニカルシャッタにより、
   前記画素の露光を開始させる第１の先幕と、該第１の先幕から前記結像光学系の光軸に沿う方向に第１のずれ量だけ離れて配置され、前記第１の先幕によって露光が開始された前記画素の露光を終了させる第１の後幕とによる第１のシャッタ動作と、
   前記画素の露光を開始させる第２の先幕と、該第２の先幕から前記結像光学系の光軸に沿う方向に前記第１のずれ量よりも小さい第２のずれ量だけ離れて配置され、前記第２の先幕によって露光が開始された前記画素の露光を終了させる第２の後幕とによる第２のシャッタ動作と、が実現され、
   前記生成手段は、前記第１のシャッタ動作によって前記複数の光電変換部から取得される第１の信号群と、前記第２のシャッタ動作によって前記複数の光電変換部から取得される第２の信号群とを用いて、前記複数の光電変換部の数より多くの視差画像を生成することを特徴とする撮像装置。
2. 前記生成手段は、前記第１の信号群と前記第２の信号群とを用いて、前記第１及び第２のシャッタ動作の駆動方向に視差を有する視差画像を生成することを特徴とする請求項１に記載の撮像装置。
3. 前記第１の先幕は前記複数の光電変換部を順次リセットする動作により実現され、前記第１の後幕は前記メカニカルシャッタの後幕により実現されることを特徴とする請求項１または２に記載の撮像装置。
4. 前記第１の先幕は前記メカニカルシャッタの先幕により実現され、前記第１の後幕は前記光電変換部から信号を読み出す動作により実現されることを特徴とする請求項１または２に記載の撮像装置。
5. 前記第２の先幕は前記複数の光電変換部を順次リセットする動作により実現され、前記第２の後幕は前記光電変換部から信号を読み出す動作により実現されることを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記第２のずれ量はゼロであることを特徴とする請求項５に記載の撮像装置。
7. 前記第２の先幕は前記メカニカルシャッタの先幕により実現され、前記第２の後幕は前記メカニカルシャッタの後幕により実現されることを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
8. １つの前記画素における前記複数の光電変換部の並び方向と、前記第１及び第２のシャッタ動作の駆動方向は、異なる方向であることを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
9. １つの前記画素における前記複数の光電変換部の並び方向と、前記第１及び第２のシャッタ動作の駆動方向は、同じ方向であることを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
10. 前記第１の信号群と前記第２の信号群の信頼性を判定する信頼性判定手段をさらに備え、該信頼性判定手段によって信頼性が高いと判定された場合には、前記生成手段により前記視差画像を生成し、前記信頼性判定手段によって信頼性が低いと判定された場合には、前記生成手段により視差画像を生成しないことを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。
11. 前記信頼性判定手段は、前記第１の信号群と前記第２の信号群の前記第１のシャッタ動作の駆動方向と直交する方向のコントラストの差に基づいて前記信頼性を判定することを特徴とする請求項１０に記載の撮像装置。
12. 前記信頼性判定手段は、前記第１のシャッタ動作の駆動方向に視差を有する視差画像から算出される第１のデフォーカス量と、前記第１のシャッタ動作の駆動方向と直交する方向に視差を有する視差画像から算出される第２のデフォーカス量の差に基づいて前記信頼性を判定することを特徴とする請求項１０に記載の撮像装置。
13. 前記信頼性判定手段は、前記第１の信号群と前記第２の信号群の露光量の差に基づいて前記信頼性を判定することを特徴とする請求項１０に記載の撮像装置。
14. 前記信頼性判定手段は、前記第１の信号群と前記第２の信号群のエッジ部の傾き度合いに基づいて前記信頼性を判定することを特徴とする請求項１０に記載の撮像装置。
15. 結像光学系の異なる瞳領域をそれぞれ通過する光束を受光する複数の光電変換部が設けられた画素が複数配列された撮像素子と、前記撮像素子を遮光するメカニカルシャッタとを有する撮像装置を制御する方法であって、
    前記撮像素子及び前記メカニカルシャッタにより、前記画素の露光を開始させる第１の先幕と、該第１の先幕から前記結像光学系の光軸に沿う方向に第１のずれ量だけ離れて配置され、前記第１の先幕によって露光が開始された前記画素の露光を終了させる第１の後幕とによる第１のシャッタ動作と、前記画素の露光を開始させる第２の先幕と、該第２の先幕から前記結像光学系の光軸に沿う方向に前記第１のずれ量よりも小さい第２のずれ量だけ離れて配置され、前記第２の先幕によって露光が開始された前記画素の露光を終了させる第２の後幕とによる第２のシャッタ動作とを行う露光工程と、、
    前記複数の光電変換部から取得される信号から視差画像を生成する生成工程と、を有し、
    前記生成工程では、前記第１のシャッタ動作によって前記複数の光電変換部から取得される第１の信号群と、前記第２のシャッタ動作によって前記複数の光電変換部から取得される第２の信号群とを用いて、前記複数の光電変換部の数より多くの視差画像を生成することを特徴とする撮像装置の制御方法。
16. 請求項１５に記載の制御方法をコンピュータに実行させるためのプログラム。
17. 請求項１５に記載の制御方法をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images