JP6525498B2 - 撮像装置、その制御方法および制御プログラム - Google Patents

Description

本発明は、撮像装置に関し、特に像面位相差オートフォーカス（以下、像面位相差ＡＦと記す）が可能な撮像装置に関する。

従来、像面位相差ＡＦを実現しつつ、焦点検出用画素に起因する動画、ライブビューの画質劣化を抑制する技術が、特許文献１により開示されている。

特開２０１０−１８１７５１号公報

しかしながら、上述の特許文献１に開示された従来技術では、焦点検出用画素と画像用画素を同一の出力系（ストリーム）で読みだすため、像面位相差ＡＦ画像の取得レートが画像用画素の読み出しレートに律則されていた。このため単位時間当たりの焦点検出用画素のサンプリング回数に制限が生じ、ＡＦ精度の向上の妨げとなっていた。

そこで、本発明の目的は、像面位相差ＡＦにおいて、単位時間当たりの焦点検出用画素のサンプリング回数を増加させることで、ＡＦ精度の向上を可能にする撮像装置を提供することである。

本発明によれば、各々が光電変換部を備えた複数の画素と、隣接する複数の画素で共有される複数のマイクロレンズが二次元状に配置された画素配列を有する撮像手段と、マイクロレンズを共有する複数の画素からフォーカスレンズを有する撮影光学系で形成された被写体像に対応する第１の画素信号を読み出し、マイクロレンズを共有する複数の画素の各々から撮影光学系の瞳領域の異なる部分領域からの被写体像に対応する第２の画素信号を読み出す読み出し手段と、第１の画素信号を出力する第１の出力系と第２の画素信号を出力する第２の出力系とを有する出力手段と、出力手段から出力される画素信号を用いて、フォーカスレンズの焦点調節を行うための評価値を生成する信号処理手段とを備え、読み出し手段は、第１の画素信号および第２の画素信号を、それぞれ異なる読み出しレートで読み出すことを特徴とする撮像装置が提供される。

本発明によれば、像面位相差ＡＦを行うための焦点検出用画素の信号サンプリング回数を、画像生成用画素の読み出しレートに律則されずに増加させることが可能となり、ＡＦ精度の向上した撮像装置を提供することが可能となる。

本発明の第１の実施例に係る撮像装置の構成を示す図 本発明の第１および第２の実施例に係る撮像素子の画素構成を示す図 本発明の第１および第２の実施例に係る撮像素子の画素と光学部との関係を模式的に示す図 本発明の第１の実施例に係る撮像装置の画素信号の読み出し動作のタイミングチャートを示す図 本発明の第１の実施例に係る撮像装置の撮影動作のフローチャートを示す図 本発明の第３の実施例に係る撮像装置の撮影動作のフローチャートを示す図

以下に、本発明の好ましい実施形態を、添付の図面に基づいて詳細に説明する。

以下、図１から図５を参照して、本発明の第１の実施例に係る撮像装置の構成および動作について説明する。

図１は、本発明の第１の実施例に係る撮像装置１０００の構成を示す図である。
図１において、１００１は、撮像素子の受光部に被写体像を結像させる光学部である。光学部１００１において、１００１−１はズームレンズ、１００１−２はフォーカスレンズ、１００１−３はＩＳ（image stabilizer）レンズ、１００１−４は絞りである。

１００２は、光学部１００１により結像された像の光信号を光電変換により電気信号に変換する撮像素子であり、ＣＭＯＳセンサーなどで構成される二次元画素配列を有する。撮像素子１００２は、撮像信号（画素信号）にＯＢクランプ、ＡＤ変換を行い、デジタル画像信号および焦点検出用信号を生成して後述するＤＳＰ１００７に出力する。また、撮像素子１００２は、後述のように、画像用画素信号を出力する第１のストリームと焦点検出用画素信号を出力する第２のストリームの２つの出力系を有する。

１００４は、システム全体の制御を行うＣＰＵである。１００５は、撮像装置１０００を駆動するためのファームウェアなどの情報を記憶するためのＲＯＭ、１００６は、撮像装置１０００の制御情報や撮像素子１００２の出力を一時的に記憶するためのＲＡＭである。ＣＰＵ１００４は、ＲＯＭ１００５に記憶されているプログラムを、ＲＡＭ１００６を用いて実行することで撮像装置１０００の各部の動作を制御する。

１００７は、信号処理部（以下、ＤＳＰ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）と記す）である。ＤＳＰ１００７は、撮像素子１００２からの第１のストリームからの信号に対して各種の信号処理を行い、所定のフォーマットによる静止画または動画の画像信号（例えばＹＵＶ信号等）を生成する。さらに、ＤＳＰ１００７は、撮像素子１００２の第１のストリームからの信号に基づいて、ライブビュー駆動時や動画記録時の露出制御動作や主被写体の検出を行う。さらに、ＤＳＰ１００７は、第１のストリームおよび、第２のストリームからの信号に基づいてライブビュー駆動時や動画記録時の撮像装置からの被写体距離を検出する。

１００８は外部インターフェースであり、各種エンコーダーやＤ／Ａ変換器を含み、外部要素（本例では、ディスプレイ１０１２、メモリ媒体１００９、操作パネル１０１１）との間で各種制御信号やデータをやり取りする。

１００９は、各種メモリカード等に撮影された画像を適宜保存しておけるメモリ媒体である。１０１０は、メモリ媒体１００９を交換可能なメモリ媒体コントローラである。なお、メモリ媒体１００９としては、各種メモリカードの他に、磁気や光を用いたディスク媒体等を用いることができる。

１０１１は、撮像装置１０００が撮影動作を行う場合に、ユーザが各種の指示を行うための入力キーを設けた操作パネルである。ＣＰＵ１００４は、操作パネル１０１１からの入力信号を監視し、その入力内容に基づいて各種の動作制御を実行する。

１０１２は、撮像装置１０００に組み込まれ、撮像素子１００２で撮像された画像を表示するディスプレイである。なお、撮像装置１０００は、組み込まれた表示装置に加えて、外部の表示装置に画像データを伝送し、表示できる構成とすることも勿論可能である。

図２は、本発明の実施形態に係る撮像素子の画素構成を示す図であり、図２（ａ）は、本実施例に係る撮像素子の画素部の構成を、また図２（ｂ）は、後述する第２の実施例に係る画素部の構成を示す。

図２（ａ）において、２００１−１は、画像信号を得るための画素（第１の画素）であり、本画素の信号は第１のストリームから読み出される。

２００１−２は、画素の開口部が水平方向の第１の方向にシフトして形成されている焦点検出用の画素（第２の画素）であり、後述の画素２００１−３の水平方向の像ずれ量を検出するための基準画素である。画素２００１−２の信号は、第２のストリームから読み出される。

２００１−３は、画素の開口部が画素２００１−２と逆方向（第２の方向）にシフトして形成されている焦点検出用画素（第３の画素）であり、画素２００１−２との水平方向の像ずれ量を検出するための画素である。画素２００１−３の信号は、第２のストリームから読み出される。

本実施例では、第１の画素２００１−１、第２の画素２００１−２、第３の画素２００１−３を行単位で配置して画素部を構成している。しかし、本実施例の焦点検出用画素は、瞳の部分領域を通過してくる光のみを受光するため、画像用には使用できない。従って、本実施例では、焦点検出用の画素配置を行方向にある程度の間隔をおいて、例えば４行周期などで離散的に配置する構成としている。

２００３は、画素信号を読み出すための垂直信号線であり、２００２は、画素信号を垂直信号線２００３に出力するための選択トランジスタである。２００４は、選択線ＲＯＷ−１からＲＯＷ−ｎに電圧を選択的に供給し、画素信号の走査を行う垂直走査回路である。

ＲＯＷ−１からＲＯＷ−ｎは、選択トランジスタ２００２を動作させるための選択線である。ここで、後ろの数字は画面上部からの昇順の行番号を表し、全行数をｎとしている。

２００５は、垂直信号線２００３の信号を受け、デジタル信号に変換するＡＤ変換器（以下、ＡＤＣと記す）である。２００６は、デジタル信号に変換された画素信号を出力セレクタ２００７に出力するための水平走査回路である。２００７は、水平走査回路２００６からの信号の出力先を切り替える出力セレクタである。読み出す画素が画像用画素であるか焦点検出用画素であるかに応じて、出力先を第１のストリームと第２のストリームの間で選択して撮像信号を出力する。

図３は、本実施例に係る撮像素子１００２の画素の配列構造と光学部１００１との関係を模式的に示す図である。同図において、図２に対応する部分には、図２と同じ符号を付して示す。図３（ａ）、（ｂ）、（ｃ）、（ｄ）は、本実施例に係る画像用画素２００１−１の配列構造と焦点検出用画素２００１−２、２００１−３と光学部１００１との関係を模式的に示す図である。また、図３（ｅ）および（ｆ）は、後述する第２の実施例に係る画素の配列構造と光学部１００１との関係を模式的に示す図である。なお、第２の実施例に係る画素は、画像信号および焦点検出信号いずれの信号も生成可能である画素である。

本実施例における画素部の画素配列は、２×２の４画素を単位とし、その対角２画素にＧ（緑色）の分光感度を有する画素を配置し、他の２画素にＲ（赤色）とＢ（青色）の分光感度を有する画素を各１個配置したベイヤー配列を採用している。そして、ベイヤー配列の画像用画素の間に、後述する構造の焦点検出用画素を所定の規則に従って分散配置することで画素部の画素配列を構成している。

図３（ａ）、（ｂ）は、画像用画素の配列構造と光学部１００１との関係を模式的に示す図である。図３（ａ）は、２×２の画像用画素の平面図であり、図３（ｂ）は、図３（ａ）の断面Ａ−Ａを示す。

図３（ａ）に示すごとく、ベイヤー配列では対角方向の２画素にＧ画素が、他の２画素にＲとＢの画素が配置され、この２行×２列の構造が繰り返されて画素部を構成している。図３（ｂ）において、ＭＬは各画素の最前面に配置されたオンチップマイクロレンズ、ＣＦＲはＲのカラーフィルタ、ＣＦＧはＧのカラーフィルタである。また、ＰＤは、図２（ａ）のＣＭＯＳセンサーの画素の光電変換部を模式的に示したもの、ＣＬはＣＭＯＳセンサー内の各種信号を伝達する信号線を形成する配線層、ＴＬは光学部１００１の撮影光学系を模式的に示したものである。

ここで、画像用画素のオンチップマイクロレンズＭＬと光電変換部ＰＤは、撮影光学系ＴＬを通過した光束を可能な限り有効に取り込むように構成されている。換言すると、撮影光学系ＴＬの射出瞳ＥＰと光電変換部ＰＤは、マイクロレンズＭＬにより共役関係にあり、かつ光電変換部の有効面積は大面積に設計される。

また、図３（ｂ）ではＲ画素の入射光のみを示しているが、Ｇ画素及びＢ画素も同一の構造となっている。従って、画像用のＲＧＢ各画素に対応した射出瞳ＥＰは大径となり、被写体からの光束を効率よく取り込んで画像信号のＳ／Ｎを向上させている。

図３（ｃ）、（ｄ）は、撮影レンズの水平方向（図の横方向）に瞳分割（瞳領域の分割）を行うための焦点検出用画素の配列構造と光学部１００１との関係を模式的に示す図である。図３（ｄ）は、図３（ｃ）の断面Ｂ−ｂを示し、同図において、マイクロレンズＭＬと光電変換部ＰＤは、図３（ｂ）に示した画像用画素と同一構造を有する。

本実施例においては、図３（ｃ）に示すように、ベイヤー配列の単位である２行×２列の画素のうち（例えば図２（ａ）のＲＯＷ−３とＲＯＷ−４の２×２画素）、Ｇ画素は画像用画素として残し、ＲとＢの画素を焦点検出用画素として形成している。これらの焦点検出用画素を、図３（ｃ）において画素ＳＡ及び画素ＳＢとして示す。ここで、画素ＳＡは第２の画素２００１−２に相当し、画素ＳＢは第３の画素２００１−３に相当する。

なお、本実施例においては、焦点検出用画素の画素信号は画像表示または画像記録に用いられないので、受光感度を向上させるため色分離用カラーフィルタの代わりに透明膜ＣＦＷＡおよびＣＦＷＢを配置している。

また、撮像素子で瞳分割を行なうために、配線層ＣＬの開口部はマイクロレンズＭＬの中心線に対して水平方向の一方向にシフトされていて、画素に入射する光の方向を制限している。具体的には、画素ＳＡの開口部ＯＰＨＡは図の右側にシフトしているため、撮影レンズＴＬ１の左側の射出瞳ＥＰＨ１Ａを通過した光束を受光する。同様に、画素ＳＢの開口部ＯＰＨＢは左側にシフトしているため、撮影レンズＴＬ１の右側の射出瞳ＥＰＨ１Ｂを通過した光束を受光する。画素ＳＡを水平方向（画素配列の行方向）に規則的に配列し、これらの画素で取得した被写体像をＡ像とする。また、画素ＳＢも水平方向に規則的に配列し、これらの画素で取得した被写体像をＢ像とすると、Ａ像とＢ像の相対位置を検出することで、被写体像のピントずれ量（デフォーカス量）が検出できる。

また、垂直方向（同じく列方向）のピントずれ量を検出したい場合には、画素ＳＡおよびその開口部ＯＰＨＡを上側に、ＳＢおよびその開口部ＯＰＨＢを下側にシフトさせて構成すればよい。

なお、焦点検出用画素の配置構成は図２（ａ）に限るものではなく、１行の全ての画素を画素ＳＡと画素ＳＢで構成してもよい。

図４は、本実施例に係る撮像装置の画素信号の読み出し動作のタイミングチャートである。ここでは、第１のストリームと第２のストリームの両方が動作している状態での画素信号の読み出しを、時間（ｔ）を等間隔に区切った場合の時間ｔ１からｔ２１までの動作について説明する。なお、ここでは、等間隔の時間を１／４８０ｓｅｃとし、第２のストリームは焦点検出用画素を２４０ｆｐｓの高速で読み出し、これを基準として、画像用画素を第１のストリームから１／４倍の３０ｆｐｓで読み出す。

図４において、ｔ１では、画像用画素信号の読みだしを開始する。撮像素子１００２の出力を画面上部（ＲＯＷ−１）から画面下部（ＲＯＷ−ｎ）にかけて、逐次行単位で画素信号を読み出す。

ｔ２では、画像用画素信号の読み出しを画面下部まで完了する。さらに、ｔ２では、画像用画素のリセットを画面上部から開始する。

ｔ３では、画像用画素のリセットを画面下部まで完了する。ｔ４からｔ８では画像用画素及び焦点検出用画素の読み出し、リセットを行わない。

次に、ｔ９では、画像用画素信号の読み出しを画面上部から開始する。さらに、ｔ９では、焦点検出用画素のリセットを画面上部から開始する。

次に、ｔ１０では、画像用画素信号の読み出しを画面下部まで完了するとともに、画像用画素のリセットを画面上部から開始する。さらに、ｔ１０では、焦点検出用画素のリセットを画面下部まで完了し、焦点検出用画素信号の読み出しを画面上部から開始する。

次に、ｔ１１では、画像用画素のリセットを画面下部まで完了する。さらに、ｔ１１では、焦点検出用画素信号の読み出しを画面下部まで完了するとともに、焦点検出用画素のリセットを画面上部から開始する。

次に、ｔ１２では、焦点検出用画素信号の読み出しを画面上部から開始するとともに、焦点検出用画素のリセットを画面下部まで完了する。

ｔ１３では、焦点検出用画素信号の読み出しを画面下部まで完了するとともに、焦点検出用画素のリセットを画面上部から開始する。

ｔ１４ではｔ１２と同様な動作を行い、ｔ１５ではｔ１３と同様な動作を行い、ｔ１６ではｔ１４と同様な動作を行う。

次に、ｔ１７では、焦点検出用画素のリセットを画面下部まで完了し、画像用画素信号の読み出しを画面上部から開始する。以下、画像用画素信号の読み出しを第１のストリームから行う。

次に、ｔ１８ではｔ２と同様な動作を行い、ｔ１９ではｔ３と同様な動作を行い、ｔ２０ではｔ４と同様な動作を行い、ｔ２１ではｔ５と同様な動作を行う。

このように本実施例では、ｔ９からｔ１７までの必要な期間のみにおいて第２のストリームを動作させて焦点検出用画素を短時間で読み出すことにより、高精度なＡＦの実現を可能としている。

なお、図３（ｃ）の画素配列の場合（例えば図２（ａ）のＲＯＷ−３、ＲＯＷ−４）、１行の全ての列の画素信号を出力した場合、第２のストリームの出力には焦点検出用画素の信号のほか、画像用画素信号も含まれる。このように出力セレクタ２００９より出力しても良いが、水平走査回路２００８により第２の画素および第３の画素の信号のみを選択的に出力すれば、第２のストリームの出力画素数が減少し、そのフレームレートを向上させることが可能となる。特に、静止画撮影前のオートフォーカスなど高精度なＡＦが必要となる場合には、上記のように第２の画素および第３の画素の信号のみを出力することにより、フレームレートの向上によりサンプリング数が増え、高精度なＡＦが可能となる。

また、本実施例の撮像素子の画素部では、垂直信号線２００３から出力セレクタ２００７までを第１のストリームと第２のストリームで共有しているため、画像用画素の読み出しと焦点検出用画素の読み出し期間は重ねない。

また、図４ではｔ９で焦点検出用画素のリセット動作を行っているが、そのタイミングを、ここでは説明の簡単化のために画像用画素の信号の読み出しと同じタイミングとした。しかし実際上、適正露光条件に応じて露光時間が変化させるためにリセットタイミングをシフトさせても問題ない。

また、複数フレーム分（複数回の露光）の焦点検出用画素の信号を用いて、メディアン処理や加算平均化処理および複数フレーム分の信号値バラツキ（分散：σ）から１σを外れる信号を除いた平均化処理を行うなどの手法をとることにより、ＡＦの精度を向上させることが可能となる。

また、複数フレーム分の焦点検出用画素の信号を取得する時にＩＳレンズを動作させ、画素ピッチに対して位相のずれた信号取得を行うことで、空間分解能を向上させてＡＦの精度を向上させることが可能となる。

さらには上述のように、第１のストリームのフレームレートを第２のストリームの整数分の１とすることで、電気回路上扱いやすいタイミングの設計が可能となる。

上述したように構成された本実施例の撮像装置１０００における撮影動作について図５を用いて説明する。図５は、本実施例に係る撮像装置１０００の撮影動作のフローチャートを示す図である。本撮影動作は、ＣＰＵ１００４がＲＯＭ１００５に記憶されているプログラムを実行して装置１０００の各部の動作を制御することで実現される。

まず、ステップＳ５００１にて撮像装置１０００の電源が投入されると、撮像装置が起動される。

ステップＳ５００２では、撮像装置の動作モードに従ってライブビュー（または動画記録）が開始されると、ＣＰＵ１００４による制御の下で各ライブビュー制御パラメータを初期化して画像用画素信号の読み出しを行い、処理をステップＳ５００３に移行する。

ステップＳ５００３では、ＣＰＵ１００４による制御の下で撮像素子から連続的に信号を読み出して逐次表示や記録を行う、いわゆるライブビュー動作を行なう。また、ＤＳＰ１００７とＣＰＵ１００４によって構成される測光検出手段によって測光を行い、光電変換信号の蓄積時間、ゲイン、絞りなどの露光条件を決定する。

ＣＰＵ１００４では、決定された絞り値に基づいて絞り１００４−２を動作させて絞り駆動を行う。

ここで、ステップＳ５００４からステップＳ５０１３による第１および第２のストリームへの読み出しパターンの切り替えについて説明する。

ステップＳ５００４では、ＣＰＵ１００４が、不図示のレンズやカメラに設置されているＡＦ、マニュアルフォーカス（ＭＦ）スイッチの状態に応じて、読み出し画素の選択とＡＦ方式の選択を行う。ＭＦが選択されている時は、焦点検出用画素の信号の読み出しは行わず、ライブビュー及び動画記録の終了の通知を待つ。ＡＦが選択されている時は、ステップＳ５００５へ移行する。ここで、ＡＦ／ＭＦのモード切り替えは、メニューや焦点調節リングを動かすことによって半自動的に変更されるものなどでもよく、物理的なスイッチに限定されるものではない。

ステップＳ５００５では、ＣＰＵ１００４が、自動焦点調節機能（ＡＦ）動作を行っているか否かを判断し、ＡＦ動作を行っていない期間中は焦点検出用画素の信号の読み出しを行わず、ライブビュー及び動画記録の終了の通知を待つ。ＡＦ動作を行っている場合は、ＣＰＵ１００４は処理をステップＳ５００６に進める。

ステップＳ５００６では、ＣＰＵ１００４は、現在の露光制御として設定されている絞りの状態に応じて、第２のストリームを動作させるかどうかの選択を行う。これは、絞りが所定以上絞り込まれていると、焦点検出用画素ＳＡ、ＳＢへの入射光の位相差が小さくなり、焦点検出に適さなくなるためである。なお本実施例では、絞り込み量の閾値をＦ８．０としたが、これに限定されるものではない。

絞りがＦ８．０以上絞り込まれている場合は、ＣＰＵ１００４は処理をステップＳ５００８へ移行する。ステップＳ５００８では、第１のストリームからの画像データを用いてＡＦ評価値を取得する。この際のＡＦ評価値の取得には、例えば公知のコントラストＡＦ技術を挙げられる。

また、絞りがＦ８．０より開放側に制御されている場合は、ＣＰＵ１００４は処理をステップＳ５０１２に移行する。

ステップＳ５０１２では、ＣＰＵ１００４による制御の下で、第２のストリームの画素データを用いたＡＦ評価値の取得を行う。また、焦点検出用画素のデータをピックアップして、撮影レンズの焦点状態を検出するために、ＤＳＰ１００７内の不図示の位相差検出部へも転送される。そして、この回路ブロックで、瞳分割されたＳＡ画素群、およびＳＢ画素群の相関演算を行い、位相差ＡＦ評価値を算出する。

ステップ５０１３では、ＣＰＵ１００４は、ひとつ前のステップ（Ｓ５０１２またはＳ５００８）の評価値に応じてフォーカスレンズ１００１−２を駆動し、光学部１００１の焦点調節を行う。

ステップＳ５０１４では、ライブビュー及び動画記録の終了が通知されると、ＣＰＵ１００４はライブビュー及び動画記録の終了処理を行った後、カメラは待機状態に移行する。一方、終了の通知が無い場合にはステップＳ５００４に移行して継続してライブビュー及び動画記録処理を継続する。

以上、説明したように、本実施形態に依れば、焦点検出用画素のサンプリング回数を、画像信号用画素の読み出しレートに律則されずに増加させることが可能となり、ＡＦ精度の向上した撮像装置を提供することが可能となる。

さらに、ライブビュー及び動画記録時の読み出しの際に、カメラの状態に応じて、ＡＦ方式を変更することで、有効なときのみ焦点検出用画素信号を読み出すことが可能となり、消費電力を抑えることが可能となる。

以下、本発明の第２の実施例を添付の図を参照して、本実施例に係る撮像装置の構成および動作について説明する。本発明の実施例に係る撮像装置の構成は、第１の実施形例と同様であるため、ここでの説明を省略する。第１の実施例と異なるのは、撮像素子１００２の画素部の構造である。以下、図２（ｂ）および図３（ｅ）、（ｆ）を参照して本実施例の撮像装置を、第１の実施例との相違点に従って説明する。

最初に、図３（ｅ）および（ｆ）を参照して、本実施例に係る画素の構造について説明する。図３（ｅ）、図３（ｆ）は、本実施例に係る画素の配列の構造と光学部１００１との関係を模式的に示す図である。

図３（ｅ）は、本実施例に係る撮像素子の画素配列の基本単位である２行×４列の画素の平面図である。ベイヤー配列の各色について、２つの隣接する画素（１行２列）が形成され、これら２つの画素で１つのマイクロレンズＭＬ２を共有する構成となっている。この１行×２列の画素の光電変換部とマイクロレンズＭＬ２との位置関係は、図３（ｆ）に示すように、撮影レンズの水平方向（横方向）に瞳分割（瞳領域の分割）を行える配置構成となっている。従って、２つの画素のそれぞれは、異なる位相の画像を取得する焦点検出用画素として機能する。また、これら２つの画素の信号（同色）を加算することで、第１の実施例の画像用画素２００１−１の画素信号に相当する画素信号を生成することが可能である。従って、本実施例の画素の配列構造では、全ての画素について色分離用カラーフィルタの配置が必要となる。

図３（ｆ）は、図３（ｅ）の断面Ｃ−ｃ（隣接する２つのＧ画素）を示す図である。同図に示すように、マイクロレンズＭＬ２を通過した光は、瞳分割（瞳領域の分割）されて光電変換部ＰＤ２−Ａと光電変換部ＰＤ２−Ｂに入射する。撮像素子で瞳分割を行なうため、光電変換部ＰＤ２−Ａは、マイクロレンズＭＬ２の中心線に対して水平方向の一方向にシフトしている。また、光電変換部ＰＤ２−Ｂは、マイクロレンズＭＬ２の中心線に対して光電変換部ＰＤ２−Ａと逆方向にシフトしている。

これにより、画素Ｇａは、撮影レンズＴＬの右側の射出瞳ＥＰＨ２Ａを通過した光束を受光する。同様に、画素Ｇｂは、撮影レンズＴＬの左側の射出瞳ＥＰＨ２Ｂを通過した光束を受光する。

画素Ｇａを水平方向に規則的に配列し、これらの画素で取得した被写体像をＡ像とする。また、画素Ｇｂも水平方向に規則的に配列し、これらの画素で取得した被写体像をＢ像とすると、Ａ像とＢ像の相対位置を検出することで、被写体像のピントずれ量（デフォーカス量）が検出できる。

なお、垂直方向（縦方向）のピントずれ量を検出したい場合には、画素Ｇａおよび、画素Ｇｂの配置を９０度回転させて構成すればよい。

Ｒ画素およびＢ画素についても、上述したＧ画素と同様の構造となっている。

図２（ｂ）は、本実施例に係る撮像装置の撮像部の画素配列の構成を示す。なお、図２（ｂ）おいて、要素２００２から２００４および２００６、２００７は、図２（ａ）と等しいため、ここでの説明は省略する。

図２（ｂ）において、配列されている全ての画素２００１−４は、図３（ｆ）に示すフォトダイオードＰＤ２−ＡをマイクロレンズＭＬ２に対して水平方向にシフトさせて形成した画素であり、後述の画素２００１−５の水平方向の像ずれ量を検出するための基準画素である。この画素２００１−４には、例えば、図３（ｅ）の画素Ｇａが相当する。

２００１−５は、フォトダイオードＰＤ２−Ｂを画素２００１−４と逆方向にシフトさせて形成した画素であり、画素２００１−４との水平方向の像ずれ量を検出する画素である。この画素２００１−５には、例えば図３（ｅ）の画素Ｇｂが相当する。

本実施例では、画素２００１−４と画素２００１−５の混合信号を第１のストリームから出力し、出力された混合信号はＤＳＰ１００７によって画像信号として処理される。なお、本実施例では、画素２００１−４と画素２００１−５の信号の混合をＡＤＣ２００５で行なうが、詳細は公知であるため説明を省略する。

また、画素２００１−４の信号と画素２００１−５の信号は、焦点検出用画素信号として第２のストリームから個別に出力する。

これにより、第１のストリームから出力される画像用画素信号は、撮影画像を生成するためにＤＳＰ１００７にて第１の実施例と同様に扱われ、第２のストリームから出力される焦点検出用画素信号は、水平方向の像ずれ量を検出するために使用する。

上述した本実施例に係る画素配列構造を有する撮像素子から構成される撮像装置のタイミングチャートは、第１の実施例と同様であるため、ここでの説明を省略する。また、本実施例に係る撮像装置の撮影動作のフローチャートも第１の実施例と同様であるため、その説明を省略する。

上記のように、本実施例のような画素配列構造においても、焦点検出用画素のサンプリング回数を、画像生成用画素の読み出しレートに律則されずに増加させることが可能となり、ＡＦ精度の向上した撮像装置を提供することが可能となる。

さらに、ライブビュー及び動画記録時の読み出しの際に、カメラの状態に応じて、ＡＦ方式を変更することで、有効なときのみ焦点検出用画素信号を読み出すことが可能となり、消費電力を抑えることが可能となる。

以下、本発明の第３の実施例に係る撮像装置の構成およびその動作について、図６を参照して説明する。

本実施形例に係る撮像装置の構成は、第１の実施例と同様であり、撮像部の画素構成は第２の実施例と同様であり、また光学部の構成は第２の実施例と同様であり、撮像装置のタイミングチャートは第１の実施例と同様であるため、これらの説明をここでは省略する。

以上のように構成された本実施例に係る撮像装置における撮影動作について、図６を用いて説明する。

図６は、本実施例に係る撮像装置の撮影動作のフローチャートを示す図である。同図において、図５と同じ部分は同じ符号を付して示し、特に必要がない限りここで説明を省略する。

まず、ステップＳ６００１にて撮像装置の電源が投入され撮像装置が駆動される。その後、ステップＳ５００２からステップＳ５００６までの動作が行われるが、これらは第１の実施例と同様であるのでここでの説明は省略する。本実施例では、ステップＳ５００６での判定の結果に従った読み出しパターンの切り替えについて、ステップＳ６００４からステップＳ６０１３を用いて説明する。

ステップＳ５００６で絞りがＦ８．０以上絞り込まれていると判定された場合は、ステップＳ５００８へ移行する。ステップＳ５００８は第１の実施例と同様の動作であり、第１のストリームからＡＦ評価値を取得する。

ステップＳ５００６で絞りがＦ８．０より開放側に制御されていると判定された場合は、ステップＳ６００７に移行する。なお、第１の実施例と同様に、絞り込み量の閾値はＦ８．０に限定されるものではない。

ステップＳ６００７では、ＣＰＵ１００４がＡＦ時の拡大表示の有無を判定して動作を選択する。拡大処理の有無の判定は、例えば電子ズームに設定されている倍率に従って、撮影画像の生成に第２のストリームの画素データを用いたほうがよいかどうかを判断するなど、適宜適切な方法を用いればよい。

拡大表示ありと判定された場合は、ステップ６００９に進み、第２のストリームの出力信号を加算して画像信号として利用することで、高精細なライブビューまたは動画記録を実現する動作を行なう。他方、ステップＳ６００７で拡大表示なしと判定された場合は、ステップＳ５０１２に進み、第２のストリームの出力を被写体までの距離検出のためにのみ利用する消費電力を優先した動作を行う。なお、ステップＳ５０１２およびＳ５０１３は第１の実施例と同様の焦点調節動作であるので、ここでの説明は省略する。

ステップＳ６００９では、第２のストリームから出力された焦点検出用画素信号（非加算信号）を用いてＡＦ評価値を計算し、さらに共通のマイクロレンズＭＬ２の下に位置する焦点検出用画素の信号をＤＳＰ１００７内で加算して画像信号を生成する。この際、第２のストリームの露出条件と、第１のストリームの露出条件が等しくなるだけ、第２のストリームのフレームを加算することが望ましい。例えば、第１のストリームの露光時間をフレームレート同等の１／３０ｓｅｃとし、第２のストリームの露光時間をフレームレート同等の１／２４０ｓｅｃとした場合、同等の露光時間とするためには、第２のストリームを８フレーム分積算する。

ステップＳ６０１０では、ステップＳ６００９で取得したＡＦ評価値に基づいて合焦動作を行う。

ステップＳ６０１１では、ステップＳ６００９で第２のストリームの出力を加算して生成した画像信号と第１のストリームの画像信号から高精細な画像信号を合成する。

ステップＳ５０１４では、第１の実施例と同様に、ライブビュー及び動画記録の終了が通知されると、ライブビュー及び動画記録の終了処理を行ってからカメラを待機状態に移行させる。一方、終了の通知が無い場合にはステップＳ５００４に移行し、ライブビュー及び動画記録動作を継続する。

以上、説明したように、本実施形態によれば、第１および第２の実施例と同様の効果に加えて、焦点検出用画素信号を画像用信号として利用することにより、ライブビューの拡大表示時にも高精細な画像を表示することが可能となる。

また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給することによっても達成される。すなわち、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても本件発明の目的が達成されることは言うまでもない。

この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。

また、コンピュータが読み出したプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（基本システム或いはオペレーティングシステム）などが実際の処理の一部又は全部を行うことによっても前述した実施形態の機能が実現される。この場合も本件発明に含まれることは言うまでもない。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づく処理も本件発明に含まれる。すなわち、機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等がプログラムコードの指示に基づき実際の処理の一部又は全部を行って前述した実施形態の機能を実現する場合も本件発明に含まれることは言うまでもない。

上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形態で実施することができる。

Claims (17)

1. 各々が光電変換部を備えた複数の画素と、隣接する複数の画素で共有される複数のマイクロレンズが二次元状に配置された画素配列を有する撮像手段と、
   前記マイクロレンズを共有する複数の画素からフォーカスレンズを有する撮影光学系で形成された被写体像に対応する第１の画素信号を読み出し、前記マイクロレンズを共有する複数の画素の各々から前記撮影光学系の瞳領域の異なる部分領域からの被写体像に対応する第２の画素信号を読み出す読み出し手段と、
   前記第１の画素信号を出力する第１の出力系と前記第２の画素信号を出力する第２の出力系とを有する出力手段と、
   前記出力手段から出力される画素信号を用いて、前記フォーカスレンズの焦点調節を行うための評価値を生成する信号処理手段と
   を備え、
   前記読み出し手段は、前記第１の画素信号および前記第２の画素信号を、それぞれ異なる読み出しレートで読み出すことを特徴とする撮像装置。
2. 前記出力手段は、前記撮影光学系の状態に従って、前記第２の画素信号を出力するかどうかを決定することを特徴とする請求項１に記載の撮像装置。
3. 前記撮影光学系は絞りを有し、前記撮影光学系の状態は、前記絞りの絞り値であり、前記出力手段は、前記絞り値が所定の値より大きい場合には、前記第２の画素信号を出力しないことを特徴とする請求項２に記載の撮像装置。
4. 前記信号処理手段は、前記絞り値の値に従って前記出力手段が前記第２の画素信号を出力している場合は、前記第２の画素信号を用いて前記評価値を生成し、前記第２の画素信号を出力しない場合は、前記第１の画素信号を用いて前記評価値を生成することを特徴とする請求項３に記載の撮像装置。
5. 前記信号処理手段は、前記第２の画素信号を用いて前記評価値を生成する場合、複数回の露光で生成された前記第２の画素信号に加算平均化処理を行って得られた画素信号を用いて前記評価値を生成することを特徴とする請求項４に記載の撮像装置。
6. 前記信号処理手段は、前記第２の画素信号を用いて前記評価値を生成する場合、複数回の露光で生成された前記第２の画素信号にメディアン処理を行って得られた画素信号を用いて前記評価値を生成することを特徴とする請求項４に記載の撮像装置。
7. 前記信号処理手段は、前記第２の画素信号を用いて前記評価値を生成する場合、複数回の露光で生成された前記第２の画素信号のうち、１σを外れる画素信号を除いて平均化処理を行って得られた画素信号を用いて前記評価値を生成することを特徴とする請求項４に記載の撮像装置。
8. 前記撮影光学系はさらにＩＳレンズを含み、前記信号処理手段は、前記第２の画素信号を用いて前記評価値を生成する場合、前記複数回の露光を、前記ＩＳレンズの位置をずらして行うことを特徴とする請求項５乃至７のいずれか一項に記載の撮像装置。
9. 前記信号処理手段で生成された前記評価値に従って前記フォーカスレンズを駆動する焦点調節手段をさらに備えることを特徴とする請求項５乃至８のいずれか一項に記載の撮像装置。
10. 前記出力手段は、前記マイクロレンズを共有する複数の画素から読み出された画素信号を加算して前記第１の画素信号として出力し、前記マイクロレンズを共有する複数の画素の所定の画素の画素信号を前記第２の画素信号として出力することを特徴とする請求項１乃至９のいずれか一項に記載の撮像装置。
11. 前記第１の画素信号で生成される撮影画像の電子ズームを行う電子ズーム手段を有し、
    前記電子ズーム手段の拡大の倍率に基づいて、前記撮影画像を前記第１の画素信号および前記第２の画素信号から生成するかどうかを決定することを特徴とする請求項１０に記載の撮像装置。
12. 前記第１の画素信号で生成される撮影画像の電子ズームを行う電子ズーム手段を有し、
    前記電子ズーム手段の拡大の倍率に基づいて、前記撮影画像を前記第１の画素信号および前記第２の画素信号から生成するかどうかを決定し、
    前記撮影画像を前記第１の画素信号および前記第２の画素信号から生成すると決定した場合は、前記信号処理手段は、前記マイクロレンズに対応する複数の画素から読み出された前記第２の画素信号を加算し、加算された前記第２の画素信号と前記第１の画素信号から前記撮影画像を生成することを特徴とする請求項１０に記載の撮像装置。
13. 各々が光電変換部を備えた複数の画素と、隣接する複数の画素で共有される複数のマイクロレンズが二次元状に配置された画素配列を有する撮像手段と、第１の出力系と第２の出力系を有する出力手段とを備える撮像装置の制御方法であって、
    前記マイクロレンズを共有する複数の画素からフォーカスレンズを有する撮影光学系で形成された被写体像に対応する第１の画素信号を読み出し、前記マイクロレンズを共有する複数の画素の各々から前記撮影光学系の瞳領域の異なる部分領域からの被写体像に対応する第２の画素信号を読み出す読み出しステップと、
    前記第１の出力系から前記第１の画素信号を出力し、前記第２の出力系から前記第２の画素信号を出力する出力ステップと、
    前記出力ステップにおいて出力された画素信号を用いて、前記フォーカスレンズの焦点調節を行うための評価値を生成するステップとを備え、
    前記読み出し手段は、前記第１の画素信号と前記第２の画素信号を、それぞれ異なる読み出しレートで読み出すことを特徴とする撮像装置の制御方法。
14. 各々が光電変換部を備えた複数の画素と、隣接する複数の画素で共有される複数のマイクロレンズが二次元状に配置された画素配列を有する撮像手段を備える撮像装置を制御するためのプログラムであって、
    コンピュータを、
    前記マイクロレンズを共有する複数の画素からフォーカスレンズを有する撮影光学系で形成された被写体像に対応する第１の画素信号を読み出し、前記マイクロレンズを共有する複数の画素の各々から前記撮影光学系の瞳領域の異なる部分領域からの被写体像に対応する第２の画素信号を、読み出す読み出し手段、
    前記第１の画素信号を出力する第１の出力系と前記第２の画素信号を出力する第２の出力系とを有する出力手段、
    前記出力手段から出力される画素信号を用いて、前記フォーカスレンズの焦点調節を行うための評価値を生成する信号処理手段
    として機能させ、
    前記読み出し手段は、前記第１の画素信号および前記第２の画素信号を、それぞれ異なる読み出しレートで読み出すように機能させるプログラム。
15. 請求項１４に記載のプログラムを記録したコンピュータが読み取り可能な記憶媒体。
16. コンピュータを、請求項１乃至１２のいずれか一項に記載された撮像装置の各手段として機能させるプログラム。
17. コンピュータを、請求項１乃至１２のいずれか一項に記載された撮像装置の各手段として機能させるプログラムを格納した記憶媒体。

Images