JP2019193162A - 撮像装置及びその制御方法、プログラム、記憶媒体 - Google Patents

Abstract

【課題】ライブビュー表示を中断することなく静止画像を撮影することを可能にした撮像装置を提供する。
【解決手段】複数の画素を有する撮像素子と、ライブビュー表示を行うために、撮像素子から、画素信号を第１の読み出しモードで読み出すとともに、ライブビュー表示の間に、静止画像を取得するために、撮像素子から、画素信号を第１の読み出しモードとは異なる第２の読み出しモードで読み出す読み出し部と、第１の読み出しモードでの読み出し時間と、第２の読み出しモードでの読み出し時間とが等しくなるように、読み出し部を制御する制御部とを備える。
【選択図】 図５

Description

本発明は、撮像装置及びその制御方法に関するものである。

従来、撮像装置においては、撮影する被写体を確認するために、例えば、撮像装置の表示部に動画を表示する、いわゆる、ライブビューの機能が備えられている。特に、近年では、ライブビューの表示に同じ画像が続けて表示される状態や、黒表示の状態（ブラックアウト）となって画像が表示されない状態を解消するために、静止画像を得るための一連の撮影動作中に、ライブビュー（画像表示）の表示を更新する技術がある。

特許文献１には、２つの撮像素子を備え、１つの撮像素子でライブビュー撮影を行うと同時に、もう一方の撮像素子で静止画像を撮影して、静止画像をライブビューとともに生成して出力する技術が開示されている。

特許文献２には、１つの撮像素子で静止画像のリセット動作と読み出し動作をライブビュー表示中に分割して行い、静止画像をライブビューとともに生成して出力する技術が開示されている。

特開２０１４−１２２９５７号公報 特開２０１２−１００７４号公報

しかしながら、上述の特許文献１に開示されている従来技術では、撮像素子が２つ必要であるため、カメラの本体サイズが大きくなってしまうという問題がある。また、撮像素子が１つのカメラと比較して、消費電力も大きくなってしまうという問題もある。

また、上述の特許文献２に開示されている従来技術では、使用する撮像素子は１つであるが、静止画像のリセット動作と読み出し動作をライブビュー表示用の読み出しフレームの間に分割して行うため、レリーズタイムラグが大きくなることが考えられる。また、静止画像用の信号については、全ての画素の露光開始時刻を同一にし、かつ全ての画素の露光終了時刻を同一にする、いわゆる、グローバルシャッタによる露光制御を前提としている。そのため、グローバルシャッタ機能を有さない撮像素子ではブラックアウトのない静止画像撮影を行うことができない。

本発明は上述した課題に鑑みてなされたものであり、その目的は、ライブビュー表示を中断することなく静止画像を撮影することを可能にした撮像装置を提供することである。

本発明に係わる撮像装置は、複数の画素を有する撮像素子と、ライブビュー表示を行うために、前記撮像素子から、画素信号を第１の読み出しモードで読み出すとともに、前記ライブビュー表示の間に、静止画像を取得するために、前記撮像素子から、画素信号を前記第１の読み出しモードとは異なる第２の読み出しモードで読み出す読み出し手段と、前記第１の読み出しモードでの読み出し時間と、前記第２の読み出しモードでの読み出し時間とが等しくなるように、前記読み出し手段を制御する制御手段と、を備えることを特徴とする。

本発明によれば、ライブビュー表示を中断することなく静止画像を撮影することを可能にした撮像装置を提供することが可能となる。

本発明の第１の実施形態に係る撮像装置の構成を示す図。 第１の実施形態における撮像素子の構成を示す図。 第１の実施形態における撮像素子の画素の構成を示す図。 第１の実施形態における撮像動作を示すフローチャート。 第１の実施形態における撮像動作を示すシーケンス図。 第１の実施形態における撮像動作を切り替える構成を示す図。 第１の実施形態における撮像素子の静止画の読み出し動作を示す図。 第１の実施形態における撮像素子のライブビュー画像の読み出し動作を示す図。 第１の実施形態における撮像素子の静止画の撮像時の動作タイミングを示す図。 第１の実施形態における撮像素子のライブビュー画像の撮像時の動作タイミングを示す図。 第２の実施形態における撮像素子のライブビュー画像の読み出し動作を示す図。 第３の実施形態における撮像素子の構成を示す図。 第３の実施形態における撮像素子のライブビュー画像の読み出し動作を示す図。 第３の実施形態における撮像素子の動作タイミングを示す図。 第４の実施形態における撮像素子の構成を示す図。 第４の実施形態における焦点検出の概念を示す図。 第４の実施形態における焦点検出の概念を示す図。 第４の実施形態における撮像素子の画素の構成を示す図。 第４の実施形態における撮像素子の動作タイミングを示す図。 第４の実施形態における撮像素子の動作タイミングを示す図。

以下、本発明の実施形態について、添付図面を参照して詳細に説明する。

（第１の実施形態）
図１は、本発明の第１の実施形態に係わる撮像装置１００の構成を示す図である。撮像装置１００は、撮影光学系（結像光学系）１２２と、撮像素子１０１を備える。

撮影光学系１２２において、第１レンズ群１０７は、撮影光学系１２２の前端側（被写体側）に配置され、レンズ鏡筒により光軸方向に進退可能に支持される。絞り１２０は、その開口径を調節することにより撮影時の光量調節を行う。第２レンズ群１０６は、絞り１２０と一体となって光軸方向に進退する。第２レンズ群１０６は、第１レンズ群１０７の進退動作と連動して、変倍（ズーム）を行う機能も有する。第３レンズ群１０５は、光軸方向に進退して焦点調節を行うフォーカスレンズ群である。

フォーカルプレーンシャッター１０４は、静止画像撮影時に露光時間を調節する。本実施形態ではフォーカルプレーンシャッター１０４により、撮像素子１０１の露光時間を調節する構成である。しかし、これに限らず、撮像素子１０１が電子シャッター機能を有し、制御パルスで露光時間を調節する構成でもよい。

光学像を電気信号に変換する撮像素子１０１は、静止画像及び動画像の撮影を行う。本実施形態における撮像素子１０１は、読み出す画像の解像度を変更することができる撮像素子である。

低解像度の画像を取得する場合、撮像素子１０１は、一部の画素のみの信号を読み出す画素間引き駆動、または複数の画素の信号を混合して読み出す画素混合駆動により駆動される。

また、高解像度の画像を取得する場合、撮像素子１０１は、全画素の信号を読み出す全画素読み出し駆動で駆動される。低解像度の画像を取得する場合には、信号の読み出しに要する時間が短くて済むため、次の画像の信号読み出しタイミングを早くする、すなわちフレームレートを高くすることが可能となる。

ＡＦＥ（アナログ・フロント・エンド）１０２は、撮像素子１０１が出力するアナログ画像信号に対して、ゲイン調整や、所定の量子化ビットに対応したデジタル信号への変換を行う。ＴＧ（タイミング・ジェネレータ）１０３は、撮像素子１０１及びＡＦＥ１０２の駆動タイミングを制御する。

ＡＦＥ１０２が出力する画像データは、ＣＰＵ（中央演算処理装置）１０８に送られる。ＴＧ１０３は、ＣＰＵ１０８からの制御信号に従い、駆動信号を生成して撮像素子１０１に出力する。なお、本実施形態では撮像素子１０１の外部に配置されたＡＦＥ１０２、ＴＧ１０３を使用するが、ＡＦＥ、ＴＧを撮像素子内に内蔵した構成でもよい。

ＣＰＵ１０８は、撮像装置を統括的に制御する。ＣＰＵ１０８は、フォーカス駆動回路１１６および絞り駆動回路１１７を制御する。例えば、ＣＰＵ１０８は、ＡＦ（オートフォーカス）演算部１１５の焦点検出結果（検出情報）に基づいて、フォーカス駆動回路１１６によりフォーカスアクチュエータ１１８を駆動制御する。これにより、第３レンズ群１０５が光軸方向に進退して焦点調節動作が行われる。また、ＣＰＵ１０８は絞り駆動回路１１７により絞りアクチュエータ１１９を駆動制御し、絞り１２０の開口径を制御する。

ＣＰＵ１０８には、ＡＦ演算部１１５の他に、表示部１０９、操作部１１０、ＲＡＭ１１１、ＲＯＭ１１２、画像処理部１１３、フラッシュメモリ１１４が接続されている。操作部１１０は、シャッタースイッチボタン及び動画撮影スイッチボタンを備え、撮影者による撮影指示や撮影条件等の設定操作をＣＰＵ１０８に対して行う場合に使用する。
表示部１０９は、撮影済みの静止画像や動画像（ライブビュー画像）、メニュー等の表示を行う。表示部１０９は、カメラ本体部背面のＴＦＴ（薄膜トランジスタ）液晶ディスプレイやファインダなどを含む。ＲＡＭ（ランダム・アクセス・メモリ）１１１は、ＡＦＥ１０２がデジタル変換した画像データや、画像処理部１１３が処理したデータを記憶する。また、ＲＡＭ１１１は、画像処理部１１３が処理した画像データを記憶するための画像データ記憶部としての機能と、ＣＰＵ１０８のワークメモリとしての機能を併せ持つ。
本実施形態では、これらの機能をもつＲＡＭ１１１を実装するが、アクセス速度が十分なレベルのメモリであれば、他のメモリを使用してもよい。ＲＯＭ（リード・オンリ・メモリ）１１２は、ＣＰＵ１０８が解釈して実行するプログラムを格納し、フラッシュＲＯＭ等のメモリデバイスが使用される。

画像処理部１１３は、主に撮像素子１０１で撮影された画像の補正や圧縮等の処理を行う。フラッシュメモリ１１４は、静止画像データ及び動画像データを記録するための、着脱可能なメモリデバイスである。本実施形態では、記録媒体としてフラッシュメモリを使用するが、データ書き込み可能な不揮発性メモリや、ハードディスク等でもよい。また、これらの記録媒体をケースに内蔵した形態でも構わない。

図２は、撮像素子１０１の回路構成を示す図である。撮像素子１０１は、画素アレイ１３０、画素アレイ１３０における行を選択する垂直走査回路１３３、画素アレイ１３０における列を選択する水平走査回路１３２を備える。さらに、画素アレイ１３０の画素のうち垂直走査回路１３３及び水平走査回路１３２によって選択された画素の信号を読み出す読み出し回路１３１を備える。画素アレイ１３０には、複数の画素１３５が行列状に配置されている。画素１３５の各々に示されるＲは赤色、Ｇｒ及びＧｂは緑色、Ｂは青色のカラーフィルタが配置された画素であることを意味する。

垂直走査回路１３３は、画素アレイ１３０の行を選択し、ＣＰＵ１０８から出力される水平同期信号に基づいてＴＧ１０３から出力される読み出しパルスを、選択行において有効にする。読み出し回路１３１は、列毎のアンプやメモリを含み、選択行の画素信号がアンプを介してメモリに格納される。メモリに格納された１行分の画素信号は、水平走査回路１３２によって列方向に順に選択され、列出力線１３６と出力アンプ１３４を介して外部に出力される。この動作を行数分繰り返し、全ての画素信号が外部に出力される。

ここで、画素１３５の１画素毎の構成について図３を用いて説明する。フォトダイオード（ＰＤ）１４０は、入射光を光電変換し、露光量に応じた電荷を蓄積する。転送制御信号ｔｘをハイレベルにすることで転送ゲート１４１がオン（導通状態）になり、ＰＤ１４０に蓄積されている電荷がフローティングディフュージョン部（ＦＤ部）１４２に転送される。ＦＤ部１４２は、増幅ＭＯＳトランジスタ１４３のゲートに接続されている。増幅ＭＯＳトランジスタ１４３は、ＰＤ１４０からＦＤ部１４２に転送されてきた電荷量に応じた電圧信号を出力する。

リセットスイッチ１４４は、ＦＤ部１４２やＰＤ１４０の電荷をリセットするためのスイッチである。リセット制御信号ｒｅｓをハイレベルにすることでリセットスイッチ１４４がオン（導通状態）になり、ＦＤ部１４２の電荷がリセットされる。
また、ＰＤ１４０の電荷をリセットする場合には、転送制御信号ｔｘ及びリセット制御信号ｒｅｓを同時にハイレベルにする。そして、転送ゲート１４１及びリセットスイッチ１４４を両方オンし、ＦＤ部１４２経由でＰＤ１４０の電荷をリセットする。
画素選択スイッチ１４５は、選択制御信号ｓｅｌをハイレベルとすることでオン（導通状態）になり、増幅ＭＯＳトランジスタ１４３と画素１３５の出力端子とを接続する。これにより、増幅ＭＯＳトランジスタ１４３で電圧に変換された画素信号が画素１３５の出力端子に出力される。

本実施形態では、１つの画素内に１個のＰＤを配置した構成例を示すが、後述するように１つの画素に対して２個以上（例えば２個、４個など）のＰＤを配置した構成でもよい。つまり、１つの画素に対して複数のＰＤが上下方向または左右方向に配置された構成にも本発明を適用可能である。

次に、本実施形態におけるライブビュー表示中に静止画像撮影を行う場合の撮像装置の動作について、図４と図５を用いて説明する。

図４は、本実施形態におけるライブビュー表示中に静止画像撮影を行う場合の撮像装置の動作を示すフローチャートである。図５は、ライブビュー表示中の静止画像撮影における読み出しタイミングを説明する図である。なお、図５の縦軸は各撮像素子の垂直方向の位置を示し、横軸は時間軸を示す。表示画像フレームｎは第ｎフレームを表し、ｎ〜ｎ＋７の各表示画像フレームを例として示す。図５に示す時間撮像素子１０１の蓄積時間２０２の長さは、静止画像の撮影設定によって決定される。

先ず、Ｓ１００において、操作部１１０に含まれるライブビュー撮影スイッチボタンが押されるまで撮像素子１０１は待機状態となる。撮影者の操作によりライブビュー撮影スイッチボタンが押下されると、Ｓ１０１において、ＣＰＵ１０８はライブビュー撮影動作を開始させる。

撮像素子１０１、ＡＦＥ１０２、ＴＧ１０３に電源が投入され、ＣＰＵ１０８はライブビュー撮影設定を行う。この設定後、ＣＰＵ１０８から出力される同期信号に基づいて、ＴＧ１０３が撮像素子に読み出しパルスを出力し、撮像素子１０１は所定のフレームレートでの画像信号の読み出し動作を開始する。

図５の時刻Ｔ０から撮像素子１０１の各画素行を順次リセットしていくリセット走査が斜めの線分２０１で示すように行われ、各画素１３５のＰＤ１４０における信号の蓄積が開始される。

時間時刻Ｔ１において、リセット走査を終了した撮像素子１０１の画素行から斜めの線分２００で示す読み出し走査を開始させる。そして、蓄積時間２０２の間に蓄積された信号は、時刻Ｔ１から時刻Ｔ２までの時間２０３で読み出される。

なお、本実施形態において、ライブビュー画像、静止画像の信号蓄積及び読み出し動作はスリットローリング動作による電子シャッター機能を使用して行われるが、スロットローリング動作に限定されるものではない。

撮像素子１０１から出力された画像信号は、ＣＰＵ１０８によりＲＡＭ１１１へ転送される。その後、画像信号は画像処理部１１３に転送され、補正や圧縮処理等が行われてライブビューフレームのデータが作成される。作成された動画フレームのデータに従って表示部１１０は画像を表示する（ライブビュー表示）。

時刻Ｔ１から時刻Ｔ２までの時間２０３で撮像素子１０１から読み出される画像信号は、第ｎ＋１フレーム（表示画像フレームｎ＋１）に使用される。

撮像素子１０１は、表示部１１０に表示させるために撮像素子１０１の全画素の信号を読み出すのではなく、一部画素の信号のみを読み出す、あるいは複数画素の信号を混合して表示用に十分な解像度の画像信号を読み出す。このとき、ライビュー表示用の画像信号の読み出し時間２０３と、後述する静止画像用の画像信号の読み出し時間２０７とを等しくするように制御する。

時刻Ｔ３、Ｔ４、Ｔ６からのタイミングで撮像素子１０１から読み出される画像信号は、それぞれ第ｎ＋２フレーム（表示画像フレームｎ＋２）、第ｎ＋３フレーム（表示画像フレームｎ＋３）、第ｎ＋４フレーム（表示画像フレームｎ＋４）に使用される。

Ｓ１０２において、ＣＰＵ１０８は、ライブビュー撮影スイッチボタンが再度操作されたか否かを判定する。ライブビュー撮影スイッチボタンが操作されていない場合、ライブビュー撮影動作を継続する。Ｓ１０２でライブビュー撮影スイッチボタンが操作された場合には、ライブビュー撮影動作及びライブビュー表示を終了する。

Ｓ１０２でライブビュー撮影スイッチボタンが操作されていない場合、Ｓ１０３に移行して操作部１１０に含まれるシャッタースイッチボタン（静止画像撮影スイッチボタン）が操作されたか否かを判定する。

シャッタースイッチボタンが操作されていない場合、Ｓ１０２に戻り、ライブビュー撮影動作を継続する。撮影者の操作によりシャッタースイッチボタンが押下されると、Ｓ１０４において、ＣＰＵ１０８は、撮像素子１０１をライブビュー撮影モードから静止画像撮影モードへと切り替える。

このとき、ライブビュー撮影用の設定と静止画像撮影用の設定は、それぞれ図６に示すように保持される。具体的には、ライブビュー撮影用の設定値群を撮像素子１０１内に配置されるレジスタセットＡ２１０に保持し、静止画像撮影用の設定値群を撮像素子１０１内に配置されるレジスタセットＢ２１１に保持しておく。

時刻Ｔ５に撮影指示が出された後、時刻Ｔ６から開始されるライブビュー画像用信号の読み出し完了後の時刻Ｔ８において、ＴＧ１０３から出力されるレジスタ制御信号ｒｅｇ＿ｓｅｌによりセレクタ２１２に出力される設定値群を切り換える。

すなわち、レジスタセットＡ２１０に保持されているライブビュー撮影用の設定値群からレジスタセットＢ２１１に保持されている静止画像撮影用の設定値群に切り替える。

レジスタセットＡ２１０とレジスタセットＢ２１１に保持される設定値群は垂直同期信号に同期して切り替わる構成となっているため、切り替え後の設定値は、時刻Ｔ９に反映される。

こうして時刻Ｔ９までレジスタセットＡ２１０に保持されたライブビュー撮影用の設定値群が有効だったものが、時刻Ｔ９からはレジスタセットＢ２１１に保持された静止画像撮影用の設定値群が有効となる。図５では、レジスタセットＡ、Ｂの無効となっている一方のレジスタセットをハッチングで示している。

Ｓ１０５で静止画像の取得動作を開始し、時刻Ｔ７において、静止画像用のリセット走査２０５を開始させる。これにより、撮像素子１０１の各画素の電荷は画素行毎に順次クリアされる。

静止画像用のリセット走査２０５は、斜めの線分２０１で示したライブビュー用のリセット走査と同様に行われる。なお、静止画像用のリセット走査はこれに限られるものでなく、全画素行の電荷を同時にクリアするようにしても構わない。

撮像素子１０１の静止画像の蓄積時間２０６は静止画像の撮影設定によって決定されるが、表示画像の連続性と一貫性を保つため、ライブビュー撮影の蓄積時間２０２と一致させた方が望ましい。

時刻Ｔ９において、静止画像用のリセット走査を終了した撮像素子１０１の画素行から斜め線分２０４で示す読み出し走査を開始させる。蓄積時間２０６の間に蓄積された信号は、時刻Ｔ９から時刻Ｔ１０までの時間２０７で読み出される。

時刻Ｔ９から時刻Ｔ１０までの静止画像データの読み出し走査の時間２０７は、ライブビュー画像データの読み出し走査の時間２０３と一致する。これは、後述する方法で、予めライブビュー画像データの読み出し走査の時間が静止画像データの読み出し走査の時間と一致するように調整されているからである。

時刻Ｔ９から時刻Ｔ１０までの時間２０７で撮像素子１０１から読み出された静止画像用の画像信号は、第ｎ＋５フレーム（表示画像フレームｎ＋５）に使用されるとともに、フラッシュメモリ１１４に記録される。

このとき、ライブビュー画像データの読み出し走査の時間２０３が、静止画像データの読み出し走査の時間２０７に一致するように調整されている。

そのため、ライブビュー画像データから生成される第ｎ＋４フレーム（表示画像フレームｎ＋４）と、静止画像データから生成される第ｎ＋５フレーム（表示画像フレームｎ＋５）は表示が途切れるブラックアウトフレームを挟むことなく、また同じ画像が表示され続けるフリーズ状態もなく、表示される。

Ｓ１０６で静止画像の取得動作が終了すると、Ｓ１０７において、ＣＰＵ１０８は、撮像素子１０１を静止画像撮影モードからライブビュー撮影モードへと切り替える。

時刻Ｔ９から開始される静止画像用信号の読み出し完了後の時刻Ｔ１１において、ＴＧ１０３から出力されるレジスタ制御信号ｒｅｇ＿ｓｅｌによりセレクタ２１２に出力される設定値群を切り換える。

すなわち、レジスタセットＢ２１１に保持されている静止画像撮影用の設定値群からレジスタセットＡ２１０に保持されているライブビュー撮影用の設定値群に切り替える。

レジスタセットＡ２１０とレジスタセットＢ２１１に保持される設定値群は垂直同期信号に同期して切り替わる構成となっているため、切り替え後の設定値は、時刻Ｔ１２に反映される。

こうして時刻Ｔ１２までレジスタセットＢ２１１に保持された静止画撮影用の設定値群が有効だったものが、時刻Ｔ１２からはレジスタセットＡ２１０に保持されたライブビュー撮影用の設定値群が有効となる。

時刻Ｔ１０の時点では、設定値群の切り替えが反映されていないため、静止画像用の設定でライブビュー画像のリセット走査が開始される。そして、時刻Ｔ１２において、リセット走査を終了した撮像素子１０１の画素行からライブビュー撮影用の設定でライブビュー画像の読み出し走査を開始させる。

時刻Ｔ１２、Ｔ１３、Ｔ１４からのタイミングで撮像素子１０１から読み出された画像信号は、それぞれ第ｎ＋６フレーム（表示画像フレームｎ＋６）、第ｎ＋７フレーム（表示画像フレームｎ＋７）、第ｎ＋８フレーム（表示画像フレームｎ＋８）に使用される。

なお、撮像素子１０１のライブビュー画像の蓄積時間２０８は、時間第ｎフレームの蓄積時間２０２、時間第ｎ＋５フレームの蓄積時間２０６と一致している必要はない。

次に、本実施形態におけるライブビュー画像の読み出し走査の時間２０３と静止画像の読み出し走査の時間２０７を一致させる動作について、図７、図８、図９、図１０を用いて説明する。図７は、本実施形態における静止画像の読み出し走査を説明する図である。図８は、本実施形態におけるライブビュー画像の読み出し走査を説明する図である。

撮像素子１０１は、ベイヤー配列のＣＭＯＳセンサである。静止画像撮影時の読み出しでは、図７の垂直方向位置Ｙ０の水平方向の画素Ｘ０からＸｉまでの信号を混合せずに、水平同期信号ＨＤの水平期間Ｈ０で読み出す。水平期間Ｈ０に対応する水平読み出し時間３００において、垂直方向位置Ｙ０の水平方向の画素Ｘ０からＸｉまでの信号が読み出される。垂直方向位置Ｙ１、Ｙ２、…、Ｙｉの画素からの信号も同じ水平読み出し時間で読み出される。

これを垂直方向位置Ｙｊまで全垂直方向の行に対して行い、水平同期期間Ｈｊが終了した時点で１フレームの信号の読み出しを完了する。すなわち、時間３０１の間に静止画像の１フレームの読み出しが行われる。時間３０２は現フレームの読み出し完了から次フレームの読み出し走査開始までのブランキング時間（垂直ブランキング時間）である。

一方、ライブビュー撮影時の読み出しでは、画素信号の混合や間引き読み出しを行うことによって読み出し画素数を減少させている。ここでは、図８に示すように垂直方向において、３行に１行ずつの周期で間引き読み出しをするものとする。ハッチングした画素は、間引きなどにより信号が読み出されない画素を示す。

静止画像撮影時と同様に、垂直方向位置Ｙ０の水平方向の画素Ｘ０からＸｉまでの信号を水平同期信号ＨＤの水平期間Ｕ０で読み出す。水平期間Ｕ０に対応する水平読み出し時間３１０が、図７に示す静止画像の水平読み出し時間３００と一致する。

次いで、垂直方向位置Ｙ１の画素については、静止画像撮影時とは異なり、水平期間Ｕ１においては信号の読み出しを行わない。同様に、垂直方向位置Ｙ２の画素についても、水平期間Ｕ２において信号の読み出しを行わない。つまり、あえて画素信号の読み出しを停止する時間を設けている。

次の垂直方向Ｙ３の画素については、再び水平方向の画素Ｘ０からＸｉまでの信号を水平同期信号ＨＤの水平期間Ｕ３で読み出す。これを垂直方向位置Ｙｊまで全垂直方向の行に対して行い、ライブビュー撮影時の信号の読み出しを時間完了する。

このとき、ライブビュー撮影時の読み出し方式では、水平期間Ｕ１と水平期間Ｕ２を合わせた時間３１１の間、撮像素子１０１の読み出し走査は行われない。そのため、読み出し回路１３１に含まれる電流源やオペアンプ等の回路の消費電力を削減可能である。

図９は、本実施形態における静止画撮影における撮像素子１０１の動作タイミングを示す図である。撮像素子１０１は、ＣＰＵ１０８の制御下でＴＧ１０３により制御される。

図９に示すように、時刻ｔ０〜時刻ｔ１（全画素リセット時間）では、図２に示す垂直走査回路１３３は転送制御信号ｔｘ（０）〜ｔｘ（３）をアクティブとする。これによって、全画素において図３に示すフォトダイオード１４０に蓄積された電荷は転送ゲート１４１を介してＦＤ部１４２に転送され、全画素のフォトダイオード１４０の電荷がリセットされる。

なお、同時に垂直走査回路１３３がリセット制御信号ｒｅｓ（０）〜ｒｅｓ（３）をアクティブとし、リセットスイッチ１４４をオンするようにしてもよい。

時刻ｔ１において、垂直走査回路１３３は転送制御信号ｔｘ（０）〜ｔｘ（３）をネゲートする。これによって、全画素でフォトダイオード１４０のリセットが解除され、同時に電荷の蓄積を開始する。時刻ｔ１〜時刻ｔ２の時間内のあるタイミングにおいて、撮像素子１０１の外部の機構（例えばフォーカルプレーンシャッター１０４）によって撮像素子１０１への入射光が遮断される。

時刻ｔ１から入射光が遮断されるまでの時間（蓄積時間）において、全画素のフォトダイオード１４０に信号電荷が蓄積される。なお、本実施形態では、全画素において同時に信号電荷の蓄積を開始しているが、これに限定されるものではない。また、フォトダイオード１４０のリセットは行毎にタイミングを異ならせるようにしてもよい。

時刻ｔ２において、ＣＰＵ１０８によって１行の読み出し時間を示す水平同期信号ＨＤがアサートされる。続いて、時刻ｔ４において、図７に示す第Ｙ０行目の画素の信号についての垂直転送（列転送）が開始される。すなわち、時刻ｔ４において、垂直走査回路１３３が選択制御信号ｓｅｌ（０）をアクティブとして、画素選択スイッチ１４５をオンする。

時刻ｔ５において、垂直走査回路１３３はリセット制御信号ｒｅｓ（０）をアクティブとする。これによって、リセットスイッチ１４４がオンされて、ＦＤ部１４２によって規定される容量の電荷が初期化（リセット）される。

時刻ｔ６において、垂直走査回路１３３はリセット制御信号ｒｅｓ（０）をネゲートする。これによって、リセットスイッチ１４４がオフされてリセットが解除され、そのときのＦＤ部１４２の電荷量が増幅ＭＯＳトランジスタ１４３により電圧に変換される。そして、列出力線１３６にはリセット解除時の信号レベル（所謂ダークレベル）の信号が出力される。

その後、時刻ｔ７において、垂直走査回路１３３は転送制御信号ｔｘ（０）をアクティブにして、転送ゲート１４１をオンする。そして、各画素のフォトダイオード１４０に蓄積されている信号電荷がＦＤ部１４２に転送され、増幅ＭＯＳトランジスタ１４３で電圧に変換されて出力される。この際、転送された信号電荷に見合う分だけリセットレベルから電位が変動して信号レベルが確定する。

時刻ｔ８において、垂直走査回路１３３は転送制御信号ｔｘ（０）をネゲートし、画素１３５からの信号の垂直転送終了後の時刻ｔ９で、垂直走査回路１３３は選択制御信号ｓｅｌ（０）をネゲートする。画素信号の出力が終了した後、時刻ｔ１０から次行の画素の読み出しが開始される。時刻ｔ２〜時刻ｔ１０の時間は図７に示す時間３００と等しい。

時刻ｔ１０〜時刻ｔ１１において、選択制御信号ｓｅｌ（１）、リセット制御信号ｒｅｓ（１）、転送制御信号ｔｘ（１）が、時刻ｔ２〜時刻ｔ１０における第Ｙ０行目の画素１３５からの画素信号の読み出しの場合と同様のタイミングで順次与えられる。これによって、第Ｙ１行目の画素１３５から画素信号が出力される。

同様に、時刻ｔ１１〜時刻ｔ１２、及び時刻ｔ１２〜時刻ｔ１３において、それぞれ第Ｙ２〜第Ｙ３行目の画素から画素信号が読み出される。このようにして、静止画撮影において、撮像素子１０１の全行について読み出し動作を行うことよって、撮像素子１０１の全画素から画素信号が出力される。

図１０は、本実施形態におけるライブビュー撮影での撮像素子１０１の動作タイミングを示す図である。

図１０に示すように、選択制御信号ｓｅｌ（０）、リセット制御信号ｒｅｓ（０）、転送制御信号ｔｘ（０）が、図９と同様に時刻ｔ０〜時刻ｔ１０における第０行目の画素１３５からの画素信号の読み出しの場合と同様のタイミングで順次与えられ、第Ｙ０行目の画素１３５から画素信号が出力される。

一方、時刻ｔ１０〜時刻ｔ１１、及び時刻ｔ１１〜時刻ｔ１２においては、それぞれ第Ｙ１行目、第Ｙ２行目の画素からは画素信号を読み出さない。そのため、選択制御信号ｓｅｌ（１）、ｓｅｌ（２）、リセット制御信号ｒｅｓ（１）、ｒｅｓ（２）、転送制御信号ｔｘ（１）、ｔｘ（２）は制御されない。時刻ｔ２〜時刻ｔ１０の時間は図８に示す時間３１０と等しく、時刻ｔ１０〜時刻ｔ１２の時間は図８に示す時間３１１と等しい。

次いで、時刻ｔ１２〜時刻ｔ１３において、選択制御信号ｓｅｌ（３）、リセット制御信号ｒｅｓ（３）、転送制御信号ｔｘ（３）が、図９と同様に時刻ｔ１２〜時刻ｔ１３における第Ｙ３行目の画素１３５からの画素信号の読み出しの場合と同様のタイミングで順次与えられ、第Ｙ３行目の画素１３５から画素信号が出力される。このようにして、ライブビュー撮影において、撮像素子１０１の一部から画素信号が出力される。

この動作により、図８に示すライブビュー画像の１フレームの読み出し時間３１２が、図７に示す時間３０１と一致する。同様に、図７に示す時間３０１は、図５に示す時間２０７と一致し、図８に示す時間３１２は、図５に示す時間２０３と一致する。すなわち、静止画像の１フレームの読み出し時間とライブビュー画像の１フレームの読み出し時間が一致する。

上記の動作により、静止画像撮影時とライブビュー撮影時での水平同期信号の１水平期間での読み出し画素数を揃えて信号を読み出し、ＴＧ１０３を各読み出しモード毎に制御する。このように制御することで、静止画像の読み出し時間とライブビュー画像の読み出し時間が等しくなる。

これにより、静止画像の読み出し走査及びリセット走査と、ライブビュー画像の読み出し走査及びリセット走査に制約がなくなるため、静止画像の読み出しとライブビュー画像の読み出しをブラックアウトなしで表示することが可能となる。

本実施形態では、ライブビュー撮影時は垂直方向の画素を３行に２行間引いて信号の読み出しを行う方式について説明したが、間引き数は限定されず任意の間引き数で読み出しを行う構成としてもよい。

以上のように、本実施形態では、ライブビュー撮影中においてもフレームレートを落とすことなくライブビュー表示を継続させながら静止画像撮影も同時に行うことが可能となる。

（第２の実施形態）
第１の実施形態では、静止画像撮影時の読み出し方式と、ライブビュー撮影時の読み出し方式の水平読み出し時間が等しい場合について説明した。第２の実施形態では、静止画像撮影時の読み出し方式と、ライブビュー撮影時の読み出し方式の水平読み出し時間が異なる場合について、図１１を用いて説明する。

図１１は、本実施形態におけるライブビュー画像の読み出し走査を説明する図である。ここでは、静止画像撮影時の読み出し方式については、第１の実施形態と同じであるため説明を省略する。

ライブビュー撮影時の読み出し方式は、水平方向は同色の３画素毎に信号を混合し、垂直方向は３行に１行ずつの周期で間引き読み出しをするものとする。第１の実施形態と同様に、ハッチングした画素は読み出されない画素を示す。

垂直方向Ｙ０の水平方向の画素Ｘ０からＸｉまでの信号を水平同期信号の水平期間Ｕ０で読み出す。このとき水平読み出し時間３２０は、水平同期信号の水平期間Ｕ０に対応する時間３２２よりも短い。そのため、読み出し回路が動作しない水平ブランキング間３２１を設けている。

次いで、垂直方向Ｙ１の画素については、水平同期信号の水平期間Ｕ１で画素信号の読み出しを行わない。同様に、垂直方向Ｙ２の画素についても、水平同期信号の水平期間Ｕ２で画素信号の読み出しを行わない。

次の垂直方向Ｙ３の画素については、再び水平方向の画素Ｘ０からＸｉまでの信号を水平同期信号の水平期間Ｕ３で読み出す。このとき、図７に示す静止画像用の水平同期信号の水平期間Ｈ０に対応する時間３００と、図１１に示すライブビュー用の水平同期信号の水平期間Ｕ０、Ｕ１、Ｕ２の合計の時間３２４は一致する。

これを垂直方向Ｙｊまで全垂直方向の画素に対して行い、ライブビュー撮影時の信号の読み出しを時間完了する。ライブビュー画像の水平読み出し時間３２４が、第１の実施形態と同様に図７に示す時間３００と一致する。

同様に、図１１に示すライブビュー画像の１フレームの読み出し時間３２５は、図５に示す静止画像の１フレームの読み出し時間２０３と一致する。なお、時間３２６は現フレームの信号読み出し完了から次フレームの読み出し走査開始までの垂直ブランキング期間である。

このとき、ライブビュー撮影時の読み出し方式では、水平同期信号の水平期間Ｕ１と水平同期信号の水平期間Ｕ２を含む時間３２３の間、撮像素子１０１の読み出し走査は行われない。そのため、読み出し回路１３１に含まれる電流源やオペアンプ等の回路の電力を削減可能であり、消費電力を抑える効果がある。

静止画撮影、及びライブビュー撮影における撮像素子１０１の動作タイミングは第１の実施形態における図９、図１０と同じである。図９に示す時刻ｔ２〜時刻ｔ１０の時間は図１１に示す時間３２４と等しく、図１０に示す時刻ｔ２〜時刻ｔ１０の時間は図１１に示す時間３２２と等しい。

上記の動作により、静止画像撮影時とライブビュー撮影時で水平同期信号の水平期間が同一でない場合においても、静止画像撮影時の水平読み出し時間とライブビュー撮影時の水平読み出し時間および水平ブランキング期間の合計時間が等しくなるように読み出す。これにより、静止画像の読み出し時間とライブビュー画像の読み出し時間が等しくなる。

そして、静止画像の読み出し走査及びリセット走査と、ライブビュー画像の読み出し走査とリセット走査に制約がなくなるため、静止画像の読み出しとライブビュー画像の読み出しをブラックアウトなしで表示することが可能となる。

なお、本実施形態では、ライブビュー撮影時に水平方向の画素を３画素毎に混合して信号の読み出しを行う方式について説明したが、信号の混合を行う画素数はこれに限定されず任意の画素数毎に信号を混合して読み出しを行う構成としてもよい。

（第３の実施形態）
第１及び第２の実施形態では、図２に示すように、静止画像撮影時の読み出し方式と、ライブビュー撮影時の読み出し方式において単一の列出力線を使用する場合について説明した。第３の実施形態では、静止画像撮影時の読み出し方式と、ライブビュー撮影時の読み出し方式において複数の列出力線を使用する場合について、図１２、図１３を用いて説明する。

図１２は、撮像素子１０１の回路構成の一例を示す図である。図２と同じ部分については同じ符号を付して、説明を省略する。

Ｒ画素とＧｂ画素が配置される列（１列目）を例に説明すると、Ｒ画素は列出力線１３６と接続され、Ｇｂ画素は列出力線１３７と接続される。
Ｇｒ画素とＢ画素が配置される列（２列目）では、Ｇｒ画素は列出力線１３６と接続され、Ｂ画素は列出力線１３７と接続される。この接続パターンが３列目以降の画素においても繰り返される。

この構成により、例えば静止画像の読み出しにおいては、Ｒ画素の信号読み出しでは列出力線１３６を使用し、Ｇｂ画素の信号読み出しでは列出力線１３７を使用する。
一方、ライブビュー画像の読み出しにおいては、同じ列出力線１３６に接続された複数のＲ画素の信号を同時に読み出して混合し、同様に列出力線１３７に接続された複数のＧｂ画素の信号を同時に読み出して混合することが可能となる。

図１３は、本実施形態におけるライブビュー画像の読み出し走査を説明する図である。まず、静止画像撮影時の読み出し方式は、図１２に示す画素アレイ１３０の水平方向、垂直方向ともに信号の混合や間引きをしないで全画素を読み出するものとする。
図１２に示すＲ画素の信号読み出しでは、列出力線１３６を使用し、Ｇｂ画素の信号読み出しでは列出力線１３７を使用する。このように、行毎に使用する列出力線を切り替えながら全行の画素信号を読み出す。同時に使用する列出力線は列出力線１３６、または列出力線１３７のいずれか一方のみである。

一方、ライブビュー撮影時の読み出し方式は、水平方向は同色の３画素毎に信号を混合し、垂直方向は３行に２行ずつの周期で信号の混合読み出しをするものとする。第１及び第２の実施形態と同様に、ハッチングした画素は読み出されない画素を示す。

垂直方向位置Ｙ０、Ｙ２の水平方向の画素Ｘ０からＸｉまでの信号と、垂直方向位置Ｙ３、Ｙ５の水平方向の画素Ｘ０からＸｉまでの信号をライブビューの水平同期信号の水平期間Ｕ０で同時に読み出す。このとき、同じ列出力線１３６に接続された垂直方向位置Ｙ０、Ｙ２のＲ画素を同時に読み出して列出力線１３６で混合する。同様に列出力線１３７に接続された垂直方向位置Ｙ３、Ｙ５のＧｂ画素の信号を同時に読み出して列出力線１３７で混合して読み出す。

このため、使用する列出力線は静止画像の読み出し方式と異なり、常に列出力線１３６、列出力線１３７の２列が使用される。垂直方向位置Ｙ０、Ｙ２、Ｙ３、Ｙ５の画素信号読み出し時間３３１は、水平同期信号の水平期間Ｕ０より短い。

そのため、次の垂直方向位置Ｙ６の読み出し開始までの時間３３２は、読み出し回路が動作しない水平ブランキング期間となる。これを垂直方向位置Ｙｊまで全垂直方向の画素に対して行い、ライブビュー撮影時の読み出しを時間完了する。

ライブビュー撮影時の水平同期信号の水平期間Ｕ０とＵ１を合わせた時間３３０は、図７に示す静止画像撮影時の水平同期信号の水平期間Ｈ０の長さに一致する。すなわち、第１の実施形態と同様に図７に示す時間３０１と一致する。
同様に、図１３に示すライブビュー画像の１フレームの読み出し時間３３３は、図５に示す時間２０３と一致する。すなわち、静止画像の１フレームの読み出し時間とライブビュー画像の１フレームの読み出し時間が一致する。

このとき、ライブビュー撮影時の読み出し方式では、水平同期信号の水平期間Ｕ０とＵ１を合わせた時間３３０のうち水平ブランキング期間３３２では、撮像素子１０１の読み出し走査を行わない。そのため、読み出し回路１３１に含まれる電流源やオペアンプ等の回路の電力を抑制可能であり、消費電力を抑える効果がある。

図１４は、本実施形態におけるライブビュー撮影における撮像素子１０１の動作タイミングを示す図である。

図１４に示すように、図９と同様に時刻ｔ０〜時刻ｔ１（全画素リセット時間）では、図２に示す垂直走査回路１３３は転送制御信号ｔｘ（０）〜ｔｘ（１１）をアクティブとする。これによって、全画素において図３に示すフォトダイオード１４０に蓄積された電荷は転送ゲート１４１を介してＦＤ部１４２に転送され、全画素のフォトダイオード１４０の電荷がリセットされる。

なお、同時に垂直走査回路１３３がリセット制御信号ｒｅｓ（０）〜ｒｅｓ（１１）をアクティブとし、リセットスイッチ１４４をオンするようにしてもよい。

時刻ｔ１において、垂直走査回路１３３は転送制御信号ｔｘ（０）〜ｔｘ（１１）をネゲートする。これによって、全画素でフォトダイオード１４０のリセットが解除され、同時に電荷の蓄積を開始する。

時刻ｔ２において、ＣＰＵ１０８によって１行の読み出し時間を示す水平同期信号ＨＤがアサートされる。続いて、時刻ｔ４において、第Ｙ０行目、第Ｙ２行目、第Ｙ３行目、及び第Ｙ５行目の画素の信号についての垂直転送（列転送）が開始される。すなわち、時刻ｔ４において、垂直走査回路１３３が選択制御信号ｓｅｌ（０）、ｓｅｌ（２）、ｓｅｌ（３）、及びｓｅｌ（５）をアクティブとして、画素選択スイッチ１４５をオンする。

時刻ｔ５において、垂直走査回路１３３はリセット制御信号ｒｅｓ（０）、ｒｅｓ（２）、ｒｅｓ（３）、及びｒｅｓ（５）をアクティブとする。これによって、リセットスイッチ１４４がオンされて、ＦＤ部１４２によって規定される容量の電荷が初期化（リセット）される。

時刻ｔ６において、垂直走査回路１３３はリセット制御信号ｒｅｓ（０）、ｒｅｓ（２）、ｒｅｓ（３）、及びｒｅｓ（５）をネゲートする。これによって、リセットスイッチ１４４がオフされてリセットが解除され、そのときのＦＤ部１４２の電荷量が増幅ＭＯＳトランジスタ１４３により電圧に変換される。そして、列出力線１３６にはリセット解除時の信号レベル（所謂ダークレベル）の信号が出力される。

その後、時刻ｔ７において、垂直走査回路１３３は転送制御信号ｔｘ（０）、ｔｘ（２）、ｔｘ（３）、及びｔｘ（５）をアクティブにして、転送ゲート１４１をオンする。そして、各画素のフォトダイオード１４０に蓄積されている信号電荷がＦＤ部１４２に転送され、増幅ＭＯＳトランジスタ１４３で電圧に変換されて出力される。この際、転送された信号電荷に見合う分だけリセットレベルから電位が変動して信号レベルが確定する。

時刻ｔ８において、垂直走査回路１３３は転送制御信号ｔｘ（０）、ｔｘ（２）、ｔｘ（３）、及びｔｘ（５）をネゲートする。そして、画素１３５からの信号の垂直転送終了後の時刻ｔ９で、垂直走査回路１３３は選択制御信号ｓｅｌ（０）、ｓｅｌ（２）、ｓｅｌ（３）、及びｓｅｌ（５）をネゲートする。画素信号の出力が終了した後、時刻ｔ１０から次行の画素の読み出しが開始される。時刻ｔ２〜時刻ｔ１０は図７に示す時間３００と等しい。

時刻ｔ１０〜時刻ｔ１１、及び時刻ｔ１２〜時刻ｔ１３においては、画素信号を読み出さないため、選択制御信号、リセット制御信号、転送制御信号は制御されない。

時刻ｔ１１〜時刻ｔ１２において、選択制御信号ｓｅｌ（６）、ｓｅｌ（８）、ｓｅｌ（９）、及びｓｅｌ（１１）、リセット制御信号ｒｅｓ（６）、ｒｅｓ（８）、ｒｅｓ（９）、及びｒｅｓ（１１）、転送制御信号ｔｘ（６）、ｔｘ（８）、ｔｘ（９）、及びｔｘ（１１）が、時刻ｔ２〜時刻ｔ１０における第Ｙ０行目、第Ｙ２行目、第Ｙ３行目、及び第Ｙ５行目の画素１３５からの画素信号の読み出しの場合と同様のタイミングで順次与えられる。

これによって、第Ｙ６行目、第Ｙ８行目、第Ｙ９行目、及び第Ｙ１１行目の画素１３５から画素信号が出力される。このようにして、ライブビュー撮影において、撮像素子１０１の一部の画素から画素信号が出力される。時刻ｔ２〜時刻ｔ１１の時間は図１３に示す時間３３０と等しい。

上記の動作により、静止画像撮影時とライブビュー撮影時で使用する列出力線が一致していない場合においても、静止画像撮影時の読み出し時間とライブビュー撮影時の読み出し時間および水平ブランク期間の合計時間が等しくなるように画素信号を読み出す。これにより、静止画像の読み出し時間とライブビュー画像の読み出し時間が等しくなる。
そして、静止画像の読み出し走査及びリセット走査と、ライブビュー画像の読み出し走査とリセット走査に制約がなくなるため、静止画像の読み出しとライブビュー画像の読み出しをブラックアウトなしで表示することが可能となる。

上記の実施形態では、水平方向の画素の信号を３画素毎に混合して読み出しを行う方式について説明したが、信号の混合を行う画素数はこれに限定されるものではない。すなわち、任意の画素数毎で信号を混合して読み出しを行う構成や、全画素の信号読み出しを行う構成としてもよい。

また、垂直方向の画素の信号を３行に２行ずつの周期で混合して読み出す方式について説明したが、信号の混合を行う画素数はこれに限定されず、任意の画素数毎で信号を混合して読み出しを行う構成としてもよい。

また、本実施形態では、同時に使用する列出力線が静止画像の読み出し走査よりもライブビュー画像の読み出し走査の方が多い構成としたが、ライブビュー画像の読み出し走査よりも静止画像の読み出し走査において同時に使用する列出力線の方が多い構成としてもよい。

（第４の実施形態）
図１５は、位相差検出が可能な画素アレイ１３０の構成例を示す図である。画素アレイ１３０は、２次元の画像データを出力するため、複数の画素１３５を２次元アレイ状に配置している。

図１５に円形枠で示すマイクロレンズ１０１ｆに対し、長方形枠で示す複数のフォトダイオード（ＰＤ）１０１ｇ、１０１ｈが設けられる。ＰＤ１０１ｇ、１０１ｈは、複数の光電変換部を構成する。つまり、各画素部を構成する２つのＰＤに対して１つのマイクロレンズが被写体側に配置される。

１つのマイクロレンズ１０１ｆで表される領域を１画素とした場合、水平方向にｎ個の画素、垂直方向にｍ個の画素が並んで配置される。垂直走査回路１３３の動作設定によって、ＰＤ１０１ｇに蓄積された信号とＰＤ１０１ｈに蓄積された信号を混合して読み出すことも可能であるし、いずれか一方、あるいは両方の信号を独立に読み出すことも可能である。ＰＤ１０１ｇとＰＤ１０１ｈには、後述のように位相差を持った異なる像の光がそれぞれ入射する。

以下、便宜上、ＰＤ１０１ｇをＡ像用画素、ＰＤ１０１ｈをＢ像用画素と表現する。本実施形態では、１つのマイクロレンズに対して２個のＰＤを配置した構成例を示すが、１つのマイクロレンズに対して３個以上のＰＤ（例えば４個、９個など）を配置した構成でもよい。つまり、１つのマイクロレンズに対して複数のＰＤが上下方向または左右方向に配置された構成にも本発明を適用可能である。

次に、図１５に示す画素アレイ構成を有する撮像素子１０１において、Ａ像用画素とＢ像用画素が出力する画素データについて説明する。図１６（ａ）及び（ｂ）は、撮像素子１０１におけるピント状態と位相差との関係を示す模式図である。

図１６に示す画素アレイの断面１０１ａにおいて、１つのマイクロレンズ１０１ｆ（単位画素）に対してＡ像用画素１０１ｇ及びＢ像用画素１０１ｈが配置される。
撮影光学系１２２は、図１に示す第１レンズ群１０７、第２レンズ群１０６、第３レンズ群１０５を併せて１つのレンズとして表現した撮影光学系である。

被写体１５１からの光は、光軸１５２を中心として、撮影光学系１２２の各領域を通過して撮像素子に結像する。ここでは射出瞳と撮影レンズの中心を同一としている。撮影光学系１２２の各領域は、異なる方向から光が通過する。

すなわち、本構成では、撮影光学系１２２をＡ像用画素１０１ｇから見た場合とＢ像用画素１０１ｈから見た場合とで、撮影光学系１２２の瞳が対称に分割されたことと等価となる。言い換えれば、撮影光学系１２２からの光束が２つの光束として、いわゆる瞳分割される。この分割光束（第１光束ΦＬａ及び第２光束ΦＬｂ）がＡ像用画素１０１ｇ及びＢ像用画素１０１ｈにそれぞれ入射する。

被写体１５１上の特定点からの第１光束は、Ａ像用画素１０１ｇに対応する分割瞳を通ってＡ像用画素１０１ｇに入射する光束ΦＬａである。また、被写体１５１上の特定点からの第２光束は、Ｂ像用画素１０１ｈに対応する分割瞳を通ってＢ像用画素１０１ｈに入射する光束ΦＬｂである。瞳分割された２つの光束は、被写体１５１上の同一点から撮影光学系１２２を通過して入射される。

このため、被写体１５１にピントが合った状態では、図１６（ａ）に示すように、光束ΦＬａ，ΦＬｂが同一のマイクロレンズ１０１ｆを通過して撮像素子１０１上の１点に到達する。したがって、Ａ像用画素１０１ｇとＢ像用画素１０１ｈからそれぞれ得られる像信号の位相は互いに一致する。

これに対し、図１６（ｂ）に示すように、光軸方向に距離Ｙだけピントがずれている状態では、光束ΦＬａ，ΦＬｂがマイクロレンズ１０１ｆへ入射する入射角の変化分だけ両光束の到達位置が互いにずれる。したがって、Ａ像用画素１０１ｇとＢ像用画素１０１ｈからそれぞれ得られる像信号には位相差が生じる。

Ａ像用画素１０１ｇ及びＢ像用画素１０１ｈにより検出される、互いに位相差を持った２つの被写体像（Ａ像及びＢ像）はＰＤがそれぞれ光電変換する。光電変換後のＡ像、Ｂ像の各信号は別々に外部へ出力され、後述するＡＦ動作で使用される。

図１７（ａ）は、図１６（ａ）で説明したように被写体にピントが合っている場合のＡ像画像データ及びＢ像画像データを示す図である。横軸は、画素位置を表し、縦軸は出力レベルを表す。図１７（ａ）に示すように、被写体にピントが合っている場合、Ａ像画像データとＢ像画像データは一致する。

図１７（ｂ）は、図１６（ｂ）で説明したように被写体にピントが合っていない場合のＡ像画像データ及びＢ像画像データを示す図である。この場合、Ａ像画像データとＢ像画像データは位相差を持ち、画素位置にずれ量Ｘが生じる。ＡＦ演算部１１５は、動画フレーム毎のずれ量Ｘを算出することにより、ピントずれ量、即ち図１６（ｂ）におけるＹの値を算出する。ＡＦ演算部１１５は算出したＹの値を、ＣＰＵ１０８を介してフォーカス駆動回路１１６に送信する（オートフォーカス動作）。

ここで、画素１３５の１画素毎の構成について図１８を用いて説明する。フォトダイオード（ＰＤ）１４０ａ（１０１ｇ）、１４０ｂ（１０１ｈ）は、入射光を光電変換し、露光量に応じた電荷を蓄積する。転送制御信号ｔｘａ、ｔｘｂをそれぞれハイレベルにすることで転送ゲート１４１ａ、１４１ｂがオン（導通状態）になり、ＰＤ１４０に蓄積されている電荷がフローティングディフュージョン部（ＦＤ部）１４２に転送される。

ＦＤ部１４２は、増幅ＭＯＳトランジスタ１４３のゲートに接続されている。増幅ＭＯＳトランジスタ１４３は、ＰＤ１４０ａ、１４０ｂからＦＤ部１４２に転送されてきた電荷量に応じた電圧信号を出力する。

リセットスイッチ１４４は、ＦＤ部１４２やＰＤ１４０ａ、１４０ｂの電荷をリセットするためのスイッチである。リセット制御信号ｒｅｓをハイレベルにすることでリセットスイッチ１４４がオン（導通状態）になり、ＦＤ部１４２の電荷がリセットされる。

また、ＰＤ１４０ａ、１４０ｂの電荷をリセットする場合には、転送制御信号ｔｘａ、ｔｘｂ及びリセット制御信号ｒｅｓを同時にハイレベルにする。そして、転送ゲート１４１ａ、１４１ｂ及びリセットスイッチ１４４を両方オンし、ＦＤ部１４２経由でＰＤ１４０ａ、１４０ｂの電荷をリセットする。

画素選択スイッチ１４５は、選択制御信号ｓｅｌをハイレベルとすることでオン（導通状態）になり、増幅ＭＯＳトランジスタ１４３と画素１３５の出力端子とを接続する。これにより、増幅ＭＯＳトランジスタ１４３で電圧に変換された画素信号が画素１３５の出力端子に出力される。

図１９は、本実施形態における静止画撮影における撮像素子１０１の動作タイミングを示す図である。撮像素子１０１は、ＣＰＵ１０８の制御下でＴＧ１０３により制御される。

図１９に示すように、時刻ｔ０〜時刻ｔ１（全画素リセット時間）では、図２に示す垂直走査回路１３３は転送制御信号ｔｘａ（０）〜ｔｘａ（３）、ｔｘｂ（０）〜ｔｘｂ（３）をアクティブとする。これによって、全画素において図１８に示すフォトダイオード１４０ａ（１０１ｇ）、及びフォトダイオード１４０ｂ（１０１ｈ）に蓄積された電荷は転送ゲート１４１ａ、及び１４１ｂを介してＦＤ部１４２に転送され、全画素のフォトダイオード１４０ａ、１４０ｂの電荷がリセットされる。

なお、同時に垂直走査回路１３３がリセット制御信号ｒｅｓ（０）〜ｒｅｓ（３）をアクティブとし、リセットスイッチ１４４をオンするようにしてもよい。

時刻ｔ１において、垂直走査回路１３３は転送制御信号ｔｘａ（０）〜ｔｘａ（３）、ｔｘｂ（０）〜ｔｘｂ（３）をネゲートする。これによって、全画素でフォトダイオード１４０ａ、及び１４０ｂのリセットが解除され、同時に電荷の蓄積を開始する。時間ｔ１〜ｔ２内のあるタイミングにおいて、撮像素子１０１の外部の機構（例えばフォーカルプレーンシャッター１０４）によって撮像素子１０１への入射光が遮断される。

時刻ｔ１から入射光が遮断されるまでの時間（蓄積時間）において、全画素のフォトダイオード１４０ａ、及び１４０ｂに信号電荷が蓄積される。なお、本実施形態では全画素において同時に信号電荷の蓄積を開始しているが、これに限定されない。また、フォトダイオード１４０ａ、及び１４０ｂのリセットは行毎にタイミングを異ならせるようにしてもよい。

時刻ｔ２において、ＣＰＵ１０８によって１行の読み出し時間を示す水平同期信号ＨＤがアサートされる。続いて、時刻ｔ４において、図７に示す第Ｙ０行目の画素の信号についての垂直転送（列転送）が開始される。すなわち、時刻ｔ４において、垂直走査回路１３３が選択制御信号ｓｅｌ（０）をアクティブとして、画素選択スイッチ１４５をオンする。

時刻ｔ５において、垂直走査回路１３３はリセット制御信号ｒｅｓ（０）をアクティブとする。これによって、リセットスイッチ１４４がオンされて、ＦＤ部１４２によって規定される容量の電荷が初期化（リセット）される。

時刻ｔ６において、垂直走査回路１３３はリセット制御信号ｒｅｓ（０）をネゲートする。これによって、リセットスイッチ１４４がオフされてリセットが解除され、そのときのＦＤ部１４２の電荷量が増幅ＭＯＳトランジスタ１４３により電圧に変換される。そして、列出力線１３６にはリセット解除時の信号レベル（所謂ダークレベル）の信号が出力される。

その後、時刻ｔ７において、垂直走査回路１３３は転送制御信号ｔｘａ（０）をアクティブにして、転送ゲート１４１ａをオンする。そして、各画素のフォトダイオード１４０ａに蓄積されている信号電荷がＦＤ部１４２に転送され、増幅ＭＯＳトランジスタ１４３で電圧に変換されて出力される。この際、転送された信号電荷に見合う分だけリセットレベルから電位が変動してＡ像信号の信号レベルが確定する。時刻ｔ８において、垂直走査回路１３３は、時刻ｔ８において転送制御信号ｔｘａ（０）をネゲートする。

次いで、時刻ｔ９において、垂直走査回路１３３は転送制御信号ｔｘａ（０）、及びｔｘｂ（０）をアクティブにして、転送ゲート１４１ａ、及び１４１ｂをオンする。そして、各画素のフォトダイオード１４０ａ、及び１４０ｂに蓄積されている信号電荷がＦＤ部１４２に転送され、増幅ＭＯＳトランジスタ１４３で電圧に変換されて出力される。この際、転送された信号電荷に見合う分だけリセットレベルから電位が変動してＡ＋Ｂ像信号の信号レベルが確定する。時刻ｔ１０において、垂直走査回路１３３は、転送制御信号ｔｘａ（０）、及びｔｘｂ（０）をネゲートする。

画素１３５からの信号の垂直転送終了後の時刻ｔ１１で、垂直走査回路１３３は選択制御信号ｓｅｌ（０）をネゲートする。画素信号の出力が終了した後、時刻ｔ１２から次行の画素の読み出しが開始される。時刻ｔ２〜時刻ｔ１２の時間は図７に示す時間３００と等しい。

時刻ｔ１２〜時刻ｔ１３において、選択制御信号ｓｅｌ（１）、リセット制御信号ｒｅｓ（１）、転送制御信号ｔｘａ（１）、及びｔｘｂ（１）が、時刻ｔ２〜時刻ｔ１２における図７に示す第Ｙ０行目の画素１３５からの画素信号の読み出しの場合と同様のタイミングで順次与えられる。これによって、第Ｙ１行目の画素１３５から画素信号が出力される。

同様に、時刻ｔ１３〜時刻ｔ１４、及び時刻ｔ１４〜時刻ｔ１５において、それぞれ第Ｙ２〜第Ｙ３行目の画素から画素信号が読み出される。このようにして、静止画撮影において、撮像素子１０１の全行について読み出し動作を行うことよって、撮像素子１０１の全画素から画素信号が出力される。

図２０は、本実施形態におけるライブビュー撮影における撮像素子１０１の動作タイミングを示す図である。

図２０に示すように、選択制御信号ｓｅｌ（０）、リセット制御信号ｒｅｓ（０）、転送制御信号ｔｘａ（０）、及びｔｘｂ（０）が、図１９と同様に時刻ｔ２〜時刻ｔ１２における図８に示す第０行目の画素１３５からの画素信号の読み出しの場合と同様のタイミングで順次与えられ、第Ｙ０行目の画素１３５から画素信号が出力される。

一方、時刻ｔ１２〜時刻ｔ１３、及び時刻ｔ１３〜時刻ｔ１４においては、それぞれ第Ｙ１行目、第Ｙ２行目の画素からは画素信号を読み出さない。そのため、選択制御信号ｓｅｌ（１）、ｓｅｌ（２）、リセット制御信号ｒｅｓ（１）、ｒｅｓ（２）、転送制御信号ｔｘａ（１）、ｔｘｂ（１）、ｔｘａ（２）、ｔｘｂ（２）は制御されない。時刻ｔ２〜時刻ｔ１２は図８に示す時間３１０と等しく、時刻ｔ１２〜時刻ｔ１４は図８に示す時間３１１と等しい。

次いで、時刻ｔ１４〜時刻ｔ１５において、選択制御信号ｓｅｌ（３）、リセット制御信号ｒｅｓ（３）、転送制御信号ｔｘａ（３）、及びｔｘｂ（３）が、図１９と同様に時刻ｔ１４〜時刻ｔ１５における図８に示す第Ｙ３行目の画素１３５からの画素信号の読み出しの場合と同様のタイミングで順次与えられ、第Ｙ３行目の画素１３５から画素信号が出力される。このようにして、ライブビュー撮影において、撮像素子１０１の一部から画素信号が出力される。

この動作により、図８に示すライブビュー画像の１フレームの読み出し時間３１２が、図７に示す時間３０１と一致する。同様に、図７に示す時間３０１は、図５に示す時間２０７と一致し、図８に示す時間３１２は、図５に示す時間２０３と一致する。すなわち、静止画像の１フレームの読み出し時間とライブビュー画像の１フレームの読み出し時間が一致する。

上記の動作により、静止画像撮影時とライブビュー撮影時での水平同期信号の１水平期間での読み出し画素数を揃えて信号を読み出し、ＴＧ１０３を各読み出しモード毎に制御する。このように制御することで、静止画像の読み出し時間とライブビュー画像の読み出し時間が等しくなる。

これにより、静止画像の読み出し走査及びリセット走査と、ライブビュー画像の読み出し走査とリセット走査に制約がなくなるため、静止画像の読み出しとライブビュー画像の読み出しをブラックアウトなしで表示することが可能となる。

本実施形態では、ライブビュー撮影時は垂直方向の画素を３行に１行間引いて信号の読み出しを行う方式について説明したが、間引き数はこれに限定されず、任意の間引き数で読み出しを行う構成としてもよい。また、第２の実施形態、及び第３の実施形態のように水平方向の画素を混合、あるいは垂直方向の画素を混合して信号の読み出しを行う構成としてもよい。

また、本実施形態では、静止画像撮影時、及びライブビュー撮影時のそれぞれでＡ像用信号、及びＡ＋Ｂ像用信号の読み出しを行う方式について説明した。しかし、静止画像撮影時、またはライブビュー撮影時のいずれか一方のみＡ像用信号、及びＡ＋Ｂ像用信号の読み出しを行い、もう一方はＡ＋Ｂ像用信号のみを読み出す構成としてもよい。

さらに、本実施形態では、静止画像撮影、及びライブビュー撮影時のＡ像用信号の読み出しは、全行について行う構成について説明した。しかし、静止画像撮影時、及びライブビュー撮影時の両方、あるいはいずれか一方のみＡ像用信号の読み出す行を一部として、静止画像のＡ像用信号、及びＡ＋Ｂ像用信号の全行の読み出し時間とライブビュー画像のＡ像用信号、及びＡ＋Ｂ像用信号の全行の読み出し時間を一致させる構成としてもよい。

以上説明したように、本実施形態では、ＡＦ動作に使用するＡ像、Ａ＋Ｂ像用信号の読み出しが可能な撮像素子を用いた場合、ライブビュー撮影中においてもフレームレートを落とすことなくライブビュー表示を継続させながら静止画像撮影も同時に行うことが可能となる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１：撮像素子、１０８：ＣＰＵ、１０９：表示部、１１３：画像処理部、１３０：画素アレイ

Claims (13)

1. 複数の画素を有する撮像素子と、
   ライブビュー表示を行うために、前記撮像素子から、画素信号を第１の読み出しモードで読み出すとともに、前記ライブビュー表示の間に、静止画像を取得するために、前記撮像素子から、画素信号を前記第１の読み出しモードとは異なる第２の読み出しモードで読み出す読み出し手段と、
   前記第１の読み出しモードでの読み出し時間と、前記第２の読み出しモードでの読み出し時間とが等しくなるように、前記読み出し手段を制御する制御手段と、
   を備えることを特徴とする撮像装置。
2. 前記第１の読み出しモードでは、画素信号を間引くあるいは混合して、前記撮像素子から読み出すことを特徴とする請求項１に記載の撮像装置。
3. 前記第２の読み出しモードでは、画素信号の間引きあるいは混合を行わずに、画素信号を前記撮像素子から読み出すことを特徴とする請求項１または２に記載の撮像装置。
4. 前記制御手段は、前記第１の読み出しモードでの１フレームの画素信号の読み出し時間を、前記第２の読み出しモードでの１フレームの画素信号の読み出し時間に合わせることを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記制御手段は、前記第１の読み出しモードでの水平読み出し時間を、前記第２の読み出しモードでの水平読み出し時間に合わせることにより、前記第１の読み出しモードでの１フレームの画素信号の読み出し時間を、前記第２の読み出しモードでの１フレームの画素信号の読み出し時間に合わせることを特徴とする請求項４に記載の撮像装置。
6. 前記制御手段は、前記第１の読み出しモードにおいて、画素信号を間引いてあるいは混合して読み出すことにより前記第２の読み出しモードよりも短くされた読み出し時間を、画素信号の読み出しを停止する時間として設けることにより、前記第１の読み出しモードでの１フレームの画素信号の読み出し時間を、前記第２の読み出しモードでの１フレームの画素信号の読み出し時間に合わせることを特徴とする請求項４または５に記載の撮像装置。
7. 前記制御手段は、前記画素信号の読み出しを停止する時間では、前記撮像素子の駆動を行わずに消費電力を削減することを特徴とする請求項６に記載の撮像装置。
8. 前記第１の読み出しモードにおいて同時に使用する列出力線の数と、前記第２の読み出しモードにおいて同時に使用する列出力線の数とが異なることを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
9. 前記撮像素子は、第１の光電変換部と第２の光電変換部とを備えた単位画素を有し、前記第１の読み出しモードと、前記第２の読み出しモードの少なくとも一方では、前記第１の光電変換部または前記第２の光電変換部から第１の信号を読み出すとともに、前記第１の光電変換部および前記第２の光電変換部から前記第１の光電変換部と前記第２の光電変換部の信号を混合した第２の信号を読み出し、前記第１の信号と前記第２の信号をオートフォーカス動作に使用することを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
10. 前記第１の読み出しモードで画素信号が読み出されている状態から、撮影者の操作によって前記第２の読み出しモードに切り替えられること特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。
11. 複数の画素を有する撮像素子を備える撮像装置を制御する方法であって、
    ライブビュー表示を行うために、前記撮像素子から、画素信号を第１の読み出しモードで読み出すとともに、前記ライブビュー表示の間に、静止画像を取得するために、前記撮像素子から、画素信号を前記第１の読み出しモードとは異なる第２の読み出しモードで読み出す読み出し工程と、
    前記第１の読み出しモードでの読み出し時間と、前記第２の読み出しモードでの読み出し時間とが等しくなるように、前記読み出し工程を制御する制御工程と、
    を有することを特徴とする撮像装置の制御方法。
12. 請求項１１に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。
13. 請求項１１に記載の制御方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images