JP2017203829A - 制御装置、撮像装置、制御方法、プログラム、記憶媒体 - Google Patents

Abstract

【課題】高速なフレームレートと位相差検出の高分解能を実現すること。
【解決手段】１つのマイクロレンズに対して第１の光電変換部および第２の光電変換部を備える撮像素子を制御する制御装置であって、同期信号に同期して前記撮像素子の画素領域のうち部分領域に設けられる前記第１の光電変換部および前記第２の光電変換部から画像生成用信号を読み出す第１の読み出しモードと、前記同期信号に同期して前記部分領域のうち該部分領域よりも小さい焦点検出領域に設けられる前記第１の光電変換部もしくは前記第２の光電変換部から焦点検出用信号を読み出す第２の読み出しモードと、を制御する制御手段（１０５）を有し、前記制御手段は、前記同期信号に応じて、前記第１の読み出しモードと、前記第２の読み出しモードと、を切り換えることを特徴とする。
【選択図】 図９

Description

本発明は、制御装置に関し、特に撮像面で焦点検出を行うことが可能な撮像素子を制御する制御装置に関する。

特許文献１には、撮像素子中の一つのマイクロレンズに対応する画素にＡ画素、Ｂ画素という複数の光電変換部を設け、Ａ画素出力とＢ画素出力に基づいて位相差検出を行い、Ａ画素とＢ画素を合わせたＡ＋Ｂ画素出力に基づいて画像を得る方法が開示されている。

また、特許文献２には、撮像素子中に所定間隔で配置された位相差検出専用画素の出力に基づいて位相差検出を行うフレームと、その他の撮像画素出力に基づいて画像を取得するフレームを分ける方法が開示されている。

特開２００１−０８３４０７号公報 特開２０１４−０５６０８８号公報

しかしながら、上述の特許文献２に開示された従来技術では、位相差検出専用画素は撮像信号として使用できないため、欠陥画素として周辺の撮像画素を用いて補間処理を行うなどの補正処理を行う必要がある。一方で、特許文献１に開示された従来技術のように、撮像面のすべての画素からＡ画素とＢ画素の出力が得られれば、すべての画素を位相差検出素子として使用できる。このため、位相差検出手段としてはより有効な方法であると考えられる。しかしながら、すべての画素からＡ画素とＢ画素の出力を読み出すため、例えば、クロップ読み出しなどのように非間引きの読み出しを行う場合に、位相差検出用信号と画像生成用信号の読み出しを行うことにより、読み出し画素数が多くなる。そのため、高速なフレームレートと位相差検出の高分解能を両立することが困難である。

そこで、本発明の目的は、高速なフレームレートと位相差検出の高分解能を実現することである。

本発明の一側面としての制御装置は、１つのマイクロレンズに対して第１の光電変換部および第２の光電変換部を備える撮像素子を制御する制御装置であって、同期信号に同期して前記撮像素子の画素領域のうち部分領域に設けられる前記第１の光電変換部および前記第２の光電変換部から画像生成用信号を読み出す第１の読み出しモードと、前記同期信号に同期して前記部分領域のうち該部分領域よりも小さい焦点検出領域に設けられる前記第１の光電変換部もしくは前記第２の光電変換部から焦点検出用信号を読み出す第２の読み出しモードと、を制御する制御手段を有し、前記制御手段は、前記同期信号に応じて、前記第１の読み出しモードと、前記第２の読み出しモードと、を切り換えることを特徴とする。

本発明によれば、高速なフレームレートと位相差検出の高分解能を実現することができる。

本発明における撮像装置の回路ブロックを示す図である。 本発明における撮像装置のメカ構成を示す図である。 本発明におけるＤＳＰ内部の機能ブロックを示す図である。 本発明における撮像素子の回路を示す図である。 本発明における撮像素子の単位画素の回路を示す図である。 本発明における撮像素子の単位画素の上面図である。 本発明における撮像素子の列回路の一例を示す図である。 本発明における撮像素子のタイミングチャートを示す図である。 本発明における撮像装置の撮像シーケンスを示す図である。 本発明における撮像素子のタイミングチャートを示す図である。 本発明における動画撮影のフローチャートを示す図である。 本発明における撮像素子の垂直走査を示す図である。 本発明における撮像装置の撮像シーケンスを示す図である。 本発明における焦点検出枠と位相差検出フレームの読み出し領域を示す図である。 本発明における撮像素子の一例を示す図である。

以下、本発明の好適な実施の形態について、図面を参照しながら詳細に説明する。なお、各図において同一の部材については同一の参照番号を付し、重複する説明は省略する。

図１は、本発明の第１の実施形態にかかわる撮像装置のブロック図である。

本実施形態の撮像装置は、撮像素子１０１、ＡｎａｌｏｇＦｒｏｎｔＥｎｄ（ＡＦＥ）１０２、ＴｉｍｍｉｎｇＧｅｎｅｒａｔｏｒ（ＴＧ）１０３、ＤｉｇｉｔａｌＳｉｇｎａｌＰｒｏｃｅｓｓｏｒ（ＤＳＰ）１０４、及びＣＰＵ１０５を有している。

撮像素子１０１は、ＩＳＯ感度に応じてゲインを切り換える不図示のアンプ回路を内蔵している。

ＡＦＥ１０２は、撮像素子１０１からのアナログ信号をデジタル信号に変換するＡ／Ｄ変換器を内蔵し、オフセットレベルをクランプする機能を有する。

なお、本実施例ではアナログ出力に対応したＣＭＯＳ型撮像素子とＡＦＥの組み合わせから成る例を示しているが、デジタル出力に対応したＣＭＯＳ型撮像素子を用いてもよい。

ＴＧ１０３は、撮像素子１０１を各種読み出しモードで駆動させるためのタイミング信号を生成し供給する。

ＤＳＰ１０４は、ＲＯＭ１０６、ＲＡＭ１０７のメモリアクセス処理、表示媒体１０８への各種表示処理、記録媒体１０９への画像データの書き込み処理を行う。

さらにＤＳＰ１０４は、撮像素子１０１から得られた画像データの欠陥画素の検出やその補正処理、また画素出力を用いてオートフォーカス（ＡＦ）情報を用いて演算を行うＡＦ演算ブロックを有するが、その詳細は後述する。

ＣＰＵ１０５は、撮像装置全体の制御を行い、具体的に、撮像素子１０１、ＡＦＥ１０２、ＴＧ１０３及びＤＳＰ１０４の制御を行う。このように、ＣＰＵ１０５は、撮像素子１０１、ＡＦＥ１０２、ＴＧ１０３及びＤＳＰ１０４などの撮像装置の各構成を制御する制御手段（制御装置）として構成される。また不図示の独立した位相差ＡＦを行う位相差ＡＦ専用素子の出力用いたＡＦ，撮像素子１０１に組み込まれた画素の出力を用いて演算されるオートフォーカス情報を用いたＡＦ等のカメラ機能の制御を行う。

またＣＰＵ１０５は、電源スイッチ１１０、第１段目のシャッタスイッチＳＷ１（１１１）、第２段目のシャッタスイッチＳＷ２（１１２）、モードダイアル１１３が接続されており、これらのスイッチとダイアルの設定に応じた処理を実行する。

ＲＯＭ１０６は、撮像装置の制御プログラム、すなわち、ＣＰＵ１０５が実行するプロ
グラム、及び各種の補正用データを保持する。

ＲＡＭ１０７は、ＤＳＰ１０４により処理される画像データ等を一時的に記憶するワークエリアとして使用される。

表示媒体１０８（表示装置）は、カメラの撮影モードの情報やＩＳＯ感度等の撮影情報などのメニュー表示を行う。また、静止画像や動画像の再生表示も行う。

記録媒体１０９は、撮影された画像データを保存するための着脱可能なメディアであり、例えばメモリカード等が用いられ、不図示のコネクタを介してＤＳＰ１０４に接続される。

電源スイッチ１１０は、撮像装置を起動させる際にユーザにより操作される。

第１段目のシャッタスイッチＳＷ１（１１１）がＯＮされた場合は、測光処理、焦点検出処理等の撮影前処理（撮影準備動作）が実行される。

第２段目のシャッタスイッチＳＷ２（１１２）がＯＮされた場合は、不図示のミラー及びシャッターを駆動し、撮像素子１０１により撮像した画像データをＡＦＥ１０２及びＤＳＰ１０４を介して記録媒体１０９に書込む一連の撮像動作が開始される。

モードダイアル１１３は、撮像装置の各種の動作モードを設定するために利用される。

次に、本撮像装置のメカ構成について図２を用いて説明する。図２は本撮像装置の構成を示す側断面図であり、静止画を撮影する光学ファインダー使用時の状態と、動画撮影あるいはライブビュー使用時のミラーアップ、シャッター開状態について説明を行う。

光学ファインダー使用時の状態を図２（ａ）に、動画撮影およびライブビュー時のミラーアップ、シャッター開状態を図２（ｂ）に示す。

カメラ本体２０１の前面に撮影レンズ２０２が装着される。

撮影レンズ２０２は交換可能であり、カメラ本体２０１と撮影レンズ２０２はマウント接点群２０３を介して電気的に接続される。

さらに、撮影レンズ２０２内には絞り２０４、ピント調整用レンズ群２０５が配置されており、いずれもレンズ制御装置２０６にて制御される。

メインミラー２０７はハーフミラー構成である。図２（ａ）に示す静止画用の光学ファインダー使用時においては撮影光路上に斜設され、撮影レンズからの光を反射してファインダーに導く。

一方、透過光はサブミラー２０８を介してＡＦユニット２０９に入射される。ＡＦユニット２０９は位相差検出方式のＡＦセンサであり、ＡＦセンサの検出結果に基づいて撮影レンズ２０２のピント調整用レンズ群を制御することでＡＦ動作を行う。

フォーカルプレーンシャッタ２１０は通常閉状態であり、撮影時にユーザにより指定された秒時の露光を行うように開動作を行う。

メインミラー２０７で反射された光は、ピント板２１１に投影され、さらにペンタプリズム２１２で光路を変更して接眼レンズ群２１３に導かれ、ユーザは接眼レンズ群２１３からピント板２１１を観測することで被写体像を確認できる。

ユーザが不図示のレリーズボタンを押下するのに連動して、レリーズボタンの半押しでＯＮするＳＷ１（１１１）によりＡＥやＡＦ等の撮影準備動作が行われる。

さらに、レリーズボタンの全押しでＯＮするＳＷ２（１１２）により、メインミラー２０７、サブミラー２０８が光路から退避するよう動作し、その後フォーカルプレーンシャッタが秒時設定に応じた時間開いて、撮像素子１０１が露光されて撮像動作を行う。

次に、本撮像装置の動画撮影およびライブビュー時の状態について図２（ｂ）を参照して説明を行う。

モードダイアル１１３により撮影モードが切り換えられ、例えばライブビュー状態になると、メインミラー２０７、サブミラー２０８が光路から退避するよう動作する。

さらに、フォーカルプレーンシャッタ２１０は開状態を保持し、撮像素子１０１が常時露光される状態となる。

撮像素子１０１から得られた画像信号を不図示の表示媒体にスルー表示することにより、いわゆるライブビューモードを実現する。また、この状態で動画像を不図示の記録媒体に記録することで動画モードとなる。

この場合、メインミラー２０７及びサブミラー２０８は退避しているため、光学ファインダーによる被写体像の確認、及びＡＦユニット２０９を用いた位相差ＡＦは使用できない。

次に、図３にＤＳＰ１０４のブロック図を示す。

ＤＳＰ１０４には、画像処理に関連する現像ブロック３０１及び画像圧縮ブロック３０２の他に、メモリ制御ブロック３０３、記録媒体制御ブロック３０４、表示媒体制御ブロック３０５がある。

また、画像生成を行う際に撮像素子１０１の個体ばらつきに起因するゲインやオフセットレベルの誤差をデジタル補正するための画像補正ブロック３０８を持つ。

さらに、画素出力からオートフォーカス情報を算出するＡＦブロック３０６、この情報をＣＰＵ１０５に送信するほか全般的にＣＰＵ１０５と双方向の通信を行う通信制御ブロック３０７がある。

さらに、ＡＦブロック３０６にデータを出力する前に、撮像素子１０１の個体ばらつきに起因するゲインやオフセットレベルの誤差の補正、及び撮影レンズの焦点距離や絞り値など撮影時の光学条件をデジタル補正するＡＦ用補正ブロック３０９がある。

次に、撮像素子１０１の画素構造について図４を用いて説明する。図４に、本実施例における撮像素子１０１の構成の一例を示す。

画素領域には複数の光電変換部を含む単位画素が、水平及び垂直方向に等間隔で行列状に配列されている。

まず、単位画素の構成について説明する。図５は撮像素子１０１の第ｎ行目の単位画素の構成を示す。

光電変換部５０１及び光電変換部５０２はフォトダイオードで構成される。光電変換部は後述する１つのマイクロレンズ６０１に対応する領域内部に２つに分割されて配置されている。このように、撮像素子１０１は、１つのマイクロレンズ６０１に対して光電変換部５０１（第１の光電変換部）および光電変換部５０２（第２の光電変換部）を備える単位画素を複数有する。

以下、便宜上光電変換部５０１をＡ画素、光電変換部５０２をＢ画素と呼ぶ。

Ａ画素及びＢ画素で発生した電荷は転送トランジスタ５０３、５０４を介して蓄積容量５０５に転送される。蓄積容量５０５は、Ａ画素およびＢ画素で生成された電荷を保持する。ここで、複数の光電変換部（Ａ画素及びＢ画素）の電荷を蓄積容量５０５に転送する第１の動作により画像生成用の信号（画像生成用信号）を生成する。また、複数の光電変換部のうち一方の光電変換素部（Ａ画素またはＢ画素）の電荷を蓄積容量５０５に転送する第２の動作により焦点検出用の信号（焦点検出用信号）を生成する。このように、撮像素子１０１は、複数の画素を有し、各画素（単位画素）において、マイクロレンズ６０１、光電変換部５０１、光電変換部５０２、蓄積容量５０５を備える。

転送トランジスタ５０３、５０４は垂直走査回路５０６より出力される制御信号ＰＴＸＡ＿ｎ、ＰＴＸＢ＿ｎでＯＮ／ＯＦＦを制御される。制御線５０７、５０８は転送トランジスタ５０３、５０４のゲートに接続される。

蓄積容量５０５は、リセットトランジスタ５０９を垂直走査回路５０６より出力される制御信号ＰＲＥＳ＿ｎでＯＮすることで電荷をリセットすることができる。制御線５１０はリセットトランジスタ５０９のゲートに接続される。

また、転送トランジスタ５０３、５０４をＯＮして、リセットトランジスタ５０９をＯＮすることよりＡ画素及びＢ画素の電荷もリセットすることができる。

蓄積容量５０５は増幅トランジスタ５１１のゲートに接続され、画素アンプを構成する。

行選択トランジスタ５１２は垂直走査回路５０６より出力される制御信号ＰＳＥＬ＿ｎでＯＮ／ＯＦＦが制御される。制御線５１３は、行選択トランジスタ５１２のゲートに接続される。

行選択トランジスタがＯＮされると、増幅トランジスタ５１１の出力が垂直出力線５１４に接続される。垂直出力線５１４は不図示の定電流源と接続されている。

図６は単位画素を撮像素子表面から俯瞰した図であり、マイクロレンズ６０１は破線で示した画素ピッチに接するように形成されている。

マイクロレンズ６０１の下には水平方向に分割された２つの光電変換部５０１、５０２が配置されており、左側の光電変換部をＡ画素（５０１）、右側をＢ画素（５０２）とする。

Ａ画素とＢ画素は分割された瞳領域から被写体像を光電変換することになり、Ａ画素出力、Ｂ画素出力を読み出すことで位相差検出が可能となり、焦点検出動作が可能となる。

説明を図４に戻す。図４は単位画素を行列状に４×２画素配置されている。これは、各画素のマイクロレンズ６０１とＡ画素、Ｂ画素を模式的に示している。実際の撮像素子は、このような画素が数千万画素配置されている。

垂直出力線５１４には、行方向の複数の画素が接続されている。各垂直出力線５１４は列回路４０１に接続される。

列回路４０１の詳細を図７に示す。垂直出力線５１４の出力は列アンプ７０１に接続される。列アンプ７０１は、入力容量７０２と帰還容量７０３の容量比で決まる所定のゲインで増幅して後段のフォロア７０４に出力する。

フォロア７０４は転送スイッチ７０５、７０６を介してノイズ成分保持容量７０７、信号成分保持容量７０８に出力する。各転送スイッチは制御信号ＰＴＮ、ＰＴＳで制御される。

ノイズ成分保持容量７０７、信号成分保持容量７０８に保持された各信号は、不図示の水平走査回路から出力される制御信号ＰＨで制御される転送スイッチ７０９、７１０を介して水平出力線４０２、４０３に出力される。

出力アンプ４０４は、水平出力線４０２、４０３に出力された信号の差分に所定のゲインをかけて撮像素子１０１の外部に出力する。

この動作を撮像素子の行単位で順次繰り返すことにより、撮像素子の所定の画素の出力を得ることができる。

ここで、Ａ画素とＢ画素の両方の画素を同時に転送すると、画像生成に適した同一マイクロレンズ下に配置された光電変換部で生じた電荷信号を出力することができる。

図８に示すタイミングチャートに従って説明する。

図８において、時刻ｔ１で水平同期信号ＨＤが“Ｌ”になり、時刻ｔ２で制御信号ＰＳＥＬ_ｎが“Ｈ”となり、第ｎ行目の画素の選択トランジスタ５１２がＯＮとなる。

これにより、垂直出力線５１４に増幅トランジスタ５１１の出力が接続される。

また、時刻ｔ２で制御信号ＰＲＥＳ_ｎが“Ｈ”となり、第ｎ行目の画素のリセットトランジスタ５０９をＯＮする。

時刻ｔ２から所定時間経過後の時刻ｔ３で制御信号ＰＲＥＳ_ｎが“Ｌ”となり、第ｎ行目の画素のリセットトランジスタ５０９をＯＦＦして、画素のリセット動作を解除する。

時刻ｔ３で同時に制御信号ＰＴＮが“Ｈ”となり、リセット解除時の垂直出力線５１４の信号レベルが列アンプ７０１で増幅されてノイズ成分保持容量７０７に書き込まれる。

時刻ｔ４で制御信号ＰＴＮを“Ｌ”にすると、ノイズ成分に応じた信号電荷がノイズ成分保持容量７０７に保持される。

次に、時刻ｔ５で制御信号ＰＴＸＡ＿ｎ、ＰＴＸＢ＿ｎ を“Ｈ”にして、第ｎ行目の画素のＡ画素及びＢ画素のそれぞれの転送トランジスタ５０３、５０４をＯＮにする。

さらに、所定時間後の時刻ｔ６で転送トランジスタ５０３、５０４をＯＦＦにすると、Ａ画素及びＢ画素の信号電荷がともに画素アンプ５１１に転送される。

また、時刻ｔ７で制御信号ＰＴＳを“Ｈ”にすると、信号電荷に応じた垂直出力線の信号レベルが列アンプ７０１で増幅されて信号成分保持容量７０８に書き込まれる。

時刻ｔ８で制御信号ＰＴＳを“Ｌ”にすると、信号電荷に応じた信号レベルが、信号成分保持容量７０８に保持される。

ここまでで、第ｎ行目の各画素のリセット状態での出力がノイズ成分保持容量７０７に、信号電荷に応じた出力が信号成分保持容量７０８に保持された。

この後、不図示の水平走査回路で水平出力線４０２、４０３に各列の出力を順次読み出し、出力アンプ４０４でこの差分に所定ゲインをかけて出力することにより、第ｎ行目のＡ画素＋Ｂ画素信号の読み出しが完了する。

次に、位相差検出動作を行う場合の動作について説明を行う。本実施例では、１フレーム期間で撮像素子の所定領域を垂直方向に走査した後に、次のフレームで撮像素子の焦点検出を行う領域を垂直方向に走査する。

つまり、１度目の走査時には対象行の画素信号を各画素のＡ画素＋Ｂ画素の信号を読み出し、２度目の走査時には対象行の画素信号をＡ画素とＢ画素を個別に読み出し、２度目の走査時の出力を用いて位相差検出を行う。

このように、本実施例では、同期信号に同期して撮像素子の全画素領域のうち部分領域に設けられるＡ画素＋Ｂ画素から画像生成用信号を読み出す第１の読み出しモードを有する。また、同期信号に同期して部分領域のうち該部分領域よりも小さい焦点検出領域に設けられるＡ画素（またはＢ画素）から焦点検出用信号を読み出す第２の読み出しモードを有する。なお、本実施例において、第２の読み出しモードの読み出し行数は、第１の読み出しモードの読み出し行数の１／２以下である。ＣＰＵ１０５は、この第１の読み出しモードと第２の読み出しモードを制御することができ、同期信号に応じてフレームごとに交互に、第１の読み出しモードと、第２の読み出しモードと、を切り換えることができる。ここで、同期信号は、垂直同期信号であり、連続撮影時の各フレームのデータ作成を開始するタイミング信号である。

このような読み出し方法は動画モードで適しており、本実施例では所定領域の拡大表示モードでの適用を想定して説明を行う。

まず、この垂直走査について図９を用いて説明する。図９は、本撮像装置での拡大表示モードにおけるフレーム単位での読み出しを模式的に表している。

図９におけるＶＤはフレーム同期信号を示す。本撮像装置の撮像素子１０１はフレーム同期信号ＶＤの単位で読み出しを切り換える。例えば、フレーム同期信号の周期を６０ｆｒａｍｅ／ｓｅｃとする。ここで、本実施例では、表示媒体１０８（表示装置）に所定の周期（３０ｆｒａｍｅ／ｓｅｃ）で表示を更新させており、フレーム同期信号の周期の２倍である。

このとき、フレーム１に示される期間では、実線９０１で示されるように撮像素子の所定領域（部分領域）を垂直方向に走査する。破線９０２は、画素の読み出し前にあらかじめ行われるリセット走査を示す。

つまり、実線９０１と破線９０２との間の期間が、画像データの蓄積時間を意味している。

次に、フレーム２に示される期間では、実線９０３で示されるように撮像素子の焦点検出を行う領域（焦点検出領域）を垂直方向に走査する。破線９０４は、画素の読み出し前にあらかじめ行われるリセット走査を示す。

フレーム１同様に、実線９０３と破線９０４との間の期間が、位相差検出用データの蓄積時間を意味する。

また、フレーム１では、上述した撮像素子の駆動方法に従ってＡ画素＋Ｂ画素信号を読み出して、動画像を生成する。ここで、例えば、クロップ表示を行う場合、ＣＰＵ１０５は、撮像素子の一部である部分領域から画像生成用信号を非間引き読み出しするように制御する。

一方、フレーム２では、次に示す撮像素子の駆動方法に従ってＡ画素とＢ画素を個別に読み出す。図１０に示すタイミングチャートに従って説明する。

時刻ｔ１で水平同期信号ＨＤが“Ｌ”になり、時刻ｔ２で制御信号ＰＳＥＬ_ｎが“Ｈ”となり、第ｎ行目の画素の選択トランジスタ５１２がＯＮとなる。

これにより、垂直出力線５１４に増幅トランジスタ５１１の出力が接続される。

また、時刻ｔ２で制御信号ＰＲＥＳ_ｎが“Ｈ”となり、第ｎ行目の画素のリセットトランジスタ５０９をＯＮする。

時刻ｔ２から所定時間経過後の時刻ｔ３で制御信号ＰＲＥＳ_ｎが“Ｌ”となり、第ｎ行目の画素のリセットトランジスタ５０９をＯＦＦして、画素のリセット動作を解除する。

時刻ｔ３で同時に制御信号ＰＴＮが“Ｈ”となり、リセット解除時の垂直出力線５１４の信号レベルが列アンプ７０１で増幅されてノイズ成分保持容量７０７に書き込まれる。

時刻ｔ４で制御信号ＰＴＮを“Ｌ”にすると、ノイズ成分保持容量７０７に保持される。

次に、時刻ｔ５で制御信号ＰＴＸＡ＿ｎを“Ｈ”にして、第ｎ行目の画素のＡ画素の転送トランジスタ５０３をＯＮにする。

さらに、所定時間後の時刻ｔ６で転送トランジスタ５０３をＯＦＦにすると、Ａ画素の信号電荷が画素アンプ５１１に転送される。

また、時刻ｔ７で制御信号ＰＴＳを“Ｈ”にすると、信号電荷に応じた垂直出力線の信号レベルが列アンプ７０１で増幅されて信号成分保持容量７０８に書き込まれる。

時刻ｔ８で制御信号ＰＴＳを“Ｌ”にすると、信号電荷に応じた信号レベルが、信号成分保持容量７０８に保持される。

ここまでで、第ｎ行目の各画素のリセット状態での出力がノイズ成分保持容量７０７に、Ａ画素の信号電荷に応じた出力が信号成分保持容量７０８に保持されている。

この後、不図示の水平走査回路で水平出力線４０２、４０３に各列の出力を順次読み出し、出力アンプ４０４でこの差分に所定ゲインをかけて出力することにより、第ｎ行目のＡ画素信号の読み出しが完了する。

続いて、時刻ｔ９で水平同期信号ＨＤが“Ｌ”になるが、時刻ｔ２で制御信号ＰＳＥＬ_ｎは“Ｈ”の状態を維持しているため、選択される行は変わらず第ｎ行目が選択されている状態である。

また、時刻ｔ１０で制御信号ＰＲＥＳ_ｎが“Ｈ”となり、第ｎ行目の画素のリセットトランジスタ５０９をＯＮする。

時刻ｔ１０から所定時間経過後の時刻ｔ１１で制御信号ＰＲＥＳ_ｎが“Ｌ”となり、第ｎ行目の画素のリセットトランジスタ５０９をＯＦＦして、画素のリセット動作を解除する。

時刻ｔ１１で同時に制御信号ＰＴＮが“Ｈ”となり、リセット解除時の垂直出力線５１４の信号レベルが列アンプ７０１で増幅されてノイズ成分保持容量７０７に書き込まれる。

時刻ｔ１２で制御信号ＰＴＮを“Ｌ”にすると、ノイズ成分保持容量７０７に保持される。

次に、時刻ｔ１３で制御信号ＰＴＸＢ＿ｎを“Ｈ”にして、第ｎ行目の画素のＢ画素の転送トランジスタ５０４をＯＮにする。

さらに、所定時間後の時刻ｔ１４で転送トランジスタ５０４をＯＦＦにすると、Ｂ画素の信号電荷が画素アンプ５１１に転送される。

また、時刻ｔ１５で制御信号ＰＴＳを“Ｈ”にすると、信号電荷に応じた垂直出力線の信号レベルが列アンプ７０１で増幅されて信号成分保持容量７０８に書き込まれる。

時刻ｔ１６で制御信号ＰＴＳを“Ｌ”にすると、信号電荷に応じた信号レベルが、信号成分保持容量７０８に保持される。

この後、不図示の水平走査回路で水平出力線４０２、４０３に各列の出力を順次読み出し、出力アンプ４０４でこの差分に所定ゲインをかけて出力することにより、第ｎ行目のＢ画素信号の読み出しが完了する。

ここで、第ｎ行目の画素のＡ画素信号とＢ画素信号の読出しが完了する。

つまり、このような読み出し動作を繰り返すことにより、奇数フレームでは撮像面の所定領域のＡ＋Ｂ画素を取得し、偶数フレームでは撮像面の所定領域のＡ画素とＢ画素が得られる。

奇数フレームで得られたＡ＋Ｂ画素信号は、ＡＦＥ１０２でＡ／Ｄ変換されてデジタル信号に変換され、ＤＳＰ１０４に入力される。

ＤＳＰ１０４の画像補正ブロック３０８にてデジタル補正が施され、現像ブロック３０１と画像圧縮ブロック３０２を経由して、表示媒体制御ブロック３０５を用いて３０ｆｒａｍｅ／ｓｅｃで表示媒体１０８にスルー表示させる。それとともに、記録媒体制御ブロック３０４を用いて記録媒体１０９に記録される。

一方、偶数フレームで得られたＡ画素信号及びＢ画素信号も、奇数フレーム同様に、ＡＦＥ１０２でＡ／Ｄ変換されてデジタル信号に変換され、ＤＳＰ１０４に入力される。

ＤＳＰ１０４のＡＦ用補正ブロック３０９を経由して、画素ごとの補正や、撮影時の光学条件に応じた補正が行われる。

その後、補正結果を用いてＡＦブロック３０６でＡ画素信号とＢ画素信号から既知の相関演算を行い、位相差検出結果を算出して焦点検出動作が可能な状態になる。

算出された位相差検出結果を受けたＣＰＵ１０５は、撮影レンズ２０２のピント調整用レンズ群２０５の位置制御を行うことでＡＦ制御を行う。

次に、図２に示した撮像装置の動画撮影処理を図１１のフローチャートに沿って説明する。

ＣＰＵ１０５は、モードダイアル１１３により選択された動画モードに設定される。

ＣＰＵ１０５は、メインミラー２０７、サブミラー２０８、フォーカルプレーンシャッタ２１０の開動作を行う。この動作により、図２（ｂ）に示すように、撮像素子１０１に被写体像が入射するようになる。

次に、ＣＰＵ１０５は、シャッタスイッチＳＷ２がＯＮされているか否かを判断する。
シャッタスイッチＳＷ２（１１２）がＯＮの場合、ＣＰＵ１０５は、記録媒体１０９に動画像データを書き込む記録動作を開始する。

また、シャッタスイッチＳＷ２（１１２）がＯＦＦの場合、ＣＰＵ１０５は、記録媒体１０９に動画像データを書き込む記録動作が現在実行されている場合、その記録動作を停止する。

すなわち、ＣＰＵ１０５は、シャッタスイッチＳＷ２（１１２）がＯＮの間は、動画像データを記録し続け、シャッタスイッチＳＷ２（１１２）がＯＦＦの間は動画像データの記録処理を停止する。

ＣＰＵ１０５は、表示媒体１０８への動画像データのモニタ表示を行うために、露出調整を行う。

この露出調整では、直前に撮影した画像データから露光量を判断し、適切な露光量となるように、レンズの絞り２０４やＡＦＥ１０２のゲイン設定を変更する。

次に、ＣＰＵ１０５は、撮影処理を開始する。動画撮影時は、撮像素子１０１は、ＴＧ１０３からの制御信号に従い、電荷のリセット、電荷の蓄積、電荷の読み出しを繰り返し実行する。

位相差検出行の読み出し位置は、ユーザが設定する焦点検出枠（ＡＦ枠）に応じて変更される。

位相差検出結果をＣＰＵ１０５が受け取り、撮影レンズ２０２内のピント調整用レンズ群２０５の位置を随時変更してＡＦ制御を行う。

次に、ＣＰＵ１０５は、電源スイッチ１１０がＯＦＦであれば、動画終了処理を行う。

動画終了処理は、現在記録動作中であれば記録動作の停止、撮像素子１０１の読み出し停止、ＤＳＰ１０４の現像処理の停止を行うとともに、フォーカルプレーンシャッタ２１０を閉じて、メインミラー２０７、サブミラー２０８をダウンする。

一方で、電源スイッチ１１０がＯＮのままであれば、ＣＰＵ１０５は、モードダイアル１１２をチェックする。

モードダイアル１１２が動画モードのままであれば、シャッタスイッチＳＷ２のＯＮ／ＯＦＦ判断に戻る。

以上の構成によれば、動画モードで高い解像度が求められる拡大表示やクロップ表示において、位相差検出の分解能を下げることなく、高速なフレームレートで表示を行うことが可能になる。すなわち、上述したように、画像生成用信号の取得フレームと位相差検出用信号の取得フレームを所定周期で切り換えることで、高速なフレームレートと位相差検出の高分解能を実現することができる。

次に、本発明の第２の実施例について説明を行う。本実施例では、動画モードにおける全画面表示と拡大表示の切り換えについて説明を行う。

まず、全画面表示のモードにおける撮像素子の読み出しについて説明する。

全画面の表示を行う場合、垂直方向を所定行数ごとに間引き読み出しを行い、撮像素子の全面を垂直方向に走査した後、再度走査を垂直方向上部の行に戻し、先の走査で読み出さなかった行のみを再度走査する。換言すれば、撮像素子の全画素領域を垂直方向に所定の間引き率で間引いて読み出す第１の垂直走査と、該第１の垂直走査と異なる間引き率で間引いて読み出す第２の垂直走査と、を行う。

１度目の走査時は対象行の各画素のＡ＋Ｂ画素信号を読み出し、２度目の走査時は対象行の各画素のＡ画素とＢ画素を読み出し、１度目の走査時に読み出したＡ＋Ｂ画素の信号で動画像を形成し、２度目の走査時に読み出したＡ画素とＢ画素で位相差検出を行う。

まず、この垂直走査の様子について図１２を用いて説明する。図１２（ａ）は撮像素子の撮像面全体を示す。

図１２の斜線部はＯｐｔｉｃａｌＢｌａｃｋ（ＯＢ）部を示している。

垂直方向の間引き読み出しを行う場合の読み出し行の模式図を図１２（ｂ）に示す。図中の太枠で囲まれた行が読み出し対象行であり、その他の行は間引き動作により間引かれる行である。

つまり、Ｖ１行を読み出した後、次は３行後のＶ２行が読み出されることを示している。続いて、Ｖ３行〜Ｖ７行を同じ間引き率で読み出しを行う。ここまでを、便宜上第１垂直走査と呼ぶ。

Ｖ７行まで第１垂直走査で読み出した後は、垂直走査回路は再度Ｖ８行まで戻る。そして、Ｖ８行を読み出した後、次はＶ９行を読み出す。

すでに第１走査で読み出しているＶ４行をスキップし、Ｖ１０行及びＶ１１行を読み出す。

同様に、すでに第１走査で読み出しているＶ５行をスキップし、Ｖ１２行及びＶ１３行を読み出す。ここまでの垂直走査を第２垂直走査と呼ぶ。

このように、本実施例では、同期信号に同期して撮像素子の全画素領域のうち部分領域に設けられるＡ画素＋Ｂ画素から画像生成用信号を読み出す第１の読み出しモード（第１の垂直走査）を有する。また、同期信号に同期して部分領域のうち該部分領域よりも小さい焦点検出領域に設けられるＡ画素（またはＢ画素）から焦点検出用信号を読み出す第２の読み出しモード（第２の垂直走査）を有する。具体的には、垂直走査回路５０６の動作により、複数の画素を垂直方向に所定の間引き率で間引いて読み出す第１の垂直走査と、該第１の垂直走査と異なる間引き率で間引いて読み出す第２の垂直走査と、が可能となる。また、撮像装置は、画像生成用信号を生成するための第１の動作と第１の垂直走査で画素を読み出す第１の駆動制御手段と、焦点検出用信号を生成するための第２の動作と第１の垂直走査または第２の垂直走査で画素を読み出す第２の駆動制御手段と、を有する。

先に説明したとおり、第１垂直走査で読み出されるＶ１行〜Ｖ７行はＡ画素＋Ｂ画素を読み出して、この出力を用いて動画像を形成し、第２垂直走査で読み出されるＶ８行〜Ｖ１３行はＡ画素とＢ画素を読み出して、この出力を用いて位相差検出を行う。

このように、本実施例では、撮像素子の全画素領域を間引き読み出しすることで、全画素領域のうち第１の部分領域（Ｖ１行〜Ｖ７行）から画像生成用信号を読み出すように制御する。また、第１の部分領域とは異なる第２の部分領域（Ｖ８行〜Ｖ１３行）から焦点検出用信号を読み出すように制御する。

本実施例では、全画面表示は第１の垂直走査と第２の垂直走査で実現される読み出しを行い、拡大表示は第１の実施例で説明したフレームを分けて読み出しを行う。

次に、本発明の第３の実施例について説明を行う。本実施例では、動画モードにおける拡大表示の位相差検出フレームでの読み出し行の制限について説明を行う。

上述した拡大表示の位相差検出フレームにおける読み出しを停止することが考えられる。これは、すべてのフレームにおいて常時撮像素子からの読み出しを行っているため、電力の消費が大きくなることが想定されるためである。

例えば、ユーザからの位相差検出の実行指示がない場合、つまりＳＷ１が押下されていない場合は位相差検出を実行せずに、位相差検出フレームの読み出しを停止する。換言すれば、ＣＰＵ１０５は、撮影準備動作を指示する信号を受信していない期間（ＳＷ１が押下されていない期間）は、第２の読み出しモードを停止するように制御する。また、焦点検出動作が完了して合焦後、再度焦点検出動作が開始するまで、位相差検出フレームの読み出しを停止して撮像素子の省電制御を行うようにしてもよい。

ユーザの指示があるまで位相差検出信号の読み出しを停止する場合を図１３に示す。

図１３の時刻ｔ１は、位相差検出フレームの開始時刻であるが、ユーザによりＳＷ１が押下されていないため、トリガ信号ＳＷ１が“Ｈ”である。

このとき、時刻ｔ１〜時刻ｔ２までの位相差検出フレームの読み出しを停止させる。

また、このとき撮像素子１０１の各種アンプの電流制御を行うことにより、省電効率を上げることができる。

例えば、図４に示される出力アンプ４０４、図７に示される列アンプ７０１、フォロア７０４などが省電対象に挙げられる。

さらに、ＡＦＥ１０２とＤＳＰ１０４との間のＩ／Ｆ（例えばＬＶＤＳ）の電流制御を行うことも考えらえる。

また、撮像素子に設定された焦点検出枠に応じて、位相差検出読み出し領域（焦点検出領域）を変更するように制御してもよい。具体的には、撮像装置で設定される焦点検出枠に応じて、位相差検出フレームの読み出し行数を減らすことで省電効果が得られる。

図１４にクロップ表示領域と焦点検出枠と位相差検出読出し領域の関係を示している。

例えば、図１４（ａ）では撮像面の中央をクロップ表示する場合を示しており、クロップ表示領域は領域１４０１で表される。また、焦点検出枠は領域１４０２であり、ドットで示される領域である。

さらに、太枠で囲まれた領域は位相差検出フレームで読み出す領域を示す。つまり、図１４（ａ）の例では、焦点検出枠の範囲を位相差検出フレームですべて読み出すことを表している。

次に、図１４（ｂ）では焦点検出枠は領域１４０３であり、太枠で囲まれた領域１４０４が位相差検出フレームで読み出す領域である。

これは、図１４（ａ）に示した例と異なる点は、クロップ表示領域１４０１の水平方向の領域まで位相差検出フレームで読み出す領域を広げている点であり、このようにすることにより、被写体の追尾演算が可能になる。

さらに、図１４（ｃ）では複数の焦点検出枠がある例を示している。太枠で囲まれた領域１４０５と１４０６が位相差検出フレームで読み出す領域である。

図１４(ａ)〜（ｃ）に共通して、位相差検出フレームにおいて、太枠で囲まれた領域以外の領域は非読み出し対象である。

このように、撮像装置で設定される焦点検出枠に応じて、位相差検出フレームの読み出し領域を制限することによって、省電効果を得ることができる。

また、被写体の輝度に応じて、位相差検出読み出し領域（焦点検出領域）を変更するようにしてもよい。具体的には、被写体の輝度レベルに応じて、位相差検出フレームの読み出し行数を変更することでも省電を行うことが可能である。

例えば、明るい被写体の場合は、位相差検出フレームの読み出し行数を間引いて読み出し行数を制限し、暗い被写体の場合は、非間引きで読み出すようにする。換言すれば、ＣＰＵ１０５は、被写体の輝度が所定値よりも大きい場合、焦点検出領域を間引き読み出しするように制御し、被写体の輝度が所定値よりも小さい場合、焦点検出領域を非間引き読み出しするように制御する。

以上、ユーザのよる撮影指示や撮像装置であらかじめ設定される焦点検出枠、さらに被写体の輝度レベルに応じて、位相差検出フレームにおける読み出し行数を適応的に制限することにより、省電効果を得ることが可能である。

さらに、非読み出し期間において、撮像素子１０１の各種アンプの電流制御や、ＡＦＥ１０２とＤＳＰ１０４の間のＩ／Ｆの電流制御を行うことにより、省電の効率をさらに上げることが可能である。

次に、本発明の第４の実施例について説明を行う。本実施例では、デジタル出力に対応したＣＭＯＳ型撮像素子を用いた場合の省電方法について説明を行う。

上述の撮像装置は、アナログ出力に対応したＣＭＯＳ型撮像素子とＡＦＥの組み合わせから成ることを前提としていたが、デジタル出力に対応したＣＭＯＳ型撮像素子を使うことも可能である。

この場合、当然ながら撮像素子からデジタル出力が得られるため、ＡＦＥ１０２は不要になる。

よって撮像システムとしては、撮像素子１０１の出力がＤＳＰ１０４に直接入力される構成が想定される。

図１５にデジタル出力型の撮像素子の構成の一例を示す。

画素１５０１は行列状に配置されており、垂直方向の各画素は垂直出力線１５０２で接続されている。

垂直出力線１５０２は列アンプ１５０３の入力に接続されている。

列アンプ１５０３は垂直出力線からの入力に所定ゲインをかけて、コンパレータ１５０５に出力する。制御スイッチ１５０４は各列アンプの電源を制御する。

コンパレータ１５０５は列毎に用意され、一方の入力には垂直出力線が接続され、他方の入力にはランプ源１５０６が接続されている。制御スイッチ１５０７は各コンパレータの電源を制御する。

コンパレータ１５０５では、垂直出力線の出力とランプ源から出力されるランプ信号が比較される。

ラッチ部１５０８は、コンパレータの比較結果に応じて、カウンタ１５０９のカウント値を保持する。

列メモリ１５１０は、行単位でラッチ部１５０８でラッチされた結果を保持する。列メモリ１５１０で保持されたデータは不図示の水平転送回路によって、順次撮像素子外に出力される。

これまで述べてきた、動画像生成フレームと位相差検出フレームを分ける撮像シーケンスに、図１５に示されるデジタル出力型の撮像素子を適用した場合、動画生成フレームと位相差検出フレームで単位画素あたりの構成ビット数を変えることが考えられる。

例えば、動画生成フレームは動画記録や表示媒体によるモニタ表示に使用されるため、データの階調性を確保したいため、単位画素あたり１４ビットのデータで構成する。

一方、位相差検出フレームで読み出される信号は位相差検出演算に用いるため、動画生成フレームに対してビット数を落としても問題ないと考えられる。よって、例えば１２ビットのデータで構成するようにする。

よって、位相差検出フレームにおける読み出し期間の割合が小さくなり、相対的に非読み出し期間の割合が大きくなるので省電効果が得られる。

また、非読み出し期間において、列アンプ１５０３の電源制御スイッチ１５０４をＯＦＦして、コンパレータ１５０６の電源制御スイッチ１５０７をＯＦＦすることにより、撮像素子の消費電力を抑えてさらなる省電効果が得られる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

また、上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するための手順が記述されたコンピュータプログラム自体も本発明に含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光／光磁気記憶媒体、不揮発性の半導体メモリでもよい。

また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。

本発明は、コンパクトデジタルカメラ、一眼レフカメラ、ビデオカメラなどの撮像装置に好適に利用できる。

１０５ ＣＰＵ

Claims (16)

1. １つのマイクロレンズに対して第１の光電変換部および第２の光電変換部を備える撮像素子を制御する制御装置であって、
   同期信号に同期して前記撮像素子の画素領域のうち部分領域に設けられる前記第１の光電変換部および前記第２の光電変換部から画像生成用信号を読み出す第１の読み出しモードと、前記同期信号に同期して前記部分領域のうち該部分領域よりも小さい焦点検出領域に設けられる前記第１の光電変換部もしくは前記第２の光電変換部から焦点検出用信号を読み出す第２の読み出しモードと、を制御する制御手段を有し、
   前記制御手段は、前記同期信号に応じて、前記第１の読み出しモードと、前記第２の読み出しモードと、を切り換えることを特徴とする制御装置。
2. 前記同期信号は、連続撮影時の各フレームのデータ作成を開始するタイミング信号であることを特徴とする請求項１に記載の制御装置。
3. 前記制御手段は、フレームごとに交互に、前記第１の読み出しモードと、前記第２の読み出しモードと、を切り換えることを特徴とする請求項１または２に記載の制御装置。
4. 前記制御手段は、前記部分領域から前記画像生成用信号を非間引き読み出しするように制御することを特徴とする請求項１ないし３のいずれか１項に記載の制御装置。
5. 前記制御手段は、前記撮像素子に設定された焦点検出枠に応じて、前記焦点検出領域を変更することを特徴とする請求項１ないし４のいずれか１項に記載の制御装置。
6. 前記制御手段は、前記撮像素子の全画素領域を間引き読み出しすることで、前記全画素領域のうち第１の部分領域から前記画像生成用信号を読み出すように制御し、前記第１の部分領域とは異なる第２の部分領域から前記焦点検出用信号を読み出すように制御することを特徴とする請求項１ないし３のいずれか１項に記載の制御装置。
7. 前記制御手段は、撮影準備動作を指示する信号を受信していない期間は、前記第２の読み出しモードを停止することを特徴とする請求項１ないし６のいずれか１項に記載の制御装置。
8. 前記制御手段は、被写体の輝度に応じて前記焦点検出領域を変更することを特徴とする請求項１ないし７のいずれか１項に記載の制御装置。
9. 前記制御手段は、前記被写体の輝度が所定値よりも大きい場合、前記焦点検出領域を間引き読み出しすることを特徴とする請求項８に記載の制御装置。
10. 前記制御手段は、表示装置に所定の周期で表示を更新させ、
    前記所定の周期は、前記同期信号の周期の２倍であることを特徴とする請求項１ないし９のいずれか１項に記載の制御装置。
11. 前記第２の読み出しモードの読み出し行数は、前記第１の読み出しモードの読み出し行数の１／２以下であることを特徴とする請求項１ないし１０のいずれか１項に記載の制御装置。
12. １つのマイクロレンズに対して第１の光電変換部および第２の光電変換部を備える撮像素子と、
    請求項１ないし１１のいずれか１項に記載の制御装置と、を備えた撮像装置。
13. 前記撮像素子は、複数の画素を有し、
    各画素に、前記マイクロレンズと、前記第１の光電変換部および前記第２の光電変換部と、前記第１の光電変換部および前記第２の光電変換部で生成された電荷を保持する蓄積容量と、を有し、
    前記第１の光電変換部および前記第２の光電変換部の電荷を前記蓄積容量に転送する第１の動作で前記画像生成用信号を生成し、
    前記第１の光電変換部の電荷もしくは前記第２の光電変換部の電荷を前記蓄積容量に転送する第２の動作で前記焦点検出用信号を生成し、
    前記複数の画素を垂直方向に所定の間引き率で間引いて読み出す第１の垂直走査と、前記第１の垂直走査と異なる間引き率で間引いて読み出す第２の垂直走査と、が可能な垂直走査回路と、
    前記第１の動作と前記第１の垂直走査で画素を読み出す第１の駆動制御手段と、
    前記第２の動作と前記第１の垂直走査または前記第２の垂直走査で画素を読み出す第２の駆動制御手段と、
    を有することを特徴とする請求項１２に記載の撮像装置。
14. １つのマイクロレンズに対して第１の光電変換部および第２の光電変換部を備える撮像素子を有する撮像装置の制御方法であって、
    同期信号に同期して前記撮像素子の画素領域のうち部分領域に設けられる前記第１の光電変換部および前記第２の光電変換部から画像生成用信号を読み出す第１の読み出しモードと、前記同期信号に同期して前記部分領域のうち該部分領域よりも小さい焦点検出領域に設けられる前記第１の光電変換部もしくは前記第２の光電変換部から焦点検出用信号を読み出す第２の読み出しモードと、を制御する制御ステップと、
    前記同期信号に応じて、前記第１の読み出しモードと、前記第２の読み出しモードと、を切り換える切り換えステップと、を有することを特徴とする制御方法。
15. 請求項１４に記載の制御方法の各ステップが記述されたコンピュータで実行可能なプログラム。
16. コンピュータに、請求項１４に記載の制御方法の各ステップを実行させるためのプログラムが記憶されたコンピュータが読み取り可能な記憶媒体。