JP2012155221A - 撮像装置及びその制御方法 - Google Patents

Abstract

【課題】 画素内瞳分割された画素を用いて、少ないシステム負荷で、焦点調節の精度を上げること。
【解決手段】 複数の瞳領域に画素内瞳分割された複数の分割画素を有し、分割画素毎に、水平及び垂直方向に瞳分割して電荷を加算読み出し可能な撮像素子（１０３）と、画素毎の画像信号に基づいて、撮像素子の領域を複数に分割した分割領域毎に画像のエッジの方向を判定する画素解析部（１０７）と、判定されたエッジの方向に基づいて、分割領域毎に、水平及び垂直方向の何れかを瞳分割方向として決定する指示情報生成部（１０８）と、決定された瞳分割方向に分割して、各分割画素の加算読み出しを行い、対の画像信号を出力するように撮像素子を制御する撮像素子駆動部（１０４）と、各分割画素から出力された対の画像信号の位相差に基づいて、焦点調節を行う焦点調節手段（１０２、１０９、１１０）とを有する。
【選択図】 図１

Description

本発明は撮像装置及びその制御方法に関し、少なくとも一部の画素から、光学系の異なる瞳領域を通過した光束に基づく一対の信号を読み出すことが可能な撮像装置及びその制御方法に関する。

従来より、焦点検出機能と画像信号取得を１枚の撮像素子を用いて実現する技術が知られており、その一例として、焦点検出用の情報取得用画素を、画像信号取得のための画像取得用画素として兼用できるものが提案されている（例えば、特許文献１参照）。この技術によれば、情報取得用画素を水平、垂直方向に４分割し、画像取得時には４分割された領域の信号をすべて加算することで画像信号を得る。また、焦点調節時には、４分割された領域の内、水平または垂直方向の２領域の信号を加算することで、画素内を瞳分割し、位相差方式の焦点調節用信号として用いることができる。

特開２００７−３２５１３９号公報

しかしながら、特許文献１に記載された構成では、焦点調節時に、４分割された領域の内、縦または横に２分割された領域を加算処理して読み出す。そのため、例えば、横に２分割した場合、合焦対象となる主被写体が水平線や浅い角度の斜め線の時に、位相差が出にくく、主被写体に対して、最適な位相差方式の焦点調節が行えないことがある。

本発明は上記問題点を鑑みてなされたものであり、それぞれが複数の光電変換部を含み、瞳分割方向を切り替え可能な、複数の画素を有する撮像素子を用いた撮像装置において、少ないシステム負荷で、焦点調節の精度を上げることを目的とする。

上記目的を達成するために、本発明の撮像装置は、光学系の射出瞳の異なる領域を通った光束をそれぞれ受光する２次元に配置された複数の光電変換部をそれぞれ含む、複数の分割画素を有し、前記分割画素毎に、第１の瞳分割方向及び該第１の瞳分割方向に垂直な第２の瞳分割方向に前記光電変換部を分けて、生成された電荷を加算読み出し可能な撮像素子と、前記撮像素子から読み出した電荷から得られた画素毎の画像信号に基づいて、前記撮像素子の領域を複数に分割した分割領域毎に画像のエッジの方向を判定する判定手段と、前記判定手段により前記分割領域毎に判定されたエッジの方向に基づいて、前記分割領域毎に、前記第１の瞳分割方向と前記第２の瞳分割方向の何れかを決定する決定手段と、前記決定手段により決定された前記第１の瞳分割方向または前記第２の瞳分割方向に分割して、前記各分割画素の加算読み出しを行い、対の画像信号を出力するように前記撮像素子を制御する読み出し制御手段と、前記読み出し制御手段による制御により前記各分割画素から出力された対の画像信号の位相差に基づいて、焦点調節を行う焦点調節手段とを有する。

本発明によれば、それぞれが複数の光電変換部を含み、瞳分割方向を切り替え可能な、複数の画素を有する撮像素子を用いた撮像装置において、少ないシステム負荷で、焦点調節の精度を上げることができる。

本発明の実施の形態における撮像装置の概略構成を示すブロック図。 撮像素子の構成の一例を示す図。 分割画素の構成の一例を示す図。 分割画素のフォトダイオードの加算手順を説明するための駆動タイミングチャート。 位相差の原理を説明する図。 位相差方式の焦点調節処理の原理を説明する図。 分割領域を示す図。 画像解析部の構成の一例を示すブロック図。 着目分割領域の画像解析処理のフローチャート。 分割領域統計部による統計情報に基づく着目分割領域のエッジ方向の判定例を示す図。 エッジ方向判定部による着目分割領域のエッジ方向の判定方法を説明する図。 １フレーム分のエッジ方向の判定結果の一例を示す図。 撮像素子の駆動タイミングチャート。 焦点調節手順を示すフローチャート。

以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。

図１は、本発明の実施の形態における撮像装置の概略構成を示すブロック図である。図１において、１０１は、ズームレンズ、絞り、フォーカスレンズのうち少なくとも１つ以上から構成される光学系である。１０２は、後述するＡＦ制御部１１０から出力されるフォーカス情報や、後述するシステム制御部１１１の光学系駆動情報に応じて光学系１０１を制御する光学系駆動部である。１０３は、被写体像を光電変換により電気信号に変換して、画像信号として出力する撮像素子である。本実施の形態においては、後述するように、各画素は、光学系１０１の射出瞳の異なる領域を通過した光束をそれぞれ受光する、複数のフォトダイオード（光電変換部）を有し、後述するように瞳分割された画像信号を出力する。なお、撮像素子１０３の構成は、図２及び図３を参照して詳細に後述する。１０４は、後述する指示情報生成部１０８から出力される画素毎の瞳分割指示情報や、システム制御部１１１からの撮像素子駆動情報に応じて、撮像素子１０３を制御する撮像素子駆動部である。なお、撮像素子駆動部１０４は、撮像素子１０３のいわゆる電子シャッタ機能により、必要な露光時間となるように制御信号により制御することができる。

１０５は加算信号処理部で、撮像素子１０３から出力される瞳分割された画像信号を画素毎に加算し、表示／記録用の加算画像信号を生成する。１０６はカメラ信号処理部で、加算信号処理部１０５から得られた加算画像信号に対して、例えば、色変換、ホワイトバランス、ガンマ補正等の既知の画像処理や、解像度変換処理、画像圧縮処理等の画像処理を行い、表示／記録用の映像信号を生成する。１０７は画像解析部で、加算信号処理部１０５から得られた加算画像信号から指示情報生成部１０８に渡す被写体情報を生成する。１０８は指示情報生成部で、画像解析部１０７で得られた被写体情報に基づいて、撮像素子１０３に対する、画素毎の瞳分割方向を示す瞳分割指示情報を生成する。

１０９は位相差算出部で、撮像素子１０３から出力される瞳分割された画像信号から位相差方式の焦点調節を行うための位相差評価値を算出する。１１０はＡＦ制御部で、位相差算出部１０９で算出された位相差評価値を基に、光学系１０１のフォーカスレンズ位置を制御するためのフォーカス情報を算出する。

１１１は撮像装置全体を制御するシステム制御部である。システム制御部１１１は、ユーザ指示や撮影シーン検出、被写体検出などから得られる撮影情報に基づいて、光学系駆動部１０２へはズームや絞りなどの光学系１０１の駆動情報を、撮像素子駆動部１０４へは露光時間などの撮像素子１０３の駆動情報を渡す。

図２は、図１に示す撮像素子１０３の回路構成の一例を示す図である。撮像素子１０３の各画素は、水平２つ、垂直２つの計４つのフォトダイオードが、１つのマイクロレンズを共有する構成を有する。以下、この４つのフォトダイオードからなる画素を、分割画素と呼ぶ。図２は説明の簡略化のため、左上端４つの分割画素の構造のみを示しているが、実際には、多数の分割画素が２次元に配置されている。

図２において、瞳分割方向指示入力１０４−１、水平同期信号（ＨＤ）入力１０４−２、垂直同期信号（ＶＤ）入力１０４−３、指示情報更新信号入力１０４−４は、撮像素子駆動部１０４から出力される。２０４はタイミング信号発生回路（ＴＧ）、２０５は第１のバッファ、２０７は第２のバッファ、２０９は画素読み出し共通制御信号バス、２１０は画素読み出し制御修正回路である。

２１１は画素読み出し制御信号バスである。また、２１２はマイクロレンズを共有する４つのフォトダイオードから成る分割画素を示し、２１２−１は第１のフォトダイオード、２１２−２は第２のフォトダイオード、２１２−３は第３のフォトダイオード、２１２−４は第４のフォトダイオードである。そして、画素読み出し制御信号バス２１１は、各分割画素２１２の第１〜第４のフォトダイオード２１２−１〜４の読み出しを制御する第１〜第４の読み出し制御信号２１１−１、２１１−２、２１１−３、２１１−４で構成される４つの制御信号を供給する。

また、２１３は分割画素２１２における行読み出し制御信号線、２１４はリセット信号線である。２１５は列読み出し信号線、２１６は水平駆動制御信号線、２１７は水平読み出し回路、１０３−１は第１の出力端子、１０３−２は第２の出力端子である。

図３は、図２の分割画素２１２の回路構成例を示すものである。図３において、３０５は第１の画素読み出しトランジスタ、３０６は第２の画素読み出しトランジスタ、３０７は第３の画素読み出しトランジスタ、３０８は第４の画素読み出しトランジスタである。また、また、３０９はフローティングディフュージョン部、３１０は画素リセットトランジスタ、３１１は行読み出しトランジスタ、３１２は画素ソースフォロワ、３１３は電源線である。

ここで、上記構成を有する分割画素２１２の加算読み出し手順について、図４を参照して説明する。図４（ａ）に示すタイミングチャートは、水平方向に瞳分割する場合の分割画素２１２の駆動制御を説明する図である。

まず、期間t31及び期間t32において、第１の画素読み出し制御信号２１１−１と第２の画素読み出し制御信号２１１−２を順にHighとする。これにより、第１の画素読み出しトランジスタ３０５と第２の画素読み出しトランジスタ３０６が順に導通する。その結果、第１のフォトダイオード２１２−１と第２のフォトダイオード２１２−２に蓄積された電荷が順次フローティングディフュージョン３０９に溜められて、電荷の加算が行われる。

次に、期間t33において、行読み出し制御信号線２１３をHighとする。これにより、行読み出しトランジスタ３１１が導通し、画素ソースソースフォロワ３１２でフローティングディフュージョン３０９に溜められた加算電荷が電圧変換され、列読み出し信号線２１５を介して出力される。

次に、期間t34において、画素リセット制御信号２１４をHighとする。これにより、画素リセットトランジスタ３１０が導通し、フローティングディフュージョン３０９の電荷が０にリセットされる。

そして、期間t35及び期間36において、第３の画素読み出し制御信号２１１−３と第４の画素読み出し制御信号２１１−４を順にHighとする。これにより、第３の画素読み出しトランジスタ３０７と第４の画素読み出しトランジスタ３０８が順に導通する。その結果、第３のフォトダイオード２１２−３と第４のフォトダイオード２１２−４に蓄積された電荷が順次フローティングディフュージョン３０９に溜められて、電荷の加算が行われる。

次に、期間t37において、期間t33と同様に、行読み出し制御信号線２１３をHighとすることで、フローティングディフュージョン３０９に溜められた加算電荷が電圧変換され、列読み出し信号線２１５を介して出力される。

最後に、期間t38において、画素リセット制御信号２１４及び、全ての画素読み出し制御信号をHighとする。これにより、画素リセットトランジスタ３１０及び、全ての画素読み出しトランジスタが導通し、全てのフォトダイオード及びフローティングディフュージョン３０９の蓄積電荷はすべて０にリセットされ、次の読み出し駆動に対して、改めて光電荷の蓄積を行う。

以上のようにして加算読み出しを行うことで、水平方向に瞳分割された左右画像の画像信号が読みだされる。

図４（ｂ）は、垂直方向に瞳分割する場合の、分割画素２１２の駆動制御のタイミングチャートである。

なお、図４（ｂ）の動作は、期間t31、t32、t35、t36における、第１〜第４の画素読み出し制御信号２１１−１〜４をHighとする組み合わせが、図４（ａ）のタイミングチャートと異なるだけである。そのため、図４（ｂ）の詳細説明は省略する。図４（ａ）に示す動作との差異としては、図４（ｂ）では、期間t32及び期間t33において、第１の画素読み出し制御信号２１１−１と第３の画素読み出し制御信号２１１−３を順次Highとなるようにする。そして、期間t36及び期間t37において、第２の画素読み出し制御信号２１１−２と第４の画素読み出し制御信号２１１−４が順次Highになるようにした点にある。

以上のようにして加算読み出しを行うことで、垂直方向に瞳分割された上下画像の画像信号が読みだされる。

なお、電圧変換された加算電荷は、水平読み出し回路２１７に入力される。本実施の形態の水平読み出し回路２１７は、先に読み出された画素信号と、後に読み出された画素信号を同時に読み出すように駆動することができる。従って、第１の出力端子１０３−１からは、左信号、もしくは上信号が出力され、第２の出力端子１０３−２からは、右信号、もしくは下信号が順次出力される。

ここで、画像信号に基づく位相差評価値の算出方法について説明する。図５は、図２のS−S’間の断面を模式的に示したものである。６０１は、像側から見た撮像レンズの射出瞳を示したものである。合焦時の撮像レンズの結像面６０６から射出瞳６０１までの距離を射出瞳位置と呼び、図示していないレンズの絞りよりも後方（結像面側）にあるレンズ群の曲率や絞りとの位置関係などによりその位置は変化する。また、当然ながら絞りの径によって大きさは変化する。６０４、６０５はそれぞれマイクロレンズ６０７によって射出瞳位置に投影された第１及び第２のフォトダイオード２１２−１、２１２−２、及び、第３及び第４のフォトダイオード２１２−３、２１２−４の射出瞳である。第１及び第２のフォトダイオード２１２−１、２１２−２へは、射出瞳６０５を通る光束６０３が入るように設計され、第３及び第４のフォトダイオード２１２−３、２１２−４へは、射出瞳６０４を通る光束６０２が入るように設計される。また、撮像素子１０３を構成する他の分割画素についても同様に設計されており、各分割画素の第１及び第２のフォトダイオード２１２−１、２１２−２からは、撮像レンズの射出瞳６０１のうち右側の６０５の領域で見た像が得られる。同様に、各分割画素の第３及び第４のフォトダイオード２１２−３、２１２−４からは、撮像レンズの射出瞳６０１のうち左側の６０４の領域で見た像が得られる。光束６０２によって撮像素子１０３上で得られる像をＡ像、光束６０３によって撮像素子１０３上で得られる像をＢ像とすると、合焦状態によっては画像信号上に視差を含んだ信号が得られる。

図６は、前ピン状態での画像信号の一例として、第３及び第４のフォトダイオード２１２−３、２１２−４で得られる像をＡ像７０２、第１及び第２のフォトダイオード２１２−１、２１２−２で得られる像をＢ像７０１として示している。位相差検出方式による被写体までの距離情報は、Ａ像７０２とＢ像７０１の相対関係と像間の距離７０３、及び、そのフォーカス位置における結像面から射出瞳までの距離から算出される。位相差算出部１０９は、被写体までの距離情報を、算出した位相差評価値として、ＡＦ制御部１１０へ渡す。

位相差算出部１０９からの位相差評価値に基づいて、ＡＦ制御部１１０は目標フォーカス位置を決定し、現在のフォーカス位置からの移動方向及び移動量をフォーカス情報として、光学系駆動部１０２に渡す。

なお、上記説明では、水平方向に瞳分割して読み出された画像信号（右画像と左画像）から位相差評価値を算出する場合を示したが、垂直方向に瞳分割して読み出された画像信号（上画像と下画像）においても同様に実施可能であるため、説明を割愛する。

次に、本実施の形態における瞳分割方向指示情報の生成方法について説明する。本実施の形態における撮像装置では、撮像素子１０３から出力された画像信号を複数の分割領域に分割し、分割した分割領域毎に、分割画素の瞳分割方向を決定する。

画像解析部１０７は、加算信号処理部１０５から出力される加算画像信号に対して画像解析を行い、指示情報生成部１０８に入力するための被写体情報を生成する。本実施の形態における被写体情報とは、図７に示すように、所定のサイズに分割された分割領域５０１毎の被写体の画像のエッジ方向の情報である。分割領域は、分割領域アドレス（i, j）で識別されるものとし、図７に示す例では、i = 0〜7、j = 0〜6の整数である。加算画像信号のアドレス（x, y）とは、下記の関係式（１）が成り立つ。なお、iとxは、水平方向のアドレスであり、jとyは垂直方向のアドレスである。
x = i × HSIZE + x'
y = j × VSIZE + y' …（１）

ここで、x’とy’は、各分割領域内における加算画素信号の水平方向及び垂直方向のアドレスであり、HSIZE及びVSIZEは分割領域の水平方向及び垂直方向のサイズを示す。
画像解析部１０７には、分割領域アドレス（i, j）と加算画像信号のアドレス（x, y）とが共に入力される。まず、画像解析部１０７による分割領域毎の被写体情報（被写体の画像のエッジ方向の情報）の生成方法について説明する。

図８は、画像解析部１０７の構成を示すブロック図である。図８において、４０１は、加算信号処理部１０５が生成した加算画像信号から水平方向の勾配値を算出する水平微分フィルタであり、４０３は、水平方向の勾配値を絶対値化する絶対値化部である。４０２は、加算画像信号から垂直方向の勾配値を算出する垂直微分フィルタであり、４０４は、垂直方向の勾配値を絶対値化する絶対値化部である。

４０５は、画素毎の水平方向の勾配値の絶対値と垂直方向の勾配値の絶対値の大小判定を行う大小判定部である。４０６は、分割領域毎に含まれる画素毎の大小判定結果の統計をとる分割領域統計部である。４０７は、分割領域の統計情報とその周囲の分割領域の統計情報に基づいて、分割領域のエッジ方向を判定するエッジ方向判定部である。４０８は、分割領域の統計情報を記憶する記憶部である。

図９は。画像解析部１０７による、着目分割領域（i, j）のエッジ方向決定処理を示す図９のフローチャートである。

加算画像信号は分割領域単位で入力され、分割領域毎に統計処理を行うので、分割領域単位の処理設定を初期化する（Ｓ1１）。次に、加算画像信号は、水平方向の水平微分フィルタ４０１、及び垂直方向の垂直微分フィルタ４０２に入力され、加算画素信号毎に勾配値が算出される。この微分フィルタは、例えば、既知のSobelフィルタで構成することができる。加算画素信号毎に求められた水平方向、及び垂直方向の勾配値は、それぞれ絶対値化部４０３、４０４に入力され、絶対値化される（Ｓ１２）。

絶対値化された加算画素毎の水平方向及び垂直方向の勾配値は、大小判定部４０５で大小判定が行われ、水平方向の勾配値の絶対値が垂直方向の勾配値の絶対値より大きければ０、そうでなければ１を判定情報として出力する（Ｓ１３）。

大小判定部４０５から出力される判定情報は、分割領域統計部４０６に入力される。分割領域統計部４０６は、まず、判定情報が着目分割領域内の加算画像信号のものであるかを判定する（Ｓ１４でＹＥＳ）。分割領域統計部４０６には、判定情報と同時に加算画像信号のアドレスが入力されるので、加算画像信号アドレス（x, y）が、着目分割領域（i, j）内であれば、着目分割領域の判定情報とみなす。なお、着目領域内か否かの判定は、下記式（２）によって表現される。
i × HSIZE ≦ x ＜ (i + 1) × HSIZE
j × VSIZE ≦ y ＜ (i + 1) × VSIZE …（２）

分割領域統計部４０６は、判定情報である０と１、各々の出現個数をカウントする、カウンタC0とカウンタC1で構成される。入力画素の判定情報が０であればカウンタC0を１増加し、判定情報が１であればカウンタC1を１増加する（Ｓ１５）。着目分割領域内の加算画素信号の判定情報が全て入力されると（Ｓ１４でＮＯ）、分割領域統計部４０６は、カウンタC0とカウンタC1の値を統計情報として出力する。統計情報は、カウンタC0＞カウンタC1であれば、着目分割領域の水平方向の勾配が大きい、つまりエッジ方向は垂直であることを示す。そうでなければ、着目分割領域の垂直方向の勾配が大きい、つまりエッジ方向は水平であることを示す。

図１０は、分割領域統計部４０６により求められた、着目分割領域５０２の統計情報から推定されるエッジ方向の一例を示す図である。図１０（ａ）は、着目分割領域５０２における統計情報を示しており、カウンタC0＞カウンタC1である。この場合、図１０（ｂ）に示すように、着目分割領域５０２のエッジ方向は垂直であることを示している。しかしながら、本実施の形態では、着目分割領域のエッジ方向を、着目分割領域の統計情報からだけではなく、着目分割領域の周囲の分割領域の統計情報も用いて決定する。

分割領域統計部４０６から出力される統計情報は、エッジ方向判定部４０７と記憶部４０８に入力される。記憶部４０８は例えばＳＲＡＭで構成され、分割領域毎の統計情報を全て保持する。そして、入力される着目分割領域アドレスより、その周囲８方向の分割領域それぞれの統計情報を、エッジ方向判定部４０７に出力する（Ｓ１６）。

エッジ方向判定部４０７は、着目分割領域（i, j）の統計領域と、記憶部４０８に予め記憶された周囲８方向の分割領域の統計情報とを用いて、最終的な着目分割領域（i, j）のエッジ方向判定を行う（Ｓ１７）。ここでは、着目分割領域（i, j）のカウンタC0の値C0（i, j）及び周囲の分割領域のカウンタC0の値を、以下の式（３）により重み付け合成し、その合成値C0’を着目分割領域（i, j）の最終的な水平方向の勾配情報とする。

同様に着目分割領域（i, j）のカウンタC1の値C1（i, j）及び周囲の分割領域のカウンタC1の値を、以下の式（４）により重み付け合成し、その合成値C1’を着目分割領域（i, j）の最終的な垂直方向の勾配情報とする。

そして、合成値C0’と合成値C1’の大小比較を行い、合成値C0’＞合成値C1’であれば、着目分割領域（i, j）のエッジ方向は垂直（第１の方向）であると判定し、被写体情報を０として出力する。合成値C0’＞合成値C1’でなければ、エッジ方向は水平（第２の方向）であると判定し、被写体情報を１として出力する（Ｓ１７）。
図１１は、着目分割領域５０２で求められた統計情報と、その周囲の分割領域５０３の統計情報から決定したエッジ方向の一例を示す図である。図１１（ａ）は、着目分割領域５０２、及びその周囲の着目分割領域群５０３の統計情報を示しており、式（３）及び式（４）に基づいて合成値を算出すると、合成値C1’＞合成値C0’である。そのため、図１１（ｂ）に示すように、合成値の関係から、エッジ方向判定部４０７は、着目分割領域５０２のエッジ方向は水平であると判定する。

そして、指示情報生成部１０８は、エッジ方向判定部４０７から出力された被写体情報が０、即ち、エッジ方向が垂直（第１の方向）の場合、対応する分割領域に含まれる各分割画素の瞳分割方向を水平方向（第１の瞳分割方向）とする。そして、瞳分割方向指示情報として「０」を出力する。また、エッジ方向判定部４０７から出力された被写体情報が１、即ち、エッジ方向が水平（第２の方向）の場合、対応する分割領域に含まれる各分割画素の瞳分割方向を垂直方向（第２の瞳分割方向）とする。そして、瞳分割方向指示情報として「１」を出力する。何れの場合も、分割領域アドレスを加算画像信号アドレスに変換することで、各分割画素の瞳分割方向を指定することができる。

このようにして指示情報生成部１０８から出力された瞳分割方向指示情報は、撮像素子駆動部１０４へは、行毎に入力され、位相差算出部１０９へは、分割領域毎に入力される。位相差算出部１０９に渡す瞳分割方向指示情報は、現在読み出されている画像信号に対するものであるため、メモリなどの記憶部に分割領域毎の瞳分割指示情報を記憶させ、撮像素子１０３に設定される瞳分割方向指示情報とタイミングを合わせる必要がある。

なお、上述した例では、着目分割領域のエッジ方向を、着目分割領域とその周辺分割領域のエッジ方向とから判定したが、着目分割領域のエッジ方向からのみに基づいて決定しても良い。その場合、エッジ方向判定部４０７は分割領域統計部４０６から出力されるカウンタC0及びカウンタC1の大小関係に基づいて、エッジ方向が垂直（第１の方向）であるか、水平（第２の方向）であるかを決定すればよい。

図１２は、加算画像信号に対して、全分割領域にエッジ方向判定を行った結果の一例を示す図である。上述したようにして、分割領域毎に被写体の主要なエッジ方向を決定し、エッジ方向に適した瞳分割を行うことができるので、より精度の高い位相差評価値を得ることができ、ひいては、より精度の高い焦点調節処理を行うことができる。

次に、上述したようにして得られた瞳分割指示情報を撮像素子駆動部１０４に設定するタイミングについて図１３のタイミングチャートを参照して説明する。

図２に示す瞳分割方向指示入力１０４−１には、指示情報生成手段かから出力された分割画素毎の瞳分割方向指示情報が０または１のディジタル信号として入力される。上述したように、０は水平方向の瞳分割を指定し、１は垂直方向の瞳分割を指定する。

ｎ行目の瞳分割方向指示情報は、水平駆動期間t2においてｎ−１行目の画像信号を読み出している間に、分割画素毎に入力され、第１のバッファ２０５にそれぞれ保持される。次に、瞳分割方向指示情報は、図１３のｎ行目の水平ブランキング期間t3の初期において、指示情報更新信号入力１０４−４からの更新指示によって、第２のバッファ２０７へ保持される。これにより、１行分の瞳分割方向指示情報が同時に参照可能となり、画素読み出し制御修正回路２１０に入力される。

水平同期信号入力１０４−２と垂直同期信号入力１０４−３から入力された水平同期信号ＨＤと垂直同期信号ＶＤは、タイミング信号発生回路２０４に入力される。そして、これらの信号を基にして、タイミング信号発生回路２０４により、画素読み出し共通制御信号バス２０９及び行読み出し制御信号線２１３への制御信号が生成される。

画素読み出し共通制御信号バス２０９の信号は、画素読み出し制御信号バス２１１の元となる制御信号である。図３で示したように、画素読み出し制御信号バス２１１は、各分割画素のフォトダイオードの読み出し制御信号２１１−１、２１１−２、２１１−３、２１１−４で構成される４つの制御信号を供給するバスである。これらは、画素読み出し制御修正回路２１０に入力され、１行分の瞳分割方向指示情報に従い、各修正回路２１０毎に、画素読み出し共通制御信号バス２０９の制御信号を修正する動作をする。本実施の形態では、瞳分割方向指示情報が０（水平方向）の場合は、画素読み出し共通制御信号バス２０９の信号をそのまま通過させ、図３（ａ）で説明したような電荷の加算が行われるように分割画素からの読み出しを制御する。一方、瞳分割方向指示情報が１（垂直方向）の場合は、画素読み出し共通制御信号バス２０９の信号を修正し、図３（ｂ）で説明したような電荷の加算が行われるように分割画素からの読み出しを制御する。

そして、水平駆動期間t4において、瞳分割方向指示情報に応じて瞳分割されたｎ行目の信号を読み出す。また、この水平駆動期間t4に、次のｎ＋１行目の瞳分割指示情報を第１のバッファ２０５にそれぞれ保持しておく。以上の動作を繰り返すことにより、１垂直同期期間内の画像信号の読み出し処理が終了する。

以上説明したように、本実施の形態における撮像素子１０３において、第１の出力端子１０３−１からは、入力された瞳分割方向指示情報に応じて、左画像または上画像が出力され、第２の出力端子１０３−２からは右画像または下画像が出力される。

このようにして撮像素子１０３から得られた瞳分割された対の画像信号は、位相差算出部１０９へ入力される一方、加算信号処理部１０５へも入力され、カメラ信号処理部１０６や、画像解析部１０７に入力する加算画像信号が生成される。即ち、加算信号処理部１０５は、第１の出力端子１０３−１と第２の出力端子１０３−２から出力される、左画像信号と右画像信号、もしくは上画像信号と下画像信号を加算して、加算画像信号を生成する。

次に、本実施の形態のフォーカス情報生成処理について、図１４のフローチャートを参照して説明する。

まず、位相差算出部１０９より、指示情報生成部１０８から分割領域毎に入力された瞳分割方向指示情報に従って、図６で説明したようにして、分割領域毎に水平方向または垂直方向の位相差評価値を取得する（Ｓ２１）。次に、焦点調節の対象となる被写体の有無を判定する（Ｓ２２）。なお、焦点調節の対象となる被写体の有無の判定方法としては、例えば、顔検出などの既知の被写体検出処理などがある。被写体検出処理では、焦点調節の対象となる被写体の有無判定と、その位置及びサイズ情報を算出する。

焦点調節の対象となる被写体が存在する場合は（Ｓ２２でＹＥＳ）、その位置とサイズ情報とから、その被写体が存在する分割領域群をフォーカス情報取得に用いる分割領域として設定する（Ｓ２３）。一方、焦点調節の対象となる被写体が存在しなかった場合は、例えば、画面中央などの、予め設定された分割領域群をフォーカス情報取得に用いる分割領域として設定する（Ｓ２４）。

そして、ＡＦ制御部１１０は、Ｓ２３またはＳ２４で指定された分割領域群の位相差評価値の最大値を被写体までの距離情報とし、フォーカス情報を算出する。

上記の通り本実施の形態によれば、撮像素子１０３の各画素の複数のフォトダイオードそれぞれから独立に読み出す場合と比較して、読み出す信号数を半減することで、システム負荷を低減することができる。また、被写体のエッジ方向に合わせて、分割領域毎に瞳分割方向を変えて画像信号を出力することができるため、合焦対象の被写体に適した位相差評価値を得ることができ、位相差方式の焦点調節制御の精度を高めることができる。

なお、上述した実施の形態では、全ての画素が４つのフォトダイオードにより構成されているものとして説明したが、本発明はこれに限るものではなく、例えば、撮像素子１０３の画面内において、通常の画素の中に離散的に配置してもよい。

また、上述した実施の形態では、各分割領域のエッジ方向が水平であるか垂直であるかを判定してから、判定結果に基づいて瞳分割方向を決定する場合について説明した。しかしながら、本発明はこれに限るものではなく、カウンタC0とカウンタC1との値をもってエッジ方向とし、これらの値に基づいて、瞳分割方向を決定しても良い。

また、エッジ方向の判定方法は上述したものに限るものではなく、エッジ方向が判定できるのであれば、どのような方法を用いても構わない。そして、エッジ方向の傾斜の度合いに基づいて、効果的な位相差を得ることができる瞳分割方向を決定するようにすればよい。すなわち、エッジ方向がより水平に近ければ、瞳分割方向を垂直とし、エッジ方向がより垂直に近ければ、瞳分割方向を水平とすればよい。

Claims (8)

1. 光学系の射出瞳の異なる領域を通った光束をそれぞれ受光する２次元に配置された複数の光電変換部をそれぞれ含む、複数の分割画素を有し、前記分割画素毎に、第１の瞳分割方向及び該第１の瞳分割方向に垂直な第２の瞳分割方向に前記光電変換部を分けて、生成された電荷を加算読み出し可能な撮像素子と、
   前記撮像素子から読み出した電荷から得られた画素毎の画像信号に基づいて、前記撮像素子の領域を複数に分割した分割領域毎に画像のエッジの方向を判定する判定手段と、
   前記判定手段により前記分割領域毎に判定されたエッジの方向に基づいて、前記分割領域毎に、前記第１の瞳分割方向と前記第２の瞳分割方向の何れかを決定する決定手段と、
   前記決定手段により決定された前記第１の瞳分割方向または前記第２の瞳分割方向に分割して、前記各分割画素の加算読み出しを行い、対の画像信号を出力するように前記撮像素子を制御する読み出し制御手段と、
   前記読み出し制御手段による制御により前記各分割画素から出力された対の画像信号の位相差に基づいて、焦点調節を行う焦点調節手段と
   を有することを特徴とする撮像装置。
2. 前記判定手段は、エッジの方向として、前記第１の瞳分割方向に垂直な第１の方向と、前記第２の瞳分割方向に垂直な第２の方向のいずれかであるかを判定することを特徴とする請求項１に記載の撮像装置。
3. 前記決定手段は、前記エッジの方向が前記第１の方向である場合に、前記第１の瞳分割方向を決定し、前記エッジの方向が前記第２の方向である場合に、前記第２の瞳分割方向を決定することを特徴とする請求項２に記載の撮像装置。
4. 前記決定手段は、前記エッジの方向がより水平に近い場合に、前記第１の瞳分割方向を決定し、前記エッジの方向がより垂直に近い場合に、前記第２の瞳分割方向を決定することを特徴とする請求項１に記載の撮像装置。
5. 前記撮像素子を構成する全画素を、前記分割画素で構成したことを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記撮像素子は、１つの光電変換部をそれぞれ含む複数の画素と、離散的に配置された複数の前記分割画素とから構成されていることを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
7. 前記対の画像信号を、前記分割画素毎に加算する加算手段を更に有することを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
8. 光学系の射出瞳の異なる領域を通った光束をそれぞれ受光する２次元に配置された複数の光電変換部をそれぞれ含む、複数の分割画素を有し、前記分割画素毎に、第１の瞳分割方向及び該第１の瞳分割方向に垂直な第２の瞳分割方向に前記光電変換部を分けて、生成された電荷を加算読み出し可能な撮像素子を有する撮像装置の制御方法であって、
   判定手段が、前記撮像素子から読み出した電荷から得られた画素毎の画像信号に基づいて、前記撮像素子の領域を複数に分割した分割領域毎に画像のエッジの方向を判定する判定工程と、
   決定手段が、前記判定工程で前記分割領域毎に判定されたエッジの方向に基づいて、前記分割領域毎に、前記第１の瞳分割方向と前記第２の瞳分割方向の何れかを決定する決定工程と、
   読み出し制御手段が、前記決定工程で決定された前記第１の瞳分割方向または前記第２の瞳分割方向に分割して、前記各分割画素の加算読み出しを行い、対の画像信号を出力するように前記撮像素子を制御する読み出し制御工程と、
   焦点調節手段が、前記読み出し制御工程による制御により前記各分割画素から出力された対の画像信号の位相差に基づいて、焦点調節を行う焦点調節工程と
   を有することを特徴とする撮像装置の制御方法。

Images