JP6000627B2 - 焦点検出装置、その制御方法、および制御プログラム、並びに撮像装置 - Google Patents

Description

本発明は、焦点検出装置、その制御方法、および制御プログラム、並びに撮像装置に関し、特に、マイクロレンズを共有する複数の光電変換部を備える撮像素子を用いて位相差に応じて焦点検出を行う手法に関する。

一般に、デジタルカメラなどの撮像装置で用いられる固体撮像素子において、１つ画素が複数の光電変換部（以下ＰＤという）を備えるようにしたものがある。そして、画素毎にマイクロレンズ（以下ＭＬという）を対応付けて、撮像とともに所謂位相差方式で焦点検出を行うようにしている。

例えば、１つのＭＬに対応して配置された複数のＰＤの各々が光を変換して、位相差方式による焦点検出処理を行うとともに、複数のＰＤからの出力信号を加算して１画素の出力として撮像用の画像信号を得るようにしたものがある（特許文献１参照）。

さらに、１つのＭＬに対応して配置された複数のＰＤからの出力を選択的に読み出して、相関演算を行って焦点検出を行うようにしたものがある（特許文献２参照）。

また、画素信号生成部に対して複数の画素が共有された単位画素群において、一方の画素の画素信号の取得後における他方の画素の画素信号の取得時に、初めに読み出した画素の信号電荷が失われないように非破壊読出して、複数の画素の信号電荷を合成した画素信号を取得するようにしたものがある。そして、後から読み出す他方の画素の画素信号を、合成した画素信号と一方の画素の画素信号との差分処理で求めるようにしている（特許文献３参照）。

特開２００１−８３４０７号公報 特開２００７−１３３０８７号公報 特開２００６−８０９３７号公報

ところで、特許文献３においては高感度特性が改善されるものの、非破壊読み出しを行った後に、画素（つまり、ＰＤ）の加算値を求めて差分値を算出する。このため、画素同士の読み出しタイミングを合わせる必要がある。また、各ＰＤが飽和していると、位相差検出としての精確な評価値を得ることができない。

そこで、本発明の目的は、各ＰＤの飽和検出を行って、精度よく焦点検出を行うことができる焦点検出装置、その制御方法、および制御プログラム、並びに撮像装置を提供することにある。

上記の目的を達成するため、本発明による焦点検出装置は、マトリクス状に配列された複数のマイクロレンズを備え、前記マイクロレンズには互いに異なる色フィルタが備えられており、マイクロレンズ毎に配置された複数の画素から得られる画素信号に応じて光学ユニットの焦点状態を検出する焦点検出装置であって、所定の周期で前記マイクロレンズにおける画素の位置を順次切り替えて画素の読み出しを行う読み出し制御手段と、前記読み出し制御手段によって読み出された画素についてその画素値に応じて飽和状態にあるか否かを判定する飽和状態判定手段と、前記読み出し制御手段によって読み出されない画素について前記読み出された画素の画素値で補間してその画素値を求める制御と、前記読み出し制御手段によって読み出されない画素が飽和状態にあるか否かを前記読み出されない画素の近傍における前記読み出された画素に対する前記飽和状態判定手段による判定結果に基づいて判定する制御とを行う補間推定手段と、前記補間推定手段の出力に応じて前記光学ユニットの焦点状態を検出する焦点検出手段とを有することを特徴とする。

本発明による制御方法は、マトリクス状に配列された複数のマイクロレンズを備え、前記マイクロレンズには互いに異なる色フィルタが備えられており、マイクロレンズ毎に配置された複数の画素から得られる画素信号に応じて光学ユニットの焦点状態を検出する焦点検出装置の制御方法であって、所定の周期で前記マイクロレンズにおける画素の位置を順次切り替えて画素の読み出しを行う読み出し制御ステップと、前記読み出し制御ステップで読み出された画素についてその画素値に応じて飽和状態にあるか否かを判定する飽和状態判定ステップと、前記読み出し制御ステップで読み出されない画素について前記読み出された画素の画素値で補間してその画素値を求める制御と、前記読み出し制御ステップで読み出されない画素が飽和状態にあるか否かを前記読み出されない画素の近傍における前記読み出された画素に対する前記飽和状態判定ステップによる判定結果に基づいて判定する制御とを行う補間推定ステップと、前記補間推定ステップで得られた出力に応じて前記光学ユニットの焦点状態を検出する焦点検出ステップとを有することを特徴とする。

本発明による制御プログラムは、マトリクス状に配列された複数のマイクロレンズを備え、前記マイクロレンズには互いに異なる色フィルタが備えられており、マイクロレンズ毎に配置された複数の画素から得られる画素信号に応じて光学ユニットの焦点状態を検出する焦点検出装置で用いられる制御プログラムであって、前記焦点検出装置が備えるコンピュータに、所定の周期で前記マイクロレンズにおける画素の位置を順次切り替えて画素の読み出しを行う読み出し制御ステップと、前記読み出し制御ステップで読み出された画素についてその画素値に応じて飽和状態にあるか否かを判定する飽和状態判定ステップと、前記読み出し制御ステップで読み出されない画素について前記読み出された画素の画素値で補間してその画素値を求める制御と、前記読み出し制御ステップで読み出されない画素が飽和状態にあるか否かを前記読み出されない画素の近傍における前記読み出された画素に対する前記飽和状態判定ステップによる判定結果に基づいて判定する制御とを行う補間推定ステップと、前記補間推定ステップで得られた出力に応じて前記光学ユニットの焦点状態を検出する焦点検出ステップとを実行させることを特徴とする。

本発明による撮像装置は、マトリクス状に配列された複数のマイクロレンズを備え、マイクロレンズ毎に配置された複数の画素を有する固体撮像素子と、前記固体撮像素子に光学像を結像する光学ユニットと、上記の焦点検出装置とを有し、前記固体撮像素子の出力に応じた画像を得ることを特徴とする。

本発明によれば、マイクロレンズ毎に備えられた複数の画素について飽和状態にあるか否かを判定するようにしたので、焦点検出を精度よく行うことができる。

本発明の第１の実施形態による焦点検出装置が用いられた固体撮像装置の一例についてその構成を示すブロック図である。 図１で説明した単位画素セルの一例を示す図である。 一方のＰＤから他方のＰＤに電荷が流れ込む際の特性について説明するための図である。 図１に示す固体撮像装置における固体撮像素子の読み出し制御を説明するための図、（ａ）は比較のため従来の読み出し制御を示す図、（ｂ）は第１の実施形態による読み出し制御を示す図である。 図１に示す分割画素加算部の構成の一例を示すブロック図である。 図４（ｂ）で説明した読み出し制御を行った際にＡ像およびＢ像を補間しつつ飽和検出を行う手法を説明するための図であり、（ａ）は一方のＰＤの出力（読み出し値）から他方のＰＤの出力の推測を説明するための図、（ｂ）は図１に示す遅延ラインから出力される画素信号をＡ像およびＢ像に関して並び替えた図である。 図１に示す固体撮像装置における測距情報取得動作を説明するための図であり、（ａ）は合焦時の測距情報取得動作を示す図、（ｂ）は後ろピント（後ピン）時の測距情報取得動作を示す図、（ｃ）は前ピント（前ピン）時の測距情報取得動作を示す図である。 図１に示すＣＰＵで行われる撮影動作の際の制御を説明するための図である。 図８に示すライブビュー動作を説明するためのフローチャートである。 本発明の第２の実施形態による固体撮像装置において垂直ライン毎にＡおよびＢ像を交互に繰り返して読み出す読み出しを説明するための図である。 図１０で説明した読み出しを行った際の画素値推定および飽和検出について説明するための図である。 本発明の第３の実施形態による固体撮像装置における相関演算を説明するための図であり、（ａ）はＹＡおよびＹＢに応じた相関演算を示す図、（ｂ）は読み出しを行ったＰＤ出力に応じて生成されたＹＡおよびＹＢのみを用いた相関演算を示す図である。 ＰＤ出力を輝度成分に変換した際における演算処理を説明するためのタイミングチャートである。

以下、本発明の実施の形態による焦点検出装置について図面を参照して説明する。

ここで、まず本発明に至った経緯の概略を説明する。前述したように、特許文献３においては高感度特性が改善されるものの、非破壊読み出しを行った後に、画素（つまり、ＰＤ）の加算値を求めて差分値を算出する。このため、画素同士の読み出しタイミングを合わせる必要がある。読み出しタイミングを合わせるため、色毎に遅延回路を備えると回路規模が増大してしまうので、予めＰＤを焦点検出用に用いられる画素フォーマットに変換してデータ量を削減することが望ましい。

この際、位相差演算において色成分による演算精度の低下を防ぐため、一対の位相差画像信号を演算処理によって輝度信号に変換し、輝度信号を用いて焦点検出処理を行うようにすることが知られている。

図１３は、ＰＤ出力を輝度成分に変換した際における演算処理を説明するためのタイミングチャートである。

図１３において、固体撮像素子読み出し画素は固体撮像素子から読み出される画素の読み出しタイミングを示している。固体撮像素子はＭＬに対応して２つのＰＤを備えており、ＭＬ毎にカラーフィルタが備えられている。

ＲＡ、ＧＡ、およびＢＡはそれぞれ赤、緑、および青のカラーフィルタを備えたＭＬ下に存在するＡ像に係る非破壊読み出し画素を示し、Ｒ（Ａ＋Ｂ）、Ｇ（Ａ＋Ｂ）、Ｂ（Ａ＋Ｂ）は同様にＡ像およびＢ像用のＰＤ同士の加算読み出しを示している。

Ｙ成分信号Ｙ（Ａ＋Ｂ）（Ｒ，Ｇ）およびＹ（Ａ＋Ｂ）（Ｇ，Ｂ）は、後述のＹＢ成分信号を演算するための信号であって、加算読み出しされたＲ（Ａ＋Ｂ）、Ｇ（Ａ＋Ｂ）、およびＢ（Ａ＋Ｂ）から求められる。ＹＡ成分信号は、Ａ像用画素の輝度信号Ｙの成分値であり、読み出し画素であるＲＡ、ＧＡおよびＧＡ、ＢＡの加算によって求められる。ＹＡ（Ｒ，Ｇ）はＲＡとＧＡ、ＹＡ（Ｇ，Ｂ）はＧＡとＲＡの加算値である。

ＹＢ成分信号は、Ｙ（Ａ＋Ｂ）（Ｒ，Ｇ）およびＹ（Ａ＋Ｂ）（Ｇ，Ｂ）からＹＡ（Ｒ，Ｇ）およびＹＡ（Ｇ，Ｂ）を減算して求められるＢ像用画素の輝度信号Ｙの成分値である。ＹＡ信号およびＹＢ信号は、ＹＡ成分信号同士およびＹＢ成分信号同士の加算によって得られるＡ像およびＢ像の輝度信号である。

固体撮像素子の１ライン目の非破壊読み出しでは、ＲＡおよびＧＡを読み出す。ＲＡおよびＧＡは焦点検出の際に用いられるＹ信号成分に変換され、ＹＡ（Ｒ，Ｇ）となる。非破壊読み出しが完了すると、固体撮像素子はＲ（Ａ＋Ｂ）、Ｇ（Ａ＋Ｂ）をＰＤ同士の加算値として読み出すとともに、Ｙ（Ａ＋Ｂ）（Ｒ，Ｇ）が加算によって求められる。

この際、ＹＢ（Ｒ，Ｇ）を演算で求めるため、ＹＡ（Ｒ，Ｇ）は１ライン分の遅延をもってＹ（Ａ＋Ｂ）（Ｒ，Ｇ）から減算される。同様にして、２ライン目の読み出しも、カラーフィルタをＲおよびＧからＧおよびＢに変更して行われる。

２ライン目のＹＡ（Ｇ，Ｂ）が求められると、生成された後２ライン分の遅延を有するＹＡ（Ｒ，Ｇ）と加算されて、輝度信号であるＹＡが求められる。輝度信号ＹＢについても同様にして求められる。

上記のような演算を行う際に、ＹＢ（Ｒ，Ｇ）およびＹＢ（Ｇ，Ｂ）はＹ（Ａ＋Ｂ）（Ｒ，Ｇ）、Ｙ（Ａ＋Ｂ）（Ｇ，Ｂ）とＹＡ（Ｒ，Ｇ）、Ｙ（Ｇ，Ｂ）から減算して求められるので、Ｂ像に対応するＰＤの電荷が飽和レベルに達しているか否かを検出することは困難である。

つまり、飽和レベルに達したＰＤから隣接する同一のＭＬ下にあるＰＤに対して、少なからず電荷が流れ込むにも拘わらず、その飽和検出ができないので、像信号は理想的な像形状を維持することができずに焦点検出が行われてしまうことになる。

そこで、本実施形態では、隣接する異なるカラーフィルタを有したＭＬ毎にＡおよびＢ像を所定の規則で読み出すようにして、補間することでＰＤ単位の飽和検出を行うことで位相差像崩れのない良好な焦点検出を行う。

［第１の実施形態］
図１は、本発明の第１の実施形態による焦点検出装置が用いられた固体撮像装置の一例についてその構成を示すブロック図である。

固体撮像装置（例えば、デジタルカメラ）１００は光学系ユニット１０１を有しており、光学系ユニット（光学ユニット）１０１は光学レンズ群、シャッター、絞り、およびレンズ制御部などを備えている。そして、光学レンズ群にはピントを調整するためのピントレンズが含まれている。駆動制御部１１３はＣＰＵ１１２の制御下で光学系ユニット１０１を駆動制御し、ピントレンズ、シャッター、および絞りを駆動する。光学系ユニット１０１を通過した被写体像（光学像）は固体撮像素子１０２に結像する。

固体撮像素子１０２は複数の単位画素セルが２次元マトリクス状に配列されている。例えば、固体撮像素子１０２は単位画素セルがベイヤー配列で配置されている。固体撮像素子１０２に対する露光量はシャッターによって制御される。固体撮像素子１０２の読み出し制御の際には、ＴＧ（タイミングジェネレータ）１０５からの制御信号に応じて順次単位画素セルの走査が行われて、単位画素セルの各々に備えられたＰＤに蓄積された電荷が選択的に非破壊で又は同一のマイクロレンズ毎（ＭＬ毎）にＰＤに蓄積された電荷が加算して読み出される。

図２は、図１で説明した単位画素セルの一例を示す図である。

図２において、単位画素セル１はカラーフィルタ（色フィルタ）ＭＬ２を備え、カラーフィルタＭＬ２の下側に２つのＰＤ（フォトダイオード：光電変換部）１ａおよび１ｂが配置されている。つまり、ＰＤ１ａおよび１ｂは色フィルタＭＬ２を共有している。そして、単位画素セル１においては、ＰＤ１ａおよび１ｂで個別に光電変換した結果得られた信号（電荷）を選択的に非破壊で又は加算して読み出すことができる。

ＰＤ１ａおよび１ｂは、カラーフィルタＭＬ２を介して入射光が照射され、ＰＤ１ａおよび１ｂの出力は、これらＰＤ１ａおよび１ｂの配置によって瞳分割されたＡ像およびＢ像用の画素として扱うことができる。このＡ像およびＢ像用画素は周知のように、固体撮像素子で加算して読みだすことができ、Ａ像およびＢ像用の画素の出力（第１の画素出力および第２の画素出力）を加算して加算画素値として読み出す際に、Ａ像およびＢ像用の画素は撮像用画素とされる。

このＰＤ１ａおよび１ｂの蓄積可能な電荷量は、単位画素セルが１つのＰＤを備える場合の当該ＰＤの蓄積量よりも小さいので、一方のＰＤが飽和してしまうと、撮像用画素として良好な画像信号を得ることが困難となる。このため、Ａ像又はＢ像用ＰＤの一方が飽和レベルを超えた際には、他方のＰＤに一方のＰＤに蓄積された電荷が流れ込むように設計されている。

ここで、一方のＰＤから他方のＰＤに電荷が流れ込む際の特性について説明する。

図３は、一方のＰＤから他方のＰＤに電荷が流れ込む際の特性について説明するための図である。

いま、単位画素セルに入射する光束に所謂ケラレが生じ、Ａ像用ＰＤ（以下図３においてＡ像用画素とも呼ぶ）にＢ像用ＰＤ（以下図３においてＢ像用画素とも呼ぶ）よりも光が多く入射したとする。図３において、横軸は電荷蓄積時間を示し、縦軸は各ＰＤの電荷蓄積レベルを示す。ここで、電荷蓄積時間ｔ１はＡ像用画素、電荷蓄積時間ｔ２はＢ像用画素が飽和する理想的な時間を示す。

この際、電荷蓄積時間ｔ１以降においてＡ像用画素の電荷はＢ像用画素に漏れ出しており、Ｂ像用画素にはニー（Ｋｎｅｅ）特性が発生している。そして、電荷蓄積時間ｔ２はＡ像用画素からの電荷漏れ出しによって理想的な時間よりも早くなる。この場合、Ａ像用画素およびＢ像用画素の加算値である撮像用画素のレベルは撮像用画素の飽和レベルまで線形成を保つことができる。ところが、Ｂ像用画素における線形性は電荷蓄積時間ｔ１以降において失われることとなるので、Ｂ象用画素の出力を焦点検出演算用信号として用いることができないことになる。

再び図１を参照して、アナログ信号処理部（図示せず）でアナログ信号処理を行った後、固体撮像素子１０２の出力（アナログ信号）はＡ／Ｄ変換部１０３でデジタル信号（画素信号）に変換される。そして、Ａ／Ｄ変換部１０３は画素信号を固体撮像素子読み出し画素信号としてキャプチャー部１０４に出力する。

なお、アナログ信号処理部は、伝送路上のノイズを除去するＣＤＳ回路および非線形増幅回路などを有している。

キャプチャー部１０４は画素信号の有効期間および種別を判定して、Ａ像用画素の読み出しの際には分割画素飽和検出部１０６に画素信号（Ａ像用画素信号）を出力し、撮像用画素読み出しの際には分割画素補間演算部１０９に画素信号（撮像用画素信号）を出力する。また、キャプチャー部１０４は、読み出し制御開始の際にＴＧ１０５を制御して制御信号を出力し、固体撮像素子１０２の順次読み出し制御を行う。

順次読み出し制御では、Ａ像用画素およびＢ像用画素を隣接したＣＦ（カラーフィルタ）の繰り返し周期毎に非破壊読み出しを行った後、同一ライン（水平ライン毎）の撮像用画素の読み出しが行われる。繰り返し周期では、例えば、赤（Ｒ）と緑（Ｇ）のＣＦが繰り返されるラインでは、ＲとＧが１回繰り返すことを１周期とする。そして、Ａ像用画素およびＢ像用画素の読み出しが交互に行われる。

図４は、図１に示す固体撮像装置１００における固体撮像素子１０２の読み出し制御を説明するための図である。そして、図４（ａ）は比較のため従来の読み出し制御を示す図であり、図４（ｂ）は第１の実施形態による読み出し制御を示す図である。

図４において、Ａ＋Ｂ像読み出し画素は、２つのＰＤの出力を加算した読み出しを示しており、分割ＰＤ読み出し画素は非破壊で読み出されるＰＤの出力の読み出しを示している。また、Ａ像はＰＤ出力の読み出し際のＡ像を示し、Ｂ像は同様にＢ像を示す。

さらに、斜線で示す部分は読み出されたＲを示し、点描で示す部分は読み出されたＧを示す。他の部分（塗りつぶされていない部分）は読み出されていない部分を示す。そして、飽和したＰＤは太線で囲まれたＧＬとして示されている。なお、太い破線で示されている部分は読み出されていない画素を示す。

Ａ＋Ｂ像読み出し画素は、各ＭＬに配置された２つのＰＤの出力が加算される撮像用画素であり、図４（ａ）および（ｂ）ともにＡ＋Ｂ像読み出し画素は間引かれることなく全画素の読出しが行われる。

図４（ａ）において、分割ＰＤ読み出し画素では常にＡ像の読み出しが行われ、この際、Ｂ像はＡ＋Ｂ像およびＡ像の演算によって求められる。このため、前述したようにＢ像の飽和画素であるＧＬを検出することは困難である。

一方、図４（ｂ）においては、分割ＰＤ読み出し画素は、隣接した異なるＣＦの繰り返し周期毎にＡ像およびＢ像は交互に繰り返して読み出される。この場合、演算によって判定不可である飽和レベルを超えた値を有するＧＬを読み出すことができるので、水平画素の半分の割合で飽和検出を行うことができる。

なお、固体撮像素子１０２の読み出しに当たっては、ＰＤの各々について読み出しを選択するか又は読み出し周期毎にＡ像およびＢ像を交互に繰り返して読み出すように、配線を一方のＰＤのみに行うようにすればよいが、これに限定されない。

再び図１を参照して、分割画素飽和検出部１０６は、画素信号（例えば、Ａ像用画素信号）を受けると、当該画素信号が予め定められた一定の飽和レベルに達しているか否かを判定する。そして、画素信号が飽和レベルに達していると、当該画素信号に飽和ビットを付与して分割画素加算部１０７に出力する。

例えば、分割画素飽和検出部１０６は、画素信号が飽和レベルに達している場合には飽和画素であると判定して、画素信号に飽和ビットとして”１”をＭＳＢ又はＬＳＢに付与する。

なお、この飽和ビットの付与の際には、画素信号の一部を飽和ビットとして用いるようにしてもよく、その極性は限定されない。

分割画素加算部１０７は、画素信号をＹ信号成分に変換した後、Ｙ信号を遅延ライン１０８に出力する。

図５は、図１に示す分割画素加算部１０７の構成の一例を示すブロック図である。なお、ここでは、１ライン目を構成するＲＡおよびＧＡ、ＲＧおよびＧＢを加算する際の分割画素加算部１０７の動作について説明する。

分割画素加算部１０７には、ＲＡおよびＧＡ又はＲＧおよびＧＢが交互に順次水平方向に入力される。入力されたＲＡおよびＧＡ又はＲＧおよびＧＢの一方は乗算器１０７ａに与えられ、ＲＡおよびＧＡ又はＲＧおよびＧＢの他方はタイミングを制御するためのフリップフロップ（ＦＦ）１０７ｂを介して乗算器１０７ｃに与えられる。

ＲＡおよびＧＡ又はＲＧおよびＧＢの一方は乗算器１０７ａで所定の係数Ｋ１と乗算されて、第１の乗算結果として出力される。ＲＡおよびＧＡ又はＲＧおよびＧＢの他方は乗算器１０７ｃで所定の係数Ｋ２と乗算されて、第２の乗算結果として出力される。そして、これら第１および第２の乗算結果は加算部１０７ｄに出力される。

加算部１０７ｄは第１および第２の乗算結果を加算して、輝度信号の一部の信号、例えば、ＹＡ成分信号を出力する。判定部１０７ｅはＨ（水平）カウンタ（図示せず）によって、入力された画素信号（つまり、ＹＡ成分信号）が偶数番目であるか又は奇数番目であるかを判定して、偶数番目ＥＶＥＮの際にＹＡ成分信号を、ＦＦ１０７ｆを介して後段の遅延ライン１０８に出力する。

なお、図５においては、説明の便宜上、水平１ライン目が入力された際の動作を説明したが、ＧＡおよびＢＡ又はＧＢおよびＢＢが入力された際には係数Ｋ１およびＫ２が変化するのみで、その動作は同様である。

遅延ライン１０８は、分割画素加算部１０７からの出力を遅延させて、キャプチャー部１０４の出力である撮像用画素信号とタイミングを合わせて、分割画素補間演算部１０９に出力する。分割画素補間演算部１０９は、補間によって輝度信号化されたＡ像のＹＡ信号およびＢ像のＹＢ信号を求める。そして、分割画素補間演算部１０９はＡ像のＹＡ信号およびＢ像のＹＢ信号を焦点検出処理部１１０に出力するとともに、撮像用画素信号を画像処理部１１１に出力する。

ここで、図４（ｂ）で説明した読み出し制御を行った際にＡ像およびＢ像を補間しつつ飽和検出を行う手法について説明を行う。

図６は、図４（ｂ）で説明した読み出し制御を行った際にＡ像およびＢ像を補間しつつ飽和検出を行う手法を説明するための図である。そして、図６（ａ）は一方のＰＤの出力（読み出し値）から他方のＰＤの出力の推測を説明するための図であり、図６（ｂ）は図１に示す遅延ライン１０８から出力される画素信号をＡ像およびＢ像に関して並び替えた図である。

図６（ａ）において、Ｙ（Ａ＋Ｂ）はＹ成分化されたＡ＋Ｂ像であり、同様にＹＡはＡ像のＹ成分化信号、ＹＢはＢ像のＹ成分化信号である。実線で示すブロックは読み出された画素信号から生成されたＹ成分化信号を示し、破線で示すブロックは読み出されない画素について、Ｙ（Ａ＋Ｂ）からＹＡも又はＹＢを減算して生成された値である。

図６（ｂ）において、実線で示すＹＡおよびＹＢの空間的な中間位置に存在する破線で示すＹＡおよびＹＢは、光学的にはほぼ同一の箇所を見ているに等しいので、レンズのケラレなどの影響についてはほぼ同一の影響が生じる。つまり、実線で示す部分の中間位置に存在する破線で示す部分は両側に存在する実線部分の両方に飽和ビットが立っていた際には、破線部分においても飽和が生じていると推定することができる。

そして、ＹＡおよびＹＢについては、Ｙ（Ａ＋Ｂ）からの減算によって求め、飽和検出の場合にのみ両側に存在する実線部から推定するようにすれば、高精度でＡ像およびＢ像を補間しつつ飽和検出を行うことができる。なお、Ｙ成分信号であるＲ，ＧからなるＹＡおよびＹＢは、前述したように２ライン分の遅延ラインを介して、Ｇ，ＢからなるＹＡおよびＹＢが算出された時点で加算され輝度信号化される。

焦点検出処理部１１０は、Ａ像用画素およびＢ像用画素から出力されるＡ像およびＢ像に応じてデフォーカス量を求めて（つまり、焦点状態を検出して）、ＣＰＵ１１２に出力する。

図７は、図１に示す固体撮像装置１００における測距情報取得動作を説明するための図である。そして、図７（ａ）は合焦時の測距情報取得動作を示す図であり、図７（ｂ）は後ろピント（後ピン） 時の測距情報取得動作を示す図である。また、図７（ｃ）は前ピント（前ピン） 時の測距情報取得動作を示す図である。

図７において、固体撮像素子はＭＬ毎を２つのＰＤ（画素）ａおよびｂを備える単位画素セルが複数配列されている（単位画素セルＰ１〜Ｐ１３で示す）。画素ａおよびｂはＭＬを射出瞳として瞳分割された画素である。

測距の際には、画素ａおよびｂの出力であるＡ画素出力およびＢ画素出力を、各々列方向（又は行方向）に組み合わせて、同色単位画素セル群の出力として、Ａ像およびＢ像を生成してデータ化する。そして、各々の対応点のずれＣを次の式（１）による相関演算によって求める。

Ｃ＝Σ｜ＹＡｎ−ＹＢｎ｜ （１）
式（１）において、ｎは水平方向のマイクロレンズの数を示し、ＹＢｎに対して対応画素をずらした際の値をプロットして、最も値の小さいずれ量が合焦位置とされる。

合焦の場合には、光学像が結像する位置（結像位置）は単位画素セルＰ７となるので、Ａ像用画素群とＢ像用画素群とはほぼ一致する。この際、上記の相関演算で求められたＡ像用画素群とＢ像用画素群の像ずれ量ｄ（ａ）は０に近似する。

後ピンの場合には、結像位置は、Ａ画素出力が単位画素セルＰ５、Ｂ画素出力が単位画素セルＰ９となる。この際、上記の相関演算で求められたＡ像用画素群とＢ像用画素群とには像ずれ量としてｄ（ｂ）が生じる。

前ピンの場合には、結像位置は、Ａ画素出力が単位画素セルＰ９、Ｂ画素出力が単位画素セルＰ５となる。この際、上記の相関演算で求められたＡ像用画素群とＢ像用画素群とには像ずれ量としてｄ（ｃ）が生じる。この像ずれ量ｄ（ｃ）は後ピンの際の像ずれ量と逆方向である。

つまり、合焦時にはＡ像用画素群およびＢ像用画素群では同一の被写体像を見ているが、後ピンおよび前ピンの際には、Ａ像用画素群およびＢ像用画素群では像ずれ量ｄだけずれた被写体像を見ていることになる。合焦動作の際には、像ずれ量ｄと基線長とに基づいてデフォーカス量を求める。そして、デフォーカス量に応じて撮影光学系を移動させて合焦が行われる。

なお、飽和ビットはデフォーカス量を求める際に用いないか又は信頼度を下げる重みづけを飽和ビットに対して行うようにするが、飽和ビットの処理についてはこれに限定されない。

ＣＰＵ１１２は焦点検出処理部１１０の出力であるデフォーカス量に基づいて、駆動制御部１１３に光学ユニット１０１に含まれるピントレンズを駆動するための駆動情報を出力する。駆動制御部１１３は駆動情報に基づいてピントレンズを駆動制御する。なお、駆動情報はデフォーカス量に応じてピントレンズの駆動量を示す情報である。また、ＣＰＵ１１２は固体撮像装置１００全体の制御を司る。

画像処理部１１１は撮像用画素信号を受けて所謂欠陥画素補正、ＡＥ、ＡＦ、ホワイトバランス調整、ガンマ調整、ノイズリダクション処理、および同時化処理に代表されるデジタル信号処理を行って、ＤＲＡＭ（図示せず）を介して外部表示部１１３に画像信号として出力する。外部表示部１１４は画像信号に応じた画像を液晶パネルなどの表示装置に表示する。

図８は、図１に示すＣＰＵ１１２で行われる撮影動作の際の制御を説明するための図である。

まず、ＣＰＵ１１２は電源投入のためのメインＳＷがオン（ＯＮ）であるか否かを検出する（ステップＳ１０００）。メインＳＷがオフ（ＯＦＦ）であると（ステップＳ１０００において、ＮＯ）、ＣＰＵ１１２は待機する。

一方、メインＳＷがオンであると（ステップＳ１０００において、ＹＥＳ）、ＣＰＵ１１２はライブビュー動作を行うための後述の一連の動作を行う（ステップＳ１００１）。そして、ＣＰＵ１１２はスイッチＳＷ１がオンであるか否かを検出する（ステップＳ１００２）。スイッチＳＷ１がオンでないと（ステップＳ１００２において、ＮＯ）、ＣＰＵ１１２はステップＳ１０００の処理に戻る。

スイッチＳＷ１がオンであると（ステップＳ１００２において、ＹＥＳ）、ＣＰＵ１１２は本撮影を行う前の撮影スタンバイ動作を行うため、ライブビュー動作で得られた画像に基づいて、露出設定部（図示せず）によって予め設定された露出補正値に基づいて画像の露出を決定する（ステップＳ１００３：。ＡＥ処理）。そして、ＣＰＵ１１２は絞り値およびシャッター速度（露出時間）を駆動制御部１１３に出力する。

続いて、ＣＰＵ１１２はライブビュー動作において得られたデフォーカス量に基づいて駆動制御部１１３を制御して、ピントレンズを駆動し合焦動作を行う（ステップＳ１００４：ＡＦ処理）。そして、ＣＰＵ１１２は、スイッチＳＷ２（図示せず）がオンであるか否かを検出する（ステップＳ１００５）。

スイッチＳＷ２がオフであると（ステップＳ１００５において、ＮＯ）、ＣＰＵ１１２はステップＳ１００１の処理に戻る。一方、スイッチＳＷ２がオンであると（ステップＳ１００５において、ＹＥＳ）、ＣＰＵ１１２は本撮影動作を行うための制御を行って（ステップＳ１００６）、ステップＳ１００５の処理に戻る。

ここで、本撮影動作では、例えば、固体撮像素子１０２に対して電荷クリアおよび電荷蓄積開始を行って、駆動制御部１１３によってステップＳ１００３で決定された絞り値およびシャッター速度に基づいて光学系ユニット１０１を制御してシャッターを開く。

これによって、固体撮像素子１０２は、本撮影画像の露光を開始する。そして、ステップＳ１００３で決定された露出時間となると、駆動制御部１１３は光学系ユニット１０１を制御してシャッターを閉じる。これによって、固体撮像素子１０２は電荷蓄積を終了して、ＴＧ１０５の出力に応じて固体撮像素子１０２からＰＤの合成値（つまり、電荷）が読み出される。

読み出された電荷は、前述のようにして、Ａ／Ｄ変換部１０３、キャプチャー部１０４、および画像処理部１１１を介して、メモリーカード（図示せず）に出力されて、画像として記録される。

図９は、図８に示すライブビュー動作を説明するためのフローチャートである。

まず、ＣＰＵ１１２はＴＧ１０５を制御して固体撮像素子１０２に対して電荷クリア制御を行う（ステップＳ１１００）。なお、図１においては制御信号線は省略されている。続いて、ＣＰＵ１１２は、ＴＧ１０５を制御して固体撮像素子１０２に対してライブビュー画像露光制御を行って電荷蓄積開始する（ステップＳ１１０１）。

次に、ＣＰＵ１１２は所定の露出時間となったか否かを判定する（ステップＳ１１０２）。所定の露出時間とならないと（ステップＳ１１０２において、ＮＯ）、ＣＰＵ１１２は待機する。一方、所定の露出時間となると（ステップＳ１１０２において、ＹＥＳ）、ＣＰＵ１１２は固体撮像素子１０２に対して電子シャッターによって電荷蓄積の終了処理を行う（ステップＳ１１０３）。

続いて、キャプチャー部１０４はＣＰＵ１１２の制御下で、図４（ｂ）で説明したようにして、ＴＧ１０５を介して固体撮像素子１０１を制御して、電荷の読み出しを行う（ステップＳ１１０４）。そして、ＣＰＵ１１２は焦点検出処理部１１０で得られたデフォーカス量（焦点検出評価値ともいう）を読み出す（ステップＳ１１０５）。外部表示部１１４は、ＣＰＵ１１２の制御下で画像処理部１１１の出力に基づいて液晶ディスプレイなどの表示装置にライブビュー用の画像を出力する。

上述の例では、ＭＬの各々に対して２つのＰＤが配置される場合について説明したが、３つ以上のＰＤがＭＬの各々に対応して配置される場合でも同様に処理を行うことができ、ＰＤの数に限定されない。

例えば、３つのＰＤがＭＬの各々に対応して配置される場合には、２画素毎（異なるＣＦ毎）にＡ像、Ｂ像、およびＣ像用画素（ＰＤ）を読み出すようにすればよい。この際、読み出されたＡ、Ｂ、Ｃ像用画素（ＰＤ）の各々において空間的に中間に存在し、読み出されていないＡ、Ｂ、およびＣ像用画素はその両側のＡ、Ｂ、およびＣ像用画素の飽和に影響されることになる。

また、上述の例では、２画素毎（異なるＣＦ毎）に繰り返して読み出しを行うようにしたが、４画素毎又は６画素毎などに繰り返して読み出しを行うようにしてもよい。いずれにしても、２画素毎に読み出しを限定するものではなく、２画素の整数倍で読み出しを行うようにしてもよい。

このように、本発明の第１の実施形態では、読み出されるＰＤを隣接する異なるＣＦを有したＭＬ毎にＡおよびＢ像を交互に読み出すようにしたので（つまり、変更して）、ＰＤ単位の飽和検出を行って、位相差像崩れのない良好な焦点検出を行うことができる。

［第２の実施形態］
次に、本発明の第２の実施形態による焦点検出装置が用いられた固体撮像装置について説明する。なお、固体撮像装置の構成は図１に示す例と同様である。

前述の第１の実施形態では、水平方向に対してＡおよびＢ像を繰り返して読み出すようにしたが、第２の実施形態では、垂直ライン毎にＡおよびＢ像を繰り返して読み出して飽和検出を行う。なお、以下の説明では、第１の実施形態と異なる部分のみについて説明し、同様の部分については説明を省略する。

図１０は、本発明の第２の実施形態による固体撮像装置において垂直ライン毎にＡおよびＢ像を交互に繰り返して読み出す読み出しを説明するための図である。

図１０において、斜線部で示す部分は読み出されたＲ、点描で示す部分は読み出されたＧ、縦縞で示す部分は読み出されたＢである。また、その以外の部分（塗りつぶされていない部分）については読み出されていない部分を示す。

Ａ＋Ｂ像の読み出し画素は、ＭＬ毎の２つのＰＤ出力を加算合成する撮像用画素として用いられ、間引き処理が行われることなく全画素の読み出しが行われる。分割ＰＤ読み出し画素では、ＭＬ毎のＡ像又はＢ像用画素を選択して読み出しており、図示の例では、奇数ラインではＡ像用画素を、偶数ラインではＢ像用画素を選択して読み出している。

図１０において、「Ａ像」はＡ像用画素の読み出しに着目した図であり、「Ｂ像」はＢ像用画素の読み出しのみに着目した図である。そして、各々塗りつぶされていない画素は読み出しが行われていない画素である。なお、図１０においては、「Ａ＋Ｂ像」、「分割ＰＤ読出し画素」、「Ａ像」、および「Ｂ像」に対応して、それぞれＹ成分化した場合の値が示されている。

図１２は、図１０で説明した読み出しを行った際の画素値推定および飽和検出について説明するための図である。なお、ここでは、１ライン目のＢ像を求める場合について説明する。

図１２において、２ライン目のＢ像用画素においてＧは実際に読み出されており、光学系のケラレによりＢ像用画素のＧに飽和が発生した場合、１ライン目のＢ像用画素のＧも実際は飽和しているとして、Ｙ（Ａ＋Ｂ）からＹＡを減算して求められたＹＢに対して飽和ビットを付加する。さらに、周囲の読み出されたＧＢに応じて補間演算を行って、読み出されていないＧＢの値とする。

次に、補間して求めたＧＢに対してＹ成分化を行う際に用いられる係数を乗算して得られた乗算結果を、ＹＢから減算して、ＲＢの値を推定する。この際、ＲＢが飽和していた場合にはＧが飽和していた場合と同様にＹＢに対して飽和ビットを付加する。

上記のようにして処理を行えば、演算で求められたＹＢを構成するＧＢとＲＢの飽和を検出することができる。なお、２ライン目のＡ像であるＧＡとＢＡに対しても同様に飽和検出を行うことが可能である。

なお、ここでは、ＭＬ毎に２つのＰＤが対応する場合においてＰＤの飽和検出を説明したが、３つ以上のＰＤがＭＬ毎に配置される構成でも同様に処理を行えば、ＰＤの飽和検出を行うことができ、ＭＬ毎のＰＤの数には限定されない。

また、ここでは、奇数ラインと偶数ラインでＡ像とＢ像を交互に繰り返して読み出すようにしたが、奇数ラインと偶数ラインでＢ像とＡ像を交互に繰り返して読み出すようにしてもよい。さらには、２ライン毎又は４ライン毎に読み出しを行うようにしてもよい。

以上のように、本発明の第１の実施形態においても、読み出されるＰＤを隣接する異なるＣＦを有したＭＬ毎にＡおよびＢ像を交互に読み出すようにしたので（つまり、順次切り替えて）、ＰＤ単位で飽和検出を行って、位相差像崩れのない良好な焦点検出を行うことができる。

［第３の実施形態］
次に、本発明の第３の実施形態による焦点検出装置が用いられた固体撮像装置について説明する。なお、固体撮像装置の構成は図１に示す例と同様である。

前述の第１および第２の実施形態では、「Ａ＋Ｂ像」から読みだされたＡ像又はもしくはＢ像を減算して、読み出されていないＡ像又はＢ像を推定して相関演算を行うようにしたが、ここでは、読み出されたＡおよびＢ像から直接相関演算を行う。なお、第３の実施形態におけるＰＤの読み出しは第１の実施形態と同様にして行われるものとする。

図１２は、本発明の第３の実施形態による固体撮像装置における相関演算を説明するための図である。そして、図１２（ａ）はＹＡおよびＹＢに応じた相関演算を示す図であり、図１２（ｂ）は読み出しを行ったＰＤ出力に応じて生成されたＹＡおよびＹＢのみを用いた相関演算を示す図である。

図１２において、実線で示す部分（ブロック）は読み出されたＰＤ出力に応じて加算合成して生成されたＹを示し、破線で示す部分（ブロック）はＹ（Ａ＋Ｂ）からＹＡもしくはＹＢを減算して求められるＹＢもしくはＹＡを示す。

図１２（ａ）では、第１の実施形態で説明したように、同一のＭＬに対応する２つのＰＤ出力に応じたＹＡとＹＢから、例えば、式（２）に示す相関演算によってデフォーカス量（つまり、ずれＣａ）を求める。

Ｃａ＝Σ｜ＹＡｎ−ＹＢｎ｜ （２）
ここで、ｎは１ラインの左端からのＭＬの数である。

図１２（ｂ）においては、読み出しを行ったＰＤ出力に応じて生成されたＹＡおよびＹＢのみを用いて、式（３）に示す相関演算を用いて、ずれＣｂを求める。

Ｃｂ＝Σ｜ＹＡ２ｍ−ＹＢ２ｍ＋１｜ （３）
ここで、ｍは１ラインの左端からのＭＬの半分の数である。

式（３）に基づいて得られる合焦位置を示すれ量を用いて、Ｙの画素として１／２画素分ずれた値としてデフォーカス量を求めれば、同一のＭＬに対応するＰＤから得られるＹＡとＹＢに対して求められるデフォーカス量と同等となる。

このように、本発明の第３の実施形態においても、読み出されるＰＤを隣接する異なるＣＦを有したＭＬ毎にＡおよびＢ像を交互に読み出すようにしたので、ＰＤ単位で飽和検出を行って、位相差像崩れのなく焦点検出を精度よく行うことができる。

上述の説明から明らかなように、図１に示す例においては、ＣＰＵ１１２、キャプチャー部１０４、およびＴＧ１０５が読み出し制御手段として機能し、分割画素飽和検出部１０６が飽和状態判定手段として機能する。また、画素分割加算部１０７、遅延ライン１０８、および分割画素補間演算部１０９が補間推定手段として機能し、焦点検出処理部１１０およびＣＰＵ１１２が焦点検出手段として機能する。さらに、キャプチャー部１０４およびＴＧ１０５は加算読み出し手段して機能し、分割画素補間演算部１０９は算出手段として機能する。

図１に示す例では、ＣＰＵ１１２、キャプチャー部１０４、ＴＧ１０５、分割画素飽和検出部１０６、画素分割加算部１０７、遅延ライン１０８、分割画素補間演算部１０９、および焦点検出処理部１１０が焦点検出装置を構成する。

以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

例えば、上記の実施の形態の機能を制御方法として、この制御方法を焦点検出装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、この制御プログラムを焦点検出装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。

この際、制御方法および制御プログラムの各々は、少なくとも読み出し制御ステップ、飽和状態判定ステップ、補間推定ステップ、および焦点検出ステップを有することになる。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０１ 光学ユニット
１０２ 固体撮像素子
１０４ キャプチャー部
１０６ 分割画素飽和検出部
１０７ 分割画素加算部
１０８ 遅延ライン
１０９ 分割画素補間演算部
１１０ 焦点検出処理部
１１１ 画像処理部
１１２ ＣＰＵ

Claims (9)

1. マトリクス状に配列された複数のマイクロレンズを備え、前記マイクロレンズには互いに異なる色フィルタが備えられており、マイクロレンズ毎に配置された複数の画素から得られる画素信号に応じて光学ユニットの焦点状態を検出する焦点検出装置であって、
   所定の周期で前記マイクロレンズにおける画素の位置を順次切り替えて画素の読み出しを行う読み出し制御手段と、
   前記読み出し制御手段によって読み出された画素についてその画素値に応じて飽和状態にあるか否かを判定する飽和状態判定手段と、
   前記読み出し制御手段によって読み出されない画素について前記読み出された画素の画素値で補間してその画素値を求める制御と、前記読み出し制御手段によって読み出されない画素が飽和状態にあるか否かを前記読み出されない画素の近傍における前記読み出された画素に対する前記飽和状態判定手段による判定結果に基づいて判定する制御とを行う補間推定手段と、
   前記補間推定手段の出力に応じて前記光学ユニットの焦点状態を検出する焦点検出手段とを有することを特徴とする焦点検出装置。
2. 前記所定の周期は異なる色フィルタを備えるマイクロレンズに係る繰り返し周期を１周期として、その整数倍の周期であり、
   前記補間推定手段は前記読み出し制御手段によって前記整数倍の周期で読み出される複数の画素に対する前記飽和状態判定手段による判定結果に基づいて、前記整数倍の周期で読み出される複数の画素の空間的に間に位置する画素が飽和状態にあるか否かを判定することを特徴とする請求項１に記載の焦点検出装置。
3. 前記マイクロレンズを共有する画素の画素値を加算して読み出す加算読み出し手段と、
   前記加算読み出し手段の出力である加算画素値と前記読み出し制御手段によって読み出された画素の画素値とに応じて前記読み出し制御手段によって読み出されなかった画素の画素値を算出する算出手段とを有することを特徴とする請求項１又は２に記載の焦点検出装置。
4. 前記補間推定手段は、前記飽和状態判定手段による判定結果によって、前記読み出し制御手段によって読み出された前記マイクロレンズ毎に配置された複数の画素のうち少なくとも一つの画素が飽和状態であると判定された場合に、前記飽和状態の画素が属するマイクロレンズの近傍に存在する画素であって、前記飽和状態の画素が属するマイクロレンズとは異なるマイクロレンズにおいて前記飽和状態の画素に対応する位置にある画素を飽和状態であると判定すること特徴とする請求項１〜３のいずれか１項に記載の焦点検出装置。
5. 前記焦点検出手段は、前記補間推定手段の出力である第１の画素出力および第２の画素出力を各々列方向又は行方向に組み合わせて像ずれ量を求めることを特徴とする請求項１又は２に記載の焦点検出装置。
6. 前記所定の周期は、水平ライン毎に前記画素の読み出しを変更する周期であることを特徴とした請求項１又は２に記載の焦点検出装置。
7. マトリクス状に配列された複数のマイクロレンズを備え、前記マイクロレンズには互いに異なる色フィルタが備えられており、マイクロレンズ毎に配置された複数の画素から得られる画素信号に応じて光学ユニットの焦点状態を検出する焦点検出装置の制御方法であって、
   所定の周期で前記マイクロレンズにおける画素の位置を順次切り替えて画素の読み出しを行う読み出し制御ステップと、
   前記読み出し制御ステップで読み出された画素についてその画素値に応じて飽和状態にあるか否かを判定する飽和状態判定ステップと、
   前記読み出し制御ステップで読み出されない画素について前記読み出された画素の画素値で補間してその画素値を求める制御と、前記読み出し制御ステップで読み出されない画素が飽和状態にあるか否かを前記読み出されない画素の近傍における前記読み出された画素に対する前記飽和状態判定ステップによる判定結果に基づいて判定する制御とを行う補間推定ステップと、
   前記補間推定ステップで得られた出力に応じて前記光学ユニットの焦点状態を検出する焦点検出ステップとを有することを特徴とする制御方法。
8. マトリクス状に配列された複数のマイクロレンズを備え、前記マイクロレンズには互いに異なる色フィルタが備えられており、マイクロレンズ毎に配置された複数の画素から得られる画素信号に応じて光学ユニットの焦点状態を検出する焦点検出装置で用いられる制御プログラムであって、
   前記焦点検出装置が備えるコンピュータに、
   所定の周期で前記マイクロレンズにおける画素の位置を順次切り替えて画素の読み出しを行う読み出し制御ステップと、
   前記読み出し制御ステップで読み出された画素についてその画素値に応じて飽和状態にあるか否かを判定する飽和状態判定ステップと、
   前記読み出し制御ステップで読み出されない画素について前記読み出された画素の画素値で補間してその画素値を求める制御と、前記読み出し制御ステップで読み出されない画素が飽和状態にあるか否かを前記読み出されない画素の近傍における前記読み出された画素に対する前記飽和状態判定ステップによる判定結果に基づいて判定する制御とを行う補間推定ステップと、
   前記補間推定ステップで得られた出力に応じて前記光学ユニットの焦点状態を検出する焦点検出ステップとを実行させることを特徴とする制御プログラム。
9. マトリクス状に配列された複数のマイクロレンズを備え、マイクロレンズ毎に配置された複数の画素を有する固体撮像素子と、
   前記固体撮像素子に光学像を結像する光学ユニットと、
   請求項１〜６のいずれか１項に記載の焦点検出装置とを有し、
   前記固体撮像素子の出力に応じた画像を得ることを特徴とする撮像装置。

Images