JP5541016B2 - 撮像システムおよび画素信号読出し方法 - Google Patents

Description

本発明は、ＣＭＯＳイメージセンサから画像信号を読み出す装置およびその方法に関する。

デジタルカメラのオートフォーカス（ＡＦ）では、コントラスト検出方式が一般的に用いられ、合焦された画像は撮影者が確認するために、カメラのディスプレイに一時的に表示される。しかし、通常カメラに設けられるディスプレイの大きさは、合焦画像全体を表示して合焦状態を確認するには十分な大きさではない。このような問題に対しては、合焦画像内で合焦の程度が最も高い領域をディスプレイに拡大表示し、更にその中で最も合焦しているサブブロックを枠で囲い明示する構成が提案されている（特許文献１参照）。

特開２００４−２４２０１０号公報

オートフォーカスでは、特に高速な処理が求められ、従来のコントラスト検出方式のオートフォーカスでは、実効画素領域全体を読み出しているため高速な合焦を行うことができない。

本発明は、コントラスト検出方式のオートフォーカスを高速に行うとともに視認性の高い合焦確認画像を表示することを課題としている。

本発明の撮像システムは、合焦に用いる画像を読み出すための通常よりも高いフレームレートを設定するフレームレート設定手段と、このフレームレートで読み出される合焦用の読出し領域の画素値から露出の適否を判定する露出適否判定手段とを備え、この露出適否判定手段において、露出が十分でないと判定されるとき、フレームレートを相対的に低いフレームレートに変更して合焦処理を実行することを特徴としている。

撮影がフリッカ環境下で行われるか否かを判定するフリッカ判定手段を更に備え、フリッカ環境下での撮影であると判定されるときに、フレームレートをフリッカ周期に合わせることが好ましい。フリッカ周期に対応するフレームレートにおいて露出が十分でないと判定されるときには、フレームレートをフレームの読出し周期がフリッカ周期の整数倍に対応する値に変更して合焦処理を実行する。また撮像システムは、合焦処理終了後、合焦された読出し領域の画像を表示する表示手段を備える。

本発明のデジタルカメラは、上記の撮像システムを備えたことを特徴としている。

本発明の画素信号読出し方法は、合焦に用いる画像を読み出すための通常よりも高いフレームレートを設定し、このフレームレートで読み出される合焦用の読出し領域の画素値から露出の適否を判定し、露出が十分でないと判定されるとき、このフレームレートを相対的に低いフレームレートに変更して画素信号を読み出すことを特徴としている。

本発明によれば、コントラスト検出方式のオートフォーカスを高速に行うとともに視認性の高い合焦確認画像を表示することができる。

本実施形態のデジタルカメラの構成を示すブロック図である。 ＣＭＯＳイメージセンサの実効画素領域（有効画素領域）と、フォーカスポイントの関係を示す。 高速フレームレートにおいて設定されるＣＡＦ領域の一例を示す。 被写体が暗く、フレームレートが低減されたときに対応するＣＡＦ領域の一例を示す。 図３、図４のＣＡＦ領域を用いたＣＡＦ処理における垂直同期信号、ローリングシャッタ、露光時間の関係を示すタイミングチャートである。 フリッカの影響を受けるフレームレートに対応するＣＡＦ領域の一例を示す。 フリッカの影響を除去するフレームレートに対応するＣＡＦ領域の一例を示す。 図６、図７のＣＡＦ領域を用いたＣＡＦ処理におけるフリッカ、垂直同期信号、ローリングシャッタ、露光時間の関係を示すタイミングチャートである。 本実施形態の高速ＣＡＦ処理の手順を示すフローチャートである。

以下、本発明の実施の形態を、図面を参照して説明する。図１は、本発明の一実施形態であるデジタルカメラの概略的な構成を示すブロック図である。

デジタルカメラ１０は、例えばデジタル一眼レフカメラである。レンズ群１１から入射した光は、絞り１２、カラーフィルタアレイ１３を通してＣＭＯＳイメージセンサ１４の撮像面で結像する。ＣＭＯＳイメージセンサ１４は撮像素子ドライバ１５からの駆動信号に基づいて制御される。ＣＭＯＳイメージセンサ１４で検出された画像信号は、画像信号処理回路１６へと送られ、従来周知の様々な画像信号処理が施された後、必要に応じてモニタ１７に表示される。

レンズ群１１におけるレンズの位置は、ＡＦ制御部１９により制御され、これによりオートフォーカス処理が実行される。また、絞り１２の開閉は、絞り制御部２０により制御される。なお、撮像素子ドライバ１５、ＡＦ制御部１９、絞り制御部２０は制御部２１からの指令に基づいて制御され、制御部２１は操作部２２からの信号に基づいて、後述するオートフォーカス処理を含む各種所定の処理を実行する。なお、操作部２２には、例えばレリーズスイッチ、ＡＦボタン、各種ダイヤルスイッチ、タッチパネル等が含まれる。

次に図２〜図５を参照して、本実施形態におけるコントラスト検出方式を用いたオートフォーカス（ＣＡＦ）での読出し領域（ＣＡＦ領域）、フレームレート、露光時間の関係について説明する。

図２は、ＣＭＯＳイメージセンサ１４の実効画素領域（有効画素領域）に対応する領域Ａ１を示し、括弧記号で四隅が囲まれる領域はフォーカスポイントを示す。本実施形態では、ＣＡＦ処理を高速化するために、実効画素領域（有効画素領域）Ａ１の中からフォーカスポイントを中心とする部分的な領域のみをＣＡＦ領域とし、その領域の画素信号のみを読み出すことでフレームレートを高めＣＡＦ処理を高速化する。

図３の領域Ａ２は、図２のフォーカスポイントを中心に設定されるＣＡＦ領域の一例であり、図５（ａ）に、このときのＣＭＯＳイメージセンサ１４からの画素信号の読み出しのタイミングを示す。すなわち、図５（ａ）には、横軸を時間軸として、垂直同期信号ＶＤ、ローリングシャッタ、露光時間の関係が示される。

フレームレートは、垂直同期信号ＶＤの周期を規定し、ＣＡＦ領域内の最大画素数を規定する。高速ＣＡＦ処理のためにＣＡＦ領域を小さく設定しフレームレートを高めると、垂直同期信号ＶＤの周期は短くなる。一方、図５（ａ）に示されるように、垂直同期信号ＶＤの周期は最大露光時間に対応するので、フレームレートが高くなると最大露光時間は短くなる。したがって、被写体が暗い場合には、高速ＣＡＦ処理で得られる合焦画像の露出はアンダーとなり、これをモニタ１７（図１）に表示しても、図３の領域Ａ２のように、画像が暗く、合焦の程度を確認することは困難である。

以上のことから本実施形態では、ＣＡＦ領域の被写体の明るさが十分でないときには、フレームレートを下げ、ＣＡＦ領域もより広い領域に変更する。すなわち、図３でＣＡＦ領域とされた領域Ａ２を図４の領域Ａ３に変更する。このときのＣＭＯＳイメージセンサ１４からの画素信号の読み出しのタイミングを図５（ｂ）に示す。フレームレートを下げたことで、図５（ｂ）では、図５（ａ）のときよりも垂直同期信号ＶＤの周期が長くなり、露光時間が長くなる。これにより、被写体が暗いときには、図４の領域Ａ３において適正な露出で被写体像が得られ、領域Ａ３の合焦画像をモニタ１７（図１）に表示することで、合焦の程度を容易に確認することができる。

また、高速フレームレートで読み出しを行うときには、次のようにフリッカの影響を受けることがある。例えば蛍光灯などフリッカ現象をともなう照明下において高速フレームレートで読み出しを行う場合に、垂直同期信号ＶＤの周期が照明のフリッカ周期よりも短くなると、ローリングシャッタにおいて各画素の露光量は照明のフリッカの影響を受ける。このため図６に例示されるように、ＣＡＦ領域に設定された領域Ａ４の画像には明るさに斑が発生する。なお、このときの照明の明るさの変化（フリッカ）と、垂直同期信号ＶＤ、ローリングシャッタの関係を、横軸を時間軸とする図８（ａ）のタイミングチャートに示す。

以上のことから、本実施形態では、フリッカの影響を受けるときには、フレームレートを低減し、これに対応してＣＡＦ領域も広げている。特に、垂直同期信号ＶＤの周期（フレームの読出し周期）をフリッカ周期、あるいはその整数倍に一致させるとその効果は大きい。図７には、垂直同期信号ＶＤの周期をフリッカ周期に一致させ、図６の領域Ａ４よりも広い領域Ａ５をＣＡＦ領域に設定したときの状態が例示される。また、図８（ｂ）のタイミングチャートに、このときの照明の明るさ変化（フリッカ）と、垂直同期信号ＶＤ、ローリングシャッタの関係を、横軸を時間軸として示す。

次に、図９のフローチャートを参照して、制御部２１を中心に実行される本実施形態の高速ＣＡＦ処理について説明する。

図９に示される処理は、モニタにライブビューが表示されているときに実行される。ステップＳ１００においてＡＦ開始要求が検出されると、本実施形態の高速ＣＡＦ処理が開始される。すなわち、ステップＳ１００では、例えばコンティニュアスＡＦモードが選択された状態で、オートフォーカス（ＡＦ）開始要求があったか否かが判断される。

ステップＳ１０２では、デフォルトで設定されているフレームレートに対応するＣＡＦ領域の明るさが暗いか否か（露出が適正か否か）が判定される。これは例えば、ＣＡＦ領域内の画素値から輝度を計算し、その平均値が所定値よりも低いか否かによって判定される。暗いと判定された場合には、ステップＳ１０４において、フリッカ現象をともなう環境下での撮影か否かが判定される。これは、フリッカ検出用の光センサ等によるフリッカの検出に基づいてもよいが、複数のフレーム画像に基づいてフリッカの有無を判断してもよく、あるいはユーザがフリッカ環境下にあることを示すモードを設定し、これを検出する構成とすることもできる。

ステップＳ１０４においてフリッカ環境下にあると判定されると、ステップＳ１０６において、垂直同期信号ＶＤの周期がフリッカ周期に一致したフレームレートが設定されるとともに、これによる露光時間（最大露光時間）によって適正露出が得られるかが判定され、得られない場合には、垂直同期信号ＶＤの周期は、フリッカ周期の整数倍に再設定される（フレームレートはその整数分の１に低減される）。したがって、このときフレームレートは相対的に低く、ＣＡＦ領域は相対的に大きい。なお、整数倍は、例えば２倍、３倍と順次倍率が上げられ、各倍率における露出が十分であるかは、そのときのフレームレートでＣＡＦ領域の画像を読み出し、その明るさを調べることで判定される。

一方、ステップＳ１０４において、フリッカ環境下での撮影ではないと判定された場合には、ステップＳ１１６において、適正露出が得られるフレームレートが設定される。このとき、フレームレートは相対的に低く（図５（ｂ）に対応）、ＣＡＦ領域は相対的に大きい（図４の領域Ａ３に対応）。

また、ステップＳ１０２において、ＣＡＦ領域の輝度が明るいと判定されると、ステップＳ１１８において、ステップＳ１０４と同様に、フリッカ環境下での撮影であるか否かが判定される。フリッカ環境下であると判定されたときには、ステップＳ１２０においてフレームレートはフリッカ周期に合わせて設定される。すなわち、垂直同期信号ＶＤの周期がフリッカ周期に一致させられる。このとき、フレームレートは相対的に中程度で（図５（ｂ）に対応）、ＣＡＦ領域の大きさも中程度となる（図４の領域Ａ３に対応）。

また、ステップＳ１１８において、フリッカ環境下での撮影ではないと判定された場合には、ステップＳ１２２において、高速ＣＡＦのためフレームレートには相対的に高い値が設定される。このとき、ＣＡＦ領域は相対的に小さい。なお、ステップＳ１１６やステップＳ１２２のフレームレートは、予め用意した値を選択する構成でもよいが、例えばステップＳ１０２で求められた領域の輝度値に基づいて算出される構成とすることもできる。

ステップＳ１０８では、ＣＭＯＳイメージセンサ１４のフレームレートがステップＳ１０６、Ｓ１１６、Ｓ１２０、Ｓ１２２の何れかで設定された値に変更され、ステップＳ１１０では、ステップＳ１０８で設定されたフレームレートの下、対応するＣＡＦ領域からのみ画素信号が読み出されＣＡＦ処理が実行される。すなわち、ＡＦ制御部１９（図１参照）と協働して順次撮像されるＣＡＦ領域の画像のコントラストを比較して従来周知のＣＡＦ処理が実行される。

ステップＳ１１０のＣＡＦ処理が完了するとステップＳ１１２において、合焦されたＣＡＦ領域の画像がモニタ１７（図１参照）に拡大して表示される。その後、ステップＳ１１４では、レリーズスイッチがオンされたか否かが判定される。レリーズスイッチがオンされていれば、本処理は終了し、通常の撮像処理が開始される。一方、レリーズスイッチがオンされていなければ、処理はステップＳ１００に戻り、ＣＡＦ開始要求があるまで待機する。

以上のように本実施形態によれば、コントラスト検出方式のオートフォーカスを高速に行うとともに、合焦画像は常に適正露出で撮影されるため、視認性の高い合焦確認画像が得られる。

なお、本実施形態では、一眼レフを例に説明を行ったが、本発明が適用されるデジタルカメラは、一眼レフに限定されるものではなく、例えば携帯電話などを含むデジタルカメラ機能を備える様々な装置に適用可能である。

１０ デジタルカメラ
１１ レンズ群
１２ 絞り
１３ カラーフィルタアレイ
１４ ＣＭＯＳイメージセンサ
１５ 撮像素子ドライバ
１６ 画像信号処理回路
１７ モニタ
１９ ＡＦ制御部
２０ 絞り制御部
２１ 制御部
２２ 操作部

Claims (4)

1. 合焦に用いる画像を読み出すための通常よりも高いフレームレートを設定するフレームレート設定手段と、
   前記フレームレートで読み出される合焦用の読出し領域の画素値から露出の適否を判定する露出適否判定手段と、
   撮影がフリッカ環境下で行われるか否かを判定するフリッカ判定手段とを備え、
   前記合焦用の読出し領域は、前記フレームレートが低いほど広く設定され、
   前記露出適否判定手段において、露出が十分でないと判定されるとき、前記フレームレートを相対的に低いフレームレートに変更して合焦処理を実行し、
   前記フリッカ判定手段においてフリッカ環境下での撮影であると判定されるときに、前記フレームレートをフリッカ周期に合わせ、
   更に前記フリッカ周期に対応するフレームレートにおいて露出が十分でないと判定されるとき、前記フレームレートをフレームの読出し周期が前記フリッカ周期の整数倍に対応する値に変更して前記合焦処理を実行する
   ことを特徴とする撮像システム。
2. 前記合焦処理終了後、合焦された前記読出し領域の画像を表示する表示手段を備えることを特徴とする請求項１に記載の撮像システム。
3. 請求項１〜２の何れか一項に記載の撮像システムを備えたことを特徴とするデジタルカメラ。
4. 合焦に用いる画像を読み出すための通常よりも高いフレームレートを設定するステップと、
   前記フレームレートで読み出される合焦用の読出し領域の画素値から露出の適否を判定するステップと、
   撮影がフリッカ環境下で行われるか否かを判定するステップとを備え、
   前記合焦用の読出し領域は、前記フレームレートが低いほど広く設定され、露出が十分でないと判定されるとき、前記フレームレートを相対的に低いフレームレートに変更するとともに、フリッカ環境下での撮影であると判定されるときに、前記フレームレートをフリッカ周期に合わせ、更に前記フリッカ周期に対応するフレームレートにおいて露出が十分でないと判定されるとき、前記フレームレートをフレームの読出し周期が前記フリッカ周期の整数倍に対応する値に変更して画素信号を読み出す
   ことを特徴とする画素信号読出し方法。