JP2017138434A - 撮像装置 - Google Patents

Abstract

【課題】主被写体領域の輝度レベルが高い時には露光時間を短くすることにより、主被写体領域のデフォーカス量を算出する事が可能な撮像装置を提供する。【解決手段】被写体撮影画像と同時に位相差情報取得用画像を出力し、ローリングシャッタ制御を備えた撮像素子と、第一の露光時間経過後に一フレーム時間単位で画像の更新を行う第一の読み出し手段と、撮像素子から主被写体領域を含む全列を読み出す第二の読み出し手段と、主被写体領域の位相差情報を取得しデフォーカス量を算出するデフォーカス量算出手段と、主被写体領域を設定する主被写体領域設定手段と、主被写体領域の輝度レベルを検出する輝度レベル検出手段を有し、主被写体領域の輝度レベルが所定値以上の場合は、第一の露光時間より短い露光時間経過後に第二の読み出し手段により、主被写体領域を読み出し、主被写体領域のデフォーカス量を算出する。【選択図】図１

Description

本発明は、被写体画像と、位相差情報取得用画像を同時に読み出すことが可能なマトリクス状に配置した画素を順次に読み出す撮像素子を用いたビデオカメラ等の撮像素子の読み出し制御及びフォーカスアシスト機能の制御に関する。

従来のビデオカメラ等のフォーカス制御には、撮像素子より出力される画像の周波数成分を検出して、フォーカス位置を細かく動かし適切なフォーカス位置の検出を行うＴＶフォーカス制御がある。

一方、近年の撮像装置においてはフォーカス動作の高速化及び合焦精度の向上を実現する手段として、位相差取得用画像と被写体画像を同時に取得可能な撮像素子を備えることでフォーカス性能を向上させている（特許文献１参照）。

特開２０１４−１７８３９１号公報

位相差取得用画像から被写体との焦点位置のズレ量であるデフォーカス量を算出する事で、主被写体領域がどの程度フォーカスがずれているのかをユーザーに示すマニュアルフォーカスの補助機能であるフォーカスアシスト機能がある。

しかしながら、位相差情報取得用の画像レベルが高く飽和付近にあると、位相差取得用画像のＬ像及びＲ像の差分を十分に検出する事ができず、デフォーカス量を正確に算出する事ができない。

また映像製作用途などでは飽和付近の画像領域に主被写体領域を設定するような特殊な画質効果を狙うシーンも多々ある。

上記の課題を解決するために、本発明に係る撮像装置は、
被写体撮影画像と同時に位相差情報取得用画像を出力し、ライン毎に時間差を設けて電荷をリセットし所定時間経過後に該ラインを読み出す事で露光時間を制御するローリングシャッタ制御を備えた撮像素子と、
一フレーム時間単位で該撮像素子からフレーム画像を形成する為の画像を第一の露光時間経過後に読み出し、該一フレーム時間単位で画像の更新を行う第一の読み出し手段と、
該撮像素子から該主被写体領域を含む全列を読み出す第二の読み出し手段と、
主被写体領域の位相差情報を取得しデフォーカス量を算出するデフォーカス量算出手段と
デフォーカス量を表示する主被写体領域を設定する主被写体領域設定手段と、
主被写体領域の輝度レベルを検出する輝度レベル検出手段を有し、
該輝度レベル検出手段により主被写体領域の輝度レベルが所定値以上の場合は、
該第一の露光時間より短い露光時間経過後に該第二の読み出し手段により、主被写体領域を読み出し、該デフォーカス量算出手段により主被写体領域のデフォーカス量を算出することを特徴とする。

本発明に係る撮像装置によれば、主被写体領域の輝度レベルが高い時には露光時間を短くし、十分に位相差取得用画像の輝度レベルを落とした上で主被写体領域のみ位相差取得用画像を読み出す事ができ、フレームレートを落とすことなくデフォーカス量を算出する事が可能となる。

実施例における全体構成図 実施例における撮像素子を示す図 実施例における撮像素子読み出しタイミングを示す図 実施例における主被写体領域読み出しのタイミングを示す図 実施例における主被写体領域読み出しのタイミングを示す図 実施例におけるフローチャート 実施例における主被写体と合焦インジゲータを示す図

以下、本発明を実施するための形態を図面に基づいて説明する。

［実施例１］
以下図面を参照しつつ、本発明の第一の実施形態を説明する。

図１は本発明における実施形態であり、被写体画像を出力する撮像素子の各画素に瞳分割による位相差情報取得用画像も出力する撮像素子を用いた撮像装置の構成図である。

１００は被写体像からの光量を収束、及び焦点を合わせるためのフォーカス制御機構、ズーム機構が組み込まれたレンズ群であり、ＣＰＵ（後述）により制御される。

１０１はＣＰＵにより制御され、撮像素子（後述）に入射される光量を可変する為の絞り部である。

１０２はＣＰＵに制御されるＣＭＯＳセンサ等の撮像素子で、レンズを抜けた被写体象の光を電気信号に変換する為の半導体撮像素子であり、前述したように位相差情報取得用画像と画像データを出力する。尚、後述するが、位相差情報取得用画像は１０２の撮像素子の各画素を瞳分割によるＬ像及びＲ像であり、Ｌ像とＲ像を加算するとその画素の出力レベルすなわち画像データ（ＲＡＷデータ）となる。

１０３は画像処理ＩＣであり、主に位相差情報を算出する為の前処理と後処理、更に画像を形成する為の画像処理部（後述）、現像処理部（後述）で構成される。

１０４はＣＰＵ（後述）に制御され、撮像素子から入力される画像形成を行う為のＬ像＋Ｒ画像（本画像）にゲインをかけて所定の出力にする為のＶＧＡ部であり、画像の出力レベルを絞り、露光時間、及びゲインで適正にするべく制御する（露出制御）。更にＶＧＡ部はゲインによる増幅後のフォーカス領域（主被写体領域）のみの本画像（Ｌ像＋Ｒ像）、とＬ像を演算部（後述）に転送する。

１０５は１０４のＶＧＡ部の出力を画像形成するべく、γ、アパーチャー、カラーバランス等の画像処理を行い、また位相差情報算出部（後述）からの主被写体領域の画像と本画像の主被写体領域の対応する画素を加算する画像処理部である。

１０６はフォーカス領域である主被写体領域のみの本画像（Ｌ像＋Ｒ像）とＬ像が入力され本画像からＬ像の差分をとる事により、位相差情報を得る為のＬ像とＲ像に分離する為の演算部であり、Ｌ像及びＲ像のみレベル検出部（後述）に転送する。

１０７は主被写体領域のＬ像とＲ像の出力レベルを検出し、飽和レベルを検出するレベル検出部である。

１０８は１０７より入力されるＬ像及びＲ像から位相差情報を算出し、位相差情報を現像処理部（後述）に出力し、Ｌ像／Ｒ像の画像データを１０５の画像処理部に出力する位相差情報算出部である。

１０９は１０５の画像処理部から出力される本画像からＹＵＶ信号への現像処理を行い、更に１０８の位相差情報算出部より、出力されるデフォーカス量からフォーカス状況をユーザーに知らせるビットマップ表示を重畳させて記録部、表示部に出力する。

１１０は１０９の現像処理部より出力される画像を表示する為の表示部、１１１は１０９の現像処理部より出力される動画等を特定のフレームレートで記録する記録部である。

１１２はユーザーが各種設定を行い、主にフォーカス領域である主被写体領域の設定等も行う操作部である。１１３はあらゆる制御を司るＣＰＵであり、撮像素子の領域読み出し設定、タイミング設定等を行う。

次に図２を用いて位相差情報取得用画像と画像データを出力する撮像素子１０２の説明をする。

１０２の撮像素子は図２の２０１に示すように、１つのマイクロレンズと、カラーフィルタに対して、２つのダイオードを備える事で一つの画素を構成しており、この画素がマトリクス状に配置されている。撮像素子１０２は、２つのフォトダイオードの出力信号を加算した本画像（Ｒ画像＋Ｌ画像）と、１つのフォトダイオードからの出力信号であるＬ画像が画像データとして出力される。

尚、本実施例では図２の２００に示すように４Ｋに対応する４０９６×２１６０の画素で構成されているものとし、更に１１３のＣＰＵに制御され４０９６×２１６０の全体の画素のうちフォーカスをあわせる任意の領域（以後主被写体領域）を出力することができる。

次に図３を用いて、通常時の撮像素子からの読み出しを説明する。

図３は１／６０［ｓ］の周期（６０ｆｐｓ）のモードで動作している読み出しタイミングであり、３００はＶＤ信号であり撮像素子に１／６０［ｓ］毎に入力される。

ＶＤ信号が入力されると所定の露光時間を満たす為に、撮像素子内部で３０１の様に、１ライン目、２ライン目・・・２１６０ライン目、順に所定の時間差を持ってリセット信号が出力される。リセット信号が出力されたタイミングで、所定ラインのフォトダイオードの電荷がリセットされ、露光が開始される。

更に次のＶＤが出力されると図３の３０１の様に、撮像素子内部で読み出し信号が出力され、１ライン目、２ライン目・・・２１６０ライン目読み出し、１ライン毎に出力され、１０３の画像処理ＩＣに入力される。各ラインの出力は前述した様に、本画像（Ｌ像＋Ｒ像）を読み出した後、Ｌ像を読み出す事で１ライン分の読み出しが完了する。以上が通常時のセンサからの読み出しであり、通常センサ読み出しとする。

次に主被写体部分の領域読み出しと通常読み出しを行う読み出しモードである主被写体領域読み出し（１）を図４を用いて説明する。

ＣＰＵは撮像素子に対して主要被写体領域の設定と露光時間を設定すると、４００のＶＤ入力後、主要被写体領域のみに４０１のリセット信号が出力され、主被写体領域の各ライン毎にリセットされる。更に露光期間Ａ経過後、４０２の読み出し信号を出力し主被写体領域の全列読み出しを行う。

次に４０３のリセット信号を出力し、通常被写体読み出しと同様に、全領域のリセット動作を行い、露光期間Ｂ経過後に次のＶＤ信号出力を起点として４０４の読み出し信号により、全領域を読み出す（通常読み出し）。

以上の様に、主被写体領域と通常読み出しを行うモードを主被写体領域読み出し（１）とする。

次に図５を用いて、主被写体領域と通常読み出しを行う第２の読み出しモードである主被写体領域読み出し（２）を説明する。

主被写体領域読み出し（２）は通常読み出しの露光期間Ｂが長い時に実行され、５０１のリセット信号を出力するとライン毎に順次電荷がリセットされる。

次に露光期間Ａ経過後に５０２の読み出し信号を出力し、主被写体領域を含む全列を読み出す。以上が主被写体領域読み出し（２）とする。

更に５０１のリセット信号から露光時間Ｂ経過後に、５０３の読み出し信号を出力し全領域（通常読み出し）を読み出す。尚５０３で読み出した全画素データ領域のうち、主被写体領域を含む全列の露光期間はＣであり、先述した主被写体領域の露光期間はＡであるので両者を加算する事で、露光期間Ｂと等価になる。

以上の様に、主被写体領域と全画素の露光期間中に主被写体領域を含む全列を読み出すモードを主被写体領域読み出し（２）とする。

次に図６のフローチャートを用いて本実施形態の説明を行う。

先ず電源投入後１１３のＣＰＵは各初期設定を行い、１０２の撮像素子に露光時間等を設定し、フロー３００で撮像素子からの先述した通常センサ読み出しを行い、１０３の画像処理ＩＣに入力を行う。画像処理ＩＣに入力された画像データは１０４のＶＧＡ部で所定のゲインをかけ、Ｌ像＋Ｒ像の本画像のみ１０５の画像処理部に転送し、主被写体領域が設定されている場合は主被写体領域を含む全列の本画像とＬ像を１０６の演算部に出力する。尚本実施例ではすでに主被写体領域が設定されているものとする。

次に６０１のフローに進み、主被写体領域のレベル検出を下記の様に行う。１０６の演算部に入力された主被写体領域のＬ像＋Ｒ像及びＬ像は、減算する事によりＬ像とＲ像に分離され１０７のレベル検出部に入力される。１０７のレベル検出部では、主被写体領域のみ各Ｌ像／Ｒ像の出力レベルを所定のレベルと比較し所定のレベル以上の画素をカウントし、飽和画素数として検出して６０２の飽和レベルに達しているかを判断するフローに遷移する。

６０２では上記飽和画素数が所定の画素数以上であれば、飽和していると判断し６０４に進み飽和していなければ６０３に進む。位相差情報算出部で算出されるデフォーカス量は、Ｌ像／Ｒ像のレベルが飽和付近にあるとデフォーカス量を正しく算出する事ができないので、上記所定のレベルと所定の画素数は実験等で求められたデフォーカス量を算出できる飽和レベルから算出する。６０３では飽和していないと判断された時に入力されたＬ像とＲ像からデフォーカス量を算出し、１０９の現像処理部に入力する。

１０５の画像処理部では１０４のＶＧＡ部でゲインをかけられた本画像（Ｒ像＋Ｌ像）にγ・アパーチャー・カラーバランス等の画像処理を加え１０９の現像処理部へ出力する。１０９の現像処理部では、１０５から出力された画像信号をビデオ出力のＹＵＶ信号に変換し、さらに１０８の位相差情報算出部より出力される主被写体部のデフォーカス量から、後述するフォーカスアシスト機能を本画像に重畳し、１１０の表示部に出力する。

図７に、本実施例におけるフォーカスアシスト機能を示す。

１１０の表示部には図７に示す様に現像処理部からの出力が表示され、ユーザーが任意の位置に選択する７００の主被写体部の枠を表示し、７０１の様に合焦度合いを示すインジケータを表示する。７０１のインジゲータは７０２〜７０３のデフォーカス量により動き、７０２は合焦時、７０３は主被写体の前方に焦点（前ピン）があるとき、７０４は後方に焦点があるとき（後ピン）であり、△マークの開き具合でボケ具合が認識できるようになっている。

以上の様にして、ユーザーに主被写体領域のボケ度合いがわかるようにするのがフォーカスアシスト機能である。６０２で飽和していると判断された時は６０４に進み、先述した主被写体領域読み出し（１）及び（２）を行う際の主被写体領域の露光時間を算出する。

露光時間は６０１で検出された飽和レベルの大きさにより、大きければより露光時間が短くなるように露光時間を設定する。尚、飽和レベルと露光時間をテーブル化して持つようにしてもよく、飽和レベルから算出するようにしても良い。

以上の様に主被写体領域読み出し時の露光時間を決定し、６０５の主被写体領域読み出しに遷移する。６０５では現行のフレームレートと主被写体領域読み出しの露光時間及び通常読み出し時の露光時間により前述した主被写体領域読み出し（１）及び主被写体領域読み出し（２）の一方を選択する。主被写体領域読み出しの露光時間及び通常読み出し時の露光時間の合計がフレームレートより小さければ主被写体領域読み出し（１）を行い、フレームレートよりも大きければ主被写体領域読み出し（２）を行い６０６に遷移する。

６０６では主被写体領域含む全列を読み出した時点で、１０６の演算部によりＲ像及びＬ像に分割し先述した様にレベル検出を行い、６０７に遷移し飽和していなければ６０３に遷移し、デフォーカス量を算出しフォーカスアシストを更新する。

尚、主被写体領域読み出し（２）を行った場合には位相差情報算出部より、Ｒ像＋Ｌ像に戻した主被写体領域を含む全列の画像データを１０５の画像処理部に転送し、通常被写体読み出しの主被写体領域のみ加算する事で画像を形成する。６０７で飽和していると判断されれば、６０８に進み６０４と同様に更に短くなるような露光時間を決定し、６０９に進み通常センサ読み出し、画像形成を行い、６０５に戻り再算出された露光時間で主被写体領域読み出しを行う。

以上の様に６０５〜６０９を繰り返し、主被写体領域の画像レベルがデフォーカス量を算出できる程度に十分に小さくなるまで露光時間を再算出し、６０７で飽和していないと判断されれば６０３に遷移する。

以上述べてきたように、主被写体領域を含む全列を本画像とは別に露光時間を短くして読見出し位相差情報を算出する事で、主被写体領域が飽和付近にある時でもデフォーカス量を算出する事ができフォーカスアシスト機能を実現する事が可能となる。

１００ 実施例におけるレンズ、１０１ 実施例における絞り部、
１０２ 実施例における撮像素子、１０３ 実施例における画像処理ＩＣ、
１０４ 実施例ＶＧＡ部、１０５ 実施例における画像処理部、
１０６ 実施例における演算部、１０７ 実施例におけるレベル検出部、
１０８ 実施例における位相差情報算出部、１０９ 実施例における現像処理部、
１１０ 実施例における表示部、１１１ 実施例における記録部、
１１２ 実施例における操作部、１１３ 実施例におけるＣＰＵ、
２００ 実施例における撮像素子の構成図、
２０１ 実施例における撮像素子の画素拡大部、
７００ 実施例における主被写体領域部、７０１ 実施例における合焦インジゲータ、
７０２ 実施例における合焦インジゲータ（合焦時）、
７０３ 実施例における合焦インジゲータ（前ピン時）、
７０４ 実施例における合焦インジゲータ（後ピン時）

Claims (4)

1. 被写体撮影画像と同時に位相差情報取得用画像を出力し、ライン毎に時間差を設けて電荷をリセットし所定時間経過後に該ラインを読み出す事で露光時間を制御するローリングシャッタ制御を備えた撮像素子と、
   一フレーム時間単位で該撮像素子からフレーム画像を形成する為の画像を第一の露光時間経過後に読み出し、該一フレーム時間単位で画像の更新を行う第一の読み出し手段と、
   該撮像素子から該主被写体領域を含む全列を読み出す第二の読み出し手段と、
   主被写体領域の位相差情報を取得しデフォーカス量を算出するデフォーカス量算出手段と
   デフォーカス量を表示する主被写体領域を設定する主被写体領域設定手段と、
   主被写体領域の輝度レベルを検出する輝度レベル検出手段を有し、
   該輝度レベル検出手段により主被写体領域の輝度レベルが所定値以上の場合は、
   該第一の露光時間より短い露光時間経過後に該第二の読み出し手段により、主被写体領域を読み出し、該デフォーカス量算出手段により主被写体領域のデフォーカス量を算出することを特徴とする撮像装置。
2. 前記第一の露光時間と前記第二の露光時間の和が前記フレーム時間より長い時には、前記一フレーム時間内で第一の読み出しの為の露光を開始し、前記第二の露光時間経過後に第二の読み出しを行い、前記主被写体領域のデフォーカス量を算出し、該第一の露光読み出しの為の露光開始から前記第一の露光時間経過後に、前記第一の読み出し手段による画像のうち主被写体領域の画像と、前記第二の読み出しによる画像を加算する事により、前記フレーム画像を形成することを特徴とする請求項１に記載の撮像装置。
3. 前記輝度レベル検出手段により前記第二の読み出し手段で読み出した主被写体領域の輝度レベルを検出し、該輝度レベルが前記所定値以上の時には前記第二の露光時間を更に短くし、該輝度レベルが前記所定値以下となるまで前記第二の読み出し及び該輝度レベル検出と第二の露光時間の更新を繰り返し行う事を特徴とする請求項１又は請求項２に記載の撮像装置。
4. 前記デフォーカス量から主被写体領域の合焦度合いを示す合焦レベルを表示する合焦レベル表示手段を備え、前記輝度レベル検出手段により主被写体領域の輝度レベルが所定値以下の場合は、前記第一及び第二の読み出しにより算出された前記主被写体領域のデフォーカス量を基に該合焦レベル表示する事を特徴とする請求項１乃至請求項３の何れか一項に記載の撮像装置。