JP7724653B2 - 撮像装置及びその制御方法及びプログラム - Google Patents

Description

本発明は撮像装置及びその制御方法及びプログラムに関するものである。

一般に、デジタルカメラ等に搭載される撮像素子（撮像センサ）のダイナミックレンジは、自然界のダイナミックレンジよりも小さい。このため、従来、撮像素子のダイナミックレンジを拡大するための方法が検討されてきた。

例えば、特許文献１には、次のような技術が開示されている。まずセンサ出力値が飽和しているか否かを画素毎に判定する。そして、判定結果に基づいて蓄積容量を画素毎に決定することで、撮影領域全体において飽和や入出力特性が不良な出力を減らしつつ、良好なコントラストの画像を得る。

特開２０１３－６２７９２号公報

先行技術文献に記載の技術では、それぞれ以下の課題がある。

特許文献１では、蓄積容量の変更範囲（文献では低感度用、中間度用と高感度用の３段階）を超えたダイナミックレンジを得ることが出来ない。また、蓄積容量の変更範囲で得られるダイナミックレンジとは、蓄積容量の最大値と最小値の比で実現可能な階調数である。

この課題を解決するため、例えば本発明の撮像装置は以下の構成を備える。すなわち、
複数の光電変換素子で構成されるブロックを並べた構造の撮像素子部を有する撮像装置であって、
前記ブロック単位に、感度を制御する第１の制御手段と、
前記撮像素子部より得た各ブロックの信号のゲインを制御する第２の制御手段と、
前記第１および第２の制御手段の制御の下で得たブロックの画像データの階調を拡張し、予め設定されたハイダイナミックレンジ内の前記ブロックに対して設定した感度に応じた領域にマッピングすることで、当該拡張した後の画像データの階調数を低減して、前記ハイダイナミックレンジの画像データを生成する生成手段と
を備える。

本発明によれば、蓄積容量の辺広範囲に加え、ゲインをも加味したハイダイナミックレンジの画像を生成することが可能になる。

第１の実施形態における撮像装置のブロック構成図。 撮像素子部を示す図。 領域毎にＦＤ容量値を変更できる画素回路の例を示す図。 領域毎感度設定を示す図。 領域毎露光時間を示す図。 領域毎アナログゲイン値を示す図。 感度設定ＩＤと露光時間ＩＤとアナログゲインＩＤの組み合わせを示す図。 設定Ａでの撮影過程を説明するための図。 設定Ｂでの撮影過程を説明するための図。 設定Ｃでの撮影過程を説明するための図。 階調変換部の処理を示す図。 同期制御部の処理を示すタイミングチャート。 領域毎シャッタパルスの接続を示す図。 領域毎感度設定信号の接続を示す図。 信号機が映りこむ昼間の車載カメラ映像の例を示す図。 移動中の車体が映りこむ夜間の車載カメラ映像の例を示す図。 第２の実施形態の撮像装置のブロック構成図。 第３の実施形態の撮像素子部を含む多階層回路を示す図。 第４の実施形態の撮像装置のブロック構成図。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

［第１の実施形態］
図１を参照して、第１の実施形態における撮像装置の構成を説明し、その上で、図１の個々の詳細について図２以降を参照しながら説明する。

図１において、主制御部１５０は、本装置全体の制御を司るもので、ＣＰＵ、当該ＣＰＵが実行するプログラムを格納するＲＯＭ、ＣＰＵのワークエリアとして利用するＲＡＭで構成される。なお、図１は、撮像に関わる構成を示しており、たとえばユーザインタフェース等（ユーザが操作する操作部やユーザに情報を提示するためのディスプレイ等）の構成は省略している。

以下、図１の撮像装置１００の構成の概要を、撮像素子部１０３を起点として説明する。撮像素子部１０３の具体例を図２に示す。撮像素子部１０３は、複数の画素ブロック２０１から成り、さらに個々の画素ブロック２０１は複数の画素２０２から成る。このように撮像素子部１０３は、複数の領域(ブロック）に分割されており、各々の領域毎（ブロック単位）に領域毎感度設定信号１１９で指定した光電変換素子の明るさと電圧の変換効率の設定を適用し、領域毎に異なる「明るさと電圧信号の変換効率」で撮像を行う。以降、「明るさと電圧信号の変換効率」を感度と表現し説明を続ける。領域毎感度設定信号１１９とは、領域毎に異なる感度の設定を撮像素子部１０３に与えるための信号である。さらに、撮像素子部１０３は領域毎シャッタパルス１１７で指定されたシャッタを適用し、領域毎に異なる露光時間で撮像を行い、画素電位１１８を出力する。領域毎シャッタパルス１１７とは、領域毎に異なるシャッタパルスを撮像素子部１０３に与えるためのパルスである。Ａ／Ｄ変換部１０４は、入力された画素電位１１８を、領域毎アナログゲイン１２１に基づき、領域毎に別々のＡ／Ｄ変換時のアナログゲインを適用して領域毎露光画像１２２を出力する。領域毎アナログゲイン１２１とは、領域毎に異なるアナログゲイン値によって画素電位１１８を増幅させる値である。領域毎露光補正部１０５は、領域毎露光画像１２２を入力として、領域毎感度設定１１６と領域毎露光時間１１２と領域毎アナログゲイン値１１３に基づいて、階調を拡張し、階調拡張後の画像１２３を出力する。領域毎感度設定１１６とは、領域毎の感度の設定値がまとまっているデータである。領域毎露光時間１１２とは、領域毎の露光時間の設定値がまとまっているデータである。領域毎アナログゲイン値１１３とは、領域毎のアナログゲイン値の設定値がまとまっているデータである。階調変換部１０６は、階調拡張後の画像１２３を入力として、階調変換を行い（例：２１ビット→１１ビットのガンマ変換）、階調変換後の画像１２４を出力する。これは後段の処理においてデータレートを抑えるために行う。最後に画像出力部１０８は、階調変換後の画像１２４を撮像装置１００の外部に出力する。

図１において残りの構成要素を説明する。感度設定制御部１１５は、領域毎感度設定１１６で指定される各領域に各感度設定が適用されるよう、感度設定出力パルス１２６に基づいて制御を行う。感度設定出力パルス１２６とは、感度設定を行う制御部１１５が領域毎感度設定１１６を撮像に適したタイミングで撮像素子部１０３に与えるためのパルス信号である。同時に、露光時間制御部１０９は、領域毎露光時間１１２で指定される各領域に各露光時間が適用されるよう、露光時間出力パルス１２０に基づいて制御を行う。露光時間出力パルス１２０とは、露光時間制御部１０９が領域毎シャッタパルス１１７を撮像に適したタイミングで撮像素子部１０３に与えるためのパルス信号である。さらに同様に、アナログゲイン制御部１１０は、領域毎アナログゲイン値１１３で指定される各領域に各アナログゲインが適用されるよう、アナログゲイン出力パルス１１４に基づいて、領域毎アナログゲイン１２１を出力する。アナログゲイン出力パルス１１４とは、画素電位１１８の読み出しタイミングに従ってアナログゲイン制御部１１０が領域毎アナログゲイン値１１３によって画素電位１１８を増幅させるためのパルス信号である。算出部１１１は撮影が最適な条件となるよう、領域毎露光画像１２２に基づいて、領域毎感度設定１１６と領域毎露光時間１１２と領域毎アナログゲイン値１１３を更新する。例えば、あるフレームの撮像の際に取得した領域毎露光画像１２２を次のフレームの領域毎感度設定１１６と領域毎露光時間１１２と領域毎アナログゲイン値１１３の設定に用いる。また、撮影中の領域毎露光画像１２２、撮影後の領域毎露光画像１２２を、あるフレームの領域毎感度設定１１６と領域毎露光時間１１２と領域毎アナログゲイン値１１３の設定に用いてもよい。同期制御部１０１は、感度設定制御部１１５と露光時間制御部１０９とアナログゲイン制御部１１０に対し、各々、感度設定出力パルス１２６と露光時間出力パルス１２０とアナログゲイン出力パルス１１４を出力することで同期制御する。以上が図１に示す第１の実施形態の概要である。

具体例を示すため、本実施形態における撮像部１０３の撮像素子部幅２０６を２０００画素、撮像素子部高さ２０５を１０００画素、画素ブロック幅２０４を１００画素、画素ブロック高さ２０３を１００画素とする。このとき、画素ブロック２０１の数は、水平方向が２０個、垂直方向が１０個になる。

図２では画素ブロック２０１の位置を示すために、水平、垂直のインデックス値を各々括弧内に記載した。例えば撮像素子部１０３の右上隅の画素ブロックは［１９，０］と記載する。画素ブロック２０１は、感度、露光時間、アナログゲインを制御可能な単位である。ここで感度設定は、撮像素子部１０３の画素回路の構成要素であるフローティングディフュージョン(ＦＤ容量)の大きさによって変更されるものである。ＦＤ容量とは、撮像素子部１０３の画素回路の構成要素であるフォトダイオード(ＰＤ)が光電変換によって生成した電荷を、電圧信号に変換する機構である。フォトダイオードが生成した電荷をＱとすると、静電容量ＣＦＤであるＦＤによって変換される電圧信号Ｖは、Ｖ＝Ｑ／ＣＦＤとなる。ＦＤ容量が小さくなると高感度となり明るく、ＦＤ容量が大きくなると低感度となり暗く撮影できるということである。例えばＦＤ容量がＣＦＤ１に対し、１／２倍のＣＦＤ２のＦＤ容量を持つ画素回路の方が２倍の電圧信号Ｖを得ることができる。これはすなわち、２倍の明るさで撮影できるということになる。ＦＤ容量を変更する構成の一例を図３に示す。フォトダイオード（ＰＤ）で生成された電荷Ｑが、シャッタＴＸを動作させることでＦＤへと転送され、ＦＤの静電容量であるＣＦＤの大きさに応じてＶＦＤ＝Ｑ／ＣＦＤの電圧信号を得られる。この時、ＦＤＩＮＣ１をＨＩＧＨとしてＦＤ容量ＣＩＮＣ１を接続すると、得られる電圧信号はＶＦＤＩＮＣ１＝Ｑ／（ＣＦＤ＋ＣＩＮＣ１）となる。さらに、ＦＤＩＮＣ２からＦＤＩＮＣ４すべてをＨＩＧＨにすると、得られる電圧信号はＶＦＤＩＮＣＡＬＬ＝Ｑ／（ＣＦＤ＋ＣＩＮＣ１＋ＣＩＮＣ２＋ＣＩＮＣ３＋ＣＩＮＣ４）となる。同じ電荷Ｑから得られる電圧信号、すなわち感度を１／２倍、１／４倍、１／８倍、１／１６倍とするためには、ＣＩＮＣ１＝ＣＦＤ、ＣＩＮＣ２＝２ＣＦＤ、ＣＩＮＣ３＝４ＣＦＤ、ＣＩＮＣ４＝８ＣＦＤの静電容量を接続するとよい。また、ＣＩＮＣ２だけＨＩＧＨにして電圧１／３倍、ＣＩＮＣ１とＣＩＮＣ３をＨＩＧＨで電圧１／６倍などの制御も可能である。本実施形態の静電容量の関係はこれに限らない。領域毎のＦＤ容量の変更は、領域毎感度設定信号１１９によって撮像素子部１０３の画素ブロック２０１それぞれに対してＦＤＩＮＣ１からＦＤＩＮＣ４のＨＩＧＨ、ＬＯＷを制御することで実現可能である。また、本実施形態は画素ブロック２０１それぞれのＦＤ容量の変更による「電荷と電圧信号の変換効率」の変更に限らず、画素ブロック２０１それぞれの「明るさと電荷の変換効率」を変更してもよい。例えば、画素ブロック２０１を構成する画素２０２それぞれに、「明るさと電荷の変換効率」の違うフォトダイオード(ＰＤ)を２つ以上用意し、明るく撮影したいときには高い変換効率のＰＤ、反対に暗く撮影したいときは低い変換効率のＰＤを使用する。

また、露光時間は撮影時のシャッタ時間であり、値の大きい方が明るく撮影できる。例えば露光時間１／４８０秒に対し、１／３０秒の方が明るく撮影できる。また、アナログゲインは撮影時のＡ／Ｄ変換部１０４のゲインであり、値の大きい方が明るいデジタル画素値を出力する。なお撮像素子部１０３および画素ブロック２０１のサイズはこの実施形態に限ったものではなく、また、画素２０２の１画素の縦横比が異なるサイズであっても良い。具体的には、画素２０２の１画素の形は正方形でなく長方形であってもよい。また、画素ブロック２０１は１つの画素２０２から成る構成であっても良い。

図１に戻って説明を続ける。撮像素子部１０３は、領域毎感度設定信号１１９と領域毎シャッタパルス１１７を入力として、画素ブロック２０１の単位で、感度設定と露光時間を制御して撮像し、画素電位１１８を出力する。領域毎感度設定信号１１９と領域毎シャッタパルス１１７のどちらか片方は、すべての領域で同じ設定の信号、パルスであってもよい。次にＡ／Ｄ変換部１０４は、領域毎アナログゲイン１２１に基づき画素電位１１８を領域毎露光画像１２２に変換して出力する。本実施形態では、具現化のため、領域毎アナログゲイン１２１はｘ１，ｘ２，ｘ４，ｘ８倍の４つの値をとり、領域毎露光画像１２２の各画素値は１０ｂｉｔのデジタル値であるとする。

次に領域毎露光補正部１０５は、領域毎露光画像１２２を、領域毎感度設定１１６と領域毎露光時間１１２と領域毎アナログゲイン値１１３に基づき階調を拡張して、階調拡張後の画像１２３を出力する。本実施形態ではそれぞれ領域毎露光画像１２２は１０ｂｉｔであるのに対し、感度設定と露光時間とアナログゲインでダイナミックレンジが増加することを考慮して階調拡張後の画像１２３は２１ｂｉｔである。ここで階調拡張後の画像１２３のビット幅（２１ｂｉｔ）は一例である。領域毎露光画像１２２のビット幅（１０ｂｉｔ）に対する増加分（１１ｂｉｔ）の内訳は、感度設定（１～１６倍）で４ｂｉｔ、露光時間（１／３０～１／４８０秒）で４ｂｉｔ、アナログゲイン（１～８倍）で３ｂｉｔである。必要な増加分のビット数は、最小値に対する最大値の比率を、２の底で対数を取った値である。具体的には露光時間で必要となるビット数の計算は、４ｂｉｔ（＝ｌｏｇ２（（１／３０）÷（１／４８０）））である。本実施形態では説明を単純にするために、比較的小さい範囲の感度設定と露光時間とアナログゲインを例にとったが、これらの組み合わせは変えてもよい。具体的には、感度設定を（１～１２８倍）とした場合には、感度設定に対するビット幅の増加分は７ｂｉｔ（＝ｌｏｇ２（１２８÷１）が必要となる。また露光時間を（１／３０～１／６１４４０秒）とした場合には、露光時間に対するビット幅の増加分は１１ｂｉｔ（＝ｌｏｇ２（（１／３０）÷（１／６１４４０）））が必要となる。領域毎露光補正部１０５の処理の詳細は図８の説明時に後述する。

領域毎露光補正部１０５の処理を説明するために、領域毎感度設定１１６と領域毎露光時間１１２と領域毎アナログゲイン値１１３について、図４、図５、図６で説明する。図４、図５、図６の表は、感度設定ＩＤ、露光時間ＩＤ、アナログゲインＩＤをそれぞれ変更することで、表の右側の様に１００通りの露光条件ＩＤを設定できることを示している。

領域毎感度設定１１６は、図４に示す通り、画素ブロック２０１の各々について、感度設定ＩＤを持つ。感度設定ＩＤは、明るさと電圧信号の変換効率であり、ここでは図３のＦＤ容量値を示すインデックスの例として説明を続ける。本実施形態では感度設定ＩＤは０～４の値をとるものとする。感度設定ＩＤに対応する実際のＦＤ容量値については図７で後述する。図４の例では撮像素子部１０３の右上隅に位置する画素ブロック［１９，０］に適用する露光時間ＩＤ［１９，０］が４である場合を示している。

次に図５を参照して、領域毎露光時間１１２を説明する。図示のとおり画素ブロック２０１の各々について、露光時間ＩＤを持つ。露光時間ＩＤは露光時間を示すインデックスである。本実施形態では露光時間ＩＤは０～４の値をとるものとする。露光時間ＩＤに対応する実際の露光時間については図７で後述する。図５の例では撮像素子部１０３の右上隅に位置する画素ブロック［１９，０］に適用する露光時間ＩＤ［１９，０］が４である場合を示している。

次に図６を参照して、領域毎アナログゲイン値１１３を説明する。図示のとおり領域毎アナログゲイン値１１３は、画素ブロック２０１の各々のアナログゲインＩＤから成る。アナログゲインＩＤはアナログゲインを示すインデックスである。本実施形態では０～３の値をとるものとする。アナログゲインＩＤに対応する実際のアナログゲインについては図７で後述する。図６の例では撮像素子部１０３の右上隅に位置する画素ブロック［１９，０］に適用するアナログゲインＩＤ［１９，０］が１である場合を示している。

次に図７を参照して、感度設定ＩＤと露光時間ＩＤとアナログゲインＩＤの組み合わせを説明する。感度設定と露光時間とアナログゲインは、撮影条件に関わるパラメータであり、実施形態では、最も明るく撮影できる方のＩＤを各々０としている。つまり感度設定ＩＤ０(感度設定１６倍、すなわちＦＤ容量値１/１６倍)、露光時間ＩＤ０（露光時間１／３０秒）、アナログゲインＩＤ０（アナログゲイン８倍）の組み合わせ（Ａ）が最も明るく撮影される。一方、感度設定ＩＤと露光時間ＩＤとアナログゲインＩＤが共に最も大きい組み合わせ（Ｃ）は、最も暗く撮影される。組み合わせ例（Ｂ）については後述する。

まず感度設定を説明する。図７に示すとおり感度設定ＩＤは０～４の値をとるものとし、それぞれ感度設定ｘ１６～ｘ１に対応する。最も明るく撮影できる感度設定ｘ１６を基準とした場合、各々の感度設定（ｘ１６～ｘ１）での撮影時の明るさは、１６～１倍である。具体例としては、感度設定ＩＤ０に対し感度設定ＩＤ４は、感度設定ｘ１に対しｘ１６である。このため感度設定ＩＤ０に対する感度設定ＩＤ４の撮影時の明るさは、１６倍（＝１６÷１）の明るさで撮影される。一方、撮像後に画素値のレベルを各々の感度設定で合わせるための感度補正係数を考えると、撮影時の明るさの比率の逆数となる。具体的には図７に示すとおり、感度補正係数は各々１～１６倍となる。

次に露光時間を説明する。図７に示すとおり露光時間ＩＤは０～４の値をとるものとし、それぞれ露光時間１／３０［秒］～１／４８０［秒］に対応する。最も明るく撮影できる露光時間１／３０［秒］を基準とした場合、各々の露光時間（１／３０秒～１／４８０秒）での撮影時の明るさは、１～１／１６倍である。具体例としては、露光時間ＩＤ０に対し露光時間ＩＤ４は、露光時間１／３０［秒］に対し露光時間１／４８０［秒］である。このため露光時間ＩＤ０に対する露光時間ＩＤ４の撮影時の明るさは、１／１６倍（＝（１／４８０秒）÷（１／３０秒））の明るさで撮影される。一方、撮像後に画素値のレベルを各々の露光時間で合わせるための露光補正係数を考えると、撮影時の明るさの比率の逆数となる。具体的には図７に示すとおり、露光補正係数は各々１～１６倍となる。

次にアナログゲインを説明する。図７に示す通り、アナログゲインＩＤは０～３の値をとるものとし、それぞれ撮像時アナログゲインｘ８～ｘ１に対応する。前述の通り明るく撮影できる方のアナログゲインＩＤを０とした。露光補正係数と同様にアナログゲイン補正係数を考えると、アナログゲイン８倍を基準とした場合のアナログゲイン補正係数は図７に示す通り、各々１～８倍となる。なおアナログゲインと露光時間と感度設定の組み合わせは一例であり、実際にはこの限りではない。以降、領域毎露光補正部１０５の処理を、図７の組み合わせ（Ａ），（Ｂ），（Ｃ）の処理を例に、図８、図９、図１０で説明する。

まず図８で、最も明るく撮影する設定（Ａ）における領域毎露光補正部１０５の処理を説明する。図８の例は、被写体６００の暗部側を、最も明るく撮影する設定（Ａ）で取得する場合を示している。図８は被写体６００を撮影した際の、階調拡張後の画像１２３が出力されるまでの過程を示す。この図は最も明るく撮影する設定（基準となる設定）における、最低輝度（図中の○印）と最高輝度（図中の△印）の値を基準に、各軸を揃えている。補足すると、被写体６００、感度設定の影響で得られる電位６０４、画素電位１１８、領域毎露光画像１２２の各軸は単位の異なる値である。しかし、図９、図１０で設定を変えた場合の説明を分かり易くするために、最低輝度（図中の○印）と最高輝度（図中の△印）の値が水平方向に揃うように記載している。各値の遷移を説明する。まず被写体６００を、感度設定１６倍、露光時間１／３０秒で撮影し、アナログゲイン８倍でＡ／Ｄ変換する。設定（Ａ）は本実施形態において最も明るく撮影する設定であり、以降の説明では設定（Ａ）で撮影できる明るさを基準（１）とする。

このとき、まず感度設定１６倍に設定によって、感度設定の影響で得られる電位６０４が暫定的に決定し、その後露光時間１／３０によって画素電位１１８が決定することになる。画素電位１１８をＡ／Ｄ変換して領域毎露光画像１２２が取得される。本実施形態では領域毎露光画像１２２は１０ビットの値とする。様々な撮影条件で取得された領域毎露光画像１２２のレベルを合わせることを考えた場合、領域毎露光画像１２２のビット数（１０ビット）に対し、本実施形態では感度設定で＋４ビット、露光時間で＋４ビット、アナログゲインで＋３ビット必要である。この結果、階調拡張後の画像１２３のビット数は２１ビット（＝１０＋４＋４＋３）になる。より詳細には、図７に示すとおり感度設定は１６倍～１倍の幅があるので、１倍で取得した明るさを、１６倍秒の基準の明るさにするためには１６倍する必要があり、＋４ビット分（１６＝２＾４）に相当する。同様に、露光時間は１／３０秒～１／４８０秒の幅があるので、１／４８０秒で取得した明るさを、１／３０秒の基準の明るさにするためには１６倍する必要があり、＋４ビット分（１６＝２＾４）に相当する。同様に、アナログゲインは８～１倍の幅があるので、１倍で取得した明るさを、８倍の基準の明るさにするためには８倍する必要があり、＋３ビット分（８＝２＾３）に相当する。なお、「ｘ＾ｙ」は、「ｘのｙ乗」を表している。

図８において、領域毎露光画像１２２の明るさのレベルを合わせる場合、まずアナログゲインは基準の８倍でＡ／Ｄ変換しているため、図８に示すとおりアナログゲイン補正係数は１となる。同様に、露光時間も基準の１／３０秒で撮影しているため、図８に示す通り露光補正係数は１となる。同様に感度設定も基準の１６倍で撮影しているため、図８に示す通り感度補正係数は１となる。このため領域毎露光画像１２２に対しアナログゲイン補正係数（１倍）を適用してアナログゲイン補正後画像６０１が得られる。そして、さらに露光補正係数（１倍）適用して露光補正後画像６０２が得られる。そして、さらに感度補正係数（１倍）適用して感度補正後画像６０３が得られる。感度補正後画像６０３をビット拡張して、２１ビットの階調拡張後の画像１２３を得ることができる。

図８の最も明るく撮影する設定（Ａ）を、全体を通して見ると、被写体６００の暗部側の階調拡張後の画像１２３は、ハイダイナミックレンジ内の下位ビット側にマップする処理となり、暗い領域の撮影に適している。

次に図９で感度設定１倍、露光時間１／４８０秒、アナログゲイン２倍（図７における撮影条件（Ｂ））の場合の領域毎露光補正部１０５の処理の例を説明する。感度設定１倍は、基準の１６倍に対し１／１６の感度設定で、露光時間１／４８０秒は、基準の１／３０秒に対し１／１６の時間なので、被写体６００に対し画素電位１１８は(１／１６)ｘ(１／１６)＝１／２５６倍の値になる。同様に、アナログゲイン２倍は、基準の８倍に対し１／４倍のゲインなので、画素電位１１８に対し領域毎露光画像１２２は１／４倍の値になる。この結果、被写体６００の明部側の値が領域毎露光画像１２２の１０ビットにマップされる。次に領域毎露光画像１２２の値を、基準の撮影条件（感度設定１６倍、露光時間１／３０秒、アナログゲイン８倍）にレベルを合わせる。このとき図示のとおりアナログゲイン補正係数は４（＝８倍÷２倍）、露光補正係数は１６（＝（１／３０秒）÷（１／４８０秒））、感度補正係数は１６（＝１６倍÷１倍）となる。このアナログゲイン補正係数４と露光補正係数１６と感度補正係数１６を適用すると、領域毎露光画像１２２に対し露光補正後画像６０２は１０ビット分（４ｘ１６ｘ１６＝２＾１０）上位ビット側にマップされる。この結果、領域毎露光画像１２２は階調拡張後の画像１２３（２１ビット）の１０～１９ビットにマップされる。結果的に、被写体６００の比較的明部側を階調拡張後の画像１２３にマップする。

次に図１０で、被写体６００の明部側を、最も暗く撮影する設定（図７における撮影条件（Ｃ））の場合の領域毎露光補正部１０５の処理を示す。図１０の一連の処理は図８、図９の処理とほぼ同等の為、説明は割愛する。図１０の例では、領域毎露光画像１２２が階調拡張後の画像１２３の最上位ビット側（１１～２０ビット）にマップされる場合を示す。

以上で図８、図９、図１０により、図１の領域毎露光補正部１０５が、領域毎露光画像１２２（１０ビット）を階調拡張後の画像１２３（２１ビット）に変換する処理を説明した。

次に図１１を参照して、図１の階調変換部１０６を説明する。階調変換部１０６は、階調拡張後の画像１２３（２１ビット）に画素単位で階調変換処理を適用し、階調変換後の画像１２４（本実施形態では１２ビット）に変換する。階調変換部１０６の処理は、階調拡張後の画像１２３（２１ビット）のビット長を低減し、センサの出力データレートを低減するために行う。具体例として図１１に示すように階調拡張後の画像１２３（０～２＾２１－１）の階調数を、階調変換後の画像１２４（０～２＾１１－１）の階調数にマッピングし、当初の目的のハイダイナミックレンジの画像データを生成する。

本説明では図１の領域毎露光補正部１０５、階調変換部１０６の順に接続する実施形態を説明したが、必ずしもこれに限った順番ではなく、入れ替えてもよい。

階調変換後の画像１２４は画像出力部１０８に入力され、外部に出力される。画像出力部１０８の例としてＬＶＤＳ（Low Voltage Differential Signaling）やＭＩＰＩ（Mobile Industry Processor Interface）等の高速シリアルＩ／Ｆがある。

図１の説明では撮像素子部１０３を起点に説明を開始したため、同期制御部１０１に戻り説明を続ける。同期制御部１０１は、感度設定出力パルス１２６を感度設定制御部１１５に、露光時間出力パルス１２０を露光時間制御部１０９に、アナログゲイン出力パルス１１４をアナログゲイン制御部１１０に各々供給する。これにより、感度設定制御部１１５と露光時間制御部１０９とアナログゲイン制御部１１０の処理を同期制御する。ここで感度設定出力パルス１２６は、感度設定制御部１１５が領域毎感度設定信号１１９を出力するタイミングを制御するための信号である。同様に露光時間出力パルス１２０は、露光時間制御部１０９が領域毎シャッタパルス１１７を出力するタイミングを制御するための信号である。同様にアナログゲイン出力パルス１１４は、アナログゲイン制御部１１０が領域毎アナログゲイン１２１を出力するタイミングを制御する。感度設定制御部１１５と露光時間制御部１０９とアナログゲイン制御部１１０が同期して動作することで、イメージセンサの撮像素子部１０３の任意の画素ブロック毎に感度設定と露光時間とアナログゲインを変えて撮影することが出来る。

図１２を参照して、同期制御部１０１による処理と、画素ブロック２０１の［０，０］と［０，１］に各々異なる感度設定と露光時間とアナログゲインを適用する場合を説明する。図示の、画素ブロック２０１の左側には、横軸を時間、縦軸を垂直ライン数にとって、シャッタとアナログゲイン適用の動作タイミングを示す。まず左上隅の画素ブロック２０１である［０，０］は露光時間１／３０秒、アナログゲイン８倍を適用する。このために０～９９行目をシャッタ時間１／３０秒で駆動（１４００）し、アナログゲイン８倍で駆動（１４０２）する。タイミングチャートに示す画素ブロック２０１［０，０］の各ラインに対しては、図示のとおり開始と終了のタイミングをずらしつつ、各ラインに同じ露光時間（１／３０秒）を適用する。同様に、画素ブロック２０１の［０，１］についても、露光時間１／６０秒とアナログゲイン４倍を適用する。同期制御部１０１は、各ラインの露光時間の終了タイミングがアナログゲインの駆動タイミングになるよう露光開始のタイミングを調整する。また、感度設定は、任意のフレームのシャッタ動作に続く読み出し動作が終わって、次のフレームのシャッタ動作が始まるまでに完了していればよいため、図示していない。

次に露光時間制御部１０９は、露光時間出力パルス１２０と領域毎露光時間１１２を入力とし、領域毎シャッタパルス１１７を出力する。領域毎シャッタパルス１１７は、領域毎露光時間１１２で指定される画素ブロック毎に、所望の露光時間でシャッタを適用するための駆動信号である。

図１３に、領域毎シャッタパルス１１７と画素ブロックの関係を示す。領域毎シャッタパルス１１７は、各領域に複数のシャッタスピードを適用するための、シャッタ信号の束である。図１３に示すとおり領域毎シャッタパルス１１７は、撮像素子部１０３の、画素ブロックの１ライン毎に接続し、画素ブロック毎の露光時間を制御する。補足すると、図１３の例では領域毎シャッタパルス１１７は水平方向にｓｈ＿ｂｌｋ０＿ｐｉｘ＊～ｓｈ＿ｂｌｋ１９＿ｐｉｘ＊に分かれ、さらに各々が行方向に分かれて、画素ブロックの１ライン毎に接続する。ここで、「＊」は画素ブロック２０１の縦方向の画素数分の数を意味する。本実施形態では、１００画素であるので、「＊」は“０”～“９９”の数字となる。各々の信号は独立に制御可能なよう実装する。水平方向の左端の画素ブロックに着目すると、領域毎シャッタパルス１１７はｓｈ＿ｂｌｋ０＿ｐｉｘ０～ｓｈ＿ｂｌｋ０＿ｐｉｘ９９９に分かれ、例えばｓｈ＿ｂｌｋ０＿ｐｉｘ０は図１３のグレーのラインを接続する。一般的なイメージセンサでは、垂直方向に１ライン毎にシャッタパルスが接続し、ローリングシャッタを適用することで撮像素子部１０３全体に一律の露光時間を適用する。これに対し本実施形態では、水平方向の画素ブロック毎に領域毎シャッタパルス１１７を接続し、水平方向の画素ブロック毎に異なる露光時間を適用する。また垂直方向に、画素ブロックの境界で異なる露光時間に切り替えることで、画素ブロック毎に異なる露光時間を適用できるようにする。

図１４に領域毎感度設定信号１１９と画素ブロックの関係を示す。領域毎感度設定信号１１９は、各領域にそれぞれの感度設定を適用するための信号である。図１４に示すとおり、感度設定シフトレジスタ２０７を使って、領域毎感度設定信号１１９の値をシフトさせていき、撮像素子部１０３の画素ブロック毎の感度設定を制御する。これに限らず、すべての領域に並列に領域毎の領域毎感度設定信号１１９を配線してもよい。

図１に戻り、感度設定制御部１１５は、感度設定出力パルス１２６と領域毎感度設定１１６を入力とし、領域毎感度設定信号１１９を出力する。領域毎感度設定信号１１９は、領域毎感度設定１１６で指定される画素ブロック毎に、所望の感度設定を適用する。また、アナログゲイン制御部１１０は、アナログゲイン出力パルス１１４と領域毎アナログゲイン値１１３を入力とし、領域毎アナログゲイン１２１を出力する。領域毎アナログゲイン１２１は、領域毎アナログゲイン値１１３で指定される画素ブロック毎に、所望のアナログゲインを適用する。

同様に図１において、算出部１１１は、撮影した領域毎露光画像１２２の輝度分布に基づき、領域毎感度設定１１６と領域毎露光時間１１２と領域毎アナログゲイン値１１３が最適な設定となるように計算する。具体的には、画素ブロックごとに画素値のヒストグラムを算出し、明部側に画素値が分布していれば、より暗く撮影する設定に変更する。具体例を図９と図１０を参照して説明する。図９の設定（図７の撮影条件（Ｂ））で撮影したときに、階調拡張後の画像１２３の画素値が明部側に分布していた場合、より明部側の画素値を取得したいとする。このため、より暗く撮影できるよう領域毎露光時間１１２と領域毎アナログゲイン値１１３を更新する。具体的には、撮影条件（Ｂ）を図１０の設定（最も暗く撮影する図７の撮影条件（Ｃ））に変更する。同様に、画素値が暗部側に分布していた場合には逆の設定をする。算出部１１１は画素ブロックごとに前述の処理を行う。

また、図１における、算出部１１１において、ＬＥＤ信号機などの発光周波数が存在する被写体が画角内に映りこむ撮影シーンにて、領域毎感度設定１１６と領域毎露光時間１１２と領域毎アナログゲイン値１１３の決定方法について解説する。図１５の様に、昼間などの明るい時間帯でＬＥＤ信号機１５０１が映りこむ領域の場合を例に挙げる。この例の明るさに適する露光条件が、仮に露光時間は１／７６８０秒と比較的短い設定で、ゲインも１倍であるとする。ＬＥＤ信号機１５０１の領域のＬＥＤ発行周波数が９０ＨｚでＯＮ／ＯＦＦのデューティー比が１：１とすると、１/１８０秒の間隔で点滅を繰り返していることになる。露光時間が１/１８０秒より短い１／７６８０秒では、ＬＥＤが消灯している期間と露光時間が重なった場合に信号機が消灯している状態の画像が画像出力部１０８へと出力されてしまう。これをＬＥＤフリッカと呼ぶ。ＬＥＤフリッカを回避するために、画面内のＬＥＤ信号機１５０１の領域が存在する領域を指定し、その領域の露光時間を１／１２０秒まで長くすると、（１／１２０）／（１／７６８０）＝６４倍明るくなることになる。ＬＥＤ信号機１５０１の領域が存在する領域の選択方法は、ユーザによる領域の手動入力によるものでもよいし、物体認識や画像分割などの機械学習処理による設定でもよい。アナログゲインはすでに１倍であるので、アナログゲインによって明るさを抑えることはできない。この露光時間で撮影を行った場合、明るいシーンであるため白飛びしてしまい画像出力部１０８で得られる画像信号の視認性が低下する。画像出力部１０８で得られる画像信号を本来の最適な露光条件である、露光時間１／７６８０秒、アナログゲイン１倍と同じ明るさにするために、感度設定を基準の設定から１／６４倍に設定して撮影する。これにより、ＬＥＤフリッカを抑制したうえで、最適な露光条件での撮影を実現することができる。ＬＥＤ信号機１５０１の発行周波数によって最適な露光時間が決まるが、露光時間の設定は、ユーザによる手動入力によるものでもよいし、信号機を認識するための物体認識や画像分割などの機械学習処理によるものでもよい。これらの領域設定手法は撮像装置１００内に持っても、撮像装置１００外に持ってもよい。

さらに、図１における、算出部１１１において、自動車などの動きのある被写体が画角内に映りこむ撮影シーンにて、領域毎感度設定１１６と領域毎露光時間１１２と領域毎アナログゲイン値１１３の決定方法について解説する。図１６の様に夜間などの暗い時間帯で移動中自動車１５０２が映りこむ領域の場合を例に挙げる。この例の明るさに適する露光条件が、仮に露光時間が１／１２０秒と比較的長い設定で、ゲインも８倍であるとする。移動中自動車１５０２の領域が画角内の左から右に移動している場合、移動速度によっては設定中の露光時間１／１２０秒では動きボケが発生してしまう。動きボケを抑制するために、仮に露光時間を１／１９２０秒へと短くした場合、（１／１９２０）／（１／１２０）＝１／１６倍の明るさになる（暗くなる）。露光時間１／１２０秒、アナログゲイン８倍で撮影した場合と同じ明るさの画像を得るためにはゲインをさらに１６倍する必要があるが、アナログゲインの倍率を上げることによって明るくするとノイズが目立つ画像になってしまう。この場合、露光時間１／１２０秒、アナログゲイン８倍と同じ明るさにするために、感度設定を基準の設定から１６倍の設定にすることで、暗い撮影シーンにおいて、動きのある被写体の動きボケを抑制した最適な露光条件での撮影を実現することができる。また、移動する被写体の最適な露光時間は、被写体の移動速度（一秒間に何画素分移動しているか）による。この情報は物体認識や画像分割などの機械学習処理による設定でもよいし、ユーザが選んだ被写体毎に露光時間を個別に設定してもよい。これらの領域設定手法は、撮像装置１００内に持っても、撮像装置１００外に持ってもよい。また、ヘッドライト点灯自動車１５０３の領域は、夜間のシーンでは明るさが比較的高いため、例えば露光時間１／９６０秒、アナログゲイン４倍、感度設定１倍の様に、領域毎に最適な露光条件を設定することができる。

以上の図１５や、図１６の例の様に、算出部１１１は被写体の観測情報をもとにそれらの領域毎に最適な露光時間を決定し、ゲインでの調整が不可能、不都合、不具合がある場合に感度による調整を行う機能を持つ。不可能、不都合、不具合とは、得られる画像に暗すぎる状況、明るすぎる状況、動きボケが発生する状況、ノイズが発生する状況、撮像されるべきものが撮像されなくなる状況のいずれかが発生し視認性が低下すると判定される場合を指す。ここで被写体の観測情報とは、ＬＥＤ信号機の有無やその発行周波数。被写体の移動速度を例に挙げた。しかし本実施形態はこれに限らず、観測情報の種類や、感度設定、露光時間、アナログゲインの決定順番、優先順位はこの限りでなくてもよい。また、撮像装置１００の外部よりフレームの領域毎感度設定１１６と領域毎露光時間１１２と領域毎アナログゲイン値１１３を設定できるように構成しても良い。

以上の構成により、本実施形態のイメージセンサは画素ブロック毎に感度設定と露光時間とアナログゲインを同期して制御して撮影する。この構成により露光時間とアナログゲインに加えて感度設定を領域毎に制御することで、感度設定分のダイナミックレンジを拡張できる。さらに、明るい領域かつ、ＬＥＤ(信号機など)がフレーム内に映りこむ領域において、ＬＥＤフリッカ抑制のために露光時間を長くとっても白飛びしない画像を得ることができる。また、暗い領域かつ、被写体に動きがある領域において、動きボケの抑制のために露光時間を短くとって輝度を高めることができる。これらの制御を領域毎に行い、明るい領域と暗い領域が混在する撮像シーンにおいて、ＬＥＤフリッカ抑制と動きボケ抑制を両立させることができる。一方、Ａ／Ｄ変換された後のデジタル値に係数を乗じる、デジタルゲインという処理がある。デジタルゲイン処理の場合、Ａ／Ｄ変換後の値で低輝度側の値が０（黒つぶれ）または高輝度側の値がデジタル値のＭＡＸ（白飛び）になった場合は係数を乗じるという処理の特性上、階調を回復できない。これに対し、アナログゲインの調整は、前述の黒つぶれ、白飛びの問題をアナログゲインの範囲内で解消できるという利点がある。

さらに、画素ブロックごとに異なる露光時間とアナログゲインで取得した画素値のレベルを合わせ、階調変換処理でビット長を低減した画像を出力する。

上記構成において、主制御部１５０は、撮像処理を開始するに先立ち、例えば撮像素子部１０３内の全ブロックに対して、予め設定された同一の撮影条件（感度、露光時間、ゲイン）を設定した上で、所定フレームレート（例えば３０フレーム／秒）で撮影を開始する。そして、主制御部１５０は、算出部１１１を制御し、Ａ／Ｄ変換部１０４から現フレームの画像データが得られるたびに、各ブロックの例えば輝度平均値を求める。そして、算出部１１１は、各ブロックに輝度平均値と、その際の各ブロックに対して設定していた撮影条件とに基づき、各ブロックの撮影条件を更新する処理を行う。

［第２の実施形態］
図１７は、第２の実施形態における撮像装置のブロック構成図である。第１の実施形態（図１）では、領域毎露光補正部１０５、階調変換部１０６を持つのに対し、第２の実施形態はこれらを持たない。このため第２の実施形態は、領域毎露光画像１２２を１０ビットのまま画像出力部１０８から出力する。これに加え、画像出力部１０８は、領域毎露光時間１１２と領域毎アナログゲイン値１１３を出力する。本実施形態では、撮像装置１００に接続される外部装置で、図１の領域毎露光補正部１０５以降の処理をすることを想定している。本第２の実施形態では、領域毎露光時間１１２と領域毎アナログゲイン値１１３を、領域毎露光画像１２２と共に出力する例を示したが、この構成に限定する必要はなく、シリアルＩＯなどの別のＩ／Ｆから出力する構成としてもよい。

［第３の実施形態］
第３の実施形態を、図１８を参照して説明する。図示のとおり多層構造（図示では２層構造）を有する。そして、そして撮像素子部１０３を露光する第１の層（センサ層１３００）に、それ以外の層（回路層１３０１）に感度設定制御部１１５と露光時間制御部１０９を配置し、領域毎感度設定信号１１９と領域毎シャッタパルス１１７を積層構造の層間で垂直に配線する。領域毎シャッタパルス１１７は領域毎に異なるシャッタパルスを接続するという性質上、配線本数が増大する。このため通常の１層のイメージセンサで、これを実現しようとすると、撮像素子部１０３を領域毎シャッタパルス１１７が遮って、十分な画素面積が確保できない。これに対し第３の実施形態では、センサ層１３００には基本的に撮像素子部１０３のみを配置できるので、十分な画素面積を確保できるという利点がある。領域毎感度設定信号１１９も同様である。なお層の数は２層に限定したものではなく、３層以上の構成を取ってもよい。また、センサ層１３００と回路層１３０１の分け方は一例であり、センサ層１３００に撮像素子部１０３以外の構成要素を置いてもよい。

［第４の実施形態］
図１９は、第４の実施形態における撮像装置のブロック構成図である。第１の実施形態（図１）が、領域毎露光時間１１２と露光時間制御部１０９と露光時間出力パルス１２０と領域毎シャッタパルス１１７を持つのに対し、第４の実施形態はこれらを持たない。このため第４の実施形態は、領域毎に感度設定とゲインを変更することができるが、露光時間は画像の全領域で一様の露光時間を適用することになる。領域毎露光画像１２２を１０ビットのまま画像出力部１０８から出力する。これに加え、領域毎露光補正部では、露光時間によるビットのシフトは行わない。本実施形態により、領域毎のシャッタのタイミングを制御するための処理が省くことができる他、領域毎に複数のシャッタを配線する必要がなくなるため、撮像素子部１０３の物理的構成が簡素になることが期待される。例を示したが、この構成に限定する必要はなく、順番が変わる構成や、第１の実施形態に含まれる画像処理のいずれかを編入する構成としてもよい
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１００…撮像装置、１０１…同期制御部、１０３…撮像素子部、１０４…Ａ／Ｄ変換部、１０５…領域毎露光補正部、１０６…階調変換部、１０８…画像出力部、１０９…露光時間制御部、１１０…アナログゲイン制御部、１１１…算出部、１１２…領域毎露光時間、１１３…領域毎アナログゲイン値

Claims (9)

1. 複数の光電変換素子で構成されるブロックを並べた構造の撮像素子部を有する撮像装置であって、
   前記ブロック単位に、感度を制御する第１の制御手段と、
   前記撮像素子部より得た各ブロックの信号のゲインを制御する第２の制御手段と、
   前記第１および第２の制御手段の制御の下で得たブロックの画像データの階調を拡張し、予め設定されたハイダイナミックレンジ内の前記ブロックに対して設定した感度に応じた領域にマッピングすることで、当該拡張した後の画像データの階調数を低減して、前記ハイダイナミックレンジの画像データを生成する生成手段と
   を備えることを特徴とする撮像装置。
2. 更に、前記ブロック単位に、露光時間を設定する第３の制御手段を有することを特徴とする請求項１に記載の撮像装置。
3. 前記生成手段は、前記第１乃至第３の制御手段の制御で得たブロックの画像データを、
   前記第１の制御手段による前記ブロックに対して設定した感度に応じた第１の補正係数、
   前記第２の制御手段による制御による前記ブロックに対して行ったゲインに応じた第２の補正係数、
   前記第３の制御手段による前記ブロックに対して設定した露光時間に応じた第３の補正係数
   に基づく階調の拡張を行い、当該拡張した後の画像データの階調数を低減して前記ハイダイナミックレンジの画像データを生成する
   ことを特徴とする請求項２に記載の撮像装置。
4. 複数の光電変換素子で構成されるブロックを並べた構造を有する撮像素子部を有する撮像装置であって、
   前記ブロック単位に、感度を制御する第１の制御手段と、
   前記ブロック単位に、露光時間を制御する第２の制御手段と、
   前記撮像素子部より得た各ブロックの信号のゲインを制御する第３の制御手段と、
   前記第１乃至第３の制御手段の制御により得たブロックの画像データと、当該ブロックに対する前記第１乃至第３の制御手段による制御に関する情報とを、前記ブロックの画像データの階調を拡張し、拡張した後の画像データの階調数を低減してハイダイナミックレンジの画像データを生成する外部装置に出力する出力手段と
   を有することを特徴とする撮像装置。
5. 被写体の撮影の状況に応じて前記第１乃至前記第３の制御手段を制御し、明るさを調整する調整手段を更に有することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記撮像素子部は多層構造であって、光が当たる第１の層には撮像素子が配置され、当該第１の層とは異なる第２の層には露光時間の制御に係る構成が配置されることを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 複数の光電変換素子で構成されるブロックを並べた構造の撮像素子部を有する撮像装置の制御方法であって、
   前記ブロック単位に、感度を制御する第１の制御工程と、
   前記撮像素子部より得た各ブロックの信号のゲインを制御する第２の制御工程と、
   前記第１および第２の制御工程の制御の下で得たブロックの画像データの階調を拡張し、予め設定されたハイダイナミックレンジ内の前記ブロックに対して設定した感度に応じた領域にマッピングすることで、当該拡張した後の画像データの階調数を低減して、前記ハイダイナミックレンジの画像データを生成する生成工程と
   を備えることを特徴とする撮像装置の制御方法。
8. 複数の光電変換素子で構成されるブロックを並べた構造を有する撮像素子部を有する撮像装置の制御方法であって、
   前記ブロック単位に、感度を制御する第１の制御工程と、
   前記ブロック単位に、露光時間を制御する第２の制御工程と、
   前記撮像素子部より得た各ブロックの信号のゲインを制御する第３の制御工程と、
   前記第１乃至第３の制御工程の制御により得たブロックの画像データと、当該ブロックに対する前記第１乃至第３の制御工程による制御に関する情報とを、前記ブロックの画像データの階調を拡張し、拡張した後の画像データの階調数を低減してハイダイナミックレンジの画像データを生成する外部装置に出力する出力工程と
   を有することを特徴とする撮像装置の制御方法。
9. コンピュータが読み込み実行することで、前記コンピュータに、請求項７又は８に記載の方法が有する各工程を実行させるためのプログラム。