JP4903246B2 - 撮像素子の輝度補正回路 - Google Patents

Description

本発明は、輝度ムラのない高画質の撮影画像が要求されるマシンビジョンシステムに適用して好適な撮像素子の輝度補正回路に関する。

固体撮像素子を用いた汎用の簡易型カメラにおいては、固体撮像素子の画素出力がそのままフレーム画像として扱われ、フレーム単位で、輝度補正、色補正等、所定の画像処理が施される。これに対して、高精細、高画質の撮影画像が要求されるマシンビジョンシステムにおいては、汎用の簡易型カメラには搭載されない、固体撮像素子の特性上のバラツキを考慮した輝度補正回路を必要とする。

ＣＣＤやＣＭＯＳなどを代表とする撮像素子の出力画像レベルは、その半導体の特性により１画素毎にオフセットレベルや感度が異なる。これがノイズとなって出力されてしまう。特に露光時間や温度変化などによりダーク信号やハイライト信号が変動してしまうため、ダーク、ハイライト条件を１つに固定して後段の信号処理を行うと、撮影する露光時間などによって１画素毎、あるいは撮影画像全面で明るさがばらついた出力画像となってしまう。これらの現象を撮像素子の後段で補正処理することでノイズ低減を図ることが課題とされる。例えばＣＭＯＳイメージセンサの場合、画素毎に固定したトランジスタが割り当てられるため、各トランジスタの特性の差（バラツキ）により固定パターン状のノイズをもつ。

この種、撮像素子の特性上のバラツキによる輝度補正手段として、従来では、第１の補正手段として、設定可能な複数の露光時間毎に、フレームサイズの黒補正用メモリを用意し、この各黒補正用メモリに、各露光時間に対応付けた補正値を格納して、実際の画像撮影時の露光時間に対応する補正値を黒補正用メモリから取得しダークレベルを補正する手段が存在した。

また、第２の補正手段として、長時間露光の場合、高速応答処理を必要としないことから、代表的なダークフレーム画像と長時間露光の露光時間範囲（１秒間隔で１秒〜６４秒）の各露光時間に対応する補正値とを格納しておき、これらのデータから実際の画像撮影時の露光時間に対応する補正値を算出して、長時間露光に対するダークレベルの補正手段が存在した。

しかしながら、上記した第１の補正手段においては、設定可能な複数の露光時間毎に、フレームサイズの黒補正用メモリを用意しなければならないことから、補正用メモリ容量が膨大になりハードウェア構成が煩雑になるという問題があった。例えば、１２００万画素の撮像素子を対象に１０２４階調の画像補正を行う場合、１画素当たり２バイトの輝度情報を保持する１２００万画素分の補正用メモリを、設定可能な露光時間の単位数に相当する領域数分、設ける必要があり、メモリ機構を含めたハードウェア構成が著しく煩雑になる。また、上記した第２の補正手段においては、長時間露光には適用可能であっても高速露光（例えば１／２００００秒）を含んだ多段露光に適用できないという問題があった。

また、ダークレベルの補正手段として、従来では撮像素子の有効画面の周囲に配置された遮光領域の一部または全部の遮光レベルを用いて画面全体に一意に黒レベル補正を施す手段が存在した。しかしながら、この補正手段は、部分的に採取した領域の遮光レベルが画面全体に反映される構成であり、撮像素子の画素単位の黒レベルのバラツキ（輝度ムラ）に対して補正が行われないことから、輝度ムラのない高画質の撮影画像が要求されるマシンビジョンシステムに適用できない。

特開２００１−０９４８８２号公報 特開２００７−２５９１３５号公報

上述したように、輝度ムラのない高画質の撮影画像が要求されるマシンビジョンシステムにおいて、固体撮像素子の特性上のバラツキおよび処理の高速性を考慮した輝度補正回路を実現する場合、ハードウェアの大規模化並びとこれに伴うソフトウェアの煩雑化並びにコスト高を招くという問題があった。

本発明は上記実情に鑑みなされたもので、輝度ムラのない高画質の撮影画像が要求されるマシンビジョンシステムに適用される撮像素子の輝度補正回路において、簡素なハードウェア構成にて高速処理による多値階調の輝度補正を可能にした撮像素子の輝度補正回路を提供することを目的とする。

本発明は、フレーム単位の画像を対象とした輝度補正ではなく、撮像素子における画像単位の特性上のバラツキに伴うノイズ除去を目的にした輝度補正に係るもので、エリアイメージセンサを構成する撮像素子から出力される画像信号の基準となるダーク信号の直流電圧レベルを保持するクランプ回路と、前記クランプ回路の後段に設けられ、前記撮像素子から出力される１バイトを超える階調ビット数ｎで構成された１画素毎の画像信号に対して、予め設定した低階調側の階調範囲にレベル配分を偏らせた、前記画像信号の階調ビット数ｎより少ない階調ビット数ｍ（ｍ＜ｎ）で構成され、かつ低階調側の補正係数が高階調側の補正係数より多く配分した非線形の階調補正係数を用い、前記画像信号の階調を１画素毎に補正するダークレベル補正回路と、前記ダークレベル補正回路の後段に設けられ、前記撮像素子から出力される１画素毎の画像信号に対して、予め設定した高階調側の階調範囲にレベル配分を偏らせた、前記階調ビット数ｍの階調補正係数を用い、前記画像信号の階調を１画素毎に補正するハイライトレベル補正回路と、前記ハイライトレベル補正回路の後段に設けられ、前記撮像素子の欠陥画素を座標値で保持する欠陥画像座標保持手段によって座標指定された画素欠陥に対して、その輝度値を周囲画素の輝度値をもとに補間処理する画素欠陥補正処理部と、を具備したことを特徴とする撮像素子の輝度補正回路を特徴とする。

本発明によれば、輝度ムラのない高画質の撮影画像が要求されるマシンビジョンシステムに適用される撮像素子の輝度補正回路において、簡素なハードウェア構成にて高速処理による多値階調の輝度補正を可能にした撮像素子の輝度補正回路が提供できる。

本発明の実施形態に係る輝度補正回路の全体構成を示すブロック図。 上記実施形態に係る輝度補正回路の具体的な回路構成を示すブロック図。 上記実施形態に係るダークレベル補正回路を説明するための撮像面遮光状態における画像出力ヒストグラムを示す図。 上記実施形態に係るハイライトレベル補正回路を説明するための撮像面均一光照射状態における画像出力ヒストグラムを示す図。 上記実施形態に係るダークレベル補正回路の作用を説明するための画像出力ヒストグラムを示す図。 上記実施形態に係るハイライトレベル補正回路の作用を説明するための画像出力ヒストグラムを示す図。 上記実施形態に係るダークレベル補正回路の動作を説明するための説明図。 上記実施形態に係るダークレベル補正回路の動作を説明するための説明図。 上記実施形態に係るダークレベル補正回路の動作を説明するための説明図。 上記実施形態に係るダークレベル補正回路の動作を説明するための説明図。 上記実施形態に係るハイライトレベル補正回路の動作を説明するための説明図。 上記実施形態に係るハイライトレベル補正回路の動作を説明するための説明図。 上記実施形態に係るハイライトレベル補正回路の動作を説明するための説明図。

以下図面を参照して本発明の実施形態を説明する。

本発明の実施形態に係る輝度補正回路の全体構成を図１に示し、同輝度補正回路の具体的な回路構成を図２に示している。尚、本発明の実施形態に係る撮像素子の輝度補正回路は、静止画像を扱う工業用カメラシステム、若しくは動画像を扱う、例えば監視用、生産ライン用等の工業用カメラシステムのいずれにおいても適用可能であるが、ここでは、撮像素子の輝度補正処理後における、フレーム画像を中心とした後段の画像処理、カラー画像についての補正処理、撮像カメラ機構の具体的な構成等については、その説明を省略する。また、この実施形態では、撮像面を有する光電変換部（イメージセンサ部）と、光電変換された信号をデジタル出力するＡ／Ｄ変換部を含むセンサ周辺回路とがシステムオンチップ化された撮像素子を例に示すが、光電変換部に対してＡ／Ｄ変換部を含む周辺回路を外付けした撮像素子構成であってもよい。

本発明は、図１に示すように、エリアイメージセンサを構成する撮像素子１１から出力される画像信号の黒レベル（ダークレベル）の基準となるダーク信号の直流電圧レベルを保持するクランプ回路（V-CLAMP）１２と、このクランプ回路１２の後段に設けられ、撮像素子１１から出力される１画素毎の画像信号に対して、予め設定した低階調側の階調範囲にレベル配分を偏らせた、当該画像信号の階調ビット数（ｎ）より少ない階調ビット数（ｍ）で構成された複数の屈折点をもつ非線形の階調補正係数を用い、階調を１画素毎に補正するダークレベル補正回路１３と、このダークレベル補正回路１３の後段に設けられ、撮像素子１１から出力される１画素毎の画像信号に対して、予め設定した高階調側の階調範囲にレベル配分を偏らせた、当該画像信号の階調ビット数（ｎ）より少ない階調ビット数（ｍ）の階調補正係数を用い、階調を１画素毎に補正するハイライトレベル補正回路１４と、このハイライトレベル補正回路１４の後段に設けられ、撮像素子１１の欠陥画素を座標値で保持して、撮像素子１１から出力される１画素毎の画像信号に対して、前記欠陥画素に対応する画像信号の画素欠陥を補正する画素欠陥補正回路１５とを具備した撮像素子の輝度補正回路を特徴とする。

この実施形態において、撮像素子１１から出力される画像信号は、１バイト（８ビット）を超える例えばｎ＝１０ビット（１０２４階調）で構成され、ダークレベル補正回路１３およびハイライトレベル補正回路１４が扱う階調補正係数はそれぞれ１バイトを超えない例えばｍ＝８ビット（２５６階調）で構成されている。ダークレベル補正回路１３とハイライトレベル補正回路１４は、それぞれ、製品出荷前の事前処理（または使用者がその環境に合わせて別途実施しても良い）において、８ビットの階調補正係数データの生成処理および階調補正係数データの保存処理を実施し、製品出荷後の通常の撮影処理において上記階調補正係数を用いた階調補正処理を実施する。

ダークレベル補正回路１３は、製品出荷前の後述する事前処理において、撮像素子１１から出力された１０ビットの階調データの内容をもとに、予め設定した低階調側の階調範囲にレベル配分を偏らせた複数の屈折点をもつ非線形の８ビットの階調補正係数データを得る変換テーブル（ＥＮＣ）と、この８ビットの階調補正係数データを１フレーム分記憶し、製品出荷後の通常の撮影動作時において、上記記憶した１フレーム分の各８ビットの階調補正係数データを、撮影画像の画素出力に同期して順次読出し出力するダーク補正係数記憶手段と、このダーク補正係数記憶手段から出力された８ビットの非線形の階調補正係数データを上記画像信号の階調ビット数に合わせた１０ビットの線形の階調補正係数データに変換する変換テーブル（ＤＥＣ）と、撮像素子１１から出力された画像信号を上記変換テーブル（ＤＥＣ）から出力された階調補正係数を用い減算（−）処理して階調補正するダーク画像信号補正演算部とを具備して構成される。

上記変換テーブル（ＥＮＣ）は図２に示すダーク画像補正メモリ用正規化テーブル１３ａにより実現され、上記ダーク補正係数記憶手段は図２に示す補正データ格納用不揮発性メモリ１３ｆとダーク画像補正データ用フレームメモリ１３ｂとより実現され、上記変換テーブル（ＤＥＣ）は図２に示すダーク画像補正用逆変換テーブル１３ｃにより実現され、ダーク画像信号補正演算部は図２に示すダーク画像信号補正演算部１３ｅにより実現される。

ハイライトレベル補正回路１４は、製品出荷前の後述する事前処理（または使用者がその環境に合わせて別途実施しても良い）において、撮像素子１１から出力された１０ビットの階調データの内容をもとに、予め設定した高階調側の階調範囲にレベル配分を偏らせた８ビットの階調補正係数データを得る変換テーブル（ＥＮＣ）と、この８ビットの階調補正係数データを１フレーム分記憶し、製品出荷後の通常の撮影動作時において、上記記憶した１フレーム分の各８ビットの階調補正係数データを、撮影画像の画素出力に同期して順次読出し出力するハイライト補正係数記憶手段と、このハイライト補正係数記憶手段から出力された８ビットの階調補正係数データを上記画像信号の階調ビット数に合わせた１０ビットの階調補正係数データに変換する変換テーブル（ＤＥＣ）と、撮像素子１１から出力された画像信号を上記変換テーブル（ＤＥＣ）から出力された階調補正係数を用い乗算（×）処理して階調補正するハイライト画像信号補正演算部とを具備して構成される。

上記変換テーブル（ＥＮＣ）は図２に示すハイライト画像補正メモリ用正規化テーブル１４ａにより実現され、上記ハイライト補正係数記憶手段は図２に示す補正データ格納用不揮発性メモリ１４ｆとハイライト画像補正データ用フレームメモリ１４ｂとにより実現され、上記変換テーブル（ＤＥＣ）は図２に示すハイライト画像補正用逆変換テーブル１４ｃにより実現され、ハイライト画像信号補正演算部は図２に示すハイライト画像信号補正演算部１４ｅにより実現される。

画素欠陥補正回路１５は、欠陥画素を座標値として保持する欠陥画素座標保持手段と、この欠陥画素座標保持手段により座標指定された画素欠陥に対して、その輝度値を周囲画素の輝度値をもとに補間処理する画素欠陥補正手段とを具備して構成される。欠陥画素座標保持手段は図２に示す欠陥画素座標格納用不揮発性メモリ１５ａおよび欠陥画素座標再生用メモリ１５ｂにより実現され、画素欠陥補正手段は図２に示す画素欠陥補正処理部１５ｃにより実現される。

図１に示した撮像素子の輝度補正回路における要部の回路構成要素を図２に示している。図１に示す各構成要素は、図２に示すＣＰＵ２０の制御の下に、同じく図２に示すカメラ同期信号生成回路２１、露光時間制御回路２２、メモリ制御回路２３，２４等を介して、それぞれ所定のタイミング制御により同期的に動作制御される。

撮像素子１１は、例えばＣＣＤイメージセンサ（Charge Coupled Device Image Sensor）若しくはＣＭＯＳイメージセンサ（Complementary Metal Oxide Semiconductor Image Sensor）等のエリアイメージセンサにより構成されている。ここでは、光電変換部（イメージセンサ部）と、光電変換された信号をデジタル出力するＡ／Ｄ変換部を含むセンサ周辺回路とがシステムオンチップ化されたＣＭＯＳイメージセンサを例に撮像素子を示すが、光電変換部（イメージセンサ部）に対してＡ／Ｄ変換部を含む周辺回路を外付けした撮像素子構成であってもよい。

この実施形態では、図２に示すように、レンズを介して結像する撮像面を有した光電変換部（イメージセンサ部）１１ａと、光電変換部１１ａの出力信号を増幅するアナログ信号前処理部１１ｂと、アナログ信号前処理部１１ｂの出力信号をアナログ／デジタル変換するＡ／Ｄ変換部１１ｃと、光電変換部１１ａを駆動制御する水平・垂直駆動部１１ｄと、センサ内の動作タイミングを制御するセンサ同期信号生成部１１ｅとを具備して撮像素子１１が構成されている。センサ同期信号生成部１１ｅは、カメラ同期信号生成回路２１の制御の下に、アナログ信号前処理部１１ｂ、Ａ／Ｄ変換部１１ｃ、および水平・垂直駆動部１１ｄをそれぞれ動作制御する。Ａ／Ｄ変換部１１ｃは、光電変換部１１ａから出力されたアナログ量の画像信号をアナログ信号前処理部１１ｂを介して入力し、画素単位でデジタル値に変換した画像信号を出力する。ここでは、階調ビット数が１０ビット（１０２４階調）の画像信号を出力する。

クランプ回路（V-CLAMP）１２は、ダークレベル（黒レベル）を安定させて処理するための基準信号となるダーク信号の直流電圧レベルをデジタル値で保持するもので、光電変換部の撮像面を形成する有効画素領域周辺の一部に設けられた遮光画素の出力（入射光を遮断した光電変換素子の画素出力）をもとに、温度上昇などによるレベル変動分を補正して黒レベルの基準となるダーク信号を保持し後段の回路に出力する。

ダークレベル補正回路１３は、クランプ回路１２の後段にあって、ダーク画像補正メモリ用正規化テーブル１３ａと、ダーク画像補正データ用フレームメモリ１３ｂと、ダーク画像補正用逆変換テーブル１３ｃと、露光時間補正処理部１３ｄと、ダーク画像信号補正演算部１３ｅと、補正データ格納用不揮発性メモリ１３ｆとを具備して構成されている。このダークレベル補正回路１３の各構成要素は、ＣＰＵ２０の制御の下に、カメラ同期信号生成回路２１、露光時間制御回路２２、メモリ制御回路２３等を介して動作制御される。なお、ＣＰＵ２０はカメラ全体の制御を司るもので、図示しない入力インターフェースを介して各種の設定情報、操作情報を入力し、カメラ内部の各回路を制御する。ここでは上記入力インターフェースを介して外部操作に伴う撮影開始のトリガ信号、外部操作により設定されたシャッター速度（例えば１／２００００秒〜２秒）を示すデータ（露光時間データ）等が入力される。ＣＰＵ２０は、入力された露光時間データを露光時間制御回路２２に送出する。露光時間制御回路２２は設定可能なシャッター速度に対応する露光時間補正係数を固定値としてもち、入力された露光時間データに従うダークレベル、ハイライトレベルの露光時間補正係数データをそれぞれ対応する露光時間補正処理部１３ｄ，１４ｄに送出する。露光時間制御回路２２は、カメラ運用に従う（設定可能なシャッター速度に対応する）撮像素子の高速露光時間から低速露光時間の間における２点以上の時間条件で、ダークレベル（暗い輝度レベル）、ハイライトレベル（撮像素子が白黒タイプであれば白、原色または補色タイプであればその各色の明るい輝度レベル）それぞれの変動量を測定し、その変動量をもとに取得した、設定可能なシャッター速度毎の露光時間に相関のある露光時間補正係数を固定値として予め記憶している。

ダーク画像補正メモリ用正規化テーブル１３ａは、製品出荷前の事前処理（または使用者がその環境に合わせて別途実施しても良い）において、撮像素子１１の撮像面を遮光した状態で撮影したダーク画像の各画素（有効画素）の階調データ（１０ビット；１０２４階調）が示す輝度値をもとに、撮像素子１１の全有効画素について、各画素毎に、予め設定した低階調側の階調範囲にレベル配分を偏らせた８ビット（２５６階調）の複数の屈折点をもつ非線形の階調補正係数データを生成し出力する。このダーク画像補正メモリ用正規化テーブル１３ａから出力された１フレーム分の８ビット単位の階調補正係数データはメモリ制御回路２３の書き込み制御の下に補正データ格納用不揮発性メモリ１３ｆに格納される。なお、ダーク画像補正メモリ用正規化テーブル１３ａによる階調補正係数データの具体的な生成処理例については、図３および図５と、図７乃至図１０を参照して後述する。

ダーク画像補正データ用フレームメモリ１３ｂは、製品出荷後の通常の撮影処理における初期設定処理において、メモリ制御回路２３の制御の下に、補正データ格納用不揮発性メモリ１３ｆから読み出した１フレーム分の８ビット単位の階調補正係数データを書き込み、保持する。この補正データ格納用不揮発性メモリ１３ｆからダーク画像補正データ用フレームメモリ１３ｂへの階調補正係数データの書き込み処理は、高速露光（例えば１／２００００秒）を可能にするためのもので、階調補正係数データの高速リードアクセスを可能にするため、補正データ格納用不揮発性メモリ１３ｆに格納された１フレームの階調補正係数データを、撮影時の初期設定において、高速リードアクセスが可能なＤＲＡＭまたはＳＲＡＭ等を用いた、例えばＤＲＡＭ構成のダーク画像補正データ用フレームメモリ１３ｂに保持している。ダーク画像補正データ用フレームメモリ１３ｂは、通常の撮影処理において、メモリ制御回路２３の制御の下に、撮影動作に同期して、補正対象画素に対応する８ビットの階調補正係数データを読み出し、ダーク画像補正用逆変換テーブル１３ｃに送出する。

ダーク画像補正用逆変換テーブル１３ｃは、ダーク画像補正データ用フレームメモリ１３ｂから入力した８ビット（２５６階調）の階調補正係数データを撮像素子１１から出力された画像データの階調ビット数に合わせた１０ビット（１０２４階調）の階調補正係数データに変換し、露光時間補正処理部１３ｄに送出する。

露光時間補正処理部１３ｄは、ダーク画像補正用逆変換テーブル１３ｃから階調補正係数データを入力し、露光時間制御回路２２から露光時間補正データを入力して、階調補正係数データが示す値に露光時間補正データが示す値を演算し、露光時間補正後の階調補正係数データをダーク画像信号補正演算部１３ｅに送出する。

ダーク画像信号補正演算部１３ｅは、撮像素子１１から出力された画像信号をクランプ回路１２を介して入力し、補正対象画素の階調（輝度値）に対して、露光時間補正処理部１３ｄを介して入力した階調補正係数データが示す値を加減算処理し、補正対象画素の階調を補正する。このダーク画像信号補正演算部１３ｅで補正処理した画像信号は、ダークレベル補正回路１３の後段に設けられたハイライトレベル補正回路１４に送出される。

ハイライトレベル補正回路１４はダークレベル補正回路１３の後段にあって、ハイライト画像補正メモリ用正規化テーブル１４ａと、ハイライト画像補正データ用フレームメモリ１４ｂと、ハイライト画像補正用逆変換テーブル１４ｃと、露光時間補正処理部１４ｄと、ハイライト画像信号補正演算部１４ｅと、補正データ格納用不揮発性メモリ１４ｆとを具備して構成されている。このハイライトレベル補正回路１４の各構成要素は、ＣＰＵ２０の制御の下に、カメラ同期信号生成回路２１、露光時間制御回路２２、メモリ制御回路２４等を介して動作制御される。

ハイライト画像補正メモリ用正規化テーブル１４ａは、製品出荷前の事前処理（または使用者がその環境に合わせて別途実施しても良い）において、撮像素子１１の撮像面に、輝度値が飽和レベルに達する以前の予め設定したハイライトレベルの均一光を照射した状態で撮影したハイライト画像の各画素（有効画素）の階調データ（１０ビット；１０２４階調）が示す輝度値をもとに、撮像素子１１の全有効画素について、各画素毎に、予め設定した高階調側の階調範囲にレベル配分を偏らせた８ビット（２５６階調）の階調補正係数データを生成し出力する。このハイライト画像補正メモリ用正規化テーブル１４ａから出力された１フレーム分の８ビット単位の階調補正係数データはメモリ制御回路２４の書き込み制御の下に補正データ格納用不揮発性メモリ１４ｆに格納される。なお、ハイライト画像補正メモリ用正規化テーブル１４ａによる階調補正係数データを生成処理については、図４および図６と、図１１乃至図１３を参照して後述する。

ハイライト画像補正データ用フレームメモリ１４ｂは、製品出荷後の通常の撮影処理における初期設定処理において、メモリ制御回路２４の制御の下に、補正データ格納用不揮発性メモリ１４ｆから読み出した１フレーム分の８ビット単位の階調補正係数データを書き込み、保持する。この補正データ格納用不揮発性メモリ１４ｆからハイライト画像補正データ用フレームメモリ１４ｂへの階調補正係数データの書き込み処理は、高速露光（例えば１／２００００秒）を可能にするためのもので、階調補正係数データの高速リードアクセスを可能にするため、補正データ格納用不揮発性メモリ１４ｆに格納された１フレームの階調補正係数データを、撮影時の初期設定において、高速リードアクセスが可能な、例えばＤＲＡＭ構成のハイライト画像補正データ用フレームメモリ１４ｂに保持している。ハイライト画像補正データ用フレームメモリ１４ｂは、通常の撮影処理において、メモリ制御回路２４の制御の下に、撮影動作に同期して、補正対象画素に対応する８ビットの階調補正係数データを読み出し、ハイライト画像補正用逆変換テーブル１４ｃに送出する。

ハイライト画像補正用逆変換テーブル１４ｃは、ハイライト画像補正データ用フレームメモリ１４ｂから入力した８ビット（２５６階調）の階調補正係数データを撮像素子１１から出力された画像データの階調ビット数に合わせた１０ビット（１０２４階調）の階調補正係数データに変換し、露光時間補正処理部１４ｄに送出する。

露光時間補正処理部１４ｄは、ハイライト画像補正用逆変換テーブル１４ｃから階調補正係数データを入力し、露光時間制御回路２２から露光時間補正データを入力して、階調補正係数データが示す値に露光時間補正データが示す値を演算し、露光時間補正後の階調補正係数データをハイライト画像信号補正演算部１４ｅに送出する。

ハイライト画像信号補正演算部１４ｅは、ダークレベル補正回路１３を介して入力した画像信号の補正対象画素の階調（輝度値）に対して、露光時間補正処理部１４ｄを介して入力した階調補正係数データが示す値を加減算処理し、補正対象画素の階調を補正する。このハイライト画像信号補正演算部１４ｅで補正処理した画像信号は、ハイライトレベル補正回路１４の後段に設けられた画素欠陥補正回路１５に送出される。

画素欠陥補正回路１５は、欠陥画素座標格納用不揮発性メモリ１５ａと、欠陥画素座標再生用メモリ１５ｂと、画素欠陥補正処理部１５ｃとを具備して構成されている。

欠陥画素座標格納用不揮発性メモリ１５ａは、製品出荷前の事前処理（または使用者がその環境に合わせて別途実施しても良い）におけるＣＰＵ２０の画素欠陥処理において欠陥画素と判定した画素の座標値（光電変換部１１ａの画素位置）を格納する。この欠陥画素の判定は、例えばダーク（黒）レベルの欠陥画素を検出する場合、黒画面を複数回撮影し、巡回積分して黒の平均をとり、ランダムノイズ分を除去した後、これを黒基準として、各画素を予め設定した画素欠陥レベル（例えば５１２階調；１０ビット）で２値化し、画素欠陥レベルを超えた画素を欠陥画素として、当該欠陥画素の座標値を欠陥画素座標格納用不揮発性メモリ１５ａに格納する手段、または、この画素欠陥処理に加え、上記したダーク画像の階調補正係数データ取得時において、輝度値が一定の許容範囲から外れた画素を欠陥画素として、当該欠陥画素の座標値を欠陥画素座標格納用不揮発性メモリ１５ａに格納する手段、または、上記したダーク画像の撮像素子出力から、設定したダークレベルの許容範囲を逸脱した階調（輝度値）をもつ画素を検出し、上記したハイライト画像の画素出力から、設定したハイライトレベルの許容範囲を逸脱した階調の画素を検出して、この各検出画素を欠陥画素として当該画素の座標値を欠陥画素座標格納用不揮発性メモリ１５ａに格納する手段等のいずれであってもよい。

この欠陥画素座標格納用不揮発性メモリ１５ａに格納された画素の座標値は、製品出荷後の撮影処理開始に際して、ＣＰＵ２０の制御の下に、高速アクセスが可能な、例えばＤＲＡＭまたはＳＲＡＭ等により構成される欠陥画素座標再生用メモリ１５ｂに保持される。この欠陥画素座標格納用不揮発性メモリ１５ａから欠陥画素座標再生用メモリ１５ｂへの座標データの書き込み処理は、上記した高速アクセスを可能にするためのものである。

画素欠陥補正処理部１５ｃはこの欠陥画素座標再生用メモリ１５ｂに保持した画素欠陥データ（画素の座標データ）をもとに、欠陥画素に対して、周囲画素の階調をもとに階調補正を行う。この周囲画素に基づく階調補正は既存の処理技術である。なお、画素欠陥補正回路１５の後段に示した後処理回路１６は、フレーム単位で各種の画像処理を行う機能回路であり、ここでは本発明に直接関係しないため、説明を省略する。

製品出荷前の事前処理（または使用者がその環境に合わせて別途実施しても良い）において、ＣＰＵ２０は、外部からの指示入力に従い、カメラ同期信号生成回路２１、およびメモリ制御回路２３，２４、２５を介して、撮像素子１１と、ダーク画像補正メモリ用正規化テーブル１３ａ、ハイライト画像補正メモリ用正規化テーブル１４ａ、補正データ格納用不揮発性メモリ１３ｆ、１４ｆ、および欠陥画素座標格納用不揮発性メモリ１５ａを動作制御し、上記各不揮発性メモリ１３ｆ、１４ｆに、それぞれ１フレーム分の８ビットの階調補正係数データを格納し、欠陥画素座標格納用不揮発性メモリ１５ａに欠陥画素の座標値を格納する。

この製品出荷前の事前処理（または使用者がその環境に合わせて別途実施しても良い）では、先ず、光電変換部１１ａの撮像面を遮光した状態で画像を撮影して、この撮影画像に基づくダークレベルの階調補正係数データの生成、格納処理を実施し、続いて、光電変換部１１ａの撮像面に、輝度値が飽和レベルに達する以前の５０乃至７０パーセント程度の予め設定した輝度値の均一光を照射した状態で画像を撮影して、この撮影画像に基づくハイライトレベルの階調補正係数データの生成、格納処理を実施する。さらにその後、欠陥画素の抽出および当該画素の座標値の格納処理を実施する。

ダーク画像補正メモリ用正規化テーブル１３ａは、光電変換部１１ａの撮像面を遮光した状態で撮影したダーク画像の各画素（有効画素）の階調データ（１０ビット；１０２４階調）が示す輝度値をもとに、光電変換部１１ａの全有効画素について、各画素毎に、予め設定した低階調側の階調範囲にレベル配分を偏らせた８ビット（２５６階調）の複数の屈折点をもつ非線形の階調補正係数データを生成し、この階調補正係数データを補正データ格納用不揮発性メモリ１３ｆに格納する。

ハイライト画像補正メモリ用正規化テーブル１４ａは、光電変換部１１ａの撮像面を予め設定した均一光で照射した状態で撮影したハイライト画像の各画素（有効画素）の階調データ（１０ビット；１０２４階調）が示す輝度値をもとに、光電変換部１１ａの全有効画素について、各画素毎に、予め設定した高階調側の階調範囲にレベル配分を偏らせた８ビット（２５６階調）の階調補正係数データを生成し出力し、この階調補正係数データを補正データ格納用不揮発性メモリ１４ｆに格納する。

ＣＰＵ２０は、画素欠陥処理を実施し、欠陥画素と判定した画素の座標値（光電変換部１１ａの画素位置）を欠陥画素座標格納用不揮発性メモリ１５ａに格納する。

ここで、本発明の実施形態に係るダークレベル補正回路１３およびハイライトレベル補正回路１４の具体的な処理動作の一例を図２乃至図１３を参照して説明する。

本発明の実施形態に係る撮像素子の輝度補正回路は、撮像素子１１から出力される画像信号の基準となるダーク信号の直流電圧レベルを保持（クランプ）するクランプ回路１２と、１画素毎にダークレベル、ハイライトレベルを補正するダークレベル補正回路１３およびハイライトレベル補正回路１４と、露光時間制御回路２２から出力されたシャッター速度に応じた露光時間補正係数データにより画素毎に階調を補正する露光時間補正処理部１３ｄ，１４ｄと、ダークレベル補正、ハイライトレベル補正で処理できない画素（画素欠陥）を補正する画素欠陥補正回路１５とを有する。

撮像素子１１（の光電変換部１１ａ）を、遮光した状態で撮影した場合のダークレベルのヒストグラムをみると、各画素の直流電圧成分のばらつきにより、出力信号レベルに開きを持ってしまう。図３は、上記撮影により撮像素子１１から出力されたアナログ信号を１０ビットＡ／Ｄ変換した場合のデジタル値をヒストグラムにした例を示したものである。なお、黒成分がゼロ以下にならないように任意のオフセット値を持たせてクランプしている。この例では約４０階調をクランプレベルとしている（図３において、縦軸は画素数、横軸は階調）。

同様に、撮像素子１１に、飽和しない均一な光（ハイライトレベル、ここでは７４４階調相当）を入光し、撮影した場合のヒストグラムを図４に示している。（図４において、縦軸は画素数、横軸は階調）
これらに関係するノイズは、面状に撮像するエリアセンサでは格子状の輝度ムラが、また線状に撮像するラインセンサとエリアセンサでは画素毎の輝度ムラが静的なノイズとなって現れている。これらのヒストグラムの開いた幅が狭ければ、これらの輝度ムラによるノイズは少なく、幅が広ければノイズが多いと言える。

上記図３に示したダークレベルのヒストグラムに対して本発明の実施形態による階調補正処理を施した場合のダークレベルのヒストグラムを図５に示している。この図５に示すように、約４０階調を中心に開きが少なくなり、ダークレベルの輝度ムラによるノイズが改善されたことが分かる（図５において、縦軸は画素数、横軸は階調）。

上記図４に示したハイライトレベルのヒストグラムに対して本発明の実施形態による階調補正処理を施した場合のハイライトレベルのヒストグラムを図６に示している。この図６に示すように、約７４４階調を中心に開きが少なくなり、ハイライトレベルの輝度ムラによるノイズが改善されたことが分かる（図６において、縦軸は画素数、横軸は階調）。

本発明の実施形態に係る輝度補正処理は、１）画像信号クランプ処理、２）ダークレベル補正処理と露光時間補正処理、３）ハイライトレベル補正処理と露光時間補正処理、４）画素欠陥補正処理の順に実施される。

［画像信号クランプ処理］
撮像素子１１から出力される画像信号に対して、クランプ回路１２により、ダークレベルの基準となる直流電圧レベルをデジタル値で保持することにより、後段の信号処理の安定化を促す。このダークレベルは０階調以下であってはならず、カメラの使用条件下で必ず０階調以上でなければならない。さもなければ正しい補正処理がなされなくなってしまう。撮像素子１１から光学的に常時完全に遮光された画素があれば、その画素のレベルを、そうでなければ通常の画素を遮光した状態で基準レベルを採取し、クランプ処理を行う。

［ダークレベル補正処理と露光時間補正処理］
ダークレベル補正処理は、事前の補正値生成処理と通常の撮像処理に分かれる。
１．補正値生成処理
補正値生成処理は次の手順で行われる。
１）ダーク画像撮像
ダーク画像の撮像は、撮像素子１１を完全に遮光した状態で撮像することである。この実施形態による例では１０ビット（１０２４階調）でＡ／Ｄ変換された信号を扱う。この撮像ではダークレベルが約４０階調を平均値としたレベルになるようにＡ／Ｄ変換器１１ｃの基準電圧を調整する。

２）正規化テーブル変換
撮像素子１１を使用したカメラでは、信号処理全般の効率化などのためデジタル信号処理を中心に行っている。撮像素子１１の受光部となる光電変換部１１ａからのアナログ信号はＡ／Ｄ変換器１１ｃによりデジタル信号に変換されてから後段の画像信号処理部を経て出力される。出力画像信号の画質を向上させるためには、このＡ／Ｄ変換の階調数を大きく取る必要がある。本発明の実施形態における説明では１０ビットＡ／Ｄ変換により１０２４階調のデジタル信号として取り上げているが、１２ビット（４０９６階調）、１４ビット（１６３８４階調）、１６ビット（６５５３６階調）といったデジタル信号により画像処理を行うことも多い。しかしながら、回路構成上、例えば９ビットから１５ビットの信号を扱う場合、これらをバイト（８ビット）を単位とした１６ビットのデータ（２バイトのデータ）として扱わなければならないことから、バス構成並びにメモリ構成を含め回路構成並びに処理が煩雑になる。

ダーク画像補正メモリ用正規化テーブル１３ａによる正規化テーブル変換では、回路の効率化のため、補正値が８ビット（１バイト）となるように効率的にテーブル変換を行い、補正データ格納用不揮発性メモリ１３ｆに格納するための（画像補正データ用フレームメモリ１３ｂにセットするための）データ生成を行う。

通常、１０ビット（１０２４階調）の信号であれば、図７に示すように、補正データを１０ビットのまま扱えば簡単な処理で実現可能である（図中の一点鎖線で示す「１０ビット直線補正値」参照）。しかし、１０ビット信号をそのまま補正データ格納用不揮発性メモリ１３ｆに格納しようとすると、補正データ格納用不揮発性メモリ１３ｆおよびダーク画像補正データ用フレームメモリ１３ｂがそれぞれ１画素を２バイト（１６ビット）の信号として扱わなければならず、非効率となってしまう。そこで、何とか８ビットになるような工夫が必要となる。ここで、図７示すように、簡単に１０ビットから８ビットに変換するためには、１０ビット側の信号を４分の１すれば実現する（図中の実線で示す「８ビット直線補正値」参照）。しかし、信号補正前のダークレベルのヒストグラム（図３参照）からも分かるように、画素の殆どが１２８階調以下に集まっており、２５６階調より上の階調をもつ画素は極端に少なく殆ど存在しない。しかも、図７に示す補正値を４分の１とすることにより、補正後の値にも補正ムラが出てしまう（図７において、縦軸は画素数、横軸は階調）。

また、単純に２５６階調までの補正を可能として、それ以上の階調補正を無視した場合、２５６階調以上のレベルを持つ画素は補正されない。

そこで、本発明の実施形態では、図７に示すような直線的な補正係数をとるのではなく、図８に実線の８ビット補正値で示すように、補正係数を低階調側に多く配分し、高階調側の係数配分を少なくするテーブルで変換することで、最適な８ビット補正係数を得る。このテーブルをダーク画像補正メモリ用正規化テーブル１３ａで実現している（図８に破線で示すヒストグラムにおいて、縦軸は画素数、横軸は階調、同図に一点鎖線、二点鎖線、実線で示す補正係数（１０ビット直線補正値、８ビット直線補正値、８ビット補正値）において、縦軸は正規化テーブル出力データ、横軸は正規化テーブル入力階調データ）。

この例に示す正規化テーブルは、入力１２８階調までは１分の１（テーブル値で１２８レベルまで）、入力２５６階調までは２分の１（テーブル値で１９２レベルまで）、入力５１２階調までは４分の１（テーブル値で２５６レベル）と変換している。

５１２階調以上つまり全階調の５０％以上のダークレベルをもつ画素は、補正量が大きくなってしまい、画質劣化を引き起こしかねないため、このような画素は欠陥画素として、前述した画素欠陥補正処理の対象画素とする。

この正規化テーブルの例では屈折点を３点有しているが、屈折点をもたない曲線的なカーブであってもよい。ただし、ヒストグラム（図３参照）の高い階調部分の係数が１対１になるように考慮すべきである。

３）ダーク画像補正データ用フレームメモリ書込み
この正規化テーブルを構成するダーク画像補正メモリ用正規化テーブル１３ａを経由して上記した８ビットの補正係数データを１フレーム分、補正データ格納用不揮発性メモリ１３ｆに格納する。この補正データ格納用不揮発性メモリ１３ｆに格納した１フレーム分の補正係数データは、通常使用における撮影時の初期設定処理においてダーク画像補正データ用フレームメモリ１３ｂに書き込まれる。

２．通常撮像処理
通常の撮像時における初期設定処理は次の手順で行われる。
１）ダーク画像補正データ用フレームメモリ読出し
ダーク画像補正データ用フレームメモリ１３ｂの読出しのタイミングは、撮像素子から出力される撮像同期信号と一致したタイミングである必要がある。ただし、正規化テーブル逆変換を行うための遅延時間を考慮し、ダーク画像補正演算処理で一致する座標となる読出しを行う。

２）正規化テーブル逆変換
正規化テーブル変換時の逆変換を行い、ダーク画像補正演算処理用の演算値を得る。

正規化テーブル変換は、図８に実線（８ビット補正値）で示したように、１２８階調までは１分の１（テーブル値で１２８レベルまで）、２５６階調までは２分の１（テーブル値で１９２レベルまで）、５１２階調までは４分の１（テーブル値で２５６レベル）と変換したことから、逆変換においては、ダーク画像補正データ用フレームメモリ１３ｂから読み出された８ビットデータを、図９に示すように、１２８階調までは１倍、１９２階調までは２倍、２５６階調までは４倍することで実現する。つまり、１２８階調までは1階調毎の補正が可能であり、さらに２５６階調までは２階調毎の補正、そして５１２階調までは４階調毎の補正ができる値を生成している。

それ以上のダークレベルを持つ画素は欠陥画素として前述した画素欠陥補正処理の対象画素とする。

図９は、ダーク画像補正データ用フレームメモリ１３ｂから読み出された８ビットのデータを逆変換するテーブル変換値の例を示す。上述のように５１２階調を超える値は画素欠陥補正処理を行うことから、この変換テーブルも５１２階調までを補正する値としている（図９において、縦軸は正規化テーブル出力階調データ、横軸は変換テーブル入力データ）。

３）露光時間補正処理
ダークレベルは、一般的に撮像素子の露光時間や露光待機時間、周囲温度などによっても変化する。ここでは露光時間の変化に伴い変動するダークレベルを補正する処理を行う。

露光時間とダークレベルの関係は、図１０に示すように、露光時間が長くなるに従い撮像素子の暗電流の影響などによりダークレベルも上昇する。従って、露光時間を係数として補正することで、露光時間の可変によるダークレベル変動を抑えることができる（図１０において、縦軸は階調、横軸は露光時間μsec）。

このダークレベル変動は露光時間によりオフセット分として変動しているものであり、補正値としては、ダーク画像補正用逆変換テーブル１３ｃから得られたデータ（１０ビット）に露光時間補正分を加減算することで、ダーク画像補正データを得る。

４）ダーク画像補正処理
クランプ回路１２から出力された撮像出力信号と上記したダーク画像補正データを減算処理することでダークレベルが補正された画像を得ることができる。

このようにして、ダークレベル補正回路１３でダークレベルを補正した画像信号は、次段のハイライトレベル補正回路１４に入力される。

［ハイライトレベル補正処理と露光時間補正処理］
ハイライトレベル補正処理は、事前の補正値生成処理と通常の撮像処理に分かれる。
［補正値生成処理］
補正値生成処理は次の手順で行われる。
１）ハイライト画像撮像
ハイライト画像の撮像は、まずダークレベル補正処理を施した（上述した）状態とし、次に撮像素子１１の全ての有効画素に対して、光電変換部１１ａの各画素出力が飽和しない均一な一定の光量を照射し、その光照射状態で画像（ハイライト画像）を撮影する。この例では１０ビット信号のときの撮影において、図１１に示すように、ハイライトレベルが７４４階調を平均値とするレベルになるように照射光量を調整した状態で撮影を行う。

２）正規化テーブル変換
ハイライト画像補正メモリ用正規化テーブル１４ａによるハイライトレベル補正処理では、基準となる輝度階調（ここでは７４４階調）に対して正負である一定の階調を超える画素を画素欠陥として扱うこととし、それ以内の変動階調に対して有効に補正するためのテーブルを生成する。ここでは、図１１に示すように、有効な階調変動分を基準レベルの７４４階調に対して−３０％（５２０階調）から＋３０％（９６７階調）の輝度変動を持つ画素が充分に補正出来るように考慮する（図１１において、縦軸、横軸は階調）。

［通常撮像処理］
通常撮像処理は次の手順で行われる。
ハイライト部分の補正を行うためには乗算器を使用した補正が有効である。

ハイライト画像補正メモリ用正規化テーブル１４ａによるハイライトレベル補正では、補正対象階調を基準階調に近付けるようにゲイン補正をする。例えば、図１２に示すように、基準レベルが７４４階調であるときに補正対象画素の輝度レベルが５２０階調の場合、乗算にて約１．４３倍することで約７４４階調を得ることができる。同じく９６７階調の場合は、約０．７７倍すると約７４４階調となる。従って、ハイライトレベル補正用乗算器は最低でも０．７７倍から１．４３倍の演算ができる必要がある（図１２において、縦軸、横軸は階調）。

また、上述したダークレベル補正と同様に、補正用フレームメモリの無駄を省くため、補正係数が８ビットになるようなテーブルデータを生成する。

この乗算器に必要な最小倍率は、７４４階調／９６７階調＝０．７７倍であるが、余裕度を考慮して、７４４階調／１０２３階調＝０．７３倍が可能な演算ができるようにする。演算係数を８ビットとすると、０．７３×２５６＝１８６となり、これがゲイン最小係数となる。同じく最大倍率については、１．４４×２５６＝３６９が最大係数となる。しかし、この数値は８ビットでは扱えないため、これらの係数からオフセット分を差し引くことで８ビット係数で収まるようにする（図１３に示す正規化テーブル（ＥＮＣ）および逆変換テーブル（ＤＥＣ）とオフセット分に相当する基底値参照）。この場合、最小係数である１８６を係数テーブルの０となるように考えると、最大係数３６９−最小係数１８６＝１８３となるため、８ビットの値の係数で表現できる２５６テーブル以下になる。この際の、ハイライト基準レベル（基準（ハイライト））と、オフセット分（基底値）と、正規化テーブル（ＥＮＣ）と、逆変換テーブル（ＤＥＣ）との関係を、１０ビット直線階調補正係数（１０ｂｉｔ）と対比させて図１３に示している。なお、正規化テーブル（ＥＮＣ）はハイライト画像補正メモリ用正規化テーブル１４ａにより実現され、逆変換テーブル（ＤＥＣ）はハイライト画像補正用逆変換テーブル１３ｃにより実現される。

上記したように、１バイトを超えるビット数で構成された画素毎の画像信号に対し、１バイトを超えないビット数で構成されたダークレベルおよびハイライトレベルの階調補正係数を保持して、この階調補正係数を用い撮像素子１１から出力された画像信号を画素毎にダークレベル、ハイライトレベルの順で階調補正する撮像素子の輝度補正回路を設けたことにより、簡素なハードウェア構成にて高速処理による多値階調の輝度補正を可能にし、これによって輝度ムラのない高精細な高画質の撮影画像を取得することができる。

１１…撮像素子、１１ａ…光電変換部（イメージセンサ部）、１１ｂ…アナログ信号前処理部、１１ｃ…Ａ／Ｄ変換部、１１ｄ…水平・垂直駆動部、１１ｅ…センサ同期信号生成部、１２…クランプ回路（V-CLAMP）、１３…ダークレベル補正回路、１３ａ…ダーク画像補正メモリ用正規化テーブル、１３ｂ…ダーク画像補正データ用フレームメモリ、１３ｃ…ダーク画像補正用逆変換テーブル、１３ｄ…露光時間補正処理部、１３ｅ…ダーク画像信号補正演算部、１３ｆ…補正データ格納用不揮発性メモリ、１４…ハイライトレベル補正回路、１４ａ…ハイライト画像補正メモリ用正規化テーブル、１４ｂ…ハイライト画像補正データ用フレームメモリ、１４ｃ…ハイライト画像補正用逆変換テーブル、１４ｄ…露光時間補正処理部、１４ｅ…ハイライト画像信号補正演算部、１４ｆ…補正データ格納用不揮発性メモリ、１５…画素欠陥補正回路、１５ａ…欠陥画素座標格納用不揮発性メモリ、１５ｂ…欠陥画素座標再生用メモリ、１５ｃ…画素欠陥補正処理部、１６…後処理回路、２０…ＣＰＵ、２１…カメラ同期信号生成回路、２２…露光時間制御回路、２３，２４，２５…メモリ制御回路。

Claims (9)

1. エリアイメージセンサを構成する撮像素子から出力される画像信号の基準となるダーク信号の直流電圧レベルを保持するクランプ回路と、
   前記クランプ回路の後段に設けられ、前記撮像素子から出力される１バイトを超える階調ビット数ｎで構成された１画素毎の画像信号に対して、予め設定した低階調側の階調範囲にレベル配分を偏らせた、前記画像信号の階調ビット数ｎより少ない階調ビット数ｍ（ｍ＜ｎ）で構成され、かつ低階調側の補正係数が高階調側の補正係数より多く配分した非線形の階調補正係数を用い、前記画像信号の階調を１画素毎に補正するダークレベル補正回路と、
   前記ダークレベル補正回路の後段に設けられ、前記撮像素子から出力される１画素毎の画像信号に対して、予め設定した高階調側の階調範囲にレベル配分を偏らせた、前記階調ビット数ｍの階調補正係数を用い、前記画像信号の階調を１画素毎に補正するハイライトレベル補正回路と、
   前記ハイライトレベル補正回路の後段に設けられ、前記撮像素子の欠陥画素を座標値で保持する欠陥画像座標保持手段によって座標指定された画素欠陥に対して、その輝度値を周囲画素の輝度値をもとに補間処理する画素欠陥補正処理部と、
   を具備したことを特徴とする撮像素子の輝度補正回路。
2. 前記ダークレベル補正回路は、
   前記撮像素子の全有効画素について、各画素毎に、前記階調ビット数ｍで構成され、かつ低階調側の補正係数が高階調側の補正係数より多く配分した非線形の階調補正係数を格納し、撮影動作に同期して前記全有効画素の階調補正係数を出力するダーク画像補正データ用フレームメモリと、
   前記ダーク画像補正データ用フレームメモリから出力された階調ビット数ｍの階調補正係数を前記階調ビット数ｎに変換するダーク画像補正用変換テーブルと、
   前記撮像素子から出力された画像信号を前記ダーク画像補正用変換テーブルから出力された前記階調補正係数を用いて減算処理により階調補正するダーク画像信号補正演算部と、
   を具備したことを特徴とする請求項１に記載の撮像素子の輝度補正回路。
3. 前記ダークレベル補正回路は、
   前記撮像素子から出力される画像信号をもとに前記階調ビット数ｍで構成され、かつ低階調側の補正係数が高階調側の補正係数より多く配分した非線形の階調補正係数を生成するダーク画像補正メモリ用正規化テーブルと、
   前記ダーク画像補正メモリ用正規化テーブルで生成した階調補正係数が格納され、撮影時の初期設定処理に前記ダーク画像補正データ用フレームメモリへ前記階調補正係数が出力されるダーク画像補正用不揮発性メモリと、
   をさらに有することを特徴とする請求項２に記載の撮像素子の輝度補正回路。
4. 前記ダークレベル補正回路は、
   前記撮像素子の遮光時の露光時間に対するダークレベル変動量に従う露光時間補正係数を出力する露光時間制御回路をさらに具備し、
   前記ダーク画像信号補正演算部は、前記露光時間制御回路から出力された露光時間補正係数を含んで階調補正を行うことを特徴とする請求項２に記載の撮像素子の輝度補正回路。
5. 前記ハイライトレベル補正回路は、
   前記撮像素子の全有効画素について、各画素毎に、予め設定した高階調側の階調範囲にレベル配分を偏らせた前記階調ビット数ｍの階調補正係数を格納し、撮影動作に同期して前記全有効画素の階調補正係数を出力するハイライト画像補正データ用フレームメモリと、
   前記ハイライト画像補正データ用フレームメモリから出力された階調ビット数ｍの階調補正係数を前記階調ビット数ｎに変換するハイライト画像補正用変換テーブルと、
   前記撮像素子から出力された画像信号を前記ハイライト画像補正用変換テーブルから出力された前記階調補正係数を用いて乗算処理により階調補正するハイライト画像信号補正演算部と、
   を具備したことを特徴とする請求項１に記載の撮像素子の輝度補正回路。
6. 前記ハイライトレベル補正回路は、
   前記撮像素子から出力される画像信号をもとに前記階調ビット数ｍで構成された予め設定した基準階調を中心とした階調補正範囲の低階調側と高階調側とで演算倍率を異ならせた階調補正係数を生成するハイライト画像補正メモリ用正規化テーブルと、
   前記ハイライト画像補正メモリ用正規化テーブルで生成した前記階調補正係数が格納され、撮影時の初期設定処理に前記ハイライト画像補正データ用フレームメモリへ前記階調補正係数が出力されるハイライト画像補正用不揮発性メモリと、
   をさらに有することを特徴とする請求項５に記載の撮像素子の輝度補正回路。
7. 前記ダーク画像補正用不揮発性メモリに格納された階調補正係数は、前記撮像素子の撮像面を遮光した状態で撮影したダークレベルのヒストグラムに基づいて生成されたことを特徴とする請求項３に記載の撮像素子の輝度補正回路。
8. 前記ハイライト画像補正用不揮発性メモリに格納された階調補正係数は、前記撮像素子の撮像面に、予め設定した飽和しない均一な光を入光し、撮影したハイライトレベルのヒストグラムに基づいて生成されたことを特徴とする請求項６に記載の撮像素子の輝度補正回路。
9. 前記ハイライトレベル補正回路は、
   前記撮像素子の遮光時の露光時間に対するハイライトレベル変動量に従う露光時間補正係数を出力する露光時間制御回路をさらに具備し、
   前記ハイライト画像信号補正演算部は、前記露光時間制御回路から出力された露光時間補正係数を含んで階調補正を行うことを特徴とする請求項５に記載の撮像素子の輝度補正回路。

Images