JP2006157341A - 固体撮像素子のスミア補正方法、固体撮像素子の信号処理装置および撮像装置 - Google Patents

Abstract

【課題】映像期間の信号から垂直ブランキング期間の信号を単純に減算するようにした場合、ＡＧＣのゲインを上げると、垂直ブランキング期間の信号にスミアではなくノイズが乗っていると、そのノイズも増幅されることによってスミア成分として見なして映像期間の信号から減算する誤補正が行われる。
【解決手段】スミアの補正において、映像期間の撮像信号から、スミア検出器２１１で検出したスミア検出値をそのまま減算するのではなく、乗算器２１２で当該スミア検出値に補正係数を乗じることによって得られるスミア補正値を減算器２１４で減算する一方、当該スミア補正値を例えば被写体像の明るさに応じて設定する、例えば暗い被写体像になるにしたがってスミア補正値を小さくしていき、被写体光量がしきい値以下のときにスミア補正値を最小に設定する。
【選択図】図２

Description

本発明は、固体撮像素子のスミア補正方法、固体撮像素子の信号処理装置および撮像装置に関する。

ここで、撮像装置とは、撮像デバイスとしての固体撮像素子、当該固体撮像素子の撮像面上に被写体の像光を結像させる光学系および当該固体撮像素子の信号処理回路を含むカメラモジュールや、当該カメラモジュールを搭載したカメラシステムを言うものとする。

固体撮像素子、特にＣＣＤ(Charge Coupled Device)イメージセンサに代表される電荷転送型の固体撮像素子固有の現象としていわゆるスミアがある。ここに、スミアとは、撮像画中に非常に輝度の高い（明るい）被写体（例えば、太陽、車のライトなど）が存在すると、当該被写体の像光によって励起された電荷が周辺画素や垂直転送部へ漏れ込むことにより、撮像画の上下方向（垂直方向）にできる縦筋状の輝線である。このスミアは、画質を劣化させる一因となる。

ＣＣＤイメージセンサにおいて、非常に明るい被写体の像光によって励起された電荷が例えば垂直転送部へ漏れ込むと、これに起因するスミア成分は、画素の信号が実際に撮像信号として用いられる有効画素領域（映像期間に対応する領域）のみならず、画素が光学的に遮光された画素領域であるいわゆるオプティカルブラック領域（垂直ブランキング期間に対応する領域）にも及ぶ。ここで、オプティカルブラック領域には、被写体からの像光の入力がない訳であるから、オプティカルブラック領域の垂直転送部には、原理的に、スミア成分のみが存在することになる。

この点に鑑み、スミアによる画質劣化を改善するために、従来は、映像期間に得られるスミア成分を含む撮像信号から垂直ブランキング期間に得られる信号、即オプティカルブラック領域の信号をスミア成分とみなして減算し、本来の撮像信号のみを取り出すことによってスミア補正を行っていた（例えば、特許文献１参照）。

特開平４−３３４２７４号公報

しかしながら、映像期間の信号から垂直ブランキング期間の信号を単純に減算する構成を採る上記従来技術では、例えば周囲環境が暗い状態での撮像時に、ＡＧＣ(Automatic Gain Control)の制御量（ゲイン）を上げる制御が行われると、垂直ブランキング期間の信号にスミアではなくノイズが乗っている場合には、そのノイズも増幅されることによってスミア成分として見なして映像期間の信号から減算する誤補正が行われることになるために、その誤補正により却って縦筋が発生するなど、画面全体の画質が劣化してしまう場合があった。

本発明は、上記課題に鑑みてなされたものであって、その目的とするところは、スミアの誤補正による画質劣化を防止することが可能な固体撮像素子のスミア補正方法、固体撮像素子の信号処理装置および撮像装置を提供することにある。

上記目的を達成するために、本発明では、スミア信号を検出し、当該スミア信号に基づくスミア補正値を任意に、好ましくは被写体像の明るさに応じて設定するとともに、この設定したスミア補正値を映像期間の撮像信号から減算することで、スミア補正を行うようにしている。

スミアの補正において、映像期間の撮像信号から、検出したスミア信号をそのまま減算するのではなく、当該スミア信号に基づいて設定したスミア補正値を減算する一方、当該スミア補正値を例えば被写体像の明るさに応じて設定する、例えば周囲環境が暗い状態で撮像を行うとき、即ち被写体像の明るさが暗いとき、スミア補正値を通常の撮像時よりも低く設定する。これにより、垂直ブランキング期間の信号にスミアではなくノイズが乗っている場合に、ＡＧＣによってそのノイズが増幅されたとしても、当該ノイズ成分がそのままスミア成分として映像期間の撮像信号から減算されるのではなく、低く設定されたスミア補正値が減算される。その結果、スミアの誤補正が行われるのを回避できる。

本発明によれば、特に周囲環境が暗い状態での撮像時において、スミアの誤補正が行われるのを回避できるため、当該誤補正による画質劣化を防止し、高画質の撮像画像を得ることができる。

以下、本発明の実施の形態について図面を参照して詳細に説明する。

図１は、本発明に係る撮像装置の構成例を示すシステムブロック図である。図１において、被写体（図示せず）から入射した像光は、レンズ１１を含む光学系によって固体撮像素子、例えばＣＣＤイメージセンサ１２の撮像面（受光面）上に結像される。

ＣＣＤイメージセンサ１２は、周知の通り、光電変換素子を含む画素の信号が実際に撮像信号として用いられる有効画素領域（映像期間に対応する領域）と、画素が光学的に遮光されたオプティカルブラック領域（垂直ブランキング期間に対応する領域）とを有し、当該オプティカルブラック領域の信号を黒レベルの基準信号として出力するとともに、有効画素領域に入射した像光を画素単位で光電変換して撮像信号として出力する。

このＣＣＤイメージセンサ１２は、ＣＣＤ駆動回路１３により、画素の各々で光電変換された信号電荷の垂直転送部への読出し駆動や、垂直転送部および水平転送部の転送駆動や、信号電荷の電気信号への変換などの駆動が行われる。ＣＣＤイメージセンサ１２から出力される撮像信号は、アナログフロントエンド（ＡＦＥ）部１４において、ＣＤＳ(Correlated Double Sampling;相関二重サンプリング)や、ＡＧＣ(Automatic Gain Control;自動利得制御)などの処理が施された後、映像信号処理回路２０に供給される。

映像信号処理回路２０は、本発明に係るスミア補正回路２１、輝度検出部２２、シンクジェネレータ２３、タイミングジェネレータ２４およびコントローラ２５等によって構成されている。

スミア補正回路２１は、原理的に、垂直ブランキング期間（オプティカルブラック領域に対応する期間）の信号からスミアを検出し、そのスミア成分を映像期間（有効画素領域に対応する期間）の撮像信号から減算することによってスミア補正を行うものであり、その詳細については後述する。

輝度検出部２２は、ある一定期間、例えば１フレーム期間の輝度信号成分を積分し、複数フレーム（例えば、１５フレーム程度）分の加重平均値をとることによって被写体像の輝度（明るさ）に応じた輝度情報（明るさ情報）を得てコントローラ２５に与える。

シンクジェネレータ２３は、本システム全体の動作の基準となる垂直同期信号ＶＤや水平同期信号ＨＤを生成し、スミア補正回路２１、輝度検出部２２、タイミングジェネレータ２４等に与える。

タイミングジェネレータ２４は、垂直同期信号ＶＤや水平同期信号ＨＤに基づいて、ＣＣＤ駆動回路１３を介してＣＣＤイメージセンサ１２を駆動するための種々のタイミング信号、例えば読み出しパルス、垂直転送パルス、水平転送パルス、シャッタパルス等のパルス信号を生成する。

コントローラ２５は、例えばマイクロコンピュータ（以下、マイコンと記す）によって構成され、本発明に係るスミア補正のための制御を含むシステム全体の制御を司る。具体的には、輝度検出部２２から与えられる輝度情報に応じて、アナログフロントエンド部１４におけるＡＧＣのゲインを決めるＡＧＣ量や、電子シャッタ動作時のシャッタ速度を決めるシャッタ値などを設定する制御の他、後述するスミア補正のためのスミア補正値を決める補正係数を設定する制御などを行う。

なお、不揮発性メモリ１５には、ＣＣＤイメージセンサ１２やアナログフロントエンド部１４の特性、後述するスミア検出器２１１の性能に対応させて設定されたスミア補正値の調節量が保存（格納）されており、コントローラ２５は、スミア補正を行うに当たって、不揮発性メモリ１５に保存されている調節量を基に、スミア補正値を決める補正係数の設定を行う。

図２は、スミア補正回路２１の構成の一例を示すブロック図である。図２から明らかなように、本例に係るスミア補正回路２１は、スミア検出器２１１、乗算器２１２、補正係数レジスタ２１３および減算器２１４によって構成されている。

ＣＣＤイメージセンサ１２から出力される撮像信号のうち、オプティカルブラック領域の信号は、後段の信号処理において、黒レベルの基準信号として用いられるものである。一方、撮像画中に太陽、車のライトなど、非常に輝度の高い（明るい）被写体が存在したときには、当該被写体の像光によって励起された電荷が周辺画素や垂直転送部へ漏れ込むことによって発生するスミアがオプティカルブラック領域にも及ぶため、このスミア信号がオプティカルブラック領域の信号に重畳されることになる。

スミア検出器２１１は、ＣＣＤイメージセンサ１２から出力される撮像信号のうち、オプティカルブラック領域の信号を、垂直ブランキング期間を示す垂直ブランキング信号ＶＢＬＫに同期して検出する。具体的には、オプティカルブラック領域の信号から黒レベルを差し引いた残りの信号がスミア信号（スミア成分）となるため、当該スミア信号を検出して内部のメモリ（図示せず）に格納する。

乗算器２１２は、スミア検出器２１１で検出されたスミア検出値に、補正係数レジスタ２１３から与えられる補正係数を乗じて得た乗算結果をスミア補正値として減算器２１４に供給する。補正係数レジスタ２１３には、図１のコントローラ２５により、不揮発性メモリ１５に保存されているスミア補正値の調節量を基に、被写体像の明るさに応じて設定されたスミア補正値を決める補正係数が格納されている。

すなわち、コントローラ２５、乗算器２１２および補正係数レジスタ２１３は、スミア検出器２１１で検出されたスミア信号に基づくスミア補正値を任意に、具体的には被写体像の明るさ（輝度）に応じて設定可能な設定手段を構成している。

減算器２１４は、映像期間（有効画素領域に対応する期間）において、ＣＣＤイメージセンサ１２から出力される撮像信号（スミア発生時にはスミア信号が重畳されている）から、乗算器２１２の乗算結果であるスミア補正値を減算する。これにより、減算器２１４の減算結果として、映像期間の撮像信号から当該撮像信号に重畳されているスミア信号を除去するスミア補正後の映像信号が得られる。

ここで、被写体像の明るさに応じたスミア補正値の設定について、被写体光量−補正係数の関係を示す図３を用いて、図４のフローチャートに沿ってより具体的に説明する。このスミア補正値を設定するための処理は、コントローラ２５を構成するマイコンによって実行されることになる。

本処理のためのサブルーチンが呼び出されると、マイコンは、輝度検出部２２から被写体像の明るさを示す輝度積分値(輝度情報)を取り込み（ステップＳ１１）、輝度積分値について複数フレーム（例えば、１５フレーム）分の加重平均値を求めて当該加重平均値に基づいて、電子シャッタのシャッタ速度を決めるシャッタ値と、アナログフロントエンド部１４におけるＡＧＣのゲインを決めるＡＧＣ量を算出する(ステップＳ１２)。

輝度積分値とＡＧＣ量との関係について説明すると、図３に示すように、輝度積分値≦Ｖｔｈ1のとき、即ち撮像対象が暗い被写体像のときにはＡＧＣ量として最大値が設定され、輝度積分値≧Ｖｔｈ２のとき、即ち撮像対象が明るい被写体像のときにはＡＧＣ量として最小値が設定され、Ｖｔｈ1＜輝度積分値＜Ｖｔｈ２の範囲では、輝度積分値が大きくなるにつれて、即ち被写体像の明るさが明るくなるにつれてＡＧＣ量が最大値から最小値に向けて徐々に、例えばリニアに減少することになる。

マイコンは、シャッタ値およびＡＧＣ量の算出後、当該ＡＧＣ量を基に被写体光量（被写体像の明るさ）が第１しきい値Ｖｔｈ1以下か否かを判断し（ステップＳ１３）、被写体光量≦Ｖｔｈ1のとき、即ち撮像対象が暗い被写体像のときは、スミア検出器２１１で検出されたスミア検出値が、ＡＧＣ量が最大であることによってノイズの影響が最も大きくなり、スミア信号値として信頼性が極めて低いために、スミア検出値に乗じる補正係数として最小値、例えば０．２０を設定する(ステップＳ１４)。

次いでマイコンは、ＡＧＣ量を基に被写体光量が第２しきい値Ｖｔｈ２以上か否かを判断し（ステップＳ１５）、被写体光量≧Ｖｔｈ２のとき、即ち撮像対象が明るい被写体像のときは、スミア検出器２１１で検出されたスミア検出値が、ＡＧＣ量が最小であることによってスミア信号値として信頼性が極めて高いために、スミア検出値に乗じる補正係数として最大値、例えば１．００を設定する(ステップＳ１６)。これにより、スミア検出値＝スミア補正値となる。

被写体光量≦Ｖｔｈ1でも、被写体光量≧Ｖｔｈ２でもない、即ちＶｔｈ1＜被写体光量＜Ｖｔｈ２と判定したときは、暗い被写体像になるにしたがってＡＧＣ量が増大することによってノイズの影響が大きくなり、スミア検出値がスミア信号値として信頼性が低くなるため、被写体光量が小さくなるにしたがって、即ち被写体像の明るさが暗くなるにしたがって補正係数を徐々に、例えばリニアに小さくしていき（ステップＳ１７）、スミアの補正を消極的にする。

上述したように、スミアの補正において、映像期間の撮像信号から、スミア検出器２１１で検出したスミア検出値をそのまま減算するのではなく、乗算器２１２で当該スミア検出値に補正係数を乗じることによって得られるスミア補正値を減算器２１４で減算する一方、当該スミア補正値を例えば被写体像の明るさに応じて設定する、例えば暗い被写体像になるにしたがってスミア補正値を小さくしていき、被写体光量が第１しきい値Ｖｔｈ１以下のときにスミア補正値を最小に設定し、スミアの補正を消極的にすることにより、スミアの誤補正が行われるのを回避できる。

すなわち、垂直ブランキング期間の信号にスミアではなくノイズが乗っている場合に、ＡＧＣによってそのノイズが増幅されたとしても、当該ノイズ成分をそのままスミア成分として検出して映像期間の撮像信号から減算するのではなく、スミア検出器２１１で検出したスミア検出値に、明るい被写体像の場合よりも低く設定した補正係数を乗じることによってスミア補正値を低く設定してスミアの補正を消極的にし、当該スミア補正値を減算することで、ノイズ成分をそのままスミア成分として映像期間の撮像信号から減算する誤補正が行われることはない。

このようにして、スミアの誤補正を回避できることにより、特に周囲環境が暗い状態での撮像時において、垂直ブランキング期間の信号にスミアではなくノイズが乗っている場合でも、当該ノイズの影響による縦筋などの不自然な画像の撮像を防止することができるため、高画質の撮像画像を得ることができる。

また、スミア検出器２１１で検出したスミア信号値に乗じる補正係数については、図３の第１しきい値Ｖｔｈ１に対応するＡ点の値、第２しきい値Ｖｔｈ２に対応するＢ点の値を、ＣＣＤイメージセンサ１２やアナログフロントエンド部１４の特性、スミア検出器２１１の性能に対応させて設定しかつ不揮発性メモリ１５（図１を参照）にスミア補正値の調節量として保存しておき、当該調整量を基に補正係数を設定することで、ＣＣＤイメージセンサ１２やアナログフロントエンド部１４の特性、スミア検出器２１１の性能によるスミア検出値の違いを吸収することが可能になる。

本発明に係る撮像装置の構成例を示すシステムブロック図である。 スミア補正回路の構成の一例を示すブロック図である。 被写体光量−補正係数の関係を示す図である。 被写体像の明るさに応じてスミア補正値を設定する処理の手順を示すフローチャートである。

符号の説明

１１…レンズ、１２…ＣＣＤイメージセンサ、１３…ＣＣＤ駆動回路、１４…アナログフロントエンド（ＡＦＥ）部、１５…不揮発性メモリ、２０…映像信号処理回路、２１…スミア補正回路、２２…輝度検出部、２３…シンクジェネレータ、２４…タイミングジェネレータ、２５…コントローラ、２１１…スミア検出器、２１２…乗算器、２１３…補正係数レジスタ、２１４…減算器

Claims (8)

1. スミア信号を検出し、当該スミア信号に基づくスミア補正値を任意に設定可能な第１ステップと、
   前記第１ステップで設定した前記スミア補正値を映像期間の撮像信号から減算する第２ステップと
   を有することを特徴とする固体撮像素子のスミア補正方法。
2. 前記第１ステップでは、前記スミア補正値を被写体像の明るさに応じて設定する
   ことを特徴とする請求項１記載の固体撮像素子のスミア補正方法。
3. 固体撮像素子から出力される撮像信号からスミア信号を検出するスミア検出手段と、
   前記スミア検出手段で検出された前記スミア信号に基づくスミア補正値を任意に設定可能な設定手段と、
   前記設定手段で設定された前記スミア補正値を映像期間の撮像信号から減算する減算手段と
   を備えたことを特徴とする固体撮像素子の信号処理装置。
4. 前記設定手段は、前記スミア補正値を被写体像の明るさに応じて設定する
   ことを特徴とする請求項３記載の固体撮像素子の信号処理装置。
5. 前記設定手段は、
   前記スミア検出手段で検出された前記スミア信号に補正係数を乗算する乗算手段と、
   被写体像の明るさに応じて前記補正係数を制御する制御手段とを有する
   ことを特徴とする請求項４記載の固体撮像素子の信号処理装置。
6. 前記スミア補正値の調節量を格納する記憶手段を有し、
   前記設定手段は、前記記憶手段に格納されている前記調節量に基づいて前記スミア補正値を設定する
   ことを特徴とする請求項３記載の固体撮像素子の信号処理装置。
7. 固体撮像素子と、
   前記固体撮像素子の撮像面上に被写体の像光を結像させる光学系と、
   固体撮像素子から出力される撮像信号からスミア信号を検出し、当該スミア信号に基づくスミア補正値を任意に設定して映像期間の撮像信号が減算する信号処理回路と
   を備えたことを特徴とする撮像装置。
8. 前記信号処理回路は、前記スミア補正値を被写体像の明るさに応じて設定する
   ことを特徴とする請求項７記載の撮像装置。
   

Images