JP5219778B2 - 撮像装置及びその制御方法 - Google Patents

Description

本発明は、撮像装置及びその制御方法に関し、更に詳しくは、ダークシェーディング補正を行う撮像装置及びその制御方法に関する。

従来から、デジタルカメラなどの撮像装置に用いられるＣＣＤセンサやＣＭＯＳセンサ等の撮像素子において、暗電流ノイズを補正するために、様々なダークシェーディング補正方法が提案されている。

図６は、従来のダークシェーディング補正を行うデジタルカメラの機能構成の一例を示す概略ブロック図である。図６に示すカメラにおいて、露出制御動作で決定された撮影条件（絞り、シャッタースピード、感度）で撮像素子１００１により被写体を撮影して、撮像素子１００１から蓄積された電荷信号を読み出す。読み出された電荷信号はＡ／Ｄ変換器１００２でデジタル信号に変換され、バッファメモリ１００３に画像信号（以下、「被写体画像信号」と呼ぶ。）として記録される。次に、同じ撮影条件で、撮像素子１００１を遮光した状態で撮影を行い、得られた電荷信号をＡ／Ｄ変換器１００２でデジタル信号に変換する。このようにして得られた画像信号を、以下、「黒画像信号」と呼ぶ。

Ａ／Ｄ変換器１００２から黒画像信号が出力されるのと同時に、バッファメモリ１００３に蓄積された被写体画像信号が読み出される。そして、減算回路１００４において被写体画像信号から黒画像信号を減算することにより、ダークシェーディング補正を行う。ダークシェーディング補正された被写体画像信号は、オフセット回路１００５にて任意のオフセット値（例えば１０ビット信号で３２ＬＳＢ程度）が加算される。オフセット値が加算された被写体画像信号は信号処理回路１００６に送られ、１枚の画像の画像信号が生成される。このようにして生成された画像信号は、ＳＤカードなどの汎用の記憶媒体１００７に蓄積される。

しかしながら上述したダークシェーディング補正方法では、２枚の画像の画像信号（被写体画像信号、黒画像信号）を用いるため、ダークシェーディング補正を行わない場合と比較して、ランダムノイズが√２倍増えてしまう。また２枚の画像の撮影動作及び読み出しを行うため、撮影終了までに時間がかかってしまう。

特許文献１に記載された発明では、黒画像信号を複数ブロックに分割して、ブロック毎に信号を積算し、積算した信号を被写体画像の解像度に応じて拡大してから、被写体画像から差し引くことが提案されている。この方法によれば、黒画像信号のランダムノイズが低減されるため、ダークシェーディング補正後の画像信号におけるノイズ劣化をほぼ無くすことができる。

特開平１１−２８９４９４号公報

しかしながら、特許文献１に記載された方法でも、１枚の被写体画像の画像信号を得るために、画像信号の撮影動作及び読み出し動作は、図６を参照して上述した方法と同様に２回ずつ実施される。そのため、撮影終了までに時間がかかり、連写撮影時には、連写スピードが大幅に落ちてしまうという問題点があった。

本発明は上記問題点を鑑みてなされたものであり、より高速にダークシェーディング補正を行うことを目的とする。また、ダークシェーディング補正により起こる不必要なＳＮ劣化を防ぐことを更なる目的とする。

上記課題を解決するために、本発明の撮像装置は、光電変換して電荷信号を出力する撮像素子と、前記撮像素子を露光した状態で読み出した電荷信号から得られる被写体画像信号から前記撮像素子を遮光した状態で読み出した電荷信号から得られる黒画像信号を減算する減算手段と、撮影感度を設定する設定手段と、前記黒画像信号を取得するために前記撮像素子を遮光した状態で電荷信号を読み出す際に、前記設定手段により設定される前記撮影感度に応じた間引き率で、前記撮像素子から前記電荷信号を間引いて読み出すように制御する制御手段と、を有する。

また、光電変換して電荷信号を出力する撮像素子を有する撮像装置の本発明の制御方法は、減算手段が、前記撮像素子を露光した状態で読み出した電荷信号から得られる被写体画像信号から前記撮像素子を遮光した状態で読み出した電荷信号から得られる黒画像信号を減算する減算工程と、設定手段が、撮影感度を設定する設定工程と、制御手段が、前記黒画像信号を取得するために前記撮像素子を遮光した状態で電荷信号を読み出す際に、前記設定工程により設定される前記撮影感度に応じた間引き率で、前記撮像素子から前記電荷信号を間引いて読み出すように制御する制御工程と、を有する。

本発明によれば、より高速にダークシェーディング補正を行うことができる。また、ダークシェーディング補正により起こる不必要なＳＮ劣化を防ぐことが可能となる。

以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。

図１は、本実施の形態におけるダークシェーディング補正を行う撮像装置の概略構成を示すブロック図である。

図１において、１２０は撮像装置全体を制御するシステム制御回路、５０は撮影レンズである。なお、図１では、撮影レンズ５０を１つのレンズとして表しているが、実際にはフォーカスレンズやズームレンズ等、複数のレンズから構成されている。１２３はシステム制御回路１２０による制御に基づいて、撮影レンズ５０のフォーカスレンズを制御する焦点制御部である。５１は絞り機能を備えるメカニカルシャッター、１２２はシステム制御回路１２０による制御に基づいて、シャッター５１を制御する露出制御部である。

１０１は、光電変換により入射光量に応じた電荷を生成して出力するＣＣＤセンサやＣＭＯＳセンサに代表される撮像素子である。撮像素子１０１は、全画素の信号を読み出す以外に、特定の画素の加算および特定の行または列おきに間引いて電荷を読み出すことができる構成になっている。本実施の形態では、図３（ａ）に示すようなベイヤー配列のフィルタにより覆われた画素を、水平垂直方向に隣接する同色４画素の加算を行う。そして、図３（ｂ）に示す通り画素数を１／４とすることができる。また、本実施の形態では、画素加算および間引き処理は同色画素同士に適用される。そこで、以降は説明のため、ベイヤー配列の２×２画素（Ｒ、Ｇ、Ｇ、Ｂ）の４画素を１画素として表すこととする。これにより、本実施の形態では、図３（ｂ）を図４のように表している。

更に本実施の形態では、図４に示す通り、画素加算した画像信号を特定の行おきに間引いて読み出すことができる。以下、間引きを行わずにすべて読み出すときを間引き率１／１、４行おきに間引いて読み出すときを間引き率１／５、９行おきに間引いて読み出すときを間引き率１／１０と呼ぶ。

なお、本実施の形態では画素加算は水平垂直方向に２画素ずつ、計４画素の加算を行う場合について説明するが、画素加算数も間引き率と同様に条件によって変更してもよい。また、間引きを行方向について行うものとして説明するが、列方向について行っても、行および列方向の両方について行ってもよい。

１２１は、システム制御回路１２０による制御に基づいて撮像素子１０１を駆動する駆動回路である。即ち、システム制御回路１２０及び駆動回路１２１は、制御手段を構成する。

１０２は、撮像素子１０１から出力される電荷信号をデジタル信号に変換するＡ／Ｄ変換器、１０３は、Ａ／Ｄ変換器１０２から出力されるデジタル信号を記憶するメモリである。システム制御回路１２０は、Ａ／Ｄ変換器１０２から出力されるデジタル信号を用いて、ＴＴＬ（スルー・ザ・レンズ）方式のオートフォーカス（ＡＦ）処理、自動露出（ＡＥ）処理、フラッシュプリ発光（ＥＦ）処理を行う。

１００は、黒画像信号を生成する黒画像生成部であり、ブロック積分回路１０４、メモリ１０５、リサイズ部１０６を含む。ブロック積分回路１０４は、Ａ／Ｄ変換器１０２から出力されるデジタル信号をブロック毎に積分すると共に、積分した画素数で平均化し、ブロック平均化信号を取得する。メモリ１０５は、ブロック積分回路１０４からのブロック平均化信号を記憶する。また、リサイズ部１０６は、メモリ１０５に記憶されたブロック平均化信号を指定された解像度にリサイズする。

１０７は、メモリ１０３に記憶されたデジタル信号から、リサイズ部１０６によりリサイズされた黒画像信号を減算する減算回路、１０８はデジタルゲイン回路、１０９はオフセット回路、１１０は信号処理回路、１１１は記憶媒体である。

また、１２４は、例えば、シャッター釦やモード切り換えダイヤルなど、撮影者が撮像装置に指示を入力するための操作部であり、入力内容はシステム制御回路１２０に通知される。

図２は、本実施の形態における撮像装置の撮影時の動作を示すフローチャートである。以下、図１及び図２を参照しながら、本実施の形態におけるダークシェーディング補正方法について説明する。

先ず、ステップＳ１１において、操作部１２４に含まれるシャッター釦の、例えば途中操作（例えば半押し）によりＯＮとなるスイッチＳＷ１がＯＮされるのを待つ。スイッチＳＷ１がＯＮされるとステップＳ１２に進んで、露出制御を行う。露出制御では、システム制御回路１２０が撮影に用いる撮影条件（絞り、シャッタースピード、撮影感度）を設定する（設定手段、設定工程）。

次に、ステップＳ１３において、システム制御回路１２０は、ステップＳ１２で設定した感度に応じて、ダークシェーディング補正用の黒撮影時における撮像素子１０１から電荷を読み出す際の間引き率ｋを決定する。間引き率ｋは、黒撮影時に駆動回路１２１に入力される。なお、ステップＳ１３における処理については、詳細に後述する。

次に、ステップＳ１４において、焦点調節制御を行う。焦点調節制御では、システム制御回路１２０が焦点制御部１２３を介して撮影レンズ５０のフォーカスレンズを制御して、焦点を被写体に合わせる。そしてステップＳ１５において、シャッター釦の、例えば全押し操作によりＯＮとなるスイッチＳＷ２がＯＮされたかどうかを判断する。スイッチＳＷ２がＯＦＦであればステップＳ１１に戻って上記処理を繰り返し、ＯＮであればステップＳ１６に進む。

ステップＳ１６では、ステップＳ１２で決定された撮影条件に基づいて露出制御部１２２及び駆動回路１２１を制御して撮像素子１０１を露光し、被写体の撮影を行う。そして撮影が終了すると、ステップＳ１７において、撮像素子１０１に蓄積された全画素の電荷信号を読み出す。即ち、ステップＳ１６及びＳ１７の処理は、第１の読み出し工程に対応する。読み出された電荷信号は、Ａ／Ｄ変換器１０２でデジタル信号に変換され、メモリ１０３に画像信号（以下、「被写体画像信号」と呼ぶ。）として記憶される。

次に、同じ撮影条件で撮像素子１０１をシャッター５１により遮光した状態で黒撮影を行う（ステップＳ１８）。続くステップＳ１９において、撮像素子１０１に蓄積された電荷信号の読み出しを行うが、この時、ステップＳ１３で決定した間引き率ｋで読み出しを行っていく。

上述したように、本実施の形態では、撮像素子１０１から間引き率１／１のときはすべての行から電荷信号を読み出し、間引き率１／５のときは４行おき、間引き率１／１０のときは９行おきに読み飛ばしながら電荷信号を読み出す。また、黒画像生成部１００では、撮像素子１０１の有効領域の画素を水平方向ｍ、垂直方向ｎの２次元のブロックに分割し、後述するように黒画像を生成する。

ステップＳ１９では間引き率ｋで電荷信号を読み出してＡ／Ｄ変換し、ステップＳ２０において、ブロック積分回路１０４は、変換した各画素のデジタル信号をｍ×ｎのブロック毎に積分する。更に、ブロック毎の積分値を積分した画素数で平均化し、このブロック毎の平均値（以下、「ブロック平均化信号」と呼ぶ。）をメモリ１０５に記憶する。

そして、ステップＳ２１において、システム制御回路１２０は、ブロック平均化信号の内の最大値ＭＡＸと最小値ＭＩＮとの差（＝ＭＡＸ−ＭＩＮ）を算出する。ステップＳ２２では、ＭＡＸ−ＭＩＮの値を予め定められた閾値ＴＨ１と比較する。ＭＡＸ−ＭＩＮの値が閾値ＴＨ１以上（閾値以上）であれば、ステップＳ２３においてブロック平均化信号を、リサイズ部１０６により被写体画像信号の解像度に変換（拡大）する。ここで得られる信号を、以下、「黒画像信号」と呼ぶ。

続いて、ステップＳ２４で、減算回路１０７にて、ステップＳ１７で得られた被写体画像信号からステップＳ２３で得られた黒画像信号を減算することにより、被写体画像信号にダークシェーディング補正が施される（減算手段、減算工程）。このようにして補正された被写体画像信号に、デジタルゲイン回路１０８にてゲインをかけ（ステップＳ２５）、オフセット回路１０９にて予め設定されたオフセット値を加える（ステップＳ２６）。その後、信号処理回路１１０に転送され、汎用の画像信号（例えば、ＪＰＥＧ画像信号）に変換され（ステップＳ２７）、ＳＤカードなどの記憶媒体１１１に記録される（ステップＳ２８）。

一方、ステップＳ２２でＭＡＸ−ＭＩＮの値が閾値ＴＨ１よりも小さい場合、ステップＳ２７へ進む。この場合には、減算回路１０７による減算処理を行わない。

このように、ＭＡＸ−ＭＩＮの値に応じて減算処理を行うかどうかを判断するのは、本実施の形態におけるダークシェーディング補正の減算処理が少なからずＳＮ劣化を伴うからである。従って、黒画像信号が画面全体に亘ってほぼ一定で補正の必要がない場合には、減算処理を回避する構成とすることにより、ＳＮ劣化に対して非常に有効である。なお、本実施の形態ではＭＡＸ−ＭＩＮの例を示したが、ブロック平均信号の標準偏差や撮像装置の温度情報を判断に用いるなど、減算処理の要否の判断には様々な判断手法を用いることができる。

次に、ステップＳ１３で行われる、間引き率ｋを決定する方法について説明する。なお、間引き率ｋの決定は、システム制御回路１２０により行われる。

間引きにより読み出す画素数を少なくすることにより、撮像素子１０１から電荷を読み出す時間を短縮することができる。その一方で、読み出す画素数を少なくすると、積分される１ブロックあたりの画素数が減少するためにＳ／Ｎ比が劣化する。よって、本実施の形態では、設定感度に応じて間引き率ｋを変更する。低感度時にはセンサーノイズ（ランダムノイズ）が小さいため、間引き率ｋを大きくすることによって高速処理を実現する。また、高感度時には間引き率ｋを小さくすることで、Ｓ／Ｎ比を劣化させずに黒画像信号を作成する。その場合、処理時間は若干長くなる。

以下に、間引き率ｋの算出方法について具体例を挙げて説明する。

ノイズ値をＮ、画素平均する画素数をｎとし、ＩＳＯ１００の時に１画素を読み出した場合のノイズ値をＮ₁₀₀とすると
Ｎ＞Ｎ₁₀₀/√ｎ …（１）

となる。式（１）をｎについて解くと、
ｎ＞（Ｎ₁₀₀／Ｎ）² …（２）
となる。１画素を読み出した場合のノイズ値Ｎ₁₀₀に対し、ノイズ値Ｎを０．５以下にすれば、複数画素の平均を取った場合に画像信号に影響を及ぼさない。ノイズ値Ｎ₁₀₀を基準（１００％、即ち＝１）とすると、ＩＳＯ１００の場合には、式（２）からｎ＝４となり、４画素以上読み出せばノイズ値Ｎが０．５以下になり、ノイズの影響を受けなくなる。
Ｓ／Ｎ比を電圧比較のデシベル（ｄＢ）で表すと、20*log(N/S)で表すことができる。例えばＩＳＯ１００、Ａ／Ｄ変換後のデジタル画像信号値Ｓが２００、ノイズ値Ｎが１の場合、Ｓ／Ｎ比は、
S/N(ISO100) = 20*log(1/200) ≒ -46dB

である。これに対し、４画素の平均を取った場合のＳ／Ｎ比は、
S/N(ISO100) = 20*log(0.5/200) ≒ -52dB
となる。
ＩＳＯ２００のときに、１画素を読み出した場合のノイズ値Ｎ₂₀₀は、ノイズ値Ｎ₁₀₀の２倍（２００％）となる。従って、ノイズレベルをＩＳＯ１００同様のＮ＝０．５にするためには、式（２）から
ｎ＞（２／０．５）²
ｎ＞１６

となる。このようにノイズレベルをＩＳＯ１００同様のＮ＝０．５にするために必要な最低画素加算数ｎは１６画素であることが分かる。
同様にして、最低画素加算数ｎは、ＩＳＯ４００では６４画素、ＩＳＯ８００では２５６画素、ＩＳＯ１６００では１０２４画素であることがわかる。

図５（ａ）は、７M（3072×2310）画素の撮像素子における、間引き率別の読み出し時間及び、ブロック分割数を水平方向６４分割、垂直方向６４分割とした場合の読み出し画素数を示している。この場合、各ブロックには水平方向４８列、垂直方向３６行（最終ブロックは、４２行だがここでは計算を簡略化するため３６行とする）分の画素が含まれる。

なお以降の計算において、図３（ｂ）で示したように画素加算する駆動モードでは、画素加算によって撮像素子上で混合されている分も読み出し画素数として換算することとする（従って、本実施の形態の場合、実画素数は×４）。

間引き率１／１にて読み出される電荷をブロック毎に積分する場合、１ブロックの画素数は水平方向２４画素、垂直方向１８画素となり、画素加算数４を考慮して合計２４×１８×４=１７２８画素となる。ちなみに、画素加算および間引きをせずに１フレームの画像を読み出した場合の１ブロックの画素数は同じ１７２８画素であるが、このときの読み出し時間は約２５０ｍｓである。一方、画素加算を用いた場合には、約１５０ｍｓで済むため、画素加算読み出しの方が優位性が高いことが分かる。

また、間引き率１／５とした場合の１ブロックの画素数は水平方向２４画素、垂直方向３画素（端数切捨てとした場合）となり、画素加算数４を考慮すると合計２８８画素となる。同様に、間引き率１／１０では９６画素となる。

間引き率１／１０での画素数は９６画素であるから、ＩＳＯ４００までは、間引き率１／１０（ｋ＝１／１０）で読み出せば、十分にノイズを少なくすることができる。同様に、ＩＳＯ８００の場合は間引き率１／５（ｋ＝１／５）、ＩＳＯ１６００の場合は間引き率１／１（ｋ＝１／１）とすれば、ノイズの影響を受けないことになる。

図５（ｂ）は、ＩＳＯ１００、２００、４００、８００、１６００それぞれについて、Ｓ／Ｎ比を劣化させないための最低加算画素数ｎ及び、最低加算画素数ｎを読み出すために必要な間引き率ｋを感度毎に示した表である。なお、上記説明から分かるように、最低加算画素数ｎ及び間引き率ｋは、撮像素子１０１の解像度や特性等の条件が変化すると、それに応じて変化する。

上述したように読み出す画素数を間引き率として制御することで、遮光して撮影した電荷信号の読み出し時間を減らすことが可能となり、処理の大幅な高速化が実現できる。例えば撮像素子１０１が７メガ画素センサの場合、駆動周波数にもよるが、全画素から読み出すための読み出し時間はおおよそ２５０ｍｓかかるが、間引き率１／１０で読み出しに係る時間は約１５ｍｓとなり、大幅に高速化できる。

上記の通り本実施の形態によれば、予め設定感度毎のノイズ値を測定し、ダークシェーディング補正に必要な撮像素子の読み出し画素数を決定し間引き率ｋを制御する。このような構成により、処理時間の高速化と、黒画像信号におけるノイズの軽減を実現することができる。

なお、以上の説明では、ＩＳＯ感度に応じて、ダークシェーディング補正に必要な撮像素子の読み出し画素数および間引き率ｋを決定する動作を説明した。しかしながら、ＩＳＯ感度に関わらず、ダークシェーディング補正に必要な画素数および間引き率を固定にする構成であっても良い。

また、間引き率を静止画撮影のフレーミング時の動画読み出しと同じに設定すれば、撮影と静止画フレーミングの切り替え時間が短縮できることとなる。

さらに、この黒画像撮影を伴うダークシェーディング補正処理は撮影スピードとの兼ね合いからある一定条件下でのみ行われることが多かったが、本発明のように高速化することによって、常時ダークシェーディング補正を行うことが可能となる。また、黒画像信号が画面全体に亘ってほぼ一定でダークシェーディング補正の必要がない場合には、減算処理を回避することにより、黒画像撮影後における不必要な減算を避けることも可能である。

本発明の実施の形態における撮像装置の機能構成を示すブロック図である。 本発明の実施の形態における撮影時の動作を示すフローチャートである。 本発明の実施の形態の撮像素子における画素加算の一例を説明する為の図である。 本発明の実施の形態の撮像素子における間引き読み出しの一例を説明する為の図である。 本発明の実施の形態における間引き率ｋの決定方法を説明するための図である。 従来の撮像装置の機能構成を示す概略ブロック図である。

符号の説明

１００ 黒画像生成部
１０１ 撮像素子
１０２ Ａ／Ｄ変換器
１０３ メモリ
１０４ ブロック積分回路
１０５ メモリ
１０６ リサイズ部
１０７ 減算回路
１０８ デジタルゲイン回路
１２０ システム制御回路
１２１ 駆動回路

Claims (6)

1. 光電変換して電荷信号を出力する撮像素子と、
   前記撮像素子を露光した状態で読み出した電荷信号から得られる被写体画像信号から前記撮像素子を遮光した状態で読み出した電荷信号から得られる黒画像信号を減算する減算手段と、
   撮影感度を設定する設定手段と、
   前記黒画像信号を取得するために前記撮像素子を遮光した状態で電荷信号を読み出す際に、前記設定手段により設定される前記撮影感度に応じた間引き率で、前記撮像素子から前記電荷信号を間引いて読み出すように制御する制御手段と、
   を有することを特徴とする撮像装置。
2. 前記制御手段は、前記黒画像信号のランダムノイズが予め設定されたノイズ値よりも低くなるように、前記間引き率を制御することを特徴とする請求項１に記載の撮像装置。
3. 前記制御手段は、前記撮像素子を遮光した状態で読み出した電荷信号の平均値を予め設定されたブロック毎に算出し、該算出された平均値に基づいて前記減算手段による減算を行うか否かを制御することを特徴とする請求項１または２に記載の撮像装置。
4. 前記制御手段は、前記ブロック毎に算出した平均値の最大値と最小値との差が予め設定された閾値以上の場合に、前記減算手段を用いた減算を行うように制御し、前記最大値と最小値との差が予め設定された閾値より小さい場合に、前記減算手段を用いた減算を行わないように制御することを特徴とする請求項３に記載の撮像装置。
5. 前記撮像素子を遮光した状態で読み出した電荷信号を予め設定されたブロック毎に平均化してから予め設定された解像度に変換することで前記黒画像信号を生成する黒画像生成手段をさらに有することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 光電変換して電荷信号を出力する撮像素子を有する撮像装置の制御方法であって、
   減算手段が、前記撮像素子を露光した状態で読み出した電荷信号から得られる被写体画像信号から前記撮像素子を遮光した状態で読み出した電荷信号から得られる黒画像信号を減算する減算工程と、
   設定手段が、撮影感度を設定する設定工程と、
   制御手段が、前記黒画像信号を取得するために前記撮像素子を遮光した状態で電荷信号を読み出す際に、前記設定工程により設定される前記撮影感度に応じた間引き率で、前記撮像素子から前記電荷信号を間引いて読み出すように制御する制御工程と、
   を有することを特徴とする撮像装置の制御方法。

Images