JP4720130B2 - 撮像装置 - Google Patents

Description

本発明は、複数の光電変換特性を切り換えることのできる固体撮像素子を有する撮像装置に関する。

従来、入射光量に対して線形変換する線形変換動作を行う固体撮像素子においては、そのダイナミックレンジが２桁と狭いため、広い輝度範囲の輝度分布を構成する被写体を撮像したときは、ダイナミックレンジ以外の範囲の輝度情報は出力されない。又、従来の固体撮像装置として、入射光量に対して対数変換する対数変換動作を行うものがある（特許文献１参照）。この固体撮像素子においては、そのダイナミックレンジが５〜６桁と広いため、少々広い輝度範囲の輝度分布を構成する被写体を撮像しても、輝度分布内の全輝度情報を電気信号に変換して出力することができる。しかしながら、被写体の輝度分布に対してその撮像可能領域が広くなるので、撮像可能領域内の低輝度領域又は高輝度領域において、輝度データの無い領域ができてしまう。これらに対して、本出願人は、上述の線形変換動作と対数変換動作とを切り換えることが可能なものを提案している（特許文献２参照）。

又、本出願人は、固体撮像素子の線形変換動作と対数変換動作が切換可能であるとき、線形変換動作によって得られた画像信号と対数変換動作によって得られた画像信号とを信号処理する際に一方の光電変換特性の画像信号を他方の光電変換特性に切り換えることで共通の回路によって処理可能とした撮像装置を提案している（特許文献３参照）。このような撮像装置において、例えば、フレーム毎に最適な光電変換特性に切り換えるような固体撮像素子を備える場合においても、出力される画像信号を全て一方の光電変換特性の画像信号に変換することができるため、後段の信号処理回路としてそれぞれの光電変換特性に応じた信号処理回路を設ける必要がなくなる。
特開平１１−３１３２５７号公報 特開２００２−７７７３３号公報 特開２００２−３３９６１号公報

しかしながら、特許文献３における撮像装置では、異なる光電変換特性の画像信号を常に同一の光電変換特性の画像信号に変換した後、共通の回路によってエッジ強調やガンマ補正などの各種信号処理を施すものとしているため、各光電変換特性によって色合いが悪くなったり、ホワイトバランスがずれてしまう。そのため、固体撮像素子の光電変換特性を切り換えてダイナミックレンジを切り換えたとき、それぞれの光電変換特性において階調性などが異なるため、同一のパラメータで各種信号処理を施した場合、コントラストや色バランスの悪い画像となることがある。

このような問題を鑑みて、本発明は、固体撮像素子の光電変換特性を切り換えたとき、その光電変換特性に応じたパラメータによる信号処理を行う撮像装置を提供することを目的とする。

上記目的を達成するために、本発明の撮像装置は、複数の画素を有する固体撮像素子と、当該固体撮像素子から出力される画像信号の処理を行う信号処理回路と、を備え、前記固体撮像素子の光電変換特性を複数の光電変換特性から選択して切り換える撮像装置において、前記固体撮像素子から出力される画像信号より被写体の輝度分布を検出するとともに、検出した当該被写体の輝度分布に応じた光電変換特性を前記複数の光電変換特性から選択して、前記固体撮像素子の光電変換特性として設定する光電変換特性切換部を有するとともに、前記信号処理回路が、前記画像信号を処理するためのパラメータとして、前記複数の光電変換特性それぞれに応じた複数種類のパラメータを備え、選択された前記光電変換特性に応じたパラメータを前記複数種類のパラメータから選択して前記信号処理回路における処理のパラメータに設定することを特徴とする。

このような撮像装置において、前記光電変換特性切換部において、前記画像信号の信号レベルより被写体の輝度分布を検出し、その被写体の輝度分布に応じた光電変換特性に切り換える。そして、前記信号処理回路に対して、選択された前記光電変換特性に応じたパラメータを設定する。よって、前記信号処理回路では、前記光電変換特性に応じたパラメータを用いた信号処理を行うことで、入力された前記画像信号に対して最適に信号処理を行うことができる。

又、前記信号処理回路が、前記固体撮像素子から出力される画像信号における最低輝度値に対する信号レベルを所定の基準値に変換する基準値補正を行う黒基準補正回路を備え、当該黒基準補正回路が、基準値補正を行うためのパラメータとして、前記各光電変換特性に応じた複数種類のパラメータを備えるようにすることで、前記光電変換特性を切り換えても、前記信号処理回路に与える画像信号の基準レベルを一定に保つことができる。

更に、このとき、前記黒基準補正回路が、選択された前記光電変換特性に応じて前記基準値補正を行うためのパラメータとなる前記最低輝度値に対する信号レベルを設定するパラメータ設定部と、固体撮像素子から出力される画像信号から前記パラメータ設定部で設定された前記最低輝度値に対する信号レベルを前記画像信号から減算することで、基準値補正を行う減算器と、を備え、当該黒基準補正回路が、基準値補正を行うための前記最低輝度値に対する信号レベルとして、前記各光電変換特性に応じた複数種類の信号レベルを備える。

又、前記信号処理回路が、前記画像信号の階調を変換する階調変換回路を備え、当該階調変換回路が、階調変換を行うためのパラメータとして、前記各光電変換特性に応じた複数種類のパラメータを備えるものとしても構わない。ダイナミックレンジが広くなる光電変換特性に対しては階調性を上げるパラメータが、ダイナミックレンジが狭くなる光電変換特性に対しては階調性を下げるパラメータが、設定されるようにしても構わない。

更に、前記階調変換回路が、選択された前記光電変換特性に応じて前記階調変換を行うためのパラメータを設定するパラメータ設定部と、前記パラメータ設定部で設定された前記パラメータに従って、入力された前記画像信号の階調変換を行う階調変換部と、を備える。

又、前記信号処理回路が、前記画像信号のノイズ成分を除去するとともにエッジ強調を行うコアリング回路を備え、当該コアリング回路が、ノイズ成分除去を行うためのパラメータとして、前記各光電変換特性に応じた複数種類のパラメータを備えるものとしても構わないし、又、エッジ強調を行うためのパラメータとして、前記各光電変換特性に応じた複数種類のパラメータを備えるものとしても構わないし、又、ノイズ成分除去及びエッジ強調を行うためのパラメータとして、前記各光電変換特性に応じた複数種類のパラメータを備えるものとしても構わない。

このとき、当該コアリング回路が、入力された前記画像信号からノイズ成分を除去するローパスフィルタと、入力された前記画像信号から当該ローパスフィルタを通過した画像信号を減算して前記ノイズ成分を抽出する減算器と、当該減算器で得られた前記ノイズ成分をコアリング処理して、エッジ部分以外のノイズ成分を除去するコアリング部と、該コアリング部で得られたエッジ成分に所定量となるエッジ強調量を乗算する乗算器と、前記ローパスフィルタでノイズ成分が除去された前記画像信号に、前記乗算器で前記エッジ強調量が乗算された前記エッジ成分を加算して、エッジ強調された画像信号を出力する加算器と、を備え、前記各光電変換特性に応じて複数種類設定されるパラメータが、前記ローパスフィルタにおいてノイズ成分を除去するためのマトリックス状のローパスフィルタ係数、及び、前記コアリング回路でエッジ部分以外のノイズ成分を除去するためのコアリング係数、及び、前記乗算器でのエッジ強調量のいずれかである。このとき、ローパスフィルタ係数がｎ×ｎのマトリックス係数であり、例えば、３×３や５×５のマトリックス係数などが使用される。

又、前記固体撮像素子から出力される画像信号が複数種類の色信号であり、１つの画素に対して当該複数種類の色信号が生成されて前記信号処理回路に与えられるとともに、前記信号処理回路が、前記各画素の前記色信号の種類毎に、他の色信号との相関関係を与えて色補正を行う色補正回路を備え、当該色補正回路が、色補正を行うためのパラメータとして、前記各光電変換特性に応じた複数種類のパラメータを備えるものとしても構わない。この色補正は、ある色合いを強調するための処理である。又、前記固体撮像素子が単板の固体撮像素子であり、各画素に対して前記複数種類の色信号を生成する色補間回路を備えるものとしても構わない。又、前記固体撮像素子が複数板の固体撮像素子であるものとしても構わない。

そして、前記色補正回路が、前記色信号の種類毎に、選択された前記光電変換特性に応じて前記色補正を行うためのパラメータを設定するパラメータ設定部と、当該輝度範囲検出部で検出された前記輝度範囲に応じて前記色補正を行うためのパラメータを設定するパラメータ設定部と、入力された前記色信号と同一画素の全種類の色信号それぞれに前記パラメータ設定部で設定された前記パラメータを乗算する乗算器と、前記乗算器で前記パラメータが乗算された前記同一画素の全種類の色信号を加算して、入力された前記色信号の色補正を行う加算器と、を備える。

前記光電変換特性切換部において、その信号レベルが最大となる飽和レベルの画像信号が第１所定画素数以上前記固体撮像素子より出力されたことを確認したとき、前記固体撮像素子のダイナミックレンジを拡げる光電変換特性を選択するものとしても構わない。

又、前記光電変換特性切換部において、前記固体撮像素子より出力された画像信号の最大信号レベルが、その信号レベルが最大となる飽和レベルよりも所定の信号レベル分低い値である場合、前記固体撮像素子のダイナミックレンジを狭める光電変換特性を選択するものとしても構わない。更に、前記固体撮像素子より出力された画像信号の最大信号レベルが、第２所定画素数以上の画素から出力された信号レベルであるものとしても構わない。このとき、前記第１所定画素数が前記第２所定画素数よりも少ない値とすることで、ダイナミックレンジを拡げる場合と、ダイナミックレンジを狭める場合とで、ヒステリシスを与えることができる。

又、ダイナミックレンジを拡げるように光電変換特性を切り換える時間が、ダイナミックレンジを狭めるように光電変換特性を切り換える時間よりも短くなるように設定しても構わない。

又、上述の各固体撮像素子において、各光電変換特性が、入射光量に対して対数変換された電気信号を前記画像信号とする対数変換特性と、入射光量に対して線形変換された電気信号を前記画像信号とする線形変換特性とが、輝度に応じて切り替わるものとしても構わない。又、輝度範囲毎に異なる光電変換特性を備えるものとしても構わない。このとき、この特性の切り替わる輝度値を変化させることによって、前記固体撮像素子の光電変換特性を切り換える。

本発明によると、固体撮像素子に対して設定された光電変換特性に応じた信号処理のパラメータが設定されるため、その光電変換特性に対して最適となる信号処理を画像信号に施すことができる。又、基準値補正を行うパラメータを設定された光電変換特性に応じたものとすることができるため、光電変換特性の差異により発生するオフセットを除去することができる。又、階調特性に対するパラメータを各光電変換特性に応じて設定することができるため、被写体のダイナミックレンジに応じた階調変換を施すことができる。又、ノイズ成分除去又はエッジ強調に対するパラメータを各光電変換特性に応じて設定することができるため、被写体のダイナミックレンジに応じたノイズ成分除去又はエッジ強調を施すことができ、画像信号をコントラストの良い高精度な画像信号に変換することができる。又、色補正に対するパラメータを各光電変換特性に応じて設定することができるため、被写体のダイナミックレンジに応じた色強調を行うことができ、色合いの良い画像信号に変換することができる。以上より、各光電変換特性に対して最適な信号処理を行うことができるため、被写体のダイナミックレンジに影響されることなく、コントラストが良く又ＳＮ比が高くなる高精度な画像を得ることができる。

＜撮像装置の構成＞
本発明の実施形態である撮像装置の構成について、図１を参照して説明する。図１は、本発明の撮像装置の内部構成を示すブロック図である。

図１の撮像装置は、複数のレンズから構成される光学系１と、光学系１を通じて入射される光の入射光量を電気信号に変換する固体撮像素子２と、固体撮像素子２から出力される電気信号を増幅するアンプ３と、アンプ３で増幅された電気信号をデジタル信号に変換するＡＤ変換回路４と、ＡＤ変換回路４からのデジタル信号の最低レベルを設定する黒基準補正回路５と、黒基準補正回路５で黒基準値により補正されたデジタル信号が固体撮像素子２の各画素の感度などによるＦＰＮ（固定パターンノイズ：Fixed Pattern Noise）を除去するＦＰＮ補正回路６と、ＦＰＮ補正回路６でＦＰＮ除去されたデジタル信号より自動露出制御（ＡＥ）及びホワイトバランス（ＷＢ）を行うためのそれぞれの評価値を検出するＡＥ・ＷＢ評価値検出回路７と、ＦＰＮ補正回路６でＦＰＮ除去されたデジタル信号について色バランスがとれるように各色信号毎に補正を行うＷＢ制御回路８と、ＷＢ制御回路８から出力される隣接する複数の画素の色信号に基づいて各色信号の補間を行う色補間回路９と、色補間回路９から出力される各色信号を他の色信号により色合いを各画素毎に補正する色補正回路１０と、色補正回路１０から出力されるデジタル信号の階調変換を行う階調変換回路１１と、階調変換回路１１から出力されるデジタル信号についてエッジ強調などの処理を施すコアリング回路１２と、各ブロックの制御を行う全体制御部１３と、光学系１に備えられる絞り１ａによる露光量を制御する絞り制御部１４と、固体撮像素子２及びＡＤ変換回路４に動作タイミング用のクロックを与えるタイミング生成回路１５と、を備える。

このように構成される撮像装置は、光学系１を介して光が各画素毎に異なる色フィルタを備えた固体撮像素子２に入射されると、各画素において光電変換動作が行われ、各画素毎に異なる色信号となるアナログ信号が出力される。即ち、図２のように、ＲＧＢによるベイヤ型配列となる色フィルタが固体撮像素子２に設けられるとき、Ｒとなる色フィルタが設けられた画素からは赤色を表すＲ信号が、Ｇとなる色フィルタが設けられた画素からは緑色を表すＧ信号が、Ｂとなる色フィルタが設けられた画素からは青色を表すＢ信号が、それぞれ出力される。尚、固体撮像素子２は、後述するように、全体制御部１３によって駆動条件が変更されることにより、線形変換動作と対数変換動作とが切り替わる輝度位置が変更される。これによって、固体撮像素子２のダイナミックレンジが変化する。切換点が高輝度側になるほどダイナミックレンジが広くなる。

この固体撮像素子２からシリアルに出力されるＲ信号及びＧ信号及びＢ信号が、アンプ３において増幅された後、ＡＤ変換回路４においてデジタル信号に変換される。このようにデジタル信号に変換されたＲ信号及びＧ信号及びＢ信号が黒基準補正回路５に与えられると、全体制御部１３から与えられるダイナミックレンジ制御信号に基づいて、最低輝度値となる黒レベルが基準値（０）に補正される。即ち、固体撮像素子２のダイナミックレンジによって黒レベルが異なるため、ＡＤ変換回路４から出力されるＲ信号及びＧ信号及びＢ信号それぞれの信号レベルに対して、黒レベルとなる信号レベルが減算されることで、基準値補正が行われる。尚、この黒基準補正回路５の動作については、後述する。

この黒基準補正が行われたＲ信号及びＧ信号及びＢ信号は、ＦＰＮ補正回路６において格納しているＦＰＮ成分を減算することによって、ＦＰＮ成分が除去される。このＦＰＮ成分は、固体撮像素子２内の各画素を構成するＭＯＳトランジスタの閾値バラツキなどが原因となって生じるオフセットバラツキである。尚、このＦＰＮ成分を抽出する際、ＲＧＢ信号それぞれについて、均一光照射時に固体撮像素子２から出力される各画素に対する画像信号から色フィルタの透過率の差異に基づくオフセットを減算する。このとき、このような各色フィルタの透過率に基づくオフセットを、均一光照射時のＲＧＢ信号それぞれの平均値により求めるものとし、この平均値を均一光照射時のＲＧＢ信号から減算することで、各画素のＦＰＮ成分を抽出するものとしても構わない。このようにＦＰＮ成分が除去されたＲ信号及びＧ信号及びＢ信号が、ＡＥ・ＷＢ評価値検出回路７及びＷＢ制御回路８に与えられる。

ＡＥ・ＷＢ評価値検出回路７では、与えられたＲ信号及びＧ信号及びＢ信号より成る画像信号の輝度値を確認することにより、被写体の輝度範囲を表す輝度の平均値分布範囲を算出し、露光量を設定するＡＥ評価値として全体制御部１３に送出する。このＡＥ評価値に基づいて全体制御部１３が絞り１ａの開口度を制御することで、露光量が制御される。又、ＡＥ・ＷＢ評価値検出回路７では、与えられたＲ信号及びＧ信号及びＢ信号よりそれぞれの輝度比及び輝度差を確認し、ホワイトバランスを行うための基準値であるＷＢ評価値を算出し、全体制御部１３に送出する。そして、ＷＢ制御回路８では、全体制御部１３より与えられるＷＢ評価値及びダイナミックレンジ制御信号に基づいて、Ｒ信号及びＧ信号及びＢ信号が、同一の光電変換特性となるようにホワイトバランス処理が施される。

又、ＡＥ・ＷＢ評価値検出回路７では、ＦＰＮ補正回路６からのＲＧＢ信号に基づいて、被写体に最適なダイナミックレンジを検出する。そして、この検出結果が全体制御部１３に送出されると、全体制御部１３において、検出されたダイナミックレンジに基づくダイナミックレンジ制御信号が生成される。尚、ＡＥ・ＷＢ評価値検出回路７におけるダイナミックレンジの検出動作については、後述する。

ＷＢ制御回路８でホワイトバランス処理が施されたＲ信号及びＧ信号及びＢ信号は、色補間回路９において色補間処理が施される。図２のようなＲＧＢによるベイヤ型配列となる色フィルタが固体撮像素子２に設けられているとき、各画素から出力される色信号は、その画素に設けられる色フィルタによる色信号のみである。よって、色補間回路９において、他の色信号が隣接する画素の色信号により生成されることで、色補間処理が施される。

そして、ＲＧＢそれぞれの色フィルタが各画素Ｇ11〜Ｇ44に図２のように配列されているとき、画素Ｇ11，Ｇ31，Ｇ13，Ｇ33からＲ信号ｒ11，ｒ31，ｒ13，ｒ33が、画素Ｇ21，Ｇ41，Ｇ12，Ｇ32，Ｇ23，Ｇ43，Ｇ14，Ｇ34からＧ信号ｇ21，ｇ41，ｇ12，ｇ32，ｇ23，ｇ43，ｇ14，ｇ34が、画素Ｇ22，Ｇ42，Ｇ24，Ｇ44からＢ信号ｂ22，ｂ42，ｂ24，ｂ44が、出力される。このとき、画素Ｇ22，Ｇ23，Ｇ32，Ｇ33のＲＧＢ信号が、以下の式のように表される。

画素Ｇ22のＲ信号ｒ22、Ｇ信号ｇ22、Ｂ信号ｂ22
ｒ22＝（ｒ11＋ｒ31＋ｒ13＋ｒ33）／４
ｇ22＝（ｇ21＋ｇ12＋ｇ32＋ｇ23）／４
ｂ22＝ｂ22
画素Ｇ32のＲ信号ｒ32、Ｇ信号ｇ32、Ｂ信号ｂ32
ｒ32＝（ｒ31＋ｒ33）／２
ｇ32＝ｇ32
ｂ32＝（ｂ22＋ｂ42）／２
画素Ｇ23のＲ信号ｒ23、Ｇ信号ｇ23、Ｂ信号ｂ23
ｒ23＝（ｒ13＋ｒ33）／２
ｇ23＝ｇ23
ｂ23＝（ｂ22＋ｂ24）／２
画素Ｇ33のＲ信号ｒ33、Ｇ信号ｇ33、Ｂ信号ｂ33
ｒ33＝ｒ33
ｇ33＝（ｇ32＋ｇ23＋ｇ43＋ｇ34）／４
ｂ33＝（ｂ22＋ｂ42＋ｂ24＋ｂ44）／４。

このように色補間処理を行うことで、各画素毎にＲＧＢ信号が得られると、各画素のＲＧＢ信号が色補正回路１０に与えられ、各画素の色合いを強調するための色補正処理が施される。このとき、ＲＧＢ信号はそれぞれ、他の色信号の値により色補正が施される。即ち、画素ＧklのＲＧＢ信号ｒkl，ｇkl，ｂklを以下の式に代入することによって、色合い補正が施された画素ＧｋｌのＲＧＢ信号ｒｘkl，ｇｘkl，ｂｘklが生成される。この際、ａ１〜ａ３，ｂ１〜ｂ３，ｃ１〜ｃ３による色補正係数が、入力されるＲＧＢ信号の光電変換特性に基づいて切り換えられて、各画素のＲＧＢ信号による色合いが強調される。この色補正回路１０における色補正係数ａ１〜ａ３，ｂ１〜ｂ３，ｃ１〜ｃ３の切換動作の詳細については、後述する。
ｒｘkl＝ａ１×ｒkl＋ａ２×ｇkl＋ａ３×ｂkl
ｇｘkl＝ｂ１×ｒkl＋ｂ２×ｇkl＋ｂ３×ｂkl
ｂｘkl＝ｃ１×ｒkl＋ｃ２×ｇkl＋ｃ３×ｂkl。

尚、この色補正回路１０での色補正処理を行わない場合は、以下のような色補正係数ａ１〜ａ３，ｂ１〜ｂ３，ｃ１〜ｃ３が全体制御部１３より与えられる。
（ａ１，ａ２，ａ３）＝（1.0，0.0，0.0）
（ｂ１，ｂ２，ｂ３）＝（0.0，1.0，0.0）
（ｃ１，ｃ２，ｃ３）＝（0.0，0.0，1.0）。

色補正回路１０で色補正が施されたＲＧＢ信号は、階調変換回路１１に与えられて、適切な出力レベルとなるように、全体制御部１３から入力されるダイナミックレンジ制御信号及びＡＥ評価値に基づいて、γカーブに基づく変化やデジタルゲインの変化により階調特性を変化させる。そして、エッジ成分に対して図３のような関係のレベル変換特性を備えるコアリング回路１２において、ＲＧＢ信号それぞれに重畳したノイズ成分が除去されるとともに、エッジ成分が抽出されてエッジ強調処理が施される。尚、階調変換回路１１及びコアリング回路１２の動作については、後述する。

＜固体撮像素子の構成例＞
図１のように構成される撮像装置における固体撮像素子２の構成について、図面を参照して説明する。図４は、本例の固体撮像素子の一部の構成を概略的に示すブロック図であり、図５は、各画素の構成を示す回路図である。

固体撮像素子２は、図４に示すように、Ｇ11〜Ｇmnは行列配置（マトリクス配置）された画素を示している。２１は垂直走査回路であり、各画素に信号φＶを与える行（ライン）２３−１，２３−２，・・・，２３−ｎを順次走査していくとともに、ライン２４−１，２４−２，・・・，２４−ｎを介して各画素に信号φＶＤを、ライン２５−１，２５−２，・・・，２５−ｎを介して各画素に信号φＶPSを、それぞれ与える。２２は水平走査回路であり、画素から出力信号線２６−１，２６−２，・・・，２６−ｍに導出された光電変換信号を画素ごとに水平方向に順次読み出す。２０は電源ラインである。各画素に対し、上記ライン２３−１〜２３−ｎ，２４−１〜２４−ｎ，２５−１〜２５−ｎや出力信号線２６−１〜２６−ｍ、電源ライン２０だけでなく、他のライン（例えば、クロックラインやバイアス供給ライン等）も接続されるが、図４ではこれらについて省略する。

又、出力信号線２６−１〜２６−ｍのそれぞれには、定電流源２７−１〜２７−ｍが接続されるとともに、信号線２６−１〜２６−ｍのそれぞれを介して与えられる画素Ｇ11〜Ｇmnから与えられる画像信号とノイズ信号をサンプルホールドする選択回路２８−１〜２８−ｍが設けられる。そして、補正回路２９に選択回路２８−１〜２８−ｍから画像信号及びノイズ信号が順に送出されると、この補正回路２９で補正処理が行われて、ノイズ除去された画像信号が外部に出力される。尚、定電流源２７−１〜２７−ｍの一端に直流電圧ＶPSが印加される。

このような固体撮像素子において、画素Ｇab（ａ：１≦ａ≦ｍの自然数、ｂ：１≦ｂ≦ｎの自然数）からの出力となる画像信号及びノイズ信号が、それぞれ、出力信号線２６−ａを介して出力されるとともに、この出力信号線２６−ａに接続された定電流源２７−ａによって増幅される。そして、画素Ｇabから出力された画像信号及びノイズ信号が順番に選択回路２８−ａに送出されるとともに、この選択回路２８−ａにおいて、送出された画像信号及びノイズ信号がサンプルホールドされる。その後、選択回路２８−ａより、サンプルホールドされた画像信号が補正回路２９に送出された後、同じくサンプルホールドされたノイズ信号が補正回路２９に送出される。補正回路２９では、選択回路２８−ａより与えられた画像信号を、同じく選択回路２８−ａより与えられたノイズ信号に基づいて補正処理して、ノイズ除去した画像信号をアンプ３に出力する。

このような構成の固体撮像素子２において、画素Ｇ11〜Ｇmnは、図５に示すように、カソードに直流電圧ＶPDが印加されたフォトダイオードＰＤのアノードにＭＯＳトランジスタＴ１のドレインが接続され、ＭＯＳトランジスタＴ１のソースにＭＯＳトランジスタＴ２のゲート及びドレインとＭＯＳトランジスタＴ３のゲートが接続される。又、ＭＯＳトランジスタＴ３のソースにＭＯＳトランジスタＴ４のゲート及びＭＯＳトランジスタＴ５のドレインが接続され、ＭＯＳトランジスタＴ４のソースにＭＯＳトランジスタＴ６のドレインが接続される。そして、ＭＯＳトランジスタＴ６のドレインが出力信号線２６（図４の出力信号線２６−１〜２６−ｍに相当する）に接続される。尚、ＭＯＳトランジスタＴ１〜Ｔ６は、ＰチャネルのＭＯＳトランジスタである。

ＭＯＳトランジスタＴ２のソースにはライン２５（図４のライン２５−１〜２５−ｎに相当する）を介して信号φＶPSが入力され、ＭＯＳトランジスタＴ３，Ｔ４のドレインに直流電圧ＶPDが印加される。又、ＭＯＳトランジスタＴ３のソースには、その一端にライン２４（図４のライン２４−１〜２４−ｎに相当する）を介して信号φＶＤが与えられるキャパシタＣの他端が接続される。又、ＭＯＳトランジスタＴ５のソースには直流電圧ＶRGが入力され、そのゲートに信号φＲＳが入力される。更に、ＭＯＳトランジスタＴ１，Ｔ６のゲートにはそれぞれ、信号φＳ，φＶが入力される。

尚、信号φＶPSは２値の電圧信号で、入射光量が所定値を超えたときにＭＯＳトランジスタＴ２をサブスレッショルド領域で動作させるための電圧をＶＬとし、又、この電圧よりも高くＭＯＳトランジスタＴ２を導通状態にする電圧をＶＨとする。又、信号φＶＤは、３値の電圧信号であり、キャパシタＣを積分動作させる際の電圧値を最も高いＶｈとし、画像信号読み出し時の電圧値をＶｈよりも低いＶｍとし、ノイズ信号読み出し時の電圧値をＶｍよりも低いＶｌとする。

このように構成される固体撮像素子２における画素Ｇ11〜Ｇmnの動作について、図６のタイムチャートを参照して説明する。まず、電圧値Ｖｍのパルス信号φＶＤとパルス信号φＶが与えられて画像信号が出力されると、信号φＶＤをＶｈとした後、信号φＳをハイにしてＭＯＳトランジスタＴ１をＯＦＦにして、リセット動作が始まる。次に、ＭＯＳトランジスタＴ２のソースに与える信号φＶPSをＶＨにして、ＭＯＳトランジスタＴ２のソース電圧を高くすることで、ＭＯＳトランジスタＴ２のゲート及びドレイン、そしてＭＯＳトランジスタＴ３のゲートに蓄積された負の電荷が速やかに再結合される。このとき、信号φＲＳをローとして、ＭＯＳトランジスタＴ５をＯＮにして、キャパシタＣとＭＯＳトランジスタＴ４のゲートとの接続ノードの電圧を初期化する。

そして、ＭＯＳトランジスタＴ２のソースに与える信号φＶPSをＶＬにして、ＭＯＳトランジスタＴ２のポテンシャル状態を基の状態に戻した後、信号φＲＳをハイにして、ＭＯＳトランジスタＴ５をＯＦＦにする。その後、キャパシタＣが積分動作を行って、キャパシタＣとＭＯＳトランジスタＴ４のゲートとの接続ノードの電圧が、リセットされたＭＯＳトランジスタＴ２のゲート電圧に応じたものとなる。そして、パルス信号φＶをＭＯＳトランジスタＴ６のゲートに与えてＭＯＳトランジスタＴ６をＯＮにするとともに信号φＶＤの電圧値をＶｌにする。このとき、ＭＯＳトランジスタＴ４がソースフォロワ型のＭＯＳトランジスタとして動作するため、出力信号線２６にはノイズ信号が電圧信号として現れる。その後、再び、パルス信号φＲＳをＭＯＳトランジスタＴ５に与えて、キャパシタＣとＭＯＳトランジスタＴ４のゲートとの接続ノードの電圧をリセットした後、信号φＳをローにしてＭＯＳトランジスタＴ１を導通させて撮像動作が行える状態にする。

このようにノイズ信号が出力された後、ＭＯＳトランジスタＴ１がＯＮとされると、撮像動作が開始される。このとき、信号φＲＳをハイとして、ＭＯＳトランジスタＴ５をＯＦＦとする。又、ＭＯＳトランジスタＴ２のソースに与える信号φＶPSをＶＬとするとともに、キャパシタＣに与える信号φＶＤの電圧値をＶｈとして、積分動作を行うようにする。そして、フォトダイオードＰＤより入射光量に応じた光電荷がＭＯＳトランジスタＴ２に流れ込むと、ＭＯＳトランジスタＴ２はカットオフ状態であるので、光電荷がＭＯＳトランジスタＴ２のゲートに蓄積される。

よって、撮像する被写体の輝度が低くフォトダイオードＰＤに入射される入射光量が少ない場合は、ＭＯＳトランジスタＴ２のゲートに蓄積された光電荷量に応じた電圧がＭＯＳトランジスタＴ２のゲートに現れるため、入射光量の積分値に対して線形的に比例した電圧がＭＯＳトランジスタＴ３のゲートに現れる。又、撮像する被写体の輝度が高くフォトダイオードＰＤに入射される入射光量が多く、ＭＯＳトランジスタＴ２のゲートに蓄積された光電荷量に応じた電圧が高くなると、ＭＯＳトランジスタＴ２がサブスレッショルド領域で動作を行うため、入射光量に対して自然対数的に変化する電圧がＭＯＳトランジスタＴ３のゲートに現れる。

この入射光量に対して線形的に又は自然対数的に変化する電圧がＭＯＳトランジスタＴ３で電流増幅されたドレイン電流がキャパシタＣから流れるため、ＭＯＳトランジスタＴ４のゲート電圧が、入射光量の積分値に対して線形的又は自然対数的に変化した電圧となる。そして、信号φＶＤの電圧値をＶｍとするとともに、ＭＯＳトランジスタＴ６にパルス信号φＶを与えることで、ＭＯＳトランジスタＴ４のゲート電圧に応じたソース電流が、ＭＯＳトランジスタＴ６を介して出力信号線６へ流れる。このとき、ＭＯＳトランジスタＴ４がソースフォロワ型のＭＯＳトランジスタとして動作するため、出力信号線６には画像信号が電圧信号として現れる。その後、信号φＶをハイにしてＭＯＳトランジスタＴ６をＯＦＦにするとともに、信号φＶＤの電圧値をＶｈとする。

このように動作するとき、撮像時の信号φＶPSの電圧値ＶＬが低くなり、リセット時の信号φＶPSの電圧値ＶＨとの差を大きくするほど、ＭＯＳトランジスタＴ２のゲート・ソース間のポテンシャルの差が大きくなり、ＭＯＳトランジスタＴ２がカットオフ状態で動作する被写体輝度の割合が大きくなる。よって、図７のように、電圧値ＶＬが低いほど、線形変換する被写体輝度の割合が大きくなる。そこで、例えば、被写体の輝度範囲を検出し、被写体の輝度範囲が狭いと電圧値ＶＬを低くして、線形変換する輝度範囲を広くし、又、被写体の輝度範囲が広いと電圧値ＶＬを高くして、対数変換する輝度範囲を広くすることで、被写体の特性に合った光電変換特性とすることができる。尚、電圧値ＶＬを最小とするとき、常に線形変換する状態とし、又、電圧値ＶＬを最大とするとき、常に対数変換する状態とすることもできる。

このように動作する固体撮像素子２の画素Ｇ11〜Ｇmnに与える信号φＶPSの電圧値ＶＬの値を全体制御部１３が切り換えることによって、被写体の輝度範囲などに応じてダイナミックレンジを切り換えられる固体撮像素子２とすることができる。即ち、全体制御部１３が信号φＶPSの電圧値ＶＬの値を切り換えることで、固体撮像素子２の画素Ｇ11〜Ｇmnにおける線形変換動作から対数変換動作へ切り替わる変極点（輝度値）を設定することができる。尚、撮像時に対数変換動作に変わるときのＭＯＳトランジスタＴ２のゲート電圧に至るまでにＭＯＳトランジスタＴ２に流れ込む光電荷量が、全ての画素において等しい。

尚、本構成例では、図５のように構成される画素を備えた固体撮像素子としたが、このような構成に限られるものではなく、線形変換動作と対数変換動作を各画素において自動的に切り換えることが可能なものであれば、特許文献２に示されるような構成の画素などのような他の構成の画素より構成されるものとしても構わない。又、撮像時の信号φＶPSの電圧値ＶＬを変更することで線形変換動作と対数変換動作との変極点を変更するものとしたが、リセット時の信号φＶPSの電圧値ＶＨを変更することで線形変換動作と対数変換動作との変極点を変更するものとしても構わない。又、リセット時間を変更することで上記変極点を変更するものとしても構わない。更に、各画素にＲＧＢフィルタを備えるものとしたが、シアン（Cyan）、マゼンタ（Magenta）、イエロー（Yellow）などの他の色フィルタを備えるものとしても構わない。

＜ダイナミックレンジの検出動作の第１例＞
図１のように構成される撮像装置におけるＡＥ・ＷＢ評価値検出回路７によるダイナミックレンジの検出動作の第１例について、図面を参照して以下に説明する。図８は、本例のダイナミックレンジの検出動作を示すフローチャートである。

本例におけるＡＥ・ＷＢ評価値検出回路７は、図８のフローチャートのように、まず、ＦＰＮ補正回路６でＦＰＮ成分が除去されたＲＧＢ信号の信号レベルを確認することで、各画素の出力レベルを確認する（ＳＴＥＰ１）。このＦＰＮ補正回路６から入力されるＲＧＢ信号の光電変換特性は、図９のようになる。この図９から確認できるように、ＦＰＮ補正回路６でＦＰＮ成分が除去されるため、光電変換特性が線形変換特性から対数変換特性に変化する信号レベルＶｔｈ、及び、画素が飽和状態となるために最大となる信号レベル（飽和レベル）Ｖｍａｘが、ＲＧＢ信号それぞれにおいて等しくなる。

そして、各画素の出力レベルに相当する信号レベルが確認されると、その信号レベルの画素数を１つ計数する（ＳＴＥＰ２）。即ち、ＳＴＥＰ１において信号レベルＶｘが確認されると、この信号レベルＶｘに対する画素数が既にｘである場合、信号レベルＶｘに対する画素数を１つ計数してｘ＋１とする。その後、固体撮像素子２の画素Ｇ11〜Ｇmn全てに対する信号レベルが検出されたか否かを確認し（ＳＴＥＰ３）、全ての画素について確認されていないときは（Ｎｏ）、ＳＴＥＰ１に移行する。又、ＳＴＥＰ３で全ての画素の輝度値が確認された場合（Ｙｅｓ）、各信号レベル毎の画素数より被写体のヒストグラムを生成する（ＳＴＥＰ４）。尚、ＳＴＥＰ３において全ての画素に対する信号レベルを検出しているが、全ての画素に対してではなく、例えば撮像領域の一部の画素の信号レベルを検出してヒストグラムを生成してもよい。

このようにして被写体のヒストグラムを確認すると、このヒストグラムに基づいて、最大信号レベルを検出する（ＳＴＥＰ５）。このとき、図１０のようなヒストグラムが得られたとき、その画素数が所定数Ｇｔｈ１以上となる信号レベルから最大信号レベルＶｈが検出される。このように検出された最大信号レベルＶｈが、飽和レベルＶｍａｘであるか否かが確認される（ＳＴＥＰ６）。このとき、最大信号レベルＶｈが飽和レベルＶｍａｘでない場合（Ｎｏ）、最大信号レベルＶｈが、現在固体撮像素子２に対して設定されているダイナミックレンジに応じた所定閾値レベルＶａと比較される（ＳＴＥＰ７）。この所定閾値レベルＶａは、固体撮像素子２に対して設定されるダイナミックレンジ毎に設定される値であり、ダイナミックレンジを変更する基準となる値である。

ＳＴＥＰ６において、最大信号レベルＶｈが飽和レベルＶｍａｘであることが確認されると（Ｙｅｓ）、固体撮像素子２のダイナミックレンジを現在のダイナミックレンジより広いダイナミックレンジを最適なダイナミックレンジとして検出し、全体制御部１３に通知する（ＳＴＥＰ８）。又、ＳＴＥＰ７において、最大信号レベルＶｈが所定閾値レベルＶａより小さいことが確認されると（Ｙｅｓ）、固体撮像素子２のダイナミックレンジを現在のダイナミックレンジより狭いダイナミックレンジを最適なダイナミックレンジとして検出し、全体制御部１３に通知する（ＳＴＥＰ９）。更に、ＳＴＥＰ７において、最大信号レベルＶｈが所定閾値レベルＶａ以上であることが確認されると（Ｎｏ）、現在設定されている固体撮像素子２のダイナミックレンジを最適なダイナミックレンジとして検出し、全体制御部１３に通知する（ＳＴＥＰ１０）。

尚、ＳＴＥＰ８において最適なダイナミックレンジとして広いダイナミックレンジを検出するとき、最大信号レベルの画素数が多いと、そのダイナミックレンジが広くなるように最適なダイナミックレンジを設定する。又、ＳＴＥＰ９において最適なダイナミックレンジとして狭いダイナミックレンジを検出するとき、最大信号レベルがその飽和レベル近傍の値であるとともに飽和レベルより小さい値となるダイナミックレンジを最適なダイナミックレンジとして設定する。

よって、例えば、固体撮像素子２の光電変換特性が図１１のａ３のような状態であるときに、飽和レベルＶｍａｘとなる最大信号レベルの画素数が多いと、固体撮像素子２の光電変換特性が図１１のａ１となる最も広いダイナミックレンジＤ１を最適なダイナミックレンジに設定し、又、飽和レベルとなる最大信号レベルの画素数が少ないと、固体撮像素子２の光電変換特性が図１１のａ２となる次に広いダイナミックレンジＤ２を最適なダイナミックレンジに設定する。又、例えば、固体撮像素子２の光電変換特性が図１１のａ１のような状態であるときに最大信号レベルがＶｈ１である場合、この最大信号レベルＶｈ１に対応する輝度値Ｌｈ１に対する信号レベルを飽和レベルＶｍａｘに最も近い値とする光電変換特性が確認される。よって、この輝度値Ｌｈ１に対する信号レベルがＶｈ２となり飽和レベルＶｍａｘに最も近い値となる光電変換特性ａ３によるダイナミックレンジＤ３を最適なダイナミックレンジに設定する。

＜ダイナミックレンジの検出動作の第２例＞
図１のように構成される撮像装置におけるＡＥ・ＷＢ評価値検出回路７によるダイナミックレンジの検出動作の第２例について、図面を参照して以下に説明する。図１２は、本例のダイナミックレンジの検出動作を示すフローチャートである。尚、図１２のフローチャートにおいて、図８のフローチャートと同一の動作ステップについては、同一の符号を付してその詳細な説明は省略する。

本例におけるＡＥ・ＷＢ評価値検出回路７は、図１２のフローチャートのように、第１例と同様、まず、ＳＴＥＰ１〜ＳＴＥＰ４において、ＦＰＮ補正回路６でＦＰＮ成分が除去されたＲＧＢ信号の信号レベルにより固体撮像素子２の全画素の信号レベルを確認することで、各信号レベルの画素数を計数して被写体のヒストグラムを形成する。このようにして被写体のヒストグラムを確認すると、このヒストグラムから飽和レベルＶｍａｘとなる画素数を確認する（ＳＴＥＰ１０１）。

そして、この飽和レベルＶｍａｘとなる画素数Ｇｘが所定数Ｇｔｈ２（Ｇｔｈ２＜Ｇｔｈ１）と比較される（ＳＴＥＰ１０２）。このとき、飽和レベルＶｍａｘとなる画素数Ｇｘが所定数Ｇｔｈ２よりも少ないとき（Ｎｏ）、第１例と同様、その画素数が所定数Ｇｔｈ１以上となる信号レベルから最大信号レベルＶｈを検出する（ＳＴＥＰ５）。そして、検出したこの最大信号レベルＶｈが、現在固体撮像素子２に対して設定されているダイナミックレンジに応じた所定閾値レベルＶａと比較される（ＳＴＥＰ７）。

ＳＴＥＰ１０２において、飽和レベルＶｍａｘとなる画素数Ｇｘが所定数Ｇｔｈ２以上あることが確認されると（Ｙｅｓ）、固体撮像素子２のダイナミックレンジを現在のダイナミックレンジより広いダイナミックレンジを最適なダイナミックレンジとして検出し、全体制御部１３に通知する（ＳＴＥＰ８）。又、ＳＴＥＰ７において、最大信号レベルＶｈが所定閾値レベルＶａより小さいことが確認されると（Ｙｅｓ）、第１例と同様、固体撮像素子２のダイナミックレンジを現在のダイナミックレンジより狭いダイナミックレンジを最適なダイナミックレンジとして検出し、全体制御部１３に通知する（ＳＴＥＰ９）。更に、ＳＴＥＰ７において、最大信号レベルＶｈが所定閾値レベルＶａ以上であることが確認されると（Ｎｏ）、第１例と同様、現在設定されている固体撮像素子２のダイナミックレンジを最適なダイナミックレンジとして検出し、全体制御部１３に通知する（ＳＴＥＰ１０）。

尚、ＳＴＥＰ８において最適なダイナミックレンジとして広いダイナミックレンジを検出するとき、第１例と同様、最大信号レベルの画素数が多いと、そのダイナミックレンジが広くなるように最適なダイナミックレンジを設定する。又、ＳＴＥＰ９において最適なダイナミックレンジとして狭いダイナミックレンジを検出するときも、第１例と同様、最大信号レベルがその飽和レベル近傍の値であるとともに飽和レベルより小さい値となるダイナミックレンジを最適なダイナミックレンジとして設定する。

本例のように、ダイナミックレンジを拡げるための閾値となる飽和レベルとなる画素数Ｇｔｈ２を、ダイナミックレンジを狭めるために確認する最大信号レベルＶｈを検出する際の画素数Ｇｔｈ１よりも少ない画素数とすることによって、被写体のダイナミックレンジが広くなった場合の方が、被写体のダイナミックレンジが狭くなった場合と比べて、少ない変化率で確認することができる。よって、ダイナミックレンジを拡げることを検出する感度をダイナミックレンジを狭めることを検出する感度よりも高くして、その変化にヒステリシスを与えることができる。

上述のダイナミックレンジの検出動作の第１例及び第２例のようにして検出された最適なダイナミックレンジが全体制御部１３に与えられるため、全体制御部１３からのダイナミックレンジ制御信号により設定される固体撮像素子２の光電変換特性は、被写体に対して、線形変換特性で光電変換を行う輝度領域が可能な限り広くなるような光電変換特性となる。そして、全体制御部１３よりダイナミックレンジ制御信号が出力されて固体撮像素子２の光電変換特性を切り換えるとき、ダイナミックレンジが広くなるように切り換えるときは、その切換時間を短くして急激に切り換え、又、ダイナミックレンジが狭くなるように切り換えるときは、その切換時間を長くして徐々に切り換える。

＜黒基準補正回路＞
図１のように構成される撮像装置における黒基準補正回路の動作について、図面を参照して以下に詳細に説明する。図１３は、黒基準補正回路の内部構成を示すブロック図である。

黒基準補正回路５は、図１３に示すように、全体制御部１３より与えられるダイナミックレンジ制御信号により黒レベルを設定する黒レベル設定部５１と、ＡＤ変換回路４より入力されるＲＧＢ信号に対して黒レベル設定部５１で設定された黒レベルを減算して基準値補正を行う減算器５２と、を備える。このように黒基準補正回路５が構成されるとき、黒レベル設定部５１では、ダイナミックレンジ制御信号によって設定される固体撮像素子２の光電変換特性と同数の黒レベルを、各光電変換特性と対応させて格納している。

この黒レベルの差異は、固体撮像素子２のリセット時間が有限であることより、固体撮像素子２に光電変換特性を設定する際に撮像動作時の信号φＶPSの電圧値ＶＬを変更するとき、リセット時の信号φＶPSの電圧値ＶＨとの差が大きいほど、そのリセット動作によるリセット効果が高くなることを原因として生じる。これは、信号φＶPSの電圧値ＶＨ，ＶＬの差が大きいことから、各画素から出力される撮像時の画像信号とリセット時のノイズ信号の差が大きくなるためである。

各画素から出力される撮像時の画像信号とリセット時のノイズ信号の差が大きくなることより、同一の最低輝度としたとき、線形変換特性の輝度領域が広い光電変換特性としたときほど、固体撮像素子２から出力される最低輝度に対する画像信号の信号レベルが高くなり、逆に、対数変換特性の輝度領域が広い光電変換特性としたときほど、固体撮像素子２から出力される最低輝度に対する画像信号の信号レベルが低くなる。よって、黒レベル設定部５１に格納される黒レベルは、線形変換特性の輝度領域が広い光電変換特性に対するものほど高い値となり、逆に、対数変換特性の輝度領域が広い光電変換特性に対するものほど低い値となる。即ち、全体制御部１３より与えられるダイナミックレンジ制御信号によって、図１１のような光電変換特性ａ１〜ａ４に切り換えられるとき、光電変換特性ａ１，ａ２，ａ３，ａ４の順に、黒レベル設定部５１に格納される黒レベルが低い値となる。

このような各光電変換特性に応じた黒レベルが黒レベル設定部５１に格納される黒基準補正回路５は、全体制御部１３よりダイナミックレンジ制御信号が入力されると、まず、このダイナミックレンジ制御信号によって決定される光電変換特性と同一の光電変換特性が確認される。このとき、ダイナミックレンジ制御信号によって決定される光電変換特性と各黒基準レベルに対応して格納している光電変換特性とを順番に比較し、同一の光電変換特性を確認するようにしても構わない。

そして、ダイナミックレンジ制御信号によって決定される光電変換特性と同一の光電変換特性を確認すると、確認した光電変換特性に対応する黒レベルを読み出して、減算器５２に与える。即ち、図１１のような光電変換特性ａ１〜ａ４に切り換えられるとともに、光電変換特性ａ１〜ａ４それぞれに対して黒レベルＶｂ１〜Ｖｂ４が格納されているとき、例えば、ダイナミックレンジ制御信号によって光電変換特性ａ２となるように設定されると、黒レベルＶｂ２が読み出されて減算器５２に与えられる。このようにして、黒レベル設定部５１で設定された黒レベルが減算器５２に与えられると、減算器５２では、ＡＤ変換回路４から出力されるＲＧＢ信号から黒レベル設定部５１で設定された黒レベルを減算して、ＦＰＮ補正回路６に出力する。よって、ＦＰＮ補正回路６に対して、基準値補正を行ったＲＧＢ信号を出力することができる。

＜色補正回路＞
図１のように構成される撮像装置における色補正回路の動作について、図面を参照して以下に詳細に説明する。図１４は、色補正回路の内部構成を示すブロック図である。

色補正回路１０は、図１４に示すように、全体制御部１３からのダイナミックレンジ制御信号によりＲＧＢ信号それぞれに対する色補正係数を設定する係数設定部１０２ｒ，１０２ｇ，１０２ｂと、係数設定部１０２ｒで設定された色補正係数ａ１，ａ２，ａ３がそれぞれ与えられる乗算器１０３ｒｒ，１０３ｒｇ，１０３ｒｂと、係数設定部１０２ｇで設定された色補正係数ｂ１，ｂ２，ｂ３がそれぞれ与えられる乗算器１０３ｇｒ，１０３ｇｇ，１０３ｇｂと、係数設定部１０２ｂで設定された色補正係数ｃ１，ｃ２，ｃ３がそれぞれ与えられる乗算器１０３ｂｒ，１０３ｂｇ，１０３ｂｂと、乗算器１０３ｒｒ，１０３ｒｇからの出力を加算する加算器１０４ｒと、乗算器１０３ｒｂ及び加算器１０４ｒからの出力を加算する加算器１０５ｒと、乗算器１０３ｇｒ，１０３ｇｇからの出力を加算する加算器１０４ｇと、乗算器１０３ｇｂ及び加算器１０４ｇからの出力を加算する加算器１０５ｇと、乗算器１０３ｂｒ，１０３ｂｇからの出力を加算する加算器１０４ｂと、乗算器１０３ｂｂ及び加算器１０４ｂからの出力を加算する加算器１０５ｂと、を備える。

このとき、係数設定部１０２ｒ，１０２ｇ，１０２ｂそれぞれでは、ダイナミックレンジ制御信号によって設定される固体撮像素子２の光電変換特性と同数の色補正係数ａ１〜ａ３，ｂ１〜ｂ３，ｃ１〜ｃ３を、各光電変換特性と対応させて格納している。よって、全体制御部１３よりダイナミックレンジ制御信号が係数設定部１０２ｒ，１０２ｇ，１０２ｂそれぞれに入力されると、まず、このダイナミックレンジ制御信号によって決定される光電変換特性と同一の光電変換特性を確認し、確認した光電変換特性に応じた色補正係数ａ１〜ａ３，ｂ１〜ｂ３，ｃ１〜ｃ３を読み出す。このとき、ダイナミックレンジ制御信号によって決定される光電変換特性と各色補正係数に対応して格納している光電変換特性とを順番に比較し、同一の光電変換特性を確認するようにしても構わない。

又、固体撮像素子２のダイナミックレンジを拡げるにつれて、色補間回路９から入力されるＲＧＢ信号による色合いが淡くなるため、ダイナミックレンジが広くなるほど色強調が行われるような色補正係数ａ１〜ａ３，ｂ１〜ｂ３，ｃ１〜ｃ３が格納されている。具体的には、固体撮像素子２の光電変換特性における線形変換特性となる輝度領域が広くなるほど、色補正係数ａ１，ｂ２，ｃ３の値が１．０に近い値とされ、逆に、固体撮像素子２の光電変換特性における対数変換特性となる輝度領域が広くなるほど、色補正係数ａ１，ｂ２，ｃ３の値が１．０よりも大きな値とされる。又、色補正係数ａ１〜ａ３，ｂ１〜ｂ３，ｃ１〜ｃ３の値はそれぞれ、ａ１＋ａ２＋ａ３＝１、ｂ１＋ｂ２＋ｂ３＝１、ｃ１＋ｃ２＋ｃ３＝１を満たす値とされる。このような色補正係数ａ１〜ａ３，ｂ１〜ｂ３，ｃ１〜ｃ３の値が、ダイナミックレンジがａｘ，ａｙ，ａｚの順に大きくなる光電変換特性ａｘ，ａｙ，ａｚに対して、例えば、以下のように設定される。

光電変換特性ａｘ
（ａ１，ａ２，ａ３）＝（ 1.2，-0.1，-0.1）
（ｂ１，ｂ２，ｂ３）＝（-0.1， 1.2，-0.1）
（ｃ１，ｃ２，ｃ３）＝（-0.1，-0.1， 1.2）

光電変換特性ａｙ
（ａ１，ａ２，ａ３）＝（ 1.35，-0.175，-0.175）
（ｂ１，ｂ２，ｂ３）＝（-0.175， 1.35，-0.175）
（ｃ１，ｃ２，ｃ３）＝（-0.175，-0.175， 1.35）

光電変換特性ａｚ
（ａ１，ａ２，ａ３）＝（ 1.5，-0.25，-0.25）
（ｂ１，ｂ２，ｂ３）＝（-0.25， 1.5，-0.25）
（ｃ１，ｃ２，ｃ３）＝（-0.25，-0.25， 1.5）。

よって、光電変換特性ａｘに対応したダイナミックレンジ制御信号が全体制御部１３から係数設定部１０２ｒ，１０２ｇ，１０２ｂに与えられると、係数設定部１０２ｒが色補正係数（ａ１，ａ２，ａ３）を（1.2，-0.1，-0.1）として乗算器１０３ｒｒ，１０３ｒｇ，１０３ｒｂに与え、係数設定部１０２ｇが色補正係数（ｂ１，ｂ２，ｂ３）を（-0.1，1.2，-0.1）として乗算器１０３ｇｒ，１０３ｇｇ，１０３ｇｂに与え、係数設定部１１０２ｂが色補正係数（ｃ１，ｃ２，ｃ３）を（-0.1，-0.1，1.2）として乗算器１０３ｂｒ，１０３ｂｇ，１０３ｂｂに与える。

又、光電変換特性ａｙに対応したダイナミックレンジ制御信号が全体制御部１３から係数設定部１０２ｒ，１０２ｇ，１０２ｂに与えられると、係数設定部１０２ｒが色補正係数（ａ１，ａ２，ａ３）を（1.35，-0.175，-0.175）として乗算器１０３ｒｒ，１０３ｒｇ，１０３ｒｂに与え、係数設定部１０２ｇが色補正係数（ｂ１，ｂ２，ｂ３）を（-0.175，1.35，-0.175）として乗算器１０３ｇｒ，１０３ｇｇ，１０３ｇｂに与え、係数設定部１０２ｂが色補正係数（ｃ１，ｃ２，ｃ３）を（-0.175，-0.175，1.35）として乗算器１０３ｂｒ，１０３ｂｇ，１０３ｂｂに与える。

又、光電変換特性ａｚに対応したダイナミックレンジ制御信号が全体制御部１３から係数設定部１０２ｒ，１０２ｇ，１０２ｂに与えられると、係数設定部１０２ｒが色補正係数（ａ１，ａ２，ａ３）を（1.5，-0.25，-0.25）として乗算器１０３ｒｒ，１０３ｒｇ，１０３ｒｂに与え、係数設定部１０２ｇが色補正係数（ｂ１，ｂ２，ｂ３）を（-0.25，1.5，-0.25）として乗算器１０３ｇｒ，１０３ｇｇ，１０３ｇｂに与え、係数設定部１０２ｂが色補正係数（ｃ１，ｃ２，ｃ３）を（-0.25，-0.25，1.5）として乗算器１０３ｂｒ，１０３ｂｇ，１０３ｂｂに与える。

このように、係数設定部１０２ｒで設定された色補正係数ａ１，ａ２，ａ３がそれぞれ乗算器１０３ｒｒ，１０３ｒｇ，１０３ｒｂに与えられると、乗算器１０３ｒｒにおいてＲ信号に色補正係数ａ１が、乗算器１０３ｒｇにおいてＧ信号に色補正係数ａ２が、乗算器１０３ｒｂにおいてＢ信号に色補正係数ａ３がそれぞれ乗算される。同様に、係数設定部１０２ｇで設定された色補正係数ｂ１，ｂ２，ｂ３がそれぞれ乗算器１０３ｇｒ，１０３ｇｇ，１０３ｇｂに与えられると、乗算器１０３ｇｒにおいてＲ信号に色補正係数ｂ１が、乗算器１０３ｇｇにおいてＧ信号に色補正係数ｂ２が、乗算器１０３ｇｂにおいてＢ信号に色補正係数ｂ３がそれぞれ乗算される。同様に、係数設定部１０２ｂで設定された色補正係数ｃ１，ｃ２，ｃ３がそれぞれ乗算器１０３ｂｒ，１０３ｂｇ，１０３ｂｂに与えられると、乗算器１０３ｂｒにおいてＲ信号に色補正係数ｃ１が、乗算器１０３ｂｇにおいてＧ信号に色補正係数ｃ２が、乗算器１０３ｂｂにおいてＢ信号に色補正係数ｃ３がそれぞれ乗算される。

そして、乗算器１０３ｒｒで色補正係数ａ１が乗算されたＲ信号に乗算器１０３ｒｇで色補正係数ａ２が乗算されたＧ信号が加算器１０４ｒで加算された後、更に、乗算器１０３ｒｂで色補正係数ａ３が乗算されたＢ信号が加算器１０５ｒで加算され、色補正されたＲ信号が出力される。同様に、乗算器１０３ｇｒで色補正係数ｂ１が乗算されたＲ信号に乗算器１０３ｇｇで色補正係数ｂ２が乗算されたＧ信号が加算器１０４ｇで加算された後、更に、乗算器１０３ｇｂで色補正係数ｂ３が乗算されたＢ信号が加算器１０５ｇで加算され、色補正されたＧ信号が出力される。同様に、乗算器１０３ｂｒで色補正係数ｃ１が乗算されたＲ信号に乗算器１０３ｂｇで色補正係数ｃ２が乗算されたＧ信号が加算器１０４ｂで加算された後、更に、乗算器１０３ｂｂで色補正係数ｃ３が乗算されたＢ信号が加算器１０５ｂで加算され、色補正されたＢ信号が出力される。

よって、例えば、光電変換特性ａｙに対応したダイナミックレンジ制御信号が全体制御部１３から係数設定部１０２ｒ，１０２ｇ，１０２ｂに与えられると、係数設定部１０２ｒが、色補正係数（ａ１，ａ２，ａ３）を（1.35，-0.175，-0.175）として乗算器１０３ｒｒ，１０３ｒｇ，１０３ｒｂに与え、又、係数設定部１０２ｇが、色補正係数（ｂ１，ｂ２，ｂ３）を（-0.175，1.35，-0.175）として乗算器１０３ｇｒ，１０３ｇｇ，１０３ｇｂに与え、又、係数設定部１０２ｂが、色補正係数（ｃ１，ｃ２，ｃ３）を（-0.175，-0.175，1.35）として乗算器１０３ｂｒ，１０３ｂｇ，１０３ｂｂに与える。

そして、乗算器１０３ｒｒでＲ信号ｒklに1.35となる色補正係数ａ１が乗算され、乗算器１０３ｒｇでＧ信号ｇklに-0.175となる色補正係数ａ２が乗算され、乗算器１０３ｒｂでＢ信号ｂklに-0.175となる色補正係数ａ３が乗算される。又、乗算器１０３ｇｒでＲ信号ｒklに-0.175となる色補正係数ｂ１が乗算され、乗算器１０３ｇｇでＧ信号ｇklに1.35となる色補正係数ｂ２が乗算され、乗算器１０３ｇｂでＢ信号ｂklに-0.175となる色補正係数ｂ３が乗算される。又、乗算器１０３ｂｒでＲ信号ｒklに-0.175となる色補正係数ｃ１が乗算され、乗算器１０３ｂｇでＧ信号ｇklに-0.175となる色補正係数ｃ２が乗算され、乗算器１０３ｂｂでＢ信号ｂklに1.35となる色補正係数ｃ３が乗算される。

その後、加算器１０４ｒで1.35×ｒklとなるＲ信号に-0.175×ｇklとなるＧ信号が加算された後、加算器１０５ｒで-0.175×ｂklとなるＢ信号が加算されて、1.35×ｒkl-0.175×ｇkl-0.175×ｂklとなる色補正されたＲ信号ｒｘklが出力される。又、加算器１０４ｇで-0.175×ｒklとなるＲ信号に1.35×ｇklとなるＧ信号が加算された後、加算器１０５ｇで-0.175×ｂklとなるＢ信号が加算されて、-0.175×ｒkl+1.35×ｇkl-0.175×ｂklとなる色補正されたＧ信号ｇｘklが出力される。又、加算器１０４ｂで-0.175×ｒklとなるＲ信号に-0.175×ｇklとなるＧ信号が加算された後、加算器１０５ｂで1.35×ｂklとなるＢ信号が加算されて、-0.175×ｒkl-0.175×ｇkl+1.35×ｂklとなる色補正されたＢ信号ｂｘklが出力される。

＜階調変換回路＞
図１のように構成される撮像装置における階調変換回路の動作について、図面を参照して以下に詳細に説明する。図１５は、階調変換回路の内部構成を示すブロック図である。図１６は、階調変換回路における入出力と光電変換特性との関係を示すグラフである。尚、以下の説明においては、説明を簡略化するために、光電変換特性が線形変換特性と対数変換特性の２つの変換特性を有する場合について説明する。

階調変換回路１１は、図１５に示すように、色補正回路１０から入力される各画素のＲＧＢ信号それぞれの光電変換特性について確認するコンパレータ１１１ｒ，１１１ｇ，１１１ｂと、コンパレータ１１１ｒ，１１１ｇ，１１１ｂからの出力によりＲＧＢ信号それぞれを階調変換する際の演算式を設定する演算式設定部１１２ｒ，１１２ｇ，１１２ｂと、演算式設定部１１２ｒ，１１２ｇ，１１２ｂそれぞれから与えられる演算式に従って色補正回路１０から入力される各画素のＲＧＢ信号それぞれの階調変換を行う階調変換部１１３ｒ，１１３ｇ，１１３ｂと、を備える。

このような構成の階調変換回路１１において、コンパレータ１１１ｒ，１１１ｇ，１１１ｂでは、色補正回路１０から入力されるＲＧＢ信号の信号レベルと閾値となる信号レベルを比較することによって、各信号の光電変換特性を確認する。以下に、コンパレータ１１１ｒを代表して、その動作について説明する。色補正回路１０から出力されるＲ信号の信号レベルと被写体の輝度値との関係を表す光電変換特性が図１６のように表されるとき、閾値となる信号レベルとして閾値レベルＶ１が設定される。この閾値レベルＶ１に対応する輝度値が図１６のようにＬ１となるとき、輝度値Ｌ１より低い輝度範囲において、その光電変換特性が線形変換特性であるものとし、又、輝度値Ｌ１より高い輝度範囲において、その光電変換特性が対数変換特性であるものとする。又、以下では、輝度値Ｌ１より低い輝度範囲を線形領域、輝度値Ｌ１より高い輝度範囲を対数領域とする。更に、色補正回路１０から出力されるＧＢ信号それぞれについても、既にＷＢ制御回路８でホワイトバランス処理が施された後なので、Ｒ信号と同様、図１６のような光電変換特性となり、線形領域と対数領域とを識別するための閾値レベルが輝度値Ｌ１に対応する信号レベルＶ１となる。

よって、コンパレータ１１１ｒでは、この閾値レベルＶ１に基づいて、各画素毎に、Ｒ信号の光電変換特性が線形領域及び対数領域のいずれの領域のものであるかを確認する。即ち、信号レベルが閾値レベルＶ１より低いＲ信号が入力されたときは、線形領域のものであることが確認され、又、信号レベルが閾値レベルＶ１以上のＲ信号が入力されたときは、対数領域のものであることが確認される。同様に、コンパレータ１１１ｇでは、閾値レベルＶ１に基づいて、各画素毎に、Ｇ信号の光電変換特性が線形領域及び対数領域のいずれの領域のものであるかを、コンパレータ１１１ｂでは、閾値レベルＶ１に基づいて、各画素毎に、Ｂ信号の光電変換特性が線形領域及び対数領域のいずれの領域のものであるかを、それぞれ確認する。又、コンパレータ１１１ｒ，１１１ｇ，１１１ｂにおいて、ダイナミックレンジ制御信号によって設定される固体撮像素子２の光電変換特性と同数の閾値レベルＶ１が、各光電変換特性と対応して格納される。

このコンパレータ１１１ｒ，１１１ｇ，１１１ｂそれぞれで確認された結果がそれぞれ、演算式設定部１１２ｒ，１１２ｇ，１１２ｂに与えられて、その結果に基づいて、ＲＧＢ信号それぞれの階調変換を行うための演算式ｆｒ，ｆｇ，ｆｂが設定される。この演算式ｆｒ，ｆｇ，ｆｂとしてそれぞれ、線形領域、対数領域の２領域に応じた２種類の演算式が、全体制御部１３のダイナミックレンジ制御信号によって設定される固体撮像素子２の各光電変換特性毎に演算式設定部１１２ｒ，１１２ｇ，１１２ｂで格納される。よって、例えば、ダイナミックレンジがａｘ，ａｙ，ａｚの順に大きくなる光電変換特性ａｘ，ａｙ，ａｚそれぞれに対する演算式ｆｒ，ｆｇ，ｆｂによる階調変換特性が、図１７〜図１９のように表される。又、光電変換特性ａｘ，ａｙ，ａｚそれぞれに対する閾値レベルＶ１がそれぞれ、Ｖ１ｘ，Ｖ１ｙ，Ｖ１ｚとされる。

即ち、光電変換特性ａｘに対応したダイナミックレンジ制御信号が全体制御部１３から与えられると、図１７のように、線形領域においては０〜Ｖ１ｘの信号レベルが０〜Ｖｘ１（Ｖｘ１＝Ｖ１ｘ／Ａｘ，Ａｘ＞１）に変換されるような演算式とされ、又、対数領域においてはＶ１ｘ〜Ｖｍａｘの信号レベルがＶｘ１〜Ｖｍａｘに変換されるような演算式とされる。又、光電変換特性ａｙに対応したダイナミックレンジ制御信号が全体制御部１３から与えられると、図１８のように、線形領域においては０〜Ｖ１ｙの信号レベルが０〜Ｖｙ１（Ｖｙ１＝Ｖ１ｙ／Ａｙ，Ａｙ＞１）に変換されるような演算式とされ、又、対数領域においてはＶ１ｙ〜Ｖｍａｘの信号レベルがＶｙ１〜Ｖｍａｘに変換されるような演算式とされる。又、光電変換特性ａｚに対応したダイナミックレンジ制御信号が全体制御部１３から与えられると、図１９のように、線形領域においては０〜Ｖ１ｚの信号レベルが０〜Ｖｚ１（Ｖｚ１＝Ｖ１ｚ／Ａｚ，Ａｚ＞１）に変換されるような演算式とされ、又、対数領域においてはＶ１ｚ〜Ｖｍａｘの信号レベルがＶｚ１〜Ｖｍａｘに変換されるような演算式とされる。

よって、コンパレータ１１１ｒ，１１１ｇ，１１１ｂでは、ダイナミックレンジ制御信号が全体制御部１３から与えられると、閾値レベルＶ１として、ダイナミックレンジ制御信号によって設定される光電変換特性に応じた値が読み出され、入力されるＲＧＢ信号それぞれの信号レベルとの比較動作が行われる。又、演算式設定部１１２ｒ，１１２ｇ，１１２ｂではそれぞれ、まず、ダイナミックレンジ制御信号が全体制御部１３から与えられると、階調変換を行うための演算式ｆｒ，ｆｇ，ｆｂとして、ダイナミックレンジ制御信号によって設定される光電変換特性に応じた２種類の演算式が読み出される。そして、コンパレータ１１１ｒ，１１１ｇ，１１１ｂからの比較結果が演算式設定部１１２ｒ，１１２ｇ，１１２ｂが与えられると、演算式設定部１１２ｒ，１１２ｇ，１１２ｂではそれぞれ、読み出した２種類の演算式から比較結果に応じた演算式を演算式ｆｒ，ｆｇ，ｆｂとして選択して、階調変換部１１３ｒ，１１３ｇ，１１３ｂに与える。

このように、演算式設定部１１２ｒ，１１２ｇ，１１２ｂで設定された演算式ｆｒ，ｆｇ，ｆｂがそれぞれ階調変換部１１３ｒ，１１３ｇ，１１３ｂに与えられると、階調変換部１１３ｒにおいて演算式ｆｒに応じたＲ信号の階調変換が、階調変換部１１３ｇにおいて演算式ｆｇに応じたＧ信号の階調変換が、階調変換部１１３ｂにおいて演算式ｆｂに応じたＢ信号の階調変換がそれぞれ行われる。よって、階調変換部１１３ｒ，１１３ｇ，１１３ｂでは、図１７〜図１９のような階調変換を行うことで、ＲＧＢ信号それぞれにおいて、線形領域の階調を下げるとともに、対数領域の階調を上げる。

よって、例えば、全体制御部１３から与えられるダイナミックレンジ制御信号が光電変換特性ａｘを設定するものであるとき、コンパレータ１１１ｒ，１１１ｇ，１１１ｂでは、閾値レベルＶ１としてＶ１ｘを読み出して、入力されるＲＧＢ信号の信号レベルを閾値レベルＶ１ｘと比較する。又、演算式設定部１１２ｒ，１１２ｇ，１１２ｂではそれぞれ、演算式ｆｒ，ｆｘ，ｆｚとして、図１７のような関係をもつ線形領域及び対数領域における２種類の演算式を読み出す。そして、コンパレータ１１１ｒ，１１１ｇそれぞれにおいて、画素ＧklのＲＧ信号ｒｘkl，ｇｘklの信号レベルが閾値レベルＶ１ｘより低い値となり、その光電変換特性が線形領域におけるものであることが確認され、又、コンパレータ１１１ｂにおいて、画素ＧklのＢ信号ｂklの信号レベルが閾値レベルＶ１ｘより高い値となり、その光電変換特性が対数領域におけるものであることが確認されるものとする。

このとき、演算式設定部１１２ｒ，１１２ｇそれぞれによって図１７の線形領域による演算式ｆｒ，ｆｇが階調変換部１１３ｒ，１１３ｇそれぞれに与えられ、又、演算式設定部１１２ｂによって図１７の対数領域による演算式ｆｂが階調変換部１１３ｂに与えられる。そして、階調変換部１１３ｒにおいて、信号レベルが０〜Ｖ１ｘの範囲のＲ信号ｒｘklが０〜Ｖｘ１の範囲の信号レベルのＲ信号ｒｙklに、又、階調変換部１１３ｇにおいて、信号レベルが０〜Ｖ１ｘの範囲のＧ信号ｇｘklが０〜Ｖｘ１の範囲の信号レベルのＧ信号ｇｙklに、信号レベルがＶ１ｘ〜Ｖｍａｘの範囲のＢ信号ｂｘklがＶｘ１〜Ｖｍａｘの範囲の信号レベルのＢ信号ｂｙklに、それぞれ変換されることで階調変換される。

この階調変化回路１１の他の実施形態として、コンパレータ１１１ｒ，１１１ｇ，１１１ｂ及び演算式設定部１１２ｒ，１１２ｇ，１１２ｂを設ける代わりに、図１７〜図１９の各入出力特性が記憶されたＬＵＴ（ルックアップテーブル）、即ち、光電変換特性の数に対応した複数のＬＵＴを備え、ダイナミックレンジ制御信号によってＬＵＴを切り換えることにより、階調変換を行うようにしても構わない。このＬＵＴを用いることにより、コンパレータ１１１ｒ，１１１ｇ，１１１ｂ及び演算式設定部１１２ｒ，１１２ｇ，１１２ｂを設ける必要がなく、階調変換回路１１の構成をより簡略化することができる。このようなＬＵＴを用いた場合、図１７〜図１９の入力（縦軸）がＬＵＴの入力に相当し、図１７〜図１９の出力（横軸）がＬＵＴにより階調変換された出力信号に相当する。従って、図１７〜図１９の入出力特性が記憶されたＬＵＴによっても、線形領域の階調を下げるとともに、対数領域の階調を上げることができる。

＜コアリング回路＞
図１のように構成される撮像装置におけるコアリング回路の動作について、図面を参照して以下に詳細に説明する。図２０は、コアリング回路の内部構成を示すブロック図である。

コアリング回路１２は、図２０に示すように、階調変換回路１１で階調変換されたＲＧＢ信号それぞれのノイズ成分を除去するローパスフィルタ（ＬＰＦ）１２１ｒ，１２１ｇ，１２１ｂと、階調変換回路１１からのＲＧＢ信号からＬＰＦ１２１ｒ，１２１ｇ，１２１ｂそれぞれからでノイズ成分が除去されたＲＧＢ信号を減算することでノイズ成分を抽出する減算器１２２ｒ，１２２ｇ，１２２ｂと、減算器１２２ｒ，１２２ｇ，１２２ｂそれぞれから出力されるＲＧＢ信号のノイズ成分をコアリング演算処理するコアリング部１２３ｒ，１２３ｇ，１２３ｂと、コアリング部１２３ｒ，１２３ｇ，１２３ｂでコアリング演算処理することで得られたＲＧＢ信号それぞれのエッジ成分にエッジ強調量βが乗算される乗算器１２４ｒ，１２４ｇ，１２４ｂと、乗算器１２４ｒ，１２４ｇ，１２４ｂそれぞれからのＲＧＢ信号のエッジ成分をＬＰＦ１２１ｒ，１２１ｇ，１２１ｂでノイズ成分が除去されたＲＧＢ信号それぞれに加算する加算器１２５ｒ，１２５ｇ，１２５ｂと、を備える。

このような構成のコアリング回路１２において、ローパスフィルタ１２１ｒ，１２１ｇ，１２１ｂは、ｎ画素×ｎ画素のマトリックス演算を行うもので、そのｎ×ｎのマトリックス係数（ＬＰＦ係数）が全体制御部１３より与えられる。又、コアリング部１２３ｒ，１２３ｇ，１２３ｂでは、その入出力が図３のような関係となる。即ち、入力が−αより大きくαより小さいときは出力が０となり、入力が−α以下であるときは出力が入力に対してαを加えた値となり、又はα以上であるときは出力が入力に対してαを減じた値となる。尚、以下では、この値αをコアリング係数とし、このコアリング係数αが全体制御部１３より与えられる。又、乗算器１２４ｒ，１２４ｇ，１２４ｂで乗算されるエッジ強調量βも全体制御部１３より与えられる。そして、ＬＰＦ係数及びコアリング係数α及びエッジ強調量βは、ダイナミックレンジ制御信号と同様、ＡＥ・ＷＢ評価値検出回路７で検出された最適なダイナミックレンジの大きさによって設定される。

このとき、例えば、ＬＰＦ係数を５×５のマトリックス係数とするとともに、ＬＰＦ係数及びコアリング係数α及びエッジ強調量βを、ａＸ，ａＹの順にダイナミックレンジが広くなる２種類の光電変換特性ａＸ，ａＹに対して、以下のように設定する。

光電変換特性ａＸ
ＬＰＦ係数： 4 0 9 0 4
0 9 20 9 0
9 20 88 20 9
0 9 20 9 0
4 0 9 0 1
コアリング係数α： ２
エッジ強調量β： ２

光電変換特性ａＹ
ＬＰＦ係数： 1 2 4 2 1
2 6 11 6 2
4 11 24 11 4
2 6 11 6 2
1 2 4 2 1
コアリング係数α： ４
エッジ強調量β： ３。

このように構成されるコアリング回路１２に、画素ＧklのＲ信号ｒｙkl及びＧ信号ｇｙkl及びＢ信号ｂｙklが階調変換回路１１より入力されたとき、全体制御部１３において確認された固体撮像素子２の光電変換特性に基づくＬＰＦ係数及びコアリング係数α及びエッジ強調量βがそれぞれ、ＬＰＦ１２１ｒ，１２１ｇ，１２１ｂ及びコアリング部１２３ｒ，１２３ｇ，１２３ｂ及び乗算器１２４ｒ，１２４ｇ，１２４ｂそれぞれにおいて設定される。そして、この設定されたＬＰＦ係数に従ってＬＰＦ１２１ｒ，１２１ｇ，１２１ｂが動作することで、ＬＰＦ１２１ｒよりＲ信号ｒｙklからノイズ成分が除去されたＲ信号ｒｚklが、ＬＰＦ１２１ｇよりＧ信号ｇｙklからノイズ成分が除去されたＧ信号ｇｚklが、ＬＰＦ１２１ｂよりＢ信号ｂｙklからノイズ成分が除去されたＢ信号ｂｚklが、それぞれ出力される。

その後、減算器１２２ｒにおいて階調変換回路１１からのＲ信号ｒｙklからＬＰＦ１２１ｒからのＲ信号ｒｚklが減算され、減算器１２２ｇにおいて階調変換回路１１からのＧ信号ｇｙklからＬＰＦ１２１ｇからのＧ信号ｇｚklが減算され、減算器１２２ｂにおいて階調変換回路１１からのＢ信号ｂｙklからＬＰＦ１２１ｂからのＢ信号ｂｚklが減算される。よって、減算器１２２ｒからＲ信号のノイズ成分ｎｒkl（＝ｒｙkl−ｒｚkl）が、減算器１２２ｇからＧ信号のノイズ成分ｎｇkl（＝ｇｙkl−ｇｚkl）が、減算器１２２ｂからＢ信号のノイズ成分ｎｂkl（＝ｂｙkl−ｂｚkl）が、それぞれ出力される。

そして、コアリング部１２３ｒでは、入力されたノイズ成分ｎｒklが図３の入出力関係によるコアリング処理が成されてエッジ成分ｅｒklに変換され、又、コアリング部１２３ｇでは、入力されたノイズ成分ｎｇklが図３の入出力関係によるコアリング処理が成されてエッジ成分ｅｇklに変換され、又、コアリング部１２３ｂでは、入力されたノイズ成分ｎｂklが図３の入出力関係によるコアリング処理が成されてエッジ成分ｅｂklに変換される。即ち、コアリング部１２３ｒを代表して説明すると、ノイズ成分ｎｒklが以下の式ようにエッジ成分ｅｒklに変換されて出力される。
ｅｒkl＝ｎｒkl＋α （ｎｒkl≦−α）
ｅｒkl＝０ （−α＜ｎｒkl＜α）
ｅｒkl＝ｎｒkl−α （α≦ｎｒkl）。

このようにしてコアリング部１２３ｒ，１２３ｇ，１２３ｂそれぞれでエッジ成分ｅｒkl，ｅｇkl，ｅｂklが得られると、乗算部１２４ｒでエッジ成分ｅｒklにエッジ強調量βが、乗算部１２４ｇでエッジ成分ｅｇklにエッジ強調量βが、乗算部１２４ｂでエッジ成分ｅｂklにエッジ強調量βが、それぞれ乗算される。そして、加算部１２５ｒにおいて、ノイズ除去されたＲ信号ｒｚklにエッジ強調されたエッジ成分β×ｅｒklが加算され、加算部１２５ｇにおいて、ノイズ除去されたＧ信号ｇｚklにエッジ強調されたエッジ成分β×ｅｇklが加算され、加算部１２５ｂにおいて、ノイズ除去されたＢ信号ｂｚklにエッジ強調されたエッジ成分β×ｅｂklが加算される。よって、加算部１２５ｒ，１２５ｇ，１２５ｂそれぞれからエッジ強調されたＲＧＢ信号が出力される。

このとき、コアリング回路１２の各部におけるＲＧＢ信号の状態が、図２１のように遷移する。即ち、図２１（ａ）のようなＲＧＢ信号が入力されると、ＬＰＦ１２１ｒ，１２１ｇ，１２１ｂでノイズ除去されることで、図２１（ｂ）のようなＲＧＢ信号が得られる。又、減算器１２２ｒ，１２２ｇ，１２２ｂそれぞれにおいて、階調変換回路１１からのＲＧＢ信号をＬＰＦ１２１ｒ，１２１ｇ，１２１ｂからのＲＧＢ信号で減算することで、図２１（ｃ）のようなＲＧＢ信号のノイズ成分が得られる。そして、このＲＧＢ信号のノイズ成分がコアリング回路１２３ｒ，１２３ｇ，１２３ｂに入力されることで、図２１（ｄ）のようなエッジ成分が得られた後、乗算器１２４ｒ，１２４ｇ，１２４ｂでエッジ強調量βが乗算されて、図２１（ｅ）のようなエッジ成分に変換される。加算部１２５ｒ，１２５ｇ，１２５ｂで乗算器１２４ｒ，１２４ｇ，１２４ｂからのＲＧＢ信号のエッジ成分がＬＰＦ１２１ｒ，１２１ｇ，１２１ｂからのＲＧＢ信号に加算されることで、図２１（ｆ）のようにエッジ強調されたＲＧＢ信号が出力される。

尚、本実施形態において、階調変換回路１１で、その光電変換特性が線形変換特性となる領域の階調性を下げるとともに、その光電変換特性が対数変換特性となる領域の階調性を上げることによって、全輝度範囲における光電変換特性の階調性が均一になるようにしたが、光電変換特性が線形変換特性となる領域の階調性を下げるだけで全輝度範囲における光電変換特性の階調性が均一になるようにしても構わないし、又、光電変換特性が対数変換特性となる領域の階調性を上げるだけで全輝度範囲における光電変換特性の階調性が均一になるようにしても構わない。

又、本実施形態において、固体撮像素子２の光電変換特性が線形変換特性から対数変換特性に変化するものとしたが、高輝度側と低輝度側において異なる線形変換特性となるものとしても構わない。このとき、固体撮像素子２の各画素への露光量を切り換えることによって、光電変換特性を切り換える。即ち、絞りによるレンズの開口率や露光時間を切り換えることによって光電変換特性を切り換えることができる。

更に、本実施形態において、複数種類の色フィルタを１つの固体撮像素子に設けた単板の固体撮像素子としたが、例えば、ＲＧＢの色フィルタ毎に固体撮像素子を備えた三板の固体撮像素子のように、同一の色フィルタが備えられた固体撮像素子を色フィルタの種類毎に備える構成としても構わない。このとき、色補間回路を除去することができる。又、固体撮像素子を、色フィルタの備えられることのないモノクロの画像信号を出力する固体撮像素子としても構わない。

又、上述のダイナミックレンジの検出動作の第１例及び第２例において、固体撮像素子２からのＲＧＢ信号の信号レベルに基づいて被写体の輝度分布を確認するものとしたが、被写体の輝度状態を測定する測光素子からの信号に基づいて被写体の輝度分布を確認するものとしても構わない。更に、上述の撮像装置及び撮像システムにおいて、複数種類の光電変換特性に応じて信号処理動作に用いる各パラメータが格納されるものとしたが、各パラメータ毎に基準となる光電変換特性に対する基準値を格納するとともに、この基準となる光電変換特性との関係に基づいて、各パラメータの値を格納した基準値より算出するものとしても構わない。

＜撮像システム＞
上述の撮像装置においては、ホワイトバランス処理を含む各種信号処理を撮像装置内で行うものとしたが、これらの各種信号処理を撮像装置において行うことなく、撮像装置で得られたデータが与えられたコンピュータにおいて上述の各種信号処理を行うような撮像システムを構成することもできる。以下では、このような撮像装置とコンピュータを含む撮像システムについて、図面を参照して説明する。

この撮像システムは、図２２に示すように、被写体を撮像してＲＧＢ信号を生成する撮像装置２００と、撮像装置２００から出力されるＲＧＢ信号を受信してホワイトバランス処理を含む各種信号処理を施すコンピュータ２５０と、によって構成される。このとき、撮像装置２００において、被写体を撮像して得たＲＧＢ信号に対して黒基準補正及びＦＰＮ補正を行うとともに、露光量設定を行うためのＡＥ評価値の検出を行う。それに対して、コンピュータ２５０では、ＷＢ評価値の検出を行うとともに、撮像装置２００から与えられたＲＧＢ信号に対してホワイトバランス処理以降の各種信号処理を施す。

このような撮像システムにおいて、撮像装置２００が、光学系１、固体撮像素子２、アンプ３、ＡＤ変換回路４、黒基準補正回路５、ＦＰＮ補正回路６、絞り制御部１４、及びタイミング生成回路１５と、ＡＥ評価値を検出するＡＥ評価値検出回路７ａと、各ブロックの制御を行う全体制御部１３ａと、ＦＰＮ補正回路６でＦＰＮ補正されたＲＧＢ信号を一時的に格納するメモリ２０１と、メモリ２０１に一時的に格納したＲＧＢ信号を読み出して外部に送信する入出力インターフェース２０２と、を備える。

又、コンピュータ２５０は、ＰＣ（Personal Computer）やＰＤＡ（Personal Digital Assistant）などであり、データの処理演算を行うＣＰＵ（Central Processing Unit）２５１と、データを一時的に格納するメモリ２５２と、アプリケーションやデータが格納されるハードディスク２５３と、データの入力を行うキーボードやマウスなどの入力部２５４と、映像を表示するディスプレイ２５５と、外部とのデータのやりとりを行う入出力インターフェース２５６と、を備える。

このように、撮像装置２００及びコンピュータ２５０がそれぞれ構成するとき、コンピュータ２５０において、ＲＧＢ信号に対してホワイトバランス処理以降の各種信号処理を施すためのアプリケーションがハードディスク２５３に格納されている。このアプリケーションをハードディスク２５３より読み出して、メモリ２５２に格納させることで、ＷＢ評価値の検出動作とホワイトバランス処理以降の各種信号処理を行うことができる。又、このアプリケーションを起動することによって、ユーザが各種信号処理におけるパラメータを指定するためのユーザインターフェース（ＵＩ）がディスプレイ２５５に表示される。

以下では、この撮像システムにおける撮像装置２００及びコンピュータ２５０それぞれの動作について、図面を参照して説明する。

まず、撮像装置２００においては、図１の撮像装置と同様、固体撮像素子２に光が入射されると、アナログ信号となるＲＧＢ信号が生成されて、アンプ３で増幅された後、Ａ／Ｄ変換回路４でデジタル信号に変換される。このデジタル信号となるＲＧＢ信号は、黒基準補正回路５において、最低輝度値となる黒レベルが基準値に補正された後、ＦＰＮ補正回路６において格納しているＦＰＮ成分を減算することによって、ＦＰＮ成分が除去される。そして、ＦＰＮ成分が除去されたＲＧＢ信号がメモリ２０１に格納される。このように動作するとき、ＦＰＮ成分が除去されたＲＧＢ信号がＡＥ評価値検出回路７ａに与えられると、被写体の輝度範囲を確認し、絞り制御部１４によって設定される絞り１ａの開口度を決めるＡＥ評価値が検出される。

又、撮像装置２００は、撮像動作を行う際に固体撮像素子２に対して設定された光電変換特性を示すダイナミックレンジ情報を、撮像した画像毎に確認し、その画像のＲＧＢ信号とともにメモリ２０１に格納する。このダイナミックレンジ情報は、以下の４つの情報の（１）、（２）の少なくともいずれか一方と、（３）、（４）の少なくともいずれか一方と、を備えるか、又は、（１）〜（４）の少なくともいずれか一方のみを備える。
（１）固体撮像素子２の光電変換特性の変極点Ｖth
（２）固体撮像素子２の光電変換特性を設定するためのモード番号Ｍ
（３）固体撮像素子２の光電変換特性を示す近似式の係数Ａ，Ｃ，γ，δ（この近似式については後述する）
（４）撮像装置２００の撮像条件

これらのダイナミックレンジ情報において、固体撮像素子２の光電変換特性の変極点Ｖthは、固体撮像素子２の光電変換特性対数変換特性から線形変換特性に変更する際のＲＧＢ信号の信号レベルを示す。又、固体撮像素子２の光電変換特性を設定するためのモード番号Ｍは、このモード番号Ｍがコンピュータ２５０側で設定されることで、撮像装置２００の固体撮像素子２の光電変換特性が設定されるものである。又、固体撮像素子２の光電変換特性を示す近似式の係数は、線形変換特性を表す（イ）式 Ｖ＝Ａ×Ｌ＋Ｃ における係数Ａ，Ｃと、対数変換特性を表す（ロ）式 Ｖ＝γ×ｌｎ（Ｌ）＋δ における係数γ，δとによって構成される。又、撮像装置２００の撮像条件とされるとき、信号φＶPSの電圧値ＶＨ，ＶＬの電圧差ΔＶPSと、固体撮像素子２への露光時間ｔｘと、絞り１ａの開口率ｒｘと、固体撮像素子２の内部アンプ及びアンプ３での増幅率ａｘが、ダイナミックレンジ情報となる。この撮像装置２００の撮像条件をダイナミックレンジ情報としたときは、（イ）式における係数Ａと（露光時間×絞り１ａの開口率×増幅率）との関係が既知であるとともに、（ロ）式における係数δと信号φＶPSの電圧差ΔＶPS、及び、係数γと増幅率の関係が既知である。

又、コンピュータ２５０は、入力部２５４が操作されることで、ハードディスク２５３よりアプリケーションが読み出されて、アプリケーションによって指定される動作が開始されると、ディスプレイ２５５に、ＵＩとして、図２３のような画面が表示される。図２３の画面には、撮像されて得られた画像を表示する画像表示領域Ｘ１と、画像の鮮鋭度や色の濃淡の設定などの画像処理条件の設定を行う画像処理条件設定領域Ｘ２と、撮像装置２００で撮像された画像の取り込みの開始を指示するための画像取得ボタンＸ３と、ホワイトバランス処理を行う際に基準とする光電変換特性を設定するためのＷＢ設定領域Ｘ４と、色補正されたＲＧＢ信号信号に対して施す階調変換後の階調特性を示す階調特性表示領域Ｘ５と、が表示される。

このとき、画像処理条件設定領域Ｘ２において、スクロールバーＳＢ１が操作されて画像の鮮鋭度が変更されると、コアリング回路１２におけるエッジ成分を設定するためのエッジ強調量βが変更され、又、スクロールバーＳＢ２が操作されて画像の色の濃淡が変更されると、色補正処理におけるマトリックス係数ａ１〜ａ３，ｂ１〜ｂ３，ｃ１〜ｃ３が変更される。このとき、撮像装置２００から与えられるダイナミックレンジ情報に基づいて得られるエッジ強調量又は色補正処理におけるマトリックス係数を基準として変更されるものとしても構わないし、予め設定された所定値のエッジ強調量又は色補正処理におけるマトリックス係数を基準として変更されるものとしても構わない。

又、画像処理条件設定領域Ｘ２において、３つのオプションボタンＯｂ１〜Ｏｂ３が指定されることで、スクロールバーＳＢ１，ＳＢ２それぞれによって指定されるエッジ強調量β及びマトリックス係数ａ１〜ａ３，ｂ１〜ｂ３，ｃ１〜ｃ３を用いる対象となる画像が指定される。即ち、スクロールバーＳＢ１，ＳＢ２で指定されたエッジ強調量β及びマトリックス係数ａ１〜ａ３，ｂ１〜ｂ３，ｃ１〜ｃ３の使用が、オプションボタンＯｂ１が指定された場合は、得られた画像が光電変換特性が線形変換特性及び対数変換特性のいずれの場合においても行われることを示し、又、オプションボタンＯｂ２が指定された場合は、得られた画像が光電変換特性が線形変換特性の場合においてのみ行われることを示し、更に、オプションボタンＯｂ３が指定された場合は、得られた画像が光電変換特性が対数変換特性の場合においてのみ行われることを示す。

又、ＷＢ設定領域Ｘ４において、５つのオプションボタンＷｂ１〜Ｗｂ５が指定されることで、ホワイトバランス処理を行う際のＷＢ評価値ｗｒ，ｗｂが設定される。即ち、オプションボタンＷｂ１が指定されると、撮像装置２００から与えられるＲＧＢ信号に基づいて自動的に設定されたＷＢ評価値ｗｒ，ｗｂを用いてホワイトバランス処理を行うことが設定され、オプションボタンＷｂ２〜Ｗｂ５が指定されると、予め設定された値となるＷＢ評価値ｗｒ，ｗｂを用いてホワイトバランス処理を行うことが設定される。尚、オプションボタンＷｂ２〜ＷＢ５が指定される場合はそれぞれ、蛍光灯下での画像に応じたＷＢ評価値ｗｒ，ｗｂ、白熱灯下での画像に応じたＷＢ評価値ｗｒ，ｗｂ、屋外晴天時での画像に応じたＷＢ評価値ｗｒ，ｗｂ、屋外曇天時での画像に応じたＷＢ評価値ｗｒ，ｗｂのそれぞれが設定される。

又、階調特性表示領域Ｘ５において、表示された階調特性が、色補正処理されたＲＧＢ信号それぞれに対して階調変換する際の変換前後の関係を示す。そして、表示された階調特性における線形変換特性からの対数変換特性に切りかわる変極点の位置を変更することで、そのダイナミックレンジにおいて、線形変換特性による信号となる線形領域における階調の大きさと、対数変換特性による信号となる対数領域における階調の大きさとを設定することができる。尚、階調特性の変極点の位置は、撮像装置２００から与えられるダイナミックレンジ情報に基づいて得られた位置を基準として設定されるものとしても構わないし、予め設定された所定位置を基準として設定されるものとしても構わない。又、階調特性を示す複数のＬＵＴを備え、このＬＵＴを切り換えることで、階調特性表示領域Ｘ５に表示するＬＵＴを変更するものとしても構わない。

このように、コンピュータ２５０においてアプリケーションが起動されて、図２３のようなＵＩがディスプレイ２５５に表示されたとき、コンピュータ２５０が図２４のフローチャートに従って動作することで、撮像装置２００で撮像された画像がディスプレイ２５５に表示される。まず、コンピュータ２５０において、入力部２５４が操作されて、ＵＩ画面内の画像取得ボタンＸ３が押されると（ＳＴＥＰ１）、入出力インターフェース２５６に入出力インターフェース２０２が接続された撮像装置２００に対して、撮像装置２００との回線を確保する（ＳＴＥＰ２）。このとき、撮像装置２００とコンピュータ２５０との間で、通信の要求と応答を繰り返すことで、回線を確保することができる。

そして、撮像装置２００との回線が確保されたか否かを確認し（ＳＴＥＰ３）、撮像装置２００との回線が確保されたことを確認したとき（Ｙｅｓ）、撮像装置２００に対して撮像して得られたＲＧＢ信号の出力を要求する（ＳＴＥＰ４）。このとき、撮像装置２００は、コンピュータ２５０からのＲＧＢ信号の出力要求を受信すると、メモリ２０１に格納している１フレーム分のＲＧＢ信号とダイナミックレンジ情報とを読み出して、入出力インターフェース２０２より出力する。このとき、１フレーム分のＲＧＢ信号によるフレームデータが生成されて出力されるとき、ダイナミックレンジ情報がフレームデータのヘッダ部分に付加されている。

そして、撮像装置２００からのフレームデータを入出力インターフェース２５６で受信されて、ハードディスク２５３の一時記憶領域に格納されると（ＳＴＥＰ５）、このフレームデータのヘッダ部分からダイナミックレンジ情報を取得する（ＳＴＥＰ６）。この取得したダイナミックレンジ情報によって、各信号処理に用いるパラメータを設定するとともに、設定されたパラメータに応じた表示を、ディスプレイ２５５のＵＩ画像に対して行う（ＳＴＥＰ７）。

即ち、ホワイトバランス処理に対するＷＢ検出値ｗｒ，ｗｂ、色補正処理に対するマトリックス係数ａ１〜ａ３，ｂ１〜ｂ３，ｃ１〜ｃ３、階調変換処理に対する階調特性、コアリング処理に対するエッジ強調量βをそれぞれ設定するとともに、設定された各パラメータに応じた表示を、画像処理条件設定領域Ｘ２、ＷＢ設定領域Ｘ４、ＷＢ設定領域Ｘ４それぞれにおいて行う。

又、このように各パラメータが設定されるとき、色補正処理で用いる色補正係数を各画素のＲＧＢ信号毎に設定するために、ダイナミックレンジ情報より得られる変極点Ｖth、モード番号Ｍ、係数Ａ，Ｃ，γ，δ、又は、撮像装置２００の撮像条件より、光電変換特性を確認する。そして、確認した光電変換特性に応じた色補正係数を、予めハードディスク２５３のアプリケーションとともに格納される各光電変換特性に対応した色補正係数から選択して読み出す。

このとき、変極点Ｖthがダイナミックレンジ情報に含まれるときは、この変極点Ｖthにより光電変換特性を認識し、又、係数Ａ，Ｃ，γ，δがダイナミックレンジ情報に含まれるときは、（イ）、（ロ）式により光電変換特性を認識する。又、モード番号Ｍがダイナミックレンジ情報に含まれるときは、予めハードディスク２５３のアプリケーションとともに格納されるモード番号Ｍに対応した変極点Ｖthを読み出し、この変極点Ｖthにより光電変換特性を認識する。

又、撮影条件（電圧差ΔＶPS、露光時間ｔｘ、開口率ｒｘ、増幅率ａｘ）がダイナミックレンジ情報に含まれるときは、基準値となる係数Ａ０，Ｃ０，γ０、露光時間ｔｘ０、開口率ｒｘ０、増幅率ａｘ０が予めハードディスク２５３のアプリケーションとともに格納されている。そして、まず、光電変換特性を表す（イ）、（ロ）式の係数Ａ，Ｃ，γ，δが、以下の、（ハ）〜（ヘ）式に基づいて算出されることで設定される。尚、β０は、予めハードディスク２５３のアプリケーションとともに格納される信号φＶPSの電圧差ΔＶPSに対応した値である。その後、この係数Ａ，Ｃ，γ，δより確認されるによる（イ）、（ロ）式より、光電変換特性を認識する。
Ａ＝Ａ０×（ｔｘ／ｔｘ０）×（ｒｘ／ｒｘ０）×（ａｘ／ａｘ０） …（ハ）
Ｃ＝Ｃ０ …（ニ）
γ＝γ０×（ｔｘ／ｔｘ０） …（ホ）
δ＝δ０×（ｔｘ／ｔｘ０） …（ヘ）

更に、階調変換処理において用いる階調特性を確認するために、ダイナミックレンジ情報より得られる変極点Ｖth、モード番号Ｍ、係数Ａ，Ｃ，γ，δ、又は、撮像装置２００の撮像条件より、各画素のＲＧＢ信号それぞれの光電変換特性を判別するための閾値レベルＶ１（図６参照）を設定する。このときも、上述の色補正処理の場合と同様にして、ダイナミックレンジ情報より光電変換特性を確認すると、確認された光電変換特性における変極点Ｖthを求めるとともに、求めた変極点Ｖthをそのまま閾値レベルＶ１と設定する。

又、コアリング処理において用いるＬＰＦ係数及びコアリング係数α及びエッジ強調量βを確認するために、ダイナミックレンジ情報より得られる変極点Ｖth、モード番号Ｍ、係数Ａ，Ｃ，γ，δ、又は、撮像装置２００の撮像条件より、各画素のＲＧＢ信号それぞれの光電変換特性を確認する。このときも、上述の色補正処理の場合と同様にして、ダイナミックレンジ情報より光電変換特性を確認する。そして、確認した光電変換特性に応じたＬＰＦ係数及びコアリング係数α及びエッジ強調量βを、予めハードディスク２５３のアプリケーションとともに格納される各光電変換特性に対応したＬＰＦ係数及びコアリング係数α及びエッジ強調量βから選択して読み出す。

このように設定されたパラメータがメモリ２５２に格納されたアプリケーションに与えられると、このアプリケーションによって、ＳＴＥＰ５で受信されたフレームデータより得られるＲＧＢ信号に対して、設定されたパラメータに応じた信号処理が行われる（ＳＴＥＰ８）。即ち、フレームデータより得られるＲＧＢ信号に対して、ホワイトバランス処理、色補間処理、色補正処理、階調変換処理、コアリング処理の順に、各信号処理を施す。尚、この各信号処理については、図１に示す撮像装置内における信号処理と同一であるため、その詳細な説明は省略する。

このようにして信号処理されたＲＧＢ信号によるフレームデータがハードディスク２５３に格納されるとともに、このフレームデータによる画像が、ディスプレイ２５５の画像表示領域Ｘ１に表示される（ＳＴＥＰ９）。そして、入力部２５４が操作されて、画像処理条件設定領域Ｘ２、ＷＢ設定領域Ｘ４、ＷＢ設定領域Ｘ４における操作が成されて、各パラメータの変更が指示されたか否かが確認される（ＳＴＥＰ１０）。そして、パラメータの変更が指示されている場合（Ｙｅｓ）、指示された変更量に応じて各パラメータを変更した後（ＳＴＥＰ１１）、ＳＴＥＰ８に移行する。

又、ＳＴＥＰ３において回線の確保が確認できなかったときは（Ｎｏ）、回線が接続されていないことを示す表示をディスプレイ２５５に行うとともに（ＳＴＥＰ１２）、ＳＴＥＰ２に移行する。更に、ＳＴＥＰ１０において、各パラメータの変更の指示が確認されなかった場合（Ｎｏ）、動作を終了する。

このように、本システムによると、コンピュータ２５０側で、演算負荷のかかる各信号処理が行われるため、撮像装置２００の構成が簡単になるとともに、その処理速度を速くすることができる。又、本システムにおいて、撮像装置２００で、コンピュータ２５０に出力する信号を、上述の静止画像によるフレームデータだけでなく、動画像によるフレームデータやストリームデータとしても構わない。このとき、複数の静止画像のフレームデータにより動画像とされる場合、ダイナミックレンジ情報を各フレームデータのヘッダに記録するようにし、又、時間軸での画像圧縮も行うようなストリームデータにより動画像とされる場合、このストリームデータとは別の情報としてダイナミックレンジ情報を送信する。

更に、撮像装置２００において、全体制御部１３ａで、コンピュータ２５０に送信するＲＧＢ信号によるフレームデータ又はストリームデータを、ＪＰＥＧやモーションＪＰＥＧ又はＭＰＥＧなどの圧縮画像にフォーマット変換して、入出力インターフェース２０２より出力するものとしても構わない。又、コンピュータ２５０において、ディスプレイ２５５に表示するＵＩに、画像表示領域Ｘ１に表示される画像のヒストグラムを表示したり、対数変換特性による画素領域と線形変換特性による画素領域とを識別するための表示を行うようにしても構わない。

又、図２２の撮像システムにおいて、撮像装置２００が、黒基準補正回路５及びＦＰＮ成分補正回路６を備えるものとしたが、撮像装置２００が、図２２の構成から黒基準補正回路５及びＦＰＮ成分補正回路６が除かれた構成とし、コンピュータ２５０において黒基準補正処理及びＦＰＮ補正処理が行われるものとしても構わない。このとき、黒基準補正処理を行うための黒レベルと、ＦＰＮ補正処理を行うためのＦＰＮ成分と、がダイナミックレンジ情報とともに送信されるものとしても構わない。

更に、このようにコンピュータ２５０において黒基準補正処理及びＦＰＮ補正処理が行われるとき、この黒レベル及びＦＰＮ成分を、コンピュータ２５０が、アプリケーションとともにハードディスク２５３に格納するものとしても構わない。このとき、黒レベルについては、光電変換特性の変極点Ｖthに対しても複数格納され、この予め格納されている黒レベルより、上述のようにしてダイナミックレンジ情報によって得られる光電変換特性の変極点Ｖthに応じた黒レベルが選択される。又、ＦＰＮ成分については、個々の撮像装置２００における固体撮像素子２によって異なるため、個々の撮像装置２００毎に格納される。

更に、コンピュータ２５０において、ホワイトバランス処理を行う際、ＲＧＢ信号を、その光電変換特性が全て対数変換特性による信号や、その光電変換特性が全て線形変換特性による信号に変換した後に、ホワイトバランス処理を行うものとしても構わない。即ち、光電変換特性が全て対数変換特性による信号に変換する場合は、線形変換特性によって得られた信号値を対数変換特性による信号値に変換し、又、光電変換特性が全て線形変換特性による信号に変換する場合は、対数変換特性によって得られた信号値を線形変換特性による信号値に変換する。尚、このような変換処理についての演算については、ＬＵＴを参照して行われるものとしても構わないし、演算式によって行われるものとしても構わない。

又、図２２の撮像システムにおいて、撮像装置２００の入出力インターフェース２０２とコンピュータ２５０の入出力インターフェース２５６とが通信接続されることで、撮像装置２００で撮像されて得られたフレームデータがコンピュータ２５０に送信されるものとしたが、撮像装置２００がフレキシブルディスクやコンパクトフラッシュやメモリカードなどの記録メディアにフレームデータ又はストリームデータを記録する記録部を備えるとともに、コンピュータ２５０がこの記録メディアのフレームデータ又はストリームデータを読み出す再生部を備えるものとしても構わない。このようにすることで、記録メディアを介して、撮像装置２００からコンピュータ２５０に、撮像して得られたフレームデータ又はストリームデータを転送することができる。

は、本発明の実施形態である撮像装置の構成を示すブロック図である。 は、固体撮像素子に設けられる色フィルタの配列を示す図である。 は、コアリング回路におけるエッジ成分に対するレベル変換特性を示すグラフである。 は、固体撮像素子の全体の構成を説明するための回路ブロック図。 は、図４の固体撮像素子を構成する画素の一構成例を示す回路図である。 は、図５の画素の動作を示すタイミングチャートである。 は、被写体の輝度と画素の出力との関係を示すグラフである。 は、ＡＥ・ＷＢ評価値検出回路によるダイナミックレンジの検出動作の一例を示すフローチャートである。 は、ＲＧＢ信号の輝度値と信号レベルとの関係を示すグラフである。 は、被写体の輝度値によるヒストグラムを示す図である。 は、被写体の輝度と画素の出力との関係を示すグラフである。 は、ＡＥ・ＷＢ評価値検出回路によるダイナミックレンジの検出動作の他の例を示すフローチャートである。 は、黒基準補正回路の内部構成を示すブロック図である。 は、色補正回路の内部構成を示すブロック図である。 は、階調変換回路の内部構成を示すブロック図である。 は、ＲＧＢ信号の輝度値と信号レベルとの関係を示すグラフである。 は、階調変換回路における入出力と光電変換特性との関係を示すグラフである。 は、階調変換回路における入出力と光電変換特性との関係を示すグラフである。 は、階調変換回路における入出力と光電変換特性との関係を示すグラフである。 は、コアリング回路の内部構成を示すブロック図である。 は、コアリング回路の各部における信号の状態遷移を説明するための図である。 は、本発明の実施形態である撮像システムの構成を示すブロック図である。 は、図２２の撮像システムのコンピュータに表示される画面の一例を示す図である。 は、図２２の撮像システムのコンピュータにおける信号処理動作を示すフローチャートである。

符号の説明

１ 光学系
２ 固体撮像素子
３ アンプ
４ ＡＤ変換回路
５ 黒基準補正回路
６ ＦＰＮ補正回路
７ ＡＥ・ＷＢ評価値検出回路
８ ＷＢ制御回路
９ 色補間回路
１０ 色補正回路
１１ 階調変換回路
１２ コアリング回路
１３ 全体制御部
１４ 絞り制御部
１５ タイミング生成回路

Claims (14)

1. 複数の画素を有する固体撮像素子と、当該固体撮像素子から出力される画像信号の処理を行う信号処理回路と、を備え、前記固体撮像素子の光電変換特性を複数の光電変換特性から選択して切り換える撮像装置において、
   前記固体撮像素子から出力される画像信号より被写体の輝度分布を検出するとともに、検出した当該被写体の輝度分布に応じた光電変換特性を前記複数の光電変換特性から選択して、前記固体撮像素子の光電変換特性として設定する光電変換特性切換部を有するとともに、
   前記信号処理回路が、前記固体撮像素子から出力される画像信号における最低輝度値に対する信号レベルを所定の基準値に変換する基準値補正を行う黒基準補正回路と、信号から固定パターンノイズを除去する固定パターンノイズ補正回路と、前記画像信号を処理するためのパラメータとして、前記複数の光電変換特性それぞれに応じた複数種類のパラメータを備え、
   前記輝度分布を検出する際の画像信号が、黒基準補正および固定パターンノイズキャンセル後の画像データであり、
   選択された前記光電変換特性に応じたパラメータを前記複数種類のパラメータから選択して前記信号処理回路における処理のパラメータに設定することを特徴とする撮像装置。
2. 当該黒基準補正回路が、基準値補正を行うためのパラメータとして、前記各光電変換特性に応じた複数種類のパラメータを備えることを特徴とする請求項１に記載の撮像装置。
3. 前記黒基準補正回路が、
   選択された前記光電変換特性に応じて前記基準値補正を行うためのパラメータとなる前記最低輝度値に対する信号レベルを設定するパラメータ設定部と、
   固体撮像素子から出力される画像信号から前記パラメータ設定部で設定された前記最低輝度値に対する信号レベルを前記画像信号から減算することで、基準値補正を行う減算器と、を備え、
   当該黒基準補正回路が、基準値補正を行うための前記最低輝度値に対する信号レベルとして、前記各光電変換特性に応じた複数種類の信号レベルを備えることを特徴とする請求項２に記載の撮像装置。
4. 前記信号処理回路が、前記画像信号の階調を変換する階調変換回路を備え、
   当該階調変換回路が、階調変換を行うためのパラメータとして、前記各光電変換特性に応じた複数種類のパラメータを備えることを特徴とする請求項１〜請求項３のいずれかに記載の撮像装置。
5. 前記階調変換回路が、
   選択された前記光電変換特性に応じて前記階調変換を行うためのパラメータを設定するパラメータ設定部と、
   前記パラメータ設定部で設定された前記パラメータに従って、入力された前記画像信号の階調変換を行う階調変換部と、
   を備えることを特徴とする請求項４に記載の撮像装置。
6. 前記黒基準補正回路から出力される信号を前記固定パターンノイズ補正回路に入力することを特徴とする請求項１〜請求項５のいずれかに記載の撮像装置。
7. 前記信号処理回路が、前記画像信号のノイズ成分を除去するとともにエッジ強調を行うコアリング回路を備え、
   当該コアリング回路が、ノイズ成分除去を行うためのパラメータとして、前記各光電変換特性に応じた複数種類のパラメータを備えることを特徴とする請求項１〜請求項６のいずれかに記載の撮像装置。
8. 前記信号処理回路が、前記画像信号のノイズ成分を除去するとともにエッジ強調を行うコアリング回路を備え、
   当該コアリング回路が、エッジ強調を行うためのパラメータとして、前記各光電変換特性に応じた複数種類のパラメータを備えることを特徴とする請求項１〜請求項６のいずれかに記載の撮像装置。
9. 前記信号処理回路が、前記画像信号のノイズ成分を除去するとともにエッジ強調を行うコアリング回路を備え、
   当該コアリング回路が、ノイズ成分除去及びエッジ強調を行うためのパラメータとして、前記各光電変換特性に応じた複数種類のパラメータを備えることを特徴とする請求項１〜請求項６のいずれかに記載の撮像装置。
10. 当該コアリング回路が、
    入力された前記画像信号からノイズ成分を除去するローパスフィルタと、
    入力された前記画像信号から当該ローパスフィルタを通過した画像信号を減算して前記ノイズ成分を抽出する減算器と、
    当該減算器で得られた前記ノイズ成分をコアリング処理して、エッジ部分以外のノイズ成分を除去するコアリング部と、
    該コアリング部で得られたエッジ成分に所定量となるエッジ強調量を乗算する乗算器と、
    前記ローパスフィルタでノイズ成分が除去された前記画像信号に、前記乗算器で前記エッジ強調量が乗算された前記エッジ成分を加算して、エッジ強調された画像信号を出力する加算器と、
    を備え、
    前記各光電変換特性に応じて複数種類設定されるパラメータが、前記ローパスフィルタにおいてノイズ成分を除去するためのマトリックス状のローパスフィルタ係数、及び、前記コアリング回路でエッジ部分以外のノイズ成分を除去するためのコアリング係数、及び、前記乗算器でのエッジ強調量のいずれかであることを特徴とする請求項７〜請求項９のいずれかに記載の撮像装置。
11. 前記固体撮像素子から出力される画像信号が複数種類の色信号であり、１つの画素に対して当該複数種類の色信号が生成されて前記信号処理回路に与えられるとともに、
    前記信号処理回路が、前記各画素の前記色信号の種類毎に、他の色信号との相関関係を与えて色補正を行う色補正回路を備え、
    当該色補正回路が、色補正を行うためのパラメータとして、前記各光電変換特性に応じた複数種類のパラメータを備えることを特徴とする請求項１〜請求項１０のいずれかに記載の撮像装置。
12. 前記色補正回路が、
    前記色信号の種類毎に、
    選択された前記光電変換特性に応じて前記色補正を行うためのパラメータを設定するパラメータ設定部と、
    入力された前記色信号と同一画素の全種類の色信号それぞれに前記パラメータ設定部で設定された前記パラメータを乗算する乗算器と、
    前記乗算器で前記パラメータが乗算された前記同一画素の全種類の色信号を加算して、入力された前記色信号の色補正を行う加算器と、
    を備えることを特徴とする請求項１１に記載の撮像装置。
13. 前記光電変換特性切換部において、その信号レベルが最大となる飽和レベルの画像信号が第１所定画素数以上前記固体撮像素子より出力されたことを確認したとき、前記固体撮像素子のダイナミックレンジを拡げる光電変換特性を選択することを特徴とする請求項１〜請求項１２のいずれかに記載の撮像装置。
14. 前記光電変換特性切換部において、前記固体撮像素子より出力された画像信号の最大信号レベルが、その信号レベルが最大となる飽和レベルよりも所定の信号レベル分低い値である場合、前記固体撮像素子のダイナミックレンジを狭める光電変換特性を選択することを特徴とする請求項１〜請求項１３のいずれかに記載の撮像装置。

Images