JP4265546B2

JP4265546B2 - 撮像装置、画像処理装置および画像処理方法

Info

Publication number: JP4265546B2
Application number: JP2005022853A
Authority: JP
Inventors: 貴美水倉; 直哉加藤; 健二田中; 雅也木下; 豊米田; 啓松井
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2005-01-31
Filing date: 2005-01-31
Publication date: 2009-05-20
Anticipated expiration: 2025-01-31
Also published as: CN101572824A; TW200926797A; KR101200178B1; CN101572824B; EP1729524B1; KR20070098960A; TWI316364B; CN1943248A; US20090213251A1; TW200627942A; US7868937B2; JP2006211478A; TWI316365B; CN1943248B; WO2006080220A1; EP1729524A4; EP1729524A1

Description

この発明は、撮像装置、画像処理装置および画像処理方法に関する。

近年の画像入力装置の撮像素子の画素数増加は目覚しく、撮像素子の解像度は人間の眼で判定できないほどの滑らかな粒状性を持つレベルにまで達している。この状況下で画質に対する要求は解像感から色再現性、ノイズ感の低減性、広ダイナミックレンジ確保へと移行しつつある。この発明は画質、特に色再現性とノイズ特性を許容レベルに保持しつつ、スキャンできる輝度ダイナミックレンジの拡大を図る手段と装置を提供するものである。

先に、より忠実な色を再現すると共に、ノイズを低減できるようにした画像処理装置が下記特許文献１に記載されている。

特開２００３−２８４０８４号公報

以下、この特許文献１に記載の装置について説明する。撮像素子の前面に図１に示す色配列の４色カラーフィルタ１が設けられている。一点鎖線で示されるように、カラーフィルタ１は、赤（Ｒ）の光のみを透過するＲフィルタと、青（Ｂ）の光のみを透過するＢフィルタと、第１の波長帯域の緑色の光のみを透過するＧ１フィルタと、第２の波長帯域の緑色の光のみを透過するＧ２フィルタとの合計４個を最小単位とする構成を有する。

図２は、このようなカラーフィルタ１を有する撮像素子例えばＣＣＤにより得られた撮像信号に対して信号処理を施す信号処理部の構成の一例を示す。参照符号１０が画像センサーからの４種類の色信号（Ｒ信号、Ｇ１信号、Ｇ２信号、Ｂ信号）が入力されるフロントエンドを示す。フロントエンド１０は、画像センサからの色信号に対して、ノイズ成分を除去する相関二重サンプリング処理、ゲインコントロール処理、ディジタル変換処理等の処理を施す。フロントエンド１０からの画像データがＬＳＩ(Large Scale Integrated
Circuit：大規模集積回路)の構成とされた信号処理部１１に対して供給される。

信号処理部１１は、図示しないマイクロコンピュータに対してマイクロコンピュータインターフェース１２を介して接続されている。マイクロコンピュータは、所定のプログラムにしたがって例えばディジタルスチルカメラの全体の動作を制御する。さらに、信号処理部１１を構成する各ブロックがマイクロコンピュータインターフェース１２を介してマイクロコンピュータによって制御される

信号処理部１１は、フロントエンド１０から入力される４種類の色信号に対して、補間処理、フィルタリング処理、マトリクス演算処理、輝度信号生成処理、色差信号生成処理等を行う。信号処理部１１によって生成された画像信号が図示しないディスプレイに供給し、撮像画像が表示される。また、信号処理部１１からの画像データが圧縮されて内部記憶媒体、外部記憶媒体等に記憶される。

信号処理部１１の各ブロックについて以下に説明する。オフセット補正処理部２１は、フロントエンド１０から供給されてきた画像信号に含まれるノイズ成分（オフセット成分）を除去する。オフセット補正処理部２１からの画像信号がホワイトバランス補正処理部２２に出力され、ホワイトバランス補正がなされる。すなわち、被写体の色温度環境の違い、そしてセンサー上の色フィルタ（Ｒ，Ｇ１，Ｇ２，Ｂ）による感度の違いによる各色間のアンバランスが補正される。

ホワイトバランス補正処理部２２の出力が垂直方向同時化処理部２３に供給される。垂直方向同時化処理部２３は、垂直方向の補間処理やフィルタリング処理のために、遅延素子例えば小規模なメモリを使用して時間的に異なる垂直方向の画像データを同時化する。

垂直方向同時化処理部２３により同時化された複数の画像信号が補間処理、フィルタ処理、高域周波数補正処理およびノイズ処理部２４に供給される。色フィルタ（Ｒ，Ｇ１，Ｇ２，Ｂ）の最小単位の２×２画素の色信号を、同一空間の位相に補間する補間処理と、適切に信号帯域を制限するフィルタ処理と、信号帯域の高域成分を補正する高域周波数補正処理と、信号のノイズ成分を除去するノイズ処理等が行われる。

処理部２４で得られた画像信号例えばＲＧ１Ｇ２Ｂの４色の信号がリニアマトリクス処理部２５に供給される。リニアマトリクス処理部２５では、４入力３出力のマトリクス演算がなされる。３×４の行列のマトリクス係数を与えることで、入力されたＲＧ１Ｇ２Ｂの４色の画像情報からＲＧＢ色出力を求めることができる。

リニアマトリクス処理部２５からのＲＧＢ出力がガンマ補正処理部２６Ｒ、２６Ｇ、２６Ｂにそれぞれ供給される。ガンマ補正処理部２６Ｒ、２６Ｇ、２６Ｂによって、表示装置が有する非線形特性の逆補正を予め行うことで、最終的にリニアな特性が実現される。

ガンマ補正処理部２６Ｒ、２６Ｇ、２６Ｂの出力信号が輝度（Ｙ）信号生成処理部２７および色差（Ｃ）信号生成処理部２８にそれぞれ供給される。輝度信号生成処理部２７は、ガンマ補正されたＲＧＢ信号を所定の合成比で合成することによって輝度信号を生成する。色差信号生成処理部２８は、ガンマ補正されたＲＧＢ信号を所定の合成比で合成することによって色差信号を生成する。

色差信号生成処理部２８によって生成された色差信号が帯域制限および間引き処理部２９に供給され、色差信号ＣｂおよびＣｒが時分割多重化された色差信号が形成される。このように４色カラーフィルタを使用する画像処理装置は、３原色のカラーフィルタを使用するものと比較して色再現性を良いものとできる。

一般的に、撮像素子の分光感度として好ましいとされる特性は、色再現性が良いこと、ノイズ特性が良いことである。「色再現性が良い」ということは、人間の眼と同様の色を感知することができる、または、人間の眼の見えに対する色差が小さい、ということを意味する。人間の眼の見えとは、人間の眼で見えるそのままの色を意味する。「ノイズ特性が良い」ということは、ある輝度レベルにおけるノイズ量が少ないことを意味する。ノイズは、輝度ノイズと色ノイズに大別され、輝度ノイズは絶対的な感度に依存し、色ノイズは、撮像素子のカラーフィルタの分光感度同士の関係性、すなわち、分光感度曲線の形に大きく依存する。

輝度にリニアな撮像素子の出力信号をマトリクス変換して原色ＲＧＢ信号値を作成する手法は、図２に示すような一般的な画像入力装置の信号処理でよく行われている。この処理をリニアマトリクス処理と呼ぶ。ほとんどの場合、画像入力装置（スキャナやディジタルスチルカメラ等）は、入力した画像をパーソナルコンピュータ（以下、ＰＣと適宜略す）モニタで観察及び編集することが多いので、マトリクス演算後の原色ＲＧＢ信号値の目標色空間は、一般的ＰＣモニタの空間であるｓＲＧＢ色空間に設定する。

ｓＲＧＢ色空間は、伝送するカラー画像信号が準拠するべきマルチメディア用の標準色空間としてＩＥＣ(International Electrotechnical Commission：国際電気標準会議)に
より定められたものである。標準色空間に準拠することによってカラー画像の送り側と受け側とが同じ色再現を共有することができる。

したがって、撮像素子の目標分光感度（相対感度と図中では表記する）は、人間の眼の分光感度である等色関数（図３参照）を７０９系マトリクスによって線形変換したｓＲＧＢ等色関数となる。７０９系マトリクスについては、次の参考文献１に説明されている。

参考文献１
"ITU-R BT.709-3, "Basic Parameter Values for the HDTV Standard for the Studio
and for International Programme Exchange" (1998)”

図３において、曲線３１ｘが関数ｘ（λ）を示し、曲線３１ｙが関数ｙ（λ）を示し、曲線３１ｚが関数ｚ（λ）を示す。図３に示す等色関数のグラフは、ＣＩＥ(Commission
Internationale de I'Eclairage:国際照明委員会)１９３１として規定されているもので
ある。

図４は、ｓＲＧＢ等色関数をグラフで表したものである。図４において、曲線３２ｒが関数ｒ（λ）を示し、曲線３２ｇが関数ｇ（λ）を示し、曲線３２ｂが関数ｂ（λ）を示す。ｓＲＧＢ等色関数はルータ条件を満たすので、眼で見たままの色を感知することが可能である。ルータ条件については、次の参考文献２に説明されている。

参考文献２
大田登, "色彩工学", ISＢN: 4-501-61350-5, 東京電機大学出版局(1993)

しかしながら、図４に示す分光感度には、負の分光感度が存在し、現実にはそのような分光感度を持つ３色ＲＧＢフィルタの作成が不可能である。若し、正の分光感度を持ち、且つルータ条件を満たす３色ＲＧＢフィルタ分光感度を作成しようとすると、図５に示すような分光感度となる。図５において、曲線３３Ｒが関数ｓＲ（λ）を示し、曲線３３Ｇが関数ｓＧ（λ）を示し、曲線３３Ｂが関数ｓＢ（λ）を示す。

図５から分かるように、この撮像素子の赤成分のフィルタの分光感度の曲線３３Ｒと緑成分のフィルタの分光感度の曲線３３Ｇの重なりが非常に大きい。このことは、この２成分の信号は、非常に似ていることを意味する。したがって、図５に示す分光感度のフィルタを有する撮像素子を用いて目標出力信号であるｓＲＧＢ空間の３色を計算しようとすると、次の式（１）の行列演算が必要になる。

式（１）の行列係数を見て分かるように、出力信号の赤成分を計算するために、入力信号の赤成分と緑成分とに対して６．５６１４と−５．５４１２という非常に大きな行列係数が乗じられている。このことは、撮像素子の赤信号と緑信号にのっているノイズを非常に増大させることを意味する。

よって、実際にはルータ条件を完璧には満たさなくても、すなわち、色再現性を多少犠牲にしてもノイズ特性が良い、図６に示すような分光感度を有する３色ＲＧＢフィルタが使用される。図６において、曲線３４Ｒが関数ｓ１Ｒ（λ）を示し、曲線３４Ｇが関数ｓ１Ｇ（λ）を示し、曲線３４Ｂが関数ｓ１Ｂ（λ）を示す。図６の分光は、ルータ条件を満たさないので、ｓＲＧＢ等色関数に線形変換することができない。したがって、ｓＲＧＢ等色関数への近似変換行列演算は、次の式（２）に示されるものとなる。

式（２）の行列係数では、全ての係数の絶対値が式（１）に示される行列係数よりも小さく、色分離の結果、ノイズが比較的増大しないことが分かる。

一般的な原色系ＲＧＢの撮像素子は、上述した理由から、図６で示すような曲線を有する分光感度とされており、色再現性もノイズ特性もかなり優れていることが知られている。しかしながら、実際には、撮像素子自体の感度、レンズの特性、赤外カットフィルタ特性の影響により図７に示す分光感度の曲線のグラフとなる。図７において、曲線３５ＲがＲのフィルタの分光感度を示し、曲線３５ＧがＧのフィルタの分光感度を示し、曲線３５ＢがＢのフィルタの分光感度を示す。

種々な製造上の制限から、各カラーフィルタの分光感度を高めることが難しい。感度を維持するためには、セルサイズをある程度大きくしたり、電気的ゲインを乗じる等の方法が用いられる。しかしながら、セルサイズを大きくすることは、解像度の犠牲を伴い、また、ゲインを乗じることは、ノイズ低減性を犠牲にする。

以上をまとめると、原色系ＲＧＢ撮像素子は、色再現性に関しては、かなり良好であるが多少の改善の余地があること、ノイズ特性に関しては、色分離ノイズは小さいが、低感度のためにノイズの支配的成分である輝度ノイズが大きくなる傾向にある。すなわち、色再現性は良いが、ノイズ感が出やすいという特徴がある。

カラーフィルタとしては、補色系カラーフィルタも知られている。例えばＹ（黄色）Ｃ（シアン）Ｍ（マゼンタ）Ｇ（緑）の４色のフィルタを図８に示すように、配列する補色市松線順次方式のカラーフィルタが知られている。図８において、破線で囲んだ２×４の配列が配列の最小単位である。

かかる補色系ＹＣＭＧ撮像素子の分光感度のグラフを図９に示す。図９において、曲線３６ＹがＹのフィルタの分光感度を示し、曲線３６ＣがＣのフィルタの分光感度を示し、曲線３６ＭがＭのフィルタの分光感度を示し、曲線３６ＧがＧのフィルタの分光感度を示す。図９に示すように、各カラーフィルタの感度が高いので、補色系ＹＣＭＧ撮像素子は、特に暗所での撮影に強く、輝度ノイズ特性が良い。しかしながら、分光感度の重なりが非常に大きいために、色再現性を良好にしようとすると、非常に大きな色分離係数を必要とし、色分離ノイズが増大してしまう問題があった。したがって、原色系ＲＧＢ撮像素子に比較して色再現性を追い込むことができない問題点があった。

このように、補色系ＹＣＭＧ撮像素子は、色再現性に関しては、追い込みの余地が非常に大きい。また、ノイズ特性に関しては、色分離ノイズが大きいが、高感度のために、ノイズの支配的成分である輝度ノイズが小さくなる傾向にある。すなわち、ノイズ感は良いが、色再現性があまり良くないという特徴がある。

上述したように、従来の撮像素子においては、原色系ＲＧＢ撮像素子を使用した時には、感度が低いことによる輝度ノイズが多い問題が生じ、一方、補色系ＹＣＭＧ撮像素子を使用した時には、色再現性および色分離ノイズ特性が不十分という問題があった。

したがって、この発明の目的は、これらの撮像素子の有する問題点を解決することができる撮像装置、画像処理装置および画像処理方法を提供することにある。

上述した課題を解決するために、この発明は、三原色系および補色系のカラーフィルタを備えた撮像素子と、
撮像素子により得られる画像の輝度が第１の輝度領域にあるときは、三原色系および補色系のカラーフィルタを使用して得た撮像素子の複数の出力信号をマトリクス演算処理することによって三原色信号を生成し、画像の輝度が第１の輝度領域よりも高い第２の輝度領域にあるときは、三原色系のカラーフィルタを使用して得た撮像素子の複数の出力信号をマトリクス演算処理することによって三原色信号を生成する信号処理部
とを備えることを特徴とする撮像装置である。

この発明は、三原色系および補色系のカラーフィルタを備えた撮像素子により得られる画像の輝度が第１の輝度領域にあるときは、三原色系および補色系のカラーフィルタを使用して得た撮像素子の複数の出力信号をマトリクス演算処理することによって三原色信号を生成し、画像の輝度が第１の輝度領域よりも高い第２の輝度領域にあるときは、三原色系のカラーフィルタを使用して得た撮像素子の複数の出力信号をマトリクス演算処理することによって三原色信号を生成する信号処理部
を備えることを特徴とする画像処理装置である。
この発明は、三原色系および補色系のカラーフィルタを備えた撮像素子により得られる画像の輝度が第１の輝度領域にあるときは、三原色系および補色系のカラーフィルタを使用して得た撮像素子の複数の出力信号をマトリクス演算処理することによって三原色信号を生成し、画像の輝度が第１の輝度領域よりも高い第２の輝度領域にあるときは、三原色系のカラーフィルタを使用して得た撮像素子の複数の出力信号をマトリクス演算処理することによって三原色信号を生成する画像処理方法である。

この発明によれば、撮像素子のカラーフィルタを原色系ＲＧＢ補色系ＹＣの５色を組み合わせることによって、色の再現性、色分離ノイズを低減できる。また、ＲＧＢＹＣ５色のカラーフィルタの撮像素子の出力信号を輝度レベルによって使い分けることによって、原色系、補色系撮像素子を単独で使用するよりも、色再現性の良い、高感度すなわち、低ノイズな撮像素子を実現できる。その結果、ダイナミックレンジの広いシーンを取り込むことが可能となる。

この発明においては、原色系ＲＧＢフィルタと、補色系ＹＣフィルタを用いてハイブリッドＲＧＢＹＣカラーフィルタを備えた撮像素子を構成する。色配列としては、種々可能であるが、一例として図１０Ａおよび図１０Ｂに示すカラーフィルタを使用する。図１０において、ＲＧＢは、それぞれ赤、緑、青の光を透過するフィルタを示し、ＹＣは、それぞれ黄色、シアンの光を透過するフィルタを示す。

図１０Ａおよび１０Ｂは、この発明に使用できるカラーフィルタの配列の一例および他の例のそれぞれの最小単位（４×４）を示す。これらの図１０に示されるカラーフィルタの配列の特徴は、まず、解像度に直接関係する人間の眼の輝度信号に近いＧのフィルタを、他の色のフィルタの４倍、市松状に配していることである。すなわち、Ｇのフィルタは、最小単位の１６個の中で、８個の割合を占め、残りの４色のフィルタがそれぞれ２個の割合とされる。図１０Ａに示される配列は、行毎にみると、感度の低い列(Ｇ, Ｒ, Ｇ,
Ｂ)と感度の高い列(Ｃ, Ｇ, Ｙ, Ｇ)が交互に並んでいる配列である。若し、行ごとに露
光時間を変えて読み出すと、広ダイナミックレンジ読み出しが容易になる。

図１０Ｂに示される配列は、行および列のそれぞれに２個のＧに含まれ、残りの２個の色が感度の高いものと感度が低いものとが組み合わせたものであるために、水平、垂直方向に輝度差の少ない配列である。したがって、図１０Ａに示される配列と比較すると、読み出し方法は複雑となるが、空間的補間特性が有利なため、滑らかな階調表現を実現しやすい特徴を有する。

図１１は、ハイブリッドＲＧＢＹＣカラーフィルタの分光感度のグラフを示す。図１１において、曲線３７ＹがＹのフィルタの分光感度を示し、曲線３７ＣがＣのフィルタの分光感度を示し、曲線３７ＲがＲのフィルタの分光感度を示し、曲線３７ＧがＧのフィルタの分光感度を示し、曲線３７ＢがＢのフィルタの分光感度を示す。図１１に示されるように、補色系のＹ, Ｃは、原色系のＲ, Ｇ, Ｂよりも分光感度が高い。

図１２は、カラーフィルタの各色毎に撮像素子に貯まる電荷量Ｑと光量Ｐの関係を示す。図１２において、Ｑｓは飽和電荷量を示し、３８ＣがＣのフィルタに関する〔Ｐ−Ｑ〕特性を示し、３８ＹがＹのフィルタに関する〔Ｐ−Ｑ〕特性を示し、３８ＲがＲのフィルタに関する〔Ｐ−Ｑ〕特性を示し、３８ＧがＧのフィルタに関する〔Ｐ−Ｑ〕特性を示し、３８ＢがＢのフィルタに関する〔Ｐ−Ｑ〕特性を示す。

図１２に示すように、感度の高いＹ, Ｃのフィルタが配されたセルには、少ない光量でも直ぐに必要な電荷が蓄積され、一方、感度の低いＲ, Ｂのフィルタが配されたセルには、多くの光量が入射しても電荷が蓄積される速度が遅いので、直ぐに電荷で飽和しない。この特性の相違を利用して、ダイナミックレンジが非常に広い画像を取り込むことが可能となる。

一例として、５色のフィルタの中で、Ｃのフィルタが配されたセルが最初に飽和するので、Ｃのフィルタが配されたセルに蓄積される電荷が飽和する光量Ｐｈを境界として低・中輝度領域と高輝度領域とを規定する。低・中輝度領域に含まれる輝度の画像の場合には、Ｒ，Ｇ，Ｂ，Ｙ，Ｃの５色の信号値を使用し、高輝度領域に含まれる輝度の画像の場合には、ＹおよびＣのフィルタが配されたセルの蓄積電荷が飽和するので、Ｒ，Ｇ，Ｂの３色の信号値を用いる。このように、画像の輝度に応じて使用する色フィルタを切り替えることによって、非常に広いダイナミックレンジの画像を生成することが可能となる。

画像の輝度の判定方法としては、例えば、人間の眼の輝度成分を含んでいる撮像素子の信号値である、Ｇ, Ｙ等の信号値によって判定を行う方法などが可能である。

撮像素子の信号値から、画像のＲＧＢ信号値を計算するためには、何らかのマトリクス演算処理が必要となる。例えば、５色ＲＧＢＹＣ信号値(Ｒin, Ｇin, Ｂin, Ｙin, Ｃin)を生成ＲＧＢ画像の信号値(Ｒout, Ｇout, Ｂout)に変換するためのマトリクス演算処理
は、３×５のマトリクス係数を用いて、次の式（３）で表される。

式（３）のマトリクス係数をリニア信号に対するマトリクス演算係数という意味で、リニアマトリクスと呼ぶことにする。リニアマトリクスの決定方法については、下記の参考文献３を参照のこと。

参考文献３
「水倉貴美, 加藤直哉, 西尾研一, "ノイズを考慮したＣＣＤカラーフィルタ分光感度
の評価方法", カラーフォーラムJAPAN2003 論文集, pp.２9-3２(2003)」

以下、輝度の異なる画像データについて詳細に説明する。
低・中輝度画像データの場合
低感度のＲ, Ｂの信号値がある程度大きくなり、ノイズの影響が少なくなり、且つＹ,
Ｃの信号値が飽和していない場合は、ハイブリッド撮像素子の全５色の信号値を使用することが可能である。原色系３色に比べて色数が多く、色の分離性の良い５色であるため、色再現性・ノイズ低減性の両面でより優れた画像処理が可能である。

高輝度画像データの場合
高感度のＹ, Ｃの信号値が飽和してしまう場合は、残りのＲ，Ｇ，Ｂ３色の信号値で画像を生成する。この状態は、原色系３色撮像素子を使用している場合と同等となり、色再現性・ノイズ低減性は、原色系３色撮像素子と同程度のものとなる。

上述したハイブリッドＲＧＢＹＣ撮像素子を用いた撮像装置例えばディジタルスチルカメラについて以下説明する。但し、この発明は、スチルカメラに限定されず、動画撮影用のカメラに対しても適用可能である。

上述したハイブリッドＲＧＢＹＣ撮像素子を用いると、原色系３色ＲＧＢ撮像素子のカメラ、または補色系ＹＣＭＧ撮像素子のカメラよりも、色再現性およびノイズ特性が優れたカメラを構成することが可能である。

上述した参考文献３に記載されているカラーフィルタの評価方法を用いて、ハイブリッドＲＧＢＹＣ撮像素子、原色系３色ＲＧＢ撮像素子、補色系ＹＣＭＧ撮像素子の３つの撮像素子に対するＣＮ図を描いてみる。簡単にＣＮ図の書き方を説明する。

前提条件
撮影条件としては、光源は、ＣＩＥが定める標準光源Ｄ５５を使用し、ターゲットはMacbeth Color Checkerとする。カメラ信号処理としては、図１３に示すような処理を想定
する。ディジタルスチルカメラの総合特性としての撮像素子のカラーフィルタの分光感度とMacbeth Ｃolor Ｃheckerのカラーパッチの分光反射率、そして撮影光源の分光放射輝
度の積を積分して求めたＲaw Data４１に対し、ホワイトバランス補正処理４２で各色デ
ータのレベルを無彩色に対して等しくなるようにゲインを乗じる。

次に、マトリクス処理により、輝度信号に対してリニアな信号値を目的色に近づけるような色変換処理４３を施す。この処理４３がリニアマトリクス処理に相当する。以降この行列をＭＡＴと適宜称する。色変換処理４３によって、信号値は、Ｒ（赤）、Ｇ（緑）、Ｂ(青)の３色になる。カラーフィルタの色数をＮと表記すると、ホワイトバランス補正処理４２は、Ｎ×Ｎの対角行列演算処理となり、色変換処理４３は、３×Ｎの行列演算処理となる。

最後にガンマ補正処理４４を通って、最終出力としてカメラＧＢ４５が得られる。但し、ここではｓＲＧＢの逆ガンマをカメラガンマとして用いる。ディジタルスチルカメラのハードウェアを構成する場合では、上述した図２に示す信号処理構成と同様の構成が使用される。

このように得られたカメラＲＧＢは、標準ｓＲＧＢモニタで再生され、観察されると想定する。すなわち、カメラＲＧＢは、ｓＲＧＢ色空間の色であると想定する。但し、計算上はｓＲＧＢレンジ外の値も保持させているため、ｓＲＧＢ色域外の色はクリップされないように考慮するものとする。

色再現評価指数の定義
撮影したカメラの出力信号の、人間の眼に対する色差、Delta E(ΔE)値を計算する。カメラＲＧＢはｓＲＧＢ色空間のデータであると想定するので、対応するL^*a^*b^*値カメラL^*a*b^*は、709系行列Ｍ₇₀₉等を用いて、図１４に示すフローチャートによって計算される。

L^*a^*b^*値は、標準の光における三刺激値から定義された色空間である。ＣＩＥは、１９６４年に均等色空間としてＵ^*Ｖ^*Ｗ^*を提案し、１９７６年にＵ^*Ｖ^*Ｗ^*空間を修正したＬ^*u*ｖ^*空間を提案した。さらに、１９７６年にどの色領域でも知覚的な色差と対応する色空間としてＬ^*ａ^*ｂ^*空間（ＣＩＥＬＡＢ）が提案された。

図１４において、カメラＲＧＢ５１がｓＲＧＢガンマ処理５２を受けてから変換処理５３において、三刺激値ＸＹＺへＲＧＢを変換する。そして、変換処理５４において、709
系行列Ｍ₇₀₉５５を用いて、ＸＹＺをＬ^*ａ^*ｂ^*へ変換する。そして、最終的なカメラＬ^*a*b*５６が得られる。

709系行列Ｍ₇₀₉については、参考文献１に説明されている。

目標値となる人間の眼の見えのL^*a^*b^*値は、Macbeth Color Checkerの分光反射率、標
準光源Ｄ５５の分光放射輝度から計算できる。

色再現性の評価指数としては、Macbeth Ｃolor Ｃhecker ２4色の平均ΔE値(ΔＥａ)を採用する。この値は、下記の式（４）で示すように、カメラの信号処理中のＭＡＴ係数の関数ΔＥａ（ＭＡＴ）となる。

ノイズ評価指数の定義
撮像素子の出力信号に含まれるノイズのモデルとして、次の式（５）に示す定義式を用いる。この定義式については、下記の参考文献４に記載されている。

参考文献４
"G. C.Holst,"CCD ARRAYS CAMERAS and DISPLAYS 2nd Ed.,"JCD Publishing (1998)"

式（５）において、ａ_sとｂ_dは、下記の参考文献５に記載されているように、ＣＣＤのデバイス特性（飽和電子量等）によって決まる値である。

参考文献５
西尾研一,"CCDカメラの色彩," カラーフォーラム JAPAN '99, pp.143-147(1999)

ａ_s・ＣV＿_CCDは、光学ショットノイズ、すなわち信号値に依存するノイズ成分を表し
、ｂ_dは、フロアノイズ、すなわち、信号値に依存しないノイズ成分を表す（参考文献４
参照）。

このノイズNoiｓe＿ _rawがカメラの信号処理、更にはL^*a^*b^*変換によって様々な色空間
へ伝搬される。以下にノイズの伝搬モデル（下記の参考文献６参照）の概要を示す。

参考文献６
P. D. Burns and R.S.Berns, "Error Propagation Analysis in Color Measurement and Imaging," Col．Res．Appl, Vol.22, pp.280-289 (1997)

ある入力信号が、（ｍ×ｎ）行列Ａによって、Ｙ＝〔ｙ₁，ｙ₂，・・・，ｙ_m〕^tに線形変換されるとすると、その式は次の様に書ける。

Ｙ＝Ａ・Ｘ・・

今、入力信号Ｘの分散共分散行列が下記の式（６）で示すものとする。

この式（６）の対角成分はちょうど入力信号のノイズ分散値となる。もし、入力信号値同士の相関がなければ、行列成分中の共分散成分（すなわち非対角成分）は０となる。このとき、出力信号Ｙの分散共分散行列は、次の式（７）で定義できる。

この式（７）が線形変換で変換できる色空間同士での、ノイズ分散値の伝搬理論式となる。

最終出力信号カメラＲＧＢ値をL^*a^*b^*値に変換するためには、色再現性の定義の節で示したように、ＸＹＺ空間からL^*a^*b^*空間への変換の際に非線形な変換を含む。しかしながら、ノイズ分散値は通常微小であることから、上述した参考文献６にあるJacobian行列Ｊ_L*a*bを使用してXＹZ→L*a*b*変換を近似的に線形変換で表すことができる。したがって
、元信号をL^*a^*b^*値に線形変換するための近似行列Ｍ_totalは、次の式（８）で示すもの
となる。

この式（８）の行列とノイズ伝搬理論式式（７）を使って、最終出力信号値にのるノイズ分散値を次の式（９）で計算することができる。

式（９）から得られるノイズ量σ_L*、σ_a*、σ_b*を用いて、次の式（１０）より定義されるTotal Noise値(ＴＮ値)を計算する。更にMacbeth Color Checker ２4色の各パッチのＴＮ値の平均値ＴＮａをノイズ評価指数とする。

ＴＮ値はノイズの明るさ成分、色成分の両方を考慮した、人間の眼が感じるノイズと相関の高い値である。L^*a^*b^*ノイズ量を用いて、次式で定義する。

式（１１）において、W_L*、W_a*、W_b*は、ノイズ量σ_L*、σ_a*、σ_b*に対する重み付け
係数であり、視感実験によって得られる実験的・経験的値を使用した。

カメラ信号処理中のパラメータを決定する方法
具体的には、信号処理中のＭＡＴ係数を決定する方法である。まず、色再現評価指数ΔＥａおよびノイズ評価指数ＴＮａを用いて、ＣＥＭ(Comprehensive Error Metric）値を
次式（１２）に定義する。

それぞれの評価指数に対する重み係数wc、wnを決めて、ＣＥＭ値を最小にするＭＡＴ係数を求めることによって、色再現性、ノイズ量を調節したフィルタ評価を実現することが可能となる。

ＣＮ図の作成方法
上述したＣＥＭ値のwc、wnを変化させてＭＡＴ係数を算出し、その時の色再現評価指数ΔＥａおよびノイズ評価指数ＴＮａを算出する。図１５に示すように、結果を横軸にΔＥａにとり、縦軸にＴＮａをとって〔色再現対ノイズ〕のプロットを作成する（以降このプロット図をＣＮ図と適宜呼ぶことにする）。ＣＮ図が評価するカラーフィルタセットの実力を示す図となる。

図１５の左下領域が色再現、ノイズ共に良の領域であり、右上領域が共に悪い領域である。したがって、プロットが左下に寄っている程、性能のよいフィルタセットとなる。評価するフィルタセット毎にこのプロットを行い、比較することにより、どのフィルタセットが優れているのかを直感的に判定することが可能となる。一般的に、ＣＮ図の軌跡は左下に凸の曲線になり、色再現性が良いとノイズ特性が悪く、ノイズ特性が良いと色再現性が悪くなる、という色再現性とノイズ特性とがトレードオフ関係を示す。

今、この発明によるハイブリッド撮像素子、原色系３色撮像素子、補色系４色撮像素子のＣＮ図は、図１６に示すようになる。参照符号６１ａがハイブリッド撮像素子の〔色再現対ノイズ〕のプロットであり、参照符号６１ｂが原色系３色撮像素子の〔色再現対ノイズ〕のプロットであり、参照符号６１ｃが補色系４色撮像素子の〔色再現対ノイズ〕のプロットである。

図１６に示されるＣＮ図の左下が色再現・ノイズ特性共に良い領域なので、軌跡が一番左下に寄っているものが特性の良い撮像素子ということができる。図１６から分かるように、ハイブリッド撮像素子のプロット６１ａが一番左下に寄っているので、色再現性、ノイズ特性が共に原色系、補色系撮像素子よりも優れていることが分かる。

実際に、図１０に示す配列でＲＧＢＹＣ撮像素子を作成し、図１３に示す信号処理を行うIＣ(Integrated Circuit)を作成する。ガンマ補正は、ｓＲＧＢガンマを用いてＲＧＢ
出力信号を算出する。リニアマトリクス係数は、例えばＣＮ図（図１６）の☆６２に示すwc:wn=１：３の重みの係数を使用する。☆の係数を式（１３）に示す。

式（１３）から係数値が小さく、色分離ノイズをそれほど増大させないことが分かる。これにより、５色ＲＧＢＹＣ撮像素子を使用したカメラを構成することが可能となる。

次に、ハイブリッド撮像素子を用いた広ダイナミックレンジ画像を取り込むことができる画像入力装置について説明する。

５色の信号値を画素値の輝度レベルによって使い分けることによって、ダイナミックレンジの広い画像をスキャンする例について説明する。

画素値の輝度レベルの算出方法は、様々考えられるが、例えば人間の眼の輝度成分に近いＧ信号を輝度値として用いる。信号処理としては、図１７に示す処理が考えられる。ＬＭ（Ｈ）７１、ＬＭ（Ｍ）７２、ＬＭ（Ｌ）７３は、それぞれ高輝度、中輝度、低輝度用のリニアマトリクス処理を示し、ＷＢ（Ｈ）７４、ＷＢ（Ｍ）７５、ＷＢ（Ｌ）７６がホワイトバランス処理をそれぞれ示し、７７、７８および７９が各出力信号にゲイン値ａ，ｂ，ｃを乗じる乗算器をそれぞれ示す。

図１８は、輝度レベル（横軸）の変化に対する重みゲイン係数の遷移を示す。高輝度領域では、ゲイン係数が（ａ＝１，ｂ＝ｃ＝０）とされ、中輝度領域では、ゲイン係数が（ａ＝０，ｂ＝１，ｃ＝０）とされ、低輝度領域では、ゲイン係数が（ａ＝ｂ＝０，ｃ＝１）とされる。また、各領域の境界付近では、ゲイン係数の立ち上がりとその立ち下がりとが傾斜してクロスするようになされ、変化が目立たないようにされる。図１７では、省略されているが、ゲイン係数は、例えばＲＧＢＹＣ信号のＡ／Ｄ（アナログ−ディジタル）変換後の１サンプル毎の輝度レベル（例えばＧ信号）によって制御するゲイン係数制御部が設けられている。

各輝度レベルのリニアマトリクス係数は、参考文献３を参照して、次のように決める。

低輝度領域
低輝度領域は、色再現性よりもノイズが少ないことの方が画質の観点から重要な要素である。よって、リニアマトリクス係数は、ＲＧＢＹＣ５色の信号値を使用して、ノイズ特性重視の係数を用いる。wc:wn=１:１0のポイント（図１６の△印６３の位置）の係数などが考えられる。係数値を以下に示す。

式（１４）は、式（１３）と比較して、ノイズに対する重みを大きくしているため、各係数の絶対値が小さくなっており、色分離ノイズを増大させないことが分かる。

中輝度領域
中輝度画素用のリニアマトリクス係数は、ＲＧＢＹＣ5色の信号値を使用して、色再現
性とノイズ特性のバランスが一番良いポイントで決定する。すなわち、ＣＮ図において、一番左下の位置の軌跡に乗るような係数を決定する。例えば式（１３）に示した、wc:wn=１:3付近のマトリクス係数が考えられる。

高輝度領域
高輝度画素用のリニアマトリクス係数は、Ｙ信号およびＣ信号がかなり飽和してしまっているので、ＲＧＢ３色の信号値を使用して、色再現性とノイズ特性のバランスが一番良いポイントで決定する。すなわち、ＣＮ図において、一番左下の位置の軌跡に乗るような係数を決定する。例えば、wc:wn=１：３のポイント（図１６の○印６４の位置）の係数が考えられる。係数を以下の式（１５）に示す。

処理の流れとしては次の様になる。
ある画素信号が入力されると、その入力信号値から３種類のリニアマトリクス処理（図１７中のＬＭ（Ｈ）７１、ＬＭ（Ｍ）７２、ＬＭ（Ｌ）７３）を経て、輝度レベルごとの信号値が計算される。

それぞれの信号値は、ホワイトバランス処理（図１７中のＷＢ（Ｈ）７４、ＷＢ（Ｍ）７５、ＷＢ（Ｌ）７６）を経て、その画素の輝度レベルに応じて、図１８に示すように、予め決められたゲイン係数（ａ，ｂ，ｃ）が乗じられる（図１７中の乗算器７７、７８および７９）。

その後、３種類の出力信号が図１７中の加算器８０および８１によって足し合わされ、その画素の出力信号値が決定する。

低輝度レベルと中輝度レベルの境目としては、例えばISO400とISO200の境目などが考えられる。また、中輝度と高輝度レベルの境目としては、例えばＹ信号およびＣ信号のいずれかが飽和している場合などがあげられる。

以上、この発明の実施の形態について具体的に説明したが、この発明は、上述の実施の形態に限定されるものではなく、この発明の技術的思想に基づく各種の変形が可能である。例えば図１７の構成では、３段階の輝度レベルに対して異なるマトリクス演算処理を行っているが、２段階（低・中輝度レベルおよび高輝度レベル）の輝度レベルに対して異なるマトリクス演算処理を行うようにしても良い。また、低輝度レベルにおいてはＹＣＧの３色を使用し、中輝度レベルにおいては、ＲＧＢＹＣの５色を使用するようにしても良い。更に、この発明は、ＣＭＯＳ構造を３層重ね、カラーフィルムと同様に青感層、緑感層、赤感層を有するデバイスに対しても適用することができる。

先に提案されている撮像装置のカラーフィルタの色配列を示す略線図である。先に提案されている撮像装置の信号処理部の構成を示すブロック図である。等色関数の一例を示すグラフである。ｓＲＧＢ等色関数の一例を示すグラフである。ルーター条件を満たす３色フィルタの分光感度を示すグラフである。通常の三原色フィルタの分光感度を示すグラフである。原色系ＲＧＢ撮像素子の分光感度を示すグラフである。補色系ＹＣＭＧ撮像素子のカラーフィルタの色配列を示す略線図である。補色系ＹＣＭＧ撮像素子の分光感度を示すグラフである。ハイブリッドＲＧＢＹＣ撮像素子の分光感度を示すグラフである。ハイブリッドＲＧＢＹＣ撮像素子の色配列を示す略線図である。ハイブリッドＲＧＢＹＣ撮像素子の出力信号を使用した信号処理を説明するための略線図である。この発明を適用できる信号処理の流れを示すフローチャートである。この発明における色変換処理の流れを示すフローチャートである。この発明におけるＣＮ図を示すグラフである。ハイブリッドＲＧＢＹＣ撮像素子、原色系撮像素子および補色系撮像素子のＣＮを比較して示すグラフである。この発明の一実施形態における信号処理の一例を示すブロック図である。信号処理中の重みゲイン係数遷移の一例を示す略線図である。

符号の説明

３７Ｃ、３７Ｙシアン、黄色のフィルタの分光感度
３７Ｒ、３７Ｇ、３７Ｂ赤、緑、青のフィルタの分光感度
４２ホワイトバランス補正処理
４３色変換処理
４４カメラガンマ補正処理
５２ｓＲＧＢガンマ処理
５３ＲＧＢをＸＹＺへ変換する変換処理
５４ＸＹＺをＬ^*ａ^*ｂ^*へ変換する変換処理
６１ａハイブリッド撮像素子の〔色再現対ノイズ〕のプロット
６１ｂ原色系３色撮像素子の〔色再現対ノイズ〕のプロット
６１ｃ補色系４色撮像素子の〔色再現対ノイズ〕のプロット
７１高輝度用のリニアマトリクス処理
７２中輝度用のリニアマトリクス処理
７３低輝度用のリニアマトリクス処理
７７，７８，７９ゲイン係数ａ，ｂ，ｃを乗じる乗算器

Claims

三原色系および補色系のカラーフィルタを備えた撮像素子と、
上記撮像素子により得られる画像の輝度が第１の輝度領域にあるときは、上記三原色系および補色系のカラーフィルタを使用して得た上記撮像素子の複数の出力信号をマトリクス演算処理することによって三原色信号を生成し、上記画像の輝度が上記第１の輝度領域よりも高い第２の輝度領域にあるときは、上記三原色系のカラーフィルタを使用して得た上記撮像素子の複数の出力信号をマトリクス演算処理することによって三原色信号を生成する信号処理部
とを備えることを特徴とする撮像装置。
上記三原色系のカラーフィルタがＲ（赤）フィルタ、Ｇ（緑）フィルタおよびＢ（青）フィルタであり、上記補色系のカラーフィルタがＹ（黄）フィルタおよびＣ（シアン）フィルタである請求項１記載の撮像装置。
上記信号処理部は、上記第１の輝度領域において上記画像の輝度が所定の境目よりも低い場合に、ノイズ特性重視の第１のマトリクス係数を使用して三原色信号を生成し、上記第１の輝度領域において上記画像の輝度が上記所定の境目よりも高い場合に、色再現性およびノイズ特性のバランスが良い第２のマトリクス係数を使用して三原色信号を生成する請求項１記載の撮像装置。
上記信号処理部は、上記第１の輝度領域において上記画像の輝度が所定の境目よりも低い場合に、ノイズ特性重視の第１のマトリクス係数を使用して三原色信号を生成する第１のマトリクス演算部と、
上記第１の輝度領域において上記画像の輝度が上記所定の境目よりも高い場合に、色再現性およびノイズ特性のバランスが良い第２のマトリクス係数を使用して三原色信号を生成する第２のマトリクス演算部と、
上記第１および第２のマトリクス演算部の出力信号に対してゲイン係数を乗じて加算する混合部と
からなる請求項１記載の撮像装置。
上記第１および第２の領域の境界が上記補色系のカラーフィルタに対応した色信号が飽和する輝度レベルに選定された請求項１記載の撮像装置。
三原色系および補色系のカラーフィルタを備えた撮像素子により得られる画像の輝度が第１の輝度領域にあるときは、上記三原色系および補色系のカラーフィルタを使用して得た上記撮像素子の複数の出力信号をマトリクス演算処理することによって三原色信号を生成し、上記画像の輝度が上記第１の輝度領域よりも高い第２の輝度領域にあるときは、上記三原色系のカラーフィルタを使用して得た上記撮像素子の複数の出力信号をマトリクス演算処理することによって三原色信号を生成する信号処理部
を備えることを特徴とする画像処理装置。
三原色系および補色系のカラーフィルタを備えた撮像素子により得られる画像の輝度が第１の輝度領域にあるときは、上記三原色系および補色系のカラーフィルタを使用して得た上記撮像素子の複数の出力信号をマトリクス演算処理することによって三原色信号を生成し、上記画像の輝度が上記第１の輝度領域よりも高い第２の輝度領域にあるときは、上記三原色系のカラーフィルタを使用して得た上記撮像素子の複数の出力信号をマトリクス演算処理することによって三原色信号を生成する画像処理方法。