JP2013012979A

JP2013012979A - 画像処理装置及び画像処理方法

Info

Publication number: JP2013012979A
Application number: JP2011145290A
Authority: JP
Inventors: Hideyasu Kuniba; 英康国場
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2011-06-30
Filing date: 2011-06-30
Publication date: 2013-01-17

Abstract

【課題】色票を用いずに色変換によって分光感度の形状を調整してホワイトバランス補正に適した色空間を求める画像処理装置を提供する。
【解決手段】撮像素子により撮影された画像の色変換を行う画像処理装置であって、前記撮像素子の分光感度に関わる情報に基づいて得られる、標準光源とは異なる種類の異種光源下における有彩色を含む色情報を、前記標準光源下の色情報に変換するための色空間にプライマリ変換するプライマリ変換部を備え、前記プライマリ変換部による変換処理に用いるマトリクスは、前記撮像素子の複数のチャンネル間のオーバーラップ量とそれぞれのチャンネルの幅指標とに基づく評価値が最小となるように最適化されたものである。
【選択図】図７

Description

本発明は、画像処理装置及び画像処理方法に関する。

人がある物体を見るときに、それを異なる光源のもとで見てもほぼ同じ色として見える(色恒常性)。しかし、物体からの光は照明の分光放射強度と物体の分光反射率を掛けたものになるので、イメージセンサーでその光を検出すると、得られる信号は光源が変わると変化する。そこで光源に基づく補正として無彩色の物体を撮影した時にイメージセンサーの信号のＲ、Ｇ、Ｂ値が同じになる様にゲインを掛けるホワイトバランス補正が行なわれる。しかし、テスト光源で撮影した画像にホワイトバランス補正をして基準光源での色再現に近付けるようにしても有彩色の色補正が十分に行えないため特定の光源以外では撮影画像の色再現が不正確になることが有る。それに対処するために光源毎に異なる色変換処理を行うようにするとそのための処理を追加したり、画像処理時間がより掛かったりしてしまう。もし基準光源と異なる光源で撮影された画像に対し、ホワイトバランス補正だけを行って基準光源と同じ色再現を達成することが出来るとさまざまな光源下での撮影画像の色処理が単純な処理で統一的に行えるので都合が良い。例えば、撮影後に現像ソフトウェアで色バランスを調整する時にグレーバランスを取るだけで光源の補正が出来て所望の色再現が達成できるので効率が良くなる。実際にホワイトバランス補正を行う色空間をｃａｍｅｒａＲＧＢとは異なる色空間に変換してから処理を行うと色再現誤差が小さくなることが知られている（例えば、特許文献１参照）。

特許第４６７７６９９号公報

しかしながら、上述した特許文献１においては、色変換を求める際に複数の種類の異種光源についてそれぞれの異種光源下において色票を撮影して得られた撮影出力値に基づいて色差を重み付け平均した色恒常予測誤差が最小となるように繰り返し演算処理を行って最適化を行う必要が有り、計算負荷が大きい。また、色変換が色票の選び方に依存してしまって必ずしも実際の撮影条件にとって最適なものでない可能性が有る。

本発明の目的は、色票を用いずに色変換によって分光感度の形状を調整してホワイトバランス補正に適した色空間を求めることができる画像処理装置及び画像処理方法を提供することである。

本発明の画像処理装置は、撮像素子により撮影された画像の色変換を行う画像処理装置であって、前記撮像素子の分光感度に関わる情報に基づいて得られる、標準光源とは異なる種類の異種光源下における有彩色を含む色情報を、前記標準光源下の色情報に変換するための色空間にプライマリ変換するプライマリ変換部を備え、前記プライマリ変換部による変換処理に用いるマトリクスは、前記撮像素子の複数のチャンネル間のオーバーラップ量とそれぞれのチャンネルの幅指標とに基づく評価値が最小となるように最適化されたものであることを特徴とする。

本発明の画像処理方法は、撮像素子により撮影された画像を処理してカラーバランスを取る画像処理方法であって、前記撮像素子の分光感度に関わる情報に基づいて得られる、標準光源とは異なる種類の異種光源下における有彩色を含む色情報を、前記標準光源下の色情報に変換するための色空間にプライマリ変換する変換ステップを含み、前記変換ステップによる変換処理は、前記変換ステップによって得られた変換後色情報をゲイン調整してホワイトバランスを調整するゲイン調整ステップを含み、前記プライマリ変換処理に用いるマトリクスは、前記撮像素子の複数のチャンネル間のオーバーラップ量とそれぞれのチャンネルの幅指標とに基づく評価値が最小となるように最適化されたものであることを特徴とする。

本発明の画像処理方法は、所定の色空間の画像を処理してカラーバランスを取る画像処理方法であって、所定の色空間に対応する分光感度に関わる情報に基づいて得られる、標準光源とは異なる種類の異種光源下における有彩色を含む色情報を、前記標準光源下の色情報に変換するための色空間にプライマリ変換する変換ステップを含み、前記変換ステップによる変換処理は、前記変換ステップによって得られた変換後色情報をゲイン調整してホワイトバランスを調整するゲイン調整ステップを含み、前記プライマリ変換処理に用いるマトリクスは、前記所定の色空間に対応する分光感度の複数のチャンネル間のオーバーラップ量とそれぞれのチャンネルの幅指標とに基づく評価値が最小となるように最適化されたものであることを特徴とする。

本発明によれば、色票を用いずに色変換によって分光感度の形状を調整してホワイトバランス補正に適した色空間を求めることができる。

モデルＲＧＢ分光感度(w=60)を示す図である。モデルＲＧＢ分光感度(w=60)で色温度の低い場合の分光感度を示す図である。分光感度の幅が広い(w=80)場合、中間(w=60)の場合、狭い(w=40)場合でモデルＲＧＢ分光感度で色温度の低い場合にホワイトバランス補正を行ったときの分光感度を示す図である。評価値算出ブロック図である。 type C,type N,CIE XYZの分光感度を示す図である。ピーキーな形状への変換後のtype C,type N,CIE XYZの分光感度(k_O=50,k_M=1)を示す図である。ホワイトバランス補正の処理方法を示す図である。オーバーラップ最小化色変換マトリクスによる色空間を示す図である。デジタルカメラからオーバーラップ最小化色変換による色空間画像出力を示す説明図である。画像処理装置を示すブロック図である。

以下、図面を参照して、本発明の実施の形態に係る画像処理装置及び画像処理方法について説明する。先ずホワイトバランス補正に適した分光感度形状について説明する。光源の違いをホワイトバランスで補正した時の色再現の誤差について考える。例えば図１に示すような分光感度のイメージセンサーが有ったとする。これはｄａｙｌｉｇｈｔやＣＩＥｉｌｌｕｍｉｎａｎｔＥでホワイトバランスが合っている感度である。この分光感度のセンサーでＣＩＥＡのような色温度の低い光源のもとで撮影を行うと実質的に長波長領域でセンサーの分光感度が上昇し短波長領域でセンサーの分光感度が低下する（図２参照）。そしてホワイトバランスの調整(ＲＧＢチャンネル毎にゲイン補正)を行なうということは、Ｒ、Ｇ、Ｂの各々の感度を調整することに相当する。しかし、図３に見られるようにゲイン補正を行っても分光感度のピークシフトが生じており、完全には補正が出来ない。そしてこのピークシフトは分光感度の幅が広い程影響が大きくなる。従って各チャンネルの分光感度の幅が狭くなるような色変換を行ってホワイトバランス補正をすれば異なる光源による色再現ずれを低減することができる。

図３で示すように分光感度の幅が広いと光源の違いの影響を受けやすくなる。また、チャンネル間のオーバーラップ部分では同じ波長の光に対して複数のチャンネルが感度を持つが、それぞれのチャンネルをゲイン補正すると異なるチャンネルでは異なる補正がされてしまう。そこで、カメラの分光感度を「各チャンネルが重ならず、それぞれの分光感度の幅が狭くなるような色変換」によって変換することを試みる。各チャンネルが重ならないためにＲＧＢチャンネル間のオーバーラップの大きさを以下の式（１）で計算する。

なお、Ｒ(λ),Ｇ(λ),Ｂ(λ)はＲＧＢそれぞれの分光感度である。そして分光感度の幅に関する評価値としてモーメントを以下の式（２）で計算する。

なお、λ_Rg,λ_Gg,λ_BgはそれぞれＲ、Ｇ、Ｂチャンネルの分光感度の絶対値の重心である。そして、最適化評価値ｍは以下の式（３）によって定義する。

なおk_O,k_Mは重み係数である。評価値算出ブロック図は図４となる。そして最適化評価値ｍが小さくなるように色変換マトリクスを算出する。

カメラのＲＧＢ分光感度のモデルとしてtype Cとtype Nを用いる（文献Ａ１参照）。type Cは測色的色再現誤差が小さいモデルで、type Nは測色的色再現誤差が大きいが、色変換でのノイズ増幅が小さく、色再現とノイズを考慮した主観評価実験でtype Cよりも好ましいとされた分光感度モデルである。さらに等色関数も含めた三種類の分光感度モデルを使っている。

[文献Ａ１] H. Kuniba and R.S. Berns, “The Effects of Sensor Spectral Sensitivity, Pixel Pitch, Photon Shot Noise, and Dark Noise on Perceived Image Quality,”IEICE Trans. Fundamentals, Vol. E92-A, pp. 3321-3327(2009)

図５にそれぞれの分光感度を示す。そして式（３）で示した最適化評価値ｍを最小にするような色変換を求めるとtype C, type N, XYZの分光感度はそれぞれ図６に示すような形状に変換された。いずれももとの分光感度よりピーキーな形状になっている。XYZのXは変換前はダブルピークだが、色変換を行うとサブピークが無くなっている。typeNは変換前からＲＧＢがよく分離しているため、色変換しても形状の変化は小さい。

これらの分光感度に対し、基準光源とテスト光源の色再現誤差がホワイトバランス用色変換有り無しでどう変わるかを調べた。図７（１）に示す基準処理は、基準光源（Ｉｌｌｕｍｉ１）で撮影し、得られた画像信号（ＣａｍｅｒａＲＧＢ１）に基準光源に適したホワイトバランス係数（ＷＢ１）を掛け、基準光源に適した色補正マトリクス（Ｍｔｘ１）を用いて色補正を行う。

図７（２）に示す第１のテスト処理は、基準光源と異なるテスト光源（Ｉｌｌｕｍｉ２）で撮影し、得られた画像信号（ＣａｍｅｒａＲＧＢ２）にテスト光源に適したホワイトバランス係数（ＷＢ２）を掛け、基準光源に適した色補正マトリクス（Ｍｔｘ１）を用いて色補正を行う。

また図７（３）に示す第２のテスト処理は、テスト光源（Ｉｌｌｕｍｉ２）で撮影し、得られた画像信号（ＣａｍｅｒａＲＧＢ２）に基準光源に適したホワイトバランス係数（ＷＢ１）を掛け、一旦基準光源に適した色補正マトリクス（Ｍｔｘ１）を用いて色補正を行う。そして更に色補正マトリクス（Ｍｔｘ）を用いてホワイトバランス用色空間に色変換し、各チャンネル毎のゲイン補正(ホワイトバランス)でテスト光源に適したホワイトバランス補正を行ってホワイトバランス用色空間から逆変換して色補正後出力を得る。

色再現誤差は基準処理と各テスト処理との差を色差CIE 94で測る。そして以下で示す表１における色変換無ＷＢの欄に、図７（１）で示した基準処理と図７（２）で示した第１のテスト処理との色恒常誤差を示し、色変換後ＷＢの欄に図７（１）で示した基準処理と図７（３）で示した第２のテスト処理との色恒常誤差を示す。

表１に示すように色変換無ＷＢに示す色恒常誤差よりも、色変換後ＷＢに示す色恒常誤差は小さくなっている。即ち、第１のテスト処理よりも第２のテスト処理の方が、基準処理に対する色再現誤差が小さい。またtype Nはもともと分光感度の幅が狭く、チャンネル間オーバーラップが小さいのでホワイトバランスによる光源補正に有利であると言える。

次にホワイトバランス補正に適した色空間について説明する。ホワイトバランスに適した色変換による色空間は図８となる。“Type C ko50km1,”“Type N ko50km1,”“XYZ ko50km1”はそれぞれtypeC,typeN,XYZをもとに式（３）で示した最適化評価値ｍを最小化するように求めた色変換の色度点である。

typeC,typeN,XYZいずれを元にした色空間でもsRGBよりも広い。TypeCとXYZはほぼ同じである。これはtypeCがマトリクス変換でほぼXYZと同じ形状になるためである。そしてtypeNはtypeCよりも狭い。TypeNの分光感度はＲとＧのオーバーラップが小さいことが影響していると考えられる。

デジタルカメラでは通常はカメラ内部で画像処理された画像が出力されるが、デジタル一眼レフカメラ等においては撮影後の詳細な色や階調の調整に向く“raw”ファイル出力を行うモードが有る。しかしrawファイルはメーカーや機種毎の撮像素子の特性と密接に結び付いている。また、一般的に使われている単板カラー撮像素子では画像データとして扱うためにはdemosaicking処理が必要なため、扱いやすいものではない。そこで、撮影後の詳細な色や階調の調整ができ、明示的に定義されたファイルフォーマットがあるとよいだろう。そのファイルフォーマットの色空間として図８の色空間は広色域であり、さらにホワイトバランス補正のみで良好に光源毎の色再現の補正が可能なので適している。

ホワイトバランス補正に適した色空間はtypeCとtypeNで異なっていることから撮像素子の分光感度に依存するが、色空間を色度点で定義する際には等色関数を元にすることが妥当であると考えられるのでXYZを元にしたオーバーラップ最小化色変換による色空間が適当である。

この色空間を利用したデジタルカメラでは図９に示す様な処理によってファイル出力を行う。即ち、デジタルカメラ２は“raw”データ（cameraRGBデータ）を、色変換部４でオーバーラップ最小化色変換による色空間、すなわちホワイトバランス処理に適した色空間へ変換し、それを画像ファイルとして出力部６によって出力する。デジタルカメラ２の撮像素子が単板カラーイメージセンサーの場合は、色変換前にデモザイク処理を行う。またこの画像ファイルでは階調特性はリニアもしくは明示的に定義された階調特性であることが好ましい。さらにダイナミックレンジが通常画像よりも大きいことが好ましい。また、出力する際にホワイトバランス処理に適した色空間へ変換して出力したことを示す情報を付加しておくことが好ましい。

ここで、図１０は画像処理装置を示すブロック図である。図１０に示す画像処理装置１０は、上記の画像ファイルの処理を行なうものであり、色空間検出部１２により画像ファイルがホワイトバランス処理に適した色空間へ変換されているか否かを検出する。ホワイトバランス処理に適した色空間へ変換されていない場合、プライマリ変換部１４によって該画像ファイルに上述したプライマリ変換を行う。そしてプライマリ変換が行なわれた画像ファイルをホワイトバランス調整部１８へ送る。またホワイトバランス処理に適した色空間に変換されていると検出された画像ファイルについては、プライマリ変換を行なわずにホワイトバランス調整部１８へ送る。

ホワイトバランス調整部１８は、グレー指示部１６からのグレー情報に従い、ホワイトバランス処理に適した色空間に変換された画像ファイルにホワイトバランス処理を施す。出力色空間変換部２０は、ホワイトバランス処理が施された画像ファイルを出力用の色空間へ変換する。階調補正部２２は、出力用の色空間へ変換された画像ファイルを階調補正する。表示部２４は階調補正がなされた画像ファイルに基づく画像を表示させる。

画像ファイルの色空間がホワイトバランス処理を行うだけで適切に光源の違いを補正できる色空間であるので、グレー指示部１６のグレー情報に基づいてホワイトバランス調整部１８で補正を行うだけで良好に光源の違いによる色再現の違いを補正した画像を表示部２４に表示できる。

なお、画像ファイルを処理する画像処理装置にはｓＲＧＢ色空間などの標準色空間の画像を入力しても良い。標準色空間はＲＧＢ原色及び白色の色度点が定義されており、これらに基づいてＲＧＢの分光感度が定義できる。従って、その標準色空間に対応するＲＧＢ分光感度に基づいて予めプライマリ変換を求めておき、そのプライマリ変換で色変換を行ってホワイトバランス補正を行うとよい。

２…デジタルカメラ、４…色変換部、６…出力部、１０…画像処理装置、１２…色空間検出部、１４…プライマリ変換部、１６…グレー指示部、１８…ホワイトバランス調整部、２０…出力色空間変換部、２２…階調補正部、２４…表示部。

Claims

撮像素子により撮影された画像の色変換を行う画像処理装置であって、
前記撮像素子の分光感度に関わる情報に基づいて得られる、標準光源とは異なる種類の異種光源下における有彩色を含む色情報を、前記標準光源下の色情報に変換するための色空間にプライマリ変換するプライマリ変換部を備え、
前記プライマリ変換部による変換処理に用いるマトリクスは、前記撮像素子の複数のチャンネル間のオーバーラップ量とそれぞれのチャンネルの幅指標とに基づく評価値が最小となるように最適化されたものであることを特徴とする画像処理装置。
請求項１に記載の画像処理装置において、
画像出力と共に、前記画像出力の色空間が前記異種光源下における有彩色を含む色情報を、前記標準光源下の色情報に変換するための色空間にプライマリ変換されていることを示す情報を出力することを特徴とする画像処理装置。
撮像素子により撮影された画像を処理してカラーバランスを取る画像処理方法であって、
前記撮像素子の分光感度に関わる情報に基づいて得られる、標準光源とは異なる種類の異種光源下における有彩色を含む色情報を、前記標準光源下の色情報に変換するための色空間にプライマリ変換する変換ステップを含み、
前記変換ステップによる変換処理は、前記変換ステップによって得られた変換後色情報をゲイン調整してホワイトバランスを調整するゲイン調整ステップを含み、
前記プライマリ変換処理に用いるマトリクスは、前記撮像素子の複数のチャンネル間のオーバーラップ量とそれぞれのチャンネルの幅指標とに基づく評価値が最小となるように最適化されたものであることを特徴とする画像処理方法。
請求項３に記載の画像処理方法において、
画像の色空間が、前記異種光源下における有彩色を含む色情報を前記標準光源下の色情報に変換するための色空間にプライマリ変換されていることを示す情報が付加されている場合には前記プライマリ変換を行わないことを特徴とする画像処理方法。
所定の色空間の画像を処理してカラーバランスを取る画像処理方法であって、
所定の色空間に対応する分光感度に関わる情報に基づいて得られる、標準光源とは異なる種類の異種光源下における有彩色を含む色情報を、前記標準光源下の色情報に変換するための色空間にプライマリ変換する変換ステップを含み、
前記変換ステップによる変換処理は、前記変換ステップによって得られた変換後色情報をゲイン調整してホワイトバランスを調整するゲイン調整ステップを含み、
前記プライマリ変換処理に用いるマトリクスは、前記所定の色空間に対応する分光感度の複数のチャンネル間のオーバーラップ量とそれぞれのチャンネルの幅指標とに基づく評価値が最小となるように最適化されたものであることを特徴とする画像処理方法。