JP2014139738A - 画像処理装置、撮像装置及び画像処理方法 - Google Patents

Abstract

【課題】 第１の撮像手段による画像データを処理する際のホワイトバランスを安定させる。
【解決手段】 第１と第２の撮像手段による各画像データを用いて第１と第２のホワイトバランス補正値を算出する算出手段と、第１の撮像手段での環境光と第２の撮像手段での環境光が同じであるかを判断する判断手段（Ｓ３０３）と、第１のホワイトバランス補正値の信頼度を算出する信頼度算出手段（Ｓ３０４）と、環境光が同じで且つ信頼度が低いときに、第２のホワイトバランス補正値の反映度を決定する反映度決定手段（Ｓ３０６）と、決定された反映度及び第１と第２のホワイトバランス補正値から第３のホワイトバランス補正値を算出する第３のホワイトバランス補正値算出手段（Ｓ３０７）とを有する。
【選択図】 図７

Description

本発明は、ホワイトバランス補正を行うために用いて好適な画像処理装置、撮像装置及び画像処理方法に関するものである。

一般に、デジタルカメラやデジタルビデオカメラなど、撮像素子を用いる撮像装置は、撮像によって得られた画像の色調を調整するホワイトバランス制御機能を備えている。このホワイトバランス制御には、予め白色被写体を撮像してホワイトバランス係数を求めておき、算出したホワイトバランス係数を画面全体に適用するマニュアルホワイトバランス制御がある。また、撮像した画像から白色と思われる部分を自動検出し、画面全体の各色成分の平均値からホワイトバランス係数を求め、算出したホワイトバランス係数を画面全体に適用するオートホワイトバランス制御もある。

ここで、従来のオートホワイトバランス制御について説明する。撮像素子から出力されたアナログ信号はＡ／Ｄ変換によってデジタル信号に変換され、複数のブロックに分割される。各ブロックはＲ、Ｇ、Ｂの色画素で構成されており、ブロック毎に、例えば以下の式（１）により、色評価値（Ｃｘ［ｉ］，Ｃｙ［ｉ］）を求める。
Ｃｘ［ｉ］＝（Ｒ［ｉ］−Ｂ［ｉ］）／Ｙ［ｉ］×１０２４
Ｃｙ［ｉ］＝（Ｒ［ｉ］＋Ｂ［ｉ］−２Ｇ［ｉ］）／Ｙ［ｉ］×１０２４ ・・・（１）
（ただし、ｉはブロックの番号、Ｒ［ｉ］，Ｇ［ｉ］，Ｂ［ｉ］はブロックｉに含まれるＲＧＢ画素の平均値、Ｙ［ｉ］＝Ｒ［ｉ］＋２Ｇ［ｉ］＋Ｂ［ｉ］）

そして、算出した色評価値（Ｃｘ［ｉ］，Ｃｙ［ｉ］）が予め設定した白検出範囲に含まれる場合は、そのブロックが白であると判定する。そして、白検出範囲に入った色画素の積分値（ＳｕｍＲ，ＳｕｍＧ，ＳｕｍＢ）を算出して、以下の式（２）によりホワイトバランス係数（ＷＢＣｏ＿Ｒ，ＷＢＣｏ＿Ｇ，ＷＢＣｏ＿Ｂ）を算出する。
ＷＢＣｏ＿Ｒ＝ＳｕｍＹ×１０２４／ＳｕｍＲ
ＷＢＣｏ＿Ｇ＝ＳｕｍＹ×１０２４／ＳｕｍＧ
ＷＢＣｏ＿Ｂ＝ＳｕｍＹ×１０２４／ＳｕｍＢ ・・・（２）
ただし、ＳｕｍＹ＝（ＳｕｍＲ＋２×ＳｕｍＧ＋ＳｕｍＢ）／４

しかしながら、このようなオートホワイトバランス制御は画面に白がない場合、白検出範囲に入った色の積分値がゼロに近くなるため、正しいホワイトバランス係数を算出することが出来ない。

また、従来のホワイトバランス制御では、あらゆる光源に対して白を検出する必要があるため、白検出範囲を予め広めに設定している。そのために、光源の種類によっては有彩色の色評価値が白検出範囲内に含まれる場合が存在し、有彩色を白と誤検出してしまうため所望のホワイトバランス制御を行うことができないシーンが存在した。

特許文献１では、第１の画像処理に用いられる第１ホワイトバランスパラメータを第１の撮像手段（メイン電子撮像ユニット）から入力した第１の画像信号を用いて算出する。それと共に、第１の画像信号を用いて算出した第１ホワイトバランスパラメータを利用して第２の画像処理に用いられる第２ホワイトバランスパラメータを算出する。そして、前記第１の撮像手段から入力した第１の画像信号に第１ホワイトバランスパラメータを用いてホワイトバランス処理を施して第１画像情報を生成する。それと共に、第２の撮像手段（電子ファインダユニット）から入力した第２の画像信号に第２ホワイトバランスパラメータを用いてホワイトバランス処理を施して第２画像情報を生成するとしている。

特許第４６６５８３３号公報

しかしながら、上述の特許文献１に開示された従来技術では、第１ホワイトバランスパラメータと第２ホワイトバランスパラメータの切り替え条件、混合条件の処理については言及していない。

（発明の目的）
本発明の目的は、第１と第２の撮像手段による各画像データを処理する場合において、第１の撮像手段による画像データを処理する際のホワイトバランスを安定させることができる画像処理装置、撮像装置及び画像処理方法を提供することである。

上記目的を達成するために、本発明の画像処理装置は、第１の撮像手段によって撮像された画像データを用いて、第１のホワイトバランス補正値を算出する第１のホワイトバランス補正値算出手段と、第２の撮像手段によって撮像された画像データを用いて、第２のホワイトバランス補正値を算出する第２のホワイトバランス補正値算出手段と、前記第１の撮像手段で撮像したときの環境光と前記第２の撮像手段で撮像したときの環境光が同じであるかを判断する判断手段と、前記第１のホワイトバランス補正値の信頼度を算出する信頼度算出手段と、前記判断手段によって前記環境光が同じであると判断され、且つ、前記信頼度算出手段により算出された信頼度が所定値より低いときに、前記第２のホワイトバランス補正値の反映度を決定する反映度決定手段と、前記決定された反映度、前記第１のホワイトバランス補正値、及び前記第２のホワイトバランス補正値から第３のホワイトバランス補正値を算出し、前記第１のホワイトバランス補正値を前記第３のホワイトバランス補正値に置き換えて、ホワイトバランスを補正する第３のホワイトバランス補正値算出手段とを有することを特徴とするものである。

本発明によれば、第１と第２の撮像手段による各画像データを処理する場合において、第１の撮像手段による画像データを処理する際のホワイトバランスを安定させることができる。

本発明の実施例である画像処理装置を具備した電子カメラの構成例を示すブロック図である。 実施例でのＷＢ補正値を決定する処理手順の一例を示すフローチャートである。 実施例での顔領域による補正量の算出を示すフローチャートである。 実施例での色評価値の白検出範囲の例を示す図である。 実施例での肌色領域の例を示す図である。 実施例での顔領域における補正量を示す図である。 実施例での第３のＷＢ補正値算出を示すフローチャートである。 実施例での環境光が同じであるかの信頼度を示す図である。 実施例での第１のＷＢ補正値の信頼度を示す図である。 メインカメラとサブカメラを備えた電子カメラの概念図である。

本発明を実施するための形態は、以下の実施例に記載される通りである。

以下に、本発明の実施例について、添付の図面に基づいて詳細に説明する。画像のホワイトバランス補正を行う本発明の画像処理装置及び画像処理方法は、例えば、デジタルスチルカメラやデジタルムービーカメラ等の電子カメラや情報処理装置（例えば、パーソナルコンピュータ、携帯端末）等に適用されうる。以下では、本発明の実施例である画像処理装置を撮像装置としての電子カメラに適用した例を説明する。

図１０は第１の撮像手段（メインカメラ）と第２の撮像手段（サブカメラ）を備えた電子カメラの概念図である。この電子カメラ１０００は、例えば、動画及び静止画を記録可能な電子カメラ（例えば、静止画記録機能を有するデジタルムービーカメラ或いはデジタルビデオカメラ）として具体化されうる。

電子カメラ１０００は、互いに異なる方向に向けることが可能なメインカメラ１００１とサブカメラ１００２を備える。これらのカメラ１００１，１００２は、いずれも光学像を電気的な画像信号に変換するように構成されている。図１０では、メインカメラ１００１は被写体１００３を、サブカメラ１００２は撮影者１００４を、同時に撮像している。

本発明の実施例である画像処理装置を具備した電子カメラの機能構成例を図１のブロック図で示す。

図１において、撮像光学系１０１は絞り、メカニカルシャッター、レンズなどを備え、制御回路１１５の制御に従って被写体光学像を撮像素子１０２上に結像する。撮像素子１０２はＣＣＤイメージセンサやＣＭＯＳセンサ等の固体撮像素子であり、例えばベイヤー配列を有する原色カラーフィルタを備え、カラー画像の撮影が可能である。本実施例において、撮像素子１０２はＡ／Ｄ変換器等の前処理回路を含むものとし、メモリ１０３には撮像された画像データが格納される。

顔検出部１１６は、メモリ１０３に記憶された画像データに対し、公知の顔検出技術を適用し、画像中に含まれる人間の顔領域を検出する。公知の顔検出技術としてはニューラルネットワークなどを利用した学習に基づく手法、テンプレートマッチングを用いて目、鼻、口等の形状に特徴のある部位を画像から探し出し、類似度が高ければ顔とみなす手法などがある。また、他にも、肌の色や目の形といった画像特徴量を検出し、統計的解析を用いた手法等、多数提案されている。一般的にはこれらの手法を複数組み合わせ、顔検出の精度を向上させている。このような手法によって画像データ中に含まれる目の位置や顔領域の位置（顔座標）を検出することができる。顔検出部１１６は、顔領域が検出された場合、顔領域の位置や大きさに関する情報を顔情報として出力する。

ＣＰＵ１１７は、顔検出部１１６により顔領域が検出されていれば、顔領域が適正露出で撮像されるよう、シャッター速度、絞り値を計算する。また、顔領域を焦点検出領域として合焦制御を行い、フォーカスレンズの駆動量を計算する。

一方、顔検出部１１６により顔領域が検出されていなければ、ＣＰＵ１１７は画像全体の輝度に基づいてシャッター速度、絞り値を計算すると共に、予め定めた合焦領域を用いて合焦制御を行い、フォーカスレンズの駆動量を計算する。

ＣＰＵ１１７で計算された露出値（シャッター速度、絞り値）及びフォーカスレンズの駆動量は制御回路１１５に送られる。制御回路１１５は、これら各値に基づいて撮像光学系１０１が有する絞り、シャッター、フォーカスレンズを駆動する。

ホワイトバランス制御部１０４（以下ＷＢ制御部という）は、メモリ１０３に記憶された画像データ及び顔検出部１１６から得られる顔情報に基づいてホワイトバランス補正値（以下ＷＢ補正値という）（ホワイトバランス係数と同じ）を算出する。そして、ＷＢ制御部１０４は、算出したＷＢ補正値を用いて、メモリ１０３に記憶された画像データのホワイトバランスを補正する。ＷＢ制御部１０４の詳細構成およびＷＢ補正値の算出方法については、後述する。

色変換マトリックス（ＭＴＸ）部１０５は、ＷＢ制御部１０４によりＷＢ補正された画像データが最適な色で再現されるよう色ゲインを乗じ、２つの色差信号データＲ−Ｙ、Ｂ−Ｙに変換する。ローパスフィルタ（ＬＰＦ）部１０６は、色差信号データＲ−Ｙ、Ｂ−Ｙの帯域を制限する。ＣＳＵＰ（Ｃｈｒｏｍａ Ｓｕｐｒｅｓｓ）部１０７は、ＬＰＦ部１０６で帯域制限された色差信号データの飽和部分の偽色信号を抑圧する。

一方、ＷＢ制御部１０４によりＷＢ補正された画像データは輝度信号（Ｙ）生成部１１３にも供給され、輝度信号生成部１１３で輝度信号データＹが生成される。エッジ強調部１１４は、生成された輝度信号データＹに対してエッジ強調処理を適用する。

ＣＳＵＰ部１０７から出力される色差信号データＲ−Ｙ、Ｂ−Ｙと、エッジ強調部１１４から出力される輝度信号データＹは、ＲＧＢ変換部１０８にてＲＧＢ信号データに変換される。ガンマ（γ）補正部１０９は、ＲＧＢ信号データに対し、予め定められたγ特性に従った階調補正を適用する。ガンマ補正されたＲＧＢ信号データは、色輝度変換部１１０によってＹＵＶ信号データに変換された後、ＪＰＥＧ圧縮部１１１にて圧縮符号化され、記録部１１２によって記録媒体に画像データファイルとして記録される。ここで、記録媒体は着脱可能であっても、内蔵されていて良い。

図２及び図３は、ＷＢ制御部１０４におけるＷＢ補正値の算出動作を説明するフローチャートである。図２は、画面全体から算出したホワイトバランス制御の動作を、図３は、顔領域の評価値によって補正されたホワイトバランス制御の動作を、それぞれ示している。

まず、ＷＢ制御部１０４は、メモリ１０３に記憶された１画面（フレーム又はフィールド）分の画像データを読み出し、任意のｍ（ｍは１以上の整数）個のブロックに分割する（Ｓ１０１）。

そして、ＷＢ制御部１０４は、ブロックに含まれる画素値を各色成分ごとに加算平均して色平均値（Ｒ［ｉ］，Ｇ［ｉ］，Ｂ［ｉ］）を算出し、さらに式（１）を用いてブロックごとに色評価値（Ｃｘ［ｉ］，Ｃｙ［ｉ］）を算出する（Ｓ１０２）。

次に、ＷＢ制御部１０４は、ステップＳ１０２で算出したｉ番目のブロックの色評価値（Ｃｘ［ｉ］，Ｃｙ［ｉ］）が、図４に示す、予め設定した白検出範囲４０１に含まれるかどうかを判断する（Ｓ１０３）。白検出範囲４０１は、白色物体を特性（色温度など）の異なる光源下で予め撮影し、算出した色評価値をプロットしたものである。

図４におけるｘ座標（Ｃｘ）の負方向が高色温度光源下で白色物体を撮影した時の色評価値、正方向が低色温度光源下で白色物体を撮影した時の色評価値である。また、ｙ座標（Ｃｙ）は光源の緑（Ｇ）成分の度合いを意味しており、負方向になるにつれてＧ成分が大きくなる。つまり、光源が蛍光灯である場合には、負の方向に色評価値が分布する。

算出した色評価値（Ｃｘ［ｉ］，Ｃｙ［ｉ］）が白検出範囲４０１に含まれる場合（Ｓ１０３でＹＥＳ）、ＷＢ制御部１０４はそのブロックが白色であると判断する。そして、ＷＢ制御部１０４は、白色であると判断したブロックの色平均値（Ｒ［ｉ］，Ｇ［ｉ］，Ｂ［ｉ］）を積算する（Ｓ１０４）。一方、色評価値（Ｃｘ［ｉ］，Ｃｙ［ｉ］）が白検出範囲４０１に含まれない場合、ＷＢ制御部１０４は、そのブロックの色平均値を積算せずに処理をステップＳ１０５に進める。

このステップＳ１０３及びＳ１０４における処理は、以下の式（３）により表わすことができる。

式（３）において、色評価値（Ｃｘ［ｉ］，Ｃｙ［ｉ］）が白検出範囲（図４の４０１）に含まれる場合はＳｗ［ｉ］を１に設定し、含まれない場合にはＳｗ［ｉ］を０に設定する。これにより、色評価値（Ｃｘ［ｉ］，Ｃｙ［ｉ］）が白検出範囲（図４の４０１）に含まれるブロックの色平均値（Ｒ［ｉ］，Ｇ［ｉ］，Ｂ［ｉ］）のみが積算される。

ステップＳ１０５でＷＢ制御部１０４は、すべてのブロックについてステップＳ１０２〜Ｓ１０４の処理をおこなったかどうかを判断し、未処理のブロックがあれば処理をステップＳ１０２に戻し、すべてのブロックで処理したならば処理をステップＳ１０６に進める。

ステップＳ１０６でＷＢ制御部１０４は、得られた色平均値の積分値ＳｕｍＲ１，ＳｕｍＧ１，ＳｕｍＢ１）から、式（２）を用いてＷＢ補正値（ＷＢＣｏ１＿Ｒ１，ＷＢＣｏ１＿Ｇ１，ＷＢＣｏ１＿Ｂ１）を算出する。ステップＳ１０６を実行するＷＢ制御部１０４は、第１のホワイトバランス補正値を算出する第１のホワイトバランス補正値算出手段を構成する。

図３に移り、ステップＳ２０１においてＷＢ制御部１０４は、顔検出部１１６で顔（顔領域）が検出されているかどうかを判断する。顔が検出されていなければ、既に算出した画面全体の色評価値から算出したＷＢ補正値を第１のＷＢ補正値として決定する（Ｓ２１０）。

一方、顔が検出されていれば、ＷＢ制御部１０４は、ステップＳ２０２において顔領域に対応するブロック全体についての色平均値（ＦＲ、ＦＧ、ＦＢ）を取得する。なお、顔領域がブロック単位で検出されない場合には、顔領域に完全に含まれるブロックだけでなく、所定割合が顔領域であるブロックを顔領域に対応するブロックに含めてもよい。

次に、ステップＳ２０３でＷＢ制御部１０４は、ステップＳ２０２で取得した色平均値（ＦＲ、ＦＧ、ＦＢ）に、画面全体で算出したＷＢ補正値（ＷＢＣｏｌ＿Ｒ、ＷＢＣｏｌ＿Ｇ、ＷＢＣｏｌ＿Ｂ）をそれぞれ乗じて、肌色平均値を求める。肌色平均値は、顔領域の色平均値を画面全体で算出したＷＢ補正値により補正した値、補正画像信号データである。

すなわち、肌色平均値（ＳＲ、ＳＧ、ＳＢ）を、
ＳＲ＝ＦＲ×ＷＢＣｏｌ＿Ｒ
ＳＧ＝ＦＧ×ＷＢＣｏｌ＿Ｇ
ＳＢ＝ＦＢ×ＷＢＣｏｌ＿Ｂ
として求める。

そして、ＷＢ制御部１０４は、肌色平均値（ＳＲ、ＳＧ、ＳＢ）が肌色補正対象領域（Ｂ）（図５）内にあるか否かを判断する。

なお、図５において、肌色領域（Ａ）は第１の色信号領域に対応し、肌色補正対象領域（Ｂ）は、第１の色信号領域からのズレが所定範囲内の周辺領域である第２の色信号領域に対応する。ここで、図５においては、所定の色空間座標系としてＣｘ、Ｃｙ座標系が用いられているので、ＲＧＢデータをＣｘ＝ＳＲ−ＳＢ、Ｃｙ＝ＳＲ＋ＳＢ−２ＳＧと色差信号に変換してから、判断を行う。もちろん、公知の色空間変換方法を適用することにより、任意の色空間で判断を行うことができる。

なお、図５に示す肌色領域（Ａ）及び肌色補正対象領域（Ｂ）は、例えば、太陽光（昼光）などの白色光下であらかじめ肌色を複数撮影し、統計的な手法を用いて設定することができる。また、肌色領域（Ａ）及び肌色補正対象領域（Ｂ）を特定する情報は、ＷＢ制御部１０４に予め登録しておいても、別の記憶装置に記憶しておき、必要な際にＷＢ制御部１０４が参照しても良い。

肌色平均値が図５の肌色領域（Ａ）に入っている場合、画面全体で算出したＷＢ補正値により肌色が適正にＷＢ補正されたと判断できるため、ＷＢ制御部１０４は、第１のＷＢ補正値としてそのまま出力することとする（Ｓ２１０）。

また、肌色平均値が肌色補正対象外領域（Ｃ）にある場合は、ＷＢ制御部１０４は、肌色平均値が人の肌を表していないと判断し、画面全体のＷＢ補正値を第１のＷＢ補正値とする。

一方、肌色平均値が肌色補正対象領域（Ｂ）内にある場合、画面全体で算出したＷＢ補正値では肌色が適正にＷＢ補正されなかったと判断できる。したがって、ＷＢ制御部１０４は、肌色平均値と肌色領域（Ａ）とのズレを補正する補正量ΔＦＷを算出する（Ｓ２０４）。

ここでは、図６に示すように、肌色平均値から肌色領域（Ａ）への移動距離が最も小さくなるような補正量ΔＦＷを算出するものとする。すなわち、肌色平均値の座標を（Ｃｘ１，Ｃｙ１）、肌色領域（Ａ）内で、かつ肌色平均値に最も近い点（目標ポイント）の座標を（Ｃｘ２，Ｃｙ２）とすると、補正量ΔＦＷ（ΔＣｘ，ΔＣｙ）は、
ΔＣｘ＝Ｃｘ２−Ｃｘ１
ΔＣｙ＝Ｃｙ２−Ｃｙ１
となる。

なお、ここで目標ポイントを肌色平均値から肌色領域（Ａ）への移動距離が最も小さくなる座標にしているのは、補正量による過補正があっても適正な肌色範囲内に入るようにするための制御の一例である。従って、目標ポイントが肌色領域（Ａ）の内部に設定されてもよい。

そして、ＷＢ制御部１０４は、上記で算出した補正量ΔＦＷから肌色目標ポイントを算出し、顔領域の肌色平均値が（Ｃｘ´，Ｃｙ´）になるようなＷＢ補正値を演算する。
Ｃｘ´＝ΔＣｘ＋Ｃｘ１
Ｃｙ´＝ΔＣｙ＋Ｃｙ１

このように、顔領域をもとに算出した補正量ΔＦＷと画面全体で算出したＷＢ補正値を基に算出したＷＢ補正値を第１のＷＢ補正値とする（Ｓ２０５）。ステップＳ２０５をも実行するＷＢ制御部１０４は、第１のホワイトバランス補正値を算出する第１のホワイトバランス補正値算出手段を構成する。

第２の撮像手段（サブカメラ１００２）で算出する第２のＷＢ補正値も上述の第１のＷＢ補正値と同様に算出する。ＷＢ制御部１０４は、第２のホワイトバランス補正値を算出する第２のホワイトバランス補正値算出手段を構成する。

次に第１の撮像手段（メインカメラ１００１）において最終的に使用される第３のＷＢ補正値の決定方法について図７のフローチャートを用いて説明する。

まず、第１の撮像手段において顔が検出されたかを判断し（Ｓ３０１）、顔が存在する場合は、第１のＷＢ補正値を第３のＷＢ補正値として出力する（Ｓ３０２）。顔がないと判断された場合はステップＳ３０３でメインカメラ１００１とサブカメラ１００２で撮影された被写体の環境光源が同じであるかを判断する。

環境光源が同じであるかの判断要素としては、メインカメラ１００１、サブカメラ１００２における各々の被写体輝度、ＷＢ補正値、ズーム倍率設定等の少なくとも一つの要素で決定することとする。

ここではメインカメラ１００１の環境光とサブカメラ１００２の環境光の光源一致の信頼度（α）を算出することとする。

図８（ａ）のようにメインカメラ１００１の被写体輝度（測光値）とサブカメラ１００２の被写体輝度（測光値）の差分（ΔＢｖ）が大きい場合は、環境光が異なる場合があるので、信頼度（α）が低くなる。

図８（ｂ）のように第１のＷＢ補正値、第２のＷＢ補正値の差分（ΔＣｘ，ΔＣｙ）が大きい場合も環境光が同じでない可能性があるので、信頼度（α）が低くなる。

図８（ｃ）のようにメインカメラ１００１におけるズーム倍率が望遠側に設定されるにつれて撮影者１００４と被写体１００３の環境光が異なる可能性が高くなるので信頼度（α）が低くなる。逆にズーム倍率が広角側に設定されている場合には、信頼度（α）は高くなる。

また、以下のような場合も環境光が同じであるかを判断しうる要素となる。

メインカメラ１００１の画像データを用いてシーン判別を用い、例えばそのシーン判別結果が夜景シーンと判断された場合は撮影者１００４との環境光源が異なる可能性が高いと判断する。

また、暗いシーンで撮影者に照射されているＬＣＤ照射量が高い場合はメインカメラ（被写体１００３）とサブカメラ（撮影者１００４）の環境光源が異なる場合が高いと判断される。照射量の算出にはメインカメラ１００１の被写体輝度、サブカメラ１００２の被写体輝度、撮影者１００４の顔の大きさ等から判断しうる。

また、撮影時にストロボ発光した場合も、撮影者１００４と被写体１００３の環境光源が異なると判断しうる。つまり、ストロボ発光の有無に基づいて判断される。

ここで環境光が同じでないと判断された場合は、第１のＷＢ補正値を第３のＷＢ補正値に置き換えて出力する（Ｓ３０２）。

一方、環境光源が同じであると判断された場合は第１の撮像手段によって得られた第１のＷＢ補正値の信頼度（β）を算出する（Ｓ３０４）。ここで信頼度算出の判断要素として、白検出結果、被写体輝度、ズーム倍率設定などを用いて算出する。

図９（ａ）は第１の撮像手段（メインカメラ１００１）の白検出率（ＷＳ）と信頼度（β）を表した図である。第１のＷＢ補正値において白検出率ＷＳが所定値より低いと判断された場合は信頼度（β）に欠けると判断する。

図９（ｂ）は第１の撮像手段（メインカメラ１００１）の測光値である被写体輝度（Ｂｖ）と信頼度（β）の関係を表した図である。被写体輝度（Ｂｖ）が所定値より高い場合には比較的光源を推定しやすい（例えば、日中の外光）ので信頼度（β）が高いと判断する。

図９（ｃ）はズーム位置に対する第１のＷＢ補正値における信頼度（β）を表した図である。望遠側に設定されるにつれて白検出率が下がり、有彩色を誤検出してしまう可能性が高くなるのでズーム位置に応じて、信頼度（β）を算出する。

ここで信頼度（β）が所定値より高いと判断された場合は、第１のＷＢ補正値を第３のＷＢ補正値として出力する（Ｓ３０２）。

信頼度（β）が所定値より低いと判断された場合は第２の撮像手段（サブカメラ１００２）によって得られた第２のＷＢ補正値をどの程度反映するかの反映度（γ）を算出する。ここはメインカメラ１００１における第１のＷＢ補正値の信頼度が所定値より低い場合はサブカメラ１００２における第２のＷＢ補正値を反映することによって、メインカメラ１００１のＷＢを安定させるためである。

これらの信頼度（β）を１つ以上用いて、第２のＷＢ補正値の反映度（γ：０〜１）を算出する（Ｓ３０６）。ステップＳ３０６を実行するＷＢ制御部１０４は、反映度を決定する反映度決定手段を構成する。

ステップＳ３０７では、第１のＷＢ補正値（Ｃｘ＿１，Ｃｙ＿１）と第２のＷＢ補正値（Ｃｘ＿２，Ｃｙ＿２）を、ステップＳ３０６で算出した第２のＷＢ補正値の反映度（γ）を用いて合成し、（４）式のようにして、第３のＷＢ補正値（Ｃｘ＿３，Ｃｙ＿３）を算出する。ステップＳ３０７を実行するＷＢ制御部１０４は、第３のホワイトバランス補正値を算出する第３のホワイトバランス補正値算出手段を構成する。
Ｃｘ＿３＝Ｃｘ＿１×（１−γ）＋Ｃｘ＿２×γ
Ｃｙ＿３＝Ｃｙ＿１×（１−γ）＋Ｃｙ＿２×γ ・・・（４）

以上によって第１の撮像手段（メインカメラ１００１）によって算出された第１のＷＢ補正値が安定しない場合も第２の撮像手段（サブカメラ１００２）によって算出された第２のＷＢ補正値を参照し、反映することで、メインカメラ１００１のホワイトバランスを安定させることが可能になる。そして、画像データ内に有彩色が多く、画像内の白を適正に検出できない場合や、特殊光源によって追従できない場合においても、適正なホワイトバランス制御を行い、見た目に近い色味となる画像を生成することが可能となる。

（その他の実施形態）
また、本発明は、以下の画像処理方法を実行することによっても実現される。即ち、上述した実施例の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する画像処理方法である。

１０２ 撮像素子
１０４ ＷＢ制御部
１１６ 顔検出部
１１７ ＣＰＵ
α 環境光が同じであるかの信頼度
β 第１のＷＢ補正値の信頼度
γ 反映度
ΔＦＷ 補正量

Claims (13)

1. 第１の撮像手段によって撮像された画像データを用いて、第１のホワイトバランス補正値を算出する第１のホワイトバランス補正値算出手段と、
   第２の撮像手段によって撮像された画像データを用いて、第２のホワイトバランス補正値を算出する第２のホワイトバランス補正値算出手段と、
   前記第１の撮像手段で撮像したときの環境光と前記第２の撮像手段で撮像したときの環境光が同じであるかを判断する判断手段と、
   前記第１のホワイトバランス補正値の信頼度を算出する信頼度算出手段と、
   前記判断手段によって前記環境光が同じであると判断され、且つ、前記信頼度算出手段により算出された信頼度が所定値より低いときに、前記第２のホワイトバランス補正値の反映度を決定する反映度決定手段と、
   前記決定された反映度、前記第１のホワイトバランス補正値、及び前記第２のホワイトバランス補正値から第３のホワイトバランス補正値を算出し、前記第１のホワイトバランス補正値を前記第３のホワイトバランス補正値に置き換えて、ホワイトバランスを補正する第３のホワイトバランス補正値算出手段とを有することを特徴とする画像処理装置。
2. 前記第１のホワイトバランス補正値算出手段及び前記第２のホワイトバランス補正値算出手段は、撮像された画像データにおいて顔が検出された場合は、顔領域の色が肌色範囲に入るように第１のホワイトバランス補正値を演算することを特徴とする請求項１の撮像装置。
3. 前記判断手段は、前記第１の撮像手段における測光値と前記第２の撮像手段における測光値の差分が小さいときに前記環境光が同じであると判断することを特徴とする請求項１または２のいずれか１項に記載の画像処理装置。
4. 前記判断手段は、前記第１のホワイトバランス補正値と前記第２のホワイトバランス補正値の差分が小さいときに前記環境光が同じであると判断することを特徴とする請求項１または２のいずれか１項に記載の画像処理装置。
5. 前記判断手段は、前記第１の撮像手段におけるズーム倍率が広角側に設定されているときに前記環境光が同じであると判断することを特徴とする請求項１または２のいずれか１項に記載の画像処理装置。
6. 前記判断手段は、前記第１の撮像手段にて検出したシーン判別結果に基づいて判断することを特徴とする請求項１または２のいずれか１項に記載の画像処理装置。
7. 前記判断手段は、前記第２の撮像手段で撮像された被写体に照射されているＬＣＤ照射量をもとに判断することを特徴とする請求項１または２のいずれか１項に記載の画像処理装置。
8. 前記判断手段は、ストロボ発光の有無に基づいて判断することを特徴とする請求項１または２のいずれか１項に記載の画像処理装置。
9. 前記信頼度算出手段は、前記第１の撮像手段における白検出率に応じて算出することを特徴とする請求項１ないし８のいずれか１項に記載の画像処理装置。
10. 前記信頼度算出手段は、前記第１の撮像手段における測光値に応じて算出することを特徴とする請求項１ないし８のいずれか１項に記載の画像処理装置。
11. 前記信頼度算出手段は、前記第１の撮像手段におけるズーム倍率に応じて算出することを特徴とする請求項１ないし８のいずれか１項に記載の画像処理装置。
12. 請求項１ないし１１のいずれか１項に記載の画像処理装置を具備した撮像装置であって、
    前記第１の撮像手段と前記第２の撮像手段とを有し、
    前記第１の撮像手段と第２の撮像手段は、互いに異なる方向に向けることが可能であるとともに、同時に撮像を実行することが可能であることを特徴とする撮像装置。
13. 第１の撮像手段によって撮像された画像データを用いて、第１のホワイトバランス補正値を算出する第１のホワイトバランス補正値算出ステップと、
    第２の撮像手段によって撮像された画像データを用いて、第２のホワイトバランス補正値を算出する第２のホワイトバランス補正値算出ステップと、
    前記第１の撮像手段で撮像したときの環境光と前記第２の撮像手段で撮像したときの環境光が同じであるかを判断する判断ステップと、
    前記第１のホワイトバランス補正値の信頼度を算出する信頼度算出ステップと、
    前記判断ステップにて前記環境光が同じであると判断され、且つ、前記信頼度算出ステップにより算出された信頼度が所定値より低いときに、前記第２のホワイトバランス補正値の反映度を決定する反映度決定ステップと、
    前記決定された反映度、前記第１のホワイトバランス補正値、及び前記第２のホワイトバランス補正値から第３のホワイトバランス補正値を算出し、前記第１のホワイトバランス補正値を前記第３のホワイトバランス補正値に置き換えて、ホワイトバランスを補正する第３のホワイトバランス補正値算出ステップとを有することを特徴とする画像処理方法。