JP2013258675A - 画像処理装置、画像処理方法およびプログラム、並びに撮像装置 - Google Patents

Abstract

【課題】被写体の周囲に光源色の推定可能な画像が得られない場合、被写体に対するホワイトバランス補正を行うことが難しかった。
【解決手段】色情報を有する第１の画像と、色情報を有し、第１の画像に対して視差を有する第２の画像を含む画像を処理する画像処理装置は、画像の奥行き方向距離を第１及び第２の画像の分割領域単位で検出しと、分割領域単位で、第１および第２の画像を用いて色度を検出し、分割領域単位で検出された色度を、奥行き方向距離別に分けて積分する積分手段と、得られた積分値に基づいて、奥行き方向距離別に光源色を推定し、推定された光源色を対応する奥行き方向距離とともに保持する。
【選択図】図１

Description

本発明は、画像処理装置、特に被写体画像から光源色を検出する画像処理装置に関する。

デジタルカメラに代表される撮像装置において、様々な光源下の白色を正確に白く撮像出来るようにホワイトバランスを調整する機能が搭載されている。

従来のホワイトバランス調整方法として、特許文献１のように画像の平均より明るい画素値と明るい画素値よりも暗い画素値の差分を鏡面反射光として光源色を推定し、光源色を白色に近づけるようにホワイトバランスゲインを求める技術が知られている。

また特許文献２のように、オートフォーカス処理によるレンズ駆動終了後に、各レンズ駆動位置のコントラスト情報と最終駆動終了時のレンズ位置情報を基に、奥行き方向距離を算出し、奥行き方向距離別に色度を算出する技術が知られている。

一方特許文献３のように、固体撮像素子の１つのマイクロレンズ(以下ＭＬ)に対応した１つの画素に構成される光電変換部(以下ＰＤ)を複数に分割するような構成を用いて、異なる位置の射出瞳を経由した像を求める技術が知られている。この異なる位置の射出瞳を経由した像を求めることと、異なる視差を有する像を得ることとは同意である。

特許第４４４７５２０号公報 特開２０１０−１３０４６８号公報 特開２００７−１３３０８７号公報

しかしながら、特許文献１の方法では明るい画素値から暗い画素値の差分を鏡面反射光としてしまうため、被写体のテクスチャに輝度エッジが存在すると鏡面反射光を誤って検出し、本来の光源色ではない色を判定してしまうという問題があった。

また、特許文献２に記載の方法では、オートフォーカス動作時の光学系の駆動毎のコントラスト情報を取得している。そのため、取得後に光源の状態が変化するたびにオートフォーカス動作をし直さないと奥行き方向距離別の測色結果がずれてしまうという問題があった。

さらに、特許文献１のような鏡面反射光を検出する手法で、特許文献２に記載の光源色推定を実現する際には、全てのエリアで鏡面反射光を検出できるとは限らないため、主被写体の存在するエリア内で色度が検出できなかった場合、正確な測色が困難であった。

そこで、本発明の目的は、光学系の駆動を行なわずに奥行き方向距離別の測色を行うことで、奥行き方向距離に応じて良好に光源色を推定することを可能とする画像処理装置の提供にある。

本発明は上記課題を解決するために、色情報を有する第１の画像と、色情報を有し、第１の画像に対して視差を有する第２の画像を含む画像を処理する画像処理装置は、画像の奥行き方向距離を第１及び第２の画像の分割領域単位で検出しと、分割領域単位で、第１および第２の画像を用いて色度を検出し、分割領域単位で検出された色度を、奥行き方向距離別に分けて積分する積分手段と、得られた積分値に基づいて、奥行き方向距離別に光源色を推定し、推定された光源色を対応する奥行き方向距離とともに保持する。

本発明によれば、主被写体の存在するエリア内で測色が出来なかった場合であっても、良好に被写体エリアの光源色を推定することが可能となる。

本発明の第１の実施例に係わる画像処理装置を適用した撮像装置の概略構成を示すブロック図である。 図１の撮像装置で使用される撮像素子の単位画素セルの概略構成図である。 単位画素セルの分割ＰＤで得られる画素信号を使用した合焦動作の概念図である。 本発明による鏡面反射光の取得原理を説明するための図である。 本件発明の第１の実施例に係わる画像処理装置による光源色推定動作での画像分割の概念図である。 本件発明の第１の実施例に係わる分割ブロック単位の光源色推定動作で生成される各処理のデータを示す図である。 図１の撮像装置で使用される撮像素子における単位画素セルの配置構成を模式的に示す図である。 本発明の第２の実施例に係わる画像処理方法のフローチャートを示す図である。 本発明の第３の実施例に係わる画像処理装置を適用した撮像装置の概略構成を示すブロック図である。 本発明の第４の実施例に係わる撮像装置のライブビュー動作のフローチャートを示す図である。 本発明の第３の実施例に係わる画像処理装置が設定する測距枠の座標位置を示す概念図である。 本発明の効果を説明するためのｘｙ色度図である。

以下、添付の図面を参照して本発明の実施の形態について詳細に説明する。

図１は、本発明の第１の実施例に係わる画像処理装置を適用した撮像装置１００の構成を示すブロック図である。同図において要素１０５乃至１１１が本実施例の画像処理装置を構成する。また、撮像装置１００の各要素は、ＣＰＵを含む図示しない制御部によって制御される。

同図において、１０１はフォーカスを調整して被写体像を結像するためのフォーカシングレンズを含む光学レンズ群、シャッター、絞り、レンズ制御部等で構成される光学系ユニットであり、後述の駆動制御部１１４の出力に基づいて駆動される。

駆動制御部１１４は、後述の位相差算出部１０５からの出力に応じて光学系ユニット１０１に含まれるフォーカシングレンズを駆動する信号を出力する。

撮像素子１０２は後述の単位画素セルが２次元マトリクス状に配列された撮像素子であり、光学系ユニット１０１に含まれるシャッターによって露光量の制御が行われる。

読み出し制御時には、後述の単位画素中に構成される分割ＰＤに蓄積された電荷をそれぞれ順次読み出す。これにより、視差を有する第１の画像及び第２の画像（以後、Ａ像及びＢ像と称す）の画素信号が取得される。後述するように、本実施例では、視差を有するＡ像とＢ像の画素差分値から鏡面反射光成分を抽出する。画素差分値は、Ａ像とＢ像の位相差（視差量）に基づいて２つの画像の位相を合わせた上で、対応する画素の差分値を算出して得ている。撮像装置１００は、鏡面反射光成分の抽出を複数の分割ブロックのそれぞれについて行い、その結果を各ブロックの位相差に従って保持する画像処理装置を備える。この構成により、本実施例の画像処理装置は、合焦領域以外の領域においてもホワイトバランス補正値を提供することが可能となる。

ここで図２を使用して単位画素セルについて説明する。
図２において、２０１は撮像素子内の単位画素セルを示しており、カラーフィルタとＰＤを含んだ撮像素子構造を備えた分割画素２０１ａおよび２０１ｂを有している。

２０１ａおよび２０１ｂは、同一のマイクロレンズ２０２（以下、ＭＬ）を介して入射光を取り込む分割ＰＤであり、各分割ＰＤ出力はその配置によって、それぞれ瞳分割されたＡおよびＢ像の画素として扱うことが出来る。

本実施例では撮像素子上には上述した単位画素セルが図７で示すようにベイヤー配列で繰り返し配置されている。このため、撮像素子１０２から読み出される第１および第２の画像は、色情報を有する画像である。

Ａ／Ｄ変換部１０３は不図示のアナログ信号処理部でアナログ信号処理を行った上で、撮像素子１０２から出力されるアナログ電気信号をデジタル電気信号に変換してキャプチャー部１０４に出力する。

前記アナログ信号処理部は、伝送路上のノイズを除去するＣＤＳ回路や非線形増幅回路等である。

キャプチャー部１０４は画素信号の映像期間およびＡおよびＢ像用画素の種別を判定し、ＡおよびＢ像の画素信号を位相差算出部１０５、Ａ、Ｂ像差分算出部１０６、およびホワイトバランス補正部（ＷＢ補正部）１１０に出力する。なお、キャプチャー部１０４は前述の処理に加えてシェーディング補正処理を行う。これは異なる射出瞳を通って入力される光束によるＡ像およびＢ像でシェーディングの形状が異なる為、補正を行わずに相関演算を行うと後述の位相差算出部１０５で求められる位相差の誤差が大きくなるためである。

位相差算出部１０５は、キャプチャー部１０４から出力されるＡおよびＢ像の画素で構成されるＡおよびＢ像を図５で示すように１〜６４の複数ブロックに分割し、分割領域単位でＡおよびＢ像の画素の相関演算を行い、位相差を算出する。

位相差算出部１０５はさらに、得られた位相差に基づいてデフォーカス量を求めて各分割ブロックに割り当てを行い（デフォーカスマップ）、選択された分割ブロックが合焦するようにデフォーカス量に基づいて駆動制御部１１４を動作させる。同時に、デフォーカス量をＡ、Ｂ像差分算出部１０６にも出力する。

なお、画素ブロックの選択は、不図示の主被写体検出手段によって主被写体の存在する分割ブロック、もしくは不図示のユーザー入力部によって選択された領域にある分割ブロックを選択するなど、合焦位置を選択するものであればよい。

ここで、図３を使用して、図１の撮像装置でのＡおよびＢ像を使用した被写体の奥行き方向距離検出の動作について説明する。

図３において、撮像素子は、ひとつのＭＬとその下に分離配置した画素ａおよびｂとを備えた単位画素セルＰを複数配置した構成を有する。このＭＬ下に配置された画素ａおよびｂは、ＭＬを射出瞳として瞳分割された画素であることは特許文献３によって周知である。

測距時には、画素ａおよびｂによって構成されるＡおよびＢ像の画素出力を、各々列方向(もしくは行方向)に組み合わせ、同色単位画素セル群の出力として、Ａ像及びＢ像を生成・データ化し、各々の対応点のずれを相関演算によって求める。相関演算の結果は下記式によって求められる。
C = Σ|ＹＡｎ - ＹＢｎ|・・・（１）
ここで、ｎは水平方向のＭＬの数である。また、ＹＢｎに対して対応画素ＹＡｎをずらした際の位相差ｄの値をプロットし、最も値の小さい位相差のときが合焦位置である。

(a)合焦のときには、撮影光学系が結像する位置がＰ７のＭＬ下のＰＤになるため、Ａ像の画素群とＢ像の画素群はほぼ一致する。この時、相関演算で求められるＡ像の画素群とＢ像の画素群の位相差ｄ（ａ）は０に近似することが可能である（図３（ａ））。

(b)後ピンのときには、撮影光学系が結像する位置として、Ａ像の画素がＰ５、Ｂ像の画素がＰ９のＭＬ下の画素になる。この時、相関演算で求められるＡ像の画素群とＢ像の画素群の位相差ｄ（ｂ）が発生する（図３（ｂ））。

(c)前ピンのときには、撮影光学系と結像する位置として、Ａ像の画素がＰ９、Ｂ像の画素がＰ５のＭＬ下の画素になる。この時、相関演算で求められるＡ像の画素群とＢ像の画素群の位相差は（ｂ）、後ピンとは逆方向の位相差ｄ（ｃ）として発生する（図３（ｃ））。

これは、合焦時にはＡおよびＢ像の画素群は同一の被写体を見ているが、後ピンおよび前ピン時にはＡおよびＢ像の画素群は位相差ｄだけずれた被写体を見ているということである。

実際の合焦動作時には、位相差ｄと基線長から周知の技術によって求められる奥行き方向距離に基づくデフォーカス量が供給される駆動部１１４が光学系ユニット１０１を移動させることで被写体への合焦動作を行う。このデフォーカス量は被写体に対してフォーカシングレンズをどの程度ずらせば合焦するかを示す値であり、被写体に対する奥行き方向距離比と考えることが可能である。

Ａ、Ｂ像差分算出部１０６は、キャプチャー部１０４から入力される各分割ブロックのＡおよびＢ像の画素群に対して位相差算出部１０５から入力されるデフォーカス量に基づいて位相を合わせた上で比較し、差分値を算出する。算出された各ブロックの差分値は、デフォーカス量とともに位相差別積分部１０７に出力される。この差分値は各ブロックの鏡面反射光成分を示しており、光源の色度と同等である。従って、Ａ，Ｂ像差分算出部１０６は光源の色度検出を行なっている。

なお、このとき誤った差分値を積分しないように、差分値の色度を黒体放射上の色度と比較して、差が大きければ誤検出された鏡面反射成分として除くことが望ましい。これは、位置合わせを行った後のＡ像とＢ像の差分値にはオクルージョン(occlusion)と鏡面反射光が含まれ、オクルージョンによる差分値が光源色として誤検出されることを防ぐ為である。

ここで差分値を光源の色度とすることが可能な理由を説明をする。

物体の反射光には、物体の色を反映している反射方向性を持たない乱反射光と、物体の色を反映せずに光源色を反映する鏡面反射光と呼ばれる２種類の反射光が存在する。

図４を使用して、反射光の特性を具体的に説明する。
同図において、撮像装置４０２および４０３は空間的に異なる位置から被写体４０１を撮像しており、被写体４０１は光源４００から照射される光を乱反射光と鏡面反射光として反射する。なお図４では、撮像装置４０２の方向に反射される光を実線で、撮像装置４０３の方向に反射される光を破線で示している。

乱反射光は光源からの光を全方位へ反射し、被写体の色を表している。この反射光は異なる位置から撮像したとしても変化しない。

鏡面反射光は、光源の光が入射角と反射角が等しい場合（正反射）に最も強く反射される反射光である。例えばポイントＡ４０４では反射光４０６の成分として撮像装置４０２へ、ポイントＢ４０５では反射光４０７の成分として撮像装置４０３に反射される。逆に撮像装置４０３に入射されるポイントＡ４０４の反射光はほぼ乱反射光のみであり、撮像装置４０２に入射されるポイントＢ４０５の反射光においても同様である。つまり鏡面反射光は同一位置であったとしても、撮像装置の空間的な位置によって観測できる光量が変化する。

ここで撮像装置４０２および４０３から観測されるポイントＡ４０４の色をＡ１およびＡ２とした際の反射光は式（２）および（３）を使用して説明できる。
Ａ１＝Ｉ１+ Ｄ・・・（２）
Ａ２＝Ｉ１+ Ｄ・・・（３）

Ｉ１はポイントＡ４０４から撮像装置４０２に入射される鏡面反射光、Ｉ２は撮像装置４０３に入射される鏡面反射光、Ｄは乱反射光である。Ｄは撮像装置４０２および４０３の位置によらず、被写体の同一箇所であるため略同一とすることができる。

式（４）、(５)において、Ｉ１およびＩ２をフォングの反射モデルに従って式（４）および（５）で表す。
I１ = ｉＷ(α)ｃｏｓθ１・・・（４）
I２ = ｉＷ(α)ｃｏｓθ２・・・（５）
ここで、iは入射光の強さ、Ｗ(α)は被写体の正反射方向への鏡面反射率、θ１およびθ２は正反射方向からの撮像装置４０３および４０４のずれ角である。ｉは光源４００から照射される同一の光であり、Ｗ(α)は被写体の同一箇所における反射率のため、撮像装置４０２および４０３の位置によらず略同一とすることが可能である。

θ１およびθ２は撮像装置の位置によって変化するため、ｃｏｓθの値は画像の同一のポイントの撮像であっても、撮像装置４０２および４０３間で変化することを表している。

上述の式からＡ１およびＡ２の差分を取ると、次の式（６）が得られる。
Ａ１−Ａ２ ＝ ｉＷ(α)(ｃｏｓθ1 - ｃｏｓθ2)・・・（６）

（６）式より、空間的に位置の異なる撮像装置４０２と４０３から観測されるポイントＡ４０４の反射光は入射光の倍数となることがわかる。これはすなわち、Ａ１−Ａ２の値から入射光と同一の特性が得られることを表している。

（６）式からは色によらない特性が得られため、各色の差分を同様に得ることで光源色からの入射光の色特性を得ることが可能となる。

上述の説明では、説明の簡便さから二つの撮像装置を用いてＡおよびＢ像を取得する場合について説明したが、本実施例の撮像素子を用いて得られる視差を有するＡおよびＢ像からも同様の特性を得られる。Ａ、Ｂ像差分算出部１０６による光源の色度の検出は、このような原理に基づいている。

なお、式（２）、（３）で表される通り、反射光は鏡面反射光と乱反射光の加算によって求められ、被写体の乱反射光のみの部分よりは明るくなる特性がある。従って、減算処理を行う対象を分割ブロックもしくは被写体を反射光の平均値より明るい部分に限って減算を行っても良い。

位相差別積分部１０７は、Ａ、Ｂ像差分算出部から出力された分割ブロック別のデフォーカス量と差分値に対して、デフォーカス量別に差分値を分わけて積分し、次いで正規化を行ってメモリ１０９に出力する。差分値の積分値はホワイトバランス（ＷＢ）評価値として、デフォーカス量に対応してメモリ１０９に保持する。

図６を使用して、Ａ、Ｂ像差分算出部１０６および位相差別積分部１０７での処理によって生成されるデータを具体的に説明する。

図６（ａ）は分割ブロック別にデフォーカス量と差分値を記録したデータである。Ａ，Ｂ像差分算出部１０６から順次分割ブロックＮＯ別に位相差別積分部１０７に入力されるデータである。

図６（ｂ）はデフォーカス量別に差分値を分けて積分した結果と積分値をＧの値で正規化処理を行ったデータである。位相差別積分部１０７から出力されるデータである。

ここでは、デフォーカス量別に差分値を積分したが、デフォーカス量を０〜８と９〜１７のグループに分け、グループ単位で積分処理を行い奥行き方向距離別の測色としても良い。

このように奥行き方向距離別に差分値の積分処理を行って光源色を求めるのではなく、分割ブロック別に色度を求めて信頼性を向上するために積分処理を行って求めた叙では、適正に光源色を求めることが出来ないことに注意すべきである。

図１２のｘｙ色度図を使用して、奥行き方向距離別に積分処理を行わない場合には適正に光源色を求めることができないことを具体的に説明する。なお、ｘｙ色度図自体は公知の為、ここでの説明を省略する。

ＮＯ１の分割ブロックのデフォーカス量が１のときの色度図上の座標を１２００、ＮＯ２の分割ブロックのデフォーカス量が１３のときの色度図上の座標を１２０１とし、各々色温度が２４００Ｋと５８００Ｋであるとする。

１２００、１２０１の色温度はそれそれぞれ黒体放射上に存在しているため、奥行き方向距離を考えずに積分及び正規化処理を行うと、座標１２０２の位置が算出される。１２０２の色温度は１２００及び１２０１の色温度のどちらともあっていないため、１２０２に基づいて適正なホワイトバランスの補正係数を取得することができない。

しかしながら、本実施例のように奥行き方向距離別に色度の積分及び正規化処理を行うことで適正なホワイトバランス係数を取得することが可能となる。

このようにデフォーカス量別に色度の積分を行うことは、画像上の被写体の奥行き方向距離別に色度の積分をしていることと同様であるため、信頼性を向上することが可能となる。

また、奥行き方向距離別に光源の色度を取得するためにレンズ駆動を行わずに電子的に処理を行うことが可能となるため、光源色がリアルタイムで変化するような場面において特に有効となる。また、コンピュータなどの情報処理装置に含まれるＣＰＵによる制御の下で動作する装置として本実施例の画像処理装置を実現することも可能になる。

色度補正部１０８は、デフォーカス量別に積分された光源の色度（ＷＢ評価値）に対して、黒体放射上のどの色温度に一番近いか判断を行い、色温度に則した補正を行ってＷＢ補正部１１０に出力する。例えば、図６（ｂ）で示したデフォーカス量１１の色比はほぼＲ：Ｇ：Ｂ=１：１：１であり、約５５００Ｋの色温度であると補正する。

ＷＢ補正部１１０は、入力されたデフォーカス量別の光源の色度に対して、各分割ブロックの中で合焦している分割ブロックの属するデフォーカス量に対応した色度を選択し、光源色が白色に補正されるようにＷＢ補正値を算出する。

具体的に、ＷＢ補正値の算出方法について説明する。

例えば、Ｒ，Ｇ，ＢのＧを基準としてＷＢ補正を行う際には、Ｒ補正値ＧａｉｎＲおよびＢ補正値ＧａｉｎＢは、式（７）、（８）に従って求めることができる。
ＧａｉｎＲ＝ＧＬ ／ ＲＬ・・・（７）
ＧａｉｎＢ＝ＧＬ ／ ＢＬ・・・（８）
この時、Ｒ、Ｇ、Ｂそれぞれの光源色であるＷＢ評価値はＲＬ，ＧＬ，ＢＬである。

次にＷＢ補正部１１０は、キャプチャー部１０４から出力されるＡおよびＢ像の画素信号を加算して撮像画像の画素信号を生成し、ＷＢ補正値に基づいてＲ，Ｇ，Ｂ各色に対して補正値を乗算して補正撮像画素信号として同時化処理部１１１に出力する。

なお、本実施例では合焦している分割ブロックの奥行き方向距離に対応するＷＢ補正値を使用してホワイトバランス補正を行ったが、それに限ったものではない。必要に応じて、例えば主被写体が存在する分割ブロックの奥行き方向距離や最遠景などの特定の奥行き方向距離に対応するＷＢ補正値を使用すれば良い。

また被写体への奥行方向距離別に画像を分割し、各分割領域に対してホワイトバランス補正を行っても良い。

また主被写体が存在する奥行き方向距離は、不図示の被写体指定手段によって得られた対象の位置を測距して求めても良いし、顔認識に代表される認識手段によって得られる情報から対象の位置を測距しても良い。この主被写体指定手段とはタッチパネルに代表されるユーザーインターフェイスである。

同時化処理部１１１は、入力された補正撮像画素信号の同時化処理を行うと同時に、不図示のノイズリダクションやＪＰＥＧに代表される画像圧縮を行った上でメモリ１０９に出力する。

外部記録装置１１２は、同時化処理部１１１で生成された画像をメモリ１０９から読み出し、ＳＤカード等に代表されるメモリカードに記録する。

上述した本実施例によれば、視差のついた像同士の相関演算によってデフォーカス量別に差分値を取得することで、奥行き方向距離別に良好な光源色推定を行なうことが可能となる。これにより、被写体の周辺に光源色の推定可能な場所が存在しなくても、被写体と同一の奥行き方向距離の光源色に基づいてホワイトバランス補正を行うことが可能になる。また、分割されたブロック内に奥行き方向距離の異なる複数の被写体が存在した場合であっても、積分値によって奥行き方向距離別の光源推定を行なっているので、推定値の信頼性が向上する。

第１の実施例によれば、本発明の画像処理は奥行き方向距離別に光源の色度を取得するためにレンズ駆動を行わずに電子的に処理を行うことが可能である。第２の実施例は、第１の実施例の画像処理装置の動作をコンピュータなどの情報処理装置のＣＰＵがプログラムを実行することで、画像処理方法あるいは画像処理装置の制御方法として実現する実施例である。以下、図１の撮像装置１００の要素１０５乃至１１１が図示しない制御部のＣＰＵによる制御で動作する場合を例に、本実施例を図８のフローチャートを使用して説明する。

ステップＳ８０１で、撮像装置１００のキャプチャー部１０４で出力される互いに視差を有するＡ像とＢ像を位相差算出部１０５が取得し、取得した各像をブロックに分割してステップＳ８０２に進む。

ステップＳ８０２では、撮像装置１００の制御部は、分割ブロックの番号を示すＮ値を初期化し、ステップＳ８０３に進む。

ステップＳ８０３で、位相差算出部１０５は、Ａ像およびＢ像の相関演算処理を行い、位相差を検出し、ステップＳ８０４に進む。

ステップＳ８０４で、Ａ、Ｂ像差分算出部１０６はステップＳ８０３で求められた位相差に基づいてＡ像とＢ像の位相を合わせ、ステップＳ８０５に進む。

ステップＳ８０５で、Ａ、Ｂ像差分算出部１０６は位相の合わせられたＡ像とＢ像の差分値（色度）を算出してステップＳ８０４で使用したデフォーカス量を付与してメモリ１０９に記憶し、ステップＳ８０６に進む。

ステップＳ８０６で、Ａ、Ｂ像差分算出部１０６は差分値が黒体放射上の色温度に近い値であるかどうかを判別し、検出された色度が積分の対象になるかどうかを判別する。黒体放射に近い色度であれば、積分の対象になると判断してステップＳ８０７へ、遠い色度であれば、対象にならないと判断してステップＳ８０９へ進む。これは、位置合わせを行った後のＡ像とＢ像の差分値にはオクルージョンと鏡面反射光が含まれ、オクルージョンによる差分値が光源色として誤検出されることを防ぐ為である。

ステップＳ８０７で、位相差別積分部１０７はステップＳ８０５でメモリ１０９に記憶された位相差のうち、付与されたデフォーカス量が近い差分値をメモリ１０９から読み出し、ステップＳ８０８に進む。

ステップＳ８０８で、位相差別積分部１０７は読み出された差分値を積分し、ステップＳ８０９へ進む。

ステップＳ８０９で、制御部はＮに１を加算し、次の分割ブロックの処理を行うためにステップＳ８１０に処理を進める。

ステップＳ８１０で、制御部は分割ブロック全ての積分が完了したかどうかを判断し、完了していればステップＳ８１１へ、完了していなければステップＳ８０３に処理を進める。

ステップＳ８１１で、位相差別積分部１０７はデフォーカス量別の積分値に対して正規化を行い、ＷＢ評価値としてメモリ０９に保持し、ステップＳ８１２に進む。

ステップＳ８１２で、色度補正部１０８はデフォーカス量別にメモリ１０９に記憶されたＷＢ評価値を黒体放射上の代表的な色温度に補正し、ステップＳ８１３に進む。

ステップＳ８１３で、ＷＢ補正部１１０は、駆動制御部１１４によって駆動される光学レンズ群１０１に含まれるフォーカシングレンズの駆動位置とフォーカシングレンズの位置に従って、合焦している分割ブロックのデフォーカス量に応じたＷＢ評価値を選択し、ステップＳ８１４に進む。

ステップＳ８１４で、ＷＢ補正部１１０は、Ａ像とＢ像を加算して得られた撮影画像に対してステップＳ８１３で得られたＷＢ評価値に基づいて画像全体に対してホワイトバランスゲインを乗算し、本実施例の画像処理を完了する。

上述した本実施例の画像処理によっても、第１の実施例と同様の効果が得られることは明らかである。

本発明の第１および第２の実施例では、各視差画像の全体を図５のように分割し、各分割ブロックに対する奥行き方向測距で得たＡ像とＢ像の位相差に基づいて差分値を算出した。しかしながら、第１の実施例での分割ブロックは、前述したように、無作為に分割されるブロックであるため、一つの分割ブロック内に複数の奥行き方向距離の被写体が存在する場合がある。その場合、鏡面反射光が検出された被写体以外の被写体が入り込まないように領域を設定して再度位相差検出処理を行い、差分値を算出する必要がある。
そこで本実施例では、鏡面反射光が検出された被写体（座標）に対して、固定値Ｘ、Ｙ分の幅を持った所定の領域を位相差算出範囲として設定することで、他の被写体が位相差算出範囲に入り込む可能性を低くすることを可能にする。この時、鏡面反射光が検出された被写体の範囲を領域分割技術によって推定してＸ、Ｙを適応的に設定することで他の被写体が位相差算出範囲に入り込む可能性をさらに低くすることが可能となる。また、被写体の範囲を矩形領域として設定するのではなく、領域分割技術によって被写体の範囲を任意の領域として指定して位相差算出範囲としてもよい。
なお、領域分割技術は、Ｋ平均アルゴリズムクラスタリングや局所探索型アルゴリズム等が一般的な技術として知られているが、本発明には直接的に関係性がないため、説明は省略する。
以下、図を参照して本実施例を説明する。なお、図において第１の実施例と重複する部分については、同じ符号を付して示し、ここでの説明を省略する。

図９は、本実施例に係わる画像処理装置を適用した撮像装置の構成を示すブロック図である。
同図において、鏡面反射成分算出部９０１はキャプチャー部１０４から入力されたＡ像とＢ像の鏡面反射成分を、第１の実施例と同様に分割ブロック単位で算出し、座標と鏡面反射成分の色度を反射位置周辺位相差算出部９０２に出力する。算出された鏡面反射成分は、Ａ像もしくはＢ像の少なくとも一方にあればよい。鏡面反射成分の抽出方法は特許文献２に記載されているため、ここでは詳細な説明を省く。

反射位置周辺位相差検出部９０２は、鏡面反射成分算出部９０１から出力されるＡ像もしくはＢ像の鏡面反射成分が取得された位置の周囲に対して位相差検出処理を行う。位相差検出処理によって求められた位相差は、鏡面反射の発生した被写体に対するデフォーカス量として、鏡面反射成分とともに位相差別積分部１０７に出力される。位相差別積分部１０７以降の構成は第１の実施例と同様である。

ここで、取得された鏡面反射成分の座標の周囲に設定される領域に対する位相差検出処理について説明する。

図１１は、机１１０１の上にボール１１００が配置された画像であり、鏡面反射成分９０１の出力により、鏡面反射成分が座標（Ｃｈ、Ｃｖ）の位置において検出されている。

反射位置周辺位相差検出部９０２は、座標（Ｃｈ、Ｃｖ）を中心に上下に２Ｙ、左右に２Ｘの長さをもつ矩形領域を生成する。つまりこの矩形領域の左上座標は(Ｃｈ−Ｘ，Ｃｖ−Ｙ)、右上座標は(Ｃｈ＋Ｘ，Ｃｖ−Ｙ)、左下座標は(Ｃｈ−Ｘ，Ｃｖ＋Ｙ)、右下座標は(Ｃｈ＋Ｘ，Ｃｖ＋Ｙ)と表わされる。

この矩形領域は、Ａ像とＢ像各々に対して選択し、これらの領域に対して位相差検出処理を行う。位相差検出処理では、第１の実施例で説明した式(１)で示される相関演算処理に加えて、Ｙan -Ｙbnで得られる値が鏡面反射成分の色度であった場合は加算対象から省く処理を行うことが望ましい。これは、例えば図４の４０４、４０５に各々異なる勾配がついていた場合は、正反射角が異なり、鏡面反射成分の見える位置は被写体に対する視差量と同一にならないためである。つまり位相差検出を行う際には鏡面反射成分は無視したほうがより正確に位相差を求めることが可能となる。

なお、本実施例では鏡面反射成分を抽出することで測色を行なう構成を説明したが、測色が可能となる領域を指定するものであればよく、反射によって起きる白い領域を見つける手法や輝度のピーク位置や高輝度位置周辺から測色を行う手法などの公知の技術を使用しても良い。

また、光源の検出が出来なかった奥行き方向距離に存在する被写体に対する測色値を取得する際には、奥行方向の距離が近い位置の測色値を使用しても良い。また、測色が可能である複数の奥行き方向距離と測色不可だった奥行き方向距離の位置関係に基づいて補正値を算出しても良い。

このように、光源検出が可能な領域近傍の領域に対して測距を行い、奥行き方向距離別の測色値に対する積分処理を行うことによって奥行き方向距離別のＷＢ評価値の生成、保持を実現し、より良好な奥行き方向距離別の測色が可能となる。

なお、本実施例の画像処理も第１の実施例と同様に、奥行き方向距離別に光源の色度を取得するためにレンズ駆動を行わずに電子的に処理を行うことが可能である。従って、第２の実施例にように、本実施例の画像処理装置の動作をコンピュータなどの情報処理装置のＣＰＵがプログラムを実行することで、画像処理方法あるいは画像処理装置の制御方法として実現することが可能である。

本実施例は、上述した第１または第２の実施例に係わる画像処理装置が適用された撮像装置でライブビュー動作（動画の撮影）を実現するための構成を提供する。本プレビュー動作は、撮像装置１００の図示しない制御部のＣＰＵがプログラムを実行して各部を制御することで実現される。以下、図１０のフローチャートを参照して本実施例を説明する。なお、第１および第２の実施例と同様の部分はその説明を省略する。
図１０は、本実施例に係わる撮像装置のライブビュー動作のフローチャートを示す図である。

ステップＳ１００１で撮像装置１００は、光学系の駆動を完了して撮像素子１０２で撮像を行い、後段のＡ／Ｄ変換部１０３およびキャプチャー部１０４により視差を有するＡ像およびＢ像が取得され、ステップＳ１００２に進む。

ステップＳ１００２で撮像装置１００は、不図示のセンサー補正部で撮像素子１０２の画素配列に存在する欠陥画素の補正に代表されるセンサー補正を行い、ステップＳ１００３に進む。

ステップＳ１００３は、図で撮像装置１００は、Ａ像及びＢ像の位相差を検出し、第１又は第２の実施例による図６（ｂ）のデータに基づいてデフォーカス量別の光源色を推定した上で撮像画像のホワイトバランス補正を行い、ステップＳ１００４に進む。なお撮像画像とはＡ像およびＢ像を加算して得られる画像である。Ｓ１００３の詳細な動作は、図８に示すフローチャートに従って実行される動作である。

ステップＳ１００４で撮像装置１００は、同時化やノイズリダクションやＪＰＥＧ符号化に代表される現像処理を行ってステップＳ１００５に進む。

ステップＳ１００５で撮像装置１００は、液晶装置に代表される不図示の外部表示装置に対してステップＳ１００４で現像した画像を表示する。

ステップＳ１００６で撮像装置１００は、顔認識に代表される不図示の主被写体検出手段によって主被写体の存在する領域を検出する。検出された主被写体の位置からステップＳ１００３の測距結果を利用し主被写体のデフォーカス量を判別してステップＳ１００７に進む。

ステップＳ１００７で撮像装置１００は、主被写体のデフォーカス量に所定の閾値以上の変更があったかどうかを判定し、変更があった場合に主被写体へリフォーカシングを行うようことを決定し、ステップＳ１００８に進む。変更がなかった場合は、ステップＳ１００９に進む。

ステップＳ１００８で撮像装置１００は、ステップＳ１００３で求められたデフォーカス量に基づいてフォーカシングレンズの駆動を開始し、ステップＳ１００９に進む。

ステップＳ１００９で撮像装置１００は、フォーカシングレンズの駆動が完了したかどうかを判定し、駆動完了していればステップＳ１０１０に進み、駆動が完了していなければステップＳ１００１に戻る。
ステップＳ１０１０で撮像装置１００は、撮像装置１００の不図示の電源スイッチによって電源がＯＦＦになっているかどうかを判定し、ＯＮであればステップＳ１００１に戻り、ＯＦＦになっていればライブビュー処理を終了する。

以上のような処理を行うことで、ライブビュー動作時の処理における本発明の画像処理の実施が可能となり、動画撮影中においても被写体のデフォーカス量に応じて適切にＷＢ 補正を行なうことが可能となる。この場合、本発明に係わる画像処理で生成される図６のデータの更新は、図１０に示されるように、フォーカシングレンズの駆動が完了して被写体の撮影が行なわれた後のタイミングで行なう。

また、ステップＳ１００３でのＷＢ補正でデフォーカス量に応じたＷＢ評価値を選択する際に、リフォーカス前に適用されているＷＢ評価値とリフォーカスによって合焦する奥行き方向距離に対応したＷＢ評価値との線形補間で選択するＷＢ評価値を決定してもよい。具体的には、フォーカシングレンズの位置に対応する補間位置のＷＢ評価値を選択することで、動画撮影中のＷＢ評価値を滑らかに切り替えることが可能となる。

なお、本実施例のライブビュー動作は、第３の実施例に係わる画像処理装置を適用した撮像装置においても同様に実現できることは、第３の実施例が第１および第２の実施例と同様に、デフォーカ量別のＷＢ評価値(積分値)の生成、保持構成を実現していることから明らかである。

［他の実施の形態］
前述した本発明の実施形態における画像処理装置および撮像装置を構成する各手段、並びに画像処理方法の各工程は、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記憶したコンピュータ読み取り可能な記憶媒体は本発明に含まれる。

また、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。

なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（図示したフローチャートに対応したプログラム）を、システムまたは装置に直接、または遠隔から供給する場合も含む。そして、そのシステムまたは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。

したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。

プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどがある。さらに、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ）などもある。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する方法がある。そして、前記ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記憶媒体にダウンロードすることによっても供給できる。

また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、その他の方法として、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。さらに、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。

さらに、その他の方法として、まず記憶媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。そして、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

Claims (18)

1. 色情報を有する第１の画像と、色情報を有し、前記第１の画像に対して視差を有する第２の画像を含む画像を処理する画像処理装置において、
   前記画像の奥行き方向距離を前記第１及び第２の画像の分割領域単位で検出する奥行き方向距離検出手段と、
   前記分割領域単位で、前記第１および第２の画像を用いて色度を検出する色度検出手段と、
   前記分割領域単位で検出された前記色度を、奥行き方向距離別に分けて積分する積分手段と、
   前記積分手段で得られた積分値に基づいて、前記奥行き方向距離別に光源色を推定し、前記推定された光源色を対応する奥行き方向距離とともに保持する光源色推定手段と
   を備えることを特徴とする画像処理装置。
2. 前記奥行き方向距離検出手段は、前記第１の画像と第２の画像の位相差を検出し、前記検出された位相差に基づいて奥行き方向距離を検出することを特徴とする請求項１に記載の画像処理装置。
3. 前記色度検出手段は、前記検出された位相差に従って前記第１の画像と第２の画像の位相を合わせ、前記位相を合わせた第１及び第２の画像の差分値に基づいて前記色度を検出することを特徴とする請求項２に記載の画像処理装置。
4. 前記色度検出手段は、前記第１および第２の画像の各画像から前記分割領域単位で色度を検出し、前記奥行き方向距離検出手段は、前記色度が検出された位置を中心に所定の領域を設定し、前記所定の領域において奥行き方向距離を検出することを特徴とする請求項１に記載の画像処理装置。
5. 前記奥行き方向距離検出手段は、前記所定の領域の範囲を、前記色度が検出された位置にある被写体に対して適応的に設定することを特徴とする請求項４に記載の画像処理装置。
6. 前記積分手段は、黒体放射上の色温度に基づいて、前記色度検出手段で検出された色度を積分の対象にするかどうかを判別し、前記積分値を正規化することを特徴とする請求項１乃至５のいずれか一項に記載の画像処理装置。
7. 前記光源色推定手段は、黒体放射上の色温度に基づいて、前記積分値から光源色を推定することを特徴とする請求項１乃至６のいずれか一項に記載の画像処理装置。
8. 前記光源色推定手段により前記奥行き方向距離別に保持された前記光源色にうち、いずれかの分割領域の奥行き方向距離に対応し光源色を使用して前記画像のホワイトバランス補正を行うホワイトバランス補正部をさらに備えることを特徴とする請求項１乃至７のいずれか一項に記載の画像処理装置。
9. 前記分割領域は、前記画像を所定のブロックで分割した領域であることを特徴とする請求項１乃至８のいずれか一項に記載の画像処理装置。
10. 被写体像を結像するためのフォーカシングレンズを有する光学系と、
    前記光学系で結像された被写体像から互いに視差を有する第１および第２の画像を撮像するためのマイクロレンズとそれに対応する複数の分割画素を有する撮像手段と、
    前記撮像手段で撮像された第１の画像と第２の画像の位相差に基づいて前記フォーカシングレンズを駆動する駆動手段と、
    前記撮像手段で撮像された前記第１および第２の画像を処理する請求項１乃至８のいずれか一項に記載の画像処理装置と
    を備えることを特徴とする撮像装置。
11. 前記画像処理装置は、前記駆動手段による前記フォーカシングレンズの駆動が完了したタイミングで、前記光源色推定手段により光源色を推定し、前記推定された光源色を対応する奥行き方向距離とともに保持することを特徴とする請求項１０に記載の撮像装置。
12. 前記撮像手段は、前記光学系で結像された前記被写体の動画を撮像し、前記ホワイトバランス補正手段は、前記駆動手段による前記フォーカシングレンズの駆動が完了する前に前記光源色推定手段が保持していた前記推定された光源色と前記フォーカシングレンズの駆動が完了した後に前記光源色推定手段により保持された光源色とに基づいて前記画像のホワイトバランス補正を行なうことを特徴とした請求項１０又は１１に記載の撮像装置。
13. 前記駆動手段は、前記光源色推定手段が前記推定された光源色を前記奥行き方向距離とともに保持した後に前記フォーカシングレンズを駆動するこきは、前記保持された奥行き方向距離に基づいて前記フォーカシングレンズを駆動することを特徴とする請求項１２に記載の撮像装置。
14. 色情報を有する第１の画像と、色情報を有し、前記第１の画像に対して視差を有する第２の画像を含む画像を処理する画像処理方法において、
    前記第１の画像と第２の画像を取得する取得ステップと、
    前記画像の奥行き方向距離を前記取得した第１及び第２の画像の分割領域単位で検出する奥行き方向距離検出ステップと、
    前記分割領域単位で、前記取得した第１および第２の画像を用いて色度を検出する色度検出ステップと、
    前記分割領域単位で検出された前記色度を、奥行き方向距離別に分けて積分する積分ステップと、
    前記積分ステップで得られた積分値に基づいて、前記奥行き方向距離別に光源色を推定し、前記推定された光源色を対応する奥行き方向距離とともにメモリに保持する光源色推定ステップと
    を備えることを特徴とする画像処理方法。
15. 色情報を有する第１の画像と、色情報を有し、前記第１の画像に対して視差を有する第２の画像を含む画像を処理する画像処理装置の制御するためのプログラムであり、
    コンピュータを、
    前記第１の画像と第２の画像を取得する取得手段、
    前記画像の奥行き方向距離を前記取得した第１及び第２の画像の分割領域単位で検出する奥行き方向距離検出手段、
    前記分割領域単位で、前記取得した第１および第２の画像を用いて色度を検出する色度検出手段、
    前記分割領域単位で検出された前記色度を、奥行き方向距離別に分けて積分する積分手段、
    前記積分手段で得られた積分値に基づいて、前記奥行き方向距離別に光源色を推定し、前記推定された光源色を対応する奥行き方向距離とともに保持する光源色推定手段
    として機能させるプログラム。
16. 請求項１５に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
17. コンピュータを、請求項１乃至９のいずれか一項に記載された画像処理装置の各手段として機能させるプログラム。
18. コンピュータを、請求項１乃至９のいずれか一項に記載された画像処理装置の各手段として機能させるプログラムを格納した記憶媒体。

Images