JP2016005105A - 撮像装置 - Google Patents

Abstract

【課題】画像の合成処理において、ストロボ発光時にストロボ光と異なる別の光源で照射されている主被写体と背景を共に適正な色味とすること。
【解決手段】被写体を撮像し、得られた画像信号を処理する撮像装置であって、ストロボ発光時の本露光画像からストロボ光に対応した第１のホワイトバランス補正値を算出する手段と、ストロボ非発光時の画像から外光に対応した第２のホワイトバランス補正値を算出する手段と、画像を複数のブロックに分割する手段と、本露光画像とストロボ非発光画像の輝度値から各ブロックのストロボ成分と外光成分を算出する手段と、各ブロックのストロボ成分と外光成分を基に各ブロックの合成比率を算出する手段と、第１のホワイトバランス補正値と第２のホワイトバランス補正値を用いて現像して得られる各画像データを、合成比率を基に合成を行う手段と、を有することを特徴とする。
【選択図】図１

Description

本発明は、撮像装置、特に色温度を可変できるストロボを搭載し、ホワイトバランス制御を用いて画像生成する撮像装置に関する。

デジタルカメラやデジタルビデオカメラなどの、撮像素子を用いる撮像装置においては、撮像によって得られた画像の色調を調整するホワイトバランス制御機能を備えている。
ホワイトバランス制御には、あらかじめ白色被写体を撮像してホワイトバランス係数を求めておき、算出したホワイトバランス係数を画面全体に適用するマニュアルホワイトバランス制御と、撮像した画像から白色と思われる部分を自動検出し、画面全体の各色成分の平均値からホワイトバランス係数を求め、算出したホワイトバランス係数を画面全体に適用するオートホワイトバランス制御とがある。

ここで、従来のオートホワイトバランス制御について説明する。撮像素子から出力された信号はＡ／Ｄ変換によってデジタル化され、図２に示すように複数のブロックに分割される。各ブロックはＲ、Ｇ、Ｂの色画素で構成されており、ブロック毎に、例えば以下の算出式（１）により、色評価値（Ｃｘ［ｉ］、Ｃｙ［ｉ］）を求める。
Ｃｘ［ｉ］＝（Ｒ［ｉ］−Ｂ［ｉ］）／Ｙ［ｉ］×１０２４
Ｃｙ［ｉ］＝（Ｒ［ｉ］＋Ｂ［ｉ］−２Ｇ［ｉ］）／Ｙ［ｉ］×１０２４ ・・・（１）
（ただし、ｉはブロックの番号、Ｒ［ｉ］，Ｇ［ｉ］，Ｂ［ｉ］はブロックｉに含まれるＲＧＢ画素の平均値、Ｙ［ｉ］＝（Ｒ［ｉ］＋２Ｇ［ｉ］＋Ｂ［ｉ］／４））
予め設定した白検出範囲に色評価値（Ｃｘ［ｉ］、Ｃｙ［ｉ］）が含まれる場合は、そのブロックが白であると判定する。そして、そのブロックに含まれる色画素の積分値ＳｕｍＲ、ＳｕｍＧ、ＳｕｍＢを算出して、以下（２）式のようにホワイトバランス係数（ＷＢＣｏ＿Ｒ，ＷＢＣｏ＿Ｇ，ＷＢＣｏ＿Ｂ）を算出する。
ＷＢＣｏ＿Ｒ＝ＳｕｍＹ×１０２４／ｓｕｍＲ
ＷＢＣｏ＿Ｇ＝ＳｕｍＹ×１０２４／ｓｕｍＧ ・・・（２）
ＷＢＣｏ＿Ｂ＝ＳｕｍＹ×１０２４／ｓｕｍＢ
ただし、ＳｕｍＹ＝（ｓｕｍＲ＋２×ｓｕｍＧ＋ＳｕｍＢ）／４
しかし、このようなホワイトバランス制御においては、次のような問題があった。ストロボ発光シーンにおいて画像内にストロボ光と異なる光源が存在する場合、上記で算出したホワイトバランス係数を画面全体に適用してホワイトバランス制御を行うため、各光源を共に適正な色味とするホワイトバランス制御を行うことが困難であった。例えば、ストロボを発光しているシーンで環境光に電球色光源のような低色温度光源が存在する場合、ストロボ光が高色温度光源であるため、ストロボ光にホワイトバランスを合わせると低色温度光源にホワイトバランスが合わなくなってしまう。

一方、低色温度光源にホワイトバランスを合わせた場合には、ストロボ光にホワイトバランスが合わなくなってしまう。また、両方の光源の中間にホワイトバランスを合わせてホワイトバランス制御を行ったとしても、両方の光源にホワイトバランスが合わず、ストロボ光で照射されている領域は青みを帯び、低色温度光源で照射されている領域は赤味を帯びるような色味となってしまう。

このような課題に対して、特許文献１では、ストロボ発光画像とストロボ非発光画像を、任意の被写体領域ごとに比較してデータの比を求め、比の値によりストロボ光の寄与度を判定し、寄与度に応じてストロボ発光して露光させたときの映像データに対して領域ごとにホワイトバランス制御値を選択して、ホワイトバランス制御を行うとしている。特許文献２では、周囲の色温度を検出する色温度検出手段からの信号により発光色温度を制御することを特徴とするストロボ発光色温度制御方法が開示されている。

特許第３５４０４８５号公報 特開昭６３−２６１３３１号公報

しかしながら、上述の特許文献１に開示された従来技術では、色温度の大きく異なる光源に対して処理を適応させると、ＷＢ係数の切り替わり部分に色味のトーンジャンプが発生する。また動いている被写体にはストロボ照射量の計算が複雑になるため正確に求めることができない。それらの場合には部分ＷＢでの良好な画像取得が難しい。

また、特許文献２の色温度可変ストロボを使用する手法は、外光の色温度がストロボの色温度可変範囲外の場合、ストロボの照射された領域とそうでない領域でホワイトバランスが最適にならないという問題があった。

上記目的を達成するために、本発明は、色温度を可変させて発光可能なストロボ制御手段と、前記ストロボ制御手段の発光した色温度に相当する制御情報から、ストロボ用のホワイトバランス制御値の算出を行う第１のホワイトバランス制御値算出手段と、周囲の色温度を検出することにより、外光用のホワイトバランス制御値の算出を行う、第２のホワイトバランス制御値算出手段と、前記ストロボ制御手段によるストロボの照射量を画像の領域毎に判定するストロボ照射量判定手段と、前記画像領域毎のストロボ照射量に応じて、前記第１のホワイトバランス制御値算出手段と前記第２のホワイトバランス制御値算出手段の結果から、画像領域毎に第３のホワイトバランス制御値の算出を行う第３のホワイトバランス制御値算出手段を有し、前記第３のホワイトバランス制御値を用いて画像生成することを特徴とする。

その際、外光用のホワイトバランス制御値とストロボ用ホワイトバランス制御値とを比較して、ホワイトバランス制御値の差分が所定の範囲にある場合には、画像領域毎にホワイトバランス制御を行い、前記差分が所定の範囲内にある場合には、画面内で共通のホワイトバランス処理を行い、その場合、外光用のホワイトバランス制御値またはストロボ用のホワイトバランス制御値のどちらか、またはそれらから求まる１つのホワイトバランス制御値を用いてホワイトバランス補正処理を行う。

また、前記第３のホワイトバランス制御値算出手段は、被写体が動いている被写体である場合には、画像領域毎のホワイトバランス制御は実施しない。被写体が動いた領域に生じるストロボ照射量の推定誤差によって生じる、ホワイトバランスの補正間違いを起こさないようにでき、良好な画像を得ることができる。

また、ホワイトバランス制御値そのものを合成する方法以外にも、ストロボ用のホワイトバランス制御を行い画像生成する第１の画像生成手段と、周囲の色温度でのホワイトバランス係数算出し画像生成する第２の画像生成手段と、画像領域毎のストロボ照射量に応じて、前記第１の画像生成手段と前記第２の画像生成手段によって生成された画像から、画像領域毎に前記第１と第２の画像を合成する画像合成してもよい。

本発明によれば、ストロボ光を発光したシーンにおいて、主被写体と背景を共に適正な色味とする画像を生成し、ユーザーに好ましい画像を提供することが可能となる。

画像合成処理を示すフローチャート ブロック分割の例を示す図 本発明の実施形態における撮像装置のブロック図 白検出範囲を示す図 ＷＢ補正算出処理を示すフローチャート 撮影における時系列を示す図 駆動モードによる分光差分の補正例を示す図 被写体位置情報の切り出し算出例 色味残し処理を示すグラフ 色温度と色評価値ＣｘＣｙとの関係を明示した図 ストロボ色温度可変と部分ホワイトバランスの切り替えを示したブロック図 画像合成処理のデータのフローを示したブロック図 ホワイトバランス係数の合成処理を行うデータのフローを示したブロック図 ストロボの発光テーブルの一例を示した図 ストロボの発光量と色温度との関係の一例を示した図 ストロボの制御フローを示したフローチャート ストロボ色温度と発光量を決定するフローチャート 画像相関による被写体動きを検出処理を行うフローチャート

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。

（実施例１）
図３は、本実施例の概略図である。図３において、３０１はＣＣＤやＣＭＯＳ等からなる固体撮像素子であり、その表面は例えばベイヤー配列のようなＲＧＢカラーフィルタにより覆われ、カラー撮影が可能な構成となっている。

ＣＰＵ３１４は画像全体が所定の輝度になるようなシャッター速度、絞り値を計算すると共に、合焦領域内にある被写体に合焦するようにフォーカスレンズの駆動量を計算し、ＣＰＵ３１４で計算された露出値（シャッター速度、絞り値）およびフォーカスレンズの駆動量は鏡筒制御回路３１３に送られ、各値に基づいてそれぞれ鏡筒装置３１５が制御される。また、ストロボ発光制御を行う場合にも同様に、ストロボ発光量をＣＵＰ３１４にて計算をして、ストロボ発光装置３１６を所定の光量で発光させる。

３０３はホワイトバランス（ＷＢ）制御部であり、メモリ３０２に記憶された画像信号からの情報に基づいてＷＢ補正値を算出し、算出したＷＢ補正値を用いて、メモリ３０２に記憶された画像信号に対してＷＢ補正を行う。なお、このＷＢ制御部３０３の詳細構成およびＷＢ補正値の算出方法については、後述する。

３０４はＷＢ制御部３０３によりＷＢ補正された画像信号が最適な色で再現されるように色ゲインをかけて色差信号Ｒ−Ｙ、Ｂ−Ｙに変換する色マトリックス回路、３０５は色差信号Ｒ−Ｙ、Ｂ−Ｙの帯域を制限するローパスフィルタ（ＬＰＦ）回路、３０６はＬＰＦ回路３０５で帯域制限された画像信号の内、飽和部分の偽色信号を抑圧するＣＳＵＰ（Ｃｈｒｏｍａ Ｓｕｐｒｅｓｓ）回路である。一方、ＷＢ制御部３０３によりＷＢ補正された画像信号は輝度信号（Ｙ）生成回路３１１にも出力されて輝度信号Ｙが生成され、生成された輝度信号Ｙに対してエッジ強調回路３１２にてエッジ強調処理が施される。

ＣＳＵＰ回路３０６から出力される色差信号Ｒ−Ｙ、Ｂ−Ｙと、エッジ強調回路３１２から出力される輝度信号Ｙは、ＲＧＢ変換回路３０７にてＲＧＢ信号に変換され、ガンマ補正回路３０８にて階調補正が施される。その後、色輝度変換回路３０９にてＹＵＶ信号に変換され、さらに圧縮回路３１０にて圧縮されて、外部記録媒体または内部記録媒体に画像信号として記録される。

本実施例におけるストロボは、たとえばＬＥＤストロボであり、ＲＧＢのフィルターをそれぞれのＬＥＤの前部照射されるように配置しておき、それぞれのＬＥＤを制御することで色温度を自由にコントロール可能である。またそれ以外の色温度の制御方法としては、高色温度と低色温度の光源に、それぞれのコンデンサーを有し、そのコンデンサーに充電する充電容量をコントロールすることで光源の色温度をコントロールすることでも可能であるし、それぞれの光源に対して電流や電圧の配分による色温度制御を行う方法や、発光時間そのものの時間量でコントロールすることも可能である。

どちらの手法においても、ＬＥＤを用いた光源では、複数の光源の色温度の範囲までは色温度の制御が可能であるが、その範囲外の色温度の光源を発光することはできない。

次に図３のＷＢ制御部３０３におけるＷＢ補正値算出方法について詳細に述べる。
まずはストロボ発光したときの第１のＷＢ補正値算出方法について図５を用いて説明する。メモリ３０２に記憶された画像信号を読み出し、その画面を任意のｍ個のブロックに分割する（ステップＳ１０１）。そして、各ブロック（１〜ｍ）毎に、画素値を各色に加算平均して色平均値（Ｒ［ｉ］、Ｇ［ｉ］、Ｂ［ｉ］、）を算出し、式（１）を用いて色評価値（Ｃｘ［ｉ］、Ｃｙ［ｉ］）を算出する（ステップＳ１０２）。
Ｃｘ［ｉ］＝（Ｒ［ｉ］−Ｂ［ｉ］）／Ｙ［ｉ］×１０２４
Ｃｙ［ｉ］＝（Ｒ［ｉ］＋Ｂ［ｉ］−２Ｇ［ｉ］）／Ｙ［ｉ］×１０２４
ただし、Ｙ［ｉ］＝（Ｒ［ｉ］＋２Ｇ［ｉ］＋Ｂ［ｉ］）／４
次に、図４のような座標軸を持つグラフを用いて白検出を行う（ステップＳ１０３）。ｘ座標（Ｃｘ）の負方向が高色温度被写体の白を撮影したときの色評価値を表し、正方向が低色温度被写体の白を撮影したときの色評価値を表す。またｙ座標（Ｃｙ）は光源の緑成分の度合いを意味しており、負方向になるにつれＧｒｅｅｎ成分が大きくなり、つまり蛍光灯であることを示している。

図１０に示したグラフおよび表は、黒体放射軸（以降、白軸と称する）であり、色温度とＣｘＣｙ値との関係を示したものである。あらかじめ黒体放射軸上の既知の色温度光源にてカメラで画像データを取得し、ＣｘＣｙを算出することで色温度とＣｘＣｙ値との対応関係を明確にすることができる。もちろん色温度方向だでけではなく、前述の白色蛍光灯のグレーン方向やマゼンタ方向の光源に対しても同様にＣｘＣｙ値との対応関係を明確にすることが可能である。また、前述したストロボの発光色温度に対応したＣｘＣｙ値も取得しておくことで、ストロボの発光色温度がわかれば、そのストロボ光源に対するＷＢ補正値を算出が可能である。

ステップＳ１０３では、ステップＳ１０２で算出したｉ番目のブロックの色評価値（Ｃｘ［ｉ］、Ｃｙ［ｉ］）が、図４に示す予め設定した白検出範囲４０１に含まれるかどうかを判断する（ステップＳ１０３）。白検出範囲４０１は、ストロボ光が既知の光源であるため検出範囲を限定している。算出した色評価値（Ｃｘ［ｉ］、Ｃｙ［ｉ］）がこの白検出範囲４０１に含まれる場合には（ステップＳ１０３でＹＥＳ）そのブロックが白色であると判断して、そのブロックの色平均値（Ｒ［ｉ］、Ｇ［ｉ］、Ｂ［ｉ］）を積算していき（ステップＳ１０４）、含まれない場合には加算せずにステップＳ１０５に進む。このステップＳ１０３及びステップＳ１０４の処理は、式（３）により表すことができる。

ここで、式（３）において、色評価値（Ｃｘ［ｉ］、Ｃｙ［ｉ］）が白検出範囲（図４の４０１）に含まれる場合はＳｗ［ｉ］を１に、含まれない場合にはＳｗ［ｉ］を０とすることにより、ステップＳ１０３の判断により色評価値（Ｒ［ｉ］、Ｇ［ｉ］、Ｂ［ｉ］）加算を行うか、行わないかの処理を実質的に行っている。ステップＳ１０５では、すべてのブロックについて上記処理を行ったかどうかを判断し、未処理のブロックがあればステップＳ１０２に戻って上記処理を繰り返し、すべてのブロックの処理が終了していればステップＳ１０６に進む。

ステップＳ１０６では、得られた色評価値の積分値（ｓｕｍＲ１、ＳｕｍＧ１、ＳｕｍＢ１）から、以下の式（４）式を用いて、第１のＷＢ補正値（ＷＢＣｏｌ＿Ｒ１、ＷＢＣｏｌ＿Ｇ１、ＷＢＣｏｌ＿Ｂ１）を算出する。
ＷＢＣｏｌ＿Ｒ１＝ｓｕｍＹ１×１０２４／ｓｕｍＲ１
ＷＢＣｏｌ＿Ｇ１＝ｓｕｍＹ１×１０２４／ｓｕｍＧ１ ・・・（４）
ＷＢＣｏｌ＿Ｂ１＝ｓｕｍＹ１×１０２４／ｓｕｍＢ１
ただし、ｓｕｍＹ１＝（ｓｕｍＲ１＋２×ｓｕｍＧ１＋ｓｕｍＢ１）／４
または、第１のＷＢ補正値としてストロボ光のＷＢ補正値を既知のものとしてあらかじめ設定してもよい。

次に、ストロボ非発光時の第２のＷＢ補正値の算出方法について説明する。第２のＷＢ補正値はストロボ非発光画像データより算出する。図６は撮影制御を時系列に並べた図を示すが、ＳＷ１前ではライブビュー画像を定期的に撮影し、ＳＷ１時にＡＦロックとＡＥロックを行う。ＳＷ２後にはテスト発光と本露光を行うが、テスト発光前に撮像される「外光」と表記されている時間に露光した画像データを、ここではストロボ非発光時の画像データとする。ストロボ非発光時の画像データは本露光後に露光した撮影画像データを用いてもよい。

算出処理は上述の第１のＷＢ補正値算出と同様に行う。第１のＷＢ補正値算出処理と異なる点は、図４の白検出範囲４０２のように外光用の白検出範囲で処理する点である。これはストロボ光が既知の光源であるのに対し、外光は既知の光源ではないため、ストロボ発光時の白検出範囲４０１のように限定できないからである。白検出範囲４０２は、予め異なる光源下で白を撮影し、算出した色評価値をプロットしたものである。

この白検出範囲は撮影モードによって別設定できるものとする。第２のＷＢ補正値は撮像駆動モードが異なる場合にも適応でき、例えば、過去に算出されたＥＶＦ（Ｅｌｅｃｔｒｏｎｉｃ Ｖｉｅｗ Ｆｉｎｄｅｒ）のＷＢ補正値を使用することができる。ただし、駆動モードにより分光差分が生じる場合は図７のようにΔＣｘ、ΔＣｙを補正してＷＢ補正値を算出する。

ここでは、背景が電球色光源のような低色温度光源の場合に、シーンの雰囲気を考慮し色味を残すように第２のＷＢ補正値を算出してもよい。例えば、図９に示すような処理を用い、第２のＷＢ補正値の色温度が低い場合に色味を残すように制御することで電球色光源の赤味を残すような画像を生成することができる。

続いて、画像合成処理について図１のフローチャートを用いて説明する。図１に示すように、第１のＷＢ補正値と第２のＷＢ補正値との差分が小さい場合や被写体の動きがある場合、撮像装置と被写体との距離が離れている場合には画像合成処理を行わず、通常のホワイトバランス制御を行う。なお、通常のホワイトバランス制御方法については後述する。これらの条件以外の場合には画像合成処理を行う。画像合成処理では、まず図１のステップＳ２０４で本露光時のストロボ発光画像から上記第１のＷＢ補正値を用いて現像画像Ｙｕｖ１を現像する。

次に、ステップＳ２０５で本露光時のストロボ発光画像から上記第２のＷＢ補正値を用いて現像画像Ｙｕｖ２を現像する。ステップＳ２０６では、本露光時のストロボ発光画像、ストロボ非発光画像、現像したＹｕｖ１、そして現像したＹｕｖ２をそれぞれｎブロックに分割する。ステップＳ２０７では、ストロボ非発光画像から、ブロック（１〜ｎ）ごとに画素値を各色に加算平均して色平均値（Ｒ２［ｉ］、Ｇ２［ｉ］、Ｂ２［ｉ］、）を算出し、各ブロックの輝度値ａ［ｉ］を算出する。各ブロックの輝度値ａ［ｉ］の算出式は（６）式のようになる。

・・・（６）
算出した各ブロックの輝度値ａ［ｉ］を各ブロックの外光成分とする。
ステップＳ２０８では、ストロボ非発光画像から各ブロックの輝度値ａ［ｉ］を算出する処理と同様に、本露光時のストロボ発光画像から、ブロック（１〜ｎ）ごとに、ブロック（１〜ｎ）ごとに画素値を各色に加算平均して色平均値（Ｒ１［ｉ］、Ｇ１［ｉ］、Ｂ１［ｉ］、）を算出し、各ブロックの輝度値ｂ［ｉ］を算出する。算出した各ブロックの輝度値ｂ［ｉ］から、対応するストロボ非発光画像の各ブロックの輝度値ａ［ｉ］を引くことで、ブロックごとのストロボ成分ｃ［ｉ］を算出する。
ｃ［ｉ］ ＝ ｂ［ｉ］ - ａ［ｉ］
ステップＳ２０９では、それぞれ対応するブロックごとのストロボ成分ｃ［ｉ］と外光成分ａ［ｉ］の比率を基に、Ｙｕｖ１とＹｕｖ２を合成する際のブロックごとのＭｉｘ率α［ｉ］を算出する。

ステップＳ２１０では、ブロックごとのＭｉｘ率α［ｉ］を用いてＹｕｖ１とＹｕｖ２を合成し、Ｙｕｖ３を生成する。Ｙｕｖ３における色評価値（Ｙ３［ｉ］， ｕ３［ｉ］， ｖ３［ｉ］）はＹｕｖ１における色評価値（Ｙ１［ｉ］， ｕ１［ｉ］， ｖ１［ｉ］）Ｙｕｖ２における色評価値（Ｙ２［ｉ］， ｕ２［ｉ］， ｖ２［ｉ］）を用いて（７）式のように算出する。

・・・（７）

ブロック境界部分の色味ずれを緩和するため、ステップＳ２０９で画素補間処理を行うことによりブロックごとのＭｉｘ率α［ｉ］から画素ごとのＭｉｘ率α’［ｊ］を算出してもよい。例えば、画素補間処理としてバイリニア補間を用い、ブロックごとのＭｉｘ率α［ｉ］から画素ごとのＭｉｘ率α’［ｊ］を算出する。このとき、ステップＳ２１０では、画素ごとのＭｉｘ率α’［ｊ］を用いてＹｕｖ１とＹｕｖ２を合成し、Ｙｕｖ３を生成する。

Ｙｕｖ３における色評価値（Ｙ３［ｊ］， ｕ３［ｊ］， ｖ３［ｊ］）はＹｕｖ１における色評価値（Ｙ１［ｊ］， ｕ１［ｊ］， ｖ１［ｊ］）Ｙｕｖ２における色評価値（Ｙ２［ｊ］， ｕ２［ｊ］， ｖ２［ｊ］）を用いて（８）式のように算出する。

・・・（８）

また、ステップＳ２１０では、本露光時のストロボ発光画像におけるブロック輝度値に応じて、ブロックごとに画像合成処理を行うか行わないかの判断を行うことにより処理を可変にしてもよい。当該ブロックのブロック輝度値が低い場合や高い場合は当該ブロックに対して画像合成処理を行わず、後述する通常のホワイトバランス制御で算出するＷＢ補正値を用いて画像現像処理を行う。当該ブロックのブロック輝度値がそれ以外の場合には、前述した画像合成処理と同様の処理を行う。

続いて、通常のホワイトバランス制御方法について詳細に説明する。まず、前述のＷＢ補正値を算出する処理と同様にして、第１、第２のＷＢ補正値を算出する。続いて第１、第２のＷＢ補正値のＭｉｘ（加重加算）処理を行う。Ｍｉｘ（加重加算）処理は被写体に照射されている外光とストロボ光の照射比率によって加重加算を行う。

照射比率を演算するための被写体領域切り出しについて説明する。テスト発光する前の画像データを取得し、このテスト発光前画像データか図８（ｂ）に示すｍ×ｎのマトリックスで構成される輝度ブロックａを算出する。次にテスト発光前と同じ条件で、フラッシュのテスト発光を行い、テスト発光時データを取得し、同様にｍ×ｎのマトリックスで構成される輝度ブロックｂを取得する。

これら、輝度ブロックａ及びｂは、撮像装置に備えるＲＡＭ等に一時的に格納される。被写体画像の背景画像は、テスト発光前画像データと、テスト発光時データで略変化がないものとする。したがって、この２つの輝度ブロックａと輝度ブロックｂの差分データは、フラッシュのテスト発光時における被写体領域の反射光となり、その差分データより被写体位置情報ｃを取得することができる。

このように算出された被写体位置情報から被写体位置ブロックを取得し、取得したブロックの本露光時輝度（Ｙ１）とストロボ非発光時輝度（Ｙ２）を算出する。ここで本露光時と非発光時の露光条件が異なる場合は露光条件を揃えてＹ１、Ｙ２を算出する。このように算出されたＹ１，Ｙ２の比を被写体に照射された光量比として、第１、第２のＷＢ補正値を用いて光量比によるＭｉｘ処理（加重加算）を行う。このように得られたＷＢ補正値をＷＢ制御部３０３でＷＢ処理に使用するＷＢ補正値と決定し、画像現像手段により画像を現像し最終画像データとする。 図１２は本実施例における合成処理のフローを示したブロック図である。撮影指示がなされると、ＳＷ２押下直前のＥＶＦ画像１０２と本露光画像１００も保存する。保存された本露光時の画像は、リサイズ処理ブロック１０１にてＥＶＦ画像相当のサイズにリサイズされ、その後ブロック積分を算出する。同様にＥＶＦ画像もブロック積分値を算出する。その際、ブロックの積分領域はＥＶＦと本露光画像では画角に対して同一の設定とする。

１０３にて、本露光時とＥＶＦ時の感度・絞り値・シャッター速度との関係から本露光とＥＶＦ撮影時の露光量差分を計算し、ブロック積分値が同一の露光量になるようにＥＶＦ画像のブロック積分値の換算処理を行う。１０４では画像領域毎にストロボ照射量の演算を行う。１０５ではストロボ照射量に応じた画像合成比率の決定を行い、１０６ではブロック毎の合成比率を本露光画像と同じサイズまで拡大される。

また、外光ＷＢ係数算出処理１０７ではＥＶＦ時の画像から外光ＷＢ係数の算出を行い、本露光画像に対してＷＢ処理ブロック１０９にてＷＢ乗算が行われ、現像処理ブロック１１３にて現像処理がおこなわれて外光用のＹＵＶ画像が出力される。

また、ストロボＷＢ係数算出処理１１１では、ストロボの発光量情報１１０よりストロボ用ＷＢ係数を算出する。ＷＢ演算処理１０９にて、本露光画像に対してストロボＷＢ処理が行われ、現像処理ブロック１１３で現像処理が行われ、ストロボ用ＹＵＶ画像が出力される。

これらのストロボ用ＹＵＶ画像と外光用ＹＵＶ画像を画像合成比率に従って画像合成処理１１４にて画像合成処理がなされる。

図１３は、図１２とほぼ同様であるが、図１２が現像処理後に画像を合成するに対して、図１３では外光とストロボのＷＢ係数を合成される点で異なり、画像合成処理１１４に変わって、画像領域毎に外光用ＷＢ係数とストロボようＷＢ係数を合成する、ＷＢ係数合成処理２０１がなされ、そのＷＢ係数を用いてＷＢ処理１１９にてＷＢ乗算されて現像処理１１３にて現像処理がなされる。

図１２のほうが各光源に最適な色処理パラメータを設定できる、色再現も含めた良好な画像が生成可能である。一方、図１３では現像処理が２回行う必要がないため、演算時間や画像をためておくためのメモリの確保しておく必要がなく、システムリソースの節約が可能な手法である。

図１１は本実施例における、画像合成処理のフローを示したフローチャートである。撮影指示であるＳＷ２が押下されるとＳ３０１では、最終ライブビュー時のホワイトバランス結果ＣｘＣｙから、色温度を算出する。ＣｘＣｙ値が白軸上に位置しない場合には、Ｃｘの値と色温度との関係で簡易的に算出することが可能である。それ以外にも白軸上へ垂線を引き白軸交点のＣｘＣｙ値の値から色温度を算出してもよい。

Ｓ３０２では、露出値およびストロボの発光量および発光色温度を決定する。詳細は後述する。Ｓ３０３では、撮影動作を実施する。Ｓ３０４では、Ｓ３０３で決定されたストロボ発光色温度が外光の色温度と比較し、所定の範囲内に含まれているかを判定する。所定の範囲内に含まれる場合には、Ｓ３０６では通常のＷＢ処理を行う。

Ｓ３０４で、所定の範囲内に含まれない場合には、Ｓ３０４の画像合成処理を実施する。ここでいう画像合成処理とは前述した被写体中のストロボ照射量に応じた画像合成処理である。Ｓ３０７では生成した画像を保存して終了する。

図１６は本実施例における撮影露出条件の決定方法について詳細に説明を行ったブロック図である。Ｓ４００でＡＥ動作により、Ｔｖ値（ＡＥ＿Ｔｖ）を決定する。具体的にはＥＶＦ動作中に、所定の撮影条件で撮像を行い、ＣＣＤＲＡＷのデータをメモリに蓄える。その画像データを複数のブロックに分割し、そのブロックごとに平均輝度値を算出する。

その後、各ブロックごとに加重加算平均値（Ｙ＿Ａｖｅ）を算出する。その場合、中央重点の重みを付けて画面平均値を算出する中央重点測光を行ってもよいし、顔検出の結果に応じて被写体領域に重点的に重みを付けるなど、被写体に応じた評価測光をしてもよいし、単純に画面平均値を算出する平均測光を行ってもよいし、画面の一部のスポット領域のみＡＥを行うスポット測光を行ってもよい。その画面平均値とＡＥターゲット値（ＡＥＴａｒｇｅｔとの差分を段数換算し（ＤｅｌｔａＡＥ）、下式に従ってＢｖ値を決定する。
Ｂｖ＝Ａｖ＋Ｔｖ−Ｓｖ＋ＤｅｌｔａＡＥ・・・・・・・・（９）
ここで、ＤｅｌｔａＡＥ＝Ｌｏｇ（Ｙ＿Ａｖｅ／ＡＥＴａｒｇｅｔ）／Ｌｏｇ
次にＢｖ値から、プログラム線図およびユーザー設定値に従って、絞りとシャッター速度と撮影感度を決定する。

Ｓ４０１では、前記Ｂｖ値と逆光判定の結果からストロボを発光するか否かを決定する。たとえば、シャッター速度が１／４０以下になった場合にストロボを発光してもよいし画面解析の結果、顔領域が暗いなど、逆光シーンと判別された場合にストロボを発光することを決定してもよい。ストロボが発光されない場合には、ＥＦ処理が終了となる。

ストロボが発光されると判断されると、Ｓ４０２ではストロボ発光用の露出条件を決定する。ＡＥで決定されたシャッター速度が、ストロボ同調速度外の場合には、ストロボ同調速度内にシャッター速度の制限を行ってもよいし、ＡＥで決定した露出時間としてもよい。露出が変更になる場合には、式（９）が満たすようにＡｖ値およびＳｖ値を可変させプログラムシフトが行われる。

Ｓ４０３では、Ｓ４０２で決定されたＡｖ／Ｔｖ・Ｓｖ値からプリ発光用の露出条件を決定する。一般的なＣＣＤの場合、プリ発光用の画像には、読み出し速度が速いセンサー駆動を行うため、画素加算および間引き率が大きい駆動を用いることがある。そのため本露光と追従できる感度が変わる場合も存在するため、感度変化分だけ露出を変更する必要がある。

またプリ発光を行う際の発光量の決定は、Ｂｖ値毎にあらかじめ決められている所定の発光量でもよいし、顔の大きさやＡＦの結果から、被写体距離を推定し、その被写体距離に応じたプリ発光量を決定してもよい。もちろんプリ発光の露出時間に収まる範囲で決定しなければならないことは言うまでもない。また、色温度可変可能なストロボの場合は、外光の色温度に応じて、ストロボの色温度を外光の色温度に近い色温度に設定を行う。

Ｓ４０４では、Ｓ４０３で決定された撮影条件でストロボ非発光状態で画像データを取得する。Ｓ４０５では、プリ発光を実際に行い画像を取得する。Ｓ４０６では、Ｓ４０４のストロボ発光を行った画像とＳ４０５ストロボ発光を行っていない画像のそれぞれブロック平均値の算出を行う。

ストロボの発光の有無の２枚の画像の差分から、ストロボが到達したリターン値をブロックごとに算出し、画面内の測光方式に応じた重みを加重加算された輝度値（ＰｒｅＹ）を算出する。同様にストロボ非発光の画像に足しても同様に加重加算平均した輝度値の算出を行う（ＮｏＦｌａｓｈ＿Ｙ）。Ｓ４０７ではストロボの発光量（ＤｅｌｔａＥＦ）の算出を行う。より具体的には、Ｓ４０６のストロボの非発光の画像のブロックごとの輝度値に対して、
ＡＥＴａｒｇｅｔ＝α×ＰｒｅＹ×ＥｘｐＣｒｔＧａｉｎ＿ＰｒｅＦｌａｓｈ＋ＮｏＦｌａｓｈ＿Ｙ×ＥｘｐＣｒｔＧａｉｎ＿ＮｏＦｌａｓｈ・・・・・（１０）
を満たすα値を算出する。

ただし、
ＥｘｐＣｒｔＧａｉｎ＿ＰｒｅＦｌａｓｈ：本露光露出とプリ発光時の絞りと感度の差異を補正する補正値
ＥｘｐＣｒｔＧａｉｎ＿ＮｏＦｌａｓｈ：本露光露出と非発光撮影時の絞り・感度・シャッター速度との差を補正する補正値
式（１０）を満たすαから段数換算を行い、その値をＤｅｌｔａＥＦとして算出する。図１４はＤｅｌｔａＥＦの値に対するストロボの発光時間を算出する様子を示したグラフおよび表である。グラフの縦軸がプリ発光時の光量に対するＤｅｌｔａＥＦ値であり、横軸はストロボの発光時間（単位はμＳｅｃ）である。

本発明において、ストロボのプリ発光を行った結果、所望の画像が得られないと判定された場合、露出条件の変更を許可するモードを有し、その設定をＳａｆｅｔｙＥＦと称している。

Ｓ４０８で、ＳａｆｅｔｙＥＦが無効の場合には、Ｓ４０７で決定した露出条件で撮影を行う。Ｓ４０８で、ＳａｆｅｔｙＥＦがＯＮの場合には、Ｓ４０９でストロボ発光時間（ＦｌａｓｈＤｕｒａｔｉｏｎ）を算出する。

一般的なストロボではキセノン管が使われる。キセノン管の発光特性は、電流制御することで発光時間を制御するが、電流ストップしても残光が生じている。そのためＳ４０９ではストロボの電流制御時間と予想される残光時間も含めてストロボ発光時間とする。例えば、ストロボ発光時間を１２００μＳｅｃ，残光時間を２００μＳｅｃとすると、ストロボ発光時間は１４００μＳｅｃとなる。Ｓ４０９ではＳ４０９で算出されたストロボ発光時間から、ストロボが同調可能となる最長のＴｖ（ＦｌａｓｈＭａｘＴｖ）を算出する。

もちろんストロボの発光・終了時間にも個体ばらつきが生じているのでその分もマージンとして有してもよい。Ｓ４１１ではストロボ発光時間とＳ４０３で決定した露出時間との比較を行う。本露光用のシャッター速度の方が低速の場合には、そのままＥＦの撮影条件処理を終了する。本露光用のシャッター速度の方が高速の場合には、Ｓ４１２で露出時間をＦｌａｓｈＭａｘＴｖ以下に設定し、式１および式２を満たすように撮影条件を再計算する。

この場合は露出時間が短くなるため絞り値が小さくなるように動作するため、Ｓ４１３で絞り値の再設定がなされる。Ｓ４１４絞りが変更になった分だけストロボの発光量を式（１０）に従って再設定する。この場合絞りが開放側にシフトするためストロボの発光量は少なめに制御させることになるため、Ｓ４１２で設定したＴｖ値よりもストロボ発光時間が長くなることはない。そのうえでＳ４０９に戻り、露出条件を再設定することになる。

前述したとおり、撮影時には、プリ発光前の被写体輝度とプリ発光時の被写体輝度を算出し、その差分からストロボ発光による明るくなった度合いを計算し、その値をもとに被写体輝度が適正レベルとなるような段数差分を算出する。その段数差分をプリ発光の発光量からの発光テーブルを参照することでストロボ発光量を算出することができる。

Ｓ４０３で、プリ発光時の色温度は外光色温度と近い色温度であることが望ましいとした理由としては、本発光時の色温度とプリ発光時の色温度が同じであるほうが、本露光時の発光量の計算をより正確に行うことができるためである。その計算を行う際には、図１４で示した発光テーブルを色温度毎に算出しておくことで、色温度が変わっても本撮影時の発光量を算出することができる。もちろん、色温度毎の発光テーブルが、撮影時の色温度と異なる場合には、撮影時の色温度を含むテーブル間で線形補間等をして算出を行ってもよいし、より近い色温度の発光テーブルで代用してもよい。

以下、Ｓ３０２の露出値およびストロボの発光量および発光色温度を決定方法の詳細について説明を行う。ここではストロボの発光量とストロボの色温度との関係からストロボの色温度および発光量を決定する。

図１７はストロボの発光量と色温度を決定する処理ブロックを表したブロック図である。Ｓ５０１では前述した露出条件やストロボ発光判定などの撮影条件を決定する。Ｓ５０２では、ＤｅｌｔａＥＦと所定の色温度での発光テーブルでの最大のＤｅｌｔａＥＦ値であるＭａｘＤｅｌｔａＥＦ＿Ｔｅｍｐとの比較を行う。

ＤｅｌｔａＥＦとＭａｘＤｅｌｔａＥＦ＿Ｔｅｍｐとの差分が所定の閾値以下の場合には、設定された色温度およびＤｕｒａｔｉｏｎ値で発光を行う。一方、ＤｅｌｔａＥＦとＭａｘＤｅｌｔａＥＦ＿Ｔｅｍｐとの差分が所定の閾値以上にＤｅｌｔａＥＦの値が大きい場合には、Ｓ５０３の色温度可変処理を行う。

図１５は発光色温度と発光量との段差の一例を示したグラフである。プリ発光の発光色温度と本発光の発光色温度が異なる場合は、あらかじめ色温度毎にプリ発光で用いる発光量を算出しておき、その色温度毎の発光量の差分と前述した発光テーブルの差分を加算させることで発光量を決定できる。

同様にＭａｘＤｅｌｔａＥＦ＿Ｔｅｍｐにおいても色温度毎に最大発光量の差分をテーブル化しておいてよい。ただし色温度毎の発光量の差分はＬＥＤ前部にかけられている色フィルターの分光透過率の差異によって生じる明るさの差異であるため、最大発光量と通常発光領域での色温度での発光段数差分は同一になる。
ただし色フィルター毎のＬＥＤ数や電力値が異なる場合にはその限りでなく、前述したように色温度毎に最大発光量を算出しておく必要がある。

これら色温度毎の最大発光テーブルにより、色温度を可変させることによる明るさの変化を算出することができ、ＤｅｌｔａＥＦとＭａｘＤｅｌｔａＥＦ＿Ｔｅｍｐとの差分が所定の閾値に含まれ、なるべく外光の色温度に近くなるようなストロボの色温度が選択される。色温度を変えても所定の範囲に入らない場合には、最大発光量となる色温度が選択されることになる。

Ｓ５０４では、Ｓ５０３で色温度が可変された場合に、ストロボ発光時間が変化したか否かを判定する。ストロボ発光時間が延びた場合には、Ｓ５０５で、Ｓ５０１でＳ４０９−Ｓ４１４の再計算を行い、露出が再決定される。

一般的に、３原色の色を重ね合わせるタイプのＬＥＤ光源の場合、低色温度の光源は、赤色のフィルター部分のＬＥＤが主に発光し、昼白色程度の色温度光源のＬＥＤ光源では赤・緑・青のすべてのＬＥＤ光源を発光させることで色温度をコントロールされる。そのため、低色温度光源のほうが発光される光源数が少なくなり光量が下がる。もちろんその分の電流や電圧をかけることで光量を上げることも可能であるが、基本的には３色すべてのＬＥＤを均等に発光できる中色温度での発光が最大発光量になる。

つまり、ストロボの色温度毎に最大に発光可能な光量が異なり、そのため撮影できる発光色温度と所望の発光量との関係が異なる。そのような場合、発光量の未達量に応じて発光色温度が可変されることで発光量不足を補うことになる。

また、ストロボの発光可能な時間、つまりシャッター速度にも依存させてもよい。図１４からもわかるように、シャッター速度が十分に長い場合には、ストロボの発光量を上げるために発光時間を延ばすことも可能であるが、シャッター速度が短い場合にはストロボ照射時間も制限されるため、十分な発光量を得ることができない。そのような場合には、短時間のうちに大光量を得ることができる中色温度の発光時間にすることで所望の光量を得ることができるが、外光の色温度と異なってしまうことがある。

次に被写体追尾方法について説明を行う。被写体の相関性および動きベクトルを検出する方法は多数提案されており、ここではもっとも単純な方法について説明を行う。

図１８は、画像相関を算出するフローチャートである。Ｓ２０１で、相関をとる元となる画像データを取得する。Ｓ２０２で、画像相関をとる対象フレーム画像を取得する。Ｓ２０３で、対象フレームの画像領域を垂直、水平、斜め方向に位置をシフトさせる。ここで位置をずらす量は、ベクトル移動量検出範囲まで動かす。もちろん広範囲を見るためには比較対象が増えることで、検出に時間がかかり、対象領域を狭くすると検出能力が下がることは言うまでもない。

Ｓ２０４では、前記画素ずらしを行った画像と基準フレームとの画像差分を算出する。Ｓ２０５では、Ｓ２０４での画像差分の絶対値の積分値を取得する。もちろん画像差分の積分値の絶対値が少ないほど画像相関性が高いことは言うまでもない。Ｓ２０６では前記相関値が高い場合には、相関値および画素をずらした量を保存する。Ｓ２０８では、画素ずらしを全方位で終了したか判断を行い、終了していない場合には、Ｓ２０３に戻る。全方位算出されていた場合には、Ｓ２０９にてもっとも相関性が高かった方位および相関値を算出する。

このような手法により動きベクトルの算出をおこない、これらを複数の画像領域ごとに実施し、その動きベクトル量の積分値を算出することで被写体の動きの検出が可能である。
動きベクトルを算出する方法は様々あり、本手法を限定されるものではない。たとえば、人物や主要被写体の検出を行い、その検出位置座標の差分などにより動き判別をしてもよい。これらの判別をＳＷ２撮影直前に行い、動き量の判別を行うことで、撮影時の動き量の推測を行うことが可能である。

動き判別において、動きベクトルの検出する以外の方法について述べる。ＥＶＦを使った動き判別方法では、ＥＶＦ画像では静止していても、露光中の人物の揺れなどの被写体ブレや、撮影者による手ぶれを起こしていた場合において、そのぶれ領域において、実際の被写体のストロボ照射領域とＷＢ制御領域の微妙な領域の差分により、被写体と背景領域の境界部分にホワイトバランスの制御誤差が生じてしまい、色味の縁取が発生してしまう。

それらを回避する手法として、本露光とＥＶＦの画像間での動き判別方法について詳細に説明を行う。
１．ＳＷ２直前のＥＶＦ画像からにブロック毎に色の評価値ＣｘＣｙ値を取得する。
２．ストロボ発光画像とストロボ非発光画像から露光量換算し、ブロック毎にストロボ照射量を算出する。
３．色味の変化度合を、ストロボ非発光時のホワイトバランス係数とストロボ発光時のホワイトバランス係数の差分から光量比に応じて算出する。
４．２のストロボ照射量に応じて領域毎にストロボと外光の光量比を算出し、３で算出した色味の変化度合から、ストロボ非発光画像の色評価値に加算することで、ストロボ発光画像の色推定評価値を算出する。
本露光画像の色評価値の取得を行う。
６．４と５の比較結果であらかじめ定められた所定の閾値以下の場合には、その領域が動いていないと判断し、所定の閾値以上の場合には、その領域が動いている領域として判断する。
７．６の結果から動いていたとする領域のブロック数をカウントして所定のブロック数以上の場合に動きシーンとして判断する。

上記例は動きブロック数で動き判別を行ったが、色温度の変化度合を表す本露光時の色推定値と色評価値との差分の大きさに応じて決定してもよいし、それらの組み合わせによって決定してもよい。このようにすることで、ストロボ発光画像とストロボ非発光画像との間で動き判別を行うことができる。

（他の実施形態）
本発明は、複数の機器（例えばホストコンピュータ、インターフェイス機器、カメラヘッドなど）から構成されるシステムを適用しても、一つの機器からなる装置（例えば、デジタルスチルカメラ、デジタルビデオカメラなど）に適用してもよい。

また、本発明の目的は、以下のようにして達成することも可能である。まず、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行する。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、以下のようにして達成することも可能である。即ち、読み出したプログラムコードの指示に基づき、コンピュータ上で稼動しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合である。

ここでプログラムコードを記憶する記録媒体としては、例えば、フレキシブルディスク、ハードディスク、ＲＯＭ、ＲＡＭ、磁気テープ、不揮発性のメモリカード、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ、光ディスク、光磁気ディスク、ＭＯなどが考えられる。また、ＬＡＮ（ローカル・エリア・ネットワーク）やＷＡＮ（ワイド・エリア・ネットワーク）などのコンピュータネットワークを、プログラムコードを供給するために用いることができる。

１００ 本露光画像、１０１ リサイズ処理、１０２ ＥＶＦ画像、
１０３ 露光量演算処理、１０４ 領域毎ストロボ発光量演算処理、
１０５ 画像合成比率決定処理、１０６ リサイズ処理、
１０７ 外光ＷＢ係数算出処理、１０９ ＷＢ処理、１１０ 発光量情報、
１１１ ストロボＷＢ係数算出処理、１１３ 現像処理、１１４ 画像合成処理、
２０１ ＷＢ係数合成処理、３０１ ＣＣＤ撮像素子、３０２ メモリ、
３０３ ＷＢ回路、３０４ 色変換ＭＴＸ回路、３０５ ＬＰＦ回路、
３０６ ＣＳＵＰ回路、３０７ ＲＧＢ変換回路、３０８ ガンマ補正回路、
３０９ 色輝度変換回路、３１０ 圧縮回路、３１１ Ｙ生成回路、
３１２ エッジ強調回路、３１３ 鏡筒制御回路、３１４ ＣＰＵ、
３１５ 鏡筒装置、３１６ ストロボ発光装置

Claims (10)

1. 撮像装置であって、
   色温度を可変させて発光可能なストロボ制御手段と、
   前記ストロボ制御手段の発光した色温度に相当する制御情報から、ストロボ用のホワイトバランス制御値の算出を行う、第１のホワイトバランス制御値算出手段と、
   周囲の色温度を検出することにより、外光用のホワイトバランス制御値の算出を行う、第２のホワイトバランス制御値算出手段と、
   画像データを複数のブロックに分割する画像分割手段と
   前記ストロボ制御手段によるストロボの照射量を画像の領域毎に判定するストロボ照射量判定手段と、
   前記画像領域毎のストロボ照射量に応じて、前記第１のホワイトバランス制御値算出手段と前記第２のホワイトバランス制御値算出手段の結果から、画像領域毎に第３のホワイトバランス制御値の算出を行う第３のホワイトバランス制御値算出手段と、
   を有し、
   前記第３のホワイトバランス制御値を用いて画像生成することを特徴とする撮像装置。
2. 外光用のホワイトバランス制御値とストロボ用ホワイトバランス制御値とを比較して、ホワイトバランス制御値の差分が所定の範囲にある場合には、画像領域毎にホワイトバランス制御を行い、前記差分が所定の範囲内にある場合には、画面内で共通のホワイトバランス処理を行うことを特徴とする請求項１に記載の撮像装置。
3. 前記画面内で共通のホワイトバランス処理を行う場合、外光用のホワイトバランス制御値またはストロボ用のホワイトバランス制御値のどちらか、またはそれらから求まる１つのホワイトバランス制御値を用いてホワイトバランス補正処理を行うことを特徴とする請求項２に記載の撮像装置。
4. 前記ホワイトバランス制御値の差分が所定の範囲とは、ホワイトバランス制御値が、画像領域毎に求まる色評価値の色評価領域毎に定められることを特徴とする請求項２又は請求項３に記載の撮像装置。
5. 撮像装置であって、
   色温度を可変させて発光可能なストロボ制御手段と
   前記ストロボ制御手段の発光した色温度に相当する制御情報から、ストロボ用のホワイトバランス制御を行う、第１のホワイトバランス制御値算出手段と、
   前記第１のホワイトバランス制御値を用いて画像生成する第１の画像生成手段と
   周囲の色温度を推定することにより、外光用のホワイト制御を行い、第２のホワイトバランス制御値算出し画像生成する第２の画像生成手段と、
   前記ストロボ制御手段によるストロボの照射量を画像の領域毎に判定するストロボ照射量判定手段と、
   前記画像領域毎のストロボ照射量に応じて、前記第１の画像生成手段と前記第２の画像生成手段によって生成された画像から、画像領域毎に前記第１と第２の画像を合成する画像合成手段と、
   を有することを特徴とする撮像装置。
6. 外光用のホワイトバランス制御値とストロボ用ホワイトバランス制御値とを比較して、ホワイトバランス制御値の差分が所定の範囲に範囲内に含まれない場合には、画像領域毎に合成比率を決定して画像合成を行い、
   前記差分が所定の範囲内ある場合には、外光用のホワイトバランス制御またはストロボ用ホワイトバランスの制御値のどちらか一方の制御値を用いて、またはその両方から算出される合成比率に基づき画像合成をおこなうことで、画像生成を行うことを特徴とする請求項５に記載の撮像装置。
7. 前記ホワイトバランス制御値の差分が所定の範囲は、ホワイトバランス制御値が、画像領域毎に求まる色評価値の色評価領域毎に定められることを特徴とする請求項５又は請求項６に記載の撮像装置。
8. 前記第３のホワイトバランス制御値算出手段は、被写体が動いている被写体であるかを判定する動き判定手段の判定結果に応じて前記画像領域毎のホワイトバランス制御および合成処理の合成比率を決定することを特徴とする請求項１乃至請求項７の何れか一項に記載の撮像装置。
9. 前記動き判定手段は、静止画撮影指示の直前の複数の画像を用いて動き判定処理を行うことを特徴とする請求項８に記載の撮像装置。
10. 前記動き判定手段は、前記静止画撮影指示直前の画像と、静止画撮影画像を用いて、画像領域毎にストロボ照射量を判定するとともに、前記前記ストロボ照射量の判定結果よりストロボ発光画像の色味を推定するともに、静止画撮影画像と比較して、推定値から所定の範囲にある場合には、静止領域と判断し、所定の範囲外の場合には動き領域と判断し、その領域毎の動き判断結果より、動き判断を行うことを特徴とする請求項８に記載の撮像装置。