JP2007228201A - 撮像装置およびその制御方法 - Google Patents

Abstract

【目的】顔の画像部分が適正な明るさとなるようにする。
【構成】被写体を撮像することにより，被写体像Ｉ１が得られる。被写体像Ｉ１において顔検出処理が行われ，顔画像部分であるとされる領域Ｆ１が見つかる。被写体像Ｉ１が規格化された画像ｉ１にその領域Ｆ１に対応する領域ｆ１が設定される。設定された領域ｆ１から露出制御に用いられるＡＥ領域AE１が規定される。規定されたＡＥ領域AE１内の画像を表す画像データにもとづいて明るさが算出され，露出制御が行われる。顔画像の背景に植物の画像27などがあった場合でも比較的正確に顔画像部分の明るさが算出され，適正な明るさをもつ被写体像が得られる。
【選択図】図２

Description

この発明は，撮像装置およびその制御方法に関する。

露光量を算出するために多数の測光素子を有する測光センサを用いて測光するもの（特許文献１），被写体像の中から人物の顔の画像部分を検出し，その顔の画像部分が適正な明るさとなるような露光を行うもの（特許文献２），被写体像の中から人物等の位置を検出し，人物等に合わせてＡＥ制御（自動露光制御）を行うもの（特許文献３）などがある。
特開平5-66458号公報 特開2003-107555号公報 特開2005-160122号公報

しかしながら，顔，人物が存在する部分として検出された部分そのものが適正な明るさとなるように制御しているから，検出された部分に背景などが含まれている場合のように，検出された部分が正確に顔，人物の部分を規定していない場合には，正確なＡＥ制御を行うことができない。また，背景を考慮して，特定の対象画像部分のＡＥ制御を行う方が被写体像全体として見栄えが良いことがある。

この発明は，対象画像部分がより適正な明るさとなるようにすることを目的とする。また，この発明は，被写体像全体として見栄えが良くなるようにすることを目的とする。

第１の発明による撮像装置は，被写体を撮像し，被写体像を表す画像データを出力する固体電子撮像素子，上記固体電子撮像素子の露光量を調整する露出制御装置，上記固体電子撮像素子から出力される画像データによって表される被写体像の中から所定の対象画像部分を検出する対象画像部分検出手段，上記対象画像部分検出手段によって検出された対象画像部分にもとづいて，上記対象画像部分の明るさを求めるＡＥ対象領域を決定するＡＥ対象領域決定手段，上記ＡＥ対象領域決定手段によって決定されたＡＥ対象領域内の画像を表す画像データにもとづいて上記固体電子撮像素子の露光量を決定する露光量決定手段，および上記露光量決定手段によって決定された露光量となるように上記露出制御装置を制御する制御手段を備えていることを特徴とする。

第１の発明は，上記撮像装置に適した制御方法も提供している。すなわち，被写体を撮像し，被写体像を表す画像データを出力する固体電子撮像素子，および上記固体電子撮像素子の露光量を調整する露出制御装置を備えた撮像装置の制御方法において，上記固体電子撮像素子から出力される画像データによって表される被写体像の中から所定の対象画像部分を検出し，検出された対象画像部分にもとづいて，上記対象画像部分の明るさを求めるＡＥ対象領域を決定し，決定されたＡＥ対象領域内の画像を表す画像データにもとづいて上記固体電子撮像素子の露光量を決定し，決定された露光量となるように上記露出制御装置を制御するものである。

第１の発明によると，上記固体電子撮像素子から出力される画像データによって表される被写体像の中から所定の対象画像部分（顔の画像部分，人物の画像部分，目の画像部分など）が検出される。検出された対象画像部分にもとづいて，この対象画像部分の明るさを求めるためのＡＥ対象領域が決定される。決定されたＡＥ対象領域内の画像を表す画像データにもとづいて上記固体電子撮像素子の露光量が決定される。検出された対象画像部分そのものではなく，その対象画像部分にもとづいてＡＥ対象領域が決定され，決定されたＡＥ対象領域内の画像が適正な明るさとなるように制御される。検出された対象画像部分が背景などを含んで正確に対象画像部分を規定していない場合であっても実際の対象画像部分を適正な明るさとできる。また，検出された対象画像部分が小さすぎて露出制御をできない場合であっても，ＡＥ対象領域をその検出された対象画像部分より広げることにより，露出制御を実行できるようになる。

上記ＡＥ対象領域決定手段は，たとえば，上記ＡＥ対象領域が上記画像部分内部となるように上記ＡＥ対象領域を決定するものである。

また，上記ＡＥ対象領域決定手段は，上記対象画像部分の傾きおよび向きの少なくとも一方にもとづいて上記ＡＥ対象領域を決定するものでもよい。

上記ＡＥ対象領域決定手段において決定される上記ＡＥ対象領域の取り得る範囲は，上記対象画像部分にもとづいてあらかじめ定められていてもよい。

上記被写体像に複数の上記対象画像部分が含まれている場合には，優先度の高い上記対象画像部分にもとづいて上記ＡＥ対象領域を決定することができる。

上記優先度は，対象画像部分の大きさ，対象画像部分らしさ，位置，明るさ，傾きおよび向きの少なくとも一つに依存するものでもよい。

また，上記複数の対象画像部分の明るさが上記被写体像の明るさを示す代表値以上の場合には，対象画像部分の暗い順に優先度が高くなり，上記複数の対象画像部分の明るさが上記被写体像の明るさを示す代表値未満の場合には，対象画像部分の明るい順に優先度が高くしてもよい。

上記被写体像に複数の上記対象画像部分が含まれている場合には，複数の上記対象画像部分の明るさの重み付け平均にもとづいて露光量を決定できる。

上記対象画像部分の大きさ，対象画像部分らしさ，位置，明るさ，傾きおよび向きの少なくとも一つを用いて上記重み付け係数を決定して上記重み付け平均を行うことができる。

上記露出量決定手段によって決定された露出量にもとづいて得られる露出量が所定値以下の場合にフラッシュ発光するフラッシュ発光装置をさらに備えてもよい。

上記ＡＥ対象領域決定手段によって決定されたＡＥ対象領域を，上記被写体像のサイズと異なるサイズをもち，かつ上記被写体像に対応するＡＥ画像上の領域に変換する領域変換手段をさらに備えてもよい。この場合，上記露光量決定手段は，たとえば，上記領域変換手段によって変換された領域内の画像を表す画像データにもとづいて上記固体電子撮像素子の露光量を決定するものとなる。

第２の発明による撮像装置は，被写体を撮像し，被写体像を表す画像データを出力する固体電子撮像素子，上記固体電子撮像素子から出力された画像データによって表される上記被写体像に含まれる所定の対象画像部分と上記被写体像とにもとづいて，露光量を算出する露光量算出手段，および上記露光量算出手段によって算出された露光量となるように上記固体電子撮像素子の露光量を調整する露光量制御装置を備えていることを特徴とする。

第２の発明は，上記撮像装置に適した制御方法も提供している。すなわち，固体電子撮像素子を用いて，被写体を撮像し，被写体像を表す画像データを得，上記固体電子撮像素子から出力された画像データによって表される上記被写体像に含まれる所定の対象画像部分と上記被写体像とにもとづいて，露光量を算出し，算出された露光量となるように上記固体電子撮像素子の露光量を調整するものである。

第２の発明によると，撮像によって得られる被写体像と，その被写体像に含まれる所定の対象画像部分とにもとづいて露光量が算出される。算出された露光量となるように固体電子撮像素子の露光量が調整される。対象画像部分のみまたは被写体像全体のみにもとづいて露光量を決定するのではなく，対象画像部分と被写体像全体とを考慮して露光量を決定しているので，対象画像部分も被写体像全体のいずれも見栄えの良い明るさをもつ被写体像が得られる。

上記露光量算出手段は，たとえば，上記対象画像部分の位置，大きさ，個数，明るさ，および対象画像部分らしさのうちの少なくとも一つと上記被写体像とにもとづいて露光量を算出するものである。

上記露光量算出手段は，上記被写体像の全体の特徴量を表す明るさ代表値，上記被写体像全体を分割測光して得られる分割測光値，上記被写体像全体のヒストグラム，上記被写体像の分割測光値の最大値または最大値近傍の値，および上記被写体像の分割測光値の最小値または最小値近傍の値の少なくとも一つと上記対象画像部分とにもとづいて露光量を算出するものでもよい。

また，上記露光量算出手段は，上記被写体像を複数の領域に分割した場合に上記対象画像部分がすべて含まれる分割領域内の画像または上記対象画像部分に含まれる分割領域の画像と上記被写体像とにもとづいて露光量を算出するものでもよい。

上記露光量算出手段は，上記対象画像の明るさと上記被写体像の明るさとの差が所定の範囲内となるように露光量を算出するものでもよい。

上記所定範囲は，一定の範囲，ユーザによって指定される範囲またはシーンによって変化するものでもよい。

さらに，上記露光量算出手段は，上記被写体全体の明るさ分布に対する割合を示す指標において，上記被写体像の明るさの代表値に対応する値と，上記対象画像部分と上記被写体像とにもとづいて算出される露光量から得られる明るさに対応する値と，の差が所定範囲内となるように露光量を算出するものでもよい。ここで，被写体全体の明るさ分布に対する割合を示す指標とは，例えば，累積頻度や，累積頻度を総数で割った値等のことを示す。

さらに，上記露光量算出手段は，上記被写体像に複数の上記対象画像部分が含まれている場合に優先度の高い上記対象画像部分にもとづいて上記露光量を算出するものでもよい。

上記優先度は，たとえば，対象画像部分の大きさ，対象画像部分らしさ，位置，明るさ，傾きおよび向きの少なくとも一つの依存するものである。

上記複数の対象画像部分の明るさが上記被写体像の明るさを示す代表値以上の場合には，対象画像部分の暗い順に優先度が高くなり，上記複数の対象画像部分の明るさが上記被写体像の明るさを示す代表値未満の場合には対象画像部分の明るい順に優先度が高くなることが好ましい。

さらに，上記露光量算出手段は，上記被写体像に複数の上記対象画像部分か含まれている場合に複数の上記対象画像部分の明るさの重み付け平均にもとづいて上記露光量を算出するものでもよい。

上記対象画像部分の大きさ，対象画像らしさ，位置，明るさ，傾きおよび向きの少なくとも一つを用いて重み付け係数を決定して上記重み付け平均を行うものでもよい。

上記露光量制御装置によって調整された露光量が所定値以下の場合にフラッシュ発光するフラッシュ発光装置をさらに備えてもよい。

上記対象画像部分の明るさと上記被写体像の明るさとの差が，第１の所定範囲外である場合にフラッシュ発光するフラッシュ発光装置をさらに備えてもよい。

また，上記対象画像部分の明るさと上記露光量算出手段によって算出された露光量が示す明るさとの差が，第２の所定範囲外である場合にフラッシュ発光するフラッシュ発光装置をさらに備えるようにしてもよい。

被写体までの距離を算出する距離算出手段をさらに備えてもよい。この場合には，上記フラッシュ発光装置は，フラッシュ到達距離が上記距離算出手段によって算出された距離以上である場合にフラッシュ発光するようにしてもよい。

上記固体電子撮像素子の前方に被写体像を結像する撮像レンズが設けられている場合には，上記距離算出手段上記対象画像部分の情報と上記撮像レンズの焦点距離の情報から算出することができる。

上記距離算出手段は，測距センサから得られる情報にもとづいて被写体までの距離を算出するものでもよい。

第３の発明による撮像装置は，被写体を撮像し，被写体像を表す画像データを出力する固体電子撮像素子，上記固体電子撮像素子から出力される画像データによって表される被写体像に含まれる対象画像部分に近いほど重み付けが大きくなるように上記被写体像の各部分における重み付け係数を決定する重み付け係数決定手段，上記重み付け係数決定手段により決定された重み付け係数と上記被写体像の各部分の明るさとを用いて上記対象画像部分の明るさを算出する算出手段，および上記算出手段により算出された明るさにもとづいて，上記固体電子撮像素子の露光量を制御する露光量制御装置を備えていることを特徴とする。

第３の発明は，上記撮像装置に適した制御方法も提供している。すなわち，固体電子撮像素子を用いて，被写体を撮像し，被写体像を表す画像データを得，得られた画像データによって表される被写体像に含まれる対象画像部分に近いほど重み付けが大きくなるように上記被写体像の各部分における重み付け係数を決定し，決定された重み付け係数と上記被写体像の各部分の明るさとを用いて上記対象画像部分の明るさを算出し，算出された明るさにもとづいて，上記固体電子撮像素子の露光量を制御するものである。

第３の発明によると，被写体像のうち被写体像に含まれる対象画像部分に近いほど重み付けが大きくなるように，被写体像の各部分における重み付け係数が決定される。決定された重み付け係数と被写体像の各部分の明るさとを用いて対象画像部分の明るさが算出され，算出された明るさにもとづいて固体電子撮像素子の露光量が制御される。対象画像部分に近いほど重要な部分と考えられ，その重要な部分が比較的適正な明るさとなるように露光量を制御することができる。

上記露光量制御装置は，たとえば，上記対象画像部分と，上記被写体像が複数の領域に分割された場合における分割領域のそれぞれの測光値または上記測光値にもとづいて得られる上記被写体像の明るさの代表値とにもとづいて露光量を算出するものである。

図１は，この発明の実施例を示すもので，ディジタル・スチル・カメラの電気的構成を示すブロック図である。

ディジタル・スチル・カメラの全体の動作は，制御回路５によって統括される。制御回路５には，ＣＰＵ３，ＲＯＭ４およびＲＡＭ５が含まれており，互いにバス接続されている。ディジタル・スチル・カメラには，二段ストローク・タイプのシャッタ・レリーズ・ボタン，電源ボタン，モード設定ダイアル，メニュー・ボタン，決定ボタン，上下左右の矢印が押下可能に形成されているいわゆる十字ボタンなどの操作ボタン類１が設けられている。この操作ボタン類１からの出力信号は，制御回路５に与えられる。また露光量が一定以下のときにフラッシュ発光する装置24も制御回路５に接続されている。

撮像モードが設定されると，レンズ駆動回路12によって位置決めされる撮像レンズ11によって被写体像を表す光線束が集光される。被写体像を表す光線束は，絞り駆動回路14によって絞り値が制御される絞り13を介して，ＣＣＤのような撮像素子15の受光面上に入射する。撮像素子制御回路16によって撮像素子15が制御されることにより，撮像素子から被写体像を表すアナログ映像信号が出力される。

映像信号は，アナログ信号処理回路17において，相関二重サンプリング，白バランス補正などの所定のアナログ信号処理が行われる。アナログ信号処理回路17から出力された映像信号は，アナログ／ディジタル変換回路18においてディジタル画像データに変換される。変換されたディジタル画像データは，制御回路５およびディジタル信号処理回路19に入力する。ディジタル信号処理回路19において，ガンマ補正などの所定のディジタル信号処理が行われる。

ディジタル信号処理回路19から出力された画像データは，メモリ21を介して表示装置23にも与えられる。表示装置23の表示画面上に撮像により得られた被写体像が表示される。

この実施例によるディジタル・スチル・カメラにおいては，被写体像の中から顔の画像部分を検出することができる。このために，ディジタル・スチル・カメラには，顔検出回路20が設けられており，ディジタル信号処理回路19から出力された画像データは，顔検出回路20に入力する。顔検出回路20において，顔の画像部分の位置等の検出結果が得られる。検出結果を示すデータは，制御回路５に入力する。

制御回路５には，上述したように，被写体像全体を表す画像データおよび顔検出結果を示すデータが入力する。顔検出結果を示すデータに基づいて，被写体像全体を表す画像データのうち，顔の画像部分を表すデータが抽出される。

シャッタ・レリーズ・ボタンの第一段階の押下があると，抽出された顔の画像部分を表すデータと被写体像全体を表すデータとを用いて，撮像素子15の露光量が適正となるように（被写体像が適正な明るさとなるように）撮像素子15および絞り13が制御回路５によって制御される。このような露出制御について詳しくは後述する。

シャッタ・レリーズ・ボタンの第二段階の押下があると，上述のようにしてディジタル信号処理回路19から出力された画像データは，メモリ21に与えられ，一時的に記憶される。画像データは，メモリ21から読み出され，メモリ・カード22に与えられることにより，メモリ・カード22に記録される。

図２（Ａ）は被写体像の一例であり，（Ｂ）は顔検出規格化画像の一例である。

（Ａ）を参照して，被写体像Ｉ１には，人物像25および樹木の画像27が含まれている。被写体像Ｉ１について顔検出処理が行われることにより，被写体像Ｉ１のうち，領域Ｆ１で囲まれた部分が顔の画像部分であるとして検出される。領域Ｆ１内には実際の顔に相当する画像部分26だけでなく，被写体である人物の後ろに存在する樹木の画像27も入り込んでいる。このために，領域Ｆ１は，顔の画像部分26のみを厳密に規定していない。領域Ｆ１内の画像が適正な明るさとなるように露出制御が行われると，不正確となることがある。この実施例においては，比較的正確な露出制御が行われるように，領域Ｆ１から露出制御に利用されるＡＥ領域（ＡＥ対象領域）が決定される。決定されたＡＥ領域内の画像が適正な明るさとなるように，露出制御が行われる。

（Ｂ）を参照して，顔検出規格化画像ｉ１は，被写体像Ｉ１が規格化されたものである。顔検出規格化画像ｉ１のデータ量が一定となるように（たとえば，１Ｍバイト），被写体像Ｉ１が規格化される。顔検出規格化画像ｉ１において，被写体像Ｉ１中に検出された領域Ｆ１に相当する領域ｆ１が規定される。この領域ｆ１が縮小されてＡＥ領域AE１が決定される。ＡＥ領域AE１の中心Ｃは，領域ｆ１の中心と一致しているが必ずしも一致していなくともよい。ＡＥ領域AE１は，領域ｆ１よりも縮小されているので，ＡＥ領域AE１内の画像にもとづいて露出制御が行われることにより，上述したように樹木の画像27の影響が排除され，顔の画像部分が適正な明るさとなることは理解できよう。

図３は，顔検出結果情報の一例である。

顔検出処理により得られる顔検出結果情報には，検出された顔（顔画像部分）の数，各顔の位置，各顔の大きさ，各顔の検出スコア，各顔の向き，各顔の傾きなどがある。検出される顔の数には上限が定められており，決められた上限値までの数が顔の数として検出結果情報となる。各顔の位置は，顔検出規格化画像の座標系における各顔の中心座標によって示される。各顔の大きさは，顔画像部分であると検出された領域ｆ１の矩形の一辺の半分，すなわち，領域ｆ１の中心と領域ｆ１の辺までの距離によって表される。各顔の検出スコアは，顔検出処理において得られる顔らしさの指標を示すものである。各顔の向きは，図４（Ａ），（Ｂ）および（Ｃ）に示すように，左向きの画像部分であるか，正面向きの画像部分であるか，および右向きの画像部分であるかを示すものである。各顔の傾きは，図５（Ａ），（Ｂ），（Ｃ）および（Ｄ）に示すように，傾き０度（正立）の顔画像部分であるか，30度の傾きをもつ顔画像部分であるか，60度の傾きをもつ顔画像部分であるか，および90度の傾きをもつ顔画像部分であるかを示すように，顔画像部分の回転角度を示すものである，各顔の傾きは，たとえば，30度単位であるが，その単位以外の単位で表してもよい。

図６は，顔画像であるとして検出された領域と露出制御に利用されるＡＥ領域との関係を示している。わかりやすくするために，顔画像であるとして検出された領域に対応する顔画像部分も示されている。

向きが０度（正面向き），向きが90度（右向き）および向きが−90度（左向き）の場合において，傾きが０度，90度，180度および270度のとき（０度等とする）と，傾きが０度，90度，180度および270度以外（０度等以外とする）のときとに分けられて示されている。

顔画像部分31で示されるように，向きが０度であり，かつ傾きが０度等の場合には，検出された矩形である顔画像部分の領域ｆ31の一辺の半分の長さをａ，矩形であるＡＥ領域AE31の一辺の半分の長さをｂとすると，ｂ＝ｋ31×ａで表される。但し，ｋ31は０より大きい定数であり，１以下であっても１以上であってもよい。係数ｋ31は，顔検出処理において検出される領域ｆ31の大きさ（顔検出において用いられる顔検出枠の大きさ）に応じて適正な値に決定されるであろう。また，ＡＥ領域AE31の各頂点Ｐ１，Ｐ２，Ｐ３，およびＰ４の座標位置を（Ｐ１ｘ，Ｐ１ｙ），（Ｐ２ｘ，Ｐ２ｙ），（Ｐ３ｘ，Ｐ３ｙ），および（Ｐ４ｘ，Ｐ４ｙ），顔画像部分として検出された領域ｆ１の中心Ｃの座標位置を（Ｐ０ｘ，Ｐ０ｙ）とすると，Ｐ１ｘ＝Ｐ０ｘ−ｂ，Ｐ１ｙ＝Ｐ０ｙ−ｂ，Ｐ２ｘ＝Ｐ０ｘ＋ｂ，Ｐ２ｙ＝Ｐ０ｙ−ｂ，Ｐ３ｘ＝Ｐ０ｘ−ｂ，Ｐ３ｙ＝Ｐ０ｙ＋ｂ，Ｐ４ｘ＝Ｐ０ｘ＋ｂ，Ｐ４ｙ＝Ｐ０ｙ＋ｂとなる。

顔画像部分32で示されるように，向きが０度であり，かつ傾きが30度（−30度）の場合には，ｂ＝ｋ32×ａで表される（ｋ32は，定数）。ＡＥ領域AE32の各頂点Ｐ１，Ｐ２，Ｐ３，およびＰ４の座標位置を（Ｐ１ｘ，Ｐ１ｙ），（Ｐ２ｘ，Ｐ２ｙ），（Ｐ３ｘ，Ｐ３ｙ），および（Ｐ４ｘ，Ｐ４ｙ），ＡＥ領域ＡＥ32の一辺の半分の長さｃ，顔画像部分として検出された領域ｆ32の中心Ｃの座標位置を（Ｐ０ｘ，Ｐ０ｙ）とすると，Ｐ１ｘ＝Ｐ０ｘ−ｃ，Ｐ１ｙ＝Ｐ０ｙ−ｃ，Ｐ２ｘ＝Ｐ０ｘ＋ｃ，Ｐ２ｙ＝Ｐ０ｙ−ｃ，Ｐ３ｘ＝Ｐ０ｘ−ｃ，Ｐ３ｙ＝Ｐ０ｙ＋ｃ，Ｐ４ｘ＝Ｐ０ｘ＋ｃ，Ｐ４ｙ＝Ｐ０ｙ＋ｃとなる。

顔画像部分33で示されるように，向きが90度（０度以上の向き）であり，かつ傾きが０度の場合には，顔画像部分であるとして検出された領域ｆ33は五角形となる。顔の画像部分の中心Ｃから図６において上辺までの距離をａとし，顔の画像部分の中心からＡＥ領域AE33の上辺または下辺および左辺までの距離をｄ，顔の画像部分の中心からＡＥ領域AE33の右辺までの距離をｅとすると，ｄ＝ｋ33A×ａ，ｅ＝ｋ33B×ａで表される（但し，ｋ33A，ｋ33Bは，定数）。ＡＥ領域AE33の各頂点Ｐ１，Ｐ２，Ｐ３，およびＰ４の座標位置を（Ｐ１ｘ，Ｐ１ｙ），（Ｐ２ｘ，Ｐ２ｙ），（Ｐ３ｘ，Ｐ３ｙ），および（Ｐ４ｘ，Ｐ４ｙ），顔画像部分として検出された領域ｆ１の中心Ｃの座標位置を（Ｐ０ｘ，Ｐ０ｙ）とすると，Ｐ１ｘ＝Ｐ０ｘ−ｄ，Ｐ１ｙ＝Ｐ０ｙ−ｄ，Ｐ２ｘ＝Ｐ０ｘ＋ｅ，Ｐ２ｙ＝Ｐ０ｙ−ｄ，Ｐ３ｘ＝Ｐ０ｘ−ｄ，Ｐ３ｙ＝Ｐ０ｙ＋ｄ，Ｐ４ｘ＝Ｐ０ｘ＋ｅ，Ｐ４ｙ＝Ｐ０ｙ＋ｄとなる。この場合，顔画像部分は，横顔を表しているので，ＡＥ領域A33に背景画像が入らないように，ＡＥ領域AE33は左側にずれており，ＡＥ領域A33の中心と顔画像部分の中心Ｃとは一致しない。もっとも一致させるようにしてもよいのはいうまでもない。

顔画像部分34で示されるように，向きが90度であり，かつ傾きが30度（−30度）の場合も顔画像部分であるとして検出された領域ｆ34は五角形となる。顔の画像部分の中心Ｃから領域ｆ34の長辺（二辺の短辺以外の辺）までの距離をａ，ＡＥ領域AE34を矩形とした場合の一辺の半分をｆとすると，ｆ＝ｋ34ｃ×ａとなる（ｋ34は定数）。ＡＥ領域AE32の各頂点Ｐ１，Ｐ２，Ｐ３，およびＰ４の座標位置を（Ｐ１ｘ，Ｐ１ｙ），（Ｐ２ｘ，Ｐ２ｙ），（Ｐ３ｘ，Ｐ３ｙ），および（Ｐ４ｘ，Ｐ４ｙ），顔画像部分として検出された領域ｆ１の中心Ｃの座標位置を（Ｐ０ｘ，Ｐ０ｙ）とすると，Ｐ１ｘ＝Ｐ０ｘ−ｆ，Ｐ１ｙ＝Ｐ０ｙ−ｆ，Ｐ２ｘ＝Ｐ０ｘ＋ｆ，Ｐ２ｙ＝Ｐ０ｙ−ｆ，Ｐ３ｘ＝Ｐ０ｘ−ｆ，Ｐ３ｙ＝Ｐ０ｙ＋ｆ，Ｐ４ｘ＝Ｐ０ｘ＋ｆ，Ｐ４ｙ＝Ｐ０ｙ＋ｆとなる。図６においては，ＡＥ領域AE34は，矩形でありそれらの辺の方向が水平方向または垂直方向となっているが，領域ｆ34に対応させて傾けてもよい。

顔画像部分35で示されるように，向きが90度（０度以上の向き）であり，かつ傾きが０度の場合には，顔画像部分であるとして検出された領域ｆ35は五角形となる。顔の画像部分の中心Ｃから図６において上辺までの距離をａとし，顔の画像部分の中心からＡＥ領域AE35の上辺または下辺および右辺までの距離をｄ，顔の画像部分の中心からＡＥ領域AE35の左辺までの距離をｅとすると，ｄ＝ｋ35A×ａ，ｅ＝ｋ35B×ａで表される（但し，ｋ33A，ｋ33Bは，定数）。ＡＥ領域AE35の各頂点Ｐ１，Ｐ２，Ｐ３，およびＰ４の座標位置を（Ｐ１ｘ，Ｐ１ｙ），（Ｐ２ｘ，Ｐ２ｙ），（Ｐ３ｘ，Ｐ３ｙ），および（Ｐ４ｘ，Ｐ４ｙ），顔画像部分として検出された領域ｆ１の中心Ｃの座標位置を（Ｐ０ｘ，Ｐ０ｙ）とすると，Ｐ１ｘ＝Ｐ０ｘ−ｅ，Ｐ１ｙ＝Ｐ０ｙ−ｄ，Ｐ２ｘ＝Ｐ０ｘ＋ｄ，Ｐ２ｙ＝Ｐ０ｙ−ｄ，Ｐ３ｘ＝Ｐ０ｘ−ｅ，Ｐ３ｙ＝Ｐ０ｙ＋ｄ，Ｐ４ｘ＝Ｐ０ｘ＋ｄ，Ｐ４ｙ＝Ｐ０ｙ＋ｄとなる。この場合，顔画像部分は，横顔を表しているので，ＡＥ領域A35に背景画像が入らないように，ＡＥ領域AE35は右側にずれており，ＡＥ領域A35の中心と顔画像部分の中心Ｃとは一致しない。もっとも一致させるようにしてもよいのはいうまでもない。

顔画像部分36で示されるように，向きが−90度であり，かつ傾きが30度（−30度）の場合も顔画像部分であるとして検出された領域ｆ36は五角形となる。顔の画像部分の中心Ｃから領域ｆ36の長辺（二辺の短辺以外の辺）までの距離をａ，ＡＥ領域AE36を矩形とした場合の一辺の半分をｆとすると，ｆ＝ｋ36ｃ×ａとなる（ｋ36は定数）。ＡＥ領域AE36の各頂点Ｐ１，Ｐ２，Ｐ３，およびＰ４の座標位置を（Ｐ１ｘ，Ｐ１ｙ），（Ｐ２ｘ，Ｐ２ｙ），（Ｐ３ｘ，Ｐ３ｙ），および（Ｐ４ｘ，Ｐ４ｙ），顔画像部分として検出された領域ｆ１の中心Ｃの座標位置を（Ｐ０ｘ，Ｐ０ｙ）とすると，Ｐ１ｘ＝Ｐ０ｘ−ｆ，Ｐ１ｙ＝Ｐ０ｙ−ｆ，Ｐ２ｘ＝Ｐ０ｘ＋ｆ，Ｐ２ｙ＝Ｐ０ｙ−ｆ，Ｐ３ｘ＝Ｐ０ｘ−ｆ，Ｐ３ｙ＝Ｐ０ｙ＋ｆ，Ｐ４ｘ＝Ｐ０ｘ＋ｆ，Ｐ４ｙ＝Ｐ０ｙ＋ｆとなる。図６においては，ＡＥ領域AE36は，矩形でありそれらの辺の方向が水平方向または垂直方向となっているが，領域ｆ36に対応させて傾けてもよい。

以上のようにして，顔画像部分であるとして検出された領域ｆ31等から露出制御に用いられるＡＥ領域AE31等が決定される。顔画像部分が他の向きまたは傾きを持つ場合も同様にしてＡＥ領域が決定されることとなる。

図７は，ディジタル・スチル・カメラの処理手順を示すフローチャートである。

撮像モードに設定され，被写体が撮像されると，撮像により得られた被写体像の顔検出処理が行われる（ステップ41）。シャッタ・レリーズ・ボタンの第一段階の押下があると（ステップ42でＹＥＳ），顔検出処理により顔画像部分が検出されたかどうかが確認される（ステップ43）。顔画像部分が検出されていると（ステップ43でＹＥＳ），顔画像部分が考慮された自動露出制御（顔検出ＡＥ）が行われる（ステップ44）。この顔検出ＡＥについて詳しくは後述する。つづいて，顔画像部分が考慮された自動合焦制御（顔検出ＡＦ）が行われる（ステップ45）。顔画像部分が検出されていなければ（ステップ43でＮＯ），顔画像部分については考慮されない通常のＡＥおよびＡＦが行われる（ステップ53，54）。

シャッタ・レリーズ・ボタンの第二段階の押下がなく（ステップ46でＮＯ），シャッタ・レリーズ・ボタンの第一段階が依然として押されていれば（ステップ51でＹＥＳ），再び顔検出処理が行われる（ステップ52）。シャッタ・レリーズ・ボタンが第一段階の押下から開放されていれば（ステップ51でＮＯ），再びステップ41からの処理が繰り返される。

シャッタ・レリーズ・ボタンの第二段階の押下があると（ステップ46でＹＥＳ），本露光が行われる（ステップ47）。その後，本露光により得られた画像データにもとづいて再び顔画像部分の検出が行われ（ステップ48），検出された顔画像部分がきれいな画像となるように色補正その他の信号処理が行われる（ステップ49）。信号処理された画像データがメモリ・カードに記録されることとなる（ステップ50）。

図７においては，シャッタ・レリーズ・ボタンの第一段階の押下に応じて顔検出ＡＥの処理が行われているが，撮像モードが設定された場合にシャッタ・レリーズ・ボタンが押される前に撮像により得られる画像（いわゆるスルー画像）についても上述した顔検出ＡＥ処理を行うことができる。スルー画像について顔検出ＡＥ処理が行われる場合には，シャッタ・レリーズ・ボタンの押下前に顔検出ＡＥ処理が行われることとなろう。

図８は，顔検出ＡＥ処理（図７ステップ44の処理）手順を示すフローチャートである。

上述のようにして顔画像部分として検出された領域からＡＥ領域が設定される（ステップ61）。上述したように顔検出規格化画像上においてＡＥ領域が設定される。これに対して，自動露出制御では顔検出規格化画像の座標系とは異なる座標系をもつＡＥ画像を用いて行われる。このために，顔検出規格化画像上において設定されたＡＥ領域がＡＥ画像上に設定されるように座標変換処理が行われる（ステップ62）。この座標変換処理について詳しくは後述する。ＡＥ画像上に設定されたＡＥ領域内の画像を表す画像データにもとづいて顔の明るさが算出される（ステップ63）。

顔スポット測光が行われるように設定されていなければ（ステップ64でＮＯ），顔画像部分と被写体像全体とから自動露出制御が行われる。このために被写体像全体の明るさが算出される（ステップ65）。算出された被写体像全体の明るさとＡＥ領域内の画像（最終的に決定された顔画像部分）の明るさとにもとづいて露出制御が行われる（ステップ66）。

顔スポット測光が行われるように設定されていると（ステップ64でＹＥＳ），ＡＥ領域内の画像の明るさにもとづいて露出制御が行われる（ステップ67）。

図９は，ＡＥ画像上への座標変換処理（図８ステップ62の処理）を示すフローチャート，図10は，顔検出規格化画像上に設定されたＡＥ領域がＡＥ画像上に設定される様子を示している。

まず，顔検出規格化画像ｉ１上にＡＥ領域AE１が設定される（ステップ71：図８ステップ61）。そして，顔検出規格化画像ｉ１上におけるＡＥ領域AE１が共通座標系の画像（共通座標画像Ｉｃ）上に設定されるように座標変換処理が行われる（ステップ72）。共通座標画像Ｉ２上にＡＥ領域が設定されると，つづいてＡＥ画像ｉ２上にＡＥ領域AE２が設定されるように座標変換が行われる（ステップ73）。

図10を参照して，顔検出規格化画像ｉ１上にＡＥ領域AE１が設定される。顔規格化画像ｉ１は，共通座標画像Ｉｃでは，領域Ａ１の画像部分に相当するものとする。すると，顔検出規格化画像上の座標（ｘd，ｙd）は，共通座標画像上の座標（ｘc，ｙc）となる。ここで，ｘc＝（ｘd＋0.5）×ｗc_detect／ｗdetect−0.5＋ｏc_d_x，ｙc＝（ｙd＋0.5）×ｈc_detect／ｈdetect−0.5＋ｏc_d_yとなる。これらの式にしたがって，ＡＥ領域AE１が共通座標系に座標変換される。

共通座標系に座標変換されたＡＥ領域AE１は，ＡＥ座標系のＡＥ領域AE２に座標変換される。共通座標画像上の座標（ｘc，ｙc）は，ＡＥ画像ｉ２の座標（ｘAE，ｙAE）となる。ここで，ｘAE＝（ｘc−ｏc_AE_x＋0.5）×ｗAE／ｗc_AE−0.5，ｙAE＝（ｙc−ｏc_ AE _y＋0.5）×ｈAE／ｈc_AE−0.5となる。これらの式にしたがって，ＡＥ領域AE１がＡＥ画像ｉ２に設定されることとなる。

ただし，上記の式において，Wc_detectは，共通座標画像における領域Ａ１の横の長さ，Wdetectは顔規格化画像の横の長さ, hc_detectは,共通座標画像における領域Ａ１の縦の長さ，hdetectは,顔規格化画像の縦の長さ，Oc_d_xは,領域Ａ１の原点のｘ座標， Oc_d_yは,領域Ａ１の原点のｙ座標，Oc_AE _xは,領域Ａ２の原点のｘ座標，Oc_AE _yは,領域Ａ２の原点のｙ座標，wAEは,ＡＥ画像の横の長さ，hAEは,ＡＥ画像の縦の長さ，wc_ AEは,領域Ａ２の横の長さ，wc_AEは，領域Ａ２の縦の長さをそれぞれ示している。

顔規格化画像とＡＥ画像とが同じ座標系であれば，座標変換処理は不要なのはいうまでもない。

図11から図13は，他の実施例を示している。この実施例は，顔画像部分と被写体像全体とから露出を制御するものである。

上述のように，ＡＥ領域が設定され（ステップ81），ＡＥ画像上に座標変換が行われる（ステップ82）。顔画像部分（ＡＥ領域内の画像）の明るさが算出され（ステップ83），被写体像全体の明るさの代表値が算出される（ステップ84）。さらに，被写体像全体のヒストグラムが算出される（ステップ85）。このようにして得られた顔画像部分の明るさ，被写体像全体の明るさの代表値および被写体像全体のヒストグラムを用いて露出が決定される（ステップ86）。これらの明るさ等の算出方法については後述する。

もっとも，顔画像部分の明るさ，被写体像全体の明るさの代表値および被写体像全体のヒストグラムのすべてを用いずに，顔画像部分の明るさと被写体像全体の明るさの代表値または被写体像全体のヒストグラムとを用いて露出が決定されてもよい。

図12（Ａ）は被写体像（顔規格化画像）Ｉ11の一例，（Ｂ）はＡＥ領域AE12が設定された被写体像Ｉ12の一例，（Ｃ）は領域分割された被写体像Ｉ13の一例である。

（Ａ）に示すように，被写体像Ｉ11が得られると，（Ｂ）に示すように，上述のようにして，ＡＥ領域AE12が被写体像Ｉ12に設定される。さらに，（Ｃ）に示すように，被写体像Ｉ13が複数の領域ａｄに分割される。

上述したように，ＡＥ領域AE12内の画像（顔画像部分の明るさ）Evfaceと被写体像全体の代表値Evfullとから露出制御のための明るさEvtotalは，式１から求めることができる。ただし，wface，wfullは，重み付け係数である。

また，ＡＥ領域AE12内の画像（顔画像部分の明るさ）Evfaceと被写体像全体のヒストグラムとから露出制御のための明るさEvtotalを求める場合には，分割領域adの測光値をEvareaとすると，式２から求めることができる。

さらに，ＡＥ領域AE12内の画像（顔画像部分の明るさ）Evfaceと被写体像全体の代表値Evfullと被写体像全体のヒストグラムと顔検出結果情報（顔画像部分の個数，各顔の位置，大きさ，顔らしさ，傾き，向きなど）とから露出制御のための明るさEvtotalを求めることもできる。この場合には，式３から算出できる。

たとえば，顔画像部分の個数が少なく，かつ顔の大きさが大きい場合や顔らしさが高い場合には比較的明るくなるように露出が制御され，逆に顔画像部分の個数が多く，かつ顔の大きさが小さい場合や顔らしさが低い場合には比較的暗くなるように露出が制御されよう。

上述した式１における重み係数，式２および式３の関数は自由に設定できるが，あらかじめ学習されたものを利用することにより精度が向上する。

また，顔の画像部分の明るさEvfaceを直接取得できる場合には，その値を用いればよいが，直接取得できない場合には，式４から算出できる。

式４において，Evarea[i]は，図13（Ａ）から（Ｆ）の被写体像とＡＥ領域との関係においてハッチングで示す領域aa〜afに依存する。

（Ａ）から（Ｆ）において，いずれの被写体像ＩＡからＩＦにおいても領域が分割されている。

（Ａ）および（Ｂ）は，ＡＥ領域AEａおよびＡＥ領域AEｂ内部の分割領域および外接している分割領域aaおよびabの明るさ情報が用いられる。

（Ｃ）および（Ｄ）は，ＡＥ領域AEｃおよびＡＥ領域AEｄの中心が含まれる分割領域acおよびadの明るさ情報が用いられる。

（Ａ）から（Ｄ）において，ハッチングで示す分割領域aa〜adが上述したEvarea[i]のｉ＝１となり，その他の分割領域はｉ＝０となる。

（Ｅ）および（Ｆ）は，ＡＥ領域AEｅおよびＡＥ領域AEｆ内の画像の明るさ情報が用いられる。この場合，Evarea[i]のｉは，（該当する分割領域aeまたはafと顔の画像部分とが重なる面積）／（該当する分割領域aeまたはafの面積）となる。

図14は，さらに他の実施例を示すもので，顔検出ＡＥの処理手順を示すフローチャートである。

この実施例は，算出された露出のための明るさEVtotalと被写体像全体の明るさEVfullとの差が所定の範囲内となるように露出制御に用いられる明るさ（最終的に決定される露出のための明るさをEVfinishとする。）EVfinishを算出するものである。

上述のように，ＡＥ領域が設定され（ステップ91），設定されたＡＥ領域がＡＥ画像上に座標変換される（ステップ92）。顔の画像部分の明るさ（ＡＥ領域内の画像の明るさ）EVfaceが算出され（ステップ93），被写体像全体の明るさの代表値EVfullが算出される（ステップ94）。さらに，被写体像全体のヒストグラムも算出される（ステップ95）。得られた顔画像部分の明るさEVface，被写体像全体の明るさの代表値EVfull，被写体像全体のヒストグラムを用いて，露出のための明るさEVtotalが上述のようにして算出される（ステップ96）。

算出された露出のための明るさEVtotalと被写体像全体の明るさの代表値EVfullとの差分（｜EVtotal−EVfull）が所定のしきい値thEV以上であると（ステップ97でＮＯ），算出された露出のための明るさEVtotalは，顔画像部分でないものを顔画像であるとした誤検出，顔画像部分を顔画像ではないとした未検出，検出された顔画像部分の明るさの変動，顔画像部分に背景が入り込んだこと等により適正な露出を行うための明るさを表していないと考えられる。このために，露出に用いられる明るさが被写体像全体の明るさからあまり離れないように，最終的な露出に用いられる明るさEVfinalが算出される。

算出された露出のための明るさEVtotalが被写体像全体の明るさの代表値EVfullよりも小さければ（ステップ99でＹＥＳ），最終的な露出のための明るさEVfinalを被写体像全体の明るさの代表値EVfullに近づけるために被写体像全体の明るさEVfullから所定のしきい値thEVが減算される（ステップ100）。逆に算出された明るさEVtotalが被写体像全体の明るさの代表値EVfullよりも大きければ（ステップ99でＮＯ），最終的な露出のための明るさEVfinalを被写体像全体の明るさの代表値EVfullに近づけるために算出された露出のための明るさEVfullに所定のしきい値thEVが加算される（ステップ101）。

上述の例では，算出された露出のための明るさEVtotalに減算される所定の値（thEV）と加算される値とが同じであるが，現在される値と加算される値とを変えるようにしてもよい。また，算出された露出のための明るさEVtotalと被写体像全体の明るさの代表値EVfullとの大小関係を判断しているが，算出された露出のための明るさEVtotalと顔画像部分EVfaceとの大小関係を判断してもよい。

図15および図16は，他の実施例を示すものである。この実施例は，算出された露出のための明るさの被写体像での累積頻度が所定頻度以下となるようにするものである。この実施例においても算出された露出のための明るさが明るすぎてしまうことを未然に防止できる。

図15は，明るさ（ＥＶ値）と被写体像におけるその明るさの累積ヒストグラム（累積頻度）との関係を示している。

被写体像全体の明るさEVfullにおける累積頻度は，Nfullであり，上述のように顔画像部分を考慮して算出された露出のための明るさEVtotalinit（ここでは，EVtotalinitとする）における累積頻度は，Ntotalinitである。上述のように累積頻度が所定頻度以下となるようにした場合の明るさをEVtotallimitとすると，累積頻度はNtotallimitとなる。算出された露出のための明るさEVtotalinitの累積頻度Ntotalinit が，被写体像全体の明るさEVfullにおける累積頻度Nfull以下となるように算出された露出の明るさEVtotalinitが補正される。

図16は，算出された明るさの補正処理を示すフローチャートである。

被写体像が複数の領域に分割され，得られた分割測光値を用いて累積ヒストグラムが作成される（ステップ111）。被写体像全体の明るさ代表値EVfullが算出され（ステップ112），この明るさ代表値EVfullに対応する累積頻度Nfullが得られる。また，上述したように，顔画像部分を考慮して算出された明るさEVtotalinitが算出され（ステップ113），この明るさEVtotalinitに対応する累積頻度Ntotalinitが得られる。

得られた累積頻度NfullとNtotalinitとの差（｜Nfull−Ntotalinit｜）が所定値Nchangelimit未満かどうかが確認される（ステップ114）。

所定値以上であると（ステップ114でＮＯ），算出された明るさにもとづいて露出制御されると得られる被写体像が明るすぎる場合，上述した誤検出，未検出の場合などがあると考えられるので，被写体像全体の明るさEVfullに近づくように，算出された明るさEVtotalinitが補正される（補正された明るさをEVtemp，補正量をstepEVとすると，EVtemp＝EVtotalinit−stepEV）（ステップ115）。

補正された明るさEVtempの累積頻度NEVtempと被写体像全体の明るさの代表値EVfullの累積頻度Nfullとの差（｜NEVtemp−Nfull｜）が所定値Nchangelimit未満となったかどうかかが確認される（ステップ116）。所定値未満となっていなければ（ステップ116でＮＯ），補正された明るさEVtempがさらに補正される（ステップ117）。所定値以上となると（ステップ116でＹＥＳ），補正された明るさEVtempが比較的適正な明るさと考えられ最終的な露出のための明るさに決定される（ステップ118）。

得られた累積頻度NfullとNtotalinitとの差（｜Nfull−Ntotalinit｜）が所定値Nchangelimit以上であれば（ステップ114でＹＥＳ），最初に算出された明るさEVtotalinitが比較的適正なものと考えられるので，その明るさEVtotalinitが最終的な露出のための明るさと決定する（ステップ119）。

上述した所定値Nchangelimitの値は，固定値でも良いし，シーンに応じて（たとえば，上述した算出された明るさEVtotalinit，被写体像全体の明るさEVfullに応じて）変化させることもできる。たとえば，明るさEVtotalinit，EVfullなどが比較的明るい，あるいは比較的暗い場合には所定値Nchangelimitの値を小さくし，それ以外のときには比較的大きくすることができる。この所定値Nchangelimitは事前学習によって算出することにより精度を向上できる。また，補正量stepEVを，累積頻度NfullとNtotalinitとの差の正負に応じて変えるようにしてもよいし，一定量ずつ加減するものでなくともよい。

図17（Ａ）および（Ｂ）は，さらに他の実施例を示すもので，分割された被写体像の一例を示している。この実施例においては，被写体像において，検出された顔画像部分からの距離に応じて重み付け量を変えて顔画像の明るさEVfaceを算出するものである。

（Ａ）を参照して，被写体像Ｉ21において顔画像検出処理が行われ，被写体像Ｉ21の左上隅に位置する領域a0に顔画像部分が存在すると判定されたものとする。すると，領域a0を中心に領域a0から離れるにしたがって異なる領域となるように被写体像Ｉ21が，領域a0を含めて最大16個の複数個に分割される。この実施例においては，16分割されている（他の分割数でもよいのはいうまでもない）。この分割により，領域a0〜a15が規定される。これらの領域a0〜a15のうち，顔画像部分が存在すると判定された領域a0に近いほど重み付け量が高くなるような領域a0〜a15の重み付け係数w0〜w15を用いて式５にしたがって，顔画像の明るさEVfaceが算出される。重み付け係数w0〜w15は，ディジタル・スチル・カメラにEEPROM（Electronically Erasable and Programmable Read Only Memory）を設け，このEEPROMに設定しておくことができる。

（Ｂ）を参照して，被写体像Ｉ22において顔画像検出処理が行われ，被写体像Ｉ22の中心からやや右上に位置する領域b0に顔画像部分が存在すると判定されたものとする。すると，（Ａ）と同様に，複数の領域b0，b1，b2・・・b9などに分割される。（Ａ）と同様にして式５にしたがって顔画像部分の明るさEVfaceが算出される。分割領域は，b0〜b9の10個であり，10個の重み係数w0〜w9が利用されることとなる。

このように，顔画像部分だけでなく，顔画像部分に近いほど高くなる重み付け係数を用いて顔画像部分の明るさEVfaceを算出しているので，検出された顔画像部分が本来の顔画像部分と一致していなくとも比較的適正な露出制御を実行でき，比較的適正な明るさをもつ被写体像を得ることができる。

図18（Ａ）〜（Ｃ）および図19は，さらに他の実施例を示すもので，顔画像部分の明るさEVfaceを算出する処理手順を示すフローチャートである。この実施例は，複数の顔画像が検出された場合の顔画像の明るさを算出するものである。

図18（Ａ）を参照して，顔画像検出処理の検出結果が取得される（ステップ121）。複数の顔画像部分が検出されると，検出された顔画像部分のうち，最も大きい顔画像部分が選択される（明るさ,傾き,向きなどにもとづいて選択されてもよい）（ステップ122）。選択された顔画像部分を用いて顔画像部分の明るさEVfaceが上述のようにして算出される（ステップ123）。

図18（Ｂ）を参照して，顔画像検出処理の検出結果が取得される（ステップ124）。複数の顔画像部分が検出されると，検出された顔画像部分のうち，被写体像の中心にもっとも近い顔画像部分が選択される（ステップ125）。選択された顔画像部分を用いて顔画像部分の明るさEVfaceが上述のようにして算出される（ステップ126）。

図18（Ｃ）を参照して，顔画像検出処理の検出結果が取得される（ステップ127）。複数の顔画像部分が検出されると，検出された複数の顔画像部分の明るさが算出される（ステップ128）。算出された複数の顔画像部分の明るさの重み付け平均が式６にしたがって行われる（ステップ129）。算出された値が顔画像部分の明るさとなる。

式６は，顔画像部分の大きさに重み付け係数の値を反映させているが，siseface[i]をscoreface[i]に変更することにより，顔画像部分の顔画像らしさが重み付け係数の値に反映されることとなる。同様にして,顔画像部分の位置,大きさ,傾き,向きにもとづいて重み付け係数の値に反映できる。

図19を参照して，顔画像部分を利用しなかった場合の被写体像全体の明るさが算出される（ステップ131）。顔画像検出処理の検出結果が取得され，検出された複数の顔画像部分のそれぞれの明るさが算出される（ステップ132）。

算出された顔画像部分の明るさのすべてが，上述したように被写体像全体の明るさよりも明るい場合には（ステップ132でＹＥＳ），もっとも暗い顔画像部分が選択される（ステップ134）。選択された顔画像部分の明るさは，被写体像全体の明るさに近いので，選択された顔画像部分を利用して露出制御が行われてもあまり違和感のない被写体像が得られる。

算出されたすべての顔画像部分の明るさのうち少なくとも一つでも，被写体像全体の明るさよりも暗い場合には（ステップ133でＮＯ），算出された顔画像部分の明るさのすべてが被写体像全体の明るさよりも暗いかどうかが確認される（ステップ135）。暗い場合には（ステップ135でＮＯ），被写体像全体の明るさに近い顔画像部分である，最も明るい顔画像部分が選択される（ステップ136）。一つでも被写体像全体の明るさよりも明るい顔画像部分があれば，重み付け平均にしたがって顔画像部分の明るさEVfaceが算出される（ステップ137）。

図20および図21は，さらに他の実施例を示すものである。

図20は，上述した（図16参照）変動限界値Nchangelimitの算出処理手順を示すフローチャートである。

分割測光値から作成した累積ヒストグラムが取得され（ステップ141），被写体像全体の明るさ代表値EVfullが取得される（ステップ142）。得られた累積ヒストグラムと明るさ代表値EVfullにもとづいて事前学習を利用して累積ヒストグラムの変動限界値Nchangelimitが算出される（ステップ143）。同様にして，図14に示したしきい値thEVも算出できることは理解できよう。

図21は，ディジタル・スチル・カメラの背面に設けられている表示画面の一例である。

ディジタル・スチル・カメラに設けられているメニュー・ボタンが押されることにより，図21に示すメニュー画像が表示画面150に表示される。

メニュー151にはユーザによって設定可能な露出変動限界値，ＷＢ（白バランス設定），ＡＦ（自動合焦設定），ＩＳＯ（感度設定）などの項目が含まれている。それぞれの項目間を移動可能なようにいずれかの項目を囲むカーソル154が表示されている。このカーソル154は，ディジタル・スチル・カメラに設けられている十字ボタンに形成されている上矢印または下矢印の押下に応じて各項目間を移動する。

露出変動限界値の項目がカーソル154によって囲まれており，露出変動限界値の設定が可能な状態である。露出変動限界値の項目には，現在設定されている値（＋1.5EV，−1.5EV）が表示されている。現在の設定値の一方の設定値＋1.5EVの下に下線153が引かれており，設定変更が可能な状態となっている。十字ボタンの左矢印または右矢印の押下に応じて設定値が減少または増加して，設定を変更できる。設定された値は，EEPROMに書き込まれることとなる。このようにユーザによって設定することができる。累積ヒストグラムの変動限界値もユーザによって変更できることはいうまでもない。また，「製品出荷時に固定」，「ユーザ指定」，「自動設定」などの設定もできる。

図22および図23は，顔検出処理手順の一部を示すフローチャートである。

図14のステップ98，100または101の処理が終了すると，図22に示す処理に移行する。この処理は，フラッシュ発光装置24によるフラッシュ発光を制御するものである。

自動日中シンクロ撮影モードが設定されており（ステップ161），かつフラッシュ撮影がオフに設定されていなければ（ステップ162でＮＯ），上述したようにして算出された明るさEvfinalと顔の部分の明るさEvfaceとの差が所定のしきい値thEV2より大きいかどうかが確認される（ステップ163）。所定のしきい値thEV2よりも大きければ（ステップ163でＹＥＳ），顔の部分の明るさEvfaceが最終的に算出された明るさEvfinalと比べて暗すぎると考えられる。このために以下のようにしてフラッシュ発光が行われ，顔の明るさが算出された明るさに近づけられる。顔の部分が明るくなり，かつ背景の白とびも未然に防止される。

自動日中シンクロ撮影モードの設定は，ディジタル・スチル・カメラに固定値として設定されていてもよいし，操作装置１等を用いてユーザが設定できるようにしてもよい。また，フラッシュ撮影のオン，オフは，操作装置１等を用いてユーザが設定することとなろう。

まず，プログラム線図から算出された明るさEvfinalのときの絞りFfinalが読み取られる（ステップ164）。つづいて，画面内の比率と焦点距離とから被写体までの距離Dfaceが算出される（ステップ165）。もっとも，ディジタル・スチル・カメラに測距センサが設けられていれば，その測距センサを用いて被写体までの距離を測定できるのはいうまでもない。つづいて，撮影感度と算出された絞りFfinalとからフラッシュ発光装置24のフラッシュ光の到達距離Dflashが算出される（ステップ166）。

このようにして得られた被写体までの距離Dfaceがフラッシュ光の到達距離Dflashより遠いかどうかが確認される（ステップ167）。被写体までの距離Dfaceがフラッシュ光の到達距離Dflashよりも近ければ（ステップ167でＮＯ），フラッシュ光は被写体まで届く。このために，本露光時にフラッシュ発光するようにディジタル・スチル・カメラが設定される（ステップ168）。逆に被写体までの距離Dfaceがフラッシュ光の到達距離Dflashよりも遠ければフラッシュ発光してもフラッシュ光は被写体まで届かない。本露光時にはフラッシュ発光は行われないこととなる。無駄な発光を未然に防止して消費電力を抑えることができる。

図22に示す処理は，図14において最終的な明るさEvfinalが算出された後に行われているが，図23に示す処理は，図14に示す明るさ算出処理の途中で行われる。

上述したように，図14に示すＡＥ領域の設定（ステップ91），ＡＥ画像への座標変換（ステップ92），顔の明るさ算出（ステップ93），被写体像全体の明るさの代表値Evfullが算出されると（ステップ94），図23の処理に移行する。図23に示す処理において図22に示す処理と同一の処理については同一符号を付して説明を省略する。

上述したのと異なり，最終的な明るさEvfinalは算出されていないから，被写体像全体の明るさEvfullから顔の明るさEvfaceが減算された値が第２のしきい値thEV2よりも大きいかどうかが確認される（ステップ160）。被写体像全体の明るさEvfullから顔の明るさEvfaceが現在された値が第２のしきい値thEV2よりも大きい場合には（ステップ163でＹＥＳ），被写体像全体に比べて顔が暗いと考えられる。このために，次のようにして，所定の場合にはフラッシュ発光が行われる。

まず，自動日中シンクロ・モードがオフとなっていないかどうか（ステップ161），フラッシュ発光モードがオンとなっているかどうか（ステップ162）が確認される。

自動日中シンクロ・モードがオンとなっており（ステップ161でＹＥＳ），かつフラッシュ発光モードがオフとなっていなければ（ステップ162でＮＯ），上述のように被写体がフラッシュ発光装置24のフラッシュ光の到達距離Dface以内にいるときには（Dface＞Dflash），プログラム線図から被写体像全体の明るさEvfullのときの絞りFfullが読み取られ（ステップ164Ａ），本露光時にフラッシュ発光するように設定される（ステップ165〜168）。この場合最終的な明るさEvfinalは，被写体像全体の明るさEvfullに設定される（ステップ169）。

被写体像全体の明るさEvfullから顔の明るさEvfaceが現在された値が第２のしきい値thEV2よりも小さい場合には（ステップ163でＮＯ），被写体像全体の明るさEvfullと顔の明るさEvfaceとは余り差がない。このために，フラッシュ発光は行われずに上述したようにして（図14ステップ95〜101），最終的に明るさEvfinalが算出される。算出された明るさEvfinalにもとづいて本露光が行われる。自動日中シンクロ・モードがオフの場合（ステップ161でＮＯ），フラッシュがオフの場合（ステップ162でＹＥＳ），被写体がフラッシュ光の到達距離よりも遠い場合（ステップ167でＹＥＳ）もフラッシュ発光は行われない。

図24から図26は，被写体までの距離の算出を説明するものである。

図24は，顔検出規格化画像170の一例である。

顔検出規格化画像170の幅をＷdetect，高さをｈdetectとし，画像170において設定されたＡＥ領域170Ａの一辺の半分の長さをａ，中心をＰ０とする。すると，被写体画面比率ｐａは，式１から算出される。
ｐａ＝（ＡＥ領域の一辺の長さ）／（画像の高さ）＝２ａ／ｈdetect・・・式１

ＡＥ領域（顔を示す領域）は，必ずしも正確な顔の大きさを示すものではない。このために，正確な顔の大きさに近づけるために調整係数ｋｐを用いて式２に示すように被写体画面比率ｐａが調整される。調整された被写体画面比率ｐａをｐｂとする。

ｐｂ＝ｋｐ×ｐａ・・・式２

被写体距離を算出するためには被写体画面比率を事前に実験して得られた焦点距離の値に換算する必要がある。被写体距離を一定にして，ズーム比を変化させた場合には「焦点距離」比＝「被写体の画面比率」比の関係が成立するから，焦点距離の値に換算するための被写体画面比率基準倍率換算値ｐｃは，式３から求められる。但し，Ｚtestは事前実験時の焦点距離，Ｚは対象となる被写体の撮像時の焦点距離であり，ズーム位置に算出可能なものである。
ｐｃ＝ｐｂ×Ｚtest／Ｚ0・・・式３

ズーム比を一定にして被写体距離を変化させた場合には，「被写体距離」比＝「被写体画面比率」比の逆数＝「被写体の画面比率の逆数」比の関係が成立する。このことから，被写体距離ILcalcの逆数は，式４から算出される。但し，ｋiIcaIcは，距離逆数換算係数である。
ILcalc＝ｐｃ×ｋiIcalc・・・式４

式４から被写体距離Ｌcalcは，式５によって表される。
Ｌcalc＝１／ILcalc・・・式５

図25は，パルス数とズーム・レンズの焦点レンズのパン・フォーカス位置との関係を示している。

焦点レンズには，ホーム・ポジションＨＰと呼ばれる位置が規定されており，このホーム・ポジションに焦点レンズが位置している状態からのパルス数に応じて焦点レンズの移動距離が決定する。ＩＮＦ位置は最も遠い被写体距離に合焦させることができる焦点レンズの位置である。このＩＮＦ位置までのパルス数は，ズーム比，調整値を考慮してEEPROMに設定されている。NEAR位置は最も近い被写体距離に合焦させることができる焦点レンズの位置である。焦点レンズを位置決めするパン・フォーカス位置は，ホーム・ポジションＨＰからＩＮＦ位置に移動させるために必要なパルス数にＩＮＦ位置からパン・フォーカス位置に移動させるために必要なパルス数を加算したものとなる。ＩＮＦ位置からパン・フォーカス位置に移動させるために必要なパルス数は，近似式やＬＵＴ（ルックアップ・テーブル）にあらかじめ格納されているデータを用いて算出できる。

図26は，被写体までの距離の逆数とＩＮＦ位置からパン・フォーカス位置に焦点レンズを移動させるのに必要なパルス数との関係を示すグラフである。

これらの関係は，ズーム比に応じて異なるためズーム比ごとの関係を示すグラフG11からG14が示されている。これらのグラフＧ11からG14を用いて被写体距離の逆数が上述のように算出されることにより，パルス数が算出されて焦点レンズがパン・フォーカス位置に位置決めできるのは理解されよう。

ディジタル・スチル・カメラの電気的構成を示すブロック図である。 （Ａ）は被写体像を，（Ｂ）は顔検出規格化画像の一例を示している。 顔検出結果情報の一例である。 （Ａ）は左向きの顔画像部分を，（Ｂ）は正面の顔画像部分を，（Ｃ）は右向きの顔画像部分を示している。 （Ａ）は傾きが０度の顔画像部分を，（Ｂ）は傾きが30度の顔画像部分を，（Ｃ）は傾きが60度の顔画像部分を，（Ｄ）は傾きが90度の顔画像部分をそれぞれ示している。 顔画像であるとして検出された領域と露出制御に利用されるＡＥ領域との関係を示している。 ディジタル・スチル・カメラの処理手順を示すフローチャートである。 顔検出ＡＥの処理手順を示すフローチャートである。 ＡＥ画像上への座標変換処理を示すフローチャートである。 座標変換の様子を示している。 顔検出ＡＥの処理手順を示すフローチャートである。 （Ａ）〜（Ｃ）は被写体像の一例である。 （Ａ）〜（Ｅ）は被写体像の一例である。 顔検出ＡＥの処理手順を示すフローチャートである。 明るさと累積ヒストグラムとの関係を示している。 顔検出ＡＥの処理手順を示すフローチャートである。 （Ａ）および（Ｂ）は被写体像の一例である。 （Ａ）〜（Ｃ）は顔画像部分の明るさを算出する処理手順を示すフローチャートである。 顔画像部分の明るさを算出する処理手順を示すフローチャートである。 変動限界値算出処理を示すフローチャートである。 ディジタル・スチル・カメラの表示画面の一例である。 顔検出ＡＥ処理の一部を示すフローチャートである。 顔検出ＡＥ処理の一部を示すフローチャートである。 顔規格化画像の一例である。 ズーム・レンズの焦点レンズ位置とパルス数との関係を示している。 被写体距離の逆数とＩＮＦ位置からのパルス数との関係を示している。

符号の説明

１ 操作ボタン類
２ 制御回路
３ ＣＰＵ
13 絞り
14 絞り駆動回路
15 撮像素子
16 撮像素子制御回路
19 ディジタル信号処理回路
20 顔検出回路
ｆ１，ｆ31〜ｆ36 顔画像部分であると検出された領域
AE１，AE31〜AE36 ＡＥ領域

Claims (34)

1. 被写体を撮像し，被写体像を表す画像データを出力する固体電子撮像素子，
   上記固体電子撮像素子の露光量を調整する露出制御装置，
   上記固体電子撮像素子から出力される画像データによって表される被写体像の中から所定の対象画像部分を検出する対象画像部分検出手段，
   上記対象画像部分検出手段によって検出された対象画像部分にもとづいて，上記対象画像部分の明るさを求めるＡＥ対象領域を決定するＡＥ対象領域決定手段，
   上記ＡＥ対象領域決定手段によって決定されたＡＥ対象領域内の画像を表す画像データにもとづいて上記固体電子撮像素子の露光量を決定する露光量決定手段，および
   上記露光量決定手段によって決定された露光量となるように上記露出制御装置を制御する制御手段，
   を備えた撮像装置。
2. 上記ＡＥ対象領域決定手段は，上記ＡＥ対象領域が上記画像部分内部となるように上記ＡＥ対象領域を決定するものである，請求項１に記載の撮像装置。
3. 上記ＡＥ対象領域決定手段は，上記対象画像部分の傾きおよび向きの少なくとも一方にもとづいて上記ＡＥ対象領域を決定するものである，請求項１に記載の撮像装置。
4. 上記ＡＥ対象領域決定手段において決定される上記ＡＥ対象領域の取り得る範囲が上記対象画像部分にもとづいてあらかじめ定められている，請求項１に記載の撮像装置。
5. 上記被写体像に複数の上記対象画像部分が含まれている場合に優先度の高い上記対象画像部分にもとづいて上記ＡＥ対象領域を決定するものである，請求項１に記載の撮像装置。
6. 上記優先度は，対象画像部分の大きさ，対象画像部分らしさ，位置，明るさ，傾きおよび向きの少なくとも一つに依存するものである，請求項１に記載の撮像装置。
7. 上記複数の対象画像部分の明るさが上記被写体像の明るさを示す代表値以上の場合には，対象画像部分の暗い順に優先度が高くなり，上記複数の対象画像部分の明るさが上記被写体像の明るさを示す代表値未満の場合には，対象画像部分の明るい順に優先度が高くなるものである，請求項１に記載の撮像装置。
8. 上記被写体像に複数の上記対象画像部分が含まれている場合に複数の上記対象画像部分の明るさの重み付け平均にもとづいて露光量を決定するものである，請求項１に記載の撮像装置。
9. 上記対象画像部分の大きさ，対象画像部分らしさ，位置，明るさ，傾きおよび向きの少なくとも一つを用いて上記重み付け係数を決定して上記重み付け平均を行うものである，請求項８に記載の撮像装置。
10. 上記露出量決定手段によって決定された露出量にもとづいて得られる露出量が所定値以下の場合にフラッシュ発光するフラッシュ発光装置，をさらに備えた請求項１に記載の撮像装置。
11. 上記ＡＥ対象領域決定手段によって決定されたＡＥ対象領域を，上記被写体像のサイズと異なるサイズをもち，かつ上記被写体像に対応するＡＥ画像上の領域に変換する領域変換手段をさらに備え，
    上記露光量決定手段が，上記領域変換手段によって変換された領域内の画像を表す画像データにもとづいて上記固体電子撮像素子の露光量を決定するものである，
    請求項１に記載の撮像装置。
12. 被写体を撮像し，被写体像を表す画像データを出力する固体電子撮像素子，
    上記固体電子撮像素子から出力された画像データによって表される上記被写体像に含まれる所定の対象画像部分と上記被写体像とにもとづいて，露光量を算出する露光量算出手段，および
    上記露光量算出手段によって算出された露光量となるように上記固体電子撮像素子の露光量を調整する露光量制御装置，
    を備えた撮像装置。
13. 上記露光量算出手段は，上記対象画像部分の位置，大きさ，個数，明るさ，および対象画像部分らしさのうちの少なくとも一つと上記被写体像とにもとづいて露光量を算出するものである，請求項12に記載の撮像装置。
14. 上記露光量算出手段は，上記被写体像の全体の特徴量を表す明るさ代表値，上記被写体像全体を分割測光して得られる分割測光値，上記被写体像全体のヒストグラム，上記被写体像の分割測光値の最大値または最大値近傍の値，および上記被写体像の分割測光値の最小値または最小値近傍の値の少なくとも一つと上記対象画像部分とにもとづいて露光量を算出するものである，請求項12に記載の撮像装置。
15. 上記露光量算出手段は，上記被写体像を複数の領域に分割した場合に上記対象画像部分がすべて含まれる分割領域内の画像または上記対象画像部分に含まれる分割領域の画像と上記被写体像とにもとづいて露光量を算出するものである，請求項12に記載の撮像装置。
16. 上記露光量算出手段は，上記対象画像部分の明るさと上記被写体像の明るさとの差が所定の範囲内となるように露光量を算出するものである，請求項12に記載の撮像装置。
17. 上記所定範囲が一定の範囲，ユーザによって指定される範囲またはシーンによって変化する範囲である，請求項16に記載の撮像装置。
18. 上記露光量算出手段は，上記被写体全体の明るさ分布に対する割合を示す指標において，上記被写体像の明るさの代表値に対応する値と，上記対象画像部分と上記被写体像とにもとづいて算出される露光量から得られる明るさに対応する値と，の差が所定範囲内となるように露光量を算出するものである，請求項12に記載の撮像装置。
19. 上記露光量算出手段は，上記被写体像に複数の上記対象画像部分が含まれている場合に優先度の高い上記対象画像部分にもとづいて上記露光量を算出するものである，請求項12に記載の撮像装置。
20. 上記優先度は，対象画像部分の大きさ，対象画像部分らしさ，位置，明るさ，傾きおよび向きの少なくとも一つの依存するものである，請求項19に記載の撮像装置。
21. 上記複数の対象画像部分の明るさが上記被写体像の明るさを示す代表値以上の場合には，対象画像部分の暗い順に優先度が高くなり，上記複数の対象画像部分の明るさが上記被写体像の明るさを示す代表値未満の場合には対象画像部分の明るい順に優先度が高くなるものである，請求項19に記載の撮像装置。
22. 上記露光量算出手段は，上記被写体像に複数の上記対象画像部分か含まれている場合に複数の上記対象画像部分の明るさの重み付け平均にもとづいて上記露光量を算出するものである，請求項12に記載の撮像装置。
23. 上記対象画像部分の大きさ，対象画像らしさ，位置，明るさ，傾きおよび向きの少なくとも一つを用いて重み付け係数を決定して上記重み付け平均を行うものである，請求項22に記載の撮像装置。
24. 上記露光量制御装置によって調整された露光量が所定値以下の場合にフラッシュ発光するフラッシュ発光装置，をさらに備えた請求項12に記載の撮像装置。
25. 上記対象画像部分の明るさと上記被写体像の明るさとの差が，第１の所定範囲外である場合にフラッシュ発光するフラッシュ発光装置，をさらに備えた請求項12に記載の撮像装置。
26. 上記対象画像部分の明るさと上記露光量算出手段によって算出された露光量が示す明るさとの差が，第２の所定範囲外である場合にフラッシュ発光するフラッシュ発光装置，をさらに備えた請求項12に記載の撮像装置。
27. 被写体までの距離を算出する距離算出手段をさらに備え，
    上記フラッシュ発光装置は，フラッシュ到達距離が上記距離算出手段によって算出された距離以上である場合にフラッシュ発光することを特徴とする，請求項10，23から26のうちいずれか一項に記載の撮像装置。
28. 上記固体電子撮像素子の前方に被写体像を結像する撮像レンズが設けられており，
    上記距離算出手段は，対象画像部分の情報と上記撮像レンズの焦点距離の情報から算出することを特徴とする，請求項27に記載の撮像装置。
29. 上記距離算出手段は，測距センサから得られる情報にもとづいて被写体までの距離を算出することを特徴とする，請求項27に記載の撮像装置。
30. 被写体を撮像し，被写体像を表す画像データを出力する固体電子撮像素子，
    上記固体電子撮像素子から出力される画像データによって表される被写体像に含まれる対象画像部分に近いほど重み付けが大きくなるように上記被写体像の各部分における重み付け係数を決定する重み付け係数決定手段，
    上記重み付け係数決定手段により決定された重み付け係数と上記被写体像の各部分の明るさとを用いて上記対象画像部分の明るさを算出する算出手段，および
    上記算出手段により算出された明るさにもとづいて，上記固体電子撮像素子の露光量を制御する露光量制御装置，
    を備えた撮像装置。
31. 上記露光量制御装置が，上記対象画像部分と，上記被写体像が複数の領域に分割された場合における分割領域のそれぞれの測光値または上記測光値にもとづいて得られる上記被写体像の明るさの代表値とにもとづいて露光量を算出するものである，請求項30に記載の撮像装置。
32. 被写体を撮像し，被写体像を表す画像データを出力する固体電子撮像素子，および上記固体電子撮像素子の露光量を調整する露出制御装置を備えた撮像装置の制御方法において，
    上記固体電子撮像素子から出力される画像データによって表される被写体像の中から所定の対象画像部分を検出し，
    検出された対象画像部分にもとづいて，上記対象画像部分の明るさを求めるＡＥ対象領域を決定し，
    決定されたＡＥ対象領域内の画像を表す画像データにもとづいて上記固体電子撮像素子の露光量を決定し，
    決定された露光量となるように上記露出制御装置を制御する，
    撮像装置の制御方法。
33. 固体電子撮像素子を用いて，被写体を撮像し，被写体像を表す画像データを得，
    上記固体電子撮像素子から出力された画像データによって表される上記被写体像に含まれる所定の対象画像部分と上記被写体像とにもとづいて，露光量を算出し，
    算出された露光量となるように上記固体電子撮像素子の露光量を調整する，
    撮像装置の制御方法。
34. 固体電子撮像素子を用いて，被写体を撮像し，被写体像を表す画像データを得，
    得られた画像データによって表される被写体像に含まれる対象画像部分に近いほど重み付けが大きくなるように上記被写体像の各部分における重み付け係数を決定し，
    決定された重み付け係数と上記被写体像の各部分の明るさとを用いて上記対象画像部分の明るさを算出し，
    算出された明るさにもとづいて，上記固体電子撮像素子の露光量を制御する，
    撮像装置の制御方法。
    
    

Images