JP4884251B2 - 撮影装置および方法並びにプログラム - Google Patents

Description

本発明は、撮影により画像を取得するデジタルカメラ等の撮影装置および方法並びに撮影方法をコンピュータに実行させるためのプログラムに関するものである。

デジタルカメラによる撮影において、撮影により取得した画像から例えば顔等の対象物を検出し、その対象物の検出結果に応じて画像に施す画像処理の条件を変更したり、撮影時における撮影条件を変更したりすることが行われている。また、とくに対象物を顔とした場合において、検出した顔の数をカウントしたり、検出した顔をトリミングして記録することも行われている。

このように画像から対象物を検出して種々の処理を行うためには、画像から正確に対象物を検出する必要がある。このため、対象物を正確に検出するための各種手法が提案されている。例えば、認証対象者の顔画像を撮影し、顔画像から認証対象者の顔の特徴量を抽出し、抽出した特徴量と基準の特徴量との類似度を計算し、この計算により得られる類似度をしきい値と比較して、認証対象者が本人であるか否かを認証する際に、認証対象者の利用頻度の高い時間帯か否かに応じてしきい値を変更することにより、認証対象者の利用頻度の高い時間帯における認証率を向上させる手法が提案されている（特許文献１参照）。

また、画像から顔候補を検出し、顔候補の色の分散値が小さい場合、肌色領域の占有率が大きい場合等の所定の条件を満たさない顔候補を非顔として、検出した顔候補から排除する手法も提案されている（特許文献２参照）。
特開２００２−１８３７３４号公報 特開２００５−７８３７６号公報

上記特許文献１，２に記載された手法により、顔の認証精度または顔の検出精度を向上することができるが、さらに精度を向上させることが望まれている。

本発明は上記事情に鑑みなされたものであり、画像からの顔の検出精度をより向上させることを目的とする。

顔と非顔とでは、目、鼻および口等の顔の構成部品の有無という大きな相違がある。したがって、顔の構成部品を考慮することは、画像に含まれる顔候補が真の顔であるか否かを判断するための有効な手がかりとなりうる。本発明はこの点に着目してなされたものである。

すなわち、本発明による第１の撮影装置は、撮影により画像を取得する撮影手段と、
前記画像に含まれるすべての顔候補を検出する顔検出手段と、
前記各顔候補に含まれる少なくとも１つの顔構成部品の候補を該顔構成部品毎に検出する顔構成部品検出手段と、
前記顔構成部品毎に検出された前記顔構成部品候補の数に基づいて、前記各顔候補が真の顔であるか否かを判定する判定手段とを備えたことを特徴とするものである。

「顔構成部品」とは、顔に含まれる構成部品のことであり、具体的には両目の目頭、両目の目尻、左右の鼻の穴の脇、左右の口元および口の中央部分等を顔構成部品とすることができる。ここで、顔候補が真の顔である場合、顔構成部品候補は、顔構成部品がある位置に１つのみ検出されるわけではなく、顔構成部品の周囲にばらつく形で複数検出されることが多い。このため、本願発明においては、１つの顔構成部品について１以上の顔構成部品候補が検出されるものである。

本発明による第２の撮影装置は、撮影により画像を取得する撮影手段と、
前記画像に含まれるすべての顔候補を検出する顔検出手段と、
前記各顔候補に含まれる複数の顔構成部品の候補を該顔構成部品毎に検出する顔構成部品検出手段と、
前記顔構成部品毎に検出された前記顔構成部品候補の位置に基づいて、前記各顔候補が真の顔であるか否かを判定する判定手段とを備えたことを特徴とするものである。

なお、本発明による第２の撮影装置においては、前記判定手段を、前記顔候補の領域内における前記各顔構成部品候補の、対応する前記顔構成部品に対する位置的な尤度を算出し、該位置的な尤度に基づいて前記各顔候補が真の顔であるか否かを判定する手段としてもよい。

また、本発明による第２の撮影装置においては、前記判定手段を、前記顔候補の領域内における前記各顔構成部品候補の、対応する前記顔構成部品以外の他の顔構成部品に対する位置関係の尤度を算出し、該位置関係の尤度に基づいて前記各顔候補が真の顔であるか否かを判定する手段としてもよい。

また、本発明による第２の撮影装置においては、前記判定手段を、前記各顔候補の領域内において前記各顔構成部品候補の位置が対応する顔構成部品の位置となるように前記各顔候補を正規化し、該正規化した前記各顔候補内における前記各顔構成部品候補の位置に基づいて、前記各顔候補が真の顔であるか否かを判定する手段としてもよい。

「顔候補を正規化する」とは、顔構成部品候補を顔候補の領域内における本来あるべき位置に位置せしめることである。具体的には顔候補の領域内の画像をアフィン変換して、各顔構成部品を拡大縮小、平行移動および回転することにより、各顔構成部品候補の位置を本来あるべき位置に位置せしめることができる。

本発明による第３の撮影装置は、撮影により画像を取得する撮影手段と、
前記画像に含まれるすべての顔候補を検出する顔検出手段と、
前記各顔候補に含まれる複数の顔構成部品の候補を該顔構成部品毎に検出する顔構成部品検出手段と、
前記顔構成部品毎に検出された前記顔構成部品候補の数に基づいて、前記各顔候補が真の顔、非顔および曖昧顔のいずれであるかを判定し、該曖昧顔であると判定された前記顔候補について、前記顔構成部品毎に検出された前記顔構成部品候補の位置に基づいて、前記曖昧顔であると判定された顔候補が前記真の顔であるか否かを判定する判定手段とを備えたことを特徴とするものである。

なお、本発明による第１から第３の撮影装置においては、前記顔検出手段を、所定サイズの顔検出用の検出枠を前記画像上において移動させ、移動した位置毎に該検出枠内の前記画像から特徴量を算出し、該特徴量とあらかじめ定められた顔特徴量とのマッチング度を算出し、該マッチング度が所定のしきい値以上となったときに前記検出枠の位置の画像を前記顔候補として検出するか、前記真の顔として検出するかを、所定の条件に基づいて切り換える手段としてもよい。

また、本発明による第１から第３の撮影装置においては、前記撮影手段が、連続して前記画像を取得する手段である場合において、
前記顔検出手段を、前記連続して取得された画像について、前記検出枠の位置の画像を前記真の顔として検出し、該真の顔が検出されなくなったときに、前記検出枠の位置の画像を前記顔候補として検出する手段としてもよい。

また、本発明による第３の撮影装置においては、前記撮影手段が、連続して前記画像を取得する手段である場合において、
前記顔検出手段を、前記連続して取得された画像について、前記検出枠の位置の画像を前記真の顔として検出し、該画像のシーンの明るさが所定の条件を満たさなくなったときに、前記検出枠の位置の画像を前記顔候補として検出する手段としてもよい。

本発明による第１の撮影方法は、撮影により画像を取得し、
前記画像に含まれるすべての顔候補を検出し、
前記各顔候補に含まれる少なくとも１つの顔構成部品の候補を該顔構成部品毎に検出し、
前記顔構成部品毎に検出された前記顔構成部品候補の数に基づいて、前記各顔候補が真の顔であるか否かを判定することを特徴とするものである。

本発明による第２の撮影方法は、撮影により画像を取得し、
前記画像に含まれるすべての顔候補を検出し、
前記各顔候補に含まれる複数の顔構成部品の候補を該顔構成部品毎に検出し、
前記顔構成部品毎に検出された前記顔構成部品候補の位置に基づいて、前記各顔候補が真の顔であるか否かを判定することを特徴とするものである。

本発明による第３の撮影方法は、撮影により画像を取得し、
前記画像に含まれるすべての顔候補を検出し、
前記各顔候補に含まれる複数の顔構成部品の候補を該顔構成部品毎に検出し、
前記顔構成部品毎に検出された前記顔構成部品候補の数に基づいて、前記各顔候補が真の顔、非顔および曖昧顔のいずれであるかを判定し、
前記曖昧顔であると判定された前記顔候補について、前記顔構成部品毎に検出された前記顔構成部品候補の位置に基づいて、前記曖昧顔であると判定された顔候補が前記真の顔であるか否かを判定することを特徴とするものである。

なお、本発明による第１から第３の撮影方法をコンピュータに実行させるためのプログラムとして提供してもよい。

本発明の第１の撮影装置および方法によれば、撮影により取得された画像に含まれるすべての顔候補が検出され、各顔候補に含まれる少なくとも１つの顔構成部品の候補が、顔構成部品毎に検出される。そして、顔構成部品毎に検出された顔構成部品候補の数に基づいて、各顔候補が真の顔であるか否かが判定される。ここで、顔には、目、鼻および口等の顔構成部品が含まれており、顔候補が真の顔である場合には、１つの顔構成部品について検出される顔構成部品候補が多くなる。したがって、顔候補に含まれる顔構成部品毎の顔構成部品候補の数に基づいて各顔候補が真の顔であるか否かを判定することにより、顔候補から真の顔を精度良く検出することができる。

本発明の第２の撮影装置および方法によれば、撮影により取得された画像に含まれるすべての顔候補が検出され、各顔候補に含まれる複数の顔構成部品の候補が顔構成部品毎に検出される。そして、顔構成部品毎に検出された顔構成部品候補の位置に基づいて、各顔候補から真の顔が検出される。ここで、顔には、目、鼻および口等の顔構成部品が含まれており、顔候補が真の顔である場合には、顔構成部品候補は対応する顔構成部品の位置に存在することとなる。したがって、顔候補に含まれる顔構成部品候補の位置に基づいて各顔候補が真の顔であるか否かを判定することにより、顔候補から真の顔を精度良く検出することができる。

この場合、各顔構成部品候補の位置が対応する顔構成部品の位置となるように各顔候補を正規化することにより、より精度良く顔候補が真の顔であるか否かを判定することができる。

本発明の第３の撮影装置および方法によれば、撮影により取得された画像に含まれるすべての顔候補が検出され、各顔候補に含まれる複数の顔構成部品の候補が顔構成部品毎に検出される。そして、検出された顔構成部品候補の数に基づいて、各顔候補が真の顔、非顔および曖昧顔のいずれであるかが判定される。そして、曖昧顔と判定された顔候補について、各顔構成部品候補の位置に基づいて真の顔であるか否かが判定される。

ここで、顔構成部品候補の数に基づいて真の顔であるか否かを判定する場合と、顔構成部品候補の位置に基づいて真の顔であるか否かを判定する場合とでは、前者の方が演算量が少ない。このため、顔構成部品候補の数に基づいて曖昧顔と判定された顔候補についてのみ、顔構成部品候補の位置に基づいて真の顔であるか否かを判定することにより、演算量を低減して精度良く顔候補から真の顔を検出することができる。

以下、図面を参照して本発明の実施形態について説明する。図１は本発明の第１の実施形態による撮影装置を適用したデジタルカメラの構成を示す概略ブロック図である。図１に示すように本実施形態によるデジタルカメラ１は、動作モードスイッチ、ズームレバー、上下左右ボタン、レリーズボタンおよび電源スイッチ等の操作系２と、操作系２の操作内容をＣＰＵ４０に伝えるためのインターフェース部分である操作系制御部３とを有している。

撮像系６としては、撮影レンズ１０を構成するフォーカスレンズ１０ａおよびズームレンズ１０ｂを有している。各々のレンズは、モータとモータドライバとからなるフォーカスレンズ駆動部１１およびズームレンズ駆動部１２によって光軸方向に移動可能である。フォーカスレンズ駆動部１１はＡＦ処理部３０から出力されるフォーカス駆動量データに基づいて、ズームレンズ駆動部１２はズームレバーの操作量データに基づいて、各々のレンズの移動を制御する。

また、絞り１４は、モータとモータドライバとからなる絞り駆動部１５によって駆動される。この絞り駆動部１５は、ＡＥ／ＡＷＢ処理部３１から出力される絞り値データに基づいて絞り径の調整を行う。

シャッタ１６は、メカニカルシャッタであり、モータとモータドライバとからなるシャッタ駆動部１７によって駆動される。シャッタ駆動部１７は、レリーズボタンの押下により発生する信号と、ＡＥ／ＡＷＢ処理部３１から出力されるシャッタスピードデータとに応じて、シャッタ１６の開閉の制御を行う。

光学系の後方には撮像素子であるＣＣＤ１８を有している。ＣＣＤ１８は、多数の受光素子を２次元的に配列した光電面を有しており、光学系を通過した被写体光がこの光電面に結像し、光電変換される。光電面の前方には、各画素に光を集光するためのマイクロレンズアレイと、Ｒ，Ｇ，Ｂ各色のフィルタが規則的に配列されたカラーフィルタアレイとが配置されている。ＣＣＤ１８は、ＣＣＤ制御部１９から供給される垂直転送クロックおよび水平転送クロックに同期して、画素毎に蓄積された電荷を１ラインずつシリアルなアナログ撮影信号として出力する。各画素において電荷を蓄積する時間、すなわち、露光時間は、ＣＣＤ制御部１９から与えられる電子シャッタ駆動信号によって決定される。また、ＣＣＤ１８はＣＣＤ制御部１９により、あらかじめ定められた大きさのアナログ撮像信号が得られるようにゲインが調整されている。

なお、撮影レンズ１０、絞り１４、シャッタ１６およびＣＣＤ１８が撮像系６を構成する。

ＣＣＤ１８から取り込まれたアナログ撮影信号は、アナログ信号処理部２０に入力される。アナログ信号処理部２０は、アナログ信号のノイズを除去する相関２重サンプリング回路（ＣＤＳ）と、アナログ信号のゲインを調節するオートゲインコントローラ（ＡＧＣ）と、アナログ信号をデジタル信号に変換するＡ／Ｄコンバータ（ＡＤＣ）とからなる。なお、アナログ信号処理部２０が行う処理をアナログ信号処理とする。このデジタル信号に変換された画像データは、画素毎にＲ，Ｇ，Ｂの濃度値を持つＣＣＤ−ＲＡＷデータである。

タイミングジェネレータ２１は、タイミング信号を発生させるものであり、このタイミング信号をシャッタ駆動部１７、ＣＣＤ制御部１９、およびアナログ信号処理部２０に供給することにより、レリーズボタンの操作、シャッタ１６の開閉、ＣＣＤ１８の電荷の取込み、およびアナログ信号処理部２０の処理の同期をとっている。

フラッシュ制御部２３は、撮影時にフラッシュ２４を発光させる。

画像入力コントローラ２５は、アナログ信号処理部２０から入力されたＣＣＤ−ＲＡＷデータをフレームメモリ２６に書き込む。

フレームメモリ２６は、画像データに対して後述の各種画像処理（信号処理）を行う際に使用する作業用メモリであり、例えば、一定周期のバスクロック信号に同期してデータ転送を行うＳＤＲＡＭ(Synchronous Dynamic Random Access Memory)が使用される。

表示制御部２７は、フレームメモリ２６に格納された画像データをスルー画像としてモニタ２８に表示させたり、再生モード時に記録メディア３５に保存されている画像データをモニタ２８に表示させたりするためのものである。なお、スルー画像は、撮影モードが選択されている間、所定時間間隔でＣＣＤ１８により連続して撮影される。

ＡＦ処理部３０およびＡＥ／ＡＷＢ処理部３１は、プレ画像に基づいて撮影条件を決定する。このプレ画像とは、レリーズボタンが半押しされることによって発生する半押し信号を検出したＣＰＵ４０がＣＣＤ１８にプレ撮影を実行させた結果、フレームメモリ２６に格納された画像データにより表される画像である。

ＡＦ処理部３０は、プレ画像に基づいて焦点位置を検出し、フォーカス駆動量データを出力する（ＡＦ処理）。焦点位置の検出方式としては、例えば、所望とする被写体にピントが合った状態では画像のコントラストが高くなるという特徴を利用して合焦位置を検出するパッシブ方式が考えられる。

ＡＥ／ＡＷＢ処理部３１は、プレ画像に基づいて被写体輝度を測定し、測定した被写体輝度に基づいてＩＳＯ感度、絞り値およびシャッタスピード等を決定し、ＩＳＯ感度データ、絞り値データおよびシャッタスピードデータを露出設定値として決定するとともに（ＡＥ処理）、撮影時のホワイトバランスを自動調整する（ＡＷＢ処理）。なお、露出およびホワイトバランスについては、撮影モードがマニュアルモードに設定されている場合には、デジタルカメラ１の撮影者がマニュアル操作により設定可能である。また、露出およびホワイトバランスが自動で設定された場合にも、撮影者が操作系２から指示を行うことにより、露出およびホワイトバランスをマニュアル調整することが可能である。

画像処理部３２は、本画像の画像データに対して、階調補正、シャープネス補正、色補正等の画質補正処理、ＣＣＤ−ＲＡＷデータを輝度信号であるＹデータと、青色色差信号であるＣｂデータおよび赤色色差信号であるＣｒデータとからなるＹＣデータに変換するＹＣ処理を行う。この本画像とは、レリーズボタンが全押しされることによって実行される本撮影によりＣＣＤ１８から取り込まれ、アナログ信号処理部２０、画像入力コントローラ２５経由でフレームメモリ２６に格納された画像データによる画像である。本画像の画素数の上限は、ＣＣＤ１８の画素数によって決定されるが、例えば、ファイン、ノーマル等の設定により、記録画素数を変更することができる。一方、スルー画像およびプレ画像の画像数は、本画像よりも少なく、例えば、本画像の１／１６程度の画素数で取り込まれる。

圧縮／伸長処理部３３は、画像処理部３２によって補正・変換処理が行われた本画像の画像データに対して、例えば、ＪＰＥＧ等の圧縮形式で圧縮処理を行い、画像ファイルを生成する。この画像ファイルには、Ｅｘｉｆフォーマット等に基づいて、撮影日時等の付帯情報が格納されたタグが付加される。また、圧縮／伸長処理部３３は、再生モードの場合には、記録メディア３５から圧縮された画像ファイルを読み出し、伸長処理を行う。伸長後の画像データはモニタ２８に出力され、画像データの画像が表示される。

メディア制御部３４は、記録メディア３５にアクセスして画像ファイルの書き込みと読み込みの制御を行う。

内部メモリ３６は、デジタルカメラ１において設定される各種定数、およびＣＰＵ４０が実行するプログラム等を記憶する。

顔検出部３７は、撮影により取得された画像に含まれるすべての顔候補を検出する。なお、画像は、スルー画像、プレ画像および本画像のいずれであってもよい。ここで、顔を検出する手法としては、あるサイズを有する検出枠を画像上少しずつ移動させ、移動した位置毎に検出枠内の画像から特徴量を算出し、あらかじめ定められていた顔特徴量とのマッチング度を算出し、マッチング度がしきい値Ｔｈ０以上となる検出枠の位置を顔候補として検出する手法を用いる。なお、検出枠の大きさを変更することにより異なる大きさの顔候補の検出が可能となる。

これにより、図２に示すように画像Ｇ１から矩形の検出枠により囲まれる顔候補Ｆ１〜Ｆ５を検出することができる。なお、図２においては、検出されるのは顔の候補であるため、顔が存在しない部分においても検出枠により囲まれる領域が含まれている。

なお、顔候補を検出する手法はこれに限定されるものではなく、例えば画像における肌色を有しかつ顔の輪郭形状を囲む矩形の領域を顔候補として検出する手法、顔の輪郭形状をなす領域を顔候補として検出する手法等、任意の手法を用いることができる。

顔構成部品検出部３８は、顔候補に含まれる複数の顔構成部品についての候補である顔構成部品候補を検出する。本実施形態においては、両目の目尻Ｋ１，Ｋ２、両目の目頭Ｋ３，Ｋ４、左右の鼻の穴の脇Ｋ５，Ｋ６、左右の口元Ｋ７，Ｋ８および口の中央部分Ｋ９の９個の顔構成部品Ｋ１〜Ｋ９についての顔構成部品候補を検出するものとする。具体的には、矩形の各顔構成部品のパターンを、処理対象の顔候補の領域内の画像上を少しずつ移動させ、移動した位置毎にマッチング度を算出し、マッチング度があらかじめ定められたしきい値Ｔｈ１以上となったパターンの位置の座標を顔構成部品候補として検出する。なお、座標は顔候補内の領域の左上隅を原点とした場合の顔候補内における座標である。

ここで、顔候補が真の顔である場合、マッチング度がしきい値Ｔｈ１以上となるパターンの位置を顔構成部品候補として検出すると、顔構成部品候補は対応する顔構成部品Ｋ１〜Ｋ９の位置において１つのみ検出されるものではなく、対応する顔構成部品Ｋ１〜Ｋ９の周囲に複数分布して検出されることが多い。このため、顔構成部品検出部３８は、各顔構成部品毎に１以上の顔構成部品候補を検出する。

ここで、顔候補に９つの顔構成部品Ｋ１〜Ｋ９のすべてが含まれている場合、図３（ａ）に示すように両目の目尻Ｋ１，Ｋ２、両目の目頭Ｋ３，Ｋ４、左右の鼻の穴の脇Ｋ５，Ｋ６、左右の口元Ｋ７，Ｋ８および口の中央部分Ｋ９の９個の顔構成部品のそれぞれに対応する顔構成部品候補が検出される。また、例えば左目の目頭について、図３（ｂ）の×印で示すように複数の顔構成部品候補が検出される。

なお、マッチング度がしきい値Ｔｈ１以上となる顔構成部品候補が検出されない場合には、対応する顔構成部品の候補は検出されなかったものとする。

判定部３９は、顔検出部３７が検出したすべての顔候補について、顔構成部品検出部３８が検出した顔構成部品毎の顔構成部品候補の数に基づいて真の顔であるか否かを判定して、真の顔と判定された顔候補を真の顔として検出する。具体的には、すべての顔候補のうちの処理対象の顔候補について、上記９個の顔構成部品Ｋ１〜Ｋ９のそれぞれについての顔構成部品候補の総数Ｎ１〜Ｎ９を算出し、さらに総数Ｎ１〜Ｎ９の加算値であるＮｓｕｍを算出する。そして加算値Ｎｓｕｍがしきい値Ｔｈ２以上である場合に、処理対象の顔候補を真の顔であると判定し、その顔候補を真の顔として検出する。なお、加算値Ｎｓｕｍがしきい値Ｔｈ２未満の場合は処理対象の顔候補を非顔と判定する。

なお、上記９個の顔構成部品Ｋ１〜Ｋ９のそれぞれについての顔構成部品候補の総数Ｎ１〜Ｎ９を９次元空間にプロットし、９次元空間においてしきい値を定める超平面または超曲面を設定し、プロットした総数Ｎ１〜Ｎ９がしきい値を定める超平面または超曲面のいずれの側にあるかに応じて、処理対象の顔候補が真の顔であるか否かを判定するようにしてもよい。ここで、簡単のために、判定に使用する顔構成部品を左右の口元Ｋ７，Ｋ８および口の中央部分Ｋ９のみとした場合、総数Ｎ７〜Ｎ９は３次元空間にプロットされる。図４は総数Ｎ７〜Ｎ９を３次元空間にプロットした状態を示す図である。まず、総数Ｎ７〜Ｎ９が図４（ａ）に示すようにプロットされたとすると、そのプロットの位置Ｘ１（Ｎ７，Ｎ８，Ｎ９）は、しきい値を設定する超平面Ａ１よりも上側（すなわち値が大きい側）にある。したがって、図４（ａ）に示すようにプロットがなされた場合は、処理対象の顔候補を真の顔と判定する。

一方、総数Ｎ７〜Ｎ９が図４（ｂ）に示すようにプロットされたとすると、そのプロットの位置Ｘ２（Ｎ７，Ｎ８，Ｎ９）は、しきい値を設定する超平面Ａ１よりも下側（すなわち値が小さい側）にある。したがって、図４（ｂ）に示すようにプロットがなされた場合は、処理対象の顔候補を真の顔でないと判定する。

なお、総数Ｎ１〜Ｎ９のそれぞれについてしきい値Ｔｈ３を超えるか否かを判定し、しきい値Ｔｈ３を超えた総数の数がさらにしきい値Ｔｈ４を超えたときに、処理対象の顔候補を真の顔であると判定してもよい。

ＣＰＵ４０は、操作系２およびＡＦ処理部３０等の各種処理部からの信号に応じてデジタルカメラ１の本体各部を制御する。また、ＣＰＵ４０は、スルー画像の撮影中に、各スルー画像から真の顔を検出するように、顔検出部３７、顔構成部品検出部３８および判定部３９を制御する。なお、判定部３９が真の顔を検出すると、ＣＰＵ４０は、図５に示すように検出した真の顔を矩形の領域Ａ１〜Ａ３で囲んでスルー画像を表示するように表示制御部２７に指示を行う。なお、矩形の領域は顔検出部３７が検出した顔候補の検出枠に相当するものである。

データバス４１は、各種処理部、フレームメモリ２６およびＣＰＵ４０等に接続されており、デジタル画像データおよび各種指示等のやり取りを行う。

次いで、第１の実施形態において行われる処理について説明する。図６は第１の実施形態において行われる処理を示すフローチャートである。デジタルカメラ１の動作モードが撮影モードに設定されることによりＣＰＵ４０が処理を開始し、スルー画像の撮影を行う（ステップＳＴ１）。続いて、顔検出部３７がスルー画像に含まれるすべての顔候補を検出する（ステップＳＴ２）。

次いで、顔構成部品検出部３８が、ｉ番目の顔候補を処理対象の顔候補として、処理対象の顔候補から顔構成部品毎の顔構成部品候補を検出する（ステップＳＴ３）。なお、ｉの初期値は１である。また、処理の順序は、例えばスルー画像上における向かって左側に存在する顔候補から右側に向かって順に行うようにすればよい。

そして、判定部３９が、顔構成部品検出部３８が検出した顔構成部品毎の顔構成部品候補の総数の加算値Ｎｓｕｍがしきい値Ｔｈ２以上であるか否かを判定し（ステップＳＴ４）、ステップＳＴ４が肯定されると、処理対象の顔候補を真の顔と判定して検出する（ステップＳＴ５）。一方、ステップＳＴ４が否定されると、処理対象の顔候補を非顔と判定する（ステップＳＴ６）。

ステップＳＴ５，６に続いて、ＣＰＵ４０がすべての顔候補について判定部３９が判定を終了したか否かを判定し（ステップＳＴ７）、ステップＳＴ７が否定されると、ｉに１を加算し（ステップＳＴ８）、ステップＳＴ３に戻る。ステップＳＴ７が肯定されると、真の顔を矩形領域で囲んだスルー画像をモニタ２８に表示し（ステップＳＴ９）、ステップＳＴ１にリターンする。

このように、第１の実施形態においては、検出された顔構成部品候補の数に基づいて、各顔候補から真の顔を検出するようにしたものである。ここで、顔には、目、鼻および口等の顔構成部品が含まれており、顔候補が真の顔である場合には、１つの顔構成部品について検出される顔構成部品候補が多くなる。したがって、顔候補に含まれる顔構成部品毎の顔構成部品候補の数に基づいて顔候補が真の顔であるか否かを判定することにより、顔候補から真の顔を精度良く検出することができる。

なお、上記第１の実施形態においては、両目の目尻Ｋ１，Ｋ２、両目の目頭Ｋ３，Ｋ４、左右の鼻の穴の脇Ｋ５，Ｋ６、左右の口元Ｋ７，Ｋ８および口の中央部分Ｋ９の９個の顔構成部品を検出しているが、これらをすべて検出する必要はなく、これらの顔構成部品のうちの１以上の顔構成部品の候補を検出するようにしてもよい。この場合、総数の加算値Ｎｓｕｍと比較するしきい値Ｔｈ２は、検出する顔構成部品の数に応じて変更すればよい。なお、検出する顔構成部品が１つのみの場合は、両目の目尻および両目の目頭のうちのいずれか１つを検出することが好ましい。また、検出する顔構成部品は、両目の目尻、両目の目頭、左右の鼻の穴の脇、左右の口元および口の中央部分に限定されるものではなく、眉毛、両目の黒目部分等、顔を構成する部品であれば、任意の構成部品を用いることができる。

次いで、本発明の第２の実施形態について説明する。なお、第２の実施形態においては、判定部３９が行う処理が第１の実施形態と異なるのみであるため、構成についての詳細な説明はここでは省略する。

第２の実施形態においては、判定部（第１の実施形態と異なるため３９Ａとする）が、顔構成部品検出部３８が検出した顔構成部品毎の顔構成部品候補の位置的な尤度を算出し、位置的な尤度に基づいて顔候補が真の顔であるか否かを判定する。ここで、位置的な尤度とは、顔候補の領域内において、検出された顔構成部品候補がどの程度対応する本来あるべき顔構成部品の位置に位置しているかを表す確率である。

ここで、本実施形態においては、９種類の顔構成部品について各顔構成部品の顔候補内における存在確率を表した確率分布があらかじめ求められている。

図７は顔構成部品の存在確率を表す確率分布を示す図である。図７に示す確率分布は、顔候補を検出した検出枠をあらかじめ定められた一定のサイズに正規化した場合における、検出枠内での両目の目尻Ｋ１，Ｋ２、両目の目頭Ｋ３，Ｋ４、左右の鼻の穴の脇Ｋ５，Ｋ６、左右の口元Ｋ７，Ｋ８および口の中央部分Ｋ９の９個の顔構成部品の存在確率の確率分布を表すものである。なお、図７における丸印Ｂ１〜Ｂ９は、それぞれ顔候補の両目の目尻Ｋ１，Ｋ２、両目の目頭Ｋ３，Ｋ４、左右の鼻の穴の脇Ｋ５，Ｋ６、左右の口元Ｋ７，Ｋ８および口の中央部分Ｋ９の存在確率を表す確率分布であり、図７における紙面をＸＹ平面とし、紙面に垂直な方向をＺ方向とした場合、図８の確率分布のプロファイルに示すようにＺ方向が各顔構成部品の存在確率を示すものとなる。したがって、図７における各丸印の中心に近いほど各顔構成部品の存在確率が高いものとなる。

なお、確率分布は多数の顔のサンプル画像を用いてあらかじめ求めておけばよい。

判定部３９Ａは、顔検出部３７が検出した各顔候補を上記一定のサイズに正規化し、正規化した顔候補内の各顔構成部品毎の顔構成部品候補について、対応する顔構成部品の確率分布を参照して存在確率を位置的な尤度として算出する。具体的には、各顔構成部品候補について、対応する顔構成部品の存在確率を表す確率分布付近の位置を求め、その位置における存在確率を位置的な尤度として算出する。これにより、例えば左目目尻の候補１〜４が、図９に示す確率分布Ｂ１付近の位置Ｃ１〜Ｃ４にある場合には、図１０に示すように、位置Ｃ１にある左目目尻候補１の尤度０％、位置Ｃ２にある左目目尻候補２の尤度２％、位置Ｃ３にある左目目尻候補３の尤度９％、位置Ｃ４にある左目目尻候補４の尤度１７％というように、各顔構成部品候補の位置的な尤度が求められる。

さらに判定部３９Ａは、顔構成部品毎に顔構成部品候補の位置的な尤度の平均値を算出する。図１１は２つの顔候補についての顔構成部品毎の顔構成部品候補の位置的な尤度の平均値を示す図である。そして、処理対象の顔候補について、位置的な尤度の平均値がしきい値Ｔｈ５以上となる顔構成部品の数がしきい値Ｔｈ６以上であるか否かを判定し、この判定が肯定された場合に処理対象の顔候補を真の顔であると判定して検出する。例えば、しきい値Ｔｈ５として１３％を、本実施形態においては９個の顔構成部品を用いているためしきい値Ｔｈ６として５を用いるとすると、図１１に示す顔候補１について、位置的な尤度の平均値がしきい値Ｔｈ５以上となる顔構成部品は、左目目尻、左目目頭、右目目頭、左鼻脇、右鼻脇および右口元の６個となり、その数がしきい値Ｔｈ６以上となるため、処理対象の顔候補１は真の顔と判定されて検出される。一方、顔候補２は尤度の平均値がしきい値Ｔｈ５以上となる顔構成部品は０個であるため、顔候補２は真の顔とは判定されない。

次いで、第２の実施形態において行われる処理について説明する。図１２は第２の実施形態において行われる処理を示すフローチャートである。デジタルカメラ１の動作モードが撮影モードに設定されることによりＣＰＵ４０が処理を開始し、スルー画像の撮影を行う（ステップＳＴ１１）。続いて、顔検出部３７がスルー画像に含まれるすべての顔候補を検出する（ステップＳＴ１２）。次いで、顔構成部品検出部３８が、ｉ番目の顔候補を処理対象の顔候補として、処理対象の顔候補から顔構成部品毎の顔構成部品候補を検出する（ステップＳＴ１３）。

そして、判定部３９Ａが、顔構成部品毎に顔構成部品候補の位置的な尤度を算出し（ステップＳＴ１４）、位置的な尤度の平均値がしきい値Ｔｈ５以上となる顔構成部品の数がしきい値Ｔｈ６以上であるか否かを判定する（ステップＳＴ１５）。ステップＳＴ１５が肯定されると、処理対象の顔候補を真の顔と判定して検出する（ステップＳＴ１６）。一方、ステップＳＴ１５が否定されると、処理対象の顔候補を非顔と判定する（ステップＳＴ１７）。

ステップＳＴ１６，１７に続いて、ＣＰＵ４０がすべての顔候補について判定部３９Ａが判定を終了したか否かを判定し（ステップＳＴ１８）、ステップＳＴ１８が否定されると、ｉに１を加算し（ステップＳＴ１９）、ステップＳＴ１３に戻る。ステップＳＴ１８が肯定されると、真の顔を矩形領域で囲んだスルー画像をモニタ２８に表示し（ステップＳＴ２０）、ステップＳＴ１１にリターンする。

このように、第２の実施形態においては、検出された顔構成部品候補の位置、とくに位置的な尤度に基づいて、各顔候補から真の顔を検出するようにしたものである。ここで、顔には、目、鼻および口等の顔構成部品が含まれており、顔候補が真の顔である場合には、顔構成部品候補は対応する顔構成部品の位置に存在することとなる。したがって、顔候補に含まれる顔構成部品候補の位置に基づいて顔候補が真の顔であるか否かを判定することにより、精度良く顔候補から真の顔を検出することができる。

なお、上記第２の実施形態においては、判定部３９Ａが顔構成部品毎の顔構成部品候補の位置的な尤度を算出し、これに基づいて顔候補が真の顔であるか否かを判定しているが、顔構成部品毎の顔構成部品候補の位置関係の尤度を算出し、位置関係の尤度に基づいて顔候補が真の顔であるか否かを判定してもよい。以下、これを第３の実施形態として説明する。

第３の実施形態においては、判定部（第１の実施形態と異なるため３９Ｂとする）は、顔構成部品検出部３８が検出した顔構成部品毎の顔構成部品候補について、顔構成部品候補毎に他の顔構成部品の位置に対する存在確率を位置関係の尤度として算出し、算出した位置関係の尤度に基づいて顔候補が真の顔であるか否かを判定する。

図１３は右目の目頭の、両目の目尻、左目の目頭、左右の鼻の穴の脇、左右の口元および口の中央部分の他の８個の顔構成部品に対する存在確率の確率分布を示す図である。なお、図１３において確率分布Ｂ１１〜Ｂ１８は、それぞれ右目の目頭の、左目の目尻、右目の目尻、左目の目頭、左の鼻の穴の脇、右の鼻の穴の脇、左の口元、右の口元および口の中央部分に対する存在確率の確率分布を示す。

ここで、位置関係の尤度を算出する対象を右目目頭とした場合、第３の実施形態においては、判定部３９Ｂは、顔検出部３７が検出した各顔候補を第２の実施形態と同様に一定のサイズに正規化し、正規化した顔候補内において顔構成部品検出部３８が検出した右目目頭候補毎に、確率分布Ｂ１１〜Ｂ１８を参照して存在確率を仮の位置関係の尤度として算出する。例えば、右目の目頭の、左目の目尻に対する仮の位置関係の尤度１５％、右目の目尻に対する仮の位置関係の尤度１２％、左目の目頭に対する仮の位置関係の尤度１３％、左の鼻の穴の脇に対する仮の位置関係の尤度１０％、右の鼻の穴の脇に対する仮の位置関係の尤度１９％、左の口元に対する仮の位置関係の尤度１３％、右の口元に対する仮の位置関係の尤度１７％および口の中央部分に対する仮の位置関係の尤度１５％というように仮の位置関係の尤度を算出する。

そして判定部３９Ｂは、算出した８個の仮の位置関係の尤度の平均値を算出し、さらにこの平均値のすべての顔構成部品候補についての平均値を、その顔構成部品候補の最終的な位置関係の尤度として算出する。

なお、第３の実施形態においては、右目の目頭のみならず、左目の目尻、右目の目尻、左目の目頭、左の鼻の穴の脇、右の鼻の穴の脇、左の口元、右の口元および口の中央部分についても、それぞれ他の顔構成部品に対する存在確率の確率分布が求められており、判定部３９Ｂは、９個すべての顔構成部品の顔構成部品候補について位置関係の尤度を算出する。そして、判定部３９Ｂは顔構成部品毎に算出した９個の顔構成部品候補の位置関係の尤度がしきい値Ｔｈ７以上となる顔構成部品の数がしきい値Ｔｈ８以上であるか否かを判定し、この判定が肯定された場合に処理対象の顔候補を真の顔であると判定して検出する。

次いで、第３の実施形態において行われる処理について説明する。図１４は第３の実施形態において行われる処理を示すフローチャートである。デジタルカメラ１の動作モードが撮影モードに設定されることによりＣＰＵ４０が処理を開始し、スルー画像の撮影を行う（ステップＳＴ３１）。続いて、顔検出部３７がスルー画像に含まれるすべての顔候補を検出する（ステップＳＴ３２）。次いで、顔構成部品検出部３８が、ｉ番目の顔候補を処理対象の顔候補として、処理対象の顔候補から顔構成部品毎の顔構成部品候補を検出する（ステップＳＴ３３）。なお、ｉの初期値は１である。

そして、判定部３９Ｂが、顔構成部品毎に顔構成部品候補の位置関係の尤度を算出し（ステップＳＴ３４）、位置関係の尤度がしきい値Ｔｈ７以上となる顔構成部品の数がしきい値Ｔｈ８以上であるか否かを判定する（ステップＳＴ３５）。ステップＳＴ３５が肯定されると、処理対象の顔候補を真の顔と判定して検出する（ステップＳＴ３６）。一方、ステップＳＴ３５が否定されると、処理対象の顔候補を非顔と判定する（ステップＳＴ３７）。

ステップＳＴ３６，３７に続いて、ＣＰＵ４０がすべての顔候補について判定部３９Ｂが判定を終了したか否かを判定し（ステップＳＴ３８）、ステップＳＴ３８が否定されると、ｉに１を加算し（ステップＳＴ３９）、ステップＳＴ３３に戻る。ステップＳＴ３８が肯定されると、真の顔を矩形領域で囲んだスルー画像をモニタ２８に表示し（ステップＳＴ４０）、ステップＳＴ３１にリターンする。

このように、第３の実施形態においては、検出された顔構成部品の位置、とくに位置関係の尤度に基づいて、各顔候補から真の顔を検出するようにしたものである。ここで、顔には、目、鼻および口等の顔構成部品が含まれており、顔候補が真の顔である場合には、顔構成部品候補は対応する顔構成部品の位置に存在することとなり、さらに顔構成部品間の位置関係は略決まっている。したがって、顔候補に含まれる顔構成部品候補の位置関係に基づいて顔候補が真の顔であるか否かを判定することにより、顔候補から真の顔を精度良く検出することができる。

なお、上記第３の実施形態においては、９種類の顔構成部品のすべての位置関係の尤度を算出し、位置関係の尤度がしきい値Ｔｈ７以上となる顔構成部品がしきい値Ｔｈ８以上であるか否かに基づいて顔候補が真の顔か否かを判定しているが、９種類の顔構成部品のすべてを用いる必要はなく、少なくとも１つの顔構成部品についての位置関係の尤度に基づいて顔候補が真の顔か否かを判定するようにしてもよい。

また、上記第２および第３の実施形態においては、検出した顔候補の顔構成部品候補が、対応する各顔構成部品の確率分布上に位置していれば、精度よく位置的な尤度および位置関係の尤度を算出することができるが、図１５に示すように顔候補の各顔構成部品候補の位置（図中×で示す）が本来あるべき顔構成部品の位置の確率分布とずれていると、尤度を精度よく算出することができず、その結果、顔候補が真の顔であるか否かを精度よく判定することができない。このため、検出した顔構成部品候補が確率分布内に位置するように、顔候補を正規化することが好ましい。以下、これを第４の実施形態として説明する。

第４の実施形態において、顔候補を正規化するためには、顔候補内の顔構成部品候補のうちのいずれかの顔構成部品候補を対応する顔構成部品の確率分布の中心（すなわち最も確率が高い位置）と一致させるように、顔候補の画像をアフィン変換する。アフィン変換は、平面上の任意の３点を拡大縮小、平行移動および回転することにより任意の３点に移動させる変換であり、具体的には下記の式（１）により表される。

ｘ′＝ａ１・ｘ＋ｂ１・ｙ＋ｄ１
ｙ′＝ａ２・ｘ＋ｂ２・ｙ＋ｄ２ （１）
式（１）より、アフィン変換の係数ａ１，ａ２，ｂ１，ｂ２，ｄ１，ｄ２を算出するためには、顔候補内および顔構成部品の確率分布内においてそれぞれ対応する３点の座標が必要となる。ここで、顔候補および顔構成部品の確率分布において、図１５に示すように左下隅を原点とするＸＹ座標系を考えると、顔構成部品候補Ｐ１〜Ｐ９が確率分布Ｂ１〜Ｂ９の中心に位置するようにアフィン変換の係数を設定する必要がある。第４の実施形態においては、顔構成部品毎に顔構成部品検出部３８が検出した少なくとも１つの顔構成部品候補のうち、マッチング度が最も高い顔構成部品候補を顔構成部品候補を代表する顔構成部品候補Ｐ１〜Ｐ９として選択し、選択した９個の顔構成部品候補Ｐ１〜Ｐ９のうちマッチング度が大きい上位３個の顔構成部品候補を、対応する顔構成部品の確率分布の中心と一致させるようにアフィン変換の係数ａ１，ａ２，ｂ１，ｂ２，ｄ１，ｄ２を算出すればよい。

例えば、図１５に示す顔構成部品候補Ｐ１〜Ｐ９のマッチング度がＰ１＞Ｐ２＞Ｐ３＞Ｐ４＞Ｐ５…である場合には、顔構成部品候補Ｐ１，Ｐ２，Ｐ３を、対応する顔構成部品の確率分布Ｂ１，Ｂ２，Ｂ３の中心とそれぞれ一致させるようにアフィン変換の係数ａ１，ａ２，ｂ１，ｂ２，ｄ１，ｄ２を算出する。

なお、アフィン変換の係数を算出するためには３点の座標を用いるのみならず、４点以上の座標を用いてもよい。例えば、９個の顔構成部品候補Ｐ１〜Ｐ９のすべてを対応する顔構成部品の確率分布Ｂ１〜Ｂ９の中心と一致させるようにアフィン変換の係数を算出してもよい。この場合、変換後の９個の顔構成部品候補Ｐ１〜Ｐ９の座標と、確率分布Ｂ１〜Ｂ９の中心位置の座標との誤差が最小となるように、最小二乗法を用いてアフィン変換の係数を算出すればよい。

次いで、第４の実施形態において行われる処理について説明する。図１６は第４の実施形態において行われる処理を示すフローチャートである。なお、ここでは、第４の実施形態を第２の実施形態に適用した場合の処理について説明するが、第３の実施形態に対しても同様に適用できるものである。

デジタルカメラ１の動作モードが撮影モードに設定されることによりＣＰＵ４０が処理を開始し、スルー画像の撮影を行う（ステップＳＴ４１）。続いて、顔検出部３７がスルー画像に含まれるすべての顔候補を検出する（ステップＳＴ４２）。次いで、顔構成部品検出部３８が、ｉ番目の顔候補を処理対象の顔候補として、処理対象の顔候補から顔構成部品毎の顔構成部品候補を検出する（ステップＳＴ４３）。なお、ｉの初期値は１である。

そして、判定部３９Ａが処理対象の顔候補を正規化し（ステップＳＴ４４）、正規化の後、顔構成部品毎に顔構成部品候補の位置的な尤度を算出し（ステップＳＴ４５）、位置的な尤度の平均値がしきい値Ｔｈ５以上となる顔構成部品の数がしきい値Ｔｈ６以上であるか否かを判定する（ステップＳＴ４６）。ステップＳＴ４６が肯定されると、処理対象の顔候補を真の顔と判定して検出する（ステップＳＴ４７）。一方、ステップＳＴ４６が否定されると、処理対象の顔候補を非顔と判定する（ステップＳＴ４８）。

ステップＳＴ４７，４８に続いて、ＣＰＵ４０がすべての顔候補について判定部３９Ａが判定を終了したか否かを判定し（ステップＳＴ４９）、ステップＳＴ４９が否定されると、ｉに１を加算し（ステップＳＴ５０）、ステップＳＴ４３に戻る。ステップＳＴ４９が肯定されると、真の顔を矩形領域で囲んだスルー画像をモニタ２８に表示し（ステップＳＴ５１）、ステップＳＴ４１にリターンする。

このように、第４の実施形態においては、顔候補の領域内において各顔構成部品候補の位置が対応する顔構成部品の位置に位置するように顔候補をアフィン変換して正規化するようにしたため、より精度良く顔候補から真の顔を検出することができる。

なお、上記第４の実施形態においては、顔候補毎にアフィン変換の係数を算出してアフィン変換を行っているが、すべての顔候補について、各顔構成部品について選択した顔構成部品候補の平均位置を算出し、算出した平均位置が確率分布の中心と一致するようにアフィン変換の係数を算出してもよい。この場合においても、９個の顔構成部品から選択した顔構成部品候補のうちの３つの顔構成部品候補からアフィン変換の係数を算出してもよく、４以上の顔構成部品候補からアフィン変換の係数を算出してもよい。

また、上記第４の実施形態においては、正規化前に顔構成部品毎の顔構成部品候補について仮の位置的な尤度または仮の位置関係の尤度を算出し、仮の位置的な尤度または仮の位置関係の尤度が最も高い上位所定数の顔構成部品候補が、対応する顔構成部品の位置（すなわち存在確率がピークとなる位置）と一致するように、顔候補に対してアフィン変換を施すことにより正規化を行うようにしてもよい。

次いで、本発明の第５の実施形態について説明する。なお、第５の実施形態においては、判定部３９が行う処理が第１の実施形態と異なるのみであるため、構成についての詳細な説明はここでは省略する。

第５の実施形態においては、判定部（第１の実施形態と異なるため３９Ｃとする）が、顔構成部品検出部３８が検出した顔構成部品毎の顔構成部品候補の数に基づいて、顔候補が真の顔、非顔および曖昧顔のいずれかであるかを判定することにより真の顔を検出する第１の判定処理を行い、第１の判定処理により曖昧顔と判定された顔候補について、第２、第３または第４の実施形態と同様に、顔構成部品候補の位置に基づいて顔候補が真の顔であるか否かを判定することにより真の顔を検出する第２の判定処理を行うようにした点が第１の実施形態と異なる。

第５の実施形態における判定部３９Ｃは、第１の判定処理においては、第１の実施形態における判定部３９と同様に９個の顔構成部品Ｋ１〜Ｋ９のそれぞれについての顔構成部品候補の総数Ｎ１〜Ｎ９を算出し、さらに総数Ｎ１〜Ｎ９の加算値であるＮｓｕｍを算出する。そして加算値Ｎｓｕｍがしきい値Ｔｈ９以上である場合に処理対象の顔候補を真の顔であると判定し、その顔候補を真の顔として検出する。また、加算値Ｎｓｕｍがしきい値Ｔｈ１０以上しきい値Ｔｈ９未満である場合に処理対象の顔候補を曖昧顔と判定し、加算値Ｎｓｕｍがしきい値Ｔｈ１０未満である場合に処理対象の顔候補を非顔であると判定する。また、曖昧顔と判定された顔候補に対する上記第２、第３または第４の実施形態のいずれかの処理を第２の判定処理として行う。

次いで、第５の実施形態において行われる処理について説明する。図１７は第５の実施形態において行われる処理を示すフローチャートである。デジタルカメラ１の動作モードが撮影モードに設定されることによりＣＰＵ４０が処理を開始し、スルー画像の撮影を行う（ステップＳＴ６１）。続いて、顔検出部３７がスルー画像に含まれるすべての顔候補を検出する（ステップＳＴ６２）。次いで、顔構成部品検出部３８が、ｉ番目の顔候補を処理対象の顔候補として、処理対象の顔候補から顔構成部品毎の顔構成部品候補を検出する（ステップＳＴ６３）。なお、ｉの初期値は１である。

そして、判定部３９Ｃが第１の判定処理を行う（ステップＳＴ６４）。まず、顔構成部品検出部３８が検出した顔構成部品毎の顔構成部品候補の総数の加算値Ｎｓｕｍがしきい値Ｔｈ９以上であるか否かを判定し（ステップＳＴ６５）、ステップＳＴ６５が肯定されると、処理対象の顔候補を真の顔と判定して検出する（ステップＳＴ６６）。一方、ステップＳＴ６５が否定されると、加算値Ｎｓｕｍがしきい値Ｔｈ１０以上しきい値Ｔｈ９未満であるか否かを判定し（ステップＳＴ６７）、ステップＳＴ６７が否定されると、処理対象の顔候補を非顔と判定する（ステップＳＴ６８）。ステップＳＴ６７が肯定されると、処理対象の顔候補が曖昧顔であるとして、第２の判定処理を行う（ステップＳＴ６９）。

まず、第２の実施形態と同様に、判定部３９Ｃが、顔構成部品毎に顔構成部品候補の位置的な尤度を算出し（ステップＳＴ７０）、顔構成部品毎に尤度の平均値がしきい値Ｔｈ５以上となる顔構成部品の数がしきい値Ｔｈ６以上であるか否かを判定する（ステップＳＴ７１）。なお、ステップＳＴ７０の前に第４の実施形態と同様に処理対象の顔候補を正規化してもよい。また、ステップＳＴ７０，７１の処理を第３の実施形態のステップＳＴ３４，３５の処理と同様に位置関係の尤度を用いて行ってもよい。ステップＳＴ７１が肯定されると、処理対象の顔候補を真の顔と判定して検出する（ステップＳＴ７２）。一方、ステップＳＴ７１が否定されると、処理対象の顔候補を非顔と判定する（ステップＳＴ７３）。

ステップＳＴ６６，６８，７２，７３に続いて、ＣＰＵ４０がすべての顔候補について判定部３９Ｃが判定を終了したか否かを判定し（ステップＳＴ７４）、ステップＳＴ７４が否定されると、ｉに１を加算し（ステップＳＴ７５）、ステップＳＴ６３に戻る。ステップＳＴ７４が肯定されると、真の顔を矩形領域で囲んだスルー画像をモニタ２８に表示し（ステップＳＴ７６）、ステップＳＴ６１にリターンする。

ここで、顔構成部品候補の数に基づいて顔候補が真の顔であるか否かを判定する場合と、顔構成部品候補の位置に基づいて顔候補が真の顔であるか否かを判定する場合とでは、前者の方が演算量が少ない。また、暗いシーンや逆光の撮影時においては顔候補が暗くなるため、その顔候補が真の顔であっても検出される顔構成部品候補の数が少なくなり、その結果、第１の実施形態の処理を行うのみでは、真の顔を非顔と判定してしまうおそれがある。このため、第５の実施形態のように、顔構成部品候補の数に基づいて曖昧顔と判定された顔候補についてのみ、顔構成部品候補の位置に基づいて顔候補が真の顔であるか否かを判定することにより、演算量を低減でき、かつ精度良く顔候補から真の顔を検出することができる。

なお、上記第５の実施形態においては、第１の判定処理として、上記９個の顔構成部品Ｋ１〜Ｋ９のそれぞれについての顔構成部品候補の総数Ｎ１〜Ｎ９を９次元空間にプロットし、９次元空間においてしきい値を定める超平面または超曲面を設定し、プロットした総数Ｎ１〜Ｎ９がしきい値を定める超平面または超曲面のいずれの側にあるかに応じて、顔候補が真の顔、曖昧顔および非顔のいずれであるかを判定するようにしてもよい。

また、上記第５の実施形態においては、第１の判定処理および第２の判定処理を同一の判定部３９Ｃにおいて行っているが、第１および第２の判定処理をそれぞれ行う２つの判定部を設けるようにしてもよい。

次いで、本発明の第６の実施形態について説明する。なお、第６の実施形態においては、顔検出部３７および判定部３９が行う処理が第１の実施形態と異なるのみであるため、構成についての詳細な説明はここでは省略する。

第６の実施形態においては、顔検出部（第１の実施形態と異なるため３７Ａとする）がマッチング度がしきい値Ｔｈ０以上となる検出枠の位置の画像を真の顔として検出する処理（顔検出部のみに基づく処理とする）を行うか、上記第１から第５の実施形態と同様に、マッチング度がしきい値Ｔｈ０以上となる検出枠の位置の画像を顔候補として検出し、検出した顔候補に対して上記第１から第５のいずれかの処理（以下、顔構成部品に基づく処理とする）を行うかを、ユーザによる操作系２からの指示によりＣＰＵ４０が切り替えるようにしたものである。

次いで、第６の実施形態において行われる処理について説明する。図１８は第６の実施形態において行われる処理を示すフローチャートである。デジタルカメラ１の動作モードが撮影モードに設定されることによりＣＰＵ４０が処理を開始し、スルー画像の撮影を行う（ステップＳＴ８１）。続いて、ＣＰＵ４０が顔構成部品に基づく処理を行う設定がなされているか否かを判定し（ステップＳＴ８２）、ステップＳＴ８２が否定されると、顔検出部のみに基づく処理を行う（ステップＳＴ８３）。一方、ステップＳＴ８２が肯定されると顔構成部品に基づく処理を行う（ステップＳＴ８４）。なお、顔構成部品に基づく処理は、上記第１から第５の実施形態のいずれかの処理を用いればよいため、ここでは詳細な説明は省略する。

そして、ＣＰＵ４０が真の顔を矩形領域で囲んだスルー画像をモニタ２８に表示し（ステップＳＴ８５）、ステップＳＴ８１にリターンする。

ここで、顔構成部品に基づく処理は演算量が多いため処理に長時間を要するが、顔検出の精度は高い。一方、顔検出部のみに基づく処理は演算量が少ないが顔検出の精度はそれほど高くない。このため、第６の実施形態のように、顔構成部品に基づく処理と顔検出部のみに基づく処理とを切り替え可能とすることにより、ユーザは、顔検出の精度および演算速度のいずれを優先させるかを任意に切り替えることが可能となる。

なお、上記第６の実施形態においては、ユーザの設定により顔構成部品に基づく処理と顔検出部のみに基づく処理とを切り替えているが、例えばスルー画像を１秒間に３０フレーム撮影する場合において、最初の２５フレーム目までを顔検出部のみに基づく処理を行い、残りの５フレームを顔構成部品に基づく処理を行うようにしてもよい。

次いで、本発明の第７の実施形態について説明する。なお、第７の実施形態においては、顔検出部３７および判定部３９が行う処理が第１の実施形態と異なるのみであるため、構成についての詳細な説明はここでは省略する。

第７の実施形態においては、顔検出部（第１の実施形態と異なるため３７Ｂとする）がマッチング度がしきい値Ｔｈ０以上となる検出枠の位置の画像を真の顔として検出する処理（顔検出部のみに基づく処理とする）を行い、さらに次に撮影されたスルー画像に対して顔検出部のみに基づく処理を行った際に、それまで検出されていた顔が検出されなくなったときに、上記第１から第５の実施形態と同様に、マッチング度がしきい値Ｔｈ０以上となる検出枠の位置の画像を顔候補として検出し、検出した顔候補に対して上記第１から第５のいずれかの処理（以下、顔構成部品に基づく処理とする）を行うようにしたものである。

次いで、第７の実施形態において行われる処理について説明する。図１９は第７の実施形態において行われる処理を示すフローチャートである。デジタルカメラ１の動作モードが撮影モードに設定されることによりＣＰＵ４０が処理を開始し、スルー画像の撮影を行う（ステップＳＴ９１）。次いで、ＣＰＵ４０が顔検出部のみに基づく処理を行い（ステップＳＴ９２）、さらに、１つ前のスルー画像の撮影時に検出された真の顔が再度検出されたか否かを判定する（ステップＳＴ９３）。なお、１回目の処理においては、ステップＳＴ９３の処理はスルーする。

ステップＳＴ９３が否定されると、顔構成部品に基づく処理を行う（ステップＳＴ９４）。なお、顔構成部品に基づく処理は、上記第１から第５の実施形態のいずれかの処理を用いればよいため、ここでは詳細な説明は省略する。

ステップＳＴ９３が肯定された場合およびステップＳＴ９４に続いて、ＣＰＵ４０が真の顔を矩形領域で囲んだスルー画像をモニタ２８に表示し（ステップＳＴ９５）、ステップＳＴ９１にリターンする。

ここで、顔構成部品に基づく処理は演算量が多いため処理に長時間を要するが、顔検出の精度は高い。一方、顔検出部のみに基づく処理は演算量が少ないが顔検出の精度はそれほど高くない。このため、第７の実施形態のように、顔検出部のみに基づく処理により真の顔が検出されなくなったときに顔構成部品に基づく処理を行うことにより、顔検出部のみに基づく処理による真の顔の検出漏れを防止して、精度良く真の顔を検出することができる。

次いで、本発明の第８の実施形態について説明する。図２０は本発明の第８の実施形態による撮影装置を適用したデジタルカメラの構成を示す概略ブロック図である。なお、第８の実施形態において第１の実施形態と同一の構成については同一の参照番号を付与し、ここでは詳細な説明は省略する。第８の実施形態によるデジタルカメラ１Ａは、撮影シーンの明るさを判定するシーン判定部４３を備え、顔検出部３７Ｃによる真の顔の検出およびシーン判定部４３による判定結果を用いての判定部３９Ｄによる顔の検出を行うようにした点が第１の実施形態と異なる。なお、第８の実施形態においては、ＣＰＵ４０が切換手段に対応する。

シーン判定部４３は、スルー画像全体の画素値の平均値を輝度として算出し、算出した輝度がしきい値Ｔｈ１１以上の場合にはシーンが明るいと判定し、輝度がしきい値Ｔｈ１１未満の場合にシーンが暗いと判定する。

第８の実施形態においては、シーン判定部４３によるシーン判定を行い、シーンが明るいと判定された場合には、顔検出部３７Ｃがマッチング度がしきい値Ｔｈ０以上となる検出枠の位置の画像を真の顔として検出する処理（顔検出部のみに基づく処理とする）を行い、シーンが暗いと判定された場合には、上記第１から第５の実施形態と同様に、マッチング度がしきい値Ｔｈ０以上となる検出枠の位置の画像を顔候補として検出し、判定部３９Ｄが検出した顔候補に対して上記第１から第５のいずれかの処理（以下、顔構成部品に基づく処理とする）を行うようにしたものである。また、顔検出部のみに基づく処理を行い、さらに次のスルー画像のシーンをシーン判定部４３が判定した結果、シーンが暗くなった場合に、顔構成部品に基づく処理を行うようにしたものである。

次いで、第８の実施形態において行われる処理について説明する。図２１は第８の実施形態において行われる処理を示すフローチャートである。デジタルカメラ１の動作モードが撮影モードに設定されることによりＣＰＵ４０が処理を開始し、スルー画像の撮影を行う（ステップＳＴ１０１）。続いて、シーン判定部４３がシーン判定を行い、シーンが明るいか否かを判定する（ステップＳＴ１０２）。ステップＳＴ１０２が肯定されると、顔検出部のみに基づく処理を行う（ステップＳＴ１０３）。一方、ステップＳＴ１０２が否定されると顔構成部品に基づく処理を行う（ステップＳＴ１０４）。なお、顔構成部品に基づく処理は、上記第１から第５の実施形態のいずれかの処理を用いればよいため、ここでは詳細な説明は省略する。

そして、ＣＰＵ４０が真の顔を矩形領域で囲んだスルー画像をモニタ２８に表示し（ステップＳＴ１０５）、ステップＳＴ１０１にリターンする。

ここで、顔構成部品に基づく処理は演算量が多いため処理に長時間を要するが、顔検出の精度は高い。一方、顔検出部のみに基づく処理は演算量が少ないが顔検出の精度はそれほど高くない。このため、第８の実施形態のように、シーンが暗い場合にのみ顔構成部品に基づく処理を行うことにより、顔検出部のみに基づく処理による真の顔の検出漏れを防止して、精度良く真の顔を検出することができる。

なお、上記第８の実施形態においては、シーン判定部４３がシーンの明るさを判定しているが、スルー画像の中央付近と周辺部との輝度を比較し、中央付近の輝度が周辺付近の輝度よりも所定値以上暗い場合に、そのシーンは逆光であると判定するようにしてもよい。この場合、逆光であると判定された場合には顔構成部品に基づく処理を行い、逆光でないと判定された場合には顔検出部のみに基づく処理を行えばよい。

以上、本発明の実施形態に係るデジタルカメラについて説明したが、コンピュータを、上記の顔検出部３７Ａ〜３７Ｃ、顔構成部品検出部３８、判定部３９，３９Ａ〜３９Ｄおよびシーン判定部４３に対応する手段として機能させ、図６，１２，１４，１６〜１９，２１に示すような処理を行わせるプログラムも本発明の実施形態の１つである。また、そのようなプログラムを記録したコンピュータ読取り可能な記録媒体も、本発明の実施形態の１つである。

本発明の第１の実施形態による撮影装置を適用したデジタルカメラの構成を示す概略ブロック図 顔候補の検出を説明するための図 顔構成部品候補の検出を説明するための図 顔候補が真の顔であるか否かの判定を説明するための図 真の顔が矩形で囲まれたスルー画像を示す図 第１の実施形態において行われる処理を示すフローチャート 顔構成部品の存在確率の確率分布を示す図 確率分布のプロファイルを示す図 確率分布付近における顔構成部品候補の位置の例を示す図 各顔構成部品候補について算出した位置的な尤度を示す図 ２つの顔候補についての顔構成部品毎の顔構成部品候補の位置的な尤度の平均値を示す図 第２の実施形態において行われる処理を示すフローチャート 右目の目頭の、両目の目尻、左目の目頭、左右の鼻の穴の脇、左右の口元および口の中央部分の他の８個の顔構成部品に対する存在確率の確率分布を示す図 第３の実施形態において行われる処理を示すフローチャート 顔構成部品の位置のずれを説明するための図 第４の実施形態において行われる処理を示すフローチャート 第５の実施形態において行われる処理を示すフローチャート 第６の実施形態において行われる処理を示すフローチャート 第７の実施形態において行われる処理を示すフローチャート 本発明の第８の実施形態による撮影装置を適用したデジタルカメラの構成を示す概略ブロック図 第８の実施形態において行われる処理を示すフローチャート

符号の説明

１ デジタルカメラ
２ 操作系
３ 操作系制御部
６ 撮像系
２８ モニタ
３５ 記録メディア
３７ 顔検出部
３８ 顔構成部品検出部
３９ 判定部
４０ ＣＰＵ
４３ シーン判定部

Claims (12)

1. 連続した撮影により画像を連続して取得する撮影手段と、
   所定サイズの顔検出用の検出枠を前記画像上において移動させ、移動した位置毎に該検出枠内の前記画像から特徴量を算出し、該特徴量とあらかじめ定められた顔特徴量とのマッチング度を算出し、該マッチング度が所定のしきい値以上となったときに前記検出枠の位置の画像を顔候補として検出するか、真の顔として検出するかを切り換える顔検出手段であって、前記連続して取得された画像について、前記検出枠の位置の画像を前記真の顔として検出し、該画像のシーンの明るさが所定の条件を満たさなくなったときに、前記検出枠の位置の画像を前記顔候補として検出する顔検出手段と、
   前記顔検出手段が前記顔候補を検出した場合に、該顔候補に含まれる少なくとも１つの顔構成部品の候補を該顔構成部品毎に検出する顔構成部品検出手段と、
   前記顔構成部品毎に検出された前記顔構成部品候補の数に基づいて、前記顔候補が真の顔であるか否かを判定する判定手段とを備えたことを特徴とする撮影装置。
2. 連続した撮影により画像を連続して取得する撮影手段と、
   所定サイズの顔検出用の検出枠を前記画像上において移動させ、移動した位置毎に該検出枠内の前記画像から特徴量を算出し、該特徴量とあらかじめ定められた顔特徴量とのマッチング度を算出し、該マッチング度が所定のしきい値以上となったときに前記検出枠の位置の画像を顔候補として検出するか、真の顔として検出するかを切り換える顔検出手段であって、前記連続して取得された画像について、前記検出枠の位置の画像を前記真の顔として検出し、該画像のシーンの明るさが所定の条件を満たさなくなったときに、前記検出枠の位置の画像を前記顔候補として検出する顔検出手段と、
   前記顔検出手段が前記顔候補を検出した場合に、該顔候補に含まれる複数の顔構成部品の候補を該顔構成部品毎に検出する顔構成部品検出手段と、
   前記顔構成部品毎に検出された前記顔構成部品候補の位置に基づいて、前記顔候補が真の顔であるか否かを判定する判定手段とを備えたことを特徴とする撮影装置。
3. 前記判定手段は、前記顔候補の領域内における前記各顔構成部品候補の、対応する前記顔構成部品に対する位置的な尤度を算出し、該位置的な尤度に基づいて前記顔候補が真の顔であるか否かを判定する手段であることを特徴とする請求項２記載の撮影装置。
4. 前記判定手段は、前記顔候補の領域内における前記各顔構成部品候補の、対応する前記顔構成部品以外の他の顔構成部品に対する位置関係の尤度を算出し、該位置関係の尤度に基づいて前記顔候補が真の顔であるか否かを判定する手段であることを特徴とする請求項２記載の撮影装置。
5. 前記判定手段は、前記顔候補の領域内において前記各顔構成部品候補の位置が対応する顔構成部品の位置となるように前記顔候補を正規化し、該正規化した前記顔候補内における前記各顔構成部品候補の位置に基づいて、前記顔候補が真の顔であるか否かを判定する手段であることを特徴とする請求項２から４のいずれか１項記載の撮影装置。
6. 連続した撮影により画像を連続して取得する撮影手段と、
   所定サイズの顔検出用の検出枠を前記画像上において移動させ、移動した位置毎に該検出枠内の前記画像から特徴量を算出し、該特徴量とあらかじめ定められた顔特徴量とのマッチング度を算出し、該マッチング度が所定のしきい値以上となったときに前記検出枠の位置の画像を顔候補として検出するか、真の顔として検出するかを切り換える顔検出手段であって、前記連続して取得された画像について、前記検出枠の位置の画像を前記真の顔として検出し、該画像のシーンの明るさが所定の条件を満たさなくなったときに、前記検出枠の位置の画像を前記顔候補として検出する顔検出手段と、
   前記顔検出手段が前記顔候補を検出した場合に、該顔候補に含まれる複数の顔構成部品の候補を該顔構成部品毎に検出する顔構成部品検出手段と、
   前記顔構成部品毎に検出された前記顔構成部品候補の数に基づいて、前記顔候補が真の顔、非顔および曖昧顔のいずれであるかを判定し、該曖昧顔であると判定された前記顔候補について、前記顔構成部品毎に検出された前記顔構成部品候補の位置に基づいて、前記曖昧顔であると判定された顔候補が前記真の顔であるか否かを判定する判定手段とを備えたことを特徴とする撮影装置。
7. 連続した撮影により画像を連続して取得し、
   所定サイズの顔検出用の検出枠を前記画像上において移動させ、移動した位置毎に該検出枠内の前記画像から特徴量を算出し、該特徴量とあらかじめ定められた顔特徴量とのマッチング度を算出し、該マッチング度が所定のしきい値以上となったときに前記検出枠の位置の画像を顔候補として検出するか、真の顔として検出するかを切り換えるに際し、前記連続して取得された画像について、前記検出枠の位置の画像を前記真の顔として検出し、該画像のシーンの明るさが所定の条件を満たさなくなったときに、前記検出枠の位置の画像を前記顔候補として検出し、
   前記顔候補が検出された場合に、該顔候補に含まれる少なくとも１つの顔構成部品の候補を該顔構成部品毎に検出し、
   前記顔構成部品毎に検出された前記顔構成部品候補の数に基づいて、前記顔候補が真の顔であるか否かを判定することを特徴とする撮影方法。
8. 連続した撮影により画像を連続して取得し、
   所定サイズの顔検出用の検出枠を前記画像上において移動させ、移動した位置毎に該検出枠内の前記画像から特徴量を算出し、該特徴量とあらかじめ定められた顔特徴量とのマッチング度を算出し、該マッチング度が所定のしきい値以上となったときに前記検出枠の位置の画像を顔候補として検出するか、真の顔として検出するかを切り換えるに際し、前記連続して取得された画像について、前記検出枠の位置の画像を前記真の顔として検出し、該画像のシーンの明るさが所定の条件を満たさなくなったときに、前記検出枠の位置の画像を前記顔候補として検出し、
   前記顔候補が検出された場合に、該顔候補に含まれる複数の顔構成部品の候補を該顔構成部品毎に検出し、
   前記顔構成部品毎に検出された前記顔構成部品候補の位置に基づいて、前記顔候補が真の顔であるか否かを判定することを特徴とする撮影方法。
9. 連続した撮影により画像を連続して取得し、
   所定サイズの顔検出用の検出枠を前記画像上において移動させ、移動した位置毎に該検出枠内の前記画像から特徴量を算出し、該特徴量とあらかじめ定められた顔特徴量とのマッチング度を算出し、該マッチング度が所定のしきい値以上となったときに前記検出枠の位置の画像を顔候補として検出するか、真の顔として検出するかを切り換えるに際し、前記連続して取得された画像について、前記検出枠の位置の画像を前記真の顔として検出し、該画像のシーンの明るさが所定の条件を満たさなくなったときに、前記検出枠の位置の画像を前記顔候補として検出し、
   前記顔候補が検出された場合に、該顔候補に含まれる複数の顔構成部品の候補を該顔構成部品毎に検出し、
   前記顔構成部品毎に検出された前記顔構成部品候補の数に基づいて、前記顔候補が真の顔、非顔および曖昧顔のいずれであるかを判定し、
   前記曖昧顔であると判定された前記顔候補について、前記顔構成部品毎に検出された前記顔構成部品候補の位置に基づいて、前記曖昧顔であると判定された顔候補が前記真の顔であるか否かを判定することを特徴とする撮影方法。
10. 連続した撮影により画像を連続して取得する手順と、
    所定サイズの顔検出用の検出枠を前記画像上において移動させ、移動した位置毎に該検出枠内の前記画像から特徴量を算出し、該特徴量とあらかじめ定められた顔特徴量とのマッチング度を算出し、該マッチング度が所定のしきい値以上となったときに前記検出枠の位置の画像を顔候補として検出するか、真の顔として検出するかを切り換えるに際し、前記連続して取得された画像について、前記検出枠の位置の画像を前記真の顔として検出し、該画像のシーンの明るさが所定の条件を満たさなくなったときに、前記検出枠の位置の画像を前記顔候補として検出する手順と、
    前記顔候補が検出された場合に、該顔候補に含まれる少なくとも１つの顔構成部品の候補を該顔構成部品毎に検出する手順と、
    前記顔構成部品毎に検出された前記顔構成部品候補の数に基づいて、前記顔候補が真の顔であるか否かを判定する手順とを有することを特徴とする撮影方法をコンピュータに実行させるためのプログラム。
11. 連続した撮影により画像を連続して取得する手順と、
    所定サイズの顔検出用の検出枠を前記画像上において移動させ、移動した位置毎に該検出枠内の前記画像から特徴量を算出し、該特徴量とあらかじめ定められた顔特徴量とのマッチング度を算出し、該マッチング度が所定のしきい値以上となったときに前記検出枠の位置の画像を顔候補として検出するか、真の顔として検出するかを切り換えるに際し、前記連続して取得された画像について、前記検出枠の位置の画像を前記真の顔として検出し、該画像のシーンの明るさが所定の条件を満たさなくなったときに、前記検出枠の位置の画像を前記顔候補として検出する手順と、
    前記顔候補が検出された場合に、該顔候補に含まれる複数の顔構成部品の候補を該顔構成部品毎に検出する手順と、
    前記顔構成部品毎に検出された前記顔構成部品候補の位置に基づいて、前記顔候補が真の顔であるか否かを判定する手順とを有することを特徴とする撮影方法をコンピュータに実行させるためのプログラム。
12. 連続した撮影により画像を連続して取得する手順と、
    所定サイズの顔検出用の検出枠を前記画像上において移動させ、移動した位置毎に該検出枠内の前記画像から特徴量を算出し、該特徴量とあらかじめ定められた顔特徴量とのマッチング度を算出し、該マッチング度が所定のしきい値以上となったときに前記検出枠の位置の画像を顔候補として検出するか、真の顔として検出するかを切り換えるに際し、前記連続して取得された画像について、前記検出枠の位置の画像を前記真の顔として検出し、該画像のシーンの明るさが所定の条件を満たさなくなったときに、前記検出枠の位置の画像を前記顔候補として検出する手順と、
    前記顔候補が検出された場合に、該顔候補に含まれる複数の顔構成部品の候補を該顔構成部品毎に検出する手順と、
    前記顔構成部品毎に検出された前記顔構成部品候補の数に基づいて、前記顔候補が真の顔、非顔および曖昧顔のいずれであるかを判定する手順と、
    前記曖昧顔であると判定された前記顔候補について、前記顔構成部品毎に検出された前記顔構成部品候補の位置に基づいて、前記曖昧顔であると判定された顔候補が前記真の顔であるか否かを判定する手順とを有することを特徴とする撮影方法をコンピュータに実行させるためのプログラム。

Images