JP4881199B2 - 画像評価装置および方法並びにプログラム - Google Patents

Description

本発明は、画像に含まれる顔を用いて画像の評価を行う画像評価装置および方法並びに画像評価方法をコンピュータに実行させるためのプログラムに関するものである。

近年、デジタルカメラの普及と画像を保存しておくための記録媒体の容量が飛躍的に大きくなったことにより、ユーザは多くの画像を１つの記録媒体内に保持することが可能となってきている。その一方で、プリント等の処理をすべき画像を膨大な画像の中から目視により選択するという手間が生じており、効率的に画像を選択するために、画像を評価することにより、最終的にユーザがプリントする画像として判断する前にある程度の条件で画像を絞り込む機能や、ユーザの嗜好に合わせてプリントに適した画像を選択する機能が求められている。

例えば、特許文献１には、画像の明るさ、加速度センサの出力値、ＡＦ評価のいずれかを基準に画像を評価し、評価結果を用いてプリントに不適切な写真を自動的に省く手法が提案されている。

また、特許文献２には、画像に含まれる人物の顔の向きを判定し、判定結果に基づいて画像の評価値を算出し、算出した評価値に基づいて複数の画像から所望の画像を選択する手法が提案されている。

また、特許文献３には、画像において顔が占める割合、目の開き具合、顔の向き、ピント、ブレおよび明るさ等の複数の評価項目を総合した評価結果を用いて画像を評価する手法が提案されている。

また、特許文献４には、画像に含まれる顔領域について、画質を表す特徴ベクトルを算出し、この特徴ベクトルを用いて顔領域の画質を評価する手法が提案されている。

また、特許文献５には、顔の向き、大きさおよび照明条件等の評価結果を用いて、顔の評価を行う手法が提案されている。
特開２００２−１０１７９号公報 特開２００４−３６１９８９号公報 特開２００２−３５８５２２号公報 特開２００５−１２９０７０号公報 特開２００５−２２７９５７号公報

上述したように画像に含まれる顔に基づいて画像の評価を行う手法は各種提案されている。しかしながら、上記特許文献１〜５に記載された手法は、評価項目毎の評価値を単純に算出することにより画像の評価を行っているため、実際に画像を見た者の主観的な評価を必ずしも反映したものとはならず、算出した評価と画像を見た者の評価とが異なるものとなってしまう場合がある。また、上記特許文献１〜５に記載された手法は、複数の顔が含まれた場合に適切な評価を行うことができない。

本発明は上記事情に鑑みなされたものであり、画像に含まれる顔の情報を用いて、より精度良く画像の評価を行うことを目的とする。

本発明による画像評価装置は、少なくとも１つの顔を含む画像から、該顔の数、該顔のサイズ、該顔の前記画像上における位置、該顔の向き、該顔の回転角度および該顔の検出スコアのうち、前記顔の数を含む少なくとも１つの情報を取得する情報取得手段と、
該取得した情報に基づいて統計的に該情報毎の評価結果を表す個別評価値を算出する個別評価値算出手段とを備えたことを特徴とするものである。

「評価値」とは、画像の特徴ベクトル、Ｓ／Ｎ比、および解像度等の画像から定量的に算出することが可能な値ではなく、画像の評価を欲するユーザの可能評価レベルと相関を持つように算出された予測値を意味する。

ここで、「統計的」とは、評価値を算出するに際し、いくつかの仮説に基づいて演繹的に求めるのではなく、多数のサンプル画像の中から選択された好ましいとされる画像の評価値を正解データとして、帰納的に求めることを意味する。なお、正解データはどのように選択してもよいが、被験者が実際に選択した正解データを用いることが好ましい。また、評価値を求めるためのサンプル画像数は、３００以上、好ましくは１０００以上あることが好ましい。

なお、本発明による画像評価装置においては、前記情報取得手段を、さらに前記顔が複数含まれる場合の顔の位置関係および前記顔の正面率の情報の少なくとも１つの情報を取得する手段としてもよい。

ここで、「顔が複数含まれる場合の顔の位置関係」としては、複数の顔のうちの評価の対象となる顔の中心と他の顔の中心とを結ぶ線分が画像の水平線となす角度を用いることができる。

また、本発明による画像評価装置においては、前記個別評価値に基づいて前記顔の評価結果を表す顔評価値を算出する顔評価値算出手段をさらに備えるものとしてもよい。

また、本発明による画像評価装置においては、前記顔評価値に基づいて前記画像の総合的な評価結果を表す総合評価値を算出する総合評価値算出手段をさらに備えるものとしてもよい。

この場合、前記総合評価値算出手段を、前記少なくとも１つの顔から代表顔を選択し、
前記代表顔の前記顔評価値に基づいて前記総合評価値を算出する手段としてもよく、前記顔が複数含まれる場合、該複数の顔の前記顔評価値を重み付け加算して前記総合評価値を算出する手段としてもよい。

また、本発明による画像評価装置においては、前記総合評価値算出手段を、前記顔の数に応じて異なる顔評価値を算出する手段としてもよい。

本発明による画像評価方法は、少なくとも１つの顔を含む画像から、該顔の数、該顔のサイズ、該顔の前記画像上における位置、該顔の向き、該顔の回転角度および該顔の検出スコアのうち、前記顔の数を含む少なくとも１つの情報を取得し、
該取得した情報に基づいて統計的に該情報毎の評価結果を表す個別評価値を算出することを特徴とするものである。

なお、本発明による画像評価方法をコンピュータに実行させるためのプログラムとして提供してもよい。

本発明によれば、少なくとも１つの顔を含む画像から、顔の数、顔のサイズ、顔の画像上における位置、顔の向き、顔の回転角度および顔の検出スコアのうちの、顔の数を含む少なくとも１つの情報が取得され、取得した情報に基づいて統計的に情報毎の評価結果を表す個別評価値が算出される。このため、個別評価値に画像を見る者の趣向を反映させることができ、これにより、個別評価値を用いることにより、より精度良く画像に含まれる顔さらには画像を評価することができる。

以下、図面を参照して本発明の実施形態について説明する。図１は本発明の実施形態による画像評価装置の構成を示す概略ブロック図である。図１に示すように、本実施形態による画像評価装置１は、画像データの記録制御および表示制御等の各種制御を行うとともに、装置１を構成する各部の制御を行うＣＰＵ１２と、ＣＰＵ１２を動作させるプログラム、画像を閲覧するためのビューアソフトおよび各種定数が記録されているＲＯＭ並びにＣＰＵ１２が処理を実行する際の作業領域となるＲＡＭにより構成されるシステムメモリ１４と、各種表示を行う液晶モニタ等からなる表示部１６と、表示部１６を制御する表示制御部１８と、種々の指示を装置１に対して行うためのキーボード、マウスおよびタッチパネル等からなる入力部２０と、入力部２０を制御する入力制御部２２とを備える。

また、画像評価装置１は、画像を表す画像データを記録したメモリカード等のメディアから画像データを読み出したり画像データをメディアに記録したりするための画像読込部２４と、画像読込部２４を制御する画像読込制御部２６と、画像データを含む各種情報および後述する評価値テーブル等を保存するハードディスク２８とを備える。

また、画像評価装置１は、画像から顔を検出する顔検出部３０と、検出した顔から顔の特徴を表す情報である特徴情報を取得する情報取得部３２と、情報取得部３２が取得した特徴情報に基づいて特徴情報毎の個別の評価結果を表す個別評価値を算出する個別評価値算出部３４と、画像に含まれる顔毎の評価値である顔評価値を算出する顔評価値算出部３６と、画像の総合的な評価結果を表す総合評価値を算出する総合評価値算出部３８とを備える。

以下、顔検出部３０、情報取得部３２、個別評価値算出部３４、顔評価値算出部３６および総合評価値算出部３８の機能について、画像評価装置１が行う処理と併せて説明する。

図２は図１に示す画像評価処理１が行う第１の実施形態の処理のフローチャートである。ここで、第１の実施形態においては、顔の数、顔のサイズ、顔の画像上における位置、顔の向き、顔の回転角度、顔の検出スコア、顔が複数含まれる場合の顔の位置関係および顔の正面率のうちの、顔の数を含む少なくとも１つの特徴情報に基づいて個別評価値を算出するものである。このため、第１の実施形態の処理においては、顔評価値算出部３６および総合評価値算出部３８は使用されず、第１の実施形態の処理のみを行う場合、画像評価装置１において顔評価値算出部３６および総合評価値算出部３８は不要となる。なお、以下の説明においては、顔の数、顔のサイズ、顔の画像上における位置、顔の向き、顔の回転角度、顔の検出スコア、顔が複数含まれる場合の顔の位置関係および顔の正面率のそれぞれからの個別評価値の算出について説明する。ここで、評価を行うための画像は画像読込部２４に読み込まれてハードディスク２８に保存されているものとする。

ユーザが入力部１６から画像の評価開始の指示を行うことによりＣＰＵ１２が処理を開始し、まずハードディスク２８から処理の対象となる画像を読み出し（ステップＳＴ１）、顔検出部３０が画像から人物の顔領域を検出する（ステップＳＴ２）。具体的には、基準となる矩形領域により囲まれる平均顔パターンと処理対象の画像とのパターンマッチングを行い、マッチング度が最も大きい画像上の位置において、平均顔パターンが囲まれる矩形領域に対応する位置を顔領域とする手法を用いる。ここで、パターンマッチングとは、平均顔パターンを、そのサイズおよび画像平面上における回転角度をあらかじめ定められた所定量ずつ変更しながら、画像上を少しずつ移動させて、平均顔パターンと画像とのマッチング度を算出する手法である。

なお、顔を検出する手法はこれに限定されるものではなく、例えば顔の多数のサンプル画像を用いてマシンラーニング学習により得られた顔判別器を用いる手法、画像における肌色を有しかつ顔の輪郭形状を囲む矩形の領域を顔領域として検出する手法、顔の輪郭形状をなす領域を顔領域として検出する手法等、任意の手法を用いることができる。なお、処理対象の画像に顔が複数含まれている場合にはすべての顔領域を検出する。

次いで情報取得部３２が、検出した顔領域から画像に含まれる顔の特徴情報を取得する（ステップＳＴ３）。具体的には、顔の数、顔のサイズ、顔の画像上における位置、顔の向き、顔の回転角度、顔の検出スコア、顔が複数含まれる場合の顔の位置関係および顔の正面率のうちうちの、顔の数を含む少なくとも１つの情報を特徴情報として取得する。

ここで、顔の数の情報としては、顔検出部３０が検出した画像に含まれる顔領域の数である。

顔のサイズの情報としては、顔領域内の画素数、顔領域の画像全体に対する割合、顔領域の画像の幅に対する割合等を用いることができる。本実施形態においては、顔領域の画像の幅に対する割合を顔のサイズの情報として取得する。

顔の位置の情報としては、顔領域の中心の位置（例えば顔領域が矩形の場合、対角線の交点）の座標値の画像の横および縦方向の長さに対する割合を使用する。なお、座標は画像を横長となるように配置した場合の左下隅を原点とし、横方向をｘ軸、縦方向をｙ軸とする。ここで、画像のｘ方向の長さが１００、ｙ方向の長さが５０であり、顔領域の中心の位置の座標が（４５，１５）であったとすると、顔の位置の情報は（０．４５，０．３０）となる。また、顔の位置が画像の中央に位置する場合、顔の位置の情報は（０．５０，０．５０）となる。

顔の向きの情報としては、顔領域に含まれる顔の向きが正面または横であることを表す情報を用いることができる。なお、顔の向きは顔領域からさらに目を検出し、検出した目が２つある場合には正面、１つの場合には横向きであるとすればよい。また、顔領域から顔の向きを表す特徴量を求め、その特徴量を用いて顔の向きが正面か横かを決定するようにしてもよい。

顔の回転角度は、顔領域に含まれる顔の画像平面上における回転角度である。ここで、顔の回転角度は、顔検出部３０において顔を検出した際の平均顔パターンの回転角度を用いればよい。なお、回転角度の情報は、３６０度を４５度刻みで表した情報を用いるものとする。これにより、顔の回転角度の情報は、０，４５，９０，１３５，１８０，２２５，２７０，３１５度のいずれかとなる。なお、顔検出部３０が検出した顔の実際の回転角度がこれらの値の間の値となる場合は、近い方の角度に合わせるものとする。例えば、顔検出部３０が検出した顔の実際の回転角度が３０度である場合には、顔の回転角度は４５度であるものとする。

顔の検出スコアとしては、顔検出部３０が算出したマッチング度の値をそのまま用いるものとする。

顔が複数含まれる場合の顔の位置関係は、複数の顔のうちの評価の対象となる顔の中心と他の顔の中心とを結ぶ線分が、画像の水平線となす角度を用いることができる。例えば、図３（ａ）に示すように画像に２つの顔Ｆ１，Ｆ２が含まれる場合には２つの顔Ｆ１，Ｆ２のいずれについても、顔の中心Ｏ１，Ｏ２を結ぶ線分と画像の水平線とがなす角度θ０を用いることができる。また、図３（ｂ）に示すように画像に３つの顔Ｆ３〜Ｆ５が含まれる場合には、顔Ｆ３，Ｆ４の中心Ｏ３，Ｏ４を結ぶ線分と水平線とがなす角度θ１、顔Ｆ３，Ｆ５の中心Ｏ３，Ｏ５を結ぶ線分と水平線とがなす角度θ２、顔Ｆ４，Ｆ５の中心Ｏ４，Ｏ５を結ぶ線分と水平線とがなす角度θ３が求められる。そして、顔Ｆ３を評価の対象とした場合には角度θ１，θ２を、顔Ｆ４を評価の対象とした場合には角度θ１，θ３を、顔Ｆ５を評価の対象とした場合には角度θ２，θ３を用いることができる。

顔の正面率としては、画像に含まれるすべての顔に対する正面を向いた顔の割合である。例えば、画像に４つの顔が含まれており、そのうち正面を向いた顔が１つであるとすると、正面率は２５％となる。

以上より、情報取得部３２は、例えば顔の数として２、１つめの顔について顔のサイズとして０．３０、顔の画像上における位置として（０．４５，０．３０）、顔の向きとして「正面」、顔の回転角度として０度、顔の検出スコアとして５００、顔が複数含まれる場合の顔の位置関係として３０度、および顔の正面率として５０％という特徴情報を取得することができる。また、２つめの顔について顔のサイズとして０．３５、顔の画像上における位置として（０．８５，０．４０）、顔の向きとして「横」、顔の回転角度として０度、顔の検出スコアとして４００、顔が複数含まれる場合の顔の位置関係として３０度、および顔の正面率として５０％という特徴情報を取得することができる。

ここで、本実施形態においては、顔の特徴情報に応じて統計的にあらかじめ決定された、評価値を算出するための評価値テーブルがハードディスク２８に保存されている。図４は顔の数についての評価値テーブルＬＵＴ１を示す図、図５は顔のサイズについての評価値テーブルＬＵＴ２を示す図、図６は顔のｘ方向の位置についての評価値テーブルＬＵＴ３を示す図、図７は顔のｙ方向の位置についての評価値テーブルＬＵＴ４を示す図、図８は顔の向きについての評価値テーブルＬＵＴ５を示す図、図９は顔の回転角度についての評価値テーブルＬＵＴ６を示す図、図１０は顔の検出スコアについての評価値テーブルＬＵＴ７を示す図、図１１は顔の位置関係についての評価値テーブルＬＵＴ８を示す図、図１２は顔の正面率についての評価値テーブルＬＵＴ９−１〜ＬＵＴ９−４を示す図である。ここで、顔の正面率については、画像に含まれる顔数に応じて評価値テーブルが用意されている。

なお、評価値テーブルは、各種顔の数、顔のサイズ、顔の画像上における位置、顔の向き、顔の回転角度、顔の検出スコア、顔が複数含まれる場合の顔の位置関係および顔の正面率となる多数のサンプル画像の評価値を、複数の被験者に採点させた結果に基づいて決定されたものであり、各サンプル画像の顔の数、顔のサイズ、顔の画像上における位置、顔の向き、顔の回転角度、顔の検出スコア、顔が複数含まれる場合の顔の位置関係および顔の正面率と、採点結果の全被験者による平均値との関係をプロットすることにより得られるものである。

ここで、評価値テーブルにおいて、顔の数、顔が複数含まれる場合の顔の位置関係および顔の正面率については満点を０．６点、顔のサイズ、顔の画像上における位置、顔の向き、および顔の回転角度については満点を０．５点、顔の検出スコアについては満点を０．７点としている。

次いで、個別評価値算出部３４は、顔の特徴情報に応じた評価値テーブルをハードディスク２８から読み出し（ステップＳＴ４）、読み出した評価値テーブルおよび顔の特徴情報に基づいて、特徴情報毎の評価結果を表す個別評価値を算出する（ステップＳＴ５）。

すなわち、顔の特徴情報が顔の数である場合には評価値テーブルＬＵＴ１を読み出して個別評価値Ｅ１を算出する。なお、本実施形態においては、顔の特徴として顔の数を必ず含むため、個別評価値Ｅ１は必ず算出される。

また、顔の特徴情報が顔のサイズである場合には評価値テーブルＬＵＴ２を読み出して個別評価値Ｅ２を算出する。また、顔の特徴情報が顔の画像上における位置である場合には評価値テーブルＬＵＴ３，ＬＵＴ４を読み出して個別評価値Ｅ３，Ｅ４を算出する。なお、顔の位置の評価値については、個別評価値Ｅ３と個別評価値Ｅ４とを加算した値を最終的な評価値とすればよい。また、顔の特徴情報が顔の向きである場合には評価値テーブルＬＵＴ５を読み出して個別評価値Ｅ５を算出する。また、顔の特徴情報が顔の回転角度である場合には評価値テーブルＬＵＴ６を読み出して個別評価値Ｅ６を算出する。また、顔の特徴情報が顔の検出スコアである場合には評価値テーブルＬＵＴ７を読み出して個別評価値Ｅ７を算出する。また、顔の特徴情報が顔が複数含まれる場合の顔の位置関係である場合には評価値テーブルＬＵＴ８を読み出して個別評価値Ｅ８を算出する。さらに、顔の特徴情報が顔の正面率である場合には評価値テーブルＬＵＴ９−１〜ＬＵＴ９−４を読み出して個別評価値Ｅ９を算出する。

次いで、個別評価値算出部３４は、処理対象の画像に他の顔領域が含まれるか否かを判定し（ステップＳＴ６）、ステップＳＴ６が否定されると処理を終了する。ステップＳＴ６が肯定されると、処理の対象を次の顔領域に設定して（ステップＳＴ７）、ステップＳＴ３に戻り、ステップＳＴ３以降の処理を繰り返す。これにより、画像に含まれる個々の顔について、少なくとも個別評価値Ｅ１を含む個別評価値Ｅ２〜Ｅ９が算出される。

なお、顔が複数含まれる場合の顔の位置関係の個別評価値Ｅ８については、評価の対象となる顔領域と他の顔領域との位置関係の個別評価値を算出し、算出した個別評価値の平均値を評価の対象となる顔の個別評価値Ｅ８として算出すればよい。例えば、図３（ａ）に示す画像の場合、顔Ｆ１から見た顔Ｆ２の位置関係は４５度であるため、顔Ｆ１についての顔の位置関係の個別評価値Ｅ８は０．４５となる。また、顔Ｆ２から見た顔Ｆ１の位置関係は−４５度であるため、顔Ｆ２についての顔の位置関係の個別評価値Ｅ８は０．４５となる。

一方、図３（ｂ）に示す画像の場合、顔Ｆ３から見た顔Ｆ４の位置関係は８５度であるため評価値は０．３５となる。また、顔Ｆ３から見た顔Ｆ５の位置関係は６０度であるため評価値は０．５１となる。したがって、顔Ｆ３についての顔の位置関係の個別評価値Ｅ８は、０．３５と０．５１の平均値である０．４３となる。また、顔Ｆ４から見た顔Ｆ３の位置関係は−８５度であるため評価値は０．３５となる。また、顔Ｆ４から見た顔Ｆ５の位置関係は２５度であるため評価値は０．３２となる。したがって、顔Ｆ４についての顔の位置関係の個別評価値Ｅ８は、０．３５と０．３２の平均値である０．３３５となる。さらに、顔Ｆ５から見た顔Ｆ３の位置関係は−６０度であるため評価値は０．５１となる。また、顔Ｆ５から見た顔Ｆ４の位置関係は−２５度であるため評価値は０．３２となる。したがって、顔Ｆ５についての顔の位置関係の個別評価値Ｅ８は、０．５１と０．３２の平均値である０．４１５となる。

このように第１の実施形態によれば、画像から、顔の数、顔のサイズ、顔の画像上における位置、顔の向き、顔の回転角度、顔の検出スコア、顔が複数含まれる場合の顔の位置関係および顔の正面率のうちの、顔の数を含む少なくとも１つの特徴情報を取得し、取得した特徴情報に基づいて統計的に特徴情報毎の評価結果を表す個別評価値を算出するようにしたものである。このため、個別評価値に画像を見る者の趣向を反映させることができ、これにより、個別評価値を用いることにより、より精度良く画像を評価することができる。

なお、上記第１の実施形態において、顔の数、顔のサイズ、顔の画像上における位置、顔の向き、顔の回転角度、顔の検出スコア、顔が複数含まれる場合の顔の位置関係および顔の正面率のうちの複数の互いに関連する情報を取得し、互いに関連する情報に基づく評価結果を個別評価値として算出してもよい。

例えば、顔のサイズおよび位置を互いに関連する情報とし、顔のサイズおよび位置に基づいて個別評価値を算出してよい。この場合、ハードディスク２８に、顔のサイズおよび位置に応じて統計的にあらかじめ決定された、評価値を算出するための評価値テーブルが保存される。図１３は顔のサイズおよび顔のｘ方向の位置についての評価値テーブルＬＵＴ１０−１〜ＬＵＴ１０−６を示す図、図１４は顔のサイズおよび顔のｙ方向の位置についての評価値テーブルＬＵＴ１１−１〜ＬＵＴ１１−６を示す図である。図１３に示すように評価値テーブルＬＵＴ１０−１〜ＬＵＴ１０−６は、百分率にて表した場合の顔のサイズが１３．３％、２６．７％、５３．３％、６６．７％、７３．３％および８６．７％のそれぞれについて、横軸にｘ方向の位置の情報を、縦軸に複数の被験者が採点することにより得られた評価値の平均値をプロットしたものである。また、図１４に示すように評価値テーブルＬＵＴ１１−１〜ＬＵＴ１１−６は、百分率にて表した場合の顔のサイズが１３％、２５％、５０％、６３％、７５％および８８％のそれぞれについて、横軸にｙ方向の位置の情報を、縦軸に複数の被験者が採点することにより得られた評価値の平均値をプロットしたものである。

なお、顔のサイズが評価値テーブルＬＵＴ１０−１〜ＬＵＴ１０−６，ＬＵＴ１１−１〜ＬＵＴ１１−６に示したサイズの中間の値となる場合には、最も近い値を有する２つのテーブルを用いた補間演算により評価値を算出すればよい。例えば、顔のサイズが評価値テーブルＬＵＴ１０−１とＬＵＴ１０−２との間にある場合には、評価値テーブルＬＵＴ１０−１とＬＵＴ１０−２とを用いた補間演算により評価値を算出すればよい。

これにより、個別評価値算出部３４は、評価値テーブルＬＵＴ１０−１〜ＬＵＴ１０−６，ＬＵＴ１１−１〜ＬＵＴ１１−６並びに顔のサイズおよび位置の情報に基づいて、画像の評価結果を表す個別評価値Ｅ１０，Ｅ１１を算出し、個別評価値Ｅ１０と個別評価値Ｅ１１とを加算または重み付け加算した値を最終的な個別評価値とすればよい。

なお、互いに関連する情報としては、顔のサイズおよび位置の情報に限定されるものではなく、顔の回転角度および位置の情報、あるいは顔のサイズ、位置および回転角度の情報等、顔のサイズ、顔の画像上における位置、顔の向き、顔の回転角度、顔が複数含まれる場合の顔の位置関係、および顔の検出スコアのうちの互いに関連する任意の複数の情報に基づいて評価値を算出してもよい。この場合、使用する情報に応じて評価値テーブルをあらかじめ作成してハードディスク２８に保存しておけばよい。

次いで、図１に示す画像評価処理１が行う第２の実施形態について説明する。ここで、第２の実施形態においては、顔の数、顔のサイズ、顔の画像上における位置、顔の向き、顔の回転角度、顔の検出スコア、顔が複数含まれる場合の顔の位置関係および顔の正面率のうちの、顔の数を含む少なくとも１つの特徴情報に基づいて各顔毎の評価値である顔評価値を算出するものである。このため、第２の実施形態の処理においては、総合評価値算出部３８は使用されず、第２の実施形態の処理のみを行う場合、画像評価装置１において総合評価値算出部３８は不要となる。なお、第２の実施形態において、個別評価値の算出は上記第１の実施形態と同様に行われるため、ここでは画像に含まれるすべての顔について個別評価値が算出された以降の処理、すなわち図２に示すフローチャートのステップＳＴ５以降の処理についてのみ説明する。また、ここではすべての個別評価値Ｅ１〜Ｅ９が算出されたものとして説明する。

図１５は図１に示す画像評価処理１が行う第２の実施形態の処理のフローチャートである。図２に示すステップＳＴ５に続いて、顔評価値算出部３６が、個別評価値Ｅ１〜Ｅ９を用いて、顔の評価値である顔評価値を算出する（ステップＳＴ２１）。

具体的には、顔の数、顔のサイズ、顔の画像上における位置、顔の向き、顔の回転角度、顔の検出スコア、顔が複数含まれる場合の顔の位置関係および顔の正面率のすべてについての個別評価値Ｅ１〜Ｅ９を下記の式（１）に示すように重み付け加算して顔評価値Ｅｆ０を算出する。

Ｅｆ０＝ΣαｉＥｉ（ｉ＝１〜９） （１）
但しαｉは重み係数である。

図１６は顔評価値Ｅｆ０の算出の具体例を示す図である。個別評価値および重み係数が図１６に示す値を有する場合、顔評価値は０．３６９と求められる。

次いで、顔評価値算出部３６は、処理対象の画像に他の顔領域が含まれるか否かを判定し（ステップＳＴ２２）、ステップＳＴ２２が否定されると処理を終了する。ステップＳＴ２２が肯定されると、処理の対象を次の顔領域に設定して（ステップＳＴ２３）、図２に示すフローチャートのステップＳＴ３に戻り、ステップＳＴ３以降の処理を繰り返す。

このように第２の実施形態においては、個別評価値から各顔の評価値である顔評価値を算出するようにしたため、より精度良く顔を評価することができる。

なお、上記第２の実施形態においては、顔の数、顔のサイズ、顔の画像上における位置、顔の向き、顔の回転角度、顔の検出スコア、顔が複数含まれる場合の顔の位置関係および顔の正面率から顔評価値を算出しているが、さらに複数の互いに関連する情報を用いて顔評価値を算出するようにしてもよい。また、顔の数、顔のサイズ、顔の画像上における位置、顔の向き、顔の回転角度、顔の検出スコア、顔が複数含まれる場合の顔の位置関係および顔の正面率のうちの、顔の数を含む少なくとも１つの情報を用いて顔評価値を算出するようにしてもよい。

また、上記第２の実施形態においては、画像に含まれる顔の数に応じて、取得する特徴情報の種類および重み係数を変更してもよい。図１７は顔数に応じた特徴情報および重み係数の例を示す図である。図１７に示すように、顔の数が１の場合には、顔の数、顔のサイズ、顔の画像上における位置、顔の向き、顔の回転角度および顔の検出スコアのみの個別評価値を算出すればよく、これにより演算量を低減して顔評価値を算出することができる。また、顔が複数の場合には、顔の数、顔のサイズ、顔の画像上における位置、顔の向き、顔の回転角度、顔の検出スコア、顔が複数含まれる場合の顔の位置関係および顔の正面率を取得し、さらには顔数に応じて重み係数を変更することにより、顔数に応じて精度よく顔評価値を算出することができる。

次いで、図１に示す画像評価処理１が行う第３の実施形態について説明する。ここで、第３の実施形態においては、第２の実施形態において算出した顔評価値に基づいて画像の総合的な評価値である総合評価値を算出するものである。なお、第３の実施形態において、顔評価値の算出は上記第２の実施形態と同様に行われるため、ここでは画像に含まれるすべての顔について顔評価値が算出された以降の処理、すなわち図１５に示すフローチャートのステップＳＴ２２が否定された以降の処理についてのみ説明する。

図１８は図１に示す画像評価処理１が行う第３の実施形態の処理のフローチャートである。図１５に示すステップＳＴ２２が否定されると、総合評価値算出部３８が、画像に含まれる顔の代表顔を選択する（ステップＳＴ３１）。具体的には、画像に顔が複数含まれる場合、顔評価値が最大の顔、サイズが最大の顔、画像の最も中央に位置する顔、最も正面を向いている顔、最も垂直に向いている顔、または最も検出スコアが高い顔を代表顔として選択する。なお、これらのうちの複数の条件を満たす顔を代表顔としてもよい。また、画像に含まれる顔が１つのみの場合には、その顔が代表顔となる。

そして、総合評価値算出部３８は、代表顔の顔評価値を画像の総合評価値に決定し（ステップＳＴ３２）、処理を終了する。

図１９は代表顔の選択および総合評価値の決定を説明するための図である。なお、ここでは画像には３つの顔Ｆ１〜Ｆ３が含まれており、顔評価値がそれぞれ０．３８，０．４５，０．４０であったものとする。顔評価値が最大の顔を代表顔とする場合、代表顔は顔Ｆ２となるため総合評価値は０．４５となる。サイズが最大の顔を代表顔とする場合、代表顔は顔Ｆ３となるため総合評価値は０．４０となる。ｘ方向について画像の最も中央に位置する顔を代表顔とする場合、代表顔はｘ方向の位置の情報が０．５に最も近い顔Ｆ２となるため総合評価値は０．４５となる。ｙ方向について画像の最も中央に位置する顔を代表顔とする場合、代表顔はｙ方向の位置の情報が０．５に最も近い顔Ｆ１となるため総合評価値は０．３８となる。最も正面を向いている顔を代表顔とする場合、代表顔は顔Ｆ２となるため総合評価値は０．４５となる。最も垂直に向いている顔を代表顔とする場合、代表顔は顔Ｆ２となるため総合評価値は０．４５となる。検出スコアが最大の顔を代表顔とする場合、代表顔は顔Ｆ１となるため総合評価値は０．３８となる。

このように第３の実施形態においては、顔評価値から画像の総合的な評価値である総合評価値を算出するようにしたため、より精度良く画像を評価することができる。

次いで、図１に示す画像評価処理１が行う第４の実施形態について説明する。ここで、第４の実施形態においては、第２の実施形態において算出した顔評価値に基づいて画像の総合的な評価値である総合評価値を算出するものである。なお、第４の実施形態において、顔評価値の算出は上記第２の実施形態と同様に行われるため、ここでは画像に含まれるすべての顔について顔評価値が算出された以降の処理、すなわち図１５に示すフローチャートのステップＳＴ２２が否定された以降の処理についてのみ説明する。

図２０は図１に示す本発明の画像評価処理１が行う第４の実施形態の処理のフローチャートである。図１５に示すステップＳＴ２２が否定されると、総合評価値算出部３８が、下記の式（２）に示すように画像に含まれる顔の顔評価値を重み付け加算するための重み係数を設定し（ステップＳＴ４１）、設定された重み係数を用いて式（２）により総合評価値を算出し（ステップＳＴ４２）、処理を終了する。

Ｅｓ＝ΣβｊＥｆｊ（ｊは顔評価値の数） （２）
但しβｊは重み係数であり、Σβｊ＝１である。

ここで、重み係数は画像に含まれる顔のうち、画像の中央に近い顔ほど重み係数を大きくするように設定したり、顔のサイズが大きいほど重み係数を大きくするように設定すればよい。

図２１は総合評価値Ｅｓの算出の具体例を示す図である。画像に３つの顔Ｆ１〜Ｆ３が含まれており、顔評価値および重み係数が図２１に示す値を有する場合、総合評価値は０．３６１と求められる。

このように第４の実施形態においては、顔評価値から画像の総合的な評価値である総合評価値を算出するようにしたため、より精度良く画像を評価することができる。

なお、上記第１から第４の実施形態において、顔のサイズおよび位置の情報に基づく評価値を算出する場合において、画像が縦長の画像である場合には、画像の評価が異なるものとなる。このため、画像が縦長の画像である場合には、図２２に示すように各種顔のサイズにおける顔のｘ方向の位置と評価値との関係を規定した評価値テーブルＬＵＴ１２−１〜ＬＵＴ１２−４を用いることが好ましい。

以上、本発明の実施形態に係る装置１について説明したが、コンピュータを、上記の顔検出部３０、情報取得部３２、個別評価値算出部３４、顔評価値算出部３６および総合評価値算出部３８に対応する手段として機能させ、図２，１５，１８，２０に示すような処理を行わせるプログラムも、本発明の実施形態の１つである。また、そのようなプログラムを記録したコンピュータ読取り可能な記録媒体も、本発明の実施形態の１つである。これらの場合において、評価値テーブルは、プログラム内あるいは同一の記録媒体内に含まれているものであってもよいし、外部の装置や別個の媒体から提供されるものであってもよい。

本発明の実施形態による画像評価装置の構成を示す概略ブロック図 本発明の第１の実施形態の処理のフローチャート 顔が複数含まれる場合の顔の位置関係を示す図 顔の数についての評価値テーブルＬＵＴ１を示す図 顔のサイズについての評価値テーブルＬＵＴ２を示す図 顔のｘ方向の位置についての評価値テーブルＬＵＴ３を示す図 顔のｙ方向の位置についての評価値テーブルＬＵＴ４を示す図 顔の向きについての評価値テーブルＬＵＴ５を示す図 顔の回転角度についての評価値テーブルＬＵＴ６を示す図 顔の検出スコアについての評価値テーブルＬＵＴ７を示す図 顔が複数含まれる場合の顔の位置関係についての評価値テーブルＬＵＴ８を示す図 顔の正面率についての評価値テーブルを示す図 顔のサイズおよび位置についての評価値テーブルを示す図（ｘ方向） 顔のサイズおよび位置についての評価値テーブルを示す図（ｙ方向） 本発明の第２の実施形態の処理のフローチャート 顔評価値算出の具体例を示す図 顔数に応じた特徴情報および重み係数の例を示す図 本発明の第３の実施形態の処理のフローチャート 代表顔の選択および総合評価値の決定を説明するための図 本発明の第４の実施形態の処理のフローチャート 総合評価値の算出の具体例を示す図 画像が縦長の場合の顔のサイズおよび位置についての評価値テーブルを示す図（ｘ方向）

符号の説明

１ 画像評価装置
１２ ＣＰＵ
１４ システムメモリ
１６ 表示部
１８ 表示制御部
２０ 入力部
２２ 入力制御部
２４ 画像読込部
２６ 画像読込制御部
２８ ハードディスク
３０ 顔検出部
３２ 情報取得部
３４ 個別評価値算出部
３６ 顔評価値算出部
３８ 総合評価値算出部

Claims (9)

1. 複数の顔を含む画像から、該複数の顔の位置関係、該顔の数、該顔のサイズ、該顔の前記画像上における位置、該顔の向き、該顔の回転角度および該顔の検出スコアのうち、前記複数の顔の位置関係および前記顔の数を含む少なくとも２つの情報を取得する情報取得手段と、
   該取得した情報に基づいて統計的に該情報毎の評価結果を表す個別評価値を算出する個別評価値算出手段とを備えたことを特徴とする画像評価装置。
2. 前記情報取得手段は、さらに前記顔の正面率の情報を取得する手段であることを特徴とする請求項１記載の画像評価装置。
3. 前記個別評価値に基づいて前記顔の評価結果を表す顔評価値を算出する顔評価値算出手段をさらに備えたことを特徴とする請求項１または２記載の画像評価装置。
4. 前記顔評価値に基づいて前記画像の総合的な評価結果を表す総合評価値を算出する総合評価値算出手段をさらに備えたことを特徴とする請求項３記載の画像評価装置。
5. 前記総合評価値算出手段は、前記複数の顔から代表顔を選択し、
   前記代表顔の前記顔評価値に基づいて前記総合評価値を算出する手段であることを特徴とする請求項４記載の画像評価装置。
6. 前記総合評価値算出手段は、前記顔が複数含まれる場合、該複数の顔の前記顔評価値を重み付け加算して前記総合評価値を算出する手段であることを特徴とする請求項４記載の画像評価装置。
7. 前記総合評価値算出手段は、前記顔の数に応じて異なる顔評価値を算出する手段であることを特徴とする請求項３から６のいずれか１項記載の画像評価装置。
8. 複数の顔を含む画像から、該複数の顔の位置関係、該顔の数、該顔のサイズ、該顔の前記画像上における位置、該顔の向き、該顔の回転角度および該顔の検出スコアのうち、前記複数の顔の位置関係および前記顔の数を含む少なくとも２つの情報を取得し、
   該取得した情報に基づいて統計的に該情報毎の評価結果を表す個別評価値を算出することを特徴とする画像評価方法。
9. 複数の顔を含む画像から、該複数の顔の位置関係、該顔の数、該顔のサイズ、該顔の前記画像上における位置、該顔の向き、該顔の回転角度および該顔の検出スコアのうち、前記複数の顔の位置関係および前記顔の数を含む少なくとも２つの情報を取得する手順と、
   該取得した情報に基づいて統計的に該情報毎の評価結果を表す個別評価値を算出する手順とを有することを特徴とする画像評価方法をコンピュータに実行させるためのプログラム。

Images