JP4658532B2 - 顔を検出する処理方法及び画像中の顔の検出装置 - Google Patents

Description

本発明は、画像中の顔を検出する装置及び方法に関する。

顔検出は、多くのビデオアプリケーション、特に、画像インデックスシステム、及び、ビデオテレフォニーシステムで、変換の質を改善するために生じる問題である。

更に、顔の検出は、顔の自動認識の第一歩である。顔の認識は、最近著しく進歩しており、顔を検出することが、一層期待されている。

−マルチメディアコンテキストでは、顔の検出及び認識を用いる技術により、複数の人物フォトに基づいて顔を注視して照合を繰り返し、それにより、例えば、ある特定人物が写っているフォトを全て見つけることができる。

−そのような技術は、微妙な基準に基づいてビデオを自動的にアーカイブするシネマトグラフィック乃至テレビジョン会社にとって、非常に有益である。

簡単に言うと、顔を検出するアルゴリズムによって、人物フォトを幾つかのカテゴリ、例えば、顔なし、一人の顔、数人の顔、等に分類することができる。

顔の検出の問題には、２タイプのアプローチがある。つまり、モデルベースアプローチと、アピアランスベースアプローチである。

モデルアプローチの場合、シルエット、色、光の変化、テクスチュア、等の点でシークされた対象を単純なやり方で定義するようにされる。これらの方法の欠点は、ルールの点で対象を定義するのが難しいことである。適用されるルールが厳しすぎると、ほんの少しでも基準量の外側の対象は、検出されない。反対に、ルールが曖昧過ぎると、システムは沢山の不所望な対象を検出してしまう。

しかし、アピアランスアプローチの場合、非パラメトリックデシジョン方法（又はクラシファイヤ）、例えば、ニューラルネットワークに頼られる。検出すべき対象を定義するルールは、明確に宣言されておらず、学習セットによって学習される。測度（ｍｅａｓｕｒｅｍｅｎｔ）は、画像、記述子（平均色、ピクセルの色、ウエーブレット変換、等）で形成される。その際、クラシファイヤは、学習セットの記述子を重み付けして、検出されるべき対象が何なのか定義するようにする。その際、ルールは、記述子についての統計的平均である。

そのような解法の原理は、入力画像を小片にセグメント化することであり、これら小片の各々をクラシファイヤに送って、このクラシファイヤによって、ある特定の小片が顔であるかどうか決定する。問題は、前述の小片が有している必要があるサイズを決定することにある。アイデンティティフォトタイプの画像内で、又は、グループフォト内で、顔は必ずしも同じサイズとは限らない。その際、入力画像毎に多重分解能でセグメント化する必要があり、つまり、各１／４画像、それから、各１／８画像、等を、クラシファイヤに送らなければならない。こうすることによって、そのようなシステムは、計算時間の点で非常に貪欲（ｇｒｅｅｄｙ）である。

本発明の課題は、かなりフレキシブルなモデルを使用して、多重分解能でセグメント化せずに、非パラメトリック決定システムに供給される候補セットを減らすことができる簡単な方法を提供することにある。

この課題解決のために、本発明は、複数ピクセルからなる画像中の顔をコンピュータを用いて検出する処理方法を提案するものであり、本発明によると、この処理方法は、
前記コンピュータにより実行される各ステップであって、
画像中の各肌色ピクセルを検出するステップと、
前記画像を同質の各色領域（Ｒ_i）にセグメント化するステップと、
所定の第１の閾値よりも大きな、幾つかの肌色ピクセルを含む領域の前記同質の各色領域（Ｒ_i）の中から、前記肌色領域に対して選択された各領域を選択するステップと、
隣接する前記肌色の同質の各色領域（Ｒ_i）をマージし、該マージの際、マージコストが所定の第２の閾値に達する迄マージするステップであって、前記マージコストは、前記同質の各色領域（Ｒ_i）の形状に関するマージコストと、前記同質の各色領域（Ｒ_i）の色に関するマージコストとを線形的に重み付けする、ステップと、
フォールスポジティブを除外するステップと、
を含み、
前記マージするステップは、
隣接する各領域（Ｒｉ）間の色の平均差を計算することによって、各領域（Ｒ _i ）の色に関するマージコストを計算するサブステップと、
前記領域（Ｒ _i ）のエリアと、前記領域（Ｒ _i ）と同じ重心を有する楕円（Ｅ _i ）のエリアとのオーバラップであって、前記領域（Ｒ _i ）のエリアを最もよくオーバラップするようなオーバラップ、
前記楕円（Ｅ _i ）の外側の前記領域（Ｒ _i ）のピクセル数の総和と、前記領域（Ｒ _i ）の外側の前記楕円（Ｅ _i ）のピクセル数の総和の比の計算により求めた、前記各領域（Ｒ _i ）の楕円性、及び、
２つの隣接領域（Ｒｉ）の楕円性の測度の最大値と、マージされた領域（Ｒ _i ）の楕円性の測度の最大値との差
を計算することによって形状に関するマージコストを計算するサブステップと、
を含むことを特徴とする。

肌色ピクセルの決定ステップが終了して得られる確率マップでなく、入力画像での画像のセグメンテーションを実行することによって、一層良好な精度を所定限界内で可能にすることができる。

更に、領域の形状及び色の両方に基づくマージコストの計算により、顔として可能性のある候補である領域に迅速且つ有効にアプローチすることができるようになる。

有利には、肌色ピクセルを検出するステップは、クロミナンスプレーン内での２次元ガウス確率則の形式で顔の色モデルを定義することを有している。

有利な実施例によると、フォールスポジティブを除外するステップは、マージされた領域の属性を、顔の所定の属性と比較して、顔の属性から離れすぎている属性の領域を除外することを含む。

有利な実施例によると、前記属性は、
領域のサイズ、
領域の形状、
平均色、
主軸に沿った輝度の分散、及び、
これらの属性の任意の組合せ
の中から選択される。

有利な実施例によると、フォールスポジティブを除外するステップは、
マージされた領域に関する少なくとも１つのビジュアル記述子を計算するサブステップと、
顔を含むサンプル画像と顔を全く含まないサンプル画像との間の記述子の空間内の最適な超平面を決定するサブステップと、
前記超平面の正しい側面に位置していない記述子の領域を除外するサブステップと、
を含む。

有利には、記述子は、マージされた楕円を含む最小長方形のウェーブレット変換を実行することによって計算され、及び、前記記述子に、画像の階層的分解によって得られた１２個の詳細画像中のウェーブレット係数の分散を割り当てることによって計算される。

本発明は、複数のピクセルからなる画像中の顔を検出するための装置にも関している。本発明によると、装置は、
画像中の各肌色ピクセルの検出手段と、
画像を同質の各色領域にセグメント化する手段と、
所定の第１の閾値よりも大きな、幾つかの各肌色ピクセルを含む領域の前記同質の各色領域の中から、各肌色領域に対して選択された各領域を選択する手段と、
隣接する肌色の同質の各色領域をマージし、該マージの際、マージコストが所定の第２の閾値に達する迄マージする手段であって、前記マージコストは、同質の各色領域の形状に関するマージコストと、同質の各色領域の色に関するマージコストとを線形的に重み付けする、手段と、
フォールスポジティブを除外する手段と、
を備え、
前記マージする手段は、
隣接する各領域間の色の平均差を計算することによって、各領域の色に関するマージコストを計算する手段と、
前記領域のエリアと、前記領域と同じ重心を有する楕円のエリアとのオーバラップであって、前記領域のエリアを最もよくオーバラップするようなオーバラップ、
前記楕円の外側の前記領域のピクセル数の総和と、前記領域の外側の前記楕円のピクセル数の総和の比の計算により求めた、前記各領域の楕円性、及び、
２つの隣接領域の楕円性の測度の最大値と、マージされた領域の楕円性の測度の最大値との差
を計算することによって形状に関するマージコストを計算する手段と、
を含む
ことを特徴とする。

本発明は、プログラムがコンピュータ上で実行されるときに、請求項１乃至６のいずれか一項に記載の顔を検出するための処理方法の各ステップを実行するためのプログラムコード命令を含むコンピュータプログラムにも関する。

以下、図示の実施例を用いて、本発明について詳細に説明する。

図１は、プレーン（Ｃｂ，Ｃｒ）内の肌色確率則を示す。

使われている色空間は、青色（Ｃｂ）と赤色（Ｃｒ）を記述する２つのコンポーネントから輝度コンポーネントＹを分離する空間（Ｙ，Ｃｂ，Ｃｒ）である。

人間の民族集団（エスニックグループ）がなんであれ、その皮膚の色は、クロミナンスプレーンの精細部分内に位置している。

皮膚の色のモデルを構成するために、幾つかの方法を提案する。

有利な実施例では、皮膚の色は、クロミナンスプレーンの特定プレーン内に位置しているとの前提に従って、皮膚の色モデルを、図１のクロミナンスプレーン（Ｃｂ，Ｃｒ）内に、２次元ガウス確率則の形式で定義する。このガウス確率則のパラメータは、トレーニングによって決定される。

他の実施例では、非パラメトリックアプローチで自己を基礎付けることができる。ｒが赤色を示し、ｇが緑色を示す色ヒストグラムｈ（ｒ，ｇ）の場合、肌色を有するように分類されたピクセルは、サンプルの顔に基づいて経験的に選択した閾値よりも大きい。

肌色ピクセルが識別された場合、画像は、ピクセルよりもむしろ、同質の色領域を識別するように各領域にセグメント化される。

幾つかのセグメンテーション処理が用いられる。

セグメンテーションは、入力画像上で実行され、肌色ピクセルの検出ステップ完了で得られた確率マップでは実行されない。こうすることによって、特に、境界で一層良好な精度を得ることができる。
セグメンテーションは、当業者には公知の方法を使って、色均質度の基準に関してピクセルをクラスタリングすることによって、又は、輪郭検出によって実行するとよい。

従って、第１ステップでは、肌色ピクセルが決定され、第１ステップと平行して実行される第２ステップでは、入力画像が均質色の領域にセグメント化される。

その後、これら２つのステップの完了で、ピクセルの所定パーセンテージ（例えば、５０％より大きい）が肌色のピクセルである領域は、「肌色領域」であると言うことができ、顔のサーチの残部用に保持される。

領域が、肌色の領域であるとして検出された場合、これら各領域の形状を考慮することが望ましい。

出発点の前提は、顔の形状が楕円であるということである。

従って、次のステップは、楕円形状のマクロな肌色領域のマージをすることからなる。

有利には、このステップは、領域ＲＳＳＴ（”ｒｅｃｕｒｓｉｖｅ ｓｈｏｒｔｅｓｔ ｓｐａｎｎｉｎｇ ｔｒｅｅ”を示す頭字語）のマージ処理を行うことからなる。文書”ｕｔｉｌｉｚａｔｉｏｎ ｏｆ ｔｈｅ ｒｅｃｕｒｓｉｖｅ ｓｈｏｒｔｅｓｔ ｓｐａｎｎｉｎｇ ｔｒｅｅ ａｌｇｏｒｉｔｈｍ ｆｏｒ ｖｉｄｅｏ−ｏｂｊｅｃｔ ｓｅｇｍｅｎｔａｔｉｏｎ ｂｙ ２−Ｄ ａｆｆｉｎｅ ｍｏｔｉｏｎ ｍｏｄｅｌｉｎｇ”， Ｅｒｔｅｍ Ｔｕｎｃｅｌ ａｎｄ Ｌｅｖｅｎｔ Ｏｎｕｔａｌ著、ｄｏｃｕｍｅｎｔ ＩＥＥＥ ｔｒａｎｓａｃｔｉｏｎ ＣＳＶＴ、ｖｏｌｕｍｅ １０、２０００年に、そのようなマージ処理について示されている。

各隣接領域間のリンクのリストは更新され、マージコストを増大することによって短縮される。マージコストが最も小さい２つの領域は、所定の最大マージが達成される迄、繰り返しマージされる。

マージの際、色と形状情報が考慮される。

色Ｃ_{ｃｏｌｏｕｒ}に関してマージコストを線形的に重み付けし、形状Ｃ_{ｓｈａｐｅ}に関してマージコストを線形的に重み付けするコスト関数Ｃが用いられる：
Ｃ＝αｃ_ｃ×Ｃ_{ｃｏｌｏｕｒ}＋α_ｆ×Ｃ_{ｓｈａｐｅ}
形状に対して与えられる重みα_ｆは、例えば、色に対して与えられる重みα_ｃの２倍である。

色に関して計算されるマージコストは、各マージ可能領域間の色の平均差を計算することによって得られる。このようにして、マージ領域は、色の均質性を有する。

以下の式で、

は、２つの隣接部の空間ＹＣｂＣｒ中の、従って、マージ可能領域Ｒ１及びＲ２の平均色のベクトルである。色成分が０と２５５との間で符号化されると、分母は、値０と１との間でコストを正規化することができる。

形状に関してマージコストを定義するために、最初に、各領域についての楕円性の測度を定義する。

このために、図２に示されているように、その領域と同じ重心の楕円の特性を定義する。この楕円は、少なくとも、その領域の表面に等しい領域を有しており、その領域を最も良好にオーパラップしている。当業者に公知の所謂”ｍｅｔｈｏｄ ｏｆ ｍｏｍｅｎｔｓ”「積率の方法」を、図示のようにして、この楕円を決定するのに使ってもよい。

各領域Ｒ_ｉには、楕円Ｅ_ｉが関連付けられている。

このようにして、その領域の、及び、その関連する楕円の相互オーパラップを測定することによって、領域Ｒ_ｉの楕円性Ｅ_ｒｉが決定される。つまり、楕円の外側領域の各点、並びに、領域の外側の楕円内の各点が全てカウントされ、その総和が、その楕円のエリアによって正規化され、つまり、この値が大きくなればなるほど、その領域の楕円が小さくなる。

隣接する２つの領域Ｒ_１及びＲ_２の形状に関するマージコストは、マージ可能な２つの領域Ｒ _１ 及びＲ _２ 間の楕円性の測度Ｅ _ｒ１ ＋ _ｒ２ の最大値と、マージされた領域Ｒ１∪Ｒ２の楕円性の測度Ｅ _ｒ１ ∪ _ｒ２ との間の差である。このコストは、マージされた領域がその各部分よりも楕円性が大きい場合には、全て小さい。形状に関するマージコストは、例えば、以下の式によって与えられる：
Ｃ_{ｓｈａｐｅ}＝１／２（１＋Ｍａｘ（Ｅｒ_１，Ｅｒ_２）−Ｅｒ_１ ∪ｒ _２ ）
このステップが完了すると、顔である候補の楕円形状の所定数の肌色領域がある。

これらの各領域間で、いくつかは顔でなく、フォールスポジティブ”ｆａｌｓｅ ｐｏｓｉｔｉｖｅｓ”と呼ばれる。従って、これらの領域を除外することが重要である。

フォールスポジティブを除外するいくつかの方法がある。

２つの方法、パラメトリックアプローチに基づく方法と、クラシファイヤのトレーニングに基づく方法について説明する。
パラメトリックアプローチ
楕円形状の肌色マージ領域の種々の属性が測定される。

これらの属性は、顔に共通である。

以下の点に注意：
−形状は、大きすぎず、小さすぎず、又は、拡がりすぎていてはいけない。
−主軸は、垂直方向から離れすぎてはいけない。
−平均色は肌色である。
−主軸に沿った輝度の分散が大きすぎてはいけない。

別の実施例では、他のパラメータが考慮される。
トレーニングベースアプローチ
この択一的なアプローチでは、候補楕円の各々にビジュアル記述子を計算する。

監視されたクラシファイヤによって、顔を顔でないものから区別することができる。

有利な実施例では、”ＳＶＭ”タイプ（”ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅ”を示す）のクラシファイヤが使われる。

このクラシファイヤは、サンプル及びカウンタサンプルに基づいて提供されるトレーニング期間の過程で、顔と顔でないものとの間の、記述子空間内での最適な超平面（ハイパープレーン）を決定する。このトレーニング期間は、オフラインで実行される。このトレーニング期間が一端実行されると、クラシファイヤは、上述の検出期間に検出されて出てきた候補が顔であるのか顔でないのか決定することができる。

他の実施例では、ｋ−ミーンタイプのクラシファイヤか又はニューラルネットワークを使ってもよい。

いくつかの記述子を使ってもよい。

有利な実施例では、使用される記述子は、図３に示された候補のように、先行ステップで決定される候補楕円を含む長方形のウェーブレット変換（又はサブバンド変換）から出てくる。

記述子は、図４に示されたような画像の階層的な分解によって得られた１２個の詳細な画像、ハッチング領域を除外して示された詳細画像である１２個の詳細画像でのウェーブレット係数の分散から出てくる。

画像をサブバンドに分解する回路は、画像を両方向でロー及びハイ周波数サブバンドにフィルタリングするフィルタセットである。

回路は、画像を４つの解像レベルのサブバンドに分解するために、４つの連続した分解レベルを含む。

サブバンドＬＬ_１は、両方向の画像信号のロー周波数のコンポーネント又は係数を含む。サブバンドＬＨ_１は、第１の方向でのロー周波数係数と、他の方向でのハイ周波数係数とを含む。サブバンドＨＬ_１は、第１の方向でのハイ周波数係数と、第２の方向でのロー周波数係数とを含む。最期に、サブバンドＨＨ_１は、両方向でのハイ周波数係数を含む。

その後、サブバンドＬＬ_１は、上述のようなサブバンドＬＬ_２，ＬＨ_２，ＨＬ_２，ＨＨ_２に分解するのと同じ方式に従って分解される。

サブバンドＬＬ_２は、上述のようなサブバンドＬＬ_３，ＬＨ_３，ＨＬ_３，ＨＨ_３に分解するのと同じ方式に従って分解される。

サブバンドＬＬ_３は、上述のようなサブバンドＬＬ_４，ＬＨ_４，ＨＬ_４，ＨＨ_４に分解するのと同じ方式に従って分解される。

この記述子によって、顔のテクスチュアの特定の属性をつかむことができる。

他の実施例では、楕円の主軸に沿った輝度の分散を示す記述子を使ってもよい。

プレーン（Ｃｂ，Ｃｒ）内の肌色確率ルールを示す図。

形状に関してマージコストを定義する際、その領域と同じ重心の楕円の特性を定義することを示す図。

先行ステップで決定される候補楕円を含む長方形のウェーブレット変換（又はサブバンド変換）から出てくる候補を示す図。

画像の階層的な分解によって得られた１２個の詳細な画像、ハッチング領域を除外して示された詳細画像である１２個の詳細画像でのウェーブレット係数の分散から出てくる記述子。

符号の説明

Ｃｂ，Ｃｒ クロミナンスプレーン
Ｒ１，Ｒ２ マージ可能領域
Ｅ_ｉ 楕円
ＬＬ_１，ＬＬ_２，ＬＨ_２，ＨＬ_２，ＨＨ_２，ＬＬ_２，ＬＬ_３，ＬＨ_３，ＨＬ_３，ＨＨ_３ＬＬ_３，ＬＬ_４，ＬＨ_４，ＨＬ_４，ＨＨ_４ サブバンド

Claims (13)

1. 複数ピクセルからなる画像中の顔をコンピュータを用いて検出する処理方法において、
   前記コンピュータにより実行される各ステップであって、
   画像中の各肌色ピクセルを検出するステップと、
   前記画像を同質の各色領域にセグメント化するステップと、
   所定の第１の閾値よりも大きな、幾つかの肌色ピクセルを含む領域の前記同質の各色領域の中から、前記肌色領域に対して選択された各領域を選択するステップと、
   隣接する前記肌色の同質の各色領域をマージし、該マージの際、マージコストが所定の第２の閾値に達する迄マージするステップであって、前記マージコストは、前記同質の各色領域の形状に関するマージコストと、前記同質の各色領域の色に関するマージコストとを線形的に重み付けする、ステップと、
   フォールスポジティブを除外するステップと、
   を含み、
   前記マージするステップは、
   隣接する各領域間の色の平均差を計算することによって、各領域の色に関するマージコストを計算するサブステップと、
   前記領域のエリアを最もよくオーバラップするような、前記領域と同じ重心を有する楕円を決定し、
   該楕円の外側にある前記領域のピクセル数及び前記領域の外側にある前記楕円のピクセル数をカウントして前記各領域の楕円性を決定し、該カウントされたピクセル数の総和を前記楕円のピクセル数によって正規化し、
   ２つの隣接領域の前記楕円性間の測度の最大値と、マージされた領域の前記楕円性の測度との差を計算することによって、形状に関するマージコストを計算するサブステップと、
   を含む
   ことを特徴とする処理方法。
2. 前記肌色ピクセルを検出するステップは、クロミナンスプレーン内での２次元ガウス確率則の形式で顔の色モデルを定義することを含む請求項１に記載の処理方法。
3. 前記フォールスポジティブを除外するステップは、マージされた領域の属性を、顔の所定の属性と比較して、顔の属性から離れすぎている属性の領域を除外することを含む請求項１又は２に記載の処理方法。
4. 前記属性は、
   領域のサイズ、
   前記領域の形状、
   平均色、
   主軸に沿った輝度の分散、及び、
   これらの属性の任意の組合せ
   の中から選択される
   請求項３に記載の処理方法。
5. 前記フォールスポジティブを除外するステップは、
   マージされた領域に関する少なくとも１つのビジュアル記述子を計算するサブステップと、
   顔を含むサンプル画像と顔を全く含まないサンプル画像との間の記述子の空間内の最適な超平面を決定するサブステップと、
   前記超平面の正しい側面に位置していない記述子の領域を除外するサブステップと、
   を含む
   請求項１乃至４のいずれか一項に記載の処理方法。
6. 前記記述子は、マージされた楕円を含む最小長方形のウェーブレット変換を実行することによって計算され、及び、前記記述子に、画像の階層的分解によって得られた１２個の詳細画像中のウェーブレット係数の分散を割り当てることによって計算される請求項５に記載の処理方法。
7. 画像中の各肌色ピクセルの検出手段と、
   画像を同質の各色領域にセグメント化する手段と、
   所定の第１の閾値よりも大きな、幾つかの各肌色ピクセルを含む領域の前記同質の各色領域の中から、各肌色領域に対して選択された各領域を選択する手段と、
   隣接する肌色の同質の各色領域をマージし、該マージの際、マージコストが所定の第２の閾値に達する迄マージする手段であって、前記マージコストは、同質の各色領域の形状に関するマージコストと、同質の各色領域の色に関するマージコストとを線形的に重み付けする、手段と、
   フォールスポジティブを除外する手段と、
   を備え、
   前記マージする手段は、
   隣接する各領域間の色の平均差を計算することによって、各領域の色に関するマージコストを計算する手段と、
   前記領域のエリアを最もよくオーバラップするような、前記領域と同じ重心を有する楕円を決定し、
   該楕円の外側にある前記領域のピクセル数及び前記領域の外側にある前記楕円のピクセル数をカウントして前記各領域の楕円性を決定し、該カウントされたピクセル数の総和を前記楕円のピクセル数によって正規化し、
   ２つの隣接領域の前記楕円性間の測度の最大値と、マージされた領域の前記楕円性の測度との差を計算することによって、形状に関するマージコストを計算する手段と、
   を含む
   ことを特徴とする、複数ピクセルからなる画像中の顔の検出装置。
8. 前記肌色ピクセルの検出手段は、クロミナンスプレーン内での２次元ガウス確率則の形
   式で顔の色モデルを定義する手段を含む請求項７に記載の検出装置。
9. 前記フォールスポジティブを除外する手段は、マージされた領域の属性を、顔の所定の属性と比較して、顔の属性から離れすぎている属性の領域を除外する手段を含む請求項７又は８に記載の検出装置。
10. 前記属性は、
    領域のサイズ、
    前記領域の形状、
    平均色、
    主軸に沿った輝度の分散、及び、
    これらの属性の任意の組合せ
    の中から選択される
    請求項９に記載の検出装置。
11. 前記フォールスポジティブを除外する手段は、
    マージされた領域に関する少なくとも１つのビジュアル記述子を計算する手段と、
    顔を含むサンプル画像と顔を全く含まないサンプル画像との間の記述子の空間内の最適な超平面を決定する手段と、
    前記超平面の正しい側面に位置していない記述子の領域を除外する手段と、
    を含む
    請求項７乃至１０のいずれか一項に記載の検出装置。
12. 前記記述子は、マージされた楕円を含む最小長方形のウェーブレット変換を実行することによって計算され、及び、前記記述子に、画像の階層的分解によって得られた１２個の詳細画像中のウェーブレット係数の分散を割り当てることによって計算される請求項１１に記載の処理方法。
13. プログラムがコンピュータ上で実行されるときに、請求項１乃至６のいずれか一項に記載の顔を検出するための処理方法の各ステップを実行するためのプログラムコード命令を含むコンピュータプログラム。

Images