JP2016103242A - 画像処理方法、画像処理装置、及びプログラム - Google Patents

Abstract

【課題】 人肌領域を検出する際の誤検出や未検出を低減する。【解決手段】 本発明の画像処理装置は、人体の肌領域を抽出すべき画像を取得して、その画像から人体パーツの領域を推定する。そして、推定した人体パーツ領域の肌属性を推定するとともに、推定した肌属性に基づいて人体パーツ領域を修正する。そして、推定した人体パーツの肌属性と修正された人体パーツ領域とに基づいて取得した画像から肌領域を抽出する。【選択図】 図１

Description

本発明は、画像や映像内に存在する人肌領域を抽出するための画像処理方法、画像処理装置、及びプログラムに関する。

従来から、画像内の人肌領域を検出する方法が知られている。非特許文献１には、肌の色情報に基づきＧｌｏｂａｌ ｓｋｉｎ ｐｒｏｂａｂｉｌｉｔｙ ｍａｐを生成するとともに、顔検出結果を利用して Ｌｏｃａｌ ｓｋｉｎ ｍｏｄｅｌを生成し、これらを統合することで人肌領域の検出する方法が提案されている。

特開２０１０−２７１８６１号

Ｍ． Ｋａｗｕｌｏｋ，Ｊ． Ｋａｗｕｌｏｋ，Ｊ． Ｎａｌｅｐａ，Ｍ． Ｐａｐｉｅｚ "Ｓｋｉｎ Ｄｅｔｅｃｔｉｏｎ Ｕｓｉｎｇ Ｓｐａｔｉａｌ Ａｎａｌｙｓｉｓ Ｗｉｔｈ Ａｄａｐｔｉｖｅ Ｓｅｅｄ，" ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ（ＩＣＩＰ），２０１３． Ｐ． Ｆｅｌｚｅｎｓｚｗａｌｂ，Ｄ． ＭｃＡｌｌｅｓｔｅｒ，Ｄ． Ｒａｍａｎａｎ，"Ａ Ｄｉｓｃｒｉｍｉｎａｔｉｖｅｌｙ Ｔｒａｉｎｅｄ，Ｍｕｌｔｉｓｃａｌｅ，Ｄｅｆｏｒｍａｂｌｅ Ｐａｒｔ Ｍｏｄｅｌ，" ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ（ＣＶＰＲ），２００８． Ｎ． Ｄａｌａｌ，Ｂ． Ｔｒｉｇｇｓ， "Ｈｉｓｔｏｇｒａｍｓ ｏｆ ｏｒｉｅｎｔｅｄ ｇｒａｄｉｅｎｔｓ ｆｏｒ ｈｕｍａｎ ｄｅｔｅｃｔｉｏｎ，" ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ（ＣＶＰＲ），２００５． Ｍ． Ａｎｄｒｉｌｕｋａ， Ｓ． Ｒｏｔｈ， Ｂ． Ｓｃｈｉｅｌｅ，"Ｐｉｃｔｏｒｉａｌ Ｓｔｒｕｃｔｕｒｅｓ Ｒｅｖｉｓｉｔｅｄ： Ｐｅｏｐｌｅ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ａｒｔｉｃｕｌａｔｅｄ Ｐｏｓｅ Ｅｓｔｉｍａｔｉｏｎ，" ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ（ＣＶＰＲ），２００９． Ｌ． Ｂｒｅｉｍａｎ，"Ｒａｎｄｏｍ Ｆｏｒｅｓｔｓ，" Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ，Ｖｏｌ． ４５，Ｎｏ． １，ｐｐ． ５−３２，２００１． Ｖ． Ｖａｐｎｉｋ，"Ｔｈｅ Ｎａｔｕｒｅ ｏｆ Ｓｔａｔｉｓｔｉｃａｌ Ｌｅａｒｎｉｎｇ Ｔｈｅｏｒｙ，" Ｓｐｒｉｎｇｅｒ−Ｖｅｒｌａｇ，Ｎｅｗ Ｙｏｒｋ，１９９５． Ｙ． Ｆｒｅｕｎｄ，Ｒ． Ｅ． Ｓｃｈａｐｉｒｅ，"Ａ ｄｅｃｉｓｉｏｎ−ｔｈｅｏｒｅｔｉｃ ｇｅｎｅｒａｌｉｚａｔｉｏｎ ｏｆ ｏｎ−ｌｉｎｅ ｌｅａｒｎｉｎｇ ａｎｄ ａｎ ａｐｐｌｉｃａｔｉｏｎ ｔｏ ｂｏｏｓｔｉｎｇ，" Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｌｅａｒｎｉｎｇ Ｔｈｅｏｒｙ： Ｅｕｒｏｃｏｌｔ，ｐｐ． ２３−３７，１９９５．

しかしながら、非特許文献１のように、色情報に基づいて人肌領域を検出する方法では、人肌領域でないが人肌に近い色の領域を人肌と誤検出したり、陰の影響よって人肌が検出できないことがあった。

上記課題を解決するために、本発明は、人体の肌領域を抽出すべき画像を取得する取得手段と、前記取得した画像において人体パーツの領域を推定するパーツ推定手段と、前記推定した人体パーツ領域の肌属性を推定する肌属性推定手段と、前記推定した肌属性に基づいて前記人体パーツ領域を修正するパーツ修正手段と、前記推定した人体パーツの肌属性と前記修正された人体パーツ領域とに基づいて前記取得した画像から肌領域を抽出する肌領域抽出手段と、を有することを特徴とする。

以上の構成によれば、本発明は、人肌領域を検出する際の誤検出や未検出を低減することが可能となる。

第１の実施形態に関わる画像処理装置の概略ブロック図。 第１の実施形態に関わる学習処理を示すフローチャート。 第１の実施形態において肌属性に応じた生成モデルの概念図。 第１の実施形態に関わる検出処理を示すフローチャート。

［第１の実施形態］
以下、図面を参照して本発明の実施形態を詳細に説明する。

本実施形態の説明では、人体部位として頭、胴、左右の上腕（肩−肘）、左右の前腕および手（肘−手の先）、左右の大腿（腰−膝）、左右の下腿および足（膝−足の先）を扱い、各人体部位に対応する外接矩形を人体パーツと称す。また、人体全体を囲む外接矩形をルート人体パーツと称する。

図１は画像処理装置の機能構成を示すブロック図である。図１（Ａ）において、本実施形態の画像処理装置１００は、学習部１１０と検出部１２０とにより構成されている。学習部１１０は、学習データ取得部１１１、パーツ推定器学習部１１２、パーツ別肌属性処理部１１３、学習結果出力部１１６を備えている。また、パーツ別肌属性処理部１１３は、パーツ別肌属性特徴量抽出部１１４とパーツ別肌属性識別器学習部１１５とを含む。

また、検出部１２０は、検出データ取得部１２１、パーツ推定部１２２、肌属性探索・パーツ修正部１２３、肌領域抽出部１２４、検出結果出力部１２５により構成される。

また、図１（Ｂ）は、肌属性探索・パーツ修正部１２３の構成を示すブロック図である。同図に示されるように、肌属性探索・パーツ修正部１２３は、パーツ領域内肌属性特徴量抽出部１２６、肌属性仮推定部１２７、パーツ構成修正部１２８を含む。

図１に示される画像処理装置の各機能部は、ネットワークまたは各種記録媒体を介して取得したソフトウェア（プログラム）を、ＣＰＵ、メモリ、ストレージデバイス、入出力装置、バスなどにより構成される計算機にて実行することで実現できる。また、不図示の計算機については、汎用の計算機を用いても良いし、ソフトウェアに最適に設計されたハードウェアを用いても良い。

本実施形態の画像処理装置１００による肌領域検出処理の動作は学習部１１０による学習処理と検出部１２０による検出処理に大きくは分けられる。この二つの処理は連続して行われる必要はなく、また一度学習処理を実行しておけば、検出処理のみを任意のタイミングで行うことも可能である。図２は、本実施形態における肌領域検出処理のための学習処理を示すフローチャートである。

まず、ステップＳ２０１において、学習データ取得部１１１は、正例画像群、負例画像群、および正例関心領域情報を学習用データとして取得する。正例関心領域情報とは、各正例画像の認識対象となるオブジェクトに関する情報のことである。本実施形態では、正例関心領域情報として、人体パーツの領域に関わる情報として境界矩形情報、また肌色に関わる情報として肌領域マスク情報、さらに肌属性情報とルート人体パーツの矩形情報が正例画像ごとに与えられる。ここで、肌属性とは肌の色の見え方を決定する要素であり、本実施形態では肌種別と照明条件とから構成される。肌種別は黒人、白人、黄色人種の３種別で構成され、照明条件は光源種別と反射強度とから構成される。光源種別には太陽光、蛍光灯、白熱灯、ＬＥＤの４種別があり、反射強度には陰なし、薄い影、濃い陰の３種別がある。これらの学習用データは必要に応じて加工され、パーツ推定器学習部１１２およびパーツ別肌属性特徴量抽出部１１４に渡される。

ステップＳ２０２において、パーツ推定器学習部１１２は、人体検出にも適用可能なＤｅｆｏｒｍａｂｌｅ Ｐａｒｔｓ Ｍｏｄｅｌの手法によりパーツ推定器を学習する（非特許文献２参照）。

非特許文献２の方法では、１つのオブジェクトがツリーモデルの組み合わせで表現され、ツリーのノードがオブジェクトの部分領域をモデル化したもの（パーツモデル）に対応する。各パーツモデルは、識別時にあらかじめ定めた範囲内で位置の変動が許されている。以下、このようなモデルを利用した検出器を以後パーツ検出器と称する。

非特許文献２のモデルはルートモデルとパーツモデルとから成る。ルートモデルは識別対象となるオブジェクト全体をモデル化したものである。パーツモデルは複数の矩形領域から成り、オブジェクトの部分領域をモデル化する。パーツモデルを生成する解像度はルートモデルの２倍の解像度に設定される。特徴量には輝度勾配に基づいて抽出されるＨＯＧ特徴（非特許文献３）を利用する。オブジェクトの識別時には、パーツモデルごとに識別スコアを算出し、それらの総計スコアに基づいて識別を行う。スコアの算出には数１式で表される識別関数を利用する。

ただし、数１式の第一項目は、学習によって得られるルートモデルおよびパーツモデルの重みベクトルＦ_ｉと画像から得られた特徴ベクトルφ（Ｈ，ｐ_ｉ）とから計算されるスコアを表す。ルートモデルあるいはパーツモデルの重みベクトルＦ_ｉについては、以後ルートフィルタあるいはパーツフィルタと称する。特徴ベクトルφ（Ｈ，ｐ_ｉ）は、各モデルに対応したスケール画像内の矩形領域においてＨＯＧ特徴を走査順に連結して得られる特徴ベクトルである。なお、以降では、ルートモデルに対応する矩形領域をルート矩形領域、パーツモデルに対応する矩形領域をパーツ矩形領域と称する。

特徴ベクトルφ（Ｈ，ｐ_ｉ）において、ＨはＨＯＧ特徴ピラミッドを表す。ここで、ｐ_ｉは以下の数２式で構成され、ｉ＝０の場合はルート矩形領域、ｉ＞０の場合はパーツ矩形領域を表す。

ここで、ｌ_ｉはＨＯＧ特徴ピラミッドの階層を表すインデクス、（ｘ_ｉ，ｙ_ｉ）はパーツ矩形領域ｐ_ｉのｌ_ｉ上での中心座標である。

数１式の第二項目はパーツモデルの位置変動に関するコスト関数に相当する。コスト関数は、パーツフィルタのルートフィルタに対する相対的な位置関係に基づいて定義されている。ここで、ａ_ｉおよびｂ_ｉは学習によって得られるコスト関数の係数である。ｘ’_ｉとｙ’_ｉは定義されるパーツ矩形領域のルート矩形領域に対する正規化した相対位置の変動を表し、以下の数３式で定義される。

ただし、（ｘ，ｙ）はルート境界矩形の中心座標、ｖ_ｉはルートモデルの基準中心座標とパーツモデルの基準中心座標との相対的な位置関係を表す２次元ベクトルである。基準中心座標は学習時に隠れ変数として決定される（後述）。ｓ_ｉは、ｐ_ｉに対応するパーツ矩形領域のサイズである。なお、右辺の分子の第二項目の“２”は、ルートフィルタの座標スケールをパーツフィルタの座標スケールに合致させるための係数である。

学習では数１式を下記の数４式で表現したときのβとｚとを求める。

ただし、

である。

ここで、ｚは学習によって同時に決定されるルートモデルおよびパーツモデルの基準配置（基準中心座標、基準スケール）を表す隠れ変数であり、以下の数７式で表される。

非特許文献２の手法では、ルートモデルの他に１０個のパーツモデルを利用するようになっており、ステップＳ２０２においても、パーツ推定器学習部１１２は前述した人体パーツを各パーツモデルに対応させる。パーツ推定器学習部１１２は、学習データ取得部１１１より、正例画像群として人体が写った画像、負例画像群として人体が写っていない画像、正例関心領域情報の一部としてルート人体パーツ情報を受取る。そして、パーツ推定器学習部１１２は、ルート人体パーツに対応するルートモデルと各人体パーツに対応するパーツモデルとから成るパーツ推定器を学習し、学習により生成したパーツ推定器を学習結果出力部１１６に渡す。

一方、ステップＳ２０３において、パーツ別肌属性特徴量抽出部１１４は、人体パーツを指定するための変数である人体パーツインデクスｉを０に初期化する。

次に、ステップＳ２０４において、パーツ別肌属性特徴量抽出部１１４は、人体パーツインデクスｉの値を調べ、全ての人体パーツに対する処理が完了したかを判定する。全ての人体パーツに対する処理が完了していない場合はステップＳ２０５に進み、処理が完了している場合はステップＳ２１１に進む。

ステップＳ２０５では、パーツ別肌属性特徴量抽出部１１４が、肌属性を指定するための変数である肌属性インデクスｃを０に初期化する。本実施形態では、肌種別として黒人、白人、黄色人種の３種類、光源種別として太陽光、蛍光灯、白熱灯、ＬＥＤの４種類、反射強度として陰なし、薄い影、濃い陰の３種類をとれるようにしている。肌属性情報は、これらの組合せとして表現されるように構成されているため、全インデクス数は３６種となる。

ステップＳ２０６では、パーツ別肌属性特徴量抽出部１１４が、肌属性インデクスｃの値をチェックし、全ての肌属性について処理が完了したか否かを判定する。処理が完了している場合には、ステップＳ２１０に進み、人体パーツインデクスｉをインクリメントして、ステップＳ２０４に処理を移す。全ての肌属性についての処理が完了していない場合は、処理をステップＳ２０７に移す。

ステップＳ２０７では、パーツ別肌属性特徴量抽出部１１４が、学習データ取得部１１１から受取った正例画像群から正例関心領域情報を参照することで、着目人体パーツ（インデクスｉ）の着目肌属性（インデクスｃ）の特徴量を収集する。肌属性特徴量の収集は、パーツ別肌属性特徴量抽出部１１４が、関心領域情報に含まれる着目人体パーツに対する肌領域マスクを使って肌領域を特定し、肌領域を構成するピクセルごとに色情報を表すＲＧＢ値をベクトル化することで行う。

次に、ステップＳ２０８では、パーツ別肌属性識別器学習部１１５が、ステップＳ２０７で抽出した肌属性特徴量から着目肌属性（インデクスｃ）の識別器を肌属性識別器として学習する。図３は、本実施形態において、肌属性に対応して生成される生成モデルの概念図である。本実施形態では、生成モデルに基づいた肌属性識別器を利用するために、下記の数８式に従い、最尤推定により肌種別ごとにガウス分布を生成する。

ただし、ｃは肌属性インデクス、Ｐ_Ｌ（ｃ）は着目人体パーツにおける肌属性ｃの事前確率、φ^Ｌ _ｃは正例関心領域情報として入力された肌属性情報により着目人体パーツに対して肌属性ｃと与えられた領域から抽出した肌属性特徴量である。また、μ_ｃとΣはそれぞれ前述の肌属性特徴量の平均および分散共分散である。

そして、ステップＳ２０９において、パーツ別肌属性識別器学習部１１５が肌属性インデクスｃをインクリメントし、処理をステップＳ２０６に移す。

そして、ステップＳ２１１において、学習結果出力部１１６は、パーツ推定器学習部１１２から渡されたパーツ推定器とパーツ別肌属性処理部１１３から渡された肌属性識別器とを、画像処理装置に設けられた不図示の記憶装置（メモリ、ＨＤＤ等）に格納する。

なお、上記ステップＳ２０７における肌属性特徴量の収集はＲＧＢ値をベクトル化することで行うものとしたが、肌属性を表現できれば必ずしもＲＧＢ値である必要はない。ＹＣｂＣｒやＹＵＶといった他の色空間から得られる値で肌属性特徴量を収集するように構成してもよい。

あるいは、人体パーツ構成を姿勢の観点でグループ分けし、グループごとにモデルを生成するように構成してもよい。この場合、後述の人体パーツ検出時には、生成した各グループモデルと照合して最もスコアの高いモデルを採用するように構成すればよい。

また、パーツ別肌属性処理部１１３は、人体パーツごとに肌属性識別器を学習するように構成したが、人体パーツごとに分けず、全ての人体パーツに共通した肌属性識別器を学習するように構成してもよい。

次に、検出部１２０による人肌領域の検出処理について説明する。図４は、本実施形態における肌領域検出処理のための学習処理を示すフローチャートである。

まず、ステップＳ４０１において、検出データ取得部１２１は検出対象画像を取得する。

続いて、ステップＳ４０２では、パーツ推定部１２２が各人体パーツ領域を推定する。この各人体パーツ領域の推定は、パーツ推定器学習部１１２で生成されたパーツ推定器を用いて非特許文献２の方法で行う。そのため、ここで推定される人体パーツ領域は矩形領域となる。なお、パーツ推定器はパーツ推定器学習部により学習され、画像処理装置に設けられた不図示の記憶装置（メモリ、ＨＤＤ等）に格納されている。

ステップＳ４０３において、肌属性探索・パーツ修正部１２３は、人体パーツインデクスｉを０に初期化する。ここで、人体パーツインデクスとは、パーツ推定部１２２で推定した各人体パーツを指定するための変数である。

ステップＳ４０４では、肌属性探索・パーツ修正部１２３がパーツインデクスｉの値を調べ、全ての人体パーツに対する処理が完了したかを判定する。全ての人体パーツに対する処理が完了していない場合は処理をステップＳ４０５に移し、完了している場合は処理をステップＳ４０７に移す。

ステップＳ４０５では、パーツ領域内肌属性特徴量抽出部１２６が、現在着目している人体パーツ領域の内側のピクセルごとに学習時と同様の方法で肌属性特徴量を抽出する。

次に、ステップＳ４０６において、肌属性仮推定部１２７が、先のステップＳ４０５で抽出した肌属性特徴量から着目人体パーツｉの肌属性を仮推定する。本実施形態では、下記の数９式を用いて肌属性の仮推定を行い、肌属性として肌属性インデクスｃを推定する。

ここで、ｃは肌属性インデクス、ｐ_ｉは着目人体パーツ（ここではインデクスｉを持つものとする）のパーツ境界矩形、ｊはｐ_ｉ内部のピクセルを表すインデクス、Ｍはｐ_ｉ内部の総ピクセル数である。また、Ｐ_Ｌ（ｃ）は学習時に計算された着目人体パーツにおける肌属性ｃの事前確率、φ^Ｌ _ｉｊは着目人体パーツｉ内部のピクセルｊ上で算出された肌属性特徴量、Ｐ_Ｌ（φ^Ｌ _ｉｊ｜ｃ）は肌属性特徴量φ^Ｌ _ｉｊの肌属性インデクスｃに対する尤度である。

このようにして、本実施形態では、数９式で得られたｃを着目人体パーツが属する肌属性とする。ただし、ρ（ｃ）の値があらかじめ定めたしきい値より小さい場合、着目人体パーツには属する肌属性はないものとする。

その後、ステップＳ４０９で、パーツ領域内肌属性特徴量抽出部１２６はパーツインデクスｉのインクリメントを行い、処理をステップＳ４０４に戻す。

ステップＳ４０７では、パーツ構成修正部１２８が、肌属性仮推定部１２７により推定した肌属性を利用して各人体パーツの構成の更新を行う。本実施形態では、各人体パーツの構成の更新として、位置、スケール、回転角度の更新を行う。

このステップＳ４０７では、パーツ構成修正部１２８が、まず、人体パーツごとに現在の人体パーツのパーツ矩形領域を基準に、近傍の配置（位置、スケール、回転角度）を探索し、以下の数１０式を満たす配置を仮決定する。ただし、本実施形態では、各人体パーツの構成の更新にあたって、構成の探索範囲に制限を加える。位置の探索範囲については、パーツ矩形領域の幅をＷ、高さをＨとしたときに、現在のパーツ矩形領域を左右Ｗ／２、上下Ｈ／２ずつ拡張した範囲内でのみ探索する。また、スケールの探索範囲については、ＨＯＧ特徴ピラミッドの現在のスケールに加えて上下２スケールを探索範囲とする。さらに、回転の探索範囲については、現在のパーツ矩形領域の方向を０°としたときに、−１８０°〜＋１８０°の範囲で３０°刻みで探索する。

ここで、ｃはステップＳ４０６において肌属性仮推定部１２７により推定された肌属性インデクスである。また、φ’^Ｌ _ｉｊは、探索配置における着目人体パーツｉ内部のピクセルｊ上で算出された肌属性特徴量である。

次に、パーツ構成修正部１２８は、パーツ推定部１２２と同様の方法により各人体パーツの構成を探索、更新する。ただし、識別関数には数１１式を用いる。

ここで、第一項目のｓｉｇｍｏｉｄ（ｘ）は、以下の数１２式で表されるシグモイド関数である。

また、ｘ’^θ _ｉとｙ’^θ _ｉは数１０式で仮決定した基準配置に基づいて算出されるパーツフィルタのルートフィルタに対する正規化した相対位置であり、以下の数１３式で定義される。

ただし、（ｘ^θ，ｙ^θ）は数１０式で仮決定した回転角度におけるルートフィルタの座標である。また、ｖ^θ _ｉは（ｘ^θ，ｙ^θ）と数１０式で仮決定したｐｉの基準中心座標との相対的な位置関係を表す２次元ベクトル、ｓ_ｉはｐ_ｉに対応するパーツ矩形領域のサイズである。なお、右辺の分子の第二項目の“α”は、ルートフィルタの座標スケールをパーツフィルタの座標スケールに合致させるための係数である。第二項目のρ’（ｃ）は数１０式のρ’（ｃ）と同じであり、ｎは人体パーツの総数である。ｃは、ステップＳ４０６において肌属性仮推定部１２７により仮推定された肌属性インデクスである。また、ｗ_ｅとｗ_ｃは以下の数１４式を満たす重み配分係数である。

すなわち、数１１式では、肌属性を考慮しないスコア（第一項）と肌属性を考慮したスコア（第二項）との正規化重み付き和を計算することになる。この式では、肌属性の合致度に応じてスコアがかさ上げされる。肌属性の影響がないか、あるいは肌属性の影響が小さい場合には非特許文献２と同様にＨＯＧ特徴に基づいてスコアを算出することになる。

ステップＳ４０８において、パーツ構成修正部１２８は、ステップＳ４０７で修正された今回の配置と前回の配置とを比較する。本実施形態では、座標スケールを一致させて各パーツ境界矩形の中心位置のずれについての総和を算出し、総和がしきい値未満であれば収束したものとみなす。そして、パーツ構成修正部１２８により、人体パーツ構成の修正が収束したと判断した場合（ステップＳ４０８でＮｏ）には、処理をステップＳ４１０に移し、収束していない場合には処理をステップＳ４０４に戻す。

上記の処理によりパーツ構成の修正が完了すると、次にステップＳ４１０に進み、肌領域抽出部１２４が肌領域を抽出する。本実施形態では、各人体パーツのパーツ矩形領域内部の各画素ｊについて、以下の数１５式を満たす画素ｊ’を肌領域に属する画素として抽出する。

その後、ステップＳ４１１で、検出結果出力部１２５が検出結果を出力する。本実施形態では、検出結果として人体パーツごとに、肌領域、肌属性、パーツ矩形領域を出力する。

以上のように、本実施形態では、まず人体パーツ領域を推定し（Ｓ４０２）、その後、推定した人体パーツ領域内の肌属性特徴量を抽出し、肌属性を推定する（Ｓ４０６、Ｓ４０７）。そして、推定した肌属性に基づいて人体パーツ構成を修正、更新する（Ｓ４０７）。人体パーツ構成の修正、更新が収束していると判断されるまで、人体パーツ領域ごとの肌属性推定と、肌属性に基づく人体パーツ構成の更新とが複数回繰り返し行われ、以上の処理が完了した後、肌領域の抽出が行われる。そのため、本実施形態では、精度良く人体パーツ構成が推定された状態で肌領域が抽出できるようになり、人肌領域を検出する際の誤検出や未検出が低減され、人肌領域の検出精度が向上する。

また、本実施形態では、肌種別、光源種別、反射強度の各要素から成る肌属性ごとに学習した肌属性識別器を利用して、肌領域を抽出するように構成している。これにより、例えば、人体パーツごとに照明条件（光源種別、反射強度）が異なるような画像においても、高精度に肌領域を検出することができる。

また、上記説明では、パーツ構成修正部１２８による探索範囲を一律に定めたが、人体パーツごとに別々に探索範囲を定めるようにしてもよい。例えば、足に関する人体パーツについては回転の探索範囲を−９０°〜＋９０°に制限するように構成することも可能である。

また、パーツ推定器学習部１１２が正例関心領域情報として入力された人体パーツ情報から人体モデルを作成し、パーツ推定部１２２は人体モデルにおける各人体パーツ位置の存在確率が最も高い場所を各パーツ検出時の初期位置とすることもできる。

また、上記説明では、各パーツ境界矩形の中心位置のずれについての総和を算出し、総和がしきい値未満であれば収束したものとみなして、次工程に進むようにしているが、これを別の構成としてもよい。たとえば、人体パーツ領域ごとの肌属性推定と、肌属性に基づく人体パーツ構成の更新とを予め定めた所定回数を行った時点で、収束したものとして次工程に進むようにしてもよい。

また、パーツ推定部１２２もしくは肌属性探索・パーツ修正部１２３は、顔検出処理を行い、顔検出結果を利用して人体パーツ領域の推定、更新を行うように構成してもよい。本実施形態の場合、たとえば顔領域に対応する人体パーツ領域を固定するとともに、その人体パーツ領域のインデクスをｆとして、数４式もしくは数１１式におけるＦ_ｆ・φ（Ｈ，ｐ_ｆ）で得られるスコアを固定する。そして、パーツモデルｆの位置変動に関するコスト関数値を０にする。顔検出処理については、たとえば特許文献１に記載の方法を利用することができる。

あるいは、顔検出処理において顔の肌属性を推定するようにし、パーツ修正部１２３が探索する肌属性インデクスｃの値を制限するように構成してもよい。たとえば、顔検出の結果「黄色人種」と推定された場合は、黄色人種に属するインデクスｃのみを探索対象にすればよい。

また、パーツ修正部１２３は、信頼できる人体パーツ構成を固定するように構成してもよい。たとえば、ステップＳ４０７において数１１式により各人体パーツの構成を探索、更新する前に、以下の数１６式を満たす人体パーツｉを信頼できる人体パーツとして選択する。

ただし、ｔｈはしきい値である。

そして、信頼できる人体パーツを選択したら、信頼できる人体パーツ領域を固定するとともに、その人体パーツ領域のインデクスをｋとして、数１１式におけるＦ_ｋ・φ（Ｈ，ｐ_ｋ）で得られるスコアを固定する。また、信頼できる人体領域パーツモデルｋの位置変動に関するコスト関数値を０にすればよい。

あるいは、検出データ取得部１２１が肌属性に係る情報も取得することで、パーツ修正部１２３において探索する肌属性インデクスｃの値を制限するように構成してもよい。たとえば、ユーザが「黄色人種」として、その肌属性の情報を検出データ取得部１２１が取得することにより、パーツ修正部１２３は黄色人種に属するインデクスｃのみを探索対象にすればよい。

［第２の実施形態］
以下、本発明の第２の実施形態について説明する。第２の実施形態として、識別モデルに基づいた肌属性識別器を利用して肌領域を抽出する方法について説明する。なお、第１の実施形態で既に説明した構成については同一の符号を付し、その説明を省略する。

本実施形態では、識別モデルとしてＲａｎｄｏｍ Ｆｏｒｅｓｔｓを利用する方法について説明する。なお、Ｒａｎｄｏｍ Ｆｏｒｅｓｔｓについては、非特許文献５に記載されている。

本実施形態においても、学習部１１０による学習処理は、第１の実施形態と同様に図２に示されるフローチャートに従って実行される。処理の内容が第１の実施形態と異なるのは、ステップＳ２０７における肌属性特徴量の収集、およびステップＳ２０８における肌属性識別器の学習である。

本実施形態では、ステップＳ２０７において、パーツ別肌属性特徴量抽出部１１４が、着目人体パーツ（インデクスｉ）について着目肌属性（インデクスｃ）の肌属性特徴量を収集する。これは、パーツ別肌属性特徴量抽出部１１４が、学習データ取得部１１１から渡された正例画像群から正例関心領域情報を参照することにより行う。

まず、パーツ別肌属性特徴量抽出部１１４は、正例画像群から正例用肌属性特徴量を抽出する。その際、パーツ別肌属性特徴量抽出部１１４は、正例関心領域情報に含まれる着目人体パーツに対する肌領域マスクを使って肌領域を特定する。本実施形態では、正例用肌属性特徴量として、特定した肌領域を構成するピクセルごとに色空間情報であるＲ、Ｇ、Ｂ、Ｙ、Ｕ、Ｖ、Ｃｂ、Ｃｒ、Ｈ、Ｓ、Ｖの各値を抽出する。

次に、パーツ別肌属性特徴量抽出部１１４は、インデクスｃ負例画像群から負例用肌属性特徴量を抽出する。インデクスｃ負例画像群とは、学習データ取得部１１１から渡された負例画像群と正例画像群中のインデクスがｃ以外の画像のことである。本実施形態では、パーツ別肌属性特徴量抽出部１１４は、インデクスｃ負例画像群からランダムに画像を選択し、選択した画像からランダムにピクセルを選択して色空間情報であるＲ、Ｇ、Ｂ、Ｙ、Ｕ、Ｖ、Ｃｂ、Ｃｒ、Ｈ、Ｓ、Ｖの各値を抽出する。

続いて、ステップＳ２０８において、パーツ別肌属性識別器学習部１１５は、ステップＳ２０７で収集した肌属性特徴量から着目肌属性（インデクスｃ）の識別器を肌属性識別器として学習する。本実施形態では、ステップＳ２０７で収集した正例用肌属性特徴量と負例用肌属性特徴量とからＲａｎｄｏｍ Ｆｏｒｅｓｔｓを生成する。説明変数にはＲ、Ｇ、Ｂ、Ｙ、Ｕ、Ｖ、Ｃｂ、Ｃｒ、Ｈ、Ｓ、Ｖの各値を用いる。なお、本実施形態では、決定木の本数Ｔの値、およびノードの深さＤについては事前の予備実験により定める。

次に、本実施形態における検出部１２０による検出処理について説明する。本実施形態の識別処理も、第１の実施形態と同様に、図４に示すフローチャートに従って実行される。以下、第１の実施形態と処理の内容が異なる工程について説明を行う。

本実施形態では、ステップＳ４０５では、パーツ領域内肌属性特徴量抽出部１２６が、現在着目している人体パーツ領域の内側のピクセルごとに学習時と同様の方法で肌属性特徴量を抽出する。本実施形態では、パーツ領域内肌属性特徴量抽出部１２６は、ピクセルごとにＲ、Ｇ、Ｂ、Ｙ、Ｕ、Ｖ、Ｃｂ、Ｃｒ、Ｈ、Ｓ、Ｖの各値を抽出する。

続いて、ステップＳ４０６において、肌属性仮推定部１２７は、ステップＳ４０５により抽出した肌属性特徴量から着目人体パーツｉの肌属性を仮推定する。本実施形態では、各肌属性特徴量を肌属性ごとにＴ本の決定木に入力し、肌属性ごとの出力平均値を算出する。そして、最も大きい出力平均値をＥ^ｃ _ｍａｘとして、Ｅ^ｃ _ｍａｘとなる肌属性ｃを着目人体パーツが属する肌属性とする。ただし、最も大きい出力平均値があらかじめ定めたしきい値より小さい場合、着目人体パーツには属する肌属性はないものとする。

ステップＳ４０７において、パーツ構成修正部１２８は、肌属性仮推定部１２７が推定した肌属性を利用して各人体パーツの構成の更新を行う。本実施形態においても、パーツ構成修正部１２８は、人体パーツ構成の更新として位置、スケール、回転角度の更新を行う。パーツ構成修正部１２８は、まず、人体パーツごとに現在の人体パーツのパーツ矩形領域を基準に、近傍の配置（位置、スケール、回転角度）を探索し、下記の数１７式を満たす配置を仮決定する。ただし、各人体パーツの構成の更新にあたって、人体パーツ構成の探索範囲に制限を加える。位置の探索範囲についてはパーツ矩形領域の幅をＷ、高さをＨとしたときに、現在のパーツ矩形領域を左右Ｗ／２、上下Ｈ／２ずつ拡張した範囲内でのみ探索する。また、スケールの探索範囲についてはＨＯＧ特徴ピラミッドの現在のスケールに加えて上下２スケールを探索範囲とする。さらに、回転の探索範囲については現在のパーツ矩形領域の方向を０°としたときに、−１８０°〜＋１８０°の範囲で３０°刻みで探索する。

ここで、ｃはステップＳ４０６において肌属性仮推定部１２７が推定した肌属性インデクスである。

次に、パーツ推定部１２２と同様の方法により各人体パーツの構成を探索、更新する。ただし、識別関数には第１の実施形態と同様に数１１式を用いる。

上記の処理により人体パーツ構成の更新が完了すると、次にステップＳ４１０で、肌領域抽出部１２４が肌領域を抽出する。本実施形態において、肌領域抽出部１２４は、各人体パーツのパーツ矩形領域内部の各画素ｊについて、以下の数１８式を満たす画素ｊ’を肌領域に属する画素として抽出する。

以下、ステップＳ４１１については、第１の実施形態と同様に、検出結果出力部１２５が検出結果を出力する。

本実施形態では識別モデルとして Ｒａｎｄｏｍ Ｆｏｒｅｓｔｓ を利用するように構成したが、他の識別モデルを利用してもよい。他の識別モデルとしては、たとえばＳＶＭ（非特許文献６）やＡｄａＢｏｏｓｔ（非特許文献７）を利用することができる。

以上のように、本実施形態においても、人体パーツ構成の修正、更新が収束していると判断されるまで、人体パーツ領域ごとの肌属性推定と、肌属性に基づく人体パーツ構成の更新が交互に行われ、以上の処理が完了した後、肌領域の抽出が行われる。そのため、本実施形態では、精度良く人体パーツ構成が推定された状態で肌領域が抽出できるようになり、人肌領域を検出する際の誤検出や未検出が低減され、人肌領域の検出精度が向上する。

また、本発明は、上記実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。また、本発明は、複数の機器から構成されるシステムに適用しても、１つの機器からなる装置に適用してもよい。本発明は上記実施例に限定されるものではなく、本発明の趣旨に基づき種々の変形（各実施例の有機的な組合せを含む）が可能であり、それらを本発明の範囲から除外するものではない。即ち、上述した各実施例及びその変形例を組み合わせた構成も全て本発明に含まれるものである。

１００ 画像処理装置
１１０ 学習部
１１１ 学習データ取得部
１１２ パーツ推定器学習部
１１３ パーツ別肌属性処理部
１１４ 別肌属性特徴量抽出部
１１５ パーツ別肌属性識別器学習部
１１６ 学習結果出力部
１２０ 検出部
１２１ 検出データ取得部
１２２ パーツ推定部
１２３ 肌属性探索・パーツ修正部
１２４ 肌領域抽出部
１２５ 検出結果出力部
１２６ パーツ領域内肌属性特徴量抽出部
１２７ 肌属性仮推定部
１２８ パーツ構成修正部

Claims (20)

1. 人体の肌領域を抽出すべき画像を取得する取得手段と、
   前記取得した画像において人体パーツの領域を推定するパーツ推定手段と、
   前記推定した人体パーツ領域の肌属性を推定する肌属性推定手段と、
   前記推定した肌属性に基づいて前記人体パーツ領域を修正するパーツ修正手段と、
   前記推定した人体パーツの肌属性と前記修正された人体パーツ領域とに基づいて前記取得した画像から肌領域を抽出する肌領域抽出手段と、
   を有することを特徴とする画像処理装置。
2. 前記肌属性推定手段による前記人体パーツ領域の肌属性の推定と、前記パーツ修正手段による前記人体パーツ領域の修正とを複数回繰り返すことを特徴とする請求項１に記載の画像処理装置。
3. 前記パーツ修正手段は、前記人体パーツ領域を修正する前と修正した後の前記人体パーツ領域の位置のずれを所定の値と比較し、
   前記位置のずれが前記所定の値よりも小さくなるまで、前記肌属性推定手段による前記人体パーツ領域の肌属性の推定と、前記パーツ修正手段による前記人体パーツ領域の修正とを繰り返すことを特徴とする請求項２に記載の画像処理装置。
4. 前記人体パーツ領域の肌属性に関わる特徴量を抽出する特徴量抽出手段を更に有し、
   前記肌属性推定手段は、前記抽出された特徴量に基づいて前記人体パーツ領域の肌属性を推定することを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記取得手段は更に、前記抽出すべき肌領域に関わる情報を取得し、
   前記肌属性推定手段は、前記取得した情報に基づいて前記人体パーツ領域の肌属性を推定することを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記パーツ推定手段は、前記画像の輝度勾配に基づいて人体パーツ領域を推定することを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
7. 前記パーツ修正手段は、前記人体パーツ領域の位置、領域の範囲、サイズ、スケールの少なくとも１つを修正することを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
8. 前記パーツ推定手段は、前記取得した画像より顔領域を検出し、当該検出された顔領域に基づいて前記人体パーツ領域を推定することを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
9. 前記パーツ修正手段は、前記検出された顔領域に基づいて前記人体パーツ領域を修正することを特徴とする請求項８に記載の画像処理装置。
10. 前記抽出した肌領域を検出結果として出力する出力手段を更に有することを特徴とする請求項１から９のいずれか１項に記載の画像処理装置。
11. 前記肌属性は、肌種別、光源種別、反射強度の少なくとも１つを含むことを特徴とする請求項１から１０のいずれか１項に記載の画像処理装置。
12. 正例画像と負例画像とを含む画像群と正例画像に関する関心領域情報とを取得する学習データ取得手段と、
    前記取得した画像群と前記関心領域情報とに基づいて人体パーツの領域を推定するためのパーツ推定器を学習する推定器学習手段と、
    前記取得した画像群と前記関心領域情報とに基づいて人体パーツ領域の肌属性を推定するための肌属性識別器を学習する識別器学習手段とを更に有し、
    前記パーツ推定手段は、前記パーツ推定器に基づいて、取得した肌領域を抽出すべき画像における人体パーツの領域を推定し、
    前記肌属性推定手段は、前記肌属性識別器に基づいて、取得した肌領域を抽出すべき画像から人体パーツ領域の肌属性を推定することを特徴とする請求項１から１１のいずれか１項に記載の画像処理装置。
13. 前記関心領域情報は、前記人体パーツ領域の範囲、肌色、肌属性の少なくとも１つに関わる情報を含むことを特徴とする請求項１２に記載の画像処理装置。
14. 前記識別器学習手段は、人体パーツの位置関係をモデル化した人体モデルをさらに学習し、
    前記パーツ修正手段は、前記人体モデルに基づいて人体パーツ領域を修正することを特徴とする請求項１２または１３に記載の画像処理装置。
15. 前記識別器学習手段は、生成モデルに基づいて肌属性識別器を生成することを特徴とする請求項１２から１４のいずれか１項に記載の画像処理装置。
16. 前記識別器学習手段は、識別モデルに基づいて肌属性識別器を生成することを特徴とする請求項１２から１４のいずれか１項に記載の画像処理装置。
17. 前記推定器学習手段は、前記画像群における輝度勾配に基づいて前記パーツ推定器を学習することを特徴とする請求項１２から１６のいずれか１項に記載の画像処理装置。
18. 前記識別器学習手段は、前記取得した画像群の色情報に基づいて人体パーツ領域の肌属性を推定するための肌属性識別器を学習することを特徴とする請求項１２から１７のいずれか１項に記載の画像処理装置。
19. 画像処理装置によって実行される画像処理方法であって、
    人体の肌領域を抽出すべき画像を取得する取得ステップと、
    前記取得した画像において人体パーツの領域を推定するパーツ推定ステップと、
    前記推定した人体パーツ領域の肌属性を推定する肌属性推定ステップと、
    前記推定した肌属性に基づいて前記人体パーツ領域を修正するパーツ修正ステップと、
    前記推定した人体パーツの肌属性と前記修正された人体パーツ領域とに基づいて前記取得した画像から肌領域を抽出する肌領域抽出ステップと、
    を有することを特徴とする画像処理方法。
20. コンピュータを、請求項１から１８のいずれか１項に記載の画像処理装置として機能させるためのプログラム。

Images