JP2010244251A - 顔の特徴部位の座標位置を検出する画像処理装置 - Google Patents

Abstract

【課題】本発明は、画像に含まれる顔の特徴部位の位置を検出する処理の効率化・高速化を図ることを目的とする。
【解決手段】注目画像に含まれる顔の特徴部位の座標位置を検出する画像処理装置は、注目画像から顔画像の少なくとも一部を含む画像領域を顔領域として検出する顔領域検出部と、特徴部位の座標位置を検出するために注目画像に設定される特徴点の初期位置を、顔領域の検出に関連する情報である顔領域検出情報に基づいて設定される複数の初期位置の候補から設定する初期位置設定部と、初期位置に設定された特徴点の設定位置を特徴部位の位置に近づけるように補正し、補正された設定位置を特徴部位の座標位置として検出する特徴位置検出部と、を備える。
【選択図】図１

Description

本発明は、注目画像に含まれる顔の特徴部位の座標位置を検出する画像処理装置に関する。

視覚的事象のモデル化手法として、アクティブアピアランスモデル（Ａｃｔｉｖｅ Ａｐｐｅａｒａｎｃｅ Ｍｏｄｅｌ、略して「ＡＡＭ」とも呼ばれる）が知られている。ＡＡＭでは、例えば、複数のサンプル画像に含まれる顔の特徴部位（例えば目尻や鼻頭やフェイスライン）の位置（座標）や画素値（例えば輝度値）の統計的分析を通じて、上記特徴部位の位置により特定される顔の形状を表す形状モデルや、平均的な形状における「見え（Ａｐｐｅａｒａｎｃｅ）」を表すテクスチャーモデルが設定され、これらのモデルを用いて顔画像がモデル化される。ＡＡＭによれば、任意の顔画像のモデル化（合成）が可能であり、また、画像に含まれる顔の特徴部位の位置の検出が可能である（特許文献１）。

特開２００７−１４１１０７号公報

しかし、上記従来の技術には、画像に含まれる顔の特徴部位の位置の検出に関して、さらなる効率化・高速化の余地があった。

なお、このような問題は、ＡＡＭを利用する場合に限らず、画像に含まれる顔の特徴部位の位置を検出する画像処理に共通の問題であった。

本発明は、上記の課題を解決するためになされたものであり、画像に含まれる顔の特徴部位の位置を検出する処理の効率化・高速化を図ることを目的とする。

上記課題の少なくとも一部を解決するために本願発明は以下の態様を採る。

第１の態様は、注目画像に含まれる顔の特徴部位の座標位置を検出する画像処理装置を提供する。本発明の第１の態様に係る画像処理装置は、前記注目画像から顔画像の少なくとも一部を含む画像領域を顔領域として検出する顔領域検出部と、前記特徴部位の座標位置を検出するために前記注目画像に設定される特徴点の初期位置を、前記顔領域の検出に関連する情報である顔領域検出情報に基づいて設定される複数の前記初期位置の候補から設定する初期位置設定部と、前記初期位置に設定された前記特徴点の設定位置を前記特徴部位の位置に近づけるように補正し、補正された前記設定位置を前記特徴部位の座標位置として検出する特徴位置検出部と、を備える。

第１の態様に係る画像処理装置によれば、特徴点の初期位置を、顔領域検出情報に基づいて設定される複数の前記初期位置の候補から設定するため、初期位置を良好な位置に設定することができる。これにより、注目画像に含まれる顔の特徴部位の位置を検出する処理の効率化・高速化を図ることができる。

第１の態様に係る画像処理装置において、前記顔領域検出情報は、前記顔領域検出部による前記検出に伴い特定される情報であり、前記初期位置設定部は、特定された前記顔領域検出情報を取得する取得部と、取得された前記顔領域検出情報に基づいて前記初期位置の候補を設定する初期位置候補設定部と、を備えていてもよい。この場合、初期位置候補設定部により設定された初期位置の候補の１つから特徴点の初期位置を設定するため、注目画像に含まれる顔の特徴部位の位置を効率的かつ高速に検出することができる。

第１の態様に係る画像処理装置において、前記顔領域検出情報は、前記顔領域検出部により検出された前記顔領域に含まれる顔画像が真の顔画像であることの確からしさを表す顔領域信頼度を含み、前記初期位置候補設定部は、前記顔領域信頼度が低い場合には、前記顔領域信頼度が高い場合に比べて、設定する前記初期位置の候補の数を増やしてもよい。この場合、顔領域信頼度が低い場合に、初期位置の候補の数を増やすことにより、注目画像に含まれる顔の特徴部位の位置を効率的に検出することができる。

第１の態様に係る画像処理装置において、前記顔領域検出情報は、前記顔領域検出部により検出された前記顔領域に含まれる顔画像の画像面内における回転角度に関する角度情報を含み、前記初期位置候補設定部は、前記角度情報に基づいて、予め規定されている前記初期位置の候補を、前記回転角度に応じて回転させて設定してもよい。この場合、初期位置の候補を、回転角度に応じて回転させて設定することにより、注目画像に含まれる顔の特徴部位の位置を効率的かつ高速に検出することができる。

第１の態様に係る画像処理装置において、前記顔領域検出情報は、前記顔領域検出部が特定可能な前記顔画像の画像面内における回転角度に関する情報を含み、前記複数の初期位置の候補は、前記顔領域検出部が特定可能な前記回転角ごとに、前記回転角と値が隣接する一方の前記特定可能な回転角度との中間値から、値が隣接する他方の前記特定可能な回転角度との中間値までの範囲にそれぞれ設定されてもよい。この場合、顔領域に含まれる顔画像の回転角度を用いて、特定された回転角度を中心として所定の角度の範囲内に複数の初期位置の候補を設定することで、注目画像に含まれる顔の特徴部位の位置を効率的かつ高速に検出することができる。

第１の態様に係る画像処理装置において、前記顔領域検出情報は、前記顔領域検出部により検出された前記顔領域に対する顔画像の相対的な位置の傾向に関する情報を含み、前記複数の初期位置の候補は、前記顔領域に対する相対的な位置が前記傾向に応じて決定されていてもよい。この場合、顔領域に対する顔画像の相対的な位置の傾向に応じて初期位置の候補の顔領域に対する相対的な位置が決定されているため、注目画像に含まれる顔の特徴部位の位置を効率的かつ高速に検出することができる。

第１の態様に係る画像処理装置において、前記初期位置設定部は、前記初期位置の候補となる位置に設定された前記特徴点に基づいて、前記注目画像の一部を変換した画像である平均形状画像を生成する生成部と、前記平均形状画像と、前記特徴部位の座標位置が既知の顔画像を含む複数のサンプル画像に基づいて生成された画像である平均顔画像と、の差分値を算出する算出部と、を備えるとともに、前記複数の初期位置の候補のうち、前記差分値が最小となる初期位置の候補を前記初期位置として設定してもよい。この場合、差分値が最小となる初期位置の候補を初期位置とすることにより、注目画像に含まれる顔の特徴部位の位置を効率的かつ高速に検出することができる。

第１の態様に係る画像処理装置において、前記特徴位置検出部は、前記初期位置に対応する平均形状画像と、前記平均顔画像と、の差分値に基づいて、前記差分値が小さくなるように前記設定位置を補正する補正部を備えるとともに、前記差分値が所定となる前記設定位置を前記座標位置として検出してもよい。この場合、初期位置に対応する平均形状画像と、平均顔画像と、の差分値に基づいて、特徴部位の座標位置を検出するため、注目画像に含まれる顔の特徴部位の位置を効率的かつ高速に検出することができる。

第１の態様に係る画像処理装置において、前記特徴部位は、眉毛と目と鼻と口とフェイスラインとの一部であってもよい。この場合、眉毛と目と鼻と口とフェイスラインと一部について良好に座標位置を検出することができる。

なお、本発明は、種々の態様で実現することが可能であり、例えば、プリンター、デジタルスチルカメラ、パーソナルコンピューター、デジタルビデオカメラ等で実現することができる。また、画像処理方法および装置、特徴部位の位置検出方法および装置、表情判定方法および装置、これらの方法または装置の機能を実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した記録媒体、そのコンピュータープログラムを含み搬送波内に具現化されたデータ信号、等の形態で実現することができる。

本発明の第１実施例における画像処理装置としてのプリンター１００の構成を概略的に示す説明図である。 第１実施例におけるＡＡＭ設定処理の流れを示すフローチャートである。 サンプル画像ＳＩの一例を示す説明図である。 サンプル画像ＳＩにおける特徴点ＣＰの設定方法の一例を示す説明図である。 サンプル画像ＳＩに設定された特徴点ＣＰの座標の一例を示す説明図である。 平均形状ｓ０の一例を示す説明図である。 形状ベクトルｓｉおよび形状パラメーターｐｉと顔の形状ｓとの関係を例示した説明図である。 サンプル画像ＳＩのワープＷの方法の一例を示す説明図である。 平均顔画像Ａ０（ｘ）の一例を示す説明図である。 第１実施例における顔特徴位置検出処理の流れを示すフローチャートである。 顔領域ＦＡの検出処理の流れを示すフローチャートである。 注目画像ＯＩにおける顔領域ＦＡの検出を説明するための説明図である。 評価値Ｔｖの算出に用いられるフィルタを説明するための説明図である。 ウィンドウＳＷを移動させた状態を例示した説明図である。 顔の画像に対応する画像領域であると判定された複数のウィンドウＳＷを例示した説明図である。 学習に用いられるサンプル画像の一例を示す説明図である。 第１実施例における特徴点ＣＰの初期位置設定処理の流れを示すフローチャートである。 グローバルパラメーターの値を変更することによる特徴点ＣＰの仮設定位置を例示した説明図である。 顔領域ＦＡの特定顔傾きが３０度の場合における特徴点ＣＰの仮設定位置を例示した説明図である。 仮設定位置の変化の段階数を説明するための説明図である。 平均形状画像Ｉ（Ｗ（ｘ；ｐ））の一例を示す説明図である。 第１実施例における特徴点ＣＰ設定位置補正処理の流れを示すフローチャートである。 顔特徴位置検出処理の結果の一例を示す説明図である。 顔領域検出情報と特徴点ＣＰの仮設定位置について第２の例を示した説明図である。 顔領域検出情報と特徴点ＣＰの仮設定位置についての第３の例を示した説明図である。

以下、本発明に係る画像処理装置の一態様であるプリンターについて、図面を参照しつつ、実施例に基づいて説明する。

Ａ．第１実施例：
Ａ１．画像処理装置の構成：
図１は、本発明の第１実施例における画像処理装置としてのプリンター１００の構成を概略的に示す説明図である。本実施例のプリンター１００は、メモリーカードＭＣ等から取得した画像データに基づき画像を印刷する、いわゆるダイレクトプリントに対応したインクジェット式カラープリンターである。プリンター１００は、プリンター１００の各部を制御するＣＰＵ１１０と、ＲＯＭやＲＡＭによって構成された内部メモリー１２０と、ボタンやタッチパネルにより構成された操作部１４０と、液晶ディスプレイにより構成された表示部１５０と、印刷機構１６０と、カードインターフェース（カードＩ／Ｆ）１７０と、を備えている。プリンター１００は、さらに、他の機器（例えばデジタルスチルカメラやパーソナルコンピューター）とのデータ通信を行うためのインターフェースを備えていてもよい。プリンター１００の各構成要素は、バスを介して双方向通信可能に接続されている。

印刷機構１６０は、印刷データに基づき印刷を行う。カードインターフェース１７０は、カードスロット１７２に挿入されたメモリーカードＭＣとの間でデータのやり取りを行うためのインターフェースである。なお、本実施例では、メモリーカードＭＣに画像データを含む画像ファイルが格納されている。

内部メモリー１２０には、画像処理部２００と、表示処理部３１０と、印刷処理部３２０と、が格納されている。画像処理部２００は、コンピュータープログラムであり、所定のオペレーティングシステムの下で、ＣＰＵ１１０により実行されることで顔特徴位置検出処理をおこなう。顔特徴位置検出処理は、顔画像における所定の特徴部位（例えば目尻や鼻頭やフェイスライン）の位置を検出する処理である。顔特徴位置検出処理については、後に詳述する。表示処理部３１０、および、印刷処理部３２０についてもＣＰＵ１１０により実行されることでぞれぞれの機能を実現する。

画像処理部２００は、プログラムモジュールとして、顔領域検出部２１０と、特徴位置検出部２２０と、初期位置設定部２３０と、を含んでいる。初期位置設定部２３０は、取得部２３２と、初期位置候補設定部２３４と、生成部２３６と、算出部２３８と、を含んでいる。これら各部の機能については、後述の顔特徴位置検出処理の説明において詳述する。

表示処理部３１０は、表示部１５０を制御して、表示部１５０上に処理メニューやメッセージ、画像等を表示させるディスプレイドライバである。印刷処理部３２０は、画像データから印刷データを生成し、印刷機構１６０を制御して、印刷データに基づく画像の印刷を実行するためのコンピュータープログラムである。ＣＰＵ１１０は、内部メモリー１２０から、これらのプログラム（画像処理部２００、表示処理部３１０、印刷処理部３２０）を読み出して実行することにより、これら各部の機能を実現する。

内部メモリー１２０には、また、ＡＡＭ情報ＡＭＩおよび顔学習データＦＬＤが格納されている。ＡＡＭ情報ＡＭＩは、後述のＡＡＭ設定処理によって予め設定される情報であり、後述の顔特徴位置検出処理において参照される。ＡＡＭ情報ＡＭＩの内容については、後述のＡＡＭ設定処理の説明において詳述する。顔学習データＦＬＤは、顔領域検出部２1０による顔領域ＦＡの検出に用いられる。顔学習データＦＬＤの内容については、後述の顔領域ＦＡの検出処理の説明において詳述する。

Ａ２．ＡＡＭ設定処理：
図２は、第１実施例におけるＡＡＭ設定処理の流れを示すフローチャートである。ＡＡＭ設定処理は、ＡＡＭ（アクティブアピアランスモデル（Ａｃｔｉｖｅ Ａｐｐｅａｒａｎｃｅ Ｍｏｄｅｌ））と呼ばれる画像のモデル化に用いられる形状モデルおよびテクスチャーモデルを設定する処理である。本実施例において、ＡＡＭ設定処理は、ユーザによりおこなわれる。

はじめに、ユーザは、人物の顔を含んだ複数の画像をサンプル画像ＳＩとして用意する（ステップＳ１１０）。図３は、サンプル画像ＳＩの一例を示す説明図である。図３に示すように、サンプル画像ＳＩは、個性、人種・性別、表情（怒り、笑い、困り、驚き等）、向き（正面向き、上向き、下向き、右向き、左向き等）といった種々の属性に関して互いに相違する顔画像が含まれるように用意される。サンプル画像ＳＩがそのように用意されれば、ＡＡＭによってあらゆる顔画像を精度良くモデル化することが可能となり、あらゆる顔画像を対象とした精度の良い顔特徴位置検出処理（後述）の実行が可能となる。なお、サンプル画像ＳＩは、学習用画像とも呼ばれる。

それぞれのサンプル画像ＳＩに含まれる顔画像に、特徴点ＣＰを設定する（ステップＳ１２０）。図４は、サンプル画像ＳＩにおける特徴点ＣＰの設定方法の一例を示す説明図である。特徴点ＣＰは、顔画像における所定の特徴部位の位置を示す点である。本実施例では、所定の特徴部位として、人物の顔における眉毛上の所定位置（例えば端点や４分割点等、以下同じ）、目の輪郭上の所定位置、鼻筋および小鼻の輪郭上の所定位置、上下唇の輪郭上の所定位置、顔の輪郭（フェイスライン）上の所定位置といった６８箇所の部位が設定されている。すなわち、本実施例では、人物の顔に共通して含まれる顔の器官（眉毛、目、鼻、口）および顔の輪郭における所定位置を、特徴部位として設定する。図４に示すように、特徴点ＣＰは、各サンプル画像ＳＩにおいてオペレーターにより指定された６８個の特徴部位を表す位置に設定（配置）される。このように設定された各特徴点ＣＰは各特徴部位に対応しているため、顔画像における特徴点ＣＰの配置は顔の形状を特定していると表現することができる。

サンプル画像ＳＩにおける特徴点ＣＰの位置は、座標により特定される。図５は、サンプル画像ＳＩに設定された特徴点ＣＰの座標の一例を示す説明図である。図５において、ＳＩ（ｊ）（ｊ＝１，２，３・・・）は各サンプル画像ＳＩを示しており、ＣＰ（ｋ）（ｋ＝０，１，・・・，６７）は各特徴点ＣＰを示している。また、ＣＰ（ｋ）−Ｘは、特徴点ＣＰ（ｋ）のＸ座標を示しており、ＣＰ（ｋ）−Ｙは、特徴点ＣＰ（ｋ）のＹ座標を示している。特徴点ＣＰの座標としては、顔の大きさと顔の傾き（画像面内の傾き）と顔のＸ方向およびＹ方向の位置とのそれぞれについて正規化されたサンプル画像ＳＩにおける所定の基準点（例えば画像の左下の点）を原点とした座標が用いられる。また、本実施例では、１つのサンプル画像ＳＩに複数の人物の顔画像が含まれる場合が許容されており（例えばサンプル画像ＳＩ（２）には２人の顔画像が含まれている）、１つのサンプル画像ＳＩにおける各人物は人物ＩＤによって特定される。

つづいて、ユーザは、ＡＡＭの形状モデルの設定をおこなう（ステップＳ１３０）。具体的には、各サンプル画像ＳＩにおける６８個の特徴点ＣＰの座標（Ｘ座標およびＹ座標）により構成される座標ベクトル（図５参照）に対する主成分分析をおこない、特徴点ＣＰの位置により特定される顔の形状ｓが下記の式（１）によりモデル化する。なお、形状モデルは、特徴点ＣＰの配置モデルとも呼ぶ。

上記式（１）において、ｓ₀は平均形状である。図６は、平均形状ｓ₀の一例を示す説明図である。図６（ａ）および（ｂ）に示すように、平均形状ｓ₀は、サンプル画像ＳＩの各特徴点ＣＰについての平均位置（平均座標）により特定される平均的な顔の形状を表すモデルである。なお、本実施例では、平均形状ｓ₀において、外周に位置する特徴点ＣＰ（フェイスラインおよび眉毛、眉間に対応する特徴点ＣＰ、図４参照）を結ぶ直線により囲まれた領域（図６（ｂ）においてハッチングを付して示す）を「平均形状領域ＢＳＡ」と呼ぶ。平均形状ｓ₀においては、図６（ａ）に示すように、特徴点ＣＰを頂点とする複数の三角形領域ＴＡが、平均形状領域ＢＳＡをメッシュ状に分割するように設定される。

形状モデルを表す上記式（１）において、ｓ_iは形状ベクトルであり、ｐ_iは形状ベクトルｓ_iの重みを表す形状パラメーターである。形状ベクトルｓ_iは、顔の形状ｓの特性を表すベクトルであり、主成分分析により得られる第ｉ主成分に対応する固有ベクトルである。上記式（１）に示すように、本実施例における形状モデルでは、特徴点ＣＰの配置を表す顔形状ｓが、平均形状ｓ₀とｎ個の形状ベクトルｓ_iの線形結合との和としてモデル化される。形状モデルにおいて形状パラメーターｐ_iを適切に設定することにより、あらゆる画像における顔の形状ｓを再現することが可能である。

図７は、形状ベクトルｓ_iおよび形状パラメーターｐ_iと、顔の形状ｓとの関係を例示した説明図である。図７（ａ）に示すように、顔の形状ｓを特定するために、寄与率のより大きい主成分に対応する固有ベクトルから順に、累積寄与率に基づき設定された個数ｎ（図７ではn＝４）の固有ベクトルが、形状ベクトルｓ_iとして採用される。形状ベクトルｓ_iのそれぞれは、図７（ａ）の矢印に示すように、各特徴点ＣＰの移動方向・移動量と対応している。本実施例では、最も寄与率の大きい第１主成分に対応する第１形状ベクトルｓ₁は顔の左右振りにほぼ相関するベクトルとなっており、形状パラメーターｐ₁を大小することにより、図７（ｂ）に示すように、顔の形状ｓの横方向の顔向きが変化する。２番目に寄与率の大きい第２主成分に対応する第２形状ベクトルｓ₂は顔の上下振りにほぼ相関するベクトルとなっており、形状パラメーターｐ₂を大小することにより、図７（ｃ）に示すように、顔の形状ｓの縦方向の顔向きが変化する。また、３番目に寄与率の大きい第３主成分に対応する第３形状ベクトルｓ₃は顔の形状の縦横比にほぼ相関するベクトルとなっており、４番目に寄与率の大きい第４主成分に対応する第４形状ベクトルｓ₄は口の開きの程度にほぼ相関するベクトルとなっている。このように、形状パラメーターの値は、顔の表情や、顔向きなど顔画像の特徴を表す。

なお、形状モデル設定ステップ（ステップＳ１３０）において設定された平均形状ｓ₀および形状ベクトルｓ_iは、ＡＡＭ情報ＡＭＩ（図１）として内部メモリー１２０に格納される。

つづいて、ＡＡＭのテクスチャーモデルの設定をおこなう（ステップＳ１４０）。具体的には、まず、各サンプル画像ＳＩに対して、サンプル画像ＳＩにおける特徴点ＣＰの設定位置が平均形状ｓ₀における特徴点ＣＰの設定位置と等しくなるように、画像変換（以下、「ワープＷ」とも呼ぶ）を行う。

図８は、サンプル画像ＳＩのワープＷの方法の一例を示す説明図である。各サンプル画像ＳＩにおいては、平均形状ｓ₀と同様に、外周に位置する特徴点ＣＰにより囲まれた領域をメッシュ状に分割する複数の三角形領域ＴＡが設定される。ワープＷは、複数の三角形領域ＴＡのそれぞれについてのアフィン変換の集合である。すなわち、ワープＷにおいては、サンプル画像ＳＩにおけるある三角形領域ＴＡの画像は、平均形状ｓ₀における対応する三角形領域ＴＡの画像へとアフィン変換される。ワープＷにより、特徴点ＣＰの設定位置が平均形状ｓ₀における特徴点ＣＰの設定位置と等しいサンプル画像ＳＩ（以下「サンプル画像ＳＩｗ」と表す）が生成される。

なお、各サンプル画像ＳＩｗは、平均形状領域ＢＳＡ（図８においてハッチングを付して示す）を内包する矩形枠を外周とし、平均形状領域ＢＳＡ以外の領域（以下「マスク領域ＭＡ」とも呼ぶ）がマスクされた画像として生成される。平均形状領域ＢＳＡとマスク領域ＭＡとを併せた画像領域を基準領域ＢＡと呼ぶ。また、各サンプル画像ＳＩｗは、例えば５６画素×５６画素のサイズの画像として正規化される。

次に、各サンプル画像ＳＩｗの画素群ｘのそれぞれにおける輝度値により構成される輝度値ベクトルに対する主成分分析が行われ、顔のテクスチャー（「見え」とも呼ぶ）Ａ（ｘ）が下記の式（２）によりモデル化される。なお、画素群ｘは、平均形状領域ＢＳＡに位置する画素の集合である。

上記式（２）において、Ａ₀（ｘ）は平均顔画像である。図９は、平均顔画像Ａ₀（ｘ）の一例を示す説明図である。平均顔画像Ａ₀（ｘ）は、ワープＷの後のサンプル画像ＳＩｗ（図８参照）の平均の顔が表された画像である。すなわち、平均顔画像Ａ₀（ｘ）は、サンプル画像ＳＩｗの平均形状領域ＢＳＡ内の画素群ｘの画素値（輝度値）の平均をとることにより算出される画像である。従って、平均顔画像Ａ₀（ｘ）は、平均的な顔の形状における平均的な顔のテクスチャー（見え）を表すモデルである。なお、平均顔画像Ａ₀（ｘ）は、サンプル画像ＳＩｗと同様に、平均形状領域ＢＳＡとマスク領域ＭＡとで構成され、例えば５６画素×５６画素のサイズの画像として算出される。

テクスチャーモデルを表す上記式（２）において、Ａ_i（ｘ）はテクスチャーベクトルであり、λ_iはテクスチャーベクトルＡ_i（ｘ）の重みを表すテクスチャーパラメーターである。テクスチャーベクトルＡ_i（ｘ）は、顔のテクスチャーＡ（ｘ）の特性を表すベクトルであり、具体的には、主成分分析により得られる第ｉ主成分に対応する固有ベクトルである。すなわち、寄与率のより大きい主成分に対応する固有ベクトルから順に、累積寄与率に基づき設定された個数ｍの固有ベクトルが、テクスチャーベクトルＡ_i（ｘ）として採用される。本実施例では、最も寄与率の大きい第１主成分に対応する第１テクスチャーベクトルＡ₁（ｘ）は、顔色の変化（性別の差とも捉えられる）にほぼ相関するベクトルとなっている。

上記式（２）に示すように、本実施例におけるテクスチャーモデルでは、顔の見えを表す顔のテクスチャーＡ（ｘ）が、平均顔画像Ａ₀（ｘ）とｍ個のテクスチャーベクトルＡ_i（ｘ）の線形結合との和としてモデル化される。テクスチャーモデルにおいてテクスチャーパラメーターλ_iを適切に設定することにより、あらゆる画像における顔のテクスチャーＡ（ｘ）を再現することが可能である。なお、テクスチャーモデル設定ステップ（図２のステップＳ１４０）において設定された平均顔画像Ａ₀（ｘ）およびテクスチャーベクトルＡ_i（ｘ）は、ＡＡＭ情報ＡＭＩ（図１）として内部メモリー１２０に格納される。

以上説明したＡＡＭ設定処理（図２）により、顔の形状をモデル化する形状モデルと、顔のテクスチャーをモデル化するテクスチャーモデルが設定される。設定された形状モデルとテクスチャーモデルとを組み合わせることにより、すなわち合成されたテクスチャーＡ（ｘ）に対して平均形状ｓ₀から形状ｓへの変換（図８に示したワープＷの逆変換）を行うことにより、あらゆる顔画像の形状およびテクスチャーを再現することが可能である。

Ａ３．顔特徴位置検出処理：
図１０は、第１実施例における顔特徴位置検出処理の流れを示すフローチャートである。本実施例における顔特徴位置検出処理は、ＡＡＭを利用して、注目画像に含まれる顔画像における特徴点ＣＰの配置を決定することにより、顔画像における特徴部位の位置を検出する処理である。上述したように、本実施例では、ＡＡＭ設定処理（図２）において、人物の顔の器官（眉毛、目、鼻、口）および顔の輪郭における計６８箇所の所定位置が、特徴部位として設定されている（図４参照）。そのため、本実施例の顔特徴位置検出処理では、人物の顔の器官および顔の輪郭における所定位置を表す６８個の特徴点ＣＰの位置を特定することで特徴部位の位置の検出をおこなう。

なお、顔特徴位置検出処理によって顔画像における特徴点ＣＰの配置が決定されると、顔画像についての形状パラメーターｐ_iや、テクスチャーパラメーターλ_iの値が特定される。従って、顔特徴位置検出処理の処理結果は、特定の表情（例えば笑顔や目を閉じた顔）の顔画像を検出するための表情判定や、特定の向き（例えば右向きや下向き）の顔画像を検出するための顔向き判定、顔の形状を変形する顔変形、顔の陰影補正等に利用可能である。

はじめに、画像処理部２００（図１）は、顔特徴位置検出処理の対象となる注目画像を表す画像データを取得する（ステップＳ２１０）。本実施例のプリンター１００では、カードスロット１７２にメモリーカードＭＣが挿入されると、メモリーカードＭＣに格納された画像ファイルのサムネイル画像が表示部１５０に表示される。処理の対象となる１つまたは複数の画像は、操作部１４０を介してユーザにより選択される。画像処理部２００は、選択された１つまたは複数の画像に対応する画像データを含む画像ファイルをメモリーカードＭＣより取得して内部メモリー１２０の所定の領域に格納する。なお、取得された画像データを注目画像データと呼び、注目画像データにより表される画像を注目画像ＯＩと呼ぶものとする。

顔領域検出部２1０（図１）は、注目画像ＯＩに含まれる顔画像の少なくとも一部を含む画像領域を顔領域ＦＡとして検出する（ステップＳ２２０）。図１１は、顔領域ＦＡの検出処理の流れを示すフローチャートである。図１２は、注目画像ＯＩにおける顔領域ＦＡの検出を説明するための説明図である。図１２に示すように、顔領域検出部２1０は、予め規定された種々のサイズの正方形形状を有する複数のウィンドウＳＷのうちの１つを注目画像ＯＩに設定する（ステップＳ３００）。具体的には、顔領域検出部２１０は、まず、初期値として設定されているサイズのウィンドウＳＷを、初期位置として設定されている注目画像ＯＩ上の位置に設定する。

顔領域検出部２1０は、ウィンドウＳＷにより規定される画像領域から顔判定に用いるための評価値Ｔｖを算出する（ステップＳ３１０）。ここで、顔判定とは、ウィンドウＳＷにより規定される画像領域が顔の画像に対応する顔領域であるか否かの判定をいう。なお、本実施例では、顔判定は予め設定された特定顔傾き毎に実行される。すなわち、特定顔傾き毎に、ウィンドウＳＷにより規定される画像領域が当該特定顔傾き分だけ傾いた顔の画像に対応する画像領域であるか否かの判定が行われる。そのため、評価値Ｔｖも特定顔傾き毎に算出される。ここで、特定顔傾きとは、後述する図１６の下段に示すように、画像面内（インプレーン）における顔の画像の回転角度を意味している。本実施例では、特定顔傾きとして、画像の上下方向に沿って顔の画像が位置している状態（頭が上方向を向き顎が下方向を向いた状態）を基準（特定顔傾き＝０度）とし、顔の画像の傾きを時計回りに３０度ずつ増加させた計１２個の傾き（０度、３０度、６０度、・・・、３３０度）が設定されている。

評価値Ｔｖの算出方法については特に限定はないが、本実施例では、評価値Ｔｖの算出にＮ個のフィルタ（フィルタ１〜フィルタＮ）が用いられる。図１３は、評価値Ｔｖの算出に用いられるフィルタを説明するための説明図である。各フィルタ（フィルタ１〜フィルタＮ）の外形はウィンドウＳＷと同じアスペクト比を有しており（すなわち正方形形状であり）、各フィルタにはプラス領域ｐａとマイナス領域ｍａとが設定されている。顔領域検出部２1０は、ウィンドウＳＷにより規定される画像領域にフィルタＸ（Ｘ＝１，２，・・・，Ｎ）を順に適用し、それぞれから評価値Ｔｖの基礎となる基礎評価値ｖＸ（ｖ１．ｖ２．・・・，ｖＮ）を算出する。具体的には、基礎評価値ｖＸは、フィルタＸのプラス領域ｐａに対応する画像領域に含まれる画素の輝度値の合計から、マイナス領域ｍａに対応する画像領域に含まれる画素の輝度値の合計を差し引いた値である。

顔領域検出部２1０は、算出した基礎評価値ｖＸと、各基礎評価値ｖＸ（ｖ１．ｖ２．・・・，ｖＮ）に対応して設定された閾値ｔｈＸ（ｔｈ１，ｔｈ２，・・・，ｔｈＮ）とをそれぞれ比較する。本実施例では、顔領域検出部２1０は、基礎評価値ｖＸが閾値ｔｈＸ以上となるフィルタＸでは、ウィンドウＳＷにより規定される画像領域が顔の画像に対応する画像領域であると判定し、フィルタＸの出力値として値「１」を設定する。一方、基礎評価値ｖＸが閾値ｔｈＸより小さいフィルタＸでは、ウィンドウＳＷにより規定される画像領域が顔の画像に対応するとは考えられない画像領域であると判定し、フィルタＸの出力値として値「０」を設定する。各フィルタＸには重み係数ＷｅＸ（Ｗｅ１，Ｗｅ２，・・・，ＷｅＮ）が設定されており、すべてのフィルタＸについての出力値と重み係数ＷｅＸとの積の合計を評価値Ｔｖとする。なお、顔判定に用いられるフィルタＸの態様や閾値ｔｈＸ、重み係数ＷｅＸ、後述の閾値ＴＨは、上記１２個の特定顔傾きのそれぞれについて予め設定されており、顔学習データＦＬＤ（図１）として内部メモリー１２０に格納されている。

顔領域検出部２1０は、算出された評価値Ｔｖと閾値ＴＨとを比較する（ステップＳ３２０）。顔領域検出部２1０は、ある特定顔傾きについて評価値Ｔｖが閾値ＴＨ以上である場合には（ステップＳ３２０：ＹＥＳ）、ウィンドウＳＷにより規定される画像領域は当該特定顔傾き分だけ傾いた顔の画像に対応する画像領域であるとして、ウィンドウＳＷにより規定される画像領域の位置、すなわち現在設定されているウィンドウＳＷの座標と、当該特定顔傾きと、を記憶する（ステップＳ３３０）。一方、いずれの特定顔傾きについても評価値Ｔｖが閾値ＴＨより小さい場合には、ステップＳ３３０の処理はスキップされる。

図１４は、ウィンドウＳＷを移動させた状態を例示した説明図である。顔領域検出部２１０は、現在設定しているサイズのウィンドウＳＷにより注目画像ＯＩ全体をスキャンしたか否かを判定する（ステップＳ３４０）。まだ注目画像ＯＩの全体をスキャンしていない場合は（ステップＳ３４０：ＮＯ）、図１４に示すように、ウィンドウＳＷを所定の方向に所定の移動量だけ移動させる（ステップＳ３５０）。本実施例では、顔領域検出部２１０は、ウィンドウＳＷがウィンドウＳＷの水平方向の大きさの２割分の移動量で右方向に移動させるものとしている。また、ウィンドウＳＷをさらに右方向に移動させることができない位置に配置した場合には、ウィンドウＳＷを注目画像ＯＩの左端まで戻すと共に、ウィンドウＳＷの垂直方向の大きさの２割分の移動量で下方向に移動させるものとしている。ウィンドウＳＷをさらに下方向に移動させることができない位置に配置した場合には、注目画像ＯＩの全体をスキャンしたことになる。顔領域検出部２１０は、ウィンドウＳＷを移動させた後には、移動後のウィンドウＳＷについて、上述のステップＳ３１０以降の処理を実行する。

顔領域検出部２１０は、現在設定しているサイズのウィンドウＳＷにより注目画像ＯＩの全体をスキャンしたと判定すると（ステップＳ３４０：ＹＥＳ）、設定（用意）されたすべてのサイズのウィンドウＳＷにより注目画像ＯＩをスキャンしたか否かを判定する（ステップＳ３６０）。顔領域検出部２１０は、使用していないウィンドウＳＷのサイズがある場合には（ステップＳ３６０：ＮＯ）、スキャンに用いるウィンドウＳＷのサイズを現在設定されているサイズの次に小さいサイズに変更する（ステップＳ３７０）。すなわち、本実施例では、顔領域検出部２１０は、最初に最大サイズのウィンドウＳＷによりスキャンをおこない、その後、順に小さいサイズのウィンドウＳＷを使用する。顔領域検出部２１０は、ウィンドウＳＷのサイズを変更した後には、変更後のサイズのウィンドウＳＷについて、上述のステップＳ３００以降の処理を実行する。

顔領域検出部２1０は、すべてのサイズのウィンドウＳＷによりスキャンを実施すると（ステップＳ３６０：ＹＥＳ）、顔領域設定処理を実行する（ステップＳ３８０）。顔領域検出部２１０は、評価値Ｔｖが閾値ＴＨ以上であると判定して記憶したウィンドウＳＷの座標と特定顔傾きとに基づき、顔の画像に対応する画像領域としての顔領域ＦＡを設定する。具体的には、特定顔傾きが０度である場合には、ウィンドウＳＷにより規定される画像領域が、そのまま顔領域ＦＡとして設定される。一方、特定顔傾きが０度以外である場合には、ウィンドウＳＷにより規定される画像領域を所定の点（例えばウィンドウＳＷの重心）を中心として時計回りに特定顔傾き分だけ回転させた画像領域が顔領域ＦＡとして設定される。

顔領域検出部２１０は、ウィンドウＳＷにより規定される画像領域が顔の画像に対応する画像領域であると判定したウィンドウＳＷが複数存在する場合には、各ウィンドウＳＷにおける所定の点（例えばウィンドウＳＷの重心）の座標の平均の座標を重心とし、各ウィンドウＳＷのサイズの平均のサイズを有する１つの新たなウィンドウを顔領域ＦＡとして検出する。図１５は、顔の画像に対応する画像領域であると判定された複数のウィンドウＳＷを例示した説明図である。図１５（ａ）に示すように、例えば、互いに一部が重複する４つのウィンドウＳＷ（ＳＷ１〜ＳＷ４）により規定される画像領域が顔画像に対応する画像領域であると判定した場合には、図１５（ｂ）に示すように、４つのウィンドウＳＷのそれぞれの重心の座標の平均の座標を重心とし、４つのウィンドウＳＷのそれぞれのサイズの平均のサイズを有する１つのウィンドウを顔領域ＦＡとして設定する。

顔領域ＦＡを設定した後、顔領域検出部２１０は、顔領域信頼度を算出する（ステップＳ３９０）。顔領域信頼度は、顔領域ＦＡの検出過程に基づき算出される指標であって、検出された顔領域ＦＡが真に顔の画像に対応する画像領域であることの確からしさを表す指標である。顔領域ＦＡの検出処理では、顔の画像に対応しない画像領域、すなわち、顔の画像をまったく含まない画像領域や顔の画像の一部を含むが、顔の画像に真に対応する画像領域ではない画像領域が、誤って顔領域ＦＡとして検出される可能性がある。顔領域信頼度は、顔領域ＦＡの検出が、誤検出ではなく正しい検出であることの確からしさを表している。

本実施例では、重複ウィンドウ数を最大重複ウィンドウ数で除した値を顔領域信頼度として用いている。ここで、重複ウィンドウ数は、顔領域ＦＡを設定する際に参照したウィンドウＳＷの数、すなわち、ウィンドウＳＷにより規定される画像領域が顔の画像に対応する画像領域であると判定されたウィンドウＳＷの数である。例えば、図１５（ｂ）に示した顔領域ＦＡの設定の際には、図１５（ａ）に示した４つのウィンドウＳＷ（ＳＷ１〜ＳＷ４）が参照されているため、重複ウィンドウ数は４となる。また、最大重複ウィンドウ数は、顔領域ＦＡの検出の際に、注目画像ＯＩ上に配置されたすべてのウィンドウＳＷの内、少なくとも一部が顔領域ＦＡに重複するウィンドウＳＷの数である。最大重複ウィンドウ数は、ウィンドウＳＷの移動ピッチやサイズ変更のピッチにより一義的に定まる。重複ウィンドウ数と最大重複ウィンドウ数はいずれも顔領域ＦＡの検出過程において算出することができる。

検出された顔領域ＦＡが真に顔の画像に対応する画像領域である場合には、位置およびサイズが互いに近似する複数のウィンドウＳＷについて、ウィンドウＳＷにより規定される画像領域が顔の画像に対応する顔領域であると判定される可能性が高い。一方、検出された顔領域ＦＡが顔の画像に対応する画像領域ではなく誤検出である場合には、あるウィンドウＳＷについてはウィンドウＳＷにより規定される画像領域が顔の画像に対応する顔領域であると判定されたとしても、当該ウィンドウＳＷに位置およびサイズが近似する別のウィンドウＳＷについてはウィンドウＳＷにより規定される画像領域が顔の画像に対応する顔領域ではないと判定される可能性が高い。そのため、本実施例では、重複ウィンドウ数を最大重複ウィンドウ数で除した値を顔領域信頼度として用いている。上記により顔領域ＦＡの検出処理は終了する。

ここで、顔判定に用いられるフィルタＸの態様や閾値ｔｈＸ、重み係数ＷｅＸ、後述の閾値ＴＨを含む顔学習データＦＬＤについて説明する。顔学習データＦＬＤは、サンプル画像を用いた学習によって設定される。図１６は、学習に用いられるサンプル画像の一例を示す説明図である。学習には、顔の画像に対応した画像であることが予めわかっている複数の顔サンプル画像によって構成された顔サンプル画像群と、顔の画像に対応した画像ではないことが予めわかっている複数の非顔サンプル画像によって構成された非顔サンプル画像群と、が用いられる。学習による顔学習データＦＬＤの設定は特定顔傾き毎に実行されるため、図１６に示すように、顔サンプル画像群は、１２個の特定顔傾きのそれぞれに対応したものが準備される。各特定顔傾きに対応した顔サンプル画像群は、画像サイズに対する顔の画像の大きさの比が所定の値の範囲内であると共に顔の画像の傾きが特定顔傾きに等しい複数の基本顔サンプル画像と、基本顔サンプル画像を例えば１．２倍から０．８倍までの範囲の所定の倍率で拡大および縮小した画像（例えば図１６における画像ＦＩａおよびＦＩｂ）や、基本顔サンプル画像を時計回りおよび反時計回りに例えば１５度の範囲で所定の角度だけ回転させた画像（例えば図１６における画像ＦＩｃおよびＦＩｄ）を含む。サンプル画像を用いた学習は、例えばニューラルネットワークを用いた方法や、ブースティング（例えばアダブースティング）を用いた方法、サポートベクターマシーンを用いた方法等により実行される。例えば学習がニューラルネットワークを用いた方法により実行される場合には、各フィルタＸ（フィルタ１〜フィルタＮ）について、ある特定顔傾きに対応した顔サンプル画像群と非顔サンプル画像群とに含まれるすべてのサンプル画像を用いて基礎評価値ｖＸ（ｖ１〜ｖＮ）が算出され、所定の顔検出率を達成する閾値ｔｈＸ（ｔｈ１〜ｔｈＮ）が設定される。また、各フィルタＸに設定された重み係数ＷｅＸ（Ｗｅ１〜ＷｅＮ）の初期値が設定され、顔サンプル画像群および非顔サンプル画像群の中から選択された１つのサンプル画像についての評価値Ｔｖが算出される。学習においては、算出された評価値Ｔｖにより、後述する顔判定をおこなった場合の結果の正誤に基づき、各フィルタＸに設定された重み係数ＷｅＸの値が修正される。上記処理が特定顔傾き毎に実行されることにより、特定顔傾き毎の顔学習データＦＬＤが設定される。

顔領域ＦＡの検出処理の後、初期位置設定部２３０（図１）は、注目画像ＯＩに対する特徴点ＣＰの初期位置を設定する（ステップＳ２３０）。図１７は、第１実施例における特徴点ＣＰの初期位置設定処理の流れを示すフローチャートである。はじめに、初期位置設定部２３０の取得部２３２は、顔領域検出情報を取得する（ステップＳ４００）。顔領域検出情報とは、顔領域検出部２1０による顔領域ＦＡの検出に関連する情報をいう。例えば、予め設定されている特定顔傾きの設定数（１２個）、設定角度（０度、３０度、６０度、・・・、３３０度）、設定間隔（３０度）や、顔領域ＦＡの検出処理の統計的なデータに基づく顔領域ＦＡにおける顔画像の位置の傾向などのほか、顔領域ＦＡの検出処理において、顔領域検出部２1０が注目画像ＯＩから顔領域ＦＡを検出した際に特定される情報も含まれる。具体的には、検出した顔領域ＦＡの特定顔傾きや、顔領域信頼度などである。本実施例では、顔領域検出情報として、特定顔傾きの設定間隔と、検出した顔領域ＦＡの特定顔傾きと、顔領域信頼度を用いた例について説明する。取得部２３２は、顔領域ＦＡの検出処理が実行されると、検出された顔領域ＦＡについての特定顔傾きと、顔領域信頼度を取得する。

初期位置候補設定部２３４は、顔領域検出情報に基づいて、特徴点ＣＰを注目画像ＯＩ上の仮設定位置に設定する（ステップＳ４１０）。ここでは、特定顔傾きの設定間隔が３０度、検出した顔領域ＦＡの特定顔傾きが０度、顔領域信頼度が所定値以上である場合を例にして具体的に説明する。初期位置候補設定部２３４は、顔領域ＦＡに対する顔画像の大きさ、傾き、位置（上下方向の位置および左右方向の位置）を表すグローバルパラメーターの値を種々変更することにより、特徴点ＣＰを注目画像ＯＩ上に設定する。仮設定位置は、特許請求の範囲における「初期位置の候補」に該当する。

図１８は、グローバルパラメーターの値を変更することによる特徴点ＣＰの仮設定位置を例示した説明図である。図１８（ａ）および図１８（ｂ）には、注目画像ＯＩにおける特徴点ＣＰと、特徴点ＣＰをつないで形成されるメッシュが示されている。初期位置候補設定部２３４は、図１８（ａ）および図１８（ｂ）の中央に示すように、顔領域ＦＡの中央部に平均形状ｓ₀が形成されるような特徴点ＣＰの仮設定位置（以下、「基準仮設定位置」とも呼ぶ）を設定する。

初期位置候補設定部２３４は、また、基準仮設定位置に対して、グローバルパラメーターの値を種々変更させた複数の仮設定位置を設定する。グローバルパラメーター（大きさ、傾き、上下方向の位置および左右方向の位置）を変更することは、注目画像ＯＩにおいて特徴点ＣＰにより形成されるメッシュが拡大・縮小、傾きを変更、並行移動することに相当する。従って、初期位置候補設定部２３４は、図１８（ａ）に示すように、基準仮設定位置のメッシュを所定倍率で拡大または縮小したメッシュを形成するような仮設定位置（基準仮設定位置の図の下および上に示す）や、所定角度だけ時計回りまたは半時計回りに傾きを変更したメッシュを形成するような仮設定位置（基準仮設定位置の図の右および左に示す）を設定する。また、初期位置候補設定部２３４は、基準仮設定位置のメッシュに対して、拡大・縮小および傾きの変更を組み合わせた変換を行ったメッシュを形成するような仮設定位置（基準仮設定位置の図の左上、左下、右上、右下に示す）も設定する。

また、図１８（ｂ）に示すように、初期位置候補設定部２３４は、基準仮設定位置のメッシュを所定量だけ上または下に並行移動したメッシュを形成するような仮設定位置（基準仮設定位置の図の上および下に示す）や、左または右に並行移動したメッシュを形成するような仮設定位置（基準仮設定位置の図の左および右に示す）を設定する。また、初期位置候補設定部２３４は、基準仮設定位置のメッシュに対して、上下および左右の並行移動を組み合わせた変換を行ったメッシュを形成するような仮設定位置（基準仮設定位置の図の左上、左下、右上、右下に示す）も設定する。

ここで、検出した顔領域ＦＡの特定顔傾きが０度、特定顔傾きの設定間隔が３０度である場合、メッシュの回転角度は、−１５度から１５度までの範囲に設定される。すなわち、初期位置候補設定部２３４は、特定顔傾きの設定角度（０度、３０度、６０度、・・・、３３０度）のうち、検出した顔領域ＦＡの特定顔傾き（０度）と隣接する設定角度（−３０度および３０度）との一方の中間値（−１５度）から他方の中間値（１５度）までの範囲を、メッシュの回転角度の範囲として設定する。

図１９は、顔領域ＦＡの特定顔傾きが３０度の場合における特徴点ＣＰの仮設定位置を例示した説明図である。図１９に示すように、検出した顔領域ＦＡの特定顔傾きが３０度、特定顔傾きの設定間隔が３０度である場合、メッシュの回転角度は、１５度から４５度までの範囲に設定される。すなわち、初期位置候補設定部２３４は、特定顔傾きの設定角度（０度、３０度、６０度、・・・、３３０度）のうち、検出した顔領域ＦＡの特定顔傾き（３０度）と隣接する設定角度（０度および６０度）との一方の中間値（１５度）から他方の中間値（４５度）までの範囲を、メッシュの回転角度の範囲として設定する。いいかえれば、初期位置候補設定部２３４は、予め設定されている特定傾きが０度の場合における仮設定位置に対して、検出された顔領域ＦＡの特定傾きの角度分それぞれ傾けて設定する。

初期位置候補設定部２３４は、図１８（ａ）に示す基準仮設定位置以外の８つの仮設定位置のそれぞれにおけるメッシュに対して図１８（ｂ）に示す上下左右の並行移動が実行される仮設定位置も設定する。従って、本実施例では、４つのグローバルパラメーター（大きさ、傾き、上下方向の位置、左右方向の位置）をそれぞれ既知の３段階の値として組み合わせにより設定される８０通り（＝３×３×３×３−１）の仮設定位置と、基準仮設定位置の合計８１通りの仮設定位置が設定される。

初期位置候補設定部２３４は、顔領域信頼度が閾値以上の場合、上述のとおり８１通りの仮設定位置を設定するが、顔領域信頼度が閾値より小さい場合には、顔領域信頼度が閾値以上の場合より多くの仮設定位置を設定する。具体的には、上述では、メッシュの回転および拡大・縮小、メッシュの上下移動および左右移動、についてそれぞれ３段階に変化させて仮設定位置が設定されているが、初期位置候補設定部２３４は、顔領域信頼度と閾値との比較結果に基づいて、設定する仮設定位置のそれぞれの変化（回転、拡大・縮小、上下移動、左右移動）の段階数を決定する。図２０は、仮設定位置の変化の段階数を説明するための説明図である。初期位置候補設定部２３４は、顔領域信頼度が閾値以上である場合には、図１８に示すように、メッシュの回転および拡大・縮小、メッシュの上下移動および左右移動のそれぞれについて３段階に変化させて仮設定位置を設定する。一方、初期位置候補設定部２３４は、顔領域信頼度が閾値より小さい場合には、図２０に一例を示すように、メッシュの回転および拡大・縮小、メッシュの上下移動および左右移動のそれぞれについて５段階に変化させて仮設定位置を設定する。

メッシュを設定する範囲は、３段階の場合と５段階の場合で同一の範囲であってもよいし異なる範囲であってもよい。すなわち、図２０に示すように、５段階の場合であっても図１８に示す３段階の場合と同一の範囲（−１５度〜１５度）であり、メッシュの回転角度が−１５度、０度、１５度、の３段階であったものを、−１５度、−７．５度、０度、７．５度、１５度の５段階に細分化して設定してもよいし、メッシュの回転角度を−３０度、−１５度、０度、１５度、３０度の５段階として３段階の場合に比べ広い範囲に設定してもよい。また、メッシュの回転および拡大・縮小、メッシュの上下移動および左右移動のすべてを５段階に設定する必要はなく、一部を５段階とし、ほかを３段階として設定してもよい。

生成部２３６は、設定された各仮設定位置に対応する平均形状画像Ｉ（Ｗ（ｘ；ｐ））を生成する（ステップＳ４２０）。図２１は、平均形状画像Ｉ（Ｗ（ｘ；ｐ））の一例を示す説明図である。平均形状画像Ｉ（Ｗ（ｘ；ｐ））は、入力画像における特徴点ＣＰの配置が平均形状ｓ₀における特徴点ＣＰの配置と等しくなるような変換によって算出される。

平均形状画像Ｉ（Ｗ（ｘ；ｐ））を算出するための変換は、ＡＡＭ設定処理において、サンプル画像ＳＩｗ算出のための変換と同様に、三角形領域ＴＡ毎のアフィン変換の集合であるワープＷにより行われる。具体的には、注目画像ＯＩに配置された特徴点ＣＰによって、外周に位置する特徴点ＣＰ（フェイスラインおよび眉毛、眉間に対応する特徴点ＣＰ）を結ぶ直線により囲まれた領域である平均形状領域ＢＳＡが特定され、注目画像ＯＩにおける平均形状領域ＢＳＡに対して三角形領域ＴＡ毎のアフィン変換が行われることにより、平均形状画像Ｉ（Ｗ（ｘ；ｐ））が算出される。本実施例では、平均形状画像Ｉ（Ｗ（ｘ；ｐ））は、平均顔画像Ａ₀（ｘ）と同様に平均形状領域ＢＳＡおよびマスク領域ＭＡにより構成され、平均顔画像Ａ₀（ｘ）と同サイズの画像として算出される。

ここで、平均形状ｓ₀における平均形状領域ＢＳＡに位置する画素の集合を画素群ｘと表す。また、ワープＷ実行後の画像（平均形状ｓ₀を有する顔画像）における画素群ｘに対応するワープＷ実行前の画像（注目画像ＯＩの平均形状領域ＢＳＡ）における画素群をＷ（ｘ；ｐ）と表す。平均形状画像は、注目画像ＯＩの平均形状領域ＢＳＡにおける画素群Ｗ（ｘ；ｐ）のそれぞれにおける輝度値により構成される画像であるため、Ｉ（Ｗ（ｘ；ｐ））と表される。図２１には、図１８（ａ）に示した９個の仮設定位置に対応する９個の平均形状画像Ｉ（Ｗ（ｘ；ｐ））を示している。

算出部２３８は、各仮設定位置に対応する平均形状画像Ｉ（Ｗ（ｘ；ｐ））と平均顔画像Ａ₀（ｘ）との差分画像Ｉｅを算出する（ステップＳ４３０）。差分画像Ｉｅは、平均形状画像Ｉ（Ｗ（ｘ；ｐ））と平均顔画像Ａ₀（ｘ）の各画素値の差であり、本実施例では差分値とも呼ぶ。差分画像Ｉｅは、特徴点ＣＰの設定位置が、特徴部位の位置と一致している場合には表れないため、特徴点ＣＰの設定位置と、特徴部位の位置と差異を表している。本実施例では、特徴点ＣＰの仮設定位置は８１種類設定されているため、算出部２３８は、８１個の差分画像Ｉｅを算出することとなる。

初期位置設定部２３０は、各差分画像Ｉｅの画素値からノルムを算出し、ノルムの値が最も小さい差分画像Ｉｅに対応する仮設置位置（以下「ノルム最小仮設定位置」とも呼ぶ）を、注目画像ＯＩにおける特徴点ＣＰの初期位置として設定する（ステップＳ４４０）。本実施例において、ノルムを算出するための画素値は輝度値であってもよいしＲＧＢ値であってもよい。以上により特徴点ＣＰ初期位置設定処理が完了する。

特徴点ＣＰ初期位置設定処理が完了すると、特徴位置検出部２２０は、注目画像ＯＩにおける特徴点ＣＰの設定位置の補正を行う（ステップＳ２４０）。図２２は、第１実施例における特徴点ＣＰ設定位置補正処理の流れを示すフローチャートである。

特徴位置検出部２２０は、注目画像ＯＩから平均形状画像Ｉ（Ｗ（ｘ；ｐ））を算出する（ステップＳ５１０）。平均形状画像Ｉ（Ｗ（ｘ；ｐ））の算出方法は、特徴点ＣＰ初期位置設定処理におけるステップＳ４２０と同様である。

特徴位置検出部２２０は、平均形状画像Ｉ（Ｗ（ｘ；ｐ））と平均顔画像Ａ₀（ｘ）との差分画像Ｉｅを算出する（ステップＳ５２０）。特徴位置検出部２２０は、差分画像Ｉｅに基づき、特徴点ＣＰの設定位置補正処理が収束したか否かを判定する（ステップＳ５３０）。特徴位置検出部２２０は、差分画像Ｉｅのノルムを算出し、ノルムの値が予め設定された閾値より小さい場合には収束したと判定し、ノルムの値が閾値以上の場合には未だ収束していないと判定する。

なお、特徴位置検出部２２０は、算出された差分画像Ｉｅのノルムの値が前回のステップＳ５２０において算出された値よりも小さい場合には収束したと判定し、前回値以上である場合には未だ収束していないと判定するものとしてもよい。あるいは、特徴位置検出部２２０は、閾値による判定と前回値との比較による判定とを組み合わせて収束判定を行うものとしてもよい。例えば、特徴位置検出部２２０は、算出されたノルムの値が、閾値より小さく、かつ、前回値より小さい場合にのみ収束したと判定し、それ以外の場合には未だ収束していないと判定するものとしてもよい。

上記のステップＳ５３０の収束判定において未だ収束していないと判定された場合には、補正部２２２は、パラメーター更新量ΔＰを算出する（ステップＳ５４０）。パラメーター更新量ΔＰは、４個のグローバルパラメーター（全体としての大きさ、傾き、Ｘ方向位置、Ｙ方向位置）、および、ＡＡＭ設定処理により算出されるｎ個の形状パラメーターｐ_i（式（１）参照）の値の変更量を意味している。なお、特徴点ＣＰを初期位置に設定した直後においては、グローバルパラメーターは、特徴点ＣＰ初期位置設定処理において決定された値が設定されている。また、このときの特徴点ＣＰの初期位置と平均形状ｓ₀の特徴点ＣＰの設定位置との相違は、全体としての大きさ、傾き、位置の相違に限られるため、形状モデルにおける形状パラメーターｐ_iの値はすべてゼロである。

パラメーター更新量ΔＰは、下記の式（３）により算出される。すなわち、パラメーター更新量ΔＰは、アップデートマトリックスＲと差分画像Ｉｅとの積である。

式（３）におけるアップデートマトリックスＲは、差分画像Ｉｅに基づきパラメーター更新量ΔＰを算出するために予め学習により設定されたＭ行Ｎ列のマトリックスであり、ＡＡＭ情報ＡＭＩ（図１）として内部メモリー１２０に格納されている。本実施例では、アップデートマトリックスＲの行数Ｍは、グローバルパラメーターの数（４個）と、形状パラメーターｐ_iの数（ｎ個）との和（（４＋ｎ）個）に等しく、列数Ｎは、平均顔画像Ａ₀（ｘ）の平均形状領域ＢＳＡ内の画素数（５６画素×５６画素−マスク領域ＭＡの画素数）に等しい。アップデートマトリックスＲは、下記の式（４）および（５）により算出される。

補正部２２２は、算出されたパラメーター更新量ΔＰに基づきパラメーター（４個のグローバルパラメーターおよびｎ個の形状パラメーターｐ_i）を更新する（ステップＳ５５０）。これにより、注目画像ＯＩにおける特徴点ＣＰの設定位置が更新される。補正部２２２は、差分画像Ｉｅのノルムが小さくなるように更新する。パラメーターの更新の後には、再度、特徴点ＣＰの設置位置が補正された注目画像ＯＩからの平均形状画像Ｉ（Ｗ（ｘ；ｐ））の算出（ステップＳ５１０）、差分画像Ｉｅの算出（ステップＳ５２０）、差分画像Ｉｅに基づく収束判定（ステップＳ５３０）が行われる。再度の収束判定においても収束していないと判定された場合には、さらに、差分画像Ｉｅに基づくパラメーター更新量ΔＰの算出（ステップＳ５４０）、パラメーターの更新による特徴点ＣＰの設定位置補正（ステップＳ５５０）が行われる。

図２２のステップＳ５１０からＳ５５０までの処理が繰り返し実行されると、注目画像ＯＩにおける各特徴部位に対応する特徴点ＣＰの位置は実際の特徴部位の位置に全体として近づいていき、ある時点で収束判定（ステップＳ５３０）において収束したと判定される。収束判定において収束したと判定されると、顔特徴位置検出処理が完了する（ステップＳ５６０）。このとき設定されているグローバルパラメーターおよび形状パラメーターの値により特定される特徴点ＣＰの設定位置が、最終的な注目画像ＯＩにおける特徴点ＣＰの設定位置として特定される。ステップＳ５１０からＳ５５０までの処理の繰り返しにより、注目画像ＯＩにおける各特徴部位に対応する特徴点ＣＰの位置と実際の特徴部位の位置とが一致する場合もある。

図２３は、顔特徴位置検出処理の結果の一例を示す説明図である。図２３には、注目画像ＯＩにおいて最終的に特定された特徴点ＣＰの設定位置が示されている。特徴点ＣＰの設定位置により、注目画像ＯＩに含まれる顔の特徴部位（人物の顔の器官（眉毛、目、鼻、口）および顔の輪郭における所定位置）の位置が特定されるため、注目画像ＯＩにおける人物の顔の器官の形状・位置や顔の輪郭形状の検出が可能となる。以上により、顔特徴位置検出処理が完了する。

印刷処理部３２０は、顔の器官の形状・位置や顔の輪郭形状の検出がなされた注目画像ＯＩについての印刷データを生成する。具体的には、印刷処理部３２０は、注目画像ＯＩについて、各画素の画素値をプリンター１００が用いるインクに合わせるための色変換処理や、色変換処理後の画素の階調をドットの分布によって表すためのハーフトーン処理や、ハーフトーン処理された画像データのデータ並びをプリンター１００に転送すべき順序に並び替えるためのラスタライズ処理等を実施して印刷データを生成する。印刷機構１６０は、印刷処理部３２０により生成された印刷データに基づいて、顔の器官の形状・位置や顔の輪郭形状の検出がなされた注目画像ＯＩの印刷をおこなう。なお、印刷処理部３２０は、注目画像ＯＩについての印刷データに限らず、検出された顔の器官の形状・位置や顔の輪郭形状に基づいて、顔変形や、顔の陰影補正など所定の処理が施された画像の印刷データについても生成することができる。また、印刷機構１６０は、印刷処理部３２０により生成された印刷データに基づいて、顔変形や、顔の陰影補正などの処理が施された画像の印刷をおこなうこともできる。

以上説明したように、第１の実施例に係る画像処理装置によれば、特徴点ＣＰの初期位置を、顔領域検出情報に基づいて設定される複数の初期位置の候補から設定するため、初期位置を特徴部位により近い位置に設定することができる。これにより、注目画像に含まれる顔の特徴部位の位置を検出する処理の効率化・高速化を図ることができる。すなわち、顔領域ＦＡにおける顔画像の位置や範囲等は、つねに一定かつ顔領域ＦＡの中心と顔画像の中心が一致するわけではなく、注目画像ＯＩに含まれる顔画像の向きや鮮明さのほか、顔領域検出部２１０の検出特性などによって顔画像の位置や範囲が異なる。そのため、特徴点ＣＰを初期位置の候補となる注目画像ＯＩ上の仮設定位置に設定する際に、顔領域検出部２1０による顔領域ＦＡの検出に関連する情報を用いることで、特徴点ＣＰを検出対象の特徴部位に対してより適当な位置に設定することができる。

具体的には、初期位置候補設定部２３４は、顔領域信頼度が低い場合、すなわち、顔領域信頼度が閾値より小さい場合には、顔領域ＦＡに顔画像が含まれている可能性が低いことから、顔領域信頼度が高い場合に比べて、特徴点ＣＰの仮設定位置の数を増やすことにより、特徴部位に対応した適当な位置に特徴点ＣＰを配置できる可能性が高くすることができる。反対に、顔領域信頼度が高い場合には、顔領域ＦＡに顔画像が含まれている可能性が高いため、顔領域信頼度が低い場合に比べて、特徴点ＣＰの仮設定位置の数を減らすことにより効率的かつ高速に顔の特徴部位の位置の検出をおこなうことができる。

また、初期位置候補設定部２３４は、予め設定されている特定傾きが０度の場合における仮設定位置に対して、検出された顔領域ＦＡの特定傾きの角度分それぞれ傾けて設定するため、特徴部位に対応したより適当な位置に特徴点ＣＰを配置することができる。よって、注目画像に含まれる顔の特徴部位の位置を効率的かつ高速に検出することができる。

また、初期位置候補設定部２３４は、特定顔傾きの設定角度（例えば、０度、３０度、６０度、・・・、３３０度）のうち、検出した顔領域ＦＡの特定顔傾き（例えば、０度）と隣接する設定角度（例えば、−３０度および３０度）との一方の中間値（例えば、−１５度）から他方の中間値（例えば、１５度）までの範囲を、メッシュの回転角度の範囲として設定するため、顔領域ＦＡの検出処理の結果、実際の顔画像の顔の傾きが含まれている可能性の低い角度の範囲にメッシュを回転させて仮設定位置を設定する処理の無駄を抑制し、実際の顔画像の顔の傾きが含まれている可能性の高い範囲にメッシュを回転させて仮設置位置を設定することができる。よって、注目画像に含まれる顔の特徴部位の位置を効率的かつ高速に検出することができる。

第１の実施例に係る画像処理装置によれば、特徴点ＣＰ初期位置設定処理において、グローバルパラメーターを用いて特徴点ＣＰの初期位置を設定するため、注目画像に含まれる顔の特徴部位の位置を検出する処理の効率化・高速化を図ることができる。具体的には、４つのグローバルパラメーター（大きさ、傾き、上下方向の位置、左右方向の位置）の値をそれぞれ変更させて、種々のメッシュを形成する特徴点ＣＰの仮設定位置を予め複数用意し、ノルムの値が最も小さい差分画像Ｉｅに対応する仮設定位置を初期位置としている。これにより、注目画像ＯＩにおける特徴点ＣＰの初期位置を顔の特徴部位の位置のより近くに設定することができる。よって、特徴点ＣＰ設定位置補正処理において、補正部２２２による補正が容易となるため、顔の特徴部位の位置を検出する処理の効率化・高速化を図ることができる。

第１の実施例に係るプリンター１００によれば、顔の器官の形状・位置や顔の輪郭形状の検出がなされた注目画像ＯＩについての印刷をおこなうことができる。これにより、特定の表情（例えば笑顔や目を閉じた顔）の顔画像を検出するための表情判定や、特定の向き（例えば右向きや下向き）の顔画像を検出するための顔向き判定をおこなった後に、判定結果に基づいて任意の画像を選択して印刷をおこなうことができる。また、検出された顔の器官の形状・位置や顔の輪郭形状に基づいて、顔変形や、顔の陰影補正など所定の処理が施された画像の印刷をおこなうことができる。これにより、特定の顔画像について、顔変形や、顔の陰影補正等をおこなった後に印刷をおこなうことができる。

Ｂ．第２実施例：
第１実施例では、取得部２３２は、顔領域検出情報を取得し（ステップＳ４００）、初期位置候補設定部２３４は、取得部２３２が取得した顔領域検出情報に基づいて、特徴点ＣＰを注目画像ＯＩ上の仮設定位置に設定していたが（ステップＳ４１０）、顔特徴位置検出処理の度に顔領域検出情報を取得する態様ではなく、初期位置候補設定部２３４は、予め顔領域検出情報に基づいて設定された仮設定位置に特徴点ＣＰを設定してもよい。

図２４は、顔領域検出情報と特徴点ＣＰの仮設定位置について第２の例を示した説明図である。図２５は、顔領域検出情報と特徴点ＣＰの仮設定位置についての第３の例を示した説明図である。第２実施例における初期位置候補設定部２３４は、特徴点ＣＰの初期位置の設定に、顔領域ＦＡにおける顔画像の位置の傾向に基づいて予め設定された特徴点ＣＰの仮設定位置を用いる。具体的には、図２４（ａ）に示すように、顔領域ＦＡの検出処理の統計的なデータにより、顔領域ＦＡに対して顔画像が下側に位置することが特定された場合には、図２４（ｂ）に示すように、顔領域ＦＡに対してメッシュが下側に位置するように予めグローバルパラメーターが設定される。また、顔領域ＦＡに対して顔画像が上側に位置する場合や、左右のいずれかに偏って位置する場合についても同様に予めグローバルパラメーターを設定することにより、顔画像のより近くにメッシュを配置することができる。グローバルパラメーターの設定は、ユーザによりおこなわれてもよいし、画像処理部２００によりおこなわれてもよい。

また、初期位置候補設定部２３４は、図２５（ａ）に示すように、顔領域ＦＡの検出処理の統計的なデータにより、顔領域ＦＡが顔画像に対して小さいことが特定された場合には、図２５（ｂ）に示すように、顔領域ＦＡに対してメッシュが大きくなるように予めグローバルパラメーターが設定される。また、顔領域ＦＡが顔画像に対して大きい場合や、顔領域ＦＡに対して顔画像が上下左右に偏って位置するとともに、顔領域ＦＡが顔画像に対して大小する場合についても同様に予めグローバルパラメーターを設定することにより、顔画像のより近くにメッシュを配置することができる。

第２の実施例に係る画像処理装置によれば、画像処理部２００は、取得部２３２を備えていなくても、注目画像に含まれる顔の特徴部位の位置を検出する処理の効率化・高速化を図ることができる。具体的には、取得部２３２により、顔特徴位置検出処理の度に顔領域検出情報を取得しなくても、例えば、顔領域ＦＡにおける顔画像の位置の傾向など、顔領域ＦＡの検出処理により特定される情報以外の顔領域検出情報であれば、顔領域検出情報に基づいて特徴点ＣＰの仮設定位置を予め設定することができる。これにより、特徴点ＣＰを特徴部位に対してより適当な位置に設定することができる。また、初期位置候補設定部２３４は、取得部２３２が取得した顔領域検出情報に基づいて、特徴点ＣＰを注目画像ＯＩ上の仮設定位置に設定する必要はなく、顔領域検出情報に基づいて予め設定された仮設定位置に特徴点ＣＰを設定してもよい。

Ｃ．変形例：
なお、この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。

Ｃ１．変形例１：
第１実施例では、初期位置候補設定部２３４は、顔領域信頼度が閾値以上である場合には、図１８に示すように、メッシュの回転および拡大・縮小、メッシュの上下移動および左右移動のそれぞれについて３段階に変化させて仮設定位置を設定し、顔領域信頼度が閾値より小さい場合には、図２０に一例を示すように、メッシュの回転および拡大・縮小、メッシュの上下移動および左右移動のそれぞれについて５段階に変化させて仮設定位置を設定するとして説明したが、上記の３段階および５段階は例示にすぎず、例えば４段階や６段階のようにこれ以外の段階数に設定されていてもよい。

Ｃ２．変形例２：
第１実施例では、顔領域検出情報として、特定顔傾きの設定数、設定角度、設定間隔や、顔領域ＦＡの検出処理の統計的なデータに基づく顔領域ＦＡにおける顔画像の位置の傾向、顔領域ＦＡの検出処理において、顔領域検出部２1０が注目画像ＯＩから顔領域ＦＡを検出した際に特定される情報などを示したが、顔領域検出情報は、顔領域検出部２1０による顔領域ＦＡの検出に関連する情報であれば上記に限定されず、これら以外の情報も含まれる。例えば、前回の顔領域ＦＡの検出処理の結果なども含まれる。また、顔領域検出部２1０による顔領域ＦＡの検出に関連する情報についても、検出した顔領域ＦＡの特定顔傾きや、顔領域信頼度に限定されず、これら以外の情報も含まれる。例えば、ウィンドウＳＷの水平方向および垂直方向の移動量や、重複ウィンドウ数なども含まれる。

Ｃ３．変形例３：
第１実施例では、顔領域検出情報として、特定顔傾きの設定間隔と、検出した顔領域ＦＡの特定顔傾きと、顔領域信頼度を用いているが、必ずしもこれらすべてを用いる必要ななく、これら一部に基づいて特徴点ＣＰの仮設定位置を設定した場合であっても、特徴部位に対応したより適当な位置に特徴点ＣＰを配置することができ、注目画像に含まれる顔の特徴部位の位置を効率的かつ高速に検出することができる。また、第１実施例と第２実施例は適宜組み合わせて実現することができる。

Ｃ４．変形例４：
本実施例では、顔領域信頼度を用いて、仮設定位置の設定数を変化させているが、仮設定位置の設定数は顔領域信頼度以外の顔領域検出情報に基づいて決定されてもよい。例えば、顔領域ＦＡの検出処理の統計的なデータを用いて算出される正規分布の分散の程度により仮設定位置の設定数を決定してもよい。具体的は、顔領域ＦＡの検出処理の統計的なデータにより、顔領域ＦＡに対する顔画像の位置や回転、顔領域ＦＡに占める顔画像の範囲などのばらつきが大きい場合には、メッシュの回転および拡大・縮小、メッシュの上下移動および左右移動についての変化の段階数が多くなるように設定されていてもよい。例えば、平均μからのずれが±３σとなる範囲において、仮設定位置の間隔が所定の範囲内となるように仮設定位置の数が決定されてもよい。

Ｃ５．変形例５：
第１実施例で示した、特定顔傾きの設定数（１２個）、設定角度（０度、３０度、６０度、・・・、３３０度）、設定間隔（３０度）は例示であり、これ以外の設定数、設定角度、設定間隔であってもよい。顔学習データＦＬＤを設定するために用いたサンプル画像とＡＡＭ設定処理に用いるサンプル画像ＳＩは一部が重複する画像であってもよいし、すべて異なる画像であってもよい。

Ｃ６．変形例６：
本実施例におけるサンプル画像ＳＩはあくまで一例であり、サンプル画像ＳＩとして採用する画像の数、種類は任意に設定可能である。また、本実施例において、特徴点ＣＰの位置で示される顔の所定の特徴部位はあくまで一例であり、実施例において設定されている特徴部位の一部を省略したり、特徴部位として他の部位を採用したりしてもよい。

また、本実施例では、サンプル画像ＳＩｗの画素群ｘのそれぞれにおける輝度値により構成される輝度値ベクトルに対する主成分分析によってテクスチャーモデルが設定されているが、顔画像のテクスチャー（見え）を表す輝度値以外の指標値（例えばＲＧＢ値）に対する主成分分析によってテクスチャーモデルが設定されるものとしてもよい。

また、本実施例において、平均顔画像Ａ₀（ｘ）のサイズは５６画素×５６画素に限られず他のサイズであってもよい。また、平均顔画像Ａ₀（ｘ）は、マスク領域ＭＡ（図８）を含む必要はなく、平均形状領域ＢＳＡのみによって構成されるとしてもよい。また、平均顔画像Ａ₀（ｘ）の代わりに、サンプル画像ＳＩの統計的分析に基づき設定される他の基準顔画像が用いられるとしてもよい。

また、本実施例では、ＡＡＭを用いた形状モデルおよびテクスチャーモデルの設定が行われているが、他のモデル化手法（例えばＭｏｒｐｈａｂｌｅ Ｍｏｄｅｌと呼ばれる手法やＡｃｔｉｖｅ Ｂｌｏｂと呼ばれる手法）を用いて形状モデルおよびテクスチャーモデルの設定が行われるとしてもよい。

また、本実施例では、メモリーカードＭＣに格納された画像が注目画像ＯＩに設定されているが、注目画像ＯＩは例えばネットワークを介して取得された画像であってもよい。また、検出モード情報についても、ネットワークを介して取得されてもよい。

また、本実施例では、画像処理装置としてのプリンター１００による画像処理を説明したが、処理の一部または全部がパーソナルコンピューターやデジタルスチルカメラ、デジタルビデオカメラ等の他の種類の画像処理装置により実行されるものとしてもよい。また、プリンター１００はインクジェットプリンターに限らず、他の方式のプリンター、例えばレーザプリンターや昇華型プリンターであるとしてもよい。

本実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよい。

また、本発明の機能の一部または全部がソフトウェアで実現される場合には、そのソフトウェア（コンピュータープログラム）は、コンピューター読み取り可能な記録媒体に格納された形で提供することができる。この発明において、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスクやＣＤ−ＲＯＭのような携帯型の記録媒体に限らず、各種のＲＡＭやＲＯＭ等のコンピューター内の内部記憶装置や、ハードディスク等のコンピューターに固定されている外部記憶装置も含んでいる。

１００…プリンター
１１０…ＣＰＵ
１２０…内部メモリー
１４０…操作部
１５０…表示部
１６０…印刷機構
１７０…カードインターフェース
１７２…カードスロット
２００…画像処理部
２１０…顔領域検出部
２２０…特徴位置検出部
２２２…補正部
２３０…初期位置設定部
２３２…取得部
２３４…初期位置候補設定部
２３６…生成部
２３８…算出部
３１０…表示処理部
３２０…印刷処理部

Claims (12)

1. 注目画像に含まれる顔の特徴部位の座標位置を検出する画像処理装置であって、
   前記注目画像から顔画像の少なくとも一部を含む画像領域を顔領域として検出する顔領域検出部と、
   前記特徴部位の座標位置を検出するために前記注目画像に設定される特徴点の初期位置を、前記顔領域の検出に関連する情報である顔領域検出情報に基づいて設定される複数の前記初期位置の候補から設定する初期位置設定部と、
   前記初期位置に設定された前記特徴点の設定位置を前記特徴部位の位置に近づけるように補正し、補正された前記設定位置を前記特徴部位の座標位置として検出する特徴位置検出部と、を備える画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記顔領域検出情報は、前記顔領域検出部による前記検出に伴い特定される情報であり、
   前記初期位置設定部は、
   特定された前記顔領域検出情報を取得する取得部と、
   取得された前記顔領域検出情報に基づいて前記初期位置の候補を設定する初期位置候補設定部と、を備える画像処理装置。
3. 請求項２に記載の画像処理装置において、
   前記顔領域検出情報は、前記顔領域検出部により検出された前記顔領域に含まれる顔画像が真の顔画像であることの確からしさを表す顔領域信頼度を含み、
   前記初期位置候補設定部は、前記顔領域信頼度が低い場合には、前記顔領域信頼度が高い場合に比べて、設定する前記初期位置の候補の数を増やす画像処理装置。
4. 請求項２に記載の画像処理装置において、
   前記顔領域検出情報は、前記顔領域検出部により検出された前記顔領域に含まれる顔画像の画像面内における回転角度に関する角度情報を含み、
   前記初期位置候補設定部は、前記角度情報に基づいて、予め規定されている前記初期位置の候補を、前記回転角度に応じて回転させて設定する画像処理装置。
5. 請求項１に記載の画像処理装置において、
   前記顔領域検出情報は、前記顔領域検出部が特定可能な前記顔画像の画像面内における回転角度に関する情報を含み、
   前記複数の初期位置の候補は、前記顔領域検出部が特定可能な前記回転角ごとに、前記回転角と値が隣接する一方の前記特定可能な回転角度との中間値から、値が隣接する他方の前記特定可能な回転角度との中間値までの範囲にそれぞれ設定される画像処理装置。
6. 請求項１に記載の画像処理装置において、
   前記顔領域検出情報は、前記顔領域検出部により検出された前記顔領域に対する顔画像の相対的な位置の傾向に関する情報を含み、
   前記複数の初期位置の候補は、前記顔領域に対する相対的な位置が前記傾向に応じて決定されている画像処理装置。
7. 請求項１ないし請求項６のいずれかに記載の画像処理装置において、
   前記初期位置設定部は、
   前記初期位置の候補となる位置に設定された前記特徴点に基づいて、前記注目画像の一部を変換した画像である平均形状画像を生成する生成部と、
   前記平均形状画像と、前記特徴部位の座標位置が既知の顔画像を含む複数のサンプル画像に基づいて生成された画像である平均顔画像と、の差分値を算出する算出部と、を備えるとともに、
   前記複数の初期位置の候補のうち、前記差分値が最小となる初期位置の候補を前記初期位置として設定する画像処理装置。
8. 請求項１ないし請求項７のいずれかに記載の画像処理装置において、
   前記特徴位置検出部は、
   前記初期位置に対応する平均形状画像と、前記平均顔画像と、の差分値に基づいて、前記差分値が小さくなるように前記設定位置を補正する補正部を備えるとともに、
   前記差分値が所定となる前記設定位置を前記座標位置として検出する画像処理装置。
9. 請求項１ないし請求項８のいずれかに記載の画像処理装置において、
   前記特徴部位は、眉毛と目と鼻と口とフェイスラインとの一部である画像処理装置。
10. 注目画像に含まれる顔の特徴部位の座標位置を検出するプリンターであって、
    前記注目画像から顔画像の少なくとも一部を含む画像領域を顔領域として検出する顔領域検出部と、
    前記特徴部位の座標位置を検出するために前記注目画像に設定される特徴点の初期位置を、前記顔領域の検出に関連する情報である顔領域検出情報に基づいて設定される複数の前記初期位置の候補から設定する初期位置設定部と、
    前記初期位置に設定された前記特徴点の設定位置を前記特徴部位の位置に近づけるように補正し、補正された前記設定位置を前記特徴部位の座標位置として検出する特徴位置検出部と、
    前記座標位置が検出された前記注目画像を印刷するための印刷部と、を備えるプリンター。
11. 注目画像に含まれる顔の特徴部位の座標位置を検出する画像処理方法であって、
    前記注目画像から顔画像の少なくとも一部を含む画像領域を顔領域として検出する工程と、
    前記特徴部位の座標位置を検出するために前記注目画像に設定される特徴点の初期位置を、前記顔領域の検出に関連する情報である顔領域検出情報に基づいて設定される複数の前記初期位置の候補から設定する工程と、
    前記初期位置に設定された前記特徴点の設定位置を前記特徴部位の位置に近づけるように補正し、補正された前記設定位置を前記特徴部位の座標位置として検出する工程と、を備える画像処理方法。
12. 注目画像に含まれる顔の特徴部位の座標位置を検出する画像処理のためのコンピュータープログラムであって、
    前記注目画像から顔画像の少なくとも一部を含む画像領域を顔領域として検出する顔領域検出機能と、
    前記特徴部位の座標位置を検出するために前記注目画像に設定される特徴点の初期位置を、前記顔領域の検出に関連する情報である顔領域検出情報に基づいて設定される複数の前記初期位置の候補から設定する初期位置設定機能と、
    前記初期位置に設定された前記特徴点の設定位置を前記特徴部位の位置に近づけるように補正し、補正された前記設定位置を前記特徴部位の座標位置として検出する特徴位置検出機能と、をコンピューターに実現させるコンピュータープログラム。

Images