WO2005111936A1

WO2005111936A1 - パラメタ推定方法、パラメタ推定装置および照合方法

Info

Publication number: WO2005111936A1
Application number: PCT/JP2005/008006
Authority: WO
Inventors: Kenji Nagao
Original assignee: NAGAO ETSUKO; Matsushita Electric Industrial Co Ltd
Current assignee: NAGAO ETSUKO; Panasonic Holdings Corp
Priority date: 2004-05-14
Filing date: 2005-04-27
Publication date: 2005-11-24
Anticipated expiration: 2006-11-14
Also published as: US7760933B2; JP4321350B2; EP1758059A1; US20070230773A1; CN1954342A; EP1758059A4; JP2005327076A; CN1954342B

Abstract

　入力データに対して最大事後確率推定を行いパラメタを推定するパラメタ推定方法において、入力データに関する演算を入力データに関する内積で表し、内積をカーネル関数に置き換え、カーネル関数の計算結果を用いてパラメタを推定する。推定すべきパラメタが既知である複数の学習用入力データと学習用入力データのそれぞれに対応するパラメタとの相関を学習するステップ（オフライン動作）と、推定すべきパラメタが未知である推定用入力データに対するパラメタを学習した相関を用いて推定するステップ（オンライン動作）とを有する。

Description

明細書

ノ、 °ラメタ推定方法、パラメタ推定装置および照合方法

技術分野

[0001] 本発明は、入力データ力も特定のノラメタを推定するパラメタ推定方法、ノラメタ推定装置およびこれを用いた照合方法に関する。

背景技術

[0002] 入力された画像から特定のパラメタを推定する処理は、パターン情報処理において一般的な処理である。例えば人物顔画像から目や鼻の位置を取り出す処理や、車両画像力ナンバープレートの位置を抽出する処理がそれにあたる。

[0003] 従来、このような処理に対してもっともポピュラーな方法はテンプレートを用いて比較照合する照合フィルタ一法と言われるもので、多くの使用例が提案されている。このような方法にもとづく顔の特徴抽出方法の一例力 R. Brunelli, T. Poggio, "F ace Recognition： Features versus Template , IEEE Trans. Patt. Anal . Machine Intell. , vol. PAMI— 8, pp. 34—43, 1993 に詳しく報告されている。

[0004] これら従来の方法における課題はコンピュータの処理時間が長い、あるいはそれにともなって処理コストが高くなることである。正規化相関を類似度基準とする場合、入力画像の画素数を S、テンプレートの画素数を Tとすると、乗算を単位演算として 2 X TX S回の演算が必要となる。これを顔画像の特徴点抽出にあてはめると、 S = 150 X 150 = 22500 (pel)、 T= 50 X 20= 1000 (pel)の場合、乗算だけで 2 X 1000 X 22500=4500万回となり、いくらコンピュータの演算速度が向上したといえ莫大な演算コストを要することになる。

[0005] また、照合に用いるテンプレートとしては全学習データの平均等のデータを用いることが多ぐ環境によってうまく照合できない場合が多い。このため入力画像に応じてテンプレートを複数用意して類似度計算を行う手法がある。し力しながら、テンプレートの数に応じて処理量が増大するため、コンピュータの処理時間がさらに大きくなつてしまうという問題があった。発明の開示

[0006] 本発明のパラメタ推定方法、パラメタ推定装置および照合方法はこれらの課題に鑑みなされたものであり、短、処理時間あるいは少な!/、処理コストで入力データに対するパラメタを正確に推定することを目的とする。

[0007] 上記課題を解決するため、本発明のパラメタ推定方法は、入力データに対して最大事後確率推定を行う演算方法を入力データに関する内積で表し、内積をカーネル関数に置き換え、カーネル関数の計算結果を用いてパラメタを推定することを特徴とする。

図面の簡単な説明

[0008] [図 1]図 1は本発明の実施の形態 1におけるパラメタ推定装置のブロック図である。

[図 2]図 2は本発明の実施の形態 1におけるパラメタ推定装置のフローチャートである

[図 3]図 3は本発明の実施の形態 2における顔画像照合装置のブロック図である。

[図 4]図 4は本発明の実施の形態 2における顔画像照合装置のフローチャートである

[図 5]図 5はユーザにより入力された顔の特徴点の一例を示す図である。

[図 6]図 6は本発明の実施の形態 2において抽出された目位置のいくつかの例を示す図である。

[図 7A]図 7Aは本発明の実施の形態 2における顔画像照合装置の撮像距離を変化させたときの目位置推定の感度を示す図である。

[図 7B]図 7Bは本発明の実施の形態 2における顔画像照合装置の撮像角度を変化させたときの目位置推定の感度を示す図である。

[図 8A]図 8Aは正面力撮影した顔画像の画面内での顔位置の移動に対する目位置推定の感度を示す図である。

[図 8B]図 8Bは斜め力撮影した顔画像の画面内での顔位置の移動に対する目位置推定の感度を示す図である。

[図 9]図 9は反復回数と目位置推定の感度を示す図である。

[図 10]図 10は本発明の実施の形態 3における顔画像照合装置のブロック図である。 [図 11]図 11は本発明の実施の形態 3および 4における顔画像照合装置のフローチヤートである。

符号の説明

[0009] 10 データ入力部

20 CPU

22 学習カーネル行列計算手段

23 固有値計算手段

26 推定カーネル計算手段

27 パラメタ算出手段

30 メモリ

40 二次記憶装置

50 ディスプレイ

60 マウス

90 システムノ^:ス

100 パラメタ推定装置

110, 115 (ビデオ)カメラ

140 顔画像データベース

200, 300 顔画像照合装置

発明を実施するための最良の形態

[0010] 本発明のパラメタ推定方法は、入力データに対して最大事後確率推定を行う演算方法を入力データに関する内積で表し、内積をカーネル関数に置き換え、カーネル関数の計算結果を用いてパラメタを推定することを特徴とする。この方法により、短い処理時間あるいは少ない処理コストで入力データに対するパラメタを正確に推定することが可能となる。

[0011] また、本発明のパラメタ推定方法は、推定すべきパラメタが既知である複数の学習用入力データと学習用入力データのそれぞれに対応するパラメタとの相関を学習するステップと、推定すべきパラメタが未知である推定用入力データに対するパラメタを学習した相関を用いて推定するステップとを有し、学習するステップは、推定すべきノメタが既知である複数の学習用入力データを用いて学習カーネル行列を計算するステップと、学習カーネル行列の逆行列の固有値および固有ベクトルを求めるステップとを有し、推定するステップは、推定すべきパラメタが未知である推定用入力データと学習用入力データとを用いて推定カーネルを計算するステップと、学習カーネル行列、学習カーネル行列の逆行列の固有値とその固有ベクトルとを用いて推定用入力データのパラメタを推定するステップとを有する。この方法により、コンピュータシステムを用いて、短、処理時間あるいは少な、処理コストで入力データに対するパラメタを正確に推定することが可能となる。

[0012] また、本発明のパラメタ推定装置は、推定すべきパラメタが既知である複数の学習用入力データと学習用入力データのそれぞれに対応するパラメタとの相関を学習する学習手段と、推定すべきパラメタが未知である推定用入力データのパラメタを学習した相関を用いて推定する推定手段とを備え、学習手段は、推定すべきパラメタが既知である複数の学習用入力データを用いて学習カーネル行列を計算する学習カーネル行列計算手段と、学習カーネル行列の逆行列の固有値および固有ベクトルを求める固有値計算手段とを備え、推定手段は、推定すべきパラメタが未知である推定用入力データと学習用入力データとを用いて推定カーネルを計算する推定カーネル計算手段と、学習カーネル行列、学習カーネル行列の逆行列の固有値、その固有ベクトルとを用いて推定用入力データのパラメタを算出するパラメタ算出手段とを備えたことを特徴とする。この構成により、短い処理時間あるいは少ない処理コストで入力データに対するパラメタを正確に推定するパラメタ推定装置を実現することが可能となる。

[0013] また、本発明のパラメタ推定装置は、推定用入力データおよび学習用入力データが顔を含む画像であり、推定すべきパラメタが顔の特徴点の座標であってもよい。この構成により、顔照合装置に適したパラメタ推定装置を提供できる。

[0014] また、本発明の照合方法は、本発明のパラメタ推定装置と顔画像データベースとを用いた照合方法であって、パラメタ推定装置を用いて照合すべき顔画像に対する顔の特徴点の座標を推定した後、顔の特徴点の座標にもとづき顔領域を切り出し、顔画像データベースに登録されてヽる顔画像と切り出された顔領域とを照合する。この方法により、短、処理時間ある!/、は少な!/、処理コストで顔画像から顔照合に用いる顔領域を切り出すことが可能となる。

[0015] また、本発明の照合方法は、本発明のパラメタ推定装置と顔画像データベースとを用いた照合方法であって、パラメタ推定装置を用いて顔の特徴点の座標を推定し顔の特徴点の座標にもとづき画像領域を正規化する顔画像正規化動作を複数回繰り返した後、顔の特徴点の座標にもとづき顔領域を切り出し、顔画像データベースに登録されている顔画像と切り出された顔領域とを照合する。この方法により、画面内で顔位置が大きく移動している顔画像に対しても精度よく特徴点の座標を推定することが可能となる。

[0016] また、本発明のパラメタ推定装置は、推定用入力データおよび学習用入力データが顔を含む画像であり、推定すべきパラメタが顔画像の高さ情報であってもよい。この構成により、 2次元顔画像から 3次元の立体的な顔情報を推定できる。

[0017] また、本発明の照合方法は、本発明のパラメタ推定装置と顔画像データベースとを用いた照合方法であって、パラメタ推定装置を用いて照合すべき顔画像に対する高さ情報を推定した後、顔画像の高さ情報にもとづき顔画像データベースに登録されている顔画像と同一の角度から見た 2次元画像を合成し照合する。この方法により、任意の方向を向いた顔画像であっても正面あるいは横向きの顔画像として登録された顔画像データベースとの照合が可能となる。

[0018] また、本発明の照合方法は、請求項 7に記載のパラメタ推定装置と顔画像データべ一スとを用いた照合方法であって、パラメタ推定装置を用いて顔画像データベースに登録されている顔画像に対する高さ情報を推定した後、登録されている顔画像以外の角度カゝら見た 2次元画像を合成して、顔画像データベースに追加登録する。この方法によれば、入力した顔画像と顔画像データベースに登録されて！ヽる顔画像とを直接照合することができるので高速に照合することができる。

[0019] (実施の形態 1)

図 1は、本発明の実施の形態 1におけるパラメタ推定装置のブロック図であり、コンピュータシステムで実現したものである。ノラメタ推定装置 100は、外部機器とのデータのやりとりを行うデータ入力部 10、データ処理を行う CPU20、プログラム格納用およびワーク用のメモリ 30、パラメタ推定用入力データや相関データ等、大規模なデータを保存するための二次記憶装置 (ハードディスクや光磁気ディスク等) 40、システムコンソールとしてのディスプレイ 50、マン一マシンインターフェースとしてのマウス 60 を備え、上記各ブロックはシステムバス 90に接続されている。

[0020] CPU20は、対応するプログラムを実行することにより、学習手段の学習カーネル行列計算手段 22、固有値計算手段 23として働き、また、推定手段の推定カーネル計算手段 26、パラメタ算出手段 27として働く。二次記憶装置 40には、後述する各種のデータを記憶する領域が確保されて、る。

[0021] パラメタ推定装置 100は、推定対象である入力データと推定すべきパラメタとの間に相関関係があることにもとづいている。すなわち、推定すべきパラメタのわ力つている多くの学習用入力データに対して、入力データとパラメタとの相関をあら力じめ学習しておき、この相関関係を用いて任意の入力データに対するパラメタを推定するようにしたものである。

[0022] まず、学習サンプルを用いて入力データとパラメタとの相関を学習するステップ（以下、「オフライン処理」と記す)の動作について説明する。あら力じめ推定すべきパラメタのわかって、る入力データを n次元の入力ベクトル I、入力ベクトル Iに対するパラメタを m次元のパラメタベクトル Qとし、学習サンプルの総数を Nとする。

[0023] 図 2は本発明の実施の形態 1におけるパラメタ推定装置 100のフローチャートである。なお、 CPU20力メモリ 30に格納されたプログラムを実行することで以下のフローを実行する。

[0024] まず、データ入力部 10には、 N個の入力ベクトル I (i= 1〜N)とパラメタベクトル Q を入力し、二次記憶装置 40に格納する（S10)。

[0025] 次に、 CPU20は、（数式 1)にしたがって、 N個のパラメタベクトル Qから平均パラメタベクトル Q^aを求め、二次記憶装置 40に転送し格納する（S 11)。

[0026] [数 1] -- '

[0027] 続、て CPU20は、（数式 2)にしたが!、、 N個のパラメタベクトル Qのそれぞれに対して、平均パラメタベクトル Q^aからの偏差パラメタベクトルを求め、二次記憶装置 4 0に転送し格納する（S 12)。

[0028] [数 2]

Q- = Q_i - Q^a

[0029] 次に CPU20は学習カーネル行列計算手段 22として、入力ベクトル I、 Iから学習力一ネル行列 K (i、 j = l〜N)を求める。カーネルとしては多項式カーネル、シグモイド

ij

カーネル等が使用できる力本実施の形態においては (数式 3)に示すガウスカーネルを使用した。求めた学習カーネル行列 Kは二次記憶装置 40に転送し格納する（S

13)。

[0030] [数 3]

[0031] 続いて、平均値のまわりの偏差学習カーネル行列 K^eを (数式 4)にもとづいて求め

、求めた偏差学習カーネル行列 K^eを二次記憶装置 40に転送し格納する（S14)。

[0032] [数 4]

[0033] 次に CPU20は固有値計算手段 23として、偏差学習カーネル行列 K^eの固有方程式（数式 5)を解き、固有値え（k= l〜M)および固有ベクトル a ^kを求める。求めた

k

固有値 λ および固有ベクトル a ^kを二次記憶装置 40に転送し格納する（S15)。ここ

k

で Mは独立な固有ベクトルの数を示しており、最大は学習サンプルの数 Nに等しい。

[0034] [数 5]

K^ca^k = l_ka^k

[0035] ここで、 K^eは偏差学習カーネル行列を表す。以上で、入力ベクトル Iとパラメタべタトル Qとの相関を表すために必要なデータはそろった力後の推定するステップにおける計算を簡略ィ匕するために、さらに次の計算を行う。上記で求めた偏差パラメタべタトル Q^e、偏差学習カーネル行列 K^e、固有値えおよび固有ベクトル o;^kを用いて、（ i ij k

数式 6)にもとづき M個の m次元定数ベクトル Γを求め、さらに、定数ベクトル Γ 、学

k k 習カーネル行列 K、固有ベクトル a ^kを用いて、（数式 7)にしたがって m次元定数べ

1]

タトル Ωを求める。これら定数ベクトル Γ、定数ベクトル Ωは二次記憶装置 40に格納

k

される（S16)。

[0036] 園

[0037] [数 7] ^ ^ )

[0038] 以上が、パラメタ推定装置 100のオフラインで実行する処理であり、二次記憶装置 4 0には、上述の処理で求めた平均パラメタベクトル Q^a、定数ベクトル Ω、定数ベクトル Γ 、固有ベクトル a ^kが格納されている。このようにオフライン処理においては CPU2 k

0は学習手段として働く。

[0039] つぎに、パラメタを推定すべき入力データに対して、実際にパラメタを推定するステップ (以下、「オンライン処理」と記す）について説明する。なお、オンライン処理においても CPU20がメモリ 30に格納されたプログラムを実行することで以下のフローを実行する。

[0040] まず、データ入力部 10には、パラメタを推定すべき入力データを入力ベクトル Iとして入力し、二次記憶装置 40に格納する（S20)。

[0041] 次に CPU20は推定カーネル計算手段 26として、（数式 8)にもとづいて、推定カーネル（i= l〜N)を求める。求めた推定カーネル Kは二次記憶装置 40に転送し格納する（S21)。

[0042] [数 8]

[0043] そして、 CPU20はパラメタ算出手段 27として、オフライン処理で求めた平均パラメタベクトル Q^a、定数ベクトル Ω、定数ベクトル Γ、固有ベクトル a ^k、およびステップ S

21で求めた推定カーネル Kを二次記憶装置 40から読出し、（数式 9)を用いて推定すべきパラメタを示すパラメタベクトル Qを計算する。そして、推定されたパラメタべタトル Qを二次記憶装置 40に格納する（S22)。

[0044] [数 9]

[0045] このようにオンライン処理においては CPU20は推定手段として働く。以上の説明の中ではガウスカーネルのスケール σについて言及しなかった力推定対象である入力ベクトルおよび推定すべきパラメタによりスケール σの最適値が異なる。したがって、ノメタ推定実験を行、ながら値を決めることが望ま、。

[0046] ここで、（数式 1)〜(数式 9)を用いた計算によってパラメタの推定が可能な理由を説明する。

[0047] 以前より本発明者らは画像信号からパラメタを推定する方法として MAP (maximu m a posteriori)推定法について検討してきた。入力画像 Iと推定すべきパラメタ Q の同時分布がガウス分布にしたがうランダムベクトルである場合、ノラメタ Qの最適推定値は (数式 10)を用いて求めることができる。

[0048] [数 10]

Q ^ Q" + Σ ∑:¹ (Ι - Ι^α ) [0049] ここで、∑ はクロス共分散行列、∑ ^_1は分散共分散行列の逆行列である。

[0050] (数式 10)はいわゆる重回帰分析に用いられる数式と類似のものである。し力しながら入力画像 Iと推定すべきパラメタ Qとの関係がより複雑となり、それらの同時分布がガウス分布で表せな、場合には、この単純な数式ではうまく推定できな、ことが実験的に明らかになつてきた。

[0051] そこで本発明者らは、サポートベクタマシンと呼ばれる画像認識手法に対して導入され、良好な結果が得られている「カーネルトリック」と呼ばれる新しい考え方について注目した。これは、入力ベクトルを非線形変換してその空間で線形の識別を行う方法である。本発明者らは、 MAP推定法に「カーネルトリック」を導入する検討を行った結果、 KMAPと称する新規なパラメタ推定方法を確立した。以下にその詳細について説明する。

[0052] (数式 11)に示すように、非線形関数 φを用いて入力ベクトル Iを非線形変換する。

ここで、変換された入力ベクトル φ (I )とパラメタ Qとの同時分布がガウス分布になると仮定すると、パラメタ Qは、（数式 12)で表される。ここで φ (I )を φと略記した。

[0053] [数 11]

[0054] [数 12]

[0055] (数式 12)を計算する上で、非線形に変換された統計量をそのまま計算しょうとすると、より高次元空間での莫大な計算が必要となる。し力しながら、変換された入力べクトル φに関する演算を内積の形 φ - ώにまとめることができれば、これをカーネル Κ ( φ , Φ )に置き換えることができ、計算量を大幅に減らすことができる。

1 ]

[0056] まず、分散共分散行列の逆行列∑ ^_1が (数式 13)のように展開できることに注目

Φ

する。ここで、 Φ = [ Φ ]、 A = diag [ l ]はそれぞれ∑ ^_1の固有ベクトル、固有値

k k φ

行列である。一方、固有値えは (数式 14)に示すように偏差学習カーネル行列 K^e

k ij =Κ^ε ( , φ )の固有値でもある。

1 ]

[0057] [数 13]

Σ ¹ = ΦΛ ^!Φ^Τ [0058] [数 14]

K^ca ^k = k_ka ^k

[0059] そして固有ベクトル Φは変換された入力ベクトル φを用いて (数式 15)のように展

k i

開できる。また、このときの展開係数 o; ^kは偏差学習カーネル行列 K^eの k番目の固有

1]

ベクトルとして得られる。したがって、これらを代入することにより、分散共分散行列の逆行列∑ —¹を (数式 16)のように書換えることができる。

[0060] [数 15]

Φ

[0061] [数 16]

[0062] つぎに、クロス共分散行列∑ は (数式 17)で得られる。そこで、（数式 16)と (数式 17)を (数式 12)に代入し計算順序を入れ替えて、内積 φ · φを学習カーネル行列

Kで置き換えることにより、（数式 9)が得られる。

[0063] [数 17]

[0064] したがって、あらかじめ N個の学習サンプルを用いて、平均パラメタベクトル Q^a、定数ベクトル Ω、定数ベクトル Γ 、固有ベクトル _a ^kを求めておき、推定対象である入力 k

ベクトルが入力されたとき、（数式 6)〜 (数式 9)を用いてパラメタ Qを推定することができる。

[0065] カーネルとしては、多項式カーネル、シグモイドカーネル、ガウスカーネル等を用いることができるが、どのようなカーネルを用いるかについては、推定対象である入力べタトルおよび推定すべきパラメタにより依存するので、パラメタ推定実験を行いながらカーネルを決定することが望まし、。

[0066] (実施の形態 2)

本発明の実施の形態 2では、実施の形態 1におけるパラメタ推定装置 100を用いて顔画像の中から特徴点の座標を推定した顔画像照合装置にっヽて説明する。

[0067] 図 3は、本発明の実施の形態 2における顔画像照合装置のブロック図である。パラメタ推定装置 100は実施の形態 1と同様に、コンピュータシステムで構成され、各ブロックには実施の形態 1と同じ符号を付して説明を省略する。顔画像照合装置 200には、人物の顔画像を撮影するためのビデオカメラ 110が接続されている。さらに、あらかじめ登録された人物の顔画像^^めた顔画像データベース 140も接続されている。

[0068] 顔画像照合装置 200は、まず実施の形態 1におけるパラメタ推定装置 100を用いて、入力された顔画像の中から目、鼻、眉、口等の特徴点の座標を見出す。つぎ〖こ顔画像照合装置 200は、特徴点の座標をもとに顔照合に用いる顔領域を切り出す。具体的には、例えば、鼻の座標を中心として一辺の長さが両目の間隔の 2倍であり上下の辺が両目を結ぶ直線と平行であるような正方形領域を顔領域とする。そして、切り出された顔領域と顔画像データベース 140に登録されている顔画像とを照合する。照合の方法としては、例えば統計的手法である主成分分析を利用した固有顔法等の手法を用いることができる。

[0069] 以下に、入力された顔画像の中から目、鼻、眉、口等の特徴点の座標を見出すパラメタ推定装置 100の動作について詳しく説明する。

[0070] まず、学習用顔画像を用いて、入力画像と特徴点の座標との相関を学習するオフライン処理の動作について説明する。学習用顔画像の総数を Nとし、 i番目の学習用顔画像の各画素の値をラスタスキャン順に並べた n次元のベクトルを入力ベクトル各特徴点の位置座標を m次元のパラメタベクトル Qとする。

[0071] 図 4は本発明の実施の形態 2における顔画像照合装置 200に用いられているパラメタ推定装置 100のフローチャートである。まず、カメラ 110は N人分の学習用顔画像を撮影する。そしてデータ入力部 10は、それぞれの顔画像の各画素の値をラスタスキャン順に並べて学習用入力ベクトル I (i= l〜N)を作成し、二次記憶装置 40に転送し格納する（S30)。つぎに、二次記憶装置 40に記憶した学習用顔画像 (すなわち学習用入力ベクトル I.)をディスプレイ 50に 1枚ずつ表示する。そして、ユーザがこの学習用顔画像を見ながらマウス 60を用いて手動で顔の特徴点を入力する。図 5はュ一ザが入力した顔の特徴点の一例を示す図である。顔画像の原点を基準に、右眉、右目、左眉、左目、鼻および口のそれぞれの X座標、 Y座標が特徴点座標としてュ一ザにより入力される。 CPU20は、それぞれの学習用顔画像に対して入力された各特徴点の座標値を順に並べて連結して学習用パラメタベクトル Qiとし、二次記憶装置 40に格納する（S31)。

[0072] 次に CPU20は、（数式 1)〜（数式 7)を用いて平均パラメタベクトル Q^a、定数べタトル Ω、定数ベクトル Γ、固有ベクトル _a ^kを求め、二次記憶装置 40に格納する（S32 k

)。以上が、パラメタ推定装置 100のオフラインで実行する処理である。

[0073] 次に、オンライン処理について説明する。

[0074] まず、データ入力部 10は、照合すべき顔画像を入力し、顔画像の各画素の値をラスタスキャン順に並べて入力ベクトル Iに変換し二次記憶装置 40に転送する（S40)。次に CPU20は、（数式 8)〖こもとづいて、推定カーネル K (i= l〜N)を求め、二次記憶装置 40に転送し格納する（S41)。そして、オフライン処理で求めた平均パラメタべタトル Q^a、定数ベクトル Ω、定数ベクトル Γ、固有ベクトル

k ο およびステップ S41で求めた推定カーネル Kを二次記憶装置 40から読出し、（数式 9)を用いて推定すベきパラメタを示すパラメタベクトル Qを計算する。そして、推定されたパラメタベクトル Q を二次記憶装置 40に格納する（S42)。次に CPU20は、パラメタベクトル Qを特徴量の座標データに分解し、入力顔画像とともにディスプレイ上に表示する（S43)。ここまでが入力された顔画像の中から目、鼻、眉、口等の特徴点の座標を見出す動作である。

[0075] その後、上述したように、特徴点の座標をもとに顔認証に用いる顔領域を切り出し、切り出された顔領域と顔画像データベース 140に登録されている顔画像とを照合する。

[0076] つぎに、実施の形態 2における顔画像照合装置 200において、 KMAPを用いた特徴点推定、特に顔画像の中から目の位置を推定した実験とその結果を示す。被験者 2000人に対して角度と距離を変えて撮影した顔画像 7200枚を用いて、本発明の実施の形態 2における KMAPの推定精度およびその安定性を評価した。比較のために、 (i)ガウス分布を使用した最大推定値 (maximum likelihood)を基本とするテンプレートマッチング（以下、「MLG」と記す）、（ii) Eigenface法（以下、「EF」と記す )、 (iii)ガウス分布を使用した従来の MAP推定法 (以下、「TMAP」と記す)を用いた推定を同時に行った。

[0077] 図 6は本発明の実施の形態 2において抽出された目位置のいくつかの例を示す図である。図 6には、抽出された目の位置を入力画像上に X印で示してある。

[0078] 図 7は本発明の実施の形態 2における顔画像照合装置の目位置推定の感度を示す図であり、図 7Aは撮影する距離を変化させたときの図、図 7Bは撮影する角度を変ィ匕させたときの図である。横軸は推定した目位置の誤差を画素単位で示し、縦軸は累積抽出率 (横軸に示す誤差を許容した場合における、推定した目位置座標の正しさ）を示している。したがって、誤差が小さい範囲で累積抽出率が大きくなるほど目位置推定の感度が高いことを示す。このように、いずれの場合においても KMAPによる推定方法が他の方法に比べて優れていることが実証できた。

[0079] 図 8は画面内での顔位置の移動に対する目位置推定の感度を示す図であり、図 8 Aは正面カゝら撮影した顔画像に対するもの、図 8Bは斜め方向から撮影した顔画像に対するものである。移動画像は回転対象ガウス分布を使用して人為的に作成した。移動量の分散は、 0, 10, 20, 30画素とし、回転角度の分散は 45度、縮小率の平均力 ^倍、分散が 0. 5倍とした。図 8A、図 8Bには各移動量の分散に対するそれぞれの方法における目位置推定の感度を示している。 MLG法、および EF法の性能は移動量の変化に影響されな、ので移動量の分散 0に対する結果のみを示して、る。図 8A、図 8Bともに、移動量の分散が 20画素程度までなら KMAP法が他の方法より優れており、 30画素を超えると MLG法が KMAP法をわずかに上回っていることがわかる。これらの結果より、移動量の分散が大きくなるにつれ、 KMAP法の性能は低下し、 MLGを利用した従来の方法が一見優れているように見受けられる。しかしながら、つぎに述べるように、 KMAP法を反復的に用いることで、よい性能が得られることがわかった。

[0080] KMAP法を反復的に用いる方法は以下のとおりである。まず KMAP法を使用して目位置を推定し、つぎに推定した目位置を使用して画像領域を正規化する。そして正規化した顔画像を用いて再び KMAP法により目位置を推定する。このように KM AP法を n回反復する方法を KMAP (n)と記することにする。図 9は、移動量の分散力 S 30画素である顔画像に対する KMAP (1) =KMAP、 KMAP (2)、 KMAP (3)、 MLGのそれぞれによる目位置推定の感度を示すグラフである。このように反復回数 nが増すにつれて KMAP (n)の性能が改善されることを実証できた。

[0081] KMAPによる目位置推定の速度は、 1画像あたり 0. 8秒であった。 MLG法では 1 画像あたり 6秒であった (ペンティアム IV (登録商標)相当のプロセッサ使用時)。このように、 KMAP法によれば推定精度が向上するだけでなぐ計算時間も大幅に短縮することができた。このように、短い処理時間、したがって少ない処理コストで入力データの特徴点を正確に求めることが可能となった。

[0082] (実施の形態 3)

本発明の実施の形態 3では、実施の形態 1におけるパラメタ推定装置 100を用いて顔画像の高さ情報を推定した顔画像照合装置について説明する。

[0083] 図 10は本発明の実施の形態 3における顔画像照合装置のブロック図である。顔画像照合装置 300は実施の形態 2と同様にコンピュータシステムで構成されている。顔画像照合装置 200のブロック図と異なるところは、 2方向からの顔画像を撮影するために、 2台のカメラ 110、 115を備えている点である。

[0084] この顔画像照合装置 300は、まずパラメタ推定装置 100を用いて入力された顔画像の高さ情報を推定する。つぎに、推定された 3次元の顔画像情報をもとに、顔画像データベース 140に登録されている顔画像と同一の角度から見た 2次元顔画像を合成し、これと登録されている顔画像とを照合するものである。 3次元顔画像情報から 2 次元顔画像を合成する方法としては、例えば CG (コンピュータグラフィックス）におけるレンダリング等の既知の方法を用いることができる。また顔画像の照合には、例えば統計的手法である主成分分析を利用した固有顔法等の手法を適用できる。

[0085] 以下に、上記顔画像照合装置 300を用いて、入力された顔画像の高さ情報を推定する動作について説明する。まず、学習用顔画像を用いて、入力画像と入力画像の高さ情報との相関を学習するオフライン処理の動作について説明する。高さ情報の学習方法としては、入力画像の各画素のそれぞれに対して独立に高さ情報を学習することも可能ではあるが、入力画像を複数の領域に分割し各領域毎の平均の高さ情報を学習してもよい。この場合、推定すべきパラメタベクトルの次元を減らすことができるので、より実用的である。

[0086] 本実施の形態においても実施の形態 2と同様に、学習用顔画像の総数を Nとする。

そして、 i番目の学習用顔画像の各画素の値をラスタスキャン順に並べた n次元のベタトルを入力ベクトル I、学習用顔画像の各画素あるいは各領域の高さ情報をラスタスキャン順に準じて並べたものを m次元のパラメタベクトル Qとする。 [0087] 図 11は本発明の実施の形態 3における顔画像照合装置 300に用いられているパラメタ推定装置 100のフローチャートである。まず、異なった方向から顔を撮影する 2台のカメラ 110およびカメラ 115が N人分の学習用顔画像を撮影する。データ入力部 1 0はこれらの顔画像を二次記憶装置 40に転送し格納する。このうち一方のカメラ 110 で撮影した学習用顔画像は、各画素の値をラスタスキャン順に並べ学習用入力べクトル Iとして用いられる（S50)。つぎに、 CPU20は、二次記憶装置 40に記憶した 2枚の学習用顔画像にもとづいて顔画像の 3次元情報を作成する。これは CGを用いたレンダリング等の既知の方法を用いて実行する。各画素あるいは各領域の高さ情報は順に並べて連結してひとつのベクトルとし、これを学習用パラメタベクトル Qとする。学習用パラメタベクトル Qは二次記憶装置 40に格納される (S51) ₀

[0088] つぎに、 CPU20は、（数式 1)〜（数式 7)を用いて平均パラメタベクトル Q^a、定数べタトル Ω、定数ベクトル Γ、固有ベクトル _a ^kを求め、二次記憶装置 40に格納する（S

k

52)。以上が、ノラメタ推定装置 100のオフラインで実行する処理である。

[0089] つぎに、オンライン処理について説明する。まず、データ入力部 10は、照合すべき顔画像を入力し、顔画像の各画素の値をラスタスキャン順に並べて入力ベクトル Iに変換し二次記憶装置 40に転送する（S60)。つぎに CPU20は、（数式 8)にもとづいて、推定カーネル K (i= l〜N)を求め二次記憶装置 40に転送し格納する（S61)。そして、オフライン処理で求めた平均パラメタベクトル Q^a、定数ベクトル Ω、定数べタトル Γ、固有ベクトル a ^k、およびステップ S61で求めた推定カーネル Kを二次記憶装 k i 置 40から読出し、（数式 9)を用いて推定すべきパラメタを示すパラメタベクトル Qを計算する。そして、推定されたパラメタベクトル Qを二次記憶装置 40に格納する（S62) 。つぎに CPU20はパラメタベクトルを顔画像の高さ情報に変換する（S63)。ここまでが入力された顔画像の高さ情報を推定する動作である。

[0090] このようにして照合すべき顔画像に対して推定した高さ情報を加え、 3次元顔情報とする。その後、上述したように、 3次元の顔画像情報をもとに、顔画像データベース 140に登録されている顔画像と同一の角度から見た 2次元顔画像を合成し、これと登録されて!/ヽる顔画像とを照合する特徴点の座標をもとに顔認証に用いる顔領域を切り出し、切り出された顔領域と顔画像データベース 140に登録されて、る顔画像とを照合する。

[0091] 以上のように本発明の実施の形態 3によれば、任意の方向を向いた 2次元の顔画像を用いて正面の顔画像、あるいは他の方向を向、た顔画像を合成することができる。したがって、任意の方向を向いた顔画像であっても、正面あるいは横向きの顔画像として登録された顔画像データベースとの照合が可能となる。

[0092] なお、実施の形態 3においては、照合すべき顔画像に対してその高さ情報を推定することによって、顔画像データベースに登録されている顔画像と同一の角度から見た 2次元顔画像を合成し、照合を行うものであった。しかし、本発明のパラメタ推定装置を応用して上記以外の顔画像照合装置を構成することも、もちろん可能である。例えば、顔画像データベースにすでに登録されている正面向きの顔画像に対してその高さ情報を推定し、いくつかの方向を向いた顔画像をデータベースとして新たに登録しておき、それらと照合すべき顔画像とを照合すると!ヽぅ形式にて顔画像照合装置を構成してもよ、。以下に実施の形態 4としてその詳細につ、て説明する。

[0093] (実施の形態 4)

本発明の実施の形態 4における顔画像照合装置のブロック図は実施の形態 3と同様にコンピュータシステムで構成されており、ブロック図も実施の形態 3と同様であるため説明を省略する。また、以下では、図 11に示したフローチャートを用いて本発明の実施の形態 4における顔画像照合装置の動作を説明する。

[0094] 学習用顔画像を用いて入力画像と入力画像の高さ情報との相関を学習するオフライン処理の動作についても実施の形態 3と同様である。

[0095] すなわち、まず、異なった方向力も顔を撮影する 2台のカメラ 110およびカメラ 115 力人分の学習用顔画像を撮影する。データ入力部 10はこれらの顔画像を二次記憶装置 40に転送し格納する。このうち一方のカメラ 110で撮影した学習用顔画像は、各画素の値をラスタスキャン順に並べ学習用入力ベクトル Iとして用いられる (S50) 。つぎに、 CPU20は、二次記憶装置 40に記憶した 2枚の学習用顔画像にもとづいて顔画像の 3次元情報を作成する。各画素あるいは各領域の高さ情報は順に並べて連結してひとつのベクトルとし、これを学習用パラメタベクトル Qとする。学習用パラメタベクトル Qは二次記憶装置 40に格納される（S51)。そして CPU20は、（数式 1)〜 (数式 7)を用いて平均パラメタベクトル Q^a、定数ベクトル Ω、定数ベクトル Γ、固有べ

k タトル a ^kを求め、二次記憶装置 40に格納する（S52)。

[0096] つぎに、顔画像データベース 140にすでに登録されている正面向きの顔画像のおのおのに対して、いくつかの方向を向いた顔画像を合成しデータベースとして新たに登録する。具体的には、まず、データ入力部 10は、顔画像データベース 140にすでに登録されている正面向きの顔画像の各画素の値をラスタスキャン順に並べて入力ベクトル Iに変換し二次記憶装置 40に転送する（S60)。つぎに CPU20は、（数式 8) にもとづいて、推定カーネル K (i= l〜N)を求め二次記憶装置 40に転送し格納する（S61)。そして、オフライン処理で求めた平均パラメタベクトル Q^a、定数ベクトル Ω、定数ベクトル Γ、固有ベクトル ο およびステップ S61で求めた推定カーネル Κを

k i 二次記憶装置 40から読出し、（数式 9)を用いて推定すべきパラメタを示すパラメタべタトル Qを計算し二次記憶装置 40に格納する（S62)。つぎに CPU20はパラメタべクトルを顔画像の高さ情報に変換する。そして、登録されている顔画像に対して推定した高さ情報を加え 3次元顔情報とする（S63)。その後、 3次元の顔画像情報をもとに、右方向、斜め右方向、斜め左方向、左方向、斜め上方向、斜め下方向等の角度から見た 2次元顔画像を合成し、これらの合成画像を顔画像データベース 140に新たに登録する。 1方向から見た顔画像し力持たな、登録顔画像のそれぞれにつ、て以上の処理を行、、各方向から見た 2次元顔画像を合成しデータベースとして登録する。

[0097] 以上の準備を顔画像照合装置 300のオフラインで実行しておくと、オンライン処理が以下のように非常に簡素化される。顔画像照合装置 300は、カメラ 110を用いて照合すべき顔画像を撮影する。そして、照合する特徴点の座標をもとに顔認証に用いる顔領域を切り出し、切り出された顔領域と顔画像データベース 140に登録されてヽる顔画像とを照合する。

[0098] 以上のように本発明の実施の形態 4によれば、顔画像データベースに登録すべき顔画像の数は増えるが、オンライン処理にお!、て入力した顔画像と顔画像データべースに登録されている顔画像とを直接照合することができるので高速に照合を行うことがでさる。 [0099] なお、実施の形態 1〜4においては、 CPUがプログラムを読み込むことで、フローチヤートに示した動作を行う構成とした。しかし、学習手段、学習カーネル行列計算手段、固有値計算手段、推定手段、推定カーネル計算手段、パラメタ算出手段等を実行する専用のプロセッサを備えた構成であってもよ、。

[0100] また、本発明を実施するコンピュータをプログラムするために使用できる命令を含む記憶媒体であるコンピュータプログラム製品が本発明の範囲に含まれる。これらの記憶媒体は、フレキシブルディスク、光ディスク、 CDROM、磁気ディスク等のディスク、 ROM, RAM, EPROM、 EEPROM、磁気光カード、メモリカード、 DVD等である。

[0101] また、実施の形態 2〜4においては本発明のパラメタ推定装置を画像照合に用いた例を示した力入力データとして画像以外のデータを入力することで画像照合以外の照合装置に用いることができる。例えば、入力データとして音声データを入力することで音声照合装置に用いることができる。

[0102] 本発明によれば、短い処理時間あるいは少ない処理コストで入力データに対するパラメタを正確に推定することができるパラメタ推定方法、パラメタ推定装置および照合方法を提供することができる。

産業上の利用可能性

[0103] 本発明は、短い処理時間あるいは少ない処理コストで入力データに対するパラメタを正確に推定することができるパラメタ推定方法、パラメタ推定装置および照合方法を提供することができるので、入力データ力も特定のノラメタを推定するパラメタ推定方法、パラメタ推定装置およびこれを用いた照合方法等に有効である。

Claims

請求の範囲

[1] 入力データに対して最大事後確率推定を行う演算方法を前記入力データに関する内積で表し、前記内積をカーネル関数に置き換え、前記カーネル関数の計算結果を用いてパラメタを推定するパラメタ推定方法。

[2] 推定すべきパラメタが既知である複数の学習用入力データと前記学習用入力データのそれぞれに対応するパラメタとの相関を学習するステップと、

推定すべきパラメタが未知である推定用入力データに対するパラメタを前記学習した相関を用いて推定するステップとを有し、

前記学習するステップは、前記推定すべきパラメタが既知である複数の学習用入力データを用いて学習カーネル行列を計算するステップと、前記学習カーネル行列の逆行列の固有値および固有ベクトルを求めるステップとを有し、

前記推定するステップは、前記推定すべきパラメタが未知である推定用入力データと前記学習用入力データとを用いて推定カーネルを計算するステップと、前記学習力一ネル行列、前記学習カーネル行列の逆行列の固有値、その固有ベクトルとを用いて前記推定用入力データのパラメタを推定するステップとを有することを特徴とするパラメタ推定方法。

[3] 推定すべきパラメタが既知である複数の学習用入力データと前記学習用入力データのそれぞれに対応するパラメタとの相関を学習する学習手段と、

推定すべきパラメタが未知である推定用入力データのパラメタを前記学習した相関を用いて推定する推定手段とを備え、

前記学習手段は、前記推定すべきパラメタが既知である複数の学習用入力データを用いて学習カーネル行列を計算する学習カーネル行列計算手段と、前記学習カーネル行列の逆行列の固有値および固有ベクトルを求める固有値計算手段とを備え、前記推定手段は、前記推定すべきパラメタが未知である推定用入力データと前記学習用入力データとを用いて推定カーネルを計算する推定カーネル計算手段と、前記学習カーネル行列、前記学習カーネル行列の逆行列の固有値、その固有ベクトルとを用いて前記推定用入力データのパラメタを算出するパラメタ算出手段とを備えたことを特徴とするパラメタ推定装置。

[4] 前記推定用入力データおよび前記学習用入力データは顔を含む画像であり、推定すべきパラメタは顔の特徴点の座標であることを特徴とする請求項 3に記載のパラメタ推定装置。

[5] 請求項 4に記載のパラメタ推定装置と、顔画像データベースとを用いた照合方法であつて、

前記パラメタ推定装置を用いて照合すべき顔画像に対する顔の特徴点の座標を推定した後、前記顔の特徴点の座標にもとづき顔領域を切り出し、前記顔画像データベースに登録されている顔画像と前記切り出された顔領域とを照合することを特徴とする照合方法。

[6] 請求項 4に記載のパラメタ推定装置と、顔画像データベースとを用いた照合方法であつて、

前記パラメタ推定装置を用いて顔の特徴点の座標を推定し前記顔の特徴点の座標にもとづき画像領域を正規化する顔画像正規化動作を複数回繰り返した後、前記顔の特徴点の座標にもとづき顔領域を切り出し、前記顔画像データベースに登録されてヽる顔画像と前記切り出された顔領域とを照合することを特徴とする照合方法。

[7] 前記推定用入力データおよび前記学習用入力データは顔を含む画像であり、推定すべきパラメタは顔画像の高さ情報であることを特徴とする請求項 3に記載のパラメタ推定装置。

[8] 請求項 7に記載のパラメタ推定装置と顔画像データベースとを用いた照合方法であつて、

前記パラメタ推定装置を用いて照合すべき顔画像に対する高さ情報を推定した後、前記顔画像の高さ情報にもとづき前記顔画像データベースに登録されている顔画像と同一の角度力見た 2次元画像を合成し照合することを特徴とする照合方法。

[9] 請求項 7に記載のパラメタ推定装置と顔画像データベースとを用いた照合方法であつて、

前記パラメタ推定装置を用いて前記顔画像データベースに登録されて！ヽる顔画像に対する高さ情報を推定した後、前記登録されている顔画像以外の角度から見た 2次元画像を合成して、前記顔画像データベースに追加登録したことを特徴とする照合

900800/S00Zdf/X3d ZZ 9C6lll/S00Z OAV