JP2004192603A - パターン特徴抽出方法及びその装置 - Google Patents

Abstract

【課題】本発明は、入力のパターン特徴ベクトルから、判別に有効な特徴ベクトルを抽出し、特徴次元を圧縮する際に、判別に有効な特徴量の削減を抑制し、より効率の良い特徴抽出を行うための特徴ベクトルの変換技術を提供することにある。
【解決手段】入力のパターンの特徴量をその要素のベクトルに分解し、それぞれの特徴 ベクトルについて各々判別分析によって得られる判別行列を予め用意し、その判別行列によって規定される判別空間に各特徴ベクトルを射影して次元を圧縮した後に、得られた特徴ベクトルを合わせて、再度判別行列によって再度射影 することによって、特徴ベクトルを算出する。
【選択図】 図１

Description

【０００１】
【発明の属する技術分野】
本発明は、パターン認識の分野における画像特徴抽出方法および画像特徴抽出装置、ならびにそのプログラムに関し、入力特徴ベクトルから、認識に有効な特徴ベクトルを抽出し、特徴次元を圧縮するための特徴ベクトルの変換技術に関する。
【０００２】
【従来の技術】
従来より、パターン認識の分野では、入力されたパターンから特徴ベクトルを抽出し、その特徴ベクトルから識別に有効な特徴ベクトルを抽出し、各々のパターンから得られた特徴ベクトルを比較することによって、例えば、文字や人物の顔などのパターンの類似度を判定することが行われている。
【０００３】
例えば、顔認識の場合では、目の位置等によって正規化された顔画像の画素値をラスター走査することで、一次元特徴ベクトルに変換し、この特徴ベクトルを入力特徴ベクトルとして用い、主成分分析（非特許文献１：Ｍｏｇｈａｄｄａｍ他， ”Ｐｒｏｂａｂｉｌｉｓｔｉｃ Ｖｉｓｕａｌ Ｌｅａｒｎｉｎｇ ｆｏｒ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ”， ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎＰａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ， Ｖｏｌ． １７， Ｎｏ． ７， ｐｐ．６９６−７１０， １９９７）や特徴ベクトルの主成分に対して線形判別分析（非特許文献２：Ｗ． Ｚｈａｏ他， ”Ｄｉｓｃｒｉｍｉｎａｎｔ Ａｎａｌｙｓｉｓ ｏｆ Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔｓ ｆｏｒ Ｆａｃｅ Ｒｅｃｏｇｎｉｔｉｏｎ，” Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ Ｔｈｉｒｄ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｕｔｏｍａｔｉｃ Ｆａｃｅ ａｎｄ Ｇｅｓｔｕｒｅ Ｒｅｃｏｇｎｉｔｉｏｎ， ｐｐ． ３３６−３４１， １９９８）を行うことで次元を削減し、得られた特徴ベクトルを用いて、顔による個人の同定等を行う。
【０００４】
これらの方法では、予め用意した学習サンプルに対して、共分散行列やク ラス内共分散行列・クラス間共分散行列を計算し、それらの共分散行列における固有値問題の解として得られる基底ベクトルを求め、これらの基底ベクトルを用いて、入力特徴ベクトルの特徴を変換する。
【０００５】
ここで、線形判別分析についてより詳しく説明する。
線形判別分析は、Ｎ次元特徴ベクトルｘがあるときに、この特徴ベクトルをある変換行列Ｗによって変換したときに得られるＭ次元ベクトルｙ（＝Ｗ^Ｔｘ）のクラス内共分散行列 Ｓ_Ｗに対するクラス間共分散行列Ｓ_Ｂの比を最大化するような変換行列Ｗを求める方 法である。このような分散比の評価関数として、行列式を用いて評価式の（数１）が定義される。
【０００６】
【数１】

【０００７】
ここで、クラス内共分散行列Σ_Ｗおよびクラス間共分散行列Σ_Ｂは、学習サンプルにおける特徴ベクトルｘの集合におけるＣ個のクラスω_ｉ（ｉ＝１，２，．．．，Ｃ；それらのデータ数ｎｉ）のそれぞれの内部における共分散行列Σ_ｉとクラスの間の共分散行列であり、それぞれ（数２）および（数３）によって表される。
【０００８】
【数２】

【０００９】
【数３】

【００１０】
ここで、ｍ_ｉはクラスω_ｉの平均ベクトル（数４）、ｍはパターン全体におけるｘの平均ベクトルである（数５）。
【００１１】
【数４】

【００１２】
【数５】

【００１３】
各クラスω_ｉの事前確率Ｐ（ω_ｉ）が、予めサンプル数ｎ_ｉを反映しているならば、Ｐ（ω _ｉ）＝ｎ_ｉ／ｎを仮定すれ ばよい。そうでなく等確率を仮定できるならば、Ｐ（ω_ｉ）＝１／Ｃとすればよい。
【００１４】
（数１）を最大にする変換行列Ｗは、列ベクトルｗ_ｉの固有値問題である（数６）のＭ個の大きい固有値に対応する一般化された固有ベクトルのセットとして求められる。このようにして求められた変換行列Ｗを判別行列と呼ぶ。
【００１５】
【数６】

【００１６】
なお従来の線形判別分析法については、例えば、非特許文献５：「パターン識別」 （Ｒｉｃｈａｒｄ Ｏ． Ｄｕｄａ他、尾上守夫監訳、新技術コミュニケーションズ，２００１年， ｐｐ．１１３−１２２）に記載されている。
入力特徴ベクトルｘの次元数が特に大きい場合、少ない学習データを用いた場合にはΣ_Ｗが正則ではなくなり、（数６）の固有値問題を通常の方法では解くことができなくなる。
【００１７】
また、特許文献１：特開平７−２９６１６９号公報でも述べられているように、共分散行列の固有値が小さい高次成分は、パラメータの推定誤差が大きいことが知られており、これが認識精度に悪影響を与える。
このため、前述のＷ． Ｚｈａｏらの論文では入力特徴ベクトルの主成分分析を行い、固有値が大きな主成分に対して、判別分析を適用している。つまり、図２に示すように、主成分分析によって得られる基底行列を用いて入力特徴ベクトルを射影することで主成分を抽出した後に、判別分析によって得られる判別行列を基底行列として、主成分を射影することで、識別に有効な特徴ベクトルの抽出を行う。
【００１８】
また、特許文献１：特開平７−２９６１６９号公報に記載されている特徴変換行列の演算方式では、 全共分散行列Σ_Ｔの高次の固有値及び対応する固有ベクトルを削除等することによって、次元数を削減し、削減された特徴空間において、判別分析を適用している。これも全共分散行列の高次の固有値及び対応する固有ベクトルを削除することが主成分分析によって、固有値が大きな主成分のみの空間で判別分析を行うという意味では、Ｗ． Ｚｈａｏの方法と同様に 高次特徴を除去し、安定なパラメータ推定を行う効果をもたらす。
【００１９】
【特許文献１】
特開平７−２９６１６９号公報
【００２０】
【非特許文献１】
Ｍｏｇｈａｄｄａｍ他， ”Ｐｒｏｂａｂｉｌｉｓｔｉｃ Ｖｉｓｕａｌ Ｌｅａｒｎｉｎｇ ｆｏｒ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ”，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ， Ｖｏｌ． １７， Ｎｏ． ７， ｐｐ．６９６−７１０， １９９７）
【００２１】
【非特許文献２】
Ｗ． Ｚｈａｏ他，”Ｄｉｓｃｒｉｍｉｎａｎｔ Ａｎａｌｙｓｉｓ ｏｆ Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔｓ ｆｏｒ Ｆａｃｅ Ｒｅｃｏｇｎｉｔｉｏｎ，” Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ Ｔｈｉｒｄ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｕｔｏｍａｔｉｃ Ｆａｃｅ ａｎｄ Ｇｅｓｔｕｒｅ Ｒｅｃｏｇｎｉｔｉｏｎ， ｐｐ． ３３６−３４１， １９９８）
【００２２】
【非特許文献３】
Ｋｅｒｎｅｌ−ｂａｓｅｄ Ｏｐｔｉｍｉｚｅｄ Ｆｅａｔｕｒｅ Ｖｅｃｔｏｒｓ Ｓｅｌｅｃｔｉｏｎ ａｎｄ Ｄｉｓｃｒｉｍｉｎａｎｔ Ａｎａｌｙｓｉｓ ｆｏｒ Ｆａｃｅ Ｒｅｃｏｇｎｉｔｉｏｎ，”Ｐｒｏｃｅｅｄｉｎｇ ｏｆ ＩＡＰＲ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅｏｎ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ（ＩＣＰＲ）， Ｖｏｌ．ＩＩ， ｐｐ． ３６２−３６５， ２００２
【００２３】
【非特許文献４】
Ｇｅｎｅｒａｌｉｚｅｄ Ｄｉｓｃｉｍｉｎａｎｔ Ａｎａｌｙｓｉｓ Ｕｓｉｎｇ ａ Ｋｅｒｎｅｌ Ａｐｐｒｏａｃｈ，”Ｎｕｅｕｒａｌ Ｃｏｍｐｕｔａｔｉｏｎ， Ｖｏｌ．１２， ｐｐ２３８５−２４０４， ２０００
【００２４】
【非特許文献５】
「パターン識別」 （Ｒｉｃｈａｒｄ Ｏ． Ｄｕｄａ他、尾上守夫監訳、新技術コミュニケーションズ，２００１年， ｐｐ．１１３−１２２）
【００２５】
【発明が解決しようとする課題】
しかしながら、全共分散行列Σ_Ｔを用いた主成分分析は、特徴空間内での分散が大きい軸方向に順番に直交する軸を選択しているに過ぎず、パターン識別の性能とは無関係に特徴軸の選択が行われる。このために、パターン識別に有効な特徴軸が失われる。
【００２６】
例えば、特徴ベクトルｘが３つの要素からなっており（ｘ＝ （ｘ_１，ｘ_２，ｘ_３）^Ｔ）、ｘ_１やｘ_２の分散は大きいが、パターン識別には無関係な特徴であり、ｘ_３ はパターン識別には有効だが、分散が小さい場合（クラス間分散／クラス内分散、つまりフィッシャ比が大きいが、それぞれの分散の値自体はｘ_１やｘ_２に比較して十分に小さい場合）に主成分分析を行ない、２次元だけを選択すると、ｘ_１やｘ_２に関わる特徴空間が選択されてしまい、識別に有効なｘ_３の寄与は無視されてしまう。
【００２７】
この現象を図を用いて説明すれば、図３の（ａ）が ｘ_１とｘ_２が張る平面におおよそ垂直な方向から見たデータの分布で、黒丸と白丸がクラスの違うデータ点を表しているとする。ｘ_１と ｘ_２が張る空間（この図では、平面）で見た場合、黒丸と白丸を識別できないが、図３（ｂ）のようにこの平面と直交するｘ_３の特徴軸で見ると、黒丸の白丸は分離すること ができる。しかし、分散の大きい軸を選択してしまうと、ｘ_１とｘ_２で張る平面が 特徴空間として選ばれ図３の（ａ）を見て判別を行おうとすることに等しく、判別を行うことが困難となる。
【００２８】
これは、従来の技術で、主成分分析や（全）共分散行列の固有値の小さい空間を削除するという技術では避けられない現象である。
【００２９】
本発明は、前述のような従来技術の問題点に鑑み、入力のパターン特徴ベクトルから、判別に有効な特徴ベクトルを抽出し、特徴次元を圧縮する際に、判別に有効な特徴量の削減を抑制し、より効率の良い特徴抽出を行うための特徴ベクトルの変換技術を提供することにある。
【００３０】
【課題を解決するための手段】
本発明によれば、パターン特徴を線形変換を用いて特徴次元を圧縮するパターン特徴抽出方法において、パターン特徴を複数の特徴ベクトルｘ_ｉで表現し、それぞれの特徴ベクトルｘ_ｉに対して、線形判別分析により求められる各特徴ベクトルの判別行列Ｗ_ｉを予め求め、さらにそれらの判別行列を用いてベクトルｘ_ｉを線形変換することによって得られる各ベクトルｙ_ｉを合わせた特徴ベクトルｙについて、線形判別分析により判別行列Ｗ_Ｔを予め求めておき、前記の判別行列Ｗｉおよび判別行列Ｗ_Ｔによって特定される線形変換によって、パターンの特徴ベクトルを変換することで、特徴次元を圧縮することを特徴とする。
【００３１】
前記のパターン特徴抽出方法において、パターン特徴を複数の特徴ベクトルｘ_ｉに分割し、それぞれの特徴ベクトルｘ_ｉについて、判別行列Ｗ_ｉを用いて、線形変換ｙ_ｉ＝Ｗ_ｉ ^Ｔｘ_ｉを行い特徴ベクトルｙ_ｉを算出し、算出された特徴ベクトルｙ_ｉを合わせたベクトルｙについて、判別行列Ｗ_Ｔを用いて、線形変換ｚ＝Ｗ_Ｔ ^Ｔｙを計算し、特徴ベクトルｚを算出することで、パターン特徴の次元数を圧縮することを特徴とする。
【００３２】
また、前記のパターン特徴抽出方法において、それぞれの判別行列Ｗ_ｉおよびＷ _Ｔによって特定される行列Ｗを予め計算しておき、前記行列Ｗを用いて、入力特徴ベクトルｘ_ｉを合わせた特徴ベクトルｘと行列Ｗの線形変換ｚ＝Ｗ_Ｔｘを計算し、特徴ベクトルｚを算出することで、パターン特徴の次元数を圧縮してもよい。
【００３３】
この発明を画像に対して適用する場合には、画像から特徴量を抽出し、得られた特徴を線形変換を用いて特徴次元を圧縮することで画像特徴を抽出することを特徴とする画像特徴抽出方法において、画像中の予め定めた複数のサンプル点集合Ｓ_ｉについて、複数のサンプル点から得られる画素値からなる特徴ベクトルｘ_ｉとして抽出し、それぞれの特徴ベクトルｘ_ｉに対して、線形 判別分析により求められる各特徴ベクトルの判別行列Ｗ_ｉを予め求め、さらにそれらの判別行列を用いて ベクトルｘ_ｉを線形変換することによって得られる各ベクトルｙ_ｉを合わせた特徴ベクトルｙについて、線形判別分析により判別行列Ｗ_Ｔを予め求めておき、前記判別行列Ｗ_ｉおよび前記判別行列Ｗ_Ｔによって特定される線形変換によって、画像サンプル集合毎の特徴ベクトルを変換することで、画像から特徴量を抽出することを特徴とする。
【００３４】
その一つの方法として、複数のサンプル点からなる複数の特徴ベクトルｘ_ｉについて、判別行列Ｗ_ｉを用いて、線形変換ｙ_ｉ＝Ｗ_ｉ ^Ｔｘ_ｉを行い特徴ベクトルｙ_ｉを算出し、算出された特徴ベクトルｙ_ｉを合わせたベクトルｙについて、判別行列Ｗ_Ｔを用いて、線形変換ｚ＝Ｗ_Ｔ ^Ｔｙを計算し、特徴ベクトルｚを算出することで、画像から特徴量を抽出すればよい。
【００３５】
また、前述の画像特徴抽出方法において、それぞれの判別行列Ｗ_ｉおよびＷ_Ｔによって特定される行列Ｗを予め計算しておき、前記行列Ｗを用いて、特徴ベクトルｘ_ｉを合わせたベクトルｘと行列Ｗの線形変換ｚ＝Ｗ_Ｔｘを計算し、特徴ベクトルｚを算出することで、画像から特徴量を抽出してもよい。
【００３６】
また、画像を予め定めた複数の局所領域に分割し、その複数の局所領域毎に特徴量を抽出し、それらの特徴量を特徴ベクトルｘ_ｉとして表現し、それぞれの特徴ベクトルｘ_ｉに対して、線形判別分析により求められる各特徴ベクトルの判別行列Ｗ_ｉを予め求め、さらにそれらの判別行列を用いてベクトルｘ_ｉを線形変換することによって得られる各ベクトルｙ_ｉを合わせた特徴ベクトルｙについて、線形判別分析により判別行列Ｗ_Ｔを予め求めておき、前記判別行列Ｗ_ｉおよび前記判別行列Ｗ_Ｔによって特定される線形変換によって、局所領域の特徴ベクトルを変換することで、画像から特徴量を抽出すればよい。
【００３７】
前述の画像特徴抽出方法において、画像の局所領域の特徴ベクトルｘ_ｉについて、 判別行列Ｗ_ｉを用いて、線形変換ｙ_ｉ＝Ｗ_ｉ ^Ｔｘ_ｉを行い特徴ベクトルｙ_ｉを算出し、算出された特徴ベクトルｙ_ｉを合わせたベクトルｙについて、判別行列Ｗ_Ｔを用いて、線形変換ｚ＝Ｗ_Ｔ ^Ｔｙを計算 し、特徴ベクトルｚを算出することで、画像から特徴量を抽出する。
【００３８】
あるいは、前述の画像特徴抽出方法において、それぞれの判別行列Ｗ_ｉおよびＷ_Ｔによって特定される行列Ｗを予め計算しておき、前記行列Ｗを用いて、特徴ベクトルｘ_ｉを合わせたベクトルｘと行列Ｗの線形変換ｚ＝Ｗ_Ｔｘを計算し、特徴ベクトルｚを算出することで、画像から特徴量を抽出してもよい。
【００３９】
本発明の画像から特徴量を抽出することを特徴とする画像特徴抽出方法の有効な実施方法として、画像から特徴量を抽出し、得られた特徴を線形変換を用いて特徴次元を圧縮することで画像特徴を抽出することを特徴とする画像特徴抽出方法において、画像を二次元フーリエ変換し、二次元フーリエ変換の実数成分と虚数成分を特徴ベクトルｘ_１として抽出し、二次元フーリエ変換のパワースペクトラムを算出し、そのパワースペクトラムを特徴ベクトルｘ_２として抽出し、それぞれの特徴ベクトルｘ_ｉ（ｉ＝１，２）に対して、線形判別分析により求められる各特徴ベクトルの判別行列Ｗ_ｉを求め、さらにそれらの判別行列を用いてベクトルｘ_ｉを線形変換することによって得られる各ベクトルｙ_ｉを合わせた特徴ベクトルｙについて、線形判別分析により判別行列Ｗ_Ｔを予め求めておき、前記判別行列Ｗ_ｉおよび前記判別行列Ｗ_Ｔによって特定される線形変換によって特徴ベクトルを変換することを特徴とする。
【００４０】
また、画像から特徴量を抽出し、得られた特徴を線形変換を用いて特徴次元を圧縮することで画像特徴を抽出することを特徴とする画像特徴特徴抽出方法において、画像を二次元フーリエ変換し、二次元フーリエ変換の実数成分と虚数成分を特徴ベクトルｘ_１として抽出し、二次元フーリエ変換のパワースペクトラムを算出し、そのパワースペクトラムを特徴ベクトルｘ_２として抽出し、それぞれの特徴ベクトルｘ_ｉ（ｉ＝１，２）の主成分に対して、線形判別分析により求められる各特徴ベクトルの判別行列Ｗ_ｉを求め、さらにそれらの判別行列を用いてベクトルｘ_ｉを線形変換することによって得られる各ベクトルｙ_ｉを合わせた特徴ベクトルｙについて、線形判別分析により判別行列Ｗ_Ｔを予め求めておき、特徴ベクトルｘ_ｉの主成分に対する判別行列 Ｗ_ｉおよび判別行列Ｗ_Ｔによって特定される線形変換によって、フーリエ成分の実成分と虚成分に対する特徴ベクトルｘ_１とフーリエ成分のパワースペクトラムに対する特徴ベクトルｘ_２を次元削減するように変換することで、画像から特徴量を抽出することを特徴とする。
【００４１】
前述の画像特徴抽出方法において、 フーリエ変換による実数成分と虚数成分による特徴ベクトルｘ_１を主成分に変換する変換行列Ψ_１と、その主成分に対する判別行列Ｗ_１によって表される基底行列Φ_１（＝（Ｗ_１ ^ＴΨ_１ ^Ｔ）^Ｔ）を用いて、特徴ベクトルｘ_１の主成分の判別特徴を線形変換ｙ_１＝Φ_１ ^Ｔｘ_１により算出し、得られた特徴ベクトルｙ_１の大きさを予め定めた大きさに正規化し、また、フーリエ変換によるパワースペクトラムによる特徴ベクトルｘ_２を主成分に変換する変換行列Ψ_２と、その主成分に対する判別行列Ｗ_２によって表される基底行列Φ_２（＝（Ｗ_２ ^ＴΨ_２ ^Ｔ）^Ｔ）を用いて、特徴ベクトルｘ_２の主成分の判別特徴を線形変換ｙ_２＝Φ_２ ^Ｔｘ_２により算出し、得られた特徴ベクトルｙ_２の大きさを予め定めた大きさに正規化し、二つの特徴ベクトルｙ_１とｙ_２を合わせた特徴ベクトルｙについて、判別行列Ｗ_Ｔを用いて、線形変換ｚ＝Ｗ_Ｔ ^Ｔｙを計算し、特徴ベクトルｚを算出することで、画像から特徴量を抽出することを特徴とする。
【００４２】
【発明の実施の形態】
（第一の実施の形態）
本発明の実施の形態について図面を参照して詳細に説明する。図１は、本発明のパターン特徴抽出装置を用いたパターン特徴抽出装置を示すブロック図である。
【００４３】
以下、パターン特徴抽出装置について詳細に説明する。
図１に示すように、本発明によるパターン特徴抽出装置は、入力特徴ベクトルｘ_１を線形変換する第１の線形変換手段１１と、入力特徴ベクトルｘ_２を線形変換する第２の線形変換手段１２と、線形変換手段１１と線形変換手段１２によって変換し、次元削減された特徴ベクトルを入力として、線形変換を行う第３の線形変換手段１３を備える。前述のそれぞれの線形変換手段は、それぞれ対応した判別行列記憶手段１４、１５、１６に記憶されている予め学習によって求めておいた判別行列を用いて、判別分析による基底変換を行う。
【００４４】
入力される特徴ベクトルｘ_１、ｘ_２は、文字認識や顔認識などでそれらの目的に応じて抽出される特徴量であり、例えば画像の勾配特性から計算される方向特徴や画像の画素値そのものである濃淡特徴等で、複数の要素がある。この際に、例えば、Ｎ_１個の方向特徴を一方の特徴ベクトルｘ_１として、もう一方のＮ_２個の濃淡値を特徴ベクトルｘ_２として入力する。
【００４５】
判別行列記憶手段１４や判別行列記憶手段１５は、特徴ベクトルｘ_１および特徴ベクトルｘ_２について、線形判別分析を行い、これにより得られる判別行列Ｗ_１、Ｗ_２をそれぞれ記憶する。
【００４６】
判別行列は、前述したように予め用意した学習サンプルにおける特徴ベクトルについて、そのクラスに応じて、クラス内共分散行列Σ_Ｗ（（数２））、クラス間共分散行列Σ_Ｂ（（数３））を計算すればよい。また、各クラスω_ｉの事前確率Ｐ（ω_ｉ）は、サンプル数ｎ_ｉを反映させて、Ｐ（ω_ｉ）＝ｎ_ｉ／ｎとすればよい。
【００４７】
これらの共分散行列に対して、（数６）で表される固有値問題の大きい固有値に対応する固有ベクトルｗ_ｉを選択することで、判別行列を予め求めておくことができる。
【００４８】
それぞれの特徴ベクトルｘ_１、ｘ_２について、入力特徴次元Ｎ_１やＮ_２よりも小さいＭ_１次元、Ｍ_２次元の基底を選ぶとすると、判別基底への射影変換によってそれぞれＭ_１、Ｍ_２次元の特徴ベクトルｙ_１、ｙ_２を得ることができる。
【００４９】
【数７】

【００５０】
ここで、Ｗ_１、Ｗ_２の行列の大きさは、それぞれＭ_１×Ｎ_１、Ｍ_２×Ｎ_２となる。
射影する特徴空間の次元数Ｍ_１、Ｍ_２を大幅に小さくすることによって、効率良く特徴次元数を削減でき、データ量の削減や高速化に効果があるが、特徴次元数を大幅に小さくしすぎる場合には、判別性能の劣化をもたらす。これは、特徴次元数を削減することによって、判別に有効な特徴量が失われるためである。
【００５１】
このため、特徴ベクトルの次元数Ｍ_１やＭ_２等は、学習サンプル数との兼ね合いに影響されやすい量であり、実験に基づいて定めることが望ましい。
【００５２】
第３の線形変換手段１３では、第１および第２の線形変換手段によって計算されたｙ_１、ｙ_２を入力特徴ベクトルｙとして、判別空間への射影を行う。判別行列記憶手段１６に登録しておく判別行列Ｗ_３は、第１、第２の判別行列を計算した場合と同様に学習サンプルから求める。但し、入力特徴ベクトルｙは次の（数８）で表されるように、要素を並べたベクトルである。
【００５３】
【数８】

【００５４】
（数７）と同様に基底行列Ｗ_３（行列の大きさは、Ｌ×（Ｍ_１＋Ｍ_２））によって、Ｌ次元の特徴ベクトルｙを（数９）により射影し、出力となる特徴ベクトルｚを得る。
【００５５】
【数９】

【００５６】
このように特徴ベクトルをそれぞれ分割して、少ない次元数の特徴ベクトルの学習サンプルに対して、線形判別分析を行うことによって、高い次元の特徴成分で生じやすい推定誤りを抑制し、且つ、判別に有効な特徴を捉えることができる。
【００５７】
前述の例では、３つの線形変換手段を備えて、並列的・段階的に処理を行う場合について示したが、線形判別手段は、基本的に積和演算器を備えていれば実現できるので、線形変換を行う入力特徴ベクトルに合わせて、読み出す判別行列を切替え線形変換手段を使い回すように実現することも可能である。このように一つの線形変換手段を使うことで、必要な演算器の規模を小さくすることができる。
【００５８】
さらに、出力特徴ベクトルｚの演算は、（数７）、（数８）、（数９）から分かるように、（数１０）と書き表すことができる。
【００５９】
【数１０】

【００６０】
つまり、各判別行列を用いた線形変換は、一つの行列による線形変換にまとめることができる。段階的な演算を行う場合の積和演算回数は、Ｌ×（Ｍ_１＋Ｍ_２）＋Ｍ_１Ｎ_１＋Ｍ_２Ｎ_２であり、一つの行列にまとめた場合には、Ｌ×（Ｎ_１＋Ｎ_２）となり、例えば、Ｎ_１＝Ｎ_２＝５００、Ｍ_１＝Ｍ_２＝２００、Ｌ＝１００ とした場合には、段階的な演算で２４０，０００回の積和演算が必要となり、後者の演算では１００，０００回の積和演算が必要となり、後者のような一括演算を行う場合の方が演算量が少なく、高速な演算が可能となる。式からも分かるように最終的な次元数Ｌを小さくする場合には、一括的な演算方法を用いた方が演算量を削減することができ、有効である。
【００６１】
（第二の実施の形態）
さて、前述の例では、方向特徴と濃淡特徴というように特徴の種類が異なる場合の特徴を融合する際に、それぞれの特徴毎に判別分析を施した特徴ベクトルに対して、繰り返し判別分析を行っているが、一つの特徴に対する複数要素を複数の特徴ベクトルに分割して、それぞれの要素集合を入力特徴として判別分析し、その射影されたベクトルをさらに判別分析しても構わない。
【００６２】
第二の実施例では、顔画像の特徴抽出装置について説明する。
第二の発明による顔画像特徴抽出装置では、図４に示すように入力顔画像の濃淡特徴を分解する画像特徴分解手段４１と、特徴ベクトルに対応する判別行列に従って特徴ベクトルを射影する線形変換手段４２と、前記のそれぞれの判別行列を記憶する判別行列記憶手段４３を備えている。
【００６３】
顔画像の特徴抽出する技術については、前述のＷ．Ｚｈａｏらの論文に示されているように、顔画像を目位置などで位置合わせした後に、その濃淡値をベクトル特徴とする方法がある。
【００６４】
第二の発明でも原特徴としてはどうように画像の画素の濃淡値を入力特徴として取り扱うが、画像サイズが例えば左右の目の中心位置を（１４，２３）、（２９，２３）の座標に正規化した４２×５４画素＝２３５２次元と大きな画像特徴となる。このような大きな特徴次元では、限られた学習サンプルを用いて直接的に線形判別分析を行っても精度良い特徴抽出を行うことは困難であり、画像特徴の要素を分解し、その分解された特徴に対して判別分析を行い、判別行列を求めることで、主成分分析等を適用した場合に生じる特徴の劣化を抑制する。
【００６５】
画像特徴を分解するための方法の一つが画像を分割することであり、例えば、図５に示すように画像を一つの大きさが１４×１８画素（＝２５２次元）の大きさに９分割し、それぞれの大きさの局所画像を特徴ベクトルｘ_ｉ（ｉ＝１，２，３，．．．，９）とし、それぞれの部分画像に対して学習サンプルを用いて判別分析を行い、それぞれの特徴ベクトルに対応する判別行列Ｗ_ｉを求めておく。
【００６６】
なお、画像を分割する際に領域間にオーバーラップを持たせておくことで、その境界領域の画素間の相関に基づく特徴量を特徴ベクトルに反映させることができるので、オーバーラップをさせてサンプルするようにしておいてもよい。
【００６７】
特徴次元数が２５２次元と原画像より大幅に少なくなることで、人数で数百人程度の各人の画像を数枚、計数千枚程度の顔画像をサンプルとすることで、判別分析による基底行列を精度を保って計算することができる。これが原特徴のまま（２３５２次元）と大きい場合には、判別分析による特徴で性能を得るためには、数千名以上の顔画像サンプルを必要となることが予想されるが、実際問題としてこのような大規模な画像データを収集することは困難であるために、実現できない。
【００６８】
第一段階の判別特徴によって、例えば、各局所領域毎に２０次元の特徴に 圧縮するとすると、それらの出力特徴ベクトルは、９領域×２０次元＝１８０次元の特徴ベクトルとなる。この特徴ベクトルに対してさらに判別分析を行うことで、次元数を例えば５０次元程度に効率的に圧縮できる。この第二段階目の判別行列も判別行列記憶手段４３に記憶し、線形変換手段４２により、第一段階の判別特徴の１８０次元ベクトルを入力として、再度判別分析を行う。なお、予め第一段目の判別行列と第二段目の判別行列を（数１０）で示したように予め計算しておいてもよいが、２５２次元×９領域を２０次元×９領域に圧縮し、その１８０次元を５０次元に変換する場合では、二段階に分けて計算した方が使用メモリも、演算量も半分以下となるので、効率的である。
【００６９】
このように局所的・段階的に判別分析を適用することで、識別能力の高い顔特徴を抽出することができるようになる。これは、文字認識でいえば、例えば「大」と「犬」の識別を行おうとしたときに、文字画像全体を主成分分析して固有値が大きい成分抜き出すと、「大」と「犬」を識別する「｀」の特徴が失われてしまいやすい（このため、類似文字識別では主成分分析による固有値が大きい部分の特徴よりも、ある特定の高次特徴を用いることが行われる場合もある）。局所領域に分割して判別特徴を抜き出すことの有効性は、文字認識 における類似文字識別における現象と類似しており、識別しやすい特徴を空間 的に限定することで、全体的に主成分の判別分析を行う場合よりも、単位次元 あたりの精度を確保できるようになると考えられる。
【００７０】
また、画像特徴分割手段４１では、局所領域毎に画像を分割して、特徴ベクトルを構成するのではなく、画像全体からサンプリングして分割してもよい。例えば、一次特徴を９分の１の２５２次元の９つのベクトルに分割する場合には、図６に示すように３ｘ３の領域からサンプリングする。つまり、サンプリングされた画像は、僅かな位置の違いのある縮小画像となる。この縮小画像をラスター走査することで、９つの特徴ベクトルに変換する。このような特徴ベクトルを一次ベクトルとして判別成分を計算し、その判別成分を統合して再度判別分析を行ってもよい。
【００７１】
（第三の実施の形態）
本発明による別の実施の形態について図面を参照して詳細に説明する。図７は、本発明の顔メタデータ生成装置を用いた顔画像マッチングシステムを示すブロック図である。
【００７２】
以下、顔画像マッチングシステムについて詳細に説明する。
図１に示すように、本発明による顔画像マッチングシステムでは、顔画像を入力する顔画像入力部７１と、顔メタデータを生成する顔メタデータ生成部７２と、抽出された顔メタデータを蓄積する顔メタデータ蓄積部７３と、顔メタデータから顔の類似度を算出する顔類似度算出部７４と、顔画像を蓄積する顔画像データベース７５と、画像の登録要求・検索要求に応じて、画像の入力・メタデータの生成・メタデータの蓄積・顔類似度の算出の制御を行う制御部７６と顔画像や他の情報を表示するディスプレイの表示部７７と、が設けられている。
【００７３】
また、顔メタデータ生成部７２は、入力された顔画像から顔領域を切り出す領域切り出し手段７２１と、切り出された領域の顔特徴を抽出する顔パターン特徴抽出手段７２２によって構成され、顔の特徴ベクトルを抽出することで、顔画像に関するメタデータを生成する。
【００７４】
顔画像の登録時には、スキャナあるいはビデオカメラなどの画像入力部７１で顔写真等を顔の大きさや位置を合わせた上で入力する。あるいは、人物の顔を直接ビデオカメラなどから入力しても構わない。この場合には、前述のＭｏｈａｄｄａｍの文献に示されているような顔検出技術を用いて、入力された画像の顔位置を検出し、顔画像の大きさ等を自動的に正規化する方がよいであろう。
【００７５】
また、入力された顔画像は必要に応じて顔画像データベース７５に登録する。顔画像登録と同時に、顔メタデータ生成部７２によって顔メタデータを生成し、顔メタデータ蓄積部７３に蓄積する。
【００７６】
検索時には登録時と同様に顔画像入力部７１によって顔画像を入力し、顔メタデータ生成部７２にて顔メタデータを生成する。生成された顔メタデータは、一旦顔メタデータ蓄積部７３に登録するか、または、直接に顔類似度算出部７４へ送られる。
【００７７】
検索では、予め入力された顔画像がデータベース中にあるかどうかを確認する場合（顔同定）には、顔メタデータ蓄積部７３に登録されたデータの一つ一つとの類似度を算出する。最も類似度が高い結果に基づいて制御部７６では、顔画像データベース７５から、顔画像を選び、表示部７７等に顔画像の表示を行い、検索画像と登録画像における顔の同一性を作業者が確認する。
【００７８】
一方、予めＩＤ番号等で特定された顔画像と検索の顔画像が一致するかどうかを確認する場合（顔識別）では、特定されたＩＤ番号の顔画像と一致するか、否かを顔類似度算出部７４にて計算し、予め決められた類似度よりも類似度が低い場合には、一致しないと判定し、類似度が高い場合には一致すると判定し、その結果を表示部７７に表示する。このシステムを入室管理用に用いるならば、顔画像を表示する変わりに、制御部７６から自動ドアに対して、その開閉制御信号を送ることで、自動ドアの制御によって入室管理を行うことができる。
【００７９】
上記のように、顔画像マッチングシステムは動作するが、このような動作はコンピュータシステム上で実現することもできる。例えば、次に詳述するようなメタデータ生成を実行するメタデータ生成プログラム及び類似度算出プログラムをそれぞれメモリに格納しておき、これらをプログラム制御プロセッサによってそれぞれ実行することで、顔画像マッチングを実現することができる。
【００８０】
次に、この顔画像マッチングシステムの動作、特に顔メタデータ生成部７２と顔類似度算出部７４について、詳細に説明する。
【００８１】
（１）顔メタデータ生成
顔メタデータ生成部７２では、位置と大きさを正規化した画像Ｉ（ｘ，ｙ）を用いて、顔特徴量を抽出する。位置と大きさの正規化は、例えば、目位置が（１６，２４）、（３１，２４）、サイズが４６×５６画素となるように画像を正規化しておくとよい。以下では、このサイズに画像が正規化されている場合について説明する。
【００８２】
次に、領域切り出し手段７２１によって顔画像の予め設定した顔画像の複数の局所領域を切り出す。例えば、上記の画像を例えば、一つは正規化した画像全体（これをｆ（ｘ，ｙ）とする）ともう一つは、顔を中心とした中心領域の３２×３２画素の領域ｇ（ｘ，ｙ）である。 これは、両目の位置が（９，１２）と（２４，１２）の位置となるように切り出せばよい。
【００８３】
顔の中心領域を前述のように切り出すのは、これは髪型等に影響をされない範囲を切り出すことで、髪型の変化するような場合（例えば、家庭内ロボットで顔照合を用いる際に入浴前後で髪型が変化しても照合できるようにするため）でも安定な特徴を抽出するためのものであるが、髪型等が変化しない場合 （映像クリップ中におけるシーン内の人物同定などの場合）には、髪型を含んだ形で照合を行うことで照合性能の向上が期待できるので、髪型を含んだような 大きな顔画像と顔の中心部分の小さな顔画像に対して、顔画像を切り出す。
【００８４】
次に顔画像特徴抽出手段７２２では、切り出された二つの領域ｆ（ｘ，ｙ）を２次元の離散フーリエ変換によって、フーリエ変換し、顔画像の特徴を抽出する。
【００８５】
図８に顔画像特徴抽出手段７２２のより詳しい構成について示す。この顔画像特徴抽出手段では、正規化し切り出された画像を離散フーリエ変換するフーリエ変換手段８１と、フーリエ変換したフーリエ周波数成分のパワースペクトラムを算出するフーリエパワー算出手段８２と、フーリエ変換手段８１によって算出されたフーリエ周波数成分の実成分と虚成分をラスター走査した特徴ベクトルによって、１次元特徴ベクトルとみなして、その特徴ベクトルの主成分に対して判別特徴を抽出する線形変換手段８３とその変換のための基底行列を記憶する基底行列記憶手段８４、および、パワースペクトラムを同様に主成分の判別特徴を抽出する線形変換手段８５とその変換のための基底行列を記憶する基底行列記憶手段８６を備える。さらに、フーリエ特徴の実数成分と虚数成分の判別特徴、および、パワースペクトルの判別特徴をそれぞれ大きさ１のベクトルに正規化し、その二つの特徴ベクトルを統合したベクトルに対して、そのベクトルの判別特徴を算出する線形変換手段８８とその判別特徴のための判別行列を記憶する判別行列記憶手段８９を備える。
【００８６】
このような構成によって、フーリエ周波数特徴を抽出した後に、フーリエ周波数成分の実数部と虚数部を要素とした特徴ベクトルと、パワースペクトラムを要素とした特徴ベクトルに対して、それぞれ主成分の判別特徴を計算し、それぞれを統合した特徴ベクトルに対して再度判別特徴を計算することで、顔の特徴量を計算する。
【００８７】
以下では、それぞれの動作についてより詳しく説明する。
フーリエ変換手段８１では、入力された画像ｆ（ｘ，ｙ）（ｘ＝０，１，２，．．．Ｍ−１，ｙ＝０，１，２，．．．，Ｎ−１）に対して、（数１１）に従って、２次元の離散フーリエ変換し、そのフーリエ特徴Ｆ（ｕ，ｖ）を計算する。この方法は広く知られており、例えば、文献（Ｒｏｓｅｎｆｅｌｄら、”ディジタル画像処理”、ｐｐ．２０−２６，近代科学社）に述べられているので、ここでは説明を省略する。
【００８８】
【数１１】

【００８９】
フーリエパワー算出手段では、（数１２）に従ってフーリエ特徴Ｆ（ｕ，ｖ）の大きさを求めフーリエパワースペクトラム｜Ｆ（ｕ，ｖ）｜を算出する。
【００９０】
【数１２】

【００９１】
このようにして得られる二次元のフーリエスペクトルＦ（ｕ，ｖ）や｜Ｆ（ｕ，ｖ）｜ は２次元の実成分のみの画像を変換しているので、得られるフーリエ周波数成分は対称なものとなる。このため、これらのスペクトル画像Ｆ（ｕ，ｖ）、｜Ｆ（ｕ，ｖ）｜ はｕ＝０，１，．．．，Ｍ−１； ｖ＝０，１，．．．，Ｎ−１のＭ×Ｎ個の成分を持つが、その半分の成分 ｕ＝０，１，．．．，Ｍ−１； ｖ＝０，１，．．．，Ｎ−１のＭ×Ｎ／２個の成分と、残りの半分の成分は、実質的に同等な成分となる。このため、特徴ベクトルとしては、半分の成分を用いて、以降の処理を行えばよい。当然のことながら、特徴ベクトルの要素として用いられない成分をフーリエ変換手段８１やフーリエパワー算出手段８２の演算で省略することで、演算の簡略化を図ることができる。
【００９２】
次に、線形変換手段８３では、周波数特徴として抽出された特徴量をベクトルとして取り扱う。予め規定しておく部分空間は、学習用の顔画像セットを用意し、対応する切り出し領域の周波数特徴ベクトルの主成分の判別分析によって得られる基底ベクトル（固有ベクトル）によって定める。この基底ベクトルの求め方については、Ｗ． Ｚｈａｏの文献をはじめとして様々は文献で説明されている一般的に広く知られた方法であるので、ここでは説明を省略する。ここで判別分析を直接行わないのは、フーリエ変換によって得られる特徴ベクトルの次元数が判別分析を直接取り扱うには大きすぎるためであり、既に指摘したような主成分判別分析における問題点は残るものの第一段階目の特徴ベクトルの抽出としては、一つの選択ではある。また、ここに判別分析を繰り返す方法による基底行列を用いて構わない。
【００９３】
つまり、基底行列記憶手段８４に記憶する主成分の判別行列Φ_１は、周波数特徴の実成分と虚成分をラスター走査によって１次元化した特徴ベクトルｘ_１の主成分の判別分析を行うことによって予め学習サンプルから求めることができる。ここで、フーリエ特徴は複素数として取り扱う必要は必ずしもなく、虚数成分も単なる別の特徴要素として、実数として取り扱って構わない。
【００９４】
主成分への基底行列をΨ_１、その主成分のベクトルを判別分析した判別行列をＷ_１とすれば、主成分の判別行列Φ_１は、（数１３）によって書き表される。
【００９５】
【数１３】

【００９６】
なお、主成分分析によって削減する次元数は、もとの特徴フーリエ特徴の１／１０程度（２００次元前後）にすればよく、その後、この判別行列によって７０次元程度に削減する。この基底行列を予め学習サンプルから計算しておき、 基底行列記憶手段８４に記憶される情報として用いる。
【００９７】
フーリエパワースペクトラム｜Ｆ（ｕ，ｖ）｜についても同様にそのスペクトルをラスター走査によって、１次元特徴ベクトルｘ_２として表し、その特徴ベクトルの主成分の判別分析を行うことによって得られる基底行列Φ_２ ^Ｔ＝Ψ_２ ^ＴＷ _２ ^Ｔを学習サンプルから予め求めておく。
【００９８】
このように、フーリエ特徴のそれぞれの成分について主成分判別特徴を計算することで、フーリエ成分の実成分と虚成分の特徴ベクトルｘ_１の主成分の判別特徴ｙ_１と、パワースペクトルの特徴ベクトルｘ_２の主成分の判別特徴ｙ_２を得ることができる。
【００９９】
正規化手段８７では、得られた特徴ベクトルの大きさをそれぞれ例えば長さ１の単位ベクトルに正規化する。ここで、ベクトルを測る原点をどこにするかで、ベクトル長は変わるので、その基準位置も予め定めておく必要があるが、これは射影された特徴ベクトルｙ_ｉの学習サンプルから求めた平均ベクトルｍ_ｉを用いて、基準点とすればよい。平均ベクトルを基準点とすることで、基準点の周りに特徴ベクトルが分布するようになり、特にガウシアン分布であるならば、等方的に分布するようになるので、特徴ベクトルを最終的に量子化するような場合の分布域 の領域を限定することが容易にできるようになる。
【０１００】
つまり、特徴ベクトルｙ_ｉをその平均ベクトルｍ_ｉによって、単位ベクトルに正規化したベクトルｙ_ｉ ^ｏは、（数１４）と表される。
【０１０１】
【数１４】

【０１０２】
このように正規化手段を設け、フーリエパワーの実数と虚数に関わる特徴ベクトルｙ_１と、パワーに関わる特徴ベクトルｙ_２を単位ベクトルに正規化しておくことで、異種の特徴量である二つの特徴量の間の大きさの正規化をしておき、特徴ベクトルの分布特性を安定化させることができる。また、既に次元削減の過程で判別に 必要な特徴空間の中での大きさを正規化しているので、削除された雑音をより多く含む特徴空間で正規化する場合よりも、雑音に影響されにくい正規化が実 現できるためである。この正規化により、単なる線形変換では除去が難しい全体的な照明強度に比例する変動成分のような変動要素の影響をとり除くことができる。
【０１０３】
このように正規化した特徴ベクトルｙ_１ ^ｏとｙ_２ ^ｏを（数８）と同様 に一つの特徴ベクトルｙに統合し、統合された特徴ベクトルｙに対して、線形判別分析を行い得られる基底行列Ｗ_３を用いて判別空間に射影することで、出力特徴ベクトルｚを得ることができる。このための判別行列Ｗ_３を判別行列記憶手段８９に記憶し ておき、線形変換手段８８では、このための射影の演算を行い、例えば、２４次元の特徴ベクトルｚを算出する。
【０１０４】
なお、出力特徴ベクトルｚを、一要素あたり例えば５ビットに量子化する場合には、各要素の大きさを正規化しておく必要があるが、例えば、各要素の分散値に応じて、正規化を施しておく。
【０１０５】
つまり、特徴ベクトルｚの各要素ｚ_ｉの学習サンプルにおける標準偏差の値σ_ｉを求めておき、ｚ_ｏ ＝ １６ｚ_ｉ／３σ_ｉというように正規化を施し、これを例えば５ビッ トなら、−１６から１５の値に量子化すればよい。
【０１０６】
この際の正規化は、各要素に標準偏差の逆数をかけている演算となるので、σ_ｉを対角要素とする行列Σを考えると、正規化されたベクトルｚ^ｏは、ｚ^ｏ＝Σｚとなる。つまり、単なる線形変換であるので、予め、判別行列Ｗ_３に対してΣを（数１５）のように施しておいてもよい。
【０１０７】
【数１５】

【０１０８】
このように正規化しておくことで、量子化に必要な値域補正を行うことができる利点があるばかりではなく、標準偏差値による正規化であるので、照合時にパターン間距離のノルムを演算する際に単なるＬ２ノルムを計算するだけで、マハラノビス距離による演算を行うことが可能となり、照合時における演算量を削減することが可能となる。
【０１０９】
このように顔画像特徴抽出手段１２２では、正規化された画像ｆ（ｘ，ｙ）に対して特徴ベクトルｚｆを抽出する際の説明を行ったが、顔の中心部分のみを切り出した画像ｇ（ｘ，ｙ）に対しても、前述と同様に顔画像特徴抽出手段１２２によって特徴ベクトルｚ_ｇを抽出する。二つの特徴ベクトルｚ_ｆと特徴ベクトルｚ_ｇを顔メタデータ生成部を顔特徴量ｚとして抽出する。
【０１１０】
なお、前述したように上記顔メタデータ生成手順をコンピュータプログラ ムによってコンピュータに実行させることもできる。
【０１１１】
（２）顔類似度算出
次に顔類似度算出部７４の動作について説明する。
顔類似度算出部７４では、二つの顔メタデータから得られるそれぞれＫ次 元特徴ベクトルｚ_１、ｚ_２を用いて、二つの顔の間の類似度ｄ（ｚ_１，ｚ_２）を算出する。
例えば、（数１６）の二乗距離によって類似度を算出する。
【０１１２】
【数１６】

【０１１３】
αｉは重み係数で例えば各特徴次元ｚ_ｉの標準偏差の逆数等を用いればマハラノビス距離による計算となり、予め（数１５）等によって特徴ベクトルを正規化してある場合には、基底行列が予め分散値によって正規化してあるので、前述の通り マハラノビス距離となっている。また、（数３）の比較する各特徴ベクトルのなす余弦によって類似度を算出してもよい。
【０１１４】
【数１７】

【０１１５】
なお、距離を用いた場合には値が大きいほど類似度は小さいこと（顔が似ていない）を意味し、余弦を用いた場合には値が大きいほど類似度が大きいこと（顔が似ている）を意味する。
【０１１６】
ここまでの説明では、一枚の顔画像が登録され、一枚の顔画像を用いて検索する場合について説明したが、一人の顔に対して複数の画像が登録され、一枚の顔画像を用いて検索する場合には、例えば、登録側の複数の顔メタデータをそれぞれ、類似度の算出をすればよい。
【０１１７】
同様に１つの顔当たりの複数枚の画像登録と複数画像による検索の場合も、 各組み合わせの類似度の平均や最小値を求めることで、類似度を算出することで、一つの顔データに対する類似度を算出することができる。これは、動画像を複数画像と見倣すことで、本発明のマッチングシステムを動画像における顔認識に対しても適用できることを意味する。
【０１１８】
以上、本発明を実施の形態を適宜図面を参照して説明したが、本発明は、コンピュータが実行可能なプログラムによっても実現できることは言うまでもない。
【０１１９】
（第四の実施の形態）
本発明による別の実施の形態について図面を参照して詳細に説明する。本発明は、第３の発明における顔メタデータ生成部７２を改良するものである。第３の発明では、入力顔画像をフーリエ変換を行うことで得られるフーリエ周波数成分の実数部と虚数部を要素とした特徴ベクトルと、パワースペクトラムを要素とした特徴ベクトルに対して、それぞれの主成分の判別特徴を計算し、それぞれを統合した特徴ベクトルに対して再度判別特徴を計算することで、顔の特徴量を計算している。この場合、フーリエパワースペクトルが入力画像全体の特徴量を反映しているために、入力画素にノイズが多い成分（例えば、相対的な位置が変化しやすい口の周りの画素など）もパワースペクトルの中に他の画素と等しく反映されてしまい、判別分析によって有効な特徴量を選択しても、十分な性能が得られない場合があった。このような場合には入力画像を領域分割し、その局所領域毎にフーリエ変換し、各局所領域毎のパワースペクトルを特徴量として、判別分析することで、局所的に判別性能が悪い（クラス内分散が大きい）領域の特徴量の影響を判別分析によって、低減することができる。
【０１２０】
図９は実施例を説明するための図で、特徴抽出処理のフローを表している。この実施例では、例えば、３２ｘ３２画素の領域を１６ｘ１６画素の４領域、８ｘ８画素の１６領域、４ｘ４画素の６４領域、２ｘ２画素の２５６領域、１ｘ１画素の１０２４領域（実質的に入力画像と同じなので、入力画像そのままでよい）に分割し、その各々の分割された領域でフーリエ変換を行う。この処理フローをまとめた図が図１０である。このようにして得られた各領域のパワースペクトル全ての１０２４ｘ５次元＝５１２０次元の特徴量を抽出する。この次元数では通常の学習データが少ない場合では次元数が多いので、予め主成分分析を行い、次元数を削減するような主成分分析の基底を求めておく。例えば、次元数としては３００次元程度が適当である。この次元数の特徴ベクトルについてさらに判別分析を行い、次元数を削減し、判別性能のよい特徴軸に対応する基底を求める。主成分分析と判別分析に対応する基底を予め計算しておく（これをＰＣＬＤＡ射影基底Ψとする）。
【０１２１】
５１２０次元の特徴をこのＰＣＬＤＡ基底を用いた射影基底Ψを用いて線形演算によって射影することで、判別特徴ｚを得ることができる。さらに量子化等を施すことで、顔の特徴量となる。なお、５１２０次元の特徴量はフーリエパワースペクトルの対称性等を考慮したり、高周波成分を除去して、予め使わないことにすれば、次元数を削減でき、高速な学習、必要とされるデータ量の削減、高速な特徴抽出を可能とすることができるので、適宜次元数を削減することが望ましい。
【０１２２】
このように領域をブロック化し、フーリエスペクトラムを多重化することで、画像特徴と同値な特徴量（１０２４分割の場合）から、順に平行移動の普遍性を持った特徴量と局所的な特徴量の表現を多重に持つことができる。その多重で冗長な特徴表現の中から、判別分析によって、識別に有効な特徴量を選択することで、コンパクトで識別性能のよい特徴量を得ることができる。フーリエパワースペクトルは、画像に対して非線形な演算であり、これは画像を単に線形演算によって処理する判別分析を適用するだけでは得られない有効な特徴量を計算することができる。ここでは主成分に対して線形判別分析を行う場合について説明したが、カーネル判別分析（Ｋｅｒｎｅｌ Ｆｉｓｈｅｒ Ｄｉｓｃｒｉｍｉｎａｎｔ Ａｎａｌｙｓｉｓ，ＫＦＤＡあるいはＫｅｒｎｅｌＤｉｓｃｒｉｍｉｎａｎｔ Ａｎａｌｙｓｉｓ： ＫＤＡ 、Ｇｅｎｅｒａｌｉｚｅｄ Ｄｉｓｃｒｉｍｉｎａｎｔ Ａｎａｌｙｓｉｓ： ＧＤＡなどと呼ばれるカーネルテクニックを用いた判別分析）を用いて、２段階目の特徴抽出を行っても構わない。例えば、カーネル判別分析については、Ｑ． Ｌｉｕ らの文献（非特許文献３：”Ｋｅｒｎｅｌ−ｂａｓｅｄ Ｏｐｔｉｍｉｚｅｄ Ｆｅａｔｕｒｅ Ｖｅｃｔｏｒｓ Ｓｅｌｅｃｔｉｏｎ ａｎｄ Ｄｉｓｃｒｉｍｉｎａｎｔ Ａｎａｌｙｓｉｓ ｆｏｒ Ｆａｃｅ Ｒｅｃｏｇｎｉｔｉｏｎ，”Ｐｒｏｃｅｅｄｉｎｇ ｏｆ ＩＡＰＲ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ（ＩＣＰＲ）， Ｖｏｌ．ＩＩ， ｐｐ． ３６２−３６５， ２００２）やＧ． Ｂａｕｄａｔ の文献（非特許文献４：”Ｇｅｎｅｒａｌｉｚｅｄ Ｄｉｓｃｉｍｉｎａｎｔ Ａｎａｌｙｓｉｓ Ｕｓｉｎｇ ａ Ｋｅｒｎｅｌ Ａｐｐｒｏａｃｈ，”Ｎｅｕｒａｌ Ｃｏｍｐｕｔａｔｉｏｎ， Ｖｏｌ．１２， ｐｐ２３８５−２４０４，２０００）に詳しく解説されているので、それらを参照されたい。 このようにカーネル判別分析を用いて特徴を抽出することで、非線形による特徴抽出の効果をさらに発揮することができ、有効な特徴を抽出することができる。
【０１２３】
しかし、この場合、５１２０次元と大きな特徴ベクトルを取り扱うので、主成分分析を行う場合でも、大量のメモリ、大量の学習データが必要となる。図１１は、このような問題を避けるべく、各ブロック毎に主成分分析・判別分析を個別に行い、その後、２段階で判別分析（Ｌｉｎｅａｒ Ｄｉｓｃｒｉｍｉｎａｎｔ Ａｎａｌｙｓｉｓ： ＬＤＡ）を行うことで、演算量を削減することができる。この場合には、各領域毎に１０２４次元（対称性を考慮して半分にすると、５１２次元）の特徴量を用いて、主成分分析と判別分析を行い基底行列Ψｉ（ｉ＝０，１，２，．．，５）を求めておく。そして、その後それぞれの平均値を用いて特徴ベクトルを正規化し、二段階目のＬＤＡ射影を行う。このようにブロック毎に処理を行うことで、学習の際に要求されるデータ数や計算機資源を減少させることができ、学習の最適化の時間削減等を行うことできる。なお、高速に演算を行いたい場合には、ベクトル正規化の処理を省き、予めＰＣＬＤＡ射影の基底行列とＬＤＡ射影の基底行列を計算しておくことで、演算の高速化を図ることができる。
【０１２４】
図１２はまた別の実施例を説明するための図で、特徴抽出処理のフローを表している。この実施例では、このような領域分割を複数段階（図では２段階）で行い、局所領域のフーリエパワースペクトルが持つ並進普遍性と、局所領域の信頼性を考慮するように多重にパワースペクトラムを多重な解像度で抽出し、判別分析のための特徴量として抽出し、その中で判別分析で求められた最も優れた特徴空間利用して、特徴抽出を行う。
【０１２５】
例えば、入力画像ｆ（ｘ，ｙ）が３２ｘ３２画素の場合には、図１０に示すように全体画像のパワースペクトル｜Ｆ（ｕ，ｖ）｜とそれを４分割した１６ｘ１６画素の４つの領域のそれぞれのパワースペクトラム｜Ｆ^１ _１（ｕ，ｖ）｜， ｜Ｆ^１ _２（ｕ，ｖ）｜ ，｜Ｆ^１ _３（ｕ，ｖ）｜ ，｜Ｆ^１ _４（ｕ，ｖ）｜、８ｘ８画素の１６個の領域に分割した｜Ｆ^２ _１（ｕ，ｖ）｜， ｜Ｆ^２ _１（ｕ，ｖ）｜，・・・，｜Ｆ^２ _１６（ｕ，ｖ）｜を特徴ベクトルを抽出する。但し、実画像のフーリエパワースペクトルの対称性を考慮して、その１／２を抽出すればよい。また、判別分析における特徴ベクトルの大きさが大きくなることを避けるために、判別に対して高周波成分をサンプリングしないで、特徴ベクトルを構成してもよい。例えば、低周波成分に対応する１／４のスペクトルをサンプリングして特徴ベクトルを構成することで、必要となる学習サンプル数を低減したり、学習や認識に必要な処理時間の軽減を行うことができる。また、学習データ数が少ない場合には、予め主成分分析して特徴次元数を減らした後に判別分析を行っても良い。
【０１２６】
さて、このように抽出した特徴ベクトルｘ_２ ^ｆを用いて、予め用意した学習セットを用いて判別分析を行い、その基底行列Ψ_２ ^ｆを求めておく。図９では主成分に対する判別特徴の抽出（Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔ Ｌｉｎｅａｒ Ｄｉｓｃｒｉｍｉｎａｎｔ Ａｎａｌｙｓｉｓ： ＰＣＬＤＡ）の射影を行っている例を示している。特徴ベクトルｘ_２ ^ｆを基底行列Ψ_２ ^ｆを用いて射影し、その射影された特徴ベクトルの平均と大きさを正規化し、特徴ベクトルｙ_２ ^ｆを算出する。
【０１２７】
同様にフーリエ周波数の実数成分と虚数成分を統合した特徴ベクトルｘ_２ ^ｆについても、基底行列Ψ_１ ^ｆを用いて線形演算処理により特徴ベクトルを射影し、次元数を削減した特徴ベクトルを求め、そのベクトルの平均と大きさを正規化した特徴ベクトルｙ_１ ^ｆを算出する。これらを統合した特徴ベクトルを判別基底Ψ_３ ^ｆを用いて、再度射影し、特徴ベクトルｚ^ｆを得る。これを例えば５ｂｉｔに量子化することで、顔特徴量を抽出する。
【０１２８】
なお、入力が４４ｘ５６画素の大きさに正規化された顔画像である場合には、中心部分の３２ｘ３２画素に上述の処理を施して、顔特徴量を抽出するとともに、顔全体の４４ｘ５６画素の領域についても、４４ｘ５６画素の全体領域と、２２ｘ２８画素の４領域、１１ｘ１４画素の１６画素に多重に分割した領域についてそれぞれ顔特徴量を抽出する。図１３は、別の実施例を表しており、各局所領域毎に実数成分と虚数成分とパワースペクトルを合わせてＰＣＬＤＡを行う場合や、図１４のように実数成分と虚数成分を合わせた特徴とパワースペクトルとを個別にＰＣＬＤＡ射影し、最後にＬＤＡ射影を行っている例である。
【０１２９】
（第五の実施の形態）
本発明による別の実施の形態について図面を用いて詳細に説明する。
本発明を用いた顔特徴記述方法および顔特徴の記述子の実施例を表わす。図１５には、顔の特徴記述の一例として、ＩＳＯ／ＩＥＣ ＦＤＩＳ １５９３８−３“Ｉｎｆｏｒｍａｔｉｏｎ ｔｅｃｈｎｏｌｏｇｙ Ｍｕｌｔｉｍｅｄｉａ ｃｏｎｔｅｎｔ ｄｅｓｃｒｉｐｔｉｏｎ ｉｎｔｅｒｆａｃｅ− Ｐａｒｔ３： Ｖｉｓｕａｌ”におけるＤＤＬ表現文法（Ｄｅｓｃｒｉｐｔｉｏｎ Ｄｅｆｉｎｉｔｉｏｎ Ｌａｎｇｕａｇｅ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ Ｓｙｎｔａｘ）を用いて顔特徴量の記述について表わしている。
【０１３０】
ここでは、ＡｄｖａｎｃｅｄＦａｃｅＲｅｃｏｇｎｉｔｉｏｎと名付けた顔特徴の記述について、それぞれ”ＦｏｕｒｉｅｒＦｅａｔｕｒｅ”，”ＣｅｎｔｒａｌＦｏｕｒｉｅｒＦｅａｔｕｒｅ”と名付ける要素を有しており、ＦｏｕｉｒｅｒＦｅａｔｕｒｅやＣｅｎｔｒａｌＦｏｕｒｉｅｒＦｅａｔｕｒｅは、符号なし５ビットの整数でそれぞれ２４次元から６３次元の要素を持つことができることを表わしている。図１６は、そのデータ表現に対してバイナリー表現文法（Ｂｉｎａｒｙ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ Ｓｙｎｔａｘ）を用いた場合の規則を表わしており、ＦｏｕｒｉｅｒＦｅａｔｕｒｅ、ＣｅｎｔｒａｌＦｏｕｒｉｅｒＦｅａｔｕｒｅの配列要素の大きさを符号なし６ビットの整数でｎｕｍＯｆＦｏｕｒｉｅｒＦｅａｔｕｒｅ、ｎｕｍＯｆＣｅｎｔｒａｌＦｏｕｒｉｅｒに格納し、ＦｏｕｒｉｅｒＦｅａｔｕｒｅ、ＣｅｎｔｒａｌＦｏｕｒｅｉｒＦｅａｔｕｒｅのそれぞれの要素が５ビットの符号なし整数で格納されることを表わしている。
【０１３１】
本発明を用いたこのような顔特徴の記述子について、より詳細に説明する。
●ｎｕｍＯｆＦｏｕｒｉｅｒＦｅａｔｕｒｅ
このフィールドは、ＦｏｕｒｉｅｒＦｅａｔｕｒｅの配列の大きさを規定する。値の許容範囲は、２４から６３である。
●ｎｕｍＯｆＣｅｎｔｒａｌＦｏｕｒｉｅｒＦｅａｔｕｒｅ
このフィールドは、ＣｅｎｔｒａｌＦｏｕｒｉｅｒＦｅａｔｕｒｅの配列の大きさを規定する。値の許容範囲は、２４から６３である。
●ＦｏｕｒｉｅｒＦｅａｔｕｒｅ
この要素は、正規化顔画像のフーリエ特性の階層的ＬＤＡに基づく顔特徴を表している。正規化顔画像は、原画像を各行４６個の輝度値を持つ５６行の画像に大きさを変換することによって得られる。正規化画像における両目の中心位置は、右目、左目がそれぞれ、２４行目の１６列目及び３１列目に位置していなければならない。
【０１３２】
ＦｏｕｒｉｅｒＦｅａｔｕｒｅの要素は、二つの特徴ベクトルから抽出される。一つは、フーリエスペクトルベクトルｘ_１ ^ｆであり、もう一つは、マルチブロックフーリエ強度ベクトルｘ_２ ^ｆである。図１７は、フーリエ特徴の抽出過程を図示している。正規化画像が与えられたら、その要素を抽出するために、次の５つの処理ステップを実行しなければならない。
【０１３３】
（１）フーリエスペクトルベクトルｘ_１ ^ｆの抽出
（２）マルチブロックフーリエ強度ベクトルｘ_２ ^ｆの抽出
（３）ＰＣＬＤＡ基底行列Ψ_１ ^ｆ、Ψ_２ ^ｆを用いた特徴ベクトルの射影と、単位ベクトルｙ_１ ^ｆ、ｙ_２ ^ｆへの正規化
（４）ＬＤＡ基底行列Ψ_３ ^ｆを用いた、単位ベクトルの結合フーリエベクトルの射影
（５）射影ベクトルＺ^ｆの量子化
【０１３４】
ＳＴＥＰ−１） フーリエスペクトルベクトルの抽出
与えられた正規化画像ｆ（ｘ，ｙ）に対するフーリエスペクトルＦ（ｕ，ｖ）を（数１８）式により計算する。
【０１３５】
【数１８】

【０１３６】
ここで、Ｍ＝４６、Ｎ＝５６である。フーリエスペクトルベクトルｘ_１ ^ｆは、フーリエスペクトルを走査して得られる成分の集合によって定義される。図１８は、フーリエスペクトルの走査方法を示している。走査は、フーリエ空間における二つの領域、領域Ａと領域Ｂ、に対して実行される。走査規則を図１９にまとめる。ここで、Ｓ_Ｒ（ｕ， ｖ）は、領域Ｒの左上の座標を表し、Ｅ_Ｒ（ｕ，ｖ） は領域Ｒの右下の点をそれぞれ表す。それ故に、フーリエスペクトルベクトルｘ_１ ^ｆは（数１９）式によって表現される。
【０１３７】
【数１９】

ｘ_１ ^ｆの次元数は６４４次元である。
【０１３８】
ＳＴＥＰ ２） マルチブロックフーリエ強度ベクトルの抽出
マルチブロックフーリエ強度ベクトルを正規化顔画像の部分画像のフーリエ強度から抽出する。部分画像としては、（ａ） 全体画像、（ｂ） ４分の１画像、（ｃ） １６分の１画像の３つのタイプの画像が使われる。
【０１３９】
（ａ）全体画像
全体画像ｆ_１ ^０（ｘ，ｙ）は、正規化画像ｆ（ｘ，ｙ）の画像境界の両側の列を取り除き、４４ｘ５６の画像サイズに切り出すことで得ることができる。これは、（数２０）式によって与えられる。
【０１４０】
【数２０】

【０１４１】
（ｂ）４分の１画像
４分の１画像は、全体画像ｆ_１ ^０（ｘ，ｙ）を４ブロックｆ_ｋ ^１（ｘ，ｙ）（ｋ＝１，２，３，４）に等分割することによって、得ることができる。
【０１４２】
【数２１】

ここで、ｓ_ｋ ^１＝（ｋ−１）％２、ｔ_ｋ ^１＝（ｋ−１）／２ である。
【０１４３】
（ｃ）１６分の１画像
１６分の１画像は、ｆ_１ ^０（ｘ，ｙ）を１６ブロックｆ_ｋ ^２（ｘ，ｙ）（ｋ＝１，２，３，・・・，１６）に等分割することによって得られ、次式によって与えられる。
【０１４４】
【数２２】

ここで、ｓ_ｋ ^２＝（ｋ−１）％４、ｔ_ｋ ^２＝（ｋ−１）／４ である。
【０１４５】
これらの画像から、フーリエ強度｜Ｆ_ｋ ^ｊ（ｕ，ｖ）｜を次の（数２３）式のように計算する。
【０１４６】
【数２３】

Ｍ^ｊは各々の部分画像の幅を表し、Ｍ^０＝４４， Ｍ^１＝２２， Ｍ^２＝１１である。Ｎ^ｊは部分画像の高さを表し、Ｎ^０＝５６， Ｎ^１＝２８， Ｎ^２＝１４である。
【０１４７】
マルチブロックフーリエ強度ベクトルは、１） 全体画像（ｋ＝１）， ２） ４分の１画像（ｋ＝１，２，３，４）， 及び ３） １６分の１画像（ｋ＝１，２，・・・，１６）の順に、各々の強度｜Ｆ_ｋ ^ｊ（ｕ，ｖ）｜の低周波数領域を走査することによって得られる。走査領域は、図１９に定義している。
【０１４８】
それ故に、マルチブロックフーリエ強度ベクトルｘ_２ ^ｆは、（数２４）式で表現される。
【０１４９】
【数２４】

ｘ_２ ^ｆの次元数は８５６次元である。
【０１５０】
ＳＴＥＰ ３） ＰＣＬＤＡ 射影とベクトル正規化
フーリエスペクトルベクトルｘ_１ ^ｆとマルチブロックフーリエ強度ベクトルｘ_２ ^ｆをそれぞれＰＣＬＤＡ基底行列Ψ_１ ^ｆとΨ_２ ^ｆを用いて射影し、単位ベクトルｙ_１ ^ｆとｙ_２ ^ｆに正規化する。正規化ベクトルｙ_ｋ ^ｆ （ｋ＝１，２） は次式によって与えられる。
【０１５１】
【数２５】

ここで、ＰＣＬＤＡ 基底行列Ψ_ｋ ^ｆと平均ベクトルｍ_ｋ ^ｆは、ｘ_ｋ ^ｆの主成分の判別分析によって得られる基底行列と射影して得られる平均ベクトルであり、予め計算してあるテーブルを参照する。ｙ_１ ^ｆとｙ_２ ^ｆ の次元数はそれぞれ７０次元と８０次元である。
【０１５２】
ＳＴＥＰ ４） 結合フーリエベクトルのＬＤＡ射影
正規化ベクトルｙ_１ ^ｆとｙ_２ ^ｆを１５０次元の結合フーリエベクトルｙ_３ ^ｆを成すように連結し、ＬＤＡ基底行列を用いて射影する。射影ベクトルｚ^ｆは次式で与えられる。
【０１５３】
【数２６】

【０１５４】
ＳＴＥＰ ５） 量子化
ｚ^ｆの要素を次式を用いて５ビットの符号なし整数の範囲に丸める。
【０１５５】
【数２７】

【０１５６】
量子化された要素は、ＦｏｕｒｉｅｒＦｅａｔｕｒｅの配列として保存する。ＦｏｕｒｉｅｒＦｅａｔｕｒｅ［０］ は、量子化された第一要素ｗ_０ ^ｆを表し、ＦｏｕｒｉｅｒＦｅａｔｕｒｅ［ｎｕｍＯｆＦｏｕｒｉｅｒＦｅａｔｕｒｅ−１］ は、第ｎｕｍＯｆＦｏｕｒｉｅｒＦｅａｔｕｒｅ番目の要素ｗ^ｆ _{ｎｕｍＯｆＦｏｕｒｉｅｒＦｅａｔｕｒｅ−１}に対応する。
【０１５７】
●ＣｅｎｔｒａｌＦｏｕｒｉｅｒＦｅａｔｕｒｅ
この要素は、正規化顔画像の中心部分のフーリエ特性の階層的ＬＤＡに基づく顔特徴を表している。ＣｅｎｔｒａｌＦｏｕｒｉｅｒＦｅａｔｕｒｅはＦｏｕｒｉｅｒＦｅａｔｕｒｅと同様な方法により抽出する。
【０１５８】
中心部分ｇ（ｘ，ｙ）は、次式に示すように画像ｆ（ｘ，ｙ）の始点（７，１２）から３２ｘ３２画素の大きさに切り出すことによって得られる。
【０１５９】
【数２８】

【０１６０】
ＳＴＥＰ １） フーリエスペクトルベクトルの抽出
ｇ（ｘ，ｙ） のフーリエスペクトルＧ（ｕ，ｖ）を（数２９）式によって計算する。
【０１６１】
【数２９】

ここで、Ｍ＝３２， Ｎ＝３２である。２５６次元のフーリエスペクトルベクトルｘ_１ ^ｇ は、フーリエスペクトルＧ（ｕ，ｖ）を図２０で定義したように走査することによって得ることができる。
【０１６２】
ＳＴＥＰ ２） マルチブロックフーリエ強度ベクトルの抽出
マルチブロックフーリエ強度ベクトルｘ_２ ^ｇを（ａ） 中心部分ｇ_１ ^０（ｘ，ｙ）， （ｂ） ４分の１画像ｇ_ｋ ^１（ｘ，ｙ）（ｋ＝１，２，３，４）， 及び（ｃ） １６分の１画像ｇ_ｋ ^２（ｘ，ｙ）（ｋ＝１，２，３，・・・，１６）のフーリエ強度から抽出する。
【０１６３】
（ａ）中心部分
【数３０】

【０１６４】
（ｂ）４分の１画像
【数３１】

ここで、ｓ_ｋ ^１＝（ｋ−１）％２、ｔ_ｋ ^１（ｋ−１）／２ である。
【０１６５】
（ｃ）１６分の１画像
【数３２】

ここで、ｓ_ｋ ^２＝（ｋ−１）％４、ｔ_ｋ ^２＝（ｋ−１）／４ である。
【０１６６】
それぞれの画像のフーリエ強度｜Ｇ_ｋ ^ｊ（ｕ，ｖ）｜を、（数３３）式のように計算する。
【０１６７】
【数３３】

ここで、Ｍ^０＝３２，Ｍ^１＝１６， Ｍ^２＝８， Ｎ^０＝３２， Ｎ^１＝１６， Ｎ^２＝８である。マルチブロックフーリエ強度ベクトルｘ_２ ^ｇは、図２０に定義するようにそれぞれの強度｜Ｇ_ｋ ^ｊ（ｕ，ｖ）｜を走査することによって得られる。
【０１６８】
ＳＴＥＰ ３−５）の処理は、ＦｏｕｒｉｅｒＦｅａｔｕｒｅと同じである。ＣｅｎｔｒａｌＦｏｕｒｉｅｒＦｅａｔｕｒｅのための基底行列Ψ_１ ^ｇ，Ψ_２ ^ｇ，Ψ_３ ^ｇ および平均ベクトルｍ_１ ^ｇ，ｍ_２ ^ｇ もまたそれぞれの予め計算してテーブルとして用意しておいたものを参照する。
【０１６９】
ＣｅｎｔｒａｌＦｏｕｒｉｅｒＦｅａｔｕｒｅの配列の大きさは、ｎｕｍＯｆＣｅｎｔｒａｌＦｏｕｒｉｅｒＦｅａｔｕｒｅに制限される。
【０１７０】
このようにして得られた顔特徴記述データは、記述長がコンパクトでありながら、高い認識性能を有する顔特徴の記述データとなり、データの保存や伝送に効率的な表現となる。
【０１７１】
なお、本発明をコンピュータで動作可能なプログラムで実現してもかまわない。この場合、第五の実施の形態であれば、図１７中のステップ１〜ステップ５で示された機能をコンピュータが読み取り可能なプログラムで記述し、このプログラムをコンピュータ上で機能させることで本発明を実現可能である。また図１７に記載された例を装置として構成する場合は、図２１のブロック図に記載された機能の全部または一部を実現すればよい。
【０１７２】
【発明の効果】
本発明によるパターン特徴抽出により、入力のパターン特徴ベクトルから、その要素ベクトル毎に判別分析による判別に有効な特徴ベクトルを抽出し、得られた特徴ベクトルを再度判別分析による判別行列を用いた特徴抽出を行うことで、特徴次元を圧縮する際に、判別に有効な特徴量の削減を抑制し、より効率の良い特徴抽出を行うための特徴ベクトルの変換を行うことができる。
【０１７３】
特にパターンの特徴量が多いにも関わらず、判別分析を行う際に必要な学習サンプル数が限られているような場合に特に有効であり、必ずしも主成分分析を用いることなく、識別に有効な特徴の損失を抑えた上で特徴次元数を削減することができる。
【図面の簡単な説明】
【図１】本発明の実施形態によるパターン特徴抽出装置の構成を示すブロック図である。
【図２】従来技術を説明するための図である。
【図３】パターン特徴の分布を説明するための図である。
【図４】本発明による第二の実施形態によるパターン特徴抽出装置の構成を示すブロック図である。
【図５】本発明による実施形態を説明するための図である。
【図６】本発明による実施形態を説明するための図である。
【図７】本発明による第三の実施形態による顔画像マッチングシステムの 構成を示すブロック図である。
【図８】本発明による実施形態を説明するための図である。
【図９】本発明による実施形態を説明するための図である。
【図１０】本発明による実施形態を説明するための図である。
【図１１】本発明による実施形態を説明するための図である。
【図１２】本発明による実施形態を説明するための図である。
【図１３】本発明による実施形態を説明するための図である。
【図１４】本発明による実施形態を説明するための図である。
【図１５】本発明の第五の実施の形態における顔記述の一例を示すための図である。
【図１６】本発明の第五の実施の形態におけるバイナリー表現文法（Ｂｉｎａｒｙ ＲｅｐｒｅｓｅｎｔａｔｉｏｎＳｙｎｔａｘ）を用いた場合の規則の一例を示す図である。
【図１７】本発明の第５の実施の形態におけるフーリエ特徴（ＦｏｕｒｉｅｒＦｅａｔｕｒｅ）を抽出するための説明図である。
【図１８】本発明の第５の実施の形態におけるフーリエスペクトルの走査方法の一例を示すための図である。
【図１９】本発明の第５の実施の形態におけるフーリエスペクトルの走査規則の一例を示すためのテーブルである。
【図２０】本発明の第５の実施の形態におけるＣｅｎｔｒａｌＦｏｕｒｉｅｒＦｅａｔｕｒｅ要素のためのフーリエ空間における走査領域の一例を示すテーブルである。
【図２１】本発明の第５の実施の形態におけるブロック図の一例を示す図である。
【符号の説明】
１１： 第一の線形変換手段１１
１２： 第二の線形変換手段１２
１３： 第三の線形変換手段１３
１４： 第一の判別行列記憶手段１４
１５： 第二の判別行列記憶手段１５
１６： 第三の判別行列記憶手段１６

Claims (21)

1. パターン特徴を線形変換を用いて特徴次元を圧縮するパターン特徴抽出方法において、
   パターン特徴を複数の特徴ベクトルｘ_ｉで表現し、それぞれの特徴ベクトルｘ_ｉに対して、線形判別分析により求められる各特徴ベクトルの判別行列Ｗ _ｉを予め求め、さらにそれらの判別行列を用いてベクトルｘ_ｉを線形変換することによって得られる各ベクトルｙ_ｉを合わせた特徴ベクトルｙについて、線形判別分析により判別行列Ｗ_Ｔを予め求めておき、
   前記判別行列Ｗ_ｉおよび前記判別行列Ｗ_Ｔによって特定される線形変換によって、パターンの特徴ベクトルを変換することで、特徴次元を圧縮することを特徴とするパターン特徴抽出方法。
2. 請求項１に記載のパターン特徴抽出方法において、
   パターン特徴を複数の特徴ベクトルｘ_ｉに分割し、
   それぞれの特徴ベクトルｘ_ｉについて、前記判別行列Ｗ_ｉを用いて、線形変換ｙ_ｉ＝Ｗ _ｉ ^Ｔｘ _ｉを行い特徴ベクトルｙ_ｉを算出し、
   算出された特徴ベクトルｙ_ｉを合わせたベクトルｙについて、前記判別行列Ｗ_Ｔを用いて、線形変換ｚ＝Ｗ_Ｔ ^Ｔｙを計算し、特徴ベクトルｚを算出することで、
   パターン特徴の次元数を圧縮することを特徴とするパターン特徴抽出方法。
3. 請求項１に記載のパターン特徴抽出方法において、
   それぞれの判別行列Ｗ_ｉおよびＷ_Ｔによって特定される行列Ｗを予め計算しておき、
   前記行列Ｗを用いて、入力特徴ベクトルｘ_ｉを合わせた特徴ベクトルｘと行列Ｗの線形変換ｚ＝Ｗ_Ｔｘを計算し、特徴ベクトルｚを算出することで、
   パターン特徴の次元数を圧縮することを特徴とするパターン特徴抽出方法。
4. 画像から特徴量を抽出し、得られた特徴を線形変換を用いて特徴次元を圧縮することで画像特徴を抽出することを特徴とする画像特徴抽出方法において、
   画像中の予め定めた複数のサンプル点集合Ｓ_ｉについて、複数のサンプル点から得られる画素値からなる特徴ベクトルｘ_ｉとして抽出し、
   それぞれの特徴ベクトルｘ_ｉに対して、線形判別分析により求められる各特徴ベクトルの判別行列Ｗ_ｉを予め求め、さらにそれらの判別行列を用いてベクトルｘ_ｉを線形変換することによって得られる各ベクトルｙ_ｉを合わせた特徴ベクトルｙについて、線形判別分析により判別行列Ｗ_Ｔを予め求めておき、
   前記判別行列Ｗ_ｉおよび前記判別行列Ｗ_Ｔによって特定される線形変換によって、画像サンプル集合毎の特徴ベクトルを変換することで、画像から特徴量を抽出することを特徴とする画像特徴抽出方法。
5. 請求項４に記載の画像特徴抽出方法において、
   複数のサンプル点からなる複数の特徴ベクトルｘ_ｉについて、判別行列Ｗ_ｉを用いて、線形変換ｙ_ｉ＝Ｗ_ｉ ^Ｔｘ_ｉを行い特徴ベクトルｙ_ｉを算出し、
   算出された特徴ベクトルｙ_ｉを合わせたベクトルｙについて、判別行列Ｗ_Ｔを用いて、線形変換ｚ＝Ｗ_Ｔ ^Ｔｙを計算し、特徴ベクトルｚを算出することで、画像から特徴量を抽出することを特徴とする画像特徴抽出方法。
6. 請求項４に記載の画像特徴抽出方法において、
   それぞれの判別行列Ｗ_ｉおよびＷ_Ｔによって特定される行列Ｗを予め計算しておき、
   前記行列Ｗを用いて、特徴ベクトルｘ_ｉを合わせたベクトルｘと行列Ｗの線形変換ｚ＝ Ｗ_Ｔｘを計算し、特徴ベクトルｚを算出することで、画像から特徴量を抽出することを特徴とする画像特徴特徴抽出方法。
7. 画像から特徴量を抽出し、得られた特徴を線形変換を用いて特徴次元を圧縮することで画像特徴を抽出することを特徴とする画像特徴抽出方法において、
   画像を予め定めた複数の局所領域に分割し、その複数の局所領域毎に特徴量を抽出し、
   それらの特徴量を特徴ベクトルｘ_ｉとして表現し、それぞれの特徴ベクトルｘ_ｉに対して、線形判別分析により求められる各特徴ベクトルの判別行列Ｗ_ｉを予め求め、さらにそれらの判別行列を用いてベクトルｘ_ｉを線形変換することによって得られる各ベクトルｙ_ｉを合わせた特徴ベクトルｙについて、線形判別分析により判別行列Ｗ_Ｔを予め求めておき、
   前記判別行列Ｗ_ｉおよび前記判別行列Ｗ_Ｔによって特定される線形変換によって、局所領域の特徴ベクトルを変換することで、画像から特徴量を抽出することを特徴とする画像特徴抽出方法。
8. 請求項７に記載の画像特徴抽出方法において、
   画像の局所領域の特徴ベクトルｘ_ｉについて、判別行列Ｗ_ｉを用いて、線形変換ｙ_ｉ＝Ｗ _ｉ ^Ｔｘ_ｉを行い特徴ベクトルｙ_ｉを算出し、
   算出された特徴ベクトルｙ_ｉを合わせたベクトルｙについて、判別行列Ｗ_Ｔを用いて、線形変換ｚ＝Ｗ_Ｔ ^Ｔｙを計算し、特徴ベクトルｚを算出することで、画像から特徴量を抽出することを特徴とする画像特徴抽出方法。
9. 請求項８に記載の画像特徴抽出方法において、
   それぞれの判別行列Ｗ_ｉおよびＷ_Ｔによって特定される行列Ｗを予め計算しておき、
   前記行列Ｗを用いて、特徴ベクトルｘ_ｉを合わせたベクトルｘと行列Ｗの線形変換ｚ＝ Ｗ_Ｔｘを計算し、特徴ベクトルｚを算出することで、画像から特徴量を抽出することを特徴とする画像特徴抽出方法。
10. 画像から特徴量を抽出し、得られた特徴を線形変換を用いて特徴次元を圧縮することで画像特徴を抽出することを特徴とする画像特徴抽出方法において、
    画像を二次元フーリエ変換し、
    二次元フーリエ変換の実数成分と虚数成分を特徴ベクトルｘ_１として抽出し、
    二次元フーリエ変換のパワースペクトラムを算出し、そのパワースペクトラムを特徴ベクトルｘ_２として抽出し、
    それぞれの特徴ベクトルｘ_ｉ（ｉ＝１，２）に対して、線形判別分析により求められる各特徴ベクトルの判別行列Ｗ_ｉを求め、さらにそれらの判別行列を用いてベクトルｘ_ｉを線形変換することによって得られる各ベクトルｙ_ｉを合わせた特徴ベクトルｙについて、線形判別分析により判別行列Ｗ_Ｔを予め求めておき、
    前記判別行列Ｗ_ｉおよび判別行列Ｗ_Ｔによって特定される線形変換によって特徴ベクトルを変換することで、画像から特徴量を抽出することを特徴とする画像特徴抽出方法。
11. 画像から特徴量を抽出し、得られた特徴を線形変換を用いて特徴次元を圧縮することで画像特徴を抽出することを特徴とする画像特徴特徴抽出方法において、
    画像を二次元フーリエ変換し、
    二次元フーリエ変換の実数成分と虚数成分を特徴ベクトルｘ_１として抽出し、二次元フーリエ変換のパワースペクトラムを算出し、そのパワースペクトラムを特徴ベクトルｘ_２として抽出し、
    それぞれの特徴ベクトルｘ_ｉ（ｉ＝１，２）の主成分に対して、線形判別分析により求められる各特徴ベクトルの判別行列Ｗ_ｉを求め、さらにそれらの判別行列を用いてベクトルｘ_ｉを線形変換することによって得られる各ベクトルｙ_ｉを合わせた特徴ベクトルｙについて、線形判別分析により判別行列Ｗ_Ｔを予め求めておき、 特徴ベクトルｘ_ｉの主成分に対する判別行列 Ｗ_ｉおよび判別行列Ｗ_Ｔによって特定される線形変換によって、フーリエ成分の実成分と虚成分に対する特徴ベクトルｘ_１とフーリエ成分のパワースペクトラムに対する特徴ベクトルｘ_２を次元削減するように変換することで、画像から特徴量を抽出することを特徴とする画像特徴抽出方法。
12. 画像を複数の領域に分割し、そのそれぞれの領域において二次元フーリエパワースペクトラムを算出することを特徴とする画像特徴抽出方法。
13. 請求項１２の画像特徴抽出方法において、画像の分割の仕方を複数に持つことで、異なる大きさの領域の多重に領域を分割し、その分割された領域それぞれについて、二次元フーリエパワースペクトルを算出することを特徴とする画像特徴抽出方法。
14. 請求項１２あるいは請求項１３に記載の画像特徴抽出方法において、
    得られた二次元フーリエパワースペクトルに対して、カーネル判別分析による特徴抽出を行うことで特徴次元を削減し、有効な特徴量を抽出することを特徴とする画像特徴抽出方法。
15. 請求項１２あるいは請求項１３に記載の画像特徴抽出方法において、
    得られた二次元フーリエパワースペクトルに対して、予め線形判別分析により得られる判別行列を用いて、線形変換によって特徴次元を削減することを特徴とする画像特徴抽出方法。
16. 画像から特徴量を抽出し、得られた特徴を線形変換を用いて特徴次元を圧縮することで画像特徴を抽出することを特徴とする画像特徴抽出方法において、
    画像を二次元フーリエ変換し、
    二次元フーリエ変換の実数成分と虚数成分を特徴ベクトルｘ_１として抽出し、
    前記の画像のを二次元フーリエ変換のパワースペクトラムを算出し、
    さらに前記の画像を複数に分割し、その各々の領域について二次元フーリエ変換のパワースペクトラムを算出し、それぞれのパワースペクトルを合成したベクトルを特徴ベクトルｘ_２として抽出し、
    それぞれの特徴ベクトルｘ_ｉ（ｉ＝１，２）に対して、線形判別分析により求められる各特徴ベクトルの判別行列Ｗ_ｉを求め、さらにそれらの判別行列を用いてベクトルｘ_ｉを線形変換することによって得られる各ベクトルｙ_ｉを合わせた特徴ベクトルｙについて、線形判別分析により判別行列Ｗ_Ｔを予め求めておき、
    前記判別行列Ｗ_ｉおよび判別行列Ｗ_Ｔによって特定される線形変換によって特徴ベクトルを変換することで、画像から特徴量を抽出することを特徴とする画像特徴抽出方法。
17. 画像から特徴量を抽出し、得られた特徴を線形変換を用いて特徴次元を圧縮することで画像特徴を抽出することを特徴とする画像特徴特徴抽出方法において、
    画像を二次元フーリエ変換し、
    二次元フーリエ変換の実数成分と虚数成分を特徴ベクトルｘ_１として抽出し、
    前記の画像の二次元フーリエ変換のパワースペクトラムを算出し、
    さらに前記の画像を複数に分割し、その各々の領域について二次元フーリエ変換のパワースペクトラムを算出し、それぞれのパワースペクトルを合成したベクトルを特徴ベクトルｘ_２として抽出し、
    それぞれの特徴ベクトルｘ_ｉ（ｉ＝１，２）の主成分に対して、線形判別分析により求められる各特徴ベクトルの判別行列Ｗ_ｉを求め、さらにそれらの判別行列を用いてベクトルｘ_ｉを線形変換することによって得られる各ベクトルｙ_ｉを合わせた特徴ベクトルｙについて、線形判別分析により判別行列Ｗ_Ｔを予め求めておき、 特徴ベクトルｘ_ｉの主成分に対する判別行列 Ｗ_ｉおよび判別行列Ｗ_Ｔによって特定される線形変換によって、フーリエ成分の実成分と虚成分に対する特徴ベクトルｘ_１とフーリエ成分のパワースペクトラムに対する特徴ベクトルｘ_２を次元削減するように変換することで、画像から特徴量を抽出することを特徴とする画像特徴抽出方法。
18. 請求項１１に記載の画像特徴抽出方法において、
    フーリエ変換による実数成分と虚数成分による特徴ベクトルｘ_１を主成分に変換する変換行列Ψ_１と、その主成分に対する判別行列Ｗ_１によって表される基底行列Φ_１（＝（Ｗ_１ ^ＴΨ_１ ^Ｔ）^Ｔ）を用いて、特徴ベクトルｘ_１の主成分の判別特徴を線形変換ｙ_１＝Φ_１ ^Ｔｘ_１により算出し、
    得られた特徴ベクトルｙ１の大きさを予め定めた大きさに正規化し、
    フーリエ変換によるパワースペクトラムによる特徴ベクトルｘ_２を主成分に変換する変換行列Ψ_２と、その主成分に対する判別行列Ｗ_２によって表される基底行列Φ_２（＝（Ｗ_２ ^ＴΨ_２ ^Ｔ）^Ｔ）を用いて、特徴ベクトルｘ_２の主成分の判別特徴を線形変換ｙ_２＝Φ_２ ^Ｔｘ_２により算出し、
    得られた特徴ベクトルｙ_２の大きさを予め定めた大きさに正規化し、
    二つの特徴ベクトルｙ_１とｙ_２を合わせた特徴ベクトルｙについて、判別行列Ｗ_Ｔを用いて、線形変換ｚ＝Ｗ_Ｔ ^Ｔｙを計算し、特徴ベクトルｚを算出することで、画像から特徴量を抽出することを特徴とする画像特徴抽出方法。
19. パターン特徴を線形変換を用いて特徴次元を圧縮するパターン特徴抽出装置において、
    パターン特徴を複数の特徴ベクトルで表現し、それぞれの特徴ベクトルｘ_ｉに対して、線形判別分析により求められる各特徴ベクトルの判別行列Ｗ_ｉを求め、さらにそれらの判別行列を用いてベクトルｘ_ｉを線形変換することによって得られる各ベクトルｙ_ｉを合わせた特徴ベクトルｙについて、線形判別分析により判別行列Ｗ_Ｔを予め求めておき、
    前記判別行列Ｗ_ｉおよび前記判別行列Ｗ_Ｔによって特定される基底行列を記憶する基底行列記憶手段と、
    基底行列記憶手段によって記憶される基底行列を用いて、パターンのの特徴ベクトルを変換する線形変換手段を備え、
    パターンの特徴ベクトルを変換することで、特徴次元を圧縮することを特徴とするパターン特徴抽出装置。
20. コンピュータに、パターン特徴を線形変換を用いて特徴次元を圧縮するパターン特徴抽出をさせるためのコンピュータプログラムにおいて、
    パターン特徴を複数の特徴ベクトルｘ_ｉで表現し、それぞれの特徴ベクトルｘ_ｉに対して、線形判別分析により求められる各特徴ベクトルの判別行列Ｗ_ｉを予め求め、さらにそれらの判別行列を用いて ベクトルｘ_ｉを線形変換することによって得られる各ベクトルｙ_ｉを合わせた特徴ベクトルｙについて、線形判別分析により判別行列Ｗ_Ｔを予め求めておき、
    前記判別行列Ｗ_ｉおよび判別行列Ｗ_Ｔによって特定される線形変換によって、パターンの特徴ベクトルを変換するステップを有することで特徴次元を圧縮することを特徴とするパターン特徴抽出プログラム。
21. 正規化画像を入力とし、予め定められた計算式を用いて前記正規化画像に対するフーリエスペクトルを計算することで、フーリエスペクトルベクトルを求めるステップと、
    前記正規化画像の部分画像のフーリエ強度から、マルチブロックフーリエ強度ベクトルの抽出を行うステップと、
    前記フーリエスペクトルベクトルと前記マルチブロック強度ベクトルとを基底行列を用いた特徴ベクトルの射影を行い、それぞれの正規化ベクトルを得るステップと、
    前記正規化ベクトルを結合フーリエベクトルを成すように連結し、この連結された値を第２の基底行列を用いて射影ベクトルを得るステップと、
    前記射影ベクトルを量子化することでフーリエ特徴を抽出するステップ
    を有することを特徴とする画像特徴抽出方法。

Images