JP2007257295A

JP2007257295A - パターン認識方法

Info

Publication number: JP2007257295A
Application number: JP2006080837A
Authority: JP
Inventors: Naoki Natori; 直毅名取
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2006-03-23
Filing date: 2006-03-23
Publication date: 2007-10-04
Also published as: EP1837807A1; CN101042742B; US7933449B2; CN101042742A; US20070223821A1

Abstract

【課題】この発明は、ベクトル空間でのベクトル集合の分布やクラス境界を基底関数に基づいて近似するものにおいて、複雑なベクトル集合の分布やクラス境界に対して、従来より少ない基底ベクトル数で近似が可能である。
【解決手段】この発明は、ベクトル空間でのベクトル集合の分布やクラス境界を基底関数に基づいて近似するパターン認識方法において、２つの基底ベクトルの間に方向性のある（全方位に対称でない）基底関数を定義し、それらの線形結合で近似するものである。複雑なベクトル集合の分布やクラス境界に対して、従来より少ない基底ベクトル数で近似が可能である。
【選択図】図１

Description

本発明は、ベクトル空間でのベクトル集合の分布や２つ以上のベクトル集合（クラス）間の境界を基底関数の線形結合で近似するパターン認識方法に関する。

従来、ＲａｄｉａｌＢａｓｉｓＦｕｎｃｔｉｏｎ（日本語では球状基底関数、動径基底関数、放射状基底関数など）と呼ばれる基底関数を用いる方法があった（以下、球状基底関数と呼ぶ）。球状基底関数は、いくつかの研究グループによって独立に提案されたものであり、一例として非特許文献１が挙げられる。球状基底関数は、中心にピークをもち、全方位に対称な関数である。中でも最もよく用いられるのがガウス型と呼ばれるものであり、下式のように表される。

ただし、ｘは入力されたパターンに対応するベクトル、ξ_ｉはｉ番目の基底ベクトル（ガウス分布の位置を表すパラメータ）、σ_ｉはｉ番目の標準偏差（ガウス分布の広がりを表すパラメータ）である。ｉ番目のガウス型基底関数の値ｏ_ｉ（ｘ）は、非負であり、ｘがξ_ｉに近いほど大きく、ｘ＝ξ_ｉのときに最大値１となる。十分な数の基底関数を用意すれば、下式のような重み付き線形結合によって、任意のベクトル集合の分布を任意の精度で近似できる。

ただし、ｌはそのベクトル集合のクラス番号、ｗ_ｌｉはｉ番目の基底関数のクラスｌへの寄与率（重みパラメータ）、Ｈ‘は基底関数の数である。この式は、未知の入力パターンがそのクラスにどれだけ類似しているかの度合い（類似度）を示すことにもなるので、クラス分類に用いることができる。例えば、

とすれば、基底関数がつくるクラス境界にしたがって入力パターンのクラスを決定できる。ただし、ａｒｇｍａｘ_ｌ［・］は類似度の最大値をもたらすクラスの番号である。

球状基底関数を用いるパターン認識方法は、一般的なシグモイド関数に基づくフィードフォワード型ニューラルネットと同様にパラメータを学習によって最適化できる上、一般的なニューラルネットと異なり個々の基底関数の類似度への寄与率が直観的で分かりやすいという利点をもつ。
論文「Ｊ．Ｅ．ＭｏｏｄｙａｎｄＣ．Ｄａｒｋｅｎ，"Ｆａｓｔｌｅａｒｎｉｎｇｉｎｎｅｔｗｏｒｋｓｏｆｌｏｃａｌｌｙ−ｔｕｎｅｄｐｒｏｃｅｓｓｉｎｇｕｎｉｔｓ，"ＮｅｕｒａｌＣｏｍｐｕｔａｔｉｏｎ１，ｐｐ．２８１−２９４，１９８９．」

しかしながら、一般に実世界から観測されたパターンに対応するベクトルの分布は複雑であることが多く、そのような分布の高精度な近似のためには多くの基底関数を用意しなければならなかった。また逆に、得られたサンプルが少ない場合、基底関数による近似が本来あるべき分布（母分布）より複雑になりすぎる状態（過学習）を引き起こすおそれがあった。

そこで、本発明では、ベクトル空間でのベクトル集合の分布やクラス境界を基底関数に基づいて近似するパターン認識方法において、２つの基底ベクトルの間に方向性のある（全方位に対称でない）基底関数を定義し、それらの線形結合でベクトル集合の分布やクラス境界を近似するパターン認識方法を提供するものである。

この発明は、ベクトル空間でのベクトル集合の分布やクラス境界を基底関数に基づいて近似するパターン認識方法において、２つの基底ベクトルの間に方向性のある基底関数を定義し、それらの線形結合で近似するものである。

この発明では、ベクトル空間でのベクトル集合の分布やクラス境界を基底関数に基づいて近似するパターン認識方法において、２つの基底ベクトルの間に方向性のある（全方位に対称でない）基底関数を定義し、それらの線形結合でベクトル集合の分布やクラス境界を近似するパターン認識方法を提供できる。

以下、この発明の第１の実施形態について図面を参照して説明する。

図１は、本実施形態の処理動作のフローチャートを示したものである。図２は入力されたパターンに対応するベクトルと基底関数とベクトル集合の分布を示したものである。

まず、パターンを入力する（ＳＴ１）。ここでパターンとは、デジタル画像のピクセル値や特徴量の並びなど計算機で扱える数値の列のことを意味する。パターンは、それらの数値を要素とするベクトルとみなすことができる（ＳＴ２、３）。そこで、入力されたパターンに対応するベクトルを下式のようにｘと表す。

次に、基底関数の値を算出する（ＳＴ４から６）。本発明では２つの基底ベクトルの間に基底関数を定義するので、基底ベクトルの数をＨとすると、基底関数の数はＨ^２となる。本実施形態では、２つの基底ベクトル位置にピークをもち、両者を結ぶ線分を中心に高い特性をもつ、下式のような基底関数ｏ_ｉｊ（ｘ）を提案する。

ただし、ｘは入力されたパターンに対応するベクトル、ξ_ｉはｉ番目の基底ベクトル、ξ_ｊはｊ番目の基底ベクトル、σ_ｉｊはｉ番目とｊ番目の基底ベクトルの間に定義された基底関数の標準偏差である。

この基底関数は、基底ベクトルを中心として見たときに全方位に対称でない（別の基底ベクトルの方向により高い特性をもつ）ことが従来の球状基底関数と本質的に異なる点である。図３は、本実施形態の基底関数の例を示したものである。本発明は「線形補間の仮説」、すなわち、「２つの基底ベクトルの間には、その距離が近いほど強い線形補間の関係がある」という仮説にしたがっている。図３では、基底ベクトル間の距離が遠・中・近の３通りの場合の基底関数の形を比較している。

球状基底関数と同様ｏ_ｉｊ（ｘ）の値は、非負であり、ｘがξ_ｉまたはξ_ｊに近いほど大きく、ｘ＝ξ_ｉまたはｘ＝ξ_ｊのときに最大値１となる。さらに同様に、下式のような重み付き線形結合によって、ベクトル集合の分布ｙ_ｌ（ｘ）を近似できる。（ＳＴ７、８）

ただし、ｌはそのベクトル集合のクラス番号、ｗ_ｌｉｊはｉ番目とｊ番目の基底ベクトルの間に定義された基底関数のクラスｌへの寄与率、Ｈは基底関数の数である。

最後に、入力されたパターンがそのクラスにどれだけ類似しているかの度合いＣ（ｘ）（類似度）を下式により算出する。

ただし、ａｒｇｍａｘ_ｌ［・］は類似度の最大値をもたらすクラスの番号である。

本実施形態による基底関数は、従来の球状基底関数と同様、パラメータの学習が可能であり、類似度への寄与率が直観的で分かりやすいという利点をもつが、さらに、従来方法の問題点をも克服している。すなわち、複雑なベクトルの分布に対して、従来より少ない基底ベクトル数で近似が可能である。図４は、本実施形態によるパターン分布の近似を模式的に表したものである。本実施形態による基底関数は、図の実線で示すように楕円ないし円筒状の広がり（非対称性）をもつ特性なので、従来の円状（対称性）の広がりをもつ特性に比べて表現力が高い。

図５は、図４と同じパターン分布を従来の球状基底関数で近似した場合の模式図である。図５では、本実施形態の基底ベクトル数（３個）に対して従来はより多くの数の基底ベクトルを必要としていたことを模式的に示している。

一般に、複雑であっても局所的にみれば連続的（とくに線形）なパターン分布であれば、本発明による基底関数の補間能力によって基底ベクトル数を少なくできる。最悪の場合、すなわち補間がパターン分布の近似に全く貢献できない場合でも、従来の球状基底関数と同等である。

また、得られたサンプルが少ない場合でも、基底関数による近似が母分布より複雑になりすぎることなく、より母分布に近い近似が可能である。図６、図７は、得られたサンプルが少ない場合の本実施例によるパターン分布の近似を模式的に表したものである。本実施例による基底関数は、基底ベクトル間の補間という数学的モデルに基づき入力パターンの局所的な変動を予測するという意味をもつ。

図８は、図７と同じパターン分布を従来の球状基底関数で近似した場合の模式図である。図８では、従来の球状基底関数が得られた少量サンプルの周りだけに位置し、母分布とかなり異なった近似になっていることを模擬的に示している。

一般に、実世界から観測されたパターンの変動は局所的には連続しているため、本発明による基底関数の補間能力によって少ないサンプルから母分布をより正確に近似できる。

なお、本発明はこれに限定されず、２つの基底ベクトルの間に方向性のある（全方位に対称でない）基底関数を定義するものであれば、上記第１の実施形態とは独立に種々実施可能である。例えば、第２の実施形態として、下式のような基底関数を提案する。

ただし、ｘは入力されたパターンに対応するベクトル、ｈ_ｉｊはｘからｉ番目とｊ番目の基底ベクトルを結ぶ線分におろした垂線の足、ξ_ｉはｉ番目の基底ベクトル、ξ_ｊはｊ番目の基底ベクトル、σ_ｉｊはｉ番目とｊ番目の基底ベクトルの間に定義された基底関数の標準偏差である。

この基底関数は、２つの基底ベクトルを結ぶ線分を芯として、その鉛直方向に広がる円筒形の特性をもつ。ｈ_ｉｊは実際にはｘ、ξ_ｉ、ξ_ｊを用いた式で表されるので、パラメータの数は第１の実施形態と同じである。第２の実施形態は、図４で非線形な曲面で示した第１の実施形態と異なり、２つの基底ベクトル間をその距離に応じた大きさの一定値で結ぶ特性をもつ。

第３の実施形態は、パラメータの学習に関するものである。本発明の基底関数にはｗ_ｌｉｊ、ξ_ｉ、ξ_ｊ、σ_ｉｊというパラメータがある。対象とするパターンの分布が既知であればその分布をもとにパラメータを定めればよいが、一般に実世界から得られるパターンの分布は未知であることが多い。

そこで、サンプルを学習することでパラメータを定める方法を提案する。図９は、本実施形態のフローチャートを示したものである。まず、パラメータを適当な値で初期化する（ＳＴ１１）。次に、得られたサンプルにつき、下式にしたがってパラメータを更新する（ＳＴ１２から１４）。

また、αは学習定数であり、正の定数である。このような更新を逐次行い、ε（ｘ，ｙ）が十分に小さくなった（あるいは学習が一定の回数を超えた）ときに学習を停止する。パラメータの学習は、上記第１の実施形態や第２の実施形態によるパターン認識処理とは独立に実施可能である。

上記したように、ベクトル空間でのベクトル集合の分布やクラス境界を基底関数に基づいて近似するパターン認識方法において、２つの基底ベクトルの間に方向性のある（全方位に対称でない）基底関数を定義し、それらの線形結合で近似することで、複雑なベクトル集合の分布やクラス境界に対して、従来より少ない基底ベクトル数で近似が可能である。また、得られたサンプルが少ない場合でも、基底関数による近似が従来のように母分布より複雑になりすぎることなく、より母分布に近い近似が可能である。

とくに、２つの基底ベクトル位置にピークをもち、両者間をその距離に応じた大きさの非線形な曲面で結ぶ特性をもつ基底関数を用いることで、距離が近いほど強い補間の関係があることをモデル化したベクトル集合の分布やクラス境界の近似が可能である。

また同じく、２つの基底ベクトルを結ぶ線分にピークをもち、かつそれを芯として鉛直方向に広がる、両者間の距離に応じた大きさの円筒形の特性をもつ基底関数を用いることで、距離が近いほど強い補間の関係があることをモデル化したベクトル集合の分布やクラス境界の近似が可能である。

さらに、サンプルを入力しながら基底関数のパラメータを誤差最小基準で逐次的に更新していくことで、対象とするパターンの分布が未知の場合でもパラメータを得ることができる。

この発明の一実施形態の処理動作を説明するためのフローチャート。入力されたパターンに対応するベクトルと基底関数とベクトル集合の分布を示す図。基底関数とベクトル集合の分布を示す図。基底関数とベクトル集合の分布を示す図。基底関数とベクトル集合の分布を示す図。基底関数とベクトル集合の分布を示す図。基底関数とベクトル集合の分布を示す図。基底関数とベクトル集合の分布を示す図。処理動作を説明するためのフローチャート。

符号の説明

ｘ…ベクトル、Ｈ…基底ベクトルの数ｏ_ｉｊ（ｘ）…基底関数

Claims

ベクトル空間でのベクトル集合の分布やクラス境界を基底関数に基づいて近似するパターン認識方法において、
２つの基底ベクトルの間に方向性のある基底関数を定義し、それらの線形結合で近似することを特徴とするパターン認識方法。
２つの基底ベクトル位置にピークをもち、両者間をその距離に応じた大きさの非線形な曲面で結ぶ特性をもつ基底関数を用いることを特徴とする請求項１に記載のパターン認識方法。
２つの基底ベクトルを結ぶ線分にピークをもち、かつそれを芯として鉛直方向に広がる、両者間の距離に応じた大きさの円筒形の特性をもつ基底関数を用いることを特徴とする請求項１に記載のパターン認識方法。
サンプルを入力しながら基底関数のパラメータを誤差最小基準で逐次的に更新していくことを特徴とする請求項１に記載のパターン認識方法。