JPH0540852A

JPH0540852A - パターン認識装置

Info

Publication number: JPH0540852A
Application number: JP3195468A
Authority: JP
Inventors: Masatoshi Kurumi; 雅俊來海
Original assignee: Science & Tech Agency; Agency of Industrial Science and Technology
Current assignee: Science & Tech Agency; National Institute of Advanced Industrial Science and Technology AIST
Priority date: 1991-08-05
Filing date: 1991-08-05
Publication date: 1993-02-19
Anticipated expiration: 2011-02-07
Also published as: JPH0812684B2

Abstract

(57)【要約】【目的】パターン認識用の辞書作成の効率を上げ、パタ
ーン認識のための処理時間も短かくなるようにする。【構成】辞書作成時は、入力部３から入力された６４次
元の学習サンプルを主成分分析し、第ｋ（ｋ＜６４）軸
までの主成分ベクトルおよびその平均ベクトルを主成分
辞書１２に登録し、その軸上のメンバシップ関数をメン
バーシップ関数辞書１３に登録する。また、第（ｋ＋
１）軸以降の主成分軸上のメンバーシップ関数は分散σ
の正規分布と仮定し、σのみを主成分辞書１２に登録す
る。ここで、未知パターンが入力されると、特徴抽出部
５で特徴抽出した後、主成分展開部６でそれぞれのカテ
ゴリ（文字）に対して主成分展開し、メンバーシップ値
算出部７でメンバーシップ値を求め、その積からカテゴ
リに対する類似度を求める。このとき、第（ｋ＋１）軸
以降のメンバシップ関数はすべて分散σの正規分布で表
れされているため、簡易に類似度を求めることができ
る。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、文字パターン等の認
識装置に関し、特に多次元データ解析における特徴量空
間を利用してパターンを認識するパターン認識装置に関
する。

【０００２】

【従来の技術】従来より、文字パターン等の認識アルゴ
リズムの中で、特徴抽出と並んで重要なのが識別関数で
ある。

【０００３】そして、識別関数の中で、最もベーシック
なものはユークリッド距離であり、次式で表される。

【０００４】

【数１】

【０００５】ここで、ｘは入力パターンベクトルであ
り、ｘ₁はその各成分、ｍ₁は認識しようとするカテゴ
リの標準パターンベクトルの各成分である。また、特徴
量の次元数はｎである。

【０００６】この識別関数は簡単であり、処理速度も速
いので、パターン認識の世界ではよく使われている。し
かし、識別しようとするカテゴリを標準パターンベクト
ル（普通は平均ベクトルが使われる）ひとつで表現しよ
うとするところに無理があり、データ分布が複雑になっ
てきたり、文字認識のような多カテゴリの場合には性能
上、問題があった。

【０００７】そこで、データの分布を考慮したものとし
て、マハラノビス距離が使われている。

【０００８】いま、これを例えば図７に示した文字パタ
ーン２０を認識する場合を例にとって説明すると、学習
用文字パターン２０を、同図に示す如く、例えば、
Ｄ₁，Ｄ₂，Ｄ₃，……Ｄ₆₄の６４画素に分割して、図
８に示す如く６４次元の特徴量空間３０でベクトル表現
として得る。

【０００９】そして、各文字パターン毎に多数のサンプ
ルデータを得る。図９は、図８に示した文字パターン２
０のサンプルデータの分布の例である。

【００１０】そして、この学習サンプルについて主成分
分析を行い、各主成分軸上のサンプルの出現確立を図１
２（Ｃ）に示す如き正規分布２５で仮定する。

【００１１】ここで、未知のパターンが入力されると、
例えば６４次元での多次元データ回析の場合、６４の各
軸上で出現確立を求め、その確立が最も高くなるような
文字パターンに未知パターンを識別する。

【００１２】すなわち、図１０は６４次元の特徴量空間
での主成分展開を示し、φ1 は第１主成分の固有ベクト
ル、φ2 は第２主成分の固有ベクトルを示しているが、
この場合は図１１に示す如く座標交換する。

【００１３】そして、この場合は次式が演算されること
になる。

【００１４】

【数２】

【００１５】ここでφ1 とλ1 は、識別カテゴリの学習
データの共分散行列から得られる固有ベクトルと固有値
であり、それぞれ、データ分布の主成分ベクトルと、主
成分軸上の分散の値に一致する。

【００１６】一方、学習データの分布から確立密度関数
を近似して、それをもとにベイズ決定機構を用いて識別
する方法もある。例えば、データ分布を主成分展開した
後、各主成分軸上でデータが正規分布していると仮定す
ると、ある主成分軸ｉでの確立密度関数は

【００１７】

【数３】

【００１８】で表され、また、各主成分軸が統計的に独
立だとすると、パターン空間全体におけるｘの確立密度
関数は

【００１９】

【数４】

【００２０】となり、両辺の対数をとると

【００２１】

【数５】

【００２２】となる。ここで、次のような識別関数を考
えると、確立密度関数に対して単調減少となり、この値
が小さいほど確立密度の値が大きくなる。

【００２３】

【数６】

【００２４】この式はベイズ識別関数と呼ばれており、
データの確立密度関数を反映した式になっているので、
いい標本サンプルを集めることができれば、理論的には
最適な識別関数となる。

【００２５】

【発明が解決しようとする課題】しかしながら、上記の
如き従来方式にあっては、各主成分軸上でのサンプル出
現確率を平均値を中心とする正現分布で仮定している
が、実際には、図１２（ｂ）に示す関数２６の如く正現
分布をなさない場合も多く、この場合は、仮定した確率
密度関数と現実のサンプルの出現確率が異なって、パタ
ーン認識の精度が低下するという不具合があった。

【００２６】また、文字などの認識においては、学習サ
ンプルの分布による出現確率と人間の感じる類似度の分
布が異なり、同じく、一律に正規分布で仮定する上記の
如き手法ではパターン認識の精度が低下するという不具
合があった。

【００２７】そこで、近年、類似度の分布関数を図１２
（Ｃ）に示す如く、メンバシップ関数２７の形で表すフ
ァジィパターン認識方式が提案されている。

【００２８】これは、学習用サンプルデータが得られる
と、このサンプルデータに基いて各画素毎にメンバーシ
ップ関数を作成し、未知パターンが入力されるとこのメ
ンバーシップ関数を適用してパターンの識別を行うもの
である。

【００２９】すなわち、

【００３０】

【数７】

【００３１】として、次式数８よりパターン認識するも
ので、数８の値が最大のカテゴリにパターン認識するも
のである。

【００３２】

【数８】

【００３３】しかしながら、このようなファジィパター
ン認識方法を利用してパターン認識する手法では、上記
の不具合は回避できるが、特徴量の次元数が上記の如
く、例えば６４と大きくなったとき、識別データ（以
下、辞書という）に全てのカテゴリについての全ての主
成分軸についてメンバーシップ関数を作成する必要があ
るので、辞書容量が大きくなるとともに、パターン認識
時に全ての軸について主成分展開しなければならないの
で、処理時間に多大の時間を要するという不具合があっ
た。

【００３４】この発明は、上記の如き従来の課題に鑑み
てなされたもので、その目的とするところは、辞書容量
を小さくでき、かつ識別時間を大幅に低減することので
きるパターン認識装置を提供することにある。

【００３５】

【課題を解決するための手段】この発明は、上記目的を
達成するために、多次元データ解析による複数の主成分
軸上での類似度によってパターンを識別するパターン認
識装置において、主要な主成分軸上での類似度は予め設
定された類似度に関するメンバーシップ関数を適用して
算出されることを特徴とする。

【００３６】

【作用】この発明では、主要な主成分軸上での類似度の
みメンバーシップ関数を作成してパターンの識別を行う
ので、メンバーシップ関数作成のための手間が軽減さ
れ、また、パターン認識のための処理時間も低減され
る。

【００３７】

【実施例】以下、本発明を図面に基いて説明する。

【００３８】図１は本発明が適用された実施例の電気的
な構成を示すブロック図である。

【００３９】まず構成を説明すると、１はＣＰＵ等より
なる中央制御部で、この中央制御部１にはバスライン２
を介して入力部３、前処理部４、特徴抽出部５、主成分
展開部６、メンバ−シップ値算出部７、類似度算出部
８、判定部９、出力部１０が接続され、さらにバスライ
ン２にはＲＡＭよりなる作業領域１１、ＲＡＭやＲＯＭ
よりなる主成分辞書１２、メンバ−シップ関数辞書１３
が接続されている。なお、入力部３はイメージセンサ等
より構成され、出力部１０は表示器等で構成される。ま
た、前処理部４、特徴抽出部５、主成分展開部６、メン
バーシップ値算出部７、類似度算出部８および判定部９
はＣＰＵ等より構成される。

【００４０】以上が本実施例の構成であり、以下その作
用を説明する。

【００４１】なお、以下の説明でも文字パターンを認識
する場合について説明する。

【００４２】まず、本実施例においても図２に示す如く
辞書作成処理を行う。

【００４３】いまこれを図４〜図６を参照しながら説明
すると、まず辞書登録しようとする文字パターン２０
を、図４（ａ）に示す如くスキャナ等の入力部３より読
み取って入力する（ステップ２１０）。

【００４４】こうして文字パターン２０が入力される
と、ステップ２２０の前処理を行い、ノイズ成分を除去
するとともに、図４（ｂ）に示す如く、規格化された一
定の大きさに拡大または縮小処理を行った文字パターン
２１を得る。

【００４５】つぎに、ステップ２３０の特徴量抽出処理
を行うが、これには図４（ｃ）に示す如く、図４（ｂ）
の文字パターン２１にガウスフィルタをかけた文字パタ
ーン２２を使用する。

【００４６】すなわち、本実施例においても図７に示す
如く、文字パターン２０を例えば６４画素に分割して、
多次元データ解析における特徴量空間において各画素毎
の主成分軸上の特徴量を抽出するが、このような特徴量
抽出処理は、もとの文字パターン２０に図５に示す如き
ガウスフィルタ４０をかけたものを使用する。

【００４７】ガウスフィルタ４０は、図７に示した
Ｄ₁，Ｄ₂，Ｄ₃等の各画素と同一大の大きさを有する
複数の正方形状のフィルタ領域より構成され、中央部分
に中心フィルタ４１を有し、周囲にも中心フィルタ４１
を中心にして放射状に伸びた複数のフィルタ領域を有し
ている。ところで、この場合、中心フィルタ４１が重ね
合わされる画素部分には例えば１００の重みで、そして
周辺の画素部分には図５に示したそれぞれの重み付けで
図４（ｂ）に示した文字パターン２１を加工する。

【００４８】これによって、図４（ｃ）に示す如く、も
との文字パターン２１より太字で、しかも文字輪郭の周
囲には小さな重み付け値を有するフィルタ領域４２、４
２、４２、４２に起因する薄い文字パターンを有する文
字パターン２２が得られることになる。

【００４９】従って、ステップ２３０の処理では、まず
図４（ａ）の形で入力された学習用文字パターン２０が
図４（ｃ）に示す如き文字パターン２２に交換され、サ
ンプルデータとされることになる。

【００５０】そして、つづくステップ２４０の処理で
は、サンプルデータに基いて主成分分析し、平均ベクト
ル（中心値），ある値ｋ軸までの主成分ベクトル、（ｋ
＋１）軸以降で６４軸までの主成分軸上の分散の近似値
σを求める。なお、この場合、主成分ベクトルが求めら
れる画素の選択は、主成分軸の長さの長い軸から順番に
選択される。これは、主成分軸が長いということはそれ
だけデータの分散度が大きいということであり、文字パ
ターンの特徴的部分の画素である可能性が高いからであ
る。また、（ｋ＋１）軸以降について主成分ベクトルを
求めないのは、後に詳述する如く、文字パターンの場
合、例えば図７に示す如く、６４の画素のうち、大部分
の画素は文字パターン２０を含まない空白部分で、何ら
特徴量を含まない部分だからである。

【００５１】つぎに、ステップ２５０では、ｋ軸までの
主成分について、主成分軸上の文字変形に対応するよう
なメンバーシップ関数を作成する。図６は、この場合の
メンバーシップ関数の作成方法を示す説明図である。

【００５２】同図には、メンバーシップ関数を求めよう
とする主成分ベクトルの中心ベクトル位置０を、プラス
方向およびマイナス方向に単位距離毎にズラした場合の
学習データが示されている。同図に示す如く、主要な成
分については１単位距離だけ中心ベクトル位置がズレる
だけでも大きく異なって見える。従って、このデータに
基づいてメンバンシップ関数を作成する。そして、ス
テップ２６０では、ステップ２４０で得たデータを主成
分辞書１２に、またステップ２５０で得たデータをメン
バーシップ関数辞書１３に登録する。以上の処理が各カ
テゴリ（文字）について行なわれ、登録されることにな
る。

【００５３】以上が辞書作成処理の詳細である。

【００５４】つぎに、このように辞書が作成されると、
この作成辞書に基いて図３に示す如きパターン認識処理
が行なわれる。

【００５５】すなわち、まず、イメージセンサ等の入力
部３によって未知パターンが入力されると（ステップ３
１０）、辞書作成処理の場合と同様にして前処理を行い
（ステップ３２０）、入力データの特徴量抽出処理を行
う（ステップ３３０）。

【００５６】つぎに、抽出された特徴量を主成分展開し
（ステップ３４０）、ｋ軸までは各主成分軸のメンバー
シップ関数、また（ｋ＋１）軸以降は分散σの正規分布
関数に基いてメンバーシップ値を求める。

【００５７】そして、その全体の積を類似度とする。

【００５８】すなわち、

【００５９】

【数９】

【００６０】として数１０を算出する。

【００６１】

【数１０】

【００６２】ところで、

【００６３】

【数１１】

【００６４】は

【００６５】

【数１２】

【００６６】と展開できるので、数１０は数１３で示せ
る。

【００６７】

【数１３】

【００６８】こうして、１番高い類似度をもつカテゴリ
に未知パターンを識別する。

【００６９】以上説明したように、本実施例では、６４
次元の未知パターンを次のように識別する。

【００７０】（１）辞書作成時は、学習サンプルを主成
分分析し、第ｋ軸までは主成分ベクトルとその軸上のメ
ンバシップ関数、及び平均ベクトルを辞書として登録す
る。そして、第（ｋ＋１）軸以降は主成分軸上のメンバ
シップ関数を分散σの正規分布と仮定し、σのみを登録
しておく。

【００７１】（２）ここで未知パターンが入力される
と、特徴量を抽出した後、それぞれのカテゴリに対して
主成分展開し、各主成分軸上でメンバーシップ値を求
め、それらの積からカテゴリに対する類似度を求める。
このとき、本実施例では第（ｋ＋１）軸以降のメンバシ
ップ関数はすべて分散σの正規分布で表されているた
め、類似度を求める式は数１０のようになる。また、数
１０は数１３のように変形できるので、実際には数１３
を計算すればそのカテゴリに対する類似度が求まる。そ
して、求めた類似度の中で最も高い類似度をもつカテゴ
リに、未知パターンを識別する。

【００７２】ところで、この場合、図７に示す如く、６
４の画素のほとんどは文字パターン２０を含まず、一般
には高次の主成分は分散がほとんど０に近く意味を持た
ないことが多い。従って、本実施例の如く一定値の分散
の正規分布で表しても認識性能はほとんど変わらない。

【００７３】したがって、本実施例による手法は従来の
ファジィパターン認識手法に比べて、認識性能がほとん
ど変わらないまま、辞書容量が約ｋ／６４になり、かつ
処理時間も約ｋ／６４になるという効果が得られる。

【００７４】なお、本実施例では文字パターンを６４画
素で表現した場合について説明したが、画素の数に制限
がないことは勿論である。

【００７５】

【発明の効果】以上説明したように、この発明では、主
要な主成分軸上での類似度のみ予め設定された類似度に
関するメンバーシップ関数を適用して算出するようにし
たので、辞書容量を小さくでき、かつ識別時間を大幅に
低減することができるという効果を有する。

【図面の簡単な説明】

【図１】本発明が適用された実施例の電気的な構成を示
すブロック図。

【図２】辞書作成の処理手順を示すフローチャート。

【図３】パターン認識処理の処理手順を示すフローチャ
ート。

【図４】入力された学習用文字パターンをノイズ処理等
をしてガウスフィルタをかける場合の説明図。

【図５】ガウスフィルタの説明図。

【図６】メンバーシップ関数の作成方法を示す説明図。

【図７】６４画素で、学習用文字パターンの特徴量が抽
出される場合の説明図。

【図８】特徴量空間における文字パターンの説明図。

【図９】特徴量空間における標本分布の説明図。

【図１０】各固有ベクトルに基づき主成分展開する場合
の説明図。

【図１１】２つの固有ベクトルに基づき座標変換する場
合の説明図。

【図１２】類似度の分布を正規分布、非正規分布、メン
バーシップ関数で表わした場合の説明図。

【符号の説明】

１中央制御部２バスライン３入力部４前処理部５特徴抽出部６主成分展開部７メンバーシップ値算出部８類似度算出部９判定部１０出力部１１作業領域１２主成分辞書１３メンバーシップ関数辞書２０，２１，２２学習用文字パターン４０ガウスフィルタ

─────────────────────────────────────────────────────

【手続補正書】

【提出日】平成３年８月６日

【手続補正１】

【補正対象書類名】明細書

【補正対象項目名】０００５

【補正方法】変更

【補正内容】

【０００５】ここで、ｘは入力パターンベクトルであ
り、ｘ_iはその各成分、ｍ_iは認識しようとするカテゴ
リの標準パターンベクトルの各成分である。また、特徴
量の次元数はｎである。

【手続補正２】

【補正対象書類名】明細書

【補正対象項目名】００１０

【補正方法】変更

【補正内容】

【００１０】そして、この学習サンプルについて主成分
分析を行い、各主成分軸上のサンプルの出現確立を図１
２（ａ）に示す如き正規分布２５で仮定する。

【手続補正３】

【補正対象書類名】明細書

【補正対象項目名】００１５

【補正方法】変更

【補正内容】

【００１５】ここでφ_iとλ_iは、識別カテゴリの学習
データの共分散行列から得られる固有ベクトルと固有値
であり、それぞれ、データ分布の主成分ベクトルと、主
成分軸上の分散の値に一致する。

【手続補正４】

【補正対象書類名】図面

【補正対象項目名】図７

【補正方法】変更

【補正内容】

【図７】

Claims

【特許請求の範囲】

【請求項１】多次元データ解析による複数の主成分軸
上での類似度によってパターンを識別するパターン認識
装置において、主要な主成分軸上での類似度は予め設定
された類似度に関するメンバーシップ関数を適用して算
出されることを特徴とするパターン認識装置。