JPS63257085A - パタ−ン認識方式 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 （産業上の利用分野） 本発明は文字認識、あるいは、音声認識等の分野におい
て、識別に有効な特徴を提供するパターン認識方式に関
する。

（従来の技＃１） 階層的に特徴を抽出し判定する方法として、特開昭５７
−１７８５７８号に記載されている未知パターンを複数
個の部分領域に分割し、それぞれに対して複数個の標準
部分パターンと単純類似度、あるいは、複合類似度を使
って類似度を計算し入カバターンの類似度行列を求める
方法と、よく知られた方法としてパターンの局所からの
結線の重み係数を逐次かえて各パターンに対する判定を
行うバーセブトロンがある。

（発明が解決しようとする問題点） 前記のような従来の技術では、各局所特徴パターン、あ
るいは各文字パターンのカテゴリ間で相関があるので、
単純類似度あるいは複合類似度をとっても、局所マツチ
ングによりノイズの影響は受けにくいものの、識別する
上で有効な少ない個数の特徴になっているとは言い難い
。

このような従来の技術では、各局所特徴パターン、ある
いは、各文字パターンのカテゴリ間の差異が識別に有効
なように出にくいという問題がある。

本発明は該問題点を考慮にいれた、全パターンの散らば
りを最大化するように識別に有効な特徴を抽出し判定す
る、パターン認識技術を提供することにある。

（問題点を解決するための手段） 前述の問題点を解決するために本発明が提供する手段は
、未知パターンを記憶するパターン記憶手段と、複数層
の各層に対応してそねぞれ設けてある、識別されるべき
局所特徴パターンの特徴ベクトルを記憶する局所特徴ベ
クトル記憶部と、線形統合行列を記憶する線形統合行列
記憶部と、偏位補正ベクトルを記憶する偏位補正ベクト
ル記憶部と、識別結果を類似度として保持する特徴ベク
トル配列記憶部と、各層の特徴ベクトル配列を主成分分
析の手法を用いて生成するための線形統合演算と偏位補
正演算と類似度演算とを行う特徴抽出手段と、最上層の
前記類似度演算により得られた類似度の比較により予め
定められた文字カテゴリに判定する判定部とからなり、
前記パターン記憶手段は前記未知パターンとして最下層
の特徴ベクトル配列を記憶し、前記特徴軸出手段は、複
数層の各層において、下層の特徴ベクトル配列の局所化
きれた特徴ベクトル群から主成分分析の手法により各層
の予め定めた局所特徴パターンに対する類似度からなる
特徴ベクトル配列を得る操作を繰り返し行い、前記判定
部は最上層で得られた類似度から予め定められたカテゴ
リに判定することを特徴とする。

（作用） 本発明では、部分パターンによる局所マツチングにより
部分領域におけるノイズの影響、位置移動の影響を少な
くし、主成分分析を使って全パターンの散らばりを最大
化するように局所パターン、あるいは、文字パターンの
カテゴリ間での差異を考慮に入れることにより識別に有
効な特徴を抽出し、最終的に高精度の判定を行うことを
可能としている。

（原理） 本発明は、局所領域において主成分分析を使った中間的
な識別を行いながら、パターンの局所から全体へと階層
的に特徴を抽出し判定するパターン認識方式で、各層に
おいて主成分分析を使っての線形統合からの類似度計算
を行うことにより特徴を抽出するものである。

第２図は主成分分析を使った中間的な識別を行いながら
階層的に特徴を抽出し判定する本発明の原理を示す図で
ある。未知パターン１００は複数個のエツジに対応する
特徴パターン２００　、２０１　、・・・により識別処
理を行い結果を類似度３００　、３０１　、・・・で表
現する。該類似度より、セグメントに対応する特徴パタ
ーン４００　、４０１　、・・・により識別処理を行い
結果を類似度５００　、５０１　、・・・で表現する。

同様な処理を繰り返し行い、最終層で文字カテゴリに対
応する特徴パターン２０００　、２００１　、・・・と
での識別処理により結果を類似度２１００　、２１０１
　、・・・で表現し、最終層における類似度より最大の
類似度をもつ文字カテゴリを認識結果とする。

文字の局所から文字全体へと識別の立場で特徴ベクトル
をよいものに組み直すために多変量解析の主成分分析の
手法を階層的に用いることにより、学習データを与えて
やれば自動的に求めることができるのである。各層での
処理は局所化された特徴ベクトル群Ｘのある線形変換行
列Ａを与え、偏位補正を行い、各局所特徴ベクトルとの
類似度をとることであり、このＡは該層の全局所特徴カ
テゴリのデータ集合（φＣ）から求めることができる。

該データ集合（≠Ｃ）として例えば各局所特徴パターン
を複数個の方向にずらしたり、線分を含むものであれば
線幅を変えたりしたパターンを含ませることは可能であ
る。該局所特徴ベクトルは線形変換行列Ａにより新しく
変換された特徴軸における各局所特徴カテゴリごとの標
準となるベクトルである。

第Ｓ層から第（Ｓ＋１）層への処理は次のようになる。

第Ｓ層における特徴ベクトル配列の点（し、ｊ）におけ
る特徴ベクトルＦ：：’＋７）近傍でガウスマスク、あ
るいは、矩形マスク等により（１）式を使って局所化を
行う。

Ｘ＋　＋＝　（Ｗ＋＋Ｆ＋　、＊　　Ｗｘ＋Ｆ１＋１＋
　Ｉ　　＋　　”・　＋　　ＷｘＪ＋−二２＋＋Ｉ＋Ｉ
Ｃ−１）ただし、ｘし、は該特徴ベクトルＦＩＩ　、　
Ｆ＋＋＋＋＋　＋・・・。

Ｆ＋＋に−１＋　ＩＩに−１を重みづげして、−次元に
ベクトル要素を並べたものである。該局所化により得ら
れた特徴ベクトルｘし、を主成分分析の手法により（２
）式を使って線形統合を行い、新しく変換された特徴ベ
クトルを求める。

、　、　＝Ａ（Ｓ　）・ｘ、、　　　　　　　　　　　
　（２）−−Ｘ、第Ｓ層における局所特徴ベクトルの集
合より、予め求められた偏位補正ベクトルｅ　を使って
（３）式により偏位補正を行う。

ｔｌ＋＋＝Ｙ＋＋　　ｅ　　　　　　　　　　　　　（
３）偏位補正を行った特徴ベクトルｈ、より各局所特徴
ベクトル（ｇ’ｍ”ｌ　ｋ＝　ｉ　、・・・、Ｔ）との
類似度を一例として（４）式により計算する。ここで、
該局所特徴ベクトルは偏位補正ベクトルｅ　により偏位
補正を行ったものである。

したがって、第（Ｓ＋１）層における特徴ベクトル群は
（５）式で表される。

Ｆｌ・″、？）（ｆＩ　ＩＩ　＋　ｆｒ　、ｘ　＊　ｆ
Ｉ、ｓ　＊・・・、ｆ、□）（５）ただし、”＋ｊ’は
第（Ｓ＋１）層における特徴ベクトル配列上の点位置で
ある。主成分分析の手法は公知のものであり、例えば、
奥野、芳賀、久米、吉著：多変量解析法、ｐ１６０−２
５７　（１９７１）、日科技連出版社に記載きれでいる
が、簡単な概略を第４図を使って説明する。第４（ａ）
図のような２次元平面上の座標系３０００で各カテコリ
ごとに平均値３００３　、３００４のクラスタ３００１
　、３００２が与えられているとする。これに主成分分
析を適用する。

座標系３１００を全データの平均値により座標系３１０
０に平行移動させる。さらに、この座標系３１００で散
らばりが最大となるような主軸３２００を求める。この
軸３２００が識別に有効な新しい特徴軸となる。

（実施例） 以下、本発明を実施例を参照して詳細に説明する。

第１図は、本発明のパターン認識方式の実施例を示す構
成図である。ただし、４層構成の場合の文字パターン認
識を一例としてあげる。

第１図において、１は線形統合演算部、２は偏位補正演
算部、３は類似度演算部、４は局所特徴ベクトル記憶部
、５は最大値判定を行う判定部、１０は文字パターンを
記憶するパターン記憶手段のパターンメモリ、２０　、
２１　、２２は各々第２．３．４層の特徴ベクトル配列
メモリ、１１００　、１１０１　、・・・は第１層にお
ける局所特徴ベクトルメモリ、１２００゜１２０１　、
・・・は第２層における局所特徴ベクトルメモリ、　１
３００　、１３０１　、・・・は第３Ｍにおける局所特
徴ベクトルメモリ、３０　、３ｉ　、　３２はそれぞれ
第１，２゜３Ｊｉ！！におりる線形統合行列メモリ、４
０　、４１　、４２はそれぞれ第１．２．３層における
偏位補正ヘタ１〜ルメモリ、５１　、５２　、５３　、
５４はマルチプレクサ−である。７０は缶り御部である
。本図において、制御部７０から各部に到る配線は図の
複雑化を避けるために省略し、各部に矢印を付して各部
の入出力が示しである。

制御ｇｌ（７０の指令により、記憶された特徴ベクトル
群がパターン記憶手段のパターンメモ１月Ｏより第３図
に示されるガウスマスクにより（１）式にしたがって例
えは１０００のように局所化を行い、マルチプレクサ−
５２を通って線形統合演算部１に送られる。線形統合演
算部１では第１層の線形統合行列を線形統合行列メモリ
３０からマルチプレクサ−５４を通して読みたし、（２
）式により線形統合する。線形統合きれた結果は偏位補
正演算部２に送られ、第１暦の偏位補正ベクトルを偏位
補正ベクトルメモリ４０からマルチプレクサ−５５を通
っ−〔読みだされ（３）式を使って偏位補正がなされる
。偏位補正終了後、類似度演算部３は局所特徴ベクトル
を局所特徴ベクトルメ七り１１００　、１１０１　。

・・・から次々にマルチプレクサ−５３を通して読みだ
し、（４）式に従って類似度が取られる。得られた類似
度は特徴ベクトル配列メモリ２０に書き込まれる。この
一連の処理を、パターン記憶手段のパターンメモリ刊の
予め定められた範囲で行う。

第１Ｊｉ！の処理が終了すると、制御部７００指令によ
り、記憶された特徴ベクトル群が特徴へ／７Ｆ・ル配列
メモリ２０より１００１のようにガウスマスクにより（
１）式にしたがって局所化を行い、マルチプレクサー５
２を通って線形統合演算部１に送られる。線形統合演算
部１では第２層の線形統合行列を線形統合行列メモリ３
１からマルチプレクサ−−５４を通して読みだし、（２
）式により線形統合する。線形統合きれた結果は偏位補
正演算部２に送られ、第２層の偏位補正ベクトルを偏位
補正ベクトルメモリ４１からマルチプレクサ−５５を通
って読みだされ（３）式を使って偏位補正がなきれる。

偏位補正終了後、類似度演算部３は局所特徴ベクトルを
局所特徴ベクトルメモリ１２００　、１２０１　、・・
・から次々にマルチプレクサ−５３を通して読みだし、
（４）式に従って類似度が取られる。得られた類似度は
特徴ベクトル配列メモリ２１に書き込まれる。この一連
の処理を、特徴ベクトル配列メモリ２０の予め定められ
た範囲で行う。

第２層の処理が終了すると、制御部７０の指令により、
記憶された特徴ベクトル群が特徴ベクトル配列メモリ２
１よりマルチプレクサ−５２を通って線形統合演算部１
にすへで送られる。線形統合演算部１では第３層の線形
統合行列を線形統合行列メモリ３２からマルチプレクサ
−５４を通して読みだし、（２）式により線形統合する
。線形統合された結果は偏位補正演算部２に送られ、第
３層の偏位補正ベクトル４２からマルチプレクサ−５５
を通って読みだされ（３）式を使って偏位補正がなされ
る。偏位補正終了後、類似度演算部３は局所特徴ベクト
ル１３００　、１３０１　、・・・と次々にマルチプレ
クサー５２を通して読みだし、（４）式に従って類似度
が取られる。得られた類似度は特徴ベクトル配列メモリ
２２に書き込まれる。

制御部７０の指令により、判定部５は特徴ベクトル配列
メモリ２２より類似度を読みだし、最大値を有する予め
定められたカテゴリに識別を行い、該カデゴリを出力す
る。

線形統合演算部１は乗算と加算とを必要とし、偏位補正
演算部２は減算を、類似度演算部３は加乗除算と２乗根
の演算を必要とするか、これらは公知の回路で実現でき
るので説明は省略する。

尚、本発明は上記実施例にのみ限定されるものではない
。例えば、上記実施例では階層を４層としているが、暦
数は必要に応し１定めればよく、各層の局所特徴パター
ンの太き許や個数停も仕様に応じて定めればよい。また
、特徴の選択位置についても必要に応じて設定ずれはよ
く、類似度も正規化きれた内積を使っているが、ユーク
リッド距離、シティブロック距離等によっても実現でき
る。さらに、各層は単一層としているが、複数領域を並
列に行うことによっても実現できる。要するに本発明は
その要旨を逸脱しない範囲で種々に変形して実施するこ
とができる。

（発明の効果） 以上の通り、本発明によれば局所領域において主成分分
析を使った中間的な識別を行いながら、局所から全体へ
と階層的に特徴を抽出し判定することにより、局所領域
におけるノイス、線幅変動２位置移動の影響を吸収させ
、各層にお１−する局所特徴パターン、あるいは、文字
パターンのカテゴリ間の差異を考慮に入れることにより
、識別に有効な特徴抽出が行え、最終的に高精度のパタ
ーン認識が実現できる。

【図面の簡単な説明】

第１図は本発明のパターン認識方式の一実施例を示す構
成図、第２図は本発明の詳細な説明するだめの図、第３
図はガウスマスクを説明するための図、第４図は主成分
分析を説明するための図である。 図において、１は線形統合演算部、２は偏位補正演算部
、３は類似度演算部、４は局所特徴ヘクト・ル記憶部、
５は判定部、１０はバクーンメ七り、７０は制御部をそ
れぞれポリ−。

Claims (5)

【特許請求の範囲】
1. （１）未知パターンを記憶するパターン記憶手段と、 複数層の各層に対応してそれぞれ設けてある、識別され
   るべき局所特徴パターンの特徴ベクトルを記憶する局所
   特徴ベクトル記憶部と、線形統合行列を記憶する線形統
   合行列記憶部と、偏位補正ベクトルを記憶する偏位補正
   ベクトル記憶部と、識別結果を類似度として保持する特
   徴ベクトル配列記憶部と、 各層の特徴ベクトル配列を主成分分析の手法を用いて生
   成するための線形統合演算と偏位補正演算と類似度演算
   とを行う特徴抽出手段と、 最上層の前記類似度演算により得られた類似度の比較に
   より予め定められた文字カテゴリに判定する判定部とか
   らなり、 前記パターン記憶手段は前記未知パターンとして最下層
   の特徴ベクトル配列を記憶し、 前記特徴抽出手段は、複数層の各層において、下層の特
   徴ベクトル配列の局所化された特徴ベクトル群から主成
   分分析の手法により各層の予め定めた局所特徴パターン
   に対する類似度からなる特徴ベクトル配列を得る操作を
   繰り返し行い、前記判定部は最上層で得られた類似度か
   ら予め定められたカテゴリに判定することを特徴とする
   パターン認識方式。
2. （２）下層は直下の単一層であることを特徴とする特許
   請求の範囲第１項記載のパターン認識方式。
3. （３）偏位補正ベクトルは各層での各局所特徴ベクトル
   の平均局所特徴ベクトルであることを特徴とする特許請
   求の範囲第１項記載のパターン認識方式。
4. （４）類似度は前記特徴ベクトル群と前記局所特徴ベク
   トルとの正規化された内積により求めることを特徴とす
   る特許請求の範囲第１項記載のパターン認識方式。
5. （５）局所化はガウスマスクにより局所領域を重みづけ
   して抽出することを特徴とする特許請求の範囲第１項記
   載のパターン認識方式。