JPH04184686A - パターン認識装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［産業上の利用分野］ 本発明は、音声・画像等の入力データから、その入力デ
ータの属するカテゴリを判別するパターン認識装置に関
するものである。

［従来の技術］ ラメルハートから提案したパックプロパゲーション型ニ
ューラルネットワーク（以下、単にニューラルネットと
呼ぶ）は、高性能なバター−認識装置として適用可能で
あるとして、注目を集めている。以下、ｔＪＩＪ３図に
従って、一般的なニューラルネットの構成について説明
する。

第３図において、３０１は入力層の素子で、この層の素
子は受は取った値をそのまま次の暦の素子全てに送る。

３０２は中間層の素子て、前層の素子からの入力ｘ、（
ｉ＝１．２．−・・）に対して、ｙ＝ｆ　（壬ｗ　、ｘ
、−〇）という出力を、次の出力層の全ての素子に送る
。４ここで、Ｗ。

及びθはそれぞれ重み計数、バイアスと呼ばれる素子固
有の値である。また、ｆは伝達関数と呼ばれ、通常、シ
グモイド関数ｆ（ｓ）＝１／（１＋ｅｘｐ（−ｓ））が
用いられる。３０３は出力層の素子で、中間層の素子か
らの入力３’Ｊ　（ｊ＝１．２．−）に対して、同様に
ｚ＝ｆ　（ΣＷＪｙＪ−θ）なる出力を行う、出力層の
素子は、認識対象となるカテゴリの数Ｍたけ用意されて
おり、全ての素子の重み計数及び、バイアスが理想的に
定まっていると、成る入力にたいしてその入力データの
属するカテゴリに対応した素子からの出力だけが１とな
り、他の素子からの出力は０となる。

なお、ここては、中間層が１層の場合を説明したが、中
間層は複数層とすることもてきる。

各素子の重み係数及びバイアスの備を決定するための学
習アルゴリズムはＲｕ■ｅｌｈａｒｔ　ｅｔａｌ。

“Ｐａｒａｌｌｅｌ　Ｄｉｓｔｒｉｂｕｔｅｄ　Ｐｒｏ
ｃｅｓｓｉｎｇ、ｖｏｌ、１−１１１Ｔ　Ｐｒｅｓｓ　
１９８６に詳しく述べられている。

次に、このようなニューラルネットにおける信号処理の
意味について説明する。簡単のため中間層か１層のネッ
トワークを考える。入力層からの出力、中間層からの出
力をそれぞれまとめてｘ、ｙというベクトルて表わすと
、これらは次の関係にある。

ｙ＝ｆ（Ｗ−Ｘ−θ）　　　　（１） たたし、ｆはベクトルの各要素をシグモイド関数に通し
たものを各要素とするハクトル値関数を表わすこととす
る。Ｗ、ｘ−θは明らかにアフィン変換を表わしており
、入力層から中間層にかけてはアフィン変換を行なった
後、シグモイド関数でその備を区間［０，１］に抑制す
るという変換を行なっていると解釈てきる。

第２図は入力ベクトルの分布例を説明する図である。簡
単のため、入力ベクトルＸは２次元ベクトルとし、対象
とするカテゴリはＣ，、Ｃ２，Ｃ。

の３種類とする。ハックプロパゲーションアルゴリズム
に従って学習か完了すると、その時のθは、＃２［］２
０１て表わされるような、すべての学習データの平均に
近いベクトルに収束しているものと考えられる。

また、中間層からの出力と出力層からの出力も（１）と
同様に ｚ＝ｆ（Ｗ−ｙ−θ）　　　　（２） で表現されるが、ここては別の解釈をした方がよい、す
なわち（２）てはｗ−ｙ−θを線形識別関数の集合とみ
なすことかでき、その出力（複数）を各々シグモイド関
数に通したものか最終的な出力２になる。

ところで、バックプロパゲーションアルプリズムでは重
み係数Ｗｉｊの修正量△ｗｊｊを次式て計算する。

ここで、ηは正の定数、Ｅはネットワーク全体の誤差で
ある。すなわち ｔｊは教師信号、ｙｊは出力層からの出力であなおａＷ
ｇは各層の出力を用５゛て計算されるが、具体的な導出
は省略する。

この修正量△ｗｉｊを用いてｗｉｊは逐次的に修正され
る。

Ｗｉｊ（ｎ＋１）ｍＷｉｊ（ｎ）＋△Ｗｉｊしたかって
、よい初期値Ｗｉｊ（０）から出発して重み係数の修正
（このステップを学習と呼ぶ）を行なうことか必要であ
る。

バイアスθの修正も値か常にｌである入力データに対す
る重み係数とみなして同様な修正を行なう。

［発明か解決しようとしている課題］ ハックプロパゲーションアルゴリズムては、重み係数Ｗ
やバイアスθを逐次的に修正していくため、初期値の与
え方によって結果か左右される。すなわち初期値か不適
切であると、解か極小値（１ｏｃａｌ　ｍ１ｎｉ■Ｕ■
）に陥ったり発散・振動してしまうことかある。またＷ
及びθという決定すべきパラメータの数か多いほど自由
度か大きくなって、正しい解への到達が困難であるが、
既に説明したようにＷ、θともに重要な意味をもってお
り、省略することは困難てあった。

［課題を解決するための手段及び作用］上記課題を解決
するために、本発明パターン認識装置は、認識対象とす
るカテゴリの全学習データの平均ベクトルを記憶するた
めの平均値記憶部と、各入力ベクトルから前記平均値記
憶部に記憶された全平均ベクトルを減算するための平均
値減算部と、多入力型の素子を階層型に接続したニュー
ラルネットワーク部とを備え。

各入力ベクトルから全平均ベクトルを減したものをニュ
ーラルネットワーク部の入力とする。

［実施例］ 第１図は本発明１実施例の文字認識装置のブロック構成
図である。

同図において、１０１は文字画像を入力し電気信号に変
換する光電変換部、１０２はノイズ除去、２値化、正規
化を行なう前処理部、１０３は予め定められたアルゴリ
ズムに従って文字の特徴の抽出を行う特徴抽出部、１０
４は平均ベクトルを記憶しておく平均値記憶部、１０５
は入力ベクトルから平均ベクトルを減算する平均値減算
部、１０６は入力文字かとのカテゴリに属する力）の判
定を行うニューラルネット部、１０７は判定されたカテ
ゴリを出力する出力部である。

前処理部１０２及び特徴抽出部１０３に関しては公知の
技術に基づく手段によって構成されてし＼るものとする
。

次に平均ベクトルの求め方につし＼て説明する。認識対
象とするカテゴリをＣ＋　、　Ｃ２・・・ＣＭとし、カ
テゴリ（Ｊ　（に＝１．２−・・、Ｍ）に属する学習デ
ータから抽出した特徴ペクトフレをｘｋ　（ｉ＝１．２
・・・、Ｎ）とすると平均ベクトルＸは ８゛τ汀−歪！８・ て計算される。この平均ベクトルは予め計算し平均値記
憶部１０４に記憶しておく。

平均値減算部１０５はすべての入力特徴ベクトルＸに対
して、平均ベクトルｉを引しまた値Ｘ　　′　＝Ｘ−Ｘ を計算し、ニューラルネット部１０６へ送る。

ニューラルネット部１０６の構成は、第３図の従来例と
同じ階層型の構成になっている。たたし各素子のしきい
値開数は次式て表わされる原点対称なシグモイド関数を
用いる。

ｆ　（ｓ）　＝１／（１◆ｅｘｐ（−ｓ）　）　−１／
２また中間層の素子に関しては、バイアスθを入れない
。したかって入力特徴ベクトルＸと中間層からの出力ｙ
の関係は、 ｙ＝ｆ（Ｗ−ｘ’） になる。ただしＷは重み係数を表わす行列て、ｆはベク
トルの各要素をシグモイド関数に通したものを表わすこ
とになる。Ｘ′はすてに平均ベクトルを引いた値なので
、この変換においては従来例のようにバイアスθを入れ
る必要かない、一方中間層から出力層にかけては、従来
例と同じ変換 ｚ＝ｆ（Ｗ−ｙ−〇） を行う。

出力部１０７は、ニューラルネット部１０６からの出力
２の各成分Ｚｋ　　（ｋ＝　１．２−Ｍ）のうち最も大
きな値を出力する素子に対応したカテ　　・ゴリを候補
として出力する。

［他の実施例］ 上記実施例ては、入力を文字画像としたか。

入力ベクトルは音声、画像等その種類を特定しない。

また、上記実施例ては中間層を一層としたか、中間層は
何層てもよく、この場合、本発明で示したように入力ベ
クトルから全学習データの平均ベクトルを引いておけば
、すべての中間層の素子でバイアスθを含めなくともよ
い。

［発明の効果］ 以上説明したように、入力ベクトルから全学習データの
平均ベクトルを引いた値をニューラルネット部の入力と
することによって、中間層の素子においてバイアスθを
入れなくても、効果的に認識・分類することかてきる。

バイアスθを入れない場合、パラメータの数が減るのて
、学習工程において極小値に陥ったり、発散・振動する
可能性か小さくなる。

【図面の簡単な説明】

第１図は本発明の１実施例を表わすブロック構成図、 第２図は入力データの分布例を表わす模式第３図はニュ
ーラルネットの構成例を示す図である。 図中 １０１は光電変換部 １０２は前処理部 １０３は特徴抽出部 １０４は平均値記憶部 １０５は平均値減算部 １０６はニューラルネット部 １０７は出力部 ２０１は全入力データ平均ベクトル ３０１は入力層の素子 ３０２は中間層の素子 ３０３は出力層の素子 である。

Claims (3)

【特許請求の範囲】
1. （１）認識対象とするカテゴリの全学習データの平均ベ
   クトルを記憶するための平均値記憶部と、 各入力ベクトルから前記平均値記憶部に記憶された全平
   均ベクトルを減算するための平均値減算部と、 多入力１出力型の素子を階層型に接続したニューラルネ
   ットワーク部とを有することを特徴とするパターン認識
   装置。
2. （２）前記ニューラルネットワーク部の中間層の素子に
   おける伝達関数として、原点対称なシグモイド関数を用
   いることを特徴とした請求項第１項記載のパターン認識
   装置。
3. （３）前記ニューラルネット部の中間層の素子において
   、バイアスの値を０とすることを特徴とした請求項第１
   項記載のパターン認識装置。