JPH0331975A - パターン識別装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 １−産業上の利用分野〕 この発明はパターン識別装置に関するものであり、特に
、小規模なニューラルネットを多数使用して大規模なネ
ットワークを構成し、多数のカテゴリからなる入力パタ
ーンを識別できるようにしたパターン識別装置に関する
ものである。

［従来の技術１ 従来、脳に類似したニューラルネットのモデルを用いて
脳におけるパターン情報処理機能を工学的に実現するこ
とを目指すニューロフンビューティングに関する研究が
進められている。ニューラルネットにおけるパターン情
報処理の特徴は７１１機能と並列処理にある。ニューラ
ルネットの学習は、パターン認識の立場からとらえると
学習データの統計的性質に基づく任意の連続写像の実現
とみなすことができるが、３層以上の階層ｔニューラル
ネットワークによって、任意のＮ次元空間から任意のＮ
次元空間への連続写像が存在することが数学的に証明さ
れている。階層型ニューラルネットの学習は、Ｒｕｍｅ
ｌｈａｒｔ　らによるパックプロパゲーションが多く用
いられており、文字認識や音声認識等のパターン識別装
置に適用され、ある程度の成果が得られている。

［発明が解決しようとする課題］ 前述した従来のパターン識別装置は分類カテゴリ数が比
較的少ない小規模なニューラルネットを取り扱っており
、例えばＪＩＳ第一水準の漢字を認識するような大規模
なニューラルネットを単純なバックプロパゲーションア
ルゴリズムによって構築することは実際には多くの困難
を伴う。そのような大規模なネットワークの学習では、
ローカルミニマムに陥る可能性も高く、たとえ収束する
にせよ膨大な計算量を費すことになる。そこで、実用的
な計算時間で多数のカテゴリを持つ人カノ（ターンを自
動的に分類するパターン識別装置を構築するために解決
せられるべき技術的課題が生じてくるのであり、本発明
は該課題を解決することを目的とする。

「課題を解決するための手段］ この発明は上記目的を達成するために提案されたもので
あり、多数のカテゴリを持つ人力ｔｅターンを自動的に
分類する大規模なニューラルネットをｆｆするパターン
識別装置に於て、前段に入力パターンを小グループに大
分類するための自己組織能力を持つベクトル量子化型の
ニューラル不゛ントを設け、後段には、その小グループ
内のノくターンを更に細分類する小規模なニューラルネ
ットを多数並列に配置した階層型ニューラルネットを設
け、且つ、入力パターンと教師データにより、その結合
重みを学習する手段を有し、前記人カノくターンの属す
るカテゴリを識別するように構成したことを特徴とする
パターン識別装置を提供せんとするものである。

［作用］ このパターン識別装置の学習は、先ず、前段のベクトル
量子化型ニューラルネットの学習から行なう。これは繰
り返し学習データを人力し、入力パターンをいくつかの
グループに分割するためのネットワークを形成する。こ
こで、このニューラルネットの素子数は分類すべきカテ
ゴリ数よりも少なく制限する。前段の学習は自己組織化
１こよって行なわれるので教師データは必要としな（＼
。

前段のベクトル量子化型ニューラルネットの学習後、入
力パターンの各カテゴリがどの素子と最適整合となるか
を調べ、各素子の分担すべきカテゴリを求め、全カテゴ
リをベクトル量子化型ニューラルネットの素子数と同数
のグループに分類する。

次に、その分類されたグループごとにその中１こあるカ
テゴリを識別するための階層型ニューラルネットの学習
をバツクブロノでゲーション法ヲ用いて行なう。

学習後、人力データの識別は次のようにして行なわれる
。先ず、前段のネットワークによって、その入力パター
ンがどの素子と最適整合となるか求める。次に、最適整
合となった素子が担当するカテゴリグループを識別する
後段のネットワークにこの入力パターンを入力し、最も
強い出力を出した素子に対応するカテゴリに入カノ〈タ
ーンを識別する。

このネットワークの利点は学習の容易さと結合数の少な
さにある。即ち、本装置は、前段のベクトル量子化型ニ
ューラルネットによって大分類をしてからバックプロパ
ゲーションによる学習を行なうため、後段のニューラル
ネットの規模は小さくなり、従って、学習は容易になる
。又、後段のネットワークは相互には結合のない独立し
たネットワークであるから、大規模なネットワーつてあ
っても全体の結合数の１曽加を抑止できる。

［実施例］ 以下、本発明の一実施例を別紙爪付図面を参ｐ＜４しな
がら詳述する。尚、説明の都合上、従来公知に属する技
術事項も同時に説明する。第１図はパターン識別装置ｌ
の構成を説明するためのブロック図である。

前段に用い、るベクトル量子化型のニューラルネット２
は、第２図に示すように、各素子が結合重みによって決
まる参照パターンｍ１を持っており、各素子は入力パタ
ーンＸ、と参照パターンｍ１　とを比較して最適に整合
した素子３を識別結果とする。各素子３，３．・・・の
出力は次式によって与えられる。

ｙ＋＝ｆ（Σｍｌｌ　”　Ｘｋ、　）　　　　　　　（
１）−１ 、ｌ　：素子ｌの出力値 １０：素子の出力関数 ｍ口：素子ｉの第ｊ番目の人力の結合重みＸヨ：第に番
目の入力パターンの第ｊ番目の人力値 ここで、結合重みｎは入力パターンＸｋの次元数にとり
、素子３の個数は大分類するグループ数とする。参照パ
ターンｍ、は以下に示す自己組織化７　／Ｌ／ゴリズム
によって入力パターンのみかう形成される。

各素子３，３．・・・は第３図に示すように２次元格子
状に配置され、自己組織化過程に於て、結合重みの適応
変化がＨｅ　ｂ　ｂの法則と忘却効果に基づいて行なわ
れ、又、近隣の素子３，３．・・・へ興奮性の相互フィ
ードバック結合を持ち、結合重みの適応変化が最適整合
した素子３の近傍でのみ行なわれるとすると、参照パタ
ーンｍ１の形成は次の手順によって行なうことができる
。

［５ｔｅｐ口１ ｍ、　（０）　　：　ｒｕ＋ｄｏｍｉｚｅ、　　ｔ−０
（初期化）各入力パターンＸｋ（ｋ＝１．２．３１１２
３．Ｋ）について順次５ｔｅｐｌ、　５ｔｅｐ２を繰り
返す。

［５ｔｃｐＨ ｔ＝ｔ＋ｉ Ｘｋ−ｍ。（ｔ）　ｌｌ＝ｍｉｎ　　（ＩＩ　Ｘｋ−ｍ
ｉ　（ｔ）　ＩＩ　）　　（２）（素子ｃ：＠：最適整
合素 子５ｔｅｐ２］ ｍｌ　（ｔ＋Ｉ）　＝ｍ、　（ｔ）　＋α（ｔ）　（Ｘ
ｋ　（ｔ）　　ｍｌ　（ｔ）　）　（３）ｒｏｒｉＥＮ
ｃ ｍｉ　　（ｔ＋Ｉ）　　＝ｍ、　　（ｔ）（４）ｆｎｒ
ｉｐＮｃ 但し、 Ｘｋ　　＝（Ｘｋｌ＋Ｘｋ２＋＋＋＋＋Ｘｋｌ＋＋＋＋
＋Ｘｋｎ）（第に番目の入力パターン） ｍｌ（ｔ）　−（ｍ＝（ｔ）、　ｍ、２（ｔ）、、、、
ｍ、（ｔ）、。

ｍ　、、（ｔ）） （素子１の学習回数ｔにおける参ｊ１Ｇパターン） これらは学習回数ｔの関数であり、一般に、αは単調減
少関数とし、Ｎｃ（ｔ）　　も学習回数と共にその半径
を小さくしていく。

このような自己組織過程を行なうと、各素子３゜３、・
・・の参照パターンｍ１は入力、くターン１．の集合の
統計的性質を反映した値となり、入力パターンｘｋのベ
クトル空間を参照パターンｍ１にヨッて分割し量子化す
ることができる。又、近隣の素子３，３．・・・の参照
パターンｍ、は類似したものとなり、そのパターンの値
は滑らかに変化していく。このようにして入力パターン
集合の連続写像が実現される。

ここで、入力パターンｘｋのカテゴリ数に対して素子数
を少なく制限してこの自己組織化を行なうと、互いに類
似した入力パターンＸ、について同一の素子３が最適整
合となる。即ち、多数のカテゴリを持つ入力パターンＸ
、の集合を、類似性のあるパターンごとに有限数のグル
ープに分割することができる。

ニューラルネット２の学習後、入力パターンの各カテゴ
リがニューラルネット２のどの素子と最適整合となるか
を調べ、各素子３，３．・・・の分担すべきカテゴリを
求め、全カテゴリをニューラルネット２の素子数と同数
のグループに分割する。

次に、その分割されたグループごとにその中にあるカテ
ゴリを識別するための階層型ニューラル不ッ）４．．４
．・・・の学習ラバツクプロパゲーション法を用いて行
なう。

学習後、検査データの識別は次のようにして行なわれる
。先ず、ニューラルネット２によって、そのデータがど
の素子３，３．・・・と最適整合となるか求める。次に
、最適整合となった素子３が担当するカテゴリグループ
を識別する後段の階層型ニューラルネット４にこのデー
タを入力し、第１図に示す最も強く出力を出した階層型
ニユ−ラルネツト２の出力素子５に対応するカテゴリに
入力パターンを識別する。

このネットワークの利点は学習の容易さにある。

バックプロパゲーション法による学習は小規模なネット
ワークについては収束も容易であるが、大規模なネット
ワークになるとローカルミニマムに陥る可能性も高く、
たとえ収束するにせよ膨大な計算量を費すことになる。

本装置は、ベクトル量子化型のニューラルネット２によ
って大分類をしてからバックプロパゲーションによる学
習を行なうため、後段の階層型ニューラルネット４の規
模は小さくなり、従って、学習は容易になる。又、１ｉ
型ニユーラルネツト４は相互には結合のない独立したネ
ットワークであるから、大規模なネットワークであって
も全体の結合数を少なく抑えることができる。

このパターン識別装置ｌによって、ＪＩＳ第一水準漢字
フォント２９６５字種を識別するニューラルネットの構
築を行なった。ここで用いたフォントは、１６Ｘ１６（
２５６）ドツトマトリックスフォントである。従って、
入力／ｆターンｘｋの次元数は２５６となる。前段のニ
ューラルネ・ノド２の素子数は１４４個（１２Ｘ１２）
とした。参照パターンｍ１の初期値は一様乱数で与え、
学習回数は１００Ｘ２９６５回とした。即ち、１字種当
たり１００回の学習を行なった。ここで、学習係数αと
最適整合素子の近傍素子の集合ＮＣ（ｔ）の半径ｒ（ｔ
）は次のような学習回数の小調減少関数とした。

α（Ｌ）　　−０，２（１，ロー　　　　）（５）ｔｌ
、８ その結果得られた各素子３，３．・・・の参照パターン
を第４図に示す。第４図には、参照パターンの値を１６
Ｘ１６の２次元マトリックス状のパターンで示したので
、各参Ｉ！ａパターンがどのようなテンプレートを形成
しているかが明らかとなっている。各素子３，３．・・
・には、漢字の「へん」、「つくり」、「かまえ」が形
成されている。例えば、左上方部の素子３，３．・・・
には「言」、「女」、「門」、「月」等の「へん」や「
かまえ」を表す参照パターンｍ、が得られている。別表
１に各素子３，３．−・・が最適整合となる漢字フォン
トの一覧表の一例を示す。素子番号Ｏには「ごんべん」
を持つ漢字が、素子番号１には「もんがまえ」を持つ漢
字が分類されている。このように、全ての漢字がそのＦ
へん」、「つくり」、「かまえ」等の特徴によって分類
されている。自己組織化によって第４図に示すような参
照１＜ターンｍ、が自律的に形成されたことになる。

次に、後段の階層型ニューラルネット４，４゜・・・に
ついて別表１の各素子３，３．・・・に割り当てられた
漢字のグループごとに、バックプロ）＜ゲーンヨン法を
用いて学習を行なった。各グル−プの字種数は最大でも
７９個であり、比較的小規模なニューラルネットとなる
ため、全てのグループについて容易に学習が収束した。

この結果、ＪＩＳ第一水準漢字２９６５字種を分類する
ノ＜ターン識別装置ｌが形成された。

［発明の効果］ 以上のように本発明によれば、前段にベクトルｆｆ量子
化型ニューラルネットを配置し、後段に大分類されたグ
ループ内のデータを分類する小規模な階層型ニューラル
ネットを多数並列に配置したネットワークを持つパター
ン識別装置によって、多数のカテゴリを識別するための
大規模ニューラルネットを学習により容易に構築できる
結果、大規模なニューラルネットに於ても、認識率の大
幅す向上を実現することができる。

【図面の簡単な説明】

図は本発明の一実施例を示し、第１図はパターン識別装
置の構成解説図、第２図はニューラルネットの素子の解
説図、第３図は素子の配列状態を示す解説図、第４図は
各素子に形成された参照パターンを示す部分解説図であ
る。 １・・・・・・パターン識別装置 ２・・・−・・ニューラルネット ３・・・・・・素子 ４・−・・・・階層型ニューラルネット５・・・・・・
出力素子 Ｘ、・・・・・・入力パターン

Claims (1)

【特許請求の範囲】
1. 多数のカテゴリを持つ入力パターンを自動的に分類する
   大規模なニューラルネットを有するパターン識別装置に
   於て、前段に入力パターンを小グループに大分類するた
   めの自己組織能力を持つベクトル量子化型のニューラル
   ネットを設け、後段には、その小グループ内のパターン
   を更に細分類する小規模なニューラルネットを多数並列
   に配置した階層型ニューラルネットを設け、且つ、入力
   パターンと教師データにより、その結合重みを学習する
   手段を有し、前記入力パターンの属するカテゴリを識別
   するように構成したことを特徴とするパターン識別装置
   。