JPH07117950B2

JPH07117950B2 - パターン認識装置およびパターン学習装置

Info

Publication number: JPH07117950B2
Application number: JP3232881A
Authority: JP
Inventors: 幸雄林
Original assignee: 株式会社エイ・ティ・アール視聴覚機構研究所
Priority date: 1991-09-12
Filing date: 1991-09-12
Publication date: 1995-12-18
Anticipated expiration: 2010-12-18
Also published as: JPH0573523A; US5323471A; DE4217832A1; DE4217832C2

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、一般にパターン認識
装置およびパターン学習装置に関し、特に、複数の興奮
性素子−抑制性素子対を備えた神経回路を用いたパター
ン認識装置およびパターン学習装置に関する。

【０００２】

【背景の技術】従来から、画像パターン，文字または記
号パターン，および音声パターンなどを認識するための
パターン認識技術が知られており、それらを認識するた
めの認識装置の開発が進められている。従来のパターン
認識装置は、与えられた入力パターンと予めストアされ
た辞書パターンとを比較し、それらの間の距離（たとえ
ば「ユークリッド距離」）または類似度を検出すること
により、与えられた入力パターンの分類が決定される。
しかしながら、一般に、人間によって実際に使用されて
いる文字および音声などは、１つの分類内であっても様
々な形に変化されており、それらの変化の影響を受ける
ことなく辞書パターンに基づいて認識することのできる
パターン認識技術はまだ開発されていない。

【０００３】一方、生物、特に人間のような高等生物の
脳では、脳波を初めとして、かなりダイナミックでカオ
ス的な振動現象が生じていると報告されており、従来の
辞書パターンを用いた認識処理とは異なった別の処理が
行なわれているようである。

【０００４】一般に、人間のような高等生物は、様々に
変化されてはいるがそれらが同一のものである物体また
は概念を認識するとき、それらの変化に影響されない不
変量または不変性の検出に加えて、変化の連続性を検出
することにより、その物体または概念を認識すると報告
されている。たとえば、認知心理学では、「メンタルロ
ーテーション」と呼ばれる連続的な内的操作が脳内に存
在することが報告されている。

【０００５】さらには、認識モデルとして、相互に結合
された複数の興奮性素子−抑制制素子対を備えた神経回
路（ニューラルネット）において、発振が生じることが
報告されている。このことは、“Nonlinear dynamics o
f pattern formation and pattern recognition in the
rabbit olfactorybulb”と題されたB.Baird による論
文（Physica,Vol. 22D, pp. 150-175,1986. ）に記載さ
れている。

【０００６】これに加えて、時系列パターンのような時
間軸上で連続的に変化する連続変形パターンの学習が原
理的に可能であることが、“A learning algorithm to
teach spatiotemporal patterns to recurrent neural
networks”と題された M.Sato による論文（Biological
Cybernetics, pp. 259-263, 1990.）に記載されてい
る。さらにはまた、この M.Sato によるリカレントネッ
トの学習則を使って「ローレンツアトラクタ」と呼ばれ
る低次元のカオス的軌道が得られることも、「リカレン
トネットによる非線形ダイナミスクの近似とカオスの学
習」と題された論文（信学技報，NC90-81, pp.77-82, 1
991.）により報告されている。しかしながら、これらの
報告では、画像および音声などの実際的な多数のパター
ンを適用することにより、ダイナミックな軌道を得るこ
とについては、未だ報告されてない。

【０００７】

【発明が解決しようとする課題】たとえば、人間によっ
て書かれた文字などのような大きな変動を有する入力パ
ターンが認識される場合では、検出された相関距離また
は類似度に基づく認識方法では、分類が正確に行なわれ
ないことがしばしば生じる。一方、一般に人間は連続的
な内的操作によって、様々な変形パターンを認識してい
ると考えられており、この連続操作を適用することによ
り、相関距離の検出に基づく従来の方法における問題を
解決できる可能性がある。

【０００８】しかしながら、この連続変形を神経回路の
発振によって実現しようとすると、相互に結合された複
数の興奮性素子−抑制性素子対を備えた従来の神経回路
において、発振条件を解析的に求めることは難しいこと
が指摘される。さらには、神経回路において各素子が完
全に、すなわちたくさんの乗算器を介して結合されてい
るので、計算量が膨大になることが避けられない。さら
にはまた、連続的に変化する連続変形パターンを神経回
路に学習させる場合では、フォワードネットの逆伝搬に
相当する時間逆処理、すなわち時間軸上で逆方向に進行
する処理の計算量が膨大となるため、長い学習時間が必
要となってしまう。

【０００９】この発明は、上記のような課題を解決する
ためになされたもので、その１つの目的は、相互に結合
された複数の興奮性素子−抑制性素子対を備えた神経回
路を用いたパターン認識装置において、パターン認識の
ために要する演算時間を短縮することである。

【００１０】この発明のもう１つの目的は、相互に結合
された複数の興奮性素子−抑制性素子対を備えた神経回
路を用いたパターン学習装置において、必要となる学習
時間を短縮することである。

【００１１】

【課題を解決するための手段】請求項１の発明に係るパ
ターン認識装置は、与えられた入力パターンを認識する
パターン認識装置である。入力パターンは、入力パター
ンを規定するための複数の入力信号で形成されている。
このパターン認識装置は、それぞれが予め定められた関
係に従って相互に結合された複数の素子を有する神経回
路を備える。複数の素子は、それぞれが、複数の入力信
号のうちの対応の入力信号を受け、互いに相反する方向
に結合されるために、興奮性素子結合係数で互いに結合
される複数の興奮性素子と、それぞれが複数の興奮性素
子のうちの対応の興奮性素子と素子対を形成し、対応の
興奮性素子と互いに相反する方向に結合されるために、
興奮性結合のための第１の対結合係数および抑制性結合
のための第２の対結合係数で対応の興奮性素子に結合さ
れる複数の抑制性素子とを含んでいる。このパターン認
識装置は、さらに、学習される学習パターンに基づい
て、神経回路が学習するために必要な教師信号を発生す
る教師信号発生手段と、教師信号発生手段が発生した教
師信号に応答して、神経回路における第１および第２の
対結合係数ならびに興奮性素子結合係数を更新する結合
係数更新手段とを備える。結合係数更新手段による更新
が行なわれた後、神経回路は、複数の入力信号を受け、
かつ、複数の興奮性素子を介して活性信号を出力する。
このパターン認識装置は、さらに、出力された活性信号
に応答して、予め定められたパターンと入力パターンと
を比較して分類を決定する分類決定手段を備える。

【００１２】請求項１２の発明に係るパターン学習装置
は、それぞれが予め定められた関係に従って相互に結合
された複数の素子を有する神経回路を備える。複数の素
子は、それぞれが互いに相反する方向に結合されるため
に、興奮性素子結合係数で互いに結合される複数の興奮
性素子と、それぞれが複数の興奮性素子のうちの対応の
興奮性素子と素子対を形成し、対応の興奮性素子と互い
に相反する方向に結合されるために、興奮性結合のため
の第１の対結合係数および抑制性結合のための第２の対
結合係数で対応の興奮性素子に結合される複数の抑制性
素子とを含む。このパターン学習装置は、学習される学
習パターンに基づいて、神経回路が学習するために必要
な教師信号を発生する教師信号発生手段と、教師信号発
生手段が発生した教師信号について、時間軸上の順方向
処理のみを実行して、神経回路における第２の対結合係
数および興奮性素子結合係数を更新する順時間学習処理
手段とを備える。

【００１３】

【作用】請求項１の発明におけるパターン認識装置で
は、神経回路における複数の興奮性素子が互いに興奮性
素子結合係数で結合され、複数の興奮性素子のうちの対
応の興奮性素子とその対応の興奮性素子と素子対を形成
する複数の抑制性素子のそれぞれとが第１の対結合係数
および第２の対結合係数で結合されて、結合の簡単化が
図られる。したがって、結合係数更新手段による結合係
数の更新のために要する演算量が減少され、その結果、
パターン認識のために要する演算時間が短縮される。

【００１４】請求項１２の発明におけるパターン学習装
置でも、神経回路における結合係数を更新するのに要す
る演算量が減少される。これに加えて、順時間学習処理
手段が、教師信号について、時間軸上の順方向処理のみ
を実行することにより、神経回路における結合係数を更
新することができるので、時間軸上の逆方向処理が必要
とならない。言換えると、学習を効率的に行なうことが
でき、学習時間が短縮される。

【００１５】

【実施例】図２は、この発明の一実施例を示すパターン
認識装置のブロック図である。この発明は、一般に、画
像パターン，文字または記号パターン，および音声パタ
ーンなどのパターン認識に適用可能であるが、以下の説
明では、一例として、文字認識のためのパターン認識装
置にこの発明が適用される例について説明する。

【００１６】図２を参照して、このパターン認識装置は
原稿上の文字を読取るためのイメージスキャナ１００
と、演算処理装置２００と、メモリ装置３００と、表示
装置４００とを含む。認識されるべき入力パターンＩＰ
および学習処理において用いられる学習パターンＬＰ
は、イメージスキャナ１００から演算処理装置２００に
与えられる。一方、辞書パターンに関するデータは、予
めメモリ装置３００内にストアされており、ストアされ
たデータＤＰが演算処理装置２００に与えられる。認識
結果を示すデータは、表示装置４００に与えられ、図示
されていないＣＲＴ上に表示され、一方図示されていな
い他の装置にも与えられる。

【００１７】図１は、図２に示したパターン認識装置に
おける演算装置のブロック図である。図１を参照して、
この演算処理装置は、神経回路を構成する興奮性素子回
路１および抑制性素子回路２と、神経回路を学習させる
ための教師信号を生成する教師信号生成器３と、教師信
号に応答して、神経回路における結合係数を制御する
（または学習処理を実行する）結合係数制御器４と、学
習によって更新された結合重み係数の乗算のための乗算
器５１，５２および５３と、学習の進行に従って結合重
み係数を徐々に変化させる結合係数更新器６１，６２お
よび６３とを含む。

【００１８】図４は、図１に示した興奮性素子回路１お
よび抑制性素子回路２によって構成される神経回路の回
路図である。図４を参照して、興奮性素子回路１は、Ｎ
個の興奮性素子ｘ１ないしｘ_Nを含む。興奮性素子ｘ１
ないしｘ_Nは、入力パターンＩＰに含まれるＮ個の要素
信号Ｉ１ないしＩ_Nをそれぞれ受ける。文字認識におけ
る入力パターンの要素信号Ｉ１ないしＩ_Nとして、各文
字を規定するためのメッシュ濃度特徴信号または方向寄
与度特徴信号などが使用される。メッシュ濃度特徴信号
は、認識されるべきパターンが仮想画面上に表示される
場合における、各画素またはメッシュごとの濃度または
輝度を示す。したがって、要素信号Ｉ１ないしＩ_Nとし
てメッシュ濃度特徴信号が与えられる場合では、１つの
文字を形成するためのＮ個の画素に関するＮ個のメッシ
ュ濃度特徴信号が入力パターンＩＰとして与えられる。

【００１９】一方、方向寄与度特徴信号は、１つの文字
を形成する各画素が寄与する線分の方向を示す。要素信
号Ｉ１ないしＩ_Nとして４方向の方向寄与度特徴信号が
与えられる場合では、Ｎ／４個の画素に関するＮ個の方
向寄与度特徴信号が入力パターンＩＰとして与えられ
る。

【００２０】図４に示したＮ個の興奮性素子ｘ１ないし
ｘ_Nの各２つは、興奮性素子結合係数Ｗｉｊを介して結
合される。たとえば、ｉ番目の興奮性素子ｘｉおよびｊ
番目の興奮性素子ｘｊは、結合係数Ｗｉｊを介して結合
される。一方、各興奮性素子ｘ１ないしｘ_N自身は、自
己結合係数Ｗｉｉを介して自分自身に結合される。抑制
性素子回路２は、Ｎ個の抑制性素子ｙ１ないしｙ_Nを含
む。各抑制性素子ｙ１ないしｙ_Nは、対応する各興奮性
素子ｘ１ないしＸ_Nと２つの対結合重み係数たとえば興
奮性の係数Ｋ_IEiおよび抑制性の係数（−Ｋ_EIi）を介
して結合される。図４から理解されるように、図２に示
したパターン認識装置において用いられる神経回路は、
相互に結合されたＮ個の興奮性素子−抑制性素子対を備
えていることが指定される。

【００２１】再び図１を参照して、興奮性素子回路１
は、加算器１１と、予め定められた非線形関数Ｇ（ｚ）
に従って処理を行なう処理器１２と、差分状態更新器１
３と、レジスタ（ＲＥＧ）１４とを含む。加算器１１
は、乗算器５１を介して、入力結合重み係数Ｖによって
乗じられた入力パターンＩＰの要素信号Ｉ１ないしＩ_N
を受ける。非線形関数処理器１２は、加算器１１によっ
て加算されたデータを入力変数ｚとして受ける。差分状
態更新器１３は、処理器１２から出力されたデータを受
ける。

【００２２】一方、抑制性素子回路２は、非線形関数処
理器２１と、差分状態更新器２１と、レジスタ２３とを
含む。興奮性素子回路１から出力される活性信号Ｘは、
乗算器５４に与えられる興奮結合係数Ｋ_IEにより乗じら
れ、乗じられたデータが入力変数ｚとして非線形関数処
理器２１に与えられる。非線形関数処理器２１からの出
力データは、差分状態更新器２１に与えられる。差分状
態更新器２１は、レジスタ２３から古い活性信号Ｙを受
け、活性信号Ｙを更新するための信号ΔＹをレジスタ２
３に与える。レジスタ２３により保持された活性信号Ｙ
は、乗算器５３に与えられた抑制結合係数Ｋ_EIにより乗
じられ、乗じられた信号が加算器１１に与えられる。

【００２３】したがって、興奮性素子回路と抑制性素子
回路２とによって、次の式（１）ないし（３）により表
わされた神経回路が構成される。

【００２４】

【数１】

【００２５】ここで、ｘｉおよびｙｉは、興奮性素子お
よび抑制性素子の活性値信号をそれぞれ示す。また、ｄ
ｘｉ／ｄｔおよびｄｙｉ／ｄｔは、活性値信号ｘｉおよ
びｙｉの時間微分を示す。これに加えて、Ｗｉｊは、各
２つの興奮性素子間における結合重み係数を示す。さら
には、Ｋ_ＩＥｉおよび−Ｋ_ＥＩｉは、各興奮性素子−抑
制性素子間の第１の対結合係数の一例の興奮性結合係数
および第２の対結合係数の一例の抑制性結合係数をそれ
ぞれ示す。Ｉｊは、入力パターンＩＰの要素信号を示
す。Ｖｉｊは、後で説明する図１６の回路に対応する入
力結合重み係数を示す。ただし、図４の回路に対して
は、Ｖｉｊ＝１，Ｖｉｊ＝０とすれば、入力結合重み係
数が式（１）で表わされることは明らかである。式
（３）により表わされた関数Ｇ（ｚ）は、連続飽和Ｓ字
型関数の一例として示されており、パラメータａは、関
数Ｇ（Ｚ）の急峻さを決定する。

【００２６】結合係数制御器４は、後で詳細に説明する
学習処理を行なうことにより、神経回路のそれぞれの結
合重み係数Ｗ，Ｋ_EIおよびおよびＶを最終的に決定す
る。以下の記載では、説明の便宜上、学習処理が既に完
了されているものとして、パターン認識処理について説
明する。

【００２７】図５は、パターン認識処理を示すフロー図
である。図５を参照して、まず、ステップ５０１におい
て、教師信号生成器３および結合係数制御器４などを用
いて、学習処理が実行される。学習処理が完了した後、
ステップ５０２において、認識されるべき入力パターン
ＩＰが図１に示した乗算器５１に与えられる。入力パタ
ーンＩＰの各要素信号Ｉ１ないしＩ_Nは、乗算器に与え
られた入力結合重み係数Ｖにより乗じられ、乗じられた
信号が興奮性素子回路１内の加算器１１に与えられる。

【００２８】ステップ５０３において、式（１）ないし
（３）に従って、活性ベクトルＸおよびＹが生成され
る。活性ベクトルＸは、活性値信号ｘ１ないしｘ_Nを含
み、これらは図４に示したＮ個の興奮性素子ｘ１ないし
ｘ_Nから出力される。同様に、活性ベクトルＹは、非活
性値信号ｙ１ないしｙ_Nを含み、これらは図４に示した
Ｎ個の興奮性素子ｙ１ないしｙ_Nから出力される。

【００２９】したがって、差分状態更新器１３は、式
（１）に従って、活性値信号ｘｉの時間微分ｄｘｉ／ｄ
ｔを生成し、レジスタ１４内に保持された古い活性ベク
トルＸを更新するためのデータΔＸをレジスタ１４に与
える。同様に、差分状態更新器２１は、式（２）に従っ
て、活性値信号ｙｉの時間微分ｄｙｉ／ｄｔを生成し、
かつレジスタ２３内に保持された古い活性ベクトルＹを
更新するためのデータΔＹをレジスタ２３に与える。そ
の結果、更新された活性ベクトルＸおよびＹがレジスタ
１４および２３においてそれぞれ得られる。

【００３０】ステップ５０４ないし５０７では、与えら
れた入力パターンＩＰの分類が決定される。分類決定の
ための処理は、処理器８において行なわれる。まず、ス
テップ５０４において、活性ベクトルＸが周期的に変化
するか否かが判定される。

【００３１】図６は、活性ベクトルＸを構成する活性値
信号の例を示す波形図である。図６では、横軸が時間ｔ
の経過を示し、縦軸が各活性値信号のレベルを示す。図
６に示した例では、３つの活性値信号ｘ１，ｘ２および
ｘ３だけが示されているが、実際にはＮ個の活性値信号
ｘ１ないしｘ_Nが存在する。図６に示した活性値信号ｘ
１，ｘ２およびｘ３は、いずれも周期的に変化する波形
を有しているので、これらを構成要素とするベクトルＸ
は、周期的なものであると判定される。

【００３２】図８は、活性ベクトルの周期性を説明する
ためのベクトル軌道図である。図８では、例として、周
期性を有する２つの軌道Ｏ₁およびＯ₂と、周期性を有
さない軌道Ｏ₃が示される。図８に示した例では、軌道
Ｏ₁，Ｏ₂およびＯ₃が３つの活性値信号を要素として
含んでおり、したがってこれらのベクトルは三次元空間
内に表現されている。軌道Ｏ₁は、記憶点ＭＰ１の近傍
で周期的な軌道を描いている。軌道Ｏ₂は、記憶点ＭＰ
２の近傍で周期的な軌道を描いている。これに対し、軌
道Ｏ₃は、いずれの記憶点の近くにも存在せず、カオス
的なものである。言換えると、軌道Ｏ₃は、カオス的軌
道（カオティックオービット）を描いている。図８に示
した記憶点ＭＰ１，ＭＰ２およびＭＰ３は、後で説明す
るパターン学習において使用される３つの学習パターン
に相当するものであることが指摘される。

【００３３】ステップ５０４において活性ベクトルＸが
周期的であると判断されたとき（たとえば図８に示した
軌道Ｏ₁，Ｏ₂）、ステップ５０５において、活性ベク
トルＸと予め準備されている辞書パターンＤＰとの間の
相関距離が検出される。辞書パターンＤＰは、各分類ご
と、すなわちこの実施例では各文字ごとについて平均的
な要素信号（たとえば、メッシュ濃度特徴信号，方向寄
与度特徴信号の平均パターンを２値化したものなど）を
含んでいる。相関距離を検出するための一例として、次
のような手法が用いられる。

【００３４】ある辞書パターン、すなわちある文字パタ
ーンＤＰμと活性ベクトルＸとの間の相関距離をｍμ
（ｔ）によって示し、辞書パターンＤＰμの要素信号を
ξμｊにより示すと、相関距離ｍμ（ｔ）は次式により
表わされる。

【００３５】

【数２】

【００３６】図７は、検出された相関距離の３つの例を
示す波形図である。相関距離ｍ１，ｍ２およびｍ３は、
ある活性ベクトルＸと各辞書パターンＤＰ１，ＤＰ２お
よびＤＰ３との間の相関距離をそれぞれ示す。図７か
ら、ｍ１の振幅が最も小さいので、活性ベクトルＸと辞
書パターンＤＰ１との間の相関距離が最小である、すな
わち辞書パターンＤＰ１に最も離れていることがわか
る。

【００３７】ステップ５０６において、入力パターンＩ
Ｐの分類が決定される。先のステップ５０５において、
相関距離ｍμ（ｔ）が検出されているので、与えられた
入力パターンＩＰの分類は、相関距離の大きい辞書パタ
ーンＤＰμであると判断される。

【００３８】式（４）から得られるｍμ（ｔ）を用いた
識別方法として、たとえば、予め定められた時間長さＴ
ｆの間における相関距離ｍμ（ｔ）があるしきい値（た
とえば０．７５）より大きくなる期間を検出し、最大の
期間が検出される辞書パターンを識別結果とすることも
できる。その他の方法として、相関距離ｍμ（ｔ）の平
均値の大きさを比較することにより、分類が決定され得
る。

【００３９】ステップ５０４において、活性ベクトルＸ
が周期的でないと判断されたとき、入力パターンＩＰ
は、ステップ５０７において未知のものであると決定さ
れる。

【００４０】上記の処理により、与えられた１つの入力
パターンＩＰに関するパターン認識処理が終了されるの
であるが、他の入力パターンが残されているとき、上記
の処理が繰り返されることになる。なすわち、ステップ
５０８において、他の入力パターンの処理が要求される
とき、処理はステップ５０２に戻る。

【００４１】上記の記載により、パターン認識処理が説
明されたので、以下では、図１に示した演算処理装置に
おける学習処理について詳細に説明する。

【００４２】図３は、図１に示した教師信号生成器３の
ブロック図である。図３を参照して、教師信号生成器３
は、仮想的な画面上に置かれた学習パターンＬＰに歪を
与えるための歪信号発生器３１と、仮想画面上の学習パ
ターンＬＰにずれを与えるためのずれ信号発生器３２
と、歪信号およびずれ信号に応答して、与えられた学習
パターンＬＰを変形させるずれ／歪合成器３３と、時間
軸上での補間処理を行なう補間処理器３４とを含む。歪
信号発生器３１は画面歪手段の一例であり、ずれ信号発
生器３２は画面傾斜手段の一例である。以下の記載で
は、まず、与えられた学習パターンＬＰの歪およびずれ
を引き起こす方法について説明する。

【００４３】図１０はずれおよび歪が生じた仮想画面の
変化を示す仮想画面変化図である。図１０に示した仮想
画面の変化は、２つのパラメータφおよびｋにより定義
される。φは、仮想画面のずれによって生じた角度を示
す。すなわち、φは、図１０の各仮想画面の左上の点を
基準として、４辺のうちの上辺と下辺とか相対的にずら
されることで生じた角度を示す。一方、ｋは、仮想画面
ＶＳ_０内の中心位置を座標原点とした極座標（ｒ，θ）
において、次式によって示される歪の程度を示す。

【００４４】

【数３】

【００４５】したがって、２つのパラメータφおよびｋ
を徐々に変化させることにより、基準となる仮想画面Ｖ
Ｓｏを中心として、図１０に示すような徐々に変化する
仮想画面が得られる。

【００４６】図１１は、教師信号として用いられる周期
的に変化する変形パターンの変形パターン図である。図
１１に示した例では、平仮名文字の「あ」が基準となる
学習パターンＬＰとして与えられた場合を示す。すなわ
ち、図１１に示した基準パターンＱ_LPが学習パターンと
して与えられる。

【００４７】基準パターンＱ_LPが置かれた仮想画面を図
１０に示すように変形させることにより、図１１に示し
た変形パターンを示す教師信号Ｑ（ｔ）が得られる。図
１１を参照して、φが−１０度であり，ｋが０．４であ
るとき、時刻ｔ１０において教師信号Ｑ（ｔ１０）が得
られる。φが１０度であり，ｋが−０．４であるとき、
時刻ｔ２０において教師信号Ｑ（ｔ２０）が得られる。
φが１０度であり，ｋが−０．４であるとき、時刻ｔ３
０において教師信号Ｑ（ｔ３０）が得られる。φが１０
度であり，ｋが０．４であるとき、時刻ｔ４０において
教師信号Ｑ（ｔ４０）が得られる。図１１に示すよう
に、教師信号Ｑ（ｔ）は、最初は離散的な信号である
が、図３に示した補間処理器３４において時間軸上での
補間処理を行なうことにより、連続的な教師信号Ｑ
（ｔ）が得られる。補間処理器３４は、隣り合った離散
的なパターン間の線形補間またはスプライン補間などを
利用して、補間処理が行なわれる。生成された連続的な
教師信号Ｑ（ｔ）およびその微小変化ΔＱ（ｔ）は、図
１に示した結合係数制御器４に与えられる。

【００４８】図９は、図１に示した演算処理装置におけ
る学習処理のフロー図である。図１および図９を参照し
て、以下に学習処理について説明する。

【００４９】まず、ステップ６０１において、初期結合
係数Ｗｏ，Ｖｏ，Ｋ_EIO，Ｋ_IEが設定される。これらの
初期結合係数は、図１に示した初期値設定処理器７から
与えられる。なお、この実施例では、興奮結合係数Ｋ_IE
は以下の処理において一定に保たれることが指摘され
る。また、興奮素子結合係数の初期値Ｗｉｊは、次式に
より決定される。

【００５０】

【数４】

【００５１】ここで、ξαは、Ｍ個の各カテゴリ、すな
わち文字のそれぞれのプロトタイプとなる記憶パターン
であり、各カテゴリにおける平均的なパターンを＋１お
よび−１の２つの値を用いて表わされている。

【００５２】図１に示した神経回路における発振のため
の必要条件は、解析的に求め得る。すなわち、記憶点Ｍ
Ｐが不安定になり、そして発振を引起こすためには、発
振条件Ｗｉｉ≧π・ａおよびＫ_EI＞Ｗｉｉ・π・ｘｉが
要求される。この実施例では、一例として、ａ＝０．
１，Ｋ_IE＝Ｋ_EI＝２．０，Ｖｉ＝１．０と設定される。
ここで、ｘｉは、発振（Ｈｏｐｆ分岐）を起こす平衡点
の値（＝０．６２１２（Ｗｉｉ＝１のとき））である。
もし、ａ＝０．１の場合においてＷｉｉ＜０．３となる
ときは、この必要条件が満足されないので、そのような
場合では、式（７）における対角要素Ｗｉｉに値１．０
が加算される。それによって、この必要条件が満足され
る。

【００５３】ステップ６０２において、１つの学習パタ
ーンＬＰが教師信号生成器３に与えられ、教師信号生成
器３が前述のように連続的な教師信号Ｑ（ｔ）およびそ
の微小変化ΔＱ（ｔ）を出力する。

【００５４】図１に示した結合係数制御器４では、次式
に示す処理が行なわれる。

【００５５】

【数５】

【００５６】図１に示した結合係数制御器４は、式（１
２）により表わされた演算を実行する演算器４１と、式
（１７）により表わされた演算を実行する演算器４２
と、非線形関数処理機４３と、式（１３）により表わさ
れた演算を実行する演算器４４とを含む。次に、式
（８）から式（１７）の演算について説明する。まず、
第１の処理として、［Ｔ，Ｔ＋Ｔ_Ｂ］の時間区間で、興
奮性素子および抑制性素子の各活性値が、式（１）から
式（３）に従った演算で求められる。そして、時間Δｔ
間隔ごとにそれらの値が保持される。次に、第２の処理
について説明する。時刻Ｔ＋Ｔ_Ｂにおいて、式（９）で
得られるＲ_ｉ（ｔ）の値が初期値とされる。そして、時
刻Ｔ＋Ｔ_Ｂから時刻Ｔまで時間的に逆方向で、Ｒ_ｉ（ｔ
−Δｔ）＝Ｒ_ｉ（ｔ）−（ｄＲ_ｉ（ｔ）／ｄｔ）Δｔを
用いてＲ_ｉ（ｔ）の値が求められる。この式における
（ｄＲ_ｉ（ｔ）／ｄｔ）は、式（１０）によって得ら
れ、式（１０）におけるｖｉ_ｉ（ｔ）は、式（８）によ
って得られる。式（１０）のＧ′（ｖｉ_ｉ（ｔ））は、
式（１７）によって決定されている。このようにして得
られたＲ_ｉ（ｔ）の値は、時間Δｔ間隔ごとに保持され
る。次に、第３の処理について説明する。時刻Ｔ＋Ｔ_Ｂ
で、結合重み係数Ｋ_ＩＥｉ，Ｗ_ｉｊ，Ｋ_ＥＩｉに対する
それぞれの修正量ΔＫ_ＩＥｉ，ΔＷ_ｉｊ，ΔＫ
_ＥＩｉが、式（１１）、式（１４）および式（１５）に
従った演算によって得られる。そして、得られた修正量
ΔＫ_ＩＥｊ，ΔＷ_ｉｊ，ΔＫ_ＥＩｉが、それぞれＫ
_ＩＥｉ＝Ｋ_ＩＥｉ＋ΔＫ_ＩＥｉ，Ｗ_ｉｊ＝Ｗ_ｉｊ＋ΔＷ
_ｉｊ，Ｋ_ＥＩｉ＝Ｋ_ＥＩｉ＋ΔＫ_ＥＩｉに適用されて、
その値が更新される。このような更新に必要な式（１
１）、式（１４）および式（１５）の中の各積分処理∫
_Ｔ ^Ｔ＋Ｔ’［Ｆ（ｔ）］ｄｔ（ただし、Ｔ’＝Ｔ_Ｂ）
は、時間Δｔ間隔ごとに離散化されたΣ_ｔ＝０ ^Ｔ＋Ｔ’
［Ｆ（ｔ）］Δｔ（ただし、Ｔ’＝Ｔ_Ｂ）から求められ
るものとする。ここで、［Ｆ（ｔ）］は、式（１１）、
式（１４）および式（１５）の中の［］部分にそれぞれ
相当する。したがって、第１および第２の処理で求めら
れたｘ_ｉ（ｔ），ｙ_ｉ（ｔ）およびＲ_ｉ（ｔ）と、式
（１２）および式（１３）に従って得られるｖｅ
_ｉ（ｔ）およびＰ_ｉ（ｔ）とが用いられることで、時間
Δｔ間隔ごとにＦ（ｔ）の値が求められる。ただし、図
４に示す回路に対しては、式（１２）のＶ_ｉｊは、Ｖ
_ｉｉ＝１とし、Ｖ_ｉｊ＝０とすればよい。また、後で説
明する図１６に示す回路では、式（８）から式（１５）
および式（１７）に加えて、ΔＶ_ｉｊが、式（１６）に
従って得られる必要がある。そして、得られたΔＶ_ｉｊ
が用いられて、Ｖ_ｉｊ＝Ｖ_ｉｊ＋ΔＶ_ｉｊの更新が行な
われる。

【００５７】ここで、Ｔは現在の時刻を示し、Ｔ_Bは１
つの学習区間における時間長さを示す。μは学習のステ
ップ幅を決定する学習係数であり、Ｑ′（ｔ）は教師信
号の時間微分を示す。Ｇ′（ｚ）は関数Ｇ（ｚ）の導関
数であり、式（１７）により表わされる。

【００５８】ステップ６０４において、１つの学習区間
が選択される。この学習処理では、連続的な教師信号Ｑ
（ｔ）を出力するのに用いられた、すなわち補間処理に
おいて用いられた２つのパターンによって決定される区
間が、１つの学習区間として扱われる。したがって、教
師信号Ｑ（ｔ）が示す連続変形の１周期の学習は、これ
らの学習区間のつながりにより表現される。

【００５９】図１２は、学習処理の進行を示す模式図で
ある。図１２はＮ次元空間を示しており、教師信号Ｑ
（ｔ）および活性ベクトルＸ（ｔ）はこのＮ次元空間内
に存在する。図１２において、教師信号パターンＱ
（ｔ）と活性ベクトルＸ（ｔ）との間での対応する学習
区間が示されている。したがって、各入力パターンにつ
いて、教師信号パターンの１周期分をいくつかの学習区
間に分けて学習処理が行なわれる。教師信号Ｑ（ｔ）に
より示されるパターンはＮ次元空間内において固定され
ている。神経回路の学習が進むにつれて、神経回路から
出力される活性ベクトルＸ（ｔ）は教師信号パターンの
方向に近づいていく。すなわち、対応する個々の学習区
間について各結合重み係数が徐々に変更されるので、学
習により神経回路が成長する。

【００６０】実施例において示されるようなフィードバ
ック結合を有する神経回路が従来の学習規則に従って処
理される場合では、教師信号が与えられない素子へ信号
を送るというような結合重み係数の学習を行なうのに、
時間軸上で逆方向に進行する処理が必要であった。この
発明の実施例では、図４に示した神経回路において、教
師信号が与えられない抑制性素子に信号を与えるための
興奮結合係数Ｋ_IEに関する学習がこれに相当する。した
がって、上記のような処理が行なわれる。

【００６１】しかしながら、この発明の実施例では、学
習処理における興奮結合重み係数Ｋ _IEが固定されている
ので、時間軸上での逆方向の処理が不要となる。すなわ
ち、時間軸上の順方向処理のみによって、効率的な学習
処理が実行され得る。したがって、ステップ６０５にお
いて、活性ベクトルＸおよびＹ，ｖｅ，およびＰが生成
された後（時間Ｔ_Bの間）、ステップ６０６において結
合係数Ｗ，Ｋ_EIおよびＶが更新される。

【００６２】ステップ６０７において、全学習区間につ
いて処理が終了されたか否かが判断され、もし学習区間
が残されているならば、処理がステップ６０４に戻る。

【００６３】全学習区間における処理が終了された後、
ステップ６０８において、全学習パターンについて処理
が終了されたか否かが判断される。もし、学習パターン
が残されているならば、処理が６０２に戻る。

【００６４】全学習パターンについて処理が終了された
後、次式により誤差Ｅｒが得られる。

【００６５】

【数６】

【００６６】検出された誤差Ｅｒの１周期における和が
要求される誤差Ｅｒｏよりも小さくなるまで、ステップ
６０２以下の処理が繰り返される。その結果、学習処理
が完了する。

【００６７】図１３は、学習前の神経回路から出力され
る活性ベクトルの変化の一例を示す活性ベクトル変化図
である。一方、図１４は、学習後の神経回路から出力さ
れる活性ベクトルの変化を示す活性ベクトル変化図であ
る。これらの図において、時間は、第１ないし第５行の
順で、かつ右方向に経過する。図１３および図１４を比
較してわかるように、学習後において、活性ベクトルが
教師信号と同様な連続変形を示すより明確な周期性を有
することが指摘される。

【００６８】上記の実施例では、この発明が図４に示し
た神経回路に適用される場合について説明がなされた
が、この発明は、図１５または図１６に示す神経回路に
ついても適用可能であることが指摘される。

【００６９】このように、この発明では、人間の認識処
理において使用されていると考えられる連続的な変形操
作が、学習によって得られるので、従来のパターン認識
手法と比較して、人間のパターン認識により近い能力が
期待できる。これに加えて、既に指摘したように、リカ
レントネットの学習規則における時間軸上での逆方向の
処理が必要とならないので、連続変形パターンの学習を
効率的に行なわれ得るという利点も得られる。

【００７０】

【発明の効果】以上のように、この発明によれば、素子
対を形成する興奮性素子および抑制性素子を含む神経回
路を用いたパターン認識装置において、教師信号に応答
して、結合係数を更新する結合係数更新手段を設けたの
で、パターン認識のために要する演算時間が短縮され
た。また、同様にして、パターン学習装置における学習
時間を短縮させることも可能になった。

【図面の簡単な説明】

【図１】図２に示した演算処理装置のブロック図であ
る。

【図２】この発明の一実施例を示すパターン認識装置の
ブロック図である。

【図３】図１に示した教師信号発生器のブロック図であ
る。

【図４】図１に示した神経回路の回路図である。

【図５】図２に示した演算処理装置におけるパターン認
識処理のフロー図である。

【図６】活性ベクトルを構成する活性値信号の例を示す
波形図である。

【図７】検出された補間距離の例を示す波形図である。

【図８】活性ベクトルの周期性を説明するためのベクト
ル軌道図である。

【図９】図１に示した演算処理装置における学習処理の
フロー図である。

【図１０】ずれおよび歪が生じた仮想画面の変化を示す
仮想画面変化図である。

【図１１】教師信号として用いられる周期的に変化する
変形パターンの変形パターン図である。

【図１２】学習処理の進行を示す模式図である。

【図１３】学習前の神経回路から出力される活性ベクト
ルの変化を示す活性ベクトル変化図である。

【図１４】学習後の神経回路から出力される活性ベクト
ルの変化を示す活性ベクトル変化図である。

【図１５】この発明が適用可能な神経回路の別の例を示
す回路図である。

【図１６】この発明が適用可能な神経回路のさらに別の
例を示す回路図である。

【符号の説明】

１興奮性素子回路２抑制性素子回路３教師信号生成器４結合係数制御器７初期値設定処理器ＭＵＬ乗算器ＲＥＧレジスタ

Claims

【特許請求の範囲】

【請求項１】与えられた入力パターンを認識するパタ
ーン認識装置であって、前記入力パターンは、前記入力パターンを規定するため
の複数の入力信号で形成され、それぞれが予め定められた関係に従って相互に結合され
た複数の素子を有する神経回路を備え、前記複数の素子は、それぞれが、前記複数の入力信号のうちの対応の入力信
号を受け、互いに相反する方向に結合されるために、興
奮性素子結合係数で互いに結合される複数の興奮性素子
と、それぞれが前記複数の興奮性素子のうちの対応の興奮性
素子と素子対を形成し、前記対応の興奮性素子と互いに
相反する方向に結合されるために、興奮性結合のための
第１の対結合係数および抑制性結合のための第２の対結
合係数で前記対応の興奮性素子に結合される複数の抑制
性素子とを含み、学習される学習パターンに基づいて、前記神経回路が学
習するために必要な教師信号を発生する教師信号発生手
段と、前記教師信号発生手段が発生した教師信号に応答して、
前記神経回路における第１および第２の対結合係数なら
びに興奮性素子結合係数を更新する結合係数更新手段と
を備え、前記結合係数更新手段による更新が行なわれた後、前記
神経回路は、前記複数の入力信号を受け、かつ、前記複
数の興奮性素子を介して活性信号を出力し、前記出力された活性信号に応答して、予め定められたパ
ターンと前記入力パターンとを比較して分類を決定する
分類決定手段を備えた、パターン認識装置。
【請求項２】前記教師信号発生手段は、予め定められ
た規則に従って、前記学習パターンを連続的に変化させ
ることにより、前記教師信号を発生する学習パターン変
化手段を含む、請求項１に記載のパターン認識装置。
【請求項３】前記学習パターンは、仮想画面の形状変
化に従って形状を変化する学習画像パターンを含み、前記学習パターン変化手段は、前記仮想画面の４辺のうちの向かい合う２辺を相対的に
ずらして前記仮想画面を予め定められた比で傾斜させる
画面傾斜手段と、所定の点からの距離および前記予め定められた比に応じ
て、前記仮想画面を歪ませる画面歪手段とを含む、請求
項２に記載のパターン認識装置。
【請求項４】前記学習パターンは、離散的に変化さ
れ、前記学習パターン変化手段は、さらに、前記学習画像パ
ターンを時間的に連続な信号に変換する連続変換手段を
含む、請求項３に記載のパターン認識装置。
【請求項５】前記分類決定手段は、前記神経回路から
出力された活性化信号が周期性を有するか否かを判定す
る周期性判定手段を含み、前記入力パターンの分類は、前記周期性判定手段に応答
して決定される、請求項１に記載のパターン認識装置。
【請求項６】前記分類決定手段は、さらに、前記周期
性判定手段が活性化信号の周期性を判定したとき、前記
活性化信号と予め定められた辞書パターンとの間の相関
距離を検出する相関距離検出手段を含み、前記入力パターンの分類は、前記相関距離検出手段に応
答して決定される、請求項５に記載のパターン認識装
置。
【請求項７】前記神経回路は、さらに、前記複数の興奮性素子のそれぞれの出力信号に、対応す
る前記第１の対結合係数を乗じ、かつ、乗じられた信号
を前記複数の興奮性素子のそれぞれに対応する抑制性素
子に与える複数の第１の乗算器と、前記複数の興奮性素子のそれぞれに対応する抑制性素子
の出力信号に、対応する前記第２の対結合係数を乗じ、
かつ、乗じられた信号を前記複数の抑制性素子のそれぞ
れに対応する興奮性素子に与える複数の第２の乗算器
と、前記複数の興奮性素子の各２つの出力信号の一方および
他方に、対応する前記興奮性素子結合係数をそれぞれ乗
じ、かつ、乗じられた一方の信号および乗じられた他方
の信号を、前記各２つの出力信号の他方および一方にそ
れぞれ与える複数の第３の乗算器とを備える、請求項１
に記載のパターン認識装置。
【請求項８】前記学習画像パターンは、各々が異なっ
た文字を示す複数の学習文字パターンであり、前記分類決定手段は、前記活性化信号に応答して、前記
入力パターンの分類を前記複数の学習文字パターンの中
から選択する文字選択手段を含む、請求項３に記載のパ
ターン認識装置。
【請求項９】前記入力パターンを規定する複数の入力
信号は、与えられた２次元画像を規定する複数のメッシ
ュ濃度特徴信号または与えられた２次元画像を規定する
方向寄与度特徴信号である、請求項１に記載のパターン
認識装置。
【請求項１０】前記神経回路は、さらに、前記複数の
興奮性素子のそれぞれに与えられるべき入力信号に、対
応する入力結合係数を乗じ、かつ、乗じられた信号を各
興奮性素子に与える複数の第４の乗算器を含み、前記結合係数更新手段は、さらに、前記神経回路におけ
る入力結合係数を更新する、請求項７に記載のパターン
認識装置。
【請求項１１】前記結合係数更新手段は、時間軸上の
順方向処理のみを実行することにより、前記神経回路に
おける第２の対結合係数ならびに興奮性素子結合係数を
更新する、請求項１に記載のパターン認識装置。
【請求項１２】それぞれが予め定められた関係に従っ
て相互に結合された複数の素子を有する神経回路を備
え、前記複数の素子は、それぞれが互いに相反する方向に結合されるために、興
奮性素子結合係数で互いに結合される複数の興奮性素子
と、それぞれが前記複数の興奮性素子のうちの対応の興奮性
素子と素子対を形成し、前記対応の興奮性素子と互いに
相反する方向に結合されるために、興奮性結合のための
第１の対結合係数および抑制性結合のための第２の対結
合係数で前記対応の興奮性素子に結合される複数の抑制
性素子とを含み、前記学習される学習パターンに基づいて、前記神経回路
が学習するために必要な教師信号を発生する教師信号発
生手段と、前記教師信号発生手段が発生した教師信号について、時
間軸上の順方向処理のみを実行して、前記神経回路にお
ける第２の対結合係数および興奮性素子結合係数を更新
する順時間学習処理手段とを備えた、パターン学習装
置。