JPH07113839B2 - パターン認識装置 - Google Patents

Description

【発明の詳細な説明】 （発明の背景） ［発明の属する技術分野］ 本発明は、パターン認識システム、特に、時変入力信号
中で所定のシーケンスを検出するために、ニューラル計
算を使用する方法に関する。

［従来技術の説明］ 神経回路網（ニューラルネットワーク）は、ジェー．ジ
ェー．ホップフィールド（J.J.Hopfield）、「段階的応
答を有するニューロンは２状態ニューロンと同様の集合
的計算特性を有する」、Proc.Natl.Sci.,USA、第81巻第
3088〜3092ページ、および、ジェー．ジェー．ホップフ
ィールド、ディ．ダブリュ．タンク（D.W.Tank）、「最
適化問題における決定の“ニューラル”計算」、Biolog
ical Cybernetics、第52巻第141〜152ページ（1985
年）、ならびに、米国特許出願第693,479号（発明者：
ジェー．ジェー．ホップフィールド、出願日:1985年１
月２日）および米国特許出願第795,789号（発明者：ジ
ェー．ジェー．ホップフィールド、ディ．ダブリュ．タ
ンク、出願日:1985年11月７日）に記載されている。

基本的には、神経回路網は複数の増幅器を含む高度並列
処理計算回路であって、各増幅器は、その出力信号をコ
ンダクタンスT_ijを介してそれ自身へ、および、他のす
べての増幅器または他の選択された増幅器へフィードバ
ックする。コンダクタンスT_ij（ここでT_ijは増幅器ｊの
出力と増幅器ｉの入力との間のコンダクタンスを表す）
および関連する接続は、１つの出力信号セットと２つの
入力信号セットとを有する結合回路網を構成するものと
考えることができる。出力信号セットは増幅器入力に供
給され、一方の入力信号セットは増幅器出力から取出さ
れ、また他方の入力信号セットは神経回路網に供給され
る入力刺激に応答する。従来技術に示されるように、異
なる範囲の入力刺激に応答して増幅器が異なる特定の出
力状態に到達するように、特定の結果を得るためにコン
ダクタンスT_ijの値を明示的に指定することができる。
また従来技術に記載のように、入力刺激とフィードバッ
ク回路網の第２の入力セットとの間に入力相互結合回路
網を挿入してもよい。フィードフォワード配置を含む入
力相互結合回路網は、期待入力信号を、フィードバック
回路網および増幅器を駆動する対応信号に変換する。し
かしながら、この相互結合回路網には時間依存性がな
い。

上記の配置は多くの仕事を実行するのに使用され、米国
特許出願第795,789号における例では、A/D変換器として
の使用例が記載されている。しかしながら、すべての仕
事をこの配置だけで行うことができるわけではない。時
間依存信号内のパターン認識はそのような仕事の１つで
ある。

時間依存信号内のパターン認識は、我々が日常生活にお
いて無意識に行なっている重要な仕事である。例えば、
個々の話された音素、分離された会話語、および連続す
る音声の流れを認識する仕事は、話される言語を理解す
る人により迅速に実行される。同様に、映画において、
もし人が身体の部分を表すいくつかの点のパターンで置
き換えられ、その人が動いているならば、動いている点
だけを見ている人は、点の静止パターン（例えばこのよ
うな映画の１コマ）からは“人”を完全には認識できな
いにもかかわらず、動的パターンであればそれを“動い
ている人”として直ぐに認識可能である。

いくつかのクラスの連続入力信号内のパターンを認識す
るために、回路網の使用が種々の状況下で行われてき
た。しかしながら、これらの応用の大抵のものは入力信
号の所定のシーケンスを取扱い、シーケンスが全く存在
しないことがないように、探索されるべきシーケンスが
正確に期待したとおりに現れることを必要とする。大抵
のシステムにおいては、“大体存在する”という概念の
余地はない。この感度（または厳格さ）が必要な理由
は、期待されるものにただ近いだけのシーケンスに応答
することは、解決がかなり難しい問題だからである。そ
れでもなお、この分野においていくつかの研究が行われ
てきた。例えば、「神経理論とモデル化（Neural Theor
y and Modeling）」、アール．エフ．ライス（R.F.Rei
s）編、（スタンフォード大学出版部、スタンフォー
ド、カリフォルニア）、第105〜137ページにおいて、異
なる時間遅延を有する３ないし４の形式的神経の単純回
路網から構成された帯域フィルタの使用が記載されてい
る。記載の配置は、ある基本的な信号パターンは認識可
能である。さらに最近、ケイ．フクシマ（K.Fukushim
a）（1973年）Kybernetic、第12巻第58〜63ページによ
り一時連想記憶装置が記載された。この回路網は、前の
状態を、離散型時間遅延のセット（シフトレジスタ）を
用いた空間勾配に沿ってマッピングすることにより機能
する。各クロック・サイクルにおいて、活動パターン
は、連想回路網がすべての既知の記憶装置をコード化す
るのと同じ方法ですべての既知のシーケンス投影に対し
コード化する結線を用いて、回路網をシーケンス内の次
の状態に投影する。

これらの従来技術による方法は、入力信号が連続であっ
て従って検索シーケンスの開始が不明でありかつその継
続時間が可変であるような一般的なパターン認識ケース
では実行できない。また一般ケースにおいて、検索され
るシーケンスは、データストリームの中において、欠け
たりまたは異質の信号部分があったり、あるいは時間歪
みがあったりしてしばしば歪みが与えられる。シーケン
スを含む信号は、シーケンスを形成する成分の相対継続
時間が期待相対継続時間と異なるときに時間歪みを受け
る。

例として一般的パターン認識問題を２つのシーケンスの
例で説明するが、この場合各文字記号は特定の一時刺激
状態を表わし、刺激状態の継続時間は文字の反復により
表される。第１のシーケンス（語“series"の音声）は
検索される刺激シーケンスを表し、第２のシーケンス
は、第１のシーケンスの歪み並びが連続ストリーム
（“this series sounds"）に埋め込まれているところ
のデータである。

第１のシーケンス:SSEEEERIIEZZZ 第２のシーケンス:THHSSEARREEZSSOOUNNDZ パターン認識の仕事は、第１のシーケンスを第２のデー
タストリームの中で認識することである。

実際の状況では一般に、時間は連続でありかつ取扱うパ
ターンも連続であるけれども、仕事の困難さは、上記の
離散型の例からでも極めて容易に理解されかつ評価され
えよう。困難さは、（１）比較をどこから始めるべきか
（語の切断の問題）、および（２）始点が与えられたと
き、シーケンスの異なる実例が時間（時間歪み問題）と
形状（欠落信号または異質信号）との両方において歪み
を受けるかもしれない、ということを含む。

時間依存信号内において、予め選択されたシーケンスを
一層効率的に認識する手段を提供することが本発明の目
的である。形状歪みおよび時間歪みとを含む時間依存信
号内にシーケンスを検出するための丈夫な回路網を構成
する簡単な技法を提供することが本発明の他の目的であ
る。

（発明の概要） 本発明のこれらおよび他の目的は、神経回路網、入力相
互結合回路網、および複数の信号修正回路とを含む配置
により実現される。この配置は、それぞれ関連する信号
修正装置に予め設定された特徴刺激を提供する複数の入
力リードに応答する。与えられた刺激に応答して、各信
号修正装置は、刺激供給時に開始され、ピークに達し、
その後は下がるような複数の出力信号を発生する。各出
力の平均時間遅延（ピークに達するまでの時間）は、修
正装置の出力信号の各々について異なる。信号修正装置
の出力は入力相互結合回路網に供給されるが、ここで結
合は、認識されるべきシーケンスまたはパターンに従っ
て行われ、相互結合回路の出力は神経回路網内に供給さ
れる。

（実施例の説明） 検出されるべきシーケンスを含むデータは前記のように
歪みを有すること、および神経回路網は入力信号欠如に
対して丈夫である（連想記憶装置（内容アドレスメモ
リ）の実現においてと同様に）こととの理由により、前
記のように従来の難しいパターン認識の問題を解決する
のに神経回路網の使用の可能性が検討された。

前記の従来技術に関する文献において、神経回路網に関
連してエネルギー関数Ｅが導入された。エネルギー関数
は、エネルギー関数を最小化する方向に回路を移動する
ことを観察することによって回路の働き方を理解するの
に有用である。ある特定のエネルギー関数に関して解か
れるように与えられた課題が、必要な結合および入力を
いかに上手に完全に記述するかもまた示されている。

エネルギー関数の概念とその利用とは、時変入力刺激に
拡張可能である。

時変信号のためのエネルギー関数の定式化の基本は、情
報が回路に供給されるときに回路の動きがＥを減少しな
がら正しい入力シーケンスを検出する方向に移動するよ
うに、回路の挙動をエネルギー関数に関連させることで
ある。時変入力を用いて計算することの幾何学的考え方
は、第１図に示す「時空間」Ｅ曲面を用いて容易に視覚
化可能である。

第１図は２ニューロン系（神経回路網内に２つの増幅
器）のエネルギー曲面を図示し、ここで系の状態は「形
状」軸で図示される。また第１図には、「時間」軸およ
び「Ｅ」エネルギー軸も示される。

第１図の系の時刻ｔ＝０における入力刺激のないときの
最初のエネルギー関数は曲線10で示され、点11、12、の
２つの谷が特徴である。谷11、12は、入力が供給された
ときに、神経回路網内の２つの相互結合増幅器は、２つ
の状態（すなわち谷11または谷12）の１つに安定するフ
リップフロップとして働く。フリップフロップを２つの
状態の一方にセットするためにフリップフロップに入力
が供給されると、エネルギー関数は一方の谷を強調して
他方の谷を抑止するように変化し、系の状態は前の状態
から強調された谷へと移動する。このようにしてフリッ
プフロップは所定の状態へセットされる。実際に設定入
力は、例えば連続する曲線15および20により示されるよ
うにエネルギー関数を変える時変刺激である。変化する
エネルギー関数は、第１図において点25の深い谷に通じ
るエネルギー関数Ｅの連続して減少する値の径路を形成
する。この径路（初期状態は点11にあると仮定する）は
第１図において曲線30により示される。

次に続く入力信号もまたエネルギー関数を変化させ、系
の状態を点25から、エネルギー関数の他の深い谷である
35の点へ移動する。点25から点35へ至る径路は、第１図
（少なくともその見える範囲）において曲線40で示され
る。

第１図の２ニューロン系において、時間依存結合を介し
て作用する供給入力刺激はフリップフロップをセットし
たりまたはリセットしたりするための制御と見なすこと
ができる。その代わりとして、フリップフロップおよび
時間依存相互結合回路網とは、入力信号における特定の
刺激の出現を検出するための回路とみなすことができ
る。この後者の見方により、多ニューロン回路は時変入
力信号内の刺激のシーケンスを検出するのに使用可能で
ある。

入力シーケンスが検出可能なようにエネルギー関数内で
所定の変化を達成するには、次の２つのことを行なわな
ければならない。すなわち、 （１）本当らしい（認識可能な）シーケンスの方向にエ
ネルギー関数を形成するために、利用可能であるときに
その情報を使用すること、 （２）情報の総和が、系を、入力ストリーム内に見出さ
れるシーケンスの検出に対応するエネルギー関数内にお
ける深い谷の方向に向けるように、ある首尾一貫した様
式内で利用可能なすべての情報を結合すること、 である。これは人間による音声パターンに類似し、この
場合は最初の音が聞こえると直ちに語を認識することか
らはじめ、語全体を認識するまで、場合によっては最後
の音が聞こえる前にさえ、高い程度の確信をもって認識
過程を継続する。

シーケンス検出のある終局時刻において、ならびに利用
可能となった時刻からシーケンス検出の時刻まで、過去
情報を利用可能とするために、ある記憶装置が提供され
なければならないことは当然である。従って、本発明の
原理に基づき、入力信号と延長時間間隔に対しても十分
に利用可能とし、かつ入力シーケンスが完了したら直ち
に入力シーケンスの正しい解釈に対応した出力状態が現
れるように入力信号を選択させる「引伸し遅延」手段が
提供されなければならない。

本発明の前記原理を態様化し、かつ所定のシーケンス検
出に導かれるエネルギー関数内でこの時間依存変化を実
現する構成は、極めて単純である。このような構成の１
つを第２図に示す。

第２図は、供給される入力信号に応答しかつ同調されて
信号内の特定の特徴を検出する特徴検出器51〜53を含
む。特徴検出器51〜53の出力信号はそれぞれ信号調整回
路55（引伸し遅延手段）に供給され、信号調整回路55
は、動的に径路を形成しかつ入力信号内の情報をシーケ
ンス検出の時刻に集中させるのに使用される前記信号を
発生する。信号調整器55の出力信号は相互結合回路網60
に供給され、相互結合回路網60の出力信号は神経回路網
70に供給される。前記のように、神経回路網は増幅器回
路網72とフィードバック回路網71とを含む。フィードバ
ック回路網は相互結合回路網の出力信号を受取り、また
増幅器回路網72の出力信号は第２図の回路の出力信号か
らなる。

第２図における特徴検出器51〜53は入力信号準備装置の
一部を形成し、かつ本発明が使用される特定適用例と密
接に関係をなしている。実際にある適用例において、単
一の多出力検出器は入力信号の特徴を識別する手段とし
て使用可能である。例えば、データストリームがある方
式で符号化されるテキストを含むならば、このときの仕
事は有効なコードを検出することである。この仕事は、
単一の多出力特徴検出器で実行可能である。一方もしデ
ータストリームが話し言葉を表わすならば、このときの
特徴検出器51〜53の仕事はホルマントすなわち音素を識
別することになろう。この仕事はおそらく複数の特徴検
出器で行うのが最善であろう。英語を含む大抵の言語
は、かなり小さなセットの特徴音すなわち音素として記
述可能である。例えばアメリカ英語は約42の音素で記述
可能であり（「音声信号のディジタル処理」、エル．ア
ール．ラビナー（L.R.Rabiner）およびディ．ダブリ
ュ．シェイファ（D.W.Schafer）、プレンティス・ホー
ル社（Prentice-Hall,Inc.,）、Englewood Cliff,New J
ersey、1978年、第42ページ）、このことは、精巧な音
声検出系は１組の特徴（音素）検出器を含むべきである
ことを示唆するであろう。ちなみに、音素検出器は、米
国特許第4,592,085号、米国特許第4,559,604号、および
米国特許第4,405,838号などの多数の文献に記載されて
いる。

本発明をよく理解しかつその固有の可能性と利点とを評
価するために、まず以下に、本発明が実現されるときに
用いられる手法に対する簡単な数学的背景および基礎を
提示する。導入された式はまた、第２図の実施例の機能
の洞察も与えてくれる。

第１に、従来技術により教えられるように、神経回路網
70に対する運動方程式は、次式で表わされるエネルギー
関数を最小にすることを思い出すことが有用である。

ここで、V_iおよびV_jは増幅器回路網72における増幅器ｉ
およびｊのそれぞれの出力電圧、T_ijは増幅器ｊの出力
を増幅器ｉの入力へ結合するフィードバック回路網内の
コンダクタンス、R_iは増幅器ｉの入力インピーダンス、
g_i ^-1（Ｖ）は増幅器ｉの伝達関数の逆関数、および、I_i
は増幅器ｉの入力へ通じるフィードバック回路網71への
（回路網60からの）入力電流である。前記のように、回
路網70のエネルギー関数は、式（１）の最終項により変
化をうける。

第２に、簡単にするために、以下の分析は、信号および
時間の両領域において離散的である離散型シーケンス成
分（X_i）により行う。このようにしても、信号領域はし
ばしば離散型が期待され（例えば、ある音声の音素が検
出されるかまたは検出されないかのいずれかである）、
また時間領域は単に十分に小さい時間間隔を考えて、長
い継続時間を有する属性をシーケンス成分の反復で表す
ことを可能にすることにより所定の精度で近似可能であ
るので、一般性を失うものではない。信号領域における
離散性は、第２図の回路においては有限個の複数の特徴
検出器出力により表され、一方時間領域の離散性は、信
号調整器55からの有限個の複数の出力内で実現される。

上記簡単化の観点から、検索されるシーケンスS^jは次の
ような例示刺激シーケンスにより記載可能である。

X₂X₁X₁X₃X₄X₄X₄X₅ ここで、各X_mは特徴的な刺激状態を示す。添字は特定の
刺激タイプまたは特徴を識別し、シーケンス内の順序位
置を示していないことに注意されたい。

本発明のある特定の実施例により、S^jにかなり類似の信
号が検出されたとき、この装置の出力ｊが活性化される
（回路網70においてV_j＝１）。これは、ｔ＝t_det−τ
（ここでt_detはシーケンス検出の時刻である）に表れる
各X_mによって、エネルギー時間曲面上に、ｔ＝t_det−τ
における刺激X_mの提示により明示されるシーケンスS^jの
検出に導く径路を形成するように貢献することにより達
成される。この貢献はエネルギー関数内に次の形式の項
を含ませることにより達成され、含ませるのは式（１）
における最後の項を通して行われる。

式（２）のI_i部分において、 は刺激X_mに同調された１つの特徴検出器（第２図の特徴
検出器の１つ）の出力を示す。すなわち、時刻ｔ−τに
X_mが存在すれば そうでなければ０である。_ｋ（τ）の項は信号調整器
55のｋ番目の出力に関係し、係数 刺激X_mの特徴検出器に結合された信号調整器と関連する
_ｋ（τ）信号と、相互結合回路網60のｉ番目の出力
（これはI_i信号を発生する）との間の結合強度を表わ
す。

関数_ｋ（τ）は調整器55の引伸ばし可能な遅延を定義
する。（X_mが検出されて が瞬間的に１となり）刺激が与えられたとき、時間の関
数として特定の形状を有する出力信号が発生されること
は、回路のインパルス応答に類似する。従って
_ｋ（τ）の項は瞬間的パルスの時間的な広がり並びに出
力の振幅制御とを提供する。本発明の原理によれば、
_ｋ（τ）インパルスは、τ＝０で始まり、ピークまで上
昇し、その後減衰して最終的に終端する。ｋに比例する
τの値においてピークが発生するのが有効である。この
ような一群の_ｋ（τ）インパルスの応答により、式
（２）の貢献は、式（１）により形成される時空間Ｅ曲
面上に伸長ピットを形成する。このピットは空間的に部
分空間V_j＝１内に集中され、_ｋ（τ）内の時間的な広
がりにより時間が伸長される。シーケンスS^j内の後の刺
激のために、Ｅ内に対応の時間依存項を提供されるが、
_ｋ（τ）はより短い潜在期でピークに達するように選
択されるので、各刺激検出器の作動により提供される情
報は、時空間内の同一ピットに貢献する。異なる
_ｋ（τ）により発生される個々の遅延の幅は平均遅延時
間とともに増加するのが有利であり、従ってシーケンス
の中の初期の刺激はＥ曲面上でより長い貢献を形成す
る。得られた結果はＥ内の谷であり、谷はやや集合的で
あり正確なタイミングにやや鈍感である。提供されたシ
ーケンスがたとえ例示のような歪みのあるものでも、シ
ーケンスの完了時にはかなりの深さの谷が発生する。ピ
ットの深さはシーケンスS^jが回路網に提供されたことの
証拠の尺度になる。

与えられた例示とは違反する検出刺激からの証拠は、Ｅ
曲面上にマウンドを築く抑制性結合 により同様に処理される。このように、形状歪みを有す
る例示のデータストリーム内の誤ったシンボルはエネル
ギーの背景に雑音を与えるのみで、回路網の性能を徐々
に低下させる。異なる長さI^jのシーケンスS^jに対する証
拠が正しく組合されるように、すべての結合が1/I^jに比
例する係数で尺度が決められる。

式（２）の式（１）のエネルギー関数Ｅへの貢献は、相
互結合回路網60内のシナプス（対合）結合内で実現され
る。前記の実施例により、各ニューロンｉは結合の構成
および遅延特性により異なるシーケンスS^jに同調され
る。いずれにしても、この配置は、シーケンスｊが検出
されたかどうかを決定するためには単にニューロンｊを
注目するのが便利であるけれども、この配置には限定さ
せる理由はないという意味で、やや基本的な形にしてい
る。シナプス結合が適当に配置される限り、特定のシー
ケンスが検出されたことを宣言するために、任意出力ベ
クトルが割当て可能である。前記のような単純な「グラ
ンドマザー」セル（「おばあさん細胞」）配置により、
Ｎ個の増幅器を有する増幅器回路網72はＮ個のシーケン
スのみを収容可能であるが、一方制限がより少ない配置
の場合は、多数のシーケンスが検出可能である。しか
し、「グランドマザー」セル配置は、多くの適用例に対
して全く満足すべきものである。

上記の「グランドマザー」セル配置において式（２）で
表わされた形式のＥへの貢献の他にペナルティ項 を加えることが好ましく、これは確実に一時に１つのシ
ーケンスのみが検出されることを保証する（V_i＝１）。
この項はV_iとV_jとのすべての対の間の抑制を導入する。
非見本シーケンスが回路網を活性化することを防止する
ために、追加のグローバルな抑制 は活性化のためのしきい値を設定する。

以上を組合わせると、シーケンス検出回路網のための全
体Ｅ関数は次式のようになる。

関数_ｋ（τ）の群に対する選択を考慮するとき、ディ
ジタルまたはアナログのいずれかの技法および態様化を
使用可能であることがわかる。例えば、アナログ態様化
は、バッファ増幅器により分離される一連の簡単なRC低
域回路網を使用することにより達成される。このような
方法により、本発明の原理を態様化する全回路は、アナ
ログおよび非同期形態で形成可能である。

ディジタル回路も使用可能である。シーケンス刺激の検
出は時間例えばクロック周期Δで量子化可能であること
を思い出せば、一群の関数の形成が示唆され、ここでｋ
番目の関数は時刻τ＝０で始まり、Δのｋ倍の時刻でピ
ークに達し、その後減衰してｋΔで終端する。このよう
な関数は群の１つは次式の関数を打ち切った形で表すこ
とが可能である。

ここで、βはパルス関数の幅を指示する定数である。ピ
ークは第３図に示すようにτ＝ｋΔで発生する。

上記の関数_ｋ（τ）（または本発明の実施において要
求される他の任意の引伸ばし可能遅延関数）の態様化
は、_ｋ（τ）のインパルス応答が有限であるので困難
ではない。信号処理方法は、例えば、前記のラビナー他
の著書の第２章および第６章に記載のFIR（有限インパ
ルス応答）フィルタ設計が使用可能である。第４図は第
３図の曲線の１つを示し、また第５図は第４図の応答を
態様化するための１つのFIRフィルタ実施例を示す。第
４図はｋ＝１用の曲線を示し、かつ（図示のように）８
個のサンプル後にピークが到達すると仮定すると、第５
図の実施例の演算時計は実質的にΔより短い周期を有
し、すなわち、Ｐ＝8/ΔおよびＫ＝３となる。従って第
５図は24個のタップを有するシフトレジスタ80を含み、
各タップの出力信号には掛け算器81内の適当な係数が掛
け算され、掛け算の結果は加算器82に供給される。次に
加算出力は低減フィルタ83（例えばサンプル採取および
保持回路）に供給されて所定の_ｋ（τ）関数を発生す
る。

第５図の回路はｋの特定の値（例えばｋ＝１）に対する
_ｋ（τ）の実施例を示す。しかしながら、異なるｋの
値の間の関数_ｋ（τ）の差は、式（４）により表され
る群においてわかるように、時間の引伸ばしの差だけで
ある。次にこのような一群の曲線は第６図に示すような
回路により容易に態様化され、ここでマルチプレクサ84
および85は掛け算器81の列のタイムシェアリングを可能
にする。簡単にするために、第６図におけるマルチプレ
クサ84は、あたかもシフトレジスタ80の順次出力に結合
されている如く示されている。実際に、これらは所定の
「引伸ばし」に従って結合され、マルチプレクサへの入
力におけるタップ識別番号により規定される。各マルチ
プレクサは異なる_ｋ（τ）関数の数Ｍ（例えば第３図
に示す第10番目の関数に対応する第６図における10）に
等しい入力数を有し、シフトレジスタ80の長さはkM（第
６図においては240）であり、時計駆動レジスタ80は適
当な最大時間遅延を提供するように調節される。レジス
タ80内のデータの各移動ごとにマルチプレクサ84および
85はそれぞれの入力を同期的にかつ順次に迅速走査し、
マルチプレクサの各状態において１組の出力が発生さ
れ、結合回路82に供給される。形成された和はマルチプ
レクサと同期して適当な低域フィルタ83に分配される。

前記の関数_ｋ（τ）は、これらは所定の特性を有する
合理的な関数であるので、この開示のために選ばれた。
入力信号の統計的挙動に関し利用可能な情報がないとき
はこれらは良好な選択であろう。しかしながら、起こり
そうな時間歪みの性質に関する情報が利用可能であると
きは、さらに良い選択が可能である。図示すると、代表
例の既知の例示シーケンスS^jは第７図のスケッチのよう
に見えるであろう。代表例の時間歪みによる歪みσ′，
σ″，σはシーケンス内の個々の刺激X_iは保持時間が
異なるという点でS^jとは異なる。Ｐ（σ^signal｜S^j）は
シーケンスS^jが起きたという条件のもとでσ^signalが発
生される条件付き確率としかつＰ（S^j）をS^jの発生確率
とするとき、σ^signalが受け入れられたときにS^jが送ら
れたことを示す最も起こりそうなｊの選択は、Ｐ（σ
^signal｜S^j）×Ｐ（S^j）が最大になるｊである。同様
に、In［Ｐ（σ^signal｜S^j）］＋In［Ｐ（S^j）］の最大
を使用してもよい。ちなみに、In［Ｐ（S^j）］の項は結
合のパターンを変えることのない振幅係数である。この
条件のもとに、刺激シーケンス（時間スロット１におい
てX_i，時間ストッロ２においてX_j，…，時間スロットｍ
においてX_k）からなるシーケンスσ^signalをデータスト
リーム内に受入れさせる。もし時間スロットあたりの平
均相関のみを考えるならば、シーケンスに対する条件付
き確率分布は、時間スロット内の種々の記号を見出だす
ｍ個の条件付き確率分布の積として次のように表され
る。

Ｐ（σ^signal｜S^j）＝Ｐ（時間スロット１においてX_i，
時間スロット２においてX_j，…，時間スロットｍにおい
てX_k｜S^j） ＝P₁（X_i｜S^j）×P₂（X_j｜S^j）Ｘ…×P_m（X_k｜S^j）
（５） もし、初期の時間スロットｍにおける刺激X_iの検出によ
り回路網内におけるｊ個のシーケンス認識装置への各々
への入力がIn［P_m（X_i｜S^j）］に比例するならば、認識
装置への相対入力は、今受取られた刺激のシーケンスが
その例示シーケンスの歪みである確率に比例するであろ
う。位置ｍにおいてX_iが発生するようなS^jの歪みを見出
す確率が極めて少ないならば、この時はP_m（X_i｜S^j）は
極めて小さく、かつその対数（負）は強い抑制性結合を
与えるであろうことに注目されたい。もしこのような歪
みを見出すことが通常のことであるならば、このとき確
率は大きく、その効果はあまり抑制性でなくなる。（す
なわち比較的興奮性となる）。

遅延関数の幅の意味は、この表現で容易にわかる。もし
例えば、時間スロットｍにおいてS^jが刺激X_iを有しかつ
ｍの前後の近接スロット内に異なる刺激が存在するなら
ば、このとき時間歪みの実施例はｍの近くの位置にｍへ
の接近度の関数としての確率分布でX_iを有し、この確率
分布はt_detにおける語の終端に関する間でのこの刺激の
位置の確率分布に関連する。この簡単な歪みモデルに対
しては、認識装置への入力はシーケンス要素検出器を介
して加算されるべきこと、時間遅延興奮性および抑制性
結合は両方とも使用されるパターンの種類内に期待され
ること、および時間遅延関数は、もし可能ならば歪み
（例えば時間歪み）関数の統計的モデルに関連させられ
るべきであること、は明らかである。

［例］ 本発明の作動を示すために、以下に一般的なシーケンス
認識を示すが、この目的は以下の名前の中における文字
のシーケンスを検出することである。

MARYANN MARILYN MARY MARIAN LYNN RAY ANN LARRY ANNA 第８図に示す実施例におけるニューロン１〜９を、個々
の名前が供給入力信号内に検出された時に活動化される
言語認識として割当てること（おばあさん細胞配置）で
ある。情報は、式（２）の指定に従うことにより、提示
されたシリーズの終端近くに一時に集中可能である。シ
ーケンス“MARYANN"（７文字を含む）においては“M"が
最初の入力であるので、T_1M;7＝１となる。これは_７
（τ）を介して７時間単位離れた点に中心を有する遅延
入力をニューロン１に与える。“A"が位置２（および位
置５）にあるので、T_1A;6＝１（T_1A;3も同様）であり、
これは_６（τ）を介して６時間単位離れた点に中心を
有する遅延入力をニューロン１に与える（および
_３（τ）を介して３時間単位離れた点に中心を有する遅
延入力をニューロン１に与える）。さらに進んで、T
_1R;5＝T_1Y;4＝T_1N;2＝T_1N;1＝１となり、これは入力ス
トリームにおいてニューロン１はシーケンスMARYANNに
応答する状態を提供する。この簡単な手順により、入力
相互結合回路網60のための残りシナプシス結合は第８図
に示すように残りの名前の検出の準備をする。

第９図は本発明の原理による簡単な音声検出を示す。そ
の簡単な性質のために、第９図の回路は話し手依存型で
ある。ある商業的適用例に対しては、話し手依存性は長
所（例えばある家庭への音声作動アクセス）である。第
９図において、特徴検出器出力信号は単一検出器54（第
２図における複数の要素に比較されるように）から得ら
れ、この特徴検出器は、ライン50の入力信号に応答する
AGC（自動利得制御）回路541、AGC541に応答する帯域フ
ィルタ／検出要素および542、AGC541に応答する検出器
／微分器543、および線形計画回路544、とからなる。帯
域フィルタ542は第９図のように配置されて200Hzないし
3.5kHzの間の選択された狭帯域内のエネルギの存在を検
出する。従って各フィルタは、対数周波数目盛上に線形
分布された帯域フィルタの中心周波数を有する狭帯域フ
ィルタ（Ｑ値は約５）である。帯域フィルタの出力は整
流されてかつ積分されて、入力信号内に存在する検出帯
域内の電力の尺度となる各要素542に対する出力を提供
する。狭帯域エネルギの他に、要素542内では広帯域エ
ネルギが検出されかつ微分されて、入力信号内のdE/dt
の尺度を提供する。

線形計画回路544は回路の各入力および出力の間に挿入
された線形増幅器546を含み、さらに増幅器546の出力信
号はバイアス信号と組合わされて拘束ニューロン（増幅
器545）に供給される。増幅器545は抑制性信号を形成
し、抑制性信号は、増幅器546の出力信号の和がバイア
ス信号を越えるとすべての増幅器546の入力に供給され
る。もし542、543の検出器の出力を信号Y₀，Y₁，…，Y₇
で示し、増幅器546の出力を信号W₀，W₁，…，W₇で示す
と、線形計画回路は、制約条件 W₀＋W₁＋…＋W₇バイアス信号 のもとで、和 Y₀W₀＋Y₁W₁＋…＋Y₇W₇ を最大にする１組のW_iを提供する。信号が強い時は、こ
の最大化は最大チャンネルを選択し、他を抑制する。要
素544の出力は特徴検出器54の出力を含み、これらの出
力は信号調整装置（引伸ばし可能遅延手段）55に供給さ
れる。第９図の装置55は各々異なるτを有する10個の４
極ベッセル・フィルタを含む。第２図におけると同様
に、装置55の出力は相互結合回路網60に供給され、相互
結合回路網60はその出力信号を神経回路網70に供給す
る。

【図面の簡単な説明】

第１図は、連続信号に応答して、２つの異なる入力パタ
ーンを検出するように設けられた２ニューロン配置のエ
ネルギー時間曲面、 第２図は、本発明の原理を組込んだ１つの構成実施例、 第３図は、本発明と組合わせて使用可能な一群の引伸ば
し可能な遅延関数、 第４図は、１つの構成遅延関数および時間の関数として
それがとる種々の振幅、 第５図は、第４図に示す関数を態様化するように設けら
れたFIRフィルタの一態様、 第６図は、第３図に示す引伸ばし可能な遅延関数の全部
の群の形成を可能とする第５図の態様、 第７図は、１つの例示シーケンスおよびそのシーケンス
に対応する３つの可能な時間歪み入力信号、 第８図は、供給された入力信号内の９個の異なる名前シ
ーケンスを検出するための相互結合回路網内の特定結合
を示す実施例、 第９図は、本発明の原理を組込んだ他の構成実施例を示
す図である。 51,52,53……パターン成分検出手段 55……引伸ばし可能な遅延手段（信号調整器） 60……相互結合回路網 70……パターン認識出力信号発生回路網（神経回路網）

Claims (8)

【特許請求の範囲】
1. 【請求項１】それぞれ供給された入力信号に応答し、相
   異なる遅延信号のセットを発生する複数の引伸ばし可能
   な遅延手段と、 前記遅延信号を複数の出力信号を選択的に発生する相互
   結合回路網と、 前記複数の出力信号に応答してパターンの認識を示す所
   定の出力信号を発生する回路網とからなることを特徴と
   する少なくとも１つのパターンを認識する装置。
2. 【請求項２】前記相異なる遅延信号は、相互に、およ
   び、前記供給された入力信号に関係づけられることを特
   徴とする請求項１の装置。
3. 【請求項３】前記各遅延手段に供給される前記入力信号
   は前記パターンの１成分に対応することを特徴とする請
   求項１の装置。
4. 【請求項４】前記相互結合回路網内における前記選択的
   発生は、所定の値のコンダクタンスを介して行われるこ
   とを特徴とする請求項１の装置。
5. 【請求項５】入力データ流に応答して前記各遅延手段に
   供給される前記入力信号を形成するパターン成分検出手
   段をさらに有することを特徴とする請求項１の装置。
6. 【請求項６】前記各遅延手段に供給される前記入力信号
   は前記パターンの相異なる成分に対応することを特徴と
   する請求項１の装置。
7. 【請求項７】連鎖状のパターン成分X_mからなる入力信号
   に応答して複数の出力信号V_iを発生するパターン認識装
   置において、 X_mが時刻ｔ＝τにおいて存在すれば１でそれ以外の場合
   は０であるような関数であり、ｋは、X_mの生起時刻とパ
   ターン認識の時刻の間の遅延に関係するパラメータであ
   り、_ｋ（τ）は、引伸ばし可能な遅延関数であり、 _ｋ（τ）によって与えられる遅延を有するX_mが前記パ
   ターン認識の一部として前記信号V_iの発生に寄与すると
   きにある値であり、寄与しないときは別のある値である
   とした場合、成分 を有し、前記装置の動作中に時間とともに減少するエネ
   ルギー関数を有することを特徴とするパターン認識装
   置。
8. 【請求項８】前記寄与するときの値は１であり、前記寄
   与しないときの値は０であることを特徴とする請求項７
   の装置。