JPH0535896A - 逐次処理型ニユーラルネツトワーク - Google Patents

Abstract

(57)【要約】 （修正有） 【目的】知識ベースを構築する間に情報内容の低いレベ
ルの入力信号を認識し、情報内容の高いレベルの出力信
号を得るためのニューラルネットワークを供給する。 【構成】１つのモジュールの第１出力および第２入力は
第２モジュールの第１入力および第２出力にそれぞれ結
合し、それぞれのモジュールが互いに異なったレベルの
情報内容を持つ第１出力信号および第２出力信号を生成
するために第１入力信号および第２入力信号の情報内容
の双方向の変換を可能にする。上方向においてはそれぞ
れのモジュールの第１低レベル入力信号は規則正しく遅
延されて一時的な空間ベクトルを生成し、低周波数の高
レベル第１出力信号が入力される情報内容を表すものと
してもたらされる。第１出力信号はより低い周波数で動
作するが第１入力信号と同様の適切な情報を含む。下方
向においては、低レベルの情報内容をもつ第２出力信号
が高レベルの情報内容をもつ第２入力信号から合成され
る。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は一般にニューラルネット
ワークに関し、さらに詳細には、各々の入力情報を表す
第１および第２出力信号をもたらすために上方向のプロ
パゲーション信号の情報を圧縮し、下方向のプロパゲー
ション信号を伸張して、それぞれのモジュールが所定の
学習および認識レベルに作られるような複数の相互接続
モジュールを有する双方向の階層的ニューラルネットワ
ークに関する。

【０００２】

【従来の技術】生物学的なニューロンはシナプスとして
知られる荷重された入力を通じて刺激に応答する単一の
神経単位である。荷重された刺激は加算され、ニューロ
ンに特有の非線形性の処理が行なわれる。ニューロンの
出力は他のニューロンのシナプスに結合することがで
き、ニューラルネットワークとして知られるニューロン
間の相互接続を形成する。ニューラルネットワークは並
列にパターン情報を学習し、認識する能力を含む特定の
所望の特性を有している。科学者達は電気的な回路によ
ってその振る舞いをエミュレートしようとするこころみ
のなかで生物学的ニューロンの効果的な性質を長い間研
究してきた。すでにあきらかにされているようにニュー
ラルネットワークのいくつかの特徴にパターンや形状の
学習、認識があげられる。ニューラルネットワークは特
定のパターンを学習させられ、その後同じパターンのゆ
がんだ複製出力からそのパターンを識別するように動作
させられる。あらかじめ定められたアルゴリズムによっ
て解法がプログラムさえた在来の信号処理技術とは異な
り、ニューラルネットワークの認識手法においては、入
力信号のサンプルを繰り返し加え、それに対する出力信
号と所望の応答とを比較して所望の応答が得られるまで
シナプスの荷重を調整するプロセスを繰り返すことによ
って学習されるものである。

【０００３】その他のニューラルネットワークの効果的
な機能は、在来のシリアル処理技術、つまりデジタル信
号処理や一般的なマイクロプロセッサベースの応用に伴
う古典的なフォン・ノイマン型のボトルネックに関係な
く実時間処理をもたらす固有の並列処理機能である。一
般的にニューラルネットワークは解法のアルゴリズムが
知られていないか、または実行が難しいばあい、もしく
は在来の処理技法では遅すぎるような応用に対して非常
に適している。あきらかなことであるが、ニューラルネ
ットワークは一般的には高度に正確な装置ではないの
で、したがってその出力にはある確率で誤った答えが存
在する。

【０００４】在来のニューラルネットワークは一般的に
あらかじめ定められた固定された構造、つまり映像パタ
ーン認識または音声認識といった特定の応用を念頭にお
いて設計されたネットワークから成り立っている。その
ようなニューラルネットワークは静止したパターンを学
習、認識し、入力信号に比較して高度な出力信号をもた
らすことにはよく動作する。しかし一時的な環境におい
て実行される空間的な入力信号に対してはたいていの場
合満足な結果を得ることはできない。さらに在来のニュ
ーラルネットワークは一般に特別な構成上のステップお
よび新しい応用のそれぞれに対して新しい学習セットが
必要とされる。そこでニューラルネットワークの変わり
やすさを制限するあらかじめ定められた高度に特別化さ
れたニューラルの構造および初期化データ組が求められ
ている。モジュール化の方法は、単一レベルのニューラ
ル層がいくつかの機能的な柔軟性を備えるように設計
し、それによっていくつかのモジュールが多様な学習お
よび認識動作をおこなうように簡単に相互に接続されう
るようにすればより望ましいものである。さらにニュー
ラルネットワークにおいては出力信号から入力信号を再
合成して、元の低いレベルの信号を再構成できることが
また望ましい。

【０００５】

【解決すべき課題】したがって、一般的な目的、双方向
の認識および合成プロセスにおいて使用される階層型自
己結合ニューラルネットワークであって、情報内容の低
いレベルを有する第１入力信号が情報内容の比較的高い
レベルの第１出力信号をもたらすものとして認識され、
反対の方向において第２の低いレベルの出力信号が第２
の高いレベルの入力信号から合成されるようなニューラ
ルネットワークが求められている。

【０００６】従って、本発明の目的はニューラルネット
ワークの技術を発展させることにある。さらに本発明の
目的は知識ベースを構築する間に情報内容の低いレベル
をもつ入力信号を認識し、情報内容の比較的に高いレベ
ルをもつ出力信号をもたらすためのニューラルネットワ
ークを供給することにある。本発明の他の目的はネット
ワークの知識ベースを通して第２の高いレベルの入力信
号から情報内容の低いレベルを有する第２の出力信号を
合成するためのニューラルネットワークを供給すること
にある。さらに本発明の他の目的は、１つのモジュール
の第１出力および第２入力がそれぞれ他のモジュールの
第１入力および第２出力に結合して、それによって知識
ベース全体を制限することなしにモジュール間の認識の
差は解像度を増加させるために減少させることが可能で
あるような、相互に接続されたモジュールの階層的な構
造を利用した双方向のニューラルネットワークを供給す
ることにある。

【０００７】

【課題を解決するための手段】上記のおよび他の目的に
したがって、第１および第２入力に加えられる第１およ
び第２入力信号に応答して第１及び第２出力において情
報内容をあらわす第１及び第２出力信号をもたらすニュ
ーラルネットワークが提供される。ニューラルネットワ
ークは第１出力信号に応答して第１入力信号の予測を表
す信号をもたらす第１回路を有する。第２回路は第１，
第２出力および第１，第２入力を含んでいる。当該第
１，第２入力は第１入力信号と第１入力信号の予測をあ
らわす信号とをそれぞれ受信し、それらの相関度を監視
するために結合されている。ここで該第１信号は低い相
関度用に第１出力にゲートされ、また第１入力信号の予
測をあらわす信号は高い相関度用に第１，第２出力にゲ
ートされている。第２回路の第２出力もまたニューラル
ネットワークの第２出力に結合している。第３回路は第
２回路からの第１出力信号を累進的に遅らせて、複数の
分岐点において空間ベクトルをもたらす。また第４回路
は第２回路の第１出力信号および第２入力信号に応答
し、第１および第２入力信号の情報内容を表す第１出力
信号を合成する。その他の状況において、本発明は複数
の直列に結合されるモジュールを含み、該モジュールは
それぞれ第１，第２入力において加えられる第１，第２
入力信号に対して応答して、情報内容をあらわす第１，
第２出力信号をもたらし、第１の複数の直列に結合され
るモジュールのうちの１つの第１出力および第２入力は
第２の複数の直列に結合されるモジュールのうちの１つ
の第１入力および第２出力にそれぞれ結合し、認識およ
び合成能力を増加させる。

【０００８】

【実施例】本発明の好適な実施例は人工神経回路網に対
するモジュール化手法であり、そこでは様々な動作を遂
行するために複数のモジュールを相互に接続することが
可能である。図１には逐次処理型人工ニューラルネット
ワーク１０が示され、それは入力２０および出力２２と
ホストコンピュータ２４との間に相互に接続されたモジ
ュール１２，１４，１６，１８含む。入力２０はモジュ
ール１２の第１入力に結合しており、モジュール１２，
１４，１６の第１出力はそれぞれ結合路２６，２８，３
０を通じてモジュール１４，１６，１８の第１入力に結
合されている。同様にモジュール１４，１６，１８の第
２出力はそれぞれ結合路３２，３４，３６を通してモジ
ュール１２，１４，１６の第２入力に結合されている。
そしてモジュール１２の第２出力は出力２２に結合して
いる。モジュール１８の第１出力は結合路４８を介して
ホストインターフェイス４６を通りホストコンピュータ
２４の第１入力に結合する。ホストコンピュータ２４の
第１出力はホストインターフェイス４６を通じてスイッ
チング回路５０の第１端子に結合する。スイッチング回
路５０の第２端子は結合路５２を介してモジュール１８
の第２入力に結合し、第３端子は結合路４８に結合して
いる。ホストコンピュータ２４はまたスイッチング回路
５０の接点の閉鎖を制御する制御入力に結合した第２出
力を含んでいる。

【０００９】モジュール１２のような１つのモジュール
の第１出力および第２入力はそれぞれモジュール１４の
ような第２のモジュールの第１入力および第２出力に結
合し、たがいに異なった情報内容のレベルを持つ第１お
よび第２出力信号を生成するためにそれぞれのモジュー
ルは第１および第２入力信号の情報内容の双方向の変換
を実現する。上方向において、それぞれのモジュールの
第１低レベル入力信号は一時的な空間ベクトルを作るた
めに規則的に遅延され、それによって低い周波数の高レ
ベル第１出力信号が入力される情報内容を表すものとし
てもたらされる。第１入力信号の空間ベクトルの要素の
個数およびそれらの間の一時的な間隔が、第１入力信号
を認識するのに用いられる履歴の量を決定し、したがっ
てモジュール内における変換をカスタマイズするための
簡単な調整をもたらす。第１出力信号は第１入力信号と
同様に適切な情報を含んでおりかつ低い周波数で動作す
るので、第１入力信号の情報内容は第１高レベル出力信
号の中に圧縮されているといわれる。

【００１０】下向きの方向では、低レベルの情報内容を
有する第２出力信号は高レベルの情報内容を有する第２
入力信号から合成される。したがって外部の「最低レベ
ル」の第１入力信号がないときでさえも、第２低レベル
出力信号は第２高レベル入力信号を与えられるモジュー
ルの知識ベースを通して合成可能である。つまり第２低
レベル出力信号はより高いレベルの第２入力信号から伸
張されるのである。理想的な動作においては第２入力信
号は第１出力信号の複製であり、第２出力信号は第１入
力信号の複製である。しかしながら、より実際的には第
２入力信号はモジュールの知識ベースから得られる第１
出力信号のもっともよい予測である。さらに１つのモジ
ュールの第１の高レベルの出力信号は次の上方向のモジ
ュールの第１の低レベルの入力信号として印加される。
ここで１つのモジュールの第２の高レベルの入力はこの
「次の上方向のモジュール」の第２の低レベルの出力信
号を受けとり、そして１つのニューラルシステムにおけ
るモジュールの数が経済的な理由から制限されていたと
しても大きな知識ベースと同様にモジュール単位の高い
解像度をもたらすモジュールの階層を生成する。

【００１１】例として音声認識や音声合成の応用を考え
うる。図２に示されるように第１入力信号Ｖ_２０は入力
２０に印加される。例えば第１入力信号は可聴音波に応
答するマイクロホンの出力電圧波形を含んでいる。ここ
で出力電圧の振幅および周波数の状態は会話の音声内容
によって変化する。もし使用者が「スタート ファース
ト シーケンス」という語をマイクロホンに向かって発
声すれば、音声は入力２０に印加される電気信号に変換
される。例えば図２の時間ｔ_１とｔ_２との間に起こる第
１入力信号の振幅と周波数の変化は「スタート」の語で
あり、時間ｔ_２とｔ_３との間ではそれは「ファースト」
の語であり、時間ｔ_３とｔ_４との間では「シーケンス」
の語である。

【００１２】装置１０は第１入力信号の周波数および振
幅の特徴を学習するように構成されており、学習された
情報の認識プロセスの結果として第１出力信号をもたら
す。図２の波形プロットのような連続した低レベルの情
報はモジュールの階層を通して学習され、認識されて最
終的には時間ｔ_１からｔ_４の間の低レベル信号の情報内
容を意味する３つの連続した高レベルの出力信号（それ
ぞれは前記３つの単語）をモジュール１８の第１出力に
おいてもたらし、ホストコンピュータがそれに含まれる
指示に従って動作することを可能にする。同様に、それ
ぞれのモジュールの第２出力は下方向にそれぞれのモジ
ュールの第２入力に接続し、知識ベースを通して第２高
レベル入力信号から第２低レベル出力信号を合成する。

【００１３】認識、合成のプロセスを図示するために、
装置１０はモジュール１２―１８に対応した１対１の対
応を持つ４つの階層分類に分割されている。それぞれの
分類内で、情報の内容のレベルはその前の分類よりも増
大し、その上のレベルとなる。例えば第１入力信号の振
幅および周波数の変化はモジュール１２を通して原始的
な音を表す信号へと変換される。しかしながら母音や子
音として認識可能ではない。モジュール１２を参照し
て、図２の波形プロットにおいて第１低レベル入力信号
および原始音を表した信号は比較して高レベルの情報内
容を持つ第２出力信号であると考えられる。同様に原始
音を表す信号はモジュール１４を通して音素を表す信号
（ここでは母音と子音の認識可能）へと変換される。モ
ジュール１４において原始音を表す信号は第１低レベル
入力信号であり、音素を表す信号は第１高レベル出力信
号である。上方向へのプロパゲーションを継続して、音
素の信号はモジュール１６を通って音節信号へと変換さ
れ、音節の信号はモジュール１８を通って単語を表す信
号に変換される。ゆえにモジュールの階層は１つのモジ
ュールの第１高レベル出力信号が次のモジュールの第１
低レベル入力に印加されて、連続的にそれ以前のモジュ
ールよりも高レベルの認識、識別をもたらすように構成
される。好適な実施例においてはモジュール１２は最下
位のレベルであり、モジュール１８は最高位のレベルで
ある。

【００１４】あるレベルの情報つまり音節の信号を他の
レベルの情報つまり単語の信号に変換するプロセスは１
つのモジュール（この場合はモジュール１８）の中に学
習され、保存されている。したがって１つのモジュール
があるレベルの情報変換の役割に割り当てられると、追
加のモジュールを付け足すことが可能であり、前記の分
類はさらに分割することができる。これによりレベル間
の認識の格差が減少し、したがってその間の解像度およ
び識別能力は増大する。

【００１５】図３を参照して、ここにモジュール１２が
詳細に図示されている。モジュール１２の第１入力、つ
まり入力２０はコンフィデンス層６０の第１入力に結合
している。コンフィデンス層６０の第１出力は遅延回路
６２の入力に結合し、フューチュアマップ６４の第１入
力に、結合路６１を通して結合している。同様に遅延回
路６２の出力は遅延回路６６の入力に結合し、結合路６
３を通してフューチュアマップ６４の第２入力に結合し
ている。一方遅延回路６６の出力は遅延回路６８の入力
に結合し、結合路６７を通してフューチュアマップ６４
の第３入力に結合している。遅延回路６８の出力は結合
路６９を通してフューチュアマップ６４の第４入力に結
合している。さらにモジュール１２の第２入力は結合路
３２を通してフューチュアマップ６４の第５入力に結合
している。フューチュアマップ６４の第１出力はモジュ
ール１２の第１出力つまり結合路２６に結合しており、
フューチュアマップ６４の第２出力は出力ニューロン７
０を通してコンフィデンス層６０の第２入力に結合して
いる。コンフィデンス層６０の第２出力は出力２２に結
合し、コンフィデンス層６０の第３出力は結合路１２８
を通してフューチュアマップ６４に結合される。

【００１６】図３のブロックダイアグラムのより詳しい
説明をする前に、装置１０の基礎となる構成要素つまり
単一のニューロンの説明をしたほうが発明の理解にとっ
てより有益であろう。ニューロン９０のよく知られたブ
ロックダイアグラムが図４Ａに示されている。ニューロ
ン９０は入力９２，９４，９６を持ち、これらはそれぞ
れシナプス９８，１００，１０２の入力に結合されてお
り、シナプスの出力は加算接合１０４に結合している。
シナプス９８，１００，１０２は荷重回路であり、入力
に与えられる信号はそれらの間の相対荷重に応じて減衰
させられるか、変化なしに通過するか、増幅させられる
かの処理がされる。したがって、入力９２，９４，９６
に加えられる信号はシナプス９８，１００．１０２を通
して荷重され、一般にあらかじめ定められた非線形の加
算接合１０４の動作によって処理される。図４ｂを参照
して、ニューロン１０８はニューロン９０と同等の機能
を持つものとして表されている。入力１１０，１１２，
１１４に与えられる信号はそれぞれシナプス１１６，１
１８，１２０を通して荷重され、加算接合１２２の非線
形動作を通して処理され、出力結合部１２４を流れる。
加算接合１２２は、例えば在来の加算演算増輻器として
設定された正または負のオペアンプによって実現され
る。さらに結合路１２４はシナプス１１６，１１８，１
２０に結合し、発振器１２６および結合路１２８はニュ
ーロン１０８に結合し、それぞれが学習プロセスにおい
て助けとなる入力をもたらす。結合路１２８を流れる信
号はコンフィデンス層６０から供給され、モジュール１
２に対する第１入力信号の斬新度の表示をもたらす。発
振器１２６の出力信号はニューロン１０８の学習率を決
定し、結合路１２４からの横方向のフィードバックは高
活動出力のための学習を可能にする。これらの信号に関
するさらなる議論はこの後にされる。

【００１７】あきらかに図４ｂにおけるシナプス１１６
は非許容性のものとして表されており、シナプス１１
８，１２０は許容性のものとして表されている。許容性
のシナプスは四角形で、非許容性のシナプスは丸で示さ
れている。これらの区別は荷重によって行なわれる。非
許容性のシナプスは固定された荷重をもつもの、つまり
抵抗器として実現される。一方許容性のシナプスの荷重
は調整可能であり、一般的にはそれらに関連したいくつ
かの不揮発性のメモリを有している。必然的に許容性の
シナプスは一般に学習プロセスの基礎となるだけより複
雑である。図４ｂに示されたニューロン１０８は以下で
多くのニューロンを含む図を単純化するために装置１０
の基本構成要素として用いられる。

【００１８】図５ａを参照すると、非許容性のシナプス
１１６は入力１１０と加算接合１２２の間に結合された
抵抗器１３０を含んで示されている。またそれとは別に
許容性シナプス１１８は図５ｂに入力１１２に結合した
ドレインおよび加算接合１２２の１つの入力に結合され
たソースを有するトランジスタ１３２を含んで示され
る。トランジスタ１３２のゲートはスケーリング回路１
３４を通してコンパレータ１３６の第１（負）入力に結
合している。一方トランジスタ１３２のドレインはコン
パレータ１３６の第２（正）入力に結合している。コン
パレータ１３６の出力はスイッチング回路１３８の制御
入力に結合し、インバータ１３９を通してスイッチング
回路１４０の制御入力に結合している。スイッチング回
路１３８および１４０の結合路は電源結合路１４２と１
４４との間に結合されており、スイッチング回路１４６
の結合路はスイッチング回路１３８および１４０の中間
結合路とトランジスタ１４８のゲートとの間に結合され
ている。ここでトランジスタ１４８は不揮発性メモリを
保持するための浮動ゲートを含んでいる。トランジスタ
１４８のソースは電源結合路１５０に結合しており、一
般には大地電位で動作させられる。またトランジスタ１
４８のドレインはトランジスタ１３２のゲートおよびダ
イオード接続されたトランジスタ１５２のソースに結合
している。トランジスタ１５２のドレインおよびゲート
は共に電源結合路１５４に結合し、一般には正電位Ｖ
_ＤＤで動作させられる。スイッチング回路１５６は発振
器１２６とスイッチング回路１４６との間にそれぞれ結
合された第１，第２結合端子を有している。さらにマル
チプライヤ１５８の第１，第２入力は結合路１２８およ
びニューロン１０８の出力結合路１２４にそれぞれ結合
している。それ自体の出力は図５ｂに示されるようにス
イッチング回路１５６の制御入力に結合されている。シ
ナプス１２０はシナプス１１８と同じ構造および同じ動
作を踏襲している。入力１１２に加えられる信号はゲー
トの電位によって決定せられるトランジスタ１３２のド
レイン・ソース間インピーダンスを通して荷重され、ゲ
ート電位はスケーリング回路１３４を通じて、コンパレ
ータ１３６の第１入力と第２入力とにそれぞれ印加され
るゲート電位とドレイン電位との間の電位差を満足でき
るレベルに調整するためにスケーリングされる。もしト
ランジスタ１３２のドレインにおける電圧がスケーリン
グされたゲート電圧を越えるとコンパレータ１３６の出
力信号は高くなりスイッチング回路１３８を閉鎖する。
同じ出力信号はインバータ１３９を通して反転され、ス
イッチング回路１４０を開く。また反対に、トランジス
タ１３２のドレインにおける電圧がスケーリングされた
ゲート電圧よりも下になった場合、コンパレータ１３６
の出力信号は低くなりスイッチング回路１３８を開き、
スイッチング回路１４０をインバータ１３９を通して再
び閉鎖する。電源結合路１４２，１４４に印加される電
位はトランジスタ１４８の浮動ゲートの電荷を変化させ
るのに十分な大きさであり、一般に＋２０Ｖ，−２０Ｖ
の値をもつ。したがってコンパレータ１３６の出力状態
は＋２０Ｖまたは−２０Ｖいずれかの値を取り、スイッ
チング回路１４６を通してトランジスタ１４８のゲート
に印加される。

【００１９】スイッチング回路１４６の制御入力はスイ
ッチング回路１５６の結合路を通って発振器１２６に結
合しており、この発振器１２６はあらかじめ定められた
周波数のパルス列をもたらす。スイッチング回路１５６
の制御入力はマルチプライヤ１５８の出力信号に応答
し、マルチプライヤ１５８の第１，第２入力はそれぞれ
結合路１２４および１２８に結合している。前述のよう
に結合路１２８を流れる信号はコンフィデンス層６０か
ら供給され、モジュール１２に対する第１入力信号の新
規度の指標をもたらす。例えば結合路１２８を流れる高
い信号は、入力信号が新規なものでモジュール１２にと
って「未知」のものであるという「新規状態」を表して
いる。逆に結合路１２８を流れる低い信号は、第１入力
信号がモジュール１２にとって「既知」のものであると
いう「コンフィデンス状態」を表す。「新規状態」およ
び「コンフィデンス状態」については文章変換コンフィ
デンス層６０においてさらに説明される。もし結合路１
２４，１２８流れる信号がに「高い」ならば、ここで結
合路１２８を流れる信号が「高い」とはニューロン１０
８の荷重入力信号の非線形加算が「高い」ことを指示し
ているが、スイッチング回路１５６の制御入力は、これ
らの信号の積が制御スレッショルドを越えたとして能動
になる。別の言い方をすれば、シナプス１１８は次の場
合に学習することが許されている。 （１）ニューロン１０８の出力信号が能動であり、第１
入力における第１入力信号の振幅および周波数の特性に
対して応答していることを表示している。 そして （２）コンフィデンス層６０が第１入力信号において学
習すべき未知の情報が存在することを示している「新規
状態」を伝達しているとき。 コンフィデンス層の「新規状態」およびニューロン１０
８の「高い」出力信号が与えられるとスイッチング回路
１５６は導通状態になり、発振器１２６の出力信号の周
波数によって定められた間隔でスイッチング回路１４６
を開閉し、コンパレータ１３６の出力信号にしたがって
トランジスタ１４８の浮動ゲートに対して＋２０Ｖと−
２０Ｖのパルスを加える。このパルスのデューティーサ
イクルは１個の単一パルスではトランジスタ１４８の導
電に十分ではないという理由から必要である。しかしな
がら当該デューティーサイクルが終了しても、トランジ
スタ１４８のドレインにおける電位がトランジスタ１３
２のゲート電圧を制御して、トランジスタ１３２のドレ
イン・ソース伝導路を流れる信号をそのような信号が存
在するときのように荷重するので学習は継統する。トラ
ンジスタ１３２のゲートにおける電圧はそのドレインに
印加される信号と平衡するように変化して、コンパレー
タ１３６の第１入力と第２入力との電位差は０に減少す
る。したがって許容性シナプス１１８はトランジスタ１
３２のドレインにおいて印加される第１入力信号の周波
数および振幅特性を学習し、トランジスタ１４８の浮動
ゲート上の電荷として情報を蓄積し、そのような特性を
もつ入力信号に好適な荷重がもたらされる。学習率は、
典型的には１００ＫＨｚである発振器１２６の出力信号
の周波数を通して決定される。しかしながら、学習率は
印加される様々な入力信号に対するニューロン１０８の
フィルタリング動作を決定するシナプス荷重との組み合
わせで決定される。結合路１２４，１２８を流れる「低
い」信号は、マルチプライヤ１５８の出力信号を「低
い」状態にし、スイッチング回路１５６を開き、スイッ
チング回路１４６の周期的な開閉を阻止する。そして、
これに対応して学習プロセスはトランジスタ１３２のシ
ナプス荷重の現在の値を保持する。

【００２０】加算接合１２２の非線形性は図６にシグモ
イド関数として示されている。入力１１０，１１２，１
１４に印加された信号（Ｖ_１１０，Ｖ_１１２，
Ｖ_１１４）はシナプス１１６，１１８，１２０のシナプ
ス荷重（Ｗ_１１６，Ｗ_１１８，Ｗ_１２０）を通して荷重
され、加算接合１２２の入力にそれぞれ印加される。Ｗ
_１１６Ｖ_１１０＋Ｗ_１１８Ｖ_１１２＋Ｗ_１２０Ｖ_１１４
の合計は図６のように結合路１２４に流れる出力信号Ｖ
_１２４を決定する。入力信号がないときには出力信号は
０であり、合計の正および負における最大値も示されて
いる。

【００２１】典型的なニューロンの構成要素が開示され
たところで、議論は図３に戻り図７に詳細に示されたコ
ンフィデンス層６０を共に参照して説明を続ける。入力
２０はコンフィデンス層６０の第１入力を通して利得調
整可能な増幅器１７０の入力に結合している。増幅器１
７０の出力はニューロン１７４の第１許容性シナプスに
結合している。ニューロン１７４の出力は遅延回路６２
の入力である結合路６１に結合している。出力ニューロ
ン７０の出力は利得調整可能な増幅器１７５の入力に結
合しており、増幅器１７５の出力は出力２２およびニュ
ーロン１７４の第２非許容性シナプスに結合している。
利得調整可能な増幅器１７０，１７５の入力はニューロ
ン１７６の第１，第２非許容性シナプスに結合してお
り、ニューロン１７６の出力は時間平均回路１７８の入
力に結合している。典型的にはニューロン１７６の第
１，第２非許容性シナプスの出力値は大きさにおいては
等しく、符号は反対である。負の値のシナプスは例えば
抵抗器１３０の出力端子を後述する加算接合のオペアン
プの負入力に接続することによって実現される。時間平
均回路１７８の出力はニューロン１８０の第１非許容性
シナプスに結合され、ニューロン１８０の出力は利得調
整可能な増幅器１７０の制御入力およびニューロン１８
２の第１非許容性シナプスに結合している。ニューロン
１８２の出力は利得調整可能な増幅器１７５の制御入力
およびニューロン１８０の第２非許容性シナプスに結合
している。典型的にはニューロン１８０の第２シナプス
およびニューロン１８２の第１シナプスは負の値をも
つ。ニューロン１８２の第２非許容性シナプスの入力１
８４においてバイアス電圧が印加されている。ニューロ
ン１８０の出力もまたニューロン１０８について解説し
たようにフューチュアマップ６４の許容性シナプスに結
合路１２８を通して結合している。ニューロン１７６は
入力２０に印加される第１入力信号と後述されるような
第１入力信号の予測である出力ニューロン７０からもた
らされる信号とを監視することによって比較回路として
動作し、ここでニューロン１７６の出力信号は第１入力
信号と出力ニューロンの出力信号であるところの合成さ
れた第２出力信号との相関度である。

【００２２】本発明の１つの目的がある時間内に第１入
力信号を認識し、その情報内容を表す出力信号をもたら
すことだったことを思い出して欲しい。一連の命令の始
まり、つまり図２の一連の命令語中の「スタート」の単
語は即座には認識されず、出力ニューロンの合成された
出力信号は第１入力信号との関連性がない。したがって
利得調整可能な増幅器１７０，１７５の入力信号は互い
に追従しない。ニューロン１７６の出力信号はおそらく
高い周波数の０でない値を、第１入力信号の周波数に依
存して生成しようとする。時間平均回路１７８はその出
力においてニューロン１８０の第１シナプスに印加され
る動作時間平均を保持するように働く。ある時間の間、
時間平均回路１７８の出力信号は、第１入力信号と出力
ニューロン７０の合成された出力信号との間の低い相関
度のために「高い」レベルにまで増大する。

【００２３】ニューロン１８０とニューロン１８２との
組み合わせはヒステリシスを持つフリップ・フロップ回
路のように動作する。もしニューロン１８０，１８２の
第１，第２シナプスが同じ大きさの荷重を割当られてい
ると、時間平均回路１７８の出力信号が所定の値、つま
り図８のＶ_ｍａｘを越えたときニューロン１８０の出力
信号はニューロン１８２の第２シナプスに入力１８４に
おいて印加されるバイアス電圧以上の「高い」信号に切
り替わる。ニューロン１８０の「高い」出力信号はその
第２シナプスを通してニューロン１８２の出力信号を低
く保つ。さらにニューロン１８２の出力信号は十分に低
くニューロン１８０の第１シナプスに印加される「高
い」信号を越えることはない。

【００２４】ニューロン１８０の「高い」出力信号は利
得調整可能な増幅器１７０を能動にし、一方ニューロン
１８２の「低い」出力信号は利得調整可能な増幅器１７
５を非能動にする。このことがコンフィデンス層６０の
「新規状態」を定義する。つまり利得調整可能な増幅器
１７０およびニューロン１７４、また同様に遅延回路６
２，６６，６８を通ってフューチュアマップ６４に流れ
込む第１入力信号によって「新規状態」は認識され、必
ず学習される。これについては後述されるシナプス１１
８の動作を参照していただきたい。

【００２５】一度フューチュアマップ６４内において第
１入力信号の振幅および周波数の振る舞いが認識される
と、出力ニューロン７０の出力信号は第１入力信号の追
従を開始し、よってこれら２つの信号の間に高い相関度
をもたらしニューロン１７６の出力信号を０に減少さ
せ、モジュール１２が第１入力信号の高い予測可能性を
もたらしていることを示す。再びある時間の間、時間平
均回路１７８の出力信号は０に向かって減少し、所定の
レベル（図８におけるＶ_ｍｉｎ）まで落下するとニュー
ロン１８０の出力信号は「低い」状態に切り替わり、ニ
ューロン１８２の出力信号が「高い」状態に切り替わる
ことを可能にし、よって利得調整可能な増幅器１７０を
非能動にし、増幅器１７５を能動にする。出力ニューロ
ン７０の出力信号はそのとき出力２２を通り抜けてスピ
ーカーのような出力装置（図示せず）に到達可能であ
る。したがって出力ニューロン７０の出力信号は第１入
力信号の高い予測可能性をもたらしており、利得調整可
能な増幅器１７５の出力信号はニューロン１７４の第２
非許容性入力に印加され、第１入力信号の予測をフュー
チュアマップ６４に供給しつづけ、利得調整可能な増幅
器１７０を通る結合路は非能動になる。出力２２を流れ
る信号は、少なくともコンフィデンス層６０が「コンフ
ィデンス状態」を示している間は第１入力信号との高い
関連性を保っている。したがってモジュール１２の第２
出力信号は第１入力信号の複製として合成される。

【００２６】出力ニューロン７０の出力信号が第１入力
信号を追従している間、フューチュアマップ６４は第１
入力信号の次の状態を予測し続けることが可能である。
この機能はたとえ実際には第１入力信号がノイズの存在
によって劣化していようとも第１入力信号の既知のパタ
ーンを認識する能力をもたらすための鍵である。「コン
フィデンス状態」において１回は例えば単語「スター
ト」の「ス」の語を表す第１入力信号のパターンがノイ
ズの多い入力信号の代わりに認識されうるだろう。時間
平均回路１７８はニューロン１７６の出力信号における
瞬間的な変化をフィルタリングし、フューチュアマップ
６４が可能な限り長く予測を続けることを可能にする。
しかしながら、もし出力ニューロン７０の出力信号があ
る時間の間第１入力信号から逸脱しつづけると、再び
「新規状態」がニューロン１７６から宣言される。

【００２７】時間平均回路１７８の時定数はコンフィデ
ンス層６０の「新規状態」と「コンフィデンス状態」と
の間の切り替え頻度を制限し、したがって時定数は第１
入力信号の最大に見積られた周波数成分したがって定め
られている。例えば時間平均回路１７８の時定数は入力
２０に印加される音響的な入力信号で最大２０ＫＨｚの
周波数を持つものに対しては１００マイクロ秒に設定さ
れる。時間平均回路１７８の出力信号Ｖ_１７８の波形プ
ロットおよびニューロン１８０の出力信号Ｖ_１８０が図
８に示されている。時刻ｔ_０において出力ニューロン７
０の出力信号は第１入力信号を追従しており、コンフィ
デンス層６０は「コンフィデンス状態」を示している。
時刻ｔ_１において、第１入力信号はおそらく次の単語の
始まり、つまり図２の一連の命令中の「ファースト」に
関連して、その振る舞いが変化している。そのすぐ後で
信号Ｖ_１７８はＶ_ｍａｘのスレッショルドを越えて、信
号Ｖ_１８０は「新規状態」に切り替わるがフューチュア
マップ６４はまだ第１入力信号の新しい振幅および周波
数の特性を認識していない。時刻ｔ_２において、信号Ｖ
１７８はＶ_ｍａｘスレッショルド以下に落ちているが、
出力信号はニューロン１８０および１８２のヒステリシ
スのために時刻ｔ_３まで状態が変化しない。時刻ｔ３に
おいて出力ニューロン７０の出力信号は第１入力信号に
追従し、つまり第１入力信号はフィーチュアマップ６４
を通じて認識され、ニューロン１７６の出力信号を「低
い」状態にし、信号Ｖ１７８を減少させて、コンフィデ
ンス層６０を「コンフィデンス状態」にする。

【００２８】図３についての説明を続ける。コンフィデ
ンス層６０の第１出力においてもたらされる信号は第１
入力信号の空間ベクトルをもたらすために遅延回路６
２，６６，６８を通じて規則正しく遅延され、ここでそ
れぞれの遅延された信号は連続的な時間における後の例
において第１入力信号の値に等しい。例えば一定で等し
い遅延、「ｔ_ｄ」秒を仮定すると、遅延回路６２，６
６，６８の出力信号はそれぞれＶ６０（ｔ_０−ｔ_ｄ），
Ｖ_６０（ｔ_０−２ｔ_ｄ），Ｖ６０（ｔ_０−３ｔ_ｄ）であ
り、ここでＶ６０（ｔ_０）は時間遅れのない値である。
従って、要素Ｖ６０（ｔ_０），Ｖ６０（ｔ_０−ｔ_ｄ），
Ｖ６０（ｔ_０−２ｔ_ｄ），Ｖ６０（ｔ_０−３ｔ_ｄ）から
成る空間ベクトルが結合路６１，６３，６７，６９を介
して、フィーチュアマップ６４の第１、第２、第３、第
４入力にそれぞれ与えられる。実際には空間ベクトルの
長さは遅延回路を追加することによって一般にかなり長
く、つまり２０かそれ以上に作られ、よって第１入力信
号の標本空間を増加させる。典型的には最大周波数２０
ｋＨｚを持つ音声データを処理するための遅延時間ｔ_ｄ
は１０マイクロ秒である。

【００２９】図９を参照して、ここにはフィーチュアマ
ップ６４と出力ニューロン７０が詳細に示されており、
信号Ｖ６０（ｔ_０）を受信するために結合路６１に結合
された第１許容性シナプスをそれぞれ有するニューロン
１９０，１９２，１９４，１９６，１９８，２００，２
０２，２０４，２０６，２０８，２１０，２１２，２１
４，２１６，２１８，２２０（以下１９０−２２０）に
結合し、結合路６７はニューロン１９０−２２０の第３
の許容性シナプスに結合し、結合路６９はニューロン１
９０−２２０の第４の許容性シナプスに結合する。ニュ
ーロン１９０，１９２，１９４，１９６の出力はゾーン
センサニューロン２２２の第１，第２，第３，第４非許
容性シナプスにそれぞれ結合している。さらにニューロ
ン２０６，２０８，２１０，２１２の出力はゾーンセン
サニューロン２２６の第１，第２，第３，第４非許容性
シナプスにそれぞれ結合し、ニューロン２１４，２１
６，２１８，２２０の出力はゾーンセンサニューロン２
２８の第１，第２，第３，第４非許容性シナプスにそれ
ぞれ結合している。ゾーンセンサニューロン２２，２２
４，２２６，２２８（以下２２２−２２８）の非許容性
シナプスは典型的には荷重が等しい。結合路２６および
３２はそれぞれ４つの回線を有し、ゾーンセンサニュー
ロン２２２−２２８の出力は結合路２６の４つの回線に
結合している。ここで上述の空間ベクトルの情報内容を
表す出力信号の認識がニューロン１９０−２２０の出力
においてもたらされ、ゾーンセンサニューロン２２２−
２２９の使用は必然ではないことが理解されうるだろ
う。しかしながら実際にはゾーンセンサニューロン２２
２−２２８の使用は、ニューロン１９０−２２０のきわ
めて多数の出力信号を結合し、モジュール間のインター
フェイスを簡単化するという点で望ましい。

【００３０】ニューロン１９０−２２０の１６の出力は
図示されるように出力ニューロン７０の１６の許容性シ
ナプスに結合しており、それぞれの荷重は結合路６１と
同じく対応するニューロン１９０−２２０の許容性シナ
プスに等しい。出力ニューロン７０の出力信号の大きさ
はニューロン１９０−２２０の出力信号の荷重和に比例
しており、したがって、出力ニューロン７０の出力信号
は結合路６１を流れる信号の予測である。最大の強度を
持つニューロン１９０−２２０のこれらの出力信号はも
っとも活性なニューロンの一群によって駆動される許容
性の荷重と共にニューロン７０の出力における予測を決
定する。ゆえに出力ニューロン７０の許容性シナプスは
遅延なしの結合路６１に結合されたニューロン１９０−
２２０の許容性シナプスと一致し、出力ニューロン７０
の出力信号はフィーチュアマップ６４の知識ベースによ
って決定されるように第１入力信号の予測である。出力
ニューロン７０の出力はコンフィデンス層６０の第２入
力に結合している。

【００３１】結合路３２の４つの回線はゾーンエフェク
タニューロン２３０，２３２，２３４，２３６の非許容
性シナプスに結合し、ゾーンエフェクタニューロンの４
つの出力はニューロン１９０−１９６，１９８−２０
４，２０６−２１２，２１４−２２０の非許容性シナプ
スにそれぞれ結合している。ゾーンエフェクタニューロ
ン２３０−２３６の非許容性シナプスは一般にはその荷
重は全て等しい。

【００３２】さらにニューロン１９０−２２０の出力は
それぞれのニューロンの１つの非許容性シナプスに結合
されており、そのなかの１つを例として図９に示す。ニ
ューロン１９８の出力はニューロン１９０−２２０おの
おのの非許容性シナプスの１つに結合している。同様に
ニューロン２００の出力もニューロン１９０−２２０の
非許容性シナプスに結合している（図示せず）。他も同
様である。したがって、それぞれのニューロンは空間ベ
クトル中の要素の数と同じだけの数の許容性シナプス
（本実施例においては４個）と、フィールド内のニュー
ロンの数の合計にゾーンエフェクタニューロンに関連す
る１つを加えた数に等しい数の非許容性ニューロン（本
実施例では１７個）とを含む。フィールド内の他のニュ
ーロンの出力に結合したフィールド内のそれぞれのニュ
ーロンの非許容性のシナプスに割り合てられた荷重は、
個々のニューロン内における許容性シナプスの結合荷重
を表した図１０のグラフに従う。ニューロン１９０−２
３６の構築および操作はニューロン１０８の例に従う。

【００３３】１つのニューロンが、例えばニューロン１
９８が、第１入力信号の詳細な特性、つまり与えられた
時間のなかで第１レベルから第２レベルヘの振幅の変化
を定義する仕事のために割り合てられる。ニューロン１
９８は一般に第１入力信号の他の緊密に関連した特性を
定義する他のニューロンたとえばニューロン２００−２
０４と１つのグループにされ、またそのようなものが非
常に接近したものとして考えられ、又は等価のニューロ
ン１９８の論理的近傍として考えられている。また逆に
ニューロン１９０−１９６のような他のニューロンはニ
ューロン１９８−２０４のそれとは非常に異なった第１
入力信号の特性を定義することができる。したがって図
１０によるとニューロン１９８−２０４の出力に結合さ
れたニューロン１９８の非許容性シナプスの荷重は高い
値、つまりシナプス１１６の抵抗器１３０が低いインピ
ーダンスを持つ、ように設定され、論理的な意味でより
遠いニューロン、つまりニューロン１９０−１９６のよ
うなニューロンの出力に結合したニューロン１９８の非
許容性のシナプスは図１０によると低い値に設定され
る。最終的にもっとも遠いニューロン、つまりニューロ
ン２１４−２２０のようなニューロンの出力に結合され
たニューロン１９８の非許容性のシナプスは小さな、お
そらく負の値が割り合てられる。

【００３４】上述の認識特性をもたらすニューロン１９
８のフィルタリング動作をよりよく理解するために、フ
ューチュアマップ６４に演繹的な知識が蓄えられていな
いような簡単なトレーニング例を考える。ニューロン１
９０−２２０の許容性のシナプス荷重はニューロンネッ
トワークの技術において既知の一般的初期化ステップを
もって、無作為な任意の値にされる。入力２０に印加さ
れる第１入力信号は「ｔ_ｄ」秒ごとに＋１と−１の値を
交互に変化する。演繹的な知識を持たないために、コン
フィデンス層６０は「新規状態」に切り替わり、フィー
チュアマップ６４はパターン学習することが可能にな
る。遅延回路６２，６６，６８は簡単のために空間ベク
トル［１，−１，１，−１］を生成するような「ｔ_ｄ」
秒の遅延時間が設定される。ニューロン１９８の許容性
シナプスが最初に偶然にも第１入力信号のパターン
［１，−１，１，−１］に最も近く無作為化され、それ
ゆえにその出力において最高の活性度をもたらしニュー
ロン１９８がさらにパターンの学習を行うように励起す
ると仮定して許容性シナプスのトレーニングの議論を行
う。第１入力信号が数多く通過した後、ニューロン１９
８の許容性シナプスの荷重は［１，−１，１，−１］の
値へと変化し、与えられた時間の間で第１入力信号の特
性に適合する。第１入力信号は学習され、結果ニューロ
ン１９８はそのようなパターンを認識する能力を持っ
た。さらに他のニューロンたとえばニューロン２００は
第１入力信号のパターン［１，１，１，−１］を学習し
たと仮定しよう。

【００３５】一連の第１入力信号［１，−１，１，−
１］は入力２０に印加され、結果としてニューロン１９
０−２２０の許容性シナプスへと印加される。ニューロ
ン２００の出力信号Ｖ_２００は以下に等しい。

【００３６】Ｖ_２００＝Ｓ（Ｗ_{２００．１}Ｖ_６１＋Ｗ
_{２００．２}Ｖ_６３＋Ｗ_{２００．３}Ｖ_６７＋Ｗ_{２００．４}
Ｖ_６９） ＝Ｓ（（１）（１）＋（１）（−１）＋（１）（１）＋
（−１）（−１）） ＝Ｓ（２）

【００３７】ここでＳ（ ）はニューロン２００の非線
形伝達関数（シグモイド）である。 Ｗ_{２００．１}はニューロン２００の第１許容性シナプス
の値である。 Ｗ_{２００．２}はニューロン２００の第２許容性シナプス
の値である。 Ｗ_{２００．３}はニューロン２００の第３許容性シナプス
の値である。 Ｗ_{２００．４}はニューロン２０Ｏの第４許容性シナプス
の値である。 Ｖ_６１は結合路６１を流れる信号の値である。 Ｖ_６３は結合路６３を流れる信号の値である。 Ｖ_６７は結合路６７を流れる信号の値である。 Ｖ_６９は結合路６９を流れる信号の値である。

【００３８】ニューロン１９８の出力信号Ｖ_１９８は次
に等しい。

【００３９】Ｖ_１９８＝Ｓ（Ｗ_{１９８．１}Ｖ_６１＋Ｗ
_{１９８．２}Ｖ_６３＋Ｗ_{１９８．３}Ｖ_６７＋Ｗ_{１９８．４}
Ｖ_６９） ＝Ｓ（（１）（１）＋（−１）（−１）＋（１）（１）
＋（−１）（−１）） ＝Ｓ（４）

【００４０】ここでＷ_{１９８．１}はニューロン１９８の
第１許容性シナプスの値である。 Ｗ_{１９８．２}はニューロン１９８の第２許容性シナプス
の値である。 Ｗ_{１９８．３}はニューロン１９８の第３許容性シナプス
の値である。 Ｗ_{１９８．４}はニューロン１９８の第４許容性シナプス
の値である。

【００４１】式（１）と式（２）とを比較すると、図６
のシグモイド関数においてはＳ（４）の値はＳ（２）の
価よりも大きいことが読み取れる。したがってニューロ
ン１９８は競合に勝ち、上述の第１入力信号の特性が定
義される。一般に最も大きい出力信号を持つニューロン
またはニューロン群は入力空間ベクトル間の競合に勝つ
と考えられ、それによって第１入力信号の標本空間は第
１入力信号よりも高いレベルの情報内容を有する第１出
力信号の中へ圧縮される。ある時間にわたって低いレベ
ルの入力信号を標本化し、同時にそれを表現するベクト
ルを生成することによって勝利ニューロン、本実施例に
おいてはニューロン１９８、第１入力信号の標本空間に
含まれるものと同じように適切な情報を含んでいる。変
換は第１入力信号を複数回標本化することによって形成
された空間ベクトルを通じて部分的に可能である。それ
によってフューチュアマップ６４のニューロンは第１入
力信号を所定の一時的な標本空間において監視すること
ができ、個々のニューロンの許容性シナプスに蓄えられ
た知識に基づく最適の予測の表示に実時間で応答する第
１出力信号をもたらす。実際にはフューチュアマップ６
４は図９に示されるよりもより多くのニューロン、より
多くの許容性シナプス、非許容性シナプスを含むことは
理解されうるだろう。そして空間ベクトルは一般に前述
の実施例よりもかなり長い。しかしながら、より多くを
含むシステムもここで説明されたのと同じ基本的な接続
および操作にしたがう。ゾーンエフェクタニューロン２
３０−２３６およびニューロン１９８の非許容性シナプ
スに印加されるニューロン１９０−１９６，２００−２
２０の出力信号の寄与は実施例を簡単にするために一時
的に無視した。実際にはゾーンエフェクタニューロン２
３０−２３６はニューロン１９０−２２０をモジュール
１４から第２高レベル入力信号を通し、対応する非許容
性のシナプスを通してバイアスし、非許容性のシナプス
はニューロン１９０−２２０に対応する出力に結合され
る。ここでニューロン１９０−２２０の出力の荷重はニ
ューロンが競合に勝つのを助けようとするフィードバッ
ク信号をもたらし、勝利ニューロンを中心とする活性度
の泡を生成するように図１０に従って設定される。

【００４２】ここで遅延回路６２−６８の１つの重要な
機能が、複数の時間軸において第１入力信号の標本空間
をもたらすことであることが理解されるに違いない。空
間ベクトルを通して、フューチュアマップ６４のニュー
ロンは第１入力信号によってもたらされる情報をより低
い動作周波数で同等に適切な情報のみを含む第１出力信
号に圧縮する。標本空間のパターン安定性の平均間隔は
一般に特殊なより長いパターン安定性の平均間隔を持つ
連続した出力パターンに圧縮される。つまり第１出力信
号は高いレベルの情報内容を持つと言われる。したがっ
て結合路２６を通ってモジュール１４の第１入力に向か
って流れるモジュール１２の第１出力信号は空間ベクト
ルの標本空間において第１入力信号から生成される原始
音を表しており、空間ベクトルは第１入力信号からの新
しい情報によって連続して更新されているので入力２０
に印加される第１入力信号よりも低い周波数で動作する
にもかかわらず、モジュール１２の出力信号はモジュー
ル１４に対しての第１入力信号である。

【００４３】図１１を参照して、上述のモジュール１２
と類似した構造を持つモジュール１４が詳細に示されて
いるが、これはいくつかの重要な特徴を含んでいる。モ
ジュール１２の第１出力はフィーチュアマップ６４から
の４つの回線を有する結合路２６を通してモジュール１
４の第１入力ヘと結合され、モジュール１４の第１入力
はまたコンフィデンス層２４０の第１入力へと結合して
いる。コンフィデンス層２４０は４つの独立した回線を
処理しているので、その第１出力も４つの回線を持ち、
それぞれの回線は遅延回路２４２，２４４，２４６，２
４８の入力および結合路２５２，２５４，２５６，２５
８を通してフューチュアマップ２５０に結合している。
同様に遅延回路２４２，２４４，２４６，２４８の出力
は遅延回路２６０，２６２，２６４，２６６の入力及び
結合路２６８，２７０，２７２，２７４を通してフュー
チュアマップ２５０に結合し、遅延回路２６０，２６
２，２６４，２６６の出力は遅延回路２７６，２７８，
２８０，２８２の入力および結合路２８４，２８６，２
８８，３００を通してフューチュアマップ２５０にそれ
ぞれ結合している。遅延回路２７６，２７８，２８０，
２８２の出力は結合路３０２，３０４，３０６，３０８
を通してフューチュアマップ２５０に結合している。

【００４４】コンフィデンス層２４０の構成図が図１２
に４つの類似した回線を有して示されている。これらの
回線の１つは図７に示されており、図７の説明文で完全
に説明されている。結合路２６の第１回線は利得制御可
能な増幅器３１２の入力に結合し、増幅器３１２の出力
はニューロン３１４の第１の非許容性シナプスに結合す
る。ニューロン３１４の出力は遅延回路２４２の入力、
つまり結合路２５２に結合し、そして出力ニューロン３
１０の第１出力は利得制御可能な増幅器３１６の入力に
結合する。増幅器３１６の出力は結合路３２の第１回線
とニューロン３１４の第２の非許容性シナプスとに結合
する。利得制御可能な増幅器３１２，３１６の入力はそ
れぞれニューロン３１８の第１，第２非許容性シナプス
に結合している。ここでニューロン３１８の出力は時間
平均回路３２０の第１入力に結合している。結合路２６
の第２回線は利得調整可能な増幅器３２２の入力に結合
しており、増幅器３２２の出力はニューロン３２４の第
１の非許容性シナプスに結合している。ニューロン３２
４の出力は遅延回路２４４の入力、つまり結合路２５４
に結合し、出力ニューロン３１０の第２出力は利得調整
可能な増幅器３２６の入力に結合する。増幅器３２６の
出力は結合路３２の第２回線およびニューロン３２４の
第２の非許容性シナプスに結合する。利得調整可能な増
幅器３２２および３２６の入力はそれぞれニューロン３
２８の第１，第２入力に結合している。結合路２６の第
３回線は利得調整可能な増幅器３３２の入力に結合し、
増幅器３３２の出力はニューロン３３４の第１の非許容
性シナプスに結合している。ニューロン３３４の出力は
遅延回路２４６の入力、つまり結合路２５６に結合し、
出力ニューロン３１０の第２出力は利得調整可能な増幅
器３３６の入力に結合する。増幅器３３６の出力は結合
路３２の第３回線およびニューロン３３４の第２の非許
容性シナプスに結合される。利得調整可能な増幅器３３
２および３３６の入力はそれぞれニューロン３３８の第
１および第２非許容性シナプスに結合し、ニューロン３
３８の出力は時間平均回路３２０の第３入力に結合す
る。結合路２６の第４回線は利得調整可能な増幅器３４
２の入力に結合し、増幅器３４２の出力は、ニューロン
３４４の第１の非許容性シナプスに結合する。ニューロ
ン３４４の出力は遅延回路２４８の入力、つまり結合路
２５８に結合する。出力ニューロン３１０の第２出力は
利得制御可能な増幅器３４６の入力に結合し、増幅器３
４６の出力は結合器３２の第４回線およびニューロン３
４４の第２非許容シナプスに結合する。利得調整可能な
増幅器３４２，３４６の入力はニューロン３４８の第
１，第２許容性シナプスにそれぞれ結合する。ニューロ
ン３４８の出力は時間平均回路３２０の第４入力に結合
する。

【００４５】ニューロン３１８，３２８，３３８，３４
８の第１非許容性シナプスと第２非許容性シナプスとは
一般的には大きさは等しく、符号は反対である。ニュー
ロン３１８，３２８，３３８，３４８の出力信号の正確
な価は時間平均回路３２０内で加算され、平均される前
に採取される。時間平均回路３２０の出力はニューロン
３５２の第１非許容性シナプス結合し、ニューロン３５
２の出力はニューロン３５４の第１非許容性シナプスお
よび利得制御可能な増幅器３１２，３２２，３３２，３
４２の制御入力に結合する。ニューロン３５４の出力は
ニューロン３５２の第２非許容性シナプスおよび利得制
御可能な増幅器３１６，３２６，３３６，３４６の制御
入力に結合する。一般的にニューロン３５２の第２シナ
プスおよびニューロン３５４の第１シナプスは負の値で
ある。バイアス電圧がニューロン３５４の第２非許容性
シナプスに対し入力３５６において印加される。ニュー
ロン１０８について解説したようにニューロン３５２の
出力は結合路３５８を通してフューチュアマップ２５０
の許容性シナプスに結合している。

【００４６】コンフィデンス層２４０の動作はコンフィ
デンス層６４の動作に従う。ニューロン３１８，３２
８，３３８，３４８は独立して第１入力信号と出力ニュ
ーロン３１０の出力信号との間の対応関係を監視し、そ
れによってフィーチュアマップ２５０の予測可能性は時
間平均され、「コンフィデンス状態」およびモジュール
１４を通る情報の流れを制御するためのニューロン３５
２，３５４の出力を通して反映される「新規状態」に量
子化され、結合路３５８を通じてフューチュアマップ２
５０の学習プロセスを可能又は不可能にする。

【００４７】「新規状態」においては、時間平均回路３
２０の出力信号が「高い」レベルに増大すると、ニュー
ロン３５２，３５４の出力信号はそれぞれ「高い」レベ
ル、「低い」レベルへと切り替わる。それによって利得
の制御可能な増幅器３１２，３２２，３３２，３４２は
能動になり、利得調整可能な増幅器３１６，３２６，３
３６，３４６は非能動になる。第１入力子号はニューロ
ン３１４，３２４，３３４，３４４および遅延回路２４
２−２８２を通りフューチュアマップ２５０に流れて、
認識および学習に欠くことのできない働きをする。第１
入力信号の振幅および周波数のパターンが認識される
と、コンフィデンス層２４０は「コンフィデンス状態」
に切り替わり、ニューロン３５２，３５４の出力信号は
それぞれ「低い」レベル、「高い」レベルに変化する。
それによって利得制御可能な増幅器３１２，３２２，３
３２，３４２は非能動になり、利得制御可能な増幅器３
１６，３２６，３３６，３４６は能動になる。出力ニュ
ーロン３１０の出力信号はそのとき結合路３２を通り抜
けてモジュール１２のゾーンエフェクタニューロン２３
０−２３６へと達することができる。

【００４８】コンフィデンス層２４０の第１出力におい
てもたらされる信号は、遅延回路２４２，２６０，２７
６を通して規則正しく遅延され、空間ベクトル［Ｖ
_{２４０．１}（ｔ_ｏ），Ｖ_{２４０．１}（ｔ_０−ｔ_ｄ），Ｖ
_{２４０．１}（ｔ_０−２ｔ_ｄ），Ｖ_{２４０．１}（ｔ_０−３
ｔ_ｄ）をもたらす。ここでＶ_{２４０．１}（ｔ_０）は結合
路を流れる信号の時間遅れのない値である。同様に、コ
ンフィデンス層２４０の第２出力信号は遅延回路２４
４，２６２，２７８を通して遅延され、空間ベクトル
［Ｖ_{２４０．２}（ｔ_０），Ｖ_{２４０．２}（ｔ_０−
ｔ_ｄ），Ｖ_{２４０．２}（ｔ_０−２ｔ_ｄ），Ｖ_{２４０．２}
（ｔ_０−３ｔ_ｄ）］をもたらす。ここでＶ
_{２４０．２}（ｔ_０）は結合路２５４を流れる信号の時間
遅れのない値である。第３出力信号は遅延回路２４６，
２６４，２８０を通して遅延され、空間ベクトル［Ｖ
_{２４０．３}（ｔ_０），Ｖ_{２４０．３}（ｔ_０−ｔ_ｄ），Ｖ
_{２４０．３}（ｔ^０−２ｔ_ｄ），Ｖ_{２４０．３}（ｔ_０−３
ｔ_ｄ）］をもたらす。ここでＶ_{２４０．３}（ｔ_０）は結
合路２５６を流れる信号の時間遅れのない値である。第
４出力信号は遅延回路２４８，２６６，２８２を通して
遅延され、空間ベクトル［Ｖ_{２４０．４}（ｔ_０），Ｖ
_{２４０．４}（ｔ_０−ｔ_ｄ），Ｖ_{２４０．４}（ｔ_０−２ｔ
_ｄ），Ｖ_{２４０．４}（ｔ_０−３ｔ_ｄ）］をもたらす。こ
こでＶ_{２４０．４}（ｔ_０）は結合路２５８を流れる信号
の時間遅れのない値である。モジュール１４の第１入力
信号の最大周波数がモジュール１２の第１入力信号の最
大信号の最大周波数よりも低いために、遅延回路２４２
−２８２を通るときの遅延は遅延回路６２−６８のそれ
よりも一般的に４倍ほど長くされる。モジュール１２と
１４との間の遅延時間が増大することによってモジュー
ル１４においてはモジュール当たりの出力信号の情報内
容を規則正しく増大させることができる。標本空間のパ
ターン安定性の平均間隔は一般的に、より長いパターン
安定性の平均間隔を有する特殊な連続した出力パターン
に圧縮される。つまり、出力信号はより高い情報内容を
持つといわれている。変換は適切な情報内容を失うこと
なしにパターン安定性を増加させる。

【００４９】図１３を参照すると、フューチュアマップ
２５０および出力ニューロン３１０が詳細に示され、こ
れらはフィーチュアマップ６４および出力ニューロン７
０について説明されたのと同じ構造と動作とを追従す
る。さらに詳細には、フューチュアマップ２５０は信号
Ｖ_{２４０．１}（ｔ_０）を受信するために結合路２５２に
結合する第１許容性シナプスをそれぞれ有するニューロ
ン３６０−３９０のフィールドを含む。同様に、結合路
２５４はニューロン３６０−３９０の第２許容性シナプ
スに結合し、結合路２５６はニューロン３６０−３９０
の第３許容性シナプスに結合する。残りの結合路２５６
から３０８も同様にして結合される。それぞれの結合路
はニューロン３６０−３９０の１６個の許容性シナプス
に結合し、結果としてニューロン毎に１６個の接続を完
成する。ニューロン３６０，３６２，３６４，３６６の
出力はゾーンセンサニューロン３９２の第１，第２，第
３，第４非許容性シナプスにそれぞれ結合し、そしてニ
ューロン３６８，３７０，３７２，３７４の出力はゾー
ンセンサニューロン３９４の第１，第２，第３，第非許
容性シナプスにそれぞれ結合している。さらにニューロ
ン３７６，３７８，３８０，３８２の出力はゾーンセン
サニューロン３９６の第１，第２，第３，第４非許容性
ニューロンにそれぞれ結合している。ゾーンセンサニュ
ーロン３９２−３９８の出力は結合路２８に結合してい
る。結合路２８および３４はそれぞれ４つの分離した回
線を含んでいる。ニューロン３６０−３９０の１６個の
出力は図示されるように出力ニューロン４００，４０
２，４０４，４０６の１６個の許容性シナプスにそれぞ
れ結合している。ここで出力ニューロンの許容性シナプ
スのそれぞれの荷重は結合路２５２に一致するニューロ
ン３６０−３９０の対応する許容性シナプスに等しい。
出力ニューロン４００−４０６の出力は利得制御可能な
増幅器３１６，３２６，３３６，３４６の入力にそれぞ
れ結合する。結合路３４の４つの回線はゾーンエフェク
タニューロン４０８，４１０，４１２，４１４の非許容
性シナプスにそれぞれ結合し、ゾーンエフェクタニュー
ロン４０８−４１４の出力はニューロン３６０−３６
６，３６８−３７４，３７６−３８２，３８４−３９０
にそれぞれ結合する。

【００５０】遅延回路２４２−２８２の分岐点で得られ
る空間ベクトルはフィーチュアマップ２５０のニューロ
ンがモジュール１４の第１入力信号でもたらされる情報
をより低い動作周波数で同様に適切な情報のみを含む第
２出力信号のなかに圧縮することを可能にする。ある時
間の間における第１入力信号の振幅と周波数の変化、つ
まり標本空間が特別な連続した出力信号に変換される。
ここで該出力信号は一時的な標本空間に比べてより長い
パターン安定性を有する同様に適切な情報を含み、つま
り第１出力信号はより高いレベルの情報内容を含んでい
る。ゆえに、結合路２８を通ってモジュール１６の第１
入力へと流れるモジュール１４の第１出力信号は原始音
を表す空間ベクトルの標本空間における第１入力信号か
ら変換された音素を表している。空間ベクトルは第１入
力信号からの新しい情報で絶えず更新されているために
モジュール１４の第１出力信号はモジュール１４の第１
入力信号のそれよりもまだ低い周波数で動作するモジュ
ール１６の第１入力信号である。

【００５１】図１を再び参照して、モジュール１６はモ
ジュール１４と同様の構造および動作を踏襲し、第１出
力信号（音素）を受け入れて、高いレベルの情報内容
（音節）を有する出力信号を生成する。同様に、モジュ
ール１８はもジュール１４と同様の構造および動作を踏
襲し、モジュール１６からの第１出力信号（音節）を受
信しその第１出力においてさらに高いレベルの情報内容
（単語）を生成する。したがってモジュール１６および
１８はそれぞれモジュール１４および１６よりも大きな
遅延を有する遅延回路を含む、一般にはそれぞれのモジ
ュールで４倍の大きさである。

【００５２】ここで理解してもらいたいことは、ここに
は教育的な言外の意味がこめられているということであ
る。つまり原始音、音素、音節、単語というのは本発明
の理解を簡単にするために用いられているのであって、
モジュール１２−１８の認識・合成の段階をそのような
しっかりと明確な境界に分割する必要はないと言うこと
である。予測および情報圧縮の度合はくうかんベクトル
の長さおよび遅延間隔ｔ_ｄこ基づいており、これらの因
子は設計上の目標に相応した適切な値に設定することが
可能である。

【００５３】モジュール１８の出力信号はホストインタ
ーフェイス４６を通してホストコンピュータ２４の第１
入力に印加される。ホストインターフェイス４６はアナ
ログ・デジタル変換（Ａ／Ｄ変換）器およびデジタル・
アナログ変換（Ｄ／Ａ変換）器を含み、それによってそ
の第１入力信号はホストコンピュータ２４で使用できる
形に変換される。同様に、ホストコンピュータ２４の第
１出力で生成されるデジタル信号はホストインターフェ
イス４６を通じてスイッチング回路５０の第１端子に結
合している。通常の認識動作の間、ホストコンピュータ
２４の第２出力において生成された制御信号は、スイッ
チング回路５０の第２，第３端子に共に結合し、それに
よってモジュール１８の第１出力においてもたらされる
高いレベルの情報内容を持った第１出力信号は結合路５
２を通して同じモジュール１８の第２入力に再び加えら
れる。スイッチング回路５０の他の位置は一般に学習モ
ードまたは特定の合成モードのために予約され、それに
よってホストコンピュータ２４は学習ファイルのなかに
蓄えられた高レベルの情報を結合路５２を通してモジュ
ール１８の第２入力に供給することができる。入力２０
において与えられる第１入力信号に関連したこれらの学
習ファイルは初期学習または再学習の一連の作業を簡単
化するのに多くの効果がある。さらにそのような学習フ
ァイルによってモジュール１２−１８間の荷重を再設定
して、目的とする応用を変更するのに従来技術において
説明したような従来の方法に比べて素速く、柔軟な方法
で行うことができる。たとえば装置１０は音声認識シス
テムの様な特定の目的用である必要はなく、むしろ単に
適切な学習ファイルを供給することによって時間によっ
て変化するパターンのために画像認識システムとして自
動的に再学習させることが可能である。

【００５４】装置１０を特定の目的用のシンセサイザー
として動作させることもまた可能である。例えばそれぞ
れのモジュールのコンフィデンス層、つまりモジュール
１２の入力１８４に印加されるバイアス電圧を増加させ
ると、コンフィデンス層は継続して「コンフィデンス状
態」を示し、モジュール１８の第２入力に高いレベルの
入力信号が印加されて、モジュール１２−１８の知識ベ
ースは「低い」レベルの出力信号を規則正しく合成し、
最終的には出力２２においてスピーカーを駆動可能な一
連の低レベルの信号を生成し、人間の耳に聞こえる「高
い」レベルの単語を再生する。ホストコンピュータ２４
は装置１０がモジュールの階層を通して規則正しく信号
を伸張し高い品質の可聴出力を生成するので簡単に「高
い」レベルの信号を貯えることができる。例えば単語
「スタート」を表す信号がモジュール１８の第２入力に
印加されると、装置１０は図２における時刻ｔ_１とｔ_２
との間の波形を生成することができる。

【００５５】本実施例からさらに、より洗練された認識
および合成能力を得るために様々な組み合わせでモジュ
ール１２−１８と他のモジュール層を組み合わせること
が可能なことが理解されよう。もちろん本発明はここに
開示された音声認識の応用に限られるものではなく、異
なった時間の尺度で認識する特長を含んだ波形が認識お
よび合成のために学習されることが必要な多くの応用を
も包含する。

【００５６】したがってここに開示されたものは第１お
よび第２の入力信号に応答する複数の直列に結合したモ
ジュールからなる人工神経回路網に対する新規なモジュ
ール化手法であり、それぞれのモジュールの第１入力信
号は一時的な空間ベクトルを生成するために規則正しく
遅延され、それから低い周波数の第１出力信号は第１入
力信号の情報内容を表すものとして生成される。同時に
第２の「高い」レベルの入力信号は第２入力信号の情報
内容に対応した第２の「低い」レベルの合成出力信号を
生成するために伸張される。

【図面の簡単な説明】

【図１】本発明の好適実施例を示した簡単なプロックダ
イアグラムである。

【図２】好適実施例を説明するのに有用な第１入力信号
参考波形図である。

【図３】図１の１つのブロックの詳細の追加的な簡単な
ブロックダイグラムである。

【図４】単一ニューロンの別の形態を実現する簡単なブ
ロックダイアグラムの組図である。

【図５】ニューロンの非許容性、許容性シナプスの１実
施例を図示した組図である。

【図６】ニューロンの加算接合の非線形的振る舞いの波
形である。

【図７】図３のコンフィデンス層ブロックのさらに詳細
な内容を図示した簡単なブロックダイアグラムである。

【図８】図７のコンフィデンス層のコンフィデンス状
態、新規状態を表す波形の組図である。

【図９】図３のフューチュアマップブロックをさらに詳
細に簡単なダイアグラムで示したものである。

【図１０】図９のフューチュアマップのニューロンフィ
ールドのニューロン荷重の寄与を表す波形を示したもの
である。

【図１１】図１のその他のブロックをさらに詳細に簡単
なダイアグラムで示したものである。

【図１２】図１１のコンフィデンス層ブロックをさらに
詳細に簡単なダイアグラムで示したものである。

【図１３】図１１のフューチュアマップブロックをさら
に詳細に簡単なブロックダイアグラムで示したものであ
る。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 ハワード・シー・アンダーソン アメリカ合衆国アリゾナ州テンペ、イース ト・オーバーン・ドライブ1895 (72)発明者 ロバート・レイビアン アメリ力合衆国アリゾナ州チヤンドラー、 ウエスト・カリー2702 (72)発明者 シドニー・シー・ギヤリソン アメリカ合衆国アリゾナ州テンペ、サウ ス・クラーク・ドライブ5824

Claims (2)

【特許請求の範囲】
1. 【請求項１】 第１入力および第２入力において印加さ
   れる第１入力信号および第２入力信号に応答して、その
   第１出力および第２出力において情報内容を表す第１出
   力信号および第２出力信号をもたらすニューラルネット
   ワークであって：第１出力信号に応答し、第１入力信号
   の予測を表す信号をもたらすための出力を有する第１手
   段；第１出力および第２出力と前記第１入力信号を受信
   するために結合される第１入力と前記第１入力信号の予
   測を表す前記信号を受信するために結合される第２入力
   とを有する第２手段であり、前記第１入力信号と前記第
   １入力信号の予測を表す前記信号との間の相関度を監視
   し、低い相関度のときには前記第１入力信号を前記第１
   出力にゲート出力し、反対に高い相関度のときには前記
   第１入力信号の予測を表す前記信号を前記第１出力およ
   び前記第２出力にゲート出力し、該ネットワークの前記
   第２出力にに結合した第２手段；前記第２手段の前記第
   １出力信号を漸次遅延させ、複数の分岐点において前記
   第２手段の前記第１信号の空間ベクトルをもたらす第３
   手段；前記第２手段の前記第１出力信号の前記空間ベク
   トルと前記第２入力信号とに応答して、前記第１入力信
   号および前記第２入力信号の情報内容を表す前記第１出
   力信号をもたらす第４手段；を有することを特徴とする
   ニューラルネットワーク。
2. 【請求項２】 情報内容を表す出力信号をもたらすため
   に入力信号を圧縮する方法であって、前記出力信号はよ
   り十分に低い周波数で動作しかつ入力信号と同じ適切な
   情報内容を保つところの方法であり：前記入力信号の予
   測を表す信号を生成する段階；前記入力信号と入力信号
   の予測を表す前記信号との間の相関度を監視する段階；
   低い相関度に対しては前記入力信号を遅延させ、反対に
   高い相関度に対しては入力信号の予測を表す前記信号を
   遅延させて複数の分岐点において空間ベクトルをもたら
   す段階；および前記空間ベクトルを前記入力信号の情報
   内容を表す前記出力信号に変換する段階；から成る方
   法。