JPH04500738A - 神経ネットワーク技法を用いた連続ベイズ推定 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるため要約のデータは記録されません。

Description

【発明の詳細な説明】

神経ネットワーク技法を用いた連続ベイズ推定技術分野 この発明は一般に神経ネットワーク技法に関し、詳しくは事前調査分析されない 広範囲のデータに対し、適応性のある、連続ベイズ推定を実行するよう設計され た技法に関する。 技術前景 人工的神経ネットワークは、有益情報処理を、初期入力または連続入力に応答す るシステムの状態によって実行する動的システムの研究である。当初、人口的神 経システムの目標の一つは、脳が実行する情報処理の種類を実行することのでき る人造システムの開発および応用であっｒ二。これらの技術は、リアルタイム高 性能認識、不正確な知識分野のための知識認識およびロボット作動機構の高速、 精密制御のような処理能力を開発しようとした。したがって、この技術は人工知 能に関するものであった。 人工的神経システムは概して°相互接続°と呼ばれろ情報チャンネルを介して接 続される、処理要素すなわち神経細胞のネットワークからなる神経ネットワーク の使用して研究されてきた。 これらの神経細胞のそれぞれは、多数の入力信号を持つことができるが、一つの 信号のみを出力する。各神経細胞の作用は、一般に出力信号変化における一次常 微分方程式によって決定される。ネットワーク内のいくつかの神経細胞に、それ らを支配するの微分方程式のいくつかの係数を一次常欺分方程式によって自己調 整するための能力を備えることによって、ネットワークを°適応性のある°と呼 ぶことができる。ここ；ま、不ブトワークが学習し、人工神経システムの茅！Ｓ つ目標の一つに到達したことになる。 神経ネットワークが供給される認知システムは、センサとモータ変換器とに接続 される監視システムおよびネットワークに関して考察され得る。神経ネットワー クは、一般的に監視システムに影響する出力をもたらす入力の影響下で、現在の 状態を次の状態へ移行させる動的システムである。認知システムは一般に、外部 力学（ｄｙｎａｍｉｃｓ）の内部モデルを構築することによって知覚入カバター ンを、予想するとともに、予想エラー較正技法を利用することによって、そのモ デルの改良によって、また、監視システムの発展の感化によって、あるいはそれ らのすべてによって予想エラーを減少させる。数学上ではこれは３つの重要かつ 公知の問題の混成である。すなわち、システム識別、推定および制御である。こ れらに対する理論的解決はここ数十年間知られている。システム識別は、“モデ ル規範”方法のような多くの方法によって分解的に達成される。しかしながら、 実際には、常に現象モデリングの技術によって達成されていた。　１推定は、例 えば、動的方程式が前取て確認されていると仮定して、カルマン（Ｉａｌ＊ａｎ ）フィルタによって処理される。この推定は、本質的に複合装置の状態をモニタ する。カルマンフィルタはガウスノイズの線形装置を反復推定するが、別のフィ ルタリングアプローチであるカルマン・ブーノー（Ｂｕｃｙ）フィルタは、連結 して発展的推定を行なう。非ガウスノイズの非線形装置には、多段ベイズ推定器 または連結ベイズ推定器が利用できろ。ハミルトン・ヤコビ理論およびポントリ エイシャン（Ｐｏｎｔｒｙａｇｉａｎ）法を含むいくつかの手段によって制御が 開始される。 あいにく、これらの解決策は、がなり小さい次元の観測結果およびシステムを除 いては、適応して計算することができない。 生物学的システムは、多くの点でかなり優れているが、たとえ子供が、数百の信 号からなる視覚イメージでフリスビーの軌道を推定できるとしても・・・またフ リスビーを捕える位置に手を差出すことができるとしても・・・学習過程（シス テム識別）は今まで通り時間がかかり、かつ困難なものであることを指摘しなけ ればならない。概して、実際の観測結果の次元が高いため、また克服できない計 算上の負担を共に課する推定を行うのに必要なサンプリング速度により、理想的 なアプローチは；よとんど不可能である。 発明の要約 ここに開示され、かつ請求された本発明は、神経ネットワークからなる。神経ネ ットワークは、観測結果の時系列を受取るための観測入力を含む０次に、新規な フィルタリングアルゴリズムに従って、内部に生成された予想と、観測結果とを 比較するための新規な装置が設けられる。新規なフィルタ装置は、受取られた観 測結果および予想に関連する次善の新方式過程を出力に与える。出力は、予想エ ラーを表わす。新規な装置に出力するための予想を形成するｆ二めに、予想装置 が設けられる。この予想装置；よ、ノードの幾何学格子を含む。ノードは各々、 観１１１１Ｉ結果の時系列の空間的歴史を表示す空間パターンを記憶するにめの メモリか結合されている。新規−装置から予想エラーを受取るｒ二めに、慣敗備 の信号入力が設けられており、この受取られｆ二予想エラー：よ、記憶された空 間パターンによってフィルタリングされ、記憶されたパターンと予想エラーとの 類似点を表わす相関係数を生じる。選択された他のノードからしきい値出力レベ ルを受取るために、各ノードに蹟数個のしきい値入力が設けられている。記憶さ れた空間パターンを受取るために前に、記憶された空間パターンの発生に対する 先行の確率を表わすしきい値レベルを記憶するために、しきい値メモリが設けら れている。ノードの各々のＣＰＵは、記憶されｒ二しきい値レベル、受取られｒ ニしきい値レベルおよび相関関係に関して演算をおこなう微分差方程式に従って 、更新しきい値レベルを計算し、量子力学波粒子を定め、ノードの幾何学格子を 積切ってそれを伝搬し、さらに、更新しきい値をしきい値メモリに記憶する。 各ノードから池のノード更新しきい値を出力するために、しきい値出力が設けら れている。ＣＰＵ！よ、そのしきい値レベルが更新しきい値レベルからなるノグ マ関数を介して相関係数を通過させることによって、内部に生成される予想を計 算する。この予想は、記憶しきい値レベルで表わされる先行の確率に基づいて条 件付けられた、記憶空間パターンの発生の確率を表わす。 波粒子の位置と予想エラーとを相関３せるように、記憶された空間パターンを更 新することにより、学習するにめに動作ができるようにされる。この学習：よ、 ヘビアノ（Ｈｅｂｂｉａｎ）学習法に従って達成される。 本発明のさらに他の面では、新規な装置がノードのアレイを含み、各ノードは、 観測入力を受取る複数個の信号入力と、予想装置の予想出力を受取るための複数 −の予想入力とを有する。 観測結果の時系列の時間的歴史を表わす時間パターンを記憶するために、メモリ が設けられる。予想＆！測大入力その時、記憶された時間パターンを利用して予 想エラーを与える予め定めら°れたアルゴリズムに基づいて動作する。 本発明のさらに池の面では、新規な装置も適応性がある。これ：よ、予想エラー を最小にするために、記憶されに時間パターンを更新することによって学習する 。学習アルゴリズムは、逆ヘビアン学習法を利用する。 図面の簡単な説明 本発明およびその利点をより完璧に理解するために、系図面図に関連した以下の 説明を参照する。 第１図は、本発明の神経ネットワークのブロック図である。 第２図は別個の神経細胞のアレイとしてのノブム（ｎｏｖｕｓ）】４および別個 の神経細胞のアレイとてのｌＧ１６を例示するＦＡＩ２のブロック図である。 第３λ〜３０図は、ＩＧＬきい値フィールドにおける移動波パケットの使用を示 す。 第４図：よ、ロタイミングチェーノ、にお、する連結神経細＠の各々に属する画 素アレイからのインスター（１ｎｓｔａｒｓ）からζるガンマ・アウトスター（ ｏｕｔｓｔａｒ）アバランシｓ　（ａｖａｌａｎｃｈａ）の二重構造を示す。 第５図は、多くの神経モデラによって利用されるものと類似の再現２層神経ネッ トワークを示す。 第６図は、確率フィルタリングへの新方式（１ｎｎｏｖａｔｉｏｎｓ）アプロー チを表すパラメータアバランシェのブロック図である。 第７図は、ＦＡのノブムおよびｒＧが、いかにして新方式過程を生成し、かつ利 用するかを示す。 第８ａおよび８ｂ図は、ノブム神経細胞及びＩＧ神経細胞の概略図である。 第９図は、二次元格子のためのノブムおよびＩＧを介する、観測ブロックにおけ る焦点面からより詳細なフローを示す。 第１Ｏ図はＩＧ格子の上面図である。 第１１図は、トラッキングシステムを示す。 第１２図は、状態推定関数のための２つのＰＡカルマンフィルタを採用する制御 モジュールのブロック図である。 第１３図は、ルームバーガー（Ｌｕｅ鳳ｂｅｒｇｅｒ）観測器を例示する。 第１４図は、好ましいＰＡＣＭ投計を示す。 第１５図はおよび第１６図は、ＰＡの一例のグラフを示す。 第１７図は、ＩＧにおけるシナプス重みの応答を示す。 第１８図は、ノブムの各神経細胞に関するシナプス重みの値を示す。 第１９図は、ＩＧにおける神経細胞の１つのブロック図である。 第２０図：よ、ノブムにおける神経細胞の１つのブロック図である。 第２１図：よ、パラメータアバランシェの適用の例を示す。 第２２図はおよび：ｔｌ！２３図は、第２１図の例の、垂直面からの角度の時間 展開および対応するノブム出力を示す。 第２４図は、本発明の神経ネットワークの使用のｎめのプログラム情報を示す。 発明の詳細な説明 第１図には、本発明の神経ネットワークのブロック図が示されている。いずれの システムにも、観測システムｌＯと呼ばれる複合装置が設けられている。観測シ ステムｌＯは、制御信号μ（１）を入力で受取る。この観測システム１０の状態 をモニタするために、観測システム１２が設けられている。観測システム１２は 、本質的には神経ネットワークである。本発明においては、神経ネットワークは ２層再現ネットワークからなる。 ブロック１４で示されるノブムと呼ばれる入力層が設けられている。第２の層は 分類層を設けられており、ＩＧと呼ばれ、ブロック！６で示されている。省略形 ■Ｇは無限小発生器に関連する。２つのブロック１４および１６は、共に動作し て、連続的に情報を処理し、分類された観測の展開を回顧して分類し、かつ予想 （推定）する。 ノプム１４は、観測システムの予想アセスメントを擾供し、観１則システムｌＯ の出力をその入力で受取る。ノブム１４の出カニよ、予想エラーを与える。ノブ ム１４：よ、ｌＧ１６の出力うその入力で受取り、［Ｇ１６の出力；よ、条件付 き確率分散関数の形の状態推定を提供する。ノブム１４は、本質的には、以下で より詳細に述べる新方式過程を抽出する。これ：ま、ｒｃｔ６から受取る分頂結 巣（状態推定）をデコードし、その後、実際に受取られた信号から、デコードさ れｆこ変形を差し引き、新にな剰余を生じる。ノブム１４は、遷移の内部モデル を含み、それによって、システムｔｏｈ＜ｉ！測されｌＧ１６によって推定され た状態出力を、観測システムｌＯから受取られた観測信号の予想に変形するよう に動作できる。以下でより詳細に述べるように、ノブム１４ｉよ、間車な学習法 に基づいて動作する。その学習法において：よ、新規性が存在しない時、出力は ゼロである。 すなわち、内部モデルが観測信号を正確に予想する時、観測信号に新規性はない 、つまり予想エラーが存在しない。従って、ノブム１４は、その′ホメオスター ノス（ｈｏｍｅｏｓｔａｓｉｓ）　Ｊ状態からなる、出力のエントロピーを最大 にするように駆動される。ｌＣｌ６は、予想発生器として動作し、カルマン利得 マトリックスの機能、状態遷移機能および推定手順を行う。ｌＣｌ６の出力は、 先の歴史および現在の観測を仮定して、先の事象が生じた確率を示す。 ノブム１４およびｌＣｌ６は共に、処理要素すなわち「神経細胞」のネットワー クからなる。しかし、ノブム１４の神経細胞は、観測システムがそれに直接マツ ピングされるように、観測マトリックスに従って配列されているが、同様に神経 細胞のネットワークからするｌＣｌ６は、幾何学格子として配ソリされ、ｌＣｌ ６の神経細胞は、抽象的確率空間にお；土る点を示す、ｌＣｌ６の各神経細胞は 、活性化レベルを有し、この活性化レベルは、現在の測定結果のみを仮定して、 各々の特定の神経細胞が表わす事象または状態が生じ几可能性を示す。これらの 神経細胞の出力は、下記の出力ングマ関数のしきい値レベルで与えられる観測結 果の先行きの歴史および動的レベルによって付加的に条件付けられた場合に上記 事象が生じた可能性を示す、１Ｇ神経細胞のノナプス重みは、ヘビアン（Ｈｅｂ ｂｉａｎ）学習によって学習する。 観測システム１２で示された、本発明の神経ネットワークは、：バラメータアバ ラノシエ（Ｐ、Ａ）ｊと呼ばれ、動的パターンを記憶し、かつ同時に動的パター ンを涜出すように動作することができる。また、時間変化データの最適圧縮を行 い、その新規な分解によって移動ターゲットインノケータを組入れる。さらに、 検出を宣言するのに十分な可能性を累算する前に、無ｔ、！！のうちに非線形動 的なシステムをトラッキングすることができる。 従って、ＰＡ１２は、それ自体の内部慣性動力学を所宵しており、学習法によっ て、外部動力学がそれに関連する。この内部動力学は、量子神経動力学（ＱＮＤ ）理論によって定められる。 第２８ｉ０は、別個の神経細胞のアレイとしてのノブム１４お上び別個の神経細 胞のアレイとしてのｌＣｌ６を示すＰＡ１２のブロック図である。ノブム１４： よ、装置の観測結果を、ｕ　ｉｉｌ＋システム１０から入力ベクトル１８を介し て受取る。ノブム１４は出力ベクトル２０を介して新規性を出力し、その出力ベ クトル２０は、ｌＣｌ６に入力される。ＩＣ＋６は、出力ベクトル２２を介して ノブム１４に入力する几めの装置の状態推定結果を生成する。 観測システム１０は、焦点面の形で示されており、そこでは、ロケット２６で示 された物体が、予め定められた経路で焦点面を横切る。これによって、観測が行 われる。これは、システム慣性を所宵する動的システムの観測である。観測シス テム１０の焦点面は、ノブム１４にマツピングされる。ｌＧ１６は、各１４に入 力される。予想が正しい場合、ノブム１４の新しい出力はゼロになる。ロケット ２６は、各時点で、その予め定められた経路を横切り、ＰＡ１２の内部システム モデルが正確である場合、出力ベクトル２２に関する状態推定結果が、ゼロの状 態で、ノブム１４の新しい出力が維持する。 ノブム１４の各神経細胞は、神経細胞２８で表される。゛各神経細胞２８は、観 測システム！Ｏからライン３０を介して単一の入力を受取り、かつｌＧ１６の各 神経細胞からライン３２を介して複数個の入力を受取り、それらがｌＧ１６から の状態推定結果を構成する。以下に述べられるように、神経細胞２８は、経細胞 に向かう。 上記のように、ｌＧ１６は、神経細胞の幾何学格子からなる。 ｌＣｌ６の各神経細胞は、神経細胞３４で示される。各神経細胞３４：よ、ノブ ム１４の神経細胞２８から、入力ライン３６を介して入力を受取る。各神経細胞 ３４は、独立非同期プロセッサであり、各入力ライン３６に対する重み因子を発 生し、活性化レベルを内部に発生することができる。貢み因子は、記憶テンプレ ートを与え、活性化レベルは、入力信号ベクトル（すなわちノブム出力）とこの 記憶テンプレートとの相関関係を生じる。これによって、入力信号が、ｌＧ１６ を横切る記憶テンプレートのように見える度合が示される。 活性化レベルがゼロの場合、入力ベクトルが記憶テンプレートと整合しないこと が示される。しかし整合する場合、活性化レベルは比較的高い。この活性化レベ ルは、以下により詳細に述べられるしきい値フィールドによって変更され、これ によって、ノブム１４の各神経細胞２８への入力である出力を発生する。 １Ｇ１６の各神経細胞３４は、しきい値フィールド全体がｌＣｌ６の格子上に設 けられるように、それに関連するしきい値を有する。ＩＧＬきい値フィールドの しきい値レベルは、非線形格子微分方程式によって定められる。しきい値フィー ルドの波伝搬の「自然モード」がコンパクトである場合、フィールド内に、しき い値フィールドディプレッジ躍ン（ＴＦＤ）と呼ばれる粒子状ディプレッジ蓼ン が生じる。これらの伝搬ＴＦＤは、軌道を開始し、かつ後に変調できる神経細胞 ３４の近隣のものの活性化によってわずかな相互作用を受ける。これらの相互作 用は、嗜子上のＴＦＤの位置を変えて連続的に更新され、新規性を軌道推定の修 正に変形させる際に、カルマン利得の効果を実施する。しきい値フィールド動作 は以下でより詳細に述べることにするが、ｌ＠以上の粒子状波デイプレツシヨン かｌＧ１６の幾何学格子を噴切って搬さることに注目できる。この伝搬は、観測 システム１０の焦点面に示されるように、装置の慣性を「トラッキングするＪ、 ＴＦＤが、しきい値フィールドディプレッシプンの一般領域内の多数の神経細胞 にわたって動作することに注目することが重要である。従って、ＴＰＤＯ伝搬を 制御するのは近隣の神経細胞の相互作用である。実際の波伝搬は、ｌＧ１６の表 面上の出力波３８によって示される。波３８は、ピークと、指示され１こ移動経 路を育する。この経路は、事実上弧状であるとして注目されるが、比較的復電で あり、またこれについては以下でより詳細に述べることにする。 ＩＧＩ６の波運動をさらに例示するために、男３λないし３ｃ図を参照する。第 ３１図では、ＩＧＩ６は、ＩＣ’４２としきい値平面４３とからなる。ＩＣ’　 層４２は、ノブム２０からの出力をその入力で受取る神経細胞の幾何学格子を表 し、ＩＧ゛層４２の各神経細胞は、それに応答して活性化レベルを与える。上記 のように、各神経綿ｖ！１３４は、学習法に従って、ノブム１４からの各入力ラ インに対する重み因数を生じる。これによって、入力１号が記憶テンプレートに 似る度合を示す、各神経細胞３４に対する活性化レベルを生じる。 記憶テンプレートは、重み因数が得られに先行の動作で学習されていることに戸 る。第３λ図に示すように、所与の時点ｔｐで、ＩＣ’層４２の幾何学格子を横 切る活性化は活性化レベル４４の分散として現れる二とになる。当然、ＩＧＩ６ による正確な予想によってノブム１４からの出力がない場合、活性化レベル：よ 事実上ゼロになる。この分散（孟、たとえゼロの値であっても、上記波状運動の 結果である慣性を有する。しかし、ｔｐ時点では、活性化レベルの分散が、第３ ａ図に示されたように出現する。本実施例の目的として、予想エラーは存在しな い。従って、ノブム１４の出力はゼロであり、その結果生じた活性化レベル：よ ゼロである。

【ｐ時点において、しきい値平面４４には、しきい値ディブレッノッ７４６も存 在する。ａｆ、Ｌきい値平面４４のしきい値レベルは、ハイのレベルである。し かし、ＴＦＤがしきい値平面４４を嘴切って伝搬されると、関連の慣性を有する しきい値フィールドディプレッシーンが存在することになる。第３λ図では、こ れが、しきい値フィールドブイプレラン運ン（ＴＦＤ）４６で示されている。ノ ブムの出力はゼロであるので、ｌＧ１６によって与えられる推定は正しい。従っ て、ＴＦ’Ｄ４６は、活性化レベル４４の分散に関して直接整列されることにな る。しきい値ディプレッジロン４６の最低点には、ゼロの活性化レベルに対して さえも、ｌＧ１６からのハイの出力信号レベルが存在することになり、これは、 しきい値ディプレッジジン４６のレベルによって条件づけられ１；、める状態を ソースが達成したという可能性がかなり高いことを示している。 予想過程にエラーがあり、所与の事象が発生しにという可能性が低いことを示す 場合、これによって、ノブム１４から出力が発生し、ＩＣ′層４２に活性化レベ ルが生じることになる。 この場合、新たな観測を学習するために、またｊよｌＧ１４の幾何学格子の異な る方向にしきい値ディプレッジタン４６を向けるために、システムを幾分調整し なければならず、これはＩＧ′層４２の出力によって達成される。これについて は、以下でより詳細に述べることにする。 ＴＦＤ４６動作および活性化レベル４４の分散について、より明確に述べるため に、第３ｂおよび３０図を参照する。第３ｂ図には、ｔ、、１時点の開始点４８ とｊｐ＋＋時点の終点との間を移動する軌道が示されている。点４８ないし５０ 間を通過する時、ｅｐ時点で、その中央の点５２を通過する。この観測は、時間 的に生じる一連の事象を示す。このように、これは慣性を有する動的システムで あるｍ　ｔｐ−１時点では、状態推定が正しいかどうかを決定するために、シス テムがｌＧ１６の出力を検査しなければならない。これは、ノブム１４の新方式 過程によって行われる１次の一時点を表すｔｐ時点で、ＩＧＩ６は、システムの ステータスがこの時点ではどうであるかを予想しなければならず、これらの状態 推定結果は再度ノブム１４に入力され、観測が正しいいかどうかを決定するため に観測結果と比較される。もし正しいならば、ノブム１４の出力はゼロである。 これは、℃２．８時薇なε０次の時点まで続く。 最初に、点４８から点５０までの、しかも点５２を通過する軌道をシステムが学 習し几と仮定する。本発明の重要な局面によれば、ｌＧ１６によって達成される のは、時空的に状態推定結果を生じることである。これは、第３図Ｃ図に示され ている。 この例のＴＦＤは、既に開始されており、予め定められた経路内のＴＧｌＢの幾 何学格子を横切って伝搬している。この経路は、学習された径路と一致する。す なわち、ＴＦＤが伝搬される神経細胞は、学習過程においてそれが伝搬されたの と同じ神経細胞であり、これについては以下で述べることにする。各時点では、 例えば時間基準ｔｏから、ＴＦＤの領域においてのみ予想が行われ、その予想に よって、ＴＦＤが、継続する経路に沿って伝搬されるか、またはＴＦＤの経路を 修正する。後者の状態は、例えば、同一経路を、より遅い速度で横切っている時 、生じる可能性がある。従って、ＴＦＤの伝搬はシステムの慣性に直接対応する が、ＩＧの幾何学格子は、経路に沿った点が特定の時間に生じた確率に対応する 。 第３ｃ図では、ｔ、−１でＴＦＤが発生し、仮想線の同心円で示されたＴＦＤ５ ４を生じる。同心円は、基本的にはＴＦＤのレベルを表し、その中心はディプレ ッジロンの最低値を示す。 当然のことながら、■Ｇ″層４２の活性化レベルはＴＦ’Ｄの基礎となっている 。これら２つの屑は、共に重なった状態で示されている。ＴＦＤは、ｔ、−３時 のＩＧＩ　６の領域５４からｔｐ時の領域５６に伝搬する。この伝搬は、ｔ２． ４時に、領域５６から領域５８まで続く。 ノブム１４によってなされる観測が、ｔ２．３時の点４８に物体を置く場合、ノ ブム１４からの出カニ！ゼロとする。ｔｐ時に、第３ｂ図の経路を横切る物体が 点５２にあると観測され乙場合、領域５６の神経：ａ胞の活性化レベルがゼロと なり、その結果、ｒｃｔｓからハイの出力を生じることになる。同様に、ｔｐｚ 時に、物体か点５０にあると観測される場合、これによって、領域５８に、神経 細胞のゼロの活性化レベルを生じ、その結果、ＩＣｌ３からの出力がハイになる 。従って、領域５４かろ領域５６ないし５８まで通過するＴＦＤは、システムが その状態を適当に推定するために、Ｉ！側システム内の点４８から点５２ないし ５０まで通過する物体の慣性または速Ｉをトラッキングする。システムの慣性が ＴＦＤＤ伝搬の際に実施され、このＴＦＤが、基本的−神経：ａ胞にエンコード されたモデルに関連して、状態推定を行うことに注目することが重要である。Ｉ Ｃ層４２内のゼロ活性化レベルのため（ゼロの新しい出力による）、波伝搬に変 更されｔい。 観１＋１システム内の物体が、学習されたのと同じパターンで点４８から屯５２ ないし５０まで移動するが、システムの慣性が、点４８に刺違する前に幾分変化 する場合、システムの慣性は、しきい値平面４３におけるＴＦＤの伝搬によって 表されたものとは異なる。この場合ノブム１４は予想エラーを出力し、この予想 エラーは、ＴＦＤの「まには後ろの活性化レベルを上げて、しきい値ブイプレラ ンランを本質的に変更し、しきい値ディプレッションの伝搬速度を増減する。例 えば、ｔｔ−１時より前の時間の観測システムの慣性か、しきい値フィールド４ ３のＴＦＤの対応する慣性に等しいと仮定する。しかし、ｔ、−１時には、観測 システムの慣性が変化し、その結果、ノブムによって予想エラーを生じる。ノブ ムの出力がゼロより大きいので、この出力は、ｌＧ１６の神経細胞の幾何学格子 を横切って分散され、これによって活性化レベルを高める。当然のことながら、 活性化レベルは、ＴＦＤの付近においてのみ重要である。なぜなら、しきい値平 面４３内の他の場所のしきい値が非常に高いので、ＴＦＤにあまり、または全く 影響を及ぼさないからである。しかしＴＦＤ付近では、この活性化レベルの増加 が、しきい値ディブレツノロンの伝搬を「進める」かまたは「変更する」。本実 施例においては、Ｕ測システムの慣性が減少しているので、ＴＦ、Ｄの伝搬の慣 性が減じるか、またはスローダウンすることが必要となる。従って、これによっ て領域５４のすぐ後ろの活性化レベルが増加することになり、それによって、Ｔ ＦＤの伝搬速度がスローダウンすることになる。これは、ノプムの出力がゼロに なるまで続く、この点で、ＩＧの神経細胞によって出力された活性化レベルには 、その白色効果により、ノブム！４のゼロの出力の結果としてゼロになる。シス テムの慣性がいったん一定値になると、ＴＦＤの慣性が強制されて、ノブム１４ の慣性および出力がゼロの値になるよう強いられる。 ＰＡ１２は一分、共に一体となった多数のネットワークからなる。これらについ ては各々一般的に述べることにする。また、これらのネットワークおよび学習法 が統合される方法についても述べることにする。 グロスバーブ（Ｇ　ｒｏｓｓｂｅｒｇ）アバランシェグロスバーブの口ガンマア ウトスターアバラン７工：：よ、公知の神経ネットワークアキテクチャであり、 ヘビアン学習およびアウトスターン−ケンス！！溝を利用して、神経細、＠の焦 点面アレイの各画素のシナプスに連続イメージを記録する。これ：丈、グロスバ ーブ・ニス著の「いくつかの複雑時空パターンを学習し、記憶し、再生すること のできるネットワーク（Ｓｏｍｅ　ＮｅｔｗｏｒｋｓＴｈａｔ　Ｃａｎ　Ｌｅａ ｒｎ、Ｒｅｍｅｍｂｅｒ　Ａｎｄ　Ｒｅｐｒｏｄｕｃｅ　ＡｎｙＮｕｓｅｂｅｒ 　ｏｒ　Ｃｏｍｐｌｉａｔｅｄ　Ｓｐａｃｅ−Ｔｉｍｅ　Ｐａｔｔｅｒｎｓ）　 Ｉ　ｊ　、　ジエイー？ス・アンド・メカ（Ｊ−Ｍａｔｈ、　＆　Ｍｅｃｈ、　 ）　Ｖｏｌ、１９、　Ｎｏ、１．　１９６９年、およびグロスバーブ・ニス著の 「いくつかの複雑時空パターンを学習し、記憶し、再生することのできるネット ワーク（Ｓｏｍｅ　Ｎｅｔｗｏｒｋｓ　Ｔｈａｔ　Ｃａｎ　Ｌｅａｒｎ。 Ｒｅａｅ諷ｂｅｒ　ａｎｄ　Ｒｅｐｒｏｄｕｃｅ　Ａｎｙ　Ｎｕ＋５ｂｅｒ　ｏ ｆ　ＣｏｍｐｌｉｃａｔｅｄＳｐａｃｅ−Ｔ　ｉｓｅ　Ｐ　ａｔｔｅｎｓ、■」 スタディズ・イン・アプリケーション−？ス（Ｓｔｕｄｉｅｓ　ｉｎ　ＡｐＰｌ 、Ｍａｔｈ、）Ｖｏｌ、ＸＬ　Ｉ　Ｘ　Ｎｏ、２゜１９７０年６月に、述べられ ている。グロスバーブのアバランシェにおいては、いったんイメージシーケンス が学習されると、これは、イルミネーション（または学習法）をオフにして、画 素アレイに至るアウトスターストローブのシーケンスを再生することにより、読 出すことができ、そのシナプス重みによって元の運動画像を再生するように、画 素を活性化させる。学習が行われた後、アウトスターアバランンエに関する単− 画素神経細胞上のシナプスのベクトルを見る場合、時系列の空間コード化表示お よびイルミネーション信号を見ることになり、それらは、トレーニングシーケン ス中に、その画素に送られる。　「タイミングチェーン」で連続神経細胞の各々 に嘱する画素アレイからのインスターからなる、ガンマアウトスターアバランノ エの二重構造を作ることが可能である。これは、第４図に示されている。画素ア レイは、照明パターンを有するアレイ６０で表される。画素アレイ６０の出力は 、神経細胞のチェーン６２に入力され、パルス６４は、神経細胞のチェーンを移 動するものとして表わされる。この型式の「インスター」アバランシェの実施は 簡単な作業ではなく、また育益であるかどうかも明らかではない。このインスタ ーアバランシェを開始する際に唯一困難な事は、時間アクセスをパラメータ化す る神経細胞のチェーン６２に、コヒーレントコンパクト活性化パルスを送ること が必要なことである。これは、活性化方程式においてグロスバーブが用いた一次 方程式では行えない。なぜなら、非線形性によって、最初に送り込まれたパルス が変形され、隣接するイメージ間に「相互シンボル干渉」を生じるからである。 コンパクト非分散パルスは、簡単なシフトレジスタアルゴリズムを用いて伝搬す ることができる。しかし、このようなアルゴリズムは、チェーンにおけるすべて の神経細胞と通じることのできるグローバルスーパーバイザを必要とする。これ は、チェーンが多次元に普遍化され、神経細胞の数が増えると、コンビエータで 扱えなくなる。従って、目的を１！成するために、一定の非線形微分差方湿式を 採用する。これら：よ、第２の標題−量子神経動力学−において述べる。 インスターアバランエは、非常に簡単を推定結果を用いて開始することもできる 。しかし、これらの推定結果は、２個以上のパルスが伝搬されるより高次元の神 経格子に向かう必要かめる時やや計算不可能となる。 ざらに第４図を参照すると、神経：ａ胞チェーン６２内の神経細胞の各々がパタ ーンのコンパクト表示でエンコードされ、かつそのパターンが生じた因果的文脈 をその近隣のものがエンコードすることに注目している。さらに、神経細胞チェ ーン６２内の側々の神経細胞のシナプスに空間パターンが集中されるくでコーデ ィングは連合してアクセフできる。このように、その神経：ａ胞の活性化応答が （以下で述べるように）しきい値動力学に結びつけられる場合、現任のパターン に最ら相関する点から、連合的に時系列の再現を刺激することが可能である。グ ロスパーグのアウトスターアバラノノヱは、これが不可能である。 インスターおよびアウトスターアバラ７ノ二の時空パターン表示には、二元性が ある。アウトスターアバランンエにおいては、時間信号が各画素のシナプスでコ ンパクトに表わされ、空間パターンが画素のアレイに分散される。一方、インス ターアバランンエにおいては、空間パターンが各タイミング神経細胞のシナプス でコンパクトに表され時間パターンがタイミング神２１１再現ネットワーク 第５図には、多くの神経モデラによって利用されるものと同じ再現２１神経ネツ トワークが示されている。ネットワーク；よ、策１の層６６と箪２の層６８とか らなる。第１の層：よ、複数個の神経細＠７０からなり、第２の層６８は、複数 個の神経細胞７２からｔろ。神経細胞７ｏの各々は、λ１ないしλ。に分散され 、ａｌ　＋　ａ　＋、およびλ１の神経細胞７ｏが示されており、＆１の神経細 ？！１：ま中間神経細胞を表わす。同様に、層６８の神経細胞７２はｂｌ、ない しｂｌｌに９頌され、ｂｌ、ｂ、、およびす、の神経細胞７２が示されており、 ｂＪの神経細胞７２は中間神経細胞モある。 第１の層６６の各神経細胞は、入力ベクトル７４から入力信号を受取る。第１の 層６６の各神経ａｌｌ胞もまた、第２の層６８の神経ａ胞７２の各々から人力信 号と、この人力信号に関連する重み値とを受取る。同様に、第２の１６８の各神 経細胞は、＄１の層６６の各神経細胞からの信号を入力として受取り、重み厘を それと関連させる。第２の層６８の各神経細胞は、その中の他の神経細胞の各々 から入力を受取り、適当な重み因数をそれと関連づける。 この型式のネットワークの学習目的：よ、先のシステムで利用される時には、第 ２の層６８のコンパクト（好ましくは単一神経細胞）コードを作り、第１の層６ ６に与えられたパターンのクラスまたはクラスタを、必ずしもコンパクトで分散 された形では表されないことである。これらのネットワークの再現目的：よ、そ の第１の層６６０入カバターンを代表とするクラスまたはクラスの組を識別する 、第２の層６８のコードのパターンを再活性化することである。時には、出力さ れる目的物自体が、分散パターンであるが、先のシステムにおいてはし：よヒ： ｆ、−デルタ関数」を作ることである。このデルタ関数表示；よ、活性化の低エ ントロピー分散、すなわち偶然には現れそうにないものである。この活性化の低 エントロピー分散は、第２の層６８の唯一の活性神経細胞が表すパターンのクラ スに入カバターンが嘱するということをはっきりと宣言することになる。このよ うな表示は、人であるユーザにその判断を伝えるためのさらなるパターン処理を 必要としないが、第２の層６８の活性神経細胞からのアウトスターを他の層に採 用したい場合、ユーザのために分散画像を生成することが容易にできる。これは 本質的には、ヘクト−ニールセン（Ｈｅｃｈｔ　−Ｎ　１ｅｌｓｅｎ）逆伝搬ネ ットワークで達成されていることである。この活性化の低エントロピー分散は、 本質的には先のシステムがいかに動作するかということである。 第５図に示されたネットワークにおいては、多くの学習方法が利用されている。 一般に、「望ましい出力」はネットワークに利用可能でなければならない。これ は、明らかに、望ましい出力が分散出力である「異覆結合（ｈｅｔｅｒｏａｓｓ ｏｃｉａｔｉｖｅ）　Ｉｔ構」においてなされ、池のすべての場合は形を変えて なされる。本質的には、すべての学習は「スーパバイズ」学習である。先のシス テムにおけるある型式の学習であるコヒーネン（Ｋｏｈｅｎａｎ）自己組織化特 徴マツツブで；よ、入カバターンが第２の層６８に伝搬され、その場合、各神経 細胞７２は入カバターンへのその現在のシナプス−整合ヨに従って応答する。し かしこの学習アルゴリズム：よ、第２の層６８のすべての要素に適用できるわけ ではない。なぜなら、望ましい東２０層６８の出カバターンは、１つのパターン 化クラスタの要素の中心ま几は平均をそのシナプスが表わす神経細胞７２のうち の唯一のらのに関するデルタ関数だからである。この望ましい出力を得るために 、入カバターンに対して最ら強く応答する神経細胞７２の直接近隣のものにおい てのみ学習が許される。この型式の先のシステムにおいてトレーニングが進むに つれてその近隣のものの半径がゼロまで縮小し、それによってデルタ関数の目的 が達せられる。 先の学習の他の型式であるカーペンタ−（Ｃａｒｐｅｎｔｅｒ）・グロスバーブ 適応共振ネットワークにおいては、望ましい出力らまたデルタ関数である。これ は、入カバターンへの最も強い応答で第２の層６８の神経細胞７２を見つけ出し 、学習アルゴリズムが他のいかなる神経細胞７２にも適用されないようにするこ とによって再度達成される。ただし、入カバターンへの「不良整合」を示す最強 の応答が神経細胞７２から得られない場合であり、この場合、学習アルゴリズム は、第２の層６８の他の単一神経細胞７２についてのみ適用できる。 上記の従来のシステムと同じ学習効巣が、「マスキングフィールド」で達成され る。しかし、ソフトウェアにおいてこれからの機構を実施することは非常にむず かしい０本発明のＦＡＩ２は、スーパバイズされる学習アルゴリズムを、局部的 に計算できる神経形９で利用する。 量子神経動力学 上記のように、ＴＦＤは、ｌＧ１６を横切る波として伝搬される。ディスクリー トな格子上のコンパクトコヒーレント波粒子の伝搬は、ファーミ（Ｆｅｒｍｉ） パスタ（Ｐｏｓｔａ）およびウラン（Ｕｌａｎ）による固体の有限熱伝導率の研 究によって偶然にも発見された。彼等の研究していた微分（時間）差（空間）方 程式は、現在ではファーミ・パスタ・ウラン（ＦＰＵ）方程式と呼ばれている。 ＦＰＵ方程式が空間座標の連結体として書かれる場合、コーチウェブ・デブリー ズ（Ｋｏｒｔｅｖｅｇ−ｄｅＶｒｉｅｓ）　（Ｋ　ｄ　Ｖ）方程式の形であり、 これはある期間、ラッセル（Ｒｕｓｓｅｌｌ　）の５ｈｏｌｌｏｖ　ｖａＬｅｒ 　５ｏｌｉｔａｒｙ　ｗａｖｅｓを形作るしのとして知られてぃに。最近まで、 非線形波分散において行われる作業は、二次元空間以上の孤立波の形成にほとん ど適用されてぃながっ几。 しかし、最近では、プラズマのラッグミュア（Ｌ　ａｎｇ＠ｕｉｒ）波の形成に 関するものとして非線形ノユレーディンガ−（Ｓｃｈｒａｅｄｉｎｑｅｒ）（Ｎ 　Ｌ　Ｓ　）方程式に関連して進められており、他の方程式が今や、より高い次 元にまで進みつつある。 ＮＬＳ方程式は、複合波方程式である。 ここでは、　はブランク定数、ｉは虚数単位、ｍ：よ粒子の算量と同定されたス ケーリング定数、　はラプラス演算子、ｆ：よ波のばらつきをオフセットするｒ 二めに１択され几実数値関数、しは、伝搬媒体の屈折率と同定されるか、まｆ二 ：よ外部に与えら孔た力の場と同定され得る実スカラ場である。開数ｆの形によ って、ＮＬＳ方程式；よ、ビルラ（Ｂ　１ｒｕｌａ）　（物理学史、＋００６２ ないし９３ページ、１９７６年〕に述べられている［ガウスリング（Ｇ　ａｕｓ ｓｏｎｓ　）　ｊのような孤立状波粒子によって解かれる。これらの粒子は、い ったん開始すると、電位場Ｕ（ｘ、Ｃ）の勾配制御を受けて、粒子物理学の通常 の法則に従って伝搬する。 パラメータアバランノエにおいては、ｉＩ位場Ｕ（ｘ、ｔ）は、ｌＧ１６の神経 細胞の活性化レベルＬ（ｘ、ｔ）によって確立され、これらは、ノブム１４から 受取られる信号ベクトルｎ（ｔ）によって順に決定される。下記のように、Ｐ　 、Ａが伴出された後、ｎ　（ｔ）によって保持されｆ二予想エラーが、正しい１ ！位場Ｕ（Ｘ、ｔ）を正確に発生し、その勾配ベクトルＵ（ｘ、ｔ）が誤った波 粒子を（最大エントロピーの意味で）最小エラー推定器に引き寄せることが容易 に示される。 パラメータアバランンエにおいては、解式Ｅ（ｘ、ｔ）をＮＬＳのディスクリー トな影から直接に、局部的に計算するのが都合好い。というのは、ＩＧ洛子内の 各プロセッサが、その時、最も近隣のものとのみ通じて波を伝搬することを必要 とするからである。この解式はその後、方程式Ｔ（ｘ、ｔ）＝ｌ−ｉＥ（ｘ、ｔ ）ｉによってそれをＩＧＬきい値フィールドに結び付ける格子内の位置Ｘで神経 細胞を条件付けるか、または感化するために用いることができるので、ＩＥ（ｘ 、ｔ）：が、波粒子を見つけ出す可能性が高いことを示す付近を除いて、ベース ラインしきい値レベルは！であり、そこではしきい値がベースラインレベル以下 となる。ｒＧ内の神経細胞からの出力信号を刺激するのには方法が２つあること に注目されたい。１つは、入力信号をシナプステンプレートに供給する方法であ り、それによってテンプレートと非常に強力に整合（相互に関連）し合うので、 その結果生じる活性化レベルはしきい値Ｔを超える。 もう１つは、条件付き波粒子を神経細胞上に通過させる方法であり、それによっ て、しきい値Ｔは、その時点でのどの活性化レベルよりも低くなる。これらの方 法は、ビアリニッキービルラ（Ｂｉａｌｙｎｉｃｋｉ−Ｂｉｒｕｌａ）およびシ ャーシー・ミシャルスキー（Ｊ　ｅｒｚｙ　Ｍｙｃｉａｌｇｋｅ）の論文「非線 形波力学（Ｎｏｎｌｉｎｅａｒ　ＷａｖｅＭｅｃｈａｎｉｃｓ）Ｊ　（物理学史 、１００．１９７６年）に述べられている非線形波力学のディスクリートな形を 用いて実施することができる。 以下で述べられるように、これらのＴＦＤもまた、カーマン・ブーシーフィルタ リングに関連して考慮した場合、マーカーとして作用する。なぜなら、最大可能 性状！！（または特徴）推定の位置をマーキングするからである。 ＴＦＤでは、神経格子のどこに学習方法を適用するのかを指令する機構が存在し 、かつ同時に未完の推定器を利用することなく、インスターアバランシェが実行 可能である０例えば第５図の２層ネットワークのうちの第２の層６８の神経格子 がランダムに、すなわちＣ−１，−ＩＥ間で均一にシナプス重みを初期化し、現 時点でしきい値フィールドが格子内のある場所Ｘ′に単一のＴＦＤを示すと仮定 しよう。その時、現在のイメージは、ヌ２の層６８の活性化レベルでランダムな 応答を引出すが、Ｘ′の近隣以外の場所では、出力信号は；ｌぼゼロでめる。な ぜならしきい値が非常に小さいため、（現在のパターンへの強力な不整合を除い １こ）はとんどのものは、強力な出力を発生するからである。従って、信号ヘビ アン学習法（すなわち、重み変化は、プレシナプス信号とポストシナプス神経細 胞の出力信号との積に比例するもの）は、入カバターンを捕え、Ｘ′およびＸ′ 近くに記憶する。従って、入カバターンは、最も近くに記憶される。しきい値フ ィールド４３のベースラインしきい値レベルが、静かなランダム応答を抑圧する ので、学習は他の場所では行われない。 ＴＦＤは、ｌＧ１６の神経格子を憤切って測地線で粒子状に移動するので、通常 のアバランシェにおける時軸の単なるパラメーター化以上のことができる。この ＴＦＤは、観測されたシーンの特徴部分のパラメータ軌道の理想的な内部モデル としての働きをする。神経細胞のタイミングチェーンを二次元および三次元に拡 げることによって、実に多くの時空パターンをコード化された軌道の形で記憶し 、かつ再現する能力を得ることができ、その組の大きさは、共通のパターンが（ 以下で述べられによって重複記憶が避けられる場合、よりずっと大きいものとす る。また・・・この設計および池の従来の設計の記憶能力を迅速に削減する・・ ・イメージシーケンスの、入って来るものすべてを、記憶するわけではなく、現 在の文脈に府もって記憶されているすべてのものがンーンから取除かれた後に残 る新しい残余物のみを記憶することができる。 ＴＦＤか空間デルタ関数である場合、そのピークが格子点間にある時、デルタ関 数が消失するため、単−ＴＦＤが、Ｎ神経格子内のその位置によってパラメータ のＮ１１ｌのレベルをエンコードすることのみ可能であることに注目することが 大切である。 しかし一度に６個または７ｉ１Ｎの格子点に及ぶ分散されたＴＦＤは、隣接する 神経細胞間の位置の事実上の連続体を表すことができる。実際、補間法の量子化 は、所与のＴＦＤにおけるｍ（ｆｌＡの神経細胞の活性化のワード長量子化の２ Ｗ″倍のオーダでなければならない。すなわち、各神経細胞のＴＦＤ振幅がｎビ ットワードにコード化され、ＴＦＤが一変にｍ個の神経細胞に及ぶ場合、神経細 胞間のＴＦＤのピークの補間能力はｎビットのｍ倍のオーダーでなければならな い。 学習法 ヘビアン学習法および逆ヘビアン学習法の２つの比較的簡単を学習法がある。ヘ ビアン学習法は、いわゆるスーババイズ学習法のほとんどすべての原型であるが 、元の形ではほとんど使用されない、というのは、動物の古典的調教態度を含む 因果的過程を特徴づけ時間的潜在性について説明していないからである。クロッ プ・エイ・エイチ（Ｋｌｏｐｆ、Ａ、　Ｈ，）著「古典的調教の神経細胞モデル （Ａ　Ｎｅｕｒｏｏｍｌ　Ｍｏｄｅｌ　ｏｒ　ＣｌａｓｓｉｃａｌＣｏｎｄｉｔ ｉｏｎｉｎｇ）　Ｊ　心理学、ｖｏ１１６．８２ないし１２５ページ、１９８ｇ 、に定められているように、クロップ駆動補強モデルのような、プレシナプスま たはポストシナプス信号の１つまたは両方を片側分散して巻き込んで時間の方向 を説明している変形例もある。 他の変形例は、１個以上の信号が減少している時、学習を禁じる際のポジティブ な変化を重要視している。利用される２つの学習法のうちの１つは、もとのヘビ アン学習である。 δ％ｌ／　ｌ　Ｊ　１αｙＩＹＪ ここでは、α〉０であり、Ｖｈ、　５’Ｊは、シナプスの両側の「軸素２信号で ある。プレスレッシジルデッドシナプス活性化を利用する他の共通の形態のうち の１つが利用されていないことに特に注目され１；い。 逆ヘビアン学習法は、公知のデルタルールの特殊なケースである。デルタルール は、ウィドロー（Ｗｉｄｒｏｖ）の確率勾配法に従ってノナプス重みを調製し、 実際の出力ｙ、が「望ましい」出力ｄ、になるように駆動する。デルタルールの 公式は以下の通りである。 δＷ　Ｌ　４　”αｙ＋（ｄＪ−）’Ｊ）ｄ、が０であるような特殊な場合、こ れは正に、ヘビアンルールを否定するものであることに気付く。従って、この特 殊な場合を「逆ヘビアン、学習と呼ぶ。新型フィルタの構造に、これを使用する ことは公知である。コーネン（Ｋ　ｏｈｏｎｅｎ　）の書籍「自己組織イヒおよ び連合メモリ（Ｓｅｌｆ　ｏｒｇａｎｉｚａｔｉｏｎ　ａｎｄ　Ａｓ５ｏｃｉａ ｔｉｖｅ　Ｍｅｍｏｒｙ）−（スプリンガ−（Ｓ　ｐｒｉｎｇｅｒ）　Ｉ　９８ ４年）を参照されｒ二い。パラメータアバランノエ１こおいて；ま、ＩＧから推 定結果を受取るノブ二のシナプスに逆ヘビアン学習が用いられる。また、ヘビア ン学習：＊　Ｉ　Ｇのンナブラスに用いらこる。 統合Ｐヘアーキテクチャ フィルタリングのあらゆる問題の基本的目的：よ、できる限り異なる時間ｔ゛ま ですべでの８測結果がＹ　（ｔ′）　＝　（ｙ　（ｓ）’ｔｏｓ≦【′ンである 場合、時間【に観測システムの状態、「特徴」まｆ；はこパラメーター冒こ対す る条件付き確率密度Ｐ（Ｘ（ｔ）：Ｙ（ｔ’　））を決定（すなわち推定）する ことである。 ＰＡ１２は上記のように、ノブ二Ｉ４およびＩＧＩ　６からなる２層アーキテク チャであり、このアーキテクチャは、ＩＧＩ６に対応する第２の層６８の出力も また第１の層６６に送り戻され、それか付加的入力としてノブ二１４に対応する ことを除いては、第５図に例示されたものと幾分同じところがある。ノブ二１４ は、入力されろ時系列の新方式過程に近似値を与えろ。 ｌＧ１６は、観測システムの微分モデルに記憶する。 第６図には、確率フィルタリングへの新方式アプローチのブロック図が示されて おり、これは、カイラス・ティ（Ｋａ目ａｔｈ。 Ｔ、）の論文、「最小自乗法推定への新方式アプローチ第１部：付加的白色ノイ ズの線形フィルタリング（Ａ　ｎ　Ｉ　ｎｎｏｖａｔｉｏｎｓＡｐｐｒｏａｃｈ 　ｔｏ　Ｌｅａｓｔ　−５ｑｕａｒｅｓ　Ｅｓｔｉｍａｔｉｏｎ、ＰａｒｔＩ　 ：　Ｌｉｎｅａｒ　Ｆ　ｉｌＬｅｒｉｎｇ　ｉｎ　Ａｄｄｉｔｉｖｅ　Ｗｈｉｔ ｅ　Ｎｏ１ｓｅ　）　Ｊ　Ｉ　ＥＥＥＴｒｅｎｓ、　Ａｕｔｏａ＋ａｔ　Ｃｏｎ ｔｒｏ、Ｖｏｌ　ＡＣ−１３、６４６ないし６５５ページ、１９６８年１２月、 がらとみれたものである。 ノブ二１４およびＩＧによってどの関数が行われているかを示す区画が、このブ ロック図に重ねられている。出願人の本発明以前には、カーマンフィルタのすべ ての既知の実現化例が、公知の反復公式化およびその細分に基づいていた。これ ら先行のシステムは、線形システムのガウス統計に基づく。大半の計算上の負担 は、第６図の（演算子ｒｂ」で示され几）カーマン利得マトリックスの動作のマ トリックス演算によって取除かれる。 ノブ二１４は、装置の観測（すなわち入力）を受取り、ＩＣ１６は、装置の状態 推定結果を生成する。ＰＡ１２の「アルゴリズム」は、第６図に示されたものと は全く異なる。これはホワイ・シー（Ｈｏ、Ｙ、Ｃ，）およびシー・アール・シ ー・ケ−（Ｌｅｅ、Ｒ，Ｃ，に、）著「確率推定および制御の問題へのベイズア プローチ（Ａ　Ｂａｙｅｓｉａｎ　Ａｐｐｒｏａｃｈ　ｔｏ　Ｐｒｏｂｌｅｍｓ 　ｉｎ　５ｔｏｃｈａｓｔｉｃ　Ｅｓｔｉ＋＊ａｔｉｏｎ　ａｎｄ　Ｃｏｎｔｒ ｏｌＪ　Ｉ　、　Ｅ、　Ｅ、　Ｅ。 トランザクションズ・オブ・オートメーシヨン・コントロール（Ｔ　ｒａｎｔａ ｃｈｔｉｏｒｕ＋　ｏｆ　Ａｕｔｏｍａｔｉｏｎ　Ｃｏｎｔｒｏｌ）　、Ｖｏｌ 、Ａ　Ｃ−９，３３３ないし３３９ページ、１９６４年１０月、に述べられてい る。より一般的な多段ベイズ推定器に基づ＜、ＰＡ１２がいかに動作するかを述 べるために、ホおよびり−の論文に述べられるように、手順を段階的に進めて行 き、ＰＡ１２かいかにして各段階を終えるかを示す、第６図および第７ｖｌ！： Ｊの両方かられかるように、ＰＡｌＺ内の状態遷移演算子Ｆおよび観測演量子Ｈ ：よ、−ハツト（ｈａｔ　）−が、その上に配！さこている。これは、ＰＡ１２ が、これらの演算子の内部表示を１学習する−ことを示している。これ：よ、以 下でより詳細に遭べることにする。 ホおよびり−の論文で：よ、説明のにめにこれらの演算子が与えられることか仮 定されているので、これらの推定結果：よ−良一である。以下の説明で；よ、ホ およびシーの論文が従う段階について述べる。 第１段階・・評価Ｐ　（Ｘｈ、＋　’、　Ｘｂ）しきい値フィールドに、時間を ざらに１だけ増分させろ。新ｒ；なしきし・値フィールドＴ　（ｘ、ｔｈ、＋） 　：よ、状Ｑ（特徴）Ｘの先行の確率関数を仮定しｒ二場合の、その条件付き確 率関数を示す。 第２段階　評価Ｐ　ＣＺ、、＋　Ｘｍ、Ｘｍ−＋）ホおよびり−の術語で：よ、 Ｚ　ｍ−＋：よ新にな上滑１ベクトルであり、これ；よ、第７図において：よｙ （【）で示されろ。この確率を評価する几めに、現在の活性化Ｌ　（ｘ）　：よ 、しきい値フィールドＴ（ｘ、Ｃｈ、＋）を介して送られ、λ−優先（ｈ　−ｐ ｒｉｏｒｉ）状態推定Ｅ（ｘ　Ｔ）を生じる。このＩＧ比出力その後、ノブム！ ４のノナプスを通過し、それによって　マトリックスか実施される。　は、ｉｌ ｌ、ｆ１マトリックスＨの内部モデルを実施するので、その結果：よ、ｌＧ１６ で予想されるように観測の推定である。（Ｕ劇自体は受取り変換器に関する確率 関数として処理されるので、この推定自体が確率関数であることに注目されたい 。）ノブム１４はその後、この推定結果を現代の信号から差引き、新方式過程を 生成する。 第３段階・・評ｆｉｌ［ｉＰ　（Ｘｈ−＋、　Ｚｈ＋＋　：ｌ）これ；よ（大文 字Ｚ、で示された）時間℃、までと時間ｔ１を含むすべての観測の歴史を仮定し ｆ二場合、ｆｒ？：　ｒ、状態及び新几を観測の結合条件付き８ｉ率である。こ れ；ま、ノブム１４からの新方式過程（７新規性−）を、ＩＣ，＋６の要素間の 共分散関係とと乙に用いて、しきい値フィールド波粒子の軌道を偏向させること によって、ＰＡ１２において達成される。Ｖｒ方式過程としきい値数軌道との相 互作用は、その軌道が実現される方法に依るものである。この軌道が量子神経動 力学を用いて実現される場合、以下の第３・２項で述べられるよろに、伝搬「媒 体−の基礎となる屈折率フィールドを歪曲することによって達成することができ ろ。これ：よ、装置軌道に対する接線のための修正ベクトルを得ろために、カー マン利得マトリックスを新方式過程に通用することに性質上等しい。これは以下 のように定義される。 ｄｉ／ｄｔ＝Ｆ（ｔ）Ｒ−ｋ（ｔ）ｎ（ｔ）ここでは、Ｆ（ｔ）は状ジ遷移演算 子、Ｋ（【）はカーマン利得、ｎ　（ｔ）は新方式過程である。 第４段階・・・評価Ｐ　（Ｘ　ｊ＋１　’、　、Ｚ　、＋ｌ）新几な観測から生 じる新規性は、更新ＩＧノナプスを（再現ｒＧ傷信号ともに）通過し、ＩＧｌｅ 内の新たな活性化レベルＬ　（ｘ）を生じ、その後、Ｌ　（ｘ）は、しきい値フ ィールドを通過して、駈たな組の観測のためのＰ　（ｘ　ｌ　Ｔ）を得る。新方 式過程が新ｆ；戸情報を含まｔい場合、／ナプスに記憶されたパターンに直角で めつ、しきい値フィールドを介して出力を一駆動する一１結果的に生じる活性化 フィールド：よ白色ノイズを含むことに注目されたい。このように、観測システ ムの状態を推定するのに必要なすべての情報：ま、この場合、すでにしきい値フ ィールドに含まれていることになる。 第５段階・・・最大確率推定に対応する状四の選択この時点で、池のすべての過 程が一定のままであったならば、ＦＡＩ２動力学を単に反復することによって、 シグマしきい値関数の効果により、■Ｇ要素の出力信号に含まれる確率関数のコ ントラストエンハンスメントを生じることになる。これは、Ｌ（ｘ）の値がしき い値レベルＴ　（ｘ）を超えｒ；状態の組に対するインジケータ関数に向けてＰ （ｘｉＴ）を駆動することによって、最大確率状態推定の選択に近似する。池の 過程は一定ではないので、コントラストエンハンスメントが生じても、一般に限 定状態には収束しない。 これらの段階は、ホおよびり−の説明においては順次行なわれるべきであるが、 ＰＡ１２内で並行して、非同期に行なうことができ、これによって真のカーマン ブーシーフィルタを実施することができる。 システムの識別 上記５段階は、すべてＰＡ１２内で続行されるわけではない。これらは、ＰＡ１ ２に推定アルゴリズムの「トラッキング」作用のみを構成する。「システム識別 」作用も続行される。上記の説明のＬめに、システムモデルＦおよび観測器モデ ルＲは一良一であると仮定したが、実際に：よ、絶えず改良（すｔわち学習）さ れｔ′すわばならｔい、ＰＡ１２において：末、Ｚｈから生じ几新規性：よ１０ １６のシナプスをリコードするｆ二めに利用されるので、最強出力を有する要素 に属するもの（よ、観測に向けて最も強力にベクトル化される。新規性自体；よ 、推定の状態から生じｆ二予乏観測と実観測とのエラーを最小限にするための共 役勾配ベクトルである。新１こなエンコーディングは、ｌＧ１６からノブム１４ まで、現在の信号をもたらさず、しきい値波粒子の物理的軌道を偏向させない。 しかし、しきい値波粒子が次に物理的軌道を横切る時、その見かけの軌道が偏向 されることになる。なぜなら、その経路内の処理要素が、異なる特ｒ１１部分を エンコードするからである。これによって、観測システムの動力学の内部モデル を改良する。これは、現在の推定作用には、影響を与えないが、同一軌道の次の ｌＩ！廁に対する収束率には影響を与える。 観測器モデルＲは、ノブム！４のＩＧ対ノノブンナブスに含まれ、デルタルール 学習を利用して、非常に小さい時定数を用いて確立される。ノブム１４上のしき い値レベルは一様であり、時間に伴っては変化しない。このレベルは、ノブム１ ４の活性化のための最大情報レベル、すなわち最大エントロピーレベルを定める 。このレベルは、計算Ｖを簡単にするために、ゼロに等しくなるように選択され たノブム１４の各処理要素（画素または神経細胞）に対する「望ましい出力」で ある。 ＰＡ１２が受動的観測および推定のみに利用される時、ベクトル”１’　（ｔ　 ）の観測が、ハードワイヤ非学習シナプスを介してノブ二１４に適用され、１個 のＩＩＩ吸要素”ｒ、＋（ｔ）が各ノブム神経細抱２８に適用される。ｌＧ１６ からのフィードバック信号Ｐ（ｘ・Ｔ）は、入力ベクトル２２上の学習可能シナ プスを介して入る。理想的な場合には、Ｐ　（ｘ　’　Ｔ）は移動デルタ関数と なかので、いかなる時にも、各画素のＩＧ入シカラインうち唯一のものはその上 に信号を育する。デルタ学習アルゴリズムは、その／ナブス重みを、同時に画素 に属する信号構成要素Ｙ　Ｉ（ｔ　）のミラーイメージにモールドする。 ＰＡ１２が受動的観測および推定のみに用いられる時、観測ベクトルｙ（【）が ハードワイヤ非学習シナプスを介してノブ二に与えられ、１個の構成要素ｙｊ（ ｔ）が各ノブ二神経細胞に与えられる。ｌＧ１６からのフィードバック信号Ｐ（ ｘ　Ｔ）は、学習可能ノナプス（すなわち入カライノ３６）を介して入る。Ｂｉ ｚ的ｔ″４合、Ｐ（ｘｌＴ）ｉｉ移動デルタ関数と戸るので、いかなる時にも、 各神経細胞３６上のＩＧ入カライン３６のうちの唯一のものが、その上に信号を 存する。デルタルール学習アルゴリズムは、そのシナプス重みを、同時に画素に 属する信号構成要素ｙ＋（ｔ）のミラーイメージにモールドする（ミラーはしき い値レベルである）、このように、ソナプス重みは、信号波形の、空間的に記録 されたレプリカとなり、移動デルタ関数によって活性化された［Ｇ神経細胞３６ に関連しｒニンナプスのみが、実際に表示に加わる。池のものは、関連のない信 号パターンの観測をエンコードするために利用できる。 ビー・ウィドロー（Ｂ　−１，Ｖ　１ｄｒｏｖ）デルタルール学習法：よ、以下 の形をとる。 δｖ、、＝−αＸ　ｉ（ｄ　Ｊ−Ｘ　Ｊ）ここで１よ、Ｘ　Ｌはシナプス豐、Ｊ への入力、Ｘ　Ｊは（しきい値化の後の）神？ｉ細胞の出力、ｄＪは望ましい出 力である。従って、′望ましい出力Ｅ　がゼロでめるとき、デルタルールは以下 の形をとる。 δ１．＝−αＸ　ＩＸ　Ｊ これ：よ、負のヘビアン法でゐる。この特定の学習法は「逆へビアンー学習法と 呼ばれている。これは、パラメータアバランシェに用いられる時、以下の！要− 効果を有する。すなわち、学習の初期段階の間、内部モデルの入力予想が優れて いない時、ノブ二１４の出力（新規性）か非常に協力になる・・−１まには−１ に近づく。ＩＣからノブ二への人カニよ、高確率の、かなり局部化され？＝２． ３の領域を除く池、）場所ではゼロであるので、学習は主として、予想エラーの 大きざによって制御される。これは。 ？７］Ｉｇ！学習段階において（ま几は入力内に７驚くべきもの」が存在してい る時）入って来るパターンにノブ二１４の重みを適合させることによって、非常 に小さい時定数を宵することになり、ＩＧモデルの予想が優れている時、重み１ 合によって大きい時定数を育することになることを意味する。あらゆる場合、重 み変化は、各ＩＧＧ経細胞３４が活性化状態の時に存在した入カバターンの「平 均」をその！ＧＧ経細胞３４のｒこめに記録する傾向があるが、学習が改良され ると、平均化母集団の分散が小さくなる。 観測システムの動的モデルに関連する波拉子の運動：よ、基本的には２つの方法 で達成することができる。これ：ま、別のレベルしきい値フィールドの適当なベ ル形ディブレッンヨンを用いて、また、データアレイの指数を増分するか、ま几 ：よこのようなディブレッノヨンか２つ以上同時に移動するへき場合、データ自 体をベクトル化して、このデイプレツシヨンを簡単に、望ましい方向に移すこと によって達成できる。これ；ま、汎用計算装置ま几は専用ユニプロセッサ／ベク トルプロセッサ装置でのＰＡ１２の実施に適する。 並列処理装置を利用する時、前述の方法は適さず、まｒ二値ましくない。なぜな ら、その方法は７局部的」アルゴリズムではないからである。しかし、孤立波伝 搬の数学に基づいて局部アルゴリズムを有するこの波粒子運動を生成することが さらに可能である。 非線形ンユレーディンガー（ＮＬＳ）方程式；よ、必要な動力学を二次元および 三次元に拡張するための１つのルートである。 この方程式は、プラズマのラングミュア波のような、分散媒体におけるフォトン およびフすノンの運動を説明している。波粒子解式は、空間的に均一である必要 がなく、それゆえ波粒子の軌道の制御および変調に必要な特性を有する非線形屈 折率を特徴とする媒体内で伝搬する。上記のように、この屈折率は、ノブ二「エ ラー」信号に対する！ＧＧ経細胞３４の応答に直接関連づけられ、それによって 、カーマンブーンフィルタによって要求されるように、孤立波軌道を偏向させる 屈折率フィールドの勾配を、エラーが少な（なるように導くことかできる。 これらの方程式によって得られる粒子運動：よまに、極めて有用を非線形相互作 用を有することに−り、これによってＰＡＩ２モジュールのネットワークが観測 システムの推定モデル、すなわちシステムの作用の先行の観測に基づかｔいモデ ルを作ることができる。−空想！中に（すなわち現在の観測の結集としてではな く）２つのＴＦＤが衝突すると、前衝突軌道セグメントへの観測後続物によって はコード化されていない格子内の軌道に偏向されることになる。新たな経路に存 在するいかなる事象であっても、「ゲダンヘン（ｇｅｄａｎｈｅｎ　）実験」の 後に続くように導かれる。これは、同等の実験から同一事象が続くことを意味し てないが、もしそうでない場合は、ＩＧモデルを改良しなければならない。これ は、実世界事象の相互作用を伴う仮説的「生産ルール」に相当する。 Ａｌ１泉 第８ａおよび８ｂ図には、第２図に関して上で述べたように、ノブ二神経細胞２ ８とＴＧＧ経細胞３４との概略図が示されている。第８λのノブ二神経細胞２８ は、ライン３２上で、ノブム格子内の他の神経：ａｌ！！Ｉから入力を受取る。 さらに、入力ライン３０上で、局部平面における各点から人力を受取る。重み因 数は、入力ライン３２の各々と、入力ライン３０の各々とに関連する。一般に、 外部入力ベクトルＹ　（ｔ）は、各ノブム神経細胞２８かベクトルＹ　Ｊ（ｔ） の各構成要素を受取るように、扇形に広げられる。これは、学習に関して利用ざ こるが、適応制御プログラムをアドレスしない場合、正に１＠のノブム神経細胞 を有する各構成要Ｘ：　Ｙ　（Ｌ）を考察し、（学習せずにハードワイヤされ１ ；）シナプス重みを−１に定めるのが適当である。基本的には、人カライノ３０ 上のシナプス重みをクロネッヵーデルタ関数６１Ｊに等しくなるように定める二 とによって達成される。 識別するために、ノブム神径細抱２８：よ整数指数（例えば「ｉ。 ）と同定され、ｒＧ神経細抱３４は、幾何学烙子内の座標に対応するベクトル指 数（例えば７ｘ−）と同定される。 ノブム１４からｌＧ１６に至る信号シ）前方のフロー：まインスターアバランノ エを実施する。すなわちノブム１４は画素アレイであるが、１０１６のしきい値 フィールドは二次元又は三次元ＩＧ格子上のＴＦＤＯ伝搬を支持する。特に、格 子位置ＸにおけるＩＧ？Ｉｌ経細胞３４に対するしきＬ・値関数：よ、以下のよ うになる。 ａ　ｒｃ　（ａ　（ｘ、ｔ）：Ｔ（ｘ、ｔ））−ＣＩ　−ｅｘｐ（４５（Ｔ（ｘ 、ｔ）　−＆　（ｘ、ｔ）））〕−’ここで：よ、ａ（ｘ、ｔ）はＸにおけるＩ Ｃ神Ｆｉ細胞３４の活性化レベル、ｍはＴ（ｘ、ｔ）において生じる最乙急な勾 配であり、Ｔ（ｘ。 ｔ）はＴ（ｘ、ｔ）−１の通常のレベル以下の孤立波状ディプレラン１ンを認め る非線形波方程式によって定められる。Ｔ　（ｘ、ｔ）の“現在の°位置は、座 凛軸８０によって、ＩＧ？Ｉｌｌ経細胞３４の内部に概略的に示されている。上 記のように、ｌＧ１６の学習法；よヘビアン法である。ｌＧ１６の出力信号は、 先行の観測Ｙの文臓にお：する観測システムの状態に対する条件付き確率密亥ｐ （ｘ　Ｙ（ｔ））を示す。 ｌＧ１６からノブム１４に至る信号のフィードバラフッ＝−は、ノブム１４の学 習法か逆ヘビアン法でめることを除いて、アウトスターアバランノエを実施する 。ざらに、；一時間Ｅ領域が単する一次元領域になる代わりに、二次元又は三次 元ｌＣｌ６を介して因数分解される。この結果、「パターンコが再現されると、 負の観測パターンとなるので、もとのパターンがゼンサアレイに再生されろと同 時に再現され几場合、ノブム１４の出カニよ、すべての画素からゼロになる。ノ ブム１４のしきい値関数：よ以下のようになり、これはノブム格子内の位置から 独立してしする。 σｓｃ　ａ（Ｌ））−−１−２、、ｌ　−ｅｘｐ（−２＠ａ（ｔ）Ｄ　”波形８ ２．よ、神経細胞２８におけるノブム１４の出力応答を示す。 第９図には、二次元格子のためのノブム！４及びＩＣｌ３を介する観測ブロック １０内の焦点面からのフローが、より詳細に示されている。ノブム１４は、入力 面８４と出力面８６とから成る。ｉ！測ジブロック１０内焦点面は、各画素がＦ （ｔ、ｙ）で表された頃敗個の画素を有し、これがノブム入力面８４内の神経細 胞ｙ（参照番号８３）を表すものと考えられていた。従って、このノブムの１個 の人力は、ｕ（Ｋ）で示されたＩＣｌ３からのベクトル出力２２である。上記の 各ノブム神径細胞ｙは、各ＩＧ大入力関連する撲数個の重み因数を育するうこれ ら；ま、各点が重み因数ｗｎ（ｙ、ｘ）を示すテンプレート８６て表５孔、この 重み因数Ｗ。（ｙ、ｘ）ノブム神経細抱ｙと、ＩＧ神経細抱Ｘからのシナプス入 力とを示す。ｕ（ｘ）とＷ。（ｙ、ｘ）とのドツト積がとられ、各シナプス入力 及び各ノブム神経細胞に対するＸに関して合計される出力アレイ９０を与える。 これはその後、追加ブコック９２内で、入力ベクトルｆ　（ｙ）と合計される。 追加ブロック９２の出力はそれから、ブロック９４で表され几ノブム１４のしき い値関数を通過する。これによって、ノブム出力面８６上の位置９６で表された 、ノブム１４内の特定の神経細胞８３に対するノブムｎ　（ｙ）の出力が与えら れる。ノブム１４の出力は上記！Ｇ［６は、活性化平面４２としきい値平面４３ とから成る。活性化平面は、ＩＧ’４２と呼ぶことにする。ＩＧ”４２は、入力 面９８と出力面１００とから成り、出力面１００はｌＧ１６の出力から成る。ｌ Ｇ１６内の各神経細胞３４は、上記のように、幾何学格子に配置される。この例 に利用される神経細胞３４のうちの特定のものは、入力面９８における特定の神 経細胞！０２で示されている。神経細胞１０２は、テンプレート１０４が結合さ れており、このテンプレート１０４に重み値が記憶される。ｌＧ１６内の各神経 細胞３４に対して、ノブム神径細胞２８の各々に１個の重みが関連付けられる。 従って、一点１０６が重み因数ｗｔａ（ｘ、ｙ）を表す状態でテンプレート１゜ ０４が示されている。ノブムｎ　（ｙ）に対する出力ベクトルと、関連の重みベ クトルｗ　ｒｃ（ｘ、ｙ）とのドツト積がとられ、テンプレート出力１０８を与 える。テンプレート／出カニよその後、しきい値ブロック１１０に入力される。 しきい値ブロック＋１０は、上記方程式によっノブム１４の出力で入力ベクトル ２ｏがら得られたしきい値関数Ｔ　（ｘ）を、その池の入力で受け取る。 これによって、Ｉ（１，＋６からの出力に対する出力ｕ（ｘ）が得られる。 Ｐ　、Ａの階段関数応答 ＰＡ１２のネットワーク作用は、上記よりも幾分複雑である。 なぜなら、学習法とアーキテクチャの動力学とを分けることができないからであ る。ネットワークの階段関数応答を説明するのが最も簡単である。時間【＝０で は、ノブム１４が（ハードワイヤンナプスに与えられｒこ）イメージで照らされ 、単−ＴＦＤがＩＧ内の測地線に沿って移動しているものとする。さらに、ノブ ムのハードワイヤ励起可能シナプス以外のすべてのシナプスの重みが、【＝０に おいてゼロに等しくなると仮定しよう。 １＝０では、ノブムの各画素が、正、負又はゼロである一定の入力信号Ｙｎを受 け取る（後者の場合は関係ない）。この信号は、同一レベルの活性化を生じ、扇 形に広がってｌＧ１６に至る前にσ茸を通過する。はとんどすべてのＩＧ神経細 胞３４は、高いしきい値レベル及びゼロのシナプス重みにより、ゼロの出力を有 する。しかし、格子の重心がＸ　（ｔ）にあるＴＦＤの付近では、しきい値が十 分に低いので、出力信号Ｐ　（Ｘ　（ｔ）＋δｘ　ｌ　Ｙ（ｔ））は、ヘビアン 学習法を活性化するのに十分な高さとなる。このように、ｔ−０で：孟、ｘ（０ ）、及びその付近の神経細胞゛よ、入カバターン？３’ｎ’ｎεｎｏｖｕｍ；を そのそのシナプスに吸収し、ｘ（０）自体：よ最強のコピーを受取る。 １、、カＬＰ　（ｘ　（０）　ｌ　Ｙ　（０）　）もまたノブムに放出ぎわ、わ ずかな時間の後・・・・・・ｔ−０−δｔで・・・・各ノブム画素上のシナプス のグループが、パターンの負〜ｙｎの一部分αを吸収し、それを、’−ｙｎのま まである入力に加え、（１−α）ｙｎをｌＧ１６に向かわせる。このように、１ Ｇ１６内のＸ（δｔ）におけるシナプスは、入カバターンのより弱い変形を吸収 し、フェーディングが指数関数で続けられ、しばろくしてノブム１４の出力が、 ゼロにちがい均衡レベルまで降下する。（ともにゼロになっｆこ場合には、シナ プスをトレーニングし、ノブム１４の出力をゼロに向けて駆動し続・すること： まできない。）この過程：よ、ｌＧ１６烙子上の独立波に子からなる口装置−の 内部モデルのｒニめのフィードバック制御機構の過程でめろ。 このモデルへの人力がＵ測であるが、ただしノブム１４内の１″レギユレータ」 によって捕られれｒこ後のみである。レギュレータ出力１よ装置を安定させるよ うに構成されており、この場合には、ＴＦＤが、妨害を最小限に、すなわちそれ 自体の慣性で、測地線に沿って移動していることを意味する。 ノブムの出力が、階段関数入力の時導関数に近似するという効果があるので、Ｉ Ｇ駆動Ｘ　（ｔ）のノナブスに記憶されたパターンは、その時導関数を記録する 。ノブムを１４ノンに記憶されたパターンは、その時導関数の負を記録する。（ ＩＧ神経硼胞が空間パターンをエンコードし、ノプム神経細胞が時間信号をエン コードする二とに注目されにい。）階段関数の時導関数らまた、階段関数の新方 式過程でもある。ここは、より一般的を信号に対して真ではない。 複合信号の再構成 ノブムに複合パターンが与えられる時はＺず、時間大味で与えられる。その文脈 の、現在の内部表示は、’ｒｃ、１ｓのしきい値フィールドの状態、すなわちＴ ＦＤマーカーの位置および速Ｉのベクトルである。これらのＴＦＤは、入力内の ある状ｔ！？／特徴を検出するにめに、ｌＧ１６を感化するか、または条件付け る。ノブム１４の出力は、そのデータの内容のａ−ｐｒｉｏｒｉ　（または「文 脈のない」）推定を表す活性化レベルに応答するすべてのＩＣ神経細胞３４のシ ナプステンプレートを介してフィルタリングされる。これらの活性化レベルは、 均一でないＩＧＬきい値フィールド４３を介してフィルタリングされ、ＩＣ出力 分散を生じ、それによって人力内の状”Ｊ／特徴の存在の条件付き確率が示され る。 ＩＣ出力分散は、ノブム１４にフィードバックされると、ノブムンナブス内に空 間分散影響で記憶されたパターンの直線状の組合わせを形成するために、スカラ ー係数を集めたものとして処理される。この構成によって、現在の観測が、先行 の観測によって補わわれたパターン部分空間に投影される。（実際には「はっき りしない」投影である。なぜなら、ＴＦＤは（Ｇ格子に関するデルタ関数でない からである。）この構成は、抽象的なＩＣ推定のデコーディングら行い、ま、” ：　Ｉ　Ｇ　Ｉ　６によって検出されに特徴か、実観測に対する比較りためにノ ブム１４内のモデルを再構成するために用いられるという点で−モデルベースビ ジョン二の方法と一致することが容易に理解ざζろ。この一致は、センサアレイ からの各ｐ　Ａモジュールの距離が増すにつれて、ますます多くの抽象的特徴の 組のネスティングをＰＡモジュールのネットワークが達成する二とができる場合 、階層的モデルベース機構にさえ反映する。 しかしモデルベースビジョンとの一致には限界がある。再構成され几モデルは、 現在の［６１の推定ではなく、むしろ信号をノブムからＩＧに、さらにもう一度 ノブムに向けて伝搬するのに必要を時間ｔ　１ｏｏｐの後に到達する観測の推定 である（戸ぜｔら学習する間、いかにして記録が生じるかということだからであ る）。さらに、特徴検出は、孤立したイメージに関するワンショットパターン認 識動作としてではＺ＜（これは明らかに、特殊なケースとして行われる）、カー マンブーシーフィルタの時間利得を用いて積分された歴史的推定として行われて いる。 推定観測がいったん構成されると、これは実観測と比較されてエラーパターンを 生成し、このエラーパターンは、（可変屈折率フィールドのカーマン利得演算に よって）進行中の推定を修正し、（ヘビアン学習法の作用によって）エラー共分 散を将来的に削減するためにｉＧココ−ィングを改良するために用いられる。こ のエラーパターンは、ノブムの唯一の出力であり、歴史的部分空間に観測を投影 した後の残余のものから成るので、正確には、観測され几確率過程の１新方式過 程−・と呼ばれる。 しかし技術的には、単に部分的ｔ、まに：よ次善の新方式過程にすぎない。なぜ なら、どの単−ＰＡモジュールら、その人力の、かｔり異なる歴史全体を記憶す る能力をしたないからである。 これは重要な専門的事項である。真の新方式過程は、制御またはエラー修正には 役に立たないブローニアン（Ｂ　ｒｏｗｎｉａｎ）運動である。しかし、次善新 方式過程は、計算上処理できない形であっても、このように利用することかでき る。 Ｐ　Ａを用いた適応制御 現代の制御理論では、「基準信号」または望ましい軌道とともに、制御された「 装置」からの状態フィードバックを用いて、その軌道が基準に収束するように導 く装置への制御人力を発生する。装置の状態が、通常の場合のように、直接に利 用できない場合、制御問題が状態推定問題と「分けられ」、あたかも状態が利用 できたかのように、別個の解法を再度組合わせることが可能でめろことがよく知 られている。これは「分離特性」と呼ばれ、有効となるには、装置が「観測可能 」であることが必要である。これは、シー・ティー・チェノ（Ｃ，Ｔ、　Ｃｈｅ ｎ）著「線形システム理論および設計（Ｌ　１ｎｅａｒ　Ｓ　ｙｓｔｅａ　Ｔｈ ｅｏｒｙａｎｄ　Ｄｅｓｉｇｎ）　Ｊラインハート・アンド・ウィンストン（Ｒ １ｎｅｈａｒｔ　ａｎｄ　Ｗｉｎｓｔｏｎ）、１９８４年、に述べられている。 ＰＡ１２は、システムの状態に対する（推定された）確率密度を構成するので、 観測可能性および制御可能性基準が満たされる限り、望ましい制御目標を達成す るのに必要な情報すべてを含む。ノブム１４の出カニよすで、に、ｌＧ１６内に 含まれる、装置の内部モデルの発展を制御するのに適するので、装置自体を制御 する几めに利得変換を必要とするのみである。この利得変換の適応計算を神経ネ ットワーク原理に従って行うために、ノブム、７）Ｋ、、シナプスにこの利？！ ！変換を組入れる。この時点まで、これらのノナブスは、観測ｙ（【）をノブム １４に通過さ仕るにめの識別マトリックスに見えるように１装備」されている。 今で：よ、ＩＣｌ３に直交化され、記録されると、装置の直接制御に適する新方 式過程を生成する形に観測を変換するという、より一般的な場合を深川する。す なわち、トレーニング中に、ｉＧ内の装置の内部表示をご装備−するので、新方 式ｌＩ！Ｊ浬が装置へのフィードバック制御として適用されると、１Ｇ１６のＷ 変換推定に与えるのと同じ効果をに変換観測に与える。 例として、ＰＡか自動ターゲット認識およびパラメータ推定を実施することかで きる機構と、システムのトレーニングおよび動作方法とを述べる。トレーニング 手順とその結果についてまず述べるが、これ：ｉ、このシステムにおいては、特 徴の組を定め、モデルベースピノ１ン機構のための特徴検出器を作ることに等し い、その後で、ターゲット認識およびトラッキング機構を述べるが、この雫購： よ、入力信号内の特徴を検出し、推定ターゲットの表示を作るｒこめにその特徴 を使用し、ターゲットを移動中にトラッキングするものである。 トレーニング ＰＡ１２のトレーニングには、まず、重要なターゲットを識別するのに２要な１ 組の基本的特徴を決定し、その特徴部分が豊富であり、混乱まｆ北よ矛盾特徴が 少ｔいトレーニングデータを選択することが必要である。ｌＧ１６サブネツトワ ークは、１グランドマザーセル、で初期化され、そのシナプス重みの各々は、タ ーゲットの１つの重要な特徴のうちの１つのサンプルと整合する。これらの特徴 のうちの階層的に第−位のものに幾分注意を払わなければならない。なぜなら、 最も根本的な特徴は、センサアレイに最も近いＰＡモジュール（このモジュール については以下で述べることにする）にあり、最も抽象的な特徴は、より深いＰ Ａモジュールにあるからである。 その後、ＰＡには、７グランドマザーー：イメージが豊富なトレーニングパター ンで：刻印されるヨ。パラメータアバランシェの文脈においては、ある時間ｔ′ において重要な特徴のうちの１つがまず時空入カバターンに現こると、刻印が生 じる。ＴＦＤは、この時間以前にはＩＧ洛子内を移動していない。なぜなら、Ｉ Ｃ神経細胞３４には、しきい値フィールドと相互作用するのに十分に高い活性化 レベルが存在しないので、しきい値フィールドは一様に均一である。しかし時間 ｔ′では、グランドマザーセルの１つが、それに対してコード化される通過イメ ージに強く反応し、その反応が１しきい値フィールドを引き抜き」ＩＩの波運動 を開始する。 この結果生じる波運動は恐らく、最初は孤立波として伝搬するのではなく、池の さざ波のように伝搬すると考えられる。なぜなら、その最初の応答は、しきい値 フィールド動力学方程式に対して、最ｖ′に）位置；よ与えるが、最初の方向は 与えないからである。これは、トレーニング手順にとってプラスであ侃マイナス で；よない。しきい値フィールド内のく；王゛みの等方性伝搬によって今まで通 り、フィードバック信号がノブム１４に与えられ、発鳴パターンの時導関数を抜 き出すが、微分表示；よ、最初の刺激からすべての方向に向けて外側に記憶され るにすぎない。（しきい値フィールドが真の解式によって定められる場合、広が っていくさざ波は、いわゆる「自己集中」して、孤立波のスターバースト（Ｓ　 ｔａｒｂｕｒｓｔ）に砕ける。）無限格子内にグランドマザーセルが１個しかな い場合、１つの軌道を他のらのと区別するものがない。しかし、格子は無限では ない。波がそこから反射するための境界線を有するか、または波がそれ自体を周 って戻るようにトロイダル状となるかのいずれかである。また、最初のエンコー ディングでは、２個以上のグランドマザーセルが存在することになる。従って、 パターンＡに対して一度コード化されたセルが、後にパターンＢに対する他のＴ ＦＤを通過する際にコード化される時、非対称となる。これらの非対称を展開す ることは、優れた内部モデルを作成する手がかりとなる。 第１Ｏ図には、ｌＧ１６格子の上面図が示されている。また第１０図には、ｌＧ １６格子内のＸ、およびＸ、にそれぞれ配置された２個のグランドマザーセルＧ ｌおよびＧ２が例示されている。トレーニングデータにおいて、Ｇ２が常に時間 間隔δｔ１だけＧｌに続き、時間δを雪の後、他の特徴Ｆが常にＧ２に続くらの とする。格子内のＧ１およびＧ２の距離：よ、しきい値妨害がその間を移動する のに必要な時間がδｔｌよりも大きくζるのに十分な大きさでめろと仮定５れる 。Ｆを重要な最初の特徴０１つで：よｔいと仮定し、実際に（よ、システムが以 前、特徴Ｆには気付いてないものと仮定してもよい。 パターンＧｌが様々なトレーニングデータに出現する時Ｚず起こることは、観測 としての６１の出現がまず、Ｇ１セルを刺激し、それによってしきい値フィール ドにおける妨害の等方性放射か開始されることである。これによって、δｔ＋秒 後に６２が出現する。その６℃２秒後に特徴Ｆがパターンに出現する。 すなわち、その時のパターンはＦＡＲからなり、ここではＲはランダムであり、 平均値がゼロである。（Ｒもいかなる部分もＧ１およびＧ２に一致して続いた場 合、Ｆに含まれていたことになる。）その時にも、２つのしきい値妨害は、超円 に交差すると思われる超球に集中する。超球の１つに存在する（またＴＦＤの下 にある）ことにより、低下したしきい値）を有するＩＣ神経細胞３４は、特徴Ｆ 対するシナプスコードを弱く吸収する。サンプルパターンのランダムな部分は、 学習法によって取消される。しかし、両方の超球のＩＣ神経細胞３４はＦを強く 吸収する。なぜなら、そのしきい値は、ＴＦＤの対の重なりにより低くなる（従 ってその出力は強くなる）からである。このように、いずれかの場所で学習され るコードの強さは、データ内の一致する事象の集合によって決定される。 学習中には、多くの事が生じる。例えば、共に接近し過ぎた２＠のグランドマザ ーセルＧ１およびＧ２を偶然にも初期化してしまっｆ二としよう。その時、Ｇ１ がらのＴＦＤ妨害；よ、Ｇ２以外の入力ノーン内のあるパターンか活性状態であ る時、Ｇ２上に至り、グランドマザーセル：よコーディングし損ｔうことにする 。しかしＧ２がＧ１に一致して続く場合、こｉ：よ、Ｇｌがら適当ら雌れに距離 にある１組の神経ａ抱にリコードされる。 また、しきい値フィールド内の非線形波を利用することによって生じる、以下の 重要な現象ら考慮されｒこい。別個の明確な事象系列をトレーニングする間、あ る特徴（状態〕が２つ以上の系列に共通することが望ましい。このようにトレー ニングの後、（少なくとも）２つの系列に対する再現軌道が共通の状態で交差す る。第３の系列が、その再現軌道が同時に共有状態に収束するように同期されｎ 最初の２つの系列を連合して構成されると仮定しよう。これに関し３つの場合が 考えられる。（１）この第３の系７りは一ゲタンヘ７実験（ｇｅｄｅｎｈｅｎ　 ｅｘｐｅｒｉｍｅｎｔ）　−でめる。すなわち、再現が、冥Ｕ剣によってで：よ なく、恐らく一演量子二から、または恐らくネットワーク内の他の場所から発生 する不自然な信号によって刺激された。（２）これは実際の実験であり、観測シ ステムが、サブシステムを同時に同−状態に重ねるという試みに対して非線形的 に反応する。（すなわち、衝突、または他の相互作用５樋か生じる）（３）これ は実際の実験であるが、状態の明らかな重なりはトレーニングの人工物にすぎな い、すなわち２つのサブシステムは、いかなる時する。 ＝１の場合（−ゲタノヘン実験−・）、観測による軌道修正が行われないので、 軌道を再現している２つのＴＦＤ孤立波が、ｌＧ１６１＠子内の共有場所で衝突 するまで、それぞこの測地線に沿って移動する。衝突の後、その軌道は孤立波動 力学方程式に従って偏向される（これ：よ、とりわけ、多くの保存量が実際に保 存されることを意味する）、このように衝突後、いずれのＴＦＤら、２つの系列 が分離して活性化され１；場合（または相互作用が線形でめろ場合）に再現され たのと同じ推定事象をノブムに：よ再現しない。再現されるもの：よ、ゲタンヘ ン実験が観°測実験に変えられ１こ場合、何が観測されるかについての予想ま几 ：よ−推定」でうる。これによって、ターゲットの出現および運動の差が、実験 的分１１ｇｆｒ・ら抽出され、実巳界相互作用に伴う時、それを説明する方法を ＰＡ１２が提供する。 ＝２；）場合、２つのＴ　Ｆ　Ｄ　Ｌ’）運動は、実ｌｌ！側によって刺激され 、かつ制御される。カーマノ利得の継続エラー修正により、ＴＦＤは格子測地線 に沿って移動しないが、それにもかかわらず格子内のある共通状態に収束するも のと仮定する。その衝突後、異なる時間に共通状０をａ！！ＪＬ　ｒこ場合にと られたものとは別の新几な軌道に沿って現れる。次の衝突軌道における神経細胞 が、観測を保証するために、府しって正しくコード化された場合、予想観測は正 しく、軌道修正；よ必要でないか、または生じない。別の方法では、ノブム１４ からのエラー信号が２つの事を行う、（１）屈折率フィールド（Ｒ［Ｆ）を歪曲 させ、より小さいエラーの方向にＴＦＤをさらに偏向させる。（２）二の実験を その後繰返す際に、修正か必要なくなるように、（ヘビアノ学習法によって）Ｔ ＦＤにならってノナプスパターンに修正を加える・・・すなわちモデルを改良す る。 ＝３の場合、衝突するＴＦＤの偏向された軌道が２つの観測システムの相互作用 を予想するが、観測においで；ｉ相互作用が証明されない。このように軌道偏向 は「偽り」であり、ＴＦＤは偏向しないで進行しているはずである。次の衝突軌 道が池のトレーニングによってコード化されない場合、最終的に測地線軌道のコ ード化の写しを受け取る。別の方法では、不一致が生じ、この不一致はＩＣモデ ルをより高い次元にすることによってのみ解決できる。実際、これは、四次元格 子上でＩＧを物理的に実施して行うことはできないが、第２のＰＡモジュールを 第１のＰＡモノニールにネットワークすることによって達成できる。 ターゲット認識およびトラッキングのためのネットワークトレーニングに対する これらの現象には、環境の内部表示が、完全な表示ではないとしても、環境と一 致する形に駆動する調整機構を与えるという意味がある。この文脈における「一 致」は実際、ホモトビツクマツピングの点から、正確な数学的定義を有し、大脳 皮質格子における感覚領域のホモトビツク表示を動物と人間の脳が達成すること がわかる。 これらの例は、ディスクリートな事象で構成されたが、含まれるすべての過程が （多重ホストプロセッサの有効クロック速度を法として）連続して生じているこ とを認めなければならない。学習手頃によって上で推定された特徴Ｆは、観測シ ステムの作動中、絶えず展開する特徴の軌道Ｆ　（ｔ）の一部にすぎない。さら に、学習手順が特徴をその正しい因果的文脈に埋め込むので、観測におけるその 特徴が後に発生する二とによって、ＴＦＤに対する位置のみならず速度が与えら れる（速度情報がいかにしてシミュレーションに現われるかについては、すでに 詳細に述べている）。これによって認識が、すαでの方向のさざ波としてよりも むしろ方向づけられた粒子としてＴＦＤを出現させる。 認識およびトラッキング 学習、認識およびトラッキング：よ、パラメータアバランシェにおける別個の動 作としては行われない。すべての過程は事実上、連続して行われるので、現在の 試みにおいてトラッキングエラーが大きい場合、特徴が次の試みでより小さくな るようにわずかにリコードされる。しかし以下の説明においては、１ｇ！　ｉｌ ｌシステムの認識およびトラッキング機構に集中できるように学習が＝ファイン チューニング（ｆｉｎｅ　ｔｕｎｉｎｇ）　４段階にあると仮定される。 入力パターンが１個以上のパラメータ化特徴検出器をそのしきい値に関して駆動 する時、認識が生じる。すべての特徴装置の出力はノブム１４に送り返され、そ こで、ノブム神経細胞２８のノナブスに記憶されｒこｌａ１以上の空間パターン を線形的に組合わせたスカラー係数として処理される。ノブム１４において：よ 、このａ５組合わせによって次の観ｔ１の予想が行われ、この予想を行う際にわ ずかな時間遅延が存在するので、次の入力が到達する時は活性状態である。タイ ミングを正すことに問題はない。なぜなら、遅延がパターンを学習し始めた時と 同じでない場合、結果的に生じるエラーがカルマン利得変換の一部として時間ベ ースを修正するからである。ニモデルベース」ビジラン技術に対する瞑似性にこ こで注目されたい、Ｕ測は、ＩＣ神！１細胞３４にコード化される多数の抽象的 特徴への整合のために処理され、これらの特徴応答は、観測のモデルを再生する ために用いられる。しかし、この場合、再生モデルは、見られたもののモデルで はｔく、今後のわずかな時間段階に見られるしののモデルである。モデルが再生 されるまでに、次のＵ側が受取られ、エラーベクトルの比較および処理の！１！ 備がなされている。 特徴検出器が観測によって刺激されると、しきい値フィールドを引っ張り、特徴 ＩＧ神経細胞３４の場所および（もしあれば）その特徴に関連する速度ベクトル によって決定された軌道に沿ってＴＦＤマーカの運動を開始する（速度ベクトル が観測によって生成された活性化パターンに関連する「屈折率」フィールドの勾 配によっていかに決定されるかは、以下に述べる）、。 このマーカは、それ自体の慣性で移動し、連続予想を行う。すなわち、そのしき い値が活動マーカによって低下されるＩＧ神経ａ胞３４：よ、その強度がノナプ ステンプレート整合としきい値の深さとの組合わせによって決定される出力信号 を発生する。 この信号は、扇形に広がってノブム１４に達し、そのデコードされたテンプレー トを現在の予想に貢献させる。この予想１よ、実際の観測から差引かれ、残りの エラーは、ノブム１４からｌＧ１６に戻される。 ＴＦＤの１つがわずかに誤った方向に移動中であるが、実際に受取られたパター ンが最強の特徴応答の生じている場所に「近いＪＩＧ神経細胞にエンコードされ る特徴を宵するという点で学習が優れていたと仮定しよう。Ｐは予想されたパタ ーンベクトルとし、Ｐ′を実際に観測されたパターンとする。さらに、より簡単 にするために、各パターンか、ＩＣ神経細胞３４のシナプスにコード化されｒこ 特徴と同じであると仮定しよう。その時、エラー信号はδＰ−（Ｐ′−Ｆ）であ る。ノブム１４からのエラー信号が２つのＩＣ神経細胞３４によって受取られる 時、Ｐ′の活性化がＰの活性よりも大きいことを示すことは自明である。 ａ（Ｐ′）＝（δＰ、Ｐ’）−（δＰ、Ｐ）十（δＰ、δＰ）≧（δＰ、Ｐ）− λ（Ｐ） δＰ＝Ｏである場合のみ、等式となる。従ってｌＧ１６のしきい値媒体の屈折率 がＩＣｌ３の活性化レベルに直接関係づけられるので、ＴＦＤマーカが移動して いる活性化パターンは、正に右方向に媒体を歪曲させ、Ｕ測に従ってマーカを偏 向させる。 するものである。 定常ＤＳＰ方法およびモデルベースビジタンに関する連続推定器の主たる利点は 、これらの方法が「シングルシ璽ット」判定方法であるということである。すな わち、これらの方法は、データの単一フレーム（これは多数のスキャンの積分の 結果となる）において利可可能な信号対ノイズ比を用いて、最善を尽くさなけれ ばならない。一方、連続推定器はターゲットの観測の関連ある歴史すべてに含ま れる情報に基づいて判定を行ない、これによって、ターゲットイメージ内の構成 運動を自動的に補償しながら（または無視しながら）大規模積分の利得を達成す る。 パラメータアバランシェカルマンフィルタ（ＰＡＫＦ）に基づく神経ネットワー クアーキテクチャは、頃合システムを観測し、制御信号を発行して、その７ステ ムが望ましい基準軌道をトラッキングするように動作可能でるる。設計に：よ、 こ装置−の状態を推定し、サーボ補償器として作用するｒ二めのＰＡモジュール が深川されている。このＰＡモジュールは、その状態推定を、必要な制御信号に 変換するための適応フィードバック利得マトリックスを有する。適応利得マトリ ックスは、トラッキングエラーに関する制御信号の影響をモニタし、それを最小 にするように調整し、こうして、アクチュエータモータがクロスワイヤされる事 象においてさえ、適当な制御が展開される。 目的は、漸近的トラッキングおよび妨害拒絶の問題に対する神経ネットワーク解 決法を立案することである。この問題は、ＰＡに関するチェノ（Ｃｈｅｎ）の論 文に述べられている。漸近的トラッキング問題は、レギュレータの問題を一般化 したものである。レギュレータの問題においては、装置への制御入力がめられ、 この制御入力は装置を安定させる。通常これは、装置をゼロの状態に駆動するこ とを意味する。トラッキングの問題においては、基準軌道と呼ばれる望ましい軌 道に向けて装置を駆動する制御がめられ、これはゼロおよび一定のいずれでなく てもよい。 パラメータアバランシェの文脈においての安定性の意味に注意しなければならな い、なぜなら、ＦＡは、いかなる状態も「ゼロ」の状態として見なさないからで ある。ＰＡは、新たな観測を確立空間内の点と関連づけ、その後、そｎらの特徴 が後の観測に存在する確率を推定するのみである。ＰＡガ安定状態は、その軌道 がｌＧ１６洛子上の測地線である（恐らく空の）１組のＴＦＤ、すｔわち予想エ ラーによる屈折率フィールドの歪曲、またはいかなる池の誘導加速度によっても 加速されていない１組のＴＦＤからなる。 漸近的トラッキングおよび妨害拒絶 第１０図には、チェノの文献の５０４ないし５０３ペーノに定義されている段階 的トラッキングおよび妨害拒絶の問題に対するしっかりし１こ解決策としての構 造か示されている。これは「状ジ空間」解決法であり、パラメータアバランンエ を用いて実施するのに適する。これはｔ！測ソシステム連結された基帛信号発生 器および妨害発生器の内部モデル（サーボ補償器と呼ぶ）を採用している。 サーボ補償器（Ｓ／Ｃ）は、装置の出力と基準信号との差を受取り、その差は、 センサ入力がパラメータアバランノエにおけるｒＧ１６の状態を変調するのと同 じ櫟にサーボ補償器の状態を変調する。Ｓ／Ｃ状態は利得マトリックスに与えら れ、この利得マトリックスはそれを、（もしあれば）状態フィードバック安定制 御への制御ＪｔＪ？ｉｌｉ足に変換する。装置が観測可能で、かつ制御可能であ る隔り、状態推定器によって状態フィードバックを与えることができることは公 知であり、チェノの論文５０６ページに指摘されている。これは、状態推定量の 問題を制御の問題から切り離すことができるので、分離原則と呼ばれる。 装置の出力が基準信号にすでに整合している場合、Ｓ／ＣへのＶ制ｍ＝入力はゼ ロになり、その状態：孟安定化され、それによって利得マトリックスに良質の信 号が与えられ二とに注目さ第１２図には、上記トラッカーに必要な状態推定関数 のための２つのＦＡカルマンフィルタ（ＰＡＫＦ）ｌ　ｌ　６および１１８を採 用する制御モジュール１１４のブロック図が示されている。ＰＡＫＦ　１１６お よび１１８の各々は、状態推定を制御信号に変換するための利得マトリックス１ ２０および１２２がそれぞれ、その後に続く。この図は、上に述べられ、かつ第 １１図に示されたトラッキングシステムと機能的に同じである。しかし、２つの 理由により、少し当てにならないところがある。 一つには、ＩＩｋｆｒ的状態推定状態用いられるＰＡＫＦが、その推定を改良す るために、装ＷＬ１０に理由可能な制御入力が採用すべきであるのに採用してい ないことでめる。またもう一つは、利得マトリックス！２０お上び１２２を図示 された位置において適応神経ネットワークとして実施できないことである。 茶１１２図のＰＡＣＭ設計において、フィードバック安定機能に対する状態推定 を行うＰＡＫＦ　１１６は、装置ｌＯの出力のみに出会う、第１３図には、チェ ノの文献の第７章からとられた、異なる漸近的状！！！定器の設計が示されてお り、これは装置の出力と装置への制御人力の両方を受取る。図においては、推定 器１２４が装置１０とフィードバックして示されている。 第１２図と第１３図の設計の違いは、カルマンフィルタの設計において、装置１ ０がノイズによって：駆動される」と仮定されていることである。すなわち、測 地線についての装置軌道の偏向すべてが以下の方程式によって決定される。 ｄｘ／ｄｔ＝Ａ（ｔ）ｘ この方程式は、装置ノイズｑ　（ｔ）によって説明される。すなわち以下のよう になる。 ｄｘ／ｄｔ−Ａ（ｔ）ｘ十Ｂ′（ｔ）ｑ（ｔ）しかし、漸近的状態推定器の設計 において、このノイズはかなり決定論的な構成要素を宵するものとし、これは制 御信号μ（ｔ）の形態にするとユーザら理解しやすい。 ｄｘ／ｄ　ｔ＝Ａ（ｔ）ｘ＋Ｂ（ｔ）ｕ（ｔ）〒Ｂ゛（ｔ）ｑ（ｔ）ＰＡＲＰは 、入って来るパターンを、ＴＦＤの経路内のＩＧ神経細胞３４と単に関連づける だけなので、トレーニング中に制御のモデルを作ることになる。制御信号は装置 から独立して発生される傾向にあるので、１つの方法として、最初の試みで、あ る点において、また別の方法として、次の試みで同一点において押し進められて も上い観測軌道上のＰＡＫＦをトレーニングするための企ては、良質のモデルを 作る際に、大きな困難に遭遇する。しかし、その制御信号がる適当な機構を介し てＰＡＫＦに近づきやすい場合、トレーニング中は新規性の「オーガナイザ」と して、また再現中は推定量収束の加速器としての働きができる。 第１３図と第７図とを比較することによって、ＰＡＫＦとチェノの設計（第１１ 図）との単なる機能上の差は、実際には、推定器に対する制御信号の接近可能性 であることがわかる。この制御信号；よ、スタビライザとサーボ補償器ＰＡ′と を単一装置に組合せ、新方式過程自体が装置に対する制御として機能する上うに 準備することによって接近可能となる。 利得マトリックス＋２０および１２２に関し、その基本的機能は、コンポジット システムの固有値を複合面の左半分に、しかもコントローラを飽和させることな く、できるだけ左に移動させることである。ここで重要なことは、コンポジブト システムが（上記の意味において）漸近的に安定している場合、利得が受け入れ られることである。利得が基準信号に向けて、より早くシステムを駆動する場合 、その利得は別の利得よりも浸れている。 上記のように、新方式過程に続いて、というよりもむしろそれが生じる以前に利 得マトリックスを適用するための根本理由として、状態推定器と装置への制御人 力との間の通常の場所で利得を適用しようとした場合、この利得を適応して作る のに必要な情報が、神経ネットワーク実施に適する形で利用できないということ が示された。数学的には、マトリックスのこの移項は容易におこなえる。また実 用的見地から、固有値問題を解決しなげければならないというよりもむしろ、こ のマトリックス移項を適応して計算することができる。適応計算の明らかな利点 のうち、例えば誰かがアクチニエータモータをクロスワイヤした場合、利得マト リックスの学習法はその制御信号によってｕｌｌｌ、基準信号間のエラーの大き さか増加するという事実を検出し、マトリックスを調整して、そのモータへ信号 を反転させるという事実がめる。第１４図に：よ、好ましいＰ　ＡＣＭ設計が示 されており、そこで：よ、利得マトリックスが、ノブム１４内でＩＩＣ，して実 施されるｒ；め、すでになくなっている。ノブム神経細胞の各々は出力ｎ（１） を有し、この出力ｎ　（ｔ）はｌＧ１６に入力され、またライン１２６を介して 装！１０に入力される。装置出力ｙ（【）は、エラーブロック＋２８に入力され る。このエラーブロック１２８は、外部入力ｒ　（ｔ）かろｙ（ｔ）の値を差引 いて、人力値ｅ　（ｔ）をノブム１４に与える。 １富、各／ナプス：よ、その入力と神経細胞２８の出力との積に従って調整され る。しかしノブム神経細胞ｎＪ（Ｃ）の出力は、基準信号とＵ測二、つ差である トラッキングエラー、ｅ＝ｒ−ｙに与えるＦＷ、このみｉｉ要となる。このエラ ーの１番目０構成要素、ｉ、ノブム１４−″）うらゆる要素に入力されるｆ二め 、偶然にら利用可能となる。学習目的は、このエラーの絶対値を最小にすること でのる。従って、←り得マトリックスを以下の学習法に適合させる。 δＫ　、、ｓｗ−βｅ、＋（ｔ　）（ｄ　／　ｄ　ｔ　）（ｅ　−Ｋ　＋）ｓｇ ＊　（Ｋ　ＩＪ）これは、例えば、トラッキングエラーの１番目の構成要素が正 でめつ、入力ノナプスベクトルのエラーベクトルの投影が増加しつつある場合、 Ｋ　Ｉ　Ｊをゼロに向けて駆動することを意味している。一方、トラッキングエ ラーが正であり、投影が減少しつつある場合、Ｋ　ＩＪはゼロにから離れた方向 に駆動される。換言すれば、大きさか増大しつつあるエラー：よ不良であり、制 御の効果に関して誤っｆ二符号を有する重み：よ、ゼロを横切り、他方側へ押し 進められる必要がある。 制御が飽和しないようにするため、学習法をわずかに変更する必要かめる。ｎ＋ （ｔ）が、ノブムングマ関数の上方および下方の漸近線である−１または−１に 接近すると飽和が生じる。 ＫＩＪをゼロからさらに離れた方向に押し進めることによって、制御信号に対す る影響は取るに足らないものとなり、シナプス重みの数値オーバフローを生じる 可能性がある。解決法として、速度定数βを大きさｎ＋（ｔ）に結合させること によって学習を中止する方法かある。 ＰＡＣＭの作用をより詳細に示すために、簡単な例を段階毎に取り上げることに する。この例では、観測；よ、移項プラント士−ムに据付けられた速射砲身の射 角の度量法である。オペレータに基準信号が与えられ、この例において：よ、そ の基準信号か最初はゼロ（水平）であると仮定する。これは−次元の例でのるの で、ノブム１４が１個の神経細胞を含んでいるとするが、ＩＣは一次元洛子に数 百の神経細胞を含んでもよいものとする。 適音の車の運転によって、また銃の発射中、安定することなく、観測し、射角を 推定するために、上記のようにすてにＰＡ１２がトレーニングされていたと仮定 する。このトレーニングの後、ｌＧ１６の神経細Ｍ！ｉ３４は、射角の範囲と関 連するようになる。上記のように、ＩＣ神経細胞３４がディスクリートな格子上 にあるとしても、その間で確立推定を捕間することができろので、ＩＧ推定：ｉ 、実際に連続している。 ノブム１４の出力；よその後、バーチカルアクチュエータに接続され、０亥の基 ＠信号が与えろれ、そこによってノブム１４への入力が銃の実射角となる。様々 な場合の以下の説明においては、ｙ（ｔ）：ま観測され、を射角（正は上記のよ うに水平でるる）、ｅ　（ｔ）　＝ｒ−ｙ　（ｔ）　＝−ｙ　（ｔ）はトラッキ ングニラ−１Ｐ（ｘ（ｔ）ｉＹ（ｔ））は、観測の歴史を仮定した場合のトラッ キングエラーのＩＧ推定、ｎ　（ｔ）は、アクチュエータへの制＠儒号ｕ　（ｔ ）でもめるノブムの出力、Ｋ（ｔ）は、入力−（１）を受取るノブム１４内のシ ナプス重みの（スカラー）値である。 ケースｌ：　ｎ（ｔ）はアクチュエータに「適当に」接続されるので、銃の射角 の制御加速度はｎ　（ｔ）に正比例する。Ｋ（０）＝＋ｌ、ｘ　（０）＝０、ｙ 　（０）＝ＯでありＰ　（ｘ　（０）：Ｙ　（０）　）の最大確率は、ゼロの射 角をエンコードするＩＣ神経細胞以上である。ｔ＝１の時、銃の射角を高めるイ ンパルス妨害が与えられる。 ケース２：　アクチュエータがクロスワイヤされていることを除いては、ケース ｌと同じでるので、統射角の垂直加速度はｎ（１）に反比例する、すなわち統は ｎ　（ｔ）が正である時、下がる。 ケースｌの説明 実験が開始される時、ＩＣ予想は正確であるのでｎ　（０）　−〇である。従っ て、実験およびＴＦＤ孤立波は無力であり、ｌＧにおけるゼロの状態で静止して いる。ｔ＝１の時、妨害（銃の発射）により、一定の上方射角率を銃が獲得する と仮定する。 この力；よ、その速Ｉが負にｔす、水平に戻るまで銃を減速する。 しかし、その負の速度の観測によってｎ　（ｔ）の符号が逆転し、基準のオーパ シュートを防止する。上昇し、かつその後下降する入力へのＦＡ力応答ノブム出 力）はまずインパルスの方向へ（Ｋが正の場合）、次にその逆方向へのバイポー ラスイングである。このように、制御作用は、基準レベルで装置を安定させる。 学習法が、あたかもその利得値を［信用！しなかったかのように、かなり重大な エラーに反応することに注目されたい。なぜなら、制御作用が行われるまで、こ のようなエラーが常に増大しつつあり、その間マトリックスが誤った方向に適合 されつつあるからである。しかし制御作用か正確声場合、エラーが減少し始め、 利得マトリックスがその信頼できる状態に戻る。学習速度定数βは適合のための 時定数を制御するので、フィードバックループの潜在性を許容するようにβを適 当に調整する必要がある。 ケース２の説明 ケース１からのトレーニングおよび利得適合がすべて行われたのち、ニレベーン タンアクチュエータがクロスワイヤされると仮定する。その後、妨害が起きると 、制御作用が誤った方向に行く、このように、負のエラーに関する負の導関数が 修正されるというよりもむしろ拡大されるので、Ｋを＋１から、ある負の値まで 駆動するのに十分長く持続する。これ：よノブム出力を−だまして一符号を変え させ、これによってアクチュエータのトルクを逆転させる。これによって類に銃 か減速されるだけでｔく、たとえフィードバック潜在性によって実際に：よｄｅ ／ｄｔが未だに負になっていないとしても、学習法がＫを（ゼロに戻すというよ りもむしろ）負に押し続ける。これがすべて、装置への損傷を防止するのに十分 な速さで行われる場合、新ｒ二な適応利得Ｋかクロスワイヤアクチュエータをオ フセットしシステムの安定化を再開する。 これらの例によって、基準信号の調整もまた、銃射角を制御することが明らかと なる。なぜなら、ＰＡＣＭから言える限りでは、基準を高めることが銃身を低く することに等しいがらである。この基準は、システムの（人間）オペレータによ って、また：よ他のＰＡＣＭからの池の制御信号の杉で与えられていてら上い。 最終的に、ＩＩ！、帛（信号を入力するに：よ、第１４図に示されたちの（ここ では基準がＵ測ｙ　（ｔ）と比較できると仮定する）に加えて、さらに２つの方 法があることが容易に認められる。！０１６内の抽象的モデルのコーディングを 知った場合、望ましい方向と逆方向に孤立波を進めるかのように、屈折率媒体を 統合的に「歪曲ゴさせることができる。その結果生じる偽トラックがノブムにお いてデコードされＵ測と比較される時、結果的に生じる推定量エラーｎ（【）が 統合的歪曲を打消すが、装置を望ましい方向に進める。茎３の方法は、ハードワ イヤ励起ノナブスを介してノブム１４に直接制御信号を導入する方法である。た だし、開ループ制御信号がすでに、どうにかして知られているものと仮定する。 ３つの方法はすべて、その効果が明らかに同等でめる。 パラメータアバランシェ設計に欠くことのできない過程が、望み通りに、またＸ １ｌｌ待通り実施されているかどうか確かめるために、多くの重要な実験が行わ れた。これらの実験はすべて、ボッチイブな結果を生じｆ為 孤立波伝搬 ｒ簡単なｊ　ＴＦＤ伝搬方法を用いて学習および再現実験が行われたが、ファー ミーバスターウラノ（Ｆ　ｅｒｌｉ　−Ｐ　ａｓｔａ　−Ｕ　１ａｎ）方程式の ノミュレーン曽ンもまに、神経細胞の一次元格子に関して行われた。ノミュレー ノタンには３つの型式の境界状態が用いられた。すｔわち、ディリクレ（格子終 点でゼロに維持されｒ二振幅）、ノイマン（格子Ｐ：屯でゼロに維持されｒこ一 次導関数）およびＪＩＩＯ！関数（共に結合された格子の終端）である。 ＦＰＵ方程式は異方性であるので、最初の妨害によって、左に移動する正のパル スと、右に移動する負のパルスとが発生される。両方の非ＦＲＩｃＩｌ＃ｌ界状 態によって、格子の終端からある程度の波反射が生じた０周期＃Ｉｌ界状懸で： よ、左右の波が衝突するまでノミュレーシッンを行うことができ、その波が衝突 後、完全にしで現れることを確認した。 第１５図および第！６図：よ、このような実験の結果を示す。 境界状態はｒＷＲＡＰｊであり、これによって神経細胞ｌないし５番に対する最 初の妨害が、℃。時に波形１２９から左右に伝搬される。左向きの妨害は、アレ イを包み込み、わずかに遅れて、波形＋３１として右からアレイに再変人り込む 、波形１２９は、右に移動して、を時に波形１３３を形成し、波形１３１は、左 に移動して、℃時に波形１３５を形成する。右に移動する妨害が正であり、左に 移動する妨害が負であることに注目されたい。これはＦＰＵ方程式の非線形項に 関する通常の符号に対して生じるものの逆のものであるが、正の波が右に移動す るのが望ましいので、符号は逆にした。 第１５図においては、ｔ１時に、左右の波１３５および１３３の衝突点まで、し かし衝突点を越えないように実験が進められる。第１６図は、曲線＋３０でしめ された衝突時と、曲線Ｉ３２で示された衝突後の２つの波１３３および１３５を 示しており、孤立波の重要な特性の１つを励磁し、パラメータアバランシェ設計 の最ら重要な要素の一つの実行可能性を証明している。 笠！ シェミレーシ揮ンは、学習アルゴリズムが、入つて来る信号の時間導関数を抽出 することを証明した。これらの学習実験においては、１０個の神経細胞に及ぶパ ルスが一次元ＩＧ格子に下げられ、またその移動中に時系列のパターンがノブム に入力された。ＩＣ格子に記憶されたシナプス重みのシーケンスは、入力の時間 導関数をエンコードし、ノブムに記憶されたシーケンス重みのシーケンスは時間 導関数の負をエンコードした。 第１７図および第１８図；よ、ノブムの画素５番（のみ）に入力されたボックス カー（ｂｏｘｃａｒ）関数のオンセットおよびオフセットに対するＩＣ＋６およ びノブム１４のシナプス重みの応答をそれぞれ示している。第１７図は、ＩＣ神 経細胞２５番で最も強力にオンセットが記録されたことを示し、ＩＣ神経細胞２ ５番は、（ＩＣ神経細胞２０番に）信号がやって来た直後の移動孤立波の場所で ある。オフセットは、ＩＣ神経細胞８８番で記録された（孤立波が８０番にある 時、信号はオフにされた）。第１２図のグラフは、１００個のＩＧ神経細胞の各 々のシナプス重み５番の値を示し、時間信号の新規性がＩＧの神経細胞上に空間 的に分散される方法をはっきりと示している。ボックスカーのオフセット直前の 均衡点のシナプス重みがゼロのレベルに到達しないことに注目されたい。この理 由は、第２．３゜１項に述べられている。 第１８図のグラフは、ノブム１４の各神経細胞２８（ｉ！ｉ素）に関するシナプ ス重みの値を示す。曲線１３４は、ノブム１４の画素番号５に関する学習可能シ ナプスをすべて示している。 入力を受取らなかった他の画素もまた示されており、そのシナプスがｒＧから入 力を受取っているとしても、その重みは、最初の値、はぼゼロ（Ｃ−，０１，十 、０１　）間のランダム）のままであったことを示している。これらの重みが第 １７図の重みの負であり、ＩＣ内のように空間的に分散されているというよりも むしろ単一神経細胞に部分的に集中していることに注目されたい。 これらの実験は、入射信号の新方式！ｌ！ｌ程を抽出するためのＰＡの能力を示 し、それによって、時間的に変化する入カバターンの内部表示を、はぼ最適に圧 縮することになる。 １見 新しいパターンの前縁が生じた時に対応するＴＦＤ軌道上の位置で、最初の新し い入力を復製するパターンで、格子シナプス上にその前縁が空間的に９教される ことをこの実験は示している。ＦＡ動力学の時間差効果がない場合、長引いた「 ボックスカー」信号の前縁が、ＴＦＤ軌道に沿って、広範囲にわたって複製され る。その後、パターンが再現されると、最初に生じた位置だけでなく、トラック 全体を活性化する。これは明らかに、かなり望ましくない資源の浪費である。 入力パターンを連合的に識別するｆ二めのＰＡの能力を示すために、ノブム１４ のめらゆろ画素に幾分入力を与えることを除いて、こボックスカー−実験と同様 に学習実験がおこなわれた。 １２個の画素上の入力は「メキノカノノ＼ブドー関数の空間的外観およびボック スカーの時間的影９を育した。７条件付けられていない工応答を邊るために、ｌ Ｇ１６のしきい値フィールドに均一性（ＴＦＤ）を存在させないで再現すること をテストした。メキノカノハット関数がオンになると、神経細胞２５番がそのノ ナプスに、入力を整合させる最強のテンプレートが含まれるために、最大の正の 出力で応答することがわかった。神経細胞８８番は、そのシナプスが入力の負に 維持されるので、最強の負の出力を経験した。（実際、第１７図は、メキンカン ノλツトのオンセクト時のＩＧの活性化レベルをほぼ正確に示している。垂直軸 は、再度スケーリングされ、その番号が水平軸上に現れる神経細胞の：活性化工 と再Ｉ呼ばれる。）メキノカンハットがオンになると、神経細胞８８番が、最大 の正の出力で応答した。なぜなら、そのテップレートがメキシカンハット関数の 負と整列したからである。 ＰＡのパターンおよび特徴認識能力は、しきい値フィールドのブリコンディンロ ニング効果がオフにされると、いかなる池のテンプレート整合検出器とも同じに なることを、この実験；よ証明している。しかし当然のことながら、ＦＡは、し きい値フィールド動力学がバター７学習を制御するだけでなく、矛盾のない、増 大した観測史の存在下で再現にｊ得も制御するという利点を有する。 第１９図には、上記のように、単一の処理要素からなるｌＧ１６内の神経細胞３ ４のうちの１つのブロック図が示されている。これらの処理ＩＸ：の各々は、例 えば、二次元システムまｒ二は、より高次元のシステムに対するＭＸＮアレイの 処理要素のアレイで配列されている。アレイ内の処理要素の各々は、第１９図に 例示されていたもので示されている。第１９図の処理要素は、ノブム１４から受 取られる信号ベクトル人力Ｎ（ｘ、ｔ）を１組の入力１４０で受取る。さらに、 入力１４２は、好ましい実施例では近隣のノードである選択されたノードから、 隣接するしきい値レベルを受取る。しかし、これらのしきい値レベルは、選択さ れた他のノードまたはＩＧｉ子内の神経細胞から受取ることができることを理解 するべきである。 処理要素の各々は、ＩＧプロセッサ＋４４としきい値レベル１４６とからなる。 入力１４０はＩＧプロセッサ１４４に入力され、入力１４２はしきい値レベル１ ４６に入力される。ｌＧプロセッサ１４４としきい値レベル１４６の両方と通じ るように、双方向バス１５０を介して処理要素にインタフェースされるメモリ１ ４８が設けられている。ブロック１５２には、活性化レベルを計算する処理要素 部分を表す。これは、ＩＣ平面１４４内にある。さらに、重み更新を計算する段 階を示すブロック１５４が設けられており、これもまた、ｌＧ１４４内にある。 しきい値平面１４６には、しきい値を更新するためのブロック１５６がもうけら れている。さらに、第１９図の処理要素を作動するクロック１５８が設けられて いる。上記のように、処理要素の各々は非同期し、かつそれ自体のクロックで動 作する。 これは、パラメータアバランシェの重要な局面である。 活性化ブロック１５２の出力は、しきい値関数ブロック１５８に入力され、この しきい関数ブロック１５Ｂは、しきい値計算ブロック１５６によって生じられた しきい値の関数として、ライン１６０上で出力を決定する。上記のように、しき い値は、ＴＦＤ付近においてのみ、低い。ブロック１５８の出力は、第１９図の ＩＣ神経細胞または処理要素の出力からなり、これもまた、計算重み更新ブロッ ク１５４の入力にフィードバックされて、新たな重みを決定する。活性化ブロッ ク】５２の出力もまた、しきい値レベル更新ブロック１５６に入力される。 ブロック１５２．１５４および＋５６の各々は、本質的にはマルチボートメモリ であるメモリ１４８とインタフェースする。 これは、各々の過程が独立して動作することによる。すなわち、シナプス重みは 、更新中に、活性化計算ブロック１５２により、メモリ１４８からフェッチされ る。 動作において、ライン１４０上で、ノブムから信号が受取られると、活性化計算 ブロック１５２は、活性化レベルを計算するために、メモリ１４８から重みをフ ェッチしなければならない。これは、その後、しきい値ブロック１５８に入力さ れる。 同時に、相互接続された（好ましくは隣接する）ノードの各々からのしきい値出 力レベルが受取られ、その処理要素またはノードで、しきい値レベルを生じる。 これは、ノードに入力されるしきい値レベルを設定するために利用され、これに よって、出力レベルを決定する。上記のように、しきい値レベルが低い場合、た とえ活性化レベルが非常に低くても出力が発生する。 しかし、しきい値レベルが高く、しかも活性化レベルが非常に高い場合にも、出 力が発生する可能性がある。 メモリ１４８に記憶された重みを更新するために、入力信号がどのような状態で あるかを知り、また出力信号がどのような状態であるかを知る必要がある。これ によって、現在、どの重み値がδＷ、、ｘαＩ　ｎ＋０ｕｔＪであるかが指示さ れる。 重みが更新される時は必ず、学習と見なされる。当然のことながら、重み更新が 計算されるために、ライン１６０上には出力が存在しなければならない、これは 、学習が主としてＴＦＤ領域内で生じるという事実による。学習アルゴリズムが 動作していないとは言えないが、重み値に対する更新は行われない。 しかし、出力信号が発生すると、メモリ１４８に現在記憶されているテンプレー トは、現在の入カバターンのコピーを組入れるように変えられる。 ３つの状態が生じ得る。第１の状態は、システムが学習しなければならないよう に、システムが初期化され、テンプレートに何ら記憶されない時の状態である。 孤立波が処理要素を横切って移動し、しきい値レベルが下がると、誤整合および しきい値レベルの存在により出力上の信号レベルが上がり、観測されたイメージ がメモリ１４８のテンプレートに記憶される。第２の状態では、ＴＦＤが処理要 素を横切って移動するが、入力信号はメモリと誤整合し、その結果、活性化ブロ ック１５２からハイの活性化出力を生じる。二の場合、誤整合は、出力を発生し ないか、または発生するかのいずれかでめる。出力を発生しない場合、メモリテ ップレートは現状のままである。出力を発生する場合は、メモリテンプレートは 、いかなる信号も活性化されるように見えるように変形される。第３の状態は、 孤立波が、特定の処理要素を横切って通過し、しきい値が低くなり、入って来る 信号が実際にテップレートと整合する時の状態である。 出力は、実際にはテンプレートと整合するのでハイになるが、テンプレートはす でに、最初に記憶されたもののように見えるので、強化されるだけであり、形は 変わらない。 第２０図には、上記のように、単一処理要素からなる、ノブム１４内の神＠細胞 ２８のうちの１つのブロック図が示されている。これらの処理要素の各々は、例 えば、二次元システムに対するＭＸＮアレイの処理要素のアレイで配列される。 アレイ内の処理要素の各々は、第２０図に例示され１こもので示される。 第２０図の処理要素は、観測マトリックスｌＯの出力から、信号ベクトル入力を 、１組の入力１７０上で受取る。第２０図の処理要素もまた、第２の組の入力１ ７２上で、ｌＧ１６からの出力を受取る。 処理要素の各々は、計算装置とメモリ１７４とからなる。メモリ１７４は、双方 向バス１７６を介して計算装置とインターフェースされる。計算装置は、計算ブ ロック１７８内の活性化エネルギーを計算する。さらに、計算装置は、計算ブロ ック１８０で示されるように、重み更新も計算する。重み更新計算ブロック１８ ０は、ノブムの学習部分を掛供する。ブロック１７８とブロック！８０の両方と も、信号ベクトル人力とＩＧ出力の両方からの入力を受取る。 活性化計算ブロック１７８の出力は、上で述べられた、またバイポーラ関数から なるしきい導関数ブロック１８２に入力される。しきい導関数ブロック１８２の 出力は、重み計算ブロック１８０に入力され、またライン１８４上にノブム出力 を与える。ノブムの計算装置を作動するクロック１８６が設けられている。 覗 叢２１図には、パラメータアバランシェの適用例・・・・・・古典的なｒブルー ムバランソング（ｂｒｏｏｍ　ｂａｌａｎｅｉｒ＋ｇ）−問題が示されている。 この問題においては、カート１８６がその上方面に直立部材１８８を設けており 、その部材１８８の下方端部のピボット点１９０に据え付けられている。部材１ ８８の上方端部には、ウェイト１９２が配置されている。この問題の目的は、垂 直および直立方向に部材＋８８を維持することである。 この例のパラメータアバランシェは、ｌＧ１９４内の１００個の神経細胞と、単 一ノブム神経細胞１９６とからなる。ノブム神経細胞は、ｌＧ１９４内の１００ （Ｉの神経細胞の出力を入力として受取り、カート１８６に関して垂線からの角 度を示す単一観測入力も受取る。角度シータは合計ブロック１９８の負の入力に 入力され、その正の入力は信号ＲＥＦ　Ｉ　ＳＧに接続される。出力はブロック ２００に入力され、このブロック２００は、適応利得入力をその他の入力で受取 る。ブロック２００の出力は、観測入力をノブム神経細胞１９６に与える。カー トへの制御入力は水平加速度であり、ネットワークによって供給される。ノブム 神経細１１１９６の出力は、出力ライン２０４上で、ＩＣ；１９４内の１００個 の神経細胞の各々に入力される。さらに、ノブム神経細胞１９６の出力は、カー ト１８６内の利得スケーリングブロック２０６を介して入力され、制御入力を与 える。 しきい値フィールドは、ＩＧ神経細胞を左から右へ横切る移動ＴＦＤ２０２で示 される。このｒＧは、−次元ＩＧである。 ノブム出力は、（入力が全く新しい時）入力の導関数のスムーズな近似値である ので、ノブムは“導関数コントローラ°として作用する。 第２２図には、垂直線からの角度の時間開方および対応するノブム出力が示され ている。第２２図（よ、以下に述べるように、ランダムな妨害がシステムに導入 されていることを除いては、第２１図と同じである。この例では、こ新たな、パ ラメータアバランシェが制御信号を発生し、この制御信号は、反転された振子の ピボット点に水平加速度を適用することによって、振子をその直立位置に維持す る。シミュレーションは、時間変量に関するループからなり、その各サイクルに おいては、（垂線から離れたラジアンの）反転振子の実角度と、望ましいゼロラ ジアン角とのエラー（差）に利得係数を掛けて、それを、パラメータアバランシ ェモデルのノブム神経細胞１９６に入力として与える。パラメータアバランシェ モデルは、その後、量子神経動力学と学習法に従って、その状態を時間の１増分 だけ進め、ピボット点１９０の運動に対する制御信号（水平加速度）として、ノ ブム神経細胞１９６に出力を与えることをめられる。 （ノブム出力は、シグマしきい導関数によって、−１から＋１までの範囲に限定 されるので、それが振子モデルに到達する前に、一定の正の関数によりて増幅さ れる。）次に、適応随伴行列利得係数に対する更新サブルーチンは、制御作用の 最適効果を得るために、この利得を調整する必要がある。最終的に振子モデルは 、第２のオーダの差分方程式の簡単な二重積分によって、時間の１増分だけその 状態を進め、これによって、ループの次のサイクルで使用するｆ二めの実振子角 Ｉを生じる二とが必要でめる。 このンミュレーノッンのために、ＦＡモデルの量子神経動力学か、非線しノユレ ーディンガ一方程式の実際の積分よりもむしろ、−素朴な二方法で実意される。 すなわち、しきい値ディブレツノタン（ＴＦＤ）２０２は、グローバル型式のア ルゴリズムにより、−次元１０ｍ子１９４に沿って伝搬され、このアルゴリズム は、各対のＩＧ神経細胞内の１００個の、等間隔にあいｒ；位置にＴＦＤ２０２ を補間することができる。ＴＦ’Ｄ２０２は、運転時にオペレータによって特定 される速度で移動する。 「歪曲駆動、機構（屈折率フィールドの歪曲）によるこの速度の変調に備え：よ ない、なぜなら、ＴＦＤ２０２が通過する前に、各ＴＧ神経ａ胞のノナプスがラ ンダムに初期化されると仮定されているからである。当然のことながら、これら のシナプスは、ＴＤＦ　２０２が学習法に従って通過するにつれて、プログラミ ングされる。 ＴＦＤ２０２の＋ｓ’ｉｈ＜、ノブムおよび！Ｇシナプスの学習速度に関連して 大きすぎる場合、ノブムの出力は、単に、入力信号の騒々しい形にすぎず、ノイ ズの分散は、ノナプス重みのランダムな初期化の分散に依存する。ンミ二し−ン ヨン秒当たりおよそ２個以上のＩＧ？Ｉｌ経細胞の速度が、この覆の出力を発生 し、これが振子の制御には役に立たないことを実験は示している。速度が秒当た り２個の神経細胞以下に減じられると、ノイズは消え、ノブム出力の位相角が入 力の位相角を導き始め、入力信号の時間導関数に向けて移動する。これによって 、ノブム出力が、振子の導関数コントローラとして作用する。（また、入力信号 の微分形態が、観測運動を再現および予想する際に、後に使用するために、ＩＧ のシナプスに記憶されろ。しかし、このシミュレーンリンにおいては、うまく利 用されない。）さらに、秒当たり、およそ０．５個の神経細胞以下にＴＦＤ速変 を減じることによって、振子を安定させることのできない出力を生じることにな る。これに対する理由は、まだはっきりしていない。 第２２図および茶２３図のグラフに示されたンミュレーノジンは、シミニレーノ ヨン秒当ｒ；す１個のＩＣ神経細胞のＴＦＤ速度で作成された。プログラムソフ トウェアリスティングは、以下に記載されている。第２２図のグラフを作成した 入力データ（を第１表に示されており、第２３図のグラフを作成した出力データ は第２表に示されており、このリストはグラフと同じ名称を使用しているがｒ、 ＤＡＴ、Ｊ延長分を有する。この２つの主たる相違は、第２３図において、ＲＡ ＮＧＥパラメータのノンゼロ値で示されるように、ピボツト点の速度に、ランダ ムな妨害が加えられることであった。 第１表 第２表 ３０　５ＣＡＬＥ ＯＲＥＦＳ工Ｇ ５工区５０Ｋ Ｉ　ＧＭ工Ｎ ２５　ＧＭＡＸ Ｉ　ＶＥＬ Ｏ，１禮バ 通常、制御システムは、利得因数を介して状態推定を通過させて、装置の入力に 対して適当に推定を７示すコニとにより設計される。しかし、この設計では、利 得の随伴行列表示を、装置の出力と状態推定器（ＦＡ）の入力との間に置くこと によって採用している。これにより、ＦＡは、装置の内部表示を変更することが できるので、さらに変換することなく、あるいは正の増幅によるスケーリングを 除いて、状態推定が装置への制御入力と合致することになる。これは、ＦＡ出力 と装置入力との間に利得を置くと、適応利得調整に必要な情報が神経計算方法と は合致しないが、利得を観測経路に置くと、その情報は神経計算方法と合致する ためである。ＵＰＤＡＴＥサブルーチンは、ノブムへの入力（トラッキングエラ ー）およびノブムの出力（制御）の逆の符号を付けるように利得を調整する。そ の出力がトラッキングニラ−の時間導関数に近似すると、このような利得の結果 、いかなるトラッキングエラーも制御信号によってゼロまで駆動されることにな る。当然のことながら、利得が偶然にも負である場合、ＰＡは、観測結果の反転 イメージを学習することになるが、それは、軌道制御の見地から、同じ意味を持 っノブムから装置および装置のＦＡモデルの両方に至る１個の信号を得るのに必 要なことである。 好ましい実施例を詳細に述べたが、添付の請求の範囲によって定められた発明の 精神および範囲を逸脱することなく、様々な変化、代用および変更を行ってもよ いことを理解するべきである。 ＦＩＧ、ｉ Ｆｌに、３ａ　Ｆｌに、３ｂ ＦＩＧ、３ｃ ＦＩＣ；、７５ ＦＩＣ，１６ Ｊ二５’＋＝す１すＵ、； ＋　１２　２３　３４　４５　５６　６７　７８　８９　１００Ｆｌに、１７ ＋　１２　２３　３４　４５　５６　６７　７８　８９　１００ＦＩＣ，１Ｂ Ｆｌに、１９ ブ’Ｌ−ムＩ−１゛う）シ〉２＋ シ之１し−シ１ン ＦＩＣ；、２７ Ｆｌに、２２ ＦＩＣ；、２３ ００００１　ＰＲＯＧＲＡＭ　ＢＲＯＯＭ　Ｆｉｇｕｒｅ　２４ｏＯ口ｏ２ ０００５４　ＥＲＲＯＲ−０゜ ０００５６　ＤＥＬＴＡ　−０゜ ０００７１　ＥＮＤ　１？ ０００７４　５１Ｇ　−ＧＡＩＮ会！！ＲＩＩＯＲ０００８８ＣＡＬム　υＰＤ ＡＴｆＧＡＩＨ，ＥＲＲ０１’ｌ、Ｌｌ、ＡＬＰＩＩＡ、ＢＥＴＡ、ＣＭＩＮ、 ＧＮ＾Ｘ）００００１　５ＵＩＩＲＯＵ？！Ｉｌｌ！　ＳＹＳＴＥＭ（？Ｍｔ？ Ａ、ＤＴＭＥ？Ａ、ＦＯＶＥＲＭ、Ｒ，Ｄ？１００００３　Ｃ５ＴＡＮＤＡＲＤ 　”ＬＯＧＩ５ＴＺＣ−ＳＺＣＭＯＫＯＦＩＪＮＣＴＩＯＮｏｏｏｏフ　ＢＭＡ −Ｂ−Ａ ００００８　Ｋ　−−４，會！’Ｘ／ＢＭＡ００００９　Ｙ　−Ｉ　ＭＡＸ（− ８８，、ＭＩＮ（８１１，、Ｅ））０００１ＯＳＸＧＭｋ　−Ａ　＋　ＢＭＡハ １．＋ＥＸＰ（Ｙ））０００１２　ＲＥ？ＵＲＮ ０００１３　ＥＮＤ ＮＵＭＢＥＲＯｒ　ＷＡＲＮＫＮＧＳ　ＸＮ　ＰＲＯＧＲＡＭ　（［１エフ：　 ＯＮＵＭＢＥＲＯＦ　ＥＲＲＯＲ５ＸＮ　ＰＲＯＧＲＡＭ　ＣＦＮＺτ二　ＯＮ ＵＭＢＥＲＯＦ　ＷＡＲＮＫＮＧＳ　工Ｎ　ＣＯＭＰ工ＬＡτ工ＯＮ　：　、Ｏ ＮＵＭＢＥＲ５０Ｆ　ＥＲＲＯＲ５ＸＮ　ＣＯＭＰＩＬＡτ工ＯＮ：０００００ １　５ＵＩＩＲＯＵτＬＮＥ　ＴＲＡＭ！＋＋げに！ＬＤ、ＬＥＮ、！’０５１ ｏ００２ ０００１１　ＣＸＨＸＴＤＬＸＺＥ　ＴＲＩ！　ＰＯＬ！Ｅ　ＡＲＲＡＹ０００ ２１　ＣＰＯ５ＸＴＸＯＮ　ＴＨＴ：　ＰＩＪＬＳＥ　ＯＮ　？ｆ４Ｅ　ＦｒＥ Ｌ（１゜００００４　ＣＮｏＴ！ｌ　ＣＯＭＰｒＬ！　ＷＩＴＨ−５ｋＶｔ”　 ！Ｗ！ｒｃＨ−０Ｎ−ｏｏｏｏｓ ００００９　Ｇ　ａ　ＧＡＩ）１ ０００１０　Ｒ＃　−５ＩＧＮ（ＲＡＴｆｆｉ、Ｃ１０００１５Ｇ　−０４ＤＫ ＬｒＡ ０００１７　ｒＦｉＡＢ！（Ｇ１．Ｌ？、ＧＭ！ＮＩ　Ｇ　−−Ｇ　＊　２．− ｆｆｉＥＬ？Ａ０００１９　ＧＡＩＮ　−１ｕ！（−ＧＭＡＸ、ＭＩＮＪＧＭＡ ｌ、Ｇ１１０００２２　ＥＮＤ ＮＬＩＭＩＩＥＲＯＦ　ＥＲＲＯＲ５ｒＮ　ＣＯＭＰＩＬＡＴｒＯＮ　：　０国 際調査報告 ｍＡ紳−絢−””　ＰＣＴ／ＣＢ　９０１００９３２

Claims (10)

【特許請求の範囲】
1. １．時系列の観測結果を受取るための観測入力と新規なフィルタリングアルゴリ ズムに従って、内部に生成された予想と観測結果とを比較し、前記受取られた観 測結果と前記予想とに関連する次善新方式過程を、予想エラーを表わす出力に与 えるための新規な装置と、 前記新規な装置に出力するための前記予想を生成するための予想装置とからなり 、前記新規な予想装置はノードの幾何学格子を含み、各ノードは、 前記時系列の演算の空間的歴史を表す空間パターンを記憶するためのメモリ装置 と、 前記新規な装置から前記予想エラーを受取るための複数個の信号出力と、 前記メモリ装置内の記憶された空間パターンを介して前記受取られた予想エラー を整合フィルタリングして、前記記憶されたパターンと予想エラーとの類似性を 表す相関係数を生じるためのフィルタと、 前記ノードの選択された他のものから、しきい値出力レベルを受取るための複数 個のしきい値入力と、前記記憶された空間パターンを受取る前に、前記記憶され た空間パターンの発生に対する先行の確率を表わすしきい値レベルを記憶するた めのしきい値メモリ装置と、量子力学波粒子を定め、かつノードの幾何学格子を 横切ってそれを伝搬するために記憶されたしきい値レベル、前記受取られたしき い値レベルお上び前記相関係数に関して演算する徴分差方程式に従って、更新し きい値レベルを計算するＣＰＵと、前記ＣＰＵは、前記しきい値メモリ装置に前 記更新しきい値レベルを記憶し、さらに 前記ノードの他のものに前記更新しきい値を出力するためのしきい値出力とに結 合され、 前記ＣＰＵは、そのしきい値レベルが更新しきい値レベルからなるシグマ関数を 介して前記相関関数を通過させて、前記内部に生成された予想を計算し、前記予 想が、記憶されたしきい値レベルで表わされた先行の確率に関して条件付けられ た前記記憶された空間パターンの生成の確率を表わす、神経ネットワーク。
2. ２．前記新規な装置が適応性である、請求項１記載の神経ネットワーク。
3. ３．前記フィルタが相関フィルタからなる、請求項１記載の神経ネットワーク。
4. ４．前記相関フィルタが、記憶された空間パターンと、受取られた予想エラーと の積を与える、請求項３記載の神経ネットワーク。
5. ５．前記しきい値入力が、前記ノードの近隣のものから、しきい値出力レベルを 受取る、請求項１記載の神経ネットワーク。
6. ６．前記予想装置が、前記予想エラーを量子力学波粒子の位置と相関させるよう に、記憶された空間パターンを更新するための学習手段をさらに含む、請求項１ 記載の神経ネットワーク。
7. ７．前記学習手段が、ヘビアン学習法に従って動作する、請求項６記載の神経ネ ットワーク
8. ８．前記新規な装置はノードのアレイからなり、各ノードは、予め定められた相 互接続パターンに従って前記観測入力に接続された複数個の信号入力と、 前記予想装置の予想出力を受取るための複数個の予想入力と、前記観測結果の時 系列の時間史を表わす時間パターンを記憶するためのメモリと、 前記記憶された時間パターンを利用する予め定められたアルゴリズムを用いて、 前記予想信号入力上で動作し、前記予想エラー出力を与えるための手段とを含む 、請求項１記載の神経ネットワーク。
9. ９．前記予想エラーを最小にするように、記憶された空間パターンを更新するた めの学習手段をさらに備える請求項８記載の神経ネットワーク。
10. １０．前記学習手段が、逆ヘピアン学習に従って動作する請求項９記載の神経ネ ットワーク。