JPH0738185B2 - 最適化問題解決のためのニユーロコンピユータ・システム - Google Patents

最適化問題解決のためのニユーロコンピユータ・システム

Info

Publication number
JPH0738185B2
JPH0738185B2 JP63507795A JP50779588A JPH0738185B2 JP H0738185 B2 JPH0738185 B2 JP H0738185B2 JP 63507795 A JP63507795 A JP 63507795A JP 50779588 A JP50779588 A JP 50779588A JP H0738185 B2 JPH0738185 B2 JP H0738185B2
Authority
JP
Japan
Prior art keywords
processor
network
state
processors
delay
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP63507795A
Other languages
English (en)
Other versions
JPH01502787A (ja
Inventor
ピーター ラツセル コンウエル
Original Assignee
ユニシス コーポレーシヨン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ユニシス コーポレーシヨン filed Critical ユニシス コーポレーシヨン
Publication of JPH01502787A publication Critical patent/JPH01502787A/ja
Publication of JPH0738185B2 publication Critical patent/JPH0738185B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/10—Interfaces, programming languages or software development kits, e.g. for simulating neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Multi Processors (AREA)
  • Hardware Redundancy (AREA)
  • Feedback Control In General (AREA)

Description

【発明の詳細な説明】 発明の分野 本発明は、生体組織の神経系をシミユレートし、複雑な
複合問題を比較的早く経済的方法で解決する能力を提供
するニユーロコンピユータ・システムに関するものであ
る。
発明の背景 複雑に相互結合されたネツトワークに分類され、問題を
解決するコンピユータ・システムの典型のように動作し
て見える生体神経の機能については、長年の間重要な研
究と調査とが続けられてきた。
相互結合された神経ネツトワークをシミユレートするよ
うに電子ネツトワークを配置すれば、“組合せの複雑
さ”を伴う部類の問題を解くのに要求される計算能力の
ため、多くの問題が効率よく解決できると思われてき
た。
この部類の問題は、生体の神経系によつて制御されてい
るに違いない知覚や認識の問題のシミユレートによる、
技術的経済的冒険においてよく見受けられる。
例えば、人が地図を与えられ、所定の出発都市から所定
の到着都市までを運転するという問題を抱えた場合に、
どれが最良の走行ルートと考えられるであろうか。他の
一般的問題例としては回路基板設計の問題があり、構成
要素に効率よい配線が伴うためにはそれぞれの複数チツ
プをどう配置すれば最良であるかに関するものである。
これらの類推や最適化問題の典型例が、1985年に公開さ
れたJ.J.ホプフイールドとD.W.タンクによる生物学サイ
バネテイツクスの第52巻の141頁から152頁に記載されて
いる。この論文は“最適化問題における決定のニユーラ
ル処理”と題されている。
神経系の構成の研究からは、汎用コンピユータで起る直
列のステツプ−バイ−ステツプの処理機能よりも、広範
な種類の並列構成のものが動作していることが示されて
いる。各神経細胞を簡単な処理装置と見なせば、これら
生体系は接続された個々の神経細胞が他の何百ものそれ
ぞれの神経細胞の入力を集めて出力信号を決定する、
“集団的”あるいは“グループ処理”モードで処理して
いるように見える。
“良好な”あるいは“最適な”解決を得るために多くの
知覚入力を得てこれを整理するだけの計算容量があるこ
とが、これら生体系及び神経系ネツトワークの特徴の１
つであるようである。集団的解決は、何百もの神経細胞
（あるいはそれをシミユレートする処理装置）の互いの
同時反応に基づいて処理されているらしい。
このように、複数の相互に接続された神経細胞（あるい
はプロセツサ）に入力信号が供給されたならば、個々の
神経細胞は、自身の入力信号と隣接する神経細胞（プロ
セツサ）から受け取る相互接続された並列的な刺激とに
対応して、ある時は出力信号を提供する。神経細胞の集
団グループからの出力信号の全結果は、ニユーラルネツ
トワークの集団的判定結果を表わす“グローバル出力信
号”である。
規格の超大型集積回路を使用した現在のデジタル汎用コ
ンピユータは、普通それぞれが２つあるいは３つの他の
ゲートからの入力を得る論理ゲートを含み、処理の間に
或るバイナリの決定を行う。しかしながら、集団化され
た並列処理ネツトワークとして構成された非線形のニユ
ーラルプロセツサ（神経細胞）においては、実際に他の
全てのニユーラルプロセツサから入力を受け、含まれて
いる何百もの装置あるいは部品の同時相互作用に基づい
て“集団的”解決を行う。
ニユーラル処理ネツトワークは、３つの主要な並列機構
の型を持つているようである。すなわち、 （ｉ）並列入力チヤネル （ii）並列出力チヤネル （iii）処理要素（神経細胞）間の大量の相互連絡性で
ある。
処理要素は、ネツトワーク内の他の神経細胞からのシナ
プス入力電流をまとめて合計するために提供される“時
定数”を有していると思われる。
生体神経系ネツトワークのシミユレートにおいては、 （ｉ）興奮あるいは誘発的性質と （ii）抑制あるいは負で抑圧的性質とを持つように、相
互連絡パスを決定することが可能である。
カルフオルニア工科大学のJ.J.ホプフイールドは、（対
称的接続の）ネツトワークの運動方程式が常に全神経細
胞の出力が定数を維持する状態である“安定状態”に
“収束”することを示した。
このように、基本構成のニユーラルネツトワークは、最
初に相互連絡と方程式が最小化されていることを適正に
表わす入力バイアス電流とを選択することにより、特定
の最適化問題を解決するのに使用出来る。
ネツトワークのプログラムが編成された後は、入力電圧
の初期設定がされて系は方程式を最小化する“安定状
態”に収束する。最終の“安定状態”は問題の解決と解
釈される。このように、出力群は問題の解決を表わす答
を提供する。
このような組合せの複雑な問題の例として、たびたびTS
Pすなわち巡回セールスマン問題（Travelling Salesman
Problem）が引合いに出される。ここでは、例えばセー
ルスマンがＮ箇所の異なる都市間を移動しようとし、時
間と費用とを最小に抑えるのに必要な最適な巡回あるい
は移動順序を見付けようとするものである。
普通のコンピユータネツトワークを使うと一般的には
“Ｎの階乗”数の処理を含むこの種の問題は、神経系に
よる並列コスト関係の生体型アーキテクチヤーを使用す
ると、比較的早く効率的に最適解を得られる。
巡回セールスマン問題の解決のためにニユーロンで組織
されたネツトワークは、“TSPネツトワーク”として参
照される。この時、TSPネツトワーク内のＮ個のニユー
ロンが最適化問題の解決を可能にするためには、ネツト
ワークはエネルギー関数（Ｅ）で表わされ、（ネツトワ
ークの最も安定した状態と考えられる）最低エネルギー
の状態が最良進路あるいは巡回に相当するとされる。
“収束”の概念は、ネツトワークにおいて各ニユーロン
（プロセツサ）が最終状態に落ち着き、もはや変化しな
いことを表わすのに使用される。
このように、（生体神経系をシミユレートする）マイク
ロ電子のニユーロンによるシステムネツトワークは、系
の“収束”によつてむずかしい最適化問題を迅速に解
き、そこでは含まれるニユーラルプロセツサの状態が
“変化のない”最小エネルギー（Ｅ）状態に落ち着いて
いることが明らかである。
これらのシステムは、一般に多くのパラメータを持つ関
数の最小値を見付けることを必要とする複合した最適化
問題を処理するのに、特に適応される。
1983年５月13日に公表されたサイエンスの第220巻の671
頁から679頁の“シミユレーシヨン・アニーリング（熱
きなまし）による最適化”と題される論文では、大型で
複雑なシステムの特性を最適化するための枠組を与える
ものとして、固体のアニーリングに対する類推との比較
がなされている。
複合された最適化の主題は、コンピユータ科学分野の中
心となる問題を含んでいる。この分野の研究は、多くの
独立変数を持つ関数の最小値あるいは最大値を見付けだ
す効率的技法の開発に向けられている。TSP問題はこの
分野の研究に属し、実験的手順を使つて結論を得るため
にたびたび使用され試験されている。
サイエンスの論文の中で著者のキルクパトリツク、ゲラ
ツテ・ジユニア及びベツチとが示しているように、問題
解決の発見的な方法には２つの基本戦略がある。
１つは（ｉ）“分割と攻略”と呼ばれ、 もう１つは（ii）“改良の繰り返し”と呼ばれる。
第１の戦略（ｉ）では、問題を扱いやすい大きさの副問
題に分割して、その副問題を解き、各副問題の回答を寄
せ集めて全体の回答を提供する。
第２の戦略−改良の繰り返し−（ii）では、良く知つた
構成のシステムから初めて、今度はコストあるいはエネ
ルギー関数（Ｅ）を改善する再配置された構成が発見さ
れるまで、システムのあらゆる部分に標準の“再配置処
理”が加えられる。“再配置された構成”はシステムの
新しい構成となり、更なる改善が見出せなくなるまで、
この処理が続けられる。
戦略（ii）においては、この探究がまだ“グローバルな
最適条件”ではない“ローカルな極小値”に落ち込むこ
とが時々ある。それで、このプロセスを、まずランダム
に選択された異なる構成から出発して数回遂行し、最良
の結論に達するようにすることが慣例である。
凝縮された物質の物理現象が、液体や固体の標本内に見
られる多数の原子の集合体の性質を解析するための方法
の主要部となる。この物理現象には、中心の学問分野と
して統計力学が使用される。
例えば、実験においては、含まれる原子数が1cm3当り10
23個のオーダである如く含有される膨大な数の為に、観
察されるのは所定の温度での熱平衡における系の“最大
確率”の状態のみである。
根本的問題は、低温限界でこの型の系に何が起こつてい
るかに関係している。例えば、原子は流体のままなのか
凝固するのか、もし凝固するなら結晶性固体なのかある
いはガラス状なのか等である。
例えば、溶解物から１つの結晶を作ることによつて物質
の低温状態を測定する実験は、ゆつくりとした注意深い
アニーリングによつてなされる。これは、まず物質を溶
解し、温度を徐々に下げて凝固点の近辺の温度に長時間
置いておくことによりなされる。これはネツトワークの
最適状態を見付けるためにエネルギーレベル（Ｅ）を下
げる前述の状態に匹敵する。
エネルギー（Ｅ）を計算する方法が与えられた時に、系
の低温状態を見付けることは、複合された最適化におい
て遭遇する問題と似た最適化問題のシミユレーシヨンで
ある。
TSPに適用された場合、“コスト関数”はエネルギー状
態（Ｅ）の役割を演じているように見なされる。
エネルギー（Ｅ）の所に“コスト関数”を使用し、構成
をパラメータ群で定義すれば、ある効果的温度で与えら
れた最適化問題の母集団の構成を生成するために、発展
したアルゴリズムが使用される。温度は、単にコスト関
数と同様の装置における制御パラメータである。
今“シミユレーテイツド・アニーリング”は、 （１）効果的な高温で最適化されている系を溶解する工
程と、 （２）“凝固する”まで徐々に温度を下げる工程と、 （３）もはや変化が起こらないことを通知する工程とか
ら成るとする。
各温度でのシミユレーシヨンは、系が“定常状態”に到
達するまで十分長く続けなければならない。温度の順序
と各温度で平衡に達するように試みるパラメータの再配
置の数とは、“アニーリング・スケジユール”と考えら
れる。この種のスケジユールがニユーラルネツトワーク
をシミユレートした電子ネツトワークに適用出来る。
各ネツトワーク間で異なるレベルの“結合強度”を持つ
並列ネツトワークの使用については、1984年５月に著者
ヒントン，セジノウスキー，アキレーにより、カーネギ
ーメロン大学のコンピユータ科学部局を通して公表さ
れ、技術レポートCNU−CS−84−119として指定された論
文“ボルツマンマシン：制約された充足と学習するネツ
トワーク”で議論されている。この論文は、後に認識科
学誌の1985年第９巻の146頁から169頁に“ボルツマンマ
シンのための学習アルゴリズム”と題されて公表され
た。これには、簡単なニユーロン状の処理要素間での結
合強度として、長期間の知識を格納する“コネクシヨニ
スト”システムの研究が含まれている。
明らかにこれらのネツトワークは、並列ネツトワークで
効率的に実現出来て、プロセス間で伝達を必要とするち
ようどその場所で物理的に結合している、視覚のような
課題に適している。
技術レポートには、特殊な領域からの情報例が示される
ことにより、“情報の領域”を簡単に特徴づける根本的
制約を明らかに学習出来る“ボルツマンマシン”と呼ば
れる制約充足問題を解く並列ネツトワークへの所見が見
られる。このネツトワークは、そこに示された情報例と
同じ確率分布で情報例を提供する内部生成モデルを構成
するように、“結合”強度を変更する。
ボルツマンマシンは“双方向リンク”により互いに連絡
された“ユニツト”と呼ばれる処理要素で構成されてい
る。ユニツトは、常に２つの状態“on"あるいは“off"
の内の１つを取り、これら状態を隣接するユニツトの状
態とリンク上の“重み”との確率関数として採用する。
これら“重み”は両サインの実数を取ることができる。
“on"あるいは“off"の“ユニツト”は、その情報の領
域についての或る基本的仮説をシステムが現在受入れる
ているか拒絶するかを意味すると解釈される。リンク上
の“重み”は、２つの仮定間の弱い一対の制約条件を表
わしている。“正の重み”は２つの仮説が互いを支持す
る傾向にあることを示し、一方が現在受認状態の場合は
他方も受認状態となることがより確からしい。逆に“負
の重み”は他のものが等しいならば、２つの仮説が共に
受認状態になりにくいことを示している。
ボルツマンマシンの配置の１つの明かな方向は、全ネツ
トワークがその環境の根本的構造を表現する内部モデル
を展開するような方法で、ユニツト間の結合強度を変更
する独立領域の学習アルゴリズムを導くことである。
学習アルゴリズムは、ネツトワークが“熱平衡”に到達
することと、環境により生み出されたベクトル全体の構
造をモデル化するエネルギー地形を作り出すために、平
衡状態で測定される双方向統計値を使用することとを前
提とする。同時に、この学習アルゴリズムは、ネツトワ
ークが平衡に到達することを防げる、大きなエネルギー
障壁を含むエネルギー地形の生成を止めるものは何もな
いことにも注意すべきである。
ニユーロンは複雑な生体存在物として認識されるので、
ボルツマンマシン・システムのような単純なバイナリユ
ニツトが、ニユーラルネツトワークの実際のモデルの完
全な表現あるいはシミユレーシヨンであるとは思われな
い。しかしながら、“バイナリユニツト”が“非同期”
に状態を変え、確率的決定法則を使用するとの仮説が使
用されている。
この“バイナリユニツト”における“エネルギーギヤツ
プ・ユニツト”は、ニユーロンの膜電位によつて演じら
れる役割と類似の役割を演じるようである。これらは共
に興奮入力と抑制入力との和であり、出力状態の決定の
ために使用される。
“エネルギーギヤツプ”は、現在アクテイブな全てのバ
イナリユニツトからの出力の和を意味している。更新間
の平均時間がニユーロンの“以前のシナプス電位”の平
均持続時間とすれば、更新間のバイナリパルスは以前の
シナプス電位に対する近似値であると考えられる。多数
の確率的パルスの和は各パルスの形とは独立していて、
ただ振幅と持続時間とに依つている。このように、大型
ネツトワークは平均的大脳皮質の典型である“フアンイ
ン（吹き分け）”効果を提供するように動作する。
システム内の“ランダムで非対称なもの”すなわち“ノ
イズ”は、“フアンイン”を提供する階層構造を通して
明らかに減少する。
生体の神経系には“時間遅延”と呼ばれる効果がある
が、これらが“ノイズ”の付加のように振る舞うと考え
られていることも考慮されている。ボルツマンマシンを
導いた２つの主概念は、“ノイズ”が検索処理プロセス
では助けになることと、ボルツマン分布が非線形ネツト
ワーク内の“ローカル”情報に基づき信用（クレジツ
ト）を割当てるのを可能にすることとである。
図面の簡単な説明 第１図は、全てがネツトワーク履歴メモリに接続する節
点グループで構成された複数（Ｎ個）の節点プロセツサ
のグローバルシステムを示す図である。
第２図は、TSP（巡回セールスマン問題）の解決を説明
する16プロセツサ（ニユーロン）のグローバルネツトワ
ークを示す概略図である。
第３図は、固定の結合の重み（遅延時間）で互いに相互
接続された多グループの接点プロセツサの例を示す図で
あり、結合の重みは正（興奮）あるいは負（抑制）とし
て構成されている。
第４図は、過去の各々のマシンサイクルでの各節点プロ
セツサの過去の状態の状態履歴（１＝“on",0＝“of
f"）を記憶するネツトワーク履歴メモリを示す概要図で
ある。
第５図は、６つの都市を巡回するTSP（巡回セールスマ
ン問題）の最適化を示す典型的出力図形を示す図であ
る。
第６図は、ネツトワーク内の節点プロセツサの各々１つ
づつの間の結合の“重み”の実体を示す節点重み回路の
典型例を示す図である。
第７図は、実験に使われたグローバルネツトワークのエ
ネルギー状態を示す図であり、より多くの最適化処理が
実行されるにつれて時間と共にエネルギーの最小化を示
している。
第８図及び第９図は、ニユーロン（プロセツサ）の確率
が、ニユーロン（プロセツサ）システムネツトワークへ
の全ての入力（δＥ）の“重み付け和”の結果として、
出力状態を変えていることを示すヒストグラムである。
概要 “シミユレーテイツド・アニーリング”は、多項式でな
く時間（NP）で完成する最適化課題を解決するための、
効率的で最大エントロピーのアルゴリズムである。“ノ
イズ”をうまく制御することにより、アニーリングの自
然のプロセスをまねるものである。温度（Ｔ）は“ノイ
ズ”に関連付けられ、“安定性”の目的関数は物理的エ
ネルギー状態に関連付けられる。
ここで開示されるのは、“固定された”結合遅延を持つ
て提供されるバイナリニユーラルプロセツサのネツトワ
ークである。ニユーラルプロセツサのそれぞれ１つづつ
の間の固定された結合遅延のために、ネツトワークは安
定状態に近づくように“冷える”。これは、“遅延され
た”モデルシステムの奇妙で固有の特徴であるようであ
る。
第７図に示されるように、時間の関数としてネツトワー
クの“エネルギー”（Ｅ）の最小化が起こるのが見られ
る。各ニユーラルプロセツサ間の相互結合の“重み”の
使用により、エネルギー（Ｅ）は、種々の最適化課題の
目的関数に適合するように配置できる。
以前の研究者は、このようなニユーラルネツトワークの
アナログによる実現が種々の最適化課題を解決するのに
使われることを示して来た。しかしながら、本発明は、
アナログ表現が必要ないことと、単純なバイナリプロセ
ツサが結合遅延を使用して最適化課題を迅速に解決する
こととを示す。ここで示されるシステムは、単純で速い
特殊な目的の並列プロセツサシステムを表わしている。
本ネツトワークはバイナリプロセツサのみを使用してい
るので、ありきたりの超大型集積回路（VLSI）により簡
単に実現できる。しかしながら、他のもつと複雑な実施
も可能である。
前述したTSP（巡回セールスマン問題）に関しては、４
都市のTSPを解くのに使用される16プロセツサシステム
を有する第２図を参照する。第２図に見られるように、
16プロセツサはそれぞれ４プロセツサのグループで構成
されている。これら４プロセツサのグループは、I,II,I
II,IVで示されている。各グループにはそれぞれ数で指
定された４プロセツサのセツトがある。TSPは典型的な
ハード最適化問題の代表例と考えられ、次のように示さ
れる。「各都市に１度だけ止まつてＮ都市を巡回しなけ
ればならない巡回セールスマンが移動する距離を最小に
するルート順を見つけること」。論理的な巡回ツアー
は、各都市が数でラベル付けされたＮ個の整数列として
表わされる。このように４プロセツサの４グループの各
々では、プロセツサNo.3は都市No.3を表わし、プロセツ
サNo.2は都市No.2、プロセツサNo.1は都市No.1を表わ
す。
第２図の下部には、４グループのそれぞれからの少なく
とも１つのプロセツサの“状態”の順序が示されてい
る。このように順に並んだ記号3,2,4,1は、都市３から
始めて、都市３から都市２へ、都市２から都市４へ、都
市４から都市１へと進むことを意味する１つの可能な巡
回を表わしている。
第２図に示される16プロセツサは、それぞれの出力が
“on"か“off"であることを示すバイナリ型である。現
在“on"の出力を持つプロセツサは真黒に塗られ太線で
示されている。一方、出力が“off"のプロセツサは全て
白抜きの丸である。
このように、４都市問題を解くためのハードウエアは、
各々４プロセツサの４グループから成つている。プロセ
ツサの各グループ（I,II,IIIあるいはIV）は順列内の位
置を示している。このように、各グループ内では、各プ
ロセツサは４都市の特定の１つを表わす数で区別されて
いる。各プロセツサは２つの状態、この都市が順列内に
位置あるいは場所を占める１つであることを示す“on"
か、あるいは反対を示す“off"かの、１つの状態のみを
取ることが出来る。各プロセツサ間の結合は、全プロセ
ツサネツトワークが最終安定状態を選ぶのを助長するよ
うに選ばれる。最終安定状態では、各プロセツサの現在
値は“on"か“off"かであつて、論理的な最短の巡回を
示している。
効率的に４都市TSPを解くハードウエアシステムの型
は、例えば４つのグループが与えられ、各グループ内に
第２図のように４つのニユーラルプロセツサがあり、４
つのグループはI,II,IIIとIVでラベル付けされているシ
ステムから成つている。
各グループ内で、各ニユーラルプロセツサは、４都市の
１つを表わす数で指定されて２つの可能な状態の１つの
状態のみであるように配置され、“on"状態が特定の都
市が巡回ルートの順列内に特定の位置を占めることを示
している。
第２図には、16プロセツサの各１つが他のプロセツサの
各１つと相互接続して、結果的に結合したマトリツクス
・システムを表わしている状態は示されていない。プロ
セツサ間のこの接続は、全プロセツサネツトワークが最
終安定状態を選ぶのを“助長する”ように選択される。
最終安定状態では、各プロセツサの現在値、すなわち
“on"か“off"かが永続的する安定値となる。
これらシステムの処理がグローバル・エネルギー（Ｅ）
を最小にするように動作することは知られているので、
このグローバル・エネルギー（Ｅ）は、式A1として以下
に示される特定のアルゴリズムで定義される。
ここで、Ｅ＝グローバル・システムエネルギー;N＝節点
あるいは訪問都市の数、ｗはプロセツサｉとプロセツサ
ｊとの間の結合の重みの値で、正あるいは負の実数;xi
はｉ番目のプロセツサの現在の状態（０あるいは１）で
ある。
ｗの値は、低エネルギー状態が短い論理的巡回に相当す
るように選ばれる。グループ内でのプロセツサ間の結合
は、処理が“巡回しない”ことを含むのを防ぐために、
２つ以上のプロセツサが“on"の場合には高いネツトワ
ークエネルギーとなるようになつている。
同様に、２つの異なるグループのプロセツサ間の結合
は、同じ都市が順列の２つ以上の場所にあることを“防
いでいる”。
システムは１連のマシンサイクルで処理する。各マシン
サイクルの間に、各プロセツサはその遅延スケジユール
装置46を調べる。遅延スケジユールは、装置46内に示さ
れているように格納されている。それは一連のランダム
整数から成つている。各整数は、“減少しない”数列が
提供されるように単調に増加する。
各マシンサイクルが第１サイクルを“1",第２サイクル
を“2"のように番号付けられている場合、遅延スケジユ
ール装置46内の数がこれらマシンサイクルの各々に対応
している。遅延スケジユール装置は、特定のプロセツサ
が、決定法則アルゴリズムを評価する前に、与えられた
マシンサイクル数だけ待つようにする。プロセツサは、
現在のマシンサイクル番号が遅延スケジユール装置46内
に格納された数と一致した時にのみ、決定法則（式A2）
の評価をする。各遅延スケジユール装置は、同じ順序の
ランダム整数でプログラムされている。
このアルゴリズムは式A2として以下に示され、“決定法
則”と呼ばれる。
ここで、Ui“スレツシヨルド値”であり、記号“n"はＮ
×Ｎ構成の平方マトリクスである。この“スレツシヨル
ド値”は装置をプログラムするオペレータによりセツト
される。“n"の要素は指示された一様の分配、例えば0,
1,2…Ｍからの整数標本である。これらは、処理ユニツ
トｉとｊとの間のnijタイムステツプでの“固定された
遅延”を反映している。量xj（ｔ−nij・δｔ）は、過
去の或る時点でのｊ番目のニユーロンの状態（１あるい
は０）であり、xiはｉ番目のプロセツサの現在の状態
（１あるいは０状態のニユーロン）である。
ネツトワークの現在の状態は、次のようにベクトルｘで
定義される。
ベクトルｘ＝（x1,x2,x3,…,xi,…,xn） …（式A3） 第３図は、各プロセツサがそのグループ内の他のプロセ
ツサのそれぞれとどのように相互接続し、影響を及ぼし
てるかを示す４プロセツサの典型的グループを示す図で
ある。４グループの各プロセツサ間を結合する四角の箱
のユニツトは、節点重み／遅延ユニツトと呼ばれる。
“＋”の記号は結合重み遅延値wijの正の値を示し、
“−”記号は負のwijを示す。これら“＋と−”の値
は、より大きなあるいはより小さなデジタル値を示すと
いう意味でのみ関連がある。
負の値は、どの２つのプロセツサも同時に“on"になる
ことを防いでいる。第３図の四角ユニツト36は、例えば
シフトレジスタから構成できる固定された遅延を構成し
ていて、プロセツサNP1,NP2,NP3,NP4は単純な加算回路
で達成される。
加えて、第３図に示すように、他のグループからのプロ
セツサ（NP5）が、先のグループの４つのプロセツサNP
1,NP2,NP3,NP4の各々と相互接続している。このこと
は、“第１のグループ”の１つづつのプロセツサが“第
２のグループ”の４つのプロセツサの１つづつと相互接
続していることを示している。同様に第２図に関して示
したように、第３と第４のグループのプロセツサについ
ても同じことが言える。
上記式A2を参照すれば、xi（ｔ）は与えられたどの特定
の時“t"に起こる“マシンサイクル”の間も、ｉ番目の
プロセツサの状態（０あるいは１）を表すことが示され
る。
記号Ｎは、系で処理をしているプロセツサの数を示し、
記号nijはプロセツサの数の平方、即ちN2を表わす。
好ましい実施例の説明 本発明の特殊目的のニユーロコンピユータ・システム
が、第１図の本発明の好ましい実施例として示されてい
る。
基本的構成には、性質が等しくプロセツサ10,20,30…ｉ
…Ｎと表わされ、節点プロセツサと呼ばれるプロセツサ
列を含んでいる。プロセツサの数は変化するので、“N"
はシステム内の節点プロセツサの合計数として使用さ
れ、システム内のどの中間プロセツサもプロセツサ“i"
として示される。ある目的では、節点プロセツサ列はNP
1,NP2,…NPnとして参照される。
第１図に見られるように、全システムは、各“ノード
（節点）”が相互協動ユニツトのセツトからなる“ノー
デス（節点群）”という言葉で述べられてもよい。例え
ば、第１の節点は、節点プロセツサ10への入力を提供す
る“節点重み遅延メモリ"36,スケジユールメモリ46,決
定アルゴリズム56として指定されたユニツトと共に、節
点プロセツサ10を含むように考えられる。更に、第１の
“節点”は、節点プロセツサ10からの出力を受け取る一
時メモリラツチ15をも含んでいる。同様に、各節点は自
身のメモリラツチ152,153,…15nを持つている。
第１図では、典型的“節点”が節点ユニツトを示す太い
破線で節点２として示されている。
同様に、システムに連結する他の節点の各列は、他の節
点を特徴づける同型のユニツト（36n,46n,56n）を含ん
でいる。
各処理サイクルの間、10や20等の節点プロセツサは、ス
ケジユールユニツト46（462等）を調べ、スケジユール
ユニツト46は、節点プロセツサが決定法則を計算して結
果を出力する前に、待つべきマシンサイクル数を知らせ
る。
式A2で前述した決定法則は次のように与えられる。
各ニユーロンは、入力を評価して現在の出力状態の変更
を決定する前に、多くの短時間ステツプ、すなわち“エ
ポツクス”（δｔ＝１マシンサイクル）を待つように見
られるので、式A2は出力状態の変更の“決定”であり、
式A2のパラメータ値に対応して決められる。
10,20等の節点プロセツサは、式A2の計算を行い、ネツ
トワークメモリ18に結果を出力する。このネツトワーク
メモリ18への転送は、バス14,一時メモリラツチ15及び
バス17を介して行われる。プロセツサの出力は単純な
“1"あるいは“0"なので、これらバスは全て１ビツト幅
である。
節点プロセツサによる式A2の計算には、他のプロセツサ
の前の計算の出力が入力として必要である。このデータ
はバス19m上に多重方式で与えられる。ネツトワークメ
モリユニツト18に格納された全データは、１マシンサイ
クルで多重方式により各プロセツサに送られる。プロセ
ツサ・コントローラ70からのバス11の入力は、プロセツ
サ10等に前の状態がバス11上に現在存在することを知ら
せる。この情報は８ビツトの整数から成り、“0"はネツ
トワークの現在の状態が送られていることを、“1"は状
態が１マシンサイクル前のものであること等を意味す
る。節点重み遅延メモリ36からの遅延情報と共に、コン
トローラ70からのこのデータは、プロセツサ10,20等の
他のプロセツサの過去の状態を決定することを許す。例
えば、重み遅延メモリ36からの情報がn12＝３の場合に
は、コントローラ70からのデータは３マシンサイクル前
のネツトワークの状態が現在のバス19m1上に送られてい
ることを示し、プロセツサ10はバスの第２ライン上に送
られている値“1"あるいは“0"を記録する。言い換えれ
ば、システムの履歴はバス19mnに送られるので、nijは
ｉ番目のプロセツサにバス19m1上のｊ番目のラインから
の値が使うべき値であることを知らせるインデツクス情
報を提供する。
式A2の計算は、プロセツサｉとプロセツサｉとの間の
“結合の重み”を表わす入力も必要とする。この情報も
重み遅延メモリ36にアレーの型（第６図）で含まれてい
る。このアレーwijの各登録は、ある特定の節点プロセ
ツサが他のプロセツサに及ぼす“力”の“量”を表わ
す。大きな正の値は２つのプロセツサを同じ状態にしよ
うとし、大きな負の値は反対の状態にしようとする。
前述したように、節点重み遅延メモリ36は、結合重みア
レーｗと固定遅延アレーｎのための情報を含んでいる。
ｎはｗと同様の配置のＮ×Ｎのアレーであり（第６図参
照）、各登録nijはユニツトｉの出力がユニツトｊによ
つて利用される前に遅延されるべきマシンサイクルの数
を表わしている。ｗ内の各登録はサイン付きの16ビツト
の整数で格納され、ｎ内の各登録はサイン無しの８ビツ
トの整数で格納される。このアレイはｎ×ｐビツトであ
る。ｎは節点数で、ｐは履歴メモリ18に格納されている
過去の状態履歴の数である。“nij"のアレイは節重み遅
延メモリ36内にあり、上記wijと同様の表現を持つてい
る。ここで、nijのアレイでは、nijの各スロツトに格納
されている数はサイン無しの８ビツトの整数で、プロセ
ツサｉの出力がプロセツサｊにより受信され使用される
前に遅延されるマシンサイクル数を表わしている。
遅延スケジユールメモリ46は、プロセツサ10に決定法則
（式A2）を評価する前に待つべきマシンサイクル数を知
らせる情報を含んでいる。この情報は整数列からなる。
例えば、典型的列は次のようである。
2,1,3,2,2,2,1,3,3,2,3,3,2,4,3,1,4,3,2,3,3,4,4,4,3,
2,4,4,4… 列の合計長は2000登録より小さい。列内の数は上限が一
定に増加する独立した一様の分配からランダムに選ばれ
る。これにより、最初はこれら整数が［0,1,2］からの
標本であるが、最終的には［0,1,2,3,4,5,6,7,8,9,10］
からの標本となる。
アレー“n"内に含まれる遅延情報は、遅延スケジユール
メモリ（第１図に46で示される）に格納された情報とは
根本的に異なつている。遅延スケジユールメモリ内の情
報はランダム遅延を表わし、コンピユータの非同期処理
にも応答可能である。上述したように、この遅延はプロ
セツサに決定法則（式A2）を評価する前に待つべきマシ
ンサイクル数を知らせる。これに反して、アレーｎの登
録“nij"内の情報は、決定法則を計算する時に、プロセ
ツサにプロセツサｉの過去“nij"マシンサイクルの状態
を使うことを伝える。簡単に言えば、遅延スケジユール
は決定法則の値を求める“時”を知らせ、節点重み遅延
メモリ36nに含まれるアレーｎ及びｗは、プロセツサに
法則の値を求める“方法”を伝えている。
第１図に示す決定アルゴリズムメモリ56は、節点プロセ
ツサ（第１図のユニツト10）が決定法則（式A2）を計算
するための特定の機械語のアルゴリズムを含んでいる。
第１図に見るように、ネツトワークメモリ18は、18mxと
して示された“状態履歴バス”上にｎビツトの出力デー
タを提供する。これら出力ビツト（ｎビツト）はマルチ
プレクサ16に伝えられて出力バス19に分配され、19m1,1
9m2,…19mi…19mnのような分配バスを介して種々のプロ
セツサに伝えられる。履歴メモリ18の内部配置が第４図
に示されている。
プロセツサ・コントローラ70は、バス11を介して、“状
態履歴バス"18mx上に現在特定の過去の状態のどれが送
られているかを、節点プロセツサ10（及びプロセツサ2
0,30,…Ｎ）に知らせている。第４図は、所定のマシン
サイクル中に“on"か“off"である各節点プロセツサの
状態が、どのように配置されているかを示している。
第１図に見られるように、プロセツサ・コントローラ70
は節点システムネツトワークを監視し、I/Oコントロー
ラ80を介して端末85への出力表示をも提供する。端末85
はCRT出力表示装置でも良いし、単に選択情報のデジタ
ル印刷装置であつても良い。
プロセツサ・コントローラ70はどんな汎用プロセツサで
も良く、現在可能な型のパソコンのような装置でも良
い。
プロセツサ・コントローラ70は、ネツトワークメモリ18
を走査することにより、ネツトワークの現在の状態を常
に試験している。ネツトワークメモリ18は第４図及びテ
ーブルＩに示すように、各プロセツサ10,20,30…Ｎの過
去の状態の履歴を含んでいる。
これら過去の状態の比較の目的は、各節点プロセツサ1
0,20,30…Ｎの“状態”が最終の変化のない状態へ落ち
着き、ネツトワークが“平衡”点に到達したか否かを見
るためである。
各プロセツサの状態に変化が起こつている限り、まだ最
適解に至つてないことが分る。ネツトワークメモリ18内
の状態データが、種々の可能性（異なる巡回路）が探究
されても各プロセツサの状態が変化しないで保持される
ようなデータの半永久あるいは永久的なデータ群に落ち
着いたことを表すのは、最適のあるいは最適近くの解が
見つかつた時のみである。
このように、問題はデータ状態の安定が達成された時、
あるいは代りに所定数のサイクルが終了して最も最適化
された結果を手にした時に、解決された、すなわち“最
適化された”と見なされる。
“状態”の安定は、連続的な状態の比較により、状態ビ
ツトがもはやサイクルからサイクルの間に変化しなくな
り、たぶんネツトワークで安定あるいは最適点が起つた
ことが示された場合に達成される。
プロセツサ・コントローラ70は、全グローバル・システ
ムのどの特定の状態が現在状態バス18mx上に送られてい
るかについて、継続的に各節点プロセツサ10,20,30…Ｎ
に情報を与える。
プロセツサ・コントローラ70は、各節点プロセツサ10,2
0,30…Ｎに対しバス11上にデータを出すことにより、コ
ンピユータを初期化する。このバス11上に出されたデー
タは、節点重み遅延メモリ36への結合重み及び遅延と、
遅延スケジユールメモリ46へのランダム遅延スケジユー
ルと、決定アルゴリズムメモリ56のための決定アルゴリ
ズムとを含んでいる。更に、プロセツサ・コントローラ
は、バス18cを介してネツトワーク履歴メモリ18を初期
化する。この初期化データは、“1"あるいは“0"のラン
ダム値でネツトワーク履歴メモリにセツトされる。
ほとんどの現在のプロセツサは、入力信号を可能とする
入力データライン数に限度があるので、ネツトワーク内
の節点の数は、ほとんどの場合、各節点プロセツサ10,2
0,30等に入るデータ入力ラインの数を越えてしまう。こ
のように、各節点プロセツサに送られるようなデータ
は、マルチプレクサ16を介して分配されねばならない。
第１図では、マルチプレクサ16はネツトワーク履歴メモ
リ18から状態履歴バス18mxを介してｎビツトの出力デー
タを受けるように示されている。
第４図のネツトワーク履歴メモリ18は二次元のＮ×Ｐア
レーと考えられ、各行の登録は過去のある時点での各プ
ロセツサの状態（第１の登録は第１のプロセツサの状態
に対応し、第２の登録は第２のプロセツサの状態に等）
を表している。
例えば、第１の行は現在の状態、 ｘ（ｔ）＝｛x1（ｔ）,x2（ｔ），…xn（ｔ）｝であ
る。
第２の行は１マシンサイクル過去の各プロセツサの状
態、 ｘ（ｔ）＝｛x1（ｔ−δｔ）,x2（ｔ−δｔ） ，…xn（ｔ−δｔ）｝ を表わしている。
そして、最後の行はｐマシンサイクル過去の状態、 ｘ（ｔ）＝｛x1（ｔ−ｐ・δｔ）,x2（ｔ−ｐ・δｔ） ，…xn（ｔ−ｐ・δｔ）｝を表している。
ネツトワーク履歴メモリ18からの履歴データは、マルチ
プレクサ16を介してプロセツサ・コントローラ70に送ら
れ、各マシンサイクル間には順番に１行毎送られる。全
行が各マシンサイクル中に順に送られる。
各マシンサイクル中に、節点プロセツサ10,20,30,…Ｎ
の各１つの“現在の状態”が、第１図に示すメモリラツ
チ列151,152,153,…,15nを構成するｎラツチの各々から
ネツトワーク履歴メモリ18へ読み込まれる。
第１図において、一時状態メモリラツチ15は節点プロセ
ツサ10からの入力をバス14から受け、バス12からもデー
タを受けるように示されている。出力バス17は、ラツチ
15からネツトワーク履歴メモリ18へ状態情報を伝える。
節点プロセツサ10,20,30,…,Nの各々は、（式A2の決定
法則に対応して）入力を評価して状態（０あるいは１）
を変更すべきか否かを決める前に、ある数のマシンサイ
クルを待つので、“現在の”状態がこれら休眠期間中維
持されなければならない。このように、現在の状態はラ
ツチ15に入れられ、各マシンサイクルの間にネツトワー
ク履歴メモリ18に送られる。
このように、システム内の各“ノーデス（節点群）”
は、15,151,152,153,…15i,…15nのような自分の一時メ
モリラツチを持ち、各節点プロセツサ10,20,…,Nは、各
マシンサイクルの間にネツトワーク履歴メモリ18へ現在
の状態を送り、ネツトワーク履歴メモリ18は、現在のマ
シンサイクルを含む以前の各マシンサイクルの間の各節
点プロセツサの状態の履歴を格納して所有する。
ボルツマンマシンおけるヒントン，セジノウスキー，ア
キレーの言葉では、システム内の遅延は化学シナプスの
シナプス・ノイズを“模倣する”と記されている。これ
らの研究者達は、保持された発火の確率対入力刺激信号
を表わす“Ｓ字形の”累積分布として、ニユーロンの出
力関数をモデル化してきた。
ボルツマンマシンでは、ニユーロンは出力がボルツマン
分布である確率ユニツトとしてモデル化される。この分
布では、“温度”はランダム性の量、従つて形状を制御
するパラメータである。この温度パラメータは、システ
ムへの“外部”からの影響方法である。逆に、本システ
ムは、ノイズを最小にして且つローカルな最小化を防ぐ
ために、“内部発生”遅延を使用する。
ここで開示されるシステムネツトワークは、ホプフイー
ルドの２状態モデルにも且つボルツマンマシンに対する
モデルにも類似している。ホプフイールドは、対称的に
接続されたバイナリニユーロンのネツトワークが、彼が
システムの“エネルギー”として示している外部量の”
ローカル最小値”を見い出すことを論証した。彼はこの
モデルがエラー訂正を内容とするアドレス可能なメモリ
として機能することを示した。彼の後の仕事において
は、２状態モデルが非線形アナログモデルのために生み
出された。アナログモデルの“なめらかさ”は、最適化
問題に対する“良い”解決となることを証明すると見ら
れた。
ボルツマンマシンでは、低エネルギー状態は“シミユレ
ーテツド・アニーリング”によつて達成され、“ノイ
ズ”の利用はローカル最小値（不完全な最適解）を逃れ
るためである。比較的“高い”“温度”パラメータから
始めてゆつくり下げることにより、低エネルギーの安定
状態をつきとめる確率が著しく増大した。このシミユレ
ーテツド・アニーリングと呼ばれるプロセスは、ゆつく
りした冷却による金属内の低エネルギー量子状態への到
達をまねることで、モデル化された。ここで、開示され
ている遅延モデル・システムネツトワークは、遅延が実
際は疑似“ノイズ”と見なされることにおいてはボルツ
マンマシンと似ていて、ノイズはローカル最小値から逃
れるようにする。しかしながら、ボルツマンマシンと異
なつて、本システムはランダム性を提供し、そのランダ
ム性の変化が時間の関数として提供され、明らかにこれ
ら要素が本発明の遅延モデル・システムネツトワークの
本質的特性である。
ここで開示されているニユーラルシステムネツトワーク
は、ホプフイールドの２状態モデルと似ている。ネツト
ワークはＮ“ニユーロン”から成り、各ニユーロンは
“0"（発火しない）あるいは“1"（最大級の発火）とし
て示される２つの状態を持つている。
ｉ番目のニユーロンの出力は、wijで示される“重み”
を持つてｊ番目のニユーロンの入力に接続される。
第６図に見られるように、第１図の節点重み遅延メモリ
36は関連テーブルを提供し、ネツトワーク内のどの２つ
のニユーラルプロセツサ間での重みと遅延時間との関連
が第６図に示すように提供される。マトリツクスｗは対
称で、すなわちニユーロンｊと関連するニユーロンｉの
出力は、ニユーロンｉと関連するニユーロンｊが持つて
いると同じ重みを持つている。どのニユーロンも自分に
対するシナプスはないので、第６図に示したように対角
線上は零である。
ニユーロン（プロセツサ）のシステムネツトワークは、
各ニユーロンが入力を計算して現在の状態を変更するこ
とを決定する前に、“エポツク”（δｔ）と呼ばれるラ
ンダムで整数のマシンサイクルを待つ意味で非同期であ
る。各プロセツサは、同じ状態を保つかその状態を変更
するか（０あるいは１）を決定するため、式A2の決定法
則を評価する前に所定数のマシンサイクルを待つ。そし
て、その現在の状態はラツチ15に入れられ、各マシンサ
イクルの間に格納のため履歴メモリ18に与えられる。こ
のマシンサイクル数は一定の分布［1,2,3,…,R］から選
ばれる。ここで、Ｒはニユーロンが現在の状態を“評
価”する前に待つ最大の時刻数である。出力状態の変更
の決定は、1943年の数理生物学の会報の第５巻のW.S.マ
ツクロツクとワルター・ピツツによる“神経活動におけ
る差し迫つた予感の論理的評価法”と題された論文で論
じられている、マツクロツク−ピツツ決定法則と呼ばれ
る“決定法則”によつて作られる。この決定法則は、以
下の式B1により表現されることが示されている。
ここで、E0はスレツシヨルドで、ｎはＮ×Ｎの平方マト
リツクスである。“スレツシヨルド”記号E0は、基本的
には前述の式A2では記号Uiで示されたのと同じ概念であ
る。ｎの要素は一様分布［0,1,2,…,P］からの整数標本
である。彼らのニユーロンユニツトｉとｊとの間のnij
時間ステツプの“固定された”遅延時間を反映してい
る。Ｐは履歴メモリ18に保持されるべきシステムの過去
の状態の最大数を表わしている。
xj（ｔ−nij・δｔ）は、過去のマシンサイクル数に関
連する、過去のある時点でのｊ番目のニユーロンの“状
態”（“1"＝onあるいは“0"＝off）である。
式A3で前述したように、ネツトワークの現在の状態は
（x1,x2,x3,…,xN）に等しいベクトルｘで記される。こ
れは、プロセツサがon（＝１）かoff（＝０）かの各々
１つの状態によつてネツトワークの全状態を表わしてい
る。このように、ネツトワークの暫定的安定、すなわち
“不変”のいくつかの概念が示される。
ここで記載されるシステムネツトワークでは、幾つかの
セツトのシミユレーシヨンが実行された。例えば、第１
のシミユレーシヨン・セツトでは、パラメータは次のよ
うにセツトアツプされる。
Ｎ＝25,M＝25,R＝3,E0＝０ wijの要素（第６図参照）は、記号wijはwijと等しくwii
は零であるように、一様分布［マイナスＮの平方根,Nの
平方根］からの実数値の標本でセツトアツプされる。
これらランダムな初期開始時点でのシミユレーシヨンの
間に、“安定時点”がほとんど常に見つかることが分か
つた。安定時点は、ネツトワークがＭエポツクの間同じ
グローバル状態ベクトルに戻つた後にのみ、同一と認め
られる。安定状態が見付かる前の経過時間は、最小50エ
ポツクから広い範囲で変化し、システムが収束せずに終
るまでには１動作で1000エポツク以上から回りする。明
らかに、システムは安定の小さな島のようなものに到着
するまでランダムに配置空間を動く。これらの島は、少
なくともＭエポツクの間はその状態を変化させない2,3
のニユーロンを含む。この状態が発生すると、通常シス
テムではより多くのニユーロンが“凍結”して、安定状
態への比較的迅速な収束を続ける。
この行動は、むしろ予想外だけれども、しかしながらあ
る質的解釈を必要とする。入力を通して到着した更新情
報に基づいて決定をするというマスクロツク−ピツツ決
定法則に従うモデルニユーロン（プロセツサ）について
考えることが有用である。
しかしながら、“遅延”が有る時には、ニユーロンはシ
ステムの“過去の状態”に基づいて決定を行う。システ
ムの状態は普通変化を続けるので、ニユーロンが決定に
おいて古い情報でエラーを起こす確率は“零でない”。
このように、ニユーロンは、入力情報が適正に流れてい
たかどうかを持つている場合は、その発火率を増加させ
ない。
ニユーロンが状態を変化せずに長くいればいるほど、そ
れに接続するニユーロンへ転送する現在の情報の確率は
高くなる。より多くのニユーロンの状態が“固定する”
につれて、残りのニユーロンはより高い比率で“遅延し
ない”入力を使用することが分る。従つて、遅延により
生じる“ノイズのような”影響は減少され、定常状態へ
のより速い収束が得られる。
試みられた第２のシミユレーシヨン・セツトでは、種々
の活動レベルのニユーロンの出力分布を測定しようとし
た。動機は、ニユーロンが古い情報を受け取る結果とし
てどれだけ“誤りを冒す”かを決めるためである。活性
が高い時には、（多くのニユーロンが各エポツクで入力
を評価するので）エラーの確率が高くなることが期待さ
れる。同様に、活性が低くなると、（幾つかのニユーロ
ンのみがエポツク毎に入力を評価するだけなので）エラ
ー確率は低くなる。
シミユレーシヨンの第１のセツトは、ニユーロンの状態
変更の確率が実際にネツトワークが収束するにつれて
“下がる”ことを示した。従つて、遅延のノイズ状の効
果は、安定点に進むためにネツトワークの傾向からは分
離しなければならない。このことは、ニユーロンの状態
変更の“確率”として示されるもう１つのグローバル・
パラメータ“p"の導入を必要とした。これは、履歴メモ
リ18内に保持されている状態データの過去のマシンサイ
クル数を表わす記号“P"とは区別される。
シミユレーシヨンの第２のセツトでは、全パラメータは
変化するＲと100にセツトされたＮとを除いて同じまま
であるように配置された。ニユーロンは入力を次の２つ
の決定法則に従つて評価した； （ｉ）第１は遅延時間を利用した， （ii）第２の決定法則は遅延時間を利用せず、記号nij
は全てのijのセツトで零とする。
２つの法則の結果が一致しない場合が記録された。２つ
の法則間の不一致が起こつた回数を測定したヒストグラ
ムが、入力の重みを付けた和Ｅに対してプロツトされ
た。第１のシミユレーシヨン・セツトと違つて、状態ベ
クトルは収束を避けて決定法則の結果に対応して更新さ
れなかつた。むしろ、ニユーロンの状態の変更の決定
は、０と１の間の一様分布から標本を取ることにより決
定された。結果が“p"（ニユーロンの状態変更の確率）
より小さい場合には、ニユーロンの状態ははじかれた。
少なくとも25エポツクが経過するまで、遅延の真の効果
を見るのを支持するのに十分な状態履歴を保証する統計
は集まらなかつた。
第７図に示すように、記録されたヒストグラムは他の確
率モデルで使われる累積出力分布と良く近似した。この
ように、このヒストグラムは下に式B2で示したパターン
に従つた。
ここで、Ｅは入力の重み付けした和である。パラメータ
E0は、Ｔが形状を制御している間は曲線を水平にシフト
する。Ｔが小さい値の間は曲線はステツプ関数に似てい
るが、Ｔが大きな値の間は引き伸ばした“S"に似てい
る。
Ｔはノイズレベル，すなわちシステムの“温度”の尺度
と考えられる。Ｔが零で式B2に従う出力関数を持つニユ
ーロンは、“決定論的”と呼ばれる。
第８図と第９図とは、式B2に適合する結果のヒストグラ
ムを示す。第８図では、統計が500エポツクの間記録さ
れた。適合から評価されるように、ｐは0.1、Ｒは３
で、Ｔは23である。
第９図でパラメータはｐ＝0.01,R＝3,T＝7.7である。Ｔ
におけると同様の大きなシフトがＲにおける変化に伴つ
て見られる。Ｒは、ニユーロンが現在の状態を評価する
前に待つエポツクの最大数を表している。
付加されたヒストグラムは、ランダムでない結合マトリ
ツクスでも評価された。“w"が、1985年と1986年にホプ
フイールドとタンクにより展開されたような５都市の巡
回セールスマン問題のニユーラル解に適当な“重み遅延
時間”と共に、ロードされた。この場合に、Ｓ字形は維
持されるが曲線が平行にシフトされた。この曲線がネツ
トワークが安定点上に収束するにつれて低活動で狭くな
ることは、活動の適当な選択によりシステムはゆつくり
“冷却”されて、必然的に最適化問題の“良い”解決を
もたらすことを示唆している。そのようなシステムは
“自動アニーリング”を示すと指摘できる。
ニユーロンシミユレート・システムネツトワークの発展
の結果として、結合遅延を伴つた２状態モデル型ニユー
ロンは、他の確率モデルで使用される分布と同様の固有
のＳ字形出力分布を持つていることが分つた。このラン
ダムあるいは確率的な要素にもかかわらず、シミユレー
シヨンは、安定に隔離されたニユーロンが確定した後
は、システムが普通に安定状態を見付けに行くことを示
した。得られた出力分布例は、分布がネツトワークが安
定状態に進むにつれて狭くなる−システムが決定論的に
なる、すなわち“冷却する”−ことを示した。
ネツトワーク内のノイズ量、すなわち“温度”は平均発
火率にも依存していた。このように、これら２つの効果
の結合により、遅延システムがシステムの“エネルギ
ー”を最小にする自然な方法が提供された。
このように、最適化問題を解決する特殊目的のニユーロ
コンピユータ・システムの好ましい実施例が説明され
た。しかしながら、ここに開示された概念で動作し且つ
次のクレームの範囲内にある、他の実施例や変形例も考
えられる。

Claims (13)

    【特許請求の範囲】
  1. 【請求項１】ネツトワークを形成し、グローバルな最小
    エネルギー状態を探索するよう動作するプロセツサネツ
    トワークであつて、 （1a）Ｎ個の複数プロセツサであつて、各プロセツサが
    各グローバル・マシンサイクル中に“on"＝１あるいは
    “off"＝０のいずれかとなり、前記１あるいは０が状態
    情報の構成要素となつているＮ個の複数プロセツサと、 （1b）前記Ｎ個の複数プロセツサの１つと前記Ｎ個の複
    数プロセツサの他の１つをそれぞれ互いに接続する複数
    の相互接続手段と、 （1c）前記複数の相互接続手段の各々にあつて、いずれ
    か２つのプロセツサｉとｊとの間で、プラセツサｉ及び
    ｊが“on"＝１あるいは“off"＝０というように前記状
    態情報を伝達すると共に、相手のプロセツサが“on"（o
    ff＝０）になることを抑制（−）し、あるいは相手のプ
    ロセツサが“on"（＝１）になるように興奮（＋）させ
    ることを意図する重み付け信号wijを伝達し、前記＋／
    −値の重み付け信号wijが前記相手のプロセツサに効果
    を示す迄の固定遅延時間nijに従う重み遅延手段と、 （1d）前記各プロセツサが現在あるいは過去の前記状態
    情報をアクセスして、前記重み遅延手段が動作可能にな
    る前に決定アルゴリズムを実行できるように、過去の
    “P"マシンサイクルの間の各々のマシンサイクルでの前
    記各プロセツサの１＝“on"と０＝“off"の前記状態情
    報を格納するネツトワーク履歴手段と、 （1e）前記プロセツサネツトワークが安定した変化のな
    い状態に到達した時点を示す“P"マシンサイクルの間に
    前記状態情報が変化しない安定状態を評価するために、
    過去の“P"マシンサイクルにわたる前記各プロセツサの
    前記ネツトワーク履歴手段内の状態を調べるプロセツサ
    ・コントローラ手段と、 （1f）所望のマシンサイクル中に、前記プロセツサが
    “off"状態（＝０）か“on"状態（＝１）であるかを確
    定する決定アルゴリズム手段であつて、 （1fa）所定スレツシヨルド値により、前記固定遅延時
    間nijと重み付け信号Wijとを計算に入れて他のプロセツ
    サからの状態情報の入力を評価するアルゴリズムと、 （1fb）前記アルゴリズムによる評価の実行を所定のマ
    シンサイクル遅延させる遅延スケジュール手段とを含む
    決定アルゴリズム手段とを備えることを特徴とするプロ
    セツサネツトワーク。
  2. 【請求項２】前記重み遅延手段は、 （2a）各マシンサイクルで、“on"であるプロセツサと
    “off"であるプロセツサとを確定する前記決定アルゴリ
    ズム手段への入力を提供するために、プロセツサｉと相
    手プロセツサｊとの間で予め“抑制（−）”且つ／又は
    “興奮（＋）”のデジタル値がセツトされる重み付け
    （wij）ユニツトと、 （2b）＋あるいは−の重み付けwijが効果を出す前に、
    プロセツサｉと相手プロセツサｊとの間におけるマシン
    サイクルによる遅延回数の整数値を提供する遅延（ni
    j）ユニツトとを備えることを特徴とする請求項１記載
    のプロセツサネツトワーク。
  3. 【請求項３】（3a）各マシンサイクルに、前記Ｎ個の複
    数プロセツサの各々に前記ネツトワーク履歴手段からの
    現在及び過去のマシンサイクルでの前記状態情報の出力
    データを伝達するマルチプレクサ手段を更に備えること
    を特徴とする請求項１記載のプロセツサネツトワーク。
  4. 【請求項４】前記プロセツサの各々は、 （4a）各マシンサイクルに、前記マルチプロセツサの現
    在の状態（０あるいは１）を格納し、前記状態を前記ネ
    ツトワーク履歴手段に転送する一時メモリラツチを備え
    ることを特徴とする請求項３記載のプロセツサネツトワ
    ーク。
  5. 【請求項５】（5a）Ｎ個の相互接続された複数プロセツ
    サであつて、各プロセツサが、方程式： ここで、 xi（ｔ）はｉ番目のプロセツサの状態（０あるいは１）
    を表わし； Ｎ＝相互接続したプロセツサの数： wij＝プロセツサｉとプロセツサｉとの間の重み付け
    値； nij＝プロセツサｉとｊとの間のマシンサイクルによる
    固定遅延回数を反映する整数； xj（ｔ−nij・δｔ）は過去のある時点のｊ番目のプロ
    セツサの状態を表わし； Ui＝オペレータにより選択されるスレツシヨルド値； δｔは１マシンサイクルを表わす； を解くように機能し、 前記Ｎ個の複数プロセツサの各々が （5a1）前記プロセツサに接続し、第１の前記プロセツ
    サと前記ネツトワーク内の他のそれぞれの前記プロセツ
    サ間での（興奮＋あるいは抑制−）の重み付け値wijと
    前記プロセツサｉとｊとの間でのnijマシンサイクルの
    固定時間遅延nijとを供給する節点重み遅延ユニツトを
    含むＮ個の相互接続された複数プロセツサと、 （5b）前記Ｎ個の複数プロセツサの各々と接続し、“P"
    過去までのマシンサイクルの各マシンサイクルでの各前
    記プロセツサの状態（０あるいは１）を格納し、プロセ
    ツサｉへの入力としてnijマシンサイクルの過去の状態
    データを与えるように、他のプロセツサの過去の状態デ
    ータを供給するよう機能するネツトワーク履歴メモリ手
    段と、 （5c）前記Ｎ個の複数プロセツサの各々と前記ネツトワ
    ーク履歴メモリ手段とに接続し、ネツトワークを初期化
    し且つ制御するように機能するプロセツサ・コントロー
    ラ手段とを備え、 （5c1）前記Ｎ個の複数プロセツサは、“on"であるか
    “off"であるかの２つの状態のいずれか１つを供給し、 （5d）ネツトワークは、Ｅの最小値を求めて式A1: ここで、Ｅはシステムネツトワークの全状態と最小化す
    べき関数とを表わし、 は各プロセツサと全てのプロセツサ手段間の現在の重み
    値の各々の和を表わし、 xiとxjとは各プロセツサｉとｊとの現在の状態（０ある
    いは１）を表わし、 wijはプロセツサｊに対するプロセツサｉの重みの影響
    を表わす； を最小化するよう処理し、 （5e）前記プロセツサの各々と接続し、最後に式A2の評
    価をした後の、再び現在の前記式A1を評価して出力信号
    を相互接続した他のプロセツサに伝達する前に、前記プ
    ロセツサが待つべきマシンサイクルでの時間長を反映す
    る整数列を格納する遅延スケジュールメモリユニツトを
    備えることを特徴とするプロセツサネツトワーク。
  6. 【請求項６】前記プロセツサ・コントローラ手段は、ネ
    ツトワーク内の各プロセツサの過去の履歴状態を走査
    し、大部分のプロセツサがマシンサイクルにおいてnij
    の最大遅延時間よりも常に大きなＰのマシンサイクルの
    間不変の状態（０あるいは１）を続ける時点を検出する
    ことを特徴とする請求項５記載のプロセツサネツトワー
    ク。
  7. 【請求項７】前記プロセツサネツトワークは、 （7a）前記プロセツサ・コントローラ手段から前記継続
    する不変のネツトワーク状態を示す情報データを受け取
    り、前記データを表示手段に伝達するI/Oコントローラ
    と、 （7b）前記I/Oコントローラから情報データを受け取つ
    て、オペレータに表示する表示手段とを更に備えること
    を特徴とする請求項６記載のプロセツサネツトワーク。
  8. 【請求項８】前記プロセツサ・コントローラ手段の制御
    の下で、前記ネツトワーク履歴メモリ手段からのデータ
    を前記Ｎ個の複数プロセツサの各１つに転送するマルチ
    プレクサ手段を更に備えることを特徴とする請求項６記
    載のプロセツサネツトワーク。
  9. 【請求項９】ニユーロンネツトワークをシミユレートし
    て、最適化問題の解決を発展させたプロセツサネツトワ
    ークであつて、 （9a）複数のシステム節点であつて、各システム節点
    が、 （9a1）決定アルゴリズムを実行して、スカラーコスト
    関数の独立変数パラメータの最適値を見つけるマイクロ
    プロセツサと、 （9a2）決定アルゴリズムメモリ手段であつて、前記マ
    イクロプロセツサが節点重み遅延メモリ手段と遅延スケ
    ジュールメモリ手段とネツトワーク履歴メモリとから受
    け取つたデータで、ステータス状態を“1"（＝on）ある
    いは“off"（＝０）にセツトすることを可能とする決定
    アルゴリズムであつて、各前記マイクロプロセツサとそ
    れぞれの前記マイクロプロセツサとの間の重み付け信号
    と、各前記マイクロプロセツサとそれぞれの前記マイク
    ロプロセツサとの間の予め設定された固定遅延期間セツ
    トとの合計の関数として、各マイクロプロセツサの状態
    を表現する決定アルゴリズムを格納する決定アルゴリズ
    ムメモリ手段と、 （9a3）前記決定アルゴリズムに適用される結合重み付
    け信号とマシンサイクルでの遅延期間とを格納する節点
    重み遅延メモリ手段と、 （9a4）前記マイクロプロセツサが前記決定アルゴリズ
    ムを実行して状態を“on"あるいは“off"に確定するす
    る時について、各前記マイクロプロセツサを管理するた
    め、ランダム遅延期間を格納する遅延スケジュールメモ
    リ手段と、 （9a5）一時的に前記マイクロプロセツサの以前のマシ
    ンサイクルにおける過去の状態（“0"＝offと“1"＝o
    n）の履歴を格納し、前記状態を前記ネツトワーク履歴
    メモリに転送する一時メモリラツチとを備える複数のシ
    ステム節点と、 （9b）“P"マシンサイクルの各々で、各前記マイクロプ
    ロセツサの過去の状態を受け取つて格納するネツトワー
    ク履歴メモリと、 （9c）前記マイクロプロセツサの各１つと前記ネツトワ
    ーク履歴メモリとに接続し、各前記マイクロプロセツサ
    を制御及び監視し、表示手段に出力パラメータを提供し
    て最適解のパラメータを表示するプロセツサ・コントロ
    ーラ手段と、 （9d）各前記マイクロプロセツサと各それぞれ他のマイ
    クロプロセツサとを相互接続し、送信側のマイクロプロ
    セツサｉから受信側のマイクロプロセツサｊに状態信号
    （０あるいは１）を転送する前のマシンサイクル数によ
    る固定遅延時間nijを持ち、抑制あるいは興奮の性質を
    有する前記重み付け信号を提供するマルチ相互接続手段
    とを備えることを特徴とするプロセツサネツトワーク。
  10. 【請求項１０】複雑に結合された問題に対し最適化した
    結果のデータを引き出すプロセツサネツトワークであつ
    て、 （10a）複数のプロセツサであつて、各プロセツサが他
    のプロセツサと並列に処理が可能で、各プロセツサが各
    マシンサイクル中に“on"（＝１）あるいは“off"（＝
    ０）を持つ複数のプロセツサと、 （10b）前記複数のプロセツサの各１つと他の１つを接
    続する相互接続手段と、 （10c）前記相互接続手段の各１つに作用し、前記プロ
    セツサのどれか１つの出力状態を他の相互接続されたプ
    ロセツサの入力に伝達するのに必要な時間を、マシンサ
    イクルによつて遅延する固定遅延手段と、 （10d）履歴メモリあるいは各前記プロセツサと接続さ
    れ、ネツトワークの最小で安定したエネルギー状態を探
    索しながらグローバルネツトワークを評価するために、
    選ばれた現在と過去のプロセツサの状態情報を検出する
    プロセツサ・コントロール手段と、 （10e）各前記プロセツサと前記プロセツサ・コントロ
    ーラとに接続され、“P"過去のマシンサイクルまでの過
    去のマシンサイクルのそれぞれ１つの間の、各プロセツ
    サの状態（０あるいは１）を格納する前記ネツトワーク
    履歴メモリとを備えることを特徴とするプロセツサネツ
    トワーク。
  11. 【請求項１１】前記プロセツサ・コントロール手段は、 （11a）前記プロセツサの大部分が、前記固定遅延手段
    にプログラムされている最大のマシンサイクル数より常
    に大きな数である“P"マシンサイクルを越えて変化しな
    いステータス状態に安定する時を、検出する手段と、 （11b）人の観察のために表示手段に情報を転送する手
    段とを備えることを特徴とする請求項10記載のプロセツ
    サネツトワーク。
  12. 【請求項１２】プロセツサネツトワークのグローバル・
    エネルギー状態を最良の最小値に最適化する方法であつ
    て、 （12a）Ｎ個の複数プロセツサを、１（＝on）あるいは
    ０（＝off）の出力状態を待つ各プロセツサが他の各プ
    ロセツサに相互接続し、各プロセツサへのマルチ入力を
    提供するように、相互接続する工程と、 （12b）各相互接続で送信側プロセツサｉが受信側プロ
    セツサに重み付けした入力を伝達するように、重み付け
    信号（wij）を生成する抑制値あるいは興奮値回路を設
    置する工程と、 （12c）プロセツサｉからプロセツサｊへのwijの抑制
    （−）あるいは興奮（＋）の効果を遅延するために、各
    相互接続に対し選択された固定遅延時期（nij）をもた
    らす工程と、 （12d）“P"マシンサイクルの期間に亙り、前記Ｎ個の
    複数プロセツサの各々の“on"（１）あるいは“off"
    （０）状態を履歴メモリに記録する工程と、 （12e）各プロセツサの状態（on/off）を決定する決定
    アルゴリズムを実行する工程と、 （12f）プログラムされスケジュールされたランダム遅
    延手段により前記決定アルゴリズムの実行を遅延させる
    工程と、 （12g）プロセツサの大部分が安定した最小のエネルギ
    ー状態を表わす安定した変化のない状態に到達した時を
    検出するため、前記履歴メモリと各前記Ｎ個の複数プロ
    セツサとを監視する工程とを備えることを特徴とする方
    法。
  13. 【請求項１３】プロセツサとプログラムされた節点重み
    遅延ユニツトと遅延スケジュールユニツトと決定アルゴ
    リズムユニツトとを含み、相互共働して全プロセツサの
    状態を不変の状態に確定するよう機能する節点プロセツ
    サネツトワークであつて、 （13a）各プロセツサがマルチ入力を受け、各マシンサ
    イクル中に各プロセツサの“on"（＝１）あるいは“of
    f"（＝０）のステータス状態を確定するような決定アル
    ゴリズムユニツトと、 （13b）Ｐマシンサイクルにわたる各マシンサイクルの
    間の、各プロセツサのステータス状態（onあるいはof
    f）を格納するネツトワーク履歴メモリ手段と、 （13c）ネツトワーク内の互いの入力として、現在ある
    いは過去のマシンサイクルから選択的に各プロセツサの
    ステータス状態を接続する相互接続手段と、 （13d）送信側プロセツサｉから受信側プロセツサｊに
    伝達されるステータス状態に、重み付け信号と時間遅延
    とを供給するように機能する前記プログラムされた節点
    重み遅延手段と、 （13e）前記決定アルゴリズムが関連するプロセツサに
    “on"あるいは“off"をセツトする機能を実行する前
    に、プログラムされた遅延期間を提供するよう機能する
    遅延スケジュールユニツトと、 （13f）前記節点プロセツサネツトワークの処理を起動
    して制御し、前記ネツトワーク内の前記プロセツサがＰ
    マシンサイクルの間変化のないステータス状態に留まつ
    た時に、出力表示を提供する手段とを備えることを特徴
    とする節点プロセツサネツトワーク。
JP63507795A 1987-06-15 1988-05-31 最適化問題解決のためのニユーロコンピユータ・システム Expired - Fee Related JPH0738185B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US07/061,744 US4858147A (en) 1987-06-15 1987-06-15 Special purpose neurocomputer system for solving optimization problems
US061,744 1987-06-15
PCT/US1988/001786 WO1988010463A2 (en) 1987-06-15 1988-05-31 Neurocomputer system for solving optimization problems

Publications (2)

Publication Number Publication Date
JPH01502787A JPH01502787A (ja) 1989-09-21
JPH0738185B2 true JPH0738185B2 (ja) 1995-04-26

Family

ID=22037850

Family Applications (1)

Application Number Title Priority Date Filing Date
JP63507795A Expired - Fee Related JPH0738185B2 (ja) 1987-06-15 1988-05-31 最適化問題解決のためのニユーロコンピユータ・システム

Country Status (6)

Country Link
US (1) US4858147A (ja)
EP (1) EP0318582B1 (ja)
JP (1) JPH0738185B2 (ja)
AT (1) ATE130113T1 (ja)
DE (1) DE3854663T2 (ja)
WO (1) WO1988010463A2 (ja)

Families Citing this family (97)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0634236B2 (ja) * 1985-11-02 1994-05-02 日本放送協会 階層型情報処理方法
US4967369A (en) * 1988-06-07 1990-10-30 Jourjine Alexander N Variable capacity transmission medium
US5088058A (en) * 1988-08-26 1992-02-11 Unisys Corporation Apparatus and method for evaluating and predicting computer I/O performance using I/O workload snapshots for model input
FI894021A7 (fi) * 1988-08-31 1990-03-01 Fujitsu Ltd Neuronstruktur.
EP0362840B1 (en) * 1988-10-06 1995-05-10 Kabushiki Kaisha Toshiba Neural network system
US5093781A (en) * 1988-10-07 1992-03-03 Hughes Aircraft Company Cellular network assignment processor using minimum/maximum convergence technique
US5001631A (en) * 1988-10-07 1991-03-19 Hughes Aircraft Company Cellular network assignment processor using randomly triggered adaptive cell thresholds
US5095443A (en) * 1988-10-07 1992-03-10 Ricoh Company, Ltd. Plural neural network system having a successive approximation learning method
US4918617A (en) * 1988-11-10 1990-04-17 Oregon Graduate Center Neural-model computational system with multi-directionally overlapping broadcast regions
DE68927474T2 (de) * 1988-12-29 1997-05-22 Sharp Kk Neuro-Rechner
US4972363A (en) * 1989-02-01 1990-11-20 The Boeing Company Neural network using stochastic processing
US5089984A (en) * 1989-05-15 1992-02-18 Allen-Bradley Company, Inc. Adaptive alarm controller changes multiple inputs to industrial controller in order for state word to conform with stored state word
US5204938A (en) * 1989-05-30 1993-04-20 Loral Aerospace Corp. Method of implementing a neural network on a digital computer
US5715398A (en) * 1989-06-16 1998-02-03 R.R. Donnelley & Sons Company System for distributing items from an origin to a plurality of destinations
US5274745A (en) * 1989-07-28 1993-12-28 Kabushiki Kaisha Toshiba Method of processing information in artificial neural networks
US5276770A (en) * 1989-08-11 1994-01-04 Hughes Aircraft Company Training of neural network for multi-source data fusion
US5050096A (en) * 1989-09-26 1991-09-17 Northrop Corporation Path cost computing neural network
JP2656637B2 (ja) * 1989-11-22 1997-09-24 株式会社日立製作所 プロセス制御システム及び発電プラントプロセス制御システム
JPH03167655A (ja) * 1989-11-28 1991-07-19 Toshiba Corp ニューラルネットワーク
JPH03185554A (ja) * 1989-12-15 1991-08-13 Toshiba Corp 神経回路網処理方式
US5167006A (en) * 1989-12-29 1992-11-24 Ricoh Company, Ltd. Neuron unit, neural network and signal processing method
US5111531A (en) * 1990-01-08 1992-05-05 Automation Technology, Inc. Process control using neural network
US5119323A (en) * 1990-01-16 1992-06-02 United Technologies Corporation Numerical processing of optical wavefront data
DE69030078T2 (de) * 1990-02-22 1997-08-07 At & T Corp Fertigungsjustierung während Produktherstellung
WO1991018351A1 (en) * 1990-05-22 1991-11-28 International Business Machines Corporation Pyramid learning architecture neurocomputer
JPH05501460A (ja) * 1990-05-30 1993-03-18 アダプティブ・ソリューションズ・インコーポレーテッド 分散ディジタル最大化機能アーキテクチャおよびその方法
JP2540654B2 (ja) * 1990-06-28 1996-10-09 シャープ株式会社 ニュ―ラルネットワ―クの学習装置
JPH04211802A (ja) * 1990-07-25 1992-08-03 Toshiba Corp ニュ−ラルネットワ−ク装置
US5167009A (en) * 1990-08-03 1992-11-24 E. I. Du Pont De Nemours & Co. (Inc.) On-line process control neural network using data pointers
US5224203A (en) * 1990-08-03 1993-06-29 E. I. Du Pont De Nemours & Co., Inc. On-line process control neural network using data pointers
JP3049106B2 (ja) * 1990-11-01 2000-06-05 花王株式会社 層状態の検出方法
JPH04233063A (ja) * 1990-12-28 1992-08-21 Matsushita Electric Ind Co Ltd ニューロプロセッサ
US5285395A (en) * 1991-01-14 1994-02-08 Kabushiki Kaisha Toshiba Distribution generation system, and optimization system that adopts distribution generation system
EP0496570B1 (en) * 1991-01-22 1998-06-03 Honeywell Inc. Two-level system identifier apparatus with optimization
US5259064A (en) * 1991-01-25 1993-11-02 Ricoh Company, Ltd. Signal processing apparatus having at least one neural network having pulse density signals as inputs and outputs
US5293455A (en) * 1991-02-13 1994-03-08 Hughes Aircraft Company Spatial-temporal-structure processor for multi-sensor, multi scan data fusion
US5396896A (en) * 1991-05-15 1995-03-14 Chrono Dynamics, Ltd. Medical pumping apparatus
JPH04342059A (ja) * 1991-05-18 1992-11-27 Fujitsu Ltd 組み合わせ最適化装置
DE69223447T2 (de) * 1991-05-24 1998-06-04 Koninkl Philips Electronics Nv Lernverfahren für neuronales Netzwerk und Klassifizieranlage zum Anwenden dieses Verfahrens
US5408588A (en) * 1991-06-06 1995-04-18 Ulug; Mehmet E. Artificial neural network method and architecture
US5467428A (en) * 1991-06-06 1995-11-14 Ulug; Mehmet E. Artificial neural network method and architecture adaptive signal filtering
US5263121A (en) * 1991-09-12 1993-11-16 Tellabs, Inc. Neural network solution for interconnection apparatus
JPH05127706A (ja) * 1991-10-31 1993-05-25 Toshiba Corp ニユーラルネツト型シミユレータ
US5253329A (en) * 1991-12-26 1993-10-12 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Neural network for processing both spatial and temporal data with time based back-propagation
FR2687814A1 (fr) * 1992-02-26 1993-08-27 Philips Electronique Lab Processeur neuronal a cellules synaptiques reparties.
US5632006A (en) * 1992-03-02 1997-05-20 Motorola, Inc. Circuit and method of error correcting with an artificial neural network
WO1993022725A1 (en) * 1992-04-28 1993-11-11 THE UNITED STATES GOVERNMENT as represented by THESECRETARY OF COMMERCE Synthetic perturbation tuning of computer programs
US5517654A (en) * 1992-05-26 1996-05-14 Fmc Corp. System for parallel implementation of combinatorial optimization in a multiprocessor network for generating search graphs for solving enumerative problems
US5353207A (en) * 1992-06-10 1994-10-04 Pavilion Technologies, Inc. Residual activation neural network
US5477444A (en) * 1992-09-14 1995-12-19 Bhat; Naveen V. Control system using an adaptive neural network for target and path optimization for a multivariable, nonlinear process
AU6358394A (en) * 1993-03-02 1994-09-26 Pavilion Technologies, Inc. Method and apparatus for analyzing a neural network within desired operating parameter constraints
US5548773A (en) * 1993-03-30 1996-08-20 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Digital parallel processor array for optimum path planning
CA2118885C (en) * 1993-04-29 2005-05-24 Conrad K. Teran Process control system
US5443440A (en) * 1993-06-11 1995-08-22 Ndm Acquisition Corp. Medical pumping apparatus
US5769801A (en) * 1993-06-11 1998-06-23 Ndm Acquisition Corp. Medical pumping apparatus
US5487133A (en) * 1993-07-01 1996-01-23 Intel Corporation Distance calculating neural network classifier chip and system
US5848402A (en) * 1994-07-07 1998-12-08 Ai Ware, Inc. Universal system for artificial intelligence based learning, categorization, and optimization
US5761442A (en) * 1994-08-31 1998-06-02 Advanced Investment Technology, Inc. Predictive neural network means and method for selecting a portfolio of securities wherein each network has been trained using data relating to a corresponding security
US5840049A (en) * 1995-09-07 1998-11-24 Kinetic Concepts, Inc. Medical pumping apparatus
US6493596B1 (en) 1996-05-06 2002-12-10 Pavilion Technologies, Inc. Method and apparatus for controlling a non-linear mill
US7058617B1 (en) * 1996-05-06 2006-06-06 Pavilion Technologies, Inc. Method and apparatus for training a system model with gain constraints
US5933345A (en) 1996-05-06 1999-08-03 Pavilion Technologies, Inc. Method and apparatus for dynamic and steady state modeling over a desired path between two end points
US7610108B2 (en) * 1996-05-06 2009-10-27 Rockwell Automation Technologies, Inc. Method and apparatus for attenuating error in dynamic and steady-state processes for prediction, control, and optimization
US8311673B2 (en) * 1996-05-06 2012-11-13 Rockwell Automation Technologies, Inc. Method and apparatus for minimizing error in dynamic and steady-state processes for prediction, control, and optimization
US7418301B2 (en) * 1996-05-06 2008-08-26 Pavilion Technologies, Inc. Method and apparatus for approximating gains in dynamic and steady-state processes for prediction, control, and optimization
US7149590B2 (en) 1996-05-06 2006-12-12 Pavilion Technologies, Inc. Kiln control and upset recovery using a model predictive control in series with forward chaining
US6438430B1 (en) * 1996-05-06 2002-08-20 Pavilion Technologies, Inc. Kiln thermal and combustion control
DE69719269T2 (de) * 1996-08-01 2003-10-30 International Business Machines Corp., Armonk Absicherung der Unteilbarkeit für eine Ansammlung von transaktionellen Arbeitsschritten in einem Arbeitsflussverwaltungssystem
US6387065B1 (en) 1996-09-30 2002-05-14 Kinetic Concepts, Inc. Remote controllable medical pumping apparatus
US6324532B1 (en) * 1997-02-07 2001-11-27 Sarnoff Corporation Method and apparatus for training a neural network to detect objects in an image
US6023680A (en) * 1997-05-15 2000-02-08 Panasonic Technologies, Inc. Methods, apparatus and computer program products for automated visual inspection
KR100269174B1 (ko) * 1997-09-19 2000-11-01 윤종용 인다이렉트 로테이터 그래프 네트워크
JPH11338844A (ja) * 1998-05-22 1999-12-10 Nec Corp 発火数制御型神経回路装置
US6578020B1 (en) * 1999-12-07 2003-06-10 International Business Machines Corporation Method and system for converting code to executable code using neural networks implemented in a very large scale integration (VLSI) integrated circuit
US7398256B2 (en) * 2001-02-23 2008-07-08 The Trustees Of The University Of Pennsylvania Dynamical brain model for use in data processing applications
ATE413744T1 (de) * 2001-03-30 2008-11-15 Nokia Corp Methode zur konfiguration eines netwerkes durch definieren von clustern
US20030014225A1 (en) * 2001-07-13 2003-01-16 De Vicente Juan Francisco Thermodynamic simulated annealing schedule for combinatorial optimization problems
US6915172B2 (en) 2001-11-21 2005-07-05 General Electric Method, system and storage medium for enhancing process control
US7444310B2 (en) * 2002-04-19 2008-10-28 Computer Associates Think, Inc. Automatic model maintenance through local nets
US7483868B2 (en) * 2002-04-19 2009-01-27 Computer Associates Think, Inc. Automatic neural-net model generation and maintenance
US7777743B2 (en) * 2002-04-19 2010-08-17 Computer Associates Think, Inc. Viewing multi-dimensional data through hierarchical visualization
JP2006511850A (ja) * 2002-04-19 2006-04-06 コンピュータ アソシエイツ シンク，インコーポレイテッド データマイニングのためのニューラルネットワークの使用
US7313279B2 (en) * 2003-07-08 2007-12-25 Computer Associates Think, Inc. Hierarchical determination of feature relevancy
US7092922B2 (en) * 2003-05-23 2006-08-15 Computer Associates Think, Inc. Adaptive learning enhancement to automated model maintenance
TWI231481B (en) * 2004-03-11 2005-04-21 Quanta Comp Inc Electronic apparatus
US8768664B2 (en) * 2005-03-18 2014-07-01 CMC Solutions, LLC. Predictive emissions monitoring using a statistical hybrid model
US7421348B2 (en) * 2005-03-18 2008-09-02 Swanson Brian G Predictive emissions monitoring method
US7333968B2 (en) * 2005-08-17 2008-02-19 International Business Machines Corporation Conditional CSP solving using constraint propagation
US7496414B2 (en) * 2006-09-13 2009-02-24 Rockwell Automation Technologies, Inc. Dynamic controller utilizing a hybrid model
US8645286B2 (en) * 2010-02-23 2014-02-04 Prior Knowledge, Inc. Configurable circuitry for solving stochastic problems
US8606386B2 (en) * 2010-03-12 2013-12-10 Ana Maria Dias Medureira Pereira Multi-agent system for distributed manufacturing scheduling with Genetic Algorithms and Tabu Search
US20120330880A1 (en) * 2011-06-23 2012-12-27 Microsoft Corporation Synthetic data generation
US9519307B2 (en) * 2013-06-20 2016-12-13 Globalfoundries Inc. Detecting full-system idle state in adaptive-tick kernels
US10250246B2 (en) * 2016-03-17 2019-04-02 Syntron Systems Inc. Programmable neuromorphic device
US11227065B2 (en) 2018-11-06 2022-01-18 Microsoft Technology Licensing, Llc Static data masking
TWI734059B (zh) 2018-12-10 2021-07-21 財團法人工業技術研究院 動態預測模型建立方法、電子裝置及使用者介面
JP7248907B2 (ja) * 2019-08-14 2023-03-30 富士通株式会社 最適化装置および最適化装置の制御方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL269964A (ja) * 1961-08-22
GB1099574A (en) * 1964-08-21 1968-01-17 Standard Telephones Cables Ltd Adaptive element
GB1142835A (en) * 1966-10-31 1969-02-12 Standard Telephones Cables Ltd Route selection network using adaptive elements
US3701974A (en) * 1971-05-20 1972-10-31 Signetics Corp Learning circuit
US3950733A (en) * 1974-06-06 1976-04-13 Nestor Associates Information processing system
US4193115A (en) * 1977-12-15 1980-03-11 The United States Of America As Represented By The Secretary Of Commerce Method and apparatus for implementation of the CMAC mapping algorithm
US4641238A (en) * 1984-12-10 1987-02-03 Itt Corporation Multiprocessor system employing dynamically programmable processing elements controlled by a master processor
US4660166A (en) * 1985-01-22 1987-04-21 Bell Telephone Laboratories, Incorporated Electronic network for collective decision based on large number of connections between signals
US4731747A (en) * 1986-04-14 1988-03-15 American Telephone And Telegraph Company, At&T Bell Laboratories Highly parallel computation network with normalized speed of response

Also Published As

Publication number Publication date
DE3854663T2 (de) 1996-07-18
WO1988010463A2 (en) 1988-12-29
EP0318582B1 (en) 1995-11-08
WO1988010463A3 (en) 1989-02-23
ATE130113T1 (de) 1995-11-15
US4858147A (en) 1989-08-15
DE3854663D1 (de) 1995-12-14
JPH01502787A (ja) 1989-09-21
EP0318582A1 (en) 1989-06-07

Similar Documents

Publication Publication Date Title
JPH0738185B2 (ja) 最適化問題解決のためのニユーロコンピユータ・システム
US10885424B2 (en) Structural plasticity in spiking neural networks with symmetric dual of an electronic neuron
Clark Insight and analysis problem solving in microbes to machines
US8515885B2 (en) Neuromorphic and synaptronic spiking neural network with synaptic weights learned using simulation
Hinton et al. Boltzmann machines: Constraint satisfaction networks that learn
Astle et al. Toward computational neuroconstructivism: a framework for developmental systems neuroscience
Rolls Advantages of dilution in the connectivity of attractor networks in the brain
Perwej et al. Forecasting of Indian Rupee (INR)/US Dollar (USD) currency exchange rate using artificial neural network
Połap et al. A heuristic approach to the hyperparameters in training spiking neural networks using spike-timing-dependent plasticity
Fogel et al. Evolutionary programming for training neural networks
Turunen et al. Soft computing methods
AU603714B2 (en) Neurocomputer system for solving optimization problems
Marks et al. Genetic algorithms and neural networks: a comparison based on the repeated prisoners dilemma
Scorcioni GPGPU implementation of a synaptically optimized, anatomically accurate spiking network simulator
Tonelli et al. Using a map-based encoding to evolve plastic neural networks
Olsen Neuroevolution of artificial general intelligence
Tutum et al. Adapting to unseen environments through explicit representation of context
Dandurand et al. Complex problem solving with reinforcement learning
Naveenraj et al. Spiking Neural Network-Based Digit Pattern Recognition in FPGA
Pei Phase Alignment Enhances Oscillatory Power in Neural Mass Models Optimized for Class Encoding
Caprioti et al. Learning About Learning: A Physics Path from Spin Glasses to Artificial Intelligence
Suraweera et al. Adaptive Structural Optimisation of Neural Networks
Gosti et al. Evidence of scaling regimes in the hopfield dynamics of whole brain model
王喆 A Dendritic Neuron Model with Adaptive Synapses Trained by Differential Evolution Algorithm
Adams et al. Evolving high capacity associative memories with efficient wiring

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees