JPH04505678A - 情報記憶マトリックスを特徴とした並列分散処理ネットワーク - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるため要約のデータは記録されません。

Description

【発明の詳細な説明】 情報記憶マトリックスを特徴とした 並列分散処理ネットワーク 発明の分野 本発明は、接続の重みが次の行列式を満足する［ＮＸＮ］情報記憶マトリックス ［Ａ］によって定義されることを特徴とした並列分散処理ネットワークに関する 。

［Ａ］　［ＴＩ　＝　［ＴＩ　［Δ］　（１）ただし、［Δ］はその要素がマト リックス［Ａ］の固有値になっている［Ｎ　Ｘ　Ｎ］対角行列であり、［ＴＩは その列がある所定数Ｍの目標ベクトル（ただし、Ｍ＜＝Ｎ）から形成され、残り の列がある所定数Ｑのスラック・ベクトル（ただし、Ｑ＝Ｎ−Ｍ）から形成され た［ＮＸＮ］類似変形行列であり、その両方が一緒になって、［Ａ］の固有値を 構成している。

発明の背景 並列分散処理ネットワーク（広く「ヌーロン・ネットワーク」とも呼ばれている ）は、複雑な問題を広範囲にわたってアナログ方式で解決するのに有用であるこ とは知られている。これらのネットワークは、複数の線形増幅器と非線形増幅器 を備えた一種の高度並列計算回路であり、各増幅器の出力を一部またはすべての 増幅器の入力に接続するネットワークにおいて入出力関係を定義した伝達関数を もっている。この種のネットワークはハードウェア（ディスクリート部品または 集積回路の形体で）に実装されているか、あるいは従来のフォンノイマン型ディ ジタル・コンビ二一夕を使用したシミュレーシゴンによって実現されている。

ある種の問題の場合には、この種のネットワークが従来のフォンノイマン型ディ ジタル・コンビ二一夕よりも適している考えられている。並列分散処理ネットワ ークが使用されている種類の問題の例として、連想メモリ、分類アプリケーショ ン、特徴抽出、パターン認識、論理回路実現などがある。これらのアプリケーシ ョンは、プロセス制御、信号やデータ処理を目的としたシステムによく見られる ものである。例えば、本出願の発明者が１９８９年２月２８日（ＥＤ−０３７３ ）に出願した係属中の米国特許出願（第０７／３１６，７１７号、本出願にかか る発明の被譲渡人に譲渡済）は、学習並列分散処理ネットワークを使用してプロ セスを制御する装置と方法を開示している。

上に挙げた分野における問題を解決するために従来から使用されている並列分散 処理ネットワークの例としては、多種類のものが知られている。よく使用されて いる並列分散処理ネットワーク設計思想としては、ホップフィールド（Ｈｏｐｆ ｉｅｌｄ）アルゴリズム（Ｊ、Ｊ、Ｈｏｐｆｉｅｌｄ、「応答がグレード化され たヌーロンは２状態ヌーロンのそれと似た集合計算特性をもっているＪ　Ｐｒｏ ｃｅｅｃｌｉｎｇＮａｔｉｏｎａｌ　Ａｃａｄｅｍｙ　ｏｆＳｃｉｅｎｃｅ、Ｕ ＳＡ　Ｖｏｌ、８１．ｐａｇｅｓ３０８８−３０９２．Ｍａｙ　１９８４゜Ｂｉ ｏｐｈｙｓｉｃｓ）と背面伝播アルゴリズム（例えば、Ｒｕｍｅｌｈａｒｔ、Ｈ ｉｎｔｏｎ、ａｎｄＷｉｌｌｉａｍｓ著「誤差伝播による内部表現の学習Ｊ、Ｐ ａｒａｌｌｅｌ　ＤｉｓｔｒｉｂｕｔｅｄＰｒｏｃｅｓｓｉｎｇ　Ｅｘｐｌｏｒ ａｔｉｏｎｓｉｎ　ｔｈｅ　Ｍｉｃｒｏｓｔｒｕｃｔｕｒｅ　ｏｆＣｏｇｎｉｔ ｉｏｎ　Ｖｏｌｕｍｅ　Ｉ。

Ｆｏｕｎｄａｔｉｏｎｓ、Ｒｕｍｅｌｈａｒｔａｎｄ　ＭｃＣｌｅｌｌａｎｄ　 ｅｄｉｔｏｒｓ。

ＭＩＴ　Ｐｒｅｓｓ、Ｃａｍｂｒｉｄｇｅ。

Ｍａｓｓａｃｈｕｓｅｔｔｓ　（１９８６））によって説明されている２つがあ る。

並列分散処理ネットワークを、区域（ｂａｓｉｎ）で囲まれた１つまたは２つ以 上の局所化エネルギ最小点または平衡点からなるトポロジ形状のＮ次元ベクトル 空間で表して概念化し、未知の入力が与えられたとき、ネットワーク動作がエネ ルギ最小点または平衡点に集中するようにすると、好都合であることは知られて いる。さらに、行列数学は他の分野におけるｎ次元ベクトルの特性を正確に予測 することがすでに実証されているので、この種の並列分散処理ネットワークを特 徴づけたり、従来の行列手法を用いてその挙動を分析したりすると、好都合であ ることも知られている。

ホップフィールドと背面伝播ネットワークはどちらも、以下に説明する原理を共 用するアルゴリズムを使用する設計になっている。（１）必要とする出力量（所 望出力ベクトル、または目標ベクトルとも呼ばれる）に基づいて、ネットワーク 動作は、ある（または任意の）入力コード（入力ベクトル）が与えられたとき、 ネットワークから目標ベクトルの１つを出力するようになっている。（２）ネッ トワークは線形的な演算子（Ａ）（これは一定の係数からなる行列である）とＶ （、）で表された非線形的なしきい値設定装置によって特徴づけることができる ０行列（Ａ）の係数は、ネットワーク内の増幅器間の接続重みを決定し、ν（、 ）は各増幅器の入力側と出力側のシナプス作用を表している。　この種の並列分 散処理ネットワークを設計する際の基本的な問題は、ある（または任意の）入力 ベクトルＸ　Ｉｎが与えられたとき、［Ａ］とＶ（、）からある所望の出力Ｘ０ が得られるような線形的演算子（Ａ）を見つけることである。すなわち、 ［Ａ］　Ｘ、、ｌ−＞Ｘ、　（２） 上式において、ν（、）による演算は暗黙に想定されている。

ホップフィールドと背面伝播モデルは、い（つかの異なる手法を用いて行列演算 子［Ａ］をめている。

ホップフィールド・アルゴリズムでは、演算子［Ａ１は、基本的に、所望出力ベ クトルまたは目標ベクトルに対して外積の演算によって得られた行列の和をとる ことによって得られる。つまり、Ｘｏｌ、Ｘ、、２１．、、Ｘｏｎが所望目標ベ クトルならば、次のようになる。

Ａ＝Ｘ−１Ｘ”−＋　Ｘ−＊Ｘｔａｔ　＋、　、　、　＋Ｘ、ｒｌＸｔ−７ただ し、Ｘ　ｔ６１はＸ　０１の配置行列であり、Ｘ　ａｌＸ　”６１は１＝１１− ０．＋　ｎのときの外積を表している。この場合、演算子［Ａ］は対角線上にゼ ロを置くことによって変更される。このような行列演算子［Ａ］が作られると、 入力ベクトルＸ−のとき、繰返しプロシージャを用いて、所望出力を得ることが できる。すなわち、 ［Ａ］ＸＩＩ、＝ｘ１ ［Ａ］　Ｘ、＝Ｘ！　（４） 上式の場合も、ν（、）による演算は暗黙に想定されている。

残念ながら、このアルゴリズムは、所望目標ベクトルでない結果に収束する可能 性があり、これはこのアルゴリズムがそのように作られているためである。さら に、このアルゴリズムのもう１つの制約は、ネットワークが与えられた入力の連 想メモリとして挙動するとき、ネットワークが安定状態に収束するのは、その入 力が安定状態に近接（ハミング距離が）しているときだけである。これは、ホッ プフィールド・ネットワークの重大な制約の１つである。さらに、結果が収束す る速度とその方法に対する制御が非常に劣っている。これは、行列の中の係数（ 並列分散処理ネットワーク内の増幅器間の接続重み）が、出力ベクトルと外積演 算によって「固定的に」判断されるためである。つまり、［Ａ］を柔軟に再構築 できないためである。特に（外積演算を行うと、［Ａ］が常に左右対称になるこ とである。

米国特許第４．６６０，１６６号 （Ｈｏｐｆｉｅｌｄ）に開示されている連想メモリ・ネットワークは、相互接続 方式を採用して、各増幅器出力を、その増幅器を除く他のすべての増幅器の入力 に接続している。上記特許に開示されているホップフィールドのネットワークで は、接続重みを特徴づける接続行列は左右対称であることが必要であり、対角線 上の要素をゼロに等しくする必要がある。（上に引用したホップフィールド論文 の図２には、ある増幅器が逆流してその入力に接続されているが、これは間違い であると思われる。上記特許の図２は、ホップフィールドの相互接続方式を正し く表していると思われる。） ホップフィールドのネットワークはさまざまなアプリケーションの基礎となって いる０例えば、米国特許第４，７１９，５９１号（ＨｏｐｆｉｅｌｄとＴａｎｋ ）では、信号を成分信号に分解するという問題にネットワークが応用されている 。米国特許第４．７３１，７４７号と第４，７３７，９２９号（共にＤｅｎｋｅ ｒ）は、ホップフィールドのネットワークを改善するために、収束速度を制御す るように増幅器の時定数を調節し、単一出力をもつ負利得増幅器を使用し、少な いリード線でネットワークの構築を可能にするように２つの値だけをもつクリッ プした接続行列を使用している。

米国特許第４，７５２，９０６号 （Ｋｌｅｉｎｆｅｌｄ）は、入力相互接続ネットワーりにフィードバックされる 遅延要素を出力なかで使用することによって、一時的連想を行うことのできない ホップフィールドのネットワークの欠点を解消している。米国特許第４，７５５ ，９６３号（Ｄｅｎｋｅｒ、Ｈｏｗａｒｄ、およびＪａｃｋｅｌ）は、ホップフ ィールドのネットワークで解決可能な問題の範囲をさらに拡張している。

背面伝播ネットワーク・アルゴリズムでは、多層フィードフォワード・ネットワ ークが構築され、このネットワークは性能基準を使用して、Ａを評価している（ Ａの中の係数を調整して出力誤差を最小化している）、この手法からは良好な結 果が得られるが、これは計算集中手法である。このことは、収束学習に時間がか かることを意味する。背面伝播ネットワークでは、記憶すべき情報の学習に非常 に時間を要する。この学習時間を短縮するために、多数の手法が開発されている 。例えば、本願発明者が出願した係属中の米国特許出順環０７／２８５．３４号 （１９８８年１２月１６日出願（ＥＤ−９３６７））では、非線形微分方程式を 用いて、背面伝播ネットワークの学習を行っている。

発明の概要 本発明は、単一の層に接続された複数の増幅器、っまり、ノードからなり、各増 幅器は入力とａカをもっている並列分散処理ネットワークに関する。これらのノ ードの各々の出力は、所定の接続重みをもつそれぞれのラインによって、ネット ワーク内の他のノードの一部または全部の入力（フィードバックされる自身の入 力も含む）に接続されている。接続重みは、「情報記憶マトリックス」と呼ばれ る［Ｎ　Ｘ　Ｎｌマトリックス［Ａ］によって定義される。このマトリックスで は、情報記憶マトリックスＡ、Ｊの要素が５番目の入力ノードと１番目の出力ノ ード間の接続重みになっている。

本発明によれば、情報記憶マトリックス［Ａ］は、次の行列式を満足している。

［Ａ］　［：Ｔ］　＝　［Ｔ］　［Δ］　（１）マトリックス［Ａ］は［ＮＸＮ ］マトリックスであり、これは類似変形マトリックスと呼ばれ、その列は所定数 （Ｍ）の［ＮＸｌ］Ｘｌへクトルに、所定数（Ｑ）の［ＮＸ１］不定または「ス ラック」ベクトルを加えたものから形成されている。各目標ベクトルは並列分散 処理ネットワークの出力の１つを表している０Ｍの値は＜＝ＮおよびＱ＝　（Ｎ −Ｍ）をとることができる。好ましくは、類似変形マトリックスの中のベクトル の各々は、そのマトリックス内の他のすべてのベクトルから線形的に独立してい る。類似変形マトリックス内の各ベクトルは、そのマトリックス内の他のすべて のベクトルに直交している場合と、直交していない場合とがある。

マトリックス［Ｔ］が単数でなく、マトリックス［Ｔ］−’が存在する場合は、 情報記憶マトリックス［Ａ］はマトリックス積と定義される。

［Ａ］　＝　［Ｔ］　［Ａ］　［Ｔ］　−’　（５）マトリックス［Ａ］は［Ｎ ＸＮ］対角行列であり、対角線上の各要素は目標またはスラック・ベクトルの所 定の１つに対応している。［Ａ］マトリックスの対角線上の各要素の相対値は、 並列分散処理ネットワークの出力が対応する目標ベクトルに向かって収束する速 度に対応している。一般的に、目標ベクトルに対応する対角行列の要素の値は、 スラック・ベクトルに対応する対角行列の要素の値よりも大きいことが好ましい 。具体的には、目標ベクトルに対応する対角行列の要素は、１より大きい絶対値 をもつのに対し、スラック・ベクトルに対応する対角行列の要素はｌより小さい 絶対値をもっている。

本発明によるネットワークは、上述した従来ネットワークに対していくつかの利 点をもっている。

情報記憶マトリックス［Ａ］はより一般化されている。つまり、左右対称にする 必要がなく、また近似的に左右対称にする必要もない。また、対角線上の要素を 、ホップフィールド・ネットワークのようにゼロに等しくする必要もない。この ことは、ハードウェアによる実現も、より一般化していることを意味する。情報 記憶マトリックスの認識に基づく挙動は、従来技術よりも理解がしやすくなって いる。ある入力ベクトルがネットワークに与えられ、ネットワークが所望のまた は目標のベクトルでない解に収束したときは、認識に基づく解まで到達しており 、これは、一般的には、目標ベクトルを線形的に組み合わせたものである。

類似変形マトリックスの形成に不定ベクトルを含めると、目標ベクトルの区域を 柔軟性をもって作り上げることができる。このようなスラック・ベクトルはホッ プフィールドのネットワークには存在していない。

情報記憶マトリックスを形成するとき、行列［ΔＪを要因の１つとして含めるこ とは、ホップフィールドのネットワークには見られない特徴である。ある目標の 解に収束する速度は、［Ａ１行列の値を選択することで制御可能である。

以上のほかに、情報記憶マトリックスの構成要素の計算は、背面伝播アルゴリズ ムを用いた接続行列よりも、高速化され、計算効率が向上している。これは、背 面伝播アルゴリズムが概念化されたデルタ・ルールを採用して、接続行列をめて いるためである。しかし、このルールは、情報記憶マトリックスで使用されてい る数値手法よりも、少なくとも数倍も計算集中型である。

図面の簡単な説明 以下、本明細書の一部である添付図面を参照して、本発明について詳しく説明す る。

第１図は、本発明による情報記憶マトリックスの構成要素によって特徴づけられ た接続重みをもつ並列分散処理ネットワークの一部を示した概略概念図である。

第２Ａ図は、ネットワーク内でゼロより大きい値をもつ要素に対応する任意の増 幅器を、フィードバック抵抗とバイアス抵抗と共に示した概略図である。

第２Ｂ図は、ネットワーク内でゼロより小さい値をもつ要素に対応する任意の増 幅器を、フィードバック抵抗とバイアス抵抗と共に示した概略図である。

第３図は、関数ν（、）のシナプス作用を実現した非線形しきい値増幅器を示し た概略図である。

第４図は、例ＩＩで使用されている本発明による並列分散処理ネットワークを示 した概略図である。

本明細書の一部となっている付録には、従来のフォンノイマン型ディジタル・コ ンピュータに本発明による並列分散処理ネットワークを実装するためのプログラ ムをＦｏｒｔｒａｎ言語で書いたコード・リストが記載されている。このコード ・リストは、例ＩＩで使用されているネットワークをコーディングしたものであ る。

発明の詳細な説明 以下の詳細な説明において、図中の類似要素には、類似の参照符号をつけて示し ている。

まず、本発明による並列分散処理ネットワークを、その基礎となる理論と数学的 手法の観点から説明し、次に、並列分散処理ネットワークの各種実施例を示した 図面を参照して、説明する。その後で、本発明による並列分散処理ネットワーク の動作をい（っがの例を示して説明する。

前述したように、並列分散処理ネットワークをＮ次元ベクトル空間の形に概念化 すると、好都合であることは知られている。このような空間は、各々が区域で囲 まれた１つまたは２つ以上の局所的平衡点からなるトポロジ構造になっており、 未知の入力が与えられたときネットワーク動作がその平衡点に集中するようにな っている。入力はディジタル・コードの形でネットワークに与えられるのが通常 である。Ｎ次元空間は、２Ｎ個の入力コードを収容できる。

本発明によるネットワークは、［ＮＸＮ］行列（以下では「情報記憶マトリック ス」と呼ぶ）を使用して、並列分散処理ネットワークを実現する増幅器間に接続 重みを指定するようにしたことを特徴としている。情報記憶マトリックスを使用 するとき、動作が左右対称になっているので、識別できるのは、２Ｎ個の入力コ ードの半分だけである。残りのコード（２Ｎ−１個）は補足的なものである。

一般的に、情報記憶マトリックス［Ａ］は次の行列式を満足する［Ｎ　Ｘ　Ｎ１ 行列になっている。

［Ａ］　［Ｔ］　＝　［Ｔ］　［Δ］　（１）式（１）は、各λ、つまり、［Δ ］行列の各要素が固有値であり、類似変形行列［Ｔ］内の各列ベクトルが関連の 固有ベクトルであるという、固有値の問題を定義している。式（１）は、最大ｎ 個の解のベアをもつことができる。この行列式は、ガウス除去法またはデルタ・ ルールを用いて解をめることができる。

［Ｔ］−’が存在するとき、情報記憶マトリックス［Ａ］は次の行列積によって 形成される。

［Ａ］＝［Ｔ］　［Ｌ］　［Ｔ］−’　（５）行列［Ｔ］は「類似変形行列」と 呼ばれ、所定数（Ｍ）の［ＮＸ１１目標ベクトルから形成される列をもつ［Ｎ　 Ｘ　Ｎ］行列である。各目標ベクトルは、ネットワークを表すＮ次元空間に収容 可能な２Ｎ個のコードの１つの形体になっている。各目標ベクトルは並列分散処 理ネットワークの所望出力、つまり、目標値の１つを表わしている。各目標ベク トルは、何らかの方法でストアしておき、将来のある時期に取り出すことが望ま しい情報を収めており、Ｍ＝Ｎ目標ベクトルの［Ｘ＋　、Ｘｓ　、−、−、ＸＭ 　］の集合が、ネットワークの情報の基礎となっている。好ましくは、集合の中 の各目標ベクトルは、他の目標ベクトルから線形的に独立しているので、Ｎ次元 空間の中のどのベクトルｘｌも、目標ベクトルの集合を線形的に組み合わせたも のとして表わすことができる。この場合には、類似変形行列［Ｔ］の逆数が存在 する。Ｍ個の目標ベクトルの一部または全部は、必要に応じて、相互に直交させ ることも、直交させないこともできる。

目標ベクトルの数Ｍは情報記憶マトリックスの次元数であるＮ以下にすることが できる。目標ベクトルをＮ以下の個数に指定したときは（つまり、Ｍ＜Ｎ）、類 似変形行列（Ｔ）の残りの目標ベクトルは、所定数Ｑの［ＮＸ１］不定ベクトル 、つまり、スラック・ベクトルによって完成される（ただし、Ｑ＝Ｎ−Ｍ）。

スラック・ベクトルは、目標ベクトルを表わすデータ形式を必要としないので、 記憶という観点から見たときは想像上のものである。しかし、多（のアプリケー ションでは、スラック・ベクトルが重要であることが実証されている。スラック ・ベクトルの選択は、スラック・ベクトルがネットワークの可能な限りのコード の１つを表わさないような形で行なわれる。例えば、ある代表的な事例において は、目標ベクトルは、各々がｎビット長（すなわち、２進数の１と−１、つまり 、［１−１１，、、−１−１１］からなる）のディジタル文字列で表現されてい る。同じ２進数からスラック・ベクトルを形成すると、対応するコードは抑止さ れることになる。従って、２Ｎ個の目標ベクトルとも明確に区別される２進数で スラック・ベクトルを形成する必要がある。一般的には、小数点以下の値、ゼロ の値、正または負の整数値をもつ要素の１つ（または２つ以上）で形成すること が可能である。

スラック・ベクトルが重要であるのは、トポロジを輪郭付け、ネットワークに対 応づけてＮ次元空間の区域を形作ることができるからである。

以上を要約すれば、個数Ｍの値に依存して、目標ベクトルは行列［Ａ］の情報記 憶スペクトルの全部または一部を形成することができる。目標ベクトルをＮ個以 下に指定したときは、変形行列の中の残りのベクトルは不定またはスラック・ベ クトルとなる。どの場合においても、類似変形行列［Ｔ］の中のベクトルは、情 報記憶マトリックス［Ａ］を幾何学的スペクトル形状に形成する（つまり、［Ａ ］の固有ベクトルとなる）。

［Ａ３行列は、情報記憶マトリックス［Ａ］のすべての固有値の集合を表わした ［Ｎ　Ｘ　Ｎ］対角行列であり、［Ａ］の代数スペクトルとして知られている。

［Ａ１行列の各要素は、目標またはスラック・ベクトルのそれぞれの１つに対応 している。［Ａ１行列の要素に酎り当てられた値により、ネットワークの収束特 性が決まる。［Ａ１行列の値の選択に自由度があるので、ネットワークの速度を 制御できる。従って、初期設定後に、ネットワークがある決定に到達するまでの 時間あるいはある目標値に収束するまでの時間は、［Ａ１行列の値を適宜に選択 することで制御が可能である。

［Ａ１行列の要素に割り当てられた値は、本発明のネットワークでは影響力をも っている。事前に割り当てられた値がλ１〉１ならば、対応する固有ベクトルＴ 、（所望の出力情報を収めている）により、Ｎ次元情報空間における漸近線が決 まり、所望事象の発生が刺激されることになる。事前に割り当てられた値がλ１ く１ならば、対応する固有ベクトルＴ、により、Ｎ次元情報空間におけろ漸近線 が決まり、事象の発生は抑止されることになる。事前に割り当てられた値がλ１ 〉〉１ならば、ネットワークは対応する目標ベクトルに急速に収束し、背面伝播 ネットワークのフィードフォワード作用に近似することになる。

好ましくは、目標ベクトルに対応する［Ａ１行列の要素に割り当てられた値は、 スラック・ベクトルに対応する［Ａ１行列の要素の値よりも大きくなっている。

具体的には、目標ベクトルに対応する対角行列の要素は、１より大きい絶対値を もち、スラック・ベクトルに対応する対角行列の要素は１より小さい絶対値をも っている。

以上を要約すると、λ、を割り当て、スラツク・ベクトルを選択することにより 、ネットワークの収束速度が向上し、固定平衡点に関連する区域を柔軟性をもっ て形成することができる。

情報記憶マトリックス［Ａ］を評価するには、２つの方法が使用できる。これら の方法としては、ガウス除去手法とデルタ・ルール手法がある。

ガウス除去手法を用いた情報記憶マトリックス［Ａ］の評価について、最初に説 明することにする。

Ｘ　＋　＋　Ｘ　＊　＋　、−Ｉ　Ｘ　Ｍ　＜　Ｚ　ｖ＋□１　＋　−Ｉ　Ｚ　 ｓをＲＮの基底とすると（つまり、Ｘｌは目標ベクトルを表わし、ＺＩはスラッ ク・ベクトルである）。ただし、ＲＮはＮ次元の現実のベクトル空間を表わして いる。

この基底構造を使用すると、類似変形行列［Ｔ］＝ＥＸ１．Ｘｓ９．、、ＸＭ、 Ｚｍ−＋、、、、Ｚｓ］となる。これに対角行列を関連づけると、次のようにな る。

この対角行列は、基底の中の各要素に対して事前定義した固有値を含んでいる。

次に、次のように行列式を作り、 ［Ａ］　［Ｔ］　＝　［Ｔ］　［Δ］　（１）ガウス除去法を用いて［Ａ］の解 をめる。これは問題を解決するのに非常に便利である。

［Ｔ］　ｔ　［Ａ］　’＝　［Δ］［Ｔ］”　（６）式（１）を上記のように転 置すると、行列係数が［Ａ］の係数に対して自然の形になるからである。式（１ ）または式（６）からは、Ｎ２線形結合式が得られ、これによって［Ａ］のＮ２ 係数がめられる。

もう１つの方法はデルタ・ルール法である。次は、線形方程式の集合である。

Ａ　Ｘ　ｌ＝見ＩＸＩ ＡＸＭ＝λ、Ｘ、　（７） ＡＺｗ＋ｒ＝λいや、λ、Ｚう。１ ＡＺイ＝λＮＺ？１ 上式において、λ１は事前定義の固有値である。

いま、線形方程式［７］に繰り返してデルタ・ルールを適用すると、［Ａ］を評 価することができる。

デルタ・ルールは、Ｗ、Ｐ、ＪｏｎｅｓおよびＪ、Ｈｏ５ｋｉｎｓ著ｒＢａｃｋ − ｐｒｏｐａｇａｔｔｏｎ」、Ｂｙｔｅ、ｐａｇｅｓ１５５−１６２，０ｃｔｏｂ ｅｒ　１９８７に解説されている。

上記２方法を比較すれば分かるように、ガウス除去法のほうがデルタ・ルールよ りも高速である。［Ｔ］行列の逆数が存在すれば、情報記憶マトリックスは、式 （５）の行列積をめることで請求めることができる。

第１図は、本発明による並列分散処理ネットワークの一部を概念化した概略図で ある。全体を符号１０で示しているネットワークは複数の増幅器、またはノード １２が単一の層１４内に接続されている。ネットワーク１０はＮ個の増幅器１２ −１〜１２−Ｎを備えている。ただし、Ｎは前述した方法でめた情報記憶マトリ ックス［Ａ］の次元数に対応している。

第１図には、増幅器１２が４個しか示されていない。つまり、最初の増幅器１２ −１、ｉ番目の増幅器１２−ｉ、ｊ番目の増幅器１２−ｊ、最後の増幅器１２− Ｎである。ネットワークを構成するＮ個の増幅器のうちの他の増幅器の接続関係 は、第１図を見れが当然に理解されるはずである。もっと具体的に示したのが第 ４図の概略図である。第４図は、例２で使用されている並列分散処理ネットワー ク１０の具体例を示している。この場合、Ｎは４に等しく、完全に接続されたネ ットワーク１０を示している。第４図に示すネットワークで使用されている抵抗 の具体値も示されている。

各増幅器１２は反転入力ボート１６と、非反転入力ポート１８と、出力ポート２ ０とを備えている。各増幅器１２の出力ポート２０は、フィードバック抵抗２２ が置かれているラインを経由して自身の反転入力ボート１６に接続されている。

さらに、各増幅器１２の出力ポート２０は、前述したしきい値の非線形性または シナプスのスカッシェ機能ν（、）をもつスヵッシャ２６に接続されている。こ のスカッシャ２６の詳細図は、第３図に示されている。Ｎ個の増幅器１２の各々 の出力ポート２０に現われた信号は、スヵッシャ２６によって演算されたあと、 接続ライン３ｏを通してネットワーク１０内の他の増幅器１２の一部または全部 の反転入力ボート１６か非反転入力ポート１８のどちらかに接続される。これに ついては、後述する。

ある増幅器の出力と別の増幅器の入力との接続は、情報記憶マトリックス［Ａ］ 内の対応する要素の値によって決まり、要素値がゼロの時は、接続なしを意味し 、要素値が正の時は、非反転入力に接続されることを意味し、要素値が負の時は 、反転入力に接続されることを意味する。

各接続ライン３０には、接続抵抗３４があり、これは同一変数ｉ、ｊの添え字を つけて示されている。この添え字は、その添え字をもつ接続抵抗３４が、ｊ番目 の入力増幅器とｉ番目の出力増幅器とを結んでいるライン３０に接続されている ことを意味する。接続抵抗３４の値は、情報記憶マトリックス内の対応する添え 字付き変数と関係づけられている。これについては、後述する。

ライン３４の各々には、遅延要素３８も設けられている。この遅延要素は、所定 の信号遅延時間が設定されており、これは、繰返し作用（式（４）で数学的に定 義されている）を実現するために必要な各繰返しの時間シーケンスを可能にする ためのもので、ある増幅器１２がその出力状態に達するまでの時間である。遅延 ラインにも、接続ラインおよびその抵抗に付けた添え字変数と同じものが付けら れている。前述したように、行列［Δ］の中の固有値先に割り当てられた値は、 ネットワーク１０がある決定に到達するまでに必要な時間（または繰返し回数） に対応している。

情報記憶マトリックス［Ａ］の対応する要素およびネットワーク１０内の増幅器 １２の利得からめられる、接続抵抗３４の値がどのように実現されるかについて 、以下第２Ａ図と第２Ｂ図を参照して説明する。

ネットワーク１０に入力される入力ベクトルは次のような形式になっている。

情報記憶マトリックス［Ａ］は、前述した方法で評価されると、次のような形に なる。

上式において、情報記憶マトリックス［Ａ］の各要素Ａ　＋　、　Ｊは正か負の 実定数またはゼロである。

情報記憶マトリックス［Ａ］のある要素Ａ　（、Ｊが正であるときは、その要素 Ａ１．、の値とフィードバック抵抗２２（ＲＦ）および接続抵抗３４　（Ｒ，、 、）の値との関係は、第２Ａ図から理解することができる。抵抗３４　（Ｒ１， Ｊ　）が増幅器１２の非反転入力ポート１６に接続されているライン３０と増幅 器１２の利得は次式から得られる。

ｅｏ　／ＸＪ　＝　［１＋　（ＲＦ　／　Ｒ１，Ｊ　）　］＝ＩＡ、、ＪＩ 上式において、ｅｏは増幅器１２−ｊの出力ポートに現れる出力信号の電圧であ る０代表例では、ネットワーク全体のフィードバック抵抗２２の値は、所定の一 定値に固定されており、接続抵抗Ｒ＋、Ｊの値は式（８）から簡単にめることが できる。

情報記憶マトリックス［Ａ］のある要素ＡＩＪが負であるときは、その要素ＡＩ Ｊの値とフィードバック抵抗２２（Ｒｒ）と接続抵抗３４　（Ｒ１，Ｊ　）の値 との関係は、第２Ｂ図から理解することができる。抵抗３４１、が、この場合に 、増幅器１２の反転入カボート１８に接続されているライン３０と増幅器１２の 利得は次式から得られる。

ｅｏ　／ＸＪ　＝　ＲＦ　／Ｒ１，Ｊ　＝　ｌ　Ａ１．Ｊ　１上式において、ｅ ｏは増幅器１２の出力ボート２０に現れる出力信号の電圧である。この場合も、 ネットワーク全体のフィードバック抵抗２２の値は所定の一定値に固定されてい るので、接続抵抗Ｒ１，の値は式（９）から簡単にめることができる。

以上から理解されるように、情報記憶マトリックスの要素Ａ　＋　、　Ｊの値が ゼロと１の間にあれば、ハードウェアまたはソフトウェア手法を用いて、問題な （その値を実現することができる。例えば、ソフトウェア手法を用いる場合は、 Ａ６．、の値が１より大きくなるように係数を調整すればよい。ハードウェア手 法を用いる場合は、２つの反転増幅器をカスケード接続すれば、指定した領域で 正の値が得られることになる。

情報記憶マトリックス［Ａ］のある要素ＡＩ、がゼロのときは、５番目の入力ノ ードと１番目の出力ノードが接続されていないことを意味する。

第３図は、非線形しきい値設定装置、つまり、関数先（、）を生成するスカッシ ャの概略図である。スカッシャ２６は、ノード１２の出力を所定の上限値と所定 の下限値との間に定義されている範囲に制限するネットワークを定義している。

上限値と下限値は、それぞれ＋１と−１であるのが代表例である。

以上から理解されるように、第１図〜第４図の概略図に示すネットワーク１０は 、都合の良いどのような形式で物理的に構築することが可能である。すなわち、 ネットワーク１０を電子式ハードウェアに実装させることも、光学式ハードウェ アに実装させることも、その組み合わせに実装させることも、本発明の技術範囲 に属するものである。電子式ハードウェアに実装する場合は、ディスクリート・ アナログ・デバイスや、キャパシタやＲＣ回路網などの増幅器、抵抗、遅延要素 を使用して、ネットワーク構成要素を相互接続することによっても、集積回路部 品を相互接続することによっても、あるいは図にＳの文字で示している適当な基 盤上に任意の集積回路製造技術を使用してネットワークぜんたいを集積化するこ とによっても、実現することが可能である。さらに、ネットワークは、ヒユーレ ット・パラカード社Ｖｅｃｔｒａ、ＤＥＣ社ＶＡＸ、クレー社Ｘ−ＭＰなどのよ うに、プログラムに従って動作する汎用ディジタル・コンピュータを使用して実 現することも可能である。これに関して、付録にＦｏｒｔｒａｎ言語で書いたコ ード・リストが掲載されている。ネットワーク１０は、このコード・リストに従 ってＤＥＣ社ＶＡＸに実装されている。例ＩＩに示すネットワークはこのコード ・リストで実施される。

伝 以下では、本発明の並列分散処理ネットワークの動作について、例工と例ＩＩを 参照して説明する。

例工は、並列分散処理ネットワークを分類器として使用した例である。ある大企 業は、その社員の個人データ・ファイルを収集して、処理することを必要として いる。収集されたデータは、次のような個人プロフィールを反映している。

このプロフールは、新入社員が入社するつど、コンピュータ・ファイルに入力さ れる。新入社員で、既婚で、離婚歴が無く、大卒で、男性で、子供がない場合の 社員の項目は、次のような形式になる。

氏名： Ｊｏｈｎ　Ｄｏｅ 社員：　男／女：　独身／既婚　離婚歴有無二子供有無二　大卒有無： 従って、各社員は６ビツト・コードをもち、その名前に関連する個人プロフィー ルを記述している。名前とコードは、−緒にデータ・ファイルに入力される。

「社員」項目を含めたのは、情報記憶マトリックスで特徴づけられるネットワー ク１０を左右対称で動作させるためである。

この企業は数千の社員を雇用し、プロフィール・コードに示す情報に従って社員 を分類する高速並列分散処理ネットワークを必要としている。そこで、この企業 は、次のグループに属する各社員の名前を知りたいとする。すなわち、（１）男 性で独身、（２）女性で独身、（３）女性で既婚。この３つのグループを表にす ると、次のようになる。

分類１：男性および独身 上表において、”ｄｃ”は「無視」を意味する。

さらに、下に示すような分類も必要であるとする。

分類２： 分類３： 分類４： 上記４つの表を使用すると、目標ベクトルを生成することができる。４つの分類 の男性の状況を検査すると、目標ベクトルが得られる。

同様に、４つの分類の女性の状況を検査すると、更に２つの目標ベクトルが得ら れる。

明らかなように、目標ベクトルは３個であり、情報の次元は６次元である。従っ て、更に３つのスラツク・ペクト、が必要になる。そこで、次の行列で、Ｒ’の 中の標準基底集合を定義すると、次のようになる。

次に、Ｚ４　＝ｅ４％　Ｚｓ　＝ｅｓ　、Ｚｓ　＝ｅｓを追加の３つのスラック ・ベクトルとして選択して、類似変形行列を次のように作成する。

Ｔ、：　［ｘ、、Ｘ、、Ｘ、、Ｚ、、ｚｓ　、Ｚ、］また、次の対角行列を選択 する。

Ｔ１と八から情報記憶マトリックスが得られる。このマトリックスが可能な限り のコード（つまり、考慮の対象となっているコードの中の３２個の要素）に対し て実行されると、表１に示す４つの区域が得られる。表１の最初の区域は、目標 値Ｘ１に収束するコードのすべての要素を示している。同様に、３番目と４番目 の区域は、Ｘ、とＸ、を受け持っている。これらの目標区域に属する各コードは 適当なカウンタで増分していく。しかし、２番目の区域は、ここでは関心の対象 になっていない認識による解Ｃ＝［１，１゜−１，１−１，１１’−を受け持っ ている（つまり、Ｃからは、社員、男性、既婚、離婚歴熱、子供有、大卒の分類 が得られる）。

ある社員の名前に関連するコードがＸ、に収束すると、その社員の名前は男性と 独身のクラスに大れられる。同様に、このコードがＸ２またはｘｓに収束すると 、名前は女性と独身または女性と既婚に入れられる。しかし、コードがＣに収束 したときは、名前は無視される。表１の矢印は、各区域内の共通情報を示してい る。従って、分類１の関数を実行する並列分散処理ネットワークの情報記憶マト リックスを設計するためにＴ１とＡが使用されている。

さらに、次の類似変形で［Δ］を使用すると、Ｔｍ＝［Ｘｌ、Ｘｚ、Ｘｓｓ　Ｚ ４．Ｚａ、ｚａｌただし、Ｚ　４　＝ｅｚ　、　Ｚｓ　＝ｅｓ　ｓ　Ｚｓ　：Ｑ 。

Ｔ−＝［Ｘ３．ｘ、、Ｘｓ、Ｚ４．Ｚｓ、ｚａｌただし、Ｚ　ａ　＝ｅｍ　ｓ　 Ｚｓ　＝ｅ４．　Ｚｓ　＝ｅｓＴ４＝　［Ｘ３．Ｘｓ、Ｘ−、Ｚ４．Ｚｓ、Ｚａ ｌただし、Ｚａ　＝ｅｓ　＋　Ｚｓ　＝８４．Ｚｓ　＝ｅｓ表２．３、および４ が得られる。これらの表からは、それぞれ分類２．３、および４が得られる。

次に、下の分類５．６、および７に示す情報を得る必要があるとする。

分類５： 分類６： 分類７： 従って、同じ目標ベクトルと［Δ］が使用できる。

新しい類似変形は次のようになる。

ＴＩ　＝　［Ｘｌ　、ｘｓ、ｘｓ　、ｚ４．ｚｓ　、ｚｓｌただし、Ｚ４　＝ｅ 、、Ｚｓ　＝９４．Ｚｅ　＝ｅｓＴｓ　＝　［Ｘｌ　、Ｘｓ、ｘｓ、Ｚ４．Ｚｓ 、Ｚａコただし、Ｚ　４”６ｍ　＋　Ｚｓ　＝ｅｓ　＋　Ｚｓ　＝ｅ＊Ｔ、＝　 ［Ｘｌ、Ｘ−、Ｘｓ、Ｚ４．Ｚｓ　、Ｚ６］ただし、Ｚ　ａ　；ｅ＊　、　Ｚｓ 　＝ｅｓ　＋　Ｚａ　＝ｅ４区域の結果は表５．６、および７に示されている。

例ＩＩ 論理回路の実現二４ビット左右対称相補コードが次のようになっている場合につ いて検討する。

次に、Ｃ＝Ｄのとき、状態Ｘ、＝　［１，１，−１゜−１］ｔが実行され、Ｃが Ｄと等しくないとき、状態Ｘ、＝　［１，−１，１，−１］　″が得られるよう な論理回路を設計する必要がある。そのために、次の類似変形を検討する。

Ｔ＝　［Ｘ、、Ｘａ＋　Ｚｌ、Ｚ４］、ただし、Ｚ　ｓ　”ｅ＋　＋　Ｚ４　＝ ｅ＊およびこれらの行列からは、次の情報記憶マトリックスに示す接続パターン が得られる。

図に規定されているように、この行列が繰り返され、「スカッシュコされると、 下に示す目標値Ｘ、とＸ亥の区域が得られる。

１１−１−１目標１１−１１ １　−１　−１　−１　１　−１　１　−Ｌ目標機って、このロジックはアナロ グ回路により実行され、実現される。このネットワークでは、認識による解がな いことに注目すべきである。

この例ＩＩで使用されている並列分散処理ネットワークの概略図は第４図に示さ れている。従って、［Ｙ］　＝　［Ａ］　［Ｘｌであり、 であるので、 Ｙ、＝＋、　５Ｘｌ　−２，５Ｘ。

ｙ、＝−１５Ｘｘ　−２，５Ｘｓ 抵抗の値（ＩＫフィードバック抵抗を想定した場合）は、式（８）と（９）を用 いてめられる。付録に示しているＦｏｒｔｒａｎコード・リストは、第４図に示 すネットワークをＤＥＣ社ＶＡＸコンピュータで実行するためにコーディングし たものである。

以上説明した各種実施例は、種々態様に変更が可能であるが、かかる変更は請求 の範囲に明確化されている本発明の技術範囲に属するものである。

（以下余白） １０　：ｌＯ−０−５−０−５ Ｌａｍｂｄａ　−２，ＣＩｏ　２．００　−０．５０　−０＋５０ｃｏｄｅ　ｅ ｌｅａ＋ｅｎｔ： ｘｌＸｉＸｉＸＮ 国際調査報告 ＋ｎｌｍｍｍｎｍｌ１ｌｌａｌｌ＋ｌ１ｌｆｉ　Ｍｅ、ｐｃ’ｒ八巧９０１０２ ６９９

Claims (1)

1. 【特許請求の範囲】 １．単一の層に接続された複数のノードからなり、各ノードは入力と出力をもち 、各ノードの出力はネットワーク内の所定のいくつかのノードの入力に所定の接 続重みによって接続されている並列分散処理ネットワークにおいて、 接続重みは［Ｎ×Ｎ］情報記憶マトリックス［Ａ］によって定義され、情報記憶 マトリックス［Ａ］の要素Ａｉ，ｊはｊ番目の入力ノードとｉ番目の出力ノード 間の接続重みであり、 情報記憶マトリックス［Ａ］は次の行列式を満足しており、 ［Ａ］［Ｔ］＝［Ｔ］［Λ］ 上式において、［Ｔ］はその列が所定数（Ｍ）の［Ｎ×１］目標ベクトルに所定 数（Ｑ）の［Ｎ×１］不定ベクトルを加えたものから形成される［Ｎ×Ｎ］類似 変形行列であり、各目標ベクトルは並列分散処理ネットワークの出力の１つを表 わしており（ただし、Ｍ＜＝ＮおよびＱ＝（Ｎ−Ｍ））、 「Λ」は［Ｎ×Ｎ］対角行列であり、行列［Λ］の対角線上の各要素は類似変形 行列の中のベクトルの所定の１つに対応しており、行列［Λ］の対角線上の各要 素の相対値は並列分散処理ネットワークが対応する目標ベクトルに向かって収束 する速度に対応している並列分散処理ネットワーク。 ２．各ノードの出力は、それ自身を含めて、ネットワーク内のノードのすべての 入力に接続されている請求の範囲第１項に記載の並列分散処理ネットワーク。 ３．類似変形行列の中のベクトルのすべては線形的に独立している請求の範囲第 １項に記載の並列分散処理ネットワーク。 ４．類似変形行列の中のベクトルのすべては直交している請求の範囲第３項に記 載の並列分散処理ネットワーク。 ５．類似変形行列の中のベクトルのすべては線形的に独立している請求の範囲第 ２項に記載の並列分散処理ネットワーク。 ６．類似変形行列の中のベクトルのすべては直交している請求の範囲第５項に記 載の並列分散処理ネットワーク。 ７．類似変形行列の中の不定ベクトルに対応する対角行列［Λ］の要素の各々は 、類似変形行列の中の目標ベクトルに対応する対角行列の構成要素の各々の値よ りも小さい値をもっている請求の範囲第５項に記載の並列分散処理ネットワーク 。 ８．類似変形行列の中の不定ベクトルに対応する対角行列［Λ］の要素の各々は 、類似変形行列の中の目標ベクトルに対応する対角行列の構成要素の各々の値よ りも小さい値をもっている請求の範囲第３項に記載の並列分散処理ネットワーク 。 ９．類似変形行列の中の不定ベクトルに対応する対角行列［Λ］の要素の各々は 、類似変形行列の中の目標ベクトルに対応する対角行列の構成要素の各々の値よ りも小さい値をもっている請求の範囲第２項に記載の並列分散処理ネットワーク 。 １０．類似変形行列の中の不定ベクトルに対応する対角行列［Λ］の要素の各々 は、類似変形行列の中の目標ベクトルに対応する対角行列の構成要素の各々の値 よりも小さい値をもっている請求の範囲第１項に記載の並列分散処理ネットワー ク。 １１．類似変形行列の中の不定ベクトルに対応する対角行列［Λ］の要素の各々 は、１より小さい絶対値をもち、類似変形行列の中の目標ベクトルに対応する対 角行列の構成要素の各々は１より大きい絶対値をもっている請求の範囲第５項に 記載の並列分散処理ネットワーク。 １２．類似変形行列の中の不定ベクトルに対応する対角行列［Λ］の要素の各々 は、１より小さい絶対値をもち、類似変形行列の中の目標ベクトルに対応する対 角行列の構成要素の各々は１より大きい絶対値をもっている請求の範囲第３項に 記載の並列分散処理ネットワーク。 １３．類似変形行列の中の不定ベクトルに対応する対角行列［Λ］の要素の各々 は、１より小さい絶対値をもち、類似変形行列の中の目標ベクトルに対応する対 角行列の構成要素の各々は１より大きい絶対値をもっている請求の範囲第２項に 記載の並列分散処理ネットワーク。 １４．類似変形行列の中の不定ベクトルに対応する対角行列［Λ］の要素の各々 は、１より小さい絶対値をもち、類似変形行列の中の目標ベクトルに対応する対 角行列の構成要素の各々は１より大きい絶対値をもっている請求の範囲第１項に 記載の並列分散処理ネットワーク。 １５．各ノードの出力とその出力が接続されている他のノードの入力間に置かれ た遅延要素をさらに備えている請求の範囲第２項に記載の並列分散処理ネットワ ーク。 １６．各ノードの出力とその出力が接続されている他のノードの入力間に置かれ た遅延要素をさらに備えている請求の範囲第１項に記載の並列分散処理ネットワ ーク。 １７．ノードの各々の出力に接続されて、ノードの出力の値を所定の上限値と下 限値の間に定義された範囲に制限するネットワークをさらに備えている請求の範 囲第１６項に記載の並列分散処理ネットワーク。 １８．ノードの各々の出力に接続されて、ノードの出力の値を所定の上限値と下 限値の間に定義された範囲に制限するネットワークをさらに備えている請求の範 囲第１５項に記載の並列分散処理ネットワーク。 １９．ノードの各々の出力に接続されて、ノードの出力の値を所定の上限値と下 限値の間に定義された範囲に制限するネットワークをさらに備えている請求の範 囲第２項に記載の並列分散処理ネットワーク。 ２０．ノードの各々の出力に接続されて、ノードの出力の値を所定の上限値と下 限値の間に定義された範囲に制限するネットワークをさらに備えている請求の範 囲第１項に記載の並列分散処理ネットワーク。 ２１．ノードの各々は反転入力端と非反転入力端とをもち、ｉ番目の出力ノード は、情報記憶マトリックスの対応する要素Ａｉ，ｊがゼロより大きいとき、ｊ番 目の入力ノードの非反転入力ポートに接続される請求の範囲第２０項に記載の並 列分散処理ネットワーク。 ２２．ｊ番目の入力ノードはその出力ポートとその非反転入力ポート間に接続さ れたフィードバック抵抗と、その非反転入力ポートに接続された接続抵抗とを備 え、フィードバック抵抗と接続抵抗は、次の関係式によって情報記憶マトリック スの対応する要素Ａｉ，ｊに関係づけられている請求の範囲第２１項に記載の並 列分散処理ネットワーク。 ｜Ａｉ，ｊ｜＝［１＋（Ｒｒ／Ｒｉ，ｊ）］２３．ノードの各々は反転入力端と 非反転入力端とをもち、ｉ番目の出力ノードは、情報記憶マトリックスの対応す る要素Ａｉ，ｊがゼロより大きいとき、ｊ番目の入力ノードの非反転入力ポート に接続される請求の範囲第１９項に記載の並列分散処理ネットワーク。 ２４．ｊ番目の入力ノードはその出力ポートとその非反転入力ポート間に接続さ れたフィードバック抵抗と、その非反転入力ポートに接続された接続抵抗とを備 え、フィードバック抵抗と接続抵抗は、次の関係式によって情報記憶マトリック スの対応する要素Ａｉ，ｊに関係づけられている請求の範囲第２３項に記載の並 列分散処理ネットワーク。 ｜Ａｉ；ｊ｜＝［１十（Ｒｒ／Ｒｉ，ｊ）］２５．ノードの各々は反転入力端と 非反転入力端とをもち、ｉ番目の出力ノードは、情報記憶マトリックスの対応す る要素Ａｉ．ｊがゼロより小さいとき、ｊ番目の入力ノードの反転入力ポートに 接続される請求の範囲第２０項に記載の並列分散処理ネットワーク。 ２６．ｊ番目の入力ノードはその出力ポートとその非反転入力ポート間に接続さ れたフィードバック抵抗と、その非反転入力ポートに接続された接続抵抗とを備 え、フィードバック抵抗と接続抵抗は、次の関係式によって情報記憶マトリック スの対応する要素Ａｉ，ｊに関係づけられてし、る請求の範囲第２５項に記載の 並列分散処理ネットワーク。 −｜Ａｉ，ｊ｜＝Ｒｒ／Ｒｉ，ｊ ２７．ノードの各々は反転入力端と非反転入力端とをもち、ｉ番目の出力ノード は、情報記憶マトリックスの対応する要素Ａｉ，ｊがゼロより小さいとき、ｊ番 目の入力ノードの反転入力ポートに接続される請求の範囲第１９項に記載の並列 分数処理ネットワーク。 ２８．ｊ番目の入力ノードはその出力ポートとその非反転入力ポート間に接続さ れたフィードバック抵抗と、その非反転入力ポートに接続された接続抵抗とを備 え、フィードバック抵抗と接続抵抗は、次の関係式によって情報記憶マトリック スの対応する要素Ａｉ，ｊに関係づけられている請求の範囲第２７項に記載の並 列分散処理ネットワーク。 −｜Ａｉ，ｊ｜＝Ｒｒ／Ｒｉ，ｊ ２９．ネットワークはハードウェア要素に実装されている請求の範囲第１項に記 載の並列分散処理ネットワーク。 ３０．ネットワークはプログラムに従って動作する汎用ディジタル・コンピュー タを使用して実行される請求の範囲第１項に記載の並列分散処理ネットワーク。 ３１．ネットワークはハードウェア要素に実装されている請求の範囲第２項に記 載の並列分散処理ネットワーク。 ３２．ネットワークはプログラムに従って動作する汎用ディジタル・コンピュー タを使用して実行される請求の範囲第２項に記載の並列分散処理ネットワーク。 ３３．情報記憶マトリックス［Ａ］は、行列［Ｔ］の［Ｔ］−１が存在するとき 、次の行列積である請求の範囲第１項に記載の並列分散処理ネットワーク。 ［Ａ］＝［Ｔ１［Λ］［Ｔ］−１ ３４．情報記憶マトリックス［Ａ］は、行列［Ｔ］の［Ｔ］−１が存在するとき 、次の行列積である請求の範囲第２項に記載の並列分散処理ネットワーク。 ［Ａ］＝［Ｔ］［Λ］［Ｔ］−１ ３５．情報記憶マトリックス［Ａ］は、行列［Ｔ］の［Ｔ］−１が存在するとき 、次の行列積である請求の範囲第５項に記載の並列分散処理ネットワーク。 ［Ａ］＝［Ｔ］［Λ］［Ｔ］−１ ３６．情報記憶マトリックス［Ａ］は、行列［Ｔ］の［Ｔ］−１が存在するとき 、次の行列積である請求の範囲第３項に記載の並列分散処理ネットワーク。 ［Ａ］＝［Ｔ］［Λ］［Ｔ］−１ ３７．情報記憶マトリックス［Ａ］は、行列［Ｔ］の［Ｔ］−１が存在するとき 、次の行列積である請求の範囲第９項に記載の並列分散処理ネットワーク。 ［Ａ］＝［Ｔ］［Λ］［Ｔ］−１ ３８．情報記憶マトリックス［Ａ］は、行列［Ｔ］の［Ｔ］−１が存在するとき 、次の行列積である請求の範囲第１０項に記載の並列分散処理ネットワーク。 ［Ａ］＝［Ｔ］［Λ］［Ｔ］−１ ３９．情報記憶マトリックス［Ａ］は、行列［Ｔ］の［Ｔ］−１が存在するとき 、次の行列積である請求の範囲第１３項に記載の並列分散処理ネットワーク。 ［Ａ］＝［Ｔ］［Λ］［Ｔ］−１ ４０．情報記憶マトリックス［Ａ］は、行列［Ｔ］の［Ｔ］−１が存在するとき 、次の行列積である請求の範囲第１４項に記載の並列分散処理ネットワーク。 ［Ａ］＝［Ｔ］［Λ］［Ｔ］−１ ４１．情報記憶マトリックス［Ａ］は、行列［Ｔ］の［Ｔ］−１が存在するとき 、次の行列積である請求の範囲第１６項に記載の並列分散処理ネットワーク。 ［Ａ］＝［Ｔ］［Λ］［Ｔ］−１ ４２．情報記憶マトリックス［Ａ］は、行列［Ｔ］の［Ｔ］−１が存在するとき 、次の行列積である請求の範囲第１５項に記載の並列分散処理ネットワーク。 ［Ａ］＝［Ｔ］［Λ］［Ｔ］−１ ４３．情報記憶マトリックス［Ａ］は、行列［Ｔ］の〔Ｔ］−１が存在するとき 、次の行列積である請求の範囲第２０項に記載の並列分散処理ネットワーク。 ［Ａ］＝［Ｔ］［Λ］［Ｔ］−１ ４４．情報記憶マトリックス［Ａ］は、行列［Ｔ］の［Ｔ］−１が存在するとき 、次の行列積である請求の範囲第１９項に記載の並列分散処理ネットワーク。 ［Ａ］＝［Ｔ］［Λ］［Ｔ］−１ ４５．情報記憶マトリックス［Ａ］は、行列［Ｔ］の［Ｔ］−１が存在するとき 、次の行列積である請求の範囲第２３項に記載の並列分散処理ネットワーク。 ［Ａ］＝［Ｔ］［Λ］［Ｔ］−１ ４６．情報記憶マトリックス［Ａ］は、行列［Ｔ］の［Ｔ］−１が存在するとき 、次の行列積である請求の範囲第２１項に記載の並列分散処理ネットワーク。 ［Ａ］＝［Ｔ］［Λ］［Ｔ］−１ ４７．情報記憶マトリックス［Ａ］は、行列［Ｔ］の［Ｔ］−１が存在するとき 、次の行列積である請求の範囲第２７項に記載の並列分散処理ネットワーク。 ［Ａ］＝［Ｔ］［Λ］［Ｔ］−１ ４８．情報記憶マトリックス［Ａ］は、行列［Ｔ］の［Ｔ］−１が存在するとき 、次の行列積である請求の範囲第２５項に記載の並列分散処理ネットワーク。 ［Ａ］＝［Ｔ］［Λ］［Ｔ］−１ ４９．ネットワークはハードウェア要素に実装されている請求の範囲第３３項に 記載の並列分散処理ネットワーク。 ５０．ネットワークはプログラムに従って動作する汎用ディジタル・コンピュー タを使用して実行される請求の範囲第３３項に記載の並列分散処理ネットワーク 。 ５１．ネットワークはハードウェア要素に実装されている請求の範囲第３４項に 記載の並列分散処理ネットワーク。 ５２．ネットワークはプログラムに従って動作する汎用ディジタル・コンピュー タを使用して実行される請求の範囲第３４項に記載の並列分散処理ネットワーク 。 ５３．複数のノードからなり、各ノードは入力と出力とをもっている並列分散処 理ネットワークを構築する方法であって、次のステップからなる方法：その列が 所定数（Ｍ）の［Ｎ×１］目標ベクトルに所定数（Ｑ）の［Ｎ×１］不定ベクト ルを加えたものから形成され、各目標ベクトルが並列分散処理ネットワークの出 力の１つを表わしている（ただし、Ｍ＜＝ＮおよびＱ＝（Ｎ−Ｍ））［Ｎ×Ｎ］ 類似変形行列を作成し、 その対角線上の各要素が類似変形行列の中のベクトルの所定の１つに対応し、そ の対角線上の各要素の相対値が並列分散処理ネットワークが対応する目標ベクト ルに向かって収束する速度に対応している［Ｎ×Ｎ］対角行列［Λ］を作成し、 次の行列式を満足する［Ｎ×Ｎ］情報記憶マトリックス［Ａ］を作成し、 ［Ａ］［Ｔ］＝［Ｔ］［Λ］ 情報記憶マトリックスを評価して、情報記憶マトリックス［Ａ］の要素の値を判 断し、 ノードの各々の出力がネットワーク内のノードの所定のいくつかのノードに所定 の接続重みによって接続され、情報記憶マトリックス［Ａ］の要素Ａｉ，ｊがｊ 番目の入力ノードとｉ番目の出力ノード間の接続重みを定義するように、ノード を単一の層に配列することによって、並列分散処理ネットワークを構築する。 ５４．評価するステップは、ガウス除去法によって実行される請求の範囲第５３ 項に記載の方法。 ５５．評価するステップは、デルタ・ルール法によって実行される請求の範囲第 ５３項に記載の方法。 ５６．構築するステップにおいて、ノードの各々の出力は、それ自身を含めて、 ネットワーク内のノードのすべての入力に接続されている請求の範囲第５３項に 記載の方法。 ５７．構築するステップは、プログラムに従って動作する汎用ディジタル・コン ピュータを使用して実行される請求の範囲第５３項に記載の方法。 ５８．構築するステップはハードウェア構成部品を相互接続することによって実 行される請求の範囲第５６項に記載の方法。 ５９．構築するステップは、プログラムに従って動作する汎用ディジタル・コン ピュータを使用して実行される請求の範囲第５６項に記載の方法。 ６０．構築するステップはハードウェア構成部品を相互接続することによって実 行される請求の範囲第５６項に記載の方法。