JPH03125257A - ニューラル・ネットワーク及び適応推論システム - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 本発明は確率に基づくニューラル・ネットワーク及びニ
ューラル・ネットワーク処理素子に係わり、特に、線形
変換またはべき級数展開された入力信号の積として出力
を形成するニューラル・ノードを有するネットワークに
係わる。

ニューラル・ネットワークは大部分が、場合によっては
すべてが相互接続されている多数の処理素子から成る。

これらの処理素子の相互接続は構造化することができる
が、このことはこれらの構成がニューラル・ネットワー
クと呼称されるための必要条件ではない。処理素子は解
くべき問題及び利用可能な手段に応じて層、カラム、ツ
リーリング、スターなどの形態に組織化すればよい。

１つのニューラル・ネットワーク中のすべての処理素子
が同じである必要はない。従って、ネットワーク内で特
定機能、例えば、入力または出力機能を行なうように処
理素子の構成を特別なものにすることができる。従来の
ニューラル・ネットワーク８はプール信号を取扱い、第
１図に示すようにほぼ層状に構成されている処理素子か
ら成る。この信号はパターン認識ネットワークにおいて
は画素を、プロセス制御システム・ネットワークにおい
ては装置の状態をそれぞれ表わすことができ、ニューラ
ル・ネットワーク及びエキスパート・システムによりて
処理されるその他の信号または値を表わす場合もある。

ニューラル・ネットワークは複数の層、即ち、複数の入
力ノード１２を含む入力層１０、複数の出力ノード１６
を含む出力層１４から成り、複雑な問題、即ち、線形分
離が不可能な問題を解くため、従来のニューラル・ネッ
トワーク８は通常、入力層１０と出力層１４の間に、ネ
ットワーク内での位置に因んでかくれ層（ｈ＋ｄｄｅｎ
　１ａｙｅｒｓ）　とも呼称される１つまたは２つ以上
の層１８−２２を含む。かくね層はそれぞれノード２４
及び２６をも含むや原則としてネットワーク８中には複
数のかくれ層が存在し得る。かくれ層が増えるとネット
ワーク内での直列処理の量が増加するが、そのネットワ
ーク８により得られる解答が明確なものになる可能性が
ある。かくれ層を１つしか含まないネットワークでも任
意の機能を形成できる、即ち。

任意の問題を解くことができることは理論的に立証済み
であり、従って、従来の３層ニューラル・ネットワーク
は任意の問題を解くフォールト・トレラント・システム
を開発するのに必要なすべての特徴を具えていることに
なる。公知のニューラル・ネットワーク８はほかに、ニ
ューラル・ネットワーク８による認識すべきパターンの
学習を可能にするトレーニング・ノード３０を備えるト
レーニング層２８をも含む。公知のニューラル・ネット
ワーク処理は重みベクトルと入力ベクトルの内積を求め
、これをなんらかの閾値と比較するという単純なもので
ある。第２図は入力及び出力層を含むネットワークのす
べての層に利用されるタイプの公知のニューラル・ネッ
トワーク処理素子構造またはノードを示す。このノード
４０は方程式１に示すようにリンケージ入力信号×１に
重みＡＩを乗算することによフてリンケージ出力信号を
形成するリンケージ素子４２またはアルゴリズムを含む
。

ｙｌ＝ＡＩＸ！　　　　　　　　　　　（１）処理素子
間の接続が励起的か抑止的かに応じてリンケージ重みＡ
ｉは正または負となる。これらのリンケージ出力信号ｙ
１が累算され、方程式２で示すように閾値θと比較され
る。

ｙ＝圧８？′Ｉ≧θ＝と、公１ｘ星≧θ　　（２）この
公知アルゴリズムにより、重み付き情報で推論するとい
う古典的な判断方法を実行できる。

このようなアルゴリズムは加重合計と呼称され、各ノー
ドはパターンを知覚できることからバーセブトロンと呼
ばれることがある。加重合計アルゴリズムそのものは多
数の関連生データを単一のデータに統合するのに利用さ
れる統計約手゛法である。このプロセスはニューラル・
ネットワークの入力層（１０）においてマルチ・センサ
ーの融合を行なうのに極めて有用である。このプロセス
はニューラル・ネットワークの出力層において複数の判
断源からのコンセンサス形成にも極めて有用である。公
知のニューラル・ネットワークはプール信号だけを取扱
うものであるから、加重合計によるこの統合の結果は再
びプール信号に変換しなければならない。これは上記ア
ルゴリズムにおいて加重合計ｙを閾値θと比較し、もし
不等関係が妥当でなければＯ（偽）を、もし不等関係が
妥当なら１（真）を戻すことによって達成される。

上述した単純閾値関数の代りに、変換関数比較素子４６
を介して合計素子４４からの出力に作用するシグモイド
関数のような複合閾値関数を使用することもできる。ト
レーニング段階において、各ノードの入力信号に加えら
れる重みＡｉを調整するため、従来はエラーのバック・
プロパゲーションに基づく種々のトレーニング・アルゴ
リズムが重み計算ユニット４８によって利用されている
。

方程式２の関数はオフセットが冗長であることからオフ
セットを含まない。オフセットは加算が存在するから閾
値θに簡単に吸収される。単一合計閾値処理素子はプー
ル論理関数をすべて形成できるわけではなく、例えば、
２入力の場合には１６個の関数のうち１４個（の線形分
離可能な関数）だけを形成でき、表１に示すように線形
分離が不可能な関数である排他的論理和または同値（排
他的否定論理和）関数を形成することはできない。なお
、表１においてＺは集合（偽、真）である。

（以　　下　　余　　白） 関　　　数 真 偽 ｏｔ　　ｘ ｏｔ　　ｙ ＡＮＤｙ （ＮＯＴＸ）ＡＮＤｙ　− ｘＡＮＤ（ＮＯＴｙ） （ＮＯＴｘ）　　　　− ＡＮＤ（ＮＯＴｙ） ｘ　ＯＲｙ （ＮＯＴｘ）ＯＲｙ　　− ｘＯＲ（ＮＯＴｙ） （ＮＯＴＸ）　　　　− ０Ｒ（ＮＯＴｙ） ｘ　　ＸＯＲＹ ｘ　　ＥＱＶ　　ｙ 表　　　　１ 合計閾値 ２入力の場合 Ｚ；（０，１）　　ｚ Ａｘ　　Ａｙ　　θ ０　０−１ ０　０　１ １　０　１ ０　１　１ １　０　０− ０　１　０ １　１　２ １　１　１− １−１　１ −１０− ＝　（−１、１） Ａｘ　　　Ａｙ　　　θ ０　　　　０　　−１ ０１ １　　　　０　　　　１ １１ １　　　　０　　　　１ ０　　−１　　　　１ １　　　　１　　　　１ １　　　　１　　　　１ １　　−１　　　　１ １　　−１　　　　１ １　　　　１　　　　１ １　　　　１　　　　０ １　　−１　　　　０ １　　　−１　　　−１ 不可能 不可能 　１ １ −１ −１ １−１ ＝１−１ 不可能 不可能 方程式２がプール関数を全部が全部まで形成できなくて
も、これらの素子を複数層から成るネットワークに使用
すれば、これらの素子の組み合わせが任意の論理関数を
形成できるから実際には問題とならない。即ち、単一合
計閾値処理素子が汎用論理素子ＮＯＲ，汎用論理素子Ｎ
ＡＮＤ及び基本プール論理関数−式、即ち、ＡＮＤ、Ｏ
Ｒ及びＮＯＴを形成できるからである。

単一の公知処理素子がエミュレートできるプール論理関
数の個数は表２の３列目に示すように入力数の増大と共
に急激に増大する。

表　　　２ 汎用処理素子とパーセプトロン における論理関係の個数比較 １　　　　　　　　　　　　　　４　　　　　　　　　
　　　　　　　　　　　４２　　　　　　　　　　　　
１６　　　　　　　　　　　　　　　　　　１４３　　
　　　　　　　　２５６　　　　　　　　　　　　　　
　　１０４４　　　　６５．５３６　　　　　　　　　
　　１．８８２５　２３２〜４　・　１０”　　　　　
　　　　９３．　８５２６　　　　２６４〜１０″　　
　　　〜１　、４　・　１０７表２は仮定の汎用処理素
子が形成し得るプール論理関数の最多個数を公知のノー
ドまたはバーセブトロンが１〜６入力の場合に形成し得
るプール論理関数（線形分離可能関数）の実個数と比較
している。表２から明らかなように、入力の個数が３以
上の場合、仮定の汎用処理素子は（パーセプトロンの項
に記載しであるように）公知装置よりもはるかに多数の
プール論理関係を形成する（汎用処理素子の項に示す）
が、必ずしもすべてのプール論理関数を形成する必要は
ない。このことから示唆されるように、コンパクトな高
速ニュートラル・ネットワークを構成するための例えば
汎用処理素子のような強力な処理素子は線形分離不能な
プール論理関数を形成するように特殊設計された処理素
子となる。

本発明の目的は確率に基づく線形変換リンケージ素子に
より従来のニューラル・ネットワークのノードを改良す
ることにある。

本発明の他の目的は線形変換の積を求める、確率に基づ
〈従来よりも強力なニューラル・ネットワーク処理素子
を提供することにある。

その積に対してテストを行なうニューラル・ネットワー
ク閾値素子を提供することも本発明の目的である。

線形分離可能な論理関数だけでなく線形分離不能な論理
関数をも形成する従来よりも強力な処理素子を提供する
ことも本発明の目的である。

本発明のさらに他の目的は２層のニューラル・ネットワ
ークの実現を可能にするニューラル・ネットワーク・ノ
ードを提供することにある。

べき級数展開素子を利用する場合、汎用ニューラル・ネ
ットワーク処理素子を提供することも本発明の目的であ
る。

上記目的は入力信号を線形変換する事前処理装置によっ
て達成される。事前処理装置の出力はこれらの線形変換
の積として結合される。次いでこの積が閾値に基づいて
検討される。この処理素子の構成は入力データと出力結
果との間の非線形変換を行なうという点で独自である。

従って、この処理素子は独力で線形分離可能及び線形分
離不能プール論理関数を形成する。このような処理素子
を使用すれば、判断を求められる任意の問題を解く２層
ニューラル・ネットワークを構成することがで咎る。事
前処理にべき級数展開を利用すれば、汎用処理素子が得
られる。

本発明のニューラル・ネットワーク素子の一実施例は入
力値を変換する入力手段と、変換久カ僅の積を形成する
結合手段とを含み、前記入力手段は各入力値を線形変換
するか、またはＸｉが入力値を、Ａｉｋが定数をそれぞ
れ表わすとじてΣＡ　ｌｋＸ　Ｉ’ ｆｆ１ｌ を行なうか、またはＸｉが入力値を、Ａｉ及びＢ、が定
係数を、θが閾値をそれぞれ表わすとして π　（Ａ＋　　Ｘｉ　　＋Ｂｉ　　）＞θを行なうこと
によって各入力値をべき級数変換する。この実施例は直
接探索によって素子にパターンを教示するフィードバッ
ク手段をも含むことができる。

ニューラル・ネットワーク素子の他の実施例はＸｌが入
力値を、ＡＩ及びＢ、が定数を、ｙｌが変換値をそれぞ
れ表わすとして、ｙｌ　−Ａｔ　Ｘｉ＋Ｂ、に従フて入
力値を線形変換する入力手段と、ｙが結合値を表わすと
して、 ｙ＝ｆｌ−？′＋ に従って線形変換値を結合する結合手段と、結合値を閾
値と比較し、閾値が満たされれば出力を形成する比較手
段と、直接探索によって定数の値を求める教示手段を含
む。

ニューラル・ネットワークの他の実施例は互いに接続す
る第１及び第２ニユーラル・ノードは層を含み、その層
の各ノードはＡｉが定数を、Ｘｉが入力値をそれぞれ表
わすとして、 ΣＡ　Ｉ　ｘ。

１＝１ を行なう変換手段と、前記入力層と接続し、且つそれぞ
れが、Ｂｌ及びＣ１が変換係数を、ｙ息が入力ノードの
１つからの値をそれぞれ表わすとして π　（Ｂ＋　　’ｊ　Ｉ　＋Ｃ＋　　）五ｍｌ を行なう変換ノードから成る２進ツリー変換層と、前記
変換層と接続し、且つそれぞれが、ＤＩが定数を、Ｚｉ
が変換ノードの１つからの値をそれぞれ表わすとして Σ　ＤＩ　　Ｚｌ １ｍ＋ を行なう出力ノードから成る出力層を含む。

さらに他の実施例として、ａ、ｂ、ｃ及びｄが２ビット
係数を、Ｘ及びｙが１ビット入力層号を、θが１ビット
閾値を、２が１ビット出力をそれぞれ表わすとして （（ａ　−ｘ＋ｂ）・（ｃ−ｙｌｄ）＞θ）−＋ｚを行
なう論理回路からニューラル・ネットワーク・ダイアデ
ィック処理素子を構成することができる。

本発明はまた、ａｌが２ビット線形変換係数を、ｂ、が
１ビット線形変換係数を、θが１ビット符号制御を、Ｘ
ｉが１ビット入力層号を、２が２ビット出力をそれぞれ
表わすとしてを行なう論理回路から成るニューラル・ネ
ットワーク収縮ダイアデイック処理素子として実施する
こともできる。

本発明はそれぞれのノードごとに、（ａ）入力値を変換
し、（ｂ）変換入力信号の積を形成するステップから成
り、前記ステップ（ａ）において入力値を線形変換する
かまたは入力値をべき級数展開し、さらに、（ｃ）前記
績を閾値と比較し、閾値が満たされれば出力を形成する
ステップをも含むニューラル・ネットワーク・ノードを
作用させる方法として実施することもできる。この実施
例においては、Ｘｉが入力値を、ＡＩ及びＢｌが係数を
、θが閾値をそれぞれ表わすとして、ステップ（ａ）　
−（ｃ）において、 π　（Ａｉ　　Ｘｉ　　＋８１　　）≧θＩｌｌ＋ が行なわれる。ステップ（ａ）においては変換係数を利
用して線形変換を行なうことができ、ステップ（ｃ）で
は直接探索によって変換係数を求めることができる。こ
の方法実施例は入力層及び出力層を含むニューラル・ネ
ットワークに応用でき、入出力層における各ノードはＣ
，が定数を、Ｘ、が入力または出力値をそれぞれ表わす
としてステップ ΣＣＩ　Ｘｌ ｉ＊＋ を行なう。

上記及びその他の目的、長所は添付図面に沿って以下に
述べる構成及び作用の詳細な説明から明らかになるであ
ろう。なお、添付図面中、同様の部分には同様の参照符
号を付した。

本願明細書に記載のニューラル・ネットワーク・ノード
及びネットワーク自体は１９８９年６月１２日付米国出
願第０７／３６４，４７５号に対応し、その内容を本願
明細書の一部として引用している平成２年６月１２日付
日本出願“確率に基づく推論システム”に基づくもので
あり、該出願の内容については第１７−２０図を参照し
て詳細に説明する。第３図に示すように、ニューラル・
ノード６０は単純含意または線形変換を行なう改良型リ
ンケージ・アルゴリズムまたは素子を含む。単純含意ア
ルゴリズムは方程式３に示すようにリンケージ入力信号
ｘ１に重みＡｉを乗算し、オフセットを加算することに
よってリンケージ出力信号ｙｉを求める。

ｙｉ＝Ａ＋　Ｘｉ　十Ｂ＋　　　　　　　　（３）確率
に基づく作業にはリンケージ・オフセットが必要である
。リンケージ・オフセットがなければ、即ち、Ｂ、−０
なら、このアルゴリズムまたは素子は簡略化されて方程
式１で表わされるような公知のリンケージ素子となる。

複合含意に使用されるアルゴリズムまたは素子６２は方
程式４で示すように入り信号Ｘｉをべき級数変換するこ
とによりリンケージ出力信号ｙｉを求める。

’Ｊｌ＝ΣＡ　ｌｋＸ　、ｉｔ　　　　　　　　　　（
４）Ａ　、に＝　Ｏ１ｋ≠１なら、このアルゴリズムは
簡略化されて公知のニューラル・ネットワーク・リンケ
ージ・アルゴリズムであり、Ａ　Ｉｋ＝　Ｏｌｋ＞１な
ら単純含意アルゴリズムとなる。リンケージ・アルゴリ
ズムとなる。リンケージ・アルゴリズムが複雑になれば
なるほど精度が高くなり、従って適正な含意決定が可能
になる。リンケージ出力を形成する個別部品、ソフトウ
ェア及び専用プロセッサーによる線形変換（方程式３）
及びべき級数展開（方程式４）の実行については本願明
細書中にその一部を形成するものとして引用した前記出
願を参照されたい。上記リンケージ・アルゴリズムまた
は素子はいずれも公知のリンケージ素子４２中に使用さ
れた場合の公知ノードの意志決定をも改善する。

改良型リンケージ・アルゴリズムまたは素子６２を有す
るニューラル・ネットワークを逐次処理システムでシミ
ュレートすると、推論能力は高くなるものの、計算が増
大する。ところが上記出願の確率に基づく推論システム
を利用してニューラル・ネットワークを構成すれば、は
とんど代価なしに推論能力の向上を享受できる。

用途に関係なく、べき級数展開を利用するリンケージ・
アルゴリズムまたは素子における項の数は２つの矛盾す
る条件、即ち、１）複雑性を軽減することによって処理
素子の個数を最大限に増やすこと及び２）複雑性を高め
ることによってより正確な解を得ることの２条件をバラ
ンスさせてから選択する。

この処理素子は２つ以上のリンケージ・ユニット６２か
らの信号を結合しなければならない。

既に述べたように、従来のニューラル・ネットワークは
入り信号の和に基づいて閾値またはシグモイド機能を行
なう、これに対して、本発明のアプローチは飽くまでも
確率理論に基づくものであり、この点が従来のニューラ
ル・ネットワークと本発明のニューラル・ネットワーク
との大きな相違点である。リンケージ信号を結合する本
発明の素子６４は線形変換されたマルチ・ビット入力信
号の積を求める。この方式は確率理論に基づく証拠プロ
パゲーションの法則と完全に符合する。

確率に基づくニューラル・ネットワーク処理に使用され
るアルゴリズムまたは素子（ノード）は下記方程式に従
って作用する。

係数Ａ及びＢは親出願のアプローチ、関連出願の選択ア
プローチまたは本願明細書に記載の表に従って求めるこ
とができる。既に述べたこの素子の構成部分を第３図に
示した。このニューラル・ノード素子６０は方程式３に
よってリンケージを行なうための線形変換素子または方
程式４で表わされる機能を果たし、積ユニット６４を含
む（図示のような）べき級数変換ユニット６２を含むこ
とができる。これらのユニットは詳しくは後述するハー
ドウェアまたはソフトウェア素子を用いて実現すること
ができる。個別部品方式による方程式５で表わされる閾
値比較演算は閾値を記憶するレジスター及び公知の個別
マルチビット・コンパレータ−によって行なうことがで
きる。ソフトウェアによって実現する場合、比較は公知
の比較ステップによって行なわれることになる。専用プ
ロセッサーによって実現する場合、マルチビット・コン
パレーター及びレジスターも利用できる。処理素子６４
の出力信号は詳しくは後述する学習ア゛ルゴリズム６６
を介してフィードバックされる。この素子６０は方程式
５で表わされる動作を行なう。この素子６０は公知ネッ
トワーク８のかくれ層ノード２４／２Ｂに好適である。

公知ノード素子の代りにこのノード素子を利用すること
により、この単一積閾値素子は表３に示すようにダイア
デイック処理素子として可能な限りのすべての論理関数
を出力することができる。

（以　下　余　白） 表　　　３ 積閾値 ２入力の場合 ｚｗ　（０，１）　　ｚｚ　（−１，１）問　　数　　
　　　Ａｘ　　Ｂｘ　　Ａｙ　Ｂｙ　θ　　　Ａｘ　　
ａｘ　　Ａｙ　　Ｂｙ　　　θ真　　　　　　　０００
　・０−１００００−１偽　　　　　　　００００１　
　　００００　　１ｘ　　　　　２−１０１１　　１０
０１　１、Ｙ　　　　　０１２−１１　　０１１０　１
ｎｏｔ　ｘ　　　　−２１０１１−１００１１ｎｏｔｙ
　　　　０１−２１１　　０１−１０　１ｘＡＮＤｙ　
　　２０２０１　　１１１１　１（ＮＯＴｘ）ＡＮＤｙ
　　−２２２０１−１１’ｌ　　１　１ｘＡＮＤ（ＮＯ
Ｔｙ）　　２　０−２　２　１　　１　１−１　１　１
（ＮＯＴｘ）　　　　−２２−２２−１−１１−１１−
ＩＡＮＤ　（ＮＯＴｙ） ｘＯＲｙ　　　　２−２−２　２−１　　１−１−１　
１　−１（ＮＯＴｘ）ＯＲｙ　　−２０−２２−１−１
−１−１１−１ｘＯＲ（ＮＯＴｙ）　　　２−２　２　
０−１　　１−１　１　１　−１（Ｎ（ｌＴｘ）　　　
　−２０２（１−１−１−１１１−１０８ｔＮｏｒｙ） ｘＸＯＲＹ　　　−２１２−１１−１０１０１ｘＥＱＶ
ｙ　　　　２−１２−１１　　１０１０　１表３から明
らかなように、方程式５に従って積閾値関数を満たせば
極めて強力な閾値素子が形成される。

オフセットを含む方程式５を満たすには多数の係数が必
要であり、従って、記憶量も増大する。

そこでＢ係数を省けば係数の個数を減らして方程式６に
示すようなオフセットなしの積閾値関数となる。

ｙ±πＡｉ　　Ｘｉ　　＞θ　　　　　　　　　　　　
（６）ｉ＊＋　　　　　　　− この素子は各入力と対応の重みとの積を求め、次いでこ
れらの重み付き入力の積を形成する。

この素子は形成された積の値を閾値と比較することによ
って出力を形成する。この素子は装置部分集合または上
記ステップで実現することができる。

（以　下　余　白） 表　　　４ オフセットを含まない積閾値 ２入力の場合 ２冨（０，１）ｚ＝（−１，１） 関　　　数　　　Ａｘ　　　Ａｙ　　　θ　　　　Ａｘ
　　　Ａｙ　　　θ真　　　　　　０　　　０−１　　
　　０　　　０−１偽　　　　　　００１００１ Ｘ　　　　　　不　　　可　　　能　　　不　　　可　
　　能ｙ　　　　　　不　　　可　　　能　　　不　　
　可　　　能ｎｏｔ　　ｘ　　　　　　不　　　可　　
　能　　　不　　　可　　　能ｎｏｔ　　ｙ　　　　　
　不　　　可　　　能　　　不　　　可　　　能ｘＡＮ
Ｄｙ　　　　　１　　　　１　　　　１　　　　不　　
　可　　　能（ＮＯＴｘ）ＡＮＤｙ　　不　　　可　　
　能　　　不可能ｘＡＮＤ　（ＮＯＴｙ）　　不　　　
可　　　能　　　不　　　可　　　能（ＮＱＴＸ）　　
　　　不　　　可　　　能　　　不　　　可　　　能Ａ
ＮＤ（ＮＯＴｙ） ｘ　　ＯＲｙ　　　　　不　　　可　　　能　　　不　
　　可　　　能（ＮＯＴｘ）ＯＲｙ　　　不　　　可　
　　能　　　不　　　可　　　能ｘＯＲ（ＮＯＴｙ）　
　　不　　　可　　　能　　　不可能（ＮＯＴＸ）　　
　　−１１０不　　　可　　　能ＯＲ（ＮＯ７３Ｆ） ｘ　ＸＯＲＹ　　　　不　　　可　　　能　　−１１１
ｘ　　ＥＱＶ　　ｙ　　　　　不　　　可　　　能　　
　１　　　１　　　１表４から明らかなように、ダイア
デイック処理素子の場合、オフセットのない方程式６で
表わされる積閾値関数からは４つのプール論理関数しか
得られず、この４つの論理関数は進及び偽に対応して設
定された値に応じて異なる。処理素子から成るネットワ
ークにおいてこの積閾値関数は設定された真／偽表現の
パリティ−次第では普通関数となる。例えば、Ｚ−［０
，１１なら、パリティ−は奇数であり、この関数はＮＡ
ＮＤ　：　ｘＮＡＮＤ：Ｙ＝　（ＮＯＴ　　Ｘ）ＯＲ（
ＮＯＴ　　ｙ）を形成するから普遍であり、Ｚ−［−１
，１］なら、パリティ−は偶数であり、この積閾値関数
は普遍ではない。

（以　下　余　白） 公知のエキスパート・システムは論理演算の代りに極値
関数を利用するファジー論理と呼ばれる新しいタイプの
論理を導入した。最小、最大閾値関数という２種類の極
値関数はファジー論理理論の当然の外延である。本発明
における最大閾値素子は方程式７で表わされる。

ｙ−ＭＡＸ　［ＡＩ　Ｘｉ＋Ｂ＋　］　＞θ　　（７）
この方程式によって各入力の簡単な線形変換が行なわれ
、次いで最大値が得られる。この結果を閾値と比較する
ことによって出力が形成される。

この素子は上記リンケージ素子と先行の最大値を記憶す
る第ルジスターを利用して実現することができ、前記先
行最大値は公知のコンパレーターまたは比較ステップに
より、第ルジスターに記憶されている２個の値のうち大
きい方の値と比較される。コンパレーターまたは比較ス
テップを、閾値を記憶している第２レジスターの内容と
を併用することによって最終比較を行なう。

表　　　５ オフセットを含む最大閾値 ２入力の場合 Ｚ＝（０，１）　　Ｚ＝（−１，１ 関　　　数　　　＾ｘ　　ａｘ　　Ａｙ　　Ｂｙ　　θ
　　　＾ｘ　　ｅｘ　　Ａｙ　Ｂｙ真　　　　　　　０
０００−１　　　００００偽　　　　　　　００００１
　　　００００ｘ　　　　　２−１００１　　１０００
ｙ　　　　００２−１１　　００１Ｏ ＮＯＴ　ｘ　　　　−２１００１−１０００１０丁　ｙ
　　’　　　　　００−２１１　　　　０Ｏ−１０ｘ　
　ＡＮＤ　　ｙ　　　　不　　　可　　　能　　　不　
　　可（ＮＯＴｘ）ＡＮＤｙ　　不　　　可　　　能　
　　不　　　可ｘＡＮＤ　（ＮＯＴｙ）　　不　　　可
　　　能　　　不　　　可（ＮＯＴｘ）ＡＮＩ）　　　
不　　　可　　　能　　　不　　　可（ＮＯＴｙ） ｘＯＲｙ　　　　　　２−１２−１１　　　１０１０（
ＮＯＴｘ）ＯＲｙ　　　−２１２−１１−１０１１ｘＯ
Ｒ（ＮＯＴｙ）　　　　２−１−２　１　１　　　１　
０−１　０（ＮＯＴｘ）ＯＲ−２１−２１１−１０−１
０（ＮＯＴｙ） ｘ　　ＸＯＲｙ　　　　不　　　可　　　能　　　不　
　　可ｘ　　ＥＱＶ　　ｙ　　　　不　　　可　　　能
　　　不　　　可表５から明らかなように、ダイアデイ
ック処理素子の場合、最大閾値関数からは１０個の論理
関数が得られるだけである。

ここでも厖大な個数の係数とこれに対応する大きい記憶
量を軽減するためにはＢ係数を省けばよい、その結果オ
フセットのない方程式８に示すような最大閾値が得られ
る。

ｙ−ＭＡＸ　［Ａ＋　Ｘｓ　］≧θ　　　　（８）この
素子またはアルゴリズムは各入力と対応の重みとの積を
求め、次いで最大値を見出す。この結果を閾値と比較す
ることによって出力を形成する。上述した装置部分集合
でこのノードを実現することができる。

（以　下　余　白） 表　　　６ オフセットを含まない最大閾値 ２入力の場合 （０，１）　　Ｚ−（−１、 Ａｙ　θ　Ａｘ　　Ａｙ ｏ−ｔｏ。

０　１　０　０ −１　　１　　１　　０ １　１　０　１ 可　　　能　　−１０ 可　　　能　　　０−１ 可　　　能　　　不　　　可 可　　　能　　　不　　　可 可　　　能　　　不　　　可 可　　　能　　　不　　　可 − 関　　　数　　　Ａｘ 真　　　　　　Ｏ 偽　　　　　　Ｏ １ ｙ　　　　　　−ｔ ＮＯＴ　ｘ不 ＮＯＴ　ｙ不 ｘ　ＡＮＤ　ｙ不 （ＮＯＴｘ）ＡＮＤｙ不 ｘＡＮＤ　（ＮＯＴｙ）不 （ＮＯＴｘ）ＡＮＤ不 （ＮＯＴｙ） ｘ　　ＯＲｙ　　　　　　ｔ （ＮＯＴｘ）ＯＲｙ不 Ｘ０Ｒ（ＮＯＴ！ＩＴ）不 （ＮＯＴｘ）ＯＲ−１ （ＮＯＴｙ） ｘ　ＸＯＲｙ不 ｘ　ＥＱＶ　ｙ不 １　　　　１　　　　１　　　　１ 可　　　能　　−１１ 可　　　能　　　　１−１ −１０−１−１ 可　　　能　　　不 可　　　能　　　不 可　　　能 可　　　能 表６から明らかなように、オフセットを含まない最大閾
値関数からは真偽を表わすために設定された値に応じて
１０個または６個の論理関数が得られる。いずれの場合
にも閾値関数はＮＡＮＤを含むからこれらの処理素子か
ら成るネットワークにおける普遍素子である。

本発明の確率論でいうところの最小閾値関数は方程式９
を用いて得られる。

ｙ＝ＭＩＮ　　［Ａ＋　　Ｘｉ　　＋Ｂ＋　　３＞、θ
　　　　（９）この素子またはアルゴリズムは各入力の
簡単な線形変換を形成し、最小値を見出す。この結果を
閾値と比較することによって出力が形成される。

この素子は上述した個別部品またはステップを用いて実
現することができる。

（以　下　余　白） 表　　　７ オフセットを含む最小閾値 ｙ＝（ＮＯＴ　　ｘ）ＡＮＤ（ＮＯＴ　　ｙ　）であり
、従ってこの素子は普遍である。

ここでもＢ係数を省くことによりて係数の個数を減らし
、方程式ｌＯで表わされるようなオフセットを含まない
最小閾値関数が得られる。

Ｙ＝Ｍ　Ｉ　Ｎ　［Ａ＋　Ｘｉ　］　＞θ　　　　　（
１０）この素子またはアルゴリズムは各入力と対応の重
みとの積を求め、次いで最小値を見出す、出力はこの結
果の値を閾値と比較することによって形成される。ここ
でも上述した個別部品またはステップを利用してこのノ
ードを実現することができる。

（以　下　余　白） 表７から明らかなように、最小閾値関数からはダイアデ
イック処理素子の場合ＮＯＲを含む１０個の論理関数が
得られるだけである。ｘ　　ＮＯＲオフセラ Ｚ　＝ 関　　　数　　　Ａｘ 真　　　　　　Ｏ 偽　　　　　　　Ｏ Ｘ不 ｙ不 Ｎ０Ｔｘ　−Ｉ ０ＴｙＯ ｘＡＮＤｙ　１ （ＮＯＴｘ）ＡＮＤｙ不 ｘＡＮＤ　（ＮＯＴｙ）不 （ＮＯＴＸ）ＡＮＤ−１ （ＮＯＴｙ） ｘ　ＯＲｙ不 （ＮＯＴＸ）ｏｎｙ不 ｘＯＲ（ＮＯＴｙ）不 （ＮＯＴｘ）ＯＲ不 （ＮｏＴｙ） ｘ　ＸＯＲｙ不 ｘ　ＥＱＶ　ｙ不 表　　　８ トを含まない最小閾値 ２入力の場合 （０，１）　　Ｚ＝（−１、 Ａｙ　θ　Ａｘ　　Ａｙ −１００ ０１００ 可　　　能　　　　１０ 可　　　能　　　０１ ０−１０ １００−１ １　　　　１　　　　１　　　　１ 可　　　能　　−１１ 可　　　能　　　１　　−１ −１０−１−１ 可　　　能　　　不　　　可 可　　　能　　　不　　　可 可　　　能　　　不　　　可 可　　　能　　　不　　　可 可　　　能　　　不　　　可 可　　　能　　　不　　　可 表８から明らかなように、ダイアデイック処理素子の場
合、この最小閾値関数、アルゴリズムまたは素子は真偽
を表わすため設定された値に応じて１０個または６個の
論理関数を形成する。この閾値関数はＮＯＲを含むから
、これらの処理素子から成るネットワークにおける普遍
素子である。

既に述べたように、従来のニューラル・ネットワーク素
子（パーセブトロン）から成る３層ネットワークは任意
の意志決定問題を解くことができる。３層の場合、ニュ
ーラル・ネットワーク・コミユニティ−はエラー・バッ
ク・プロパゲーションに基づく種々の学習ルーチンの１
つを利用してかくれ層の処理素子に対する重み割り当て
の問題を解決しなければならなかった。この問題は従来
のニューラル・ノード素子が線形分離可能な問題しか扱
えないことに起因する。既に表３に関連して述べたよう
に、本発明は線形分離可能な問題を扱うだけでなく線形
分離可能な問題をも扱うネットワーク素子またはノード
を提供する。従って、方程式５に示した本発明の処理素
子は従来は３層ネットワークによって解決され、意志決
定が下された問題のすべてを第４図に示すような２層で
解決し、意志決定することができる。かくれ層が存在し
ないから、本発明は重みを適応させるためにエラー・バ
ック・プロパゲーション・ルーチンを必要としない、即
ち、本発明は出力層に入る重みを、例えばクラシックな
漸次降下または後述する好ましい学習アルゴリズムのよ
うな簡単な最適化ルーチンを用いて適応させることがで
きる。Ｎ３図に示すように処理素子が簡単であり、しか
も問題を解くのに必要な層数が少ないから、本発明では
いかなる意志決定の問題をも迅速に解くことができる。

本発明の詳細な説明するため、クラシックな排他的論理
和の問題を例に取って、従来のニューラル・ネットワー
ク素子がこの問題を解くのに３層ネットワークを必要と
するのに対して本発明は線形分離不能な問題をも２層で
解けることを論証する。第５図は方程式２を実行する従
来の処理素子を利用して排他的論理和の問題を解く場合
の一例を示す、この２ビット排他的論理和ニユーラル・
ネットワークにおいては第１層の各ノード７０が同じ重
みを付けられたビットの１つを受信し、各ノード７は同
じ閾値を有する。第２層では入力に対する重み付けＡが
それぞれ異なり、閾値は同じである。第３層では入力に
対する重みが同じである。この例からも明らかなように
、３層が必要である。第６図は同じ問題を第３図の処理
素子６０を用いたニューラル・ネットワークによって解
く場合を示す、この解決法では、第１層における線形変
換の重み及びオフセットはどちらの１ビット入力に対し
ても同じである。第２層のノードはリンケージ線形変換
処理の過程でそれぞれ異なる重み及びオフセットを付加
し、閾値と比較する前にリンケージ出力を乗算する。

第７図に示すように、確率を入力とする２進判断ツリー
の形にニューラル・ノードを構成することによって本発
明を実施することもできる。

同様に、２進ツリー及び層以外の構造、例えば、リング
、スターまたはカラム・ネットワークとして構成するこ
とも可能である。２進ツリー構造は好ましくは上記出願
０確率に基づく推論システム“に記載されているように
実施する。この場合、判断の閾値関数はツリー構造中に
マツプされているから、方程式５で表わされる閾値比較
演算を省くことができる。確率に基づく２進ツリー構造
の長所は確率論に関する法則に従って情報に対して数学
的な演算を行なうことにある。入力を線形変換し、例え
ば、直接探索のような学習方法で２進ツリー構造におけ
る積演算を用いて入力を結合するノードの組み合わせが
適応確率推論システムを形成する。このような確率に基
づく判断ツリー構造は従来のニューラル・ネットワーク
やその他のエキスパート・システム構造と異なり、本来
的に確認可能かつ検証可能である。この適応確率推論シ
ステムはホスト・コンピューター８６により簡単な入力
記憶ノード８５を介して、直接パターン探索学習アルゴ
リズムによって形成された重みを有する入力を学習する
ことができる。

第７図に示すような２進ツリーに第３図のノード素子６
０を使用する場合、極めて強力であるにも拘らず、素子
６０は確率に基づく２進ツリー・ネットワークの入出力
層における証拠固めには不適当である。従って、入力層
８２及び出力層８４における情報結合に適した処理素子
８０またはアルゴリズムが必要になる。

第７図に示すような確率に基づくネットワークの入／出
力層において生入力データを同化し、いくつかの異なる
推論ラインからの出力結果を統合するためには、方程式
１１に示す機能を行なう確率に基づく加重合計処理素子
を利用する。

ｙ　＝　Σ　（Ａ＋　　Ｖ　　Ｉ　）　　　　　　　　
　　　　　　　　　　（１１）ｌｌ ただし、ｙｉは線形変換でもべき級数展開でもよい、入
出力処理素子として有効であるためには、方程式１１の
重みが方程式１２に示すように制限されねばならない。

ΣＡム＜　１　　　　　　　　　　　（１２）ｉ冒１　
　− 第８図は第７図のネットワークにおける入／出力層のノ
ードとして好適な確率に基づく加重合計処理素子を示す
、この素子は方程式３及び４の機能を行なうリンケージ
・ユニット９４及び方程式３．４の結果を合計する合計
ユニット９６を含む。学習素子９８の機能、即ち、フィ
ードバック・アルゴリズムについては詳しく後述する。

従来のニューラル・ネットワーク処理素子が論理信号で
作用するのに対して確率に基づく加重合計処理素子はマ
ルチ・ビット信号Ｐｉ、Ｐ２・・・・で作用する。また
、従来のニューラル・ネットワーク処理素子が第２図に
示すように変換関数を必要とするのに対して、第８図の
確率に基づく加重合計処理素子は必要としない。この新
しい処理素子を確率に基づくニューラル・ネットワーク
に使用することにより入／出力層における必要な事前処
理または事後処理を行なうことができる。

ニューラル・ネットワークにおける学習アルゴリズムは
ニューラル・ネットワークに、入り信号に付加される重
みを変えることによって環境変化に適応する能力を与え
る６本発明が利用する学習アルゴリズム（６６／８８）
はＪｏｕｒｎａｌ　ｏｆ　ｔｈｅＡ（：Ｍ、　ｖｏｌ、
８．　ｐｐ、２１２−２２９に掲載されたＲｏｂｅｒｔ
）１ｏｏｋｅ及びＴａｒｒｙ＾、　Ｊｅｅｖｅｓ　（１
９６１）の”　’ＤｉｒｅｃｔＳｅａｒｃｈ’　　５ｏ
ｌｕｔＩｏｎ　　ｏｆ　　Ｎｕｍｅｒｉｃａｌ　　ａｎ
ｄ　　５ｔａｔｉｓｔｉｃａｌ　Ｐｒｏｂｉｅ＋＋ｓ″
において取り上げられ、最適化に間する本願関連の出願
に詳述されているＨｏｏｋｅ／Ｊｅｅｖｅｓ直接探索ア
ルゴリズムであり、両文献共にその内容を本願明細書の
一部を形成するものとして引用した。この直接探索アル
ゴリズムはネットワークの費用関数を最適化し、広く採
用されているエラー・プロパゲーションに関するデルタ
法よりも迅速かつ確実である。直接探索アプローチはた
とえ費用関数が不連続であっても、また、関数パラメー
ターが極く限られた離散値を取る場合であっても有効で
ある。直接探索アプローチは問題の解に収斂する一連の
試行的解を求める戦略である。特に有効な直接探索ルー
チンは第９図にそのフローダイヤグラムを示すパターン
探索である。

このパターン探索は１つの試行点から他の試行点へ移行
する際に２種類の移動を利用する。第１のタイプは知識
を得るための小さい探査移動、第２のタイプは移行する
ーための大きいベクトル８勤、即ち、パターン移動であ
る。パターン移動の方向は先行の探査及びパターン移動
から得られたすべての知識を統合した結果である。パタ
ーン探索のための全面的な戦略及び作戦は上記論文に記
載されている。ネットワークによる実行または診断サイ
クルに続いて、ホスト・コンピューター８４は初期ベー
ス・ポイントにおける関数評価からスタートする。次い
で学習アルゴリズムは探索のための適正なステップ・サ
イズが求まるまで循環するループに入る。最初のステッ
プとしてベース・ポイントにおいてスタートし、探査移
動を行なう。ネットワークの重み係数を変えながら探査
移動が行なわれた後、評価がなされる。この評価によっ
て関数値がベース・ポイントにおける関数値以下である
か否かが判定される。即ち、このアプローチは最適解に
おける極小を求めるものである。もし現在値がベース・
ポイントにおける関数値よりも小さくなければ、ステッ
プ・サイズが充分小さいかどうかの判定がなされる。充
分小さくなければ、ステップ・サイズが縮小され、再び
ループがスタートする。もし関数値または費用関数が低
ければ、新しいベース・ポイントが設定され、パターン
移動が行なわれる。パターン移動が行なわれたら、関数
値のテストに続いてさらに探査移動が行なわれる。本発
明のノードに使用される重みＡ及び係数Ｂを求めるにパ
ターン直接探索を利用する方法についてはニューラル・
ネットワーク最適化に係わる関連出願にその詳細が開示
されている。

以上の説明は方程式５の稜間値演算・、方程式６−１０
の変形、及び入出力演算のための方程式１１を行なう処
理素子６０を中心に述べた。これらの素子はマルチビッ
ト個別バスワイド部品、ソフトウェア・ルーチン及び専
用プロセッサーの形で実施することができる。線形変換
入力信号に作用する極めて高速の稜間値素子を得るため
には、専用の論理素子成分ノード６０を構成すればよい
０次にプログラマブル・ダイアデイック処理素子の６通
りの実施例及び上記稜間値演算を行なうプログラマブル
収縮処理素子の一実施例のための２進論理ユニツトを説
明する。これらの論理ユニットは従来のニューラル・ネ
ットワークのパーセブトロンの代りに使用することがで
きる。

ダイアデイック処理素子は下記の変換を行なう。

（（ａ　　−ｘ＋ｂ）・（ｃ　　−ｙ＋ｄ）＞θ）　　
−ｚ　　（１３）係数ａ、ｂ％Ｃ及びｄは１乃至２ビッ
トで表わすことができるが、閾値θ、入力バラメーター
Ｘ及びｙ、及び出力変数２は１ビットで表現できる。

ａ、ｂ、ｃ及びｄの値は上記各表から、または上記直接
探索法を適宜利用して求めることができる。

方程式１３の関数の内部表示は第１０図に示す３３ゲ一
ト回路によってすべて行なうことができる。この回路は
バイポーラ−技術を利用すれば毎秒２５０，０００．０
００　イ’、ｔターコネクトで、ＶＬＳ　１技術を利用
すれば毎秒２５，０００，０００インターコネクトで動
作することができる。

もっとコンパクトな表示方式としては、線形変換入力信
号に対するシグナム関数演算を利用することによって回
路設計を改良する。第１１図に示すように、８ゲートの
プロパゲーション遅延を有する２６ゲ一ト回路がこの目
的を満たし、バイポーラ−技術を利用すれば毎秒２５０
，０００，０００インターコネクトで、ＶＳＬＩ技術を
利用すれば毎秒２５．０００．０００インターコネクト
で動作することができる。

さらに改良を加えたコンパクトな内部表示装置では出力
段を組み合わせることによってゲート・カウントを減ら
し、処理をスピードアップする。

第１２図に示すように、方程式１３を実行する、プロパ
ゲーション遅延が６ゲートの２５ゲ一ト回路を利用する
が、この回路はバイポーラ−技術を利用すれば毎秒３３
０，０００，０００インターコネクトの速度で、ＶＬＳ
Ｉ技術を利用すれば毎秒３３．０００，０００インター
コネクトの速度で動作することができる。

入力段に変更を加え、出力段を組み合わせてゲート・カ
ウントを減らした特殊なコンパクト内部表示装置を第１
３図に示す。これは１５ゲート回路であり、ゲート遅延
及び速度特性は第１２図と同じであるが、占有スペース
は第１２図の場合よりも狭い。

方程式１３を実行するプログラマブル論理処理素子の他
の実施例は入力段を組み合わせることによってフラッシ
ュ線形変換を行なう。第１４図に示す実施例はプロパゲ
ーション遅延が４ゲートの１９ゲ一ト回路であり、バイ
ポーラ−技術を利用すれば毎秒５００，０００，０００
インターコネクトの速度でＶＬＳＩ技術を利用すれば毎
秒５０，０００，０００インターコネクトの速度で動作
できる。

第１０−１４図に示すように段の組み合わせを増やせば
最終的には第１５図に示すような方程式１３の演算を行
なう表索引プログラマブル論理処理素子が得られる。Ｉ
　ＮＳ７入力は実行すべき表３中の機能を選択する。こ
のニューラル・ノード素子は必然的に速度を増大させ、
入力線の数を減らし、プロパゲーション遅延が２ゲート
の２２ゲ一ト回路が得られ、この回路はバイポーラ−技
術を利用すれば毎秒１．０００．０００．０００インタ
ーコネクトの速度で、ＶＬＳＩ技術を利用すれば毎秒ｔ
ｏｏ　、　０００．０００インターコネクトの速度で動
作することができる。表索引アプローチは極めて高速で
はあるが、入力数及び所要の出力組み合わせ数と共に回
路サイズが増大するから多重入力処理素子としては不適
当である。

第１５図に示すフラッシュ・プログラマブル論理処理素
子はフラッシュ線形変換を行なう多重入力処理素子の構
成に好適な構成要件、を具えている。線形変換はアルゴ
リズムの中枢であり、方程式１４１，７従って収縮タイ
プの装置で行なわねばならない。

（（−１）θｙｃ　ｓｉｇｎｕｍ（ａ　、　ｘ　ｒ　＋
　ｂ　＋）≧１）−ｚ（１４）＋１１ま ただし、シグナム関数はもしその引数がＯならＯを１個
戻し、もしその引数が正なら０を１個戻し、もしその引
数が負なら−１を１個戻す。

線形変換係数ａｌは２ビットで表わすことができるが、
符号制御θ、入カバラメーターＸｌｂ線形変換オフセッ
トｂ１及び出力変数Ｚはそれぞれ１ビットで表わすこと
ができる。第１６図に示すように、プロパゲーション遅
延が各入力ごとに４ゲート＋出力における２ゲートであ
る２０ゲ一ト回路は方程式１４の機能を行なうことがで
きる３２入力装置を形成する。この回路の上半分は入力
Ｘを線形変換し、下半分に記憶されている先行の結果を
乗算する。演算の過程で先行演算の符号及び絶対値がフ
リップフロップに記憶される。

次の入力群がロードされると、結果が処理され、乗算入
力がトグルされるとフリップフロップの内容を乗算され
る。開始入力がフリップフロップを、絶対値１、符号Ｏ
で初期設定する。自伝のように、この回路は上半分が処
理し、下半分がメモリーとして作用する収縮タイプの素
子である。

第１６図に示すような回路はバイポーラ−技術を用いれ
ば毎秒２４０，０００，０００インターコネクトの速度
で、ＶＬＳ　Ｉ技術を用いれば毎秒２４．０００　、Ｇ
ｏ。

インターコネクトの速度で動作することができる。

各チップに５０，０００個のゲート、１２８個の処理素
子を形成し、各処理素子ごとに３２インターコネクトの
割合で記憶されることができる。

従って、本発明を第１６図に示すように実施すれば、公
知のニューラル・ネットワーク・チップ１０個分を１個
のチップに集約することができる。第１０−１６図の処
理素子を利用するネットワークは例えばカリフォルニア
州サン・ホセのＸｌｌｌｎＸ社製品のようなプログラマ
ブル・ゲート・アレイを使用することによって容易に試
作することができる。従って、第１６図のノード構成は
第１．４及び７図に示すニューラル・ネットワークにお
ける並行処理に理想的である。表９は第１０−１６図の
処理素子構造の比較である。

（以　下　余　白） 表　　９ 処理素子特性の比較 相互接続速度 回路　　ゲート・カウント　？延　バイポーラ−ＶＬＳ
Ｉ　　サイズ　　　メリット構造　　　　　　　　　　
　　ゲート）　　　（Ｍｈｚ）（Ｍｈｚ）（ゲート）（
ゲー）／Ｍｈｚ）フル白部　　　　３３　　　　８　　
　　２５０　　　２５　　４７．０　　１．９６表ホ もし速度を重視し、占有スペースを問題にしないなら、
ダイアデイック処理素子として第１５図の表索引プログ
ラマブル論理処理素子が理想的である。逆に占有スペー
スを重視し、速度を問題にしないなら、第１３図の特殊
コンパクト内部表示構成が最適である。速度も占有スペ
ースも等しく重視するなら、第１４図のフラッシュ・プ
ログラマブル論理処理素子が最適である。３入力以上の
場合、占有スペースを最小限にするには第１６図のプロ
グラマブル収縮タイプ処理素子が最適である。３入力以
上の場合、速度を重視し、占有スペースを問題にしない
なら、第１５図に示す表索引処理素子が最適である。

本発明の線形変換は第１７図に示すような配線式個別部
品ゲート１３０で行なうことができる。

このゲート１３０は２つの含意素子１３２．１３４を含
み、各含意素子は例えば定数レジスター１３６．１３８
、乗算器１４０及び加算器１４２を含む。これらの個別
部品は整数部品であることが好ましいが、必要なら浮動
小数点部品であってもよい。含意素子の出力は乗算器で
ある結合素子１５２によって結合される。このゲート１
３０の詳細については上記出願“確率に基づく推論シス
テム”を参照されたい。

有限べき級数展開は Ｘａ　”Ａａ　＋Ａ＋　Ｘ’　＋”ＡｎＸ”　　（１５
）で表わされる。この多項式の次元は利用可能な遊休時
間、含意関数または含意集合の表現精度及び係数記憶に
利用できるスペースの兼ね合いで決定される。高次元関
数は線形変換の積で表わすこともできる。

ＸＯ＝　ｒｔ　　［ｂ　ｒ　　＋　ｃ　ＩＸ］　　　　
　　　　　　　　（１６）１１１ 第１．７図のゲート１３０は基本的には２つの線形変換
を掛は合わせる機構であるから、第１７図に示すゲート
１３０のような線形ＡＮＤゲート１６２に両入力から同
じ信号が供給されると、第１８図に示すように、２次Ａ
ＮＤゲートが構成される。べき級数展開ゲート１６０は
直列接続された３個の２次ゲート１６２−１６６から成
る。

第１９図に示すように、ゲート１６２．１６６は１対の
定数を記憶するための例えばレジスターのような記憶ユ
ニット１６８．１７０．及び入力信号を第１定数と結合
するための乗算器１７２．１７４を含む、加算器１７６
．１７８が第２定数を乗算結果と結合し、乗算器１８０
が加算結果を結合することによって高位出力を得る。

べき級数展開は下記帰納式で表わすことも可能である。

ＹＭ＋＋　　−ＡＭ−Ｉｌｌ　◆　ＹＭＸ、ＹＯ−０、
０≦Ｍ　　＜８　　　（１７）Ｘ６−　”ｌＨ＋Ｈ−＾
ｏ”［Ａ＋＋［Ａ２＋［Ａｉ＋［Ａ４＋［ＡＳ　　＋［
・・・・ＩＸｉＸｉＸｉＸｉＸ］Ｘ　　　　　（１８）
高位ＡＮＤ関数を得るためのこのアプローチは第２０図
に示すようなゲートを用いて実現することができる。こ
のゲート１９０は２つのべき級数展開ユニット１９２．
１９４及び乗算器１９６を含む、各べき級数展開ユニッ
トは入力信号−時記憶装置１９８、上記方程式の定数Ａ
ｉを記憶するレジスターまたはメモリー２００、及び帰
納的な加算、乗算及びフィードバックを行なうための乗
算器２０２、加算器２０４及び記憶装置２０６を含む。

第１８図及び第２０図に示す方法はいずれも例えばバス
ワイド乗算器及び加算器のような個別バスワイド・ユニ
ットによって実施することができ、演算を行なう単一処
理ユニットにおいて実施することもできる。例えば、下
記方程式１９をコンピューターによフて実行する場合、
第１８図のゲートが機能することになる。

Ｘｏｕｔ＝（ΣＡＩＪＸｉ　）　　（ΣＡ＋ｈＸｋ）　
　（１９）本発明の処理素子は従来のＡＩ（エキスパー
ト）システムまたはニューラル・ネットワーク・システ
ムの確率推論を改善するのに利用できるだけでなく、画
像認識、２Ｄまたは３Ｄ作像、レーダー追跡、磁気共鳴
作像、ソナー追跡及び地震地図作成のため情報または信
号を結合する機構をも提供する。

本発明はニューラル・ネットワークを構成するための処
理素子を提示した。この処理素子は線形変換された入力
信号の積を求めるものであり、コンパクトな、高速ニュ
ーラル・ネットワークを構築するように構成されている
。この処理素子は線形分離可能な論理関数だけでなく、
線形分離不能な論理関数をも形成するから、従来のニュ
ーラル・ネットワーク処理素子よりもはるかにすぐれて
いる。処理素子のべき級数変換方式に伴なう汎用性は任
意の意志決定機能を２層ニューラル・ネットワークで達
成することを可能にする。これは従来のニューラル・ネ
ットワーク処理素子を用いた場合に任意の意志決定問題
を解決するのに必要であった３層ニューラル・ネットワ
ークに比較して著しい改良である。本発明のニューラル
・ネットワークには処理素子のかくれ層が存在せず、そ
の分だけ処理素子の総数が減り、汎用処理素子によって
行なわれるアルゴリズムは極めて簡単であるから、この
汎用処理素子を利用するニューラル・ネットワークは極
めてコンパクトになり、著しく高速化される。本発明の
適応確率推論システムは下記の点で公知のニューラル・
ネットワークと異なる。即ち、（１）処理素子は入力合
計に基づく連続微分可能な出力及び所定の閾値を形成す
るのではなく積を求め、（２）相互接続した処理素子間
を流れる情報に簡単な重み付けをするのではなく、処理
素子間を線形変換またはべき級数変換で相互接続し、（
３）相互接続された大量の処理素子から成る少なくとも
３つの層を必要とし、構造化が乏しい公知二二−ラル・
ネットワークとは異なり、２道ツリー　高度に構造化さ
れたシステムまたは２つの層のカラムとしてエキスパー
ト・システムを構成することがでか、従って、確認、検
証が可能であり、（４）漸次的最適化ではなく直接探索
最適化を採用することにより、解への収斂が従来よりも
はるかに迅速となる。ニューラル・ノードを専用論理ゲ
ートの形で実施することにより汎用方式に比較して著し
く高速化され、超高速動作を必要とするニューラル・ネ
ットワークの課題に応用できる。

以上の詳細な説明から明らかなように、本発明には多様
な特徴及び長所があり、頭書した特許請求の範囲は本発
明の思想及び範囲に該当するこれらの特徴及び長所をす
べて包含するものとする。

さらにまた、当業者にとって種々の変更を試みることは
容易であろうから、本発明は図示、説明した構成及び作
用とそっくり同じでなくともよく、本発明の範囲を逸脱
しない限り、すべての適切な変更及び均等手段に依存す
ることができる。

【図面の簡単な説明】

第１図は、従来のニューラル・ネットワークを示す。 第２図は、従来のネットワーク・ノードを示す。 第３図は、本発明のニューラル・ノードを示す。 第４図は、本発明の２層ネットワークを示す。 第５図は、線形分離不能関数を得るための従来の３層ア
プローチを示す。 第６図は、本発明を利用してＸＯＲ関数を得るための２
層アプローチを示す。 第７図は、ツリー構造ニューラル・ネットワークを示す
。 第８図は、第７図の入／出力ノードを示す。 第９図は、本発明において使用される直接探索学習アル
ゴリズムを示す。 第１０−１６図は、本発明のノードを構成する専用論理
素子を示す。 第１７図は、線形変換素子を示す。 第１８図は、べき級数展開素子を示す。 第１９図は、べき級数展開素子の一実施例を示す。 第２０図は、べき級数展開素子の他の実施例を示す。 ０・・・・ニューラル・ノード ２・・・・べき級数変換ユニット ４・・・・積ユニット ６・・・・直接探索学習アルゴリズム ４・・・・リンケージ・ユニット

Claims (23)

【特許請求の範囲】
1. （１）入力値を変換するための入力手段と；変換入力値
   の積を形成するための結合手段とより成ること を特徴とするニューラル・ネットワーク素子。
2. （２）前記入力手段が各入力値に関して線形変換を行な
   うことを特徴とする請求項第（１）項に記載の素子。
3. （３）前記入力手段が各入力値に関してべき級数変換を
   行なうことを特徴とする請求項第（１）項に記載の素子
   。
4. （４）ｘ＿ｉが入力値を、Ａ＿ｉ＿ｋが定数をそれぞれ
   表わすとして、前記入力手段が ▲数式、化学式、表等があります▼ を行なうことを特徴とする請求項第（１）項に記載の素
   子。
5. （５）ｘ＿ｉが入力値を、Ａ＿ｉ及びＢ＿ｉが定係数を
   、θが閾値をそれぞれ表わすとして、前記入力手段及び
   前記結合手段が ▲数式、化学式、表等があります▼ を行なうことを特徴とする請求項第（１）項に記載の素
   子。
6. （６）直接探索により前記素子にパターンを教示するた
   めのフィードバック手段をも含むことを特徴とする請求
   項第（５）項に記載の素子。
7. （７）ｘ＿ｉが入力値を、Ａ＿ｉ及びＢ＿ｉが定数を、
   ｙ＿ｉが変換値をそれぞれ表わすとして、ｙ＿ｉ＝Ａ＿
   ｉｘ＿ｉ＋Ｂ＿ｉに従って入力値を線形変換する入力手
   段と； ｙが結合値を表わすとして、線形変換値を ▲数式、化学式、表等があります▼ に従って結合する結合手段と； 結合値を閾値と比較し、閾値が満たされれば出力を形成
   する比較手段と； 直接探索により定数の値を求める教示手段とより成るこ
   と を特徴とするニューラル・ネットワーク素子。
8. （８）互いに接続する第１及び第２ニュー ラル・ノード層の各ノードが、ｘ＿ｉが入力値を、Ａ＿
   ｉ及びＢ＿ｉが変換係数を、θが閾値をそれぞれ表わす
   として、 ▲数式、化学式、表等があります▼ を行なうための変換手段から成ることを特徴とするニュ
   ーラル・ネットワーク。
9. （９）直接探索により変換係数の値を求める学習手段を
   も含むことを特徴とする請求項第（８）項に記載のネッ
   トワーク。
10. （１０）Ａ＿ｉが定数を、Ｘ＿ｉが入力値をそれぞれ表
    わすとしてそれぞれが ▲数式、化学式、表等があります▼ を行なう入力ノードから成る入力層と； 前記入力層と接続し、Ｂ＿ｉ及びＣ＿ｉが変換係数を、
    ｙ＿ｉが入力ノードの１つからの値をそれぞれ表わすと
    して、それぞれが ▲数式、化学式、表等があります▼ を行なう変換ノードから成る２進ツリー変換層と； 前記変換層と接続し、Ｄ＿ｉが定数を、ｚ＿ｉが変換ノ
    ードの１つからの値をそれぞれ表わすとして、それぞれ
    が ▲数式、化学式、表等があります▼ を行なう出力ノードから成る出力層とより成ること を特徴とする適応推論システム。
11. （１１）前記変換ノードを２進ツリーとして接続したこ
    とを特徴とする請求項第（９）項に記載のネットワーク
    。
12. （１２）直接探索により変換係数を求めるため前記変換
    層に接続した学習手段をも含むことを特徴とする請求項
    第（１０）項に記載のネットワーク。
13. （１３）ａ、ｂ、ｃ及びｄが２ビット係数を、ｘ及びｙ
    が１ビット入力信号を、θが１ビット閾値を、ｚが１ビ
    ット出力をそれぞれ表わすとして、｛（ａ・ｘ＋ｂ）・
    （ｃ・ｙ＋ｄ）≧θ｝→ｚを行なう論理回路を備えたこ
    とを特徴とするニューラル・ネットワーク・ダイアディ
    ック処理素子。
14. （１４）ａ＿ｉが２ビット線形変換係数を、ｂ＿ｉが１
    ビット線形変換係数を、θが１ビット符号制御を、ｘ＿
    ｉが１ビット入力信号を、２が１ビット出力をそれぞれ
    表わすとして、 ▲数式、化学式、表等があります▼ を行なう論理回路を備えたことを特徴とするニューラル
    ・ネットワーク収縮ダイアディック処理素子。
15. （１５）ニューラル・ネットワークのノードを演算を行
    なう方法であって、それぞれのノードごとに、 （ａ）入力値を変換し； （ｂ）変換入力信号の積を形成する ステップより成ることを特徴とする方法。
16. （１６）ステップ（ａ）が入力値を線形変換することを
    特徴とする請求項第（１５）項に記載の方法。
17. （１７）ステップ（ａ）が入力値をべき級数展開するこ
    とを特徴とする請求項第（１５）項に記載の方法。
18. （１８）積を閾値と比較し、閾値が満たされれば出力を
    形成するステップ（ｃ）をも含むことを特徴とする請求
    項第（１５）項に記載の方法。
19. （１９）ｘ＿ｉが入力値を、Ａ＿ｉ及びＢ＿ｉが係数を
    、θが閾値をそれぞれ表わすとして、ステップ（ａ）−
    （ｃ）が ▲数式、化学式、表等があります▼ を行なうことを特徴とする請求項第（１８）項に記載の
    方法。
20. （２０）ステップ（ａ）が変換係数を利用して線形変換
    を行ない、前記方法が直接探索により変換係数を求める
    ステップ（ｃ）をも含むことを特徴とする請求項第（１
    ６）項に記載の方法。
21. （２１）直接探索により係数を求めるステップ（ｄ）を
    も含むことを特徴とする請求項第（１９）項に記載の方
    法。
22. （２２）ニューラル・ネットワークが入力層及び出力層
    を有し、ｃ＿ｉが定数を、ｘ＿ｉが入力または出力値を
    それぞれ表わすとして、入出力層の各ノードが ▲数式、化学式、表等があります▼ を行なうことを特徴とする請求項第（１６）項に記載の
    方法。
23. （２３）入力値を線形変換またはべき級数変換するため
    の入力手段と； 変換入力値を結合するための結合手段とより成ること を特徴とするニューラル・ネットワーク素子。