JPH0362258A

JPH0362258A - ノード、手順を有する計算用ネットワーク、それを構成するための機械およびその使用法

Info

Publication number: JPH0362258A
Application number: JP2106330A
Authority: JP
Inventors: Stringa Luigi; ルイジ・ストリンガ
Original assignee: Istituto Trentino di Cultura
Current assignee: Istituto Trentino di Cultura
Priority date: 1989-04-21
Filing date: 1990-04-20
Publication date: 1991-03-18
Also published as: EP0393571A1; IT8967294A0; IT1233215B

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】【産業上の利用分野】

本発明は、計算用ネットワークに関する。

【従来の技術】

今日利用できるデータ処理システムのほとんどは、フォ
ノニューマン機構に基づいており、今なお、フレキシブ
ル性、一般の機械およびシステムの使用の実現を可能に
する。プログラム用言語および技術が過去数年で飛躍的
に発展したにもかかわらず、ソフトウェア作成のコスト
および困難性が今日の潜在力を秘めたコンピュータの効
率使用をいまだに最大に制限している。更にはフォン二
二一マンに基づくプログラム可能な機械の本質的な限界
は、問題を解くべくプログラムを開発させるために、ア
ルゴリズムをいかに形式化するかを知ることが必要であ
ることにある。しばしばこの知識は、利用できず、多く
の場合、必要とされる手段が複雑で数も多いために、必
要なアルゴリズムの形式化に重荷となっていた。更には、シーケンス機械の演算能力が十分でない、理論
的で応用可能な関心に対する問題の種類が常により大き
くなっている。これらの限界を進歩的に克服できる解決
法を追及するために、世界中の研究センターや開発研究
所で押し進められた。このようにして、より多くの平行使用を用いた処理様式
の実現に向けて、多数の研究および開発が生まれた。同
時に、このような様式は、はとんど常に、最も変わった
方法により組織化され、平行（同時）に動作する、フォ
ノ・ノイマンの組みに基づいている。このような解決法
は、しかしながら、次の理由のために効果の少ないこと
が証明されている。・既に知られているプログラミングの困難さは、減少し
ないばかりか、必要とされる同期を保って平行に処理す
る必要性により、むしろ増大する。・パラレルに動作するユニット間で伝送するデータは、
平行処理から、部分的でないならばユーザーに利点を与
えない、ハードウェア（データ速度）およびソフトウェ
ア（操作性）のレベルの双方で問題を呈する。いわゆる接続する人は、完全に見捨てられたおよそ２０
年前に戻る、全く異なったアプローチ（ホフファイルド
ネットワーク、ボルツマン機械、コーネンネノトワーク
等）を構成することになる。一部が神経系になるネットワークにより吹き込まれた、
このアプローチは、しきい値タイプの応答を有する極め
て簡単なユニットの複式層のネットワーク上の処理公式
を基礎にする。これらのユニットは、適切な位相のトレ
ーニングの後、個々の入力の刺激に好ましい応答が行え
るように、それらの間に接続される。例えそのようであ
っても、学習は、ネットワークのノードにおける実体の
伝送機能よりもむしろ、接続の“重み”を変えることに
より、一般に動作する。このことが単純な問題に対して
も必然的にかなりに複雑化させ、処理能力を劇的に制限
する。更には、長くかつ費用のかかるネットワークの際
プログラミングはいうまでもなく、効果迅速な収束を有
する効果的な学習手順の開発を困難にさせる。この発明は、上述した限界を克服できる方法論およびデ
ータ処理システムを開発することを目的とする。より詳
細には、その目的は、プログラミングに対する“学習”を簡単かつ効率のよい
ものに置き換えることにより、ソフトウェア開発の必要
性を排除し、未知のアルゴリズム的な解決に対する問題解決を可能に
し、今日利用できるものより著しく優れた効率のよい計算能
力を得る、処理を提供することにある。

【課題を解決するための手段】

総合していえば、この発明による解決は、適切なアルゴ
リズムを知ることなく、ましてや形式化する必要性なく
、個々の計算公式を実現でき、そして解決手法を学ぶこ
とのできる、決定し形成する手段の能力に基づく。ユー
ザーによる特殊な“プログラミングは不要である。この
発明にかかわり、それに由来する機械の組みは、更には
極めて高い処理能力を有し、問題の複雑さとは無関係に
実行時間を保証する。これらの機械は、他のものの間で
、学習する位相の終わりに得られた構成がメモリに記憶
されるのを可能にし、そして、形成され、かつ容易に再
ロードされるライブラリーの構成を可能にし、そして、
通常のコンピュータと同じ柔軟性を与える。より詳細には、この発明は、接続するネットワークと少
し類似する接続位相を有するデータ処理ネットワークを
実現させる構想に基づくものであるが、能動接続は可変
の重みを持たない。このネットワークのノー゛ドは、要
求される伝送機能の実現を可能にするために、位相を学
習する間に調節される、類似のユニット（ＳＯ）である
。発明されたＳＵの構造は、あらゆる伝送機能が実現さ
れるのを可能にし、接続する例と完全に逸脱している。この発明の対象でもある学習の手順は、上述したような
プログラミングを必要とすることなく、問題を処理する
あらゆるデータを解決するために、ネットワークがトレ
ーニングされることを可能にする。発明されたネットワ
ークは、ネットワークの内部層に対応する連続的な変換
を実行して、入力データのスペース（あらゆる物理的な
実現に関するもの：認識するためのイメージ、サンプル
信号、アルゴリズムの入力データ等）を出力データのス
ペースに変換できるシステムのモデルである。より詳細には、入力データの構成を示すポイントである
、入カニニットのスペースから、一つがネットワーク接
続により、通過して、新しい要素として再記述されるポ
イントである、より内部のスペースに至る。この手順は
、それ故、出力ユニ、ットの層に対応するスペースに達
するまで、この新しいスペースを連続的なスペースに変
換するのに適用される。発明（特許によりカバーされる）に含まれるネットワー
クのトレーニング手順は、階層的な学習に基づいており
、統計的な重要な入力データ構成の組みがネットワーク
に対して入力として与えられ、対応する所望の構成（デ
ータ処理の所望の結果）が出力として提供される。各々のネットワークのノードは、その人カポインドで各
々の異なった構成に対して、次の文章で述べる方法を用
いて結合した入力−出力コードを発生する。その手順は
、ネットワークの最上層、即ち、データ出力層へ伝播す
る。上記層のノードの各々に対して、結合したコードは
それ故、これらの処理したものである（直接の学習）。この位相の終わりで、一つが、結合が常に同一の出力コ
ードを生み出すこれらのコードの取り替えを行う。各々の処理問題は、それ故、それぞれ形成され、かつト
レーニングされた同一のネットを有する。各々に対して決定されることとして、・複数の層。・各々の層における複数の層（ＳＯ）。・接続。・一般用途のデータ処理システムを得るために、それ故
、その度ごとにハードウェアを構成することなく、ある
ネットワークを形成できる様式を設計および実現ことが
必要である。この発明の権利範囲でもある、このような
様式（機械）を組みは、モジュラ−の層構成に基つく。各々の層は基本的に、・層のノード（ＳＵ）。・接続管理システム（ＣＭ　Ｓ　）。・通信バスシステム。・層制御ユニット（ＬＣＵ）。からなる。ネットワークの各々の層もしくは階層的な層に対するＣ
ＭＳは、先の層のＳＵ出力部に接続されたその入力部と
疑問のある層のＳＵに対する出力部とを有する。これは
、本質的にＬＣＵの制御したで要求されるすべての接続
の実現を可能にする、スイッチングバンクである。層の
数および各層に対するＳＵの数は、システム制御ユニッ
ト（ＳＣＵ）の制御下で完全にプログラム可能である。このユニットは、又、オペレータおよび標準ペリフェラ
ルおよび要求された時の処理を有する、機械のインタフ
ェースを管理する。

【実施例】

本質的に、ネットワークは、開示された原理に従って構
成され、（類似のネットもしくはＳ−ネッと、添付した
図面内で１に分類された）は、階層的な構造であり、そ
のノード（ＳＵ）は、いずれかの伝送機能を実現する電
子計算的な要素である。第１図は、例として、３層を有
する１次元のネットワークを示し、層のＳＵは、３入力
ポートと１出力ボートを有する。ＳＵは、それらの伝送機能ｆｉｊが決定されたとき、完
全に決定される。当然、ｆｉｊの伝送機能は、理論的に
一層から他の層もしくは同一の層内であっても変化する
。一般に同じ層数、ネットワークのサイズ、及び入力及
び／又は出力ポートが、指定された要求及び問題の性質
に従って変化するということが理解される。又、ネット
ワークは、一つの３０以上に対する共通の入力ポーと、
異なった層間の接続、フィードバック等を備えてもよい
。一般に、ネットワークｌはその位相の構造により、およ
び構成されるＳＵの伝送機能により直接に決定される。第２図は、限定しない例として、４層、２次元のネット
ワーク１を示しており、二つの入力ポート及び一つの出
力ポートを有するＳＵからなる。もし必要ならば異なる数の入力および出力ポートを有す
るＳＵを備えた、２次元のネットワークの位相は、２次
元構造およびデータを処理することや、例えば、画像処
理９画面の解析および認識の認識に特に適するというこ
とがわかる。一般にこれらの問題において、同一の層の
すべてのＳＵは、同一の伝送機能を、もつべき／もって
もよい。このことは更に学習処理を簡素化し、ユニット
の層に配分されるメモリ量を減じる。その場合、全体の
層に対して一つのメモリを共有できるようにＳＵを構成
することも可能である。学習方法一般にこれらのネットワークは、学習および処理の面の
双方において、いくつかの可能な機能モードを有する。記述の簡略化のために、この発明によりカバーされるい
くつかの学習方法を、第３図に示したような、ｎ（ｎ≧
２）層、２入力ポートおよびｌ出力ボートを有する１次
元のネットワークに対して述べる。１、直接学習の決定法ネットワークへの入力として、それ故、第１の層ＳＵへ
の入力ＩＮとして、学習の組み（ＬＳ）に属するデータ
構成が直列的に送出される。当然、ＬＳは処理問題のた
めに不変のデータとして表さなくてはならない。第３図
に示したように、第１の層ＳＵは、その入力部の各々の
ペアーに対してコード（例えばＯないしに−１，にはＬ
Ｓの個別のペア数）を割り当てる。このようにして、学習組みＬＳを構成するすべてのデー
タ、例においては値Ｘ　Ｉｎ　Ｘ　！＋　Ｘ　３＋　Ｘ
　４を有するＬＳ内の４つは、ＳＵによりコード化され
る。このコード化は、要求する各ＳＵにより有利に実行
され、こられの各々に対して変換コードのマトリックス
Ｅｊ（０：　Ｋ　−１，０：　ｋ　−１）を構成する。このようなマトリックスは、明らかなように、相対的な
伝送機能ｇｉを表す。一つが、第１のネットワーク層で
生じたコードを有するＬＳをコード化する。相対的な出
力が次層の入力を構成する。以下の層に対しては、最後
から２番目の層まで、第１の層と同じように進行し、し
かし、先の層のペアーの出力に作用する。最終には、最
後の層でＬＳの出力コードと、先行する層で生じたこれ
らから抽出された各ｊのペアーと結合される。この時点で、ネットワークがトレーニングされ：形状に
対応せず、割り当てられないコードが“分類不可能”と
宣言される。このような手順は、いくつかの入力および
出力ポートを有するＳＵやいくつかの層を有するネット
ワークに容易に一般化される。２、統計的直接学習すべてのデータの表示（この時期では統計的の意味）が
基本である、学習組みＬＳに対して、ネットワークの底
層における入力部の信号のペアーの統計的頻度が実行さ
れる。（ここで“信号のペアー”は、ネットワークのＳ
Ｕが２入力のボートを有するというところで論じられて
いる）。この基礎に基づき、組みしきい値を越える総合
の頻度を有するペアーが抽出され、コード（次に利用で
きる、例えばＯからに−１，にはこのようなペアー数）
が割り当てられる。他のすべてのペアーは、未分類とみ
なされる。その手段は、上述したように、コ−ド化マ）
’ＪックスＥ（０：に−１，０：ｋ　　ｌ）を満たすこ
とよりなる。この手順は、次に学習決定として、ネットワークの最上
部までの連続した層に適用され、そこで所望のコードカ
咄力値として出力される。この手順が終わったとき、ネ
ットワークは、統計的にトレーニングされる。学習の表
示及び真価は、上述した頻度しきい値により決定される
。明らかに、これらのしきい値の１への傾向は、決定の
学習と一致させるために、統計的の学習に導く。３、距離に基づく直接学習この手順は、制限されたＬＳ（統計的な入力信号を示す
ものであっても）ネットワークのより完全なトレーニン
グを可能にする。更にほこのことは、ＬＳ以外の処理能
力を減じることなく、伝送機能を決定するために使用さ
れるコード数を減じる。その学習手順は、上述した場合のように、最も高い頻繁
ｋ（適切コードと呼ぶ）が抽出されるまで、各々の層に
おいて継続される。他のすべてのペアーに対して、“分
類不可”のコードの代わりに、適切コードに最も接近し
たペアーのコードが、確立されたルールに従って割り当
てられる。言い換えれば、もし、層ｊ＋１で適切コード
Ｅｊ＋１（＾、Ｂ）が割り当てられておらず、Ａ、Ｂが
ペアーの層ｊならば、Ａ、Ｂは、コードＥ　ｊ＋ｌ（Ｘ
、　Ｙ）ニ分類され、ここでＸ、Ｙは、Ｄ　ｊ　（Ａ、
　Ｘ）　＋　Ｄ　ｊ（Ｂ、　Ｙ）が最小となる、適切コ
ードを有するペアーである（ここでＤｊは層ｊへの距離
の関数であり、層Ｏへの距離から由来する）。距離に基づく統計的な直接学習手順は、正確な計算もし
くは本質的に余計な信号処理での使用に対して特に適し
ている。これは、例えばすべての構成された処理信号の
適用、パターン認識及び理解（自動的な画像、イメージ
処理および認識１話しの認識、書かれた情報の認識、そ
の他）の場合に継続する。４、逆の学習方法および手順逆の学習手順は、学習する位相を区別するのを可能にし
、ＬＳデータの内部性質に対応する構造を強調する。も
し、ペアー（あるいはグループ）のＳＵの入力コードが
ＳＵのトレーニングのために、ＳＵに存在している同一
のコードを生じ、そしてペアー（もしくはグループ）の
コードが、ネットワークをトレーニングするための処理
目的に対して等価であるという考えに、それぞれ基づい
ている。制限しない例として、２入力ポート及びｌ入力ポートを
有するＳＵに対する伝送機能がｉ番目の層Ｅ　１ｊ（Ｘ
、　Ｙ）のｊ番目ならば、すべてのＣに対して、（１）　　Ｅｉｊ（Ａ、Ｃ）＝Ｅｉｊ（Ｂ、Ｃ）あるい
はＥ　１ｊ（Ｃ，Ａ）−Ｅ　１ｊ（Ｃ，Ｂ）言い換えれ
ば、もし、入力コードＡ及びＢが常に同じコード化を与
えるならば、ネットワークがトレーニングされるための
処理目的のために、ＡおよびＢは等価となり、そして、
それ故、同一とされる。例えば、もし処理において、より低い場合の“ａ”とよ
り高い場合の“Ａ”のテキストが、他のいずれかのアル
ファベント記号と結合したとき、常に同一のコードを導
くとき、処理において、疑問のあるテキストが上部ある
いは下部の場合のレターと異なって記述されることを意
味する。この場合、（１）に現れた状態の確認があり、
それ故、上部および下部の場合の“ａ″もしくは“Ａ”
は等価であり、区別される。（１）に与えられた状態の、２入力ポート及び複数の出
力ボートを有するＳＵへの拡張は、明白であるためここ
では説明をしない。等価に関する限り、もし必要ならば、学習で割り当てら
れていないコードを無関係とみなしてもよい。これらの
すべての状況下では、これらの特性を強調するに加えて
、変換コードのマトリックスを次元の低減を可能にする
、逆の学習を用いることが可能である。このことがネッ
トワークの実行を簡素化し、ＬＳ外の正確なデータ処理
を可能にする。例えば、等価コードの“置き換え”の概念を明らかにす
るために、３つの逆の学習手順がこれらの前提事項を示
すために用いられてもよい。ａ）逆の学習決定ネットワークの上部の層（最後のもしくは出力層）から
スタートし、タイプ（１）の等価状態を検証するすべて
のコードを置き換える。例では、（ｊｌ）番目の層の出
力部とともに、ｊ番目の層のＳＵ入力部にて、（１）で
与えられたＢがＡにより置き換えられる。ここで述べた手順は、入力層でＳＵに戻る。般にこの手順は、等価なコードがもはや区別できなくな
るまで繰り返される。ｂ）統計的逆の学習この発明でカバーされる統計的な逆の学習は、統計的に
等価コードあるいはグループのコードの置き換えに導く
手法であり、つまり、（１）および上側に表現された状
態に対する、グループのコードが非決定的に検証される
が、所定のしきい値を上回る頻度を有しない。例えば（１）式は′変形される。（２）　　Ｐｒ［Ｅｉｊ（Ａ、Ｃ）’；Ｅｉｊ（Ｂ、Ｃ
）］＜φ１またはＰｒ［Ｅｉｊ（Ｃ，Ａ）＃Ｅｉｊ（Ｃ
，Ｂ）］＜φ。ＰｒはＬＳにおける周波数であり、φ１．φ、は与えら
れたしきい値である。ＬＳにて異なったコードを発生する確率が、信頼できる
置き換えの状態であるしきい値φ、およびφ、を下回る
ならば、（２）の表記は、コードＡおよびＢが統計的に
等価であるとみなされることを意味する。 φ１．φ、が０に向かうとき、（１）および（２）の状
態は一致するように向かう。この場合でも、先の場合と
同様に、統計的等価は、ＳＵのすべての型や同一グルー
プのコードのすべての場合に一般化される。統計的に等価なコードが置き換えられることを除けば、
この逆の学習手順は、決定的手順と同一である。前記側
々の置き換えは、用いられる少なくとも一つのコードを
除き、その場合、不適当なコードを適当なコードで置き
換えるために、直接の統計的な学習が実行され、このよ
うにしてセットされたデータの表示を改善する。Ｃ）逆の学習に基づく距離この手順では、等価の状態もしくは統計的な等価は、“
計量的に等価”の状態により置き換えられる：測定にお
ける等価なコードは、所定のしきい値以下の距離を発生
させる。どのような学習手法が採用されようと、データは、すで
にトレーニングされたネットワークｌの入力部に導かれ
：各層の出力は、次の入力を構成する。最後の層は処理結果を出力する。一つの完全な処理は、
複数層があるように複数の要素的なサイクルを必要とす
るが、それらは直列的に一回使用する。その結果、全体
の処理のスルーブツトは、要素的サイクルの間の数倍に
等しい。位相処理において、トレーニングに基づいてＳＵの結合
は、学習位相の間、個々の構成のデータ入力時に、連続
的な入力データの適した構成を受は取る。１層のＳＵの
出力の組みは、次の層に対する入力データの構成となる
。学習手順のいくつかの特別な例は、この記述の終わりに
記されている。このような機械、あるいは、同様に位相
を学習するために前述した型のいずれかのネットワーク
、ｌを実行できる処理回路の構造を述べる。この型の機械（Ｓ−機械）は、いずれかの型のネットワ
ークｌの構成を可能にする階層構造によるモジュラ−の
ユニットに基づいている。第４図には、典型的な実行手
段の例が与えられている。この機械は、複数（例ではｎ
）の機能的な同一の層、システムバスを介してすべての
層と通信するシステム制御ユニット（ＳＣＵ）および二
つの標準ペリフェラル（Ａ）と処理ペリフェラル（Ｂ）
で構成される。各層は、要求されるネットワークｌを形成するために、
ＳＵメノー間を接続する動作をなす接続管理システム（
ＣＭＳ）（第５図）で構成される。構成面では、ＳＣＵが実行する面の数、結合率およびす
べての層のＳＵの構造を決定し、相対命令を各ＣＭＳに
送出する。トレーニングする位相では、ＬＳデータは入力として第
１の層（データ入力）に送出され、一方、出力として所
望の変化が出力される。この面では、ＳＵは、先に述べ
た学習手順でもってトレーニングされる。トレーニングが終了したとき、上述した手順に従って、
そのＳＵは、適切な出力構成を有し、入力部で各構造に
適合するよう構成される。もしそのＳＵか、出力か入力
の関数で展開される（この展開は“アドレス”として解
釈される）、メモリユニットとして作用するよう実行さ
れたならば、各層は、要素的なアドレスサイクルで出力
を供給する。各層の出力は、連続的な層の入力データを
構成する；入力データの組みに対する全体の処理は、存
在する層数と同じサイクル継続し、処理する複堆さとは
無関係である。サイクルの終わりで最初の層は、常に、
既に次の入力データの組みを利用できるようになってお
り、それ故、機械に対する効率的なスルーブツトが各サ
イクル毎の全体の処理に得られ、処理の複雑さおよび要
求される層数に無関係である。もし、例えば、２０ナノ
秒のサイクルを有する要素が用いられたとき、機械は、
いかなる複雑な処理に対しても２０ナノ秒で実行できる
。もし、この処理が１００Ｍ００Ｍフロラプス相当する
ならば、この機械の等価能力は５Ｇフロップス／秒とな
る。第４図に機械２を構成するユニットを示している。シス
テムの本質的なモジュール性が、実現されるハードウェ
アに比例する計算能力を実現させる。例えば、唯一のＳ
Ｕの組みを有する構造および一つのＣＭＳは、複数層に
構成されるネットワークを可能にする。この場合、複数
層を有するスループットを減じる：より詳細には、通信
の機関は、ｎ層を要求する全体の処理がｎ素子のアドレ
スサイクルで実行されるように、設計される。機械２の
各層は、ＣＭＳの構成および管理のシステムから、層の
そのＳＵの組みで構成され、そして第５図に示した層制
御ユニットＬＣＵを与える。ＬＣＵは、システムバス上のＳＣＵ、ＣＭＳおよび別の
バスＬ−バスを通したＳＵでもって通信する。明らかに
、これらのバスは、別のラインに置き換えてもよい。ＬＣＵは、ＳＣＵから受は取った指示に基づき、要求さ
れた接続を行うためにＣＭＳに命令を送出スル。又、５
Ｕ−Ｌ−バスの接続を通して、要求される複数の入力ポ
ートおよび出力ポートをＳＵに構成するための装備を与
え、その結果、内部メモリを構成する。トレーニングさ
れた形がライブラリーからロードされたとき、常に位置
する接続を通して、ＳＵのメモリが以下により詳細に述
べるように、ロードされる。学習する面において、要求された、計算する位相に従っ
て接続されたＳＵは、様式二決定法、統計的および距離
、に基づき、上述したような方法で動作する。最大の出
力部を有する層に対しては、ＬＣＤは、Ｌ−バスを通し
て、ＳＵ出力の責務を与える。逆の学習面では、ＬＣＵ
は、同一のバスを通して等価なコードの置き換えを制御
する。面の実行において、層は、非構成のネットワーク（即ち
、つながれた“位相”）におけるいずれかの層として機
能し、各入力組みてのサイクル内において、対応する出
力組みを結合させる。前記面では、ＬＣＵは、機能する
層を診断的なモニターを達成する。ネットワークｌに対する特徴のある一つが、データ構成
に対する内部性質の存在を強調するので、ＬＣＵは、Ｌ
−バスを介したアクセスにより、ＳＵメモリの内容を解
析するために用いられる。標準のペリフェラルＡの出力
により、これらについての情報をＳＣＵに送出し、元の
構成および性質が決定される。続いて、もし、完全でかつトレーニングされた機械２の
構成を記憶させたいならば、ＬＣＵはＳＣＵに、ＳＵ接
続およびそれらのメモリ内容の構成についてのすべての
データを送出する。このようにして、構造が適切なライ
ブラリーの一部となる。ＣＭＳは、モジュラ−構成で実現されてもよい：第６図
および第７図において、ＣＭＳは、ＬＣＵにより設定さ
れるルールに基づき、基本的にプログラム変形可能なシ
ステムであり、３０間で要求される接続動作を可能にす
る。これらは、モジュラ−構成で実現される：第６図は
、このような−つのモジュールを例示する機能様式を示
す。示されたスイッチは、実行される、モジュールの入
力ポートＡおよびＢ、および出力ポートＣおよび０間の
可能な接続を許可する。接近したモジュールとの接続は
、表記したａ　、Ｂ　＋　ｇ　＋およびｄの接続により
確実に行われる。構造的に、ＣＭＳを作るモジュールは
、第７図の例のように完全なパラレル、もしくは部分（
あるいは全体）がパスラインを共有するによって、複数
バス構造で実現されてもよい。その選択は、得たい速度
に依存し：全体を平行処理したときは、要素に匹敵する
最大の速度が得られるが、０ＭＳ上で利用できるＳＵの
最大数に等しい数のラインを必要とする。他方、全体を
共有するときは、バスは１本に低減できるが、そのサイ
クルは、０ＭＳ上にアドレスされたＳＵの数に比例して
長くなる。ＬＣＵは、連続的なサイクルの中で同一のハードウェア
を用いることにより、ＣＭＳがハードウェアの物理的能
力を越えて“拡張される”ことを可能にする。ＳＵは、機械２、それ故、ネットワークｌの基本の構成
要素である。既述したように、これらは、いずれかの番
号の入力ポートｎｉおよび出カポ−）ｎｏで形成されて
もよい。基本的に、それらの機能は、出力信号ｎ０の適
切な構成を入力信号ｎｉの各々の構成に結合することに
ある。これらは、マトリックスを形成するように動作で
き、それ故、通常のメモリデバイスで実行される。学習する位相において、このようなメモリは、既述した
手順に従って満たされる。データ処理位相（７オンノイ
マン機械内でプログラム実行の位相に等しい）では、こ
れらは参照テーブルとして用いられ二入力データは出力
データテーブル内のアドレスとして解釈される。それ故
、実現された伝送機能がどのような複雑さであれ、要求
された出力は、ｌサイクルの時間後に出力される。同じ
層のすべてのＳＵは、パラレルにかつ独立して動作する
ので、全体の処理に対する実行時間は、機械の構成内に
ある層数と同し数の要素のサイクルからなる。各々の層
が、先の層（それ故、パイプライン構成を持つ）により
、データ出力上で動作するということに気付くべきであ
る。全体の処理の平均の実効スループットは、それ故、
ｌサイクルであり、入力データ量２層数および処理の複
雑さに無関係であり、それ故、フォンノイマン機械で実
現するために用いる動作の数に無関係である。最も単純なＳＵ槽構造、テーブルとして組まれた、通常
のメモリ構造であり二入力データが１サイクル内で、出
力データをアドレスするために用いられる（第８図）。このような構造を用いるために、学習する位相および逆
に学習する位相において、コード発生の機能および等価
コードへの置き換えは、通常のマイクロブセッサで実現
される、特別なプログラム。ＬＣＤに格納されたものにより実行される。このＳＵは、しかしながら、内容アドレス可能なメモリ
（ＣＡＭ）を備えると、特に、すべての可能な入力構成
（本質的に余計なものが常に極めて高い、概算の計算、
信号認識および処理する問題）に対応する出力をメモリ
する必要のない場合、有利に実行される。学習する位相
および逆に学習する位相を最大にするために加速する要
求力くあるならば、ＳＵを第１０図に示したように構成
するのが便利であり、ＣＡＭのみならずＳＵが空のコー
ドデコーダＥＣＤ、コード発生器ＣＧおよびコード置き
換え器ＣＳを含む。選択的に、ＳｔＪメモリを適した多項式の係数で格納し
てもよい。命令モード選択（ＭＳ）を通して、ＬＣＵは、動作モー
ドをＳＵに伝送する：統計的学習の最初の位相において、標準のインクリメン
トのカウンタであってもよ＜、ＥＣＤと結合しているＣ
Ｇは、検証される入力の構成に対応するＣＡＭの出力部
の内容を１だけインクリメントする。このように、位相
の終わりで、各々の位置のＣＡＭは、対応する入力の形
状の発生数を含む。このような値の組みは、上述した型
の手順に従って、ＬＣｌＪに、どの形状を効果的にＣＡ
Ｍにコード化すべきかを決定させる。統計的および決定の学習の第２の位相において、入力構
造に結合したコードがＣＧにより連続的に発生される。最後に、逆の学習の位相において、ＣＴＳライン上のＬ
ＣＵから受は取った等価コードを上述した所定の手順に
より、Ｃ３が置き換える。上述した型の手順に従って、最後に予防的にＳＵに距離
測定、およびこれに基づく編集のデバイスを与えること
は可能である。ＣＡＭは、標準のデバイス（要素として入手可能）であ
り、ＥＣＤ、ＣＧおよびＣ８の簡単なデバイスは、通常
の設計技術を用いて幾多の方法で実現可能であるので（
もし必要ならば、要素のマイクロプロセッサを用いて）
、更にここで可能な実行手段を述べることは不必要であ
る。ＬＣＵは、機械のすべての機能および形状における全体
の層を管理するために予め配置される。更には、層（ＵＳの数および型）で実際に利用できるハ
ードウェア手段および処理の必然性が与えられると、こ
れらが、（必要なとき）いずれかのサイクルの中でそれ
らの使用のために提供する。例えば、もし、層がｎのＳ
Ｕかつ、問題が３ｎＳＵ。ＬＣＵを要求するなら、適切なプログラムの手段により
、問題を、各々がｎＳＵの３つに分割する。これらはその後、物理的に利用できるｎＳＵ上で、引き
続いて処理される。それ故、標準のマイクロプロセッサを有スるＬＣＵを実
現することは便利であり、マイクロプロセッサでは次の
プログラム（ＣＭＳの管理を有する層の形状、学習およ
び逆の学習の管理１元の層から次の層に伝送のモニター
および同期、その他）がメモリに格納される。最後に、ＬＣＵはシステムバスを介してＳＣＵと交信し
、このようにしてＳＣＵを同等にし、機械全体を制御す
る。ＬＣＵを標準の部品を用いてハードウェアに実現するこ
とも可能であり、この場合、構成および学習する面でよ
り高速が可能となるＳＣＵの基本の任務は、・機械２の構成、もしくは層、接続率、それ故、１層の
数の決定（ＬＣＤによる動作）；・既述したように、学
習処理の管理；・標準ペリフェラルｌの管理（ディスク、プリンター、
ＣＲＴ、その他）；システムのモニター（機能２診断試験、その他）・学習
が既に行われた処理を実行するために、ＳＵ内にてライ
ブラリー構成のロード：・機械２を構成するネットワー
クの入力部及び出力部に位置する高速のデータを有する
ものを除いて、ペリフェラル処理Ｂの管理。これらのすべての機能は、特別な考察もしくは技術を必
要としない、特殊なプログラムを開発することにより、
通常のコンピュータで有利に実現してもよい。又、ＳＣ
Ｕのコンピュータは、解決を与えるアルゴリズムを有す
る、これらの問題を解決するために機械２を機能させる
ために使用しテモヨい。その場合、公知のアルゴリズム
を用いて、入力データをＳＵに発生させ計算するプログ
ラムを開発すれば十分である。これは学習の一つの型で
ある。この場合、位相の実行において、機械２は、１層
につきｌサイクルを要求し、解決するアルゴリズム内の
動作数に無関係である。機械２の計算時間は、それ故、
通常の機械のもの以下である。示したように、ＳＣＵは、多数のメモリ（ディスク、光
学ディスク、テープ、その池）に、すべてのＳＵの内容
と同じように機械２の構成データを伝送してもよい。そ
の場合、既に実行され、多数のメモリに格納された処理
のライブラリーを構築することは可能であり、このよう
にして、ライブラリーのプログラムが通常の機械に与え
るフレキシブル性と同じレベルに到達する。最後に、ＳＣＵのこれらを有するＬＣＵの機能を結合し
てもよい：その場合、ＬＣＵのハードウェアは、すべて
の層のＳＵおよびＣ３Ｍと直接にインタフェースしなく
てはならない、ＳＣＵ内で実行されるプログラムにより
置き換えられる。例イメージ認識（タイプおよび手書きの数字キヤラクタ）画素（１６Ｘ３２）の２進のマトリックスにデジタル化
されたキャラクタは、同一の機能を決定する同一の層に
各ＳＵを有する、第２図に示した型の５個の２次元の層
のネットワークの第１層に送出される。ビットマツプは
、３２段階の値にエンコードされ、その各々は４×４の
部分ビットマツプにエンコードされる。各々のレベルで
、ｔｒ近ｔた二つのコードが適当な出力コードに置き換
えられ、それ故、各ステップで記述の長さが等分される
。最後のレベルは、入力として二つのコードを有する。ネットワークへの入力を示すＡフードは、出力に割り当
てられろ。学習する位相の間に、既述した直接の統計的
方法で実行され、ネットワークが試され、キャラクタの
クラスの出力コードに対応するＬＳの各々のキャラクタ
を要求する。前記位相の終わりで、システムは、ＬＳ内
のすべての形状を正確に認識できる。統計的逆の学習手
順の後に、一つが認識面に通過する。スピーチの認識Ｓネットは、６つのレベル上の６４個の２入力。ｌ出力の同様なユニットで構成される。各々の音声信号
は、高速フーリエ変換の適用により得られたそのスペク
トルで記述される。このスペクトルは処理され、３５２
個のサンプルタイムのウィンドに細分される。これらの
各々のウィンドに対して、最初の８（１１の係数が計算
される。量子化ベクトルＶＱを通して、これらのデータ
がＶＱココ−ブックの２５６の区別コードに圧縮される
。ネットワークは、公知の音素（ＬＳ）のスペクトラに
対応する音素確認コードを持つことにより、トレーニン
グされる。その後は統計的逆の学習に進む。ネットワークは、音素コードを未知の信号（認識面）の
スペクトラに結合させる。画像における一色の端検出Ｓネットは、２入力およびｌ出力を有する３レベルのＳ
Ｕからなる。２５６の灰レベル（１バイト）を有する５
１２Ｘ５１２画素での画像サンプリングが行われる。ネ
ットワークへの入力画像は、５１２Ｘ５１２バイトのマ
トリックスにより表される。このような画像は、例えば
、１画素子につき３ビツトのコード化技術を用いること
により、サンプリングされる。各々のビットは、近い画
素の一つが中央の画素よりも大きな値を有するとき、直
接学習の決定アルゴリズムが既述したように適用される
。逆の学習アルゴリズムは、代わりに、統計的に用いら
れる。

【図面の簡単な説明】

第１図〜第３図は、上述した原理に基づくネットワーク
を動作させる可能な方法例を示す図、第４図は、この発
明を適用した機械の原理の構成を示す図、第５図は、第４図における機械の一層の実施する構成を
より詳細に示す図、第６図〜第７図は、連続した層間のＣＭＳの機能を示す
図、第８図〜第１０図は、ネットワークのノード（ＳＵ）を
示す図である。

Claims

【特許請求の範囲】

（１）相互接続のノード（ＳＵ）を有するデータ処理ネ
ットワークであり、複数の階層に配列されたノードを備
え、層内の各々のノード（ＳＵ）は、個々の伝送機能を
有し、該伝送機能は、異なった処理機能のために選択的
に異ならせたモードに決定可能であることを特徴とする
データ処理ネットワーク。
（２）請求項１に係わるデータ処理ネットワークを実現
する機械であり、複数の階層に組織化され、ノードとして機能する複合ユ
ニット（ＳＵ）と、各層に対して、個々の層のノード（ＳＵ）と、階層構成
における少なくとも一つの接近した層のノード（ＳＵ）
とを接続する接続管理システム（ＣＭＳ）と、システム制御ユニット（ＳＣＵ）と、そして、前記システム制御ユニット（ＳＣＵ）と、少な
くとも一つの学習する方法を実現できるすべての機械の
層との間で管理手段として機能する少なくとも一つの接
続システム（ＢＵＳ）とを含み、学習する組みのデータ（ＬＳ）が機械の最下層の入力部
に送出され、一方、最上層の出力部には少なくとも一つ
の所望の出力が出され、各層の出力は、機械の階層的構
成内の直上の層に対する入力データの組みを構成するよ
うに設計された機械。
（３）データ処理要求に応じるために選択的に決定され
る、複数の入力および出力を有するネットワークのノー
ド（ＳＵ）を構成できる構成部分（Ｌ−ＢＵＳ）を含む
、請求項２に係わる機械。
（４）学習する段階の終わりで所定のネットワーク構成
のデータの組みを蓄えるメモリユニットと、ネットワー
クと外部の供給源との間のデータ構成を外部から読むユ
ニット（Ａ）と、のいずれかあるいは双方の結合を含む請求項２もしくは
３に係わる機械。
（５）少なくともいくつかの上記ノード（ＳＵ）は、探
し出しテーブルの形式で、もしくは選択的に、適切な多
項式の係数を記憶するメモリとして実現される請求項１
ないし４のいずれかに係わる機械。
（６）上記接続管理システム（ＣＭＳ）は基本的に通信
ネットワークで形成される請求項２に係わる機械。
（７）請求項１に係わるネットワークを形成するための
学習手順であり、統計的に重要な構成の入力データの組み（ＬＳ）をネッ
トワークの入力部に持ってきて、そして、所望のデータ
処理結果に対応する構成をネットワークの出力部（ＯＵ
Ｔ）に出力する、操作を含む学習手順。
（８）ネットワークの入力部の層に持ってきた各々のデ
ータに対して、入力−出力結合のコードを発生させ、そ
して、前記位相をネットワークの頂部に伝播させる、動作を含
む請求項７に係わる手順。
（９）結合が常に同一の出口のコードを生じるこれらの
コードを置き換え、これにより、等価なコードを確認し
、そして余計なコードを排除するために実行する請求項
８に係わる手順。
（１０）請求項１に係わるネットワークを実現するため
の手順であり、ネットワーク（１）の入力層に、試験下の問題を処理す
るデータのすべてを表す学習する組み（ＬＳ）のデータ
を持ってきて、直上の階層に構成するために決定された個々の出力を発
生できるように、ネットワーク（１）の最下層にて前記
の学習する組み（ＬＳ）を編集し、通常ネットワーク（
１）上の階層に向けて進行する前記の編集動作を、ネッ
トワーク（１）自身の下から２番目の層まで伝播させ、ネットワーク（１）の最上部の層で、所望の回答からな
るコードを結合させる、操作を含む手順。
（１１）ネットワーク（１）に対する予知された入力信
号に対する可能な発生の統計的頻度から形成された学習
する組み（ＬＳ）を有し、前記組み（ＬＳ）に、所定の
しきい値を上回る球状の頻度の入力データを結合させる
、請求項１０に係わる手順。
（１２）学習するデータにより、球状頻度が前記しきい
値を越えず、そのかわり、前記（ＬＳ）に含まれるデー
タに結合した同一のコードは、それらに結合し、与えら
れたしきい値を下回らない距離が示される、請求項１１
に係わる手順。
（１３）更に、データ処理の目的のために等価となるように、ノード（
ＳＵ）上の入力コードのグループが、ノード（ＳＵ）自
身の出力部分で同一のコードを生じるか否かを決定し、このような等価のコードを確認（統一）する、操作を含
む学習する請求項１０ないし１２のいずれかに係わる学
習手順。
（１４）等価のコードの決定及び等価コードの統一が、
ネットワーク（１）の最上層から次第に行われ、等価の
決定が、データに対する内部の構造及び性質を確認する
ことにより行われる、請求項１３に係わる手順。
（１５）決定的に等価でないが、所定のしきい値を上回
る頻度を有し等価であると示される、コード間の統一動
作を含む、請求項１３もしくは１４に係わる手順。
（１６）決定的に等価ではないが、個々の単位で所定の
しきい値の以下の距離を有するデータに対応する、コー
ド間の統一動作を含む請求項１３もしくは１４に係わる
手順。
（１７）請求項１に係わるネットワークの使用および／
または請求項２ないし６のいずれかに係わる機械の使用
法であり、信号処理のために、特に次のグループ：構造
分析、構造認識および構造決定から選択された応用のた
めに用いられる使用法。
（１８）請求項１に係わるネットワークの組み、もしく
は請求項２ないし６のいずれかに係わる機械の組み。