JPH0760428B2 - 線形微分方程式を用いて接続の重みが生成されるような分散並列処理ネットワーク - Google Patents

Description

【発明の詳細な説明】 発明の背景 本特許明細書に開示されている事項の一部には、著作権
保護の対象となる内容が含まれている。この著作権の所
有者は、米国特許商標局の特許ファイルまたは登録簿に
記載されている通りに、第三者が本明細書または開示事
項をファクシミリで複製することに対しては反対するも
のではないが、その他の方法による場合は、すべての著
作権は著作権者に帰属することを留保する。

発明の分野 本発明は、入力層、中間層（または隠れた層）、および
出力層をもつ逆伝搬ネットワーク（back propagation n
etwork）の形態をとる分散並列処理ネットワーク、特
に、入力層と隠れた層との相互接続の重みおよび隠れた
層と出力層との相互接続の重みが、これらのそれぞれの
層間の関係を定義する線形微分方程式の集合を定常状態
で解法することによって求められるような分散並列処理
ネットワークに関する。

従来技術の説明 分散並列処理ネットワークとは、相互に接続された処理
要素を多層構造に配置することによって構築される計算
機回路のことである。分散並列処理システム構成の代表
的なものとして、逆伝搬ネットワークと呼ばれるものが
あるが、このシステム構成では、ネットワーク・アーキ
テクチャ（設計思想）は、処理要素が少なくとも３つの
層に構築されている。すなわち、第１の層は「入力」
層、第２の層は中間層または「隠れた」層、第３の層は
「出力」層である。各処理要素は入力ポートと出力ポー
トをもっており、そこに入力された入力に演算処理を行
なって、あらかじめ決めた伝達関数に従ってその入力を
変形するようになっている。伝達関数はシグマ関数の形
体になっているのが通常であり、所定のしきい値が関連
づけられていて、そのしきい値を演算することによっ
て、ゼロと１の境界値をもつ出力が得られるようになっ
ている。

入力層に置かれた各処理要素の入力ポートは、少なくと
も１つの入力信号に接続可能になっており、他方入力層
に置かれた処理要素の各々の出力ポートは、中間層に置
かれた処理要素のうちの少なくとも１つ、代表例として
は、複数の処理要素に接続されている。同様に、中間層
に置かれた処理要素の各々の出力ポートは、出力層に置
かれた処理要素のうちの少なくとも１つ、代表例として
は、複数の処理要素に接続可能になっている。

入力層の処理要素と中間層の処理要素間の接続線および
中間層の処理要素と出力層の処理要素間の接続線は、各
々に「接続の重み」が関連づけられている。一般的に、
隠れた層と出力層に置かれた処理要素については、これ
らの層内のある処理要素の入力に現われた任意の信号の
大きさは、各入力信号の活動化強度と各入力信号が伝達
される対応する接続線の接続の重みの内部ベクトル積と
その処理要素のしきい値とを、入力のすべてにわたって
総和したものである。

上述したようなネットワークは、Rumelhart,Hiltonおよ
びWilliams著「誤差伝搬による内部表現の学習」分散並
列処理第１巻、基礎、RumelhartおよびMcClelland編
集、MIT出版、ケンブリッジ、マサチュセット（1986
年）に記載されている「一般化デルタ・ルール」と呼ば
れる学習ルールを用いて学習されるようになっている。
このルールは、Widrow著「ADELINEニューロン・ネット
ワークにおける一般化と情報記憶」、自己編成システ
ム、Yovitts編集、スパルタン出版社、ニューヨーク（1
962年）で提案されている「デルタ・ルール」を一般化
したものである。

この種の学習ルールを用いて、ネットワークは、いくつ
かの「学習パターン」が入力要素に現われる入力信号の
活動化強度を出力層内の要素の出力ポートに現われる対
応する値に関係づけることによって順次に表現されてい
る。そのあと、すべての接続の重みが一緒に変更され
て、ネットワークの予測出力の誤差を最小にしている。
これらの重みを最大急峻下降手法に従って変更するため
に、重みに対する誤差の勾配が求められ、誤差をより小
さい値の方向に移動するように重みが変更される。重み
は、次の関係式に従って繰り返し変更される。

ΣΔWⁿ＝etaΔＷ［gd］＋alphaΔW^n-1（１） 上記において、ΔＷ［gd］は勾配または最大急峻下降の
ときの重みの変更を表わしている。

ΔWⁿは、繰返し回数ｎで加えられた重みの変更を表わし
ている。

ΔW^n-1は、前回の繰返しからの重みの変更を表わしてい
る。

etaは、ネットワークの「学習速度」を表わしている。

alphaは「運動量」を表わす項である。

学習は離散的なステップまたは繰り返しで行なわれる
が、各ステップまたは繰返しごとに、すべての学習パタ
ーンをネットワークに１回提示する必要がある。繰返し
アルゴリズムの収束性を確保するためには、学習速度を
十分に小さく選んで、振動や不安定が起こらないように
する必要がある。運動量の項があるのは、収束速度を向
上させると共に、最小二乗表面の局所的最小値にトラッ
プされるという問題を回避するためである。

この学習ルールによると、重みが勾配または最大急峻下
降の方向にほぼ対応する有限ステップで変更されるが、
常に収束するとは限らないことは周知である。おそらく
もっと問題なのは、初期状態では学習が比較的高速であ
るが、特に出力を予測するネットワークの精度が向上す
ると、最終的には学習が極端に遅くなることである。学
習を高精度にするには、数百あるいは数千の表現からな
る学習セットが必要になる。必要になる学習表現の数
は、ネットワークの規模と共に急増し、接続数の二乗以
上に急増するのが通常である。

1988年６月24日から27日にわたって米国カリフォルニア
州サンディエゴで開催されたニューロン・ネットワーク
に関するIEEE国際会議において、逆伝搬ネットワークの
学習速度を向上する手法に関する論文がいくつか発表さ
れている。これらの論文は、SOS出版社（米国カリフォ
ルニア州サンディエゴ）発行のIEEE会議議事録に収録さ
れている。KungおよびHowardによる論文には、必要とな
る隠れた層の要素の最適数を予測する手法が記載されて
いる（p.363〜p.370）。わずか最小数を使用して、学習
速度の最適化を可能にしている。KolliasおよびAnastas
siouによる論文（p.383〜p390）では、Marquhardt−Lev
enberg最小二乗最適化手法を用いて、収束を向上させて
いる。GelbandおよびTseによる論文（p.417〜p.424）
は、しきい値論理関数を「選択的」関数に一般化するこ
とによって、多層ネットワークを実効的に単一層に縮小
して、学習速度を向上する手法を記載している。Hushお
よびSslasの論文（p.441〜p.447）は、「勾配再使用ア
ルゴリズム」と呼ばれる手法で学習速度を向上する方法
を説明している。

以上の説明から理解されるように、より高速に学習され
る逆伝搬ネットワークの実現が望まれている。

発明の要約 本発明は、逆伝搬ネットワークのアーキテクチャー（設
計思想）を採用した多層並列分散処理ネットワークを提
供することを目的としている。この種のネットワークは
処理要素が少なくとも３層から構成されている。最初の
層は入力層であり、少なくとも１つからｉ個の処理要素
の集合からなり、各々の処理要素は入力ポートと出力ポ
ートをもち、入力を所定の伝達関数に従って演算して、
活動化信号A1（ｉ）を出力ポートから出力する。２番目
の層は中間層であり、少なくとも１つからｋ個の処理要
素の集合からなり、各々の処理要素は入力ポートと出力
ポートをもっている。中間層に置かれた各処理要素は入
力を所定の伝達関数に従って演算して、活動化信号A2
（ｋ）をその出力ポートから出力する。３番目の層は出
力層であり、少なくとも１つからｊ個の処理要素の集合
からなっている。各出力処理要素も入力ポートと出力ポ
ートをもっている。出力層に置かれた各処理要素は入力
を所定の伝達関数に従って演算して、活動化信号A3
（ｊ）をその出力ポートから出力する。

入力層に置かれた処理要素の各々の出力ポートは、接続
の重みW1をもつ線によって、中間層の処理要素のうちの
少なくとも１つの入力に接続されている。同様に、中間
層の処理要素の各々の出力ポートは、接続の重みW2をも
つ線によって、出力層の処理要素のうちの少なくとも１
つの入力に接続されている。ネットワークは、活動化信
号A1、A2およびA3を発生する学習信号を入力層の入力ポ
ートに入力することによって学習される。各学習信号は
所望の出力信号Ｖが関連づけられている。

本発明によれば、重みW1とW2は、ネットワークの各種層
を関連づける線形微分方程式の集合を解くことによって
求められる。

図面の簡単な説明 以下、添付図面を参照して本発明を詳しく説明する。添
付図面において、 第１図は、本発明による一般概念化した並列分散処理ネ
ットワークの形態図、 第２図は、本発明の並列分散処理ネットワークで使用さ
れる処理要素の概念図、 第３図は、本発明の実施例で使用されている本発明によ
る並列分散処理ネットワークの概略図、 第４図および第５図は、第３図に示した本発明によるネ
ットワークにおける処理要素間の接続の重みとしきい値
を求めるために使用されるプログラムの流れ図、 第６図は、本発明の実施例において分散並列処理ネット
ワークが学習データを受理するか拒否するかの予測結果
を示した図である。

本明細書の付録には、第４図および第５図の流れ図に示
されているプログラムをコーディングしたときに使用し
たFORTRAN77ソース言語のプログラム・リストが記載さ
れているが（p.A−１〜p.A−20）、このプログラム・リ
ストは本明細書の一部を構成するものである。

発明の詳細な説明 以下の詳細な説明において、添付図面の各図に示されて
いる類似要素は、同一の参照符号で示してある。

第１図は、本発明による分散並列処理ネットワークを概
念化して示した形態図であり、ネットワーク全体は符号
10で示されている。ネットワーク10は逆伝搬ネットワー
クとして構築され、少なくとも３つの層14、16および18
に構成された個別の処理要素12からなっている。これら
の層のうち、層14は「入力層」と呼ばれ、層18は「出力
層」と呼ばれ、中間層16は「隠れた層」と呼ばれる。処
理ネットワーク10は、入力層14が少なくとも１つからｉ
個の処理要素の集合をもち、隠れた層16が少なくとも１
つからｋ個の処理要素の集合をもち、出力層18が少なく
とも１つからｊ個の処理要素の集合をもつように編成さ
れている。ネットワークを構築するときは、操作員は値
ｉ、ｋおよびｊを指定する。

第２図は、ネットワーク10全体を通して使用される処理
要素12を概念化して示した図である。各処理要素12は入
力ポートP_inと出力ポートP_outをもっている。処理要素
は入力ポートP_inに現われた１つまたは複数の励起信号I
₁〜I_mの入力を受けて動作し、出力ポートP_outから活動
化信号Q_outを出力して線L_out上に送出する。励起信号I₁
〜I_mの各々は、それぞれが所定の接続重みW₁〜W_mをもつ
線L₁〜L_mを通して処理要素12の入力ポートP_inに接続さ
れている。処理要素12の出力ポートP_outから線L_out上に
出力された活動化信号Q_outは、一般的に、入力ポートP
_inに入力された入力信号Q_inの関数になっている。入力
信号Q_inは、任意の励起信号Ｉの強度とその信号を処理
要素に伝達する線Ｌの接続重みＷ（その処理要素のスカ
ッシュ関数Ｓでスケールされたもの）の内部積を、処理
要素に通じるすべての入力線にわたって総和したもので
ある。出力ポートP_outの活動化信号Q_outと入力信号Q_in
との関数関係を記号で表わすと、次の通りである。

線L_out上の信号＝Q_out＝Ｓ(Q_in)， （２） 上記において、Ｔは処理要素12のしきい値である。しき
い値Ｔは、従来技術と同じように、一定の励起信号が１
である入力線（ｍ＋１）からの付加重みとみなすことが
できる。本明細書では、スカッシュ関数Ｓはシグマ関数
の形体になっている。

Ｓ＝［１＋exp（−Q_in）］^-1 （４） なお、必要ならば、他の単調非減少スカッシュ関数を使
用することも可能である。他のスカッシュ関数を使用す
る場合は、式（６）、（７）、（6a）および（7a）の詳
細形式が本明細書に示されているものと異なることは勿
論である。しかし、本明細書に開示されている事項がそ
の場合にも同じように適用できることは勿論である。

第１図に示すように、入力層14に置かれている処理要素
14−１〜14−ｉの各々は、それぞれの入力線22上の所定
数ｉのネットワーク入力信号の少なくとも１つに接続さ
れている。入力線22の各々には、一般化した処理要素で
上述したのと同じように、所定の重みを関連づけること
ができる。入力層14の任意の処理要素を、必要ならば、
入力信号の２つ以上に接続することも可能である。入力
層14の処理要素の各々は、一般化した処理要素で上述し
たのと同じように動作して、その出力ポートからそれぞ
れの活動化信号A1［Ｉ］〜A1［ｉ］を出力する。

入力層14のｉ個の処理要素の各々の出力ポートは、処理
要素の中間層16のｋ個の処理要素16−１〜16−ｋの少な
くとも１つに、それぞれの線24によって接続されてい
る。代表例では、入力層14の処理要素の各々の出力ポー
トは、中間層16の処理要素の各々の入力ポートに接続さ
れている。この相互接続線24の各々には、接続の重みW1
［i,k］が関連づけられている。

上述したのと同じように、中間層16の処理要素はそこに
入力された入力に応動して、その出力ポートから活動化
信号A2［ｋ］を出力する。同じように、中間層16のｋ個
の処理要素の各々の出力ポートは、処理要素の出力層18
のｊ個の出力要素の少なくとも１つの入力ポートに、線
26で接続されている。好適実施例では、中間層16の各要
素の出力ポートは、出力層18の処理要素の１つの入力ポ
ートに接続されている。線26の各々には、接続の重みW2
［k,j］が関連づけられている。

出力層18の処理要素はそこに入力された入力に応動し
て、その出力ポートから活動化信号A3［ｊ］を出力す
る。これらの出力信号はそれぞれの出力線28を経由して
送られる。

第１図に示すネットワークを学習させるには、入力信号
の１個からｐ個の集合を収めている配列からなる学習セ
ットがネットワーク10の入力線22に入力される。入力さ
れた入力ｐの各々には、ネットワーク10の出力28に現わ
れるｊ番目の出力Ｖ［j,p］の所定の所望値と関連づけ
られている。ネットワークの学習のどの段階において
も、最小化すべき誤差Ｅは、入力パターンｐがネットワ
ークに提示されたとき、所望出力Ｖ［j,p］と実際の出
力A3［j,p］の差を二乗したものである。これを式で表
わすと、次の通りである。

ネットワーク10の学習が最大急峻下降方法で求められた
重み変更（上記式（１）のΔＷ［gd］の項）に関する従
来の一般化デルタ・ルールを用いて行なわれる場合は、
次のようになる。

和ｐは、すべての学習パターンとすべての出力要素を経
由するｊの学習パターンの総和である。前述したよう
に、この学習ルールによると、重みが最大急峻下降の方
向にほぼ対応する有限ステップで変更されるが、常に収
束するとは限らない。初期状態では学習が比較的高速で
あるが、最終的には学習が極端に遅くなり、数百あるい
は数千にわたる学習セットの提示が必要になる。

本発明は、上述した従来の学習ルールを用いた逆伝搬ネ
ットワークの学習が、線形微分方程式に支配されるシス
テムに近似しているという事実に基づいている。逆伝搬
ネットワークの場合には、このことは、ある重みは定常
状態に近い値に非常に急速に達するが、他の重みは非常
に緩慢に変化するという事実に一致している。さらに、
ある重みは非常に多数の繰返しの間未変更のままで、そ
のあと突然に別の準定常状態の値に変わることがある。
これは、線形微分方程式の変数で普通に起こることであ
る。最後に、ニューロン・ネットワークの従来の解決手
法は、急激であるが安定した収束を得るために、発見的
学習法によって定数etaとalpha（式（１）から）の値を
調整している。

逆伝搬ネットワークの基本的学習概念は、最大急峻下降
方法で求められた重みを一般化デルタ・ルールに従っ
て、総二乗誤差Ｅを減少するように変更することであ
る。しかし、本発明によれば、学習がｎと示した離散的
ステップで行なわれると考えられている通常の逆伝搬学
習方式と異なり、本発明による学習は重みＷの連続する
時間的進展として行なわれるものと想定されている。し
かし、明らかなように、式（１）の従来の離散的ステッ
プ繰返し方式は、基礎となる微分方程式の解を求める固
定時間ステップ先進オイラ方法であり、これは、線形微
分方程式の系に応用したとき非効率であり、かつ不安定
になる可能性がある。

従って、ネットワークの各種層を関係づける式（６）と
（７）は次のように微分方程式で書くことができる。

式（6a）と（7a）は、連続する変数W1［i,k］とW2［k,
j］の結合非線形常微分方程式の集合である。初期状態
は小さな無作為の重みである。これらの方程式の系を数
値的に積分すれば、時間の増加と共に、重みが局所的最
小値の最小二乗予測誤差を与える値に対応する定常状態
値に収束するように、方程式の解を求めることができ
る。好適実施例では、これらの方程式は、IMSL社（米国
テキサス州ヒューストン）が提供しているIMSLライブラ
リの線形積分パッケージDGEARを使用して解が求められ
ている。このパッケージDGEARで使用されているアルゴ
リズムのオリジナル版はGear,C,W著「常微分方程式にお
ける数値の初期値問題」（Prentice−Hall,Englewood C
liffs,New Jersey（1971））に記載されている。

微分方程式（6a）、（7a）は平均二乗予測誤差を、最大
急峻下降方向に減少するように公式化されているので、
予測誤差は常に減少する。収束はどの場合も絶対的であ
るので、従来技術のように、etaやalphaのような調整パ
ラメータを調整する必要がない。もう１つの利点は、方
程式の解、従って、重みの評価が従来技術よりもはるか
に高速に得られることである。

以上の説明から理解されるように、本発明によれば、ネ
ットワーク10をどのような形体にも構築することができ
る。１つの特徴は、図に示すように、離散的なアナログ
構成要素を相互に接続した形体にネットワークを構築で
きることである。別の構築の仕方として、ネットワーク
を集積回路として構築し、処理要素の各層と各層間の相
互接続を、適当な集積処理法によって適当な基板上に集
積することができる（第１図において、図面の平面を基
板とみなすことができる）。どちらの構築の場合も、処
理要素間の相互接続の重みは、接続線の抵抗の形をとる
ようにするのが好ましい。別の方法として、光学（ホロ
グラフィ）による構築を使用することも可能である。最
も好適な実施例では、ネットワークは、メインフレーム
（CRAYX−MPなど）、ミニコンピュータ（デジタル・エ
キプメント社VAX）あるいは１または複数のマイクロコ
ンピュータまたはマイクロプロセッサを実装した１また
は複数のボードの形体で、プログラム式デジタル・コン
ピュータを用いて構築される。

特に理解すべきことは、請求の範囲において「１つから
ｉ個の処理要素の第１入力集合を定義する手段」、「１
つからｋ個の処理要素の第２中間集合を定義する手
段」、および「１つからｊ個の処理要素の第３出力集合
を定義する手段」という用語は、これらの離散的な電気
回路構成の集合が、ネットワークを構築するために同時
に共存する必要があることを意味するものではないこと
である。また、注意すべきことは、上で指摘したよう
に、分散並列処理ネットワークは、従来のホン・ノイマ
ン設計構造（必要とする規模または能力に関係なく）を
もつ１つまたは複数のデジタル・コンピュータを使用し
て構築され、各層の各処理要素がコンピュータの１つま
たは複数の命令サイクル期間に構成されることである。

また、明らかなように、逆伝搬ネットワーク10の接続重
みW1、W2の値の計算は数値積分といった数学的アルゴリ
ズムを用いて行なわれるが、重み自体は数学的な性格を
もたず、処理要素間の物理的接続を表わしていることで
ある。さらに、ネットワーク10全体は非アルゴリズムの
性格をもっている。別の言い方をすれば、数学的アルゴ
リズムを用いて基礎となる連続微分方程式の解を求め、
重みの値を指定することができるが、これらの重みをも
つ接続線で接続された処理要素をもつネットワークは、
アルゴリズム的なネットワークではないことである。

例：点検の問題 本発明に従って学習される並列分散処理ネットワークの
例を示して、以下に説明する。第３図は、この例で使用
され、特定のパターン認識問題に関する情報を処理する
ように構築された並列分散処理ネットワークの系統図で
ある。第４図と第５図は、第３図に示す特定のネットワ
ークの場合の重みW1、W2およびしきい値を求めるために
使用されるプログラムの流れ図である。問題を詳細化す
るには、電子部品が受理されるか、拒否されるかの分類
が必要である。付録に記載のプログラム・リストはFORT
RAN77ソース言語で書かれており、CRAY X−MPスーパコ
ンピュータが第３図に示す逆伝搬ネットワークの学習を
実行し、そのネットワークに関連する基礎となる線形微
分方程式の集合（式（6a）と（7a）中の）の解を求める
ことにより（つまり、その解に収束することにより）処
理要素のしきい値と重みW1、W2の値を求めるようにプロ
グラミングされている。なお、この付録は本明細書の一
部を構成するものである。

これまでに説明してきた逆伝搬型の並列分散処理ネット
ワークは、広範囲にわたる公式化、分類およびパターン
認識問題を解決するのに非常に適している。上述したよ
うに、ネットワークは入力処理要素から中間処理要素ま
での接続の重みおよび中間処理要素から出力処理要素ま
での接続の重みを調整することにより、入力の学習セッ
トをどのような方法で出力に一致させるかを「学習」す
る。

この種のネットワークを公式化問題で使用することの利
点は、それが自己学習であることである。非線形最小二
乗統計モデルにおけるように、演繹的な関数形式を指定
したり、入力と出力間の関係を指定したりする必要がな
い。また、このネットワークは暗黙的に非線形であるの
で、多重線形回帰のような、応用頻度の高い線形手法よ
りも有用な一般化が得られる。この種のネットワークで
は、ルール・ベースの人工知能（AI）システムにおける
ように、包括的な公式化「ルール」の集合を発見する必
要がない。このネットワークでは、学習データ・ベース
内の入力と出力の間に存在するルールと関係は、暗黙に
その内部構造に組み込まれる。このために、十分に完全
なデータ・ベースが与えられていれば、公式予測とパタ
ーン認識のための分散並列処理ネットワーク・モデルの
構築は、統計モデルやルール・ベース・モデルよりも高
速にかつ容易に完成することができるのが普通である。

パターン認識問題の場合は、学習データ・セットは使用
される入力処理要素と出力処理要素の数を判断する。事
前処理ステップが通常使用されて、学習データ・セット
と予測データ・セットの両方に入っている入力と出力を
個別的に0.1〜0.9の範囲に位置するようにスケーリング
を行なう。以下で詳しく説明するように、学習データ・
セットは、本発明に従って相互接続のしきい値と重みの
値を判断するために使用される。（ここでも注意すべき
ことは、しきい値は重みとして扱うことができることで
ある。）予測データ・セットは、本発明に従って判断さ
れた重みをもつネットワークの動作を検証し、有効であ
るかどうかを検査するために使用される。スケーリング
を行なうときは、0.1が集合内の特定変数の最低値に対
応し、0.9が最高値に対応するように、線形スケーリン
グが行なわれるのが通常である。以下に説明する例で
は、ある電子部品の11個の物理的測定値からのデータ
は、目視検査員がREJECT［0.1とコード化されている］
またはACCEPT［0.9とコード化されている］のカテゴリ
に分類したことに関係づけれられるものである。学習セ
ットは42個のサンプルからなり、そのうち36個のサンプ
ルが受理され、６個が拒否されている。この例のネット
ワークは、各物理的測定値ごとに１個といったように、
11個の入力処理要素（ｉ＝11）と、２個の中間処理要素
（ｋ＝２）と、１個の出力処理要素（ｊ＝１）とからな
り、出力処理要素の値は受理か拒否かを指定している。

この例では、ネットワークの学習をセットアップすると
きユーザが選択できるのは２つだけである。最初に、出
力データの収束精度が指定されている。２つの収束基準
が使用され、どちらか一方を受け付けると、学習が停止
するようになっている。まず、出力を予測するときの二
乗平均（RMS）誤差がユーザが指定した許容誤差TOLER
（スケール単位の）以下であれば、収束が宣言されてい
る。第２に、個別的な出力誤差のどれもが誤差の許容範
囲の３倍（３＊TOLER）を超えていなければ、その解は
収束されたものとみなされている。電子部品を分類する
例では、ネットワークの学習のための入力パラメータ・
リスト（付録のp.A−１のEREC.PRM）に示すように、誤
差の許容範囲は0.01が選択されている。

２番目のユーザが調整可能なパラメータは、ネットワー
クで使用されている内部または隠れた処理要素（ｋ）の
個数である。n_i個の入力要素、n_k個の隠れた要素、およ
びn_j個の出力要素のとき、調整可能な重みとしきい値の
総数は次式から得られる。

n_total＝（n_i＋１）n_k＋（n_k＋１）n_j （８） n_totalが学習サンプルの数に比べて小さければ、ネット
ワークは「内挿的」性格をもち、入力データの微小な変
化を出力変化に写像することはできない。n_totalが大き
ければ、ネットワークは「パターン認識」モードに近似
し、各入力パターンを記憶する。指定された内部要素が
必要とするものよりも若干多ければ、ネットワークは、
いくつかの要素がすべての学習パターンに対して「オ
ン」か「オフ」のどちらかになる解決に役立つことが多
い。これらの余分な要素はネットワークから除くことが
できる。他方、隠れた要素をあまり少なく指定すると、
ネットワークは収束が非常に遅くなり、学習セットのメ
ンバーの一部を誤って分類する傾向がある。

ここで説明している例では、ネットワークの学習および
しきい値と重みの判断は、プログラムに従って動作する
CRAY X−MPスーパコンピュータを使用して実行される。
付録のp.A−１に示されているクレイ・ジョブ制御言語
（JCL）ファイルELEC.JOBは、CRAY X−MPスーパコンピ
ュータ上のジョブの実行を監視するものである。FORTRA
N77主プログラムFORMULのソース・プログラムはファイ
ルELEC.CFTに保管されており、その詳細リストは付録の
p.A−７〜p.A−11の１行目から227行目に示されてい
る。

プログラムの入力は２つのファイルELEC.PRM（リストに
はFORTRAN論理装置15と示されている入出力装置に置か
れている）とQSM.DAT（リストにはFORTRAN論理装置18と
示されている入出力装置に置かれている）から読み取ら
れる。リストのp.A−１のファイルELEC.PRMのリストか
ら明らかなように、11個の入力ノード、１個の出力ノー
ド、および２つの隠れた（内部）ノードがある。学習の
RMS誤差許容範囲（TOLER）は0.01（つまり、１パーセン
ト）と指定され、実効学習提示の最大数（NMAX）は100,
000と指定されて、プログラムからの出口が用意されて
いる。当面の問題に対する適当な誤差許容範囲があれば
それを指定することも可能であり、また学習提示の数も
適当なものを選択することが可能である。

学習データのセットはリストのp.A−２のファイルQSM.D
ATに示されている。42個の学習パターンの各々に対して
プログラムの中で使用されている変数名に対応するTRIN
A1〜TRINA11のラベルを付けた11個の入力は、ファイルQ
SM.DATのリストに行ごとに１つ示されている。リストの
p.A−３には、42個の出力TROUTAリストには変数Ｙも示
されている）があり、0.1と0.9の値はそれぞれREJECTと
ACCEPTに対応している。入力信号の集合TRINAは第１図
に示す入力信号集合INPUT（ｉ）に対応し、第２図に示
す入力に対応している。

２つのファイルには、主ルーチンFORMULからの出力が入
力されている。リストにFORTRAN論理装置６と示されて
いる入出力装置に書き出された情報は、付録のp.A−４
の出力ファイルNEURAL.CPRに入れられる。重みとしきい
値は、リストにFORTRAN論理装置28と示されている入出
力装置に置かれているファイルELEC.Wに書き出される。
学習ルーチンFORMULの流れ図は第４図に示してある。こ
のプログラムの主要要素は枠内に示されており、行番号
は右に向かって示されているファイルELEC.CFTのソース
・リスト中の行番号に対応している。

変数と共通宣言のあと、プログラムFORMULはサブルーチ
ンINCONTとGETPATを呼び出して、学習パラメータとデー
タをそれぞれ入力する。サブルーチンINCONT（行446〜4
59）はファイルELEC.PRMに保管されている情報を、リス
トにFORTRAN論理装置15と示されている入出力装置から
読み取る。サブルーチンGETPAT（行460〜482）は、ファ
イルQSM.DATに入っている学習パターンをFORTRAN論理装
置18から読み取って、それらをTRINAと名付けた変数
（学習パターン当たり11個の入力）とTROUTAと名付けた
変数（学習パターン当たり１個の出力）を格納する。始
めての実行（ファイルELEC.PRMにはIRSTRT＝０となって
いる）では、重みとしきい値はランダムに行74〜100に
割り当てられている。学習が再始動される場合は（ファ
イルELEC.PRMにはIRSTRT＝１となっている）、付録のp.
A−９の行103〜116で、以前に計算された重みとしきい
値を収めているファイルELEC.WがリストにFORTRAN論理
装置29と示されている入出力装置から読み取られる。こ
こで説明している例では、学習はランダムな初期状態か
ら開始される。この初期状態は、サブルーチンDGEARの
制御パラメータと一緒に行117〜159（p.A−９）にセッ
トされている。

主ルーチンFORMUL内の行160〜205はループであり、この
ループに入ると、サブルーチンDGEARが繰返し呼び出さ
れ（行164〜165）、初期値として100がセットされた終
了時間TENDが増加していく。DGEARは時間ｔ（初期値ｔ
＝０）から時間TENDまで式（6a）、（7a）で示した微分
方程式を解き、式（6a）、（7a）の右辺を評価するサブ
ルーチンDIFFUN（行228〜435）を呼び出す。

DGEARが微分方程式の解をｔからTENDまで進めたあと、
重みとしきい値が行185〜198でファイルELEC.W（リスト
にFORTRAN論理装置28と示されている入出力装置）に書
き出される。ある種の監視情報も行179〜184でファイル
NEURAL.CPR（リストのp.A−４）（リストにFORTRAN論理
装置６と示されている入出力装置）に書き出される。次
に、時間終了点が２倍にされ（行202）、到達した時間
がファイルELEC.PRMに指定されている最大繰返し回数を
超えていなければ、ループが行160から続けられる。主
プログラムのループ（行160〜205）は、上述した２つの
収束基準のどちらかが満足された場合にも停止する。つ
まり、出力の平均二乗予測誤差がTOLER以下であるか、
予測誤差のすべてが許容誤差の３倍以下（３＊TOLER）
である場合である。収束またはNMAXに達すると、プログ
ラム制御権は行206に移り、最終監視印刷出力（行209〜
210）とELEC.Wの書出し（行211〜221）が行なわれてか
ら、プログラムは停止する（行223）。

主ルーチンFORMULとサブルーチンDGEARとの間のやりと
りは、第５図の流れ図に示されている。DGEARは呼び出
されるつど、最初の時間に変数Ｙから始めて、式（6a）
と（7a）の右辺を評価するサブルーチンDIFFUNを繰返し
呼び出すことによってこれらの式を積分する。DGEARは
積分で使用される時間ステップDTを内部で監視して、必
要に応じてそれを増減する。プログラムDGEARは市販さ
れているものを使用しているので、その詳細は、概念化
した形でしか流れ図に示されていないことに注意された
い。

サブルーチンDIFFUN（行228〜435）は、値Ｙ（学習され
ているネットワークに重みW1とW2およびしきい値THETA1
とTHETA2を表わしている）を入力として受け取って、こ
れらの値の瞬時の変更速度DY＝dY/dtを計算する。ここ
でも注意すべきことは、しきい値は重みとして扱われる
ことである。行258〜307で、入力値Ｙは該当する重みと
しきい値変数に格納され、重み変更の一時記憶変数が初
期値化される。行308〜390のD0ループで、式（6a）と
（7a）で与えられた下降勾配重み変更が評価される。こ
れらの量は、行397〜417で出力ベクトルDYの該当する場
所に記憶される。

リストのp.A−４の印刷出力NEURAL.CPRは、例のデータ
・セットQSM.DATの出力を示している（追加される説明
内容と一緒に）。この例では、42個の学習パターンと27
個の調節可能な重みとしきい値がある。ルーチンFORMUL
は25,600回の実行学習繰返し時間に、0.01以上に良好な
RMS予測誤差に収束している。CRAYコンピュータ・シス
テムに特有のELOWTRACE（p.A−４）は、各ルーチンが何
回呼び出されたかを示している。得られた学習重みとし
きい値は、ファイルELEC.Wの印刷出力に示されている
（p.A−５）。コンピュータは計算機に固有の乱数列を
生成するので、NEURAL.CPRとELEC.Wに示されている結果
の詳細は、他のコンピュータで生成されるものと同じに
なるとは限らない。

この例で用意された最後のリストは、付録のp.A−17〜
Ａ−20に記載されているルーチンPREDCT.FORである。こ
れはVAX FORTRANプログラムであり、本発明に従って学
習される分散並列処理ネットワークを実現する。ルーチ
ンPREDCT.FORは予測データ集合を利用して、入力層と中
間層間の重みの値と中間層と出力層間の重みの値が式
（6a）と（7a）に与えられている微分方程式の定常状態
の解集合に従って調節される分散並列処理ネットワーク
が電子部品を正しくREJECTかACCEPTに分類しているかを
検証し、確かめている。このネットワークはデジタル・
エクイプメント社VAX上に実装されている。

VAXは、ルーチンPREDCT.FORに従って動作して、ファイ
ルELEC.PRM、QSM.DATおよびELEC.Wを読み取る。次に、
式（6a）と（7a）に示されている線形微分方程式の定常
状態解として求められた重みを使用して、QSM.DATに入
っている予測パターン集合の出力を予測する。ファイル
ELEC.OUTは、ファイルELEC.Wに入っている重みとしきい
値の計算結果を示している。予測集合の出力Ｙ［ｊ］
（付録のp.A−６の左欄）を、ルーチンPREDCT.FORに従
って動作するVAXに実装されている本発明によるネット
ワーク10から得た出力と一緒に調べれば容易に分かるよ
うに、ネットワークは予測集合の中の42個のサンプルの
各々を正しく分類している。

付録のp.A−６のファイルELEC.OUTにリストされている
ネットワーク予測の精度をグラフで示したのが第６図で
ある。42個の学習パターンがあり、式（８）から調整可
能な重みとしきい値の数が27であるので、まだ15の自由
度が残されている。それにもかかわらず、ネットワーク
は、隠れた要素が２つかなくても、42の受理／拒否の決
定を正確に分類することができる。

ここで説明している例において、付録のp.A−４に示すF
LOWTRACEから明らかなように、許容誤差が0.01の収束に
ネットワークを学習するためには、NMAX以内で、25,600
回のステップを使用して、CRAY X−MP/24コンピュータ
で７秒以内の実行時間（実際には6.741秒）があれば十
分である。重みの値を判断する式（6a）と（7a）の実際
の解を求めるには、6.629秒が必要であり、ルーチンDIF
FUNを1505回実行させる必要がある。従来の順次更新方
式では、重みは式（１）の右辺の最初の項に従って判断
されるので、学習を行なうには、この収束を得るために
は、すべての学習パターンの少なくとも25,600個の実効
学習表現が必要になる。これは学習速度etaが通常１以
下であるためである。つまり、従来のネットワーク学習
では、25,600回の繰返しでΔＷ［gd］を計算する必要が
ある。別の言い方をすると、ネットワークを学習するた
めに式（１）における繰返し回数ｎは25,600になる（et
aは１に等しく、alphaはゼロに等しい）。しかし、本発
明に従って学習を行なうと、サブルーチンDIFFUNが一度
呼び出されることになり、これはFLOWTRACE出力にはル
ーチンDIFFUNを1505回呼び出したものとして示されてい
る。従って、この例では、本発明による学習方式を使用
すると計算速度の増加が少なくとも17倍（25,600/150
5）になる。

さらに、RMS予測誤差の均一収束が付録のp.A−４に示す
ファイルNEURAL.CPRに示されており、それと共に使用さ
れる計算ステップのサイズが急激に増加していることも
示されている。学習の終了に向かって、本発明によれ
ば、ネットワークの学習速度は、従来の繰返し方式より
も数百倍に高速化している。

これまでに説明してきた分散並列処理ネットワーク手法
は、特に基礎となる相互作用が複雑で非線形であると
き、従来の統計手法を有益に補強することができる。複
数の最小二乗回帰に比べて、ネットワークは入力と出力
間のより複雑な関係（つまり、非線形的な）を受け入れ
ることができる。最小二乗予測誤差を最小化する基礎原
理は同じであるが、逆伝搬ネットワークはより一般的で
ある。ネットワークが非線形的な最小二乗適合手順とは
対象的に、モデルに左右されないのは、入力を出力に関
係づける内在の機能形式に関して想定が行なわれていな
いためである。表現の精度は、モデルの適合性ではな
く、データの品質だけに制約されるためである。

本発明で開示した事項の恩恵を受ける当業者は、本発明
を種々態様に改変することが可能である。しかし、かか
る改変は請求の範囲に明確化されている本発明の範囲に
属することは勿論である。

フロントページの続き (56)参考文献 情報処理Ｖｏｌ．29 Ｎｏ．９（1988年 ９月）ｐ．993−1003 社団法人情報処理 学会「コネクショニズムの展望」國藤進 信学技報Ｖｏｌ．88 Ｎｏ．177（1988 年９月16日）ＰＲＶ88−58 社団法人電子 情報通信学会「ニューラルネットを用いた 文字認識」山田敬嗣 他 信学技報Ｖｏｌ．87 Ｎｏ．257（1987 年11月20日）ＰＲＶ87−57 社団法人電子 情報通信学会「一般ニューロン回路網によ る関数の極値探索」上坂古則

Claims (7)

【特許請求の範囲】
1. 【請求項１】１個からｉ個までの処理要素からなり、各
   処理要素は入力ポートと出力ポートをもち、ｉ個の入力
   処理要素の各々はその入力ポートに現われた入力信号に
   接続可能であり、各々はその出力ポートから活動化信号
   A1［ｉ］を出力するように動作可能である第１入力集合
   を定義するための手段と、 １個からｋ個までの処理要素からなり、各処理要素は入
   力ポートと出力ポートをもち、ｋ個の中間処理要素の各
   々はその出力ポートから活動化信号A2［ｋ］を出力する
   ように動作可能である第２中間集合を定義するための手
   段と、 １個からｊ個までの処理要素からなり、各処理要素は入
   力ポートと出力ポートをもち、ｊ個の出力処理要素の各
   々はその出力ポートから活動化信号A3［ｊ］を出力する
   ように動作可能である第３出力集合を定義するための手
   段とでなり、 入力処理要素集合の中のｉ個の入力処理要素の各々は中
   間処理要素集合の中のｋ個の中間処理要素のうちの少な
   くとも１つの要素に接続され、かかる相互接続は各々に
   接続の重みW1［i,k］が関連づけられており、 中間処理要素集合の中のｋ個の中間処理要素の各々は出
   力処理要素集合の中のｊ個の出力処理要素のうちの少な
   くとも１つの処理要素に接続されて、かかる相互接続は
   各々に接続の重みW2［k,j］が関連づけられており、 ｐ個の学習信号の集合が入力処理要素の入力ポートに入
   力されると、活動化信号A1［i,p］、A2［k,p］およびA3
   ［j,p］が出力されるように構成されており、 ｐ個の学習信号の各々は、Ｖ個の所定の所望出力信号の
   集合のうちの１つの所定信号に関連づけられているよう
   な種類の並列分散処理ネットワークにおいて、 活動化信号A1、A2、およびA3と入力処理要素と出力処理
   要素間の相互接続の接続の重みW1、W2は次の第１の堅い
   微分方程式集合によって関係づけられており、 d/dt W1［i,k］＝Σp A1［i,p］A2［k,p］（１−A2［k,
   p］） ×Σｊ（Ｖ［j,p］−A3［j,p］）A3
   ［j,p］×（１−A3［j,p］）W2［k,j］ 活動化信号A2とA3および中間処理要素と出力処理要素間
   の相互接続の接続の重みW2は次の第２の堅い微分方程式
   集合によって関係づけられており、 d/dt W2［k,j］＝Σp A2［k,p］A3［j,p］（１−A3［j,
   p］）×（Ｖ［j,p］−A3［j,p］） 重みW1とW2は、それぞれ、前記第１および第２の堅い微
   分方程式集合を定常状態の解に収束させることによって
   計算されるようした並列分散処理ネットワーク。
2. 【請求項２】ｉ個の入力処理要素の各々の出力ポート
   は、ｋ個の中間処理要素の各々の入力ポートに接続さ
   れ、ｋ個の中間処理要素の各々の出力ポートは、ｊ個の
   出力処理要素の各々の入力ポートに接続されている請求
   の範囲第１項に記載の並列分散処理システム。
3. 【請求項３】前記第１、第２および第３の処理要素集合
   を定義する手段は、プログラムに従って動作する少なく
   とも１つのデジタル・コンピュータからなる請求の範囲
   第１項または第２項に記載の並列分散処理システム。
4. 【請求項４】前記第１、第２および第３の処理要素集合
   を定義する手段は、相互に接続された個別的なアナログ
   構成要素からなる請求の範囲第１項または第２項に記載
   の並列分散処理システム。
5. 【請求項５】前記第１、第２および第３の処理要素集合
   を定義する手段は、基板をもつ集積回路からなり、処理
   要素の入力層、中間層および出力層と、それらの層間の
   相互接続線とが基板上に形成されている請求の範囲第１
   項または第２項に記載の並列分散処理システム。
6. 【請求項６】１個からｉ個までの処理要素からなり、各
   処理要素は入力ポートと出力ポートをもち、ｉ個の入力
   処理要素の各々はその入力ポートに現われた入力信号に
   接続可能であり、各々はその出力ポートから活動化信号
   A1［ｉ］を出力するように動作可能である第１入力集合
   を定義するための手段と、 １個からｋ個までの処理要素からなり、各処理要素は入
   力ポートと出力ポートをもち、ｋ個の中間処理要素の各
   々はその出力ポートから活動化信号A2［ｋ］を出力する
   ように動作可能である第２中間集合を定義するための手
   段と、 １個からｊ個までの処理要素からなり、各処理要素は入
   力ポートと出力ポートをもち、ｊ個の出力処理要素の各
   々はその出力ポートから活動化信号A3［ｊ］を出力する
   ように動作可能である第３出力集合を定義するための手
   段とでなり、 ｉ個の入力処理要素の各々はｋ個の中間処理要素のうち
   の少なくとも１つの要素に接続され、かかる相互接続は
   各々に接続の重みW1［i,k］が関連づけられており、 ｋ個の中間処理要素の各々はｊ個の出力処理要素のうち
   の少なくとも１つの出力処理要素に接続されて、かかる
   相互接続は各々に接続の重みW2［k,j］が関連づけられ
   ており、 ｐ個の学習信号の集合が入力処理要素の入力ポートに入
   力されると、活動化信号A1［i,p］、A2［k,p］およびA3
   ［j,p］が出力されるように構成されており、 ｐ個の学習信号の各々は、Ｖ個の所定の所望出力信号の
   集合のうちの１つの所定信号に関連づけられているよう
   な種類の並列分散処理システムを学習する方法におい
   て、 活動化信号A1、A2、およびA3と入出力処理要素と出力処
   理要素間関係を次の第１および第２の堅い微分方程式集
   合の形で定義するステップと、 d/dt W1［i,k］＝Σp A1［i,p］A2［k,p］（１−A2［k,
   p］） ×Σｊ（Ｖ［j,p］−A3［j,p］）A3
   ［j,p］×（１−A3［j,p］）W2［k,j］ および d/dt W2［k,j］＝Σp A2［k,p］A3［j,p］（１−A3［j,
   p］）×（Ｖ［j,p］−A3［j,p］） これらの微分方程式集合を解いて、重みW1とW2の値を求
   めるステップと、 重みW1とW2が前記第１および第２の堅い微分方程式集合
   の解に対応するようにネットワークの重みを調整するス
   テップとを具えたことを特徴とする方法。
7. 【請求項７】１個からｉ個までの処理要素からなり、各
   処理要素は入力ポートと出力ポートをもち、ｉ個の入力
   処理要素の各々はその入力ポートに現われた入力信号に
   接続可能であり、各々はその出力ポートから活動化信号
   A1［ｉ］を出力するように動作可能である第１入力集合
   を定義するための手段と、 １個からｋ個までの処理要素からなり、各処理要素は入
   力ポートと出力ポートをもち、ｋ個の中間処理要素の各
   々はその出力ポートから活動化信号A2［ｋ］を出力する
   ように動作可能である第２中間集合を定義するための手
   段と、 １個からｊ個までの処理要素からなり、各処理要素は入
   力ポートと出力ポートをもち、ｊ個の出力処理要素の各
   々はその出力ポートから活動化信号A3［ｊ］を出力する
   ように動作可能である第３出力集合を定義するための手
   段とでなり、 ｉ個の入力処理要素の各々はｋ個の中間処理要素のうち
   の少なくとも１つの要素に接続され、かかる相互接続は
   各々に接続の重みW1［i,k］が関連づけられており、 ｋ個の中間処理要素の各々はｊ個の出力処理要素のうち
   の少なくとも１つの出力処理要素に接続されて、かかる
   相互接続は各々に接続の重みW2［k,j］が関連づけられ
   ており、 ｐ個の学習信号の集合が入力処理要素の入力ポートに入
   力されると、活動化信号A1［i,p］、A2［k,p］およびA3
   ［j,p］が出力されるように構成されており、 ｐ個の学習信号の各々は、Ｖ個の所定の所望出力信号の
   集合のうちの１つの所定信号に関連づけられているよう
   な種類の並列分散処理システムにおいて、 活動化信号A1、A2、およびA3と入出力処理要素と出力処
   理要素間関係を次の第１および第２の堅い微分方程式集
   合の形で定義しておき、 d/dt W1［i,k］＝Σp A1［i,p］A2［k,p］（１−A2［k,
   p］） ×Σｊ（Ｖ［j,p］−A3［j,p］）A3
   ［j,p］×（１−A3［j,p］）W2［k,j］ および d/dt W2［k,j］＝Σp A2［k,p］A3［j,p］（１−A3［j,
   p］）×（Ｖ［j,p］−A3［j,p］） これらの微分方程式集合を解いて、重みW1とW2の値を求
   める手段と、 重みW1とW2が前記第１および第２の堅い微分方程式集合
   の解に対応するようにネットワークの重みを調整する手
   段とを具えたことを特徴とする並列分散処理システム。