JPH09503602A

JPH09503602A - 学習ニューラルネットワークおよびその方法

Info

Publication number: JPH09503602A
Application number: JP7510802A
Authority: JP
Inventors: 研一弘津; ブルック，マーティン・アンソニー
Original assignee: ジョージア・テック・リサーチ・コーポレイション
Priority date: 1993-10-04
Filing date: 1994-07-27
Publication date: 1997-04-08
Also published as: US5455891A; WO1995010087A1; CN1132562A; KR960705277A; CA2172608A1; EP0722587A4; EP0722587A1

Abstract

(57)【要約】学習ニューラルネットワーク（３０）は、ネットワーク（３０）に対する所望の機能を達成するために、ネットワーク（３０）の入力に与えられる重みを操作するための重み調整機構（２８）内においてランダム重み変更学習アルゴリズムを実現する。重みは、初期状態から、＋δまたは−δのいずれかのわずかな増分重み変更でランダムに変更される。重み変更により総ネットワーク出力が減少する場合には、誤差が増加するまで同じ重み変化が繰返される。しかしながら、総ネットワーク誤差が増加する場合には、重みは再度ランダムに変更される。前述の方法を繰返した後、ネットワーク誤差は徐々に減少してついにはおおよそゼロに達する。さらに、シフト機構（３６）および乗算器（３８）は重み付与機構（１６）として用いられる。シフト機構（３６）は、ランダム線（３５）で直列に接続され、かつシフト線（４４）で並列に接続される。ランダムな方向はシフト線（４４）の制御下でランダム線（３５）を介してシフト機構（３６）を通って連続して送られるので、ニューラルネットワーク（３０）内のシフト機構（３６）のすべてに対してわずかに１つの乱数が発生されればよい。

Description

【発明の詳細な説明】学習ニューラルネットワークおよびその方法発明の分野この発明は一般にニューラルネットワークに関し、より特定的には、特定の機能を実現するために学習ニューラルネットワークのパラメータを調整するための学習アルゴリズムを有する学習ニューラルネットワークに関する。背景技術ニューラルネットワークは、人の脳のアーキテクチャをモデルにした計算アーキテクチャである。図１に示されるように、一般的には、ニューラルネットワーク１２は、複数の入力Ｉ_o〜Ｉ_mを受信し、所望の関数に基づいて入力Ｉ_o〜Ｉ_mに演算を行なって、複数のネットワーク出力Ｏ_o〜Ｏ_pを生ずる。ニューラルネットワーク１２は、本質的に直列で動作するコンピュータとは対照的に、入力Ｉ_o〜Ｉ_mを並列に処理するため、極めて高速である。構造において、ニューラルネットワーク１２は、連続する一連の層に組織化された複数の「ニューロン」１４を含む。出力Ｏ_o〜Ｏ_pに最も近い層は「出力層ニューロン」と呼ばれ、出力層ニューロンの前に位置する層は「隠れ層ニューロン」と呼ばれる。各ニューロン１４は、図２に示されるアーキテクチャを一般的に含む。利用可能な入力の任意の組合せが各ニューロン１４に与えられてもよい。各ニューロン１４において、まず、ニューロン１４に接続された各入力Ｉに重みが付与される。一例として、図２は、出力Ｏ_qを与えるために入力Ｉ_o〜Ｉ_kがニューロン１４に入るのを示す。重み付与機構１６によって入力Ｉ_o〜Ｉ_kに重みＷ_o〜Ｗ_k がそれぞれ付与されるが、ここで重み付与機構１６は、単に、重みをそれぞれの入力Ｉと数学的に結合させるための乗算器であってもよい。重みＷ_o〜Ｗ_kがそれぞれの入力Ｉ_o〜Ｉ_kに付与された後、それらの信号は図２の加算ブロック１８によって示されるように総和演算を介して数学的に組み合わされる。次に、加算ブロック１８からの信号は、当該技術分野では「シグモイド」と呼ばれることもある非線形回路２２に送られ、そこで、出力Ｏ_qを与えるために信号に非線形変換が加えられる。通常は、各ネットワーク１２には、多数の重み付与機構１６と、その重み付与機構１６により付与され得る多数の重み値とがある。したがって、ネットワーク１２のための所望の機能と出力の所望の組とを達成するために入力の特定の組に付与されるべき重みを決定することは、それに伴う必要な複雑な数学的計算のため、極めて困難である。この理由から、一定のネットワーク機能を達成するために付与されるべき適当な重みを決定するための学習アルゴリズムまたはトレーニングアルゴリズムを作り出すことに対して、多大な努力が払われてきた。一般に、学習アルゴリズムは、一連の実際のネットワーク出力Ｏ_o〜Ｏ_pを、対応する一連の所望の値Ｏ_o′〜Ｏ_p ′と比較する。この一連の所望の値Ｏ_o〜Ｏ_p′は、ネットワーク１２の所望の機能に基づく。図１を参照して、この比較により、誤差ブロック２４で示されるように、一連の誤差Ｅ_o〜Ｅ_pが発生される。さらに、誤差Ｅ_o〜Ｅ_pは、最小誤差が、所望の機能に対するネットワークの機能の最良の一致を示すことが確実になるような方法で、通常は数学的に正にされる。この手順は、乗算ブロック２５につながる対の矢印で示されるように、数学的二乗によって達成され得る。次いで、二乗された値は加算ブロック２６で総和演算を介して数学的に組合せられて、一連の総ネットワーク誤差Ｅ_Nを与える。一連のネットワーク誤差Ｅ_Nは次いで重み調整機構２８に送られ、重み調整機構２８は、ニューロン１４において各重み変化が実現されるべき方向（各重みに対して＋Ｄまたは−Ｄのいずれか）を時々発生する。図１および図２に示されるように、方向（＋Ｄまたは−Ｄ）は多くの並列接続線２９を介して一種の利得制御である大きさ調整機構３１に送られ、大きさ調整機構２９は重み変化の大きさδを決定してこの大きさを適切な方向の符号と結合させる。こうして、＋δまたは−δの変化増分が重み１６の各々に与えられる。重み調整機構２８内において用いられる周知の技術は逆誤差伝播（バックプロパゲーション）学習アルゴリズムである。この問題については多くの教本が著されている。逆誤差伝播学習アルゴリズムに従うと、誤差の勾配（グラフ上の傾斜）が各重みに関して決定され、その勾配は各重みが操作されなければならない方向を示す。数学において、この技術は最急降下の一形式と呼ばれることもある。しかしながら、逆誤差伝播を含む大抵の学習アルゴリズムは、複雑な乗算、加算、および数学的導関数の発生を要する。これらの数学的演算は膨大な処理サポートを必要とし、特に非常に多数のニューロン１４を電子回路で実装する場合には、乗算器および加算器を実施するために多くの空間が用いられれなければならない。デジタル回路の直列動作を用いてサイズを低減することもできるが、これは、処理時間を遅くし学習期間を長くする。並列アナログ回路を用いれば、学習速度は速くなりかつ必要な面積は低減されるであろうが、しかしながら、アナログ回路が理想的ではないという点（オフセット、非直線性等）がこれらの学習アルゴリズムを期待どおりに達成することを非常に困難なものにして、学習能力の劣化を引き起こすかまたは学習が全くなされないことさえある。逆伝播学習アルゴリズムは、これらの理想的ではない点に対して特に影響を受けやすい。このように、産業界においては、ニューラルネットワークと関連して用いることができる学習アルゴリズムに対し、乗算のような複雑な回路を要することなく信号処理速度および学習期間の両方を改善するという、これまでは対処がなされてこなかった要求が存在する。発明の概要簡単に説明すると、この発明は、ニューラルネットワークの重みを調整するための方法を提供し、特定のネットワーク機能を達成するために学習ニューラルネットワークの対応する重みを適応的に修正するための学習アルゴリズムを有する学習ニューラルネットワークを提供する。この方法に従うと、重みは初期状態から変化増分（＋δまたは−δ）の分だけランダムに変更される。さらに、重みの変更後にネットワークのネットワーク誤差が減少する場合には、ネットワーク誤差が増加するまでその変化増分は繰返され、重みの変更後にネットワーク誤差が増加する場合には、重みは再度ランダムに変更される。この手順は、ネットワーク誤差がゼロに近付くまで繰返される。前述の方法は以下のようにより特定的に記載され得る。第１の変化増分の方向（たとえば＋または−、すなわちδの極性）の組が、ネットワークのそれぞれの第１の重みにおけるそれぞれの変化増分（δ）に対して、ランダムに、任意に選択される。第１の重みは、それぞれの変化増分の分だけ増分され、第２の重みを形成する。次いで、第２の重みと結合された一連のネットワーク入力から、一連のネットワーク出力が発生される。このネットワーク出力を、このネットワーク入力に対応する所望の出力と数学的に組合せることによって、一連のネットワーク出力についての総ネットワーク誤差が発生される。総ネットワーク誤差の大きさが減少する場合、第２の重みは、第３の重みを形成するために、第１の方向にそれぞれの変化増分の分だけ再度増分されて、第３の重みと結合されたネットワーク入力から一連のネットワーク出力が発生される。誤差の大きさが増加した場合には、それぞれの変化増分に対してランダムに第２の方向の組が任意に選択され、第２の重みは第４の重みを形成するために第２の方向にそれぞれの変化増分の分だけ増分され、第４の重みと結合したネットワーク入力からネットワーク出力が発生される。この発明の別の特徴に従うと、重み変更のための方向はネットワーク内のさまざまな重み機構に乱数を順次シフトすることによって発生でき、その乱数（たとえば、＋１または−１のいずれかのランダムな選択）を重み変更の方向を指定するために用いる。この発明の利点は、信号処理速度、学習期間、および能力が先行技術の実施例に対して改善されるという点である。この発明の別の利点は、新規な学習アルゴリズムが複雑な乗算回路なしに実現でき、電子回路内での容易な実現と、それを実現するために必要な空間の低減とをもたらすという点である。この発明の別の利点は、ネットワーク内の重み機構の各々に順次シフトされる、重み変更のための方向を示す１つの乱数を発生することによって、処理回路を最小限にするという点である。この発明の別の利点は、非線形または線形のいずれかも知れずかつ複雑度がどのようなものかわからない未知のプラントを効率的かつ正確に制御するために学習ニューラルネットワークが利用され得るという点である。この発明の他の目的、特徴、および利点は、以下の図面および詳細な説明を考察すれば、当業者には明らかとなるであろう。図面の簡単な説明この発明は以下の図面を参照するとよりよく理解され得る。図面は必ずしも尺度決めされてはおらず、代わりに、この発明の原理を明確に説明することに重点が置かれている。図１は、ニューラルネットワーク内の重みを調整するための学習アルゴリズムを実現するための重み調整機構を有する、従来の学習ニューラルネットワークのブロック図であり、図２は、図１のニューロンのブロック図であり、図３は、この発明に従う学習ニューラルネットワークのブロック図であり、図４は、従来の逆誤差伝播学習アルゴリズムをこの発明のランダム重み変更学習アルゴリズムと比較する三次元グラフであり、図５は、図３のニューロンのブロック図であり、図６は、図５の重み付与機構のブロック図であり、図７は、未知のプラントが学習ニューラルネットワークによって制御される、図３の学習ネットワークに対する適用例のブロック図である。好ましい実施例の詳細な説明いくつかの図を通して同じ参照番号は対応する部分を示すが、これら図を参照すると、図３は、この発明に従う新規なランダム重み変更学習アルゴリズムを実現する新規な学習ニューラルネットワーク３０を示す。学習ニューラルネットワーク３０は、複数の入力Ｉ_o〜Ｉ_mと、重み調整機構２８を介して操作される複数の重みＷ_o〜Ｗ_pとの結合から複数の出力Ｏ_o〜Ｏ_pを発生するための複数の学習ニューロン１４′を含む。ニューラルネットワーク３０はどのような数のニューロン層を含んでもよい。さらに、利用可能な入力の任意の組合せが各ニューロン１４に与えられてもよい。言換えれば、図３に示される第１の層における各ニューロン１４は入力Ｉ_o〜Ｉ_mのどのような組合せを受信してもよく、各外側層ニューロン１４は隠れ層ニューロンからのニューロン出力のどのような組合せを受取ってもよい。さらに、ブロック２４に示されるようにそれぞれの誤差Ｅ_o〜Ｅ_pを発生するために、出力Ｏ_o〜Ｏ_pの各々はそれぞれの所望の出力Ｏ_o′〜Ｏ_p′と比較される。これらの誤差Ｅ_o−Ｅ_pは次いでブロック２５で示されるように数学的に二乗され、結果として生じた二乗誤差は次いで加算ブロック２６に示されるようにともに加算されて、一連の入力Ｉ_o〜Ｉ_mから一連の誤差Ｅ_N′を発生する。学習ニューラルネットワーク３０において、重み調整機構２８′は、時間遅延機構（Ｔ）３２と、累積機構３３と、比較器（Ｃ）３４とを含む。累積機構３３は一連の誤差Ｅ_N′を累積して分析のための総ネットワーク誤差Ｅ_Nを発生する。累積機構３３はなくても良いが、それはある時間的期間にわたる複数の入力／出力関係に基づいて重みの調整を可能にするため、学習ニューラルネットワーク３０の学習を促進するという点で好ましい。さらに、時間遅延機構３２は総ネットワーク誤差Ｅ_Nを受取る。比較器３４は、総ネットワーク誤差Ｅ_Nと、時間遅延機構３２からの時間遅延出力とを比較して、重みの操作後にネットワーク誤差Ｅ_N が増加したか減少したかを判断する。この情報は次いで学習ニューロン１４′に送られ、それは次いで正の極性または負の極性のいずれかを有する重み変化δを供給する。重み変化δの極性は、重みが変更される方向を特定する。重要なことは、この発明のランダムな重み変更学習アルゴリズムに従うと、重みはまずそれらの初期状態から＋δまたは−δのいずれかのわずかな増分重み変化の分だけランダムに変更される。ランダムな重み変更方向（＋Ｄまたは−Ｄ）は、図３の参照番号３５によって示されるように学習ニューロン１４′に供給される。この文書の文脈においては、「ランダムな」選択とは、真にランダムな選択、擬似ランダム選択、または、集合内の、他の選択されなかった値と比較して、ほぼ等しい選択の確率を有する、その集合内のある新しい値を任意に特定することを特徴とする任意の他の選択を示す。さらに、前の重み変更の実施後に総ネットワーク誤差Ｅ_Nが減少した場合には、誤差Ｅ_Nが増加するまで同じ重み変更が繰返される。しかしなから、総ネットワーク誤差Ｅ_Nが増加した場合には、重みは再度ランダムに変更される。前述の方法を繰返した後、出力誤差Ｅ_Nおよび誤差Ｅ_o〜Ｅ_pは徐々に減少して最終的には０に近付く。この発明のランダムな重み変更学習アルゴリズムは以下のように数学的に表わすことができる。 W_ij(n＋1)＝W_ij(n)＋ΔW_ij(n＋1) E(n＋1)＜ E(n)のとき、ΔW_ij(n＋1)＝ΔW_ij(n) E(n＋1)≧ E(n)のとき、ΔW_ij(n＋1)＝δ＊Rand(n) （Rand(n)：２つの状態±１のみ有する確率関数）ここで、Ｗ_ijはｊ番目の層にあるｉ番目の重みを表わし、Ｅは総ネットワーク誤差を表わす。上の等式は、ともに図３の、比較器３４と組合された時間遅延機構３２によって実現される。図４は、従来の逆誤差伝播学習アルゴリズムと、この発明のランダム重み変更学習アルゴリズムとの比較を示す。逆誤差伝播学習アルゴリズムでは、動作点は、ニューラルネットワーク１２に対応する総ネットワーク誤差曲線の最も急な傾斜に沿って下に進む。重み変更のための方向は、総ネットワーク誤差曲線Ｅの勾配に対応する。対照的に、この発明のランダム重み変更学習アルゴリズムでは、動作点は、急な傾斜にそって真っ直ぐ降下するのではなく、総ネットワーク誤差曲線Ｅ上を上下するか、統計的かつ究極的には、動作点は、誤差がゼロである正しい答えに降下する。本質的に、ギザギザの動作曲線に沿った方向の各変更は、新しいランダムな方向の発生を表わす。図４から明らかなように、この発明のランダム重み変更学習アルゴリズムは、逆誤差伝播学習アルゴリズムほど効率的ではない。しかしながら、ランダム重み変更学習アルゴリズムは、アナログ回路においてはオフセット等の理想的でない点を引き起こし、かつデジタル回路においてはさらなる複雑さをもたらす乗算器を必要としない。さらに、わずかに２つの重み変更の状態＋δ、−δ値しか有さない重み更新のための非常に単純な回路が利用可能である。最後に、ランダム重み変更学習アルゴリズムは、いずれの特定のネットワーク構造も必要としない。ゆえに、いくらかの効率性を犠牲にすることによって、前述の重要な利点がこの発明において実現される。図５は、ランダムに発生される重み変更を最も有利に利用するための学習ニューロンアーキテクチャを示す。図５に示されるように、各重み付与機構１６は、シフト機構３６と乗算器３８とを含む。シフト機構３６は乗算器３８に重みを与え、乗算器３８は、その重みを、入力Ｉ_x（ｘはＩ_o…Ｉ_k…Ｉ_mのいずれか）と数学的に結合する。さらに、シフト機構３６は、ランダム線３５を介して直列に接続され、かつシフト線４４を介して並列に接続される。好ましくは、各ニューロン１４′に関して実質的に真の乱数発生を達成するよう、ランダム線３５は、図３に示すように、ニューロン層を通して逆方向順に（外側層から内方へ向かって隠れ層の方向へ）接続される。図５を参照して、動作において、ランダムに発生された方向は、学習ニューロン１４′に入力され、シフト線４４の制御下でランダム線３５を介した直列接続に沿ってシフト機構３６からシフト機構３６へ送られる。上述の構成では、一度に１つだけのランダムな方向が発生されればよいので、シフト機構３６の各々に対してランダムな方向を発生する必要をなくし、それによって処理回路を最小限にする。シフト機構３６は、図６にさらに詳細に示される。図６を参照して、シフト機構３６は、ランダム線３５からランダムな方向を受取りかつシフト線４４からシフト制御信号を受取るためのシフトレジスタ４８を含む。シフト機構３６は、ランダム線３５により特定される増分重み変化（＋δまたは−δのいずれか）をシフトレジスタ４８から受取るための加算ブロック５２をさらに含む。加算ブロック５２はその増分重み変化を現在の重みＷと組合せて線４６に重みを与え、その重みは対応する入力Ｉと結合される。シフトレジスタ４８がシフト線４４上でパルスを受取らない場合には、重みＷは同じ方向（＋または−のいずれか）に同じ重み変化δの分だけ変更される。しかしながら、シフトレジスタ４８がシフト線４４上でパルスを受取った場合には、別のランダムな方向が方向線３５を介してシフトレジスタ４８に送られ、δに対する新しい方向が加算ブロック５２に、および究極的には入力Ｉに送られる。図７は、未知のプラント５６を制御するために学習ニューラルネットワーク３０が用いられる、学習ニューラルネットワーク３０のための可能な適用例５５を示す。この文書において、未知のプラント５６は、出力が入力により制御される任意のシステムまたは装置として定義される。さらに、未知のプラント５６は、非線形または線形であってもよく、かつ複雑度がどようなものかわからなくともよい。図７の実施例において、未知のプラント５６はネットワーク３０の出力Ｏ_o〜Ｏ_pに直接接続される。一般に、出力Ｏ_o〜Ｏ_pは未知のプラント５６を直接制御し、入力Ｉ_o〜Ｉ_mはニューラルネットワーク３０による入力Ｉ_o〜Ｉ_mの操作後に未知のプラント５６を間接的に制御する。入力Ｉ_o〜Ｉ_mは、遅延ブロック５８を用いて、異なる時間期間だけ遅延される。実際の入力および遅延された入力は学習ニューラルネットワーク５６に与えられ、各入力は専用の重み付与機構１６（図２）を有する。同様に、図示されるように、未知のプラントの出力Ｏ_o〜Ｏ_pおよび所望のプラント出力Ｏ′_o〜Ｏ′_pは、遅延ブロック５８を介して、いくつかの異なる時間期間の分だけ遅延される。さらに、実際の出力Ｏ_o〜Ｏ_pと、所望のプラント出力Ｏ′_o〜Ｏ′_pと、遅延された実際の出力と、遅延された所望の出力とが学習ニューラルネットワーク３０により用いられて総誤差信号Ｅ_N′（図３）を発生する。ネットワーク３０は次いでこの誤差信号Ｅ_N′を用いて重み更新を制御する。学習ニューラルネットワーク３０は非線形関数および線形関数を学習できるため、図７の適用例５５は、学習ニューラルネットワーク３０が幅広いさまざまな未知のプラント５６を制御するのに用いられ得ることを示す。最後に、この発明の精神および範囲から実質的に逸脱することなく、上述の好ましい実施例に多くの変更がなされてもよいことは、当業者には明らかである。したがって、すべてのそのような変更は、以下の請求の範囲に述べられる、この発明の範囲内に含まれることが意図される。

───────────────────────────────────────────────────── 【要約の続き】対してわずかに１つの乱数が発生されればよい。

Claims

【特許請求の範囲】ゆえに、以下が請求される：１．ニューラルネットワークにおいて重みを調整する計算の複雑さを最小限にするための方法であって、重みを初期状態から変化増分の分だけランダムに変更するステップと、重みを変更した後にネットワークのネットワーク誤差が減少する場合には、ネットワーク誤差が増加するまで変化増分を繰返すステップと、重みの変更後にネットワーク誤差が増加する場合には、重みを再度ランダムに変更するステップとを含む、ニューラルネットワークにおいて重みを調整する計算の複雑さを最小限にするための方法。２．前記ネットワークでプラントを制御するステップをさらに含む、請求項１に記載の方法。３．ニューラルネットワークにおいて重みを調整する計算の複雑さを最小限にするための方法であって、（ａ）ネットワークのそれぞれの第１の重みにおけるそれぞれの変化増分のための第１の方向を任意に選択するステップと、（ｂ）第２の重みを形成するために、前記第１の重みを前記それぞれの変化増分の分だけ増分するステップと、（ｃ）前記第２の重みと結合されたネットワーク入力からネットワーク出力を発生するステップと、（ｄ）前記ネットワーク出力を、前記ネットワーク入力に対応する所望の出力と数学的に結合することによって、前記ネットワーク出力に関連する誤差を発生するステップと、（ｅ）前記誤差の大きさが減少する場合に、（ｉ）第３の重みを形成するために、前記第２の重みを前記第１の方向に前記それぞれの変化増分の分だけ再度増分するステップと、（ii）前記第３の重みと組合されたネットワーク入力からネットワーク出力を発生するステップと、さらに、（ｆ）前記誤差の大きさが増加する場合に、（ｉ）前記それぞれの変化増分に対して第２の方向を任意に選択するステップと、（ii）第４の重みを形成するために、前記第２の重みを前記第２の方向に前記それぞれの変化増分の分だけ増分するステップと、（iii）第４の重みと組合されたネットワーク入力からネットワーク出力を発生するステップとを含む、ニューラルネットワークにおいて重みを調整する計算の複雑さを最小限にするための方法。４．前記誤差は、前記所望される出力と前記ネットワーク出力との間の差の二乗の総和を累積することによって発生される、請求項３に記載の方法。５．前記誤差は、前記所望される出力と前記ネットワーク出力との間の差の絶対値を計算することによって発生される、請求項３に記載の方法。６．前記誤差は、前記所望される出力と前記ネットワーク出力とを数学的に結合することによって正の数を計算することにより発生される、請求項３に記載の方法。７．前記第１および第２の方向を選択するために乱数発生器を用いるステップをさらに含む、請求項３に記載の方法。８．前述の請求項１から請求項７のいずれかの方法を実行するためのニューラルネットワーク。９．ネットワーク出力を達成するために、ニューラルネットワークにおいてネットワーク入力に付与されるべき重みを学習するためのシステムであって、ネットワークのそれぞれの重みにおけるそれぞれの変化増分に対する方向の第１の組を任意に選択するための手段と、前記重みを前記それぞれの変化増分の分だけ増分するための手段と、ネットワーク入力と前記重みとからネットワーク出力を発生するための手段と、前記ネットワーク出力を、前記ネットワーク入力に対応する所望の出力と数学的に結合することによって、前記ネットワーク出力に関連する誤差を発生するための手段と、前記誤差が減少したとき、および前記誤差が増加したときを判断するための学習手段とを含み、前記誤差が減少する場合に、前記学習手段は、新しい重みを形成するために前記重みを前記方向の第１の組に前記それぞれの変化増分の分だけ増加させ、ネットワーク入力と前記新しい重みとからネットワーク出力を発生し、前記誤差が増加する場合に、前記学習手段は、前記それぞれの変化増分に対する方向の第２の組を任意に選択し、前記新しい重みを形成するために前記重みを前記それぞれの変化増分の分だけ前記方向の第２の組に増加し、ネットワーク入力と前記新しい重みとからネットワーク出力を発生する、ネットワーク出力を達成するためにニューラルネットワークにおいてネットワーク入力に付与されるべき重みを学習するためのシステム。１０．請求項９のシステムを含む集積回路。１１．重みをネットワーク値と結合する複数の重み機構を有するニューラルネットワークのため、計算の複雑さを最小限にしかつ計算速度を増大させながら重みを発生するための方法は、乱数を発生するステップと、乱数を複数の重み機構の各々に順次与えるステップと、乱数に基づいて、それぞれの重み機構で重みに対する極性を発生させるステップと、前記極性をそれぞれの大きさと結合させることによって、それぞれの重み機構で重みを発生するステップとを含む、計算の複雑さを最小限にしかつ計算速度を増大させながら重みを発生するための方法。１２．前記ネットワークは複数のニューロン層を含み、ネットワークを通るデータフローの方向と実質的に逆方向に当該層を通して乱数を伝播するステップをさらに含む、請求項１１に記載の方法。１３．乱数をネットワークの出力層からネットワークの入力層へ向かう方向に移動させるステップをさらに含む、請求項１１に記載の方法。１４．ネットワーク入力を受信しネットワーク出力を発生するための複数のニューロンを有し、ネットワーク入力を増分によって修正するための複数の重み機構を有する前記ニューラルネットワークにおける、計算速度を増大させる一方で複雑さを最小限にするための改良であって、前記改良は前記複数の重み機構にランダムコードを順次送るためのシフトレジスタ手段を含み、前記ランダムコードは、変化増分の方向を指定し、それを受取ると前記重み機構の各々に変化増分の方向を実現させるためのものである、改良。１５．ランダムコードを発生し、ランダムコードを前記シフトレジスタ手段に送るための乱数発生器をさらに含む、請求項１４に記載の改良。１６．前記重み機構は、重みとネットワーク入力とを結合するよう構成される乗算器を各々が含む、請求項１４に記載の改良。１７．ネットワーク出力に接続され、ネットワーク出力により制御されるプラントをさらに含む、請求項１４に記載の改良。１８．各々が重みをネットワーク値と数学的に結合するための複数の重み手段と、ランダムな方向を発生するための手段と、前記複数の重み手段にランダムな方向を連続して与えるためのシフト手段とを含む、ニューラルネットワーク。１９．ネットワークの出力に接続され、ネットワークにより制御されるプラントをさらに含む、請求項１８に記載のネットワーク。