JPH0464183A - ニューラル・ネットワークによる重み付き多数決装置及びその製造方法 - Google Patents
ニューラル・ネットワークによる重み付き多数決装置及びその製造方法Info
- Publication number
- JPH0464183A JPH0464183A JP2175694A JP17569490A JPH0464183A JP H0464183 A JPH0464183 A JP H0464183A JP 2175694 A JP2175694 A JP 2175694A JP 17569490 A JP17569490 A JP 17569490A JP H0464183 A JPH0464183 A JP H0464183A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- neuro
- input
- output
- section
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Devices For Executing Special Programs (AREA)
- Feedback Control In General (AREA)
Abstract
(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。
め要約のデータは記録されません。
Description
【発明の詳細な説明】
〔目次〕
概要
産業上の利用分野
従来の技術
発明が解決しようとする課題
課題を解決するための手段(第1図)
作用
実施例(第2図〜第7図)
発明の効果
〔概要〕
ニューラル・ネットワークによる重み付き多数決装置及
びその製造方法に関し、 複数の入力に対して、その重み値がわかってし)ない場
合でも、重み付き多数決演算ができる装置の提供を目的
とし、 前段層からの入力を中間層に送出して演算を行うネット
ワーク構成データ処理装置におし1て、ニューロ・ユニ
ットで構成される複数の中間層ユニットと、前段層ユニ
ットの出力と、中間層ユニ・ノドの出力にもとづき割算
処理を行う前段割算部と、前段割算部の出力と、中間層
ユニットの出力Gこもとづき割算処理を行う後段割算部
を設け、前段層ユニットの出力を前記中間層ユニットと
前段割算部に伝達し、前記中間層ユニットの出力は重み
付けされて前記前段割算部と後段割算部に伝達され、複
数の入力信号に対して重み付き多数決演算を行うように
構成する。
びその製造方法に関し、 複数の入力に対して、その重み値がわかってし)ない場
合でも、重み付き多数決演算ができる装置の提供を目的
とし、 前段層からの入力を中間層に送出して演算を行うネット
ワーク構成データ処理装置におし1て、ニューロ・ユニ
ットで構成される複数の中間層ユニットと、前段層ユニ
ットの出力と、中間層ユニ・ノドの出力にもとづき割算
処理を行う前段割算部と、前段割算部の出力と、中間層
ユニットの出力Gこもとづき割算処理を行う後段割算部
を設け、前段層ユニットの出力を前記中間層ユニットと
前段割算部に伝達し、前記中間層ユニットの出力は重み
付けされて前記前段割算部と後段割算部に伝達され、複
数の入力信号に対して重み付き多数決演算を行うように
構成する。
また前段割算部と後段割算部を個別に構成し、これらを
前段層ユニットと中間層ユニ・ントに接続し、この装置
を製造する。
前段層ユニットと中間層ユニ・ントに接続し、この装置
を製造する。
本発明はニューラル・ネットワークによる重み付き多数
決回路に関する。
決回路に関する。
近年、プラントなど多入力、多出力系の制御にIF−T
HEN型ルールに基づくエキスパートシステムやファジ
ィシステムを適用する例が出ている。
HEN型ルールに基づくエキスパートシステムやファジ
ィシステムを適用する例が出ている。
特にプラント制御では、入力変数間の重み付け(重要度
)が大切であり、それを基にして作った制御規則による
制御が行われている。本発明は、このような制御システ
ムの構築に必要な重み付き多数決回路をニューラル・ネ
・ントワークを使用して行うものである。
)が大切であり、それを基にして作った制御規則による
制御が行われている。本発明は、このような制御システ
ムの構築に必要な重み付き多数決回路をニューラル・ネ
・ントワークを使用して行うものである。
プラント制御システムを構築するとき、通常はIF−T
HENルールで構築する。例えば圧力がどのような状態
のとき、どのような操作を行うとか、温度がどのような
状態のとき、どのような操作を行うべきかというような
ことを決定することが必要となる。プラントの種類にも
よるが、例えば圧力とか、温度といっても圧力も複数個
所のチエツクポイントがあり、温度もこれまた複数個所
のチエツクポイントがあるので、これらの変数は数10
個を超えるようなときもある。
HENルールで構築する。例えば圧力がどのような状態
のとき、どのような操作を行うとか、温度がどのような
状態のとき、どのような操作を行うべきかというような
ことを決定することが必要となる。プラントの種類にも
よるが、例えば圧力とか、温度といっても圧力も複数個
所のチエツクポイントがあり、温度もこれまた複数個所
のチエツクポイントがあるので、これらの変数は数10
個を超えるようなときもある。
したがって各変数間の重み付けが大切であるが、このよ
うなプラント制御システムを構築するとき、現場のオペ
レータに間合わせ、各変数の状態に応じてどのような処
理を行っているのか具体的に解析することが必要である
。
うなプラント制御システムを構築するとき、現場のオペ
レータに間合わせ、各変数の状態に応じてどのような処
理を行っているのか具体的に解析することが必要である
。
しかし、変数に応じて重要度が異なるので、各変数の状
態に応じ、どの変数に重点をおいて操作を行っていたの
かということは、経験的な要素が多く、多数の変数の重
みを具体的にオペレータから答を得ることは不可能であ
る。しかもそれを聞き取る方でもこれらの複数の変数間
の重要度を矛盾なく正確に理解することが困難であった
。
態に応じ、どの変数に重点をおいて操作を行っていたの
かということは、経験的な要素が多く、多数の変数の重
みを具体的にオペレータから答を得ることは不可能であ
る。しかもそれを聞き取る方でもこれらの複数の変数間
の重要度を矛盾なく正確に理解することが困難であった
。
例えばプラント制御システムを構築する場合、対象プロ
セスに関する知識が全く無いか、あるいはあったとして
も非常に乏しい時は制御ルールの決定にあたって試行錯
誤的方法に転らざるを得す、効率よくその設計を行うこ
とが不可能であった。
セスに関する知識が全く無いか、あるいはあったとして
も非常に乏しい時は制御ルールの決定にあたって試行錯
誤的方法に転らざるを得す、効率よくその設計を行うこ
とが不可能であった。
しかもこのようにして決定した制御ルールでは、システ
ム稼動後のチューニング作業つまり入力変数間の重みの
調整に非常な手間をかけることが必要となる。
ム稼動後のチューニング作業つまり入力変数間の重みの
調整に非常な手間をかけることが必要となる。
したがって本発明は、これらの問題点を解決し、プラン
ト制御の如き、入力変数間の関係即ち、重み付けをニュ
ーラル・ネットワークを使用して学習により行うことを
可能にし、この重み付は多数決を実現することを目的と
する。
ト制御の如き、入力変数間の関係即ち、重み付けをニュ
ーラル・ネットワークを使用して学習により行うことを
可能にし、この重み付は多数決を実現することを目的と
する。
前記目的を達成するため、本発明では、第1図に示す如
く、割算部1.2.3・・−n及び5と、ニューロ・ユ
ニット6−1〜6−n、7−1〜7nでニューラル・ネ
ットワークを構成し、重み付は多数決回路を得るもので
ある。
く、割算部1.2.3・・−n及び5と、ニューロ・ユ
ニット6−1〜6−n、7−1〜7nでニューラル・ネ
ットワークを構成し、重み付は多数決回路を得るもので
ある。
入力部であるニューロ・ユニット6−1は入力信号X1
をそのまま中間層のニューロ・ユニット7−1及び割算
部1の入力部であるニューロ・ユニッl−1−2に出力
スル。ニューロ・ユニ・ット71ではこの入力信号X1
に重みWlを乗じたXIWIをそれぞれ割算部lの入力
部であるニューロ・ユニット1−1及び、割算部5の入
力部であるニューロ・ユニット5−1に出力する。
をそのまま中間層のニューロ・ユニット7−1及び割算
部1の入力部であるニューロ・ユニッl−1−2に出力
スル。ニューロ・ユニ・ット71ではこの入力信号X1
に重みWlを乗じたXIWIをそれぞれ割算部lの入力
部であるニューロ・ユニット1−1及び、割算部5の入
力部であるニューロ・ユニット5−1に出力する。
同様に、入力部であるニューロ・ユニット62.6−3
−6− nは、それぞれ入力信号X2、X 3−X n
をそれぞれ出力する。そして中間層のニューロ・ユニッ
ト7−2.7−3−4− nは入力信号X2、X s−
X nにそれぞれ重みWn、W3−Wnを乗じたX2W
2、X 3 W 3−X n W nを出力する。
−6− nは、それぞれ入力信号X2、X 3−X n
をそれぞれ出力する。そして中間層のニューロ・ユニッ
ト7−2.7−3−4− nは入力信号X2、X s−
X nにそれぞれ重みWn、W3−Wnを乗じたX2W
2、X 3 W 3−X n W nを出力する。
割算部lは入力部のニューロ・ユニットi−tの入力信
号を同じくニューロ・ユニット1−2の入力信号で割算
した値を出力部のニューロ・ユニット1−3から出力す
るものであり、前記の場合にはXIWI:X1=W1か
出力される。
号を同じくニューロ・ユニット1−2の入力信号で割算
した値を出力部のニューロ・ユニット1−3から出力す
るものであり、前記の場合にはXIWI:X1=W1か
出力される。
同様に割算部2.3−・−nは、入力部のニューロ・ユ
ニット2−1.3−1−n −1の入力信号を同じくニ
ューロ・ユニット2−2.3−2−n −2の入力信号
で割算した値を出力部のニューロ・ユニット2−3.3
−3・・−n−3から出力するものであり、前記の場合
には、それぞれWnI、Ws−−−Wnが出力される。
ニット2−1.3−1−n −1の入力信号を同じくニ
ューロ・ユニット2−2.3−2−n −2の入力信号
で割算した値を出力部のニューロ・ユニット2−3.3
−3・・−n−3から出力するものであり、前記の場合
には、それぞれWnI、Ws−−−Wnが出力される。
割算部5は割算部工、2.3−nと同様に構成されるが
、入力部のニューロ・ユニット5−1には前記中間層の
ニューロ・ユニット7−1.7−2.7−3−4−nか
らの出力信号X I W 1、XtWa、X3W3−・
X n W nが伝達されてこれらの和が入力信号とな
る。そして入力部のニューロ・ユニット5−2には前記
各割算部1〜nの出力部のニューロ・ユニット1−3.
2−3.3−3n−3からの出力信号W1、Wn、W
3−W nが伝達されてこれらの和が入力信号となる。
、入力部のニューロ・ユニット5−1には前記中間層の
ニューロ・ユニット7−1.7−2.7−3−4−nか
らの出力信号X I W 1、XtWa、X3W3−・
X n W nが伝達されてこれらの和が入力信号とな
る。そして入力部のニューロ・ユニット5−2には前記
各割算部1〜nの出力部のニューロ・ユニット1−3.
2−3.3−3n−3からの出力信号W1、Wn、W
3−W nが伝達されてこれらの和が入力信号となる。
割算部1.2.3−n及び割算部5を、それぞれ入力x
、yに対し出力Zを2=□になる、割算演算を行うもの
で構成しておき、中間層のニューロ・ユニット7−1.
7−2.7− :3−7−nからはそれぞれ重みW 1
、Wn、W3−Wnを乗じた信号が出力される。
、yに対し出力Zを2=□になる、割算演算を行うもの
で構成しておき、中間層のニューロ・ユニット7−1.
7−2.7− :3−7−nからはそれぞれ重みW 1
、Wn、W3−Wnを乗じた信号が出力される。
従って入力部のニューロ・ユニット6−1.62.6−
3・・・6−nにそれぞれ入力信号XI、X!、X5−
Xnが入力されるとき、これらの入力信号はそのまま中
間層と割算部に第1図に示す如く入力され、中間層のニ
ューロ・ユニット7−1.7−2、? −3−・・1−
nからはそれぞれXIWl、XaW2、X ’3 W
3−X nWnが出力され、第1図に示す如く、割算
部1.2.3−n及び割算部5に入力される。
3・・・6−nにそれぞれ入力信号XI、X!、X5−
Xnが入力されるとき、これらの入力信号はそのまま中
間層と割算部に第1図に示す如く入力され、中間層のニ
ューロ・ユニット7−1.7−2、? −3−・・1−
nからはそれぞれXIWl、XaW2、X ’3 W
3−X nWnが出力され、第1図に示す如く、割算
部1.2.3−n及び割算部5に入力される。
したがって、割算部1ではX IWI÷X 1 =W1
が演算されて出力され、同様に割算部2.3nからWn
、W s−W nが出力される。
が演算されて出力され、同様に割算部2.3nからWn
、W s−W nが出力される。
これらにより割算部5の入力部のニューロ・ユニット5
−1には(XtW++XxWs+X5W3−+ X n
W n )が入力演算され、同じくニューロ・ユニッ
ト5−2には(W s + W 2 + W 3−+W
n )が入力演算される。それ故、割算部5では、こ
れらの割算が行われ、出力部のニューロ・ユニット5−
3より下記の出力信号Zが出力される。
−1には(XtW++XxWs+X5W3−+ X n
W n )が入力演算され、同じくニューロ・ユニッ
ト5−2には(W s + W 2 + W 3−+W
n )が入力演算される。それ故、割算部5では、こ
れらの割算が行われ、出力部のニューロ・ユニット5−
3より下記の出力信号Zが出力される。
X s +X 2 +X 3−4Xnこのようにし
て加重平均すなわち重み付き多数決演算を行うことがで
きる。
て加重平均すなわち重み付き多数決演算を行うことがで
きる。
なお、割算部1.2.3−n及び割算部5は、ニューロ
で構成しても、他の演算手段で構成してもよく、あらか
じめx/yの割算が可能になるもので構成しておく。
で構成しても、他の演算手段で構成してもよく、あらか
じめx/yの割算が可能になるもので構成しておく。
そして、後述するように、複数の入力X1、X2、X3
−とその教師信号りにより学習することによりその重み
付けが可能になるので、重み付き多数決をニューラル・
ネットワークで実現することができ、しかもニューラル
・ネットワークの学習により入力変数X1、X2、X3
〜Xn間の関係即ち重み付けが可能になる。、 〔実施例〕 本発明の一実施例を第2図〜第7図にもとづき説明する
。
−とその教師信号りにより学習することによりその重み
付けが可能になるので、重み付き多数決をニューラル・
ネットワークで実現することができ、しかもニューラル
・ネットワークの学習により入力変数X1、X2、X3
〜Xn間の関係即ち重み付けが可能になる。、 〔実施例〕 本発明の一実施例を第2図〜第7図にもとづき説明する
。
第2図は本発明の一実施例構成図、第3図はその割算部
の構成図、第4図は学習状態説明図、第5図はニューロ
・ユニットの基本的構成図、第6図はニューロ・システ
ムにおける階層ネットワークの基本構成図、第7図は一
般的なニューロ・システムを示すもので(A)はニュー
ロ・ユニットの一例、(B)は階層ネットワークの1例
を示す。
の構成図、第4図は学習状態説明図、第5図はニューロ
・ユニットの基本的構成図、第6図はニューロ・システ
ムにおける階層ネットワークの基本構成図、第7図は一
般的なニューロ・システムを示すもので(A)はニュー
ロ・ユニットの一例、(B)は階層ネットワークの1例
を示す。
まず、本発明を詳述するに先立ち、第5図により本発明
を構成するニューロ・ユニットについて説明する。
を構成するニューロ・ユニットについて説明する。
第5図において、21はニューロ、ユニット、22は複
数の入力(図示の場合は入力X1〜X5の5人力の場合
を示す)に対し夫々の内部結合の重み値(Wl、W2〜
W s )を乗算する乗算部22−1〜22−5を具備
する乗算処理部、23は乗算処理部22から出力される
全乗算結果X1・W1〜X5・Wsを加算する累算処理
部、24は前記累算処理部23の累算値に例えばS字形
関数(シグモイド関数)を使用して非線型の闇値処理を
行う闇値処理部である。勿論、用途に応じて前記S字形
関数の代わりに他の関数、例えばf (X)=Xの恒等
関数を使用することができる。
数の入力(図示の場合は入力X1〜X5の5人力の場合
を示す)に対し夫々の内部結合の重み値(Wl、W2〜
W s )を乗算する乗算部22−1〜22−5を具備
する乗算処理部、23は乗算処理部22から出力される
全乗算結果X1・W1〜X5・Wsを加算する累算処理
部、24は前記累算処理部23の累算値に例えばS字形
関数(シグモイド関数)を使用して非線型の闇値処理を
行う闇値処理部である。勿論、用途に応じて前記S字形
関数の代わりに他の関数、例えばf (X)=Xの恒等
関数を使用することができる。
このニューロ・ユニット21で行われる演算を数式で示
すと以下のようになる。
すと以下のようになる。
加算部23の出力Y、は、入力信号をXl、X2X5と
すれば、 Y=(X 1−Wl +X2 ・W2+−+X s −
Ws)=Σ Xl−Wi (なお、第5図の例は、n=5である。)閾値処理部2
4の出力Zは、闇値をθとするとき、 前記各式においてWiとθは可変である。
すれば、 Y=(X 1−Wl +X2 ・W2+−+X s −
Ws)=Σ Xl−Wi (なお、第5図の例は、n=5である。)閾値処理部2
4の出力Zは、闇値をθとするとき、 前記各式においてWiとθは可変である。
なお、ニューロ・ユニット21は、第7図(A)に示す
如く、具体的に構成されている。第7図(A)において
、22aは乗算型D/Aコンバータ、23は累算処理部
であってアナログ加算器23a及びサンプルホールド回
路23bを具備するもの、24は閾値処理部、25は出
力保持部、26は出カスインチ部、27は入カスインチ
部、28は重み保持部、29は制御回路である。そして
第7図(A)において、第5図と同−記号部は同一部分
をしめす。
如く、具体的に構成されている。第7図(A)において
、22aは乗算型D/Aコンバータ、23は累算処理部
であってアナログ加算器23a及びサンプルホールド回
路23bを具備するもの、24は閾値処理部、25は出
力保持部、26は出カスインチ部、27は入カスインチ
部、28は重み保持部、29は制御回路である。そして
第7図(A)において、第5図と同−記号部は同一部分
をしめす。
入力スイッチ部27は入力信号Xs、X2、X3−・−
が順次入力されるものであり、この入力タイミングに同
期してオン制御される。そしてこの入力タイミングに応
じて重み信号w1、w2、w3−が伝達されるが、この
とき制御回路29より重み入力制御信号が順次レシーバ
に出力され、レシーバを経由してこの重み信号W s
、W 2、W 3−を重み保持部28に順次送出する。
が順次入力されるものであり、この入力タイミングに同
期してオン制御される。そしてこの入力タイミングに応
じて重み信号w1、w2、w3−が伝達されるが、この
とき制御回路29より重み入力制御信号が順次レシーバ
に出力され、レシーバを経由してこの重み信号W s
、W 2、W 3−を重み保持部28に順次送出する。
このようにして乗算型D/Aコンバータ22aにおいて
、XIWl、X 2 W 2、X3W3・−が順次演算
される。
、XIWl、X 2 W 2、X3W3・−が順次演算
される。
累算処理部23は、初めのサンプルホールド回路23b
は零にクリアされているので、前記XIW1とこの零が
アナログ加算器23aにて加算され、得られたX s
W 1が保持される。次にX2W2が入力されるとき、
アナログ加算器23aはサンプルホールド回路23bに
保持されたX I W 1とこのX 2 W 2を加算
して、得られた(XIWI+ X 2 W 2 )をサ
ンプルホールド回路23bに保持する。このようにして
累算値Y=(XsWx+X 2 W 2 + X s
W 3……)が演算される。
は零にクリアされているので、前記XIW1とこの零が
アナログ加算器23aにて加算され、得られたX s
W 1が保持される。次にX2W2が入力されるとき、
アナログ加算器23aはサンプルホールド回路23bに
保持されたX I W 1とこのX 2 W 2を加算
して、得られた(XIWI+ X 2 W 2 )をサ
ンプルホールド回路23bに保持する。このようにして
累算値Y=(XsWx+X 2 W 2 + X s
W 3……)が演算される。
このようにして、累算処理部23における累算処理が終
了したとき、制御回路29は変換制御信号を出力し、次
いで出力制御信号を出力する。これに応じて前記累算値
Yが閾値処理部24が閾値処理を行い、得られた出力Z
を出力保持部25で一時的に保持し、出力スイッチ26
がオンに制御されることによりこの出力Zが出力される
。
了したとき、制御回路29は変換制御信号を出力し、次
いで出力制御信号を出力する。これに応じて前記累算値
Yが閾値処理部24が閾値処理を行い、得られた出力Z
を出力保持部25で一時的に保持し、出力スイッチ26
がオンに制御されることによりこの出力Zが出力される
。
ニューロ・コンピュータでは、前記の如きニューロ・ユ
ニット21を使用して、第6図に示す如き階層ネットワ
ークによる並列分散処理を行うものである。
ニット21を使用して、第6図に示す如き階層ネットワ
ークによる並列分散処理を行うものである。
第6図において、入力層を構成する複数のニューロ・ユ
ニット21hは入力信号に対し重み付けや閾値処理を行
うことなく、そのままこれを中間層を構成する複数のニ
ューロ・ユニット211に分配出力するものである。
ニット21hは入力信号に対し重み付けや閾値処理を行
うことなく、そのままこれを中間層を構成する複数のニ
ューロ・ユニット211に分配出力するものである。
中間層を構成するニューロ・ユニノ)21iはこれらの
入力信号に対し重み付けして累算入力し、これを闇値処
理して出力するものである。
入力信号に対し重み付けして累算入力し、これを闇値処
理して出力するものである。
出力層を構成するニューロ・ユニット21jは、中間層
と同様に、各入力信号に対し重み付けして累算入力し、
これを閾値処理して出方するものである。
と同様に、各入力信号に対し重み付けして累算入力し、
これを閾値処理して出方するものである。
そして中間層iを前段として、出方層jを後段層とする
と、iNi番目のニューロ・ユニ・ノドの累算処理部で
は下記の(11式の演算を実行し、また闇値処理部では
下記(2)弐の闇値演算処理が実行するよう処理する。
と、iNi番目のニューロ・ユニ・ノドの累算処理部で
は下記の(11式の演算を実行し、また闇値処理部では
下記(2)弐の闇値演算処理が実行するよう処理する。
Ypi=ΣXph Wih −1f)Zpi=1/(
1+exp(ypi+θi) −(21但し、 h Sh層(入力層)のユニ、ト番号 p :入力信号のパターン番号 0181層(中間層)の1番ユニットの闇値Wih:h
−iiii間の内部結合の重み値Xph:p番目のパタ
ーンの入力信号に対するh層のh番ユニットからの出力 第6図に示す階層ネットワークは、例えば第7図(B)
に示す如く、具体的に構成されている。
1+exp(ypi+θi) −(21但し、 h Sh層(入力層)のユニ、ト番号 p :入力信号のパターン番号 0181層(中間層)の1番ユニットの闇値Wih:h
−iiii間の内部結合の重み値Xph:p番目のパタ
ーンの入力信号に対するh層のh番ユニットからの出力 第6図に示す階層ネットワークは、例えば第7図(B)
に示す如く、具体的に構成されている。
第7図(B)において、70はアナログバスであって、
入力層を構成するニューロ・ニー:y)21h、中間層
を構成するニューロ・ユニット21i、出力層を構成す
るニューロ・ユニット21j等を、第7図(B)に示す
如く、接続するもの、71は前記重み保持部28に重み
値を与える重み出力回路、72は入力層を構成するニュ
ーロ・ユニット21hに対する入力信号を保持する久方
信号保持回路、73はデータ転送の制御信号である同期
制御信号を伝送する同期制御信号線、74は階層ネット
ワークを総合的に制御する主制御部である。
入力層を構成するニューロ・ニー:y)21h、中間層
を構成するニューロ・ユニット21i、出力層を構成す
るニューロ・ユニット21j等を、第7図(B)に示す
如く、接続するもの、71は前記重み保持部28に重み
値を与える重み出力回路、72は入力層を構成するニュ
ーロ・ユニット21hに対する入力信号を保持する久方
信号保持回路、73はデータ転送の制御信号である同期
制御信号を伝送する同期制御信号線、74は階層ネット
ワークを総合的に制御する主制御部である。
なお、入力層のニューロ・ユニソl−21hの重み値は
、前記の如く1のため、これらのニューロ・ユニット2
1hの重み出力回路71にはいずれも数値1が記入され
ている。
、前記の如く1のため、これらのニューロ・ユニット2
1hの重み出力回路71にはいずれも数値1が記入され
ている。
ところで、第6図に示す如き、階層ネットワーク構成の
データ処理装置では、データ変換機能を規定するところ
の階層ネットワーク構造の重み値等を学習処理により求
めることが必要である。そしてこの学習処理のアルゴリ
ズムとして、バンク・プロパゲーション法がその実用性
の高さから注目されている。このバンク・プロパゲーシ
ョン法は、階層ネットワークの重み値と闇値を、誤差の
フィードバックにより調節することにより学習するもの
である。
データ処理装置では、データ変換機能を規定するところ
の階層ネットワーク構造の重み値等を学習処理により求
めることが必要である。そしてこの学習処理のアルゴリ
ズムとして、バンク・プロパゲーション法がその実用性
の高さから注目されている。このバンク・プロパゲーシ
ョン法は、階層ネットワークの重み値と闇値を、誤差の
フィードバックにより調節することにより学習するもの
である。
例えば、第1の数値の入力信号(Xi、X 2 ……)
を入力してこのときの出力層のニューロ・ユニット21
jの各出力(Zt、Z 2……)を減算ユニット30に
より数値の教師信号(Dt、D 21.)と比較してそ
の誤差Δdl−(Dl−Zl)、Δd2= (D2−2
2)−・−を求める。
を入力してこのときの出力層のニューロ・ユニット21
jの各出力(Zt、Z 2……)を減算ユニット30に
より数値の教師信号(Dt、D 21.)と比較してそ
の誤差Δdl−(Dl−Zl)、Δd2= (D2−2
2)−・−を求める。
そしてまず出力層の各ニューロ・・ユニット21jの闇
値、重み値WjiをΔdl、Δd2−が小さくなるよう
に調整し、次に中間層のニューロ・ユニット21iの闇
値、重み値Wjhを同様に調整する。
値、重み値WjiをΔdl、Δd2−が小さくなるよう
に調整し、次に中間層のニューロ・ユニット21iの闇
値、重み値Wjhを同様に調整する。
それから第2の数値の入力信号(X、’、X2)を入力
してこのときの出力層のニューロ・ユニット21hの各
出力(Z、′、Zz”−”)を減算ユニット30により
、これまた数値の教師信号(D、D2′−・・)と比較
してその誤差Δd、’=(D−z+’……)、Δdz’
= (Dz’ Zz’) −を求める。そして出力
層のニューロ・ユニット21jの閾値、重み値を同様に
調整し、次に中間層のニューロ・ユニット21iの闇値
、重み値を調整する。これを複数の入力信号と教師信号
にもとづき行い、学習することになる。
してこのときの出力層のニューロ・ユニット21hの各
出力(Z、′、Zz”−”)を減算ユニット30により
、これまた数値の教師信号(D、D2′−・・)と比較
してその誤差Δd、’=(D−z+’……)、Δdz’
= (Dz’ Zz’) −を求める。そして出力
層のニューロ・ユニット21jの閾値、重み値を同様に
調整し、次に中間層のニューロ・ユニット21iの闇値
、重み値を調整する。これを複数の入力信号と教師信号
にもとづき行い、学習することになる。
第2図に示す本発明の一実施例に対しても、当然のこと
ながらこのような学習が必要である。ところで第2図に
示す如く、本発明では割算部1.2.3.4及び5を具
備している。したがって、これら割算部1〜5をユニッ
トとして構成し、割算部としての重み付け、闇値の調整
つまりチューニング済みのものを用いて第2図に示す如
き回路を構成すれば、これについてのチューニング部分
はニューロ・ユニット7−1.7−2.7−3.7−4
のみであり、学習が非常に容易なものとなる。
ながらこのような学習が必要である。ところで第2図に
示す如く、本発明では割算部1.2.3.4及び5を具
備している。したがって、これら割算部1〜5をユニッ
トとして構成し、割算部としての重み付け、闇値の調整
つまりチューニング済みのものを用いて第2図に示す如
き回路を構成すれば、これについてのチューニング部分
はニューロ・ユニット7−1.7−2.7−3.7−4
のみであり、学習が非常に容易なものとなる。
この割算部の構成を、第2図に示す割算部1を例として
、第3図にもとづき説明する。
、第3図にもとづき説明する。
割算部は、第3図(A)に示す如く、入力層のニューロ
・ユニット1−1.1−2と、中間層のニューロ・ユニ
ットI−4,1−51i力層のニューロ・ユニット1−
3で構成されている。各ニューロ・ユニットは、第5図
、第7図(A)に例示する如(構成されているが、入力
層のニューロ・ユニットは、入力値がそのまま出力され
、重み値が数値1である。
・ユニット1−1.1−2と、中間層のニューロ・ユニ
ットI−4,1−51i力層のニューロ・ユニット1−
3で構成されている。各ニューロ・ユニットは、第5図
、第7図(A)に例示する如(構成されているが、入力
層のニューロ・ユニットは、入力値がそのまま出力され
、重み値が数値1である。
ところで割算部のニューロ・ユニットの学習は、第3図
(A)に示す如く、減算部10を使用し、次のようにし
て行われる。学習に使用したデータとして、例えば第3
図(B)に示すものを使用した。x、yはそれぞれ入力
値であり、Dは教師信号である。
(A)に示す如く、減算部10を使用し、次のようにし
て行われる。学習に使用したデータとして、例えば第3
図(B)に示すものを使用した。x、yはそれぞれ入力
値であり、Dは教師信号である。
まずパターン1としてx =0.500y=1.ooo
D =0.500
を使用する。Xは入力部のニューロ・ユニット1−1に
入力し、yは入力部のニューロ・ユニット1−2に入力
する。そして教師信号は減算部10に入力され、また減
算器10には出力部のニューロ・ユニット1−3の出力
信号Zが入力され、減算部10からZとDとの差に応じ
た誤差信号、例えば(Z−D)”が出力される。
入力し、yは入力部のニューロ・ユニット1−2に入力
する。そして教師信号は減算部10に入力され、また減
算器10には出力部のニューロ・ユニット1−3の出力
信号Zが入力され、減算部10からZとDとの差に応じ
た誤差信号、例えば(Z−D)”が出力される。
この場合、学習は、バック・プロパゲーション法により
行われる。
行われる。
■ 前記パターン1を入力することにより減算部10よ
り前記誤差信号が出力されるが、ニューロ・ユニット1
−3における重み値WI6、W、6及び閾値QIffを
調整する。当然のことながら、前記誤差信号が小さくな
るように、これらを調整する。
り前記誤差信号が出力されるが、ニューロ・ユニット1
−3における重み値WI6、W、6及び閾値QIffを
調整する。当然のことながら、前記誤差信号が小さくな
るように、これらを調整する。
■ ニューロ・ユニット1−3に対する前記調整に続き
、今度は同じパターン1についてニューロ・ユニット1
−4における重み値W1いW1□、闇値Q目の調整と、
ニューロ・ユニット1−5における重み値W11、W、
4、閾値Q、2の調整とが行われる。
、今度は同じパターン1についてニューロ・ユニット1
−4における重み値W1いW1□、闇値Q目の調整と、
ニューロ・ユニット1−5における重み値W11、W、
4、閾値Q、2の調整とが行われる。
このようにして、パターン1に対し学習が行われたあと
、パターン2についての調整が、同様にして行われる。
、パターン2についての調整が、同様にして行われる。
以下パターン3.4−・−について調整が行われる。そ
して各パターンに対し調整が行われた後、再度パターン
1.2−・−についての調整が行われる。このようなこ
とを複数回繰り返し、Z = x / yの誤差が許容
範囲になるまでこの調整か行われる。そして許容範囲に
なったとき、割算部lが得られることになる。
して各パターンに対し調整が行われた後、再度パターン
1.2−・−についての調整が行われる。このようなこ
とを複数回繰り返し、Z = x / yの誤差が許容
範囲になるまでこの調整か行われる。そして許容範囲に
なったとき、割算部lが得られることになる。
このようにして、前記割算部2.3.4.5をそれぞれ
独立に予め構成しておく。そして、第2図に示す如く、
入力層のニューロ・ユニット61〜6−4、中間層のニ
ューロ・ユニット7−1〜7−4を組み合わせ、重み付
き多数決回路を構成する。なお、第2図の例では入力信
号がx1〜X4の4個の例を示す。
独立に予め構成しておく。そして、第2図に示す如く、
入力層のニューロ・ユニット61〜6−4、中間層のニ
ューロ・ユニット7−1〜7−4を組み合わせ、重み付
き多数決回路を構成する。なお、第2図の例では入力信
号がx1〜X4の4個の例を示す。
ここでニューロ・ユニット6−1〜6−4は、重み値が
数値lで、闇値処理関数としてf (X)=Xである
恒等関数を用いるので、入力値がそのまま出力される。
数値lで、闇値処理関数としてf (X)=Xである
恒等関数を用いるので、入力値がそのまま出力される。
それ故、ニューロ・ユニット6−1に入力信号X1が印
加されると、ニューロ・ユニット6−1はこの入力信号
Xrをそのまま、ニューロ・ユニット7−1と割算部1
の入力部のニューロ・ユニット1−2に入力する。そし
てニューロ・ユニット6−2に入力信号X2が印加され
ると、ニューロ・ユニット6−2はこの入力信号X2を
ニューロ・ユニット7−2と割算部2の入力部のニュー
ロ・ユニット2−2に入力させる。
加されると、ニューロ・ユニット6−1はこの入力信号
Xrをそのまま、ニューロ・ユニット7−1と割算部1
の入力部のニューロ・ユニット1−2に入力する。そし
てニューロ・ユニット6−2に入力信号X2が印加され
ると、ニューロ・ユニット6−2はこの入力信号X2を
ニューロ・ユニット7−2と割算部2の入力部のニュー
ロ・ユニット2−2に入力させる。
ニューロ・ユニット6−3.6−4について右同様であ
る。
る。
またニューロ・ユニット7−1は重み値がWlであり、
闇値処理関数としてf (X)=Xである恒等関数を
用いるので、前記信号X1が入力されるとX I W
1を、それぞれ割算部1の入力部のニューロ・ユニット
1−1及び割算部5の入力部のニューロ・ユニット5−
1に入力させる。
闇値処理関数としてf (X)=Xである恒等関数を
用いるので、前記信号X1が入力されるとX I W
1を、それぞれ割算部1の入力部のニューロ・ユニット
1−1及び割算部5の入力部のニューロ・ユニット5−
1に入力させる。
そしてニューロ・ユニット7−2は重み値がWzであり
、闇値処理関数として恒等関数を用いるので、前記信号
X2か人力されると、X2W2をそれぞれ割算部2の入
力部のニューロ・ユニット2−1及び割算部5の前記ニ
ューロ・ユニット5−1に入力させる。
、闇値処理関数として恒等関数を用いるので、前記信号
X2か人力されると、X2W2をそれぞれ割算部2の入
力部のニューロ・ユニット2−1及び割算部5の前記ニ
ューロ・ユニット5−1に入力させる。
ナオ、ニューロ・ユニソl−7−3,7−4はそれぞれ
重み値がW 3 、W 4であり、いずれも闇値処理関
数として恒等関数を用いるので、前記信号X3あるいは
X4が入力されると、X3W3を割算部3のニューロ・
ユニット3−1及び割算部5のニューロ・ユニット5−
1に入力させ、X4W4を割算部4のニューロ・ユニッ
ト4−1及び割算部5のニューロ・ユニ7ト5 1に入
力させる。
重み値がW 3 、W 4であり、いずれも闇値処理関
数として恒等関数を用いるので、前記信号X3あるいは
X4が入力されると、X3W3を割算部3のニューロ・
ユニット3−1及び割算部5のニューロ・ユニット5−
1に入力させ、X4W4を割算部4のニューロ・ユニッ
ト4−1及び割算部5のニューロ・ユニ7ト5 1に入
力させる。
したがって割算部1では
X I W !÷X1=W1
が演算され、割算部2では
X 2 W 2÷X2=W2
が演算され、割算部3では
X 3W 3÷X3°W3
が演算され、割算部4では
X a W 4÷XA=W4
が演算される。そしてこの出力W1〜W4は、各割3E
部1〜4のニューロ・ユニ・ノ)i3.23.3−3.
4−3から出力されて割算部5の入力部のニューロ・ユ
ニット5−2に入力される。
部1〜4のニューロ・ユニ・ノ)i3.23.3−3.
4−3から出力されて割算部5の入力部のニューロ・ユ
ニット5−2に入力される。
このとき、割算部5の入力部の他のニューロ・ユニット
5−1には、前記の如く、X t W l、 X2W!
、X 3 W 9、X4W4が入力される。したがって
割算部5では、 の、重み付き多数決演算(加重平均演算)が得られ、演
算結果の出力Zを得ることができる。
5−1には、前記の如く、X t W l、 X2W!
、X 3 W 9、X4W4が入力される。したがって
割算部5では、 の、重み付き多数決演算(加重平均演算)が得られ、演
算結果の出力Zを得ることができる。
ところでこのように構成される重み付き多数決回路の学
習データの1例を第4図(A)に示す。
習データの1例を第4図(A)に示す。
入力層のニューロ・ユニット6−1〜6−4に入力され
るX1〜X4及び教師信号りとして、第4図(A)に示
すパターン1〜30を使用した。
るX1〜X4及び教師信号りとして、第4図(A)に示
すパターン1〜30を使用した。
本発明では、前述の如く、割算部1〜5は、この学習に
先立ち、別にそれぞれ学習ずみであるので、これらのニ
ューロ・ユニットを調整する必要はない。また入力層の
ニューロ・ユニット6−1〜6−4は前記の如く、重み
値が数値1であり入力値がそのまま出力となるのでこれ
また調整の必要はない。中間層のニューロ・ユニット7
−1〜7−4は、前記の如く、闇値処理関数は恒等関数
を使用しているので閾値の調整は必要なく、結局学習は
、出力値Zと教師信号りとの差の(Z −D)に応じた
誤差信号、例えば(Z−D)”にしたがって前記重み値
W!〜W4の更新量を求めればよい。
先立ち、別にそれぞれ学習ずみであるので、これらのニ
ューロ・ユニットを調整する必要はない。また入力層の
ニューロ・ユニット6−1〜6−4は前記の如く、重み
値が数値1であり入力値がそのまま出力となるのでこれ
また調整の必要はない。中間層のニューロ・ユニット7
−1〜7−4は、前記の如く、闇値処理関数は恒等関数
を使用しているので閾値の調整は必要なく、結局学習は
、出力値Zと教師信号りとの差の(Z −D)に応じた
誤差信号、例えば(Z−D)”にしたがって前記重み値
W!〜W4の更新量を求めればよい。
このように学習を行うことにより、第4図(B)に示す
如く、 学習前は、W s = 0.012 W 2 = 0.038 W 3−−0.025 W 4 = 0.089 であったものが、学習後は、 W s = 0.981 W 2 = 1.547 W 3 = 2.048 W 4− 2.485 ちなみに、第4図(A)におけるDは、Wl :Wz
:Ws :Wa = 1 :1.5 :
2.0 : 2.5としたときの計算値である
。これにより学習後は、その重みがほぼ設計値に近いも
のとなり、かくして前記の如く、重み付き多数決演算を
行うことができる。
如く、 学習前は、W s = 0.012 W 2 = 0.038 W 3−−0.025 W 4 = 0.089 であったものが、学習後は、 W s = 0.981 W 2 = 1.547 W 3 = 2.048 W 4− 2.485 ちなみに、第4図(A)におけるDは、Wl :Wz
:Ws :Wa = 1 :1.5 :
2.0 : 2.5としたときの計算値である
。これにより学習後は、その重みがほぼ設計値に近いも
のとなり、かくして前記の如く、重み付き多数決演算を
行うことができる。
なお、前記実施例では、入力信号がX1〜X4の4個の
例について説明したが、本発明は勿論これのみに限定さ
れるものではなく、増減可能である。
例について説明したが、本発明は勿論これのみに限定さ
れるものではなく、増減可能である。
また割算部としてニューラル・ネットワークで構成され
た例について説明したが、勿論これに限定されるもので
はなく、ニューラル・ネットワークによらない割算部を
使用することもできる。
た例について説明したが、勿論これに限定されるもので
はなく、ニューラル・ネットワークによらない割算部を
使用することもできる。
本発明によれば、複数の入力信号がそれぞれどのような
状態のときにどのような出力を生ずるのかということさ
えわかれば、それにもとづき学習することにより前記の
如く、入力変数間の重み付き多数決の実現が可能となる
。
状態のときにどのような出力を生ずるのかということさ
えわかれば、それにもとづき学習することにより前記の
如く、入力変数間の重み付き多数決の実現が可能となる
。
このように、例えばプラント制御における入力変数間の
関数をニューラル・ネットワークによる学習で行うこと
が可能となり、従来のように稼動後のチューニング作業
に非常に手間をかける必要がなくなった。
関数をニューラル・ネットワークによる学習で行うこと
が可能となり、従来のように稼動後のチューニング作業
に非常に手間をかける必要がなくなった。
柄図、
第4図は学習状態説明図、
第5図はニューロ・ユニットの説明図、第6図はニュー
ロ・ユニットを使用した階層ネットワークの基本構成図
、 第7図(A)はニューロ・ユニットの一実施例構成図、
(B)は階層ネットワークの一実施例を示す。
ロ・ユニットを使用した階層ネットワークの基本構成図
、 第7図(A)はニューロ・ユニットの一実施例構成図、
(B)は階層ネットワークの一実施例を示す。
1.2.3.4.5−割算部
6−1〜6−4−人力層のニューロ・ユニット7−1〜
’1−4−・〜中間層ノニューロ・ユニ・7ト22〜
乗算処理部 23−累算処理部 24−闇値処理部
’1−4−・〜中間層ノニューロ・ユニ・7ト22〜
乗算処理部 23−累算処理部 24−闇値処理部
第1図は本発明の原理説明図、
第2図は本発明の一実施例構成図、
Claims (3)
- (1)前段層からの入力を中間層に送出して演算を行う
ネットワーク構成データ処理装置において、ニューロ・
ユニットで構成される複数の中間層ユニット(7−1、
7−2……)と、 前段層ユニット(6−1、6−2……)の出力と、中間
層ユニット(7−1、7−2……)の出力にもとづき割
算処理を行う前段割算部(1、2……)と、前段割算部
(1、2……)の出力と、中間層ユニット(7−1、7
−2……)の出力にもとづき割算処理を行う後段割算部
(5)を設け、 前段層ユニットの出力を前記中間層ユニットと前段割算
部に伝達し、前記中間層ユニットの出力は重み付けされ
て前記前段割算部と後段割算部に伝達され、複数の入力
信号に対して重み付き多数決演算を行うことを特徴とす
るニューラル・ネットワークによる重み付き多数決装置
。 - (2)前記前段割算部及び後段割算部の一部又は全部を
ニューロ・ユニットを使用した演算手段で構成したこと
を特徴とする請求項1記載のニューラル・ネットワーク
による重み付き多数決装置。 - (3)前段割算部及び後段割算部をそれぞれニューロ・
ユニットで構成して、これらをそれぞれ個別に調整した
のち、ニューロ・ユニットで構成された前段層ユニット
と、中間層ユニットに接続し、調整を行うことを特徴と
するニューラル・ネットワークによる重み付き多数決装
置の製造方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2175694A JPH0464183A (ja) | 1990-07-03 | 1990-07-03 | ニューラル・ネットワークによる重み付き多数決装置及びその製造方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2175694A JPH0464183A (ja) | 1990-07-03 | 1990-07-03 | ニューラル・ネットワークによる重み付き多数決装置及びその製造方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH0464183A true JPH0464183A (ja) | 1992-02-28 |
Family
ID=16000613
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2175694A Pending JPH0464183A (ja) | 1990-07-03 | 1990-07-03 | ニューラル・ネットワークによる重み付き多数決装置及びその製造方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH0464183A (ja) |
-
1990
- 1990-07-03 JP JP2175694A patent/JPH0464183A/ja active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7395251B2 (en) | Neural networks for prediction and control | |
| Lin et al. | A neural fuzzy system with linguistic teaching signals | |
| US8892496B2 (en) | Fuzzy inference apparatus and methods, systems and apparatuses using such inference apparatus | |
| JPH04290155A (ja) | 並列データ処理方式 | |
| Thibault et al. | Neural networks in process control-a survey | |
| US5016188A (en) | Discrete-time optimal control by neural network | |
| Anochi et al. | Self-configuring two types of neural networks by mpca | |
| Rewagad et al. | Artificial neural network based short term load forecasting | |
| Fortuna et al. | Improving back-propagation learning using auxiliary neural networks | |
| JPH0464183A (ja) | ニューラル・ネットワークによる重み付き多数決装置及びその製造方法 | |
| Kim et al. | Hybrid GMDH-type modeling for nonlinear systems: synergism to intelligent identification | |
| Yildiz et al. | An artificial neural network based simulation metamodeling approach for dual resource constrained assembly line | |
| de Figueiredo | Optimal interpolating and smoothing functional artificial neural networks (FANNs) based on a generalized Fock space framework | |
| Hanada et al. | Near optimal jobshop scheduling using neural network parallel computing | |
| JPH0464184A (ja) | ニューラル・ネットワークによるif―then型ルール演算装置 | |
| US5566102A (en) | Arithmetic element coupling network | |
| Boquete et al. | Identification and control of a wheelchair using recurrent neural networks | |
| Campolucci et al. | A signal-flow-graph approach to on-line gradient calculation | |
| Ghosh et al. | Neuro-fuzzy design of a fuzzy PI controller with real-time implementation on a speed control system | |
| Hao et al. | One step ahead predictive control of nonlinear systems by neural networks | |
| Warwich | The control of dynamical systems by neural networks | |
| Ciuca et al. | On the recurrent neural network induction by evolutionary computations with applications in forecasting | |
| Bersini et al. | An Empirical Analysis of one type of Direct Adaptive Fuzzy Control | |
| JPH03210686A (ja) | 神経回路網装置 | |
| Chang et al. | Artificial neural network approach to inferential control of volatility in refinery plants |