JPH0736183B2 - ネットワーク構成データ処理装置 - Google Patents
ネットワーク構成データ処理装置Info
- Publication number
- JPH0736183B2 JPH0736183B2 JP62333484A JP33348487A JPH0736183B2 JP H0736183 B2 JPH0736183 B2 JP H0736183B2 JP 62333484 A JP62333484 A JP 62333484A JP 33348487 A JP33348487 A JP 33348487A JP H0736183 B2 JPH0736183 B2 JP H0736183B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- input
- layer
- output
- threshold
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Feedback Control In General (AREA)
- Image Analysis (AREA)
Description
【発明の詳細な説明】 〔概要〕 累算部と閾値処理部とを有する基本ユニットを単位ユニ
ットとして中間層と出力層とを構成した階層ネットワー
ク構成のデータ処理装置において， 階層ネットワークの適応性を低下させずに，しかも，簡
単な入力方法で内部結合の重みと閾値との同時自動調節
を可能にする技術を実現することを目的としており， 上記入力層に，入力信号とは別に常に値「１」を入力値
としてもつ閾値入力ユニットを１つ以上設け，当該閾値
入力ユニットからの出力を中間層を構成する単位ユニッ
トのみに入力の１つとして供給するよう構成し，かつ当
該中間層を構成する単位ユニットの個数に識別に必要と
する個数以上の冗長性を与えている。
ットとして中間層と出力層とを構成した階層ネットワー
ク構成のデータ処理装置において， 階層ネットワークの適応性を低下させずに，しかも，簡
単な入力方法で内部結合の重みと閾値との同時自動調節
を可能にする技術を実現することを目的としており， 上記入力層に，入力信号とは別に常に値「１」を入力値
としてもつ閾値入力ユニットを１つ以上設け，当該閾値
入力ユニットからの出力を中間層を構成する単位ユニッ
トのみに入力の１つとして供給するよう構成し，かつ当
該中間層を構成する単位ユニットの個数に識別に必要と
する個数以上の冗長性を与えている。
本発明は，コンピュータの適応的なデータ処理に関す
る。
る。
近年の人工知能（AI）の進展に伴い，工場，オフィス等
へのAI技術の導入が盛んに行われている。AI技術は，使
い易いコンピュータの実現技術として大きい期待が持た
れている。この期待に応えるため，エキスパートシステ
ム等を適用したAIコンピュータが提供されているが，従
来の逐次データ処理を基本とするコンピュータ技術で
は，ロボットの制御，パターン認識，自然言語処理，不
十分な情報による推論など多様化する使用方法や環境の
変化に応えることが難しくなって来ている。このため，
使用方法や環境の変化に応じてコンピュータの特性を適
応的に調整する技術の開発が必須となっている。
へのAI技術の導入が盛んに行われている。AI技術は，使
い易いコンピュータの実現技術として大きい期待が持た
れている。この期待に応えるため，エキスパートシステ
ム等を適用したAIコンピュータが提供されているが，従
来の逐次データ処理を基本とするコンピュータ技術で
は，ロボットの制御，パターン認識，自然言語処理，不
十分な情報による推論など多様化する使用方法や環境の
変化に応えることが難しくなって来ている。このため，
使用方法や環境の変化に応じてコンピュータの特性を適
応的に調整する技術の開発が必須となっている。
〔従来の技術〕 従来の逐次処理コンピュータ（ノイマン型コンピュー
タ）では，使用方法や環境の変化に応じてコンピュータ
の特性を適応的に調整することが難しいので，コンピュ
ータに適応機能を与えるデータ処理方式として新たに階
層ネットワークによる並列分散処理方式が提唱されてい
る。特に，バック・プロパゲーション法と呼ばれる処理
方式（D.E.Rumelhart,G.E.Hinton,and R.J.Williams,"L
earning Internal Representations by Error Propagat
ion,"PARALLEL DISTRIBUTED PROCESSING,Vol.1,pp.318
−364,The MIT Press,1986）がその実用性の高さから注
目されている。このバック・プロパゲーション法を説明
すると次のようになる。
タ）では，使用方法や環境の変化に応じてコンピュータ
の特性を適応的に調整することが難しいので，コンピュ
ータに適応機能を与えるデータ処理方式として新たに階
層ネットワークによる並列分散処理方式が提唱されてい
る。特に，バック・プロパゲーション法と呼ばれる処理
方式（D.E.Rumelhart,G.E.Hinton,and R.J.Williams,"L
earning Internal Representations by Error Propagat
ion,"PARALLEL DISTRIBUTED PROCESSING,Vol.1,pp.318
−364,The MIT Press,1986）がその実用性の高さから注
目されている。このバック・プロパゲーション法を説明
すると次のようになる。
バック・プロパゲーション法ではユニットと呼ぶ一種の
ノードと重みを持つ内部結合とから階層ネットワークを
構成している。第13図は，ユニットの内部構成を示した
もので基本ユニットと呼ぶ。この基本ユニット３は，多
入力一出力系となっている。このユニットでは，複数の
各々の入力に対し各々の内部結合の重みを乗じてこれら
の全乗算結果を和算する累算部１と，更に閾値処理を施
して一つの出力を出す閾値処理部２とをもっている。即
ちバック・プロパゲーション法における基本ユニットで
のデータ処理は，入力と重みとの積和演算および閾値処
理からなっている。ここで，バック・プロパゲーション
法では閾値の関数として，式（２）で示されるＳ字関数
を用いている。
ノードと重みを持つ内部結合とから階層ネットワークを
構成している。第13図は，ユニットの内部構成を示した
もので基本ユニットと呼ぶ。この基本ユニット３は，多
入力一出力系となっている。このユニットでは，複数の
各々の入力に対し各々の内部結合の重みを乗じてこれら
の全乗算結果を和算する累算部１と，更に閾値処理を施
して一つの出力を出す閾値処理部２とをもっている。即
ちバック・プロパゲーション法における基本ユニットで
のデータ処理は，入力と重みとの積和演算および閾値処
理からなっている。ここで，バック・プロパゲーション
法では閾値の関数として，式（２）で示されるＳ字関数
を用いている。
基本ユニットで行われる演算を数式で示すと以下のよう
になる。
になる。
ypi＝1/（１＋exp（−xpi＋θｉ））式（２） 但し， ｈ :h層のユニット番号 ｉ :i層のユニット番号 ｐ ：入力パターン番号 θｉ:i層のｉ番目のユニットの閾値 wih :h−ｉ層間の内部結合の重み xpi :h層の各ユニットからｉ層のｉ番ユニットへの 入力の積和 yph :pパターン入力に対するｈ層の出力 ypi :pパターン入力に対するｉ層の出力 バック・プロパゲーション法では，この積和と閾値処理
を基本とする基本ユニット３を第14図のような誤差フィ
ードバックを持つ階層ネットワーク構造として，重みと
閾値とを誤差のフィードバックにより適応的に自動調節
するアルゴリズムを用い，所望のデータ処理方法をネッ
トワークに学習させることにより適応的なデータ処理を
実行する。第１図は入力層と１つまたは複数層よりなる
中間層と出力層とで構成されている状態を表わしてい
る。
を基本とする基本ユニット３を第14図のような誤差フィ
ードバックを持つ階層ネットワーク構造として，重みと
閾値とを誤差のフィードバックにより適応的に自動調節
するアルゴリズムを用い，所望のデータ処理方法をネッ
トワークに学習させることにより適応的なデータ処理を
実行する。第１図は入力層と１つまたは複数層よりなる
中間層と出力層とで構成されている状態を表わしてい
る。
第15図は，バック・プロパゲーション法により一種のパ
リティチェック処理をネットワークに学習（重みと閾値
との自動調整）させた結果のネットワークを示してい
る。ここで，第15図（Ａ）図示のNet1と第15図（Ｂ）図
示のNet2とは夫々奇数パリティをチェックする同一の特
性，即ち，「０」または「１」をとる３つの入力に対し
て「１」の数が奇数個のとき出力層は「１」を出力する
ようになっている。第15図では，内部結合線の隣の数字
が重みであり，ユニットを表す○の中の数字が閾値であ
る。Net1とNet2とを比較すると，重みと閾値とが全く異
なることが分かる。これは，ネットワークに冗長性があ
るため，こうした差異が生ずることになる。
リティチェック処理をネットワークに学習（重みと閾値
との自動調整）させた結果のネットワークを示してい
る。ここで，第15図（Ａ）図示のNet1と第15図（Ｂ）図
示のNet2とは夫々奇数パリティをチェックする同一の特
性，即ち，「０」または「１」をとる３つの入力に対し
て「１」の数が奇数個のとき出力層は「１」を出力する
ようになっている。第15図では，内部結合線の隣の数字
が重みであり，ユニットを表す○の中の数字が閾値であ
る。Net1とNet2とを比較すると，重みと閾値とが全く異
なることが分かる。これは，ネットワークに冗長性があ
るため，こうした差異が生ずることになる。
このようなネットワーク構造を持つ処理装置の適応性
は，識別しようとする数以上に設定した中間層ユニット
数の冗長性（余分なユニットの数）により決まるもの
で，この適応性を高めるには中間層ユニット数を冗長な
値とせざるを得ない。このことは，重みと閾値とを一意
に決めることが出来ない（正解となる重みと閾値との組
み合わせが多数ある）ことを意味している。また，式
（１）および式（２）から，バック・プロパゲーション
法では重みと閾値との調節が同時に実行される必要があ
り，重みと閾値との設定は相互に干渉する難しい作業と
なる。従来の方法では，ユニット毎に閾値を与えていた
が，ユニット数が多数となると各ユニット毎に閾値を与
えることが煩雑で面倒な作業となるため，閾値の自動設
定が切望されていた。
は，識別しようとする数以上に設定した中間層ユニット
数の冗長性（余分なユニットの数）により決まるもの
で，この適応性を高めるには中間層ユニット数を冗長な
値とせざるを得ない。このことは，重みと閾値とを一意
に決めることが出来ない（正解となる重みと閾値との組
み合わせが多数ある）ことを意味している。また，式
（１）および式（２）から，バック・プロパゲーション
法では重みと閾値との調節が同時に実行される必要があ
り，重みと閾値との設定は相互に干渉する難しい作業と
なる。従来の方法では，ユニット毎に閾値を与えていた
が，ユニット数が多数となると各ユニット毎に閾値を与
えることが煩雑で面倒な作業となるため，閾値の自動設
定が切望されていた。
本発明は，階層ネットワークの適応性を低下させずに，
しかも，簡単な入力方法で内部結合の重みと閾値との同
時自動調節を可能とする技術を実現することを目的とし
ている。
しかも，簡単な入力方法で内部結合の重みと閾値との同
時自動調節を可能とする技術を実現することを目的とし
ている。
第１図は，本発明の原理説明図である。このデータ処理
装置では，入力層に入力信号数の入力ユニット３−ｈの
外に閾値調節用の閾値入力ユニット３′−ｈが設けてあ
る。この閾値入力ユニット３′−ｈには，常に「１」が
入力されている。中間層の各々のユニット３−ｉの閾値
は，閾値入力のユニット３′−ｈからの「１」と内部結
合の重みとの積により自動的に調節される。また，中間
層のユニット３−ｉの数は，出力層のユニット３−ｊの
閾値を入力層の閾値入力ユニット３′−ｈにより調節す
ることを目的に，ユニット数に冗長性を持たせている。
本発明の中間層のユニット３−ｉの数は， 中間層のユニット数＝２＊入力ユニット数＋１としてい
る。
装置では，入力層に入力信号数の入力ユニット３−ｈの
外に閾値調節用の閾値入力ユニット３′−ｈが設けてあ
る。この閾値入力ユニット３′−ｈには，常に「１」が
入力されている。中間層の各々のユニット３−ｉの閾値
は，閾値入力のユニット３′−ｈからの「１」と内部結
合の重みとの積により自動的に調節される。また，中間
層のユニット３−ｉの数は，出力層のユニット３−ｊの
閾値を入力層の閾値入力ユニット３′−ｈにより調節す
ることを目的に，ユニット数に冗長性を持たせている。
本発明の中間層のユニット３−ｉの数は， 中間層のユニット数＝２＊入力ユニット数＋１としてい
る。
本発明では，第１図に示したように入力層に常に「１」
を入力信号として持つ閾値入力ユニット３′−ｈを設
け，また中間層ユニット３−ｉの数に冗長性を持たせて
いるため，中間層ユニット３−ｉの閾値も出力層ユニッ
ト３−ｊの閾値も一つの閾値入力ユニット３′−ｈによ
り自動調節される。従って，各ユニットの閾値を全く意
識しないで，且つネットワークの適応性を低下させずに
ただ重みのみの調節という簡単な操作により重みと閾値
の自動調節が可能となる。
を入力信号として持つ閾値入力ユニット３′−ｈを設
け，また中間層ユニット３−ｉの数に冗長性を持たせて
いるため，中間層ユニット３−ｉの閾値も出力層ユニッ
ト３−ｊの閾値も一つの閾値入力ユニット３′−ｈによ
り自動調節される。従って，各ユニットの閾値を全く意
識しないで，且つネットワークの適応性を低下させずに
ただ重みのみの調節という簡単な操作により重みと閾値
の自動調節が可能となる。
なお本発明において，上述の如く入力層に閾値入力ユニ
ット３′−ｈを設けたことによって中間層の各ユニット
３−ｉの閾値を，中間層に対する重みwihを設定するこ
とと同等の処理にて設定できる理由は次の如きものと考
えてよい。即ち， 中間層の各ユニット３−ｉにおいては，入力層内の１つ
余分にもうけたユニット３′−ｈからの値yphが常に
「１」であることから，値xpiは式（１）から， ∴ｘ′pi＝xpi＋ｗih′ （但しｈは入力層の閾値入力ユニットの番号） で与えられる。この結果からθｉ＝−ｗih′として式
（２）に代入すると， ypi＝1/（１＋exp（−xpi−ｗih′）） となり，式（２）に示されている閾値θｉを実質的に
（θｉ−ｗih′）に設定変更したことに対応する。即
ち，中間層における各ユニットの閾値をいちいち設定す
る煩雑さが解消される。
ット３′−ｈを設けたことによって中間層の各ユニット
３−ｉの閾値を，中間層に対する重みwihを設定するこ
とと同等の処理にて設定できる理由は次の如きものと考
えてよい。即ち， 中間層の各ユニット３−ｉにおいては，入力層内の１つ
余分にもうけたユニット３′−ｈからの値yphが常に
「１」であることから，値xpiは式（１）から， ∴ｘ′pi＝xpi＋ｗih′ （但しｈは入力層の閾値入力ユニットの番号） で与えられる。この結果からθｉ＝−ｗih′として式
（２）に代入すると， ypi＝1/（１＋exp（−xpi−ｗih′）） となり，式（２）に示されている閾値θｉを実質的に
（θｉ−ｗih′）に設定変更したことに対応する。即
ち，中間層における各ユニットの閾値をいちいち設定す
る煩雑さが解消される。
上記入力層における閾値入力ユニット３′−ｈをもうけ
て中間層における各ユニット３−ｉの閾値をいわば自動
設定した結果を元に出力層の閾値を自動設定すべく閾値
入力ユニット３−ｈの影響を出力層の各ユニット３−ｊ
に伝播させるために，中間層のユニット３−ｉの個数に
識別すべき数より大きい数となる冗長性をもたせるよう
にしている。
て中間層における各ユニット３−ｉの閾値をいわば自動
設定した結果を元に出力層の閾値を自動設定すべく閾値
入力ユニット３−ｈの影響を出力層の各ユニット３−ｊ
に伝播させるために，中間層のユニット３−ｉの個数に
識別すべき数より大きい数となる冗長性をもたせるよう
にしている。
第１図に示した階層ネットワークの重みの更新のアルゴ
リズムを以下に説明する。式（１），式（２）からの類
推によって次の式が得られる。即ち， ypi＝1/（１＋exp（−xpi＋θｉ）） 式（10） ypi＝1/（１＋exp（−xpj＋θｊ）） 式（12） 但し， yph:p番目パターン入力値に対するｈ層（ここでは入力
層）のｈ番目のユニットからの出力 ypi:p番目パターン入力値に対するｉ層（ここでは中間
層）のｉ番目のユニットからの出力 ypj:p番目パターン入力値に対するｊ層（ここでは出力
層）のｊ番目のユニットからの出力 xpi:i層のｉ番目のユニットへのｐ番目パターン入力に
対する総和 xpj:j層のｊ番目ユニットへのｐ番目パターン入力に対
する総和 wih:h層ｈ番目ユニットとｉ層ｉ番目ユニット間の重み wji:i層ｉ番目ユニットとｊ層ｊ番目ユニット間の重み 次に，これらの値から，教師入力ベクトルとネットワー
クの出力ベクトルとの誤差の二乗和Epをネットワークの
誤差として計算する。
リズムを以下に説明する。式（１），式（２）からの類
推によって次の式が得られる。即ち， ypi＝1/（１＋exp（−xpi＋θｉ）） 式（10） ypi＝1/（１＋exp（−xpj＋θｊ）） 式（12） 但し， yph:p番目パターン入力値に対するｈ層（ここでは入力
層）のｈ番目のユニットからの出力 ypi:p番目パターン入力値に対するｉ層（ここでは中間
層）のｉ番目のユニットからの出力 ypj:p番目パターン入力値に対するｊ層（ここでは出力
層）のｊ番目のユニットからの出力 xpi:i層のｉ番目のユニットへのｐ番目パターン入力に
対する総和 xpj:j層のｊ番目ユニットへのｐ番目パターン入力に対
する総和 wih:h層ｈ番目ユニットとｉ層ｉ番目ユニット間の重み wji:i層ｉ番目ユニットとｊ層ｊ番目ユニット間の重み 次に，これらの値から，教師入力ベクトルとネットワー
クの出力ベクトルとの誤差の二乗和Epをネットワークの
誤差として計算する。
但し， Ep :p番目パターン入力に対する誤差ベクトル Ｅ ：全パターン入力に対する誤差ベクトルの総和 dpj :p番目パターン入力に対するｊ層ｊ番目ユニットへ
の教師信号 ここで誤差ベクトルと出力層ベクトルとの関係を求める
ため，式（13）をypjに関して偏微分すると， を得る。更に，誤差ベクトルとｊ層への入力との関係を
求めるため，誤差部をxpjで偏微分すると， を得る。但し，本実施例では入力層に１つの入力ユニッ
ト３′−ｈを設けこのユニット３′−ｈに常に「１」の
値を入力する方式を採用することで，他の各ユニットの
閾値θの自動調節を実現しているので式にθの値は出て
こない。更に，誤差ベクトルとｉ−ｊ層間の重みとの関
係をもとめるため，誤差ベクトルをwjiで偏微分する
と， の積和で表される解を得る。
の教師信号 ここで誤差ベクトルと出力層ベクトルとの関係を求める
ため，式（13）をypjに関して偏微分すると， を得る。更に，誤差ベクトルとｊ層への入力との関係を
求めるため，誤差部をxpjで偏微分すると， を得る。但し，本実施例では入力層に１つの入力ユニッ
ト３′−ｈを設けこのユニット３′−ｈに常に「１」の
値を入力する方式を採用することで，他の各ユニットの
閾値θの自動調節を実現しているので式にθの値は出て
こない。更に，誤差ベクトルとｉ−ｊ層間の重みとの関
係をもとめるため，誤差ベクトルをwjiで偏微分する
と， の積和で表される解を得る。
次に,i層の出力ypiに対する誤差ベクトルEpの変化を求
めると， を得る。更に,i層入力ユニットへの総和xpiの変化に対
する誤差ベクトルEpの変化を計算すると， の積和で表される解を得る。更に,h−ｉ層間の重みの変
化に対する誤差ベクトルの変化の関係を求めると， の積和で表される解を得る。
めると， を得る。更に,i層入力ユニットへの総和xpiの変化に対
する誤差ベクトルEpの変化を計算すると， の積和で表される解を得る。更に,h−ｉ層間の重みの変
化に対する誤差ベクトルの変化の関係を求めると， の積和で表される解を得る。
これらから，全入力パターンに対する誤差ベクトルとｉ
−ｊ層間の重みとの関係を求めると以下のようになる。
−ｊ層間の重みとの関係を求めると以下のようになる。
また，全入力パターンに対する誤差ベクトルとｈ−ｉ層
間の重みとの関係を求めると以下のようになる。
間の重みとの関係を求めると以下のようになる。
式（20）および式（21）は，各層間の重みの変化に対す
る誤差ベクトルの変化率を示していることから，この値
が常に負になるように重みを変化させると公知の勾配法
により，誤差の２乗和であるＥを漸近的に０とすること
ができる。そこで本実施例では，重みの一回当たりの変
化量Δwjiを以下のように設定し，勾配法に基づき繰り
返しこの操作を行い,Eを零に収束させている。
る誤差ベクトルの変化率を示していることから，この値
が常に負になるように重みを変化させると公知の勾配法
により，誤差の２乗和であるＥを漸近的に０とすること
ができる。そこで本実施例では，重みの一回当たりの変
化量Δwjiを以下のように設定し，勾配法に基づき繰り
返しこの操作を行い,Eを零に収束させている。
但し， ε：学習率（勾配法の勾配率と同じ機能） 更に，本発明では，勾配法における収束時の振動を抑制
する目的で学習速度を式（22）および式（23）に適用し
て，ΔwihとΔwjiを以下のように設定している。
する目的で学習速度を式（22）および式（23）に適用し
て，ΔwihとΔwjiを以下のように設定している。
但し， α：学習速度定数 t :回数 なお，上述の重みwihやwjiは各ユニット３−ｉや３−ｊ
に夫々対応する記憶装置内に格納され，その内容が上述
の学習の間フィードバックによって修正される。そして
実際の処理に当ってはその学習結果の重みwihやwjiが読
出されて利用される。
に夫々対応する記憶装置内に格納され，その内容が上述
の学習の間フィードバックによって修正される。そして
実際の処理に当ってはその学習結果の重みwihやwjiが読
出されて利用される。
以下，実施例を挙げて説明する。ここで，中間層ユニッ
ト数の冗長性を説明する。第２図は，排他OR機能を実現
するネットワークであり，中間層ユニット数の冗長性を
持たせない場合の例である。排他ORでは，第３図におい
て，入力パターンの直線による識別（線形識別）に関し
て，一本の直線では不可能で少なくとも第３図（Ｂ）図
示の如く二本の直線を要する。従って，この識別には第
３図（Ａ）図示の如く２つの中間層ユニットが最小限必
要となっている。ところが，本発明では中間層ユニット
と出力層ユニットの閾値を自動節制するのに入力層に常
時「１」を入力信号として持つ閾値入力ユニット３′−
ｈが設けられていることから，第２図図示のネットワー
クにおいては，識別すべき数に対して中間層ユニットの
数に冗長性がない。この場合,2つの中間層ユニット３−
ｉは出力層ユニット３−ｊの閾値を含めた自動調節をし
なければならず，排他OR特性に適応するまでの繰り返し
学習回数が増大することになる。
ト数の冗長性を説明する。第２図は，排他OR機能を実現
するネットワークであり，中間層ユニット数の冗長性を
持たせない場合の例である。排他ORでは，第３図におい
て，入力パターンの直線による識別（線形識別）に関し
て，一本の直線では不可能で少なくとも第３図（Ｂ）図
示の如く二本の直線を要する。従って，この識別には第
３図（Ａ）図示の如く２つの中間層ユニットが最小限必
要となっている。ところが，本発明では中間層ユニット
と出力層ユニットの閾値を自動節制するのに入力層に常
時「１」を入力信号として持つ閾値入力ユニット３′−
ｈが設けられていることから，第２図図示のネットワー
クにおいては，識別すべき数に対して中間層ユニットの
数に冗長性がない。この場合,2つの中間層ユニット３−
ｉは出力層ユニット３−ｊの閾値を含めた自動調節をし
なければならず，排他OR特性に適応するまでの繰り返し
学習回数が増大することになる。
第４図は冗長性をもつネットワークの例を示す。図に示
したように，中間層ユニット数に冗長性を持たせると，
余ったユニットが出力層のユニット３−ｊの閾値の調節
に専念できることから繰り返し学習回数は，冗長なユニ
ットがない場合に比し大幅に低減できる。
したように，中間層ユニット数に冗長性を持たせると，
余ったユニットが出力層のユニット３−ｊの閾値の調節
に専念できることから繰り返し学習回数は，冗長なユニ
ットがない場合に比し大幅に低減できる。
第５図は３ビットパリティチェック機能をもつ３層ネッ
トワークの一実施例構成図である。ここでは，前述の３
ビットのパリティチェック機能をバック・プロパゲーシ
ョン法によりネットワークに学習させている。ネットワ
ーク構成は，入力層に関しては４ユニット（３ビットの
入力と１つの閾値入力），中間層に関しては９ユニッ
ト，出力層に関しては１ユニットとなっている。３ビッ
トのパリティチェック機能の学習手順を以下に述べる。
トワークの一実施例構成図である。ここでは，前述の３
ビットのパリティチェック機能をバック・プロパゲーシ
ョン法によりネットワークに学習させている。ネットワ
ーク構成は，入力層に関しては４ユニット（３ビットの
入力と１つの閾値入力），中間層に関しては９ユニッ
ト，出力層に関しては１ユニットとなっている。３ビッ
トのパリティチェック機能の学習手順を以下に述べる。
まず，内部結合の重みの初期値を決める。この初期値
は,1以下の乱数により決める。これは，重みの値が全て
同じか，あるいはユニットに関して対称となると，バッ
ク・プロパゲーション法では重みの変化が生じないこと
になるので，即ち，学習が進行しなくなってしまうので
これを避ける目的で乱数を用いている。
は,1以下の乱数により決める。これは，重みの値が全て
同じか，あるいはユニットに関して対称となると，バッ
ク・プロパゲーション法では重みの変化が生じないこと
になるので，即ち，学習が進行しなくなってしまうので
これを避ける目的で乱数を用いている。
次に，第６図に示した８つの入力パターンと各々の入力
パターンに対応する所望の出力値８つを入力する。
パターンに対応する所望の出力値８つを入力する。
次に，バック・プロパゲーション法に関わる制御パラメ
ータを入力する。ここでは，インクリメンタルな繰り返
し学習の一回当たりの重みの変化量の係数である学習率
と収束時の振動を抑えるための学習速度を制御パラメー
タとしている。尚，入力層ユニット（入力ユニットおよ
び閾値ユニット），中間層ユニット，出力層ユニットの
各々の数と内部結合は自動設定される。
ータを入力する。ここでは，インクリメンタルな繰り返
し学習の一回当たりの重みの変化量の係数である学習率
と収束時の振動を抑えるための学習速度を制御パラメー
タとしている。尚，入力層ユニット（入力ユニットおよ
び閾値ユニット），中間層ユニット，出力層ユニットの
各々の数と内部結合は自動設定される。
次に，バック・プロパゲーション法のアルゴリズムに従
って出力層ユニットの出力値が所望の出力と一致するよ
うにインクリメンタルに内部結合の重みを学習する。
って出力層ユニットの出力値が所望の出力と一致するよ
うにインクリメンタルに内部結合の重みを学習する。
次に，出力層ユニット３−ｊの出力値と所望の出力値と
の誤差が全ての入力パラメータに関して所定の値より少
なくなったら，学習を終了する。
の誤差が全ての入力パラメータに関して所定の値より少
なくなったら，学習を終了する。
奇数パリティチェック機能の学習を終了した時の各ユニ
ット間の内部結合重みを第７図および第９図に示す。第
７図および第９図の重みは異なるが機能は同じである。
これは，学習率と学習速度パラメータが異なることと中
間層ユニット数の冗長性とによる。第８図（Ａ）（Ｂ）
（Ｃ）は夫々，第７図で示した学習終了後に，任意のパ
ターンを入力した場合の入力と出力を示している。第10
図（Ａ）（Ｂ）（Ｃ）は夫々，第９図で示した学習終了
後に，任意のパターンを入力した場合の入力と出力を示
している。
ット間の内部結合重みを第７図および第９図に示す。第
７図および第９図の重みは異なるが機能は同じである。
これは，学習率と学習速度パラメータが異なることと中
間層ユニット数の冗長性とによる。第８図（Ａ）（Ｂ）
（Ｃ）は夫々，第７図で示した学習終了後に，任意のパ
ターンを入力した場合の入力と出力を示している。第10
図（Ａ）（Ｂ）（Ｃ）は夫々，第９図で示した学習終了
後に，任意のパターンを入力した場合の入力と出力を示
している。
本データ処理装置では，演算をアナログ値で行うため，
出力値は完全な１または０となっていないが，閾値を用
いるなどすれば第８図および第10図図示の出力値から１
または０を判断することは容易であることは明らかであ
る。
出力値は完全な１または０となっていないが，閾値を用
いるなどすれば第８図および第10図図示の出力値から１
または０を判断することは容易であることは明らかであ
る。
また，第11図は奇数パリティチェック機能を学習させた
のと全く同じネットワークに偶数パリティチェック機能
を学習させた結果を示すものであり，各内部結合の重み
を示している。第12図（Ａ）（Ｂ）（Ｃ）は夫々，第11
図で示した学習終了後に，任意のパターンを入力した場
合の入力と出力を示している。
のと全く同じネットワークに偶数パリティチェック機能
を学習させた結果を示すものであり，各内部結合の重み
を示している。第12図（Ａ）（Ｂ）（Ｃ）は夫々，第11
図で示した学習終了後に，任意のパターンを入力した場
合の入力と出力を示している。
この結果から，本発明によりネットワークの適応性を低
下させずに，しかも重みと閾値の同時且つ自動調節が簡
単な方法でできること，また，カメレオンのように様々
な機能を持つデータ処理装置に変身できることが示され
た。
下させずに，しかも重みと閾値の同時且つ自動調節が簡
単な方法でできること，また，カメレオンのように様々
な機能を持つデータ処理装置に変身できることが示され
た。
以上説明したように，本発明によれば，バック・プロパ
ゲーション法によるデータ処理装置の適応機能に対して
は，入力層に閾値ユニットをもうけ，また中間層のユニ
ットの個数に識別すべき数以上の冗長性を持たせている
ことから，各ユニット間の内部結合重みと各ユニットの
閾値との調節が自動的且つ簡便な方法で実行でき，閾値
を全く意識せず，またネットワークの適応性を低下させ
ることなく学習を遂行出来る。また，所望機能を持つ処
理装置に変化出来るなど，係るデータ処理装置の性能向
上に寄与するところが大きい。
ゲーション法によるデータ処理装置の適応機能に対して
は，入力層に閾値ユニットをもうけ，また中間層のユニ
ットの個数に識別すべき数以上の冗長性を持たせている
ことから，各ユニット間の内部結合重みと各ユニットの
閾値との調節が自動的且つ簡便な方法で実行でき，閾値
を全く意識せず，またネットワークの適応性を低下させ
ることなく学習を遂行出来る。また，所望機能を持つ処
理装置に変化出来るなど，係るデータ処理装置の性能向
上に寄与するところが大きい。
第１図は本発明の原理説明図，第２図は中間層の数が冗
長性を持たない排他ORのネットワーク，第３図は排他OR
と中間層ユニットの役割，第４図は中間層の数が冗長性
を持つ排他ORのネットワーク，第５図は３ビットパリテ
ィチェック機能を持つ３層ネットワーク，第６図は入力
パターンと教師信号，第７図は学習結果を示す内部結合
の重みを示すもの，第８図は第７図の処理例，第９図は
学習結果を示す内部結合の重みを示すもの，第10図は第
９図の処理例，第11図は学習結果を示す内部結合の重み
を示すもの，第12図は第11図の処理例，第13図は基本ユ
ニットの構成，第14図は階層ネットワーク構造，第15図
は奇数パリティチェック機能を持つ３層ネットワークを
示す。 図中,3は基本ユニット,3′は閾値入力ユニットである。
長性を持たない排他ORのネットワーク，第３図は排他OR
と中間層ユニットの役割，第４図は中間層の数が冗長性
を持つ排他ORのネットワーク，第５図は３ビットパリテ
ィチェック機能を持つ３層ネットワーク，第６図は入力
パターンと教師信号，第７図は学習結果を示す内部結合
の重みを示すもの，第８図は第７図の処理例，第９図は
学習結果を示す内部結合の重みを示すもの，第10図は第
９図の処理例，第11図は学習結果を示す内部結合の重み
を示すもの，第12図は第11図の処理例，第13図は基本ユ
ニットの構成，第14図は階層ネットワーク構造，第15図
は奇数パリティチェック機能を持つ３層ネットワークを
示す。 図中,3は基本ユニット,3′は閾値入力ユニットである。
Claims (1)
- 【請求項１】前段層からの１つまたは複数の入力と前段
層から当該層への入力に対して乗算されるべき重みとを
受取って積和を得る累算部（１）と，当該累算部（１）
からの出力を閾値関数によって変換して最終出力を得る
閾値処理部（２）とを有する基本ユニット（３）を単位
ユニットとし， 複数個の入力層をもつと共に複数個の上記単位ユニット
（３−ｉ）を中間層として１つまたは複数段の中間層を
そなえ，かつ１つまたは複数個の上記単位ユニット（３
−ｉ）を出力層とし， 上記入力層と最前段の中間層との間，中間層相互間，お
よび最終段の中間層と出力層との間で内部結合を構成
し，当該内部結合に対応して，上記入力のパターンに対
応した形で上記重みが設定される 階層ネットワーク構成のデータ処理装置において， 上記入力層に，入力信号とは別に常に値「１」を入力値
としてもつ閾値入力ユニット（３′−ｈ）を１つ以上設
け， 当該閾値入力ユニット（３′−ｈ）の出力を上記中間層
の単位ユニットのみに入力の１つとして供給するよう構
成してなり， 上記中間層および出力層を構成する単位ユニット（３−
ｉ）（３−ｊ）における上記閾値関数を設定するように
し， 更に上記中間層を構成する単位ユニット（３−ｉ）の個
数に識別に必要とする個数以上の冗長性を与えた ことを特徴とするネットワーク構成データ処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP62333484A JPH0736183B2 (ja) | 1987-12-28 | 1987-12-28 | ネットワーク構成データ処理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP62333484A JPH0736183B2 (ja) | 1987-12-28 | 1987-12-28 | ネットワーク構成データ処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH01173257A JPH01173257A (ja) | 1989-07-07 |
| JPH0736183B2 true JPH0736183B2 (ja) | 1995-04-19 |
Family
ID=18266575
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP62333484A Expired - Fee Related JPH0736183B2 (ja) | 1987-12-28 | 1987-12-28 | ネットワーク構成データ処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH0736183B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2612640B2 (ja) * | 1989-12-29 | 1997-05-21 | 株式会社リコー | 信号処理回路、信号処理回路網、信号処理装置及び信号処理方法 |
-
1987
- 1987-12-28 JP JP62333484A patent/JPH0736183B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH01173257A (ja) | 1989-07-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Chen | A rapid supervised learning neural network for function interpolation and approximation | |
| Yoo et al. | Stable predictive control of chaotic systems using self-recurrent wavelet neural network | |
| Chen et al. | Adaptive control of nonlinear systems using neural networks | |
| Gorinevsky et al. | Comparison of some neural network and scattered data approximations: The inverse manipulator kinematics example | |
| JPH0736183B2 (ja) | ネットワーク構成データ処理装置 | |
| JP2669626B2 (ja) | ロボット制御方式 | |
| US5239618A (en) | Data processing device with network structure and its learning processing method | |
| JP2897220B2 (ja) | 信号処理装置 | |
| JP2523150B2 (ja) | ロボット制御方式 | |
| Ng et al. | A generalized backpropagation algorithm for faster convergence | |
| Francelin et al. | A neural network for fuzzy decision making problems | |
| Dadios et al. | Application of neural networks to the flexible pole-cart balancing problem | |
| Lara | Artificial neural networks: An introduction | |
| JPH0492901A (ja) | ニューラルネットワークによるファジイ制御器 | |
| PANDYA et al. | A stochastic parallel algorithm for supervised learning in neural networks | |
| JP2877413B2 (ja) | 余剰ニューロン決定処理方式 | |
| JP3288066B2 (ja) | ネットワーク構成データ処理装置の学習処理方法およびシステム | |
| Dagli et al. | Basic artificial neural network architectures | |
| Pican et al. | An on-line learning algorithm for the orthogonal weight estimation of MLP | |
| Ramli et al. | Application of neural networks to the automotive engine problem | |
| Feofilov et al. | Features of Synthesis of Neural Network Simulators with Limiters | |
| Rao et al. | On-line learning of robot inverse kinematic transformations | |
| Nikravesh et al. | Process control of nonlinear time variant processes via artificial neural network | |
| JPH04323763A (ja) | ニューラルネットワーク学習方法 | |
| Copeland | Neural network dynamical systems for associative memory and control |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |