JPH0546585A - ニユーラルネツトワークの学習方法 - Google Patents
ニユーラルネツトワークの学習方法Info
- Publication number
- JPH0546585A JPH0546585A JP3232401A JP23240191A JPH0546585A JP H0546585 A JPH0546585 A JP H0546585A JP 3232401 A JP3232401 A JP 3232401A JP 23240191 A JP23240191 A JP 23240191A JP H0546585 A JPH0546585 A JP H0546585A
- Authority
- JP
- Japan
- Prior art keywords
- data
- neural network
- output
- component
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 58
- 238000000034 method Methods 0.000 title claims description 18
- 230000008878 coupling Effects 0.000 claims abstract description 29
- 238000010168 coupling process Methods 0.000 claims abstract description 29
- 238000005859 coupling reaction Methods 0.000 claims abstract description 29
- 238000013500 data storage Methods 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000003754 machining Methods 0.000 description 2
- 239000004480 active ingredient Substances 0.000 description 1
- 230000001364 causal effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
(57)【要約】
【目的】 ニューラルネットワークのある同一の出力素
子の出力に注目したときに、入力データによって、出力
が使用されている有効成分と使用されていない無効成分
となるような場合の適正な学習を行うこと。 【構成】 任意組の入力データと教師データに関して、
ニューラルネットワークに学習させる時、教師データの
各成分のうち使用されている有効成分に関しては、対応
する入力データをニューラルネットワークに入力させた
時に、教師データの有効成分の値が出力され得るように
学習させ、教師データの各成分のうち使用されていない
無効成分に関しては、その無効成分に対応する出力素子
の出力値に対して、出力誤差が零として、ニューラルネ
ットワークに学習させる。この無効成分によりニューラ
ルネットワークの各結合係数は影響されない。
子の出力に注目したときに、入力データによって、出力
が使用されている有効成分と使用されていない無効成分
となるような場合の適正な学習を行うこと。 【構成】 任意組の入力データと教師データに関して、
ニューラルネットワークに学習させる時、教師データの
各成分のうち使用されている有効成分に関しては、対応
する入力データをニューラルネットワークに入力させた
時に、教師データの有効成分の値が出力され得るように
学習させ、教師データの各成分のうち使用されていない
無効成分に関しては、その無効成分に対応する出力素子
の出力値に対して、出力誤差が零として、ニューラルネ
ットワークに学習させる。この無効成分によりニューラ
ルネットワークの各結合係数は影響されない。
Description
【０００１】
【産業上の利用分野】本発明は、ニューラルネットワー
クの学習方法に関する。詳しくは、教師データの各出力
素子に対応した各成分において、使用されていない無効
成分が存在する場合の学習方法に関する。
クの学習方法に関する。詳しくは、教師データの各出力
素子に対応した各成分において、使用されていない無効
成分が存在する場合の学習方法に関する。
【０００２】
【従来の技術】ニューラルネットワークは、理論的な解
析が困難な因果関係を結合係数の学習効果により直接的
に実現する回路網として知られている。即ち、ニューラ
ルネットワークは、予め、離散的な複数の入力に対し
て、それぞれの入力に対して最適な出力が得られるよう
に、ニューラルネットワークの結合係数を学習してお
き、任意の入力に対して妥当な出力が直接的に得られる
ようにした回路網である。
析が困難な因果関係を結合係数の学習効果により直接的
に実現する回路網として知られている。即ち、ニューラ
ルネットワークは、予め、離散的な複数の入力に対し
て、それぞれの入力に対して最適な出力が得られるよう
に、ニューラルネットワークの結合係数を学習してお
き、任意の入力に対して妥当な出力が直接的に得られる
ようにした回路網である。
【０００３】このようなニューラルネットワークは多数
の分野で応用されており、工作機械の分野においても、
多くの設定条件から要求された加工に最適な加工条件を
演算するのに用いられている。このようなニューラルネ
ットワークでは、各入力素子に対応して入力データの各
項目が設定され、各出力素子に対応して出力データの各
項目が設定されている。
の分野で応用されており、工作機械の分野においても、
多くの設定条件から要求された加工に最適な加工条件を
演算するのに用いられている。このようなニューラルネ
ットワークでは、各入力素子に対応して入力データの各
項目が設定され、各出力素子に対応して出力データの各
項目が設定されている。
【０００４】
【発明が解決しようとする課題】ところが、上記の入力
データの全項目及び出力データの全項目が、常時、使用
されているとは限らない。ある種のデータにおいてはあ
る項目は使用されているが、他の種のデータにおいては
その項目が使用されていないという様にニューラルネッ
トワークを使用する場合がある。
データの全項目及び出力データの全項目が、常時、使用
されているとは限らない。ある種のデータにおいてはあ
る項目は使用されているが、他の種のデータにおいては
その項目が使用されていないという様にニューラルネッ
トワークを使用する場合がある。
【０００５】例えば、設定条件から加工条件を求める場
合には、円筒研削と端面付研削とＲ付研削とでは、使用
しているデータ項目が異なる。円筒研削では端面に関す
る項目とＲ部研削に関する項目が欠落し、端面付研削で
はＲ部研削に関する項目が欠落する。このような場合に
も、ニューラルネットワークの入力素子は、入力データ
の全ての項目の数だけ設けられ、出力素子は、出力デー
タの全ての項目の数だけ設けられている。そして、ある
入力データにおいて使用していない項目には、適当な値
を付与し、出力データの使用していない項目の値は、無
視するという方法でニューラルネットワークが用いられ
ている。
合には、円筒研削と端面付研削とＲ付研削とでは、使用
しているデータ項目が異なる。円筒研削では端面に関す
る項目とＲ部研削に関する項目が欠落し、端面付研削で
はＲ部研削に関する項目が欠落する。このような場合に
も、ニューラルネットワークの入力素子は、入力データ
の全ての項目の数だけ設けられ、出力素子は、出力デー
タの全ての項目の数だけ設けられている。そして、ある
入力データにおいて使用していない項目には、適当な値
を付与し、出力データの使用していない項目の値は、無
視するという方法でニューラルネットワークが用いられ
ている。
【０００６】このような場合には、学習に使用する入力
データと教師データの各成分（各項目）のうち、使用さ
れていない成分、即ち、無効成分をどのように取り扱っ
て学習させれば良いかが問題となる。
データと教師データの各成分（各項目）のうち、使用さ
れていない成分、即ち、無効成分をどのように取り扱っ
て学習させれば良いかが問題となる。
【０００７】本発明は上記課題を解決するために成され
たものであり、その目的は、同一のデータ項目でも、デ
ータの種類によっては、使用されたり、使用されなかっ
たりするような多種類のデータに対しても、適性な学習
をニューラルネットワークに行わせることである。
たものであり、その目的は、同一のデータ項目でも、デ
ータの種類によっては、使用されたり、使用されなかっ
たりするような多種類のデータに対しても、適性な学習
をニューラルネットワークに行わせることである。
【０００８】
【課題を解決するための手段】ニューラルネットワーク
へ入力する１つの入力データは入力素子数に等しい数の
成分を有しており、各成分が各入力素子に入力する。
又、１つの教師データは、１つの入力データをニューラ
ルネットワークに入力させた時の最適な出力データであ
る。従って、１つの教師データは入力データに対応し、
出力素子数に等しい数の成分を有している。このような
入力データと教師データの組が、ニューラルネットワー
クの使用の過程で多数得られる。この多数組のデータ
は、ニューラルネットワークの学習に用いられる。本発
明は、上記の学習において、任意組の入力データと教師
データに関して、ニューラルネットワークに学習させる
時、教師データの各成分のうち使用されている有効成分
に関しては、対応する入力データをニューラルネットワ
ークに入力させた時に、教師データの有効成分の値が出
力され得るように学習させ、教師データの各成分のうち
使用されていない無効成分に関しては、その無効成分に
対応する出力素子の出力値に対して、出力誤差が零とし
て、ニューラルネットワークに学習させることを特徴と
する。
へ入力する１つの入力データは入力素子数に等しい数の
成分を有しており、各成分が各入力素子に入力する。
又、１つの教師データは、１つの入力データをニューラ
ルネットワークに入力させた時の最適な出力データであ
る。従って、１つの教師データは入力データに対応し、
出力素子数に等しい数の成分を有している。このような
入力データと教師データの組が、ニューラルネットワー
クの使用の過程で多数得られる。この多数組のデータ
は、ニューラルネットワークの学習に用いられる。本発
明は、上記の学習において、任意組の入力データと教師
データに関して、ニューラルネットワークに学習させる
時、教師データの各成分のうち使用されている有効成分
に関しては、対応する入力データをニューラルネットワ
ークに入力させた時に、教師データの有効成分の値が出
力され得るように学習させ、教師データの各成分のうち
使用されていない無効成分に関しては、その無効成分に
対応する出力素子の出力値に対して、出力誤差が零とし
て、ニューラルネットワークに学習させることを特徴と
する。
【０００９】
【作用及び発明の効果】ニューラルネットワークの結合
係数は、教師データの各成分のうち使用されている有効
成分に関しては、対応する入力データをニューラルネッ
トワークに入力させた時に、教師データの有効成分の値
が出力され得るように学習される。一方、ニューラルネ
ットワークの結合係数は、教師データの各成分のうち使
用されていない無効成分に関しては、その無効成分に対
応する出力素子の出力値に対して、出力誤差が零とし
て、学習される。即ち、教師データの無効成分に対応す
る出力素子の出力値は使用されないのであるが、その出
力値は正しいものとして、ニューラルネットワークの結
合係数が学習される。
係数は、教師データの各成分のうち使用されている有効
成分に関しては、対応する入力データをニューラルネッ
トワークに入力させた時に、教師データの有効成分の値
が出力され得るように学習される。一方、ニューラルネ
ットワークの結合係数は、教師データの各成分のうち使
用されていない無効成分に関しては、その無効成分に対
応する出力素子の出力値に対して、出力誤差が零とし
て、学習される。即ち、教師データの無効成分に対応す
る出力素子の出力値は使用されないのであるが、その出
力値は正しいものとして、ニューラルネットワークの結
合係数が学習される。
【００１０】このことにより、ある種の教師データで学
習させる時に、無効成分に関しても同一入力データに関
してニューラルネットワークの出力が変化しないように
学習されることになる。換言すれば、この無効成分によ
りニューラルネットワークの各結合係数は影響されな
い。従って、無効成分による学習が、その無効成分を有
効成分とする他の教師データによる学習結果に悪影響を
与えることが防止される。従って、使用項目と不使用項
目とがデータの種類によって異なるようなデータに対し
てニューラルネットワークを使用する場合における適性
な学習が達成される。
習させる時に、無効成分に関しても同一入力データに関
してニューラルネットワークの出力が変化しないように
学習されることになる。換言すれば、この無効成分によ
りニューラルネットワークの各結合係数は影響されな
い。従って、無効成分による学習が、その無効成分を有
効成分とする他の教師データによる学習結果に悪影響を
与えることが防止される。従って、使用項目と不使用項
目とがデータの種類によって異なるようなデータに対し
てニューラルネットワークを使用する場合における適性
な学習が達成される。
【００１１】
1.学習装置の構成 本装置は、図４に示すように、ＣＰＵ１、ＲＯＭ２、Ｒ
ＡＭ３とから成るコンピュータシステムで構成されてい
る。ＲＯＭ２には入力データと教師データの蓄積を管理
する制御プログラムの記憶された制御プログラム領域２
１とニューラルネットワークの演算プログラムの記憶さ
れたニューラルネットワーク領域２２とニューラルネッ
トワークに学習させるためのプログラムの記憶された学
習プログラム領域２３が形成されている。又、ＲＡＭ３
には蓄積される入力データ及び教師データをそれぞれ記
憶する入力データ記憶領域３１及び教師データ領域３
２、教師データの各成分が有効成分か無効成分かを判別
できる判別データを記憶した判別データ記憶領域３３、
ニューラルネットワークの結合係数を記憶する結合係数
領域３４とが形成されている。
ＡＭ３とから成るコンピュータシステムで構成されてい
る。ＲＯＭ２には入力データと教師データの蓄積を管理
する制御プログラムの記憶された制御プログラム領域２
１とニューラルネットワークの演算プログラムの記憶さ
れたニューラルネットワーク領域２２とニューラルネッ
トワークに学習させるためのプログラムの記憶された学
習プログラム領域２３が形成されている。又、ＲＡＭ３
には蓄積される入力データ及び教師データをそれぞれ記
憶する入力データ記憶領域３１及び教師データ領域３
２、教師データの各成分が有効成分か無効成分かを判別
できる判別データを記憶した判別データ記憶領域３３、
ニューラルネットワークの結合係数を記憶する結合係数
領域３４とが形成されている。
【００１２】2.ニューラルネットワーク 本実施例のニューラルネットワーク１０は、図１に示す
ように、入力層ＬI と出力層ＬO と中間層ＬM の３層構
造に構成されている。入力層ＬI はｅ個の入力素子を有
し、出力層ＬO はｇ個の出力素子を有し、中間層ＬM は
ｆ個の出力素子を有している。多層構造のニューラルネ
ットワークは、一般的に、次の演算を行う装置として定
義される。
ように、入力層ＬI と出力層ＬO と中間層ＬM の３層構
造に構成されている。入力層ＬI はｅ個の入力素子を有
し、出力層ＬO はｇ個の出力素子を有し、中間層ＬM は
ｆ個の出力素子を有している。多層構造のニューラルネ
ットワークは、一般的に、次の演算を行う装置として定
義される。
【００１３】第i 層の第j 番目の素子の出力Oi j は、次
式で演算される。但し、i ≧2 である。
式で演算される。但し、i ≧2 である。
【数１】 Oi j =f(Ii j) （１）
【数２】 Ii j=ΣWi-1 k, i j・Oi-1 k +Vi j （２） k
【数３】 f(x)=1/｛1+exp(-x)｝ （３）
【００１４】但し、Vi j は第i 層の第j 番目の演算素子
のバイアス、Wi-1 k, i jは、第i-1 層の第k 番目の素子と
第i 層の第j 番目の素子間の結合係数、O1 j は第1 層の
第 j番目の素子の出力値を表す。即ち、第1 層であるか
ら演算を行うことなく、そのまま入力を出力するので、
入力層（第１層）の第j 番目の素子の入力値でもある。
のバイアス、Wi-1 k, i jは、第i-1 層の第k 番目の素子と
第i 層の第j 番目の素子間の結合係数、O1 j は第1 層の
第 j番目の素子の出力値を表す。即ち、第1 層であるか
ら演算を行うことなく、そのまま入力を出力するので、
入力層（第１層）の第j 番目の素子の入力値でもある。
【００１５】次に、図１に示す３層構造のニューラルネ
ットワーク１０の具体的な演算手順について図２を参照
して説明する。各素子の演算は、ＲＡＭ３の結合係数記
憶領域３４に記憶されている結合係数を参照しつつ、Ｒ
ＯＭ２のニューラルネットワーク領域２２に記憶された
プログラムを実行することによって行われる。ステップ
１００において、中間層（第２層）の第j 番目の素子
は、入力層（第１層）の各素子からの出力値O1 j （第１
層の入力データ）を入力して、（２）式を層番号と第１
層の素子数を用いて具体化した次式の積和演算を行な
う。
ットワーク１０の具体的な演算手順について図２を参照
して説明する。各素子の演算は、ＲＡＭ３の結合係数記
憶領域３４に記憶されている結合係数を参照しつつ、Ｒ
ＯＭ２のニューラルネットワーク領域２２に記憶された
プログラムを実行することによって行われる。ステップ
１００において、中間層（第２層）の第j 番目の素子
は、入力層（第１層）の各素子からの出力値O1 j （第１
層の入力データ）を入力して、（２）式を層番号と第１
層の素子数を用いて具体化した次式の積和演算を行な
う。
【００１６】
【数４】
【００１７】次に、ステップ１０２において、次式によ
り、（４）式の入力値の積和関数値のシグモイド関数に
より、中間層（第２層）の各素子の出力が演算される。
第２層の第j 番目の素子の出力値は次式で演算される。
り、（４）式の入力値の積和関数値のシグモイド関数に
より、中間層（第２層）の各素子の出力が演算される。
第２層の第j 番目の素子の出力値は次式で演算される。
【００１８】
【数５】 O2 j=f(I2 j )=1/｛1+exp(-I2 j) ｝ （５） この出力値 O2 j は出力層（第３層）の各素子の入力値
となる。次に、ステップ１０４において、出力層（第３
層）の各素子の入力値の積和演算が実行される。
となる。次に、ステップ１０４において、出力層（第３
層）の各素子の入力値の積和演算が実行される。
【００１９】
【数６】 次に、ステップ１０６において、（５）式と同様に、
シグモイド関数により、出力層の各素子の出力値O3 jが
演算される。
シグモイド関数により、出力層の各素子の出力値O3 jが
演算される。
【００２０】
【数７】 O3 j=f(I3 j)=1/｛1+exp(-I3 j)｝ （７）
【００２１】3.入力データと教師データの構造 ニューラルネットワークの更新学習に使用されるデータ
は、図５に示すようなデータベースに構成されている。
入力データは、Ｄ1,…，Ｄn であり、対応する教師デー
タは、Ｅ1,…，Ｅn である。このｎ個の入力データ及び
教師データは、ニューラルネットワークの初期学習又は
初期学習後のニューラルネットワークを現実に使用した
過程で蓄積されたデータである。この入力データは、次
のように定義される。ｅ個の入力素子のそれぞれに与え
るｅ個のデータを１組のデータとして考える。そして、
任意の第ｍ番目の１組の入力データをＤm で表し、その
組に属する第ｊ番目の入力素子に対する入力データをｄ
mjで表す。Ｄm はベクトルを表し、ｄmjはそのベクトル
の成分である。即ち、Ｄm は次式で定義される。
は、図５に示すようなデータベースに構成されている。
入力データは、Ｄ1,…，Ｄn であり、対応する教師デー
タは、Ｅ1,…，Ｅn である。このｎ個の入力データ及び
教師データは、ニューラルネットワークの初期学習又は
初期学習後のニューラルネットワークを現実に使用した
過程で蓄積されたデータである。この入力データは、次
のように定義される。ｅ個の入力素子のそれぞれに与え
るｅ個のデータを１組のデータとして考える。そして、
任意の第ｍ番目の１組の入力データをＤm で表し、その
組に属する第ｊ番目の入力素子に対する入力データをｄ
mjで表す。Ｄm はベクトルを表し、ｄmjはそのベクトル
の成分である。即ち、Ｄm は次式で定義される。
【００２２】
【数８】 Ｄm ＝（ｄm1, ｄm2, …，ｄme-1, ｄme） （８） 又、ｎ組の入力データはＤ1,Ｄ2,…，Ｄn-1,Ｄn で表さ
れる。以下、全ｎ組の入力データ群は、入力データ群Ｄ
と表記される。尚、入力データＤm に対して（４）式を
用いる場合には、（４）式のO1 k に、成分dmk が代入さ
れる。
れる。以下、全ｎ組の入力データ群は、入力データ群Ｄ
と表記される。尚、入力データＤm に対して（４）式を
用いる場合には、（４）式のO1 k に、成分dmk が代入さ
れる。
【００２３】同様に、Ｅ1,…, Ｅn は、次のように定義
される。出力層ＬO に関して、ｇ個の出力素子のそれぞ
れからの出力に対する教師データを１組のデータとして
考える。そして、任意の第ｍ番目の１組の教師データを
Ｅm で表し、その組に属する第ｊ番目の出力素子に対す
る教師データをｅmjで表す。Ｅm はベクトルを表し、ｅ
mjはそのベクトルの成分である。即ち、Ｅm は次式で定
義される。
される。出力層ＬO に関して、ｇ個の出力素子のそれぞ
れからの出力に対する教師データを１組のデータとして
考える。そして、任意の第ｍ番目の１組の教師データを
Ｅm で表し、その組に属する第ｊ番目の出力素子に対す
る教師データをｅmjで表す。Ｅm はベクトルを表し、ｅ
mjはそのベクトルの成分である。即ち、Ｅm は次式で定
義される。
【００２４】
【数９】 Ｅm ＝（ｅm1, ｅm2, …，ｅmg-1, ｅmg） （９） 又、ｎ組の教師データはＥ1,Ｅ2,…，Ｅn-1,Ｅn で表さ
れる。以下、全ｎ組の教師データ群は、教師データ群Ｅ
と表記される。
れる。以下、全ｎ組の教師データ群は、教師データ群Ｅ
と表記される。
【００２５】各入力データ及び各教師データには、デー
タの種類を示すデータ（Ｐ，Ｓ，Ｒ）が付与されてお
り、各種類毎に教師データの各成分が有効成分か無効成
分かを示す図６に示すデータが与えられている。この種
類を示すデータと有効、無効を示すデータは、判別デー
タとして、判別データ記憶領域３３に記憶されている。
有効成分はその項目が使用されている（値が意義のあ
る）ことを意味し、無効成分はその項目が使用されてい
ない（値が意義のない）ことを意味している。
タの種類を示すデータ（Ｐ，Ｓ，Ｒ）が付与されてお
り、各種類毎に教師データの各成分が有効成分か無効成
分かを示す図６に示すデータが与えられている。この種
類を示すデータと有効、無効を示すデータは、判別デー
タとして、判別データ記憶領域３３に記憶されている。
有効成分はその項目が使用されている（値が意義のあ
る）ことを意味し、無効成分はその項目が使用されてい
ない（値が意義のない）ことを意味している。
【００２６】上記の入力データの種類を示すデータ
（Ｐ，Ｓ，Ｒ）は、それぞれ、円筒研削データ、肩部付
研削データ、アール付研削データであることを示してい
る。データの種類毎に入力データ、教師データのどの項
目が使用されているかが図７、図８に、それぞれ、示さ
れている。上記のようにデータの種類によっては使用さ
れていない項目も存在し、入力データ及び教師データの
成分には、値として意味のない無効成分が含まれてい
る。
（Ｐ，Ｓ，Ｒ）は、それぞれ、円筒研削データ、肩部付
研削データ、アール付研削データであることを示してい
る。データの種類毎に入力データ、教師データのどの項
目が使用されているかが図７、図８に、それぞれ、示さ
れている。上記のようにデータの種類によっては使用さ
れていない項目も存在し、入力データ及び教師データの
成分には、値として意味のない無効成分が含まれてい
る。
【００２７】4.ニューラルネットワークの学習 このニューラルネットワークは、初期学習として、ＲＯ
Ｍ２の学習プログラム領域２３に記憶された図３に示す
手順のプログラムが実行されることにより学習される。
結合係数の学習は良く知られたバックプロパーゲーショ
ン法により実行される。この学習は、各種の事象に関す
る多数の入力データに対して、それぞれの出力が、それ
ぞれの最適な教師データとなるように、繰り返し実行さ
れる。これらの入力データ及び教師データは、それぞ
れ、入力データ記憶領域３１及び教師データ記憶領域３
２に記憶されている。
Ｍ２の学習プログラム領域２３に記憶された図３に示す
手順のプログラムが実行されることにより学習される。
結合係数の学習は良く知られたバックプロパーゲーショ
ン法により実行される。この学習は、各種の事象に関す
る多数の入力データに対して、それぞれの出力が、それ
ぞれの最適な教師データとなるように、繰り返し実行さ
れる。これらの入力データ及び教師データは、それぞ
れ、入力データ記憶領域３１及び教師データ記憶領域３
２に記憶されている。
【００２８】図３のステップ２００において、データ番
号ｉが初期値の１に設定され、出力素子の番号ｊ（教師
データの成分番号ｊ）が初期値の１に設定される。次
に、ステップ２０２へ移行して、第ｉ番目の入力データ
Ｄi と第ｉ番目の教師データＥi が入力データ記憶領域
３１と教師データ記憶領域３２から抽出される。次に、
ステップ２０４において、読出された第ｉ番目の教師デ
ータＥi の第ｊ成分ｅijが有効成分か否かが判別データ
記憶領域３３に記憶された図６に示す判別データを参照
して決定される。その成分ｅijが有効成分であれば、ス
テップ２０６に移行して、次式により出力層のその成分
に対応した素子の学習信号が演算される。
号ｉが初期値の１に設定され、出力素子の番号ｊ（教師
データの成分番号ｊ）が初期値の１に設定される。次
に、ステップ２０２へ移行して、第ｉ番目の入力データ
Ｄi と第ｉ番目の教師データＥi が入力データ記憶領域
３１と教師データ記憶領域３２から抽出される。次に、
ステップ２０４において、読出された第ｉ番目の教師デ
ータＥi の第ｊ成分ｅijが有効成分か否かが判別データ
記憶領域３３に記憶された図６に示す判別データを参照
して決定される。その成分ｅijが有効成分であれば、ス
テップ２０６に移行して、次式により出力層のその成分
に対応した素子の学習信号が演算される。
【００２９】
【数１０】 Y3 j=(ｅij- O3 j)・f'(I3 j) （１０） 但し、Y3 j，O3 j，I3 jでは、データ番号ｉは省略され
ている。f'(x) はジグモイド関数の導関数である。又、
I3 j は、入力データＤiの各成分を（４）式のO1 k に代
入して、中間層の全ての素子に関しI2 k を求め、I2 k を
（５）に代入して中間層の全ての素子に関し出力O2 kを
求め、その全てのk に関してO2 kを（６）式に代入して
求められる。又、O3 j はI3 j を（７）式に代入して求め
られる。
ている。f'(x) はジグモイド関数の導関数である。又、
I3 j は、入力データＤiの各成分を（４）式のO1 k に代
入して、中間層の全ての素子に関しI2 k を求め、I2 k を
（５）に代入して中間層の全ての素子に関し出力O2 kを
求め、その全てのk に関してO2 kを（６）式に代入して
求められる。又、O3 j はI3 j を（７）式に代入して求め
られる。
【００３０】一方、ステップ２０４において、教師デー
タの成分ｅijが無効成分と判定された場合には、ステッ
プ２０８において、学習信号Y3 j は０とされる。次に、
ステップ２１０において、全出力素子について、学習信
号が演算されたか否かが判定され、判定結果がNOの場合
には、ステップ２１２において、素子番号ｊが１だけ増
加され、ステップ２０４へ戻り、次の出力素子に関する
学習信号が演算される。
タの成分ｅijが無効成分と判定された場合には、ステッ
プ２０８において、学習信号Y3 j は０とされる。次に、
ステップ２１０において、全出力素子について、学習信
号が演算されたか否かが判定され、判定結果がNOの場合
には、ステップ２１２において、素子番号ｊが１だけ増
加され、ステップ２０４へ戻り、次の出力素子に関する
学習信号が演算される。
【００３１】ステップ２１０で全出力素子に関する学習
信号の演算が完了したと判定されると、ステップ２１４
において、中間層の任意の第ｒ番目の素子に関する学習
信号Y が次式で演算される。
信号の演算が完了したと判定されると、ステップ２１４
において、中間層の任意の第ｒ番目の素子に関する学習
信号Y が次式で演算される。
【数１１】 このような学習信号の演算が、中間層の全素子に関して
実行される。
実行される。
【００３２】次に、ステップ２１６において、出力層の
各結合係数が補正される。補正量は次式で求められる。
各結合係数が補正される。補正量は次式で求められる。
【数１２】 Δω2 i, 3 j(t)=P・Y3 j・f(I2 i)+Q・Δω2 i, 3 j(t-1) （１２） 但し、Δω2 i, 3 j(t) は、出力層の第j 番目の素子と中
間層の第i 番目の素子との間の結合係数の第t 回目演算
の変化量である。又、Δω2 i, 3 j(t-1) は、その結合係
数の前回の補正量である。P,Q は比例定数である。よっ
て、結合係数は、
間層の第i 番目の素子との間の結合係数の第t 回目演算
の変化量である。又、Δω2 i, 3 j(t-1) は、その結合係
数の前回の補正量である。P,Q は比例定数である。よっ
て、結合係数は、
【００３３】
【数１３】 W2 i, 3 j+Δω2 i, 3 j(t) →W2 i, 3 j （１３） により、補正された結合係数が求められる。
【００３４】次に、ステップ２１８へ移行して、中間層
の各素の結合係数が補正される。その結合係数の補正量
は出力層の場合と同様に、次式で求められる。
の各素の結合係数が補正される。その結合係数の補正量
は出力層の場合と同様に、次式で求められる。
【００３５】
【数１４】 Δω1 i, 2 j(t)=P・Y2 j・f(I1 i)+Q・Δω1 i, 2 j(t-1) （１４） よって、結合係数は、
【数１５】 W1 i, 2 j + Δω1 i, 2 j(t) →W1 i, 2 j （１５） により、補正された結合係数が求められる。
【００３６】次に、ステップ２２０において、学習対象
のｎ個の入力データ及び教師データに対して１回の学習
が完了したか否が判定される。全ての入力データに対す
る学習が終了していない場合には、ステップ２２２へ移
行して、次の入力データとその入力データに対応する教
師データを入力データ記憶領域３１と教師データ記憶領
域３２から読み込むためにデータ番号ｉが１だけ加算さ
れ、成分番号ｊは初期値の１に設定される。そして、ス
テップ２０２へ戻り、次の入力データ及び教師データを
用いて上記した学習が実行される。
のｎ個の入力データ及び教師データに対して１回の学習
が完了したか否が判定される。全ての入力データに対す
る学習が終了していない場合には、ステップ２２２へ移
行して、次の入力データとその入力データに対応する教
師データを入力データ記憶領域３１と教師データ記憶領
域３２から読み込むためにデータ番号ｉが１だけ加算さ
れ、成分番号ｊは初期値の１に設定される。そして、ス
テップ２０２へ戻り、次の入力データ及び教師データを
用いて上記した学習が実行される。
【００３７】ステップ２２０でｎ個全部の入力データ及
び教師データに関して学習が完了したと判定されると、
ステップ２２４に移行して、出力データと教師データの
差の自乗の値が所定の値以下になったか否かの判定によ
り、結合係数が収束したか否かが判定される。 結合係
数が収束していなければ、ステップ２００に戻り、第２
回目の学習を行うために、第１番目の入力データ及び教
師データから上述した学習が実行される。このようにし
て、ステップ２２４において、出力データと教示データ
の差の自乗の値が所定の値以下となり、学習が収束する
まで、上記の学習演算が繰り返し実行される。 この結
果、初期の広範囲の事象に関して初期学習されたニュー
ラルネットワークが完成される。
び教師データに関して学習が完了したと判定されると、
ステップ２２４に移行して、出力データと教師データの
差の自乗の値が所定の値以下になったか否かの判定によ
り、結合係数が収束したか否かが判定される。 結合係
数が収束していなければ、ステップ２００に戻り、第２
回目の学習を行うために、第１番目の入力データ及び教
師データから上述した学習が実行される。このようにし
て、ステップ２２４において、出力データと教示データ
の差の自乗の値が所定の値以下となり、学習が収束する
まで、上記の学習演算が繰り返し実行される。 この結
果、初期の広範囲の事象に関して初期学習されたニュー
ラルネットワークが完成される。
【００３８】上述のように、教師データのうち使用され
ていない無効成分については、出力層の学習信号Y3 j が
零に設定される。即ち、出力誤差が零と見なされる。従
って、（１２）式から明らかなように出力層の第ｊ番目
の素子と中間層の任意の第ｉ番目の素子との間の結合係
数はその結合係数の前回の補正量より補正される。又、
学習信号Y3 j が零に設定されることから、（１１）式か
ら明らかなように、その教師データの無効成分は中間層
の各素子に関する学習信号Y2 j に影響を与えない。従っ
て、（１４）式から明らかなように、その教師データの
無効成分は中間層の任意のｊ番目の素子と入力層の任意
のｉ番目の素子との間の結合係数に影響を与えない。結
局、教師データの無効成分によって、ニューラルネット
ワークの結合係数は影響を受けない、即ち、学習されな
いことになる。従って、その無効成分を有効成分とする
別の教師データによって既に学習された結果を、無効成
分によって修正するということがないため、適正な学習
が行われる。
ていない無効成分については、出力層の学習信号Y3 j が
零に設定される。即ち、出力誤差が零と見なされる。従
って、（１２）式から明らかなように出力層の第ｊ番目
の素子と中間層の任意の第ｉ番目の素子との間の結合係
数はその結合係数の前回の補正量より補正される。又、
学習信号Y3 j が零に設定されることから、（１１）式か
ら明らかなように、その教師データの無効成分は中間層
の各素子に関する学習信号Y2 j に影響を与えない。従っ
て、（１４）式から明らかなように、その教師データの
無効成分は中間層の任意のｊ番目の素子と入力層の任意
のｉ番目の素子との間の結合係数に影響を与えない。結
局、教師データの無効成分によって、ニューラルネット
ワークの結合係数は影響を受けない、即ち、学習されな
いことになる。従って、その無効成分を有効成分とする
別の教師データによって既に学習された結果を、無効成
分によって修正するということがないため、適正な学習
が行われる。
【図１】本発明の具体的な実施例に係るニューラルネッ
トワークの構成を示した構成図。
トワークの構成を示した構成図。
【図２】同実施例に係るニューラルネットワークの演算
手順を示したフローチャート。
手順を示したフローチャート。
【図３】同実施例に係るニューラルネットワークの学習
手順を示したフローチャート。
手順を示したフローチャート。
【図４】本発明の学習方法を実現する学習装置の構成を
示したプログラム図。
示したプログラム図。
【図５】ニューラルネットワークの学習に用いられる入
力データと教師データを有するデータベースのデータ構
成を示した構成図。
力データと教師データを有するデータベースのデータ構
成を示した構成図。
【図６】教師データの各成分が有効成分か無効成分かを
示す判別データを示した説明図。
示す判別データを示した説明図。
【図７】入力データのデータ項目を示した説明図。
【図８】教師データのデータ項目を示した説明図。
１０…ニューラルネットワーク ＬI …入力層 ＬM …中間層 Ｌo …出力層
───────────────────────────────────────────────────── フロントページの続き (72)発明者 服部 志保 愛知県刈谷市朝日町１丁目１番地 豊田工 機株式会社内
Claims (1)
- 【請求項１】 ニューラルネットワークの入力層の素子
数に対応した数の成分を有する入力データと、その入力
データに対応しニューラルネットワークの出力層の素子
数に対応した数の成分を有する教師データとを用いて、
前記入力データに対応して前記教師データが出力される
ようにニューラルネットワークの結合係数を補正するニ
ューラルネットワークの学習方法において、 任意組の前記入力データと前記教師データに関して、前
記ニューラルネットワークに学習させる時、 前記教師データの各成分のうち使用されている有効成分
に関しては、対応する前記入力データをニューラルネッ
トワークに入力させた時に、前記教師データの前記有効
成分の値が出力され得るように学習させ、 前記教師データの各成分のうち使用されていない無効成
分に関しては、その無効成分に対応する出力素子の出力
値に対して、出力誤差が零として、前記ニューラルネッ
トワークに学習させることを特徴とするニューラルネッ
トワークの学習方法。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP3232401A JPH0546585A (ja) | 1991-08-19 | 1991-08-19 | ニユーラルネツトワークの学習方法 |
| EP92114059A EP0528399A3 (en) | 1991-08-19 | 1992-08-18 | Method and apparatus for learning of neural network |
| US07/931,324 US5355434A (en) | 1991-08-19 | 1992-08-18 | Method and apparatus for performing learning in a neural network |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP3232401A JPH0546585A (ja) | 1991-08-19 | 1991-08-19 | ニユーラルネツトワークの学習方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH0546585A true JPH0546585A (ja) | 1993-02-26 |
Family
ID=16938667
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP3232401A Pending JPH0546585A (ja) | 1991-08-19 | 1991-08-19 | ニユーラルネツトワークの学習方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH0546585A (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20170122241A (ko) * | 2015-06-03 | 2017-11-03 | 미쓰비시덴키 가부시키가이샤 | 추론 장치 및 추론 방법 |
-
1991
- 1991-08-19 JP JP3232401A patent/JPH0546585A/ja active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20170122241A (ko) * | 2015-06-03 | 2017-11-03 | 미쓰비시덴키 가부시키가이샤 | 추론 장치 및 추론 방법 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Buntine | Operations for learning with graphical models | |
| US5355434A (en) | Method and apparatus for performing learning in a neural network | |
| EP0384709B1 (en) | Learning Machine | |
| US20080293372A1 (en) | Optimum Nonlinear Correntropy Filted | |
| JPH07121498A (ja) | ニューラルネットワーク構築方法 | |
| US5596681A (en) | Method of determining an optimal number of neurons contained in hidden layers of a neural network | |
| Polycarpou et al. | Stable nonlinear system identification using neural network models | |
| JPH0546585A (ja) | ニユーラルネツトワークの学習方法 | |
| JPH0561849A (ja) | ニユーラルネツトワークの入出力特性検出装置 | |
| Merkhofer | Flexibility and Decision Analysis. | |
| US20140006321A1 (en) | Method for improving an autocorrector using auto-differentiation | |
| JPH05197705A (ja) | ニューラルネットワークの学習システム | |
| JPH05128284A (ja) | ニユーロプロセツサ | |
| JP3232597B2 (ja) | ニューラルネットワークの学習装置 | |
| JPH0554014A (ja) | ニユーラルネツトワークの学習装置 | |
| JPH0535711A (ja) | ニユーラルネツトワークの学習データ記憶装置 | |
| CN114971075A (zh) | 一种空气质量的预测方法、装置、计算机设备及存储介质 | |
| JPH0581230A (ja) | ニユーラルネツトワークの学習装置 | |
| JPH04299442A (ja) | ニューラルネットワークの学習方法 | |
| JPH09138786A (ja) | ニューラルネットワークの学習装置 | |
| JPH04299443A (ja) | ニューラルネットワークの学習方法 | |
| Osowski et al. | Signal flow graphs as an efficient tool for gradient and exact hessian determination | |
| JPH09101944A (ja) | ニューラルネットワーク回路 | |
| JP2001022723A (ja) | ニューラルネットワーク評価装置 | |
| JPH03185554A (ja) | 神経回路網処理方式 |