JPH0561849A - ニユーラルネツトワークの入出力特性検出装置 - Google Patents
ニユーラルネツトワークの入出力特性検出装置Info
- Publication number
- JPH0561849A JPH0561849A JP3244775A JP24477591A JPH0561849A JP H0561849 A JPH0561849 A JP H0561849A JP 3244775 A JP3244775 A JP 3244775A JP 24477591 A JP24477591 A JP 24477591A JP H0561849 A JPH0561849 A JP H0561849A
- Authority
- JP
- Japan
- Prior art keywords
- data
- input
- output
- variable
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/10—Interfaces, programming languages or software development kits, e.g. for simulating neural networks
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0499—Feedforward networks
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/09—Supervised learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Feedback Control In General (AREA)
Abstract
(57)【要約】
【目的】 ニューラルネットワーク(NN)の入出力特
性の把握を容易にすること。 【構成】 NNの入力層の素子のうち1つの素子を可変
素子とし他の素子を固定素子として指定し、固定素子の
入力データは固定して、可変素子の入力データだけ指定
されたデータ範囲内で指定された可変幅で可変させて、
NNの出力層の各素子から出力される出力データの可変
データに対する変化特性を可視表示するようにしてい
る。従って、1入力データ成分の変化に対応した各出力
データ成分の変化特性が容易に検出できるのでNNの入
出力特性の検出が容易となる。又、出力の変化特性から
NNの各入力データ成分の使用可能範囲を容易に決定す
ることができる。
性の把握を容易にすること。 【構成】 NNの入力層の素子のうち1つの素子を可変
素子とし他の素子を固定素子として指定し、固定素子の
入力データは固定して、可変素子の入力データだけ指定
されたデータ範囲内で指定された可変幅で可変させて、
NNの出力層の各素子から出力される出力データの可変
データに対する変化特性を可視表示するようにしてい
る。従って、1入力データ成分の変化に対応した各出力
データ成分の変化特性が容易に検出できるのでNNの入
出力特性の検出が容易となる。又、出力の変化特性から
NNの各入力データ成分の使用可能範囲を容易に決定す
ることができる。
Description
【0001】
【産業上の利用分野】本発明は、ニューラルネットワー
クの入出力特性の検出装置に関する。
クの入出力特性の検出装置に関する。
【0002】
【従来の技術】ニューラルネットワークは、理論的な解
析が困難な因果関係を結合係数の学習効果により直接的
に実現する回路網として知られている。即ち、ニューラ
ルネットワークは、予め、離散的な複数の入力に対し
て、それぞれの入力に対して最適な出力が得られるよう
に、ニューラルネットワークの結合係数を修正して、任
意の入力に対して妥当な出力が直接的に得られるように
した回路網である。
析が困難な因果関係を結合係数の学習効果により直接的
に実現する回路網として知られている。即ち、ニューラ
ルネットワークは、予め、離散的な複数の入力に対し
て、それぞれの入力に対して最適な出力が得られるよう
に、ニューラルネットワークの結合係数を修正して、任
意の入力に対して妥当な出力が直接的に得られるように
した回路網である。
【0003】このようなニューラルネットワークは多数
の分野で応用されており、工作機械の分野においても、
多くの設定条件から要求された加工に最適な加工条件を
演算する場合に用いられている。
の分野で応用されており、工作機械の分野においても、
多くの設定条件から要求された加工に最適な加工条件を
演算する場合に用いられている。
【0004】このニューラルネットワークは多数の入力
データとその入力データに対応する出力の最適値、即
ち、教師データを用いて学習される。ある入力データと
対応する教師データの1つの組に対して、出力データが
教師データに近づく方向に全結合係数を補正するという
演算を、入力データと教師データの全ての組に対して実
行することにより、1回の学習演算が行われる。
データとその入力データに対応する出力の最適値、即
ち、教師データを用いて学習される。ある入力データと
対応する教師データの1つの組に対して、出力データが
教師データに近づく方向に全結合係数を補正するという
演算を、入力データと教師データの全ての組に対して実
行することにより、1回の学習演算が行われる。
【0005】この学習演算を多数回繰り返し実行するこ
とで、全ての結合係数は全ての入力データに対して対応
する教師データが出力される方向に逐次補正されて、最
終的にある値に漸近する。このような学習の結果、ニュ
ーラルネットワークは所定の入出力特性を示すようにな
る。しかし、このニューラルネットワークを多くの入力
データに対して使用していく過程で、出力結果が適切で
ないという場合が起こり得る。
とで、全ての結合係数は全ての入力データに対して対応
する教師データが出力される方向に逐次補正されて、最
終的にある値に漸近する。このような学習の結果、ニュ
ーラルネットワークは所定の入出力特性を示すようにな
る。しかし、このニューラルネットワークを多くの入力
データに対して使用していく過程で、出力結果が適切で
ないという場合が起こり得る。
【0006】
【発明が解決しようとする課題】このような場合には、
異常な出力を与える入力データから異常原因がどこに存
在するかが解析される。
異常な出力を与える入力データから異常原因がどこに存
在するかが解析される。
【0007】しかし、ニューラルネットワークはブラッ
クボックスであるため、それらの入力データから異常解
析を行うことは非常に困難である。又、ニューラルネッ
トワークの結合係数を調べても、その結合係数がどのよ
うに出力に影響を与えるかを把握することは極めて困難
である。
クボックスであるため、それらの入力データから異常解
析を行うことは非常に困難である。又、ニューラルネッ
トワークの結合係数を調べても、その結合係数がどのよ
うに出力に影響を与えるかを把握することは極めて困難
である。
【0008】従って、現状では、各種の入力データをニ
ューラルネットワークに与えて、出力データを検証し、
ニューラルネットワークの使用できる入力データの範囲
を決定するしかなかった。しかし、ニューラルネットワ
ークが各入力素子に入力される入力データの各成分が相
互に作用し合って、出力データを演算する回路であるの
で、この作業によってニューラルネットワークの特性を
把握することは極めて困難である。
ューラルネットワークに与えて、出力データを検証し、
ニューラルネットワークの使用できる入力データの範囲
を決定するしかなかった。しかし、ニューラルネットワ
ークが各入力素子に入力される入力データの各成分が相
互に作用し合って、出力データを演算する回路であるの
で、この作業によってニューラルネットワークの特性を
把握することは極めて困難である。
【0009】本発明は上記課題を解決するために成され
たものであり、その目的は、ニューラルネットワークの
入出力特性の把握を容易にし、ニューラルネットワーク
の使用可能な入力データの範囲を容易に決定できるよう
にすることである。
たものであり、その目的は、ニューラルネットワークの
入出力特性の把握を容易にし、ニューラルネットワーク
の使用可能な入力データの範囲を容易に決定できるよう
にすることである。
【0010】
【課題を解決するための手段】本発明は、図9に示すよ
うに、ニューラルネットワークの入力層の各入力素子に
データを入力させ、出力層の各出力素子からデータを出
力させるニューラルネットワークの入出力特性検出装置
において、ニューラルネットワークの入力層の素子のう
ち可変データを入力する1つの素子を指定する可変素子
指定手段と、可変素子に入力される可変データのデータ
範囲を指定するデータ範囲指定手段と、入力層における
可変素子以外の全ての固定素子に入力される固定データ
を指定する固定データ指定手段と、可変素子に入力され
る可変データの変化幅を指定する変化幅指定手段と、固
定素子には固定データを入力させ、可変素子には、指定
されたデータ範囲において、指定された変化幅で順次変
化させた可変データを入力させるデータ入力手段と、可
変素子に入力される可変データの変化に対応して、ニュ
ーラルネットワークの出力層の各素子から出力されるデ
ータの変化特性を可視表示する表示手段とを設けたもの
である。
うに、ニューラルネットワークの入力層の各入力素子に
データを入力させ、出力層の各出力素子からデータを出
力させるニューラルネットワークの入出力特性検出装置
において、ニューラルネットワークの入力層の素子のう
ち可変データを入力する1つの素子を指定する可変素子
指定手段と、可変素子に入力される可変データのデータ
範囲を指定するデータ範囲指定手段と、入力層における
可変素子以外の全ての固定素子に入力される固定データ
を指定する固定データ指定手段と、可変素子に入力され
る可変データの変化幅を指定する変化幅指定手段と、固
定素子には固定データを入力させ、可変素子には、指定
されたデータ範囲において、指定された変化幅で順次変
化させた可変データを入力させるデータ入力手段と、可
変素子に入力される可変データの変化に対応して、ニュ
ーラルネットワークの出力層の各素子から出力されるデ
ータの変化特性を可視表示する表示手段とを設けたもの
である。
【0011】
【作用】ニューラルネットワークの入力層の各素子のう
ち入力データが可変される素子が可変素子として指定さ
れる。又、他の素子は入力データが変化しない固定素子
とされる。又、可変素子に入力される可変データのデー
タ範囲及び可変幅が指定される。
ち入力データが可変される素子が可変素子として指定さ
れる。又、他の素子は入力データが変化しない固定素子
とされる。又、可変素子に入力される可変データのデー
タ範囲及び可変幅が指定される。
【0012】固定素子には固定データが入力され、1つ
の可変素子には可変データが入力され、その可変データ
はデータ範囲内において、可変幅に応じて変化される。
そして、ニューラルネットワークの出力層の各素子から
は、その可変幅に応じて変化する可変データに対応して
変化するデータが出力される。その出力層の各素子の出
力データの各変化特性は可視表示される。
の可変素子には可変データが入力され、その可変データ
はデータ範囲内において、可変幅に応じて変化される。
そして、ニューラルネットワークの出力層の各素子から
は、その可変幅に応じて変化する可変データに対応して
変化するデータが出力される。その出力層の各素子の出
力データの各変化特性は可視表示される。
【0013】この各素子の出力データの変化特性によっ
て、ニューラルネットワークの入出力特性を把握するこ
とができる。例えば、ある素子の出力データの変化特性
を検証することで、その出力データが適正範囲となる可
変素子に入力されるべき可変データの適正な範囲を決定
することができる。即ち、ニューラルネットワークの使
用範囲を決定することができる。又、可変素子を変更し
て、同様な出力データの変化特性を検証することによ
り、その素子に対する適正な入力データの範囲を決定す
ることができる。
て、ニューラルネットワークの入出力特性を把握するこ
とができる。例えば、ある素子の出力データの変化特性
を検証することで、その出力データが適正範囲となる可
変素子に入力されるべき可変データの適正な範囲を決定
することができる。即ち、ニューラルネットワークの使
用範囲を決定することができる。又、可変素子を変更し
て、同様な出力データの変化特性を検証することによ
り、その素子に対する適正な入力データの範囲を決定す
ることができる。
【0014】
【発明の効果】このように、本発明は、入力層の素子の
うち1つの素子を可変素子とし他の素子を固定素子とし
て指定し、固定素子の入力データは固定して、可変素子
の入力データだけ指定されたデータ範囲内で指定された
可変幅で可変させて、出力層の各素子から出力される出
力データの変化特性を可視表示するようにしている。
うち1つの素子を可変素子とし他の素子を固定素子とし
て指定し、固定素子の入力データは固定して、可変素子
の入力データだけ指定されたデータ範囲内で指定された
可変幅で可変させて、出力層の各素子から出力される出
力データの変化特性を可視表示するようにしている。
【0015】従って、入力データの1成分の変化に対応
した出力データの各成分の変化特性が容易に検出できる
ので、ニューラルネットワークの入出力特性の検出が容
易となる。又、可変素子を順次変化させることにより、
入力データの全ての成分の変化に対応する出力データの
各成分の変化特性を容易に検出することが可能となり、
ニューラルネットワークの全体の入出力特性の把握が容
易となる。従って、ニューラルネットワークの使用可能
な入力データの範囲を容易に決定することができる。
した出力データの各成分の変化特性が容易に検出できる
ので、ニューラルネットワークの入出力特性の検出が容
易となる。又、可変素子を順次変化させることにより、
入力データの全ての成分の変化に対応する出力データの
各成分の変化特性を容易に検出することが可能となり、
ニューラルネットワークの全体の入出力特性の把握が容
易となる。従って、ニューラルネットワークの使用可能
な入力データの範囲を容易に決定することができる。
【0016】
1.入出力特性検出装置の構成 本装置は、図4に示すように、CPU1、ROM2、R
AM3とから成るコンピュータシステムで構成されてい
る。ROM2にはニューラルネットワークの入出力特性
を検出するためのプログラムを記憶した入出力特性検出
プログラム領域21とニューラルネットワークの演算プ
ログラムの記憶されたニューラルネットワーク領域22
とニューラルネットワークを学習させるためのプログラ
ムの記憶された学習プログラム領域23が形成されてい
る。又、RAM3には可変素子を指定するためのデータ
を記憶する可変素子指定データ記憶領域31と可変デー
タの範囲を指定するデータを記憶するデータ範囲記憶領
域32と可変データを可変させる可変幅を指定する可変
幅記憶領域33と固定素子に入力される固定データを記
憶する固定データ記憶領域34と入力データ及び教師デ
ータをそれぞれ記憶する入力データ記憶領域35及び教
師データ領域36、ニューラルネットワークの結合係数
を記憶する結合係数領域37とが形成されている。又、
CPU1には入出力インタフェース5を介して、可変素
子指定データ、データ範囲、可変幅、固定データを入力
するためのキーボード4と出力層の各素子から出力され
る出力データの変化特性を表示するCRT6が接続され
ている。
AM3とから成るコンピュータシステムで構成されてい
る。ROM2にはニューラルネットワークの入出力特性
を検出するためのプログラムを記憶した入出力特性検出
プログラム領域21とニューラルネットワークの演算プ
ログラムの記憶されたニューラルネットワーク領域22
とニューラルネットワークを学習させるためのプログラ
ムの記憶された学習プログラム領域23が形成されてい
る。又、RAM3には可変素子を指定するためのデータ
を記憶する可変素子指定データ記憶領域31と可変デー
タの範囲を指定するデータを記憶するデータ範囲記憶領
域32と可変データを可変させる可変幅を指定する可変
幅記憶領域33と固定素子に入力される固定データを記
憶する固定データ記憶領域34と入力データ及び教師デ
ータをそれぞれ記憶する入力データ記憶領域35及び教
師データ領域36、ニューラルネットワークの結合係数
を記憶する結合係数領域37とが形成されている。又、
CPU1には入出力インタフェース5を介して、可変素
子指定データ、データ範囲、可変幅、固定データを入力
するためのキーボード4と出力層の各素子から出力され
る出力データの変化特性を表示するCRT6が接続され
ている。
【0017】2.ニューラルネットワーク 本実施例のニューラルネットワーク10は、図1に示す
ように、入力層LI と出力層LO と中間層LM の3層構
造に構成されている。入力層LI はe個の入力素子を有
し、出力層LO はg個の出力素子を有し、中間層LM は
f個の出力素子を有している。多層構造のニューラルネ
ットワークは、一般的に、次の演算を行う装置として定
義される。
ように、入力層LI と出力層LO と中間層LM の3層構
造に構成されている。入力層LI はe個の入力素子を有
し、出力層LO はg個の出力素子を有し、中間層LM は
f個の出力素子を有している。多層構造のニューラルネ
ットワークは、一般的に、次の演算を行う装置として定
義される。
【0018】第i 層の第j 番目の素子の出力Oi j は、次
式で演算される。但し、i ≧2 である。
式で演算される。但し、i ≧2 である。
【数1】 Oi j =f(Ii j) (1)
【数2】
【数3】 f(x)=1/{1+exp(-x)} (3)
【0019】但し、Vi j は第i 層の第j 番目の演算素子
のバイアス、Wi-1 k, i jは、第i-1 層の第k 番目の素子と
第i 層の第j 番目の素子間の結合係数、O1 j は第1 層の
第 j番目の素子の出力値を表す。即ち、第1 層であるか
ら演算を行うことなく、そのまま入力を出力するので、
入力層(第1層)の第j 番目の素子の入力値でもある。
のバイアス、Wi-1 k, i jは、第i-1 層の第k 番目の素子と
第i 層の第j 番目の素子間の結合係数、O1 j は第1 層の
第 j番目の素子の出力値を表す。即ち、第1 層であるか
ら演算を行うことなく、そのまま入力を出力するので、
入力層(第1層)の第j 番目の素子の入力値でもある。
【0020】次に、図1に示す3層構造のニューラルネ
ットワーク10の具体的な演算手順について図2を参照
して説明する。各素子の演算は、RAM3の結合係数記
憶領域37に記憶されている結合係数を参照しつつ、R
OM2のニューラルネットワーク領域22に記憶された
プログラムを実行することによって行われる。ステップ
100において、中間層(第2層)の第j 番目の素子
は、入力層(第1層)の各素子からの出力値O1 j (第1
層の入力データ)を入力して、(2)式を層番号と第1
層の素子数を用いて具体化した次式の積和演算を行な
う。
ットワーク10の具体的な演算手順について図2を参照
して説明する。各素子の演算は、RAM3の結合係数記
憶領域37に記憶されている結合係数を参照しつつ、R
OM2のニューラルネットワーク領域22に記憶された
プログラムを実行することによって行われる。ステップ
100において、中間層(第2層)の第j 番目の素子
は、入力層(第1層)の各素子からの出力値O1 j (第1
層の入力データ)を入力して、(2)式を層番号と第1
層の素子数を用いて具体化した次式の積和演算を行な
う。
【0021】
【数4】
【0022】次に、ステップ102において、次式によ
り、(4)式の入力値の積和関数値のシグモイド関数に
より、中間層(第2層)の各素子の出力が演算される。
第2層の第j 番目の素子の出力値は次式で演算される。
り、(4)式の入力値の積和関数値のシグモイド関数に
より、中間層(第2層)の各素子の出力が演算される。
第2層の第j 番目の素子の出力値は次式で演算される。
【0023】
【数5】 O2 j=f(I2 j )=1/{1+exp(-I2 j) } (5) この出力値 O2 j は出力層(第3層)の各素子の入力値
となる。次に、ステップ104において、出力層(第3
層)の各素子の入力値の積和演算が実行される。
となる。次に、ステップ104において、出力層(第3
層)の各素子の入力値の積和演算が実行される。
【0024】
【数6】 次に、ステップ106において、(5)式と同様に、シ
グモイド関数により、出力層の各素子の出力値O3 jが演
算される。
グモイド関数により、出力層の各素子の出力値O3 jが演
算される。
【0025】
【数7】 O3 j=f(I3 j)=1/{1+exp(-I3 j)} (7)
【0026】3.入力データと教師データの構造 ニューラルネットワークの学習に使用されるデータは、
図5に示すようなデータベースに構成されている。入力
データは、D1,…,Dn であり、対応する教師データ
は、E1,…,En である。このn個の入力データ及び教
師データは、ニューラルネットワークの初期学習又は初
期学習後のニューラルネットワークを現実に使用した過
程で蓄積されたデータである。この入力データは、次の
ように定義される。e個の入力素子のそれぞれに与える
e個のデータを1組のデータとして考える。そして、任
意の第m番目の1組の入力データをDm で表し、その組
に属する第j番目の入力素子に対する入力データをdmj
で表す。Dm はベクトルを表し、dmjはそのベクトルの
成分である。即ち、Dm は次式で定義される。
図5に示すようなデータベースに構成されている。入力
データは、D1,…,Dn であり、対応する教師データ
は、E1,…,En である。このn個の入力データ及び教
師データは、ニューラルネットワークの初期学習又は初
期学習後のニューラルネットワークを現実に使用した過
程で蓄積されたデータである。この入力データは、次の
ように定義される。e個の入力素子のそれぞれに与える
e個のデータを1組のデータとして考える。そして、任
意の第m番目の1組の入力データをDm で表し、その組
に属する第j番目の入力素子に対する入力データをdmj
で表す。Dm はベクトルを表し、dmjはそのベクトルの
成分である。即ち、Dm は次式で定義される。
【0027】
【数8】 Dm =(dm1, dm2, …,dme-1, dme) (8) 又、n組の入力データはD1,D2,…,Dn-1,Dn で表さ
れる。以下、全n組の入力データ群は、入力データ群D
と表記される。尚、入力データDm に対して(4)式を
用いる場合には、(4)式のO1 k に、成分dmk が代入さ
れる。
れる。以下、全n組の入力データ群は、入力データ群D
と表記される。尚、入力データDm に対して(4)式を
用いる場合には、(4)式のO1 k に、成分dmk が代入さ
れる。
【0028】同様に、E1,…, En は、次のように定義
される。出力層LO に関して、g個の出力素子のそれぞ
れからの出力に対する教師データを1組のデータとして
考える。そして、任意の第m番目の1組の教師データを
Em で表し、その組に属する第j番目の出力素子に対す
る教師データをemjで表す。Em はベクトルを表し、e
mjはそのベクトルの成分である。即ち、Em は次式で定
義される。
される。出力層LO に関して、g個の出力素子のそれぞ
れからの出力に対する教師データを1組のデータとして
考える。そして、任意の第m番目の1組の教師データを
Em で表し、その組に属する第j番目の出力素子に対す
る教師データをemjで表す。Em はベクトルを表し、e
mjはそのベクトルの成分である。即ち、Em は次式で定
義される。
【0029】
【数9】 Em =(em1, em2, …,emg-1, emg) (9) 又、n組の教師データはE1,E2,…,En-1,En で表さ
れる。以下、全n組の教師データ群は、教師データ群E
と表記される。
れる。以下、全n組の教師データ群は、教師データ群E
と表記される。
【0030】4.ニューラルネットワークの学習 次に、ニューラルネットワークの学習の処理手順につい
て説明する。このニューラルネットワークは、ROM2
の学習プログラム領域23に記憶された図3に示す手順
のプログラムが実行されることにより学習される。結合
係数の学習は良く知られたバックプロパーゲーション法
により実行される。この学習は、各種の事象に関する多
数の入力データに対して、それぞれの出力が、それぞれ
の最適な教師データとなるように、繰り返し実行され
る。これらの入力データ及び教師データは、それぞれ、
入力データ記憶領域35及び教師データ記憶領域36に
記憶されている。
て説明する。このニューラルネットワークは、ROM2
の学習プログラム領域23に記憶された図3に示す手順
のプログラムが実行されることにより学習される。結合
係数の学習は良く知られたバックプロパーゲーション法
により実行される。この学習は、各種の事象に関する多
数の入力データに対して、それぞれの出力が、それぞれ
の最適な教師データとなるように、繰り返し実行され
る。これらの入力データ及び教師データは、それぞれ、
入力データ記憶領域35及び教師データ記憶領域36に
記憶されている。
【0031】図3のステップ200において、データ番
号iが初期値の1に設定され、出力素子の番号j(教師
データの成分番号j)が初期値の1に設定される。次
に、ステップ202へ移行して、第i番目の入力データ
Di と第i番目の教師データEi が入力データ記憶領域
35と教師データ記憶領域36から抽出される。次に、
ステップ204において、次式により出力層のその成分
に対応した素子の学習データY が演算される。
号iが初期値の1に設定され、出力素子の番号j(教師
データの成分番号j)が初期値の1に設定される。次
に、ステップ202へ移行して、第i番目の入力データ
Di と第i番目の教師データEi が入力データ記憶領域
35と教師データ記憶領域36から抽出される。次に、
ステップ204において、次式により出力層のその成分
に対応した素子の学習データY が演算される。
【0032】
【数10】 Y3 j=(eij- O3 j)・f'(I3 j) (10) 但し、Y3 j,O3 j,I3 jでは、データ番号iは省略されて
いる。f'(x) はシグモイド関数の導関数である。又、I3
j は、入力データDiの各成分を(4)式のO1 k に代入
して、中間層の全ての素子に関しI2 k を求め、I2 k を
(5)に代入して中間層の全ての素子に関し出力O2 k を
求め、その全てのk に関してO2 k を(6)式に代入して
求められる。又、O3 j はI3 j を(7)式に代入して求め
られる。
いる。f'(x) はシグモイド関数の導関数である。又、I3
j は、入力データDiの各成分を(4)式のO1 k に代入
して、中間層の全ての素子に関しI2 k を求め、I2 k を
(5)に代入して中間層の全ての素子に関し出力O2 k を
求め、その全てのk に関してO2 k を(6)式に代入して
求められる。又、O3 j はI3 j を(7)式に代入して求め
られる。
【0033】次に、ステップ206において、全出力素
子について、学習データが演算されたか否かが判定さ
れ、判定結果がNOの場合には、ステップ208におい
て、素子番号jが1だけ増加され、ステップ204へ戻
り、次の出力素子に関する学習データが演算される。
子について、学習データが演算されたか否かが判定さ
れ、判定結果がNOの場合には、ステップ208におい
て、素子番号jが1だけ増加され、ステップ204へ戻
り、次の出力素子に関する学習データが演算される。
【0034】ステップ206で全出力素子に関する学習
データの演算が完了したと判定されると、ステップ21
0において、中間層の任意の第r番目の素子に関する学
習データY が次式で演算される。
データの演算が完了したと判定されると、ステップ21
0において、中間層の任意の第r番目の素子に関する学
習データY が次式で演算される。
【数11】 このような学習データの演算が、中間層の全素子に関し
て実行される。
て実行される。
【0035】次に、ステップ212において、出力層の
各結合係数が補正される。補正量は次式で求められる。
各結合係数が補正される。補正量は次式で求められる。
【数12】 Δω2 i, 3 j(t)=P・Y3 j・f(I2 i)+Q・Δω2 i, 3 j(t-1) (12) 但し、Δω2 i, 3 j(t) は、出力層の第j 番目の素子と中
間層の第i 番目の素子との間の結合係数の第t 回目演算
の変化量である。又、Δω2 i, 3 j(t-1) は、その結合係
数の前回の補正量である。P,Q は比例定数である。よっ
て、
間層の第i 番目の素子との間の結合係数の第t 回目演算
の変化量である。又、Δω2 i, 3 j(t-1) は、その結合係
数の前回の補正量である。P,Q は比例定数である。よっ
て、
【0036】
【数13】 W2 i, 3 j+Δω2 i, 3 j(t) →W2 i, 3 j (13) により、補正された結合係数が求められる。
【0037】次に、ステップ214へ移行して、中間層
の各素の結合係数が補正される。その結合係数の補正量
は出力層の場合と同様に、次式で求められる。
の各素の結合係数が補正される。その結合係数の補正量
は出力層の場合と同様に、次式で求められる。
【0038】
【数14】 Δω1 i, 2 j(t)=P・Y2 j・f(I1 i)+Q・Δω1 i, 2 j(t-1) (14) よって、
【数15】 W1 i, 2 j + Δω1 i, 2 j(t) →W1 i, 2 j (15) により、補正された結合係数が求められる。
【0039】次に、ステップ216において、学習対象
のn個の入力データ及び教師データに対して1回の学習
が完了したか否が判定される。全ての入力データに対す
る学習が終了していない場合には、ステップ218へ移
行して、次の入力データとその入力データに対応する教
師データを入力データ記憶領域35と教師データ記憶領
域36から読み込むためにデータ番号iが1だけ加算さ
れ、成分番号jは初期値の1に設定される。そして、ス
テップ202へ戻り、次の入力データ及び教師データを
用いて上記した学習が実行される。
のn個の入力データ及び教師データに対して1回の学習
が完了したか否が判定される。全ての入力データに対す
る学習が終了していない場合には、ステップ218へ移
行して、次の入力データとその入力データに対応する教
師データを入力データ記憶領域35と教師データ記憶領
域36から読み込むためにデータ番号iが1だけ加算さ
れ、成分番号jは初期値の1に設定される。そして、ス
テップ202へ戻り、次の入力データ及び教師データを
用いて上記した学習が実行される。
【0040】ステップ216でn個全部の入力データ及
び教師データに関して学習が完了したと判定されると、
学習回数が所定値に達したか否かが判定される。学習回
数が所定回数(例えば一万回)に達していない場合に
は、ステップ202に戻り、次の所定回数までの学習演
算が繰り返される。一方、学習回数が所定回数に達した
と判定された場合には、上記の学習演算は完了する。
び教師データに関して学習が完了したと判定されると、
学習回数が所定値に達したか否かが判定される。学習回
数が所定回数(例えば一万回)に達していない場合に
は、ステップ202に戻り、次の所定回数までの学習演
算が繰り返される。一方、学習回数が所定回数に達した
と判定された場合には、上記の学習演算は完了する。
【0041】5.ニューラルネットワークの入出力特性の
検出 次に、ニューラルネットワークの入出力特性の検出手順
について図6を参照して説明する。ステップ300にお
いて、キーボード4から入力層LI のどの素子を可変素
子とするかを指定するデータが入力され、RAM3の可
変素子指定データ記憶領域31に記憶される。尚、可変
素子とは入力データが変化する素子のことで、固定素子
とは入力データが変化しない素子のことである。可変素
子は1つであり、可変素子以外の素子は固定素子であ
る。
検出 次に、ニューラルネットワークの入出力特性の検出手順
について図6を参照して説明する。ステップ300にお
いて、キーボード4から入力層LI のどの素子を可変素
子とするかを指定するデータが入力され、RAM3の可
変素子指定データ記憶領域31に記憶される。尚、可変
素子とは入力データが変化する素子のことで、固定素子
とは入力データが変化しない素子のことである。可変素
子は1つであり、可変素子以外の素子は固定素子であ
る。
【0042】次に、ステップ302において、キーボー
ド4から可変素子に入力される可変データの変化する範
囲を示したデータ範囲が入力され、RAM3のデータ範
囲記憶領域32に記憶される。次に、ステップ304に
おいて、キーボード4から段階的に変化する可変データ
の変化幅が入力され、RAM3の変化幅記憶領域32に
記憶される。次に、ステップ306において、キーボー
ド4から各固定素子に入力される各固定データが入力さ
れ、RAM3の固定データ記憶領域34に記憶される。
ド4から可変素子に入力される可変データの変化する範
囲を示したデータ範囲が入力され、RAM3のデータ範
囲記憶領域32に記憶される。次に、ステップ304に
おいて、キーボード4から段階的に変化する可変データ
の変化幅が入力され、RAM3の変化幅記憶領域32に
記憶される。次に、ステップ306において、キーボー
ド4から各固定素子に入力される各固定データが入力さ
れ、RAM3の固定データ記憶領域34に記憶される。
【0043】次に、ステップ308において、可変素子
に入力すべき可変データがデータ範囲記憶領域32に記
憶されたデータ範囲の最適値に設定される。次に、ステ
ップ310において、入力層LI の可変素子にはステッ
プ308で決定された可変データが残りの固定素子には
固定データ記憶領域34に記憶された固定データが入力
される。
に入力すべき可変データがデータ範囲記憶領域32に記
憶されたデータ範囲の最適値に設定される。次に、ステ
ップ310において、入力層LI の可変素子にはステッ
プ308で決定された可変データが残りの固定素子には
固定データ記憶領域34に記憶された固定データが入力
される。
【0044】次に、ステップ312において、ニューラ
ルネットワーク10が起動される。即ち、ROM2のニ
ューラルネットワーク領域22に記憶されている上述し
た図2に示す演算プログラムが実行される。この演算結
果としてニューラルネットワーク10の出力層LO の各
素子から、出力データの各成分が出力される。
ルネットワーク10が起動される。即ち、ROM2のニ
ューラルネットワーク領域22に記憶されている上述し
た図2に示す演算プログラムが実行される。この演算結
果としてニューラルネットワーク10の出力層LO の各
素子から、出力データの各成分が出力される。
【0045】この出力データの各成分はCRT6によっ
て図7に示す座標上にプロットされる。この座標は横軸
が可変データの値、縦軸が出力データの各成分の値を示
している。次に、ステップ316において、過去に演算
された出力データの成分を示す点を滑らかに結ぶ連続曲
線がCRT6に表示される。
て図7に示す座標上にプロットされる。この座標は横軸
が可変データの値、縦軸が出力データの各成分の値を示
している。次に、ステップ316において、過去に演算
された出力データの成分を示す点を滑らかに結ぶ連続曲
線がCRT6に表示される。
【0046】次に、ステップ318において、可変デー
タはデータ範囲の上限値に達したか否かが判定され、判
定結果がNOの場合には、ステップ320に移行して、可
変データをRAM3の変化幅記憶領域33に記憶されて
いる変化幅だけ増加させてステップ310に戻る。そし
て、次に新たに決定された可変データと固定データとが
入力層LI に入力されて、同様にニューラルネットワー
クが起動され、出力層LO の各素子から出力データの各
成分が出力される。この値はCRT6によって図7に示
すように可変データに対応した次の値としてプロットさ
れる。又、新たに加えられた点と過去の点とを滑らかに
結ぶ連続曲線が図7に示すように、各成分毎に表示され
る。
タはデータ範囲の上限値に達したか否かが判定され、判
定結果がNOの場合には、ステップ320に移行して、可
変データをRAM3の変化幅記憶領域33に記憶されて
いる変化幅だけ増加させてステップ310に戻る。そし
て、次に新たに決定された可変データと固定データとが
入力層LI に入力されて、同様にニューラルネットワー
クが起動され、出力層LO の各素子から出力データの各
成分が出力される。この値はCRT6によって図7に示
すように可変データに対応した次の値としてプロットさ
れる。又、新たに加えられた点と過去の点とを滑らかに
結ぶ連続曲線が図7に示すように、各成分毎に表示され
る。
【0047】このようにして、図8に示すように、入力
層LI の任意の1つの素子を可変素子、他の素子を固定
素子として、入力データをニューラルネットワーク10
に入力して、出力層LO の各素子から出力される各出力
データ成分の可変データに対する特性が求められる。こ
れらの特性から、ニューラルネットワークの使用範囲を
決定することが可能となる。
層LI の任意の1つの素子を可変素子、他の素子を固定
素子として、入力データをニューラルネットワーク10
に入力して、出力層LO の各素子から出力される各出力
データ成分の可変データに対する特性が求められる。こ
れらの特性から、ニューラルネットワークの使用範囲を
決定することが可能となる。
【0048】例えば、ニューラルネットワークを加工条
件の決定に用いた場合には、剛性値を可変データとした
ときの1出力データ成分である精研削開始径が図7に示
すように変化したとする。このとき、ニューラルネット
ワークの学習が完全でないために、精研開始径が負値を
とる領域が存在する。この場合には、この精研開始径が
負値をとる領域は出力データとして異常であるので、そ
の領域に対応する剛性値の範囲はこのニューラルネット
ワークでは使用できない範囲と決定することができる。
又、精研開始径以外の他の全ての出力データ成分の変化
特性についても評価され、可変素子に対する入力データ
成分の使用可能な範囲が、ぞれぞれ、決定される。そし
て、各使用可能範囲が全て重複している範囲が、結局、
その可変素子に対する入力データ成分の使用可能範囲と
決定される。
件の決定に用いた場合には、剛性値を可変データとした
ときの1出力データ成分である精研削開始径が図7に示
すように変化したとする。このとき、ニューラルネット
ワークの学習が完全でないために、精研開始径が負値を
とる領域が存在する。この場合には、この精研開始径が
負値をとる領域は出力データとして異常であるので、そ
の領域に対応する剛性値の範囲はこのニューラルネット
ワークでは使用できない範囲と決定することができる。
又、精研開始径以外の他の全ての出力データ成分の変化
特性についても評価され、可変素子に対する入力データ
成分の使用可能な範囲が、ぞれぞれ、決定される。そし
て、各使用可能範囲が全て重複している範囲が、結局、
その可変素子に対する入力データ成分の使用可能範囲と
決定される。
【0049】次に、可変素子を他の入力素子に変化させ
て、各出力データ成分の変化特性を測定することで、同
様に、その可変素子に対する入力データの使用可能範囲
が決定される。このようにして、全ての入力データ成分
に対する使用可能範囲が決定されることによって、ニュ
ーラルネットワークの使用可能範囲を決定することがで
きる。
て、各出力データ成分の変化特性を測定することで、同
様に、その可変素子に対する入力データの使用可能範囲
が決定される。このようにして、全ての入力データ成分
に対する使用可能範囲が決定されることによって、ニュ
ーラルネットワークの使用可能範囲を決定することがで
きる。
【図1】本発明の具体的な実施例に係る入出力特性検出
装置で特性が検出されるニューラルネットワークの構成
を示した構成図。
装置で特性が検出されるニューラルネットワークの構成
を示した構成図。
【図2】ニューラルネットワークの演算手順を示したフ
ローチャート。
ローチャート。
【図3】ニューラルネットワークの学習手順を示したフ
ローチャート。
ローチャート。
【図4】実施例にかかる入出力特性検出装置の構成を示
したブロック図。
したブロック図。
【図5】ニューラルネットワークの学習に用いられる入
力データと教師データを有するデータベースのデータ構
成を示した構成図。
力データと教師データを有するデータベースのデータ構
成を示した構成図。
【図6】ニューラルネットワークの入出力特性を検出す
るためのCPUによる処理手順を示したフローチャー
ト。
るためのCPUによる処理手順を示したフローチャー
ト。
【図7】ある出力データ成分のある可変データに対する
変化特性を示した特性図。
変化特性を示した特性図。
【図8】ある入力素子に可変データを入力させたときに
得られる各出力データ成分の可変データに対する変化特
性を示した特性図。
得られる各出力データ成分の可変データに対する変化特
性を示した特性図。
【図9】本発明の概念を示したブロック図。
10…ニューラルネットワーク LI …入力層 LM …中間層 LO …出力層 1…CPU(可変素子指定手段、データ範囲指定手段、
固定データ指定手段、変化幅指定手段、データ入力手
段、表示手段) 2…ROM 3…RAM(可変素子指定手段、データ範囲指定手段、
固定データ指定手段) 4…キーボード(可変素子指定手段、データ範囲指定手
段、固定データ指定手段) 6…CRT(表示手段) ステップ300…可変素子指定手段 ステップ302…データ範囲指定手段 ステップ304…可変幅指定手段 ステップ306…固定データ指定手段 ステップ310、312、318、320…データ入力
手段 ステップ314、316…表示手段
固定データ指定手段、変化幅指定手段、データ入力手
段、表示手段) 2…ROM 3…RAM(可変素子指定手段、データ範囲指定手段、
固定データ指定手段) 4…キーボード(可変素子指定手段、データ範囲指定手
段、固定データ指定手段) 6…CRT(表示手段) ステップ300…可変素子指定手段 ステップ302…データ範囲指定手段 ステップ304…可変幅指定手段 ステップ306…固定データ指定手段 ステップ310、312、318、320…データ入力
手段 ステップ314、316…表示手段
───────────────────────────────────────────────────── フロントページの続き (72)発明者 加藤 友也 愛知県刈谷市朝日町1丁目1番地 豊田工 機株式会社内 (72)発明者 服部 和也 愛知県刈谷市朝日町1丁目1番地 豊田工 機株式会社内
Claims (1)
- 【請求項1】 ニューラルネットワークの入力層の各入
力素子にデータを入力させ、出力層の各出力素子からデ
ータを出力させるニューラルネットワークの入出力特性
検出装置において、 前記ニューラルネットワークの入力層の素子のうち可変
データを入力する1つの素子を指定する可変素子指定手
段と、 前記可変素子に入力される可変データのデータ範囲を指
定するデータ範囲指定手段と、 入力層における前記可変素子以外の全ての固定素子に入
力される固定データを指定する固定データ指定手段と、 前記可変素子に入力される可変データの変化幅を指定す
る変化幅指定手段と、 前記固定素子には前記固定データ指定手段により指定さ
れた前記固定データを入力させ、前記可変素子指定手段
により指定された前記可変素子には、前記データ範囲指
定手段により指定された前記データ範囲において、前記
変化幅指定手段により指定された前記変化幅で順次変化
させた可変データを入力させるデータ入力手段と、 前記データ入力手段によって前記可変素子に入力される
前記可変データの変化に対応して、前記ニューラルネッ
トワークの出力層の各素子から出力されるデータの変化
特性を可視表示する表示手段とを有するニューラルネッ
トワークの入出力特性検出装置。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP3244775A JPH0561849A (ja) | 1991-08-29 | 1991-08-29 | ニユーラルネツトワークの入出力特性検出装置 |
| EP9292114644A EP0529628A3 (en) | 1991-08-29 | 1992-08-27 | Method and apparatus for checking input-output characteristic of neural network |
| US07/936,635 US5333238A (en) | 1991-08-29 | 1992-08-28 | Method and apparatus for checking input-output characteristic of neural network |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP3244775A JPH0561849A (ja) | 1991-08-29 | 1991-08-29 | ニユーラルネツトワークの入出力特性検出装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH0561849A true JPH0561849A (ja) | 1993-03-12 |
Family
ID=17123733
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP3244775A Pending JPH0561849A (ja) | 1991-08-29 | 1991-08-29 | ニユーラルネツトワークの入出力特性検出装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US5333238A (ja) |
| EP (1) | EP0529628A3 (ja) |
| JP (1) | JPH0561849A (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017168865A1 (ja) * | 2016-03-28 | 2017-10-05 | ソニー株式会社 | 情報処理装置及び情報処理方法 |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5598509A (en) * | 1992-08-28 | 1997-01-28 | Hitachi, Ltd. | Method of configuring a neural network and a diagnosis/recognition system using the same |
| EP0612035B1 (en) * | 1993-02-19 | 2002-01-30 | International Business Machines Corporation | Neural net for the comparison of image pattern features |
| FR2719399B1 (fr) * | 1994-05-02 | 1996-05-24 | Commissariat Energie Atomique | Procédé et dispositif d'extraction d'un sous-ensemble d'objets optimisant une mesure, en utilisant un réseau de neurones. |
| US5470328A (en) * | 1994-07-21 | 1995-11-28 | Snowden-Pencer, Inc. | Surgical instrument handle and actuator means |
| DE19623365A1 (de) * | 1996-06-12 | 1997-12-18 | Daimler Benz Ag | Verfahren und Anordnung zur Transformation einer Eingangsvariablen |
| US7191178B1 (en) * | 2002-02-11 | 2007-03-13 | Louisiana Tech University Research Foundation | Method for allocation of web pages using neural networks |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4937872A (en) * | 1987-04-03 | 1990-06-26 | American Telephone And Telegraph Company | Neural computation by time concentration |
| US4914708A (en) * | 1987-06-19 | 1990-04-03 | Boston University | System for self-organization of stable category recognition codes for analog input patterns |
| US4876731A (en) * | 1988-02-19 | 1989-10-24 | Nynex Corporation | Neural network model in pattern recognition using probabilistic contextual information |
| US4918618A (en) * | 1988-04-11 | 1990-04-17 | Analog Intelligence Corporation | Discrete weight neural network |
| JPH0295543A (ja) * | 1988-09-30 | 1990-04-06 | Omron Tateisi Electron Co | 研削盤制御装置 |
| US5119468A (en) * | 1989-02-28 | 1992-06-02 | E. I. Du Pont De Nemours And Company | Apparatus and method for controlling a process using a trained parallel distributed processing network |
| US5121467A (en) * | 1990-08-03 | 1992-06-09 | E.I. Du Pont De Nemours & Co., Inc. | Neural network/expert system process control system and method |
-
1991
- 1991-08-29 JP JP3244775A patent/JPH0561849A/ja active Pending
-
1992
- 1992-08-27 EP EP9292114644A patent/EP0529628A3/en not_active Withdrawn
- 1992-08-28 US US07/936,635 patent/US5333238A/en not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017168865A1 (ja) * | 2016-03-28 | 2017-10-05 | ソニー株式会社 | 情報処理装置及び情報処理方法 |
| JPWO2017168865A1 (ja) * | 2016-03-28 | 2019-02-07 | ソニー株式会社 | 情報処理装置及び情報処理方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US5333238A (en) | 1994-07-26 |
| EP0529628A3 (en) | 1994-10-19 |
| EP0529628A2 (en) | 1993-03-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI591490B (zh) | 類神經網路處理器中之向量運算單元 | |
| Zang et al. | Structural damage detection using independent component analysis | |
| JP7006296B2 (ja) | 学習プログラム、学習方法および学習装置 | |
| Lopez-Pacheco et al. | Frequency domain CNN and dissipated energy approach for damage detection in building structures: M. Lopez-Pacheco et al. | |
| CN110309010B (zh) | 用于电力设备相位分辩的局放网络训练方法及装置 | |
| Lagerblad et al. | Study of a fixed-lag Kalman smoother for input and state estimation in vibrating structures | |
| WO2019160138A1 (ja) | 因果推定装置、因果推定方法、及びプログラム | |
| JPH0561849A (ja) | ニユーラルネツトワークの入出力特性検出装置 | |
| CN117892581A (zh) | 基于多源监测数据驱动的堆石坝变形分析模型的更新方法 | |
| JP3638310B2 (ja) | 事例推論支援装置 | |
| Abouelaziz et al. | A blind mesh visual quality assessment method based on convolutional neural network | |
| JP7438086B2 (ja) | データの系列間の差異を判定する方法、装置およびプログラム | |
| JPH06274660A (ja) | 認識又は診断方法 | |
| US6820104B2 (en) | Apparatus, methods, and computer program products for reducing the number of computations and number of required stored values for information processing methods | |
| Allison | Analyzing collapsed contingency tables without actually collapsing | |
| CN111104984B (zh) | 一种电子计算机断层扫描ct图像分类方法、装置及设备 | |
| JPH0736849A (ja) | 情報処理システム | |
| Behdani et al. | Enhancing kernel ridge regression models with compact support wendland functions | |
| JPH0535711A (ja) | ニユーラルネツトワークの学習データ記憶装置 | |
| Williams et al. | Activity analysis: Simplifying optimal design problems through qualitative partitioning | |
| JPH0546585A (ja) | ニユーラルネツトワークの学習方法 | |
| JP3232597B2 (ja) | ニューラルネットワークの学習装置 | |
| US20250329025A1 (en) | Object detecting apparatus and object detection method | |
| JPH0554014A (ja) | ニユーラルネツトワークの学習装置 | |
| JPH0581230A (ja) | ニユーラルネツトワークの学習装置 |