JPH07121494A - 並列ニューラルネットワーク - Google Patents
並列ニューラルネットワークInfo
- Publication number
- JPH07121494A JPH07121494A JP5288791A JP28879193A JPH07121494A JP H07121494 A JPH07121494 A JP H07121494A JP 5288791 A JP5288791 A JP 5288791A JP 28879193 A JP28879193 A JP 28879193A JP H07121494 A JPH07121494 A JP H07121494A
- Authority
- JP
- Japan
- Prior art keywords
- neural network
- output
- signal
- correction
- error
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Feedback Control In General (AREA)
Abstract
(57)【要約】
【目的】 学習用入力信号を用いた簡単な学習により、
安定に所望の出力信号を得ると共に、学習外入力信号に
対しても所望の出力信号が得やすいニューラルネットワ
ークを提供する。 【構成】 主ニューラルネットワーク（２１）と補正ニ
ューラルネットワーク（２２）とを入力に対して並列接
続し、学習用入力信号に対して教師信号を用いて学習さ
せた主ニューラルネットワーク（２１）と、教師信号と
比べてその出力ユニット信号の許容範囲を越えた誤差の
有無を検出し、誤差を生じた学習用入力信号に対して少
なくとも学習させ、更に前記の誤差の有無を出力状態教
師信号として出力状態信号を送出させる為に補正ニュー
ラルネットワーク（２２）を学習させる。入力信号に対
して補正ニューラルネットワーク（２２）から得た出力
状態信号を基に、出力選択制御器（２３）においてどち
らのニューラルネットワークから許容誤差範囲内の出力
ユニット信号を出力させるかを決定し、出力選択スイッ
チ（１９）を制御して所望の出力ユニット信号を出力信
号として送出させる。
安定に所望の出力信号を得ると共に、学習外入力信号に
対しても所望の出力信号が得やすいニューラルネットワ
ークを提供する。 【構成】 主ニューラルネットワーク（２１）と補正ニ
ューラルネットワーク（２２）とを入力に対して並列接
続し、学習用入力信号に対して教師信号を用いて学習さ
せた主ニューラルネットワーク（２１）と、教師信号と
比べてその出力ユニット信号の許容範囲を越えた誤差の
有無を検出し、誤差を生じた学習用入力信号に対して少
なくとも学習させ、更に前記の誤差の有無を出力状態教
師信号として出力状態信号を送出させる為に補正ニュー
ラルネットワーク（２２）を学習させる。入力信号に対
して補正ニューラルネットワーク（２２）から得た出力
状態信号を基に、出力選択制御器（２３）においてどち
らのニューラルネットワークから許容誤差範囲内の出力
ユニット信号を出力させるかを決定し、出力選択スイッ
チ（１９）を制御して所望の出力ユニット信号を出力信
号として送出させる。
Description
【０００１】
【産業上の利用分野】本発明は、パターン認識、連想メ
モリ、データ変換、画像処理及び大規模多値論理回路な
どの分野に適用可能な大規模ニューラルネットワークに
おいて、簡単な学習により高速かつ安定に所望の出力信
号を得ることが出来る並列ニューラルネットワークに関
するものである。
モリ、データ変換、画像処理及び大規模多値論理回路な
どの分野に適用可能な大規模ニューラルネットワークに
おいて、簡単な学習により高速かつ安定に所望の出力信
号を得ることが出来る並列ニューラルネットワークに関
するものである。
【０００２】
【従来の技術】従来のニューラルネットワークには、文
献 麻生英樹著、「ニューラルネットワーク情報処
理」、産業図書出版などに示されているように、多層
（階層）ニューラルネットワークや相互結合ニューラル
ネットワークなどがある。
献 麻生英樹著、「ニューラルネットワーク情報処
理」、産業図書出版などに示されているように、多層
（階層）ニューラルネットワークや相互結合ニューラル
ネットワークなどがある。
【０００３】図１は、多層ニューラルネットワークとし
て、１層の中間層を持った３層ニューラルネットワーク
１の実行処理モードでの実行処理の１構成例を示す。Ｎ
個のユニットからなる入力層４、Ｐ個のユニットからな
る中間層５及びＭ個のユニットからなる出力層６から構
成される。入力層のユニット数Ｎは入力端子２の入力信
号Ｉのエレメント総数に対応し、出力層のユニット数Ｍ
は出力端子３の出力信号Ｏのエレメント総数に対応して
いる。
て、１層の中間層を持った３層ニューラルネットワーク
１の実行処理モードでの実行処理の１構成例を示す。Ｎ
個のユニットからなる入力層４、Ｐ個のユニットからな
る中間層５及びＭ個のユニットからなる出力層６から構
成される。入力層のユニット数Ｎは入力端子２の入力信
号Ｉのエレメント総数に対応し、出力層のユニット数Ｍ
は出力端子３の出力信号Ｏのエレメント総数に対応して
いる。
【０００４】多層ニューラルネットワークへの入力信号
Ｉは、Ｉ1 、Ｉ2 、．．ＩN の入力信号エレメントを持
ったベクトルから構成され、入力端子２を介してそれぞ
れ対応した入力層４のユニットに入力された後、更に中
間層５の各ユニット（隠れユニット）にそれぞれ重み付
けされ出力される。中間層５では、入力層４の各ユニッ
トからの重み付けされた出力の総和を入力とし、スレシ
ョルド値を差し引いた後、シグモイド関数と呼ばれる入
出力特性を持った関数を介してユニット出力信号が出力
される。出力層６においても中間層５と同様な入出力処
理が行われた後、各出力ユニットからそれぞれ出力ユニ
ット信号を出力端子３を介してベクトルの出力信号Ｏの
エレメントＯ1 、Ｏ2 、．．ＯM に対応させて送出す
る。尚、ここでは、出力層６から出力されるユニット出
力信号を出力ユニット信号と呼び、他の層からの出力と
区別する。
Ｉは、Ｉ1 、Ｉ2 、．．ＩN の入力信号エレメントを持
ったベクトルから構成され、入力端子２を介してそれぞ
れ対応した入力層４のユニットに入力された後、更に中
間層５の各ユニット（隠れユニット）にそれぞれ重み付
けされ出力される。中間層５では、入力層４の各ユニッ
トからの重み付けされた出力の総和を入力とし、スレシ
ョルド値を差し引いた後、シグモイド関数と呼ばれる入
出力特性を持った関数を介してユニット出力信号が出力
される。出力層６においても中間層５と同様な入出力処
理が行われた後、各出力ユニットからそれぞれ出力ユニ
ット信号を出力端子３を介してベクトルの出力信号Ｏの
エレメントＯ1 、Ｏ2 、．．ＯM に対応させて送出す
る。尚、ここでは、出力層６から出力されるユニット出
力信号を出力ユニット信号と呼び、他の層からの出力と
区別する。
【０００５】３層以上の多層の際にも、同様に各層にお
けるそれぞれのユニットは、入力側の隣接層の各ユニッ
ト出力信号に重み付けをした後、それらの総和を入力と
して得、更にその入力からスレショルド値を差し引いた
後、シグモイド関数を介し出力層側の隣接層にユニット
出力信号を送出する。
けるそれぞれのユニットは、入力側の隣接層の各ユニッ
ト出力信号に重み付けをした後、それらの総和を入力と
して得、更にその入力からスレショルド値を差し引いた
後、シグモイド関数を介し出力層側の隣接層にユニット
出力信号を送出する。
【０００６】次に、３層ニューラルネットワークの学習
モードにおける学習処理の１構成例を図２に示す。この
ような多層ニューラルネットワークの学習方法として
は、例えば、前記文献にも記載されているようにバック
・プロパゲーション・アルゴリズムがある。本アルゴリ
ズムを用いた学習過程では、結合重みを初期設定した
後、端子２を介して入力層４に予め用意された学習用入
力信号を入力する。出力層６の出力ユニット信号から予
め用意された教師信号Ｔを減算器８にて差し引き、結合
重み更新用誤差信号として結合重み制御器９に入力す
る。結合重み制御器９は、端子１０を介して入力された
各層のユニット出力信号と結合重み更新用誤差信号とを
基に誤差電力を最小にするように各層間の結合重みの修
正値を求め、端子１０を介して３層ニューラルネットワ
ーク１の結合重みとして新たに設定する。この学習処理
をすべての学習用入力信号に対して繰り返す。
モードにおける学習処理の１構成例を図２に示す。この
ような多層ニューラルネットワークの学習方法として
は、例えば、前記文献にも記載されているようにバック
・プロパゲーション・アルゴリズムがある。本アルゴリ
ズムを用いた学習過程では、結合重みを初期設定した
後、端子２を介して入力層４に予め用意された学習用入
力信号を入力する。出力層６の出力ユニット信号から予
め用意された教師信号Ｔを減算器８にて差し引き、結合
重み更新用誤差信号として結合重み制御器９に入力す
る。結合重み制御器９は、端子１０を介して入力された
各層のユニット出力信号と結合重み更新用誤差信号とを
基に誤差電力を最小にするように各層間の結合重みの修
正値を求め、端子１０を介して３層ニューラルネットワ
ーク１の結合重みとして新たに設定する。この学習処理
をすべての学習用入力信号に対して繰り返す。
【０００７】学習過程に於て完全に収束すると、学習用
入力信号に対する出力ユニット信号が教師信号Ｔと同一
となる。しかしながら、誤差電力を極小にする所に一旦
落ち込むと、学習が進まず最小とならず教師信号Ｔと異
なった出力ユニット信号を出力するなどの問題がある。
特に、入力ユニット数の多い３層あるいは多層ニューラ
ルネットワークにおいて教師信号Ｔに対して確実に収束
させる設計手法は明らかになっておらず、結合重みの初
期値を変更したり、隠れユニット（中間ユニット）数あ
るいは更に中間層を増やすなどの試行錯誤を行ってい
る。
入力信号に対する出力ユニット信号が教師信号Ｔと同一
となる。しかしながら、誤差電力を極小にする所に一旦
落ち込むと、学習が進まず最小とならず教師信号Ｔと異
なった出力ユニット信号を出力するなどの問題がある。
特に、入力ユニット数の多い３層あるいは多層ニューラ
ルネットワークにおいて教師信号Ｔに対して確実に収束
させる設計手法は明らかになっておらず、結合重みの初
期値を変更したり、隠れユニット（中間ユニット）数あ
るいは更に中間層を増やすなどの試行錯誤を行ってい
る。
【０００８】また、論文 "Parallel, Self-Organizing,
Hierarchical Neural Networks"IEEE Trans on Neural
Networks, Vol.1, No.2, June 1990 において示されて
いる並列ニューラルネットワーク２０では、複数個のニ
ューラルネットワークを並列に接続し、例えば図３の実
行処理で示すように、後述の学習処理で順次学習させて
得られた結合重みを各ニューラルネットワーク１２、１
３、１４に、また、学習処理で得た出力ユニット信号に
対するそれぞれの誤差検出領域を誤差検出器１５、１
６、１７に設定して動作させる。各ニューラルネットワ
ーク１２、１３、１４のそれぞれの出力ユニット信号と
その誤差検出領域とを誤差検出器１５、１６、１７にお
いて比較し、出力選択制御器１８にて誤差検出領域に落
ち込まない出力ユニット信号を１つ決定し、出力選択ス
イッチ１９にてその出力ユニット信号を取り出し２値ス
レショルド回路４１を介して所望の出力信号Ｏとして端
子３から送出させている。
Hierarchical Neural Networks"IEEE Trans on Neural
Networks, Vol.1, No.2, June 1990 において示されて
いる並列ニューラルネットワーク２０では、複数個のニ
ューラルネットワークを並列に接続し、例えば図３の実
行処理で示すように、後述の学習処理で順次学習させて
得られた結合重みを各ニューラルネットワーク１２、１
３、１４に、また、学習処理で得た出力ユニット信号に
対するそれぞれの誤差検出領域を誤差検出器１５、１
６、１７に設定して動作させる。各ニューラルネットワ
ーク１２、１３、１４のそれぞれの出力ユニット信号と
その誤差検出領域とを誤差検出器１５、１６、１７にお
いて比較し、出力選択制御器１８にて誤差検出領域に落
ち込まない出力ユニット信号を１つ決定し、出力選択ス
イッチ１９にてその出力ユニット信号を取り出し２値ス
レショルド回路４１を介して所望の出力信号Ｏとして端
子３から送出させている。
【０００９】また、学習処理においては、学習用入力信
号に対して第１ニューラルネットワーク１２を予め規定
された回数の学習を行わせ、その出力ユニット信号の２
値スレショルド回路出力と２値の教師信号Ｔとが一致し
ない学習用入力信号を検出し、その学習用入力信号に対
して、次段の第２ニューラルネットワーク１３を予め規
定された回数程同様に学習させている。このように、そ
の出力ユニット信号の２値スレショルド回路出力と教師
信号Ｔとが一致しない学習用入力信号があれば、その学
習用入力信号に対して更に次段のニューラルネットワー
ク１４を規定の回数程順次学習させる。この結果、全て
の学習用入力信号に対応した出力ユニット信号の２値ス
レショルド回路出力と教師信号Ｔとが一致すると、並列
ニューラルネットワークの追加を止め、収束したとみな
している。
号に対して第１ニューラルネットワーク１２を予め規定
された回数の学習を行わせ、その出力ユニット信号の２
値スレショルド回路出力と２値の教師信号Ｔとが一致し
ない学習用入力信号を検出し、その学習用入力信号に対
して、次段の第２ニューラルネットワーク１３を予め規
定された回数程同様に学習させている。このように、そ
の出力ユニット信号の２値スレショルド回路出力と教師
信号Ｔとが一致しない学習用入力信号があれば、その学
習用入力信号に対して更に次段のニューラルネットワー
ク１４を規定の回数程順次学習させる。この結果、全て
の学習用入力信号に対応した出力ユニット信号の２値ス
レショルド回路出力と教師信号Ｔとが一致すると、並列
ニューラルネットワークの追加を止め、収束したとみな
している。
【００１０】また、実行処理において正しい出力ユニッ
ト信号を１つ選択するために、この学習過程では、それ
ぞれのニューラルネットワークの各出力ユニット信号に
おいて、教師信号Ｔと一致しない２値出力を生じた場合
に出力ユニット信号からその教師信号Ｔを差し引き誤差
を求め、その最大の誤差を検出しそれぞれの出力ユニッ
ト信号に対する誤差検出領域を定めている。
ト信号を１つ選択するために、この学習過程では、それ
ぞれのニューラルネットワークの各出力ユニット信号に
おいて、教師信号Ｔと一致しない２値出力を生じた場合
に出力ユニット信号からその教師信号Ｔを差し引き誤差
を求め、その最大の誤差を検出しそれぞれの出力ユニッ
ト信号に対する誤差検出領域を定めている。
【００１１】実行処理では、誤差検出器１５、１６、１
７において設定された誤差検出領域をもとに出力ユニッ
ト信号の誤りの有無を検出し、出力選択制御器１８にお
いてニューラルネットワークからの１つの出力ユニット
信号の選択を決定する。この方法では、論文に報告され
ているように学習用入力信号に対しても完全に正しく出
力させることが出来ない。また、それぞれの出力ユニッ
ト信号に対して一定の独立な誤差領域を設けていること
から、学習外入力信号に対して出力ユニット信号の選択
をある程度は正しくできるものの、入力信号によっては
誤動作が多くなる。特に、誤差検出領域には汎化性が無
いことから、入力信号に相関が少ない場合、あるいは出
力信号のクラス分けの数（教師信号の数）が増えた場合
には、大幅に選択を誤るなどの欠点を有する。
７において設定された誤差検出領域をもとに出力ユニッ
ト信号の誤りの有無を検出し、出力選択制御器１８にお
いてニューラルネットワークからの１つの出力ユニット
信号の選択を決定する。この方法では、論文に報告され
ているように学習用入力信号に対しても完全に正しく出
力させることが出来ない。また、それぞれの出力ユニッ
ト信号に対して一定の独立な誤差領域を設けていること
から、学習外入力信号に対して出力ユニット信号の選択
をある程度は正しくできるものの、入力信号によっては
誤動作が多くなる。特に、誤差検出領域には汎化性が無
いことから、入力信号に相関が少ない場合、あるいは出
力信号のクラス分けの数（教師信号の数）が増えた場合
には、大幅に選択を誤るなどの欠点を有する。
【００１２】
【発明が解決しようとする課題】従来の多層ニューラル
ネットワーク１の学習処理において説明したごとく、多
層ニューラルネットワークにおいて教師信号Ｔを用いて
結合重みを学習させる際に、結合重みの初期値の設定に
よっては、所望の出力信号を送出する収束状態になるま
での学習回数が非常に多くなる場合や、ローカルミニマ
ム（局部極小）の状態に落ち込み、学習を続けても収束
しない場合があるなどの欠点を有している。また、従来
の並列ニューラルネットワーク２０において、誤差検出
領域を設け正しい出力ユニット信号を１つ選択し出力さ
せる方法においても、誤差検出器１５、１６、１７の検
出動作が不完全であるために、学習用入力信号に対して
も所望の出力信号を選択出来ない場合や、学習外入力信
号に対しては大幅に誤った選択をする場合がある。特
に、入出力層のユニット数や教師信号Ｔの数が多い場合
には、所望の出力信号を送出することが非常に困難であ
り、満足するニューラルネットワークを自由に設計する
方法が確立されていない。
ネットワーク１の学習処理において説明したごとく、多
層ニューラルネットワークにおいて教師信号Ｔを用いて
結合重みを学習させる際に、結合重みの初期値の設定に
よっては、所望の出力信号を送出する収束状態になるま
での学習回数が非常に多くなる場合や、ローカルミニマ
ム（局部極小）の状態に落ち込み、学習を続けても収束
しない場合があるなどの欠点を有している。また、従来
の並列ニューラルネットワーク２０において、誤差検出
領域を設け正しい出力ユニット信号を１つ選択し出力さ
せる方法においても、誤差検出器１５、１６、１７の検
出動作が不完全であるために、学習用入力信号に対して
も所望の出力信号を選択出来ない場合や、学習外入力信
号に対しては大幅に誤った選択をする場合がある。特
に、入出力層のユニット数や教師信号Ｔの数が多い場合
には、所望の出力信号を送出することが非常に困難であ
り、満足するニューラルネットワークを自由に設計する
方法が確立されていない。
【００１３】本発明の目的は、上記の問題を解決し、従
来方式のニューラルネットワークなどに比べて、簡単な
学習により等価的に安定に収束させ、学習外入力信号に
対しても所望の出力信号を得やすい並列ニューラルネッ
トワークを提供することにある。
来方式のニューラルネットワークなどに比べて、簡単な
学習により等価的に安定に収束させ、学習外入力信号に
対しても所望の出力信号を得やすい並列ニューラルネッ
トワークを提供することにある。
【００１４】
【課題を解決するための手段】上記の問題点を解決する
ために、本発明の並列ニューラルネットワークにおい
て、主ニューラルネットワークと少なくとも１つ以上の
補正ニューラルネットワークとを入力に対して並列接続
し、予め用意された学習用入力信号に対して学習させた
該主ニューラルネットワークと、前段のニューラルネッ
トワークの出力ユニット信号に予め用意された教師信号
と比べ許容範囲を越えた誤差を生じた学習用入力信号に
対して順次学習させた該補正ニューラルネットワーク
と、前段の該ニューラルネットワークの出力ユニット信
号における許容範囲を越えた誤差の有無を出力状態教師
信号とし、出力状態信号を送出できるよう更に学習させ
た少なくとも最終段の該補正ニューラルネットワーク
と、該出力状態信号をもとに該ニューラルネットワーク
の出力ユニット信号の選択を決定する出力選択制御手段
と、該出力選択制御手段からの制御信号をもとに出力ユ
ニット信号を選択し送出する出力選択スイッチ手段とを
少なくとも具備し、出力信号を得る。
ために、本発明の並列ニューラルネットワークにおい
て、主ニューラルネットワークと少なくとも１つ以上の
補正ニューラルネットワークとを入力に対して並列接続
し、予め用意された学習用入力信号に対して学習させた
該主ニューラルネットワークと、前段のニューラルネッ
トワークの出力ユニット信号に予め用意された教師信号
と比べ許容範囲を越えた誤差を生じた学習用入力信号に
対して順次学習させた該補正ニューラルネットワーク
と、前段の該ニューラルネットワークの出力ユニット信
号における許容範囲を越えた誤差の有無を出力状態教師
信号とし、出力状態信号を送出できるよう更に学習させ
た少なくとも最終段の該補正ニューラルネットワーク
と、該出力状態信号をもとに該ニューラルネットワーク
の出力ユニット信号の選択を決定する出力選択制御手段
と、該出力選択制御手段からの制御信号をもとに出力ユ
ニット信号を選択し送出する出力選択スイッチ手段とを
少なくとも具備し、出力信号を得る。
【００１５】あるいは、主ニューラルネットワークと少
なくとも１つ以上の補正ニューラルネットワークとを入
力に対して並列接続し、予め用意された学習用入力信号
に対して学習させた該主ニューラルネットワークと、前
段のニューラルネットワークの出力ユニット信号にその
用いられた教師信号と比べ許容範囲を越えた誤差を生じ
た学習用入力信号に対して該誤差を教師信号として順次
学習させた補正用誤差を出力する該補正ニューラルネッ
トワークと、前段の該ニューラルネットワークの出力ユ
ニット信号における許容範囲を越えた誤差の有無を出力
状態教師信号とした出力状態信号を送出できるよう更に
学習させた少なくとも最終段の補正ニューラルネットワ
ークと、該出力状態信号をもとに該ニューラルネットワ
ークの出力ユニット信号の選択加算処理を決定する出力
選択制御手段と、該出力選択制御手段からの制御信号を
もとに該ニューラルネットワークの出力ユニット信号を
選択し、許容範囲を越えた誤差を持つ出力ユニット信号
に対しては補正用誤差である後段の補正ニューラルネッ
トワークの出力ユニット信号を加算し補正して送出する
出力選択加算手段とを少なくとも具備し、出力信号を得
る。
なくとも１つ以上の補正ニューラルネットワークとを入
力に対して並列接続し、予め用意された学習用入力信号
に対して学習させた該主ニューラルネットワークと、前
段のニューラルネットワークの出力ユニット信号にその
用いられた教師信号と比べ許容範囲を越えた誤差を生じ
た学習用入力信号に対して該誤差を教師信号として順次
学習させた補正用誤差を出力する該補正ニューラルネッ
トワークと、前段の該ニューラルネットワークの出力ユ
ニット信号における許容範囲を越えた誤差の有無を出力
状態教師信号とした出力状態信号を送出できるよう更に
学習させた少なくとも最終段の補正ニューラルネットワ
ークと、該出力状態信号をもとに該ニューラルネットワ
ークの出力ユニット信号の選択加算処理を決定する出力
選択制御手段と、該出力選択制御手段からの制御信号を
もとに該ニューラルネットワークの出力ユニット信号を
選択し、許容範囲を越えた誤差を持つ出力ユニット信号
に対しては補正用誤差である後段の補正ニューラルネッ
トワークの出力ユニット信号を加算し補正して送出する
出力選択加算手段とを少なくとも具備し、出力信号を得
る。
【００１６】
【作用】本発明の並列ニューラルネットワークでは、上
記のごとく主ニューラルネットワークからの出力ユニッ
ト信号が教師信号Ｔと比較して許容範囲を越えた誤差を
生じる学習用入力信号に対して、並列に接続された補正
ニューラルネットワークを用いて順次学習させ、また、
どのニューラルネットワークが許容誤差範囲内の出力ユ
ニット信号を送出するかを示す出力状態信号を少なくと
も最終段の補正ニューラルネットワークから送出できる
よう学習させている。従って、実行処理においては、主
及び補正ニューラルネットワークからの出力ユニット信
号の内、少なくとも最終段の補正ニューラルネットワー
クから出力された出力状態信号を基に、許容誤差範囲内
の出力ユニット信号を直接選択し、あるいは許容範囲を
越えた誤差を持つ出力ユニット信号を補正したのち選択
し、所望の出力信号を送出させる。
記のごとく主ニューラルネットワークからの出力ユニッ
ト信号が教師信号Ｔと比較して許容範囲を越えた誤差を
生じる学習用入力信号に対して、並列に接続された補正
ニューラルネットワークを用いて順次学習させ、また、
どのニューラルネットワークが許容誤差範囲内の出力ユ
ニット信号を送出するかを示す出力状態信号を少なくと
も最終段の補正ニューラルネットワークから送出できる
よう学習させている。従って、実行処理においては、主
及び補正ニューラルネットワークからの出力ユニット信
号の内、少なくとも最終段の補正ニューラルネットワー
クから出力された出力状態信号を基に、許容誤差範囲内
の出力ユニット信号を直接選択し、あるいは許容範囲を
越えた誤差を持つ出力ユニット信号を補正したのち選択
し、所望の出力信号を送出させる。
【００１７】並列接続された後段の補正ニューラルネッ
トワークでは、許容範囲を越えた誤差を発生する学習用
入力信号の数が段数と共に次第に少なくなり、最終段の
補正ニューラルネットワークにおいては、その出力ユニ
ット信号を許容できる誤差範囲内で確実に収束させるこ
とができ、学習用入力信号に対して所望の出力信号を出
力することが出来ると共に、学習外入力信号に対して
も、補正ニューラルネットワークの汎化性から、所望の
出力信号を得やすい。
トワークでは、許容範囲を越えた誤差を発生する学習用
入力信号の数が段数と共に次第に少なくなり、最終段の
補正ニューラルネットワークにおいては、その出力ユニ
ット信号を許容できる誤差範囲内で確実に収束させるこ
とができ、学習用入力信号に対して所望の出力信号を出
力することが出来ると共に、学習外入力信号に対して
も、補正ニューラルネットワークの汎化性から、所望の
出力信号を得やすい。
【００１８】また、教師信号Ｔに対して主あるいは補正
ニューラルネットワークの出力ユニット信号の許容範囲
を越えた誤差を補正教師信号として、学習用入力信号に
対して補正用誤差を出力するよう補正ニューラルネット
ワークを順次学習させ、最終段の補正ニューラルネット
ワークの学習過程において、その出力ユニット信号がそ
の補正教師信号と許容誤差範囲内になるよう収束させて
いるが、補正教師信号にはゼロ成分が非常に多く、而も
少ない数の学習用入力信号に対して少なくとも収束させ
ればよいことから、少ない学習回数あるいは少ない隠れ
ユニット数の条件下でも最終段の補正ニューラルネット
ワークの収束が簡単に得られる。また、中段の補正ニュ
ーラルネットワークにおいても、誤差を生じる学習用入
力信号の数が前段のそれより減少することから、学習回
数や隠れユニット数を大幅に減すことが出来きる。
ニューラルネットワークの出力ユニット信号の許容範囲
を越えた誤差を補正教師信号として、学習用入力信号に
対して補正用誤差を出力するよう補正ニューラルネット
ワークを順次学習させ、最終段の補正ニューラルネット
ワークの学習過程において、その出力ユニット信号がそ
の補正教師信号と許容誤差範囲内になるよう収束させて
いるが、補正教師信号にはゼロ成分が非常に多く、而も
少ない数の学習用入力信号に対して少なくとも収束させ
ればよいことから、少ない学習回数あるいは少ない隠れ
ユニット数の条件下でも最終段の補正ニューラルネット
ワークの収束が簡単に得られる。また、中段の補正ニュ
ーラルネットワークにおいても、誤差を生じる学習用入
力信号の数が前段のそれより減少することから、学習回
数や隠れユニット数を大幅に減すことが出来きる。
【００１９】各ニューラルネットワークの出力ユニット
信号が許容誤差範囲内かどうかを示す出力状態信号を出
力するため補正ニューラルネットワークを学習させる
際、その出力状態教師信号は多くのゼロ成分をもってお
り、容易に収束させることが出来きる。また、主および
補正ニューラルネットワークの汎化性から学習外入力信
号に対しても誤りの少ない出力状態信号及び出力ユニッ
ト信号を送出させることが出来る。
信号が許容誤差範囲内かどうかを示す出力状態信号を出
力するため補正ニューラルネットワークを学習させる
際、その出力状態教師信号は多くのゼロ成分をもってお
り、容易に収束させることが出来きる。また、主および
補正ニューラルネットワークの汎化性から学習外入力信
号に対しても誤りの少ない出力状態信号及び出力ユニッ
ト信号を送出させることが出来る。
【００２０】複雑な教師信号Ｔの為に、最終段のニュー
ラルネットワークが規定の学習回数以内で収束しない場
合には、その隠れユニット数を増やすか、あるいは前段
のニューラルネットワークの学習回数か、その隠れユニ
ット数を増やして再度学習させ、中段のニューラルネッ
トワークの補正教師信号との誤差を生じる学習用入力信
号の数を少なくすることにより、確実に最終段の補正ニ
ューラルネットワークを収束させることが出来る。
ラルネットワークが規定の学習回数以内で収束しない場
合には、その隠れユニット数を増やすか、あるいは前段
のニューラルネットワークの学習回数か、その隠れユニ
ット数を増やして再度学習させ、中段のニューラルネッ
トワークの補正教師信号との誤差を生じる学習用入力信
号の数を少なくすることにより、確実に最終段の補正ニ
ューラルネットワークを収束させることが出来る。
【００２１】
【実施例】以下に本発明の並列ニューラルネットワーク
の実施例１−５をあげ、その構成及びその動作につい
て、詳細に説明する。本発明の並列ニューラルネットワ
ークは、予め準備された学習用入力信号に対して結合重
みを学習させるための学習処理モードと、学習された結
合重みを用いて入力信号に対して出力信号を求める実行
処理モードとの２つのモードのもとに動作させる場合を
前提に説明する。ここで、入力信号、出力信号及び教師
信号、補正教師信号等はベクトルとして扱う。
の実施例１−５をあげ、その構成及びその動作につい
て、詳細に説明する。本発明の並列ニューラルネットワ
ークは、予め準備された学習用入力信号に対して結合重
みを学習させるための学習処理モードと、学習された結
合重みを用いて入力信号に対して出力信号を求める実行
処理モードとの２つのモードのもとに動作させる場合を
前提に説明する。ここで、入力信号、出力信号及び教師
信号、補正教師信号等はベクトルとして扱う。
【００２２】
【実施例１】実施例１としての本発明の並列ニューラル
ネットワーク３０において、実行処理モードにおける実
行処理の１構成例を図４に示す。本発明の並列ニューラ
ルネットワーク３０は、入力に対して並列接続された主
ニューラルネットワーク２１と補正ニューラルネットワ
ーク２２と、出力選択制御器２３と、出力選択スイッチ
１９と、主及び補正ニューラルネットワーク２１及び２
２の上記の動作モードを制御するための動作モード制御
器２４とから構成される。
ネットワーク３０において、実行処理モードにおける実
行処理の１構成例を図４に示す。本発明の並列ニューラ
ルネットワーク３０は、入力に対して並列接続された主
ニューラルネットワーク２１と補正ニューラルネットワ
ーク２２と、出力選択制御器２３と、出力選択スイッチ
１９と、主及び補正ニューラルネットワーク２１及び２
２の上記の動作モードを制御するための動作モード制御
器２４とから構成される。
【００２３】次に動作を説明する。動作モード制御器２
４は、学習処理モードと実行処理モードとの切り替えを
行う機能を有しており、動作モード制御回路２４からの
制御により実行処理モードに設定され動作を開始する。
主及び補正ニューラルネットワーク２１及び２２には、
学習処理モードにおける学習処理により得られた結合重
みがそれぞれ設定されている。主ニューラルネットワー
ク２１及び補正ニューラルネットワーク２２に入力され
た入力信号に対して、主ニューラルネットワーク２１及
び補正ニューラルネットワーク２２からの出力ユニット
信号の内、許容誤差範囲内の１つの出力ユニット信号の
選択を、補正ニューラルネットワーク２２からの出力状
態信号を基に出力選択制御器２３にて決定し、その出力
の制御信号により出力選択スイッチ１９内のスイッチを
切り替え、ニューラルネットワーク２１、２２からのい
ずれかの出力ユニット信号を端子３を介して出力信号Ｏ
として出力する。
４は、学習処理モードと実行処理モードとの切り替えを
行う機能を有しており、動作モード制御回路２４からの
制御により実行処理モードに設定され動作を開始する。
主及び補正ニューラルネットワーク２１及び２２には、
学習処理モードにおける学習処理により得られた結合重
みがそれぞれ設定されている。主ニューラルネットワー
ク２１及び補正ニューラルネットワーク２２に入力され
た入力信号に対して、主ニューラルネットワーク２１及
び補正ニューラルネットワーク２２からの出力ユニット
信号の内、許容誤差範囲内の１つの出力ユニット信号の
選択を、補正ニューラルネットワーク２２からの出力状
態信号を基に出力選択制御器２３にて決定し、その出力
の制御信号により出力選択スイッチ１９内のスイッチを
切り替え、ニューラルネットワーク２１、２２からのい
ずれかの出力ユニット信号を端子３を介して出力信号Ｏ
として出力する。
【００２４】ここで、出力状態信号は、主ニューラルネ
ットワーク２１からの出力ユニット信号が教師信号Ｔに
対して許容誤差範囲内であるかどうかを示す信号であ
り、補正ニューラルネットワーク２２の出力層にユニッ
トを付加し、後述の学習処理における出力状態教師信号
生成器２６にて求めた出力状態教師信号を用いて学習さ
せ、送出される。
ットワーク２１からの出力ユニット信号が教師信号Ｔに
対して許容誤差範囲内であるかどうかを示す信号であ
り、補正ニューラルネットワーク２２の出力層にユニッ
トを付加し、後述の学習処理における出力状態教師信号
生成器２６にて求めた出力状態教師信号を用いて学習さ
せ、送出される。
【００２５】主ニューラルネットワーク２１は、学習用
入力信号に対して必ずしも全ては所望の出力ユニット信
号を与えず、教師信号Ｔに対して許容範囲を越えた誤差
を持った出力ユニット信号を出力する場合がある。従っ
て、補正ニューラルネットワーク２２では、少なくとも
この誤差を生じている学習用入力信号に対して許容誤差
範囲内の出力ユニット信号が送出されるよう学習させ
る。また、出力状態信号は、主ニューラルネットワーク
２１の出力ユニット信号において教師信号Ｔに対して許
容範囲を越えた誤差の有無を示しており、この信号を基
に許容誤差範囲内の出力ユニット信号の選択が行われ
る。主ニューラルネットワーク２１が許容誤差範囲内の
出力ユニット信号を送出している場合には、補正ニュー
ラルネットワーク２２が許容誤差範囲を越えた出力信号
ユニットを出力しても、出力信号には影響を与えないこ
とから、補正ニューラルネットワーク２２の学習が簡単
に行える。
入力信号に対して必ずしも全ては所望の出力ユニット信
号を与えず、教師信号Ｔに対して許容範囲を越えた誤差
を持った出力ユニット信号を出力する場合がある。従っ
て、補正ニューラルネットワーク２２では、少なくとも
この誤差を生じている学習用入力信号に対して許容誤差
範囲内の出力ユニット信号が送出されるよう学習させ
る。また、出力状態信号は、主ニューラルネットワーク
２１の出力ユニット信号において教師信号Ｔに対して許
容範囲を越えた誤差の有無を示しており、この信号を基
に許容誤差範囲内の出力ユニット信号の選択が行われ
る。主ニューラルネットワーク２１が許容誤差範囲内の
出力ユニット信号を送出している場合には、補正ニュー
ラルネットワーク２２が許容誤差範囲を越えた出力信号
ユニットを出力しても、出力信号には影響を与えないこ
とから、補正ニューラルネットワーク２２の学習が簡単
に行える。
【００２６】次に、本発明の並列ニューラルネットワー
ク３０における学習処理モードでの学習処理の構成を図
５に示す。学習処理モードでは、まず、主ニューラルネ
ットワーク２１の初期パラメータを設定し、学習用入力
信号に対して教師信号Ｔを用いて結合重みの学習を開始
させる。ここで、例えば、学習回数など規定の学習条件
を満足すると学習を終了させ、出力ユニット信号と教師
信号Ｔとから誤差検出器２５にて誤差を検出し、出力状
態教師信号生成器２６にて、許容範囲を越えた誤差の有
無を主ニューラルネットワークの出力状態教師信号とし
て、例えば、許容範囲を越えた誤差が有れば１、無けれ
ば０とし学習用入力信号に対応させてそれぞれ記憶させ
る。この時、出力状態教師信号の成分は殆どがゼロとな
る。
ク３０における学習処理モードでの学習処理の構成を図
５に示す。学習処理モードでは、まず、主ニューラルネ
ットワーク２１の初期パラメータを設定し、学習用入力
信号に対して教師信号Ｔを用いて結合重みの学習を開始
させる。ここで、例えば、学習回数など規定の学習条件
を満足すると学習を終了させ、出力ユニット信号と教師
信号Ｔとから誤差検出器２５にて誤差を検出し、出力状
態教師信号生成器２６にて、許容範囲を越えた誤差の有
無を主ニューラルネットワークの出力状態教師信号とし
て、例えば、許容範囲を越えた誤差が有れば１、無けれ
ば０とし学習用入力信号に対応させてそれぞれ記憶させ
る。この時、出力状態教師信号の成分は殆どがゼロとな
る。
【００２７】次に、補正ニューラルネットワーク２２の
初期パラメータを設定し、学習用入力信号と教師信号Ｔ
と出力状態教師信号とを用いて学習を開始させる。主ニ
ューラルネットワーク２１の学習過程では、従来と同様
に、減算器２１０において、出力ユニット信号から教師
信号Ｔを差し引き、結合重み更新用誤差信号として結合
重み制御器２１１に入力し、端子２１２からの各層のユ
ニット出力信号とを基にその誤差電力が最小となるよう
結合重みの更新を行い、端子２１２を介して新たな結合
重みの設定を繰り返す。
初期パラメータを設定し、学習用入力信号と教師信号Ｔ
と出力状態教師信号とを用いて学習を開始させる。主ニ
ューラルネットワーク２１の学習過程では、従来と同様
に、減算器２１０において、出力ユニット信号から教師
信号Ｔを差し引き、結合重み更新用誤差信号として結合
重み制御器２１１に入力し、端子２１２からの各層のユ
ニット出力信号とを基にその誤差電力が最小となるよう
結合重みの更新を行い、端子２１２を介して新たな結合
重みの設定を繰り返す。
【００２８】ここで、主ニューラルネットワーク２１か
らの出力ユニット信号が教師信号Ｔと許容誤差範囲内で
一致するまで結合重みの学習を行うことは、従来技術の
問題点においても明らかにしたように困難な場合が多
い。従って、結合重み制御器２１１にて、例えば、学習
回数を規定値と比較する方法、実時間処理の場合などで
はタイマを用いその設定値と比較する方法、あるいは結
合重み更新用誤差信号の大きさを規定値と比較する方法
などのいずれかの方法により学習を終了させ、動作モー
ド制御器２４に指示する。
らの出力ユニット信号が教師信号Ｔと許容誤差範囲内で
一致するまで結合重みの学習を行うことは、従来技術の
問題点においても明らかにしたように困難な場合が多
い。従って、結合重み制御器２１１にて、例えば、学習
回数を規定値と比較する方法、実時間処理の場合などで
はタイマを用いその設定値と比較する方法、あるいは結
合重み更新用誤差信号の大きさを規定値と比較する方法
などのいずれかの方法により学習を終了させ、動作モー
ド制御器２４に指示する。
【００２９】補正ニューラルネットワーク２２の学習過
程では、減算器２２０にて出力ユニット信号から教師信
号Ｔを差し引き結合重み更新用誤差信号として、また、
減算器２２３にて出力状態信号から出力状態教師信号を
差し引き出力状態信号の為の結合重み更新用誤差信号と
して、結合重み制御器２２１にそれぞれ入力し、端子２
２２からの各層のユニット出力信号とを基にその誤差電
力が最小となるよう結合重みの更新を行い、端子２２２
を介して新たな結合重みの設定を繰り返す。
程では、減算器２２０にて出力ユニット信号から教師信
号Ｔを差し引き結合重み更新用誤差信号として、また、
減算器２２３にて出力状態信号から出力状態教師信号を
差し引き出力状態信号の為の結合重み更新用誤差信号と
して、結合重み制御器２２１にそれぞれ入力し、端子２
２２からの各層のユニット出力信号とを基にその誤差電
力が最小となるよう結合重みの更新を行い、端子２２２
を介して新たな結合重みの設定を繰り返す。
【００３０】ここで、収束判定器２７では、少なくとも
主ニューラルネットワーク２１において誤差を生じてい
る学習用入力信号に対する出力ユニット信号が対応した
教師信号Ｔと許容誤差範囲内で一致し、更に、全ての学
習用入力信号に対して出力状態信号と出力状態教師信号
とが許容誤差範囲内で一致する状態を検出するまで学習
を繰り返す。一致すれば、補正ニューラルネットワーク
２２が収束しているとみなし学習を終了させる。その
後、動作モード制御器２４により学習モードから実行処
理モードへ切り替える。
主ニューラルネットワーク２１において誤差を生じてい
る学習用入力信号に対する出力ユニット信号が対応した
教師信号Ｔと許容誤差範囲内で一致し、更に、全ての学
習用入力信号に対して出力状態信号と出力状態教師信号
とが許容誤差範囲内で一致する状態を検出するまで学習
を繰り返す。一致すれば、補正ニューラルネットワーク
２２が収束しているとみなし学習を終了させる。その
後、動作モード制御器２４により学習モードから実行処
理モードへ切り替える。
【００３１】この時、補正ニューラルネットワーク２２
において、規定の学習条件下で収束しない場合は、主ニ
ューラルネットワーク２１で許容範囲を越えた誤差を生
じている学習用入力信号に対してのみ学習回数を増やし
てもよく、更には、その誤差を生じている学習用入力信
号数が多すぎると見なし、動作モード制御器２４からの
制御のもとに補正ニューラルネットワーク２２の隠れユ
ニット数を増やし、再度学習させ、同様な処理を行わせ
てもよい。あるいは、主ニューラルネットワーク２１を
再度学習させ、許容範囲を越えた誤差を生じる学習用入
力信号の数を減少させ、出力状態教師信号を生成しなお
した後、補正ニューラルネットワーク２２を学習させ完
全に収束させてもよい。
において、規定の学習条件下で収束しない場合は、主ニ
ューラルネットワーク２１で許容範囲を越えた誤差を生
じている学習用入力信号に対してのみ学習回数を増やし
てもよく、更には、その誤差を生じている学習用入力信
号数が多すぎると見なし、動作モード制御器２４からの
制御のもとに補正ニューラルネットワーク２２の隠れユ
ニット数を増やし、再度学習させ、同様な処理を行わせ
てもよい。あるいは、主ニューラルネットワーク２１を
再度学習させ、許容範囲を越えた誤差を生じる学習用入
力信号の数を減少させ、出力状態教師信号を生成しなお
した後、補正ニューラルネットワーク２２を学習させ完
全に収束させてもよい。
【００３２】実行処理モードでは、上記の学習処理によ
り得られたそれぞれの結合重みが主及び補正ニューラル
ネットワーク２１、２２に設定されており、少なくとも
学習用入力信号に対しては許容誤差範囲内で教師信号Ｔ
と同一の出力ユニット信号が出力選択スイッチ１９を介
して得られ、主ニューラルネットワーク２１の不完全な
学習により生じた誤差に関係なく所望の出力信号Ｏを端
子３から得ることが出来る。
り得られたそれぞれの結合重みが主及び補正ニューラル
ネットワーク２１、２２に設定されており、少なくとも
学習用入力信号に対しては許容誤差範囲内で教師信号Ｔ
と同一の出力ユニット信号が出力選択スイッチ１９を介
して得られ、主ニューラルネットワーク２１の不完全な
学習により生じた誤差に関係なく所望の出力信号Ｏを端
子３から得ることが出来る。
【００３３】本実施例のニューラルネットワーク３０に
おいて、上記説明のごとく補正ニューラルネットワーク
２２を、少なくとも許容範囲を越えた誤差を発生してい
る限られた学習用入力信号に対して教師信号Ｔを用い
て、また、出力状態信号が正しく得られるよう出力状態
教師信号を用いてそれぞれ収束させれば良く、主ニュー
ラルネットワーク２１の収束は必ずしも必要ない。例え
ば、主ニューラルネットワークからの出力ユニット信号
の内、許容誤差範囲内の出力ユニット信号を９０％程度
送出するように学習させることは僅かの学習回数で実現
できる。これ以上に収束させ、より多くの所望の出力信
号を主ニューラルネットワーク２１から得ようとすれ
ば、指数関数的に学習回数が増加することからも、従来
方式に比べて学習回数を大幅に削減できることが明らか
である。
おいて、上記説明のごとく補正ニューラルネットワーク
２２を、少なくとも許容範囲を越えた誤差を発生してい
る限られた学習用入力信号に対して教師信号Ｔを用い
て、また、出力状態信号が正しく得られるよう出力状態
教師信号を用いてそれぞれ収束させれば良く、主ニュー
ラルネットワーク２１の収束は必ずしも必要ない。例え
ば、主ニューラルネットワークからの出力ユニット信号
の内、許容誤差範囲内の出力ユニット信号を９０％程度
送出するように学習させることは僅かの学習回数で実現
できる。これ以上に収束させ、より多くの所望の出力信
号を主ニューラルネットワーク２１から得ようとすれ
ば、指数関数的に学習回数が増加することからも、従来
方式に比べて学習回数を大幅に削減できることが明らか
である。
【００３４】一方、補正ニューラルネットワーク２２は
残りの１０％程度の学習用入力信号に対して、また、ゼ
ロ成分の多い出力状態教師信号に対して収束すればよ
く、これらを僅かの学習回数で許容誤差範囲内で完全に
収束させることは容易である。従って、学習において主
ニューラルネットワーク２１を所望の出力信号を送出す
るよう完全に収束させる必要がないことと、補正ニュー
ラルネットワーク２２でも学習の際に収束が簡単な為、
それぞれの中間層や隠れユニット数を削減でき、演算規
模も小さくなる。
残りの１０％程度の学習用入力信号に対して、また、ゼ
ロ成分の多い出力状態教師信号に対して収束すればよ
く、これらを僅かの学習回数で許容誤差範囲内で完全に
収束させることは容易である。従って、学習において主
ニューラルネットワーク２１を所望の出力信号を送出す
るよう完全に収束させる必要がないことと、補正ニュー
ラルネットワーク２２でも学習の際に収束が簡単な為、
それぞれの中間層や隠れユニット数を削減でき、演算規
模も小さくなる。
【００３５】学習外入力信号に対しても、補正ニューラ
ルネットワーク２２の汎化性から誤りの少ない出力状態
信号を得ることができ、同様に汎化性を持った主及び補
正ニューラルネットワーク２１、２２のいずれかから許
容誤差範囲内の出力ユニット信号を出力選択制御器２３
の制御のもとに選択して出力させることにより所望の出
力信号が得やすい。
ルネットワーク２２の汎化性から誤りの少ない出力状態
信号を得ることができ、同様に汎化性を持った主及び補
正ニューラルネットワーク２１、２２のいずれかから許
容誤差範囲内の出力ユニット信号を出力選択制御器２３
の制御のもとに選択して出力させることにより所望の出
力信号が得やすい。
【００３６】ここで、説明は省略するが、主ニューラル
ネットワーク２１と補正ニューラルネットワーク２２と
の間に並列に更に複数個の補正ニューラルネットワーク
を挿入し、前段のニューラルネットワークで許容範囲を
越えた誤差を生じている学習用入力信号に対して順次学
習させ、主ニューラルネットワーク２１及び全ての前段
の補正ニューラルネットワークで同時に誤差を生じてい
る学習用入力信号に対して少なくとも最終段の補正ニュ
ーラルネットワーク２２を学習させても良い。これらの
学習により得られたそれぞれの結合重みを設定し実行動
作させ、何れかのニューラルネットワークの出力ユニッ
ト信号を出力選択スイッチ１９を介して１つ選択して取
り出す構成でも良い。
ネットワーク２１と補正ニューラルネットワーク２２と
の間に並列に更に複数個の補正ニューラルネットワーク
を挿入し、前段のニューラルネットワークで許容範囲を
越えた誤差を生じている学習用入力信号に対して順次学
習させ、主ニューラルネットワーク２１及び全ての前段
の補正ニューラルネットワークで同時に誤差を生じてい
る学習用入力信号に対して少なくとも最終段の補正ニュ
ーラルネットワーク２２を学習させても良い。これらの
学習により得られたそれぞれの結合重みを設定し実行動
作させ、何れかのニューラルネットワークの出力ユニッ
ト信号を出力選択スイッチ１９を介して１つ選択して取
り出す構成でも良い。
【００３７】更には、最終段の補正ニューラルネットワ
ーク２２からだけでなく、全ての補正ニューラルネット
ワークからそれぞれの出力状態信号を送出させ、出力選
択制御器２３にて選択すべき出力ユニット信号を決定し
て、出力選択スイッチ１９を介して所望の出力ユニット
信号を選択し出力させてもよい。ここでは、これらの実
施例の実行処理及び学習処理の構成例は省略する。
ーク２２からだけでなく、全ての補正ニューラルネット
ワークからそれぞれの出力状態信号を送出させ、出力選
択制御器２３にて選択すべき出力ユニット信号を決定し
て、出力選択スイッチ１９を介して所望の出力ユニット
信号を選択し出力させてもよい。ここでは、これらの実
施例の実行処理及び学習処理の構成例は省略する。
【００３８】このように本発明の並列ニューラルネット
ワーク３０を用いて簡単に而も短時間で確実に学習させ
ることができることから、従来のニューラルネットワー
クでは極めて設計が困難な大規模ニューラルネットワー
クを容易に実現できる。また、本発明の並列ニューラル
ネットワーク３０において複数組の学習した結合重みを
それぞれ用意し、これらを切り替えて設定すれば、同一
の構成で複数個の大規模ニューラルネットワークを容易
に実現できる。また、状況に応じて短時間で学習し直す
ことも可能なことから、同一構成上に新たな入出力関係
を与える大規模ニューラルネットワークも容易に実現出
来る。また、従来のニューラルネットワークを本発明の
並列ニューラルネットワーク３０で置き換え、簡単に学
習をさせ、パターン認識、連想メモリ、データ圧縮、デ
ータ変換などに用いることも出来る。
ワーク３０を用いて簡単に而も短時間で確実に学習させ
ることができることから、従来のニューラルネットワー
クでは極めて設計が困難な大規模ニューラルネットワー
クを容易に実現できる。また、本発明の並列ニューラル
ネットワーク３０において複数組の学習した結合重みを
それぞれ用意し、これらを切り替えて設定すれば、同一
の構成で複数個の大規模ニューラルネットワークを容易
に実現できる。また、状況に応じて短時間で学習し直す
ことも可能なことから、同一構成上に新たな入出力関係
を与える大規模ニューラルネットワークも容易に実現出
来る。また、従来のニューラルネットワークを本発明の
並列ニューラルネットワーク３０で置き換え、簡単に学
習をさせ、パターン認識、連想メモリ、データ圧縮、デ
ータ変換などに用いることも出来る。
【００３９】
【実施例２】実施例２としての本発明の並列ニューラル
ネットワーク４０は、主ニューラルネットワーク２１と
補正ニューラルネットワーク２２とを用い入力に対して
並列接続し、主ニューラルネットワーク２１の出力ユニ
ット信号に許容範囲を越える誤差が有る場合は、補正ニ
ューラルネットワーク２２から補正用誤差としての出力
ユニット信号を送出させ、加算演算処理によりこの誤差
を補正して出力させる。
ネットワーク４０は、主ニューラルネットワーク２１と
補正ニューラルネットワーク２２とを用い入力に対して
並列接続し、主ニューラルネットワーク２１の出力ユニ
ット信号に許容範囲を越える誤差が有る場合は、補正ニ
ューラルネットワーク２２から補正用誤差としての出力
ユニット信号を送出させ、加算演算処理によりこの誤差
を補正して出力させる。
【００４０】実行処理モードでの実行処理の構成では、
実施例１と同様に各ニューラルネットワークに学習モー
ドでの学習処理により得られた結合重みが設定されてい
る。図６に示すように教師信号Ｔに対して主ニューラル
ネットワーク２１からの許容誤差範囲内の出力ユニット
信号は、出力選択制御器２３からの制御のもとに出力選
択加算器２８を介して端子３から直接出力し、許容誤差
範囲を越えた出力ユニット信号には補正ニューラルネッ
トワーク２２から補正用誤差として送出された出力ユニ
ット信号を出力選択加算器２８にて加算演算し誤差を補
正した後、端子３に出力する。実施例１と同様に、主ニ
ューラルネットワーク２１からの出力ユニット信号の許
容範囲を越えた誤差の有無を示す出力状態信号を補正ニ
ューラルネットワーク２２から送出させ、主ニューラル
ネットワーク２１からの出力ユニット信号を直接出力す
るか、あるいは補正し出力するかの選択を出力選択制御
器２３にて決定し、出力選択加算器２８を制御して、所
望の出力信号を端子３から得る。
実施例１と同様に各ニューラルネットワークに学習モー
ドでの学習処理により得られた結合重みが設定されてい
る。図６に示すように教師信号Ｔに対して主ニューラル
ネットワーク２１からの許容誤差範囲内の出力ユニット
信号は、出力選択制御器２３からの制御のもとに出力選
択加算器２８を介して端子３から直接出力し、許容誤差
範囲を越えた出力ユニット信号には補正ニューラルネッ
トワーク２２から補正用誤差として送出された出力ユニ
ット信号を出力選択加算器２８にて加算演算し誤差を補
正した後、端子３に出力する。実施例１と同様に、主ニ
ューラルネットワーク２１からの出力ユニット信号の許
容範囲を越えた誤差の有無を示す出力状態信号を補正ニ
ューラルネットワーク２２から送出させ、主ニューラル
ネットワーク２１からの出力ユニット信号を直接出力す
るか、あるいは補正し出力するかの選択を出力選択制御
器２３にて決定し、出力選択加算器２８を制御して、所
望の出力信号を端子３から得る。
【００４１】学習処理モードでの学習処理の１構成例を
図７に示す。これまでの実施例と同様に、まず、動作モ
ード制御器２４からの制御信号により、主ニューラルネ
ットワーク２１の学習を開始させる。学習終了後、誤差
検出器２５にて教師信号Ｔから出力ユニット信号を差し
引き誤差を求め、許容範囲を越えた誤差を補正教師信号
生成器２９にて補正教師信号として記憶させると共に、
出力状態教師信号生成器２６にて許容範囲を越えた誤差
の有無を示す出力状態教師信号を記憶させる。
図７に示す。これまでの実施例と同様に、まず、動作モ
ード制御器２４からの制御信号により、主ニューラルネ
ットワーク２１の学習を開始させる。学習終了後、誤差
検出器２５にて教師信号Ｔから出力ユニット信号を差し
引き誤差を求め、許容範囲を越えた誤差を補正教師信号
生成器２９にて補正教師信号として記憶させると共に、
出力状態教師信号生成器２６にて許容範囲を越えた誤差
の有無を示す出力状態教師信号を記憶させる。
【００４２】次に、動作モード制御器２４からの制御信
号により補正ニューラルネットワーク２２の学習を開始
させ、補正教師信号を補正教師信号生成器２９から読み
だし、減算器２２０にて結合重み更新用誤差信号を求
め、また、出力状態教師信号生成器２６から出力状態教
師信号を読みだし、減算器２２３にて結合重み更新用誤
差信号を求め、結合重み処理器２２１にそれぞれ入力
し、結合重みを修正し、端子２２２を介して補正ニュー
ラルネットワーク２２に設定し学習させる。この学習過
程において、収束判定器２７にて、少なくとも主ニュー
ラルネットワーク２１で許容範囲を越えた誤差を生じて
いる補正教師信号に対して出力ユニット信号が許容誤差
範囲内にあり、また、出力状態教師信号に対しても出力
状態信号がすべて許容誤差範囲内にあれば、収束したと
みなし学習を終了する。
号により補正ニューラルネットワーク２２の学習を開始
させ、補正教師信号を補正教師信号生成器２９から読み
だし、減算器２２０にて結合重み更新用誤差信号を求
め、また、出力状態教師信号生成器２６から出力状態教
師信号を読みだし、減算器２２３にて結合重み更新用誤
差信号を求め、結合重み処理器２２１にそれぞれ入力
し、結合重みを修正し、端子２２２を介して補正ニュー
ラルネットワーク２２に設定し学習させる。この学習過
程において、収束判定器２７にて、少なくとも主ニュー
ラルネットワーク２１で許容範囲を越えた誤差を生じて
いる補正教師信号に対して出力ユニット信号が許容誤差
範囲内にあり、また、出力状態教師信号に対しても出力
状態信号がすべて許容誤差範囲内にあれば、収束したと
みなし学習を終了する。
【００４３】規定の学習条件下で収束しなければ、実施
例１と同様な処理や、あるいは、更に主ニューラルネッ
トワーク２１の学習を再度開始して、主ニューラルネッ
トワーク２１での許容範囲を越えた誤差を生じる学習用
入力信号の数を減し、補正教師信号を生成しなおし、再
度補正ニューラルネットワーク２２を学習させてもよ
い。学習処理が終了すると、動作モード制御器２４によ
り学習処理モードを実行処理モードに切り替える。
例１と同様な処理や、あるいは、更に主ニューラルネッ
トワーク２１の学習を再度開始して、主ニューラルネッ
トワーク２１での許容範囲を越えた誤差を生じる学習用
入力信号の数を減し、補正教師信号を生成しなおし、再
度補正ニューラルネットワーク２２を学習させてもよ
い。学習処理が終了すると、動作モード制御器２４によ
り学習処理モードを実行処理モードに切り替える。
【００４４】補正教師信号は補正用誤差のあるところ以
外はゼロ成分となること、教師信号Ｔとは全く異なった
成分を有することから、また、少なくとも主ニューラル
ネットワーク２１において許容範囲を越えた誤差を生じ
ている学習用入力信号に対して学習させればよいことな
どから、補正ニューラルネットワーク２２を迅速に収束
させることが簡単にできる。
外はゼロ成分となること、教師信号Ｔとは全く異なった
成分を有することから、また、少なくとも主ニューラル
ネットワーク２１において許容範囲を越えた誤差を生じ
ている学習用入力信号に対して学習させればよいことな
どから、補正ニューラルネットワーク２２を迅速に収束
させることが簡単にできる。
【００４５】
【実施例３】実施例３としての本発明の並列ニューラル
ネットワーク５０において、学習による収束をより簡単
に行う為に、主ニューラルネットワーク２１と補正ニュ
ーラルネットワーク２２との間に更に並列に補正ニュー
ラルネットワーク３１を付加し、許容誤差範囲内の出力
ユニット信号の選択と誤差の補正とを組み合わせた１構
成例を示す。この場合の実行処理の１構成例を図８に示
す。最初に、主ニューラルネットワーク２１、次に補正
ニューラルネットワーク３１、更に補正ニューラルネッ
トワーク２２と実施例１あるいは２のごとく順次学習さ
せた結合重み係数がそれぞれ設定されている。出力選択
加算器２８にて、主ニューラルネットワーク２１の許容
範囲を越えた誤差に対して、補正ニューラルネットワー
ク３１からの出力ユニット信号を、切り替えて用いる処
理や、補正用誤差として加算処理によりその誤差の補正
に用いる処理などが出力選択制御器３２からの制御信号
のもとに内部のスイッチを制御することにより実行され
る。
ネットワーク５０において、学習による収束をより簡単
に行う為に、主ニューラルネットワーク２１と補正ニュ
ーラルネットワーク２２との間に更に並列に補正ニュー
ラルネットワーク３１を付加し、許容誤差範囲内の出力
ユニット信号の選択と誤差の補正とを組み合わせた１構
成例を示す。この場合の実行処理の１構成例を図８に示
す。最初に、主ニューラルネットワーク２１、次に補正
ニューラルネットワーク３１、更に補正ニューラルネッ
トワーク２２と実施例１あるいは２のごとく順次学習さ
せた結合重み係数がそれぞれ設定されている。出力選択
加算器２８にて、主ニューラルネットワーク２１の許容
範囲を越えた誤差に対して、補正ニューラルネットワー
ク３１からの出力ユニット信号を、切り替えて用いる処
理や、補正用誤差として加算処理によりその誤差の補正
に用いる処理などが出力選択制御器３２からの制御信号
のもとに内部のスイッチを制御することにより実行され
る。
【００４６】更には、補正ニューラルネットワーク３１
からの出力ユニット信号が許容範囲を越えた誤差を生じ
ている場合には、出力選択加算器２８にて、補正ニュー
ラルネットワーク２２からの出力ユニット信号を、切り
替えて用いる処理、あるいは補正ニューラルネットワー
ク３１で生じている許容範囲を越えた誤差を補正ニュー
ラルネットワーク２２からの補正用誤差を用いて加算処
理により補正する処理なども内部のスイッチを制御する
ことにより実現される。
からの出力ユニット信号が許容範囲を越えた誤差を生じ
ている場合には、出力選択加算器２８にて、補正ニュー
ラルネットワーク２２からの出力ユニット信号を、切り
替えて用いる処理、あるいは補正ニューラルネットワー
ク３１で生じている許容範囲を越えた誤差を補正ニュー
ラルネットワーク２２からの補正用誤差を用いて加算処
理により補正する処理なども内部のスイッチを制御する
ことにより実現される。
【００４７】このように出力選択制御器３２ではどのニ
ューラルネットワークからの出力ユニット信号を直接用
いるか、あるいは補正用誤差として用いるかを補正ニュ
ーラルネットワーク２２、３１からの出力状態信号をも
とに決定し、出力選択加算器２８を制御する。
ューラルネットワークからの出力ユニット信号を直接用
いるか、あるいは補正用誤差として用いるかを補正ニュ
ーラルネットワーク２２、３１からの出力状態信号をも
とに決定し、出力選択加算器２８を制御する。
【００４８】それぞれニューラルネットワークでは、実
行処理の方法によって学習方法が異なり、出力ユニット
信号を選択し直接出力する場合には教師信号Ｔを用いて
学習させ、補正用誤差としての出力ユニット信号を出力
させるには補正教師信号を用いて学習させることにな
る。従って、前段のニューラルネットワークの許容範囲
を越えた誤差の出方によって、教師信号Ｔを用いるか補
正教師を用いるかの学習方法を選択することも出来る。
これらの学習処理の説明はここでは省略する。
行処理の方法によって学習方法が異なり、出力ユニット
信号を選択し直接出力する場合には教師信号Ｔを用いて
学習させ、補正用誤差としての出力ユニット信号を出力
させるには補正教師信号を用いて学習させることにな
る。従って、前段のニューラルネットワークの許容範囲
を越えた誤差の出方によって、教師信号Ｔを用いるか補
正教師を用いるかの学習方法を選択することも出来る。
これらの学習処理の説明はここでは省略する。
【００４９】
【実施例４】実施例４の本発明の並列ニューラルネット
ワーク６０として、主ニューラルネットワーク２１と、
補正ニューラルネットワーク２２と、出力状態ニューラ
ルネットワーク３３とを入力に対して並列に接続し、主
及び補正ニューラルネットワーク２１、２２のいずれが
許容誤差範囲内の出力ユニット信号を出力しているかを
示す出力状態信号を得る為に、実施例１とは異なり、独
立に出力状態ニューラルネットワーク３３を用意して行
う方式を示す。
ワーク６０として、主ニューラルネットワーク２１と、
補正ニューラルネットワーク２２と、出力状態ニューラ
ルネットワーク３３とを入力に対して並列に接続し、主
及び補正ニューラルネットワーク２１、２２のいずれが
許容誤差範囲内の出力ユニット信号を出力しているかを
示す出力状態信号を得る為に、実施例１とは異なり、独
立に出力状態ニューラルネットワーク３３を用意して行
う方式を示す。
【００５０】実行処理モードでの実行処理の１構成例を
図９に示す。補正ニューラルネットワーク２２には、学
習モードにおける学習処理により主ニューラルネットワ
ーク２１からの出力ユニット信号において許容範囲を越
える誤差を生じる学習用入力信号に対して、許容誤差範
囲内の出力ユニット信号を送出するよう学習させた結合
重みが設定されている。また、出力状態ニューラルネッ
トワーク３３には、主ニューラルネットワーク２１の許
容範囲を越えた誤差の有無を示す出力状態信号を独立に
出力するよう学習させた結合重みが設定されている。こ
の出力状態信号に基づき出力選択制御器２３にてどのニ
ューラルネットワークの出力ユニット信号を選択するか
を決定し、出力選択スイッチ１９を動作させ、所望の出
力信号Ｏを端子３から出力させることが出来る。
図９に示す。補正ニューラルネットワーク２２には、学
習モードにおける学習処理により主ニューラルネットワ
ーク２１からの出力ユニット信号において許容範囲を越
える誤差を生じる学習用入力信号に対して、許容誤差範
囲内の出力ユニット信号を送出するよう学習させた結合
重みが設定されている。また、出力状態ニューラルネッ
トワーク３３には、主ニューラルネットワーク２１の許
容範囲を越えた誤差の有無を示す出力状態信号を独立に
出力するよう学習させた結合重みが設定されている。こ
の出力状態信号に基づき出力選択制御器２３にてどのニ
ューラルネットワークの出力ユニット信号を選択するか
を決定し、出力選択スイッチ１９を動作させ、所望の出
力信号Ｏを端子３から出力させることが出来る。
【００５１】図１０の学習処理モードでの学習処理の構
成としては、実施例１と同様に、まず、主ニューラルネ
ットワーク２１を学習させる。規定の学習条件下で学習
が終了すると、教師信号Ｔと出力ユニット信号とから誤
差を誤差検出器２５にて求め、出力状態教師信号生成器
２６にて許容範囲を越えた誤差の有無を出力状態教師信
号として記憶させる。次に、補正ニューラルネットワー
ク２２を教師信号Ｔを用いて学習させる。主ニューラル
ネットワーク２１からの出力ユニット信号が許容範囲を
越えた誤差を送出する学習用入力信号に対して、補正ニ
ューラルネットワーク２２からの出力ユニット信号とそ
の教師信号Ｔとが許容誤差範囲内で一致したことを収束
判定器３９にて検出すると、収束したと見なし学習を終
了させる。
成としては、実施例１と同様に、まず、主ニューラルネ
ットワーク２１を学習させる。規定の学習条件下で学習
が終了すると、教師信号Ｔと出力ユニット信号とから誤
差を誤差検出器２５にて求め、出力状態教師信号生成器
２６にて許容範囲を越えた誤差の有無を出力状態教師信
号として記憶させる。次に、補正ニューラルネットワー
ク２２を教師信号Ｔを用いて学習させる。主ニューラル
ネットワーク２１からの出力ユニット信号が許容範囲を
越えた誤差を送出する学習用入力信号に対して、補正ニ
ューラルネットワーク２２からの出力ユニット信号とそ
の教師信号Ｔとが許容誤差範囲内で一致したことを収束
判定器３９にて検出すると、収束したと見なし学習を終
了させる。
【００５２】更に、出力状態ニューラルネットワーク３
３において、出力状態教師信号生成器２６からの出力状
態教師信号を基に学習させる。出力ユニット信号と出力
状態教師信号とが許容誤差範囲内で一致したことを収束
判定器３５にて検出すると、収束したとみなし学習を終
了させる。
３において、出力状態教師信号生成器２６からの出力状
態教師信号を基に学習させる。出力ユニット信号と出力
状態教師信号とが許容誤差範囲内で一致したことを収束
判定器３５にて検出すると、収束したとみなし学習を終
了させる。
【００５３】規定の学習回数以内で一致しない場合は、
動作モード制御器３４からの制御のもとに補正ニューラ
ルネットワーク２２や出力状態ニューラルネットワーク
３３の隠れユニット数を増やし、再度、これらのニュー
ラルネットワークを学習させる。更に収束しない場合に
は、主ニューラルネットワーク２１を再度学習させ、許
容範囲を越える誤差を生じる学習用入力信号の数を減
し、出力状態教師信号を求め直した後、補正ニューラル
ネットワーク２２及び出力状態ニューラルネットワーク
３３を再度学習させてもよい。
動作モード制御器３４からの制御のもとに補正ニューラ
ルネットワーク２２や出力状態ニューラルネットワーク
３３の隠れユニット数を増やし、再度、これらのニュー
ラルネットワークを学習させる。更に収束しない場合に
は、主ニューラルネットワーク２１を再度学習させ、許
容範囲を越える誤差を生じる学習用入力信号の数を減
し、出力状態教師信号を求め直した後、補正ニューラル
ネットワーク２２及び出力状態ニューラルネットワーク
３３を再度学習させてもよい。
【００５４】尚、ここでは、詳細な構成は省略するが、
図９において出力選択スイッチ１９の代わりに出力選択
加算器２８を用い、実施例２のごとく主ニューラルネッ
トワーク２１での許容範囲を越えた誤差からなる補正教
師信号を用いて補正ニューラルネットワーク２２を学習
させて、補正用誤差を出力させ出力選択加算器２８にて
加算処理させて誤差を補正する構成としても良い。
図９において出力選択スイッチ１９の代わりに出力選択
加算器２８を用い、実施例２のごとく主ニューラルネッ
トワーク２１での許容範囲を越えた誤差からなる補正教
師信号を用いて補正ニューラルネットワーク２２を学習
させて、補正用誤差を出力させ出力選択加算器２８にて
加算処理させて誤差を補正する構成としても良い。
【００５５】本実施例とこれまでの実施例との基本的な
違いは、出力状態信号を出力させるために出力状態ニュ
ーラルネットワーク３３を独立に用いて実現しているこ
とである。補正及び出力状態ニューラルネットワーク２
２、３３は自由度が増し簡単に確実に収束させることが
出来ることから、それぞれのニューラルネットワークの
隠れユニット数の削減や学習回数の削減が可能となる。
違いは、出力状態信号を出力させるために出力状態ニュ
ーラルネットワーク３３を独立に用いて実現しているこ
とである。補正及び出力状態ニューラルネットワーク２
２、３３は自由度が増し簡単に確実に収束させることが
出来ることから、それぞれのニューラルネットワークの
隠れユニット数の削減や学習回数の削減が可能となる。
【００５６】本実施例は、主ニューラルネットワーク２
１、補正ニューラルネットワーク２２及び出力状態ニュ
ーラルネットワーク３３とも設計の自由度を増すことが
でき、従来では高速で安定な収束ができない大規模ニュ
ーラルネットワークを本発明の並列ニューラルネットワ
ークで実現出来る。
１、補正ニューラルネットワーク２２及び出力状態ニュ
ーラルネットワーク３３とも設計の自由度を増すことが
でき、従来では高速で安定な収束ができない大規模ニュ
ーラルネットワークを本発明の並列ニューラルネットワ
ークで実現出来る。
【００５７】
【実施例５】実施例５の本発明の並列ニューラルネット
ワーク７０として、主ニューラルネットワーク２１と、
補正ニューラルネットワーク２２と、出力状態ニューラ
ルネットワーク３３とを入力に対して並列接続し、補正
ニューラルネットワーク２２からの出力状態信号の許容
誤差を越えた誤差を出力状態ニューラルネットワーク３
３からの出力ユニット信号で補正する方式の１構成例を
示す。
ワーク７０として、主ニューラルネットワーク２１と、
補正ニューラルネットワーク２２と、出力状態ニューラ
ルネットワーク３３とを入力に対して並列接続し、補正
ニューラルネットワーク２２からの出力状態信号の許容
誤差を越えた誤差を出力状態ニューラルネットワーク３
３からの出力ユニット信号で補正する方式の１構成例を
示す。
【００５８】実行処理モードでの実行処理の構成におい
て、図１１に示すように実施例２と同様に教師信号Ｔに
対して主ニューラルネットワーク２１からの許容誤差範
囲内の出力ユニット信号を、出力選択制御器３６からの
制御のもとに出力選択加算器２８を介して端子３から出
力し、許容誤差範囲を越えた出力ユニット信号には補正
ニューラルネットワーク２２から補正用誤差として送出
された出力ユニット信号を出力選択加算器２８にて加算
演算し誤差を補正した後、端子３に出力し所望の出力信
号を得る。
て、図１１に示すように実施例２と同様に教師信号Ｔに
対して主ニューラルネットワーク２１からの許容誤差範
囲内の出力ユニット信号を、出力選択制御器３６からの
制御のもとに出力選択加算器２８を介して端子３から出
力し、許容誤差範囲を越えた出力ユニット信号には補正
ニューラルネットワーク２２から補正用誤差として送出
された出力ユニット信号を出力選択加算器２８にて加算
演算し誤差を補正した後、端子３に出力し所望の出力信
号を得る。
【００５９】出力選択制御器３６は、主ニューラルネッ
トワーク２１からの出力ユニット信号の許容範囲を越え
た誤差の有無を示す出力状態信号を補正ニューラルネッ
トワーク２２から送出させ、これに許容範囲を越えた誤
差があれば、出力状態ニューラルネットワーク３３から
の出力状態補正用誤差としての出力ユニット信号を加算
しその誤差を補正し、正しい出力状態信号を得た後、制
御信号を出力選択加算器２８に出力する。
トワーク２１からの出力ユニット信号の許容範囲を越え
た誤差の有無を示す出力状態信号を補正ニューラルネッ
トワーク２２から送出させ、これに許容範囲を越えた誤
差があれば、出力状態ニューラルネットワーク３３から
の出力状態補正用誤差としての出力ユニット信号を加算
しその誤差を補正し、正しい出力状態信号を得た後、制
御信号を出力選択加算器２８に出力する。
【００６０】学習処理モードでの学習処理の１構成例を
図１２に示す。実施例３と同様に、まず、動作モード制
御器３４からの制御信号により主ニューラルネットワー
ク２１の学習を開始させる。学習終了後、誤差検出器２
５にて教師信号Ｔから出力ユニット信号を差し引き誤差
を求め、許容範囲を越えた誤差を補正教師信号生成器２
９にて補正教師信号として記憶させると共に、出力状態
教師信号生成器２６にて許容範囲を越えた誤差の有無を
示す出力状態教師信号を記憶させる。
図１２に示す。実施例３と同様に、まず、動作モード制
御器３４からの制御信号により主ニューラルネットワー
ク２１の学習を開始させる。学習終了後、誤差検出器２
５にて教師信号Ｔから出力ユニット信号を差し引き誤差
を求め、許容範囲を越えた誤差を補正教師信号生成器２
９にて補正教師信号として記憶させると共に、出力状態
教師信号生成器２６にて許容範囲を越えた誤差の有無を
示す出力状態教師信号を記憶させる。
【００６１】次に、動作モード制御器３４からの制御信
号により補正ニューラルネットワーク２２の学習を補正
教師信号と出力状態教師信号とを用いて開始させ、補正
教師信号を補正教師信号生成器２９から読みだし学習さ
せる。この学習過程において、収束判定器３９にて主ニ
ューラルネットワーク２１にて許容範囲を越えた誤差を
生じている学習用入力信号に対して出力ユニット信号が
許容誤差範囲内にあれば、収束したと見なして学習を終
了させる。また、この時、誤差検出器３７にて出力教師
信号生成器２６からの出力状態教師信号から出力状態信
号を差し引き誤差を検出し、許容範囲を越えた誤差があ
れば、出力状態補正教師信号として出力状態補正教師信
号生成器３８に記憶させる。
号により補正ニューラルネットワーク２２の学習を補正
教師信号と出力状態教師信号とを用いて開始させ、補正
教師信号を補正教師信号生成器２９から読みだし学習さ
せる。この学習過程において、収束判定器３９にて主ニ
ューラルネットワーク２１にて許容範囲を越えた誤差を
生じている学習用入力信号に対して出力ユニット信号が
許容誤差範囲内にあれば、収束したと見なして学習を終
了させる。また、この時、誤差検出器３７にて出力教師
信号生成器２６からの出力状態教師信号から出力状態信
号を差し引き誤差を検出し、許容範囲を越えた誤差があ
れば、出力状態補正教師信号として出力状態補正教師信
号生成器３８に記憶させる。
【００６２】次に、動作モード制御器３４からの制御信
号により出力状態補正教師信号を用いて出力状態ニュー
ラルネットワーク３３の学習を開始させる。この学習過
程において、収束判定器３５にて出力状態補正教師信号
に対して出力状態補正信号が許容誤差範囲内にあれば、
収束したと見なして学習を終了させる。
号により出力状態補正教師信号を用いて出力状態ニュー
ラルネットワーク３３の学習を開始させる。この学習過
程において、収束判定器３５にて出力状態補正教師信号
に対して出力状態補正信号が許容誤差範囲内にあれば、
収束したと見なして学習を終了させる。
【００６３】規定の学習条件下で収束しなければ、出力
状態ニューラルネットワーク３３の隠れユニット数を増
やし再度出力状態ニューラルネットワーク３３の学習を
繰り返してもよい。また、補正ニューラルネットワーク
２２の収束判定器３９において収束が検出されない場合
には、その隠れユニット数を増やし再度補正ニューラル
ネットワーク２２の学習を繰り返してもよい。あるい
は、更に主ニューラルネットワーク２１の学習を再度開
始して、主ニューラルネットワーク２１での許容範囲を
越えた誤差を生じる学習用入力信号の数を減し、補正教
師信号生成器２９での補正教師信号を生成しなおし、再
度補正ニューラルネットワーク２２を学習させてもよ
い。学習処理が終了すると、動作モード制御器３４によ
り学習処理モードを実行処理モードに切り替える。
状態ニューラルネットワーク３３の隠れユニット数を増
やし再度出力状態ニューラルネットワーク３３の学習を
繰り返してもよい。また、補正ニューラルネットワーク
２２の収束判定器３９において収束が検出されない場合
には、その隠れユニット数を増やし再度補正ニューラル
ネットワーク２２の学習を繰り返してもよい。あるい
は、更に主ニューラルネットワーク２１の学習を再度開
始して、主ニューラルネットワーク２１での許容範囲を
越えた誤差を生じる学習用入力信号の数を減し、補正教
師信号生成器２９での補正教師信号を生成しなおし、再
度補正ニューラルネットワーク２２を学習させてもよ
い。学習処理が終了すると、動作モード制御器３４によ
り学習処理モードを実行処理モードに切り替える。
【００６４】このように、正しい出力状態信号が補正ニ
ューラルネットワーク２２で得られない場合には、出力
状態ニューラルネットワーク３３を用いて出力状態補正
信号を出力させ、出力選択制御器３６にて加算処理によ
り補正し、正しい出力状態信号を得た後、制御信号を出
力選択加算器２８に出力する。これにより、学習外入力
信号に対しても所望の出力信号が得やすくなる。
ューラルネットワーク２２で得られない場合には、出力
状態ニューラルネットワーク３３を用いて出力状態補正
信号を出力させ、出力選択制御器３６にて加算処理によ
り補正し、正しい出力状態信号を得た後、制御信号を出
力選択加算器２８に出力する。これにより、学習外入力
信号に対しても所望の出力信号が得やすくなる。
【００６５】ここでは、詳細を省略するが、実施例１−
５において、主及び補正ニューラルネットワークの出力
ユニット信号に対してそれぞれ多値スレショルド回路を
介して多値出力ユニット信号を得、収束判定器において
教師信号Ｔとあるいは補正教師信号と多値出力ユニット
信号とが一致したことを検出することにより収束したと
判断させ、また、実行処理における各ニューラルネット
ワークと出力選択スイッチとの間、あるいは出力選択加
算器との間にそれぞれ多値スレショルド回路を挿入した
多値ニューラルネットワークを構成してもよい。
５において、主及び補正ニューラルネットワークの出力
ユニット信号に対してそれぞれ多値スレショルド回路を
介して多値出力ユニット信号を得、収束判定器において
教師信号Ｔとあるいは補正教師信号と多値出力ユニット
信号とが一致したことを検出することにより収束したと
判断させ、また、実行処理における各ニューラルネット
ワークと出力選択スイッチとの間、あるいは出力選択加
算器との間にそれぞれ多値スレショルド回路を挿入した
多値ニューラルネットワークを構成してもよい。
【００６６】また、更に出力選択加算器の代わりに出力
選択加法演算器を用いることにより、多値論理ニューラ
ルネットワークを構成してもよい。
選択加法演算器を用いることにより、多値論理ニューラ
ルネットワークを構成してもよい。
【００６７】以上の実施例１−５において、示したごと
く補正ニューラルネットワークとして教師信号を用いて
学習させることが出来るニューラルネットワークであれ
ば、上記の多層ニューラルネットワーク以外のニューラ
ルネットワークを用いても良い。また、主ニューラルネ
ットワーク２１としては教師信号を用いないニューラル
ネットワークを適用することも出来る。
く補正ニューラルネットワークとして教師信号を用いて
学習させることが出来るニューラルネットワークであれ
ば、上記の多層ニューラルネットワーク以外のニューラ
ルネットワークを用いても良い。また、主ニューラルネ
ットワーク２１としては教師信号を用いないニューラル
ネットワークを適用することも出来る。
【００６８】また、並列ニューラルネットワークにおい
て、最終段の該補正ニューラルネットワークの学習の際
に、該補正ニューラルネットワーク、あるいは更に該主
ニューラルネットワークの隠れユニット数を増やし再度
学習させ収束させることもできる。
て、最終段の該補正ニューラルネットワークの学習の際
に、該補正ニューラルネットワーク、あるいは更に該主
ニューラルネットワークの隠れユニット数を増やし再度
学習させ収束させることもできる。
【００６９】また、並列ニューラルネットワークにおい
て、出力選択制御器を省略し、その機能を補正ニューラ
ルネットワークもしくは出力状態ニューラルネットワー
クに行わせることもできる。
て、出力選択制御器を省略し、その機能を補正ニューラ
ルネットワークもしくは出力状態ニューラルネットワー
クに行わせることもできる。
【００７０】
【発明の効果】以上述べたように、本発明の並列ニュー
ラルネットワークは、入力に対して主ニューラルネット
ワークと少なくとも１つ以上の補正ニューラルネットワ
ークとを入力に対して並列に接続し、それぞれを順次学
習させ、少なくとも最終段の補正ニューラルネットワー
クからの出力状態信号を用いて、入力信号に対して主及
び補正ニューラルネットワークからの出力ユニット信号
を直接出力させるか、あるいは加算演算処理を介して、
更に多値演算処理の場合には加法演算処理を介して出力
させることにより、学習用入力信号に対して所望の出力
信号を出力させ、学習外入力信号に対してもより多くの
所望の出力信号を得ることが簡単に出来る。
ラルネットワークは、入力に対して主ニューラルネット
ワークと少なくとも１つ以上の補正ニューラルネットワ
ークとを入力に対して並列に接続し、それぞれを順次学
習させ、少なくとも最終段の補正ニューラルネットワー
クからの出力状態信号を用いて、入力信号に対して主及
び補正ニューラルネットワークからの出力ユニット信号
を直接出力させるか、あるいは加算演算処理を介して、
更に多値演算処理の場合には加法演算処理を介して出力
させることにより、学習用入力信号に対して所望の出力
信号を出力させ、学習外入力信号に対してもより多くの
所望の出力信号を得ることが簡単に出来る。
【００７１】従来方式によるニューラルネットワークに
比べて、少ない中間層ユニットあるいは隠れユニットを
用いて少ない学習回数で等価的に安定に収束させ、所望
の出力信号を送出することができ、また、非常に多くの
入力信号エレメント数を持った入力信号や数多くの教師
信号Ｔを有したユニット数の多い並列ニューラルネット
ワークも実現できる。
比べて、少ない中間層ユニットあるいは隠れユニットを
用いて少ない学習回数で等価的に安定に収束させ、所望
の出力信号を送出することができ、また、非常に多くの
入力信号エレメント数を持った入力信号や数多くの教師
信号Ｔを有したユニット数の多い並列ニューラルネット
ワークも実現できる。
【００７２】これらのことから、従来技術では実現が困
難な大規模ニューラルネットワークを短時間で自由に設
計し実現することや、これまで迅速な学習が必要で、且
つ完全な収束が要求される人工知能システムや検索シス
テム、データ変換、データ圧縮、多値画像処理、更に
は、通信システムなどへの幅広い応用ができるなどの非
常に幅広い効果を有している。
難な大規模ニューラルネットワークを短時間で自由に設
計し実現することや、これまで迅速な学習が必要で、且
つ完全な収束が要求される人工知能システムや検索シス
テム、データ変換、データ圧縮、多値画像処理、更に
は、通信システムなどへの幅広い応用ができるなどの非
常に幅広い効果を有している。
【００７３】また、本発明の多値論理ニューラルネット
ワークにおいて学習した結合重みをそれぞれ複数組用意
し、結合重みを切り替え設定すれば、一定遅延を持った
プログラマブルな大規模可変多値論理回路も容易に実現
でき、また、状況に応じて短時間で学習しなおすことに
より同一ハードウェア上に新たな大規模多値論理回路も
実現できる。特に、本発明の並列ニューラルネットワー
クを低い内部演算精度を持った同一の複数のニューロＬ
ＳＩチップを用いて構成することにより、並列処理機能
と柔軟性に富んだ多値論理演算処理の効果的な利用が出
来る。また等価的に完全に学習用入力信号に対して収束
させられることからも、本発明の並列ニューラルネット
ワークを複雑に組み合わせた大規模ニューラルネットワ
ークを容易に構成することも可能である。
ワークにおいて学習した結合重みをそれぞれ複数組用意
し、結合重みを切り替え設定すれば、一定遅延を持った
プログラマブルな大規模可変多値論理回路も容易に実現
でき、また、状況に応じて短時間で学習しなおすことに
より同一ハードウェア上に新たな大規模多値論理回路も
実現できる。特に、本発明の並列ニューラルネットワー
クを低い内部演算精度を持った同一の複数のニューロＬ
ＳＩチップを用いて構成することにより、並列処理機能
と柔軟性に富んだ多値論理演算処理の効果的な利用が出
来る。また等価的に完全に学習用入力信号に対して収束
させられることからも、本発明の並列ニューラルネット
ワークを複雑に組み合わせた大規模ニューラルネットワ
ークを容易に構成することも可能である。
【図１】従来方式による３層ニューラルネットワークの
実行処理の１構成例である。
実行処理の１構成例である。
【図２】従来方式による３層ニューラルネットワークに
おける学習処理の１構成例である。
おける学習処理の１構成例である。
【図３】従来方式による並列ニューラルネットワークの
実行処理の１構成例である。
実行処理の１構成例である。
【図４】実施例１における本発明の並列ニューラルネッ
トワークの実行処理の１構成例である。
トワークの実行処理の１構成例である。
【図５】実施例１における本発明の並列ニューラルネッ
トワークの学習処理の１構成例である。
トワークの学習処理の１構成例である。
【図６】実施例２における本発明の並列ニューラルネッ
トワークの実行処理の１構成例である。
トワークの実行処理の１構成例である。
【図７】実施例２における本発明の並列ニューラルネッ
トワークの学習処理の１構成例である。
トワークの学習処理の１構成例である。
【図８】実施例３における本発明の並列ニューラルネッ
トワークの実行処理の１構成例である。
トワークの実行処理の１構成例である。
【図９】実施例４における本発明の並列ニューラルネッ
トワークの実行処理の１構成例である。
トワークの実行処理の１構成例である。
【図１０】実施例４における本発明の並列ニューラルネ
ットワークの学習処理の１構成例である。
ットワークの学習処理の１構成例である。
【図１１】実施例５における本発明の並列ニューラルネ
ットワークの実行処理の１構成例である。
ットワークの実行処理の１構成例である。
【図１２】実施例５における本発明の並列ニューラルネ
ットワークの学習処理の１構成例である。
ットワークの学習処理の１構成例である。
１ ３層ニューラルネットワーク ２ ニューラルネットワーク入力信号入力端子 ２1 ニューラルネットワーク入力信号ユニット入力端
子 ２2 ニューラルネットワーク入力信号ユニット入力端
子 ２N ニューラルネットワーク入力信号ユニット入力端
子 ３ ニューラルネットワーク出力信号出力端子 ３1 ニューラルネットワーク出力信号ユニット出力端
子 ３2 ニューラルネットワーク出力信号ユニット出力端
子 ３M ニューラルネットワーク出力信号ユニット出力端
子 ４ 入力層 ４1 入力層ユニット ４2 入力層ユニット ４N 入力層ユニット ５ 中間層 ５1 中間層ユニット ５2 中間層ユニット ５P 中間層ユニット ６ 出力層 ６1 出力層ユニット ６2 出力層ユニット ６M 出力層ユニット ７ 教師信号入力端子 ７1 ユニット教師信号入力端子 ７2 ユニット教師信号入力端子 ７M ユニット教師信号入力端子 ８ 減算器 ８1 減算器 ８2 減算器 ８M 減算器 ９ 結合重み制御器 １０ 結合重み制御入出力端子 １１ ２値スレショルド回路 １２ 第１のニューラルネットワーク １３ 第２のニューラルネットワーク １４ 第３のニューラルネットワーク １５ 誤差検出器 １６ 誤差検出器 １７ 誤差検出器 １８ 出力選択制御器 １９ 出力選択スイッチ ２０ 従来技術による並列ニューラルネットワーク ２１ 主ニューラルネットワーク ２１０ 減算器 ２１１ 結合重み制御器 ２１２ 結合重み制御入出力端子 ２２ 補正ニューラルネットワーク ２２０ 減算器 ２２１ 結合重み制御器 ２２２ 結合重み制御入出力端子 ２２３ 減算器 ２３ 出力選択制御器 ２４ 動作モード制御器 ２５ 誤差検出器 ２６ 出力状態教師信号生成器 ２７ 収束判定器 ２８ 出力選択加算器 ２９ 補正教師信号生成器 ３０ 実施例１の本発明の並列ニューラルネットワーク ３１ 補正ニューラルネットワーク ３２ 出力選択制御器 ３３ 出力状態ニューラルネットワーク ３３１ 結合重み制御器 ３３２ 結合重み制御入出力端子 ３４ 動作モード制御器 ３５ 収束判定器 ３６ 出力選択制御器 ３７ 誤差検出器 ３８ 出力状態補正教師信号生成器 ３９ 収束判定器 ４０ 実施例２の本発明の並列ニューラルネットワーク ４１ ２値スレショルド回路 ５０ 実施例３の本発明の並列ニューラルネットワーク ６０ 実施例４の本発明の並列ニューラルネットワーク ７０ 実施例５の本発明の並列ニューラルネットワーク
子 ２2 ニューラルネットワーク入力信号ユニット入力端
子 ２N ニューラルネットワーク入力信号ユニット入力端
子 ３ ニューラルネットワーク出力信号出力端子 ３1 ニューラルネットワーク出力信号ユニット出力端
子 ３2 ニューラルネットワーク出力信号ユニット出力端
子 ３M ニューラルネットワーク出力信号ユニット出力端
子 ４ 入力層 ４1 入力層ユニット ４2 入力層ユニット ４N 入力層ユニット ５ 中間層 ５1 中間層ユニット ５2 中間層ユニット ５P 中間層ユニット ６ 出力層 ６1 出力層ユニット ６2 出力層ユニット ６M 出力層ユニット ７ 教師信号入力端子 ７1 ユニット教師信号入力端子 ７2 ユニット教師信号入力端子 ７M ユニット教師信号入力端子 ８ 減算器 ８1 減算器 ８2 減算器 ８M 減算器 ９ 結合重み制御器 １０ 結合重み制御入出力端子 １１ ２値スレショルド回路 １２ 第１のニューラルネットワーク １３ 第２のニューラルネットワーク １４ 第３のニューラルネットワーク １５ 誤差検出器 １６ 誤差検出器 １７ 誤差検出器 １８ 出力選択制御器 １９ 出力選択スイッチ ２０ 従来技術による並列ニューラルネットワーク ２１ 主ニューラルネットワーク ２１０ 減算器 ２１１ 結合重み制御器 ２１２ 結合重み制御入出力端子 ２２ 補正ニューラルネットワーク ２２０ 減算器 ２２１ 結合重み制御器 ２２２ 結合重み制御入出力端子 ２２３ 減算器 ２３ 出力選択制御器 ２４ 動作モード制御器 ２５ 誤差検出器 ２６ 出力状態教師信号生成器 ２７ 収束判定器 ２８ 出力選択加算器 ２９ 補正教師信号生成器 ３０ 実施例１の本発明の並列ニューラルネットワーク ３１ 補正ニューラルネットワーク ３２ 出力選択制御器 ３３ 出力状態ニューラルネットワーク ３３１ 結合重み制御器 ３３２ 結合重み制御入出力端子 ３４ 動作モード制御器 ３５ 収束判定器 ３６ 出力選択制御器 ３７ 誤差検出器 ３８ 出力状態補正教師信号生成器 ３９ 収束判定器 ４０ 実施例２の本発明の並列ニューラルネットワーク ４１ ２値スレショルド回路 ５０ 実施例３の本発明の並列ニューラルネットワーク ６０ 実施例４の本発明の並列ニューラルネットワーク ７０ 実施例５の本発明の並列ニューラルネットワーク
Claims (13)
- 【請求項１】 主ニューラルネットワークに対して少な
くとも１つの補正ニューラルネットワークを並列接続
し、学習用入力信号に対して学習させた該主ニューラル
ネットワークと、前段の該ニューラルネットワークの出
力ユニット信号に予め用意された教師信号と比べ許容範
囲を越えた誤差を生じた学習用入力信号に対して順次学
習させた該補正ニューラルネットワークと、前段の該ニ
ューラルネットワークの出力ユニット信号における許容
範囲を越えた誤差の有無を出力状態教師信号とし、出力
状態信号を送出できるよう更に学習させた少なくとも最
終段の該補正ニューラルネットワークと、該出力状態信
号をもとに該ニューラルネットワークの出力ユニット信
号の選択を決定する出力選択制御手段と、該出力選択制
御手段からの制御信号のもとに出力ユニット信号を選択
し送出する出力選択スイッチ手段とを少なくとも具備
し、出力信号を得ることを特徴とした並列ニューラルネ
ットワーク。 - 【請求項２】 主ニューラルネットワークに対して少な
くとも１つの補正ニューラルネットワークを並列接続
し、学習用入力信号に対して学習させた該主ニューラル
ネットワークと、前段の該ニューラルネットワークの出
力ユニット信号にその用いられた教師信号と比べ許容範
囲を越えた誤差を生じた学習用入力信号に対して該誤差
を教師信号として順次学習させた補正用誤差を出力する
該補正ニューラルネットワークと、前段の該ニューラル
ネットワークの出力ユニット信号における許容範囲を越
えた誤差の有無を出力状態教師信号とした出力状態信号
を送出できるよう更に学習させた少なくとも最終段の補
正ニューラルネットワークと、該出力状態信号をもとに
該ニューラルネットワークの出力ユニット信号の選択加
算処理を決定する出力選択制御手段と、該出力選択制御
手段からの制御信号のもとに該ニューラルネットワーク
の出力ユニット信号を選択し、許容範囲を越えた誤差を
持つ出力ユニット信号に対しては補正用誤差である後段
の補正ニューラルネットワークの出力ユニット信号を加
算し補正して送出する出力選択加算手段とを少なくとも
具備し、出力信号を得ることを特徴とした並列ニューラ
ルネットワーク。 - 【請求項３】 主ニューラルネットワークに対して少な
くとも２つの補正ニューラルネットワークを並列接続
し、学習用入力信号に対して学習させた該主ニューラル
ネットワークと、前段の該ニューラルネットワークの出
力ユニット信号にその用いられた教師信号と比べ許容範
囲を越えた誤差を生じた学習用入力信号に対して順次学
習させた該補正ニューラルネットワークと、前段の該ニ
ューラルネットワークの出力ユニット信号にその用いら
れた教師信号と比べ許容範囲を越えた誤差を生じた学習
用入力信号に対して該誤差を教師信号として順次学習さ
せた補正用誤差を出力する該補正ニューラルネットワー
クと、該ニューラルネットワークの出力ユニット信号に
おける許容範囲を越えた誤差の有無を出力状態教師信号
とした出力状態信号を送出できるよう更に学習させた少
なくとも最終段の該補正ニューラルネットワークと、該
出力状態信号をもとに該ニューラルネットワークの出力
ユニット信号の選択あるいは選択加算処理を決定する出
力選択制御手段と、該出力選択制御手段からの制御信号
のもとに該ニューラルネットワークの出力ユニット信号
を選択し、更に補正用誤差を出力する補正ニューラルネ
ットワークの出力ユニット信号を前段の補正ニューラル
ネットワークの出力ユニットに加算し補正して送出する
出力選択加算手段とを少なくとも具備し、出力信号を得
ることを特徴としたニューラルネットワーク。 - 【請求項４】 前記ニューラルネットワークの出力ユニ
ット信号を多値スレショルド回路で多値化して多値出力
ユニット信号を得て、出力選択加算手段を出力選択加法
手段に置き換えた請求項２記載の並列ニューラルネット
ワーク。 - 【請求項５】 前記ニューラルネットワークの出力ユニ
ット信号を多値スレショルド回路で多値化して多値出力
ユニット信号を得て、出力選択加算手段を出力選択加法
手段に置き換えた請求項３記載の並列ニューラルネット
ワーク。 - 【請求項６】 前記主ニューラルネットワークと該補正
ニューラルネットワークとに少なくとも１つの出力状態
ニューラルネットワークとを並列接続し、該出力状態教
師信号を該出力状態ニューラルネットワークで学習し、
該出力状態信号を出力選択制御手段に出力する請求項１
記載の並列ニューラルネットワーク。 - 【請求項７】 前記主ニューラルネットワークと該補正
ニューラルネットワークとに少なくとも１つの出力状態
ニューラルネットワークとを並列接続し、該出力状態教
師信号を該出力状態ニューラルネットワークで学習し、
該出力状態信号を出力選択制御手段に出力する請求項２
記載の並列ニューラルネットワーク。 - 【請求項８】 前記主ニューラルネットワークと該補正
ニューラルネットワークとに少なくとも１つの出力状態
ニューラルネットワークとを並列接続し、該出力状態教
師信号を該出力状態ニューラルネットワークで学習し、
該出力状態信号を出力選択制御手段に出力する請求項３
記載の並列ニューラルネットワーク。 - 【請求項９】 請求項６−８に記載のニューラルネット
ワークにおいて、少なくとも最終段の該補正ニューラル
ネットワークを該ニューラルネットワークの出力ユニッ
ト信号における許容範囲を越えた誤差の有無を出力状態
教師信号とした出力状態信号を送出できるよう更に学習
させ、出力選択制御手段において該出力状態ニューラル
ネットワークと少なくとも最終段の該補正ニューラルネ
ットワークとからの出力状態信号をもとに該ニューラル
ネットワークの出力ユニット信号の選択、あるいは選択
加算処理を決定することを特徴とした並列ニューラルネ
ットワーク。 - 【請求項１０】 請求項１−３及び６−９の１つに記載
のニューラルネットワークにおいて、該主及び補正ニュ
ーラルネットワークの出力ユニット信号から多値出力ユ
ニット信号を得るために多値スレショルド回路を該ニュ
ーラルネットワークと出力選択スイッチ手段、あるいは
出力選択加算手段の間に少なくとも挿入した並列ニュー
ラルネットワーク。 - 【請求項１１】 前記ニューラルネットワークの出力ユ
ニット信号を多値スレショルド回路で多値化して多値出
力ユニット信号を得て、出力選択加算手段を出力選択加
法手段に置き換えた請求項７記載の並列ニューラルネッ
トワーク。 - 【請求項１２】 前記ニューラルネットワークの出力ユ
ニット信号を多値スレショルド回路で多値化して多値出
力ユニット信号を得て、出力選択加算手段を出力選択加
法手段に置き換えた請求項８記載の並列ニューラルネッ
トワーク。 - 【請求項１３】 請求項１１−１２に記載のニューラル
ネットワークにおいて、少なくとも最終段の該補正ニュ
ーラルネットワークを該ニューラルネットワークの多値
出力ユニット信号における誤差の有無を出力状態教師信
号とした出力状態信号を送出できるよう更に学習させ、
出力選択制御手段において該出力状態ニューラルネット
ワークと少なくとも最終段の該補正ニューラルネットワ
ークとからの出力状態信号をもとに該ニューラルネット
ワークの多値出力ユニット信号の選択、あるいは選択加
法処理を決定することを特徴とした並列ニューラルネッ
トワーク。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP28879193A JP3277648B2 (ja) | 1993-10-26 | 1993-10-26 | 並列ニューラルネットワーク |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP28879193A JP3277648B2 (ja) | 1993-10-26 | 1993-10-26 | 並列ニューラルネットワーク |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH07121494A true JPH07121494A (ja) | 1995-05-12 |
| JP3277648B2 JP3277648B2 (ja) | 2002-04-22 |
Family
ID=17734776
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP28879193A Expired - Fee Related JP3277648B2 (ja) | 1993-10-26 | 1993-10-26 | 並列ニューラルネットワーク |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3277648B2 (ja) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2009054038A1 (ja) * | 2007-10-22 | 2009-04-30 | Fujitsu Limited | ２クラス分類予測モデルの作成方法、作成プログラムおよび作成装置 |
| US9183450B2 (en) | 2006-04-27 | 2015-11-10 | Hitachi High-Technologies Corporation | Inspection apparatus |
| WO2019069649A1 (ja) * | 2017-10-06 | 2019-04-11 | キヤノン株式会社 | 制御装置、リソグラフィ装置、測定装置、加工装置、平坦化装置及び物品製造方法 |
| WO2021054118A1 (ja) * | 2019-09-18 | 2021-03-25 | 日本電気株式会社 | パラメータ決定装置、信号送信装置、パラメータ決定方法、信号送信方法、及び、記録媒体 |
| JP2022032505A (ja) * | 2020-08-12 | 2022-02-25 | 東芝テック株式会社 | 残留物検出システム、残留物検出装置及び残留物検出方法 |
| JP2022117916A (ja) * | 2021-02-01 | 2022-08-12 | エヌビディア コーポレーション | 自律マシン・アプリケーションのための配備されたディープ・ニューラル・ネットワークのパッチ |
| US11460781B2 (en) | 2017-10-06 | 2022-10-04 | Canon Kabushiki Kaisha | Control device for generating a control deviation via machine learning |
-
1993
- 1993-10-26 JP JP28879193A patent/JP3277648B2/ja not_active Expired - Fee Related
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9183450B2 (en) | 2006-04-27 | 2015-11-10 | Hitachi High-Technologies Corporation | Inspection apparatus |
| WO2009054038A1 (ja) * | 2007-10-22 | 2009-04-30 | Fujitsu Limited | ２クラス分類予測モデルの作成方法、作成プログラムおよび作成装置 |
| WO2019069649A1 (ja) * | 2017-10-06 | 2019-04-11 | キヤノン株式会社 | 制御装置、リソグラフィ装置、測定装置、加工装置、平坦化装置及び物品製造方法 |
| US11460781B2 (en) | 2017-10-06 | 2022-10-04 | Canon Kabushiki Kaisha | Control device for generating a control deviation via machine learning |
| WO2021054118A1 (ja) * | 2019-09-18 | 2021-03-25 | 日本電気株式会社 | パラメータ決定装置、信号送信装置、パラメータ決定方法、信号送信方法、及び、記録媒体 |
| JPWO2021054118A1 (ja) * | 2019-09-18 | 2021-03-25 | ||
| US11831347B2 (en) | 2019-09-18 | 2023-11-28 | Nec Corporation | Parameter determination apparatus, signal transmission apparatus, parameter determination method, signal transmission method and recording medium |
| JP2022032505A (ja) * | 2020-08-12 | 2022-02-25 | 東芝テック株式会社 | 残留物検出システム、残留物検出装置及び残留物検出方法 |
| JP2022117916A (ja) * | 2021-02-01 | 2022-08-12 | エヌビディア コーポレーション | 自律マシン・アプリケーションのための配備されたディープ・ニューラル・ネットワークのパッチ |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3277648B2 (ja) | 2002-04-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3328935B2 (ja) | 並列多値ニューラルネットワーク | |
| US6601053B1 (en) | Optimized artificial neural networks | |
| JPWO1995005640A1 (ja) | 並列多値ニューラルネットワーク | |
| JP3277648B2 (ja) | 並列ニューラルネットワーク | |
| US5764860A (en) | Learning method for multi-level neural network | |
| JP3675246B2 (ja) | 正誤答判定機能を有するニューラルネットワーク手段 | |
| Petsche et al. | Trellis codes, receptive fields, and fault tolerant, self-repairing neural networks | |
| US5870728A (en) | Learning procedure for multi-level neural network | |
| JP3757722B2 (ja) | 多層ニューラルネットワークユニット数最適化方法及び装置 | |
| JP4258268B2 (ja) | 多層ニューラルネットワーク学習方法 | |
| JP3329202B2 (ja) | ニューラルネットワーク学習方式 | |
| JP4687199B2 (ja) | 連想記憶装置とそのソフトウェア | |
| JP3855580B2 (ja) | 並列ニューラルネットワーク装置 | |
| Di Stefano et al. | On the use of neural networks for Hamming coding | |
| JP3855665B2 (ja) | 出力状態判定機能を有する並列ニューラルネットワーク処理システム | |
| JP3035106B2 (ja) | 大規模情報認識回路 | |
| JP3367264B2 (ja) | ニューラルネットワーク学習方式 | |
| JP4696529B2 (ja) | 多層ニューラルネットワーク装置とそのソフトウェア | |
| JP3368774B2 (ja) | ニューラルネットワーク | |
| JP4586420B2 (ja) | 多層ニューラルネットワーク学習装置及びソフトウェア | |
| JP3367295B2 (ja) | 多値ニューラルネットワーク学習方式 | |
| JP4539221B2 (ja) | 相互連想記憶装置とそのソフトウェア | |
| JP3678071B2 (ja) | ニューラルネットワーク入力判別装置 | |
| KR100342886B1 (ko) | 이진 시스템 학습 방법 | |
| Papageorgiou et al. | Learning algorithms for fuzzy cognitive maps. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20010925 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20020115 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080215 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110215 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |