JPH07105165A - ニューラルネットワーク情報処理装置 - Google Patents
ニューラルネットワーク情報処理装置Info
- Publication number
- JPH07105165A JPH07105165A JP5245094A JP24509493A JPH07105165A JP H07105165 A JPH07105165 A JP H07105165A JP 5245094 A JP5245094 A JP 5245094A JP 24509493 A JP24509493 A JP 24509493A JP H07105165 A JPH07105165 A JP H07105165A
- Authority
- JP
- Japan
- Prior art keywords
- input
- output
- value
- information processing
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
(57)【要約】
【目的】 Ｇｏａｌ−Ｓｅａｋｉｎｇ機能を有する非線
形モデルによる情報処理装置、特に信頼性と汎用性に優
れたニューラルネットワーク情報処理装置を提供する。 【構成】 バックプロパゲーションモデルによって入出
力処理を行うニューラルネットワーク情報処理装置１に
おいて、出力の目標値を入力する目標値入力手段３ｄ
と、Ｎｅｗｔｏｎ−Ｒａｐｈｓｏｎ法、Ｇｒａｅｆｆｅ
法、Ｂｅｒｎｏｕｌｌｉ法のいずれかの代数方程式の数
値解法によって目標値を出力する入力値を算出する入力
値算出手段４ｂと、入力値算出手段４ｂが算出した入力
値を出力する入力値出力手段５ｃを備えた。
形モデルによる情報処理装置、特に信頼性と汎用性に優
れたニューラルネットワーク情報処理装置を提供する。 【構成】 バックプロパゲーションモデルによって入出
力処理を行うニューラルネットワーク情報処理装置１に
おいて、出力の目標値を入力する目標値入力手段３ｄ
と、Ｎｅｗｔｏｎ−Ｒａｐｈｓｏｎ法、Ｇｒａｅｆｆｅ
法、Ｂｅｒｎｏｕｌｌｉ法のいずれかの代数方程式の数
値解法によって目標値を出力する入力値を算出する入力
値算出手段４ｂと、入力値算出手段４ｂが算出した入力
値を出力する入力値出力手段５ｃを備えた。
Description
【０００１】
【産業上の利用分野】本発明はバックプロパゲーション
モデルを用いて入出力処理を行うニューラルネットワー
ク情報処理装置に係り、特に出力項目に目標値を設定
し、この目標値を出力するための入力値を算出する機能
（以下Ｇｏａｌ−Ｓｅａｋｉｎｇ機能という）を備えた
ニューラルネットワーク情報処理装置に関する。
モデルを用いて入出力処理を行うニューラルネットワー
ク情報処理装置に係り、特に出力項目に目標値を設定
し、この目標値を出力するための入力値を算出する機能
（以下Ｇｏａｌ−Ｓｅａｋｉｎｇ機能という）を備えた
ニューラルネットワーク情報処理装置に関する。
【０００２】
【従来の技術】一般にバックプロパゲーションモデルを
用いて入出力処理を行うニューラルネットワーク情報処
理装置が知られている。
用いて入出力処理を行うニューラルネットワーク情報処
理装置が知られている。
【０００３】従来のバックプロパゲーションモデルは、
ニューロンの階層的なネットワーク構造を有し、隣り合
う層のニューロンは重み付き入出力関係で結合されてお
り、各層のニューロンは前段の層のニューロンの出力に
重みを乗じて入力し、伝達関数によって入出力変換した
後に次の層に出力する。
ニューロンの階層的なネットワーク構造を有し、隣り合
う層のニューロンは重み付き入出力関係で結合されてお
り、各層のニューロンは前段の層のニューロンの出力に
重みを乗じて入力し、伝達関数によって入出力変換した
後に次の層に出力する。
【０００４】このニューロン間の重みを調節することに
よってバックプロパゲーションモデルは、任意の入力値
に対して柔軟に好ましい出力値を出力することができ
る。
よってバックプロパゲーションモデルは、任意の入力値
に対して柔軟に好ましい出力値を出力することができ
る。
【０００５】また、好ましい入出力の結果を教師信号と
して与えることによって、この入出力関係を近似するよ
うに各ニューロン間の重みを逆伝播的に修正することが
できる。この重みの修正作業を学習という。
して与えることによって、この入出力関係を近似するよ
うに各ニューロン間の重みを逆伝播的に修正することが
できる。この重みの修正作業を学習という。
【０００６】従来のバックプロパゲーションモデルを用
いたニューラルネットワーク情報処理装置では、好まし
い入出力結果のサンプルパターンをバックプロパゲーシ
ョンモデルに与え、このサンプルパターンに近似する入
出力関係を得るようにバックプロパゲーションモデルに
学習させ、その後に処理すべきデータを入力して出力を
得ていた。
いたニューラルネットワーク情報処理装置では、好まし
い入出力結果のサンプルパターンをバックプロパゲーシ
ョンモデルに与え、このサンプルパターンに近似する入
出力関係を得るようにバックプロパゲーションモデルに
学習させ、その後に処理すべきデータを入力して出力を
得ていた。
【０００７】
【発明が解決しようとする課題】しかしながら、上記従
来のバックプロパゲーションモデル型のニューラルネッ
トワーク情報処理装置では、入出力の学習を行うことは
できるが、所定の出力目標値を得るためにどの程度の入
力値を入力すれば良いかについては何等情報を与えるこ
とはできなかった。
来のバックプロパゲーションモデル型のニューラルネッ
トワーク情報処理装置では、入出力の学習を行うことは
できるが、所定の出力目標値を得るためにどの程度の入
力値を入力すれば良いかについては何等情報を与えるこ
とはできなかった。
【０００８】したがって、従来のニューラルネットワー
ク情報処理装置では、出力の目標値を実現する入力値を
求めるために、入力値を変化させてトライアンドエラー
的に入出力を繰り返していた。この作業には通常多くの
時間を要し、かつ、求めた入力値は必ずしも精度が良い
ものではなかった。
ク情報処理装置では、出力の目標値を実現する入力値を
求めるために、入力値を変化させてトライアンドエラー
的に入出力を繰り返していた。この作業には通常多くの
時間を要し、かつ、求めた入力値は必ずしも精度が良い
ものではなかった。
【０００９】これに対して従来からＧｏａｌ−Ｓｅａｋ
ｉｎｇ機能を備えた線形モデルによる情報処理装置があ
った。これはたとえば経済モデルのようなもので、「赤
字を出さない」というＧｏａｌに対して「どれだけ販売
すればよいか」という入力値をＳｅａｋする機能を有す
るものであった。
ｉｎｇ機能を備えた線形モデルによる情報処理装置があ
った。これはたとえば経済モデルのようなもので、「赤
字を出さない」というＧｏａｌに対して「どれだけ販売
すればよいか」という入力値をＳｅａｋする機能を有す
るものであった。
【００１０】ニューラルネットワークによる情報処理装
置は、非線形の入出力関係を有するので、一般に線形モ
デルより精度良く種々の入出力関係を近似できる。この
ため、非線形モデルによる情報処理装置において、上記
Ｇｏａｌ−Ｓｅａｋｉｎｇ機能を備えたものが求められ
ていた。
置は、非線形の入出力関係を有するので、一般に線形モ
デルより精度良く種々の入出力関係を近似できる。この
ため、非線形モデルによる情報処理装置において、上記
Ｇｏａｌ−Ｓｅａｋｉｎｇ機能を備えたものが求められ
ていた。
【００１１】そこで、本発明の目的は、上記従来技術の
課題を解決し、Ｇｏａｌ−Ｓｅａｋｉｎｇ機能を有する
非線形モデルによる情報処理装置、特に信頼性と汎用性
に優れたバックプロパゲーションモデルによるニューラ
ルネットワーク情報処理装置を提供することにある。
課題を解決し、Ｇｏａｌ−Ｓｅａｋｉｎｇ機能を有する
非線形モデルによる情報処理装置、特に信頼性と汎用性
に優れたバックプロパゲーションモデルによるニューラ
ルネットワーク情報処理装置を提供することにある。
【００１２】
【課題を解決するための手段】上記目的を達成するため
に本発明によるニューラルネットワーク情報処理装置
は、バックプロパゲーションモデルによって入出力処理
を行うニューラルネットワーク情報処理装置において、
出力の目標値を入力する目標値入力手段と、Ｎｅｗｔｏ
ｎ−Ｒａｐｈｓｏｎ法、Ｇｒａｅｆｆｅ法、Ｂｅｒｎｏ
ｕｌｌｉ法のいずれかの代数方程式の数値解法によって
前記目標値を出力するための入力値を算出する入力値算
出手段と、前記入力値算出手段が算出した入力値を出力
する入力値出力手段を備えていることを特徴とするもの
である。
に本発明によるニューラルネットワーク情報処理装置
は、バックプロパゲーションモデルによって入出力処理
を行うニューラルネットワーク情報処理装置において、
出力の目標値を入力する目標値入力手段と、Ｎｅｗｔｏ
ｎ−Ｒａｐｈｓｏｎ法、Ｇｒａｅｆｆｅ法、Ｂｅｒｎｏ
ｕｌｌｉ法のいずれかの代数方程式の数値解法によって
前記目標値を出力するための入力値を算出する入力値算
出手段と、前記入力値算出手段が算出した入力値を出力
する入力値出力手段を備えていることを特徴とするもの
である。
【００１３】
【作用】本発明のニューラルネットワーク情報処理装置
の入力値算出手段は、バックプロパゲーションモデルの
入力値と、ネットワークを構成するニューロンの伝達関
数と、各ユニットを結合する重み等によってバックプロ
パゲーションモデルの入出力を代数方程式として表現
し、次に、この代数方程式を数値解法（Ｎｅｗｔｏｎ−
Ｒａｐｈｓｏｎ法、Ｇｒａｅｆｆｅ法、Ｂｅｒｎｏｕｌ
ｌｉ法）によって、機械的に近似解を求めることができ
る。
の入力値算出手段は、バックプロパゲーションモデルの
入力値と、ネットワークを構成するニューロンの伝達関
数と、各ユニットを結合する重み等によってバックプロ
パゲーションモデルの入出力を代数方程式として表現
し、次に、この代数方程式を数値解法（Ｎｅｗｔｏｎ−
Ｒａｐｈｓｏｎ法、Ｇｒａｅｆｆｅ法、Ｂｅｒｎｏｕｌ
ｌｉ法）によって、機械的に近似解を求めることができ
る。
【００１４】上記入力値算出手段の作用により、本発明
のニューラルネットワーク情報処理装置によれば、目標
値入力手段によって出力の所定項目に目標値を設定し、
入力値算出手段によって目標値を達成する入力値を精度
よく求めることができる。
のニューラルネットワーク情報処理装置によれば、目標
値入力手段によって出力の所定項目に目標値を設定し、
入力値算出手段によって目標値を達成する入力値を精度
よく求めることができる。
【００１５】
【実施例】本発明はバックプロパゲーションモデルを用
いて入出力処理を行うニューラルネットワーク情報処理
装置に、出力の目標値を与え、この目標値を実現するた
めの入力値を代数方程式の数値解法によって算出する計
算手段を設けたものである。以下、図面を参照して本発
明の一実施例について説明する。
いて入出力処理を行うニューラルネットワーク情報処理
装置に、出力の目標値を与え、この目標値を実現するた
めの入力値を代数方程式の数値解法によって算出する計
算手段を設けたものである。以下、図面を参照して本発
明の一実施例について説明する。
【００１６】図１は、本発明の一実施例の構成を示して
いる。本実施例のニューラルネットワーク情報処理装置
１は、記憶装置２と、入力装置３と、中央処理装置４
と、出力装置５とからなる。
いる。本実施例のニューラルネットワーク情報処理装置
１は、記憶装置２と、入力装置３と、中央処理装置４
と、出力装置５とからなる。
【００１７】記憶装置２は、複数のバックプロパゲーシ
ョンモデルの構造データ２ａと、入出力のサンプルパタ
ーン２ｂとを記憶している。
ョンモデルの構造データ２ａと、入出力のサンプルパタ
ーン２ｂとを記憶している。
【００１８】入力装置３は、処理用データを入力する処
理用データ入力手段３ａと、教師信号となる学習用サン
プルパターンを入力する学習用サンプルパターン入力手
段３ｂと、処理に使用するバックプロパゲーションモデ
ルとサンプルパターンを選択するバックプロパゲーショ
ンモデル・サンプルパターン選択手段３ｃと、出力項目
を選択してその目標値を設定する目標設定手段３ｄと、
目標値を実現するための入力項目を選択する入力項目選
択手段３ｅとを有している。
理用データ入力手段３ａと、教師信号となる学習用サン
プルパターンを入力する学習用サンプルパターン入力手
段３ｂと、処理に使用するバックプロパゲーションモデ
ルとサンプルパターンを選択するバックプロパゲーショ
ンモデル・サンプルパターン選択手段３ｃと、出力項目
を選択してその目標値を設定する目標設定手段３ｄと、
目標値を実現するための入力項目を選択する入力項目選
択手段３ｅとを有している。
【００１９】上記入力装置３の各入力あるいは選択手段
は、好ましくは例えばＧＵＩ（グラフィカルユーザイン
ターフェイス）のように、コンピュータの入力装置上で
各入力あるいは選択手段の目的に応じて作成した入力用
ソフトウェアを起動させて実現することができる。無
論、各入力あるいは選択手段が個別に入力用ハードウェ
ア（たとえばキーボード、ポインティング・ディバイス
等）を備えて、全体として入力装置３を構成しても良
い。
は、好ましくは例えばＧＵＩ（グラフィカルユーザイン
ターフェイス）のように、コンピュータの入力装置上で
各入力あるいは選択手段の目的に応じて作成した入力用
ソフトウェアを起動させて実現することができる。無
論、各入力あるいは選択手段が個別に入力用ハードウェ
ア（たとえばキーボード、ポインティング・ディバイス
等）を備えて、全体として入力装置３を構成しても良
い。
【００２０】中央処理装置４は、バックプロパゲーショ
ンモデルによって入出力処理を行う入出力処理手段４ａ
と、Ｎｅｗｔｏｎ−Ｒａｐｈｓｏｎ法によって出力の目
標値を実現する入力値を算出する入力値算出手段４ｂと
を有している。また、上記のほかに、中央処理装置４
は、図示しないニューラルネットワーク情報処理装置１
の全体の作動を制御する制御手段を有している。
ンモデルによって入出力処理を行う入出力処理手段４ａ
と、Ｎｅｗｔｏｎ−Ｒａｐｈｓｏｎ法によって出力の目
標値を実現する入力値を算出する入力値算出手段４ｂと
を有している。また、上記のほかに、中央処理装置４
は、図示しないニューラルネットワーク情報処理装置１
の全体の作動を制御する制御手段を有している。
【００２１】出力装置５は、入出力処理手段４ａによっ
て処理されたデータを表示する処理済データ表示手段５
ａと、入出力処理に使用したバックプロパゲーションモ
デルの構造とサンプルパターンを表示するバックプロパ
ゲーションモデル・サンプルパターン表示手段５ｂと、
出力の目標値を実現する入力値を表示する入力値表示手
段５ｃとを有している。
て処理されたデータを表示する処理済データ表示手段５
ａと、入出力処理に使用したバックプロパゲーションモ
デルの構造とサンプルパターンを表示するバックプロパ
ゲーションモデル・サンプルパターン表示手段５ｂと、
出力の目標値を実現する入力値を表示する入力値表示手
段５ｃとを有している。
【００２２】出力装置５は、好ましくは前記ＧＵＩを介
して操作者が入力等するコンピュータ画面上に結果を表
示するようにする。無論、プリンタ等のハードコピー装
置や単に電気信号を出力する装置も本発明の出力装置５
に含まれる。
して操作者が入力等するコンピュータ画面上に結果を表
示するようにする。無論、プリンタ等のハードコピー装
置や単に電気信号を出力する装置も本発明の出力装置５
に含まれる。
【００２３】本実施例のニューラルネットワーク情報処
理装置１は、通常の入出力処理においては、従来のニュ
ーラルネットワーク情報処理装置と同様の動作を行う。
理装置１は、通常の入出力処理においては、従来のニュ
ーラルネットワーク情報処理装置と同様の動作を行う。
【００２４】すなわち、通常の入出力処理においては、
最初に処理すべきデータの種類に応じて入出力関係の設
定を行う。具体的には、記憶装置に格納されたバックプ
ロパゲーションモデルの構造データ２ａから、入出力の
処理に使用する特定のバックプロパゲーションモデルを
選択し、このバックプロパゲーションモデルが所望の入
出力関係を与えるように記憶装置の入出力のサンプルパ
ターン２ｂから特定のサンプルパターンを選択する。
最初に処理すべきデータの種類に応じて入出力関係の設
定を行う。具体的には、記憶装置に格納されたバックプ
ロパゲーションモデルの構造データ２ａから、入出力の
処理に使用する特定のバックプロパゲーションモデルを
選択し、このバックプロパゲーションモデルが所望の入
出力関係を与えるように記憶装置の入出力のサンプルパ
ターン２ｂから特定のサンプルパターンを選択する。
【００２５】このバックプロパゲーションモデルの選択
の作業は、バックプロパゲーションモデル・サンプルパ
ターン選択手段３ｃによって行う。選択は、実際にはコ
ンピュータ画面上にバックプロパゲーションモデル等の
リストを表示し、これを指定するようにして行う。
の作業は、バックプロパゲーションモデル・サンプルパ
ターン選択手段３ｃによって行う。選択は、実際にはコ
ンピュータ画面上にバックプロパゲーションモデル等の
リストを表示し、これを指定するようにして行う。
【００２６】上記入出力関係を設定する作業の後に、処
理用データ入力手段３ａを介して処理すべき入力データ
を入力する。
理用データ入力手段３ａを介して処理すべき入力データ
を入力する。
【００２７】中央処理装置４は、バックプロパゲーショ
ンモデル・サンプルパターン選択手段３ｃの要求に従
い、選択されたバックプロパゲーションモデルを記憶装
置２から読み出す。次にこのバックプロパゲーションモ
デルについて、バックプロパゲーションモデル・サンプ
ルパターン選択手段３ｃによって選択されたサンプルパ
ターンを用いて好ましい入出力関係を与えるように学習
を行う。
ンモデル・サンプルパターン選択手段３ｃの要求に従
い、選択されたバックプロパゲーションモデルを記憶装
置２から読み出す。次にこのバックプロパゲーションモ
デルについて、バックプロパゲーションモデル・サンプ
ルパターン選択手段３ｃによって選択されたサンプルパ
ターンを用いて好ましい入出力関係を与えるように学習
を行う。
【００２８】上記入出力処理の準備が完了した段階で、
入出力処理手段４ａは処理用データをバックプロパゲー
ションモデルに入力し、バックプロパゲーションモデル
による入出力処理を行って処理結果を出力装置５に出力
する。
入出力処理手段４ａは処理用データをバックプロパゲー
ションモデルに入力し、バックプロパゲーションモデル
による入出力処理を行って処理結果を出力装置５に出力
する。
【００２９】出力装置５は、処理済データ表示手段５ａ
によって上記処理済データをコンピュータ画面上に表示
する。また、要求に応じてバックプロパゲーションモデ
ル・サンプルパターン表示手段５ｂによって、処理に使
用したバックプロパゲーションモデルの構造およびサン
プルパターンを表示することもできる。
によって上記処理済データをコンピュータ画面上に表示
する。また、要求に応じてバックプロパゲーションモデ
ル・サンプルパターン表示手段５ｂによって、処理に使
用したバックプロパゲーションモデルの構造およびサン
プルパターンを表示することもできる。
【００３０】本実施例のニューラルネットワーク情報処
理装置１による通常の入出力処理は以上の通りである
が、本実施例のニューラルネットワーク情報処理装置１
は、出力に目標値を設定し、この目標値を実現する入力
値を算出するＧｏａｌ−Ｓｅａｋｉｎｇ機能を有してい
る。以下に本実施例によるＧｏａｌ−Ｓｅａｋｉｎｇに
ついて説明する。
理装置１による通常の入出力処理は以上の通りである
が、本実施例のニューラルネットワーク情報処理装置１
は、出力に目標値を設定し、この目標値を実現する入力
値を算出するＧｏａｌ−Ｓｅａｋｉｎｇ機能を有してい
る。以下に本実施例によるＧｏａｌ−Ｓｅａｋｉｎｇに
ついて説明する。
【００３１】図２は、本実施例のニューラルネットワー
ク情報処理装置１によるＧｏａｌ−Ｓｅａｋｉｎｇの処
理の流れを示している。Ｇｏａｌ−Ｓｅａｋｉｎｇ処理
をするには、図２に示す様に最初に処理すべきバックプ
ロパゲーションモデルとサンプルパターンを選択する
（ステップ１００）。この選択は、コンピュータ画面上
に候補となるモデル名とサンプルパターン名を表示し、
この中から選択するようにすることができる。むろん、
モデル名等を直接入力することも可能であり、これもこ
こにいう選択に含まれる。上記選択の操作は、バックプ
ロパゲーションモデル・サンプルパターン選択手段３ｃ
を介して行う。
ク情報処理装置１によるＧｏａｌ−Ｓｅａｋｉｎｇの処
理の流れを示している。Ｇｏａｌ−Ｓｅａｋｉｎｇ処理
をするには、図２に示す様に最初に処理すべきバックプ
ロパゲーションモデルとサンプルパターンを選択する
（ステップ１００）。この選択は、コンピュータ画面上
に候補となるモデル名とサンプルパターン名を表示し、
この中から選択するようにすることができる。むろん、
モデル名等を直接入力することも可能であり、これもこ
こにいう選択に含まれる。上記選択の操作は、バックプ
ロパゲーションモデル・サンプルパターン選択手段３ｃ
を介して行う。
【００３２】処理対象のバックプロパゲーションモデル
とサンプルパターンが選択されると、中央処理装置４が
記憶装置２から該当するものを検索し、バックプロパゲ
ーションモデル・サンプルパターン表示手段５ｂによっ
てコンピュータ画面上にこれを表示する（ステップ１１
０）。
とサンプルパターンが選択されると、中央処理装置４が
記憶装置２から該当するものを検索し、バックプロパゲ
ーションモデル・サンプルパターン表示手段５ｂによっ
てコンピュータ画面上にこれを表示する（ステップ１１
０）。
【００３３】次に、目標設定手段３ｄによって、上記表
示されたバックプロパゲーションモデルの出力項目の中
から目標値を設定すべき出力項目を選択し、その目標値
を入力する（ステップ１２０）。
示されたバックプロパゲーションモデルの出力項目の中
から目標値を設定すべき出力項目を選択し、その目標値
を入力する（ステップ１２０）。
【００３４】次に、上記目標値を実現するための入力項
目を入力項目選択手段３ｅよって選択する（ステップ１
３０）。
目を入力項目選択手段３ｅよって選択する（ステップ１
３０）。
【００３５】上記出力の目標値とそれを実現すべき入力
項目が設定されると、中央処理装置４が入力値算出手段
４ｂによって目標実現のための入力値を算出する（ステ
ップ１４０）。この入力値の算出は後に説明するＮｅｗ
ｔｏｎ−Ｒａｐｈｓｏｎ法によって行う。算出された入
力値は出力装置５に出力される。
項目が設定されると、中央処理装置４が入力値算出手段
４ｂによって目標実現のための入力値を算出する（ステ
ップ１４０）。この入力値の算出は後に説明するＮｅｗ
ｔｏｎ−Ｒａｐｈｓｏｎ法によって行う。算出された入
力値は出力装置５に出力される。
【００３６】出力装置５は、入力値表示手段５ｃによっ
て上記入力値をコンピュータ画面に表示する（ステップ
１５０）。また、出力装置５は、バックプロパゲーショ
ンモデル・サンプルパターン表示手段５ｂによって、要
求に応じて処理対象となったバックプロパゲーションモ
デル等のデータをコンピュータ画面に表示する。上記入
力値の表示をもって一連のＧｏａｌ−Ｓｅａｋｉｎｇ処
理が終了する。
て上記入力値をコンピュータ画面に表示する（ステップ
１５０）。また、出力装置５は、バックプロパゲーショ
ンモデル・サンプルパターン表示手段５ｂによって、要
求に応じて処理対象となったバックプロパゲーションモ
デル等のデータをコンピュータ画面に表示する。上記入
力値の表示をもって一連のＧｏａｌ−Ｓｅａｋｉｎｇ処
理が終了する。
【００３７】次に、目標値実現のための入力値算出の方
法について以下に具体的に説明する。図３に、入力層、
隠れ層、出力層の３層構造のバックプロパゲーションモ
デルの構造を例示する。このバックプロパゲーションモ
デルは入力層、隠れ層、出力層にそれぞれＬ個、Ｍ個、
Ｎ個のニューロンを有している。各ニューロンは図３の
実線で示す入出力関係によって結合されている。図中の
υikは、隠れ層の第ｉ番目のニューロンから出力層第ｋ
番目のニューロンへの結合の重みを示し、ωjiは入力層
の第ｊ番目のニューロンから隠れ層の第ｉ番目のニュー
ロンへの結合の重みを示している。また、Ｉj （ｊ＝
１，…，Ｌ）は入力層のｊ番目のニューロンの出力値
（このバックプロパゲーションモデルへの入力値に等し
い）を示し、ｈi （ｉ＝，１，…，Ｍ）は隠れ層のｉ番
目のニューロンの出力値を示し、Ｏk（ｋ＝１，…，
Ｎ）は出力層のｋ番目のニューロンの出力値（このバッ
クプロパゲーションモデルの出力値に等しい）を示して
いる。
法について以下に具体的に説明する。図３に、入力層、
隠れ層、出力層の３層構造のバックプロパゲーションモ
デルの構造を例示する。このバックプロパゲーションモ
デルは入力層、隠れ層、出力層にそれぞれＬ個、Ｍ個、
Ｎ個のニューロンを有している。各ニューロンは図３の
実線で示す入出力関係によって結合されている。図中の
υikは、隠れ層の第ｉ番目のニューロンから出力層第ｋ
番目のニューロンへの結合の重みを示し、ωjiは入力層
の第ｊ番目のニューロンから隠れ層の第ｉ番目のニュー
ロンへの結合の重みを示している。また、Ｉj （ｊ＝
１，…，Ｌ）は入力層のｊ番目のニューロンの出力値
（このバックプロパゲーションモデルへの入力値に等し
い）を示し、ｈi （ｉ＝，１，…，Ｍ）は隠れ層のｉ番
目のニューロンの出力値を示し、Ｏk（ｋ＝１，…，
Ｎ）は出力層のｋ番目のニューロンの出力値（このバッ
クプロパゲーションモデルの出力値に等しい）を示して
いる。
【００３８】隠れ層と出力層の各ニューロンは前段のニ
ューロンの出力値に重みを乗じた値を入力し、伝達関数
ｆ(x) （ｘは入力値）を適用した関数値を出力する。
ューロンの出力値に重みを乗じた値を入力し、伝達関数
ｆ(x) （ｘは入力値）を適用した関数値を出力する。
【００３９】図３のバックプロパゲーションモデルでは
各ニューロンの伝達関数は全て下記のロジスティック関
数とする。
各ニューロンの伝達関数は全て下記のロジスティック関
数とする。
【００４０】
【数１】 このロジスティック関数ｆ(x) を用いれば、出力層の第
ｋ番目のニューロンの出力値は隠れ層のニューロンの出
力値ｈi （ｉ＝，１，…，Ｍ）を使って下式のように表
わすことができる。
ｋ番目のニューロンの出力値は隠れ層のニューロンの出
力値ｈi （ｉ＝，１，…，Ｍ）を使って下式のように表
わすことができる。
【００４１】
【数２】 ここでυokは、隠れ層から出力層第ｋ番目のニューロン
への出力のしきい値を示している。
への出力のしきい値を示している。
【００４２】隠れ層第ｉ番目のニューロンの出力値は同
様に入力層の出力値Ｉj （ｊ＝１，…，Ｌ）によって下
式（２）のように表わせる。
様に入力層の出力値Ｉj （ｊ＝１，…，Ｌ）によって下
式（２）のように表わせる。
【００４３】
【数３】 ここでωoiは、入力層から隠れ層第ｉ番目のニューロン
の出力のしきい値を示している。
の出力のしきい値を示している。
【００４４】式（１）、式（２）より、結局、出力層の
第ｋ番目のニューロンの出力層Ｏkは入力層の出力値Ｉ
j を使って下式（３）のように表わすことができる。
第ｋ番目のニューロンの出力層Ｏkは入力層の出力値Ｉ
j を使って下式（３）のように表わすことができる。
【００４５】
【数４】 上記式（３）は入力Ｉに対して出力Ｏを得る代数方程式
であるので、数値解決法（Ｎｅｗｔｏｎ−Ｒａｐｈｓｏ
ｎ法、Ｇｒａｅｆｆｅ法、Ｂｅｒｎｏｕｌｌｉ法）によ
って近似解を求めることができる。本実施例ではＮｅｗ
ｔｏｎ−Ｒａｐｈｓｏｎ法を用いるので、この方法につ
いて説明する。
であるので、数値解決法（Ｎｅｗｔｏｎ−Ｒａｐｈｓｏ
ｎ法、Ｇｒａｅｆｆｅ法、Ｂｅｒｎｏｕｌｌｉ法）によ
って近似解を求めることができる。本実施例ではＮｅｗ
ｔｏｎ−Ｒａｐｈｓｏｎ法を用いるので、この方法につ
いて説明する。
【００４６】一般にＮｅｗｔｏｎ−Ｒａｐｈｓｏｎ法で
は方程式ｆ(x) ＝０の実根αを求めるのに、ｆ’(x) ≠
０が計算できる場合に、根αの適当な第ｉ近似解をｘi
として、下式（４）によってｘi+1 を求める。
は方程式ｆ(x) ＝０の実根αを求めるのに、ｆ’(x) ≠
０が計算できる場合に、根αの適当な第ｉ近似解をｘi
として、下式（４）によってｘi+1 を求める。
【００４７】
【数５】 このｘi+1 はｘi より真の解αに近づくことが知られて
いる。上記式（４）の計算を繰り返して｜ ｘi+1 −ｘ
i ｜ が十分小さくなれば、ｘi+1 は真の解αに十分近
づくことができる。
いる。上記式（４）の計算を繰り返して｜ ｘi+1 −ｘ
i ｜ が十分小さくなれば、ｘi+1 は真の解αに十分近
づくことができる。
【００４８】ところで式（３）は出力Ｏk の入力Ｉp に
関する方程式とすれば、入力Ｉp に関する偏微分Ｏ′k
は下式（５）で表現できる。
関する方程式とすれば、入力Ｉp に関する偏微分Ｏ′k
は下式（５）で表現できる。
【００４９】
【数６】 上記Ｏk とＯ′k をＮｅｗｔｏｎ−Ｒａｐｈｓｏｎ法の
式（４）に代入をすれば、Ｉp の近似解を求めることが
できる。なすわち、これによって出力の目標値Ｏk を実
現する入力値Ｉp を算出することができる。なお、バッ
クプロパゲーションモデルで最初の近似解として該当す
るサンプルパターンの入力データの値とする。
式（４）に代入をすれば、Ｉp の近似解を求めることが
できる。なすわち、これによって出力の目標値Ｏk を実
現する入力値Ｉp を算出することができる。なお、バッ
クプロパゲーションモデルで最初の近似解として該当す
るサンプルパターンの入力データの値とする。
【００５０】Ｎｅｗｔｏｎ−Ｒａｐｈｓｏｎ法の他のＧ
ｒａｅｆｆｅ法、Ｂｅｒｎｏｕｌｌｉ法については、バ
ックプロパゲーションモデルの入力Ｉと出力Ｏを一つの
代数方程式とし、それぞれの数値解法によって近似解を
求める点で共通する。これを近似解を求める数値解法
は、公知の数学的解法であるので、ここでの説明は省略
する。
ｒａｅｆｆｅ法、Ｂｅｒｎｏｕｌｌｉ法については、バ
ックプロパゲーションモデルの入力Ｉと出力Ｏを一つの
代数方程式とし、それぞれの数値解法によって近似解を
求める点で共通する。これを近似解を求める数値解法
は、公知の数学的解法であるので、ここでの説明は省略
する。
【００５１】
【発明の効果】上記説明から明らかなように、本発明の
ニューラルネットワーク情報処理装置は、学習可能なバ
ックプロパゲーションモデルによって入出力処理でき、
さらに目標設定手段と入力項目選択手段と入力値算出手
段を有しているので、これら手段によって出力目標値を
設定し、この出力目標値を達成する入力値を機械的に、
かつ、精度良く算出することができる。
ニューラルネットワーク情報処理装置は、学習可能なバ
ックプロパゲーションモデルによって入出力処理でき、
さらに目標設定手段と入力項目選択手段と入力値算出手
段を有しているので、これら手段によって出力目標値を
設定し、この出力目標値を達成する入力値を機械的に、
かつ、精度良く算出することができる。
【００５２】これにより、非線形な入出力関係を有する
種々の事象を精度良く近似でき、かつ、この非線形の入
出力モデルに対して出力目標値を設定し、目標を達成す
る入力値を迅速かつ精度良く求めるニューラルネットワ
ーク情報処理装置を提供することができる。
種々の事象を精度良く近似でき、かつ、この非線形の入
出力モデルに対して出力目標値を設定し、目標を達成す
る入力値を迅速かつ精度良く求めるニューラルネットワ
ーク情報処理装置を提供することができる。
【図１】本発明のニューラルネットワーク情報処理装置
の一実施例の構成を示した図。
の一実施例の構成を示した図。
【図２】本発明のニューラルネットワーク情報処理装置
におけるＧｏａｌ−Ｓｅａｋｉｎｇ処理の流れを示した
流れ図。
におけるＧｏａｌ−Ｓｅａｋｉｎｇ処理の流れを示した
流れ図。
【図３】本発明による目標実現の入力値を算出する方法
を説明するためのバックプロパゲーションモデルの構造
を示した図。
を説明するためのバックプロパゲーションモデルの構造
を示した図。
１ ニューラルネットワーク情報処理装置 ２ 記憶装置 ２ａ バックプロパゲーションモデルの構造データ ２ｂ 入出力のサンプルパターン ３ 入力装置 ３ｄ 目標設定手段 ３ｅ 入力項目選択手段 ４ 中央処理装置 ４ｂ 入力値算出手段 ５ 出力装置 ５ｃ 出力装置
Claims (2)
- 【請求項１】バックプロパゲーションモデルによって入
出力処理を行うニューラルネットワーク情報処理装置に
おいて、 出力の目標値を入力する目標値入力手段と、 Ｎｅｗｔｏｎ−Ｒａｐｈｓｏｎ法、Ｇｒａｅｆｆｅ法、
Ｂｅｒｎｏｕｌｌｉ法のいずれかの代数方程式の数値解
法によって前記目標値を出力するための入力値を算出す
る入力値算出手段と、 前記入力値算出手段が算出した入力値を出力する入力値
出力手段を備えていることを特徴とするニューラルネッ
トワーク情報処理装置。 - 【請求項２】複数のバックプロパゲーションモデルの構
造データと入出力のサンプルパターンを記憶した記憶装
置と、処理用及び学習用データを入力する入力装置と、
バックプロパゲーションモデルによって入出力処理を行
う中央処理装置と、処理済データを出力する出力装置と
を備えたニューラルネットワーク情報処理装置におい
て、 前記入力装置は、使用するバックプロパゲーションモデ
ルと入出力のサンプルパターンを選択する手段と、選択
したバックプロパゲーションモデルの出力項目の中から
目標値を設定すべき出力項目を選択してその目標値を入
力する目標設定手段と、前記出力の目標値を実現する入
力項目を選択する手段とを有し、 前記中央処理装置は、Ｎｅｗｔｏｎ−Ｒａｐｈｓｏｎ
法、Ｇｒａｅｆｆｅ法、Ｂｅｒｎｏｕｌｌｉ法のいずれ
かの代数方程式の数値解法によって前記目標値を出力す
るための入力値を算出する入力値算出手段を有し、 前記出力装置は、前記入力値算出した入力値を出力する
入力値出力手段を有していることを特徴とするニューラ
ルネットワーク情報処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5245094A JPH07105165A (ja) | 1993-09-30 | 1993-09-30 | ニューラルネットワーク情報処理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5245094A JPH07105165A (ja) | 1993-09-30 | 1993-09-30 | ニューラルネットワーク情報処理装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH07105165A true JPH07105165A (ja) | 1995-04-21 |
Family
ID=17128521
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP5245094A Pending JPH07105165A (ja) | 1993-09-30 | 1993-09-30 | ニューラルネットワーク情報処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH07105165A (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104777356A (zh) * | 2015-03-10 | 2015-07-15 | 三峡大学 | 一种基于神经网络的实时高精度谐波检测方法 |
| JP2021523489A (ja) * | 2018-07-26 | 2021-09-02 | ディーピング ソース インコーポレイテッド． | データをコンシール処理する方法及びこれを利用したデータ変調装置 |
| US11216717B2 (en) | 2017-04-04 | 2022-01-04 | Hailo Technologies Ltd. | Neural network processor incorporating multi-level hierarchical aggregated computing and memory elements |
| US11221929B1 (en) | 2020-09-29 | 2022-01-11 | Hailo Technologies Ltd. | Data stream fault detection mechanism in an artificial neural network processor |
-
1993
- 1993-09-30 JP JP5245094A patent/JPH07105165A/ja active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104777356A (zh) * | 2015-03-10 | 2015-07-15 | 三峡大学 | 一种基于神经网络的实时高精度谐波检测方法 |
| US11216717B2 (en) | 2017-04-04 | 2022-01-04 | Hailo Technologies Ltd. | Neural network processor incorporating multi-level hierarchical aggregated computing and memory elements |
| JP2021523489A (ja) * | 2018-07-26 | 2021-09-02 | ディーピング ソース インコーポレイテッド． | データをコンシール処理する方法及びこれを利用したデータ変調装置 |
| US11221929B1 (en) | 2020-09-29 | 2022-01-11 | Hailo Technologies Ltd. | Data stream fault detection mechanism in an artificial neural network processor |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Cinar et al. | Period-aware content attention RNNs for time series forecasting with missing values | |
| Ai et al. | Concept-aware deep knowledge tracing and exercise recommendation in an online learning system. | |
| KR20090010957A (ko) | 심리평가 시스템 및 방법 | |
| JP2019144779A (ja) | 因果推定装置、因果推定方法、及びプログラム | |
| JPH08314892A (ja) | 計量経済モデルにニューラルネットを適用した金利予測システム | |
| CN107330852A (zh) | 一种基于实时零点图像操作网络的图像处理方法 | |
| JPH07105165A (ja) | ニューラルネットワーク情報処理装置 | |
| van der Mei et al. | Artificial intelligence potential in power distribution system planning | |
| Zheng | Methods for multiple attribute decision making with hesitant fuzzy uncertain linguistic information and their application for evaluating the college English teachers' professional development competence | |
| Alshaikh et al. | Intelligent Tutoring System: A Pedagogical Model Approach Based on Deep Reinforcement Learning. | |
| JPH07168799A (ja) | ニューラルネットワークの学習装置 | |
| CN118840236A (zh) | 一种智能化的教务管理方法、系统、电子设备及存储介质 | |
| Reid et al. | Mutual reinforcement learning with heterogenous agents | |
| CN109388385A (zh) | 用于应用开发的方法和装置 | |
| JPH05265512A (ja) | 学習型制御装置およびファジィ推論装置 | |
| JP2770523B2 (ja) | 図形着色方式 | |
| JP4267726B2 (ja) | 制御装置における動作信号と操作量との関係を決定する装置、制御装置、データ生成装置、入出力特性決定装置及び相関関係評価装置 | |
| JPH05128082A (ja) | 階層ネツトワーク構成データ処理装置とその学習処理方法 | |
| JPH11175494A (ja) | ニューラルネットワーク | |
| JP3523325B2 (ja) | ニューラルネットワーク及びこれを用いた信号処理装置、自律システム、自律型ロボット並びに移動システム | |
| JPH096881A (ja) | ニューラルネットワーク | |
| EP4621660A1 (en) | Learning model evaluation assistance device and learning model evaluation assistance program | |
| Li et al. | How to Select the Appropriate One from the Trained Models for Model-Based OPE | |
| JP2553725B2 (ja) | 推論装置 | |
| Ghazy | Original Paper A Mathematical Model of a Course Performance Index to Measure Improvements in Students’ Soft Skills |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |