JPH0728768A

JPH0728768A - ニューラルネットワークの学習により逆解を求める方法

Info

Publication number: JPH0728768A
Application number: JP5174432A
Authority: JP
Inventors: Tetsuo Kiyono; 哲郎清野
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 1993-07-14
Filing date: 1993-07-14
Publication date: 1995-01-31

Abstract

(57)【要約】【目的】本発明の目的は、逆解を得るための逆モデル
等のシステムを新規に開発することなく、ニューラルネ
ットワークの学習により逆解を求める方法を提供するこ
とである。【構成】本発明は、ニューラルネットワーク(110) の
入力層(112) の前段に補助入力層(111) を設け、入力層
(112) と補助入力層(111) を固定結合し、ニューラルネ
ットワーク(110) を学習パターン(120) で学習させ、学
習終了後、入力層(112) と補助入力層(111) の固定結合
を解除し、ニューラルネットワーク(110)の入力層(112)
から出力層(114) までを固定結合し、出力パターン(15
0) が所望の値となるような学習パターン(170,160) を
用いて学習を行う。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ニューラルネットワー
クの学習により逆解を求める方法に関し、特に、「ある
成分の組み合わせ」から何らかの「評価」を算出できる
とき、逆に「ある評価値」を与えてくれる「成分の組み
合わせ」の情報が欲しいというような場合にニューラル
ネットワークを用いて所望の情報を得るためのニューラ
ルネットワークの学習により逆解を求める方法に関す
る。

【０００２】詳しくは、「物の性質」から逆に「素材の
混合比」を探りたい分野の例としてガラス（ソーダ石灰
ケイ酸）の成分（ｗｔ／％）が、以下に示す混合比であ
るとき、 SiO₄…73, Na₂O…14, CaO …9, MgO…3.5, Al₂O₃…0.5 学習によって上記の成分が得られた場合に、この成分混
合比から該当するガラスの種別がソーダ石灰ケイ酸であ
ることを求める。この例において、求められたソーダ石
灰ケイ酸を逆解とする。

【０００３】上記のガラスの例以外にも、金属可能、樹
脂加工、薬品配合、食品加工、繊維等にも適応できる。

【０００４】一般に、逆解を求める方法は、「判定結
果」か逆に「判定要因」を得る分野に適応の可能性があ
る。

【０００５】

【従来の技術】従来の逆モデルの学習方法として、直接
逆モデリング法がアルバス（albus)等により運動制御の
学習に応用されている。

【０００６】この方法は、対象のシステムの入力をｘ，
出力をｙ＝ｆ（ｘ）とすると、入力をｙとした場合に、
入力ｙについても出力がｘとなるように逆モデルの学習
を行うものである。

【０００７】この方法は、ガラスの成分を例にとると、
表１の入力と出力を入れ換えたパターンである表２を図
６に示す逆三角形のニューラルネットワークにおいて学
習するものである。表１はガラスの各成分SiO2…Al2O3
を入力とし、出力を屈折率とした場合を示し、表２は、
屈折率を入力とし、各成分を出力したものである。

【０００８】

【表１】

【０００９】

【表２】

【００１０】本例では、このように屈折率を入力として
異なる成分を逆解として求める。

【００１１】また、直接逆モデリングについて、対象シ
ステムを線形化し、フィードバック回路を付加する出力
フィードバック型逆モデルという方法がある。

【００１２】この方法は、直交学習により線形システム
Ｙ＝Ａｘが逆モデルの学習を行わせる。逆モデルを表す
Ｗ_iがＷ_i' に更新されるとすると、Ｗ_i' ＝Ｗ_i＋ηΣ_p（ｘ_p−Ｗ_iｙ_p）ｙ_p’ 極限において、Ｗ_i' ＝Ｗ_i、またｙ_p＝Ａｘ_pよりＡ’−Ｗ_iＡＡ’＝０が成り立つ。ｎ＜ｍ（ｎ次元ベクトル＜ｍ次元ベクト
ル）の場合、Ａが正則ならば、Ｗ_i＝Ａ’（ＡＡ’）^-1 となる。ｎ＝ｍの場合（ｎ次元ベクトル＝ｍ次元ベクト
ル）、Ａが正則ならば、Ｗ_i＝Ａ^-1 である。何れの場合も逆モデルの出力Ｗ_iｙを対象シス
テムに入力すれば、対象システムの出力はｙになる。

【００１３】このように、対象システムが線形系の場
合、冗長自由度がある場合でも、直接逆モデリングによ
って逆モデルの学習が可能である。よって、対象システ
ムを線形化することにより、直接逆モデリング法により
逆モデルの一種を獲得する。

【００１４】

【発明が解決しようとする課題】しかしながら、上記従
来の方法のうち、アルバス等による逆モデルの学習方法
では、表２に示すパターンｐ１とｐ２が同一の屈折率1.
458 を入力した場合、表２に記載されているデータと異
なる成分を出力してしまい、矛盾が生じるか、２つの値
の適当な中間値に寄付き、学習が進まない、あるいは、
２つの値ともに収束しない等の問題がある。

【００１５】直接モデルリング法は、ｘとｙの対応が１
対１の場合には、問題がないが、１つの出力ｙに対応す
る入力ｘが複数存在する場合には、直接逆モデリング法
によって学習した理想的な逆モデルは、ｙに対応するｘ
の平均値ｘ_mを出力する。しかし、非線形系の場合、ｙ
_m＝ｆ（ｘ_m）は、ｙに一致するとは限らない。ｙ_mが
ｙに一致していない場合、逆モデルの出力ｘ_mを対象シ
ステムに入力しても対象システムの出力はｙにならな
い。この方法では完全な逆モデルを学習できるシステム
には制限がある。

【００１６】また、上記の直接モデリング法に関する問
題は、対象システムを線形化しフィードバック回路を付
加した出力フィードバック型逆モデルの方法により解決
されるが、この方法は、線形系の場合のみに適応される
ものであり、非線形系には適応できないという問題があ
る。また、シグモイド関数を使用していない線形系の場
合には、逆行列を計算することができるが、ネットワー
クの性能に限界が生じるため、実用性の面で問題があ
る。このように、ニューラルネットワークを利用して混
合比を評価結果のデータを入れ換えた逆写像を学習させ
る方法は、学習パターン同士が矛盾し合ってうまく学習
できない。さらに、逆モデルを実現させるためには逆解
用のニューラルネットワークや逆解アルゴリズムを開発
する必要があり、システム設計者に負担がかかる等の問
題がある。

【００１７】本発明は、上記の点に鑑みなされたもの
で、上記従来の問題点を解決し、逆解を得るための逆モ
デル等のシステムを新規に開発することなく、ある多変
量関数の中の未知系数等を決定する算法がある場合に、
その算法を利用して逆解を求めることができるニューラ
ルネットワークの学習により逆解を求める方法を提供す
ることを目的とする。

【００１８】

【課題を解決するための手段】本発明のニューラルネッ
トワークの学習により逆解を求める方法は、入力層、中
間層及び出力層から構成されるニューラルネットワーク
と学習パターンを備え、ニューラルネットワークの該入
力層の前段に該入力層と同数のニューロンユニットを有
する補助入力層を設け、入力層と該補助入力層の結合係
数を任意の係数で固定結合し、ニューラルネットワーク
を学習パターンで学習させ、学習終了後、入力層と補助
入力層の結合係数の固定結合を解除し、ニューラルネッ
トワークの入力層から出力層までの結合係数を固定結合
し、出力パターンが所望の値となるような所定の学習パ
ターンを用いてニューラルネットワークの学習を行う。

【００１９】

【作用】本発明は、入力層、中間層及び出力層からなる
ニューラルネットワークにおいて、入力層の前段に補助
入力層を設け、ニューラルネットワークの学習におい
て、補助入力層と入力層の結合係数を固定させて１回目
の学習を行うことにより補助入力層と入力層間は学習が
行われず、入力層、中間層、出力層が学習される。次に
補助入力層と入力層の結合係数を自由結合とし、入力層
から出力層までの結合荷重係数を固定結合として、任意
のパターンにより当該ニューラルネットワークの２回目
の学習を行うことにより、補助入力部と入力部の間の結
合部分のみが学習するため、学習が収束すると、補助入
力層と入力層の間の重みに逆解が分散されて表現され
る。これにより、本発明は、従来の方法のようにパター
ンの因果関係を入れ換えないため、入れ換えによる矛盾
を生じることがない。また、ニューラルネットワークの
学習においては、逆解用のアルゴリズムを用いずに学習
アルゴリズムをそのまま利用しているため、別のシステ
ム開発を必要としない。

【００２０】

【実施例】以下、図面と共に本発明の実施例を詳細に説
明する。

【００２１】図１は本発明システムの概要を説明するた
めの図である。

【００２２】同図（Ａ）はニューラルネットワークにお
いて、１回目の学習を行う場合を示し、同図（Ｂ）は、
２回目の学習を行う場合を示す。

【００２３】まず、ニューラルネットワーク１１０の構
成について説明する。ニューラルネットワーク１１０
は、一般的な入力層１１２、中間層１１３及び出力層１
１４からなる構成に加えて、入力層１１２の前段に設け
られる補助入力層１１１より構成される。補助入力層１
１１のニューロンユニットの数は入力層１１２のニュー
ロンユニットの数と同数であり、本実施例の場合は、５
個である。

【００２４】同図（Ａ）において、補助入力層１１１と
入力層１１２の結合荷重は所定の結合係数により固定結
合されており、入力層１１２、中間層１１３及び出力層
１１４間は、任意の結合係数で自由結合している。この
状態でニューラルネットワーク１１０が学習を行うと、
入力層１１２に対して補助入力層１１１からは入力され
た値のみが伝達され、入力層１１２以上の階層で学習が
行われる。

【００２５】同図（Ｂ）において、同図（Ａ）の学習終
了後、補助入力層１１１と入力層１１２の結合荷重は任
意の結合係数により自由結合されており、入力層１１
２、中間層１１３及び出力層１１４間は、学習後の結合
係数で固定結合されている。この状態でニューラルネッ
トワーク１１０が学習を行うと、補助入力層１１１と入
力層１１２間のみで学習が行われる。従って、学習が収
束すると、この補助入力層１１１と入力層１１２の間に
逆解が出現する。

【００２６】図２は、本発明の一実施例の動作の概要を
示すフローチャートである。

【００２７】以下に示す動作の前提として、予めニュー
ラルネットワークと学習パターンを用意する。

【００２８】ステップ１）ニューラルネットワークの入
力層１１２と補助入力層１１１を結合する。

【００２９】ステップ２）入力層１１２と補助入力層１
１１の結合荷重係数を例えば、１．０として固定する。

【００３０】ステップ３）ニューラルネットワーク１１
０を学習パターンで学習させる。

【００３１】ステップ４）ニューラルネットワーク１１
０の学習が終了したら、ステップ２で固定された入力層
１１２と補助入力層１１１の固定結合を解除する。

【００３２】ステップ５）１回目の学習が済んでいる入
力層１１２〜出力層１１４の結合荷重係数を固定する。

【００３３】ステップ６）入力パターンを１．０等と
し、出力パターンを「所望の出力値（教師パターン）」
に設定することによりステップ３で用いたパターンとは
別の学習パターンを用意する。

【００３４】ステップ７）ステップ６で設定された学習
パターンにより、ステップ６において結合荷重係数が変
更になったニューラルネットワーク１１０を学習させ
る。

【００３５】ステップ８）学習が終了し、所望の出力値
の逆解が、ステップ７で学習した入力層１１２と補助入
力層１１１の結合荷重係数として得られる。

【００３６】ステップ９）一方、別の逆解を得たい場合
には、ステップ１０に移行し、所望の逆解を得た場合に
は処理を終了する。

【００３７】ステップ１０）上記のニューラルネットワ
ークの入力層１１２、補助入力層１１１の結合荷重係数
を別の値に変更して固定結合させ、学習係数を変更して
ステップ９に移行する。

【００３８】図３は、本発明の一実施例の結合荷重係数
が変化した場合のニューラルネットワークを示す。

【００３９】同図（Ａ）は、入力層１１２と補助入力層
１１１の結合荷重係数を１０．０として固定している状
態を示しており、補助入力層１１１のニューロンデータ
はそのまま、入力層１１２のニューロンユニットに入力
されることになる。この時、入力層１１２から出力層１
１４の結合荷重係数は自由結合荷重である。同図中、入
力層１１２と補助入力層１１１のニューロン間で実線で
示されているのが結合荷重であり、同図（Ａ）の例で
は、その結合荷重は１０．０であり、点線で示されてい
るのは、非結合荷重であり、その結合荷重は０である。
この状態のニューラルネットワークを所定の学習パター
ンで学習させる。この状態でニューラルネットワークに
学習させることにより、入力層１１２から出力層１１４
が学習することになる。

【００４０】同図（Ｂ）は、同図（Ａ）の状態で入力層
１１２から出力層１１４の学習が終了し、入力層１１２
と補助入力層１１１の固定されている結合荷重係数を解
除し、自由結合とし、入力層１１２から出力層１１４の
重みを固定する。このニューラルネットワークの状態
で、所望のパターンで学習させることにより、補助入力
層１１１と入力層１１２の間で学習され、ここに逆解が
得られる。

【００４１】以下に用いて本発明をガラスのデータに適
用した例を示す。

【００４２】以下に示す動作の説明中、ｆ（ｘ）はシグ
モイド関数を示し、

【００４３】

【数１】

【００４４】ｆ’（ｘ）はシグモイドの逆関数を示す。ｘ＝ｆ’（ｙ）＝−log （１／ｙ−１）（１）まず、前述した表１に示すガラスの成分と屈折率
の素データがあるとする。表１に示す素データから入出
力パターンを作成する。本実施例では、屈折率の値が
１．０を越えているため、表１のデータを正規化し、表
３に示すパターンに置き換える。表３において、便宜的
に正規化の式について、屈折率＝１．４＋ output ／３．０とした。

【００４５】

【表３】

【００４６】（２）図３に示すように、補助入力層１１
１、入力層１１２、中間層１１３及び出力層１１４から
構成されるニューラルネットワークを生成し、補助入力
層１１１と入力層１１２の結合荷重を１０．０で固定す
る。

【００４７】（３）固定結合荷重１０．０と逆シグモイ
ド関数ｆ’（ｘ）で補正した入力パターンを表４に示
す。

【００４８】

【表４】

【００４９】上記の表４に示すように、例えば、パター
ンｐ１のSiO₂の値（0.5293) が補助入力層１１１のニュ
ーロンユニットに入力されると、5.293 が入力層１１２
のニューロンユニットに渡り、入力層１１２のニューロ
ンユニットの出力は、ｆ（５．２９３）＝０．９９５となり、表１の素データを直接入力層に入力したことと
同様となる。

【００５０】（４）図３（Ａ）に示すニューラルネット
ワークを表４に示すパターンで学習させる。

【００５１】（５）次に、図３（Ｂ）に示すように、
（４）とは逆に補助入力層１１１から入力層１１２の結
合荷重を自由荷重とし、入力層１１２から中間層１１３
及び出力層１１４の結合荷重を固定する。

【００５２】（６）ここで、例えば、屈折率１．５５を
出力するための成分の組を求めるために、表５に示すよ
うに逆解用のパターンを１つ生成する。

【００５３】

【表５】

【００５４】（７）この表５のパターンを図３（Ｂ）に
示すニューラルネットワークで学習する。（８）学習が
収束すると、補助入力層１１１と入力層１１２の各重み
に逆解が分解して表６のように表現される。特に、本実
施例では、入力層が出力している値がそのまま逆解にな
っている。これは、予め入力層１１２から中間層１１３
への出力が表２の比率％値になるように想定されている
ためである。

【００５５】

【表６】

【００５６】表６において、入力層１１２の出力＝？？
＝逆解の値は、シグモイド関数ｆ（ｘ）を介した値であ
るので、値域は０〜１である。

【００５７】なお、上記の本実施例の（３）において、
重みを１．０にすると、（４）において、逆シグモイド
関数ｆ’（ｘ）による補正値の値域がおよそ−１０．０
〜１０．０となってしまい、シミュレータが扱える範囲
を越えているため、重みを１０．０としたが、上記の例
に限定されることなく、重み１．０であっても補正値が
扱えるシミュレータであれば、他の重みを設定してもよ
い。

【００５８】なお、入力層１１２から中間層１１３への
ニューロンユニットの出力値を表３に示す入力値（％）
（シグモイド関数ｆ（ｘ）を通さない）とすることが必
要であるが、実際には、入力層１１２から中間層１１３
の間でシグモイド関数ｆ（ｘ）がかかってしまう。従っ
て、予め入力層１１２に逆シグモイド関数ｆ’（ｘ）で
補正した値を設定すれば、結果的にはｆ（ｆ’（ｘ））
＝ｘとなり、入力層１１２から中間層１１３へのシグモ
イドの影響を見かけ上なくすことができる。

【００５９】さらに、上記の例で、比率が１００％にな
らずに、５０％や３００％となってしまうような場合に
は、順方向の学習後、比率をチェックするための比率チ
ェック用ニューロンを図４に示すようにニューラルネッ
トワークに付加し、表５のパターンに比率チェック用の
出力値を付加して逆解を求めることができる。図４にお
いて、黒丸は付加されたチェックニューロンを示す。こ
の時、付加されたチェックニューロンに接続されていな
いニューロンの結合荷重は０とする。また、補助入力層
と入力層間の結合荷重については自由結合荷重とし、入
力層と中間層の間の結合荷重は、１．０とする。中間層
の右端の黒丸で示すニューロンには比率の合計が集ま
り、中間層から出力層の結合荷重は、ｆ（比率の合計）
となり、出力層からは、ｆ（ｆ（比率の合計））が出力
される。

【００６０】上述のように、本発明では、一般的に用い
られている入力層、中間層及び出力層からなるニューラ
ルネットワークにおいて、入力層の前段に補助入力層を
付加して、最初に補助入力層と入力層の間の結合荷重係
数を固定し、自由結合となっている入力層、中間層、出
力層間の学習を行う。次に、補助入力層と入力層間の固
定結合を解除し、入力層、中間層、出力層間の結合荷重
係数を固定とし、補助入力層と入力層間の学習を行うこ
とにより、補助入力層と入力層間に逆解が得られる。

【００６１】

【発明の効果】以下に本発明を適用することにより得ら
れた結果について述べる。

【００６２】モデルとして、３層のニューラルネットワ
ークにおいて、１層目にシグモイド関数がないモデルを
設定し、学習アルゴリズムとしてバックプロパゲーショ
ン法を適応する。この場合の学習パターンは排他論理和
（ＸＯＲ）パターンでｘ［ｘｏｒ］ｙ＝ｚとして、（ｘ，ｙ，ｚ）＝（０，０，０），（０，１，１），
（１，０，１），（１，１，０）の４種類とする。

【００６３】上記の条件で学習した後、ｚ＝１，ｚ＝
０．５を得るための入力の組を求めた結果、（０，１，
１）と（０．５，１，０．５）が得られた。（０，１，
１）は既知のパターンであり、納得できる結果である。
また、後者は未知のパターンを発見したことになる。

【００６４】また、別の適応例として、３層のニューラ
ルネットワークにおいて、１層目にシグモイド関数がな
いモデルを設定し、学習アルゴリズムとして上記と同様
にバックプロパゲーション法を適応し、逆解を求める。

【００６５】図５は本発明の効果を説明するための図で
ある。同図（Ａ）は入力パターンであり、同図（Ｂ）は
逆解である。同図（Ｂ）に示すように逆解は入力パター
ンの「上り」、「下り」、「山」、「谷」の特徴をよく
抽出している。また、同図（Ｃ）に示すように、「上
り」と「山」の逆解を求めたところ両方の特性を併せ持
つ逆解が得られた。

【００６６】従って、本発明によれば、一般的なニュー
ラルネットワークに補助入力層を設け、結合荷重係数を
変化させることにより、所望の逆解が得られるため、成
分の混合比や影響度等の分析にニューラルネットワーク
を用いている分野において、本発明で良好な結果が得ら
れた場合には、逆解を求めるための逆解用ニューラルネ
ットワークや逆解アルゴリズム等の新規開発の負担がな
くなる。

【図面の簡単な説明】

【図１】本発明のシステムの概要を説明するための図で
ある。

【図２】本発明の一実施例の動作の概要を示すフローチ
ャートである。

【図３】本発明の一実施例の結合荷重係数が変化した場
合のニューラルネットワークを示す図である。

【図４】本発明の一実施例のニューラルネットワークに
比率チェック用のニューロンを付加した場合を示す図で
ある。

【図５】本発明の効果を説明するための図である。

【図６】従来の直接逆モデリング法における逆三角形の
ネットワークで学習を行う場合を示す図である。

【符号の説明】

１００出力パターン１１０ニューラルネットワーク１２０，１６０学習パターン１１１補助入力層１１２入力層１１３中間層１１４出力層１５０所望の入力パターン

Claims

【特許請求の範囲】

【請求項１】入力層（１１２）、中間層（１１３）及
び出力層（１１４）から構成されるニューラルネットワ
ーク（１１０）と学習パターン（１２０）を備え、該ニューラルネットワーク（１１０）の該入力層（１１
２）の前段に該入力層（１１２）と同数のニューロンユ
ニットを有する補助入力層（１１１）を設け、該入力層（１１２）と該補助入力層（１１１）の結合係
数を所定の係数で固定結合し、該ニューラルネットワーク（１１０）を該学習パターン
（１２０）で学習させ、学習終了後、該入力層（１１２）と該補助入力層（１１
１）の該結合係数の固定結合を解除し、該ニューラルネ
ットワーク（１１０）の該入力層（１１２）から出力層
（１１４）までの結合係数を固定結合し、出力パターン（１５０）が所望の値となるような任意の
学習パターン（１５０、１６０）を用いて該ニューラル
ネットワーク（１１０）の学習を行うことを特徴とする
ニューラルネットワークの学習により逆解を求める方
法。