JPH0464184A - ニューラル・ネットワークによるｉｆ―ｔｈｅｎ型ルール演算装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔目次〕 概要 産業上の利用分野 従来の技術（第８図） 発明が解決しようとする課題 課題を解決するための手段（第１図） 作用 実施例（第２図〜第８図） 発明の効果 〔概要〕 ニューラル・ネットワークによるＩＦ−ＴＨＥＮ型ルー
ル演算装置に関し、 制御ルール部分と判断処理部分を一体化したニューラル
・ネットワーク構成によりチューニングを同時に可能と
することを目的とし、 人力層からの入力を中間層に送出し、中間層の出力を次
段層に伝送して演算を行うネットワーク構成データ処理
装置において、 ニューロ・ユニットで構成される複数の入力層ユニット
と、前記入力層ユニットからの出力を入力する中間層ユ
ニットと、前記中間層ユニットからの出力を入力する出
力層ユニットを設け、前記入力層ユニットの一部にＩＦ
−ＴＨＥＮ型ルールの条件データを入力し、入力層ユニ
ットの他の部分にこれらの条件データに対応する入力デ
ータを入力するように構成する。

また条件の成立、不成立に応じ、数値１．０を入力する
。

〔産業上の利用分野〕

本発明は、ニューラル・ネットワークによるＩＦ（イフ
）−ＴＨＥＮ　（ゼン）型規則演算装置に関する。

近年、プラント等多入力系の制御にＩＦ−ＴＨＥＮ型ル
ールに基づくエキスパートシステムの一部として、ニュ
ーラル・ネットワークを用いた推論が使われている。

〔従来の技術〕

例えばプラント制御システムを構築するとき、通常はＩ
Ｆ〜、ＴＨＥＮ型ルールで構築する。どの圧力がどのよ
うなとき、どんな操作を行うとか、温度がどのような状
態のときどのような繰作を行うべきかというようなこと
を決定することが必要であるが、熟練オペレータの知識
がこのＩＦ〜、ＴＨＥＮ型ルールで十分に書いてあれば
、熟練者に近い制御や推論ができる。それでＩＦ〜、Ｔ
ＨＥＮ型ルールが使用されている。

その中で、温度や圧力がどの位高いか低いかなどの人の
感覚で判断すべきところをニューラル・ネットワークで
判断させ、その前段のＩＦ〜、ＴＨＥＮ型ルールをフォ
ートラン等のプログラム言語で記述している。即ち、従
来のＩＦ〜、ＴＨＥＮ型のルールでは、ＩＦ〜、ＴＨＥ
Ｎ部分をフォートランのような一般の言語で記述し、判
断を行うところはニューラル・ネットワークで構成して
いた。

例えば２つの条件の下で制御する場合、第８図（Ａ）に
示す如く、条件Ａ、Ｂが成立するとき、これらの条件Ａ
、Ｂに対応するデータＤＡ、ＤＢが入力されるニューラ
ル・ネットワークを用意し、その出力Ｚを使用する。こ
のニューラル・ネットワークは、入力層を構成するニュ
ーロ・ユニットｈ−１、ｈ−２と、中間層を構成するニ
ューロ・ユニットｉ−１、ｉ−２、ｉ−３と、出力層を
構成するニューロ・ユニットｊ等で構成されている。

この場合、条件Ａのみ成立し、条件Ｂが不成立の場合に
は第８図（Ｂ）に示す如く、使用されるニューラル・ネ
ットワークは、入力層を構成するニューロ・ユニットｈ
−１′、中間層を構成するニューロ・ユニットｉ−１’
〜ｉ−３′、出力層を構成するニューロ・ユニットｊ′
で構成されている。そして条件Ｂのみ成立し、条件Ａが
不成立の場合に使用されるものは、第８図（Ｃ）に示す
如く、入力層を構成するニューロ・ユニットｈ−２′、
中間層を構成するニューロ・ユニット１１＃〜ｉ−３″
、出力層を構成するニューロ・ユニットｊ″で構成され
ている。勿論第８図（Ａ）〜（Ｃ）で示すニューラル・
ネットワークは、それぞれ個別に異なる学習データにも
とづき学習されることになる。

〔発明が解決しようとする課題〕

例えばプラント制御システムを構築する際には、現場の
熟練オペレータの知識から制御ルールを抽出し、エキス
パートシステムを構築する。

その中で、センサからの入力値の前処理をニューラル・
ネットワークで行う場合、稼働後のエキスパートシステ
ム（制御ルール）のチューニングとニューラル・ネット
ワークのチューニングを個々に行なわなければならず、
非常に手間がかかる。

しかも、ＩＦ〜、ＴＨＥＮ型ルールにより、想定しうる
全部の条件を抽出し、記述することが必要になるが、条
件が多いとき、これをもれなく抽出することが非常に困
難である。そして、前記第８圓（Ａ）、（Ｂ）、（Ｃ）
に示す如く、各条件に応じ、これに対応したニューラル
・ネットワークを作り、それらのチューニングを行わな
ければならないので、前記の如く、非常に手間がかかる
ことになる。

したがって、本発明の目的は、条件毎のＩＦ〜ＴＨＥＮ
型ルールをプログラム言語で記述する必要のない、しか
もルールとニューラル・ネットワークにおける判断に対
するチューニングを同時に行うことを可能にするニュー
ラル・ネットワークを捉供するものである。

〔課題を解決するための手段〕

前記目的を達成するため、本発明では、第１図に示す如
く、ニューラル・ネットワークの入力層を、条件Ｃｘ−
Ｃｍが入力されるニューロ・ユニットｈＣ１〜ｈＣｍと
、入力データＡｘ−Ａｍが入力されるニューロ・ユニッ
トｈ　Ａ　１〜ｈＡｍで構成し、中間層をニューロ・ユ
ニット１１〜ｉｐで構成し、Ｚｉ〜Ｚｎを出力する出力
層をユユロ・ユニットｊ１〜ｊｎで構成する。

ここで条件０１〜Ｃｍはその条件が成立しているとき、
数値１が入力され、不成立の場合数値Ｏが入力される。

そして、各条件の成立、不成立のとき、どのような入力
にもとづきどのような出力が住するのかを予め作成して
おきこれらの学習値にもとづきニューラル・ネットワー
クを学習する。

〔作用〕

本発明では、条件の成立、不成立、入力データ、これら
にもとづく学習値をあらかじめ複数用意しておき、ニュ
ーラル・ネットワークを学習するので、条件が多数ある
場合でも、従来のように、多数のＴＦ〜、ＴＨＥＮ型の
ルールで各条件に応じた制御を記述する必要がなく、熟
練技術者の知識にもとづく操作を容易に行うことができ
る。しかもニューラル・ネットワークの学習機能により
、制御ルールの部分も含めて学習することができるので
、第８図に示す如く、条件の成立・不成立に対応したニ
ューラル・ネットワークを構成する必要なく、１つのニ
ューラル・ネットワークで構成することができる。

〔実施例〕

本発明の一実施例を第２図〜第７図にもとづき説明する
。

第２図は本発明の一実施例構成図、第３図はその学習説
明図、第４図は学習後の推論値説明図、第５図はニュー
ロ・ユニットの基本的構成図、第６図はニューロ・シス
テムにおける階層ネットワークの基本構成図、第７図は
一般的なニューロ・システムを示すもので（Ａ）はニュ
ーロ・ユニットの一例、（Ｂ）は階層ネットワークの一
例を示先ず、本発明を詳述するに先立ち、第５図により
本発明を構成するニューロ・ユニットについて説明する
。

第５図において、２１はニューロ・ユニット、２２は複
数の入力（図示の場合は入力Ｘ１〜Ｘ５の５人力の場合
を示す）に対し夫々の内部結合の重み＠　（Ｗ　１　、
　Ｗ　２〜Ｗ　ｓ　）を乗算する乗算部２２−１〜２２
−５を具備する乗算処理部、２３は乗算処理部２２から
出力される全乗算結果Ｘ１・Ｗ１〜Ｘ５・Ｗ５を加算す
る累算処理部、２４は前記累算処理部２３の累算値に例
えばＳ字形関数（シグモイド関数）を使用して非線型の
闇値処理を行う闇値処理部である。勿論、用途に応じて
前記Ｓ字形関数の代わりに他の関数、例えばｆ（Ｘ）＝
Ｘの恒等関数を使用することができる。

このニューロ・ユニット２１で行われる演算を数式で示
すと以下のようになる。

加算部２３の出力Ｙは入力信号をＸｌ、Ｘ２Ｘ５とすれ
ば、 （なお、第５図の例は、ｎ＝５である。）閾値処理部２
４の出力Ｚは、闇値をθとするとき、 一 １＋ｅ−ｖ“ン 前記各式において、Ｗｉとθは可変である。

なお、ニューロ・ユニット２１は、第７図（Ａ）に示す
如く、具体的に構成されている。第７図（Ａ）において
、２２ａは乗算型Ｄ／Ａコンバタ、２３は累算処理部で
あってアナログ加算器２３ａ及びサンプルホールド回路
２３ｂを具備するもの、２４は闇値処理部、２５は出力
保持部、２６は出力スイッチ部、２７は入力スイッチ部
、２８は重み保持部、２９は制御回路である。そして第
７図（Ａ）において、第５図と同−記号部は同一部分を
示す。

入力スイッチ部２７は、入力信号Ｘ１、Ｘ２、Ｘａ−が
順次入力されるものであり、この入力タイミングに同期
してオン制御される。そしてこの入力タイミングに応じ
て重み信号Ｗ１、Ｗ２、Ｗ３−が伝達されるが、このと
き制御回路２９より重み入力制御信号が順次レシーバに
出力され、レシーバを経由してこの重み信号Ｗｌ、Ｗ２
、Ｗ３・−を重み保持部２８に順次送出する。このよう
にして乗算型Ｄ／Ａコンバータ２２ａにおいて、ＸＩＷ
Ｉ、Ｘ２Ｗ２、Ｘ　３Ｗ　ｓ−が順次演算される。

累算処理部２３は、初めサンプルホールド回路２３ｂは
零にクリアされているので、前記ＸＩＷ１とこの零がア
ナログ加算器２３ａにて加算され、得られたＸ　Ｉ　Ｗ
　１が保持される。次にＸ２Ｗ２が入力されるとき、ア
ナログ加算器２３ａはサンプルホールド回路２３ｂに保
持されたＸ　Ｉ　Ｗ　ｔとこのＸ　Ｓ？　Ｗ　ｗを加算
して、得られた（　Ｘ　ｔ　Ｗ　１　＋　Ｘ２Ｗ２）を
サンプルホールド回路２３ｂに保持する。このようにし
て累算値Ｙ−（ＸＩＷｘ＋Ｘ２Ｗ　２　＋　Ｘ　３Ｗ　
ｓ−）が演算される。

このようにして累算処理部２３における累算処理が終了
したとき、制御回路２９は変換制御信号を出力し、次い
で出力制御信号を出力する。これに応じて前記累算値Ｙ
が閾値処理部２４が閾値処理を行い、得られた出力Ｚを
出力保持部２５で一時的に保持し、出力スイッチ２−６
がオンに制御されることによりこの出力Ｚが出力される
。

ニューロ・コンピュータでは、前記の如きニュロ・ユニ
ット２１を使用して、第６図に示す如き階層ネットワー
クによる並列分散処理を行うものである。

第６図において、入力層を構成する複数のニュロ・ユニ
ット２１ｈは入力信号に対し重みづけや闇値処理を行う
ことなく、そのままこれを中間層を構成する複数のニュ
ーロ・ユニット２１ｉに分配出力するものである。

中間層を構成するニューロ・ユニット２１ｉはこれらの
入力信号に対し重み付して累算入力し、これを闇値処理
して出力するものである。

出力層を構成するニューロ・ユニット２１ｊは、中間層
と同様に、各人力信号に対し重み付して累算入力し、こ
れを闇値処理して出力するものである。

そして中間層ｉを前段とし、出力層ｊを後段層とすると
、ｉ層ｉ番目のニューロ・ユニットの累算処理部では下
記の（１）式の演算を実行し、また闇値処理部では下記
（２）式の闇値演算処理が実行するよう処理する。

Ｙｐｉ−ΣＸ　ｐ　ｈ　Ｗ　ｉ　ｈ　−４１）Ｚｐ　ｉ
＝１／　（ｔ＋ｅｘｐ　（−Ｙｐ　ｉ＋θｉ　）　：１
−（２）但し、 ｈ：ｈ層（入力層）のユニット番号 ｐ：入力信号のパターン番号 θｊ：ｉ層（中間層）の１番ユニットの闇値Ｗｉｈ：ｈ
−ｉ層間の内部結合の重み値Ｘｐｈ：ｐ番目のパターン
の入力信号に対するｈ層のｈ番ユニットからの出力 第６図に示す階層ネットワークは、例えば第７図（Ｂ）
に示す如く、具体的に構成されている。

第７図（Ｂ）において、７０はアナログバスであって、
人力層を構成するニューロ・ユニット２１ｈ、中間層を
構成するニューロ・ユニット２１ｉ、出力層を構成する
ニューロ・ユニット２１ｊ等を、第７図（Ｂ）に示す如
く、接続するもの、７１は前記重み保持部２８に重み値
を与える重み出力回路、７２は入力層を構成するニュー
ロ・ユニット２１ｈに対する入力信号を保持する入力信
号保持回路、７３はデータ転送の制御信号である同期制
御信号を伝送する同期制御信号線、７４は階層ネットワ
ークを総合的に制御する主制御部である。

なお、入力層のニューロ・ユニット２１ｈの重み値は、
前記の如く１のため、これらのニューロ・ユニッｌ−２
１ｈの重み出力回路７１にはいずれも数値１が記入され
ている。

ところで、第６図に示す如き、階層ネットワーク構成の
データ処理装置では、データ変換機能を規定するところ
の階層ネットワーク構造の重み値等を学習処理により求
めることが必要である。

そしてこの学習処理のアルゴリズムとして、ハック・プ
ロパゲーション法がその実用性の高さから注目されてい
る。このハック・プロパゲーション法は、階層ネットワ
ークの重み値と闇値を、誤差のフィードバックにより調
節することにより学習するものである。

例えば、第１の数値の入力信号（Ｘｚ、Ｘ２．−）を入
力してこのときの出力層のニューロ・ユニット２１ｊの
各出力（Ｚｚ、Ｚ２−）を減算ユニット３０により数値
の教師信号（Ｄｌ、Ｄ　２−−）と比較してその誤差△
ｄｘ＝　（Ｄｌ−Ｚｌ）、△ｄｇ−（Ｄｚ−ＺｚＬ−を
求める。

そしてまず出力層の各ニューロ・ユニット２１ｊの闇値
、重み値Ｗｊｉをｈｃｌ、△ｄ２−が小さくなるように
調整し、次に中間層のニューロ・ユニット２１ｉの闇値
、重み値Ｗ　ｉ　ｈを同様に調整する。

それから、第２の数値の入力信号（Ｘｉ’、ＸＳ！　’
−）を入力してこのときの出力層のニューロ・ユニット
２１ｈの各出力（７１′、７２′−１）をｆｉ！ユニッ
ト３０により、これまた数値の教師信号（Ｄｉ’　、ｐ
２１．−、）と比較してその誤差△ｄｘ　　−（Ｄｔ’
　−２１’　）、△ｄｑ’　＝　（ＤＺ−Ｚｚ’）−を
求める。そして出力層のユニローユニット２１ｊの闇値
、重み値を同様に調整し、次に中間層のニューロ・ユニ
ッｆ・２１　ｉの闇値、重み値を調整する。これを複数
の入力信号と教師信号にもとづき行い、学習することに
なる。

本発明の一実施例である第２図において、ｈｃｌ、ｈｃ
２、ｈ　Ａ　１、ｈＡｚはいずれも入力層を構成するニ
ューロ・ユニットであり、ニューロ・ユニットｈｃｔに
は条件Ｃ１が成立するとき、数値１が入力され、不成立
のとき数値Ｏが入力される。ニューロ・ユニッ１−ｈｃ
ｓ＋には条件Ｃ２が成立するとき数値ｌが入力され、不
成立のとき数値０が入力される。そしてニューロ・ユニ
ットｈＡ１には条件Ｃ１に対応する入力データＡ１が入
力され、ニューロ・ユニットｈＡ２には条件Ｃ２に対応
する入力データＡ２が入力される。そして入力層のこれ
らのニューロ・ユニットの重み値は１であり、入力値が
そのまま出力される。

またニューロ・ユニット１１〜ｉ３は中間層を構成し、
ニューロ・ユニットｊ１は出力層を構成し、出力信号Ｚ
ｏを出力する。

勿論これらのニューロ・ユニットは前記第５図、第７図
（Ａ）に示す如く構成され、第２図の例は、第６図、第
７図（Ｂ）において、入力層が４個のニューロ・ユニッ
トで構成され、中間層が３個のニューロ・ユニットで構
成され、出力層が１個のニューロ・ユニットで構成され
る場合である。

なお、第２図において、Ｓｌは第１センサ、Ｓ７は第２
センサ、Ｓ■は第１センサＳ１、第２センサＳ２がそれ
ぞれ正常か否かを監視する監視部である。この例では、
各センサが正常か否かが条件となり、正常の場合は条件
成立、異常の場合は条件不成立となる。また条件に対応
した数値とは第１センサ、第２センサから送出されるデ
ータとなる。そして第２図において点線で示す部分がニ
ューラル・ネットワークである。

監視部ＳＶは、第１センサＳ１、第２センサＳ２が正常
か否かを監視し、正常のときは数値ｌ、異常のときは数
値Ｏをセンサ対応に出力するものである。第１センサＳ
１が正常のとき、監視部Ｓ■は条件Ｃ１として数値１を
ニューロ・ユニットｈｃｘに出力し、異常のとき数値Ｏ
を出力する。

また条件Ｃ７として第２センサＳ２が正常のとき、数値
１をニューロ・ユニットｈｃｚに出力し異常のとき数値
Ｏを出力する。そして第１センサＳ１の出力データがニ
ューロ・ユニツｌ−ｈ　Ａ　ｓに入力され、第２センサ
Ｓ２の出力データがニューロ・ユニットｈＡｇに入力さ
れる。

次に第２図のニューラル・ネットワークを下記のルール
１〜ルール４にもとづ＜ＩＦ−ＴＨＥＮ型ルールで動作
させる場合の学習について説明する。

（１）ルール１ １Ｆ　　第１センサが正常でかつ第２センサが正常 ＴＨＥＮ　　出力値ｆ　（ｚ）−％〔第１センサからの
値十第２セン サからの値〕 （２）ルール２ ＩＦ　　第１センサが正常でかつ第２センサが異常 ＴＨＥＮ　　出力値ｆ　（ｚ）＝’Ａ　Ｃ第１セフ’ｔ
からの値〕 （３）ルール３ １Ｆ　　第１センサが異常でかつ第２センサが正常 ＴＨＥＮ　　出力値ｆ（ｚ）＝’ＡＣ第２センサからの
値〕 （４）ルール４ １Ｆ　　第１センサが異常でかつ第２センサが異常 ＴＨＥＮ　　出力値ｆ　（ｚ）−〇 前記ルール１〜ルール４にもとづくデータを、第３図（
Ｂ）に示す如く、用意する。以下これを使用して、バッ
ク・プロパゲーション法により学習する場合について第
３図にもとづき説明する。

■　第３図（Ｂ）に示すパターン（ｐＨ）、すなわち条
件Ｃ１−数値１、条件Ｃ７−数値２、入力データＡｚ＝
０．２、入力データＡ　２　＝０．４を、第３図（Ａ）
に示す如く、入力層のニューロ・ユニットｈｃｚ、ｈｃ
ｚ、ｈ　Ａ　１、ｈＡ２にそれぞれ入力する。これによ
り出力層のニューロ・ユニットｊ１より出力信号Ｚが出
力される。このとき、減算部１０には、前記パターン（
ｐＨ）による教師信号Ｄ＝０．３が伝達されているので
、誤差信号（Ｚ−Ｄ）が出力される。ニューロ・ユニッ
トｊ１における重み値Ｗ、１、Ｗ、２、Ｗ、３及び閾値
θｊ１を調整してこの誤差信号を小さくする。

■　ニューロ・ユニットｊ１に対する前記調整に続き、
今度は同じパターン（ｐＨ）について、ニューロ・ユニ
ット１１における重み値Ｗｌｌ、Ｗｚ＋−、Ｗ３１％　
Ｗａｒ、閾値θ１１と、ニューロ・ユニット１２におけ
る重み値Ｗ１□、Ｗ２Ｚ、　ＷｆｆＺ、Ｗ４２、闇値θ
１２と、ニューロ・ユニットｉ３における重み値Ｗ１３
、Ｗ２３、Ｗｆｆ３、Ｗ４３、閾値θｉ３の調整とが行
われる。

このようにしてパターン（ｐＨ）に対し学習が行われた
あと、パターン（ＰＩ３）についての調整が同様に行わ
れる。以下第３図（Ｂ）に示すパターン（ＰＩ３）〜（
Ｐｄ２）についての調整が行われる。そして各パターン
に対し調整が行われた後、再度同じパターン（ｐＨ）〜
（Ｐｄ２）を使用して調整が行われる。このようなこと
を複数回繰り返す。これにより誤差信号が全バタンに対
し小さ（なり、許容範囲に達したとき、学習が終了する
ことになる。

第４図にその結果を示す。第４図に示す推論値Ｚは、学
習後において、第３図（Ｂ）のパターン（ｐＨ）〜（Ｐ
ｄ２）と同一のものを入力したとき、出力層のニューロ
・ユニットｊ１の出力ブタであり、第３図（Ｂ）の教師
信号りと近似していることがわかる。

なお前記説明では、入力層が４、中間層が３、出力層が
１１個のニューロ・ユニットで構成された例について説
明したが、本発明は勿論これに限定されるものではない
。勿論、入力も前記センサの正常、異常とか、その出力
データのみに限定されるものではない。

〔発明の効果〕

本発明によりＩＦ−ＴＨＥＮ型の制御ルールの部分と、
この制御ルールにもとづき判断を行って所望の信号を出
力する部分とを１つのニューラル・ネットワークで構成
することができ、しかもニューラル・ネットワークの学
習機能により調整を同時に行うことができるので、個別
に構成し、調整していたものに比較して、構成が一体化
するのみならず調整もまとめて、手間をかけずに行うこ
とができる。

ｈ　Ｃ１〜ｈ　Ｃｍ、 １　１　Ａ＋　ｌｐ Ｊ　１〜　Ｊｎ Ｉ Ｓ■ ｈＡ　１〜ｈＡｍ 中間層のニュ 出力層のニュ 第１センサ 第２センサ 監視部 入力層のニ ューロ・ユ ニット 口・ユニット ロ・ユニット

【図面の簡単な説明】

第１図は本発明の原理構成図、 第２図は本発明の一実施例構成図、 第３図は学習説明図、 第４図は学習後の推論値、 第５図はニューロ・ユニットの説明図、第６図はニュー
ロ・ユニットを使用した階層ネットワークの基本構成図
、 第７図（Ａ）はニューロ・ユニットの一実施例構成図、
（Ｂ）は階層ネットワークの一実施例、第８図は従来例
を示す。

Claims (2)

【特許請求の範囲】
1. （１）入力層からの入力を中間層に送出し、中間層の出
   力を次段層に伝送して演算を行うネットワーク構成デー
   タ処理装置において、 ニューロ・ユニットで構成される複数の入力層ユニット
   （ｈＣ＿１〜ｈＣ＿ｍ、ｈＡ＿１〜ｈＡ＿ｍ）と、前記
   入力層ユニット（ｈＣ＿１〜ｈＣ＿ｍ、ｈＡ＿１〜ｈＡ
   ＿ｍ）からの出力を入力する中間層ユニット（ｉ＿１〜
   ｉ＿ｐ）と、 前記中間層ユニット（ｉ＿１〜ｉ＿ｐ）からの出力を入
   力する出力層ユニット（ｊ＿１〜ｊ＿ｍ）を設け、前記
   入力層ユニットの一部にＩＦ−ＴＨＥＮ型ルールの条件
   データ（Ｃ＿１〜Ｃ＿ｍ）を入力し、入力層ユニットの
   他の部分にこれらの条件データに対応する入力データを
   入力したことを特徴とするニューラル・ネットワークに
   よるＩＦ−ＴＨＥＮ型ルール演算装置。
2. （２）上記条件データとして条件の成立、不成立に応じ
   て数値１、０を入力するようにしたことを特徴とする請
   求項１記載のニューラル・ネットワークによるＩＦ−Ｔ
   ＨＥＮ型ルール演算装置。