JPH0421060A - ニューラルネットワークにおける結合のグループ単位逐次学習方式 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔概　　　要］ ファジィ制御システムをニューラルネットワークを用い
て構成する場合において、ニューラルネットワークを構
成する複数のユニット及び結合をグループ化し、複数の
学習フェーズにおいて結合のグループ単位で逐次的に結
合重みの学習を行うニューラルネットワークにおける結
合のグループ単位逐次学習方式に関し、 完全結合のニューラル名・７トワークを結合のグループ
を単位としである特別な構造を持ったネットワークに変
換し、各結合グループ毎に学習の程度を調整することと
、各結合グループ毎に学習の順序を決めることによって
、重みの初期値の設定時に反映された知識を壊すことを
防止することを目的とし、 ユニットを結ぶ全ての結合に対して、学習調整定数を保
持し、該学習調整定数に従って実際の重み変更量を決定
する学習調整装置をそれぞれ備えたニューラルネットワ
ークにおいて、該ニューラルネットワークを構成する全
てのユニットをそれぞれ１つ以上のユニットから構成さ
れる複数のグループに分割するグループ設定情報を保持
し、該設定グループのうちで１つ以上のグループ内部の
各結合、あるいは１組以上のグループ間での各結合と該
各結合以外の全ての結合とで異なる値の学習調整定数を
出力する学習調整定数出力手段と、該学習調整定数出力
手段が出力する学習調整定数を前記ニューラルネットワ
ーク内の結合に対して設定し、該ニューラルネットワー
クの学習を制御するニューラルネットワーク学習手段と
、該ニューラルネットワークの学習時に逐次的に実行さ
れる１つ以上の学習フェーズにおいて、それぞれ学習さ
れる１つ以上の前記グループ内結合、あるいはグループ
間結合を記憶する学習結合群記憶手段と、該学習結合群
記憶手段の記憶内容に応じて、前記学習調整定数出力手
段に該１つ以上の各学習フェーズにおいて学習されるグ
ループ内結合、あるいはグループ間結合と該結合以外の
全ての結合とで異なる値の学習調整定数を出力させ、該
ニューラルネットワーク学習手段（４）による各学習フ
ェーズの学習を制御する学習フェーズ制御手段（６）と
を備えるように構成する。

〔産業上の利用分野〕

本発明はニューラルネットワークの学習方式に係り、さ
らに詳しくは、例えばファジィ制御システムをニューラ
ルネットワークを用いて構成する場合において、ニュー
ラルネットワークを構成する複数のユニット及び結合を
グループ化し、複数の学習フェーズにおいて結合のグル
ープ単位で逐次的に結合重みの学習を行うニューラルネ
ットワークにおける結合のグループ単位逐次学習方式に
関する。

近年ニューラルネットワーク等を使ったパターン認識装
置や適応フィルタなどが広範に研究されている。さらに
プラントの制御など、従来ファジィモデルが適用されて
きた分野でもファジィモデルのニューロモデルでの実現
が行われている。

ファジィモデルをニューロモデルで実現する場合には、
ファジィ制御ルールのメンバーシップ関数の間の関係付
けを記述するモデルを作るために、従来のように例えば
第１層の各ユニットからの出力が第２層の全てのユニッ
トに入力されるような完全結合のニューラルネットワー
クとは異なり、ある特別の構造を持ったニューラルネッ
トワークを使う必要がある。

またファジィニューロ融合システムにおいて一部の結合
に対してはあまり学習を行う必要がなく、他の部分につ
いて学習速度を高める必要があるような場合には、ニュ
ーラルネットワークを構成する各結合毎に学習の程度を
微調整することも必要となる。このため完全結合された
ニューラルネットワークをある特別の構造ネットワーク
に変換することと、各結合の学習の程度を微調整するこ
とが望まれている。

〔従来の技術〕

新しい制御処理方式として、ファジィ制御が普及しつつ
ある。このファジィ制御は、人間の判断等のあいまいさ
を含む制御アルゴリズムを１ｆ−ｔｈｅｎ形式で表現し
、ファジィ推論に従ってこの制御アルゴリズムを実行し
ていくことで、検出される制御状態量から制御操作量を
算出して制御対象を制御していくものである。このファ
ジィ制御を実現していくためには、ファジィ制御ルール
中に記述される「あいまいな言語表現Ｊを数値化して表
現するメンバーシップ関数を制御対象に適合するものに
チューニングしていく必要がある。

例えば、 ｉｆ　ｘ、　ｉｓ　ｂｉｇ　ａｎｄ　Ｘ２　ｉｓ　ｓｍ
ａｌｌ　ｔｈｅｎ　ｙ　ｉｓ　ｂｉｇの形式（ｉｆ部は
前件部、ｔｈｅｎ部は後件部と称せられている）で記述
されるファジィ制御ルールの生成は、従来、制御対象の
制御に熟知しているオペレータの対象プロセスに関する
知識に従って、先ず最初に、制御状態量及び制御操作量
の値に関しての言語的な意味をメンバーシップ関数とし
て定量化し、次に、これらのメンバーシップ関数の間の
関係付けを記述することでファジィ制御ルールの粗いモ
デルを生成する。そして、この生成した粗いファジィ制
御ルールのモデルをシミュレーションや現地テストによ
り評価しながらメンバーシップ関数も含めてチューニン
グしていくことで、制御対象に適合したファジィ制御ル
ールに完成させていくという方法により実現されていた
。

このように、従来では、ファジィ制御ルールの生成処理
と、そのルール中に記述されるメンバーシップ関数のチ
ューニング処理は、ファジィ制御器を構築しようとする
設計者と制御対象の制御に熟知しているオペレータとの
共同作業に従い手作業で行われていた。このファジィ制
御ルールの生成とそのメンバーシップ関数のチューニン
グのための作業は、ノウハウを駆使しながら試行錯誤的
に実行していく必要があるため、通常短くても数カ月を
要することになる。そして、制御対象に関する制御知識
が少ない場合には、この期間は更に長期間のものとなる
。

最近では学習機能を有するニューラルネットワークを用
いたファジィシステム、すなわちファジィニューロ融合
システムが実現されるようになっている（特願平２−６
０２５６　７階層ネットワーク構成データ処理装置及び
データ処理システム」を参照）。

従来のプログラム内蔵方式のコンピュータでは全ての場
合について動作を指定する必要があったが、ニューラル
ネットワークにおいては代表的な学習パターンを何回か
提示することにより学習が行われ、与えられていないパ
ターンに対しても適切な解を出力することが可能になる
。ニューラルネットワークの構造と学習方法としては、
階層型ネットワークとパックプロパゲーション法がある
。

第２５図は多層構造ニューラルネットワークの例である
。同図において入力層のユニットは２つのグループＧ１
と０２とに区分され、中間層および出力層のユニットは
全体としてそれぞれ１つのグループＧ３と６４とを構成
している。そしてグループＧ１と０３の間の結線グルー
プはＣ１３、Ｇ２とＧ３との間の結線グループはＣ２３
、Ｇ３とＧ４との間の結線グループはＣ３４である。こ
のような構造ネットワークを作る場合に、結線の重みの
初期値をあらかじめ分かっている知識を反映するように
決めることがしばしば行われる。そしてこのようなネッ
トワークの学習時には、グループＧ１と０２に属するニ
ューロンに入力データを与え、Ｇ４から出力される出力
データを教師データと比較することなどにより全ての結
線に対して同時に学習が行われていた。

［発明が解決しようとする課題］ 上述のようなファジィニューロ融合システムにおいては
ファジィ制御ルールを記述するモデルがニューラルネッ
トワークとして作られることから、従来のように例えば
第１層の全てのユニットの出力が第２層の全てのユニッ
トに入力される、すなわち完全結合のニューラルネ７）
ワークとは異なり、連続する２層の間でもユニット間に
結合が必ずしも存在しない、ある特別な構造を持ったニ
ューラルネットワークが必要となる。

またそのようなニューラルネットワークの学習を行わせ
る場合に、あるメンバーシップ関数の制御対象に対する
適合度が高い場合には、その部分に対応する結合の学習
は他の結合の学習に比べて低速でよいなどのように、各
結合に対して学習の程度を微調整する必要もある。しか
しながら、従来においては完全結合のニューラルネット
ワークをある特別の構造を持ったネットワークに変換す
ることができず、またニューラルネットワークの各結合
毎に学習の程度を微調整することもできないという問題
点があった。

さらに従来においてはニューラルネットワークを構成す
る全ての結合に対して同時に重みの学習が行われていた
ために、例えば第２５図で結線グループＣ３４があらか
しめ判明している知識を基にその初期値が決定され、結
線グループＣ１３とＣ２３は乱数を用いて初期化されて
いるとすると、学習の初期ではグループＣ３に属するユ
ニットの出力はランダムとなり、この出力と教師信号を
基にして結線グループＣ３４の結線重みが変更されてし
まうことになる。従って知識を反映していたはずの重み
Ｃ３４が知識を反映しないものになってしまうという問
題点もあった。

本発明は、完全結合のニューラルネットワークを結合の
グループを単位としである特別な構造を持ったネットワ
ークに変換し、各結合グループ毎に学習の程度を調整す
ることと、各結合グループ毎に学習の順序を決めること
によって、重みの初期値の設定時に反映された知識を壊
すことを防止することを目的とする。

〔課題を解決するための手段〕

第１図は本発明の原理ブロック図である。第１図（ａ）
は、例えばファジィ制御システムのモデルとしてのニュ
ーラルネットワーク内でユニットを結ぶ全ての結合１ａ
、ｌｂ、　　・・・に対して、学習時にバックプロパゲ
ーション法によって求められる結合の重み変更量に乗じ
て実際の重み変更量とする乗算定数を学習調整定数とし
て保持し、その学習調整定数に応じて実際の重み変更量
を決定する学習調整装置２ａ、２ｂ、　　・・・をそれ
ぞれ備えたニューラルネットワークのグループ単位逐次
学習方式の原理ブロック図である。

第１図（ａ）において、学習調整定数出力手段３は、ニ
ューラルネットワークを構成する全てのユニットをそれ
ぞれ１つ以上のユニットから構成される複数のグループ
に分割するグループ設定情報を保持し、その複数の設定
グループのうちで１つ以上のグループ内部の各結合、あ
るいは１組以上のグループ間、例えば２つのグループ間
での各結合とその各結合以外の全ての結合とで異なる値
の学習調整定数を出力する。

ここで学習調整定数の値は、例えばＯから１の間の値を
取るものとし、前述の１つ以上のグループ内部の各結合
、あるいはＩＭｉ以上のグループ間での各結合に対して
は学習調整定数の値として例えば１が、またその各結合
以外の全ての結合に対してはＯが出力されるものとする
。

第１図（ａ）において、ニューラルネットワーク学習手
段４は学習調整定数出力手段３が出力する学習調整定数
をニューラルネットワーク内の全ての結合に対して設定
し、ニューラルネットワークの学習を制御する。また学
習結合群記憶手段５は、ニューラルネットワークの学習
時に結合のグループを単位として逐次的に実行される１
つ以上の学習フェーズにおいてそれぞれ学習される１つ
以上の前述のグループ内結合、あるいはグループ間結合
を記憶する。

学習フェーズ制御手段６は学習結合群記憶手段５の記憶
内容、すなわち各学習フェーズにおいて学習される結合
群の指定に従って、学習調整定数出力手段３に各学習フ
ェーズにおいて学習されるグループ内結合、あるいはグ
ループ間結合に対しては例えば１を、またその学習され
る結合以外の全ての結合に対しては０を学習調整定数と
して出力させ、またニューラルネットワーク学習手段４
による各学習フェーズの学習を制御する。

第２の発明の原理は、第１の発明の原理を示す第１図（
ａ）と同様である。そして学習調整定数出力手段３が、
設定グループのうちで１つ以上のグループを構成する各
ユニットに入力される各結合と、その各結合以外の全て
の結合とで異なる値の学習調整定数を出力し、学習結合
群記憶手段５は学習される１つ以上のグループに入力さ
れる各結合群を記憶し、さらに学習フェーズ制御手段６
が各学習フェーズにおいて学習されるグループ入力結合
に対して例えば１を、またその結合以外の全ての結合に
対して０を学習調整定数として出力させる点を除いては
、各手段の作用は第１の発明におけると同様である。

第３の発明の原理ブロック図も第１図（ａ）と同様であ
り、この第３の発明においては、第２の発明において各
学習フェーズで学習される入力結合の代わりに各ユニッ
トから出力される出力結合に対して例えば１が、その出
力結合以外の全ての結合に対して０が学習調整定数とし
て設定され、１つ以上のグループから出力される各結合
群に対して学習が行われる点を除いては、その作用は全
く同じである。

第１図（ハ）は本発明のニューラルネットワークにおけ
る結合のグループ単位逐次学習方式を実行する前に、完
全結合されたニューラルネットワークをある特定構造の
ネットワークに変換する変換方式の原理ブロック図であ
る。同図において、ニューラルネットワークの全ての結
合１ａ、ｌｂ。

・・に対して第１図（ａ）と同様に学習調整装置２ａ。

２ｂ、　　・・・が備えられている。

第１図（ｂ）において、学習調整定数および初期重み出
力手段７はニューラルネットワークを構成する全てのユ
ニットをそれぞれ１つ以上のユニットから構成される複
数のグループに分割するグループ設定情報を保持すると
共に、これら設定グループのうちで１つ以上のグループ
内部の各結合、あるいは１組以上のグループ間での各結
合に対する学習調整装置への学習調整定数としてＯを、
またこれらの各結合に対する初期重み値としてＯを出力
する。

またニューラルネットワーク学習手段８は、学習調整定
数および初期重み出力手段７が出力する学習調整定数お
よび初期重みの値として共に０を、前述の各結合に対し
て設定する。これによってこれらの各結合に対する初期
重みは０となり、またニューラルネットワークの学習時
における重み変更量もＯとなるために、これらのグルー
プ単位の結合は完全結合されたニューラルネットワーク
から実質的に除外される。

（作　　　用〕 本発明においては、ニューラルネットワークの学習が結
合のグループを単位として一般に複数の学習フェーズに
おいて逐次的に実行される。例えば、第２５図でユニッ
トのグループＧ３と０４との間のグループ間結線Ｃ３４
が知識を反映した初期値を持っている場合には、グルー
プＧ４からＧ３に伝播される誤差信号は正しく、それを
基に結線グループＣ１３とＣ２３との学習を行うことに
よって効率的な学習が実行される。しかしながらこの学
習中にはグループＧ３のユニットの出力はランダムとな
るために、グループ間結線Ｃ３４の学習は行わない方が
よいことになる。そしてＣ１３とＣ２３との学習が収束
した段階でＣ３４の学習、すなわち−層の性能向上が可
能となる。

従って第１の学習フェーズでグループ間結線Ｃ１３と０
２３の学習、第２の学習フェーズで全てのグループ間結
線の学習を行わせるように学習スケジュールを立てるこ
とにより、効率的でしかも初期値として与えられた知識
を壊すことのない学習が可能となる。

第１の発明では、学習される結合群、すなわち１つ以上
のユニットから構成される複数のグループのうちで１つ
以上のグループ内部の各結合、あるいは１組以上のグル
ープ間、例えば２つのグループ間での各結合に対して学
習調整定数の値が１とされることにより、これらの結合
に対してのみ学習が実行される。これに対して、第２の
発明では学習される結合群が設定グループのうちで１つ
以上のグループを構成する各ユニットに入力される各結
合として指定され、また第３の発明においてはグループ
を構成する各ユニットから出力される各結合として指定
されて、指定された結合に対して学習が行われる。

また本発明では学習の対象となるニューラルネットワー
クは例えばファジィニューロ融合システムであり、従来
のようにある層内の全てのユニットからの出力が次の層
の全てのユニットに入力される完全結合のニューラルネ
ットワークではなく、ある特定構造のネットワークであ
る。第１図（ｂ）にその原理を示したように、本発明に
おいてはニューラルネットワークの学習を実行する前に
完全結合のニューラルネットワークから特定構造のニュ
ーラルネットワークへの変換が行われる。すなわち特定
構造のニューラルネットワークで必要がない各結合に対
する学習調整装置への学習調整定数として０が、またそ
の結合に対する初期重み値としてＯが設定されることに
より、実質的にこれらの結合が存在しないことになり、
特定構造のネットワークが実現される。

さらに本発明においては、本来のニューラルネットワー
クを構成する全てのユニットに加えて、それらの全ての
ユニットに対してそれぞれ定数、例えば１を出力するユ
ニットが１つずつ設けられ、その定数出カニニットとニ
ューラルネットワーク構成ユニットとの結合に対する学
習調整装置によって決定される実際の重み変更量に応じ
た重みがそのニューラルネットワーク構成ユニットに対
する閾値とされ、結合のグループを単位として本来のニ
ューラルネットワークを構成する各ユニットに対する入
力の重みの学習に加えて閾値の学習も実行される。ここ
では定数を出力するユニットは本来のニューラルネット
ワークを構成する全てのユニットに対して１つずつ設け
るものとしたが、複数のユニットに対して定数出カニニ
ットを共通的に設けることも可能である。

以上のように、本発明によれば各学習フェーズで学習の
対象となる結合に対する学習調整定数が１とされること
によって、ニューラルネットワークの学習が結合グルー
プを単位として逐次的に行われることになる。

［実　　施　　例］ 第２図は本発明のニューラルネットワークにおける結合
のグループ単位逐次学習方式を用いるファジィニューロ
融合システムの構成ブロック図である。同図において、
１０−ｈは階層ネットワーク部１１の入力層を構成する
複数の入カニニット、１０−１は階層ネットワーク部１
１の中間層（複数段備えられる）を構成する複数の基本
ユニット、１０−ｊは階層ネットワーク部１１の出力層
を構成する１つ又は複数の基本ユニット、１２は階層ネ
ットワーク構成データ処理装置、１３は重み値格納部で
あって、階層ネットワーク部１１の内部結合に割り付け
られる重み値を管理するものである。

２１は学習信号格納部であって、重み値の学習のために
用いられる学習用の制御データを格納するもの、２２は
学習信号提示部であって、学習信号格納部２１から学習
用の制御データを読み出して、その内の制御提示データ
を階層ネットワーク部１１に提示するとともに、対をな
すもう一方の制御教師データを後述する重み値変更部１
４と次に説明する学習収束判定部２３に提示するもの、
２３は学習収束判定部であって、階層ネットワーク部１
１から出力される制御量データと学習信号提示部２２か
らの制御教師データとを受けて、階層ネットワーク部１
１のデータ処理機能の誤差が許容範囲に入ったか否かを
判定してその判定結果を学習信号提示部２２に通知する
ものである。

１４は重み値変更部であって、学習信号提示部２２から
の制御教師データと階層ネットワーク部１１のネットワ
ーク出力データとを受けて、パンク・プロパゲーション
法に従って重み値の更新量を算出して重み値を更新して
いくことで重み値を収束値にと収束させるべく学習する
ものである。

本発明におけるファジィニューロ融合システムの詳細な
説明に入る前に、この階層ネットワーク部１１の内部結
合に割り付けられる重み値を学習するために、重み値変
更部１４が実行する学習アルゴリズムであるところのバ
ック・プロパゲーション法（Ｄ、Ｅ、Ｒｕｍｅｌｈａｒ
ｔ、Ｇ、Ｅ、Ｈｉｎｔｏｎ、ａｎｄ　Ｒ，Ｊ、Ｗｉｌｌ
ｉａｍｓ、　　”Ｌｅａｒｎｉｎｇ　Ｉｎｔｅｒｎａｌ
　Ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ　ｂｙＥｒｒｏｒ　
Ｐｒｏｐａｇａｔｉｏｎ　、　　ＰＡＲＡＬＬＥＬ　Ｄ
ＩＳＴＲＩＢＵＴＥＤ　ＰＲＯＣＥＳＳＩＮＧ、　　Ｖ
ｏｌ、１．　　ｐｐ、３１Ｂ−３６４，Ｔｈｅ　ＭＩＴ
　Ｐｒｅｓｓ、１９８６）について詳述する。

階層ネットワーク部１１は、基本的には、基本ユニット
と呼ばれる一種のノードと、重み値を持つ内部結合とか
ら階層ネットワークを構成している。第３図に、基本ユ
ニット１０の構成を示す。

この基本ユニット１０は、多大カー出力系となっており
、複数の入力に対し夫々の内部結合の重み値を乗算する
乗算処理部１５と、それらの全乗算結果を加算する累算
処理部１６と、この累算値に非線型の閾値処理を施して
一つの最終出力を出力する閾値処理部１７とを備える。

ｈ層を前段層としｉ層を後段層とすると、この累算処理
部１６では下記の〔］）式の演算を実行し、閾値処理部
１７では下記の（２）式の演算を実行する。

Ｘｐｉ＝ΣｙｐｈＷｔｈ　　　　　　　　　　　　（１
）式ｙｐｔ＝　１／　（１＋ｅ　ｘ　ｐ　（Ｘｐｉ＋θ
１））（２）式但し、 ｈ層のユニット番号 ｉ層のユニット番号 入力信号のパターン番号 ｉ層の１番ユニットの閾値 ｈ−ｉ層間の内部結合の重み値 り層の各ユニットからｉ層の１番ユニ ットへの入力の積和 Ｖｐｈ：　　Ｐ番目パターンの入力信号に対するｈ層の
ｈ番ユニットからの出力 ’ｊｐ４７　　Ｐ番目パターンの入力信号に対するｉ層
の１番ユニットからの出力 そして、階層ネットワーク部１１では、このような構成
の多数の基本ユニット１０が、入力信号価をそのまま分
配して出力する入カニニット１０−ｈを入力層として、
第４図に示すように階層的に接続されることで階層ネッ
トワークを構成して、入カバターン（入力信号）を対応
する出カバターン（出カバターン）に変換するという並
列的なデータ処理機能を発揮することになる。

バック・プロパゲーション法では、階層ネットｈ　　： ｉ　　　： Ｐ　　　： θド Ｗｌｈ： χ、、盛　： ワークの重み値Ｗｉｈと閾値θｌとを誤差のフィードバ
ックにより適応的に自動調節して学習することになる。

（１）、　（２）式から明らかなように、重み値Ｗ１）
、と閾値θ１との調節は同時に実行される必要があるが
、この作業は相互に干渉する難しい作業となる。そこで
、本出願人は、先に出願の「特願昭６２−３３３４８４
号（昭和６２年１２月２８日出願、“ネットワーク構成
データ処理装置”）」で開示したように、入力側のｈ層
に常に“１パを出力するとともにその出力に対して閾値
θｌを重み値として割り付けるユニットを設けることで
、閾値θ１を重み値ＷｌｈＯ中に組み込んで閾値θ１を
重み値として扱うようにすることを提案した。このよう
にすることで、上述の（１）、　（２）式は、Ｘｐｉ＝
ΣｙｐｈＷｔｈ　　　　　　　　　　　　（３）式ｙｐ
ｉ＝１／　（１＋　ｅｘｐ　（Ｘ’ｐｉ）　）　　　（
４）式で表されることになる。

次に、この（３）、　（４）式の記述形式のものに従っ
て、ハック・プロパゲーション法による重み値の学習処
理方式について説明する。ここで、この説明は、階層ネ
ットワーク部１１が、第４図に示すｈ層−１層−ｊ層と
いう３層構造の階層ネットワークをもつもので行う。

（３）、　（４）式からの類推によって次の（５）、　
（６）弐が得られる。すなわち、 ＸｐＪ＝Σ）’ｐｉＷｊｉ　　　　　　　　　　　　（
５）式ＶｐＪ＝　１／　（１＋　ｅ　Ｘｐ（Ｘｐｊ）　
）　　　（６）式但し、 ｊ　：　ｊ層のユニット番号 ｗｔｔ　：　　ｉ　−ｊ層間の内部結合の重み値ＸｐＪ
：　　ｉ層の各ユニットからｊ層の１番ユニットへの入
力の積和 ＹｐｊＳ　　２番目パターンの入力信号に対するｊ層の
１番ユニットからの出力 重み値変更部１４では、学習用の入カバターンが提示さ
れたときに出力される出力層からの出カバターンｙｐＪ
と、その出カバターンｙｐｊのとるべき信号である教師
パターンｄｐＪ（２番目パターンの入力信号に対するＪ
　Ｆｉ　Ｊ番目ユニットへの教師信号）とを受は取ると
、先ず最初に、出カバターンｙｐＪと教師パターンｄｐ
ｊとの差分値（ｄｐｒ　　ｙｐ＜）を算出し、次に、 αｐｉ＝）’ｐｊ（１）’ＤＪ）　　（ｄｐｊ）’ｐＪ
）　　（７）式を算出し、続いて、 ６ｗ　ｊｔ　（ｔ）−εΣαｐｊ　ｙｐｉ＋ζΔＷ、、
（ｔ−１）（８）弐 但し、ε：学習定数 ζ：モーメンタム ｔ：学習回数 に従って、ｉ層−ｊ層間の重み値の更新量ΔＷｊ。

（１）を算出する。ここで、［ζΔＷｊｉ（ｔ　　１）
Ｊという前回の更新サイクル時に決定された重み値の更
新量に係るものを加算するのは学習の高速化を図るため
である。

続いて、重み値変更部１４は、算出したα２．を用いて
、先ず最初に、 βｐ＋＝ｙｐｉ（１ｙｐｉ）Σαい、Ｗｊｔ（ｔ−１）
（９）式 を算出し、次に、 ６ｗ　ｔ　ｈ　（ｔ）　＝εΣβｐｔ　’Ｊ　ｐｈ＋ζ
ΔＷｔｈ（ｔ　　　１）００）式 に従って、ｈ層−１層間の重み値の更新量ΔＷｉｈ（１
）を算出する。

続いて、重み値変更部１４は、この算出した更新量に従
って次の更新サイクルのための重み値、Ｗｊｔ（ｔ）＝
ＷＪｔ　（ｔ　　１　）＋ΔＷ　ｊｔ　（ｔ）Ｗｉｈ（
ｔ）””Ｗｔｈ　（ｔ　−１）十ΔＷい（１）を決定し
ていく方法を繰り返していくことで、学習用の入カバタ
ーンが提示されたときに出力される出力層からの出カバ
ターンｙｐｊと、その出カバターンｙｐＪのとるべき信
号である教師パターンｄｐＪとが一致することになる重
み値Ｗｊ、、Ｗ、ｈを学習するよう処理している。

そして、階層ネットワーク部１１がｇ層−ｈ層ｉ層−ｊ
層という４層構造の階層ネットワークをもつときには、
重み値変更部１４は、先ず最初に、 Ｔｐｈ＝Ｖｐ□（１−ｙい）ΣβｐｉＷｉｈ　（ｔ　−
１）００式 を算出し、次に、 ΔＷｈ、（ｔ）＝εΣγいｈｙ□＋ζΔＷｈ、（ｔ−Ｘ
）ｑ″２）式 に従ってｇ層−ｈ層間の重み値の更新量Δｗ　ｈ　−（
ｔ）を算出するというように、前段側の層間の重み値の
更新量ΔＷを、出力側の後段から求まる値とネットワー
ク出力データとを使いながら決定していくよう処理する
のである。

本発明において、階層ネットワーク部１１の中間層が４
層から成るものとする。

メンバーシップ関数のチューニングの実行時において、
例えば前件部が制御状態量に関しての条件を記述し、後
件部が制御操作量に関しての条件を記述するファジィ制
御ルールを処理対象とするときには、階層ネットワーク
部１１の最前段の中間層の基本ユニット１０を利用して
、チューニング対象とされる制御状態量についてのメン
バーシップ関数の真理値を算出して出力する機能（前件
部メンバーシップ関数の真理値の算出機能）が実現され
るとともに、第４番目に位置する中間層の基本ユニット
１０を利用して、チューニング対象とされる制御操作量
についてのメンバーシップ関数の真理値を出力する機能
（後件部メンバーシップ関数の真理値の出力機能）が実
現される。

第５図に、メンバーシップ関数の一例を図示する。前件
部メンバーシップ関数の真理値の算出機能は、具体的に
は、基本ユニット１０より出力される出力値ｙ が第６図（ａ）に示すように、 ω〈０．θ〈０ であるときには、第５図の「温度が低い」というメンバ
ーシップ関数と類似する関数形状となり、また、 ω〉０．θ〉０ であるときには、第５図の「温度が高い」というメンバ
ーシップ関数と類似する関数形状となることに着目して
、第６図（ｂ）に示すように、この基本ユニット１０の
入力に対する重み値ωおよび閾値θを適切に設定するこ
とで、第５図の「温度が低い」や「温度が高い」という
関数形状のメンバーシップ関数が実現されることになる
。

また、２つの基本ユニット１０より出力される出力値の
差分値ｙ １＋ｅｘｐ　（−ω２　ｘ十θ２） が第７図（ａ）に示すように、第５図の「温度が普通」
というメンバーシップ関数と類似する関数形状となるこ
とに着目して、第７図（ｂ）に示すように、２個の基本
ユニット１０と、この２個の基本ユニット１０の出力値
に重み値“１”′及び“−１′を乗じたものを入力とし
、かつ閾値処理部１７を備えない基本ユニット１０によ
り構成される減算器１０ａ（この構成に従い、この２個
の基本ユニット１０の出力値の差分値を算出するよう動
作する）とを備えて、この２個の基本ユニット１０の入
力に対する重み値ω１．ω２及び閾値θ１．θ２を適切
にすることで、第５図の「温度が普通」という関数形状
のメンバーシップ関数の割付処理が実現されることにな
る。

このような構成を採ることにより、これらの基本ユニッ
ト１０の入力値に対する重み値及び閾値を変更すること
で、その前件部メンバーシップ関数の関数形状を変更で
きることになる。

また、後件部メンバーシップ関数の真理値の出力機能は
、具体的には、第８図（ａ）に示すように、後件部メン
バーシップ関数を細かく区画して各区画の真理値ｙｉを
特定し、次に、第８図（ハ）に示すように、閾値処理部
１７を備えない基本ユニット１０により構成される真理
値出力器１０ｂをこの真理値の個数（ｎ個）分用窓して
、この真理値出力器１０ｂの入力に対して重み値“ｙｉ
“を設定することで実現される。ここで、第８図（５）
に示すように、例えばバルブＡの開度といった同一種別
の制御操作量に係る後件部メンバーシップ関数の真理値
は、用意される同一の真理値出力器１０ｂに入力される
構成が採られ、これらの真理値出力器１０ｂは、割り付
けられる制御操作量についての縮小されたメンバーシッ
プ関数の真理値の関数和を出力するよう構成されること
になる。

このような構成を採ることから、これらの真理値出力器
１０ｂの入力値に対する重み値を変更することで、その
後件部メンバーシップ関数の関数形状を変更できること
になる。

次に、階層ネットワーク部１１の第２番目に位置する中
間層の基本ユニット１０を利用しての処理対象のファジ
ィ制御ルールの前件部演算機能の実現と、第３番目に位
置する中間層の基本ユニント１０を利用しての処理対象
のファジィ制御ルールの後件部演算機能の実現について
説明する。

この前件部演算機能は、処理対象のファジィ制御ルール
のもつ前件部演算機能に整合させて実現される。従って
、前件部演算機能が入力値の平均値を算出して出力する
ものであるときには、例えば、第９図（ａ）に示すよう
に、重み値“１／大入力数゛を乗じたものを入力とし、
かつ閾値処理部１７を備えない基本ユニット１０により
構成される平均値算出器１０ｃを備えることで実現され
る。

同様に、この後件部演算機能は、処理対象のファジィ制
御ルールのもつ後件部演算機能に整合させて実現される
ことになる。従って、後件部演算機能が入力値の加算値
を算出して出力するものであるときには、例えば、第９
図（１））に示すように、重み値“１パを乗したものを
入力とし、かつ閾値処理部１７を備えない基本ユニット
１０により構成される加算値算出器１０ｄを備えること
で実現される。

以下、説明の便宜上、平均値算出器１０ｃを備えること
で前件部演算機能を実現し、加算値算出器１０ｄを備え
ることで後件部演算機能を実現する例で説明することに
する。

続いて、処理対象のファジィ制御ルールの記述に従う形
式でもって、前件部メンバーシップ関数の割り付けられ
た基本ユニット１０と前件部演算機能の劃り付けられた
平均値算出器１０ｃとの間が内部結合されるとともに、
この平均値算出器１０ｃと後件部演算機能の割り付けら
れた加算値算出器１０ｄとの間が内部結合される。この
内部結合の設定処理は、具体的には、後述するように結
合関係のない内部結合に対して学習によっても変化され
ないゼロ値の重み値を割り付けることで実現される。

後件部演算機能の出力する演算値は、基本的には、対応
する後件部メンバーシップ関数の真理値の縮小率を与え
るものであって、例えば第１０図に示すように、「バル
ブへの開度を小さく設定」というメンバーシップ関数が
■のように表され、「バルブＡの開度を大きく設定」と
いうメンバーシップ関数が■のように表される場合には
、■のメンバーシップ関数に対応付けられる後件部演算
機能の出力値に従って、［バルブＡの開度を小さく設定
Ｊというメンバーシップ関数の適用値が定まり、■のメ
ンバーシップ関数に対応付けられる後件部演算機能の出
力値に従って、「バルブＡの開度を大きく設定」という
メンバーシップ関数の適用値が定まることになる。そし
て、最も一般的には、下式に従って、この縮小されたメ
ンバーシップ関数の関数和の図形の重心を求めることで
、ファジィ推論値であるバルブＡの開度Ｙを算出する構
成が採られている。

第１１図はファジィ制御ルールが写像されたニューラル
ネットワークの構成ブロック図である。

同図において記号のつかない○印は基本ユニット１０を
示し、基本ユニット１０、入カニニット１ｏ−ｈ、基本
ユニットが一部変形されたユニット１０ａ〜１０ｄとに
よって、前件部メンバーシップ関数値算出機能２４、前
件部演算機能２５、後件部演算機能２６、後件部メンバ
ーシップ関数値出力機能２７、およびファジィ推論値算
出機能２８がニューラルネットワークとして構成される
。

また図中のＸＩ（ＳＡ）は、Ｘｌという制御状態量につ
いてのメンバーシップ関数ＳＡ（小さい）によって求め
られるＸｌの真理値を表す。カッコ内のＭＭは′普通゛
を、またＬＡは“大きい゛を表す。さらにＬＨ３−１は
前件部演算の演算結果値を表し、Ｙ　（ＳＡ）はＹとい
う制御操作量についてのメンバーシップ関数ＳＡ、（小
さい）に対応づけられることを表している。

第１１図において、ファジィ推論値算出機能２８の出力
を用いて、図示しない演算部によって最終的な重心の値
が制御操作量データとして算出され、その値は第２図の
学習収束判定部２３、および重み値変更部１４に出力さ
れる。そして学習収束判定部２３によって重みの更新指
示が学習信号提示部２２に与えられ、重み値変更部１４
によって前述のバックプロパゲーション法に従って、第
１１図の前件部メンバーシップ関数値算出機能２４から
ファジィ推論値算出機能２８までを構成するニューラル
ネットワークにおける重みの更新が行われる。

第１２図は第１の発明の実施例の構成ブロック図である
。同図において、実施例は学習フェーズを制御するため
の学習スケジューラ１１１、学習の各フェーズ毎にどの
結線グループを学習させるかを記憶している対応表１１
２、結線グループ毎に学習の有無を指定する学習指定部
１１３、学習を制御するニューラルネットワーク学習制
御部１１４、ニューラルネットワーク１１５から構成さ
れる。

学習スケジューラ１１１から対応表１１２に学習フェー
ズ番号１１６が送られ、対応表１１２からはそれに応じ
てそのフェーズで学習するべき結線グループ群の番号１
１７が返される。その後学習スケジューラ１１１から学
習すべき結線グループを指定する信号１１８が学習指定
部１１３に与えられ、それに応じて各結線毎に学習の有
無を指定する信号１１９が学習指定部１１３からニュー
ラルネットワーク学習制御部１１４に送られ、また学習
スケジューラ１１１から学習実行指令１２１がニューラ
ルネットワーク学習制御部１１４に送られることによっ
て、制御部１１４からニューラルネットワーク１１５に
対して学習操作１２０が行われる。

第１３図は第２の発明の実施例の構成ブロック図である
。同図を第１の発明の実施例を示す第１２図と比較する
と、学習フェーズと各フェーズで学習する結線グループ
群との対応表１１２の代わりに学習フェーズと各フェー
ズで学習するニューロングループ群との対応表１２２と
、ニューロングループ群とそのグループに入力する結線
グループとの対応表１２３とが設けられ、学習スケジュ
ーラ１１１から入力される学習フェーズ１１６に応じて
ニューロングループとの対応表１２２からそのフェーズ
で学習すべきニューロングループ群の番号１２４が出力
され、その番号は学習スケジューラ１１１によって１２
５として結線グループとの対応表１２３に送られ、学習
すべき結線グループ１２６が学習スケジューラ１１１に
返される点だけが異なっている。

第１４図は第３の発明の実施例の構成ブロック図である
。同図を第１３図の第２の発明の実施例と比較すると、
ニューロングループ群とそのグループに入力する結線グ
ループとの対応表１２３の代わりにニューロングループ
群とそのグループから出力する結線グループとの対応表
１２７が設けられ、学習スケジューラ１１１からそのフ
ェーズで学習すべきニューロングループ群の番号１２５
が結線グループとの対応表１２７に入力されると、対応
表１２７からそのフェーズで学習すべき出力の結線グル
ープ群の番号が１２８として学習スケジューラ１１１に
返される点だけが異なっている。

第１５図は第１の発明における学習スケジューラの処理
実施例のフローチャートの説明図である。

同図において学習スケジューラ１１１において処理が開
始されると、まずステップ（Ｓ）３０で学習フェーズの
番号ｉが１とされ、Ｓ３１で学習フェーズ番号ｉに対応
する結線グループ番号が学習フェーズと各フェーズで学
習する結線グループ群との対応表１１２から読み出され
る。対応表１１２には、例えば第２５図の例では学習フ
ェーズｌにおいては入力層と中間層の間の結線グループ
Ｃ１３とＣ２３とが対応することが、また学習フェーズ
２に対しては全ての結線グループが対応することが示さ
れている。

その後学習スケジューラ１１１によって、Ｓ３２で結線
グループ番号が結線グループ毎の学習指定部１１３に出
力され、Ｓ３３でニューラルネットワーク学習制御部１
１４に学習実行指令１２１が与えられ、ニューラルネッ
トワーク１１５の学習が行われる。続いてＳ３４で学習
フェーズ番号ｉの値が歩進され、Ｓ３５で学習フェーズ
が終わったか否かが判定され、終わっていない場合には
Ｓ３１からの処理が繰り返され、学習フェーズが終わっ
た時点で処理が終了する。

第１６図は第２の発明における学習スケジューラの処理
実施例のフローチャートの説明図である。

同図において、学習スケジューラ１１１の処理が開始さ
れると、Ｓ３６で学習フェーズ番号ｉが１とされ、Ｓ３
７で学習フェーズ番号ｉに対応するニューロングループ
の番号が第１３図の学習フェーズと各フェーズで学習す
るニューロングループ群との対応表１２２から読み出さ
れ、また３３Ｂでそのニューロングループ番号に対応し
た入力結線番号がニューロングループ群とそのグループ
に入力する結線グループとの対応表１２３から読み出さ
れる。

学習フェーズとニューロングループとの対応表１２２に
は、第１６図に示すように、例えば学習フェーズ１に対
しては第２５図の中間層のニューロンのグループＧ３が
対応することが、またニューロングループと入力結線と
の対応表１２３にはニューロングループＧ３に対しては
このグループに入力する結線、すなわちＣ１３とＣ２３
とが対応することが示されている。これらの対応表の内
容を用いて、Ｓ３９で入力結線グループ番号が第１３図
の結線グループ毎の学習指定部１１３に出力され、Ｓ４
０でニューラルネットワーク学習制御部１１４へ学習実
行指令が与えられ、ニューラルネットワークの学習が行
われる。その後筒１５の３３４．３５と同様に３４１，
４２で学習フェーズ番号ｉの歩進と学習フェーズの終わ
りの判定が行われ、学習フェーズが終わった時点で処理
が終了する。

第１７図は第３の発明における学習スケジューラの処理
実施例のフローチャートの説明図である。

同図を第１６図の第２の発明の場合と比較すると、学習
スケジューラ１１１の処理フローチャートの各ステップ
３４３〜Ｓ４９は３３６〜Ｓ４２と全く同様であるが、
第１４図で説明したようにニューロングループ群に対応
する結線グループは出力結線グループであり、ニューロ
ングループと結線との対応表１２７の内容は、各ニュー
ロングループに対する出力結線が、例えばグループＧ１
に対してＣ１３となることを示しており、これらの出力
結線グループ番号によって学習の指定が行われる点が異
なっている。

第１１図に示したフェーズニューロ融合システムは、一
般のニューラルネットワークのようにある層の各ユニッ
トの出力が次の層の全てのユニットに入力される完全結
合されたネットワークではなく、ファジィ制御ルールが
写像されることにより特別な構造を持つものとなってい
る。またこのニューラルネットワークのチューニング、
すなわちメンバーシップ関数を制御対象に適合させるた
めに行われるニューラルネットワークの学習において、
制御対象への適合度が高い部分と低い部分とで学習の程
度を調整できることが望ましい。このような目的のため
に、本発明では完全結合されたニューラルネットワーク
の各結合に対して学習調整装置が設けられ、ニューラル
ネットワークを構成するユニットのうちで複数個のユニ
ットがグループ化され、グループ単位の結合に対して学
習の調整が行われる。

第１８図は、ニューラルネットワーク内のグループ単位
の結合に対する学習調整定数と初期重みを出力する学習
調整定数および初期重み出力装置と、学習調整定数およ
び初期重みを設定し、グループ単位の学習を制御するニ
ューラルネットワーク学習制御装置との実施例の構成ブ
ロック図である。同図において、ニューラルネットワー
ク５０を構成する各結合に対して、それぞれ学習調整装
置５１ａ、５１ｂ、　　・・・が設けられる。

第１８図において、学習調整定数および初期重み出力装
置５２は、ニューラルネットワーク５０内で同一の層、
あるいは複数の層にまたがった複数個のユニットから構
成される１つ以上のグループ設定の指示、その設定によ
って定義可能となるグループ内またはグループ間等のグ
ループ単位の結合の学習調整定数設定の指示、およびグ
ループ単位の結合の初期重み設定の指示を受けとる指示
読取部５３、指示読取部５３からの出力により後述する
ニューラルネットワーク学習制御装置内の各種設定部に
初期重みの値を出力する初期重み設定部５４、グループ
設定の情報を保存するグループ設定情報保存部５５、指
示された情報を保存する指示情報保存部５６、および指
示読取部５３、グループ設定情報保存部５５、指示情報
保存部５６からの出力により学習制御装置内の各種設定
部に学習調整定数を出力する学習調整定数設定部５７か
ら構成される。

またニューラルネットワーク学習制御装置５８は、初期
重み設定部５４からの初期重み、および学習調整定数設
定部５７からの学習調整定数の出力を受けて、グループ
単位の結合に初期重みおよび学習調整定数を設定する各
種設定部５９ａと、グループ単位の学習を制御するため
の学習制御部５９ｂから構成される。

なお第１８図においてニューラルネットワーク５０内の
各結合はそれぞれ対応する学習調整装置を経由している
ように見えるが、実際には学習調整装置は対応する結合
に対して実際の重み変更量を出力するためのものであり
、結合自体は学習調整装置を経由するものではない。

第１９図は各結合に対応する学習調整装置の実施例の構
成ブロック図である。同図において、学習調整装置５１
は、学習制御装置５８内の各種設定部５９ａによってそ
の結合に対して設定された学習調整定数を記憶する定数
保存部６０、ニューラルネットワークの学習時にバック
プロパゲーション法によって結合に伝えられる重み変更
情報を読み取るための重み変更情報読取部６１、定数保
存部６０内の学習調整定数と重み変更情報読取部６１に
よって読み取られたバックプロパゲーション法に基づく
重み変更量とを乗じて実際の重み変更量を決定する重み
変更量調整部６２から構成される。

第１９図において、各学習調整装置５１に対応する結合
６３には、その結合に対する重みを記憶する重み保存部
６４、学習時においてバックプロパゲーション法によっ
て求められた重み変更量が伝えられる重み変更量保存部
６５、重み変更量保存部６５に伝えられたバックプロパ
ゲーション法に基づ（重み変更量に応じて、学習調整装
置５１内の重み変更量調整部６２によって決定される実
際の重み変更量が再び重み変更量保存部６５に伝えられ
た後に、その実際の重み変更量を用いて結合６３に対す
る重みを変更する重み変更装置６６が設けられる。

第２０図は完全結合のニューラルネットワークを結合の
グループ単位で特定構造のネットワークへ変換する処理
実施例のフローチャートである。

同図において処理が開始されると、Ｓ（ステップ）７０
で指示情報保存部５６からまだ取り上げられていない指
示が１つ選ばれ、５７１で指示のあったグループ単位の
結合の重み保存部６４に初期重みとして０が各種設定部
５９ａを介して設定され、またＳ７２で指示のあったグ
ループ単位の結合に対して学習調整定数の値としてＯが
設定される。

その後Ｓ７３で指示が終わりか否かが判定され、指示が
終わりでない場合にはＳ７０からの処理が繰り返される
。そして指示が終わったと判別された時点で全ての処理
が終了する。

第２１図はニューラルネットワークの学習時において各
結合の学習の有無を指定する場合の、学習調整装置５１
の処理実施例のフローチャートである。同図において、
３７４で第１９図の重み変更量保存部６５から、バック
プロパゲーション法によって求められた重み変更量が重
み変更量保存部６５に伝えられた時点で重み変更情報読
取部６１により重みの変更情報が読み取られ、Ｓ７５で
定数保存部６０に記憶されている学習調整定数の値がＯ
か否かが判別される。

そして、その値が０の時には、３７６で重み変更量調整
部６２により重みの変更量が０とされて重み変更量保存
部６５に与えられるが、定数保存部６０に記憶されてい
る値が１の場合にはＳ７７でバックプロパゲーション法
による重み変更量をそのまま用いることが重み変更量保
存部６５に伝えられ、結合６３における重みの変更はバ
ックプロパゲーション法によって求められた値をそのま
ま用いて重み変更装置ｆ６６によって行われる。

第２２図はバックプロパゲーション法による重みの変更
量に学習調整定数を乗する場合の、学習調整装置の処理
実施例フローチャートである。同図において、３７Ｂで
重み変更情報読取部６１によって重み変更量保存部６５
から重みを変更するという情報とその変更量が読み取ら
れ、Ｓ７９で定数保存部６０から学習調整定数の値が重
み変更量調整部６２に出力され、Ｓ８０でその定数の値
と重み変更情読取部６１によって読み取られた変更量と
が乗じられて実際の重み変更量が求められ、その値かが
３８１で結合６３の重み変更量保存部６５に新しい重み
変更量として設定される。そして重み変更装置６６によ
って重みが変更され、その重みの値は重み保存部６４に
保存されることになる。

第２３図は特定構造のニューラルネットワークの実現と
学習速度調整の実施例である。同図において、（ａ）に
示す構造のニューラルネットワークを、ら）に示す完全
結合されたニューラルネットワークを用いて実現するこ
とにする。この場合には、ますら）の完全結合されたニ
ューラルネットワークの全ての結合に対してそれぞれ学
習調整装置が設けられる。

そして図（Ｃ）に示すように、まず（ａ）にはない結合
に対して初期重みとしてＯが設定される。その後（ｄ）
に示すように、（ａ）にはない結合に対する学習調整装
置に学習調整定数の値としてＯ（オフ）が設定され、そ
れ以外の学習調整装置には１が設定される。なお（ｄ）
においては学習調整定数の値として１が設定される学習
調整装置は図示されていない。

第２３図（ｅ）は学習速度調整の実施例である。同図に
おいて、入力側から見て第１層と第２層間の学習の速度
に対して、第２層と第３層間の学習の速度を半分にする
ことにし、第１層と第２層の間の学習調整装置に学習調
整定数として１が、また第２層と第３層の間の結合に対
する学習調整装置に０．５が設定される。

第２４図は閾値を結合の重みとして学習するニューラル
ネットワークの実施例である。同図において、本来のニ
ューラルネットワークを構成するユニットに加えて、定
数１を出力するユニット（グループ）Ｇ５と０６が設け
られる。

ここで０５のユニットと０３内の全てのユニットとを結
合する結合グループをＣ５３，Ｇ６とＧ４内の全てのユ
ニットを結合する結合のグループをＣ６４とし、これら
の結合のそれぞれに対する学習調整装置によって決定さ
れる実際の重みとこの結合が入力されるユニットに対す
る閾値とを対応させることによって、本発明によって中
間層および出力層のユニットに対する閾値も、各入力に
対する重みと同様に学習させることができる。

〔発明の効果〕 以上詳細に説明したように、本発明によれば完全結合さ
れたニューラルネットワークから特定の構造を持つネッ
トワークを結合のグループ単位で簡単に実現することが
でき、またグループ単位の結合毎に学習の程度を微調整
することも可能となり、さらに知識が初期重みとして反
映されたニューラルネットワークの学習が効率化され、
ファジィニューロ融合システムの実用化に寄与すること
ろが大きい。

【図面の簡単な説明】

第１図（ａ）は本発明の原理ブロック図、第１図（ハ）
は完全結合のニューラルネットワークから特定構造のネ
ットワークへの変換方式の原理ブロック図、 第２図は本発明のニューラルネットワークにおける結合
のグループ単位逐次学習方式を用いるファジィニューロ
融合システムの構成を示すブロック図、 第３図は階層ネットワークにおける基本ユニットの構成
図、 第４図は階層ネットワーク部の基本構成を示す図、 第５図はメンバーシップ関数の説明図、第６図は前件部
メンバーシップ関数の真理値の算出機能の説明図（その
１）、 第７図は前件部メンバーシップ関数の真理値の算出機能
の説明図（その２）、 第８図は後件部メンバーシップ関数の真理値の出力機能
の説明図、 第９図は前件部演算機能および後件部演算機能の説明図
、 第１０図はファジィ推論値の説明図、 第１１図はファジィ制御ルールが写像されたニューラル
ネットワークの構成を示す図、 第１２図は第１の発明の実施例の構成を示すブロック図
、 第１３図は第２の発明の実施例の構成を示すブロック図
、 第１４図は第３の発明の実施例の構成を示すブロック図
、 第１５図は第１の発明における学習スケジューラの処理
実施例のフローチャート、 第１６図は第２の発明における学習スケジューラの処理
実施例のフローチャート、 第１７図は第３の発明における学習スケジューラの処理
実施例のフローチャート、 第１８図は学習調整定数および初期重み出力装置とニュ
ーラルネットワーク学習制御装置の実施例の構成を示す
ブロック図、 第１９図は学習調整装置の実施例の構成を示すブロック
図、 第２０図は完全結合のニューラルネットワークを結合の
グループ単位で特定構造のネットワークへ変換する処理
の実施例フローチャート、第２１図は各結合の学習の有
無を指定する場合の学習調整装置の処理実施例のフロー
チャート、第２２図はバックプロパゲージコン法による
重みの変更量に学習調整定数を乗する場合の学習調整装
置の処理実施例フローチャー・ト、 第２３図は特定構造のニューラルネットワークの実現と
学習速度調整の実施例を示す図、第２４図は閾値を結合
の重みとして学習するニューラルネットワークの実施例
を示す回、第２５図は多層構造ニューラルネットワーク
の例を示す図である。 ２４・・・前件部メンバーシップ関数値算出機能、 ２５・・・前件部演算機能、 ２６・・・後件部演算機能、 ２７・・・後件部メンバーシップ関数値出力機能、 ２８・・・ファジィ推論値算出機能、 ５０・・・ニューラルネットワーク、 ５１ａ、５１ｂ、　　・・・学習調整装置、５２・・・
学習調整定数および初期重み出力装置、 ５８・・・ニューラルネットワーク学習制御装置、 １１１・・・学習スケジューラ。 ア【層礼トワーク舒＾基参羽町へ“１を丁子ロメンバ′
−シツア／’／］ｉｔ丙”ＬＥ月ｒｆＺＪ第５図 集１の発明のア施存・］の構械ンホすフ０．７り図因 緊２０参贅８月の実施４り弓の構成・１ｔ１プロ・Ｖり
図第１３　図 ！ＪＰ１３の発明の実施４タリの構成今ホすフロック図
１Ｆ！１４　区 ｉヒ′”１５諷暫装Ｊｌ　ｆ、’Ｍ°旌例の１真Ｆへ、
偕ホすフ”口・ンクク箆１９図 ３１￥！１１４ニユーラルネ・／トワークの例令示す口
筒２５区 閾４１斗行合のｔみと（て学習てるニュの突た使ｊをホ
了口 ラル子−ノトフーク 第２４図

Claims (1)

1. 【特許請求の範囲】 １）ユニットを結ぶ全ての結合（１ａ，１ｂ，・・・）
   に対して、学習調整定数を保持し、該学習調整定数に従
   って実際の重み変更量を決定する学習調整装置（２ａ，
   ２ｂ，・・・）をそれぞれ備えたニューラルネットワー
   クにおいて、 該ニューラルネットワークを構成する全てのユニットを
   それぞれ１つ以上のユニットから構成される複数のグル
   ープに分割するグループ設定情報を保持し、該設定グル
   ープのうちで１つ以上のグループ内部の各結合、あるい
   は１組以上のグループ間での各結合と該各結合以外の全
   ての結合とで異なる値の学習調整定数を出力する学習調
   整定数出力手段（３）と、 該学習調整定数出力手段（３）が出力する学習調整定数
   を前記ニューラルネットワーク内の結合に対して設定し
   、該ニューラルネットワークの学習を制御するニューラ
   ルネットワーク学習手段（４）と、 該ニューラルネットワークの学習時に逐次的に実行され
   る１つ以上の学習フェーズにおいて、それぞれ学習され
   る１つ以上の前記グループ内結合、あるいはグループ間
   結合を記憶する学習結合群記憶手段（５）と、 該学習結合群記憶手段（５）の記憶内容に応じて、前記
   学習調整定数出力手段（３）に該１つ以上の各学習フェ
   ーズにおいて学習されるグループ内結合、あるいはグル
   ープ間結合と該結合以外の全ての結合とで異なる値の学
   習調整定数を出力させ、該ニューラルネットワーク学習
   手段（４）による各学習フェーズの学習を制御する学習
   フェーズ制御手段（６）とを備えたことを特徴とするニ
   ューラルネットワークにおける結合のグループ単位逐次
   学習方式。 ２）ユニットを結ぶ全ての結合（１ａ，１ｂ，・・・）
   に対して、学習調整定数を保持し、該学習調整定数に従
   って実際の重み変更量を決定する学習調整装置（２ａ，
   ２ｂ，・・・）をそれぞれ備えたニューラルネットワー
   クにおいて、 該ニューラルネットワークを構成する全てのユニットを
   それぞれ１つ以上のユニットから構成される複数のグル
   ープに分割するグループ設定情報を保持し、該設定グル
   ープのうちで１つ以上のグループを構成する各ユニット
   に入力される各結合と該各結合以外の全ての結合とで異
   なる値の学習調整定数を出力する学習調整定数出力手段
   （３）と、 該学習調整定数出力手段（３）が出力する学習調整定数
   を前記ニューラルネットワーク内の結合に対して設定し
   、該ニューラルネットワークの学習を制御するニューラ
   ルネットワーク学習手段（４）と、 該ニューラルネットワークの学習時に逐次的に実行され
   る１つ以上の学習フェーズにおいて、それぞれ学習され
   る１つ以上の前記グループに入力される各結合群を記憶
   する学習結合群記憶手段（５）と、 該学習結合群記憶手段（５）の記憶内容に応じて、前記
   学習調整定数出力手段（３）に該１つ以上の各学習フェ
   ーズにおいて学習されるグループ入力結合と該結合以外
   の全ての結合とで異なる値の学習調整定数を出力させ、
   該ニューラルネットワーク学習手段（４）による各学習
   フェーズの学習を制御する学習フェーズ制御手段（６）
   とを備えたことを特徴とするニューラルネットワークに
   おける結合のグループ単位逐次学習方式。 ３）ユニットを結ぶ全ての結合（１ａ，１ｂ，・・・）
   に対して、学習調整定数を保持し、該学習調整定数に従
   って実際の重み変更量を決定する学習調整装置（２ａ，
   ２ｂ，・・・）をそれぞれ備えたニューラルネットワー
   クにおいて、 該ニューラルネットワークを構成する全てのユニットを
   それぞれ１つ以上のユニットから構成される複数のグル
   ープに分割するグループ設定情報を保持し、該設定グル
   ープのうちで１つ以上のグループを構成する各ユニット
   から出力される各結合と該各結合以外の全ての結合とで
   異なる値の学習調整定数を出力する学習調整定数出力手
   段（３）と、 該学習調整定数出力手段（３）が出力する学習調整定数
   を前記ニューラルネットワーク内の結合に対して設定し
   、該ニューラルネットワークの学習を制御するニューラ
   ルネットワーク学習手段（４）と、 該ニューラルネットワークの学習時に逐次的に実行され
   る１つ以上の学習フェーズにおいて、それぞれ学習され
   る１つ以上の前記グループから出力される各結合群を記
   憶する学習結合群記憶手段（５）と、 該学習結合群記憶手段（５）の記憶内容に応じて、前記
   学習調整定数出力手段（３）に該１つ以上の各学習フェ
   ーズにおいて学習されるグループ出力結合と該結合以外
   の全ての結合とで異なる値の学習調整定数を出力させ、
   該ニューラルネットワーク学習手段（４）による各学習
   フェーズの学習を制御する学習フェーズ制御手段（６）
   とを備えたことを特徴とするニューラルネットワークに
   おける結合のグループ単位逐次学習方式。 ４）学習調整定数の値として前記各結合に対して１を、
   該各結合以外の全ての結合に対して０を出力する学習調
   整定数出力手段（３）を備えたことを特徴とする請求項
   １、２、３項記載のニューラルネットワークにおける結
   合のグループ単位逐次学習方式。 ５）前記ニューラルネットワークを構成する全てのユニ
   ットに加えて、該全ユニットに対してそれぞれ定数を出
   力するユニットを１つずつ設け、該定数出力ユニットと
   前記ニューラルネットワーク構成ユニットとの結合に対
   する学習調整装置によって決定される実際の重みを該ニ
   ューラルネットワーク構成ユニットに対する閾値とする
   ことにより、グループを単位として閾値の学習も行うこ
   とを特徴とする請求項１、２、３、４記載のニューラル
   ネットワークにおける結合のグループ単位逐次学習方式
   。 ６）ユニットを結ぶ全ての結合（１ａ，１ｂ，・・・）
   に対して学習時にバックプロパゲーション法によって求
   められる結合の重み変更量に乗じて実際の重み変更量と
   する乗算定数を学習調整定数として保持し、該学習調整
   定数に従って実際の重み変更量を決定する学習調整装置
   （２ａ，２ｂ，・・・）をそれぞれ備えたニューラルネ
   ットワークにおいて、該ニューラルネットワークを構成
   する全てのユニットをそれぞれ１つ以上のユニットから
   構成される複数のグループに分割するグループ設定情報
   を保持し、該設定グループのうちで１つ以上のグループ
   内部の各結合あるいは１組以上のグループ間での各結合
   に対する学習調整装置への学習調整定数として０を、ま
   た該各結合に対する初期重み値として０を出力する学習
   調整定数および初期重み出力手段（７）と、 該学習調整定数および初期重み出力手段（７）が出力す
   る学習調整定数および初期重みとして共に０を前記各結
   合に対して設定するニューラルネットワーク学習手段（
   ８）を備えたことを特徴とするニューラルネットワーク
   における結合のグループ単位逐次学習方式。