JPH0414192A - ニューラルネットワークにおける結合のグループ単位学習調整方式 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔概　　要〕 ファジィ制御システムをニューラルネ・ントワークを用
いて構成する場合において、ニューラルネットワークを
構成する複数のユニットをグループ化し、グループ単位
に学習を行うニューラルにおける結合のグループ単位学
習調整方式に関し、完全結合のニューラルネットワーク
を結合のグループＺ単位としである特別な構造を持った
ネ・ントワークに変換することと、各結合グループ毎に
学習の程度を調整するこ七を目的とし、ユニットを結ぶ
全ての結合に対して、学習時にハックプロバゲーソヨン
法によって求められる結合の重み変更量に乗じて実際の
重み変更量とする乗算定数を学習調整定数として保持し
、該学習調整定数に従って実際の重み変更量を決定する
学習調整装置をそれぞれ備えたニューラルネットワーク
において、該ニューラルネットワークを構成する全ての
ユニットのうちで同一層内あるいは複数の層にまたがっ
た複数個のユニットからなる１つ以上のグループの設定
と、該設定されるグループのうちで１つ以上のグループ
内部の各結合、あるいは１組以上のグループ間での各結
合に対する各学習調整装置への学習調整定数設定との指
示を受けて、該指示された結合に対する学習調整定数を
出力する学習調整定数出力手段と、該学習調整定数出力
手段が出力する学習調整定数を前記指示された結合に対
して設定し、前記ニューラルネットワークの学習をグル
ープ単位に制御するニューラルネットワーク学習手段と
を備えるように構成する。

〔産業上の利用分野〕

本発明はニューラルの学習方式に係り、さらに詳しくは
ファジィ制御システムをニューラルネットワークを用い
て構成する場合において、ニューラルネットワークを構
成する複数のユニットをグループ化し、グループ単位に
学習を行うニューラルにおける結合のグループ単位学習
調整方式に関する。

近年ニューラルネットワーク等を使ったパターン認識装
置や適応フィルタなどが広範に研究されている。さらに
プラントの制御など、従来ファジィモデルが適用されて
きた分野でもファジィモデルのニューロモデルでの実現
が行われている。

ファジィモデルをニューロモデルで実現する場合には、
ファジィ制御ルールのメンバーシップ関数の間の関数付
は記述するモデルを作るために、従来のように例えば第
１層の各ユニットからの出力が第２層の全てのユニット
に入力されるような完全結合のニューラルネットワーク
とは異なり、ある特別の構造を持ったニューラルネット
ワークを使う必要がある。

またファジィニューロ融合システムにおいて一部の結合
に対してはあまり学習を行う必要がなく、他の部分につ
いて学習速度を高める必要があるような場合には、ニュ
ーラルネットワークを構成する各結合毎に学習の程度を
微調整することも必要となる。このため完全結合された
ニューラルネットワークをある特別の構造のネットワー
クに変換することと、各結合の学習の程度を微調整する
ことが望まれている。

〔従来の技術］ 新しい制御処理方式として、ファジィ制御が普及しつつ
ある。このファジィ制御は、人間の判断等のあいまいさ
を含む制御アルゴリズムを１ｆ−ｔｈｅｎ形式で表現し
、ファジィ推論に従ってこの制御アルゴリズムを実行し
ていくことで、検出される制御状態量から制御操作量を
算出して制御対象を制御していくものである。このファ
ジィ制御を実現していくためには、ファジィ制御ルール
中に記述される「あいまいな言語表現」を数値化して表
現するメンバーシップ関数を制御対象に適合するものに
チューニングしていく必要がある。

例えば、 ｉｆ　ｘ＋　ｉｓ　ｂｉｇ　ａｎｄ　Ｘ２　ｉｓ　ｓｍ
ａｌｌ　ｔｈｅｎ　ｙ　ｉｓ　ｂｉｇの形式（ｉｆ部は
前件部、ｔｈｅｎ部は後件部と称せられている）で記述
されるファジィ制御ルールの生成は、従来、制御対象の
制御に熟知しているオペレータの対象プロセスに関する
知識に従って、先ず最初に、制御状態量及び制御操作量
の値に関しての言語的な意味をメンバーシップ関数とし
て定量化し、次に、これらのメンバーシップ関数の間の
関係付けを記述することでファジィ制御ルールの粗いモ
デルを生成する。そして、この生成した粗いファジィ制
御ルールのモデルをシミュレーションや現地テストによ
り評価しながらメンバーシップ関数も含めてチューニン
グしていくことで、制御対象に適合したファジィ制御ル
ールに完成さセでいくという方法により実現されていた
。

このように、従来では、ファジィ制御ルールの生成処理
と、そのルール中に記述されるメンバーシップ関数のチ
ューニング処理は、ファジィ制御器を構築しようとする
設計者と制御対象の制御に熟知しているオペレータとの
共同作業に従い手作業で行われていた。このファジィ制
御ルールの生成とそのメンバーシップ関数のチューニン
グのための作業は、ノウハウを駆使しながら試行錯誤的
に実行していく必要があるため、通常短くても数カ月を
要することになる。そして、制御対象に関する制御知識
が少ない場合には、この期間は更に長期間のものとなる
。

以上のような背景から最近では学習機能を有するニュー
ラルネットワークを用いたファジィシステム、すなわち
ファジィニューロ融合システムが実現されるようになっ
ている。（特願平２−６０２５６「階層ネットワーク構
成データ処理装置及びデータ処理システム」を参照され
たい。）従来のプログラム内蔵方式のコンピュータでは
全ての場合について動作を指定する必要があったが、ニ
ューラルネットワークにおいては代表的な学習パターン
を何回か提示することにより学習が行われ、与えられて
いないパターンに対しても適切な解を出力することが可
能になる。ニューラルネットワークの代表的な構造と学
習方法としては、階層型ネットワークとバックプロパゲ
ーション法があることが広く知られている。

〔発明が解決しようとする課題］ 上述のようなファジィニューロ融合システムにおいては
ファジィ制御ルールを記述するモデルがニューラルネッ
トワークとして作られることから、従来のように例えば
第１層の全てのユニットの出力が第２層の全てのユニッ
トに入力される、すなわち完全結合のニューラルネット
ワークとは異なり、連続する２層の間でもユニット間に
結合が必ずしも存在しない、ある特別な構造を持ったニ
ューラルネットワークが必要となる。

またそのようなニューラルネットワークの学習を行わせ
る場合に、あるメンバーシップ関数の制御対象に対する
適合度が高い場合には、その部分に対応する結合の学習
は他の結合の学習に比べて低速でよいなどのように、各
結合に対して学習の程度を微調整する必要もある。しか
しながら、従来においては完全結合のニューラルネット
ワークをある特別の構造を持ったネットワークに簡単に
変換することができず、またニューラルネットワークの
各結合毎に学習の程度を微調整することもできないとい
う問題点があった。

本発明は、完全結合のニューラルネットワークを結合の
グループＺ単位としである特別な構造を持ったネットワ
ークに変換することと、各結合グループ毎に学習の程度
を調整することを目的とする。

〔課題を解決するための手段〕

第１図は本発明の原理ブロック図である。同図は、例え
ばファジィ制御システムのモデルとしてのニューラルネ
ットワーク内でユニットを結ぶ全ての結合１ａ、ｌｂ、
　　・・・に対して、学習時にバックプロパゲーション
法によって求められる結合の重み変更量に乗じて実際の
重み変更量とする乗算定数を学習調整定数として保持し
、その学習調整定数に応じて実際の重み変更量を決定す
る学習調整装置２ａ、２ｂ、　　・・・をそれぞれ備え
たニューラルネットワークにおける結合のグループ単位
学習調整方式の原理ブロック図である。

第１図（ａ）において、学習調整定数出力手段３は、ニ
ューラルネットワークを構成するユニットのうちで同一
層内あるいは複数の層にまたがった複数個のユニットか
らなる１つ以上のグループの設定と、設定されるグルー
プのうちで１つ以上のグループ内部の各結合、あるいは
１組以上のグループ間での各結合に対する各学習調整装
置への学習調整定数設定との指示を受けて、指示された
結合に対して学習調整定数の値を出力する。またニュー
ラルネットワーク学習手段４は、学習調整定数出力手段
３が出力する学習調整定数の値を指定された結合の学習
調整装置に対して設定し、ユニ一うルネットワークの学
習をグループ単位に制御する。

なお学習調整定数の値は例えば０〜１の間の値をとるも
のとし、特に指示のない結合に対する学習調整装置には
学習調整定数としてあらかじめ１が設定されているもの
とする。

第１図（ｂ）は第２の発明の原理ブロック図である。

同図においては、第１の発明の原理を示す第１図（ａ）
と同様に、ニューラルネットワーク内の全ての結合１ａ
、ｌｂ、　　・・・のそれぞれに対して学習調整装置２
ａ、２ｂ・・・が備えられる。

学習調整定数および初期重み出力手段５は、ニューラル
ネットワークを構成するユニットのうちで同一層内、あ
るいは複数の層にまたがった複数個のユニットからなる
１つ以上のグループの設定と、設定されるグループのう
ちで１つ以上のグループ内部の各結合、あるいは１１以
上のグループ間での各結合に対する各学習調整装置への
学習調整定数としての０設定、およびその各結合に対す
る初期重み値としてのＯ設定との指示を受けて、これら
の学習調整定数および初期重みの値を出力する。ここで
学習調整定数および初期重みとして共に０設定が指示さ
れるグループの結合は、完全結合のニューラルネットワ
ークをある特定構造のネットワークに変換するに際して
不要となる結合に対応する。

ニューラルネットワーク学習手段６は、学習調整定数お
よび初期重み出力手段５が出力する学習調整定数および
初期重みとして共にＯを、指定された結合に対して設定
する。

第３の発明の原理ブロック図は第１図（ａ）と同しであ
るが、第１の発明においては学習調整定数の値として例
えば０から１の間の値が用いられるのに対して、第３の
発明においては実質的に１またはＯのいずれかが用いら
れる。すなわち学習調整装置２ａ、２ｂ、　　・・・に
保持される学習調整定数として、バックプロパゲーショ
ン法によって求められる結合の重み変更量をそのまま用
いるか、またはＯとするかに対応するオン、またはオフ
のフラグが用いられる。学習調整定数出力手段３、およ
びニューラルネットワーク学習手段４の作用は第１の発
明におけると同様である。

第４の発明の原理ブロック図は第１図ら）と同様である
。第４の発明においては、第３の発明におけると同様に
学習調整装置２ａ、２ｂ、　　・・・には学習調整定数
として前述のオン、またはオフのフラグが保持される。

そして学習調整定数および初期重み出力手段５からは指
定された結合に対して学習調整定数の値としてのオフフ
ラグと初期重み（＋！０が出力され、そのオフフラグと
初期重み値０とがニューラルネットワーク学習手段６に
よって指示された結合に対して設定される。

第５および第６の発明においては、ニューラルネットワ
ークを構成する全てのユニットに加えて定数、例えば１
を出力するユニットが設けられる。

そしてこの定数出力ユニットとニューラルネットワーク
構成ユニットとの結合に対する学習調整装置によって決
定される実際の重みが各構成ユニットに対する閾値とし
て用いられ、これによりバックプロパゲーション法によ
る閾値の学習もニューラルネットワーク内の結合に対す
る重みの学習と同様に行われる。第５の発明においては
ニューラルネットワーク構成ユニットのそれぞれに対し
て定数出カニニットが１つずつ設けられ、第６の発明に
おいては複数個のユニットに対して定数出カニニットが
共通的に設けられる。

〔作　　　用〕

本発明においては、ニューラルネットワークを構成する
ユニットがグループ化され、グループ単位に学習が行わ
れる。第１の発明で、例えば入力層、中間層、および出
力層（３層の場合）の各層のユニットを各層毎に１つの
グループとする場合に、入力層のグループと中間層のグ
ループとの間の結合に対して学習調整定数の値として１
を、また中間層グループと出力層グループの間の結合に
対して０．５を学習調整定数出力手段３およびニューラ
ルネットワーク学習手段４によって設定し、ニューラル
ネットワークの学習を行わせることにより、中間層と出
力層の間の結合に対する学習の速度が入力層と中間層の
間の結合に対する学習速度の半分になることになる。

第２の発明においては、指定されたグループ内、または
グループ間の結合に対して初期重みとして０が設定され
、また対応する学習調整装置に学習調整定数としてＯが
設定されることになり、バックプロパゲーション法ムこ
よるニューラルネットワークの学習時に指定された結合
に対する重みは常にＯとして保たれることになる。すな
わち完全結合されたニューラルネットワークの全ての結
合のうちでグループによって指定された結合が存在しな
いと同じことになり、ある特定構造のネットワークにお
いて学習が行われる。

第３の発明においては、学習調整定数としてオフフラグ
が設定されたグループ単位の結合に対しては学習が全く
行われず、またオンのフラグが設定された結合に対して
はバックプロパゲーション法によって求められる結合の
重み変更量がそのまま用いられる。すなわち第３の発明
においてはニューラルネットワークを構成する結合のう
ちで学習を行うか否かの指定がグループ単位で行われる
ことになる。

第４の発明においては、第３の発明におけると同様にグ
ループ単位でオフフラグが学習調整定数として設定され
た結合に対しては同時に初期重み値としてＯが設定され
、指定された結合が存在しないと同じことになる特定構
造のニューラルネットワークにおいて学習が行われる。

第５、第６の発明においては、定数出カニニットが例え
ば１を出力することにより、定数出カニニットとニュー
ラルネットワーク構成ユニットとの結合の重みが各構成
ユニットに対する閾値として学習されることになる。一
般にパックプロパゲーション法における結合の重みと閾
値との両方の制御は複雑になるが、本発明においては閾
値が定数出カニニットとニューラルネットワーク構成ユ
ニットとの結合の重みとして割り当てられることにより
、学習の制御が簡単化される。

以上のように、本発明においてはニューラルネットワー
クを構成するユニットのうちで複数個のユニットからな
る１つ以上のグループが設定され、そのグループ単位と
して学習の調整が行われる。

〔実　　施　　例〕

第２図は本発明のニューラルネットワークにおける結合
のグループ単位学習調整方式を用いるファジィニューロ
融合システムの構成ブロック図である。同図において、
１０−ｈは階層ネットワーク部１１の入力層を構成する
複数の入カニニット、１０−１は階層ネットワーク部１
１の中間層（複数段備えられる）を構成する複数の基本
ユニット、１０−ｊは階層ネットワーク部１１の出力層
を構成する１つ又は複数の基本ユニット、１２は階層ネ
ントワーク構成データ処理装置、１３は重み値格納部で
あって、階層ネットワーク部１１の内部結合に割り付け
られる重み値を管理するものである。

２１は学習信号格納部であって、重み値の学習のために
用いられる学習用の制御データを格納するもの、２２は
学習信号提示部であって、学習信号格納部２１から学習
用の制御データを読み出して、その内の制御提示データ
を階層ネットワーク部１１に提示するとともに、対をな
すもう一方の制御教師データを後述する重み値変更部１
４と次に説明する学習収束判定部２３に提示するもの、
２３は学習収束判定部であって、階層ネットワーク部Ｉ
Ｉから出力される制御量データと学習信号提示部２２か
らの制御教師データとを受けて、階層ネットワーク部１
１のデータ処理機能の誤差が許容範囲に入ったか否かを
判定してその判定結果を学習信号提示部２２に通知する
ものである。

工４は重み値変更部であって、学習信号提示部２２から
の制御教師データと階層ネットワーク部１１のネットワ
ーク出力データとを受けて、パック・プロパゲーション
法に従って重み値の更新量を算出して重み値を更新して
い（ことで重み値を収束値にと収束させるべく学習する
ものである。

本発明におけるファジィニューロ融合システムの詳細な
説明に入る前に、この階層ネットワーク部１１の内部結
合に割り付けられる重み値を学習するために、重み値変
更部１４が実行する学習アルゴリズムであるところのハ
ック・プロパゲーション法（Ｄ、Ｅ、Ｒｕｍｅｌｈａｒ
ｔ、Ｇ、Ｅ、Ｈｉｎｔｏｎ、ａｎｄ　Ｒ，ＪＪｉｌｌｉ
ａｍｓ、　”Ｌｅａｒｎｉｎｇ　Ｉｎｔｅｒｎａｌ　Ｒ
ｅｐｒｅｓｅｎｔａｔｉｏｎｓ　ｂｙＥｒｒｏｒ　　Ｐ
ｒｏｐａｇａｔｉｏｎ　　、　　ＰＡＲＡＬＬＥＬ　　
ＤＩＳＴＲＩＢＵＴＥＤ　　ＰＲＯＣＥＳＳＩＮＧ、　
Ｖｏｌ、１．　ｐｐ、３１８−３６４．　Ｔｈｅ　ＭＩ
Ｔ　Ｐｒｅｓｓ、１９８６）について詳述する。

階層ネットワーク部１１は、基本的には、基本ユニット
と呼ばれる一種のノードと、重み値を持つ内部結合とか
ら階層ネットワークを構成している。第３図に、基本ユ
ニット１０の構成を示す。

この基本ユニッ１−１０は、多大カー出力系となってお
り、複数の入力に対し夫々の内部結合の重み値を乗算す
る乗算処理部１５と、それらの全乗算結果を加算する累
算処理部１６と、この累算値に非線型の閾値処理を施し
て一つの最終出力を出力する閾値処理部１７とを備える
。

ｈ層を前段層としｉ層を後段層とすると、この累算処理
部１６では下記の（１）式の演算を実行し、閾値処理部
１７では下記の（２）式の演算を実行する。

Ｘい、＝Σ３’ｐｈＷｔｈ　　　　　　　　　　　　（
１）式ｙｐｔ＝１／　（１＋ｅｘｐ　（Ｘｐｉ±θ、　
））（２）式但し、 ｈ　：　ｈ層のユニット番号 ｉ　ｚ　ｉ層のユニット番号 ｐ　：　入力信号のパターン番号 θＬ　：　ｉ層の１番ユニットの閾値 Ｗｉｈ：　　ｈ−１層間の内部結合の重み値ｘｐ、：　
　ｈ層の各ユニットからｉ層の１番ユニットへの人力の
積和 ３’ｐｈ’　　Ｐ番目パターンの入力信号に対するｈ層
のｈ番ユニットからの出力 ｙｐｉ’　　Ｐ番目パターンの入力信号に対するｉ層の
１番ユニットからの出力 そして、階層ネットワーク部１１では、このような構成
の多数の基本ユニット１０が、入力信号値をそのまま分
配して出力する入カニニット１〇−りを入力層として、
第４図に示すように階層的に接続されることで階層ネッ
トワークを構成して、入カバターン（入力信号）を対応
する出カバターン（出カバターン）に変換するという並
列的なデータ処理機能を発揮することになる。

ハック・プロパゲーション法では、階層ネットワークの
重み値Ｗ０と閾値θ１とを誤差のフィードバックにより
適応的に自動調節して学習することになる。（１）、　
（２）式から明らかなように、重み値Ｗ０．と閾値θ１
との調節は同時に実行される必要があるが、この作業は
相互に干渉する難しい作業となる。そこで、本出願人は
、先に出願の「特願昭６２−３３３４８４号（昭和６２
年１２月２８日出願、゛ネ、ットワーク構成データ処理
装置“）」で開示したように、入力側のｈ層に常に°′
１”を出力するとともにその出力に対して閾値θ、を重
み値として割り付けるユニットを設けることで、閾値θ
１を重み値Ｗｉｈの中に組み込んで閾値θ１を重み値と
して扱うようにすることを提案した。このようにするこ
とで、上述の（１）、　（２）式は、χ２、＝Σｙｐｈ
Ｗｔｈ　　　　　　　　　　　　（３）弐ｙｐｔ＝１／
（１＋ｅｘｐ（−ｘｐｔ））　　　（４）式％式％ 次に、この（３）、　（４）式の記述形式のものに従っ
て、バック・プロパゲーション法による重み値の学習処
理方式について説明する。ここで、この説明は、階層ネ
ットワーク部１１が、第４図に示すｈ層−１層−ｊ層と
いう３層構造の階層ネットワークをもつもので行う。

（３）、　（４）式からの類推によって次の（５）、　
（６）弐が得られる。すなわち、 Ｘｐｊ＝Σ３’ｐｔＷｊｔ　　　　　　　　　　　　（
５）式３Ｆ、ｊ：　１／　（１＋　ｅ　Ｘ９　　（Ｘｐ
ｉ）　）　　　（６）式但し、 ｊ　：　ｊ層のユニット番号 Ｗｊｌ：ｉ−ｊ層間の内部結合の重み値Ｘ、Ｊｊ　　ｉ
層の各ユニットからｊ層の３番ユニットへの入力の積和 ）’ｐＪｅ　　２番目パターンの入力信号に対するｊ層
の３番ユニットからの出力 重み値変更部１４では、学習用の入カバターンが提示さ
れたときに出力される出力層からの出カバターンｙｐＪ
と、その出カバターンｙｐｊのとるべき信号である教師
パターンｄｐｊ（２番目パターンの入力信号に対するｊ
Ｎｊ番目ユニットへの教師信号）とを受は取ると、先ず
最初に、出カバターンｙｐｊと教師パターンｄ９Ｊとの
差分値〔ｄ□−ｙｐＪ〕を算出し、次に、 αｐＪ＝”ＪｐＪ（１３’ｐＪ）　　（ａｐｊｙｐＪ）
　　（７）式を算出し、続いて、 ΔＷｊｉ（ｔ）＝εΣαｐｊ７□＋ζΔＷ□（ｔ−１）
（８）式 ％式％： ： に従って、ｉ層−ｊ層間の重み値の更新量ΔＷＪｎ（１
）を算出する。ここで、「ζΔＷｊｔ（ｔ　　１）Ｊと
いう前回の更新サイクル時に決定された重み値の更新量
に係るものを加算するのは学習の高速化を図るためであ
る。

続いて、重み値変更部１４は、算出したα９．を用いて
、先ず最初に、 βｐ、＝　ｙｐｉ　（１）’ｐｉ）Σα、、ｗ、、　（
ｔ　　１　）（９）弐 を算出し、次に、 ΔＷｉｈ（ｔ）＝εΣβｐｉ　）’　ｏｈ＋ζΔＷｔｈ
（ｔ　　　１）００）式 に従って、ｈ層−１層間の重み値の更新量ΔＷｉｈ（１
）を算出する。

続いて、重み値変更部１４は、この算出した更新量に従
って次の更新サイクルのための重み値、Ｗｊｔ（ｔ）−
ＷＪｔ　（ｔ　　１　）＋ΔＷ　Ｊ　ｉ　（ｔ）Ｗｔ）
、（ｔ）＝Ｗｉｈ　（ｔ　　１　）十ΔＷ　ｔ　ｈ　（
ｔ）を決定していく方法を繰り返していくことで、学習
用の入カバターンが提示されたときに出力される出力層
からの出カバターン）’１１Ｊと、その出カバターンｙ
ｐＪのとるべき信号である教師パターンｄ９ｊとが一致
することになる重み値Ｗｊ、、Ｗ、ｈを学習するよう処
理している。

そして、階層ネットワーク部１１がｇ層−ｈ層−１層−
ｊ層という４層構造の階層ネットワークをもつときには
、重み値変更部１４は、先ず最初に、 ｒｐｈ＝）’ｐｈ　（１ｙｐｈ）　Σβ□Ｗｔｈ（ｔ〜
１）（１１）式 を算出し、次に、 ΔＷｈ９（ｔ）　＝　ｔ　ΣＴ　ｐｈ　）’　＋１９＋
ζΔｗｈ、　（ｔ　　　１　）０り式 に従ってｇ層−ｈ層間の重み値の更新量ΔＷｈ９（ｔ）
を算出するというように、前段側の眉間の重み値の更新
量ΔＷを、出力側の後段から求まる値とネットワーク出
力データとを使いながら決定していくよう処理するので
ある。

本発明において、階層ネットワーク部１１の中間層が４
層から成るものとする。

メンハーシンプ関数のチューニングの実行時において、
例えば前件部が制御状態量に関しての条件を記述し、後
件部が制御操作量に関しての条件を記述するファジィ制
御ルールを処理対象とするときには、階層ネットワーク
部１１の最前段の中間層の基本ユニット１０を利用して
、チューニング対象とされる制御状態量についてのメン
バーシツブ関数の真理値を算出して出力する機能（前件
部メンバーシップ関数の真理値の算出機能）が実現され
るとともに、第４番目に位置する中間層の基本ユニット
１０を利用して、チューニング対象とされる制御操作量
についてのメンバーシップ関数の真理値を出力する機能
（後件部メンバーシップ関数の真理値の出力機能）が実
現される。

第５図に、メンバーシップ関数の一例を図示する。前件
部メンバーシップ関数の真理値の算出機能は、具体的に
は、基本ユニット１０より出力される出力値ｙ ■ が第６図（ａ）に示すように、 ω〈０．θ〈０ であるときには、第５図の「温度が低い」というメンバ
ーシップ関数と類似する関数形状となり、また、 ω〉０．θ〉０ であるときには、第５図の「温度が高い」というメンバ
ーシップ関数と類似する関数形状となることに着目して
、第６図（ｂ）に示すように、この基本ユニット１０の
入力に対する重み値ωおよび閾値θを適切に設定するこ
とで、第５図の「温度が低い」や「温度が高い」という
関数形状のメンバーシップ関数が実現されることになる
。

また、２つの基本ユニット１０より出力される出力値の
差分値ｙ １＋ｅｘｐ　（−ω２Ｘ十０２） が第７図（ａ）に示すように、第５図の「温度が普通」
というメンバーシップ関数と類似する関数形状となるこ
とに着目して、第７図（ｂ）に示すように、２個の基本
ユニット１０と、この２個の基本ユニット１０の出力値
に重み値“′１”及び−１゛を乗じたものを入力とし、
かつ閾値処理部１７を備えない基本ユニットｌＯにより
構成される減算器１０ａ（この構成に従い、この２個の
基本ユニット１０の出力値の差分値を算出するよう動作
する）とを備えて、この２個の基本ユニッ）１０の入力
に対する重み値ω１．ω２及び閾値θ１．θ２を適切に
することで、第５図の「温度が普通」という関数形状の
メンバーシップ関数の割付処理が実現されることになる
。

このような構成を採ることにより、これらの基本ユニッ
ト１０の入力値に対する重み値及び閾値を変更すること
で、その前件部メンバーシップ関数の関数形状を変更で
きることになる。

また、後件部メンバーシップ関数の真理値の出力機能は
、具体的には、第８図（ａ）に示すように、後件部メン
バーシップ関数を細かく区画して各区画の真理値ｙｉを
特定し、次に、第８図（ｂ）に示すように、閾値処理部
１７を備えない基本ユニット１０により構成される真理
値出力器１０ｂをこの真理値の個数（ｎ個）分用意して
、この真理値出力器１０ｂの入力に対して重み値°“ｙ
ｉ”を設定することで実現される。ここで、第８図働）
に示すように、例えばパルプＡの開度といった同一種別
の制御操作量に係る後件部メンバーシップ関数の真理値
は、用意される同一の真理値出力器１０ｂに入力される
構成が採られ、これらの真理値出力器１０ｂは、割り付
けられる制御操作量についての縮小されたメンバーシッ
プ関数の真理値の関数和を出力するよう構成されること
になる。

このような構成を採ることから、これらの真理値出力器
１０ｂの入力値に対する重み値を変更することで、その
後件部メンバーシップ関数の関数形状を変更できること
になる。

次に、階層ネットワーク部１１の第２番目に位置する中
間層の基本ユニット１０を利用しての処理対象のファジ
ィ制御ルールの前件部演算機能の実現と、第３番目に位
置する中間層の基本ユニット１０を利用しての処理対象
のファジィ制御ルールの後件部演算機能の実現について
説明する。

この前件部演算機能は、処理対象のファジィ制御ルール
の持つ前件部演算機能に整合させて実現される。従って
、前件部演算機能が入力値の平均値を算出して出力する
ものであるときには、例えば、第９図（ａ）に示すよう
に、重み値“１／大入力数”を乗じたものを入力とし、
かつ閾値処理部１７を備えない基本ユニットｌＯにより
構成される平均値算出器１０ｃを備えることで実現され
る。

同様に、この後件部演算機能は、処理対象のファジィ制
御ルールのもつ後件部演算機能に整合させて実現される
ことになる。従って、後件部演算機能が入力値の加算値
を算出して出力するものであるときには、例えば、第９
図（ロ）に示すように、重み値゛′１”を乗じたものを
入力とし、かつ閾値処理部１７を備えない基本ユニット
エ０により構成される加算値算出器１０ｄを備えること
で実現される。

以下、説明の便宜上、平均値算出器１０ｃを備えること
で前件部演算機能を実現し、加算値算出器１０ｄを備え
ることで後件部演算機能を実現する例で説明することに
する。

続いて、処理対象のファジィ制御ルールの記述に従う形
式でもって、前件部メンバーシップ関数の割り付けられ
た基本ユニシ）１０に前件部演算機能の割り付けられた
平均値算出器１０ｃとの間が内部結合されるとともに、
この平均値算出器１０ｃと後件部演算機能の割り付けら
れた加算値算出器１０ｄとの間が内部結合される。この
内部結合の設定処理は、具体的には、後述するように結
合関係のない内部結合に対して学習によっても変化され
ないゼロ値の重み値を割り付けることで実現される。

後件部演算機能の出力する演算値は、基本的には、対応
する後件部メンバーシップ関数の真理値の縮小率を与え
るものであって、例えば第１０図に示すように、「バル
ブＡの開度を小さく設定」というメンバーシップ関数が
■のように表され、「バルブＡの開度を大きく設定」と
いうメンバーシップ関数が■のように表される場合には
、■のメンバーシップ関数に対応付けられる後件部演算
機能の出力値に従って、「バルブＡの開度を小さく設定
」というメンバーシップ関数の適用値が定まり、■のメ
ンバーシップ関数に対応付けられる後件部演算機能の出
力値に従って、「バルブへの開度を大きく設定」という
メンバーシップ関数の適用値が定まることになる。そし
て、最も一般的には、下式に従って、この縮小されたメ
ンバーシップ関数の関数和の図形の重心を求めることで
、ファジィ推論値であるバルブＡの開度Ｙを算出する構
成が採られている。

第１Ｉ図はファジィ制御ルールが写像されたファジィニ
ューロ融合システムの構成ブロック図である。同図にお
いて記号のつかないＯ印は基本ユニット１０を示し、基
本ユニット１０、入カユニッ）１０−ｈ、基本ユニット
が一部変形されたユニット１０ａ〜１０ｄとによって、
前件部メンバーシップ関数値算出機能２４、前件部演算
機能２５、後件部演算機能２６、後件部メンバーシップ
関数値出力機能２７、およびファジィ推論値算出機能２
８がニューラルネットワークとして構成される。また図
中のＸＩ　　（ＳＡ）は、Ｘｌという制御状態量につい
てのメンバーシップ関数ＳＡ（小さい）によって求めら
れるＸＩの真理値を表す。

カッコ内のＭＭは゛普通″を、またＬＡは・・大きい”
を表す。さらにＬＨ３−１は前件部演算の演算結果値を
表し、Ｙ　（ＳＡ）はＹという制御操作量についてのメ
ンバーシップ関数ＳＡ（小さい）に対応づけられること
を表している。

第１１図において、ファジィ推論値算出機能２８の出力
を用いて、図示しない演算部によって最終的な重心の値
が制御操作量データとして算出され、その値は第２図の
学習収束判定部２３、および重み値変更部１４に出力さ
れる。そして学習収束判定部２３によって重みの更新指
示が学習信号提示部２２に与えられ、重み値変更部１４
によって前述のバックプロパゲーション法に従って、第
１１図の前件部メンバーシンプ間数値算出機能２４から
ファジィ推論値算出機能２８までを構成するニューラル
２７トワークにおける重みの更新が行われる。

第１１図のファジィニューロ融合システムは、−ｉのニ
ューラルネットワークのようにある層の各ユニットの出
力が次の層の全てのユニットに入力される完全結合され
たネットワークではなく、ファジィ制御ルールが写像さ
れることにより特別な構造を持つものとなっている。ま
たこのニューラルネットワークのチューニング、すなわ
ちメンバーシップ関数を制御対象に適合させるために行
われるニューラルネットワークの学習において、制御対
象への適合度が高い部分と低い部分とで学習の程度を調
整できることが望ましい。このような目的のために、本
発明では完全結合されたニューラルネットワークの各結
合に対して学習調整装置が設けられ、ニューラルネット
ワークを構成するユニットのうちで複数個のユニットが
グループ化され、グループ単位の結合に対して学習の調
整が行われる。

第１２図は、ニューラルネットワーク内のグループ単位
の結合に対する学習調整定数、初期重みを出力する学習
調整定数及び初期重み出力装置と、学習調整定数及び初
期重みを設定し、グループ単位の学習を制御するニュー
ラルネットワーク学習制御装置との実施例の構成ブロッ
ク図である。同図において、ニューラルネットワーク３
０を構成する各結合に対して、それぞれ学習調整装置３
１ａ、３１ｂ、　　・・・が設けられる。

第１２図において、学習調整定数および初期重み出力装
置３２は、ニューラルネットワーク３゜内で同一層、あ
るいは複数の層にまたがった複数個のユニットから構成
される１つ以上のグループ設定の指示、その設定によっ
て定義可能となるグループ内またはグループ間のグルー
プ単位の結合の学習調整定数設定の指示、およびグルー
プ単位の結合の初期重み設定の指示を受けとる指示読取
部３３、指示読取部３３からの出力により後述するニュ
ーラルネットワーク学習制御装置内の各種設定部に初期
重みの値を出力する初期重み設定部３４、グループ設定
の情報を保存するグループ設定情報保存部３５、指示さ
れた情報を保存する指示情報保存部３６、および指示読
取部３３、グループ設定情報保存部３５、指示情報保存
部３６からの出力により学習制御装置内の各種設定部に
学習調整定数を出力する学習調整定数設定部３７がら構
成される。

また、ニューラルネットワーク学習制御装置３８は、初
期重み設定部３４からの初期重み、および学習調整定数
設定部３７からの学習調整定数の出力を受けて、グルー
プ単位の結合に初期重みおよび学習調整数を設定する各
種設定部３９ａと、グループ単位の学習を制御するため
の学習制御部３９ｂから構成される。

なお、第１２図においてニューラルネットワーク３０内
の各結合はそれぞれ対応する学習調整装置を経由してい
るように見えるが、実際には学習調整装置は対応する結
合に対して実際の重み変更量を出力するためのものであ
り、結合自体は学習調整装置を経由するものではない。

第１３図は各結合に対応する学習調整装置の実施例の構
成ブロック図である。同図において、学習調整装置Ｆ３
１は、学習制御装置３８内の各種設定部３９ａによって
その結合に対して設定された学習調整定数を記憶する定
数保存部４０、ユニ一うルネットワークの学習時にバッ
クプロパゲーション法によって結合に伝えられる重み変
更情報を読み取るための重み変更情報読取部４１、定数
保存部４０内の学習調整定数と重み変更情報読取部４１
によって読み取られたバックプロパゲーション法に基づ
く重み変更量とを乗じて実際の重み変更量を決定する重
み変更量調整部４２から構成される。

第１３図において、各学習調整装置３１に対応する結合
４３には、その結合に対する重みを記憶する重み保存部
４４、学習時においてへツクプロパゲーション法によっ
て求められた重み変更量が伝えられる重み変更量保存部
４５、重み変更量保存部４５に伝えられたバックプロパ
ゲーション法に基づく重み変更量に応じて、学習調整装
置３１内の重み変更１ｍ整部４２によって決定される際
の重み変更量が再び重み変更量保存部４５に伝えられた
後に、その実際の重み変更量を用いて結合４３に対する
重みを変更する重み変更装置４６が設けられる。

第１４図は、学習調整定数および初期重み出力装置によ
るグループ単位の学習調整定数出力処理実施例のフロー
チャートである。同図において処理が開始されると、ス
テップ（Ｓ）５０で指示情報保存部３６からまだ取りあ
げられていない指示が１つ選ばれ、Ｓ５１で、例えば指
示された２つのグループ間の全ての結合の学習調整装置
に指示された定数を設定するために学習制御装置３８内
の各種設定部３９ａにその定数の値が出力される。

その後Ｓ５２で指示が終わりか否かが判定され、終わり
でない場合には、５５０からの処理が繰返され、指示が
終わりと判定された時点で処理を終了する。

なおこの図では２つのグループ間の結合に対する学習調
整定数出力の例を示したが、あるグループ内の結合に対
する学習調整定数出力も全く同様に行われる。

第１５図は完全結合のニューラルネットワークを結合の
グループ単位で特定構造のネットワークへ変換する処理
実施例のフローチャートである。

同図において処理が開始されると、Ｓ５３で第１４図の
５５０と同様に指示情報保存部３６からまだ取りあげら
れていない指示が１つ選ばれ、Ｓ５４で指示のあったグ
ループ単位の結合の重み保存部４４に初期重みとして０
が各種設定部３９ａを介して設定され、またＳ５５で指
示のあったグループ単位の結合に対して学習調整定数と
してＯｌまたはオフフラグが設定される。その後、Ｓ５
６で指示が終わりか否かが判定され、指示が終わりでな
い場合には５５３からの処理が繰返され、指示が終わり
と判定されると処理を終了する。

第１６図はニューラルネットワークの学習時において、
各結合の学習の有無を指定する場合の、学習調整装置３
１の処理実施例のフローチャートである。同図において
、Ｓ５７で第１３図の重み変更量保存部４５から、バッ
クプロパゲーション法によって求められた重み変更量が
重み変更量保存部４５に伝えられた時点で重み変更情報
読取部４１により重みの変更情報が読み取られ、３５Ｂ
で定数保存部４０に記憶されている学習調整定数の値が
Ｏ（オフ）か否かが判別される。

そして、その値が０（オフ）の時には、Ｓ５９で重み変
更量調整部４２により、重みの変更量が０とされて重み
変更量保存部４５に与えられる。

これに対して、定数保存部４０に記憶されている値が１
（オン）の場合には、バックプロパゲーション法による
重み変更量をそのまま用いることが重み変更量保存部４
５に５６０で伝えられ、結合４３における重みの変更は
バックプロパゲーション法によって求められた値をその
まま用いて重み変更装置４６によって行われる。

第１７図はバックプロパゲーション法による重みの変更
量に学習調整定数を乗する場合の、学習調整装置の処理
実施例フローチャートである。同図において、Ｓ６１で
重み変更情報読取部４１によって重み変更量保存部４５
から重みを変更するという情報とその変更量が読み取ら
れ、Ｓ６２で定数保存部４０から学習調整定数の値が重
み変更量調整部４２に出力され、Ｓ６３でその定数の値
、例えば０．５と重み変更情報読取部４１によって読み
取られた変更量とが乗じられて実際の重み変更量が求め
られ、その値が３６４で結合４３の重み変更量保存部４
５に新しい重み変更量として設定される。そして重み変
更装置４６によって重みが変更され、その重みの値は重
み保存部４４に保存されることになる。

第１８図は閾値を結合の重みとして学習するニューラル
ネットワークの実施例である。同図において、本来のニ
ューラルネットワークを構成するユニットに加えて、定
数１を出力するユニット（グループ）Ｇ５と０６とが設
けられる。また入力層のユニットはそれぞれ複数個のユ
ニットのグループＧ１とＧ２とに区分され、中間層およ
び出力層のユニットは、全体でそれぞれグループＧ３と
６４とを構成している。

ここで６５のユニットと６３内の全てのユニットとを結
合する結合グループをＣ５３、Ｇ６とＧ４内の全てのユ
ニットを結合する結合のグループをＣ６４とし、これら
の結合のそれぞれに対する学習調整装置によって決定さ
れる実際の重みと、二の結合が入力されるユニットに対
する閾値とを対応させることによって、本発明によって
中間層および出力層のユニットに対する閾値も、各入力
に対する重みと同様に学習させることができる。

第１９図はグループ単位の結合設定による特定構造のニ
ューラルネットワークの実現法の実施例である。同図に
おいて、第１層から第３層の範囲において破線の結合を
含むような完全結合されたネットワークから破線の結合
を含まないようなネットワークを実現するために、まず
ＡとＢのグループの設定の指示が第１２図の学習調整定
数および初期重み出力装置３２に与えられ、次にグルー
プＡとＢとの間のグループ単位の結合に対して、学習調
整定数の値として０、またはオフフラグと初期重みとし
てＯとが各種設定部３９ａを介して設定されることによ
り、ニューラルネットワーク内の結合は実線で示される
もののみになる。

第２０図は結合のグループ単位の学習速度調整の実施例
である。同図において入力側から見て第１層と第２層の
間の学習の速度に対して、第２層と第３層の間の学習の
速度を半分にすることにし、第２層のユニットのグルー
プと第３層のユニットのグループとの間の結合に対して
学習調整定数として０．５が設定され、第１層と第２層
の間の結合に対しては１が設定される。

〔発明の効果〕

以上詳細に説明したように、本発明によれば従来のよう
に完全結合されたニューラルネットワークから特定の構
造を持つネットワークを結合のグループ単位で簡単に実
現することができ、またグループ単位の結合毎に学習の
程度を微調整することも可能となり、ファジィニューロ
融合システムの実用化に寄与することが大きい。

【図面の簡単な説明】

第１図（ａ）は、第１の発明の原理ブロック図、第１図
（ｂ）は、第２の発明の原理ブロック図、第２図は、本
発明のニューラルネットワークにおける結合のグループ
単位学習調整方式を用いるファジィニューロ融合システ
ムの構成を示すブロック図、 第３図は、階層ネットワークにおける基本ユニットの構
成図、 第４図は、階層ネットワーク部の基本構成を示す図、 第５図は、メンバーシップ間数の説明図、第６図は、前
件部メンバーシップ関数の真理値の算出機能の説明図（
その１）、 第７図は、前件部メンバーシップ関数の真理値の算出機
能の説明図（その２）、 第８図は、後件部メンバーシップ関数の真理値の出力機
能の説明図、 第９図は、前件部演算機能および後件部演算機能の説明
図、 第１０図は、ファジィ推論値の説明図、第１１図は、フ
ァジィ制御ルールが写像されたニューラルネットワーク
の構成を示すブロック図、第１２図は、学習調整定数お
よび初期重み出力装置とニューラルネットワーク学習制
御装置の実施例の構成を示すブロック図、 第１３図は、学習調整装置の実施例の構成を示すブロッ
ク図、 第１４図は、学習調整定数出力処理実施例のフローチャ
ート、 第１５図は、完全結合のニューラルネットワークを結合
のグループ単位で特定構造のネットワークへ変換する処
理の実施例フローチャート、第１６図は、各結合の学習
の有無を指定する場合の学習調整装置の処理実施例のフ
ローチャート、第１７図は、バックプロパゲーション法
による重みの変更量に学習調整定数を乗する場合の学習
調整装置の処理実施例フローチャート、 第１８図は、閾値を結合の重みとして学習するニューラ
ルネットワークの実施例を示す図、第１９図は、グルー
プ単位の結合設定による特定構造のニューラルネットワ
ークの実現法の実施例を示す図、 第２０図は、結合のグループ単位の学習速度調整の実施
例を示す図である。 ２４・・・前件部メンバーシップ関数値算出機能、 ２５・・・前件部演算機能、 ２６・・・後件部演算機能、 ２７・・・後件部メンバーシップ関数値出方機能、 ２８・・・ファジィ推論値算出機能、 ３０・・・ニューラルネットワーク、 ３１ａ、３１ｂ、　　・・・学習調整装置、３２・・・
学習調整定数および初期重み出方装置、 ３７・・・ニューラルネットワーク学習制御装置。 ｏ−ｉ

Claims (6)

【特許請求の範囲】
1. （１）　ユニットを結ぶ全ての結合（１ａ，１ｂ，・・
   ・）に対して、学習時にバックプロパゲーション法によ
   って求められる結合の重み変更量に乗じて実際の重み変
   更量とする乗算定数を学習調整定数として保持し、該学
   習調整定数に従って実際の重み変更量を決定する学習調
   整装置（２ａ，２ｂ，・・・）をそれぞれ備えたニュー
   ラルネットワークにおいて、 該ニューラルネットワークを構成する全てのユニットの
   うちで同一層内あるいは複数の層にまたがった複数個の
   ユニットからなる１つ以上のグループの設定と、該設定
   されるグループのうちで１つ以上のグループ内部の各結
   合、あるいは１組以上のグループ間での各結合に対する
   各学習調整装置への学習調整定数設定との指示を受けて
   、該指示された結合に対する学習調整定数を出力する学
   習調整定数出力手段（３）と、 該学習調整定数出力手段（３）が出力する学習調整定数
   を前記指示された結合に対して設定し、前記ニューラル
   ネットワークの学習をグループ単位に制御するニューラ
   ルネットワーク学習手段（４）とを備えたことを特徴と
   するニューラルネットワークにおける結合のグループ単
   位学習調整方式。
2. （２）　ユニットを結ぶ全ての結合（１ａ，１ｂ，・・
   ・）に対して、学習時にバックプロパゲーション法によ
   って求められる結合の重み変更量に乗じて実際の重み変
   更量とする乗算定数を学習調整定数として保持し、該学
   習調整定数に従って実際の重み変更量を決定する学習調
   整装置（２ａ，２ｂ，・・・）をそれぞれ備えたニュー
   ラルネットワークにおいて、 該ニューラルネットワークを構成するユニットのうちで
   同一層内あるいは複数の層にまたがった複数個のユニッ
   トからなる１つ以上のグループの設定と、該設定された
   グループのうちで１つ以上のグループ内部の各結合、あ
   るいは１組以上のグループ間での各結合に対する各学習
   調整装置への学習調整定数としての０設定、および該各
   結合に対する初期重み値としての０設定の指示を受けて
   、該指示された結合に対する学習調整定数および初期重
   みを出力する学習調整定数および初期重み出力手段（５
   ）と、 該学習調整定数および初期重み出力手段（５）が出力す
   る学習調整定数および初期重みとして共に０を前記指定
   された結合に対して設定し、ニューラルネットワークの
   学習をグループ単位に制御するニューラルネットワーク
   学習手段（６）を備えたことを特徴とするニューラルネ
   ットワークにおける結合のグループ単位学習調整方式。
3. （３）　ユニットを結ぶ全ての結合（１ａ，２ｂ，・・
   ・）に対して、学習時にバックプロパゲーション法によ
   って求められる結合の重み変更量をそのまま用いるか、
   または０とするかに対応するオン、またはオフのフラグ
   を学習調整定数として保持し、該学習調整定数に従って
   実際の重み変更量を決定する学習調整装置（２ａ，２ｂ
   ，・・・）をそれぞれ備えたニューラルネットワークに
   おいて、 該ニューラルネットワークを構成する全てのユニットの
   うちで同一層内あるいは複数の層にまたがった複数個の
   ユニットからなる１つ以上のグループの設定と、該設定
   されるグループのうちで１つ以上のグループ内部の各結
   合、あるいは１組以上のグループ間での各結合に対する
   各学習調整装置への学習調整定数設定との指示を受けて
   、該指示された結合に対する学習調整定数を出力する学
   習調整定数出力手段（３）と、 該学習調整定数出力手段が出力する学習調整定数を前記
   指示された結合に対して設定し、前記ニューラルネット
   ワークの学習をグループ単位に制御するニューラルネッ
   トワーク学習手段（４）とを備えたことを特徴とするニ
   ューラルネットワークにおける結合のグループ単位学習
   調整方式。
4. （４）　ユニットを結ぶ全ての結合（１ａ，１ｂ，・・
   ・）に対して、学習時にバックプロパゲーション法によ
   って求められる結合の重み変更量をそのまま用いるか、
   または０とするかに対応するオン、またはオフのフラグ
   を学習調整定数として保持し、該学習調整定数に従って
   実際の重み変更量を決定する学習調整装置（２ａ，２ｂ
   ，・・・）をそれぞれ備えたニューラルネットワークに
   おいて、 該ニューラルネットワークを構成するユニットのうちで
   同一位層内あるいは複数の層にまたがった複数個のユニ
   ットからなる１つ以上のグループの設定と、該設定され
   たグループのうちで１つ以上のグループ内部の各結合、
   あるいは１組以上のグループ間での各結合に対する各学
   習調整装置への学習調整定数としてのオフフラグの設定
   、および該各結合に対する初期重み値としての０設定と
   の指示を受けて、該指示された結合に対する学習調整定
   数および初期重みを出力する学習調整定数および初期重
   み出力手段（５）と、 該学習調整定数および初期重み出力手段（５）が出力す
   る学習調整定数としてのオフフラグ、および初期重みと
   しての０を前記指定された結合に対して設定し、ニュー
   ラルネットワークの学習をグループ単位に制御するニュ
   ーラルネットワーク学習手段（６）を備えたことを特徴
   とするニューラルネットワークにおける結合のグループ
   単位学習調整方式。
5. （５）　前記ニューラルネットワークを構成する全ての
   ユニットに加えて、該全ユニットに対してそれぞれ定数
   を出力するユニットを１つ設け、該定数出力ユニットと
   前記ニューラルネットワーク構成ユニットとの結合に対
   する学習調整装置によって決定される実際の重みを該ニ
   ューラルネットワーク構成ユニットに対する閾値とする
   ことにより、グループを単位として閾値の学習を行うこ
   とを特徴とする請求項１、２、３、４記載のニューラル
   ネットワークにおける結合のグループ単位学習調整方式
   。
6. （６）　前記ニューラルネットワークを構成するすべて
   のユニットのうちで、１組以上の複数個のユニットに対
   して前記定数を出力するユニットを各組に対してそれぞ
   れ共通的に設け、該共通ユニットと該複数個のユニット
   との各結合に対する各学習調整装置によって決定される
   実際の重みを該複数個の各ユニットに対する各閾値とす
   ることを特徴とする請求項５記載のニューラルネットワ
   ークにおける結合のグループ単位学習調整方式。