JPH03250243A - 神経回路網演算装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［発明の目的］ （産業上の利用分野） 本発明は、生体の神経回路網を模擬した並列型演算装置
である神経回路網演算装置に関する。

（従来の技術） 近年、神経回路網演算装置（あるいはニューラルネット
、ニューラルネットワーク）と呼ばれる超分散型の演算
装置が脚光を浴びている。

これは、生体の神経網を模擬したもので、多くの演算装
置が並列演算を行うため、高速性や耐ノイズ性なとの利
点が期待されるか、現在最も注目されている特徴は学習
能力である。

ここで学習能力とは、入出力信号の事例のみを教示する
ことによって所望の入出力特性を実現させることであり
、この特性を利用した応用が画像処理、文字認識、制御
、エキスパートシステムなど、多くの分野において試み
られている。

このように生体の神経網を模擬したニューラルネットは
、第６図に示すように、神経細胞にューロン）に対応す
るユニット（○で示す）と、これらのユニットを連結す
るリンク（実線で示す）とからなる回路で、それぞれの
ユニットが独自の入出力特性を持っている。

たとえば、第７図に示すような入出力持性ｆｊ（ｕ　ｊ
）を持つユニットｊが存在したとすると、このユニット
ｊの出力ｖｊは次式で表される。

ｊ≠ｊ ここで、ｖｌは他のユニット１の出力、ｗＪｌはユニッ
トｌの出力かユニットｊに及ぼす影響の度合いを示す重
み係数、θＪはしきい値、そしてＩｊは外部からの入力
を表している。

これは生体において、あるニューロンが他のニューロン
から刺激を受け、その総和かあるしきい値を越えたとき
に活性化されるというプロセスに対応している。このよ
うに、ニューラルネットは極めて単純な素子を多数組合
せて構成され、全体としてみると、その働きは従来の計
算機にない特徴を示すのである。

現在数も多く用いられているニューラルネットの構成は
、第８図に示す３層のものであり、これはそれぞれのユ
ニットが入力層ぶ、中間層ｋ、出力層ｊと呼ばれる　３
つの層をなすように並んだものである。

信号は入力層（から中間層ｋを通って出力層ｊへと一方
向に伝えられる。この形式のニューラルネットは、例え
ばパックプロパゲーションと呼ばれる学習アルゴリズム
によって、事例として用意した入力信号パターンと８力
信号パターン対の教示のみで所望の入出力特性を実現す
ることかできる。

このようなニューラルネットの具体的な例として、電力
系統の状態を表わす状態変数群のパターンから、その系
統が安定度等において危険な状態にあるか否か等、系統
状態の評価を行うニューラルネットのシステムの場合に
ついて述べる。

第９図にこのシステムの概要を示し、第１０図に第９図
に示したシステムを実行する神経回路網演算装置の構造
を示す。

系統の状態量としては、電圧、通過電力、相差角などが
考えられるが、ここの例では電圧のみを対象としている
。

このニューラルネットでは３５ノードから成る系統を対
象とし、この系統では、観測される電圧パターンを１４
個の代表的電圧パターンに分類して、これら１４パター
ンに対する評価結果を第１１図のように仮定している。

電圧パターンの入力方法としては、電圧を０，０１［ｐ
ｕ１幅で離散化し、ノード番号とこの電圧範囲でメツシ
ュを作り、このメツシュ　１個にニューロン１個を割り
当てる。ノードは、全３５ノートから発電機ノードを除
＜２５ノードを対象としており、入カニニット数は２５
０個となる。これらに対して出カニニット数は１２個で
あり、第１１図の組構に示す１２個の評価項目に対応し
ている。

第１１図の評価項目のうち成立するものは１．０、不成
立は０．０として第１１図の横欄に示す１４種類の教示
パターンを作り、パターン　１からパターン１４の順で
教示を繰り返した。

このようにして学習を行ったニューラルネットは、事例
として与えられた電圧パターンに対して、第１１図に与
えた評価を行う。

第１２図は学習後の神経回路網演算装置の入出力特性の
一例を示しており、第１２図（ａ）のように電圧パター
ンがノード全域に亘って基準値１．０より低下している
場合、第１１図における評価項目１　「昼間」、項目６
　「異常低下」、項目１２「全域」の項目が成立し、こ
のパターン４に対応した出力を第１２図（ｂ）のように
示すのである。

（発明が解決しようとする課題） しかし、現状のニューラルネットでは、学習アルゴリズ
ムによっていったん学習を終えた後は、リンクの強さが
固定され、入力データの形状のみから判定を行うため、
固定された単純な出カバターンしか示すことかできず、
論理的な判断かできないという大きな問題がある。

つまり、未知のパターンに対しては、人間の専門家のよ
うに経験に基いた判断を行うことかできず、不適切な結
果を出力することが往々にしであるのである。

このような未知パターンに対して不適切な判定を行う例
を、上述したニューラルネットのシステムの場合につい
て述べる。

ここでは、第１１図におけるパターン８「北西部電圧低
下」が変歪され、パターン８の特徴が次第に薄れて行く
ときのニューラルネットの補間性能に着目する。

このときのニューラルネットの入出力を第１３図に示す
。第１３図においてノード番号２４と２５か北西部に相
当し、この部分の電圧低下量が（ａ）、（ｂ）、（Ｃ）
と徐々に少なくなっている。

このような場合、第１３図（ａ）では問題なくパターン
８に対応する出力を正確に示し、（ｂ）のように変歪が
小さい場合でも、全体としてのパターン形状の特徴が上
記（ａ）とかなり類似しているため、（ａ）と同様に番
号Ｌ　　５．８の出カニニットが大きな出力を示し、パ
ターン８の判定を下している。

これに対し、（Ｃ）のようにノード番号２４と２５の電
圧変歪か大きく、しかも別のノードにおける電圧低下が
生じている場合、パターン８への引キ込みだけでなく、
出カニニット番号３および１２がかなりの出力を示して
いる。

出カニニット番号３は「健全電圧」を意味し、番号１２
は「全域」を意味するもので、すなわち第１１図におけ
るパターン１「健全」への引き込みが生じている。

このような判定は、電圧パターン形状の類似性という点
ては不適切な引き込みではないか、意味的には不適切で
ある。

第１３図（ｃ）の電圧パターン形状から判定を行おうと
するなら、パターン８を除けばこの変歪パターンに一番
近いものはパターン１であり、また人がこれらを見た場
合も、この変歪パターンをパターン１に近いか８に近い
か決め難いと思われる。

しかし、電力系統制御の専門家であれば、全体的には健
全状態に近いパターンであっても、重大な結果が引き起
こされるかも知れない北西部の電圧低下に着目し、一応
パターン８との類似性に着目すると考えられる。

このような判断には、単なる形状的な類似性たけでなく
、論理的な解釈を伴う。すなわち、人間の専門家の場合
には論理的知識からパターン認識へのフィードバックを
行っているが、現在のニューラルネットでは、このよう
な論理的知識とパターン認識能力との関連は組み込まれ
ておらず、これがニューラルネットの性能を制限する大
きな要因の一つとなっている。

したがって、ニューラルネットの判定を論理化し、未知
パターンに対してより適切な判断を行わせることか重要
課題となっている。

本発明はこのような課題を解決するためになされたもの
で、論理的知識に基づいてより専門家の考えに近い判定
を行うことかできる神経回路網演算装置を提供すること
を目的とする。

［発明の構成］ （課題を解決するための手段） 本発明の神経回路網演算装置は、複数のユニットと、こ
れらのユニット間を結合するリンクによって構成される
神経回路網演算装置において、前記ユニットの出力に従
って、特定のユニットの入出力特性および／または特定
のリンクの重みを変更する手段を付加したことを特徴と
している。

（作　用） 本発明では、従来の神経回路網演算装置に、この演算装
置自身のユニットの出力に従って、特定のユニットの入
出力特性および／または特定のリンクの重みを変更する
手段を付加している。

この変更手段は、神経回路網演算装置を構成する一つあ
るいは幾つかのユニットの出力を用い、その出力結果に
基づいて、ある規則に従ってユニットの入出力特性を変
化させたり、リンクの重みを変化させる機能を有するも
のである。

入出力特性の変化とは、ある入力か与えられたとき、そ
れに強く反応するか、弱く反応するかというユニットの
反応特性が変わることであり、リンクの重みの変化とは
、ある部分を重視してリンクの強さを変えることである
。

このような働きを行う変更手段は、神経回路網演算装置
自身の出力を利用し、すてに学習を終えた演算装置の一
部を大きく変化させる。

このため、論理的知識とパターン認識能力との相互作用
が実現され、より専門家の考えに近い判定を行うことが
できる。

（実施例） 次に、本発明の実施例について説明する。

第１図は、本発明の神経回路網演算装置の特徴を概念的
に示す図である。

神経回路網演算装置は、複数のユニットＵと、これらを
接続するリンク部りと、特性変化部Ｘとを備えている。

特性変化部Ｘは、上記ユニットの出力に従って、特定の
ユニットの入出力特性や特定のリンクの重みを変更する
手段であり、次のように作動する。

まずユニットＵの全部または一部の出力を矢印Ａに従っ
て取り込む。ごのときの出力は、あらかしめ学習によっ
て事例として与えられた入出力特性に従った結果である
。

すると、あらかじめ論理ユニットとして人間の注目の仕
方が記述され、論理的な意味付けをされたユニットが、
神経回路網演算装置自身の出力結果に応じてなんらかの
出力を示し、矢印Ｆに従って各ユニットおよびリンク部
にフィードバックされる。

このフィードバンクされた出力が観測されると、この出
力量に従ってユニットの入出力特性やリンクの強さ（重
み係数）が変化し、パターン認識特性か変化する。すな
わち、学習後に神経回路網演算装置の特性の一部を変化
させているのである。

そして、変化したパターン認識特性に基ついて再びパタ
ーン認識を行い、特定部分に着目した出力結果を矢印Ｂ
に従って示す。

矢印Ｂで示される判定結果は、論理的知識からパターン
認識へのフィードバックかなされたもので、より専門家
に近い判定となっている。

第２図は、本発明の一実施例の神経回路網演算装置の構
成を示す図である。

同図において、神経回路網演算装置のユニ・ノドは幾つ
かの群に分けられ、入力層、特徴層、連合層、および連
合層につながる論理ユニット群を構成している。

リンク部は、上述のユニットを結ぶリンクの集合である
。これに、特性変化部であるフィードバック機構が付加
される。

この実施例では論理ユニットの出力の一部を用い、特徴
層のユニットの入出力特性と、連合層から論理ユニット
へのリンクの重み係数を変化させている。

入力層は本実施例の構造化ニューラルネットモデルでは
、人力をそのまま出力するたけて、単に人力データを受
けるための入力端子の役割を果たしている。入力データ
列は幾つかのクループに分割され、入力層もそれに対応
した５つのクループに分かれている。

特徴層は、各部分データ列に対応した幾つかの受容帯を
並べたものである。特徴層の各ユニ・ソトの発火特性は
通常のパックプロパゲーションによって扱われるユニッ
トの発火特性のようなシグモイド特性ではなく、選択反
応性の発火特性を持つ。

この実施例では次式のような特性を採用した。

ｋｋ−Ｖ　　　ＩＩ／　ｌ１ｗ”）ＩＩｕ＝　１１　Ｗ
（ｎ）　　　　　（ｎ）・・・　（３） 上式において、ａｋは特徴層ユニットにの出力、Ｃ（０
）はユニットの選択反応性を制御する係数（ｎ） （以下、選択反応係数と呼ぶ）、■　　はグループｎに
対応する入力層ユニット群の出力からなるベクトル（部
分入力データ列と同し）、そして、ｗ（０）　　はグル
ープｎに対応する入力層ユニットに 群から特徴層ユニットｋにつながるり゛ツクの重みから
なるベクトルを、それぞれ表している。

さらに、第２図に示す連合層は、グループ間の情報を混
合して論理的な出力に変換するために、特徴層の出力を
集約する。連合層の二二ソ）・は、特徴層の各受容単位
に対応して１対１で存在し、その出力は受容単位内のユ
ニット出力の最大値をとる。これは次式で示される。

式：　　Ａ　　−ｍａ　ｘ　（ａｋ）　　　　−（４）
ｎｐ ｋ　ＩＥ　Ｒｎｐ （４）式中、Ａ　はグループｎの受容帯内のｐｐ 番目受容単位に対応する連合層ユニットの出力、ａｋは
特徴層ユニットにの出力、またＲ１．はグループｎの受
容帯内のｐ番目受容単位に含まれるユニット番号の集合
を、表している。

論理ユニットは、連合層の出力から作られる情報を扱う
ものである。

連合層の出力を混合するユニットや、その出力を用いる
ユニットは論理的な意味が付与されており、論理ユニッ
トと呼ぶ。

これらの論理ユニット出力の幾つかが第１１図の評価項
目に対応する。この実施例で採用したデータ混合方法は
、連合層と評価層との対応っけを第３゛図のように機械
的に行っている。

この対応づけの方法について以下に説明する。

まず、代表パターンを入力した時に層上で完全に１．０
を出しているユニットからリンクを出し、これらを第４
図（ａ）に示すユニットで結びつける。

このユニットへの入力のすべてが１．０に近い場合にの
み１．０あるいはそれに近い出力を出すので、このユニ
ットをＡＮＤ型のユニットと呼ぶ。このユニットに入力
されるリンクの重みは次式の関係を満たすように定義す
る。

式・　　Ｎｇ Σｗｎｍｌ　　　　　　　　・・・・・・（５）ｒｌ （５）式中、Ｎｇはグループ数であり、Ｗｎはグループ
ｎに対応する連合層出力からのリンクの重みであり、次
式のように決めている。

式：ｗ−ｆ／Ｎ　　　　　・・・・（６）ｎ　　　　　
　ｎ　　　　　　ｇ （６）式中、ｆ　はパターン評価におけるクル−プｎの
相対的な寄与率を示しており、（５）式の範囲でこれら
を変えることによって、各部分データ列への焦点の度合
を制御することかできる。

ｆ　を相対寄与率と呼ぶ。

このようなＡＮＤ型ユニットの出力はそのまま評価項目
に対応する出力になる場合もあるか、ある評価項目か他
のパターンにも有効となる時には、ＡＮＤ型ユニットの
出力をさらに第４図（ｂ）のユニットに入力し、このユ
ニットの出力を評価項目と結ぶ。

このユニットは入力のうちどれか一つでも１，０に近い
値になると、出力も１．０かそれに近い値となるので、
ＯＲ型ユニットと呼ぶ。

本実施例の特徴部分であるフィードバック機構は、論理
ユニットの出力を見て、それに基づき、（ｎ） 選択反応係数Ｃや相対寄与率ｆｎを変えるものであり、
これによって認識に対して論理的な知識の影響を付加す
ることかできる。

フィードバック機構は通常の逐次型のコンピュータで、
論理型のエキスパートシステムの形で実現することがで
きる。このコンピュータはマン・マシン・インターフェ
ースなどの別機能を包含していてもよい。

フィードバックのかけ方は対象とする問題に依存し、専
門的な経験知識に基づいて行われる。

電力系統状態評価への適用 続いて、上述した神経回路演算装置を、先に述べた電力
系統状態評価を行うニューラルネットに適用した例につ
いて述べる。

状態量としては電圧のみを扱い、この実施例では、ある
地域内のノード群を一つのグループと見なしている。こ
のようなグループ分けでは、部分の主要特徴は地域ごと
の総合的な電圧強度ということになり、電圧状態評価に
おいて意味のある特徴となる。

本実施例のニューラルネットでは、論理ユニツ（ｎ） トの出力に基づき、選択反応係数Ｃや、相対寄与￥ｆｎ
をフィードバック機構によって変えることかできる。電
圧パターンの評価の場合には次のようなルールを用いる
ことかできる。

１Ｆ（補間か必要とされている） （評価出力かセロである） （ロ） ＴＨＥＮ　（選択反応係数Ｃを大きくする）あるいは、 １Ｆ（ある地域ブロックで電圧異常の疑いかある） ＴＨＥＮ　（相対寄与率ｆｎを不均一にして、その地域
に焦点を当てる） これらの規則に基づいてフィードバック機構が働くとす
ると、第５図のように混合パターンに対する補間出力は
変化する。第５図は、先に述べた第１３図（ｃ）に示し
た電圧パターンに対する出力である。

（ロ） 第５図（ａ）では、選択反応係数Ｃが小さいので、学習
時に使用した入出力関係の補間ができず評価出力はゼロ
である。

この時フィードバック機構に補間要求信号か入（ｎ） ると、選択反応係数Ｃが増加され、この結果（ｂ）に示
すように、ある地域ブロック（この場合には北西部に相
当する出力番号８）を示す出力が現われる。これによっ
て、フィードバック機構は相対寄与率のうち北西部に対
応するグループ５のｆ５を増加させ、ｆｌからｆ４を低
下させる。

このような働きによってでパターンの評価における北西
部データの寄与が増加し、（ｃ）に示すような評価出力
を示す。

この評価結果は、北西部の電圧パターンを重視するなら
ば、入カバターンはパターン８に近く北西部電圧低下と
判定してよいことを意味している。

すなわち、フィードバック機構を用いた場合には、健全
パターンにへの引き込みが無くなっており、専門家の価
値判断が反映されている。

このように、論理ユニットによる認識へのフィードバッ
クを行うことにより、学習によって固定されたパターン
をその都度変化させることかでき、より幅広く柔軟な判
定を行うことが可能となる。

なお、この実施例のフィードバック機構は、通常の計算
機によって、ルール形式で記述される知識に基づいたフ
ィードバックを行っているが、ルール形式の知識は容易
にネットワーク化できることが知られており、フィード
バック機構の一部をニューラルネットとして実現するこ
ともできる。

［発明の効果コ 以上説明したように、本発明によれば、神経回路網演算
装置自身の出力に従って、学習後のユニットの反応特性
またはリンクの強さをダイナミックに変化させる変更手
段を付加しているため、論理的知識とパターン認識特性
との関連づけがなされる。

すなわち、経験に基づいた適切な判断を行うことができ
、未知パターンへの柔軟な対応が可能となる。

【図面の簡単な説明】

第１図は本発明の特徴部分を示す概念図、第２図は本発
明の一実施例の神経回路網演算装置を説明するための図
、第３図は連合層と評価層との関係を示す図、第４図は
ユニットの型を示す図、第５図は補間出力の変化を示す
図、第６図は従来の神経回路網演算装置の構造を示す図
、第７図は入出力特性の一例を示す図、第８図は３層構
造の神経回路網演算装置を説明するための図、第９図は
電圧評価システムの概要を示す図、第１０図は第９図に
示したシステムを実行する神経回路網演算装置の構造を
示す図、第１１図は評価項目の一例を示す図、第１２図
は学習後の神経回路網演算装置の入出力特性の一例を示
す図、第１３図は電圧変化と出カバターンとの関係を示
す図である。 Ｕ・・・・・ユニット Ｌ・・・・・・リンク部 Ｘ・・・・・・特性変化部

Claims (1)

1. 【特許請求の範囲】 複数のユニットと、これらのユニット間を結合するリン
   クによって構成される神経回路網演算装置において、 前記ユニットの出力に従って、特定のユニットの入出力
   特性および／または特定のリンクの重みを変更する手段
   を付加したことを特徴とする神経回路網演算装置。