JPH06348675A - ニューロコンピュータ応用機器およびこれを含む機械装置 - Google Patents

Abstract

(57)【要約】 【目的】 従来、実際問題として実用化が困難であっ
た、プラントの最適運転等の複雑な処理を行なうことの
できる実用性のあるニューロコンピュータを提供する。 【構成】 ニューロン及びシナプスを生成する発生手段
１１と、該生成されたニューロン及びシナプスを結合し
てニューラルネットワークを構築する手段１２と、該ニ
ューラルネットワーク１４に特徴量及び教師信号を入力
して学習を行うドライブ手段１３とからなり、前記ニュ
ーラルネットワークを構成する任意のニューロンを入出
力特性の異なる他のニューロンと交換し、或いはニュー
ロン間を任意に接続、切断する手段１５を備えた。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、機器構成の複雑なプラ
ント等の最適運転等を行うことのできる学習機能を備え
たニューロコンピュータに係り、特にノイマン型コンピ
ュータ上で動作するシミュレーションプログラムでシミ
ュレートされたニューロコンピュータの構造に関する。

【０００２】

【従来の技術】ニューロコンピュータとは、生物の神経
系の仕組みを工学的に模擬し、神経細胞に相当する多数
のニューロン中を信号が超並列で伝達されることによ
り、生物の神経系と同様な情報処理を実現しようとする
コンピュータである。そこには、直列型の処理を行うノ
イマン型コンピュータによる情報処理では実現不可能
な、種々の可能性があり、最近とみに発達してきてい
る。

【０００３】現段階のニューロコンピュータは、神経細
胞の単位となるニューロンそのものをハードウエア化す
るのは困難といわれている。このため、一般的にニュー
ラルネットワークモデルをシミュレータ、即ちコンピュ
ータプログラムで実装し、そのプログラムを従来のノイ
マン型コンピュータそのものを使用して処理することに
より、ニューロコンピュータをシミュレートしている。
尚、従来のニューロコンピュータに関しては多数の解説
書が市販されており、例えば、甘利俊一著「ニューロコ
ンピュータ」読売新聞社発行等を参照願いたい。

【０００４】以下に従来のシミュレーションプログラム
でノイマン型コンピュータ上にシミュレートされたニュ
ーロコンピュータの構成とその学習方法について説明す
る。

【０００５】図９は、センサニューロンからなるＳ層４
個、レスポンスニューロンからなるＲ層３個の階層型ニ
ューラルネットワーク構成の一例である。ここで、図９
に示すようにＳ層のセンサニューロンをｓ１〜ｓ４、Ｒ
層のレスポンスニューロンをｒ１〜ｒ３とし、入力をｘ
１〜ｘ４、出力をｕ１〜ｕ３とする。又レスポンスニュ
ーロンの持つしきい値はθ１〜θ３とする。

【０００６】従来のニューロコンピュータは、入力と出
力の関係がすべてマトリクスで表現されている。即ち、
例えば入出力の荷重の関係は下表に示すようなマトリク
ス関係式で表わされる。

【表１】 入力ベクトルから出力ベクトルを求めるには、入力Ｘ、
荷重マトリックスＷ、しきい値θ、出力Ｕをそれぞれベ
クトル（マトリックス）で表わすと以下のようになる。

【数１】 出力ベクトルＵは次式で表わされる。 Ｕ＝ｆ（Ｗ・Ｘ・θ） ここで、ｆはニューラルネットワークの入出力特性を表
わす関数である。

【０００７】このようなニューラルネットワークに入力
データと教師信号を与えて学習する場合に、従来のニュ
ーロコンピュータでは、パターンベクトルを認識する手
法が用いられている。この手法では認識させたいデータ
をパターンとしてそのまま正規化して入力し、認識能力
の高いニューロコンピュータのアルゴリズムを用い、ニ
ューロコンピュータの学習プロセスですべてを認識させ
る。具体的には、シナプス結合荷重マトリクスＷの初期
値を、例えば乱数で与えておく。そして、入力のパター
ンベクトルを与えて出力ベクトルを計算する。出力結果
を教師信号と比較して学習アルゴリズムから荷重マトリ
クスＷの差分ΔＷを計算する。そして、荷重マトリクス
をＷ−ΔＷに書き換えて修正する。このような過程をす
べての入力信号と教師信号の組に対して実施し、又、こ
の組合せを数回或いは数十回繰り返して、シナプス結合
荷重マトリクスＷは、すべての入力に対して教師信号と
一致する方向で修正される（学習プロセス）。

【０００８】

【発明が解決しようとする課題】しかしながら、係る従
来のニューロコンピュータの学習アルゴリズムでは、入
力パターンに明確に特徴が現れており、かつ大量に学習
データがある場合を除いて、超高速大容量のコンピュー
タを用いても学習に成功する可能性が低かった。即ち、
機器構成の複雑なプラント等の運転を正確になし得るよ
うなニューロコンピュータを得ようとすると、ニューラ
ルネットワークの荷重マトリクスＷを修正する学習プロ
セスを何回繰り返しても荷重マトリクスＷが収束せず、
最適な荷重マトリクスＷが求められない場合が多かっ
た。学習プロセスで収束しなかった場合、あるいは未学
習データを正しく認識できなかった場合は、入力データ
の正規化を変更するかネットワークの組成を変更する。
ネットワークは一般にかなり大規模になり、内部をブラ
ックボックスとして扱うため、変更は試行錯誤であり、
これによって成功する可能性は極めて低い。

【０００９】従来の学習アルゴリズムでも、自動認識、
カテゴリ分類等を行う場合には、学習プロセスに成功す
る場合もある。しかしながら、従来の学習アルゴリズム
では、機器構成の複雑なプラント等の運転を最適になし
得るニューロコンピュータを求める等の少し複雑な問題
においては、現実的には使いものにならない場合が多か
った。

【００１０】係る従来技術の問題点に鑑み、本発明は従
来の学習アルゴリズムの範囲内で、機器構成の複雑なプ
ラントの最適運転等の複雑な問題の解決に実用可能なニ
ューロコンピュータを提供することを目的とするもので
ある。

【００１１】

【課題を解決するための手段】本発明は、ニューロン及
びシナプスを生成する発生手段と、該生成されたニュー
ロン及びシナプスを結合してニューラルネットワークを
構築する手段と、該ニューラルネットワークに特徴量及
び教師信号を入力して学習を行うドライブ手段とからな
り、前記ニューラルネットワークを構成する任意のニュ
ーロンを入出力特性の異なる他のニューロンと交換し、
或いはニューロン間を任意に接続、切断する手段を備え
たことを特徴とする。

【００１２】又、本発明は、前記シナプスは少なくとも
入出力のニューロンとの結合関係の情報及び荷重のデー
タを備え、前記ニューロンは、センサニューロンとレス
ポンスニューロンとからなり、少なくともそれぞれ前記
のシナプスとの結合関係の情報及びデータ及びレスポン
スニューロンには学習機能のプログラムを備え、該レス
ポンスニューロンの備える学習機能により前記シナプス
の荷重のデータを書き替えるものであることを特徴とす
る。

【００１３】

【作用】任意の特性を有するニューロン及びシナプスを
生成する発生手段と、ニューラルネットワークの構成手
段を備え、ニューラルネットワーク内のニューロンを入
出力特性の異なる他のニューロンと交換し、或いはニュ
ーロン間の切断、接続を可能とする手段を備えたことか
ら、ニューロコンピュータの内部状態、および出力との
因果関係から、ニューロン単位での入出力特性の変更、
ネットワーク構造の変更を局部的に行うことができる。
それ故、ニューロコンピュータの開発者にとってニュー
ラルネットワークの不具合箇処を学習プロセスの中途で
最適な特性を有するニューロンに交換するなどの手直し
を行うことが可能となり、短期間で学習プロセスを収束
させることができ、複雑なシステムに対して解が求めら
れる実用的なニューロコンピュータを実現できる。

【００１４】

【実施例】図１は、本発明の一実施例のニューロコンピ
ュータのブロック図である。このニューロコンピュータ
は、ニューロン及びシナプスを生成する発生手段１１
と、該生成されたニューロン及びシナプスを結合してニ
ューラルネットワーク１４を構築する手段１２と、該ニ
ューラルネットワークに特徴量及び教師信号を入力して
学習を行うドライブ手段１３とから構成される。前記発
生手段１１により生成されるニューロンはそれぞれ入出
力のシナプスとの結合関係、閾値等のデータ、入出力特
性、学習のプログラム等を有し、前記発生手段１１によ
り生成されるシナプスはそれぞれ入出力のニューロンと
の結合関係、荷重等のデータを有する。又、前記ニュー
ラルネットワークを構成する任意のニューロンを入出力
特性の異なる他のニューロンと交換し、或いはニューロ
ン間を任意に接続、切断する手段１５を備えている。

【００１５】本発明では、ニューロコンピュータを構成
するソフトウエアに、オブジェクト指向プログラミング
を導入している。オブジェクト指向プログラミングで
は、データ構造とそのデータの振舞い（手続き）をカプ
セル化したものをオブジェクトと定義し、それがソフト
ウェアの最小単位となる。オブジェクトのテンプレート
をクラスと呼び、関連したものどうしに継承関係を持た
せることができる。ソフトウェアの駆動はオブジェクト
間のメッセージ交換によって行われる。又オブジェクト
指向におけるモデリングは、現実の「物（オブジェク
ト）」を忠実にコンピュータ上のオブジェクトに写像す
ることによって行われる。オブジェクト指向プログラミ
ングの導入によって、データ構造（属性）とそのデータ
の振る舞い（メソッド）をカプセル化したニューロン及
びシナプスをオブジェクトと定義し、これらをニューラ
ルネットワークを構成する最小単位としている。

【００１６】本発明のニューロコンピュータでは、各オ
ブジェクトを生成するためのクラス（金型）を図２に示
すように定義する。ここでニューロコンピュータの本質
であるシナプス結合荷重（weight）は、シナプスのデー
タ（属性）として保持される。又シナプスのクラス（金
型）は、そのシナプスが結合する入出力のニューロンと
の結合関係を示すポインタ（input neuron, output neu
ron ）をデータ（属性）として有する。又、振るまい
（メソッド）として、入出力の関数特性（ｇ）を有す
る。この入出力特性（ｇ）は、通常直線的な関数を用い
ている。一方、ニューロンのクラス（金型）はデータ
（属性）として、しきい値（θ）、そのニューロンが結
合する入出力のシナプスとの結合関係を示すポインタ
（input synapse,output synapse ）、出力値（ｕ）を
持ち、メソッドとして入出力の関数特性（ｆ）、学習機
能（learn ）プログラムを有する。従って、結合荷重
（weight）はシナプス自身が保持しており、入出力特性
（ｆ）やしきい値（θ）及び学習機能プログラム（lear
n ）はニューロン自身が個々に独立して保持している。

【００１７】図３は、本発明の一実施例のニューラルネ
ットワークの構築を示す説明図であり、（Ａ）はクラス
（金型）の継承構造を示す。図１に示すニューラルネッ
トワーク１４において、Ｓ層のセンサニューロンと、Ｒ
層のレスポンスニューロンでは、ニューロンの動作が異
なる。例えば、Ｓ層のセンサニューロンには学習機能は
不要であるが、Ｒ層のレスポンスニューロンには学習ア
ルゴリズムがそれぞれ必要である。一方、入出力特性は
センサニューロン、レスポンスニューロン共に必要で、
入力と出力の関数を規定する。従って、ニューロンは、
センサニューロンとレスポンスニューロンに大別され、
学習アルゴリズム（learn ）の有無、入出力特性の違い
があり、これらは共通のクラス（金型）から、データ及
びメソッドの相違を有して継承構造として生成される。

【００１８】一般にオブジェクト指向プログラミングに
おけるクラスの継承構造は、オブジェクト間の共通の属
性、メソッドを上位クラスに定義し、異なる部分のみを
下位クラスに定義する。そして下位クラスは上位クラス
の属性、メソッドを継承するので、上位クラスほど抽象
概念を表わし、下位クラスほど具体的になる。本発明の
ニューロコンピュータでは、最上位クラスにシナプスと
ニューロンを定義して、ニューロンはセンサニューロン
とレスポンスニューロンとに次の上位クラスで定義して
いる点に特徴がある。シナプスはネットワーク内で共通
のものを用いるため、下位クラスを持たない。従って、
ニューロンは図４（Ａ）に示すような継承構造を持つ。

【００１９】本発明のニューロコンピュータでは、各ク
ラス（金型）からシナプス、ニューロンのオブジェクト
を生成し、生成されたニューロン及びシナプスをリンク
する手段１２によりニューラルネットワーク１４が構築
される。又、該ニューラルネットワーク１４に特徴量及
び教師信号を入力して学習を行うドライブ手段１３を備
え、オブジェクト間のメッセージ送信或いはメソッドの
呼出しによりニューラルネットワークが駆動され、出力
ベクトルの算定、教師信号との比較、シナプス結合荷重
ΔＷの算定、シナプス結合荷重Ｗの修正等の学習プロセ
スが行われる（図１参照）。

【００２０】ニューラルネットワークの形成は図３
（Ｂ）、（Ｃ）に示すように２ステップのネットワーク
構築手段１２による。 １）まず、図３（Ｂ）に示すように各クラス（金型）か
らオブジェクトである所定のデータ、メソッドを有する
ニューロン、シナプスを生成する。 ２）次に、図３（Ｃ）に示すように予め想定したネット
ワーク構造に従ってシナプスをリンクする。初期状態で
のシナプス結合荷重Ｗ等は乱数または一定値が入力され
る。

【００２１】ネットワークは、特徴量及び教師信号を入
力して学習を行うドライバ手段１３により図４に示す手
順に従って駆動される。 ステップ１）センサニューロンｓ１に入力ベクトルｘ１
を入力する。 ステップ２）ｓ１はメソッドである入出力特性ｆに従っ
た値をシナプスに出力する。 ステップ３）シナプスは入力された値と属性として持つ
結合荷重Ｗを用いて入出力特性（ｇ）に従った値をｒ１
に出力する。 ステップ４）同様にｒ１にリンクされたすべてのシナプ
スがｒ１に出力する。 ステップ５）ｒ１は入力された値を合計して入出力特性
（ｆ）に従ってｕ１を出力する。

【００２２】学習はそれぞれのニューロンのメソッドの
学習プログラム（learn ）に基づいて出力（ｕ）と教師
信号とが演算比較される。教師信号と出力値（ｕ）との
差分である各シナプスの結合荷重（ΔＷ）が計算され、
ニューロンから各シナプスに結合荷重の差分（ΔＷ）の
データが渡され、各シナプスでは新しい結合荷重（Ｗ−
ΔＷ）にデータが書き替えられる。尚、メソッドはクラ
ス毎に定義可能であるため、異なった入出力特性を持つ
クラスを予め用意し、そのクラスからニューロンのオブ
ジェクトを生成すれば、ニューロン毎に異なった演算に
基づいた学習出力が可能になる。

【００２３】ニューロンやシナプスの生成、それらのリ
ンクによるネットワークの構築は全て任意の時点で変更
することができる手段１５を備えている（図１参照）。
従って、ニューロコンピュータが一組の入力と教師信号
の比較による学習を行った後であっても、或るニューロ
ンを入出力特性の異なる他のクラスのニューロンと交換
する、或いはニューロンを追加し、ネットワークの構成
を動的に変化させることが可能である。

【００２４】例えば、ネットワークの入力層（Ｓ層）を
形成するセンサニューロンは、入力値をそのままレスポ
ンス層（Ｒ層）のニューロンに伝達するのが役割であ
る。従って、通常はリニアな特性（ｆ）を持つセンサニ
ューロンを使用する。ここで、ニューラルネットワーク
内部の状態を観察して解析した結果、入力データの特徴
量の一つが敏感に利き過ぎていた場合、図５に示すステ
ップによりニューロンの交換が可能である。 ステップ１）ネットワーク形成時は標準のリニアな入力
特性（ｆ）を有するセンサニューロンである。 ステップ２）変更したいニューロンを選んで切り離す。 ステップ３）クラス（金型）のライブラリから適当な関
数の入出力特性（ｆ）を有するセンサニューロンのオブ
ジェクトを生成する。 ステップ４）切り離したニューロンの代わりに新たに生
成したニューロンをリンクする。 この操作は入力データである特徴量の一つに、その場で
フィルタをかけたのと同じ効果を持つ。

【００２５】ニューロンと同様にシナプスも動的な生
成、消去が可能となる。例えばある入力データである特
徴量とレスポンスニューロンの間に、理論的に因果関係
が無い場合、あるいはその特徴量によって誤認識してし
まう場合は、図６に示すプロセスによる操作が可能であ
る。 ステップ１）ネットワーク形成時はセンサニューロンと
レスポンスニューロンが完全結合していたとする。この
場合、レスポンスニューロンにはすべての特徴量が入力
される。 ステップ２）不要なシナプスを選んで切り離す。 ステップ３）ネットワーク構造は不規則になるが、支障
なく動作する。 この操作は特徴量の絞り込みに相当する。また、何らか
の評価量が設定できれば、ニューラルネットワーク自身
が学習中にネットワーク構造を変化させることが可能と
なる。

【００２６】このニューラルネットワークでは、データ
はシナプスを経由してニューロン間を伝わるため、伝達
経路（即ちネットワーク構造）の変更は、単にシナプス
の追加、削除のみで可能となる。不要なシナプスの切り
離しにより、学習の過程で演算が減り、計算時間が短縮
されるとともに、計算のパラメータが減ることから、最
適解への収斂が容易となる。

【００２７】本発明では、ニューロコンピュータのデー
タの入力法として、前述のパターンベクトルを用いた手
法と異なり、特徴量ベクトルを用いる手法が用いられて
いる。この手法は、パターンから何らかの特徴量を前処
理段階で抽出し、その特徴量をベクトルとしてニューラ
ルネットワークに入力する手法である。この方法は、特
徴量を抽出するプロセスは対象とする現象への深い理解
が必要であり、かつ手間がかかるため前処理の比重が高
く、ニューロコンピュータの負荷が低いため学習に成功
する可能性が高いと考えられている。特徴量ベクトルを
用いる場合、前述のように入力する特徴量とニューロコ
ンピュータの内部状態、出力の因果関係を観察して、イ
ンタラクティブに内部を解析して、ネットワークのニュ
ーロンの交換、接続、切断を行うことにより学習の効率
を大幅に改善することができる。

【００２８】図７及び図８は本発明のニューロコンピュ
ータを組み込んだ応用システムの説明図である。

【００２９】ニューロコンピュータシステム８は収集済
データ９又はデータ収集装置１０から、例えば燃焼炉の
制御であればフレーム温度等のデータ１を受入れるプリ
プロセッサ２を備える。プリプロセッサ２は受入れられ
たセンサデータ等から、複数の特徴量を抽出してデータ
ベース３に入力する。又、ニューロコンピュータシステ
ム８のデータベース３に蓄えられた特徴量は、ニューラ
ルネットワークをシミュレートするニューロコンピュー
タ４に入力される。

【００３０】ニューロコンピュータの出力信号５は、出
力器６に入力され機器又はプラント７を制御する制御信
号に変換される。制御信号が入力される、例えば燃焼炉
等の機器又はプラント７では、制御信号により運転、操
作条件が変更され、ニューロコンピュータシステム８の
制御により、例えば燃焼炉であれば燃料の注入量、空気
量等が制御され最適な運転が行われる。機器又はプラン
ト７の運転、操作条件は燃焼炉の温度等のセンサ信号に
よりモニタされ、データ収集装置１０又は収集済データ
９としてニューロコンピュータシステム８にフィードバ
ックされる。

【００３１】図８に示すニューロコンピュータシステム
８は、図７に示すプリプロセッサ２とニューロコンピュ
ータ４とが一体化された構造となっている。プリプロセ
ッサ２とニューロコンピュータ４とはいずれもノイマン
型のコンピュータ上のソフトウェアで動作するものであ
り、一体化することが可能である。

【００３２】本発明の一実施例のニューロコンピュータ
を用いた燃焼炉について簡単に説明する。この燃焼炉
は、日夜排出されるゴミを焼却処理するものであるが、
公害等の問題から、ＣＯ2、ＮＯX等の排ガス濃度を制御
する必要がある。しかしながら、日夜排出されるゴミの
種類は、千差万別であり空気量、燃料の注入量等の炉の
運転状況を投入されるゴミの質、量及び炉内のフレーム
の温度等の燃焼状態に応じて時々刻々変更していかなけ
ればならない。

【００３３】このため、ニューロコンピュータには、例
えば、炉内の燃焼の炎の明るさをセンサで読み取り、プ
リプロセッサで特徴量を抽出して入力データとする。出
力データとしては、空気量を制御する弁の開度等とし、
教師信号としては、排ガスの濃度自体を使用して最適運
転条件を学習させる。学習後は、千差万別のゴミの投入
に対して、燃焼炎の温度等のセンサデータから特徴量が
分析され、特徴量が入力されることによって、ニューロ
コンピュータは最適運転条件の空気量の制御弁の開度等
を出力する。これによって、ゴミの燃焼炉の最適運転が
達成される。

【００３４】

【発明の効果】本発明のニューロコンピュータによれ
ば、特徴量データをニューラルネットワークに入力し、
学習の状況を観察しながら、任意のニューロンを、入出
力特性の異なる他のニューロンと交換し、或いは任意の
ニューロン間の接続、切断を行うことができる。従っ
て、従来実際問題として難しかった、プラントの最適運
転等の複雑な処理を行うことのできるニューロコンピュ
ータに学習させることが可能となり、ニューロコンピュ
ータを含む応用機器、及びこれを含むシステムを実用化
することが可能となる。

【図面の簡単な説明】

【図１】本発明の一実施例のニューロコンピュータのブ
ロック図。

【図２】本発明の一実施例のシナプス及びニューロンの
クラス（金型）の説明図。

【図３】本発明の一実施例のニューラルネットワークの
構築を示す説明図であり、（Ａ）はクラス（金型）の継
承構造を示し、（Ｂ）はシナプス、ニューロンの生成を
示し、（Ｃ）はシナプス、ニューロンのリンクによるネ
ットワークの構築を示す。

【図４】本発明の一実施例のニューラルネットワークの
駆動を示す説明図。

【図５】本発明の一実施例のニューロンの交換を示す説
明図。

【図６】本発明の一実施例のシナプスの追加、削除を示
す説明図。

【図７】本発明の一実施例のニューロコンピュータを含
むシステムの説明図。

【図８】本発明の他の実施例のニューロコンピュータを
含むシステムの説明図。

【図９】階層型ニューラルネットワーク構成の一例の説
明図。

【符号の説明】

１ データを受入れる手段 ２ プリプロセッサ ３ データベース ４ シミュレータ ５ 出力手段 ６ 出力器 ７ 機器又はプラント ８ ニューロコンピュータシステム ９ 収集済データ １０ データ収集装置 １１ ニューロン及びシナプスの発生手段 １２ ネットワーク構築手段 １３ ドライブ手段 １４ ニューラルネットワーク １５ ニューロン交換、接続、切断手段

Claims (4)

【特許請求の範囲】
1. 【請求項１】 ニューロン及びシナプスを生成する発生
   手段と、該生成されたニューロン及びシナプスを結合し
   てニューラルネットワークを構築する手段と、該ニュー
   ラルネットワークに特徴量及び教師信号を入力して学習
   を行うドライブ手段とからなり、 前記ニューラルネットワークを構成する任意のニューロ
   ンを入出力特性の異なる他のニューロンと交換し、或い
   はニューロン間を任意に接続、切断する手段を備えたこ
   とを特徴とするニューロコンピュータ。
2. 【請求項２】 前記シナプスは少なくとも入出力のニュ
   ーロンとの結合関係及び荷重のデータを備え、前記ニュ
   ーロンは、センサニューロンとレスポンスニューロンと
   からなり、少なくともそれぞれ前記シナプスとの結合関
   係のデータ及びレスポンスニューロンには学習機能のプ
   ログラムを備え、該レスポンスニューロンの備える学習
   機能により前記シナプスの荷重のデータを書き替えるも
   のであることを特徴とする請求項１記載のニューロコン
   ピュータ。
3. 【請求項３】 データを受け入れる手段と、該データか
   ら複数の特徴量を抽出してデータベースに入力する手段
   と、該データベースに蓄えられた前記複数の特徴量をニ
   ューラルネットワークに入力する手段とからなるニュー
   ロコンピュータ応用機器。
4. 【請求項４】 請求項３に記載のニューロコンピュータ
   応用機器と、該ニューロコンピュータ応用機器の出力信
   号を変換する出力器と、該出力器の前記制御信号によ
   り、運転、操作条件を変更する機器とから構成されるこ
   とを特徴とする機械装置。