JPH02178758A - ニューラルネット構成情報処理装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 産業上の利用分野　　　　　　（第５．６図）従来の技
術 発明が解決しようとする課題 課題を解決するための手段　　（第１図）作用 実施例 本発明の一実施例　　　　　（第２〜４図）発明の効果 〔概要〕 ニューラルネット構成情報処理装置に関し、必要に応じ
て学習を行うことができ、しかもその学習結果として与
えられる重み値を書き換え可能に記憶できるようにし、
もって学習の自在性を向上させることを目的とし、 複数の二ニーロンモデルを結合して構成されたネットワ
ークを有し、各結合の強さを表わす重み値を変えること
で、ネットワークから取り出される出力信号パターンを
変化させるニューラルネット構成情報処理装置において
、前記重み値を記憶する書き換え可能な記憶手段と、前
記出力信号パターンに基づいて記憶手段に書き込む重み
値を演算する演算手段と、を備え、記憶手段に書き込ま
れた重み値を前記ネットワークに与えるように構成して
いる。

（産業上の利用分野〕 本発明は、ニューラルネット構成情報処理装置に関し、
特に、重み値を変化させることで学習を行うニューラル
ネット構成情報処理装置に関する。

逐次処理を行うノイマン型コンピュータは、処理ロジッ
クの明確な分野の情報処理に適している反面、処理手順
を論理的に説明できないような問題、例えばパターン認
識、音声の認識・合成、複雑な（あるいは滑らかな）運
動を行わせるための機械制御などについて、その解を得
ることを不得意としている。そこで近年、この種のあい
まいな処理手順に有効ないわゆるニューラルネット構成
情報処理装置が注目されてきた。

ニューラルネット構成情報処理装置は、「学習した経験
」を生かして上記あいまいな問題を解決していくもので
、その本質的な機能は生物の脳機能を模倣したものであ
る。

生物の脳神経回路網は多数の神経細胞（Ｎｅｕｒｏｎ：
ニューロン）から成る。第５図は一つのニューロンをモ
デル化したものである。個々のニューロンは他の多数の
ニューロンからの信号ｙｉ（神経インパルスｙ　ｉ＝１
あるいはＯ）を受は取り、ｙｉの合計Ｘが所定のしきい
値（例えばシグモイド関数で与えられる）を超えると、
自らも興奮して信号Ｙを発しくＹ＝１）、このＹを次の
ニューロンに伝達していくように動作する。一つのニュ
ーロンが別のニューロンと接している部分が「シナプス
」で、第５図中ではｙｉを伝える信号線の矢印先端の小
丸がシナプスに相当する。すなわち、ニューロンからニ
ューロンへと伝達される信号は必ずシナプスを通る。シ
ナプスには信号を通過しやすくしたりあるいは通過しに
＜＜シたりする特性、いわゆる重みＷｉが与えられてお
り、シナプスを通過する信号はその通過特性（Ｗｉ）に
従ってその信号レベルが操作される。脳の学習機能は同
じシナプスを何度も信号が通過すると、そのシナプス特
性が信号を通しやすいようにだんだんと変化していくも
のと考えられている。これは、「うま（いった」ときの
信号経路中のシナプスに与える重みＷｔを、増大側に変
化させることに相当している。

ニューラルネット構成情報処理装置の主要部を構成する
ニューラルネットは上述したモデルを基本ユニットとし
、複数の基本ユニットを結合して構成するもので、例え
ば第６図に示すように複数の基本ユニットで入力層、中
間層、出力層を構成し、入力層と中間層の間および中間
層と出力層との間を結合したいわゆる階層型のニューラ
ルネットはその代表的なものである。

階層型のニューラルネットの学習は次のようにして行わ
れる。すなわち、入力層に入カバターンを与えたときの
出力層から取り出された出カバターンと期待されたパタ
ーン（教師パターン）との差値Ｅが少なくなるように各
基本ユニット間の重みを出力層から入力層へと逆向（フ
ィードパンク）して変化させ、これを繰り返していって
、最終的に上記差値Ｅがある小さな値（望ましくは０）
になったときを学習完了とするものである。

このようにして学習されたニューラルネットは、実行時
、与えられた入カバターンを超並列に処理することがで
き、ノイマン型コンピュータにない高度な情報処理を行
うことができる。例えば、パターン認識では文字や画像
あるいは音声などの認識、機械制御ではロボットなどの
滑らかな制御、知識処理ではエキスパートシステムへの
適用、信号処理では画像圧縮および復元など、多岐に亘
る用途が期待されている。

Ｃ従来の技術〕 ニューラルネットにおける学習は、上述したようにニュ
ーラルネットからの出カバターンと期待されたパターン
との差値が少なくなるように重みを変化させることであ
る。従来の学習は、例えばシュミレータソフトによって
学習過程をシュミレーションし、求められた重みに従っ
てハード的に作り込まれた抵抗の値を決定するものがあ
る。

（発明が解決しようとする課題） しかしながら、このような従来のものにあっては、ネッ
トワークに多数の抵抗を作り込み、この抵抗の大きさで
ネットワークに与える重みを設定する構成となっていた
ため、重みを変更することがほとんど不可能であり、し
たがって、再び学習をしようとしてもできない欠点があ
った。

すなわち、ニューラルネットを実際のシステムに適用さ
せた場合に、システム環境等が最初の学習のときと変化
しなければ再学習の必要性はないが、多くの場合システ
ム環境は変動するものでありその都度学習の手直しが要
求される。しかし、重みを抵抗で与えた従来のものは、
抵抗を取り換えない限り要求に応えられないから、学習
の自在性の面で改善する余地が大きい。

そこで、本発明は、必要に応じて学習を行うことができ
、しかもその学習結果として与えられる重み値を書き換
え可能に記憶できるようにし、もって学習の自在性を向
上させることを目的としている。

〔課題を解決するための手段〕

第１図は本発明に係るニューラルネット構成情報処理装
置の原理ブロック図である。第１図において、■は複数
のニューロンモデル２を結合して構成されたネットワー
クであり、図では一例として入力層、中間層、出力層か
らなるいわゆる階層型のニューラルネットを示している
。なお、ネットワーク内の全てのニューロンモデルをお
互いに結合するいわゆるマトリクス型のニューラルネッ
トであってもよい。ネットワーク１は、各ニューロンモ
デル２間の結合の強さを表わす重み値Ｗｉを変えること
によりネットワーク１から取り出される出力信号パター
ンを変化させるもので、重み値は記憶手段３によって与
えられる。この記憶手段３は書き換え可能な例えばＳＲ
ＡＭが使用されており、記憶手段３の内容（すなわち重
み値Ｗｉ）は演算手段４の出力によって書き換えられる
。演算手段４はネットワーク１からの出力信号パターン
に基づいて例えば後に詳述するバックプロパゲーション
アルゴリズムを適宜実行して重み値Ｗｉを演算し、この
Ｗｉを記憶手段３に出力する。

〔作用〕

本発明では、出力信号パターンに基づいて演算された重
み値が記憶手段３に書き込まれ、この書き込まれた重み
値がネットワークに与えられる。

したがって、適宜行われる学習によって重み値を自在に
変化させることができ、学習の自在性を向上させること
ができる。

〔実施例〕

以下、本発明を図面に基づいて説明する。

第２〜４図は本発明に係るニューラルネット構成情報処
理装置の一実施例を示す図であり、階層型のニューラル
ネットを備えたものに適用゛した例である。なお、マト
リクス型のニューラルネットを備えたものに適用しても
よいことは勿論である。

まず、構成を説明する。第２図において、１０はニュー
ラルネット構成情報処理装置であり、ニューラルネット
構成情報処理装置１０はメインバスＥＢを介してホスト
コンピュータ１１および外部記憶装置１２に接続されて
いる。外部記憶装置１２には各種の入カバターン信号と
、各入カバターン信号に対応する期待パターンすなわち
教師パターン信号とが格納されており、ホストコンピュ
ータ１１は必要に応じて所定の入カバターン信号を入カ
バターン発生器（図示せず）に出力するとともに、この
人カバターン信号に対応する教師パターン信号をメイン
バスＥＢを介して次に述べる重みデータ制御部１４に出
力する。

ニューラルネット構成情報処理装置１０は、ニューラル
ネット実行部１３、重みデータ制御部１４およびニュー
ラルネット制御部１５を有し、ニューラルネット実行部
１３は、階層型若しくはマトリクス型のニューラルネッ
ト構造を有している。以下、階層型を例として説明する
。Ｕｌ。、Ｕ２゜は多層に形成された複数の基本ユニッ
トにューロンモデルに相当）のうちの例えば中間層と出
力層の各１つを表わしており、各々の基本ユニットＵ１
０、Ｕ２゜には、それぞれ重みデータ制御部１４からの
重み値Ｗ１゜、Ｗ２゜が与えられている。なお、重み値
はＷｌ。、Ｗ２゜の２つを示しているが、実際には全て
の基本ユニットに対して各々与えられている。

重みデータ制御部１４は、メインバスＥＢを介してホス
トコンピュータ１１との間でデータのやりとりをするイ
ンターフニス部１４ａと、データのやりとりに関する通
信制御プログラムを実行したり、ニューラルネット制御
部１５のタイミング制御プログラムを実行したりする他
、いわゆるパックプロパゲーションアルゴリズム（後述
する）を適宜実行して必要な重み値を演算する演算手段
としてのマイクロプロセッサユニット（以下、ＭＰＵ）
１４ｂと、ＭＰＵ１４ｂで演算された重み値を記憶する
書き換え可能な記憶手段（例えばＳＲＡＭ）　１４ｃと
、を備えている。なお、上記ＭＰＵ１４ｂで演算されそ
して記憶手段１４ｃに書き込まれる重み値は、活性化（
正値）、抑制化（負値）及び接続なしく零値）′）状態
データと数値データと♀多′両方を含む゛ものである。

ここで、バックプロパゲーションアルゴリズムについて
説明する。まず、ニューラルネットにあるパターンｐを
与えたときの実際の出力値（Ｏｐｊ）と望ましい出力値
（Ｔｐｊ）との誤差Ｅｐを、次式■で定義する。

Ｅｐ＝　　　　　（Ｔｐ　ｊ−Ｏｐ　ｊ）２　・・・・
・・■Ｅｐは出力層ユニットｊのエラーを表わす。

Ｔｐｊは人間が与える教師パターンである。

学習させるには、エラー（Ｅｐ）を減らすように全ての
結合の強さ（ユニットｊからユニットｉへの重み−ｊｉ
）を変えればよい、今、パターンｐを与えたときのＷｊ
ｉの変化量を、 と決める。

０式を変形していくことで、ΔＷを定式化できる。すな
わち、 ΔｐＷｊｉ−ηδｐ　ｊｏｐ　ｉ・・・・・・■となる
。ここで、ＯＰｉはユニットｉからユニットｊへの入力
値である。なお、δｐｊは、ユニットｊが出力層にある
か中間層にあるかで異なる。

ちなみに、出力層にある場合は、 δｐｊ＝　（Ｔｐｊ−Ｏｐｊ）ｆ’　　ｊ　（ΣＷ　ｊ
　ｉ五 Ｏｐｉ＋θｊ）　　　・・・・・・■ 中間層にある場合には、 δｐｊ＝ｆ’　ｊ　（ΣＷｊｉ・Ｏｐｉ＋θｊ）Σδｐ
　ｋＷｋ　ｊ　　　・・・・・・■に となる。

但し、 ｆ’ｊ：Ｌきい値開数ｆｊの微分関数、θｊ　：ユニッ
トｊのしきい値、 δＰｋ：出力層ユニットにで算出したδ、Ｗｋｊ：出力
層ユニットにと中間層ユニットｊの間の重み値、 ΔＷの計算は出力層のユニットから始めて中間層のユニ
ットに移る。すなわち、実行時の入力データの処理とは
逆向きでΔＷの計算が進められ、この計算の結果から各
々のユニットの重み値が求められる。

第３図はニューラルネット実行部１３および重みデータ
制御部１４のブロック図である。ニューラルネット実行
部１３は、入力層を構成する４つのサンプル／ホールド
回路１６〜１９および４つのゲートスイッチ２０〜２３
と、中間層を構成する３つの基本ユニットＵ１゜、０１
１、Ｕｌ□と、出力層を構成する２つの基本ユニッ）Ｕ
Ｚ。、ＵＺ＋および２つのサンプル／ホールド回路２４
．２５と、出力信号取出し用のゲートスイッチ２６．２
７と、後述する非線形関数のしきい値θを発生するθ発
生回路２８と、第１のバス２９および第２のバス３０と
、を備えるもので、上記基本ユニットＵＩＯ〜ＵＺ＋の
各々には、シリアル転送された重み値Ｗ１゜〜Ｗ２１が
与えられている。

なお、１０〜！３は入力信号、０．．０．は出力信号で
あり、■。〜Ｉ３で入力信号パターンを、そしてＯ６，
０，で出力信号パターンを形成している。

重みデータ制御部１４は、先に説明したインターフニス
部１４ａ、ＭＰＵ１４ｂ及び記憶手段１４ｃを備えると
ともに、ＭＰＵ１４ｂで実行される処理プログラムを格
納するメモリ一部１４ｄおよびアナログ／デジタル変換
器１４ｅを備えている。

第４図は、各基本ユニッ）Ｕ＋。〜Ｕ２１に共通のブロ
ック図である。一つの基本ユニットＵｉは、前段の複数
のニューロンモデル（基本ユニット）から時分割多重さ
れて出力されるアナログ信号（ＤＡＴＡ４ＮＰＵＴ）を
入力する入力回路１００と、複数ビット（例えば１６ビ
ツト）の重みデータＷＤの符号ビットを用いて時分割多
重アナログ入力信号の正負切り換えを実行するとともに
、時分割多重アナログ入力信号の各電圧値から変換され
た重み付の電流の経路をＷＤの数値ビットで選択して時
分割多重アナログ入力信号の各電圧とＷＤとの積を生成
する掛算回路１０１と、時分割的に与えられた上記積を
積分して総和を求める加算回路１０２と、加算回路１０
２の出力をサンプル／ホールドするサンプル／ホールド
回路１０３と、非線形関数例えば、次式〇で求められる
シグモイド関数（３字関数とも呼ばれる）を生成する非
線形関数生成回路１０４ト、後段のニューロンモデル（
基本ユニソ１〜）に出力するアナログ出力電圧を時分割
的に適当なタイミングで出力する出力回路１０５と、上
記各回路の動作を制御するタイミング制御回路１０Ｇと
、デジタル回路用の電源電圧を発生するデジタル回路電
源部１０７と、アナログ回路用の電源電圧を発生ずるア
ナログ回路電源部１０８と、記憶手段１４ｃから読み出
されたシリアル列の重み値Ｗｉをパラレル列に変換しＷ
Ｄとして出力するシリアル／パラレル変換部１０９と、
を備えて構成されている。

Ｙ＝１／　（１＋ｅｘｐ　（−Ｘ＋θ））・・・・・・
■ここで、Ｙ：出力、Ｘ：人力の総和、 θはθ発生回路２８で生成されたしきい値である。

次に、第２〜４図の実施例構成における動作処理につい
て説明する。

ニューラルネット実行部１３に与えられた複数のアナロ
グ信号からなる入カバターンは、各信号毎にサンプル／
ホールド回路１６〜１９でサンプル／ホールドされ、サ
ンプル／ホールド回路１６〜１９の出力側と第１のバス
２９との間のゲートスイッチ２０〜２３が順次オンする
ことにより、サンプル／ホールドされた複数のアナログ
信号が時分割的に１つづつ第１のバス２９上に乗せられ
る。すなわち、時分割多重アナログ信号となる。このア
ナログ信号は、中間層を構成する全ての基本ユニットＵ
ＩＯ１Ｕ　ｔ　ｔ、Ｕ１□に与えられ、各基本ユニット
毎に、時分割多重アナログ信号と記憶手段１４ｃから与
えられた重み値との掛算処理、その掛算結果の加算処理
および加算値と非線形関数との比較処理が行われる。

そして、各基本ユニットからの出力は時分割的に第２の
バス３０に乗せられ、出力層の各基本ユニットＵ！。、
ＵＺ＋において上記処理と同様な処理が行われたあと、
サンプル／ホールド回路２４．２５でサンプル／ホール
ドされた信号が複数のアナログ出力信号０゜、０１とし
て出力される。そして、学習の際には、０゜、０１は適
当なタイミングでオンとなるゲートスイッチ２６．２７
を介してアナログ／デジタル変換器１４ｅに加えられ、
デジタル値に変換される。ＭＰＵ１４ｂは、ホストコン
ピュータからの教師パターンと上記デジタル変換された
出カバターン（０゜、０１）との差値Ｅを求め、パンク
プロパゲーション法に従って、各層毎の基本ユニットに
与える重み値Ｗｉを演算し、この演算された各基本ユニ
ット毎の重み値Ｗｉによって、記憶手段１４ｃの内容が
書き換えられる。

以上のように、本実施例では、パンクプロパゲーション
法に従って重み値を演算するＭＰＵ１４ｂおよび演算さ
れた重み値を記憶する書き換え可能な記憶手段１４ｃ＠
（Ｒえたので、必要に応じて学習を行うことができ、学
習結果に従って重み値を自在に設定することができ、学
習の自在性を向上させることができる。さらに、本実施
例によれば、重み値をデジタルデータで与えているので
演算処理の精度向上が図られる、重み用の抵抗を用いて
いないので、発熱による悪影客が避けられる、低電力化
が図られる、といった諸効果が得られる。

なお、上記実施例では記憶手段１４ｃにＳＲＡＭを用い
る例を示しているが、これに限るものではなく、データ
書き換えが可能な記憶装置であればよい。

また、上記実施例では記憶手段１４ｃからの読み出しを
１ビツトづつシリアルに行ってシリアル／パラレル変換
部１０９でパラレル変換している例を示した。これは、
シリアル読み出しの方が信号線数を少なくすることがで
き、実際にシステム化するうえで好ましいからである。

勿論、パラレル読み出しを行ってもよいことは言うまで
もない。

なお、参考までに、マトリクス型のニューラルネット（
例えば、ホップフィールド型ネットワーク）における重
みの決定アルゴリズムについて以下に記述する。

ホップフィールド型ネットワークの学習剤は、ネットワ
ークのエネルギー関数を極小値にする重みを決定するこ
とであり、したがって、重みを変化させれば、別の極小
値をとる平衡状態になる。

今、Ｎ個のニューロンから構成されるニューラルネット
において、記憶する完全情報をＭ、またｍ番目の完全情
報に対するニューロンの状態を（ｌ、０）の２値ベクト
ルを使って Ｕ（ｍ）　＝　（Ｕ＋（ｍ）、　　Ｕｚ（ｍ）、　Ｕ３
（ｍ）、・・ＵＮ　（ＩＩ＋））で表現すると、 Ｎ個のニューロンから構成されるニューラルネ但し、 Ｔｉｊ：ユニットｊからユニッｌ−ｉへの重み、θｉ　
：ユニットｉのしきい値、 ここで、結合の重みＴｉｊを （ｍ）−１）　　・　・　（ｊ＋１）＝０・　・　・　
・　・　・　・　・　（ｊ＝ｉ）・・・・・・［相］と
すると、エネルギー関数を極小値にすることができる。

すなわち、このときの重みＴｉｊを記憶手段に書き込め
ばよい。

〔発明の効果〕

本発明によれば、必要に応じて学習を行うことができ、
しかもその学習結果としての重み値を書き換え可能に記
憶することができるので、学習の自在性を向上させるこ
とができる。

１・・・・・・ネット１ノーク、 ２・・・・・・ニューロンモデル、 ３・・・・・・記憶手段、 ４・・・・・・演算手段、 １４ｂ・・・・・・ＭＰＵ（演算手段）、１４ｃ・・・
・・・記憶手段、 Ｕ、。〜Ｕ２．・・・・・・基本ユニソｌ−にニューロ
ンモデル）。

【図面の簡単な説明】

第１図は本発明の原理ブロック図、 第２〜４図は本発明に係るニューラルネット構成情報処
理装置の一実施例を示す図であり、第２図はその全体の
構成図、 第３図はその要部の構成図、 第４図はその基本ユニットのブロック図である。 第５．６図は従来技術を説明する図であり、第５図はそ
のニューロンのモデルを示す図、第６図はそのニューラ
ルネットの構造を示す図である。

Claims (1)

1. 【特許請求の範囲】 複数のニューロンモデルを結合して構成されたネットワ
   ークを有し、 各結合の強さを表わす重み値を変えることで、ネットワ
   ークから取り出される出力信号パターンを変化させるニ
   ューラルネット構成情報処理装置において、 前記重み値を記憶する書き換え可能な記憶手段と、 前記出力信号パターンに基づいて記憶手段に書き込む重
   み値を演算する演算手段と、を備え、記憶手段に書き込
   まれた重み値を前記ネットワークに与えるように構成し
   たことを特徴とするニューラルネット構成情報処理装置
   。