JPH04237388A - ニューロプロセッサ - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、階層構造ニューラルネ
ットワークの前向き伝搬、及び学習の処理を高速に行な
うためのニューロプロセッサに関するものである。

【０００２】

【従来の技術】ニューラルネットワークは、人間の脳の
神経細胞の働きをモデル化して模倣することによって、
従来のいわゆるノイマン形のコンピュータが苦手として
いた認識や、連想，最適化問題，音声合成等を得意とす
る新しいコンピュータを実現しようとするものである。

【０００３】ニューラルネットワークには、ニューロン
が層状に配置された階層構造のものや、すべてのニュー
ロンが相互に結合した相互結合構造のものなど、さまざ
まな構造のものがある。その中で階層構造のネットワー
クは、例えばバックプロパゲーションアルゴリズムと呼
ばれる学習アルゴリズムで簡単に学習させることができ
、制御、文字認識、画像認識、画像処理などに幅広く応
用することができると考えられている。

【０００４】図４は階層構造のネットワークの例を示し
たものである。図４で、１０１は各層中に配置されたニ
ューロン、１０２はシナプスと呼ばれるニューロン間の
結合、１０３は入力層、１０４は中間層、１０５は出力
層を示す。図４では３層のネットワークの例を示してい
るが、中間層を複数にすることによって４層以上の階層
構造のネットワークにすることもできる。以後は３層の
ネットワークに限って説明するが、４層以上のネットワ
ークに対してもまったく同様の扱いである。また、図４
では各層のニューロンの数は、それぞれ３，２，３とし
て例示したものであるが、各層のニューロンの数を増減
させても同様である。ニューラルネットワークへの入力
信号データは、おのおの、入力層１０３の各ニューロン
に与えられる。そして、信号が入力層，中間層，出力層
の順番に伝搬していき、出力層１０５のニューロンの信
号がネットワークの出力になる。このような入力層，中
間層，出力層の順番に伝搬していく通常の伝搬を前向き
の伝搬と呼ぶ。

【０００５】図５はニューロンの働きを示した図である
。図５で、１０１，１０７，１０８，１０９はニューロ
ン、１０２はシナプス、１０６はニューロンの特性関数
ｆである。ニューロンは１つ前の層のニューロンの出力
をシナプスを介して受け取る。それぞれのシナプスは結
合の重みと呼ばれる値を持っており、前の層のニューロ
ンの出力値にその結合の重みの値を乗算した結果を次の
ニューロンに与える。シナプスの結合の重みは、それぞ
れのシナブスで異なった値になっている。例えば、図５
のｌ層目のｉ番目のニューロン１０８とｌ＋１層目のｊ
番目のニューロン１０１との間のシナプスは結合の重み
ｗｌｊｉを持っており、ｌ層目のｉ番目のニューロン１
０８の出力Ｏｌｉにその結合の重みの値を乗算した結果
ｗｌｊｉ×Ｏｌｉがｌ＋１層目のｊ番目のニューロン１
０１に与える。そして、ニューロン１０１はそれに結合
するすべてのシナプスより与えられる入力をすべて加算
し、その加算結果にニューロンの特性関数１０６を作用
させて、その関数値をニューロン１０１の出力Ｏｌ＋１
，ｊとして出力する。これを式で表すと次式のようにな
る。

【０００６】

【数１】

【０００７】したがって、３層のネットワークの場合の
前向き伝搬は、つぎの手順で計算される。まず最初にす
べての中間層のニューロンについて、その出力を、

【０
００８】

【数２】

【０００９】に従って計算する。入力層のニューロンの
出力Ｏ１ｉは、そのニューロンに与えられた入力信号デ
ータである。次にその結果を使ってすべての出力層のニ
ューロンについて、その出力を、

【００１０】

【数３】

【００１１】に従って計算する。次に、図４の３層の階
層構造ネットワークのバックプロパゲーションアルゴリ
ズムによる学習の方法について説明する。バックプロパ
ゲーションアルゴリズムでは、入力とそれに対する理想
的な出力の組を用意し、その入力に対する実際の出力と
理想的な出力の差が減少するようにシナプスの結合の重
みを修正する。この理想的な出力のことを通常は教師信
号と呼ぶ。以下に、３層のネットワークについて具体的
な計算方法を順を追って説明する。

【００１２】１．前向きの伝搬によって実際の出力を計
算する。２．次式に従って出力層の各ニューロンの誤差
に対応した値（以下、単にデルタと呼ぶ）を計算する。

【００１３】

【数４】

【００１４】δｌｊはｌ層目のｊ番目のニューロンに対
するデルタ、ｔｊは出力層のｊ番目のニューロンに対す
る教師信号、ｇは

【００１５】

【数５】

【００１６】で表されるようにニューロンの特性関数ｆ
の微分係数である。ニューロンの特性関数ｆは、単調非
減少の関数が用いられるので、数５に示したように、特
性関数の微分係数を特性関数の関数値の関数として表す
ことができる。

【００１７】３．中間層と出力層との間のシナプスの結
合の重みの修正量を、次式に従って計算し、重みを修正
する。

【００１８】

【数６】

【００１９】ηは修正係数である。４．中間層のニュー
ロンに対するデルタを、次式に従って計算する。

【００２０】

【数７】

【００２１】５．中間層と入力層の間のシナプスの結合
の重みの修正量を、次式に従って計算し、重みを修正す
る。

【００２２】

【数８】

【００２３】実際の学習では、以上に述べた手順を、複
数個の入力と教師信号の組に対して行い、さらにそれを
何回も繰り返す。すなわち、上の１から５までの手順を
１回の学習と呼ぶことにすると、総学習回数は、（学習
に用いる入力と教師信号の組の数）×（繰り返しの回数
）となる。

【００２４】以上が、階層構造のニューラルネットワー
クの前向き伝搬、および学習の計算の手順である。しか
し、実際の処理では、計算を開始する前に、前向き伝搬
の計算では、入力信号データが与えられなければならな
い。また、学習の計算では、入力信号データと教師信号
データが与えられなければならない。したがって、従来
、前向き伝搬や学習の処理を行う時は、次のような手順
がとられている。

【００２５】まず、最初に、ニューロプロセッサは、入
力信号データや教師信号データを外部より受取り、それ
らのデータをいったんメモリに書き込む。入力信号デー
タや教師信号データを外部より受取り、それらのデータ
をメモリに書き込む作業を、以後、データの入力と呼ぶ
ことにする。次に、そのメモリ上の入力信号データや教
師信号データを用いて、実際の計算を行う。このような
、２段階の処理の方法が、通常はとられている。図３の
（イ）は、この従来法の処理の流れを示した図である。 まず最初に、データの入力を行い、その後で、計算を行
っている。通常は、違ったデータについての処理を連続
して行うので、図３の（イ）に示したように、計算の後
に、さらに次のデータの入力が行われる。この操作を何
回も繰り返す。

【００２６】

【発明が解決しようとする課題】一般に、ニューラルネ
ットワークの計算は、計算量が非常に多いので、多くの
処理時間を必要とする。特に、学習は何回も繰り返すこ
とが必要なので、処理時間は膨大になる。したがって、
処理が高速に行えるニューロプロセッサが望まれている
。

【００２７】しかし、従来のニューロプロセッサのよう
に、データの入力を行い、次に計算を行う方法だと、１
回の処理に、（データの入力に必要な時間）＋（計算に
必要な時間）がかかる。すなわち、実際に計算に要する
時間の他に、データの入力にかかる時間が余分に必要に
なるわけである。

【００２８】本発明は上記課題を解決するもので、階層
構造ニューラルネットワークの前向き伝搬、及び学習の
処理が高速にできるニューロプロセッサを提供すること
を目的としている。

【００２９】

【課題を解決するための手段】以上の課題を解決するた
め、本発明のニューロプロセッサでは、入力信号用メモ
リと教師信号用メモリの組を２組備え、一方の組の入力
信号用メモリ上の入力信号データと教師信号用メモリ上
の教師信号データを用いて、計算を行っている間に、そ
れと並列に、次の計算で使用する入力信号データと教師
信号データを入力し、もう一方の組の入力信号用メモリ
と教師信号用メモリに書き込むことを行う。

【００３０】

【作用】上記構成により、データの入力の作業が、計算
と並列して行われるので、データの入力のための時間が
、見かけ上不要になる。すなわち、従来、データの入力
に要していた時間の分だけ、全体の処理時間が短縮され
る。したがって、処理の高速化が図れる。

【００３１】

【実施例】以下、本発明の実施例を図面により説明する
。

【００３２】図１は、本発明のニューロプロセッサの構
成図である。図１の１Ａと１Ｂは入力信号用メモリ、２
Ａと２Ｂは教師信号用メモリで、１Ａと２Ａが、１つの
組となり、１Ｂと２Ｂが、もう１つの組となっている。 以後、１Ａと２Ａの組をメモリＡ、１Ｂと２Ｂの組をメ
モリＢと呼ぶことにする。図１の３は、ニューラルネッ
トワーク演算処理部で、前向き伝搬や学習の計算が行わ
れる。図１の４は、入力部で、入力信号データと教師信
号データは、この入力部を通して入力される。図１の５
と６はスイッチで、スイッチ５は、入力部４より入力さ
れたデータを、メモリＡに書き込むか、メモリＢに書き
込むかを切り替える。スイッチ６は、ニューラルネット
ワーク演算処理部３で使用するデータを、メモリＡから
読み出すか、メモリＢから読み出すかを切り替える。

【００３３】図２は、本実施例におけるスイッチとメモ
リの使用法を示した図である。以下、図２に従って、本
実施例のニューロプロセッサの動作について説明する。

【００３４】まず、最初のステップａでは、スイッチ５
をＡに切り替えることによって、入力部４より入力され
たデータを、メモリＡに書き込む。次のステップｂでは
、スイッチ６をＡに切り替えて、ステップａで書き込ん
だメモリＡのデータを読み出して、ニューラルネットワ
ーク演算処理部３が計算を行う。それと同時に、スイッ
チ５をＢに切り替えて、入力部４より入力されたデータ
を、メモリＢに書き込む。次のステップｃでは、スイッ
チ６をＢに切り替えて、ステップｂで書き込んだメモリ
Ｂのデータを読み出して、ニューラルネットワーク演算
処理部３が計算を行う。それと同時に、スイッチ５をＡ
に切り替えて、入力部４より入力されたデータを、メモ
リＡに書き込む。以後は、このような操作を繰り返す。

【００３５】図３の（ア）は、この処理の流れを示した
図である。データの入力と計算が並列に行われ、１つ前
のステップで入力されたデータを使って、計算は行われ
る。図３の（イ）の従来法の場合と比べると明らかなよ
うに、図３の（イ）の従来法では２ステップで１つの処
理が終わるのに対して、本発明の方法では、見かけ上、
１ステップで１つの処理が終わる。

【００３６】以上の動作の説明よりわかるように、本ニ
ューロプロセッサでは、入力信号用メモリと教師信号用
メモリの組を２組備え、一方の組の入力信号用メモリ上
の入力信号データと教師信号用メモリ上の教師信号デー
タを用いて、計算を行っている間に、それと並列して、
次の計算で使用する入力信号データと教師信号データを
入力し、もう一方の組の入力信号用メモリと教師信号用
メモリに書き込むことを行う。その結果、データの入力
の作業が、計算と並列して行われるので、データの入力
のための時間が、見かけ上不要になる。すなわち、従来
、データの入力に要していた時間の分だけ、全体の処理
時間が短縮される。

【００３７】なお、本発明は、ニューラルネットワーク
演算処理部の構造には、無関係であり、どのようなニュ
ーラルネットワーク演算処理部に対しても、効果がある
。

【００３８】

【発明の効果】以上の実施例から明らかなように、本発
明によれば、入力信号用メモリと教師信号用メモリの組
を２組備え、データの入力と計算を並列して行うことに
よって、データの入力のための時間が、見かけ上不要に
なり、階層構造のニューラルネットワークの前向き伝搬
、及び学習の処理が高速に行えるニューロプロセッサを
提供できる。

【図面の簡単な説明】

【図１】本発明の一実施例のニューロプロセッサの構成
図

【図２】スイッチとメモリの使用方法を示した図

【図３
】処理の流れを示した図

【図４】階層構造ニューラルネットワークの図

【図５】
ニューロンの働きを示した図

【符号の説明】

１Ａ，１Ｂ　　入力信号用メモリ ２Ａ，２Ｂ　　教師信号用メモリ ３　　ニューラルネットワーク演算処理部４　　入力部 ５，６　　スイッチ １０１　　ニューロン １０２　　シナプス １０３　　入力層 １０４　　中間層 １０５　　出力層 １０６　　ニューロンの特性関数 １０７−１０９　　ニューロン

Claims (2)

【特許請求の範囲】
1. 【請求項１】ニューラルネットワーク演算処理部と、２
   つの入力信号用メモリを備え、一方の入力信号用メモリ
   上の入力信号データを用いて、前向き伝搬の計算を行っ
   ている間に、それと並列して、次の前向き伝搬の計算で
   使用する入力信号データを入力し、それをもう一方の入
   力信号用メモリに書き込むことを行うニューロプロセッ
   サ。
2. 【請求項２】ニューラルネットワーク演算処理部と、入
   力信号用メモリと教師信号用メモリの組を２組備え、一
   方の組の入力信号用メモリ上の入力信号データと教師信
   号用メモリ上の教師信号データを用いて、学習の計算を
   行っている間に、それと並列して、次の学習の計算で使
   用する入力信号データと教師信号データを入力し、それ
   をもう一方の組の入力信号用メモリと教師信号用メモリ
   に書き込むことを行うニューロプロセッサ。