JPH05128284A

JPH05128284A - ニユーロプロセツサ

Info

Publication number: JPH05128284A
Application number: JP3291196A
Authority: JP
Inventors: Yoichi Tamura; 洋一田村; Tadayuki Morishita; 賢幸森下; Atsuo Inoue; 敦雄井上
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1991-11-07
Filing date: 1991-11-07
Publication date: 1993-05-25

Abstract

(57)【要約】【目的】各変数や各関数の規格化によって変換された
計算式の計算を実行できる構成にすることによって、ニ
ューラルネットワークの計算が高精度にできるニューロ
プロセッサを提供する。【構成】ニューラルネットワークの前向き伝搬の計算
の場合に、変数ｗとＩをそれぞれ係数ａ，ｂで規格化す
ることによって変換された計算式【数１１】の計算が行えるように、積和演算器１の出力を係数乗算
器２に入力し、係数乗算器２の出力をニューロン特性関
数回路３に入力するような構成にする。その結果、変数
や関数がオーバーフローを起こすのを防ぐことができ、
また、それぞれの変数や関数に割り当てられた語長を十
分に活かせられるようになり、高精度の計算を行うこと
ができる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ニューラルネットワー
クの計算を高精度に行なうためのニューロプロセッサに
関するものである。

【０００２】

【従来の技術】ニューラルネットワークは、人間の脳の
神経細胞の働きをモデル化して模倣することによって、
従来のいわゆるノイマン形のコンピュータが苦手として
いた認識や、連想、最適化問題、音声合成等を得意とす
る新しいコンピュータを実現しようするものである。

【０００３】ニューラルネットワークには、ニューロン
が層状に配置された階層構造のものや、すべてのニュー
ロンが相互に結合した相互結合構造のものなど、さまざ
まな構造のものがある。その中で階層構造のネットワー
クは、例えばバックプロパゲーションアルゴリズムと呼
ばれる学習アルゴリズムで簡単に学習させることがで
き、制御、文字認識、画像認識、画像処理などに幅広く
応用することができると考えられている。

【０００４】図３は階層構造のネットワークの例を示し
たものである。図３で、１０１は各層中に配置されたニ
ューロン、１０２はシナプスと呼ばれるニューロン間の
結合、１０３は入力層、１０４は中間層、１０５は出力
層を示す。図３では３層のネットワークの例を示してい
るが、中間層を複数にすることによって４層以上の階層
構造のネットワークにすることもできる。以後は３層の
ネットワークに限って説明するが、４層以上のネットワ
ークに対してもまったく同様の扱いである。また、図３
では各層のニューロンの数は、それぞれ３，２，３とし
て例示したものであるが、各層のニューロンの数を増減
させても同様である。ニューラルネットワークへの入力
信号は、おのおの、入力層１０３の各ニューロンに与え
られる。そして、信号が入力層、中間層、出力層の順番
に伝搬していき、出力層１０５のニューロンの信号がネ
ットワークの出力になる。このような入力層、中間層、
出力層の順番に伝搬していく通常の伝搬を前向きの伝搬
と呼ぶ。

【０００５】図４はニューロンの働きを示した図であ
る。図４で、１０１、１０７、１０８、１０９はニュー
ロン、１０２はシナプス、１０６はニューロンの特性関
数ｆである。ニューロンは１つ前の層のニューロンの出
力をシナプスを介して受け取る。それぞれのシナプスは
結合の重みと呼ばれる値を持っており、前の層のニュー
ロンの出力値にその結合の重みの値を乗算した結果を次
のニューロンに与える。シナプスの結合の重みは、それ
ぞれのシナブスで異なった値になっている。例えば、図
４のｌ層目のｉ番目のニューロン１０８とｌ＋１層目の
ｊ番目のニューロン１０１との間のシナプスは結合の重
みｗ_ljiを持っており、ｌ層目のｉ番目のニューロン１
０８の出力Ｏ_liにその結合の重みの値を乗算した結果ｗ
_lji×Ｏ_liがｌ＋１層目のｊ番目のニューロン１０１に
与える。そして、ニューロン１０１はそれに結合するす
べてのシナプスより与えられる入力をすべて加算し、そ
の加算結果にニューロンの特性関数１０６を作用させ
て、その関数値をニューロン１０１の出力Ｏ_l+1,jとし
て出力する。これを式で表すと次式のようになる。

【０００６】

【数１】

【０００７】ニューロンの特性関数ｆは通常、

【０００８】

【数２】

【０００９】で表される関数を用いる。したがって、３
層のネットワークの場合の前向き伝搬は、つぎの手順で
計算される。まず最初にすべての中間層のニューロンに
ついて、その出力を、

【００１０】

【数３】

【００１１】に従って計算する。次にその結果を使って
すべての出力層のニューロンについて、その出力を、

【００１２】

【数４】

【００１３】に従って計算する。次に、図３の３層の階
層構造ネットワークのバックプロパゲーションアルゴリ
ズムによる学習の方法について説明する。バックプロパ
ゲーションアルゴリズムでは、入力とそれに対する理想
的な出力の組を用意し、その入力に対する実際の出力と
理想的な出力の差が減少するようにシナプスの結合の重
みを修正する。この理想的な出力のことを通常は教師信
号と呼ぶ。以下に、３層のネットワークについて具体的
な計算方法を順を追って説明する。１．前向きの伝搬によって実際の出力を計算する。２．次式に従って出力層の各ニューロンの誤差に対応し
た値（以下、単にデルタと呼ぶ）を計算する。

【００１４】

【数５】

【００１５】δ_ljはｌ層目のｊ番目のニューロンに対す
るデルタ、ｔ_jは出力層のｊ番目のニューロンに対する
教師信号、ｇは

【００１６】

【数６】

【００１７】で表されるようにニューロンの特性関数ｆ
の微分係数である。ニューロンの特性

【００１８】関数ｆは、単調非減少の関数が用いられる
ので、（数６）に示したように、特性関数の微分係数を
特性関数の関数値の関数として表すことができる。３．中間層と出力層との間のシナプスの結合の重みの修
正量を、次式に従って計算し、重みを修正する。

【００１９】

【数７】

【００２０】ηは修正係数である。４．中間層のニューロンに対するデルタを、次式に従っ
て計算する。

【００２１】

【数８】

【００２２】５．中間層と入力層の間のシナプスの結合
の重みの修正量を、次式に従って計算し、重みを修正す
る。

【００２３】

【数９】

【００２４】ニューロプロセッサでは、以上の計算式の
計算を行うことが必要である。従来は、主に、回路規模
が小さくてすむ固定小数点方式で、これらの計算が行え
るニューロプロセッサが開発されてきた。

【００２５】

【発明が解決しようとする課題】固定小数点演算では、
各変数や各関数はそれぞれで設定された語長（ビット
数）に対して、あらかじめ小数点の位置が定められ、固
定される。したがって、各変数や各関数のダイナミック
レンジが狭くなる。すなわち、変数や関数がオーバーフ
ローを起こしたり、あるいは、それぞれの変数や関数に
割り当てられた語長を十分に活かせなかったりする。そ
のため、精度の高い計算を行うことができない。

【００２６】本発明は上記課題を解決するもので、高精
度の計算ができるニューロプロセッサを提供することを
目的としている。

【００２７】

【課題を解決するための手段】以上の課題を解決するた
め、本発明のニューロプロセッサでは、各変数や各関数
の規格化によって変換された計算式の計算を実行できる
構成にする。例えば、ニューラルネットワークの前向き
伝搬の計算においては、積和演算器の出力を係数乗算器
に入力し、係数乗算器の出力をニューロン特性関数回路
に入力するようにする。また、バックプロバゲーション
・アルゴリズムによって学習する階層構造のニューラル
ネットワークの、中間層のニューロンのデルタを計算す
る場合には、通常の計算結果に係数乗算器で係数を乗算
した値を、中間層のニューロンのデルタにする。このよ
うに、係数乗算器を備えることによって、各変数や各関
数の規格化によって変換された計算式の計算を実行でき
る構成にする。

【００２８】

【作用】上記構成により、各変数や各関数を、それぞれ
のダイナミックレンジに適合するような大きさに規格化
し、その規格化によって変換された計算式の計算を実行
できるようになる。したがって、変数や関数がオーバー
フローするのを防ぐことができ、また、それぞれの変数
や関数に割り当てられた語長を十分に活かすことができ
るので、ニューラルネットワークの前向きの伝搬や、バ
ックプロパゲーション・アルゴリズムによる学習の計算
を高精度に行える。

【００２９】

【実施例】以下、本発明の実施例を図面により説明す
る。

【００３０】図１は、本発明の一実施例のニューロプロ
セッサの前向きの伝搬の計算の場合のデータの流れの図
である。図１の１は積和演算器で、２は係数乗算器、３
はニ

【００３１】ューロン特性関数回路、４は乗算器、５は
加算器である。図１は、（数１）で表される通常の前向
き伝搬の計算が行える構成に、係数乗算器２を１つ加え
たものである。

【００３２】また図２は、本発明の一実施例のニューロ
プロセッサの中間層のデルタの計算の場合のデータの流
れの図である。図２の６はデルタ計算回路、７は係数乗
算器、８は乗算器、９は加算器、１０はニューロン特性
関数微分係数回路、１１は乗

【００３３】算器である。図２で、デルタ計算回路６
は、（数８）で表される通常のデルタの計算が行える構
成になっている。

【００３４】本実施例では、以下に示すような規格化を
行う。まず、Ｏとδとｇは、最適になっており、規格化
の必要が無いものとする。そして、次式のように、規格
化係数ａとｂを用いて、変数ｗとＩを規格化する。

【００３５】

【数１０】

【００３６】変数を表す文字の上の〜は規格化された変
数であることを表す。（数１０）を用

【００３７】いると、前向きの伝搬の計算式（数１）は
次のように変換される。

【００３８】

【数１１】

【００３９】また、バックプロパゲーション・アルゴリ
ズムによる学習の計算式のうち（数７

【００４０】）、（数８）、（数９）は次のように変換
される。

【００４１】

【数１２】

【００４２】

【数１３】

【００４３】

【数１４】

【００４４】ここで、

【００４５】

【数１５】

【００４６】

【数１６】

【００４７】であり、変数の規格化に伴って、係数ηと
関数ｆが変換されている。

【００４８】図１は、（数１１）を計算する場合のデー
タの流れの図である。（数１１）より明らかなように、
変数を規格化したことによって、積和演算の結果にａ／
ｂを掛ける演算が増える。この演算を行うのが、図１の
２の係数乗算器である。このように、積和演算器１の出
力を係数乗算器２に入力し、係数乗算器２の出力をニュ
ーロン特性関数回路３に入力することによって、規格化
した変数を用いて変換

【００４９】した計算式（数１１）の計算が行えるよう
になる。なお、図１のニューロン特性関数回路３は、実
際に特性関数を計算する演算回路であってもよいし、関
数のテーブルを記憶したメモリであってもよいし、その
他の構成のものでもよい。ただ

【００５０】し、ニューロン特性関数回路３が発生する
関数は、（数２）のｆではなく、（数１６）で表される
関数である。

【００５１】図２は、（数１３）を計算する場合のデー
タの流れの図である。（数１３）より明らかなように、
変数を規格化したことによって、ａを掛ける演算が増え
る。この演算を行うのが、図２の７の係数乗算器であ
る。このように、通常のデルタの計算結果であるデルタ
計算回路６の出力を係数乗算器７に入力し、その出力を

【００５２】デルタにすることによって、規格化した変
数を用いて変換した計算式（数１３）の計算が行えるよ
うになる。なお、図２のニューロン特性関数微分係数回
路１０は、実際に特性関数の微分係数を計算する演算回
路であってもよいし、関数のテーブルを記憶したメモリ
であってもよいし、その他の構成のものでもよい。

【００５３】本実施例の係数乗算器は、通常の乗算器で
あってもよいし、バレルシフタであってもよい。バレル
シフタにした場合は、係数が２の累乗の値になるように
規格化係数を選ぶことが必要である。

【００５４】また、本実施例では、（数１３）で表した
ように、変数ｗとＩを規格化した場合の例である。その
他の変数や関数を規格化した場合は、係数乗算器を挿入
する場所を変える必要があると思われるが、取り扱いは
同様である。

【００５５】以上の説明よりわかるように、本プロセッ
サは、計算式の変数や関数を規格化し、規格化された変
数や関数を用いて変換した計算式の計算が行えるような
構成になっている。その結果、変数や関数がオーバーフ
ローを起こすのを防ぐことができ、また、それぞれの変
数や関数に割り当てられた語長を十分に活かすことがで
きるようになり、高精度の計算を行うことができる。

【００５６】

【発明の効果】以上の実施例から明かなように、本発明
によれば、計算式の変数や関数を規格化し、規格化され
た変数や関数を用いて変換した計算式の計算が行えるよ
うな構成になっている。その結果、変数や関数がオーバ
ーフローするのを防ぐことができ、また、それぞれの変
数や関数に割り当てられた語長を十分に活かすことがで
きるので、ニューラルネットワークの前向きの伝搬や、
バックプロパゲーション・アルゴリズムによる学習の計
算を高精度に行うことができるニューロプロセッサを提
供できる。

【図面の簡単な説明】

【図１】本発明の一実施例のニューロプロセッサの前向
きの伝搬の計算の場合のデータの流れの図。

【図２】本発明の一実施例のニューロプロセッサの中間
層のデルタの計算の場合のデータの流れの図。

【図３】階層構造ニューラルネットワークの図

【図４】ニューロンの働きを示した図

【符号の説明】

１積和演算器２，７係数乗算器３ニューロン特性関数回路４，８，１１乗算器５，９加算器６デルタ計算回路１０ニューロン特性関数微分係数回路１０１ニューロン１０２シナプス１０３入力層１０４中間層１０５出力層１０６ニューロンの特性関数１０７−１０９ニューロン

Claims

【特許請求の範囲】

【請求項１】固定小数点演算を行なう演算回路を備え、
前記演算回路が、各変数や各関数の規格化によって変換
された計算式の計算を実行できる構成になっていること
を特徴とするニューロプロセッサ。
【請求項２】係数乗算器を備え、バックプロバゲーショ
ン・アルゴリズムによって学習する階層構造のニューラ
ルネットワークの、前向きの伝搬と学習の計算の機能を
有し、中間層のニューロンの誤差に対応した値を計算す
る場合に、通常の計算結果を前記係数乗算器に入力し、
その係数乗算器の出力を、中間層のニューロンの誤差に
対応した値とすることを特徴とするニューロプロセッ
サ。