JPH0561847A - ニユーラルネツトワーク学習装置 - Google Patents

Abstract

(57)【要約】 【目的】 学習の高速性、最適解への収束性、システム
ダウンに対する安全性を高めることができるニューラル
ネットワーク学習装置の提供を目的とする。 【構成】 学習パターンを記憶する記憶装置６と、荷重
値を記憶する記憶装置４，５と、１つ以上の学習パター
ンを入力して記憶し１つの学習パターンにおけるベクト
ルの全成分を並列に出力する記憶素子２，３と、入力さ
れた学習パターンに応じて自己内部に保持する荷重値を
変更するニューラルネットワーク装置１とを備え、記憶
装置６から記憶素子２，３に学習パターンを転送し、記
憶素子２，３が出力する学習パターンをニューラルネッ
トワーク装置１の入力とすることと、ニューラルネット
ワーク装置１内部に保持する荷重値の初期値を記憶装置
４または５より転送した荷重値とし、ニューラルネット
ワーク装置１にて変更した荷重値を記憶装置５に転送し
て記憶させることを特徴とするニューラルネットワーク
学習装置である。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ニューラルネットワー
クを学習させる装置に関する。

【０００２】

【従来の技術】学習機能付ニューラルネットワーク、例
えば、バック・プロパゲーションネットワークや、ボル
ツマン・マシン、フィーチャマップ等のネットワークに
おいて、学習速度の高速化、最適解への収束性等の研究
が進められている。しかし、実際には、数十個の文字パ
ターンを学習するのにエンジニアリング・ワークステー
ションで数日かかったり、数人のわずかな発言を認識さ
せるべく学習を行ってもやはり数日以上かかるのが現状
である。このように学習の高速化、最適解への収束性の
向上を進めるため、専門ハードウェアの研究が進められ
ている。特に、小型化、省電力化にはＶＬＳＩ化が必須
になってくることが予想される。しかるに学習の手続に
おいては、単に、ニューラルネットワークのアーキテク
ケヤがＶＬＳＩ上に実現されているハードウェアのみあ
っても高速化は果たせない。

【０００３】というのは、学習過程においては、学習の
計算のみを高速化しても、学習用データが高速に転送さ
れなければ、学習用データの転送で学習速度のボトルネ
ックが生じてしまうからである。また、ニューラルネッ
トワークのアーキテクケヤをそのままハードウェアにし
たのであれば、ニューラルネットワークが元来もってい
る最適解への収束性が保証されないという性質は、ハー
ドウェアにも持ち越されてしまう。さらに、従来の専用
ハードウェアは、学習中のシステムダウンに備えるため
の対策が全く考慮されていない。

【０００４】つまり、従来のニューラルネットワークの
専用ハードウェアにおいては、学習用データの転送に時
間がかかり学習が十分に高速化されないという問題、最
適解への収束性保証されないという問題、学習中にシス
テムダウンが起こった場合にはもう１度初めから学習を
し直さなければならないという問題があった。

【０００５】

【発明が解決しようとする課題】このように従来のニュ
ーラルネットワーク装置においては、システム全体とし
ての学習の高速化、最適解への収束性の向上が果せてい
ないという問題や、学習中のシステムダウンからの復帰
等の安全面の対策がとられていないという問題があっ
た。

【０００６】本発明はこのような事情を鑑みてなされた
もので、その目的とするところは、システム全体として
高速性、収束性、安全性の向上を図ることのできるニュ
ーラルネットワーク学習装置を提供することにある。

【０００７】

【課題を解決するための手段】本発明の第１の発明に係
るニューラルネットワーク学習装置は、学習パターンを
記憶する第１の記憶装置と、荷重値を記憶する第２の記
憶装置と、入力された学習パターンに応じて自己内部に
保持する荷重値を変更するニューラルネットワーク装置
と、前記ニューラルネットワーク装置に入力する学習パ
ターンを前記第１の記憶装置より転送する手段と、前記
ニューラルネットワーク装置内部に保持する荷重値の初
期値を前記第２の記憶装置より転送する手段と、前記ニ
ューラルネットワーク装置にて変更した荷重値を前記第
２の記憶装置に転送して記憶させる手段とを具備したこ
とを特徴とするものである。

【０００８】本発明の第２の発明に係るニューラルネッ
トワーク学習装置は、学習パターンと荷重値とを記憶す
る記憶装置と、１つ以上の学習パターンを入力して記憶
し、１つの学習パターンにおけるベクトルの全成分を並
列に出力する記憶素子と、入力された学習パターンに応
じて自己内部に保持する荷重値を変更するニューラルネ
ットワーク装置と、前記記憶装置から前記記憶素子に学
習パターンを転送し、前記記憶素子が出力する学習パタ
ーンを前記ニューラルネットワーク装置の入力とする手
段と、前記ニューラルネットワーク装置内部に保持する
荷重値の初期値を前記記憶装置より転送し、前記ニュー
ラルネットワーク装置にて変更した荷重値を前記記憶装
置より転送して記憶する手段とを具備したことを特徴と
するものである。

【０００９】

【作用】本発明の第１の発明においては、他の計算機等
で標準的な学習パターンによりある程度学習（荷重値の
変更）を行って最適解に近づけた荷重値を、予め第２の
記憶装置に記憶させておく。この荷重値を初期値とし
て、第１の記憶装置に記憶されている各使用者や使用状
況や使用目的に応じた学習パターンをニューラルネット
ワーク装置に学習させることにより、最適解の近くから
学習を開始することができるため、最適解への収束性を
保証することができる。

【００１０】さらに、ニューラルネットワーク装置の学
習で変更された荷重値を学習中や学習終了時に適宜第２
の記憶装置に退避させておくことにより、学習中のシス
テムダウンからの復帰を容易にすると共に、同じ学習の
やり直しという無駄を省くことができる。

【００１１】また、第２の発明においては、ニューラル
ネットワーク装置に学習パターンをベクトルとして入力
する際に、記憶装置に記憶された学習パターンを、いっ
たんベクトルの全成分を高速に並列出力可能な記憶素子
に転送しておき、この記憶素子から入力することによ
り、学習パターンの転送に時間がかかるために学習速度
が頭打ちになるという弊害を除去することができる。

【００１２】

【実施例】以下図面を参照しながら、本発明の一実施例
について説明する。

【００１３】図１に本発明の一実施例に係るニューラル
ネットワーク学習装置の基本的な構成を示す。図中１
は、学習機能付ニューラルネットワークハードウェア
（ＬＳＩ）２は、入力パターンを保持するための入力パ
ターン用バッアァ、３は、教師パターンを保持するため
の教師パターン用バッアァ、４は、学習済の荷重値を記
憶しておくための読み出し専用記憶装置、５は、ニュー
ラルネットワーク装置１で学習した荷重値を電源オフ
時、あるいは定時刻毎に退避するための書替可能の不揮
発性記憶装置、６は、学習用入力、教師パターン（これ
らを合わせて学習パターンと呼ぶ）組合せを記憶してお
く書替可能の不揮発性記憶装置、７は、各記憶装置４，
５，６及び入力、教師パターン用バッアァ２，３とニュ
ーラルネットワーク装置１との間のデータ転送の制御を
行うコントローラである。

【００１４】図２は、本学習装置の学習対象である学習
機能付ニューラルネットワーク装置１の機能構成の一例
を表すブロック図である。ここでは、バックプロパゲー
ションネットワークをとり上げて説明する。まず、入力
部Ａ21、入力部Ｂ22がそれぞれ前記の入力パターンバッ
アァ２、教師パターン３より入力パターン、教師パター
ンを受け取る。荷重値記憶部23はネットワークにおける
各ニューロン間の結合重み（これを荷重値と呼ぶ）を一
時的に記憶するものである。演算部24内の出力値計算部
25は、入力部Ａ21に提示された入力パターンと荷重値記
憶部23に保持された荷重値とをもとに、ニューラルネッ
トワークのダイナミックスに従って、各ニューロンの出
力値を計算する（この計算のときに作用させる各ニュー
ロンの入出力関数をｆとする）。対象とするネットワー
クが多層構造になっているとすると、入力パターンが入
力層に入り、ニューロンの状態（入力値、出力値）の変
化が中間層を伝搬して、出力層から出力パターンがとり
出される。この出力パターンと、入力部Ｂ22に提示され
た教師パターンとを比較部26で比較し、その差と前記の
関数ｆの微分値ｆ′とから、学習信号計算部27が出力層
における学習信号を求める。27はさらに、出力層側の学
習信号と前記ｆ′とから、中間層における学習信号を入
力層側へ向かって順次求めていく。荷重値計算部28は、
こうして求められた学習信号に従って新たな荷重値を計
算し、荷重値記憶部23の内容を更新する。以上のこと
を、出力パターンと教師パターンとの差がなくなったと
みなされるまで繰り返し行う。この一連の処理のことを
学習と呼んでいるのである。学習の済んだニューラルネ
ットワーク装置１は、入力パターンを入力して出力され
る出力パターンによりパターン認識を行う等の用途に供
されることになる。

【００１５】ところで、ニューラルネットワーク装置１
の入出力部に各々設けられた２，３のバッアァでは、入
力、教師パターンをベクトルとして、ある一定の順序に
従ってニューラルネットワーク装置１に与える必要があ
る。この順序は、ランダムでもよいし、制御装置７で生
成されるパターン提示順信号によるものでもよい。ここ
では、ベクトルの各成分が同時に高速に、繰返し供給さ
れねばならないから、並列出力バッアァが必要である。
図４には、入力、教師バッアァ回路の実施例を示す。
（ａ）には、Ｎ次元ベクトルをＫ個記憶し、ベクトルの
各成分を並列に出力できるバッアァの構成を示す。
（ｂ）には、１つのセルシンボルを示している。ラッチ
セルはフリップフロップからなる。動作を説明する。書
込のときは各ベクトルが第１〜Ｎ成分の順に送られてく
るとして、まずラッセルを“入力”モードにする。そし
て、入力データがｉ番目のベクトルであるときは、Ｘデ
コーダからｉ番目の列のＸ端子を“選択”状態にする。
そしてＹデコーダの方が、ベクトル成分順位に対応して
行のＹ信号を次々に“選択”状態にして、逐次書込んで
ゆく。次に出力のときは、モードを“出力”にして出力
するベクトル番号ｉに応じて列を“選択”モードにす
る。このときＹはすべて“選択”にしておく。こうして
Ｘデューダで指定されたベクトルｉが全成分並列に出力
される。これにより学習時には高速に入力、教師ベクト
ルがニューラルネットワークに供給される。

【００１６】読出専用記憶装置４は半導体ＲＯＭ装置、
ＣＤＲＯＭ装置、磁気カード等が考えられる。また、読
出専用ではないが、フロッピーディスク、ハードディス
ク等でもよい。５，６の書替可能不揮発性記憶装置は、
たとえばＥ² ＰＲＯＭ素子、ディスク、磁気テープ、磁
気カード等が考えられる。

【００１７】読出専用記憶装置４には、学習済の荷重値
を標準データとして記憶しておく。例えば、音声認識応
用を考えるなら、標準的話者の情報を使って、前もって
学習し、その結果の荷重値を予め記憶装置４に焼きつけ
ておく。この前もって行う学習は、大型計算機等を使
い、大がかりな計算を時間をかけて行い、荷重値を最適
化しておくとよい。また、使用者個人のパターンを、図
３のように学習パターン組合せ用記憶装置６に予め記録
しておく。例えば、使用者が一音づつ発音し、その発音
パターンを入力パターンとし、一音に対応する文字を示
すパターンを教師パターンとして、入力、教師パターン
を定義し、これらを組合せた学習パターンの集合を記憶
装置６に記録しておく。さらに、記憶装置６は書替可能
であるから、必要に応じて外部信号により学習パターン
を追加したり削除したりすることもできる。

【００１８】ここで、本学習装置全体の動作を図５の流
れ図に沿って説明する。なお、以下の動作は制御装置７
によって制御される。まず、このシステムが初めて使用
される場合、あるいは、新たに標準データを初期値とし
て学習をはじめる場合は、前回データは使わないので
（Ｓ１Ｎo ）、記憶装置４から前述した標準データ（既
学習データ）をニューラルネットワーク装置１に転送す
る（Ｓ３）。前回データを引続き使うなら（Ｓ１Ｙｅ
Ｓ）、記憶装置５から、前回退避しておいた荷重値デー
タ（後述するＳ10による）をニューラルネットワーク装
置１に転送する（Ｓ２）。次に、さらに学習をする必要
があるか否かを判断し（Ｓ４）、必要がなければ終了で
ある。必要がある場合は、初期設定として、出力ベクト
ルと教師ベクトルとの差の許容値ε、学習終了判定をす
る時期、荷重値を退避する時期を制御装置７に入力する
（Ｓ５）。ここでの時期とは、たとえば学習を何回か行
う毎とか、誤差がある値以下になるときとする。次に、
記憶装置６に入っている、使用者個人の入力、教師パタ
ーンをそれぞれバッアァ２，３に転送する（Ｓ６）。こ
れから学習過程に入る（Ｓ７）。まず、初期設定した学
習終了判定の時期か否かを判断する（Ｓ８）。否ならば
次の荷重値退避時期判断（Ｓ９）に進む。もしも、学習
終了判定時期であれば、終了判定手続に進み（Ｓ13）、
終了であれば終りに行き（Ｓ15）、終了でなければ、荷
重値退避時期判定（Ｓ９）に進む。荷重値退避時期判定
では、初期設定した荷重値退避時期に対応しているかど
うかを判断し、対応する場合、退避手続に進み、現在の
荷重値をニューラルネットワーク装置１内の荷重値記憶
部23から記憶装置５に退避する（Ｓ10）。それから、荷
重値更新手続に進む。ここでは、バッアァ２，３内の入
力、教師パターンの１組を選び、ニューラルネットワー
ク装置１に供給し（Ｓ11）、前述したように、ニューラ
ルネットワークの学習規則に従って荷重値の更新を行う
（Ｓ12）。これが１つの学習過程となり、この後、再
び、学習終了判定時期判断（Ｓ８）に戻る。

【００１９】上記の手続により、記憶装置４あるいは５
から既学習データをニューラルネットワーク装置１に転
送し、その値を初期値として学習を進められることか
ら、学習時間の短縮化が図れる。特に、各使用者毎の個
性が荷重値に及ぼす影響はわずかであると考えられるの
で、標準データの荷重値を最適解としておき、そこから
学習を始めれば各使用者毎の学習により、個人に応じた
最適解（標準の最適解とそれほど離れた値ではない）に
速やかに収束させることができる。また、荷重更新手続
においては、入力パターンとそれに応じた教師パターン
のベクトルを図４で示したようなバッアァにより一斉に
ニューラルネットワーク装置１に与えられるから、学習
パターン転送でのボトルネックを取除き、学習速度を上
げることができる。さらに、学習過程の途中で学習した
荷重値をニューラルネットワーク装置１から、書替可能
記憶装置５に退避させることにより、学習中のシステム
ダウンからの復帰を容易にすると共に、学習終了時に荷
重値を５の記憶装置に退避させておき、次回の使用時に
は、この記憶装置５からの荷重値を使用することによっ
て、同じ学習を繰り返す必要がなくなる。また、この系
全体をＶＬＳＩとして実現すれば、汎用の超小形高速学
習装置となる。

【００２０】図６には、終了判定手続（Ｓ13）の１実施
例を示す。まず、全学習パターンに渡って誤差を累積す
るパラメータＥを０に初期化し、パターン番号を示すｉ
を１に設定する（Ｓ101)。続いて、入力、教師パターン
の第ｉ番目のペアをニューラルネットワーク装置に転送
する（Ｓ102)。次にＥに出力パターンと教師パターンの
差を累積加算する（Ｓ103)とともに、ｉに１加算する
（Ｓ104)。ｉが全パターン数を越えなければ（Ｓ105
≦）、パターン転送（Ｓ102)に戻る。越えていれば（Ｓ
105 ＞）、Ｅとεを比較して（Ｓ106)、Ｅ＞εならば継
続（Ｓ107)、Ｅ≦εならば終了（Ｓ108)と判定する。こ
れは全誤差が許容値εを越えるか否かで終了を判定する
方法だが、一方、はじめから学習回数を設定しておく方
法もある。

【００２１】尚、本発明は上述した実施例に限定される
ものではない。例えば、ＲＯＭ４の内容として、荷重値
のみではなく、ニューラルネットワークの構成情報、す
なわち、層の数、各層のニューロン数も記憶しておき、
応用に応じて、あらかじめ決められたアーキテクチャを
採用できるようにすることもできる。例えば、図７
（ａ）に示すような、ニューロンｉからｊへ情報を伝達
する部分であるシナプスｊｉにおける重み情報Ｗjiと、
ニューロンｉを考慮するか否かを示すφi とを図７
（ｂ）に示すようにＲＯＭ４におく。そして、装置の立
ち上げ時にＲＯＭ４からＷjiだけでなくφi も読み込ん
で、φiがＨ（高レベル）のときは、ニューロンｉの出
力値（ｆ）を０とし、このとき当然出力値の微分値
（ｆ′）も０とする。これにより、φi ＝Ｈは、ニュー
ロンｉを考えないということになる。φi ＝Ｌは、ニュ
ーロンｉに接続され、回路はニューロンｉを含んで系を
構成する。

【００２２】また、図１において、破線10で囲まれた書
替可能記憶装置５と学習パターン組合せ用記憶装置６
は、全体で１つの書替可能記憶装置で構成することがで
きるので、例えば、ディスク、ＩＣカード、磁気テープ
等で実現できる。そうすると、この荷重値と学習パター
ンとを保持する部分のみ抜き出して携帯し、別の図１と
同様な構成をした学習装置にはめ込んで学習及び荷重値
の転送を行うことができる。

【００２３】図８には、ニューラルネットワーク学習装
置の別の構成例を示している。この図で、１，２，３は
図１と同じく、各々学習機能付ニューラルネットワーク
装置、入力パターン用バッアァ、教師パターン用バッア
ァである。14は、典型的な学習パターンによって既に学
習済の荷重値を標準データとして記憶しておく標準荷重
値記憶装置であり、図１の４と同様な働きをする。16
は、各使用者が学習用パターンとして、適当なパターン
をあらかじめ登録しておく学習パターン用記憶装置であ
り、図１の６と同様な働きをする。15は、学習した結果
の荷重値を退避しておく荷重値用記憶装置であり、図１
の５と同様な働きをする。さらに、データの流れを仲介
する形でＲＡＭ18が設けられている。

【００２４】制御装置17によって制御される本学習装置
系全体の動作は前述した実施例とほぼ同様であるが、学
習当初、荷重初期値として、14の標準荷重値か、又は、
16の前回学習した結果の荷重値を、まずＲＡＭ18に転送
しておき、ここからニューラルネットワーク装置１に供
給する点と、ニューラルネットワーク装置１の学習中の
中間結果をＲＡＭ18に退避する点が異なる。学習途中の
データを逐次ＲＡＭ18に退避しておき、更にＲＡＭ18か
ら荷重値用記憶装置15に適宜退避する。後者の退避を行
う頻度は前者のそれよりも少なく設定するとよい。また
学習終了時の荷重値も記憶装置15に記憶する。尚、２，
３，16を用いた学習パターンの転送については、前述し
た実施例と同じである。

【００２５】このように記憶を２段構えにすることによ
り、学習中のシステムダウンへの対応ができ、学習途中
の結果を再度学習の初期値として使うことができる上
に、ＲＡＭ18はディスクや磁気テープ等の外部記憶より
高速だから学習時のＲＡＭ内の荷重値の書替も高速にで
きるので、書替に伴う学習の遅れも小さくできる。な
お、図中破線20で囲んだ部分は、外部装置として取りは
ずし可能にしておいてもよい。これならば、荷重値用記
憶装置15、学習パターン用記憶装置16を携帯、交換でき
るだけてなく、標準荷重値記憶装置14も応用に応じて簡
単に交換して用いることができる。また、18を半導体Ｒ
ＡＭで構成すれば、一般にディスクや磁気テープ等の外
部記憶より高速だから、荷重値をニューラルネットワー
ク装置１から高速にＲＡＭ18に退避しておけばＲＡＭ18
から15の外部記憶に荷重値を転送するのと並行に、ニュ
ーラルネットワークはさらに学習を進めておくことがで
きる。

【００２６】

【発明の効果】以上、説明したように本発明によれば、
ニューラルネットワーク装置の学習用データの転送での
ボトルネックを取り除くことで学習を高速化し、また、
最適解への収束性を向上させ、さらに、学習中や学習終
了時の情報を退避しておき、後でこの学習済荷重値を用
いることで学習の安全性や効率を高めることのできるニ
ューラルネットワーク装置を実現できるという、実用上
多大なる効果が奏せられる。

【図面の簡単な説明】

【図１】 本発明の一実施例に係るニューラルネットワ
ーク学習装置の構成を示す図。

【図２】 図１中のニューラルネットワーク装置１の機
能構成の一例を示す図。

【図３】 学習パターン組合せ用記憶装置６内のデータ
の構成を示す図。

【図４】 入力、教師パターン用バッアァ２，３回路の
構成図。

【図５】 本学習装置の動作を示す流れ図。

【図６】 図５中の学習終了を判断するステップの動作
を示す流れ図。

【図７】 読出専用記憶装置４内の荷重値情報とニュー
ラルネットワークアーキテフチャ情報を示す図。

【図８】 本発明の別の実施例に係るニューラルネット
ワーク学習装置の構成を示す図。

【符号の説明】

１…学習機能付ニューラルネットワーク装置 ２…入力パターン用バッアァ ３…教師パターン用バッアァ ４，14…標準荷重値用読出専用記憶装置 ５，15…荷重値用書替可能記憶装置 ６，16…学習パターン用記憶装置 ７，17…制御装置 18…ＲＡＭ

Claims (2)

【特許請求の範囲】
1. 【請求項１】 学習パターンを記憶する第１の記憶装置
   と、 荷重値を記憶する第２の記憶装置と、 入力された学習パターンに応じて自己内部に保持する荷
   重値を変更するニューラルネットワーク装置と、 前記ニューラルネットワーク装置に入力する学習パター
   ンを前記第１の記憶装置より転送する手段と、 前記ニューラルネットワーク装置内部に保持する荷重値
   の初期値を前記第２の記憶装置より転送する手段と、 前記ニューラルネットワーク装置にて変更した荷重値を
   前記第２の記憶装置に転送して記憶させる手段とを具備
   したことを特徴とするニューラルネットワーク学習装
   置。
2. 【請求項２】 学習パターンと荷重値とを記憶する記憶
   装置と、 １つ以上の学習パターンを入力して記憶し、１つの学習
   パターンにおけるベクトルの全成分を並列に出力する記
   憶素子と、 入力された学習パターンに応じて自己内部に保持する荷
   重値を変更するニューラルネットワーク装置と、 前記記憶装置から前記記憶素子に学習パターンを転送
   し、前記記憶素子が出力する学習パターンを前記ニュー
   ラルネットワーク装置の入力とする手段と、 前記ニューラルネットワーク装置内部に保持する荷重値
   の初期値を前記記憶装置より転送し、前記ニューラルネ
   ットワーク装置にて変更した荷重値を前記記憶装置に転
   送して記憶させる手段とを具備したことを特徴とするニ
   ューラルネットワーク学習装置。