JPH01282687A - 神経回路網型パターン識別装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、神経回路網型パターン識別装置に関し、特に
時間的に変化する入力パターン（基本パターン）とそれ
らに対応した各時刻において望ましい出力（期待値）と
を与えるだけで、多様に変形した時系列パターンの入力
に対し、所期の値を出力するように、自動的に学習する
パターン認識装置に関するものである。

〔従来の技術〕

最近、神経回路網型にニューラル・ネット）のパターン
識別装置が開発されている（例えば、ｒ日経エレクトロ
ニクス、１９８８．４月１８日（Ｎｏ、４４５）　ｐｐ
。

１０６〜１０７参照）。上記文献によれば、ニューラル
・ネットは３層構造であって、そのうち出カニニットは
４個、中間ユニットは１〜８個、入カニニットは６４個
ないし２５６個である。６４ドツト×６３ドツトの手書
き漢字は、８Ｘ８のメツシュに分けられ、これらの各領
域の密度を計算して、二ューラル・ネットに入力されて
いる。ここでは。

学習アルゴリズムの基本をパックプロパゲーションによ
っている。そして、中間ユニットの数を多くした場合に
１例外パターンの学習効果が向上するようである。

第７図は、従来の３層構造のニューラル・ネットの構成
図であり、第６図は、第７図のネットを構成するユニッ
トの構造図である。

ユニットは、他のユニットからの出力を受ける部分１と
、入力を一定の規則により変換す色部分２と、結果を出
力する部分３とから構成されている。なお、他のユニッ
トからの出力を受ける部分１には、他ユニットとの結合
部４が付加され、その結合部４はそれぞれ可変の重みＷ
ｉｊを持っている。あるユニットが複数のユニットから
入力を受げたとき、その出力と重みの荷重総和が入力値
となる。すなわち、入力値ｎｅｔ□は１次式で求められ
る。

ｎｅｔ□＝ΣＷｉｊ・Ｏｊ　・・・・・・・・・　（１
）ここで、Ｏｊは他ユニットｊの出力、Ｗｉｊは他ユニ
ットｊと当該ユニットｉとの結合による重み係数である
。

またこのユニットｉの出力０．は、入力値ｎｅｔｌを関
数ｆに適用して、例えば下式で表わされる。

上式（２）では、　ｓｉｇｍｏｉｄ関数を用いたが、そ
の他にもステップ関数、折線関数等の非線型の飽和形関
数であれば差し支えない。また、式（２）でｎｅＪに閾
値θを加えて１次式（３）を用いてもよい。

ｆよ＝□・・・・・・・　（３） １　　＋　、−（ｎｔｔｔ＋θｌ） 第７図のニューラル・ネットにおいては、第６図の結合
部４．入力部１．変換部２．および出力部３からなる１
つのユニットを○印で表ねしている。ここでは、ニュー
ラル・ネットは入力層、中間層および出力層からなり、
各方向に各ユニットが結合されている。

入力層の各ユニットに入力データ（ここでは、みカバタ
ーン）を与えた場合、このデータは各ユニットで変換さ
れて中間層に伝わり、最後に出力層から出力される。実
際の出力パターンと望ましい出力パターン（期待値）と
を比べて、その差を減少するように、各ユニットの結合
部４の重みｗｉｊを変えるのである。

学習のアルゴリズムとして代表的な逆伝搬法（パックプ
ロパゲーション）とは、入力パターンを与えたときの実
際の出力値と望ましい出力値の差が小さくなるように１
重みＷｊｊを変化させる手順を、出力層から中間層、中
間層から入力層に順次移して行うのである。そして、こ
の手順を繰り返すことにより、入力データに対して正し
い出力データが得られるように、重みを収束していく。

学習アルゴリズムの逆伝搬法では、先ず入力層の各ユニ
ットに入力データを与える。これらの信号は、各ユニッ
トで変換され、中間層に伝わり最後に出力層から出力さ
れる。その出力値と望まして出力値（教師データまたは
期待値）と比べて、その差を減らすようにコネクション
の重みＷを変える。

あるパターンｐを与えたとき、実際の出力値（ＯＰ　Ｊ
　）と望ましい出力値（ｔＦＪ）の差を、次式（４）で
評価する。

学習は、この差が小さくなるように重みＷを変化させる
。ｐを与えた時のＷＪｉの変化量は、次式％式％ ここで、ＯＰｉはユニットｉからユニットｊへの入力値
、δＰ４はユニットｊが出カニニットかあるいは中間ユ
ニットかで異なる。

出カニニットの場合には、次式（６）となる。

δｐｉ＝ｃｔｐａ　　　０ｐＪ）ｆ　Ｊ’　　（ｎｅｔ
ｐＪ）’　　Ｈ＋　　４６）また、中間ユニットの場合
には１次式（７）となる。

δｐｊ”　ｆ　Ｊ’　　（ｎｅｊｐ７）Σδ、、ｗ、、
・　−・　−（７）ΔＷの計算は、出力層のユニットか
ら始めて中間層に移り、最後に入力層までさかのぼる。

学習用のデータを入力し、その結果を出力する。

結果の誤差を減らすようにコネクションの重みを変える
。これを繰り返すことにより、入力に対して正しい出力
を与えるように重みを収束していく。

〔発明が解決しようとする課題〕

このようなパターン処理方式は、静的なパターン処理を
行うためのものであって、時系列パターン処理を行うに
は、低次のマルコフチエインを仮定して、その次数分の
入カニニットを準備する方法が提案されている。しかし
、上記の方法でも、基本的には静的なパターン処理を行
っているという問題がある。動的なパターン処理を行う
必要があるという課題がある。

本発明の目的は、このような従来の課題を解決し１時間
とともに変化するパターンを識別することができるよう
にして、動的な時系列パターンの認識が可能な神経回路
網型パターン識別装置を提供することにある６ 〔課題を解決するための手段〕 上記目的を達成するため、本発明の神経回路網型パター
ン識別装置は、それぞれ複数のユニットを結合して、入
力層、中間層および出力層の３層から構成される神経回
路網を備えた神経回路網型パターン識別装置において、
識別されるべき入力パターンを順次呈示する第１の手段
と、当該時刻に出力されるべき期待パターンを順次呈示
する第２の手段と、上記第１の手段により呈示された入
力パターンから出力パターンを計算する第３の手段と、
該出力パターンを１単位時間だけ保持する第４の手段と
、該出力パターンと上記期待パターンの差を計算する第
５の手段と、上記第４の手段に保持されている１単位時
間前の出力を用いて神経回路網の動作を制御する第６の
手段と、該第６の手段に与えるための網制御情報を演算
し、該網制御情報を記憶する第７の手段とを有すること
に特徴がある。具体的には、次の（ｉ）〜（ｊｉｉ　）
の３つの例がある。

（ｉ）上記神経回路網の動作を制御する第６の手段とし
て、入力層と中間層の洛ユニット間結合の重みと、中間
層と出力層の各ユニット間結合の重みとを、第４の手段
に保持されている１単位時間前の出力の線形結合で決定
する手段を用い、かつ上記網制御情報を演算・記憶する
第７の手段として、当該時刻における期待パターンと実
際の出力パターンとの差から新しい線形結合係数を決定
して、該線形結合係数を記憶する手段を用いる第１の実
施例、（ｉｆ）上記神経回路網の動作を制御する第６の
手段として、入力層、中間層および出力層の各ユニット
の出力関数の閾値を、第４の手段に保持されている１単
位時間前の出力の線形結合で決定する手段を用い、かつ
上記網制御情報を演算・記憶する第７の手段として、当
該時刻における期待パターンと実際の出力パターンの差
から新しい線形結合係数を決定し、該線形結合係数を記
憶する手段を用いる第２の実施例、および （市）上記神経回路網の動作を制御する第６の手段とし
て、上記各ユニット間結合の重みを決定する手段と、上
記各ユニットの出力関数の閾値を決定する手段とを用い
、かつ上記網制御情報を演算・記憶する第７の手段とし
て、上記重みの線形結合係数を決定し、該線形結合係数
を記憶する手段および上記閾値の線形結合係数を決定し
、該線形結合係数を記憶する手段とを用いる第３の実施
例である。

〔作　　用〕

本発明においては、１単位時間前の出力で神経回路網の
動作を制御することにより、動的に時系列パターンを識
別できるようにしたものである。

すなわち、１単位時間前の出力層の各二ニットの状態で
、次の時刻の各層間の結合あるいは入力層、中間層、出
力層の各ユニットの出力関数の閾値を制御して、時系列
パターンを識別するように学習することを基本原理とし
ている。

〔実施例〕

以下１本発明の実施例を、図面により詳細に説明する。

第１図は、本発明の第１の実施例を示す神経回路網型パ
ターン識別装置の構成図であり、第２図は、第１図にお
ける動作フローチャー・トである。

第１図において、１１は識別されるべきパターンが順次
呈示される入力パターン呈示部、１２は当該時刻におい
て出力されるべきパターンが順次呈示される期待パター
ン呈示部、１３は入力パターンから出力パターンを計算
する出力計算部であって、３層の神経回路網で構成され
た計算部、１４は出力パターンを１単位時間だけ保持す
る出力保持部であって、入力に対して１時刻前の出力パ
ターンが保持されている。１５は、出力パターンと予め
与えられている期待パターンの差を計算する比較部、１
６は神経回路網の動作を制御する網制御部であって、１
時刻前の出力パターンに従って網の動作を制御する。１
７は比較部で計算された出力パターンと期待パターンの
差を小さくするように、網を制御するパラメータを計算
して、これを記憶する制御演算記憶部である。

第２図に示すように、先ず、出力演算部１３において、
各層間の結合の重みＷ、４、各層の各ユニットの出力関
数の閾値θＬを決定する線形結合係数ＷＬ　Ｊ　ｋ　ｒ
θｉｋおよび１時刻前の出力値０ｋ（ｔ　−１）を適当
な値に初期化する（ステップ２１）。次に、この初期値
を用いて、時刻ｔにおける重みＷ、Ｊ＝を計算する（ス
テップ２２）。次に、入力パターン呈示部１１および期
待パターン呈示部１２にそれぞれ入力パターンと期待パ
ターンｔ　Ｊ（ｔ　）を呈示する（ステップ２３）１次
に、呈示された入力パターンと前述のステップ２２で計
算された重み、閾値を用いて、時刻ｔにおける出力パタ
ーン０１（ｔ）を計算する（ステップ２４）。次に、比
較部１５において、出力パターンと期待パターンの差ｔ
Ｊ（ｔ）ＯＪ（ｔ）を計算する（ステップ２５）。次に
、網制御部１６は、この差より、線形結合係数Ｗｉｊｋ
＋０１にの値を更新する（ステップ２６）。次に、出力
演算部１３は、新しい線形結合係数とステップ２４で計
算された出力パターン○Ｊ（ｔ）から１時刻ｔ＋１にお
ける重み、閾値を計算する（ステップ２２）。

次に、時刻ｔ＋１における入力パターン、期待パターン
を呈示する（ステップ２３）。このようにして、以下の
操作を１つのパターンの系列が呈示り終わるまで繰り返
した後、次の学習されるべきパターン系列を呈示し、同
じような操作を繰り返す。用意された全ての時系列パタ
ーンについて、各時刻で出力値と期待値との差が、予め
設定した値よりも小さくなるまで、反復して学習する。

第３図は、本発明の第２の実施例を示す神経回路網型パ
ターン識別装置の構成図である。

この実施例においては、網制御部として重み演算部１８
を設けるとともに、制御演算記憶部１９として、重み係
数演算部１９１と重み係数記憶部１９２とを設ける。す
なわち、重み演算部１８は。

入力層と中間層の各ユニット間結合の重みと、中間層と
出力層の各ユニット間結合の重みを、出力保持部１４に
保持されている１時刻前の出力の線形結合で決定する。

また、制御演算記憶部１９の重み係数演算部１９１は、
当該時刻における期待パターンと実際の出力パターンの
差から新しい線形結合係数を決定するとともに、重み係
数記憶部１９２は、線形結合係数を記憶する。

この実施例における線形結合係数Ｗｉ、の更新方法を次
に示す。

誤差評価関数 Ｅ＝−Σ４Ｄｊ　ＯＪ）”・・・・・・・　（８）を最
小にするように係数が決定される。１単位時間でのＷｉ
ｏの増分ΔＷ　ｉ　Ｊ　Ｉ＋は、次式（９）で表わされ
る。

ここで、Ｏｉはユニットｉの出力値、δＪはユニットｊ
が出カニニットの場合には次のように表わされ、 δｊ　＝（ｊ　Ｊ−ＯＪ）ｆＪ’　（ｎｅｊ＝）　’　
”　”　”　”　（９）また、中間ユニットの場合には
次のように表わされる。

δＪ＝　ｆ　４’　　（ｎｅｔＪ）Σ８δｋＷｋ、　’
　”　”　”　　’　　（ｉｏ）第４図は、本発明の第
３の実施例を示す神経回路網型パターン識別装置の構成
図である。

この実施例においては、網制御部として、入力層、中間
層、出力層の各ユニットの出方関数の閾値を、出力保持
部１４に保持されている１時刻前の出力の線形結合で決
定する閾値演算部２１を備えている。また、制御演算記
憶部２０として、当該時刻における期待パターンと実際
の出力パターンの差から新しい線形結合係数を決定する
閾値係数演算部２０１と、線形結合係数を記憶する閾値
係数記憶部２０２とを備えている。

この実施例における線形結合係数０□の更新方法を１次
に説明する。１単位時間でのθ□えの増分ΔＯｉｋは、
次式（１１）で表わされる。

ここで、δｊは、第３図の実施例で示したものと同一で
ある。

第５図は、本発明の第４の実施例を示す神経回路網型パ
ターン識別装にの構成図である。

第５図においては、網制御部、制御演算記憶部として、
第２および第３の実施例を組み合わせたものである。す
なわち、網制御部２３として、重み演算部２３１と閾値
演算部１３２とを備え、また、制御演算記憶部２２とし
て、重み係数演算部２２２と重み係数記憶部２２１と閾
値係数演算部２２４と閾値係数記憶部２２３とを備えて
いる。

〔発明の効果〕

以上説明したように、本発明によれば、１時刻前の出力
パターンが次の時刻の神経回路網の動作を制御するので
、時間とともに変化するパターンの識別を行うことがで
き、動的に時系列パターンを識別することが可能である
。

【図面の簡単な説明】

第１図は本発明の第１の実施例を示す神経回路網型パタ
ーン識別装置の構成図、第２図は第１図の動作フローチ
ャート、第３図は本発明の第２の実施例を示す神経回路
網型パターン識別装置の構成図、第４図は本発明の第３
の実施例を示す神経回路網型パターン識別装置の構成図
、第５図は本発明の第４の実施例を示す神経回路網型パ
ターン識別装置の構成図、第６図はユニット構造の説明
図、第７図は神経回路網の一例を示す図である。 １：ユニットの入力部、２：変換部、３：出力部、４：
結合部、１１：入力パターン呈示部、１２：期待パター
ン呈示部、１３：出力演算部、１４：出力保持部、１５
：比較部、ｌ　６，２３：網制御部。 １７．１９，２０，２２：制御演算記憶部、１８：重み
演算部、１９１：重み係数記憶部、１９２：重み係数演
算部、２１：閾値演算部、２０１：閾値係数記憶部、２
０２：閾値係数演算部、２３１：重み演算部、２３２：
閾値演算部、２２１：重み係数記憶部、２２２：重み係
数演算部、２２３：閾値係数記憶部、２２４：閾値係数
演算部。 特許出願人　日本電信電話株式会社 、゛、〉 代理人　弁理士　磯　村　雅　俊、。 第　　　２　　　図 第　　　６　　　図 第　　７　　　図 教師 ↓ 教師データ（望ましい出力）　ｔｐｊ 官 入力パターンｐ

Claims (1)

【特許請求の範囲】
1. （１）それぞれ複数のユニットを結合して、入力層、中
   間層および出力層の３層から構成される神経回路網を備
   えた神経回路網型パターン識別装置において、識別され
   るべき入力パターンを順次呈示する第１の手段と、当該
   時刻に出力されるべき期待パターンを順次呈示する第２
   の手段と、上記第１の手段により呈示された入力パター
   ンから出力パターンを計算する第３の手段と、該出力パ
   ターンを１単位時間だけ保持する第４の手段と、該出力
   パターンと上記期待パターンの差を計算する第５の手段
   と、上記第４の手段に保持されている１単位時間前の出
   力を用いて神経回路網の動作を制御する第６の手段と、
   該第６の手段に与えるための網制御情報を演算し、該網
   制御情報を記憶する第７の手段とを有することを特徴と
   する神経回路網型パターン識別装置。