JPH0281160A - 信号処理装置 - Google Patents
信号処理装置Info
- Publication number
- JPH0281160A JPH0281160A JP63232845A JP23284588A JPH0281160A JP H0281160 A JPH0281160 A JP H0281160A JP 63232845 A JP63232845 A JP 63232845A JP 23284588 A JP23284588 A JP 23284588A JP H0281160 A JPH0281160 A JP H0281160A
- Authority
- JP
- Japan
- Prior art keywords
- signal processing
- unit
- layer
- learning
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。
め要約のデータは記録されません。
Description
【発明の詳細な説明】
Ａ 産業上の利用分野
本発明は、学習機能を有する信号処理装置に関し、特に
、所謂ニューラルネットワーク（ＮｅｕｒａｌＮｅｔｗ
ｏｒｋ ：神経回路網）によるパックプロパゲーション
（Ｂａｃｋ ｐｒｏｐａｇａｔｉｏｎ ：逆転ｔｌ）学
習則に従った学習機能を有する信号処理装置に関する。
、所謂ニューラルネットワーク（ＮｅｕｒａｌＮｅｔｗ
ｏｒｋ ：神経回路網）によるパックプロパゲーション
（Ｂａｃｋ ｐｒｏｐａｇａｔｉｏｎ ：逆転ｔｌ）学
習則に従った学習機能を有する信号処理装置に関する。
Ｂ 発明の概要
本発明は、ニューラルネットワークによるバソクプロバ
ゲーシリン学習則に従った学習機能を有する信号処理装
置において、ニューロンに対応する各ユニットによるリ
カレント回路網にて人力信号に対する信号処理を行うこ
とにより、上記リカレント回路網の結合状態の学習にて
、時間軸上で変動する音声信号等のシーケンシ中ルな時
系列パターンの特徴を抽出できるようにしたものである
。
ゲーシリン学習則に従った学習機能を有する信号処理装
置において、ニューロンに対応する各ユニットによるリ
カレント回路網にて人力信号に対する信号処理を行うこ
とにより、上記リカレント回路網の結合状態の学習にて
、時間軸上で変動する音声信号等のシーケンシ中ルな時
系列パターンの特徴を抽出できるようにしたものである
。
Ｃ従来の技術
ニューラルネットワークの学習アルゴリズムであるバッ
クプロパゲーシゴン学習則ｒ ｒＰａｒａｌｌｅｌＤｉ
ｓｔｒｉｂｕｔｅｄ ＰｒｏｃｅｓｓｉｎｇＪＶｏｌ、
Ｉ Ｔｈｅ旧Ｔ Ｐｒｅｓｓ１９８６や日経エレクトロ
ニクス１９８７年８月１０日号。
クプロパゲーシゴン学習則ｒ ｒＰａｒａｌｌｅｌＤｉ
ｓｔｒｉｂｕｔｅｄ ＰｒｏｃｅｓｓｉｎｇＪＶｏｌ、
Ｉ Ｔｈｅ旧Ｔ Ｐｒｅｓｓ１９８６や日経エレクトロ
ニクス１９８７年８月１０日号。
Ｎｏ、４２７．ｐｐＨ５−１２４等参照ｊは、第４図に
示すように、入力層（３１）と出力層（３３）の間に中
間層（３２）を有する多層構造のニューラルネットワー
クに適用され、高速画像処理やパターン認識等の各種の
信号処理への応用が試みられている。
示すように、入力層（３１）と出力層（３３）の間に中
間層（３２）を有する多層構造のニューラルネットワー
クに適用され、高速画像処理やパターン認識等の各種の
信号処理への応用が試みられている。
すなわち、第４図に示すように、このニューラルネット
ワークを構成する各ユニット（ＵＪ）は、ユニット（Ｕ
、）からユニット（ｕＪ）への結合係数Ｗ ｊ ｌで結
合されるユニット（Ｕ ｔ）の出力値０．の総和ｎｅＪ
を例えばｓｉｇｍｏｉｄ関数などの所定の関数ｆで変換
された値０．を出力する。すなわち、パターンｐの値が
入力層の各ユニット（Ｕ、）に入力値としてそれぞれ供
給されたとき、中間層および出力層の各ユニット（ｕｊ
）の出力値０．、は、Ｑ、、： ｆ ｊ（ｎｅｔ、Ｊ） ”ｆｊ（ΣＷｊム・０．ハ）・・・・・第１式なる第１
式で表される。
ワークを構成する各ユニット（ＵＪ）は、ユニット（Ｕ
、）からユニット（ｕＪ）への結合係数Ｗ ｊ ｌで結
合されるユニット（Ｕ ｔ）の出力値０．の総和ｎｅＪ
を例えばｓｉｇｍｏｉｄ関数などの所定の関数ｆで変換
された値０．を出力する。すなわち、パターンｐの値が
入力層の各ユニット（Ｕ、）に入力値としてそれぞれ供
給されたとき、中間層および出力層の各ユニット（ｕｊ
）の出力値０．、は、Ｑ、、： ｆ ｊ（ｎｅｔ、Ｊ） ”ｆｊ（ΣＷｊム・０．ハ）・・・・・第１式なる第１
式で表される。
そして、入力ＪｉＪ（３１）から出力層（３３）へ向か
って、各ニューロンに対応するユニット（ｕ＝）の出力
値を順次計算していくことで、上記出力Ｉ！ （３３）
のユニット（ｕＪ）の出力値０□が得られる。
って、各ニューロンに対応するユニット（ｕ＝）の出力
値を順次計算していくことで、上記出力Ｉ！ （３３）
のユニット（ｕＪ）の出力値０□が得られる。
バックプロパゲーション学習アルゴリズムにおいては、
パターンｐを与えたときの、出力層（３３）の各ユニッ
ト（Ｕ、）の実際の出力値０□と望ましい出力値Ｌｐｊ
すなわち教師信号との二乗誤差の総和Ｅ。
パターンｐを与えたときの、出力層（３３）の各ユニッ
ト（Ｕ、）の実際の出力値０□と望ましい出力値Ｌｐｊ
すなわち教師信号との二乗誤差の総和Ｅ。
を極小化するように、結合係数Ｗ４（を変える学習処理
を出力層（３３〕から入力層（３１）へ向かって順次に
行うことにより、教師信号の値ｔ７に量も近い出力値ｏ
、Ｊが上記出力層（３３）のユニット（ｕＪ）から出力
されるようになる。
を出力層（３３〕から入力層（３１）へ向かって順次に
行うことにより、教師信号の値ｔ７に量も近い出力値ｏ
、Ｊが上記出力層（３３）のユニット（ｕＪ）から出力
されるようになる。
そして、二乗誤差の総和Ｅ、を小さくする結合係数Ｗｊ
ｉの変化量ΔＷ ｊ ｌを、 ΔＷｊｌ ＱＣａＥｐ ／ａＷ＝ｔ ・・＝・第３式
と決めると、上記第３式は、 ΔＷ、ｉ”η・δ、ｊ・Ｏｐｉ ・・・・・・・・・
・第４式に変形することができる（この過程は上述の文
献を参照）。
ｉの変化量ΔＷ ｊ ｌを、 ΔＷｊｌ ＱＣａＥｐ ／ａＷ＝ｔ ・・＝・第３式
と決めると、上記第３式は、 ΔＷ、ｉ”η・δ、ｊ・Ｏｐｉ ・・・・・・・・・
・第４式に変形することができる（この過程は上述の文
献を参照）。
ここで、ηは学習レート（定数）で、ユニットの数や層
の数さらには入出力の値等から経験的に決定される。ま
た、δ１はユニット（Ｕ、）のもつ誤差値である。
の数さらには入出力の値等から経験的に決定される。ま
た、δ１はユニット（Ｕ、）のもつ誤差値である。
従って、上記変化量ΔＷｊ、を決定するためには、上記
誤差値δ９、をネットワークの出力層から入力層に向か
って逆向きに求めていけば良い。出力層のユニッ）（Ｕ
Ｊ）の誤差値δ、Ｊは、δｐｊ＝ （Ｌ ｓｊ Ｏ、
Ｊ）ｆ ’＝（ｎｅｔｊ） ・・”・第５式なる第５式
で与えられ、中間層のユニッ）（ｕ、）の誤差値δ、ｊ
は、そのユニット（ｕ、）が結合されている各ユニット
（ｕｍ） （この例では出力層の各ユニット）の結合
係数Ｗ ｋ ｊおよび誤差値δ２．を用いて、 δｅＪ＝ ｆ ’ｊ（ｎｅｔｊ）Σδ、＠Ｗｋｊ ９
０．−０第６式なる再帰関数にて計算される（上記第５
式および第６式を求める過程は上述の文献を参照）。
誤差値δ９、をネットワークの出力層から入力層に向か
って逆向きに求めていけば良い。出力層のユニッ）（Ｕ
Ｊ）の誤差値δ、Ｊは、δｐｊ＝ （Ｌ ｓｊ Ｏ、
Ｊ）ｆ ’＝（ｎｅｔｊ） ・・”・第５式なる第５式
で与えられ、中間層のユニッ）（ｕ、）の誤差値δ、ｊ
は、そのユニット（ｕ、）が結合されている各ユニット
（ｕｍ） （この例では出力層の各ユニット）の結合
係数Ｗ ｋ ｊおよび誤差値δ２．を用いて、 δｅＪ＝ ｆ ’ｊ（ｎｅｔｊ）Σδ、＠Ｗｋｊ ９
０．−０第６式なる再帰関数にて計算される（上記第５
式および第６式を求める過程は上述の文献を参照）。
なお、上記ｒ ’ Ｊ（ｎｅｔＪ）は、出力関数ｆ ｔ
（ｎｅｔｊ）の微分値である。
（ｎｅｔｊ）の微分値である。
そして、変化量ΔＷ１．は、上記第５式および第６式の
結果を用いて上述の第４式によって求められるが、前回
の学習結果を用いて、 ΔＷＪＩＬｌ１４１）＝η・δ、Ｊ・Ｏｐｉ＋α・ΔＷ
ｊｉｌ＋＋１・・・・・・第７式 なる第７式にて求めることで、より安定した結果が得ら
れる。なお、αはエラーの振動を減らし、収束を速める
だめの安定化定数である。
結果を用いて上述の第４式によって求められるが、前回
の学習結果を用いて、 ΔＷＪＩＬｌ１４１）＝η・δ、Ｊ・Ｏｐｉ＋α・ΔＷ
ｊｉｌ＋＋１・・・・・・第７式 なる第７式にて求めることで、より安定した結果が得ら
れる。なお、αはエラーの振動を減らし、収束を速める
だめの安定化定数である。
そして、この学習を繰り返し行い、出力値Ｏｐｊと教師
信号の値Ｌｐｊとの二乗誤差の総和Ｅ、が十分に小さく
なった時点で学習を完了するようにしていた。
信号の値Ｌｐｊとの二乗誤差の総和Ｅ、が十分に小さく
なった時点で学習を完了するようにしていた。
Ｄ 発明が解決しようとする課題
ところで、上述の如きバンクプロパゲーション学習剤を
採用した従来の信号処理装置では、ニューロンに対応す
る各ユニットによるフィードフォワード結合だけの回路
網として構成されていたので、上記回路網の結合状態を
入力信号と教師信号から学習することによって入力信号
パターンの特徴を抽出する場合に、時間軸上で変動する
音声信号等のシーケンシ中ルな時系列パターンの特徴抽
出を行うことが困難であった。
採用した従来の信号処理装置では、ニューロンに対応す
る各ユニットによるフィードフォワード結合だけの回路
網として構成されていたので、上記回路網の結合状態を
入力信号と教師信号から学習することによって入力信号
パターンの特徴を抽出する場合に、時間軸上で変動する
音声信号等のシーケンシ中ルな時系列パターンの特徴抽
出を行うことが困難であった。
そこで、本発明は、上述の如き従来の実情に鑑み、ニュ
ーロンに対応する各ユニットにて構成される回路網の結
合状態の学習により、時間軸上で変動する音声信号等の
シーケンシ中ルな時系列パターンの特徴を抽出できるよ
うにすることを目的とし、ニューロンに対応する各ユニ
ットによるリカレント回路網を備える新規な構成の信号
処理装置を提供するものである。
ーロンに対応する各ユニットにて構成される回路網の結
合状態の学習により、時間軸上で変動する音声信号等の
シーケンシ中ルな時系列パターンの特徴を抽出できるよ
うにすることを目的とし、ニューロンに対応する各ユニ
ットによるリカレント回路網を備える新規な構成の信号
処理装置を提供するものである。
Ｅ 課題を解決するための手段
本発明は、それぞれニューロンに対応する信号処理を行
う複数のユニットにて構成された入力層、中間層および
出力層を備える信号処理部と、上記入力層に入力される
入力信号パターンに対する上記出力層の出力値と教師信
号として与えられる所望の出力値との誤差情報に基づい
て上記各ユニットの間の結合の強さの係数を上記出力層
側から上記入力層側に向かって順次に繰り返し計算し、
上記結合の強さの係数の学習処理を行う学習処理部とを
備える信号処理装置において、上記中間層および出力層
の各ユニットにそれぞれ遅延手段を設け、ル−プおよび
フィードバンクを含むリカレント回路網にて、上記信号
処理部を構成したことを特徴としている。
う複数のユニットにて構成された入力層、中間層および
出力層を備える信号処理部と、上記入力層に入力される
入力信号パターンに対する上記出力層の出力値と教師信
号として与えられる所望の出力値との誤差情報に基づい
て上記各ユニットの間の結合の強さの係数を上記出力層
側から上記入力層側に向かって順次に繰り返し計算し、
上記結合の強さの係数の学習処理を行う学習処理部とを
備える信号処理装置において、上記中間層および出力層
の各ユニットにそれぞれ遅延手段を設け、ル−プおよび
フィードバンクを含むリカレント回路網にて、上記信号
処理部を構成したことを特徴としている。
Ｆ 作用
本発明に係る信号処理装置では、それぞれ遅延手段を有
する中間層および出力層の各ユニットでループおよびフ
ィードバックを含むリカレント回路網を構成した信号処
理部にて入力信号に対する信号処理を行い、学習処理部
は上記信号処理部を構成している各ユニットによるリカ
レント回路網の結合状態の学習を教師信号に基づいて行
う。
する中間層および出力層の各ユニットでループおよびフ
ィードバックを含むリカレント回路網を構成した信号処
理部にて入力信号に対する信号処理を行い、学習処理部
は上記信号処理部を構成している各ユニットによるリカ
レント回路網の結合状態の学習を教師信号に基づいて行
う。
Ｇ 実施例
以下、本発明の一実施例について、図面に従い詳細に説
明する。
明する。
本発明に係る信号処理装置は、その構成を第１図のブロ
ック図に概念的に示しであるように、入力信号パターン
ｐから出力値Ｏｐｊを得るための信号処理部（１０）と
、上記信号処理部（１０）にて入力信号パターンｐから
所望の出力値Ｌｐｊに最も近い出力値Ｏｐｊを得るため
の学習を行う学習処理部（２０）にて構成されている。
ック図に概念的に示しであるように、入力信号パターン
ｐから出力値Ｏｐｊを得るための信号処理部（１０）と
、上記信号処理部（１０）にて入力信号パターンｐから
所望の出力値Ｌｐｊに最も近い出力値Ｏｐｊを得るため
の学習を行う学習処理部（２０）にて構成されている。
上記信号処理部（ｌＯ）は、第２図に示すように、少な
くとも入力層（Ｌｌ）と中間層（ＬＭ）と出力層（Ｌｏ
）の３層構造のニューラルネットワークにて構成され、
各層（Ｌｌ）、（Ｌ工）、（ＬＯ）がそれぞれニューロ
ンに対応する任意の個数ｘ、ｙ、ｚのユニッ） （ｕ
ｕ〜ｕ＋ｘ）＋（ｕｗ＋〜ｕｗｙＬ（ｕｏ＋−ｕｏＪに
て構成されている。上記中間層（Ｌ、）および出力層（
ＬＯ）の各ユニット（ｕ＋＋＋〜ｌ１ｗｙ）＋（ｕｏ＋
〜ｕｏｓ）は、それぞれ遅延手段を備え、その出力値０
ｊ１１１ を上記遅延手段を介して自己の入力とするル
ープ（ＬＰ）および他のユニットの入力とするフィード
バック（ＦＢ）を含むリカレント回路網を構成している
。
くとも入力層（Ｌｌ）と中間層（ＬＭ）と出力層（Ｌｏ
）の３層構造のニューラルネットワークにて構成され、
各層（Ｌｌ）、（Ｌ工）、（ＬＯ）がそれぞれニューロ
ンに対応する任意の個数ｘ、ｙ、ｚのユニッ） （ｕ
ｕ〜ｕ＋ｘ）＋（ｕｗ＋〜ｕｗｙＬ（ｕｏ＋−ｕｏＪに
て構成されている。上記中間層（Ｌ、）および出力層（
ＬＯ）の各ユニット（ｕ＋＋＋〜ｌ１ｗｙ）＋（ｕｏ＋
〜ｕｏｓ）は、それぞれ遅延手段を備え、その出力値０
ｊ１１１ を上記遅延手段を介して自己の入力とするル
ープ（ＬＰ）および他のユニットの入力とするフィード
バック（ＦＢ）を含むリカレント回路網を構成している
。
上記信号処理部（１０）において、上記入力層（Ｌｌ）
の各ユニ７ト（ｕ＋＋〜ｕ１、）に入力される入力信号
パターンｐに対して、上記中間層（Ｌ工）の各ユニット
（Ｕ、、〜ｕ、Ｉｙ）は、その入力の総和ｎｅＪが、十
〇ｊ ・・・・・第８式なる第８式にて与
えられ、この入力の総和ｎｅｔ４に対して、 ０ｋｊ ｌｔｌ − ・・・・・・第９式 なる第９式のｓｉｇｍｏｉｄ関数にて示される出力値０
１（１，を与える。
の各ユニ７ト（ｕ＋＋〜ｕ１、）に入力される入力信号
パターンｐに対して、上記中間層（Ｌ工）の各ユニット
（Ｕ、、〜ｕ、Ｉｙ）は、その入力の総和ｎｅＪが、十
〇ｊ ・・・・・第８式なる第８式にて与
えられ、この入力の総和ｎｅｔ４に対して、 ０ｋｊ ｌｔｌ − ・・・・・・第９式 なる第９式のｓｉｇｍｏｉｄ関数にて示される出力値０
１（１，を与える。
さらに、上記出力層（Ｌｏ）の各ユニッ）（ｕｏ＋〜ｕ
ｏ、）は、その入力の総和ｎｅｔ７が、十〇。
ｏ、）は、その入力の総和ｎｅｔ７が、十〇。
・・・・・・第１θ式
なる第１０式にて与えられ、この人力の総和ｎｅＪに対
して、 １＋ｅ なる第１１式にて示される出力値００Ｊ ＩＬ）を与え
る。
して、 １＋ｅ なる第１１式にて示される出力値００Ｊ ＩＬ）を与え
る。
ここで、上記θ、はしきい値、Ｎ Ｉ、ＮＨ，ＮＯは、
上記各層（Ｌ ｌ）、（ＬＨ）、（ＬＯ）の遅延手段の
数をそれぞれ示している。
上記各層（Ｌ ｌ）、（ＬＨ）、（ＬＯ）の遅延手段の
数をそれぞれ示している。
また、上記学習処理部（２０）は、上記信号処理部（１
０）に入力される１サンプルがＸ個で示され時間軸上で
変動するＲ個の入力信号パターンｐ（８１に対する上記
出力層（Ｌｏ）の出力値０．１が、教師信号パターンと
して与えられる所望の出力値ｔ１に最も近い値になるよ
うに、第３図のフローチャートに示す手順で、上記出力
ＦＷｌ（Ｌｏ）側から上記入力層（Ｌｌ）側に向かって
上記各ユニッ）（ＵＯ＋〜ｕｏｉ）＋（ｕｎ＋〜ｕｎｙ
Ｌ（ｕ＋＋〜ｕ＋ｘ）の間の結合の強さの係数Ｗ ｊ
＋を順次に繰り返し計算し、教師信号として与えられる
所望の出力値も２、と上記出力層（ＬＯ）の出力値０゜
ｊとの二乗誤差の総和ＬＭＳを十分に小さくするように
、上記結合係数Ｗ、ｉの学習処理を行う。
０）に入力される１サンプルがＸ個で示され時間軸上で
変動するＲ個の入力信号パターンｐ（８１に対する上記
出力層（Ｌｏ）の出力値０．１が、教師信号パターンと
して与えられる所望の出力値ｔ１に最も近い値になるよ
うに、第３図のフローチャートに示す手順で、上記出力
ＦＷｌ（Ｌｏ）側から上記入力層（Ｌｌ）側に向かって
上記各ユニッ）（ＵＯ＋〜ｕｏｉ）＋（ｕｎ＋〜ｕｎｙ
Ｌ（ｕ＋＋〜ｕ＋ｘ）の間の結合の強さの係数Ｗ ｊ
＋を順次に繰り返し計算し、教師信号として与えられる
所望の出力値も２、と上記出力層（ＬＯ）の出力値０゜
ｊとの二乗誤差の総和ＬＭＳを十分に小さくするように
、上記結合係数Ｗ、ｉの学習処理を行う。
すなわち、上記学習処理部（２０）は、先ず、ステンス
ｌでは、上記入力層（Ｌｌ）の各ユニット（ｕ＋＋〜ｕ
１８）に入力信号パターンｐ ｘｒを与える。そして、
ステップ２では、上記入力信号パターンｐｘｒに対する
上記中間層（Ｌ、）および出力Ｎ（Ｌｏ）の各ユニ７
ト（ｕ Ｎｌ〜ｕ ｗｙ）＋ （ｕ ｏｌ−ｕ ｏｘ）
の各出力値Ｏｐｊ １１ を算出する計算処理を行う。
ｌでは、上記入力層（Ｌｌ）の各ユニット（ｕ＋＋〜ｕ
１８）に入力信号パターンｐ ｘｒを与える。そして、
ステップ２では、上記入力信号パターンｐｘｒに対する
上記中間層（Ｌ、）および出力Ｎ（Ｌｏ）の各ユニ７
ト（ｕ Ｎｌ〜ｕ ｗｙ）＋ （ｕ ｏｌ−ｕ ｏｘ）
の各出力値Ｏｐｊ １１ を算出する計算処理を行う。
次に、ステップ３では、上記教師信号パターンとして与
えられる所望の出力値ｔ、と上記各出力（ａ Ｏ，、。
えられる所望の出力値ｔ、と上記各出力（ａ Ｏ，、。
、に基づいて、上記出力層（Ｌｏ）側から上記入力層（
Ｌｌ）側に向かって上記各ユニット（ｕ ｏ＋〜ｕ ｏ
ｘ）＋ （ｕ □〜ｕ Ｈｙ）の誤差値δ２、を算出す
る計算処理を行う。
Ｌｌ）側に向かって上記各ユニット（ｕ ｏ＋〜ｕ ｏ
ｘ）＋ （ｕ □〜ｕ Ｈｙ）の誤差値δ２、を算出す
る計算処理を行う。
上記ステップ３における計算処理では、上記出力１１（
ＬＯ）の各ユニット（ｕｏ＋〜ｕｏｍ）の誤差値δ。１
が、 δＯｊ”（Ｌｐｊ−ｏＯｊ） ０ｏｊ（１０ｏｊ）・・
・・・第１２式 なる第１２式にて与えられ、また、上記中間層（Ｌ工）
の各ユニッ）（ｕ、、〜ｕ 、ｙ）の誤差値δ。
ＬＯ）の各ユニット（ｕｏ＋〜ｕｏｍ）の誤差値δ。１
が、 δＯｊ”（Ｌｐｊ−ｏＯｊ） ０ｏｊ（１０ｏｊ）・・
・・・第１２式 なる第１２式にて与えられ、また、上記中間層（Ｌ工）
の各ユニッ）（ｕ、、〜ｕ 、ｙ）の誤差値δ。
が、
δ）Ｉｊ＝ ＯＮｊ（Ｌ Ｏ１ｌｊ）ΣδＱｋＷ＠ｊ
・・・・・第１３式 なる第１３式にて与えられる。
・・・・・第１３式 なる第１３式にて与えられる。
次に、ステップ４では、上記各ユニット（ｕｌｌ〜ｕ
ＩＩＩＬ （ｕ Ｎｌ〜ｕ ＮＦ）ｌ （ｕ ｏｌ〜ｕ
ａｍ）に対するｉ番目のユニットからｊ番目のユニッ
トへの結合の強さの係数Ｗ、ｉの学習変数βｊを各入力
値の二乗和にいき値としてｌを加えた値の逆数にて示す
なる第１４式にて算出する計算処理を行う。
ＩＩＩＬ （ｕ Ｎｌ〜ｕ ＮＦ）ｌ （ｕ ｏｌ〜ｕ
ａｍ）に対するｉ番目のユニットからｊ番目のユニッ
トへの結合の強さの係数Ｗ、ｉの学習変数βｊを各入力
値の二乗和にいき値としてｌを加えた値の逆数にて示す
なる第１４式にて算出する計算処理を行う。
さらに、ステップ５では、上記ステップ５にて算出した
学習変数β、を用いて上記各ユニット（ｕ０１〜１０ヨ
）、 （ｕ−＋〜ｕ 、ｙ）＋ （ｕ 、〜Ｕ□）に対
するｉ番目のユニットからｊ番目のユニットへの結合係
数ＩＡＩＢの変化量Δｗ１．を、 ΔＷｊ ｉ ＋ａｌ ＝η・β（δＤｉ Ｏｐｉ）・・
・・第１５式なる第１５式にて算出するとともに、教師
信号に対する各ユニットの二乗誤差の総和ＬＭＳをなる
第１６式にて算出する計算処理を行う、なお、上記第１
５式におけるηは学習定数である。
学習変数β、を用いて上記各ユニット（ｕ０１〜１０ヨ
）、 （ｕ−＋〜ｕ 、ｙ）＋ （ｕ 、〜Ｕ□）に対
するｉ番目のユニットからｊ番目のユニットへの結合係
数ＩＡＩＢの変化量Δｗ１．を、 ΔＷｊ ｉ ＋ａｌ ＝η・β（δＤｉ Ｏｐｉ）・・
・・第１５式なる第１５式にて算出するとともに、教師
信号に対する各ユニットの二乗誤差の総和ＬＭＳをなる
第１６式にて算出する計算処理を行う、なお、上記第１
５式におけるηは学習定数である。
次の、ステップ６では、Ｒ個の入力信号パターンＰａｒ
について上記ステップ１からステップ６までの処理を行
ったか否かの判定を行い、その判定結果が「ＮＯ」であ
る場合には上記ステップｌに戻り、また、その判定結果
がｒ ＹＥＳ 、 すなわち上記Ｒ１の入力信号パタ
ーンｐつ、について上記各ユニット（ｕ０１〜ｕｏＪ＋
（ｕ□〜Ｕ□）、（ｕ、〜ｕ１い間の結合係数Ｗハの変
化量ΔＷｊｉを全て計算したら、ステップ７に移り上記
出力層（Ｌｏ）にて得られる上記出力値０゜Ｊについて
収束条件の判定動作を教師信号として与えられる所望の
出力値ｊ＋＋ｊと上記出力値Ｏ０Ｊとの二乗誤差の総和
ＬＭＳに基づいて行う。
について上記ステップ１からステップ６までの処理を行
ったか否かの判定を行い、その判定結果が「ＮＯ」であ
る場合には上記ステップｌに戻り、また、その判定結果
がｒ ＹＥＳ 、 すなわち上記Ｒ１の入力信号パタ
ーンｐつ、について上記各ユニット（ｕ０１〜ｕｏＪ＋
（ｕ□〜Ｕ□）、（ｕ、〜ｕ１い間の結合係数Ｗハの変
化量ΔＷｊｉを全て計算したら、ステップ７に移り上記
出力層（Ｌｏ）にて得られる上記出力値０゜Ｊについて
収束条件の判定動作を教師信号として与えられる所望の
出力値ｊ＋＋ｊと上記出力値Ｏ０Ｊとの二乗誤差の総和
ＬＭＳに基づいて行う。
上記ステップ７の判定動作では、上記信号処理部（ｌＯ
）の出力層（Ｌｏ）に得られる出力値０．ｊが教師信号
として与えられる所望の出力値Ｌｐ＝に最も近い債にな
っているか否かを判定する。上記ステップ７の判定動作
の結果がｒ ＹＥＳ Ｊ の場合すなわち上記二乗誤
差の総和ＬＭＳが十分に小さくなって、上記出力値Ｏｏ
ｊが上記所望の出力値ｔｐｉに最も近い値になっている
場合には学習処理を完了し、その判定結果が「ＮＯ」の
場合にはステップ８の計算処理に移る。
）の出力層（Ｌｏ）に得られる出力値０．ｊが教師信号
として与えられる所望の出力値Ｌｐ＝に最も近い債にな
っているか否かを判定する。上記ステップ７の判定動作
の結果がｒ ＹＥＳ Ｊ の場合すなわち上記二乗誤
差の総和ＬＭＳが十分に小さくなって、上記出力値Ｏｏ
ｊが上記所望の出力値ｔｐｉに最も近い値になっている
場合には学習処理を完了し、その判定結果が「ＮＯ」の
場合にはステップ８の計算処理に移る。
そして、ステップ８の計算処理では、上記ステップ５に
おいて算出された上記結合係数Ｗｊ＋の変化１ΔＷｊ、
に基づいて、上記各ユニット（ｕｏ１〜ｕｏ、）＋（ｕ
ｏ＋〜ｕ、ｌｙ）＋（ｕ＋＋〜ｕ＋、Ｉ）間の結合係数
Ｗｊｉを次の第１７式および第１８式を用いて変更する
。
おいて算出された上記結合係数Ｗｊ＋の変化１ΔＷｊ、
に基づいて、上記各ユニット（ｕｏ１〜ｕｏ、）＋（ｕ
ｏ＋〜ｕ、ｌｙ）＋（ｕ＋＋〜ｕ＋、Ｉ）間の結合係数
Ｗｊｉを次の第１７式および第１８式を用いて変更する
。
Δ Ｗｊｉ （鈴） ８Δ Ｗハ （１） ＋ αΔ
Ｗｊｉ、、−菫）・・・・第１７式 ％式％ ・・・・第１８式 そして、上記ステップ８の算出処理後に上記ステップ１
に戻って、上記ステップｌからステップ６までの処理動
作を繰り返し行う。
Ｗｊｉ、、−菫）・・・・第１７式 ％式％ ・・・・第１８式 そして、上記ステップ８の算出処理後に上記ステップ１
に戻って、上記ステップｌからステップ６までの処理動
作を繰り返し行う。
この学習処理部（２０）は、上述のステップ１ないしス
テップ８の動作を繰り返し行い、上記所望の出力値ｔ９
、と上記出力値０゜、との二乗誤差の総和Ｅ、が十分に
小さくなり、上記信号処理部（１０）の出力層（Ｌｏ）
に得られる出力値０゜、が教師信号として与えられる所
望の出力値Ｌｐｊに最も近い値になると、上記ステップ
７の判定動作により、学習処理を完了する。
テップ８の動作を繰り返し行い、上記所望の出力値ｔ９
、と上記出力値０゜、との二乗誤差の総和Ｅ、が十分に
小さくなり、上記信号処理部（１０）の出力層（Ｌｏ）
に得られる出力値０゜、が教師信号として与えられる所
望の出力値Ｌｐｊに最も近い値になると、上記ステップ
７の判定動作により、学習処理を完了する。
この実施例の信号処理装置では、上述のようにループ（
ＬＰ）およびフィードバンク（ＦＢ）を含むリカレント
回路網を構成している上記信号処理部（１０）の上記各
ユニット（ｕ０１〜ｕ ｏ、ｌ）＋ （ｕ Ｍｌ 〜ｕ
Ｈｙ） ＋（ｕ ＋＋〜Ｕ□）間の結合係数Ｗ ａ
＋について、教師信号として与えられる所望の出力値ｊ
ｅｊに基づいて上記学習処理部（２０）にて学習するの
で、時間軸上で変動する音声信号等のシーケンシャルな
時系列入力信号パターンＰｘｒについても、その特徴を
上記学習処理部（２０）による学習処理にて確実に抽出
することができる。従って、上記学習処理部（２０）に
よる学習結果として得られる結合係数Ｗｊｉにて上記信
号処理部（１０）の上記各ユニット（ｕｏ＋〜Ｕｏｓ）
＋（ｕＮ＋−ｕＨｙ）、（ｕ＋＋〜ｕ□）間の結合状態
を設定するこによって、上記信号処理部（１０）にて上
記時系列入力信号パターンｐ０に対して所望の信号処理
を施すことができる。
ＬＰ）およびフィードバンク（ＦＢ）を含むリカレント
回路網を構成している上記信号処理部（１０）の上記各
ユニット（ｕ０１〜ｕ ｏ、ｌ）＋ （ｕ Ｍｌ 〜ｕ
Ｈｙ） ＋（ｕ ＋＋〜Ｕ□）間の結合係数Ｗ ａ
＋について、教師信号として与えられる所望の出力値ｊ
ｅｊに基づいて上記学習処理部（２０）にて学習するの
で、時間軸上で変動する音声信号等のシーケンシャルな
時系列入力信号パターンＰｘｒについても、その特徴を
上記学習処理部（２０）による学習処理にて確実に抽出
することができる。従って、上記学習処理部（２０）に
よる学習結果として得られる結合係数Ｗｊｉにて上記信
号処理部（１０）の上記各ユニット（ｕｏ＋〜Ｕｏｓ）
＋（ｕＮ＋−ｕＨｙ）、（ｕ＋＋〜ｕ□）間の結合状態
を設定するこによって、上記信号処理部（１０）にて上
記時系列入力信号パターンｐ０に対して所望の信号処理
を施すことができる。
しかも、この実施例の信号処理装置では、上記各ユニッ
ト（ｕ、Ｉ＋−ｕ、ｙ）＋（ｕｏ＋〜ｕｏ＊）において
入力値のＯｐｉの二乗和の逆数にて示される上記学習変
数βにて学習定数ηを正規化することにより、学習レー
トを上記入力値Ｏｐ＋に応じて動的に変化させて、上記
結合の強さの係数ｗＪ！の学習処理を行うことによって
、学習回数ｎを従来の学習処理の１７４〜１／ｌＯに大
幅に減少させて、高速で安定に学習を行うことができた
。
ト（ｕ、Ｉ＋−ｕ、ｙ）＋（ｕｏ＋〜ｕｏ＊）において
入力値のＯｐｉの二乗和の逆数にて示される上記学習変
数βにて学習定数ηを正規化することにより、学習レー
トを上記入力値Ｏｐ＋に応じて動的に変化させて、上記
結合の強さの係数ｗＪ！の学習処理を行うことによって
、学習回数ｎを従来の学習処理の１７４〜１／ｌＯに大
幅に減少させて、高速で安定に学習を行うことができた
。
Ｈ発明の効果
本発明に係る信号処理装置では、それぞれ遅延手段を有
する中間層および出力層の各ユニットでループおよびフ
ィードバックを含むリカレント回路網を構成した信号処
理部にて入力信号に対する信号処理を行い、学習処理部
は上記信号処理部を構成している各ユニットによるリカ
レント回路網の結合状態の学習を教師信号に基づいて行
うので、時間軸上で変動する音声信号等のシーケンシャ
ルな時系列パターンについても、その特徴を上記学習処
理部による学習処理にて抽出して、所望の信号処理を上
記信号処理部にて施すことができる。
する中間層および出力層の各ユニットでループおよびフ
ィードバックを含むリカレント回路網を構成した信号処
理部にて入力信号に対する信号処理を行い、学習処理部
は上記信号処理部を構成している各ユニットによるリカ
レント回路網の結合状態の学習を教師信号に基づいて行
うので、時間軸上で変動する音声信号等のシーケンシャ
ルな時系列パターンについても、その特徴を上記学習処
理部による学習処理にて抽出して、所望の信号処理を上
記信号処理部にて施すことができる。
第１図は本発明に係る信号処理装置の構成を概念的に示
すブロック図、第２図は上記信号処理装置の信号処理部
の構成を示すニューラルネットワークの一般的な構成を
示す模式図、第３回は上記信号処理装置を構成する学習
処理部における学習処理過程を示すフローチャートであ
る。 第４図はバックブロッパゲーシッン学習則の適用される
ニエーラルネットワークの一般的な構成を示す模式図で
ある。 （１０）・・・・・・・・・・・信号処理部（２０）・
・・・・・・・・・・学習処理部（Ｌｌ）・・・・・・
・・・・入力層 （ＬＨ）・・・・・・・・・・中間層 （Ｌｏ）・・・・・・・・・・出力層 （ｕ＋ｔ〜ｕ＋＋＋Ｌ（ｕｗｔ〜 ｕ ＩＩｙ）＋（ｕ
ｏ＋〜ｕｏＪ ・・・＋−・−・ｅ、ユニット
すブロック図、第２図は上記信号処理装置の信号処理部
の構成を示すニューラルネットワークの一般的な構成を
示す模式図、第３回は上記信号処理装置を構成する学習
処理部における学習処理過程を示すフローチャートであ
る。 第４図はバックブロッパゲーシッン学習則の適用される
ニエーラルネットワークの一般的な構成を示す模式図で
ある。 （１０）・・・・・・・・・・・信号処理部（２０）・
・・・・・・・・・・学習処理部（Ｌｌ）・・・・・・
・・・・入力層 （ＬＨ）・・・・・・・・・・中間層 （Ｌｏ）・・・・・・・・・・出力層 （ｕ＋ｔ〜ｕ＋＋＋Ｌ（ｕｗｔ〜 ｕ ＩＩｙ）＋（ｕ
ｏ＋〜ｕｏＪ ・・・＋−・−・ｅ、ユニット
Claims (1)
- 【特許請求の範囲】 それぞれニューロンに対応する信号処理を行う複数のユ
ニットにて構成された入力層、中間層および出力層を備
える信号処理部と、上記入力層に入力される入力信号パ
ターンに対する上記出力層の出力値と教師信号として与
えられる所望の出力値との誤差情報に基づいて上記各ユ
ニットの間の結合の強さの係数を上記出力層側から上記
入力層側に向かって順次に繰り返し計算し、上記結合の
強さの係数の学習処理を行う学習処理部とを備える信号
処理装置において、 上記中間層および出力層の各ユニットにそれぞれ遅延手
段を設け、ループおよびフィードバックを含むリカレン
ト回路網にて、上記信号処理部を構成したことを特徴と
する信号処理装置。
Priority Applications (7)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP63232845A JP2897220B2 (ja) | 1988-09-17 | 1988-09-17 | 信号処理装置 |
| US07/406,733 US5093899A (en) | 1988-09-17 | 1989-09-13 | Neural network with normalized learning constant for high-speed stable learning |
| EP89402544A EP0360674B1 (en) | 1988-09-17 | 1989-09-15 | Signal processing system and learning processing system |
| EP94107842A EP0612033B1 (en) | 1988-09-17 | 1989-09-15 | learning processing system |
| DE68929102T DE68929102T2 (de) | 1988-09-17 | 1989-09-15 | Lernverarbeitungssystem |
| DE68924822T DE68924822T2 (de) | 1988-09-17 | 1989-09-15 | Signalverarbeitungssystem und Lernverarbeitungssystem. |
| US07/727,871 US5129039A (en) | 1988-09-17 | 1991-07-10 | Recurrent neural network with variable size intermediate layer |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP63232845A JP2897220B2 (ja) | 1988-09-17 | 1988-09-17 | 信号処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0281160A true JPH0281160A (ja) | 1990-03-22 |
| JP2897220B2 JP2897220B2 (ja) | 1999-05-31 |
Family
ID=16945705
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP63232845A Expired - Lifetime JP2897220B2 (ja) | 1988-09-17 | 1988-09-17 | 信号処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2897220B2 (ja) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0451372A (ja) * | 1990-06-20 | 1992-02-19 | Fujitsu Ltd | ニューロコンピュータを用いた動作認識装置 |
| WO1993020552A1 (fr) * | 1992-03-30 | 1993-10-14 | Seiko Epson Corporation | Appareil de reconnaissance vocale utilisant un reseau neuronal, et procede d'apprentissage associe |
| US5787393A (en) * | 1992-03-30 | 1998-07-28 | Seiko Epson Corporation | Speech recognition apparatus using neural network, and learning method therefor |
| US6070139A (en) * | 1995-08-21 | 2000-05-30 | Seiko Epson Corporation | Bifurcated speaker specific and non-speaker specific speech recognition method and apparatus |
| US6151592A (en) * | 1995-06-07 | 2000-11-21 | Seiko Epson Corporation | Recognition apparatus using neural network, and learning method therefor |
| JP2002519720A (ja) * | 1998-06-24 | 2002-07-02 | フォニックス コーポレイション | 多層ネットワークを用いた信号分類の方法と装置 |
-
1988
- 1988-09-17 JP JP63232845A patent/JP2897220B2/ja not_active Expired - Lifetime
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0451372A (ja) * | 1990-06-20 | 1992-02-19 | Fujitsu Ltd | ニューロコンピュータを用いた動作認識装置 |
| WO1993020552A1 (fr) * | 1992-03-30 | 1993-10-14 | Seiko Epson Corporation | Appareil de reconnaissance vocale utilisant un reseau neuronal, et procede d'apprentissage associe |
| US5787393A (en) * | 1992-03-30 | 1998-07-28 | Seiko Epson Corporation | Speech recognition apparatus using neural network, and learning method therefor |
| US5809461A (en) * | 1992-03-30 | 1998-09-15 | Seiko Epson Corporation | Speech recognition apparatus using neural network and learning method therefor |
| US6151592A (en) * | 1995-06-07 | 2000-11-21 | Seiko Epson Corporation | Recognition apparatus using neural network, and learning method therefor |
| US6070139A (en) * | 1995-08-21 | 2000-05-30 | Seiko Epson Corporation | Bifurcated speaker specific and non-speaker specific speech recognition method and apparatus |
| JP2002519720A (ja) * | 1998-06-24 | 2002-07-02 | フォニックス コーポレイション | 多層ネットワークを用いた信号分類の方法と装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2897220B2 (ja) | 1999-05-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Dominguez-Morales et al. | Deep spiking neural network model for time-variant signals classification: a real-time speech recognition approach | |
| JP3329806B2 (ja) | ニューラルネット構築装置 | |
| Watanabe et al. | Learning algorithms of layered neural networks via extended Kalman filters | |
| JPH0281160A (ja) | 信号処理装置 | |
| JP3374476B2 (ja) | ニューラルネットワーク構築方法 | |
| US5630020A (en) | Learning method and neural network structure | |
| JPH04237388A (ja) | ニューロプロセッサ | |
| JPH0581227A (ja) | 神経系回路網信号処理装置及び信号処理方法 | |
| JPH02231670A (ja) | ニューラル・ネットワークの学習装置 | |
| Wan et al. | Introducing cost-sensitive neural networks | |
| JPH11265197A (ja) | 可変入力神経網を利用した音声認識方法 | |
| Mohanty et al. | Recognition of voice signals for Oriya language using wavelet neural network | |
| JP2654686B2 (ja) | ニューラルネットワーク | |
| JP3412700B2 (ja) | 神経回路網型パターン学習方法およびパターン処理装置 | |
| Seo et al. | Structure minimization using the impact factor in neural networks | |
| JPH0281161A (ja) | 信号処理装置 | |
| JPH0981535A (ja) | ニューラルネットワークの学習方法 | |
| JPH09138786A (ja) | ニューラルネットワークの学習装置 | |
| Rashmi et al. | Feed forward multilayer neural network models for speech recognition | |
| JPH0451372A (ja) | ニューロコンピュータを用いた動作認識装置 | |
| Kitazoe et al. | Speech recognition using a stereo vision neural network model | |
| Yazdchi et al. | A new bidirectional neural network for lexical modeling and speech recognition improvement | |
| JP2607351B2 (ja) | 多層パーセプトロンの神経回路網の効率的な学習のための誤差信号の発生方法 | |
| Мигалев et al. | Modeling the Learning of a Spiking Neural Network with Synaptic Delays | |
| JP3343626B2 (ja) | ファジィ推論のためのニューラルネットワーク |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080312 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090312 Year of fee payment: 10 |
|
| EXPY | Cancellation because of completion of term | ||
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090312 Year of fee payment: 10 |