JPH0281161A - 信号処理装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 Ａ　産業上の利用分野 本発明は、学習機能を有する信号処理装置に関し、特に
、所謂ニューラルネットワーク（ＮｅｕｒａｌＮｅｔｗ
ｏｒｋ　：神経回路網）によるバックプロパゲーション
（Ｂａｃｋ　ｐｒｏｐａｇａｔｉｏｎ　：逆伝播）学習
則に従った学習機能を有する信号処理装置に関する。

Ｂ　発明の概要 本発明は、ニューラルネットワークによるパックプロパ
ゲーション学習則に従った学習機能を有する信号処理装
置において、学習レートを入力の値に応じて動的に変化
させることにより、高速でしかも安定した学習を行うこ
とができるようにしたものである。

Ｃ従来の技術 ニューラルネットワークの学習アルゴリズムであるバン
クプロパゲーション学習則ｒ　ｒＰａｒａｌｌｅｌＤｉ
ｓｔｒｉｂｕｔｅｄ　ＰｒｏｃｅｓｓｉｎｇＪＶｏｌ、
Ｉ　Ｔｈｅ　ＭＩＴ　Ｐｒｅｓｓ１９８６や日経エレク
トロニクス１９８７年８月１０日号Ｎｏ、４２７．ｐρ
１１５−１２４等参照Ｊは、第３図に示すように、入力
層（３１）と出力層（３３）の間に中間層（３２）を有
する多層構造のニューラルネットワークに適用され、高
速画像処理やパターン認識等の各種の信号処理への応用
が試みられている。

すなわち、第３図に示すように、このニューラルネット
ワークを構成する各ユニット（ｕ、）は、ユニットＣｕ
ｔ）からユニット（ｕｊ）への結合係数Ｗ　ｊ　！で結
合されるユニッ）（Ｕｔ）の出力値０．の総和ｎｅＬＪ
を例えばｓｉｇｍｏｉｄ関数などの所定の関数ｒで変換
された値０４を出力する。すなわち、パターンｐの値が
入力層の各ユニット（ｕ、）に人力値としてそれぞれ供
給されたとき、中間層および出力層の各ユニット（ｕＪ
）の出力値ＱｐＪは、ｏＤｉ＝ｆ　ｊ　（ｎｅＬ＠Ｊ） ′ｒ・（Σ”ｊｉ、Ｏｌ１ｊｉ　）　””第１式なる第
１式で表される。

そして、入力層（３１）から出力層（３３）へ向かって
、各ニューロンに対応するユニット（Ｕ、）の出力値を
順次計算してい（ことで、上記出力Ｎ（３３）のユニッ
ト（ｕ７）の出力ｆｌｏｐ；が得られる。

バックプロパゲーション学習アルゴリズムにおいては、
パターンｐを与えたときの、出力Ｊｉ　（３３）の各ユ
ニット（ｕＪ）の実際の出力値０□と望ましい出力値Ｌ
ｅＪすなわち教師信号との二乗誤差の総和Ｅ。

を極小化するように、結合係数ｗｊｉを変える学習処理
を出力層（３３）から入力層（３１）へ向かって順次に
行うことにより、教師信号の値Ｌｅ＝に最も近い出力値
Ｏｐｊが上記出力層（３３）のユニッ）　（ｕ　＝）か
ら出力されるようになる。

そして、二乗誤差の総和Ｅ、を小さくする結合係数ｗｊ
ｉの変化量Δ、ｗｊｉを、 ΔｗＪｒ　ＣＣ−９Ｅｐ　／　０Ｗ＝ｉ　　＋＋・・＋
第３式と決めると、上記第３式は、 ６ｗ５．−η・δ２．・Ｏ，ｉ　　・・・・・・・・・
第４式に変形することができる（この過程は上述の文献
を参照）。

ここで、ηは学習レート（定数）で、ユニットの数や層
の数さらには入出力の値等から経験的に決定される。ま
た、δｐｊはユニット（Ｕ、）のもつ誤差値である。

従って、上記変化量Δｗｊｉを決定するためには、上記
誤差値δ、ｊをネットワークの出力層から入力層に向か
って逆向きに求めていけば良い。出力層のユニッ）（ｕ
ｊ）の誤差値δ９．は、δｐｊ＝（ｊｐ、−ｏｐｊ）　
ｆ　’ｊ（ｎｅｔＪ）　　−第５式なる第５式で与えら
れ、中間層のユニット（ｕ、）の誤差値δ、、、は、そ
のユニット（ｕＪ）が結合されている各ユニット（ｕｈ
）　　（この例では出力層の各ユニノ日の結合係数Ｗ□
および誤差値δ、を用いて、 δｐｊ　＝ｆ　’　）　（ｎｅｔＪ）Σδ、に−ｗ　、
、・・・・・第６式なる再帰関数にて計算される（上記
第５式および第６式を求める過程は上述の文献を参照）
。

なお、上記ｒ　’　ｊ（ｎｅｔ＝）は、出力関数ｆ　４
（ｎｅｔ＝）の微分値である。

そして、変化量ΔＷ　ｊ　ｉは、上記第５式および第６
式の結果を用いて上述の第４式によって求められるが、
前回の学習結果を用いて、 Δ　Ｗｊｌ（、令１）　８　η　・　δｐｊゆ　０　、
、＋　α、Δ　Ｗａｔｌｍｌ・・・・・・第７式 なる第７式にて求めることで、より安定した結果が得ら
れる。なお、αはエラーの振動を減らし、収束を速める
ための安定化定数である。

そして、この学習を繰り返し行い、出力値０２゜と教師
信号の値ｔ０との二乗誤差の総和Ｅ、が十分に小さくな
った時点で学習を完了するようにしていた。

た新規な構成の信号処理装置を提供するものであり　発
明が解決しようとする課題 ところで、上述の如きバックプロパゲーション学習剤を
ニューラルネットワークに採用した従来の信号処理装置
では、ニューロンに対応するユニットの数や層数さらに
は入出力の値等から上述の学習定数ηを経験的に決定し
て、上述の第７式を用いて一定の学習レートで学習を行
っていたので、出力値ＯｐＪと教師信号の値Ｌｐｊとの
二乗誤差の総和Ｅｐが十分に小さくなり学習を完了する
までに要する学習の繰り返し回数ｎが膨大な値になって
しまい、効率の良い学習を行うことができないという問
題点があった。

そこで、本発明は、上述の如き従来の実情に鑑み、バッ
クプロパゲーション学習剤をニューラルネットワークに
採用して効率の良い学習を行うことができるようにする
ことを目的とし、学習レートを入力の値に応じて動的に
変化させて、高速でしかも安定した学習を行うことがで
きるようにしる。

ＥＬ！題を解決するための手段 本発明は、上述の目的を達成するために、それぞれニュ
ーロンに対応する信号処理を行う複数のユニットにて構
成された入力層、中間層および出力層を備える信号処理
部と、上記入力層に人力される入力信号パターンに対す
る上記出力層の出力値と教師信号として与えられる所望
の出力値との誤差情報δ、ムに基づいて上記各ユニット
の間の結合の強さの係数ｗｊｉを上記出力層側から上記
入力層側に向かって順次に繰り返し計算し、上記結合の
強さの係数Ｗｊｌの学習処理を行う学習処理部とを備え
る信号処理装置において、上記学習処理部は、上記結合
の強さの係数ｗｊｉの変化量Δｗｊｉをη・β（δｐｊ
　Ｏｐｉ）に基づいてで算出しくただし、ηは学習定数
、βは学習変数、αは安定化定数）、ｗｊｉ＝ｗｊｉ＋
Δｗｊｉ　　　・・・・・・・・・第８式なる第８式に
て示される結合の強さの係数ｗｊｉを上記信号処理部の
各ユニットに与え、上記各ユニットにおける入力値Ｏｐ
ｉの二乗和に１を加えた値の逆数にて第９式のように示
される上記学習変数β にて上記学習定数ηを正規化した学習レートにて上記結
合の強さの係数ｗＪ、の学習処理を行うことを特徴とし
ている。

Ｆ　作用 本発明に係る信号処理装置では、各ユニットにおける入
力値Ｏｐｉの二乗和にいき値として１を加えた値の逆数
にて示される学習変数βにて学習定数ηを正規化するこ
とにより、学習レートを上記入力値Ｏｐｌに応じて動的
に変化させて、各ユニット間の結合の強さの係数Ｗ　ａ
　ｉの学習処理を行う。

Ｇ　実施例 以下、本発明の一実施例について、図面に従い詳細に説
明する。

本発明に係る信号処理装置は、その構成を第１図のブロ
ンク図に概念的に示しであるように、入力信号パターン
ｐから出力値ｏｐ＝を得るための信号処理部（ｌＯ）と
、上記信号処理部（１ｏ）にて入力信号パターンｐから
所望の出力値Ｌｐｊに最も近い出力値０□を得るための
学習を行う学習処理部（２ｏ）にて構成されている。

上記信号処理部（１０）は、ニューラルネットワークに
て構成され、少なくとも入力層（Ｌ、）と中間層（ＬＭ
）と出力層（Ｌｏ）の３層構造になっており、各層（Ｌ
ｌ）、（ＬＭ）、（ＬＯ）がそれぞれニューロンに対応
する任意の個数Ｘ＋ｙ１Ｚ　　のユニット（ｕ１１〜ｕ
ｌｌｌ）＋（ｕＮｌ””ｕｌｌｙ）＋（ｕｏｌ〜ｕｏｓ
）にて構成されている。

上記各ユニット（ｕ１１〜ｕ１．）１（ｕ□〜ｕ、ｙ）
＋（ｕｏ＋−ｕｏｓ）は、 ｎ６Ｊ　ｍΣ”　ｊ　ｉ　Ｏ□　　・・・・・・・・・
第１０式なる入力の総和ｎｅｔＪに対して、θ、をしき
い値とする １＋ｅ なる第１１式のｓｉｇｍｏｉｄ関数にて示される出力値
Ｏｐｊを与えるようになっている。

また、上記学習処理部（２０）は、上記信号処理部（１
０）に入力される入力信号パターンｐに対する上記出力
層（ＬＯ）の出力値Ｏ６Ｊが、教師信号として与えられ
る所望の出力値Ｌｐｊに最も近い値になるように、第２
図のフローチャートに示すような手順で、上記出力Ｊｌ
！１（Ｌｏ）側から上記入力層（Ｌ、）側に向かって上
記各ユニット（ｕ＋＋〜ｕ１．）、（ｕ工〜Ｕ□Ｌ　（
ｕ　ｏｌ”’−ｕ　ｏＪの間の結合の強さの係数Ｗ５．
を順次に繰り返し計算し、上記所望の出力値り２、と上
記出力値Ｏ８４との二乗誤差の総和Ｅ９を十分に小さく
するように、上記結合係数ｗｊｉの学習処理を行う。

すなわち、上記学習処理部（２０）は、先ず、ステップ
１において、上記各ユニッ１−（ｕｌｌ、〜Ｕ　）＋、
）（ｕ０１〜ｕｏＪに結合係数Ｗ４．を与えて、上記信
号処理部（１０）における入力信号パターンｐに対する
上記出力Ｆｆｆ（ＬＯ）の出力値Ｏ８、の算出処理を行
い、次のステップ２にて、上記出力４ｆｉＯｏ＝につい
て、教師信号として与えられる上記所望の出力（ｌ！！
Ｌ、、と上記出力値０．ｊとの二乗誤差の総和Ｅ、に基
づいて収束条件の判定動作を行う。

上記ステップ２の判定動作では、上記信号処理部（ｌＯ
）の出力層（Ｌｏ）に得られる出力値０゜、が上記所望
の出力値Ｌｐｊに最も近い値になっているか否かを判定
する。上記ステップ２の判定動作の結果がｒ　ＹＥＳ　
ｊ　　すなわち上記二乗誤差の総和Ｅ、が十分に小さく
なり、上記出力（１１！ｏＯＪが上記所望の出力値Ｌｐ
ｊに最も近い値になっている場合には学習処理を完了し
、その判定結果が「ＮＯ」の場合にはステップ３ないし
ステップ６の各算出処理を順番に行う。

上記ステップ３の算出処理では、上記信号処理部（ｌＯ
）の各ユニｙ　ト（ｕ＋ｕ〜ｕｌＩｙ）＋　（ｕｏ＋〜
ｕｏｇ）の誤差値δ、Ｊを算出する。このステップ３の
算出処理において、上記出力層（Ｌ、）の各ユニット（
ｕ　ｏ＋〜ｕ　ｏｊの誤差値δ。、は、δｏａ＝（ｔｐ
ＪＯｏＪ）ＯｏＪ（１０ｏＪ）・・・・・・・・・第１
２式 なる第１２式にて与え、また、上記中間層（ＬＨ）の各
ユニット（Ｕ□〜ｕｎｙ）の誤差値δ９．は、δＩＩ＝
＝　ｏ、ＩＪ（１ｏｎｊ）Σδ０．−Ｗｋｊ・・・・・
・・・・第１３式 なる第１３式にて与えられる。

次に、ステップ４の算出処理では、上記各ユニット（ｕ
、Ｉ＋−ｕ、ｙＬ（ｕｏｔ〜ｕｏｇ）に対するｉ番目の
ユニットからｊ番目のユニットへの結合の強さの係数Ｗ
、ｉの学習変数β、を全人力の二乗和にいき値として１
を加えた値の逆数にて示すなる第１４式にて算出する。

さらに、ステップ５の算出処理では、学習定数をη、エ
ラーの振動を減らして収束を速めるための安定化定数を
αとして、上記学習変数β、を用いて上記各ユニット（
ｕ□〜ｕｎｙ）＋　（ｕｏ＋〜ｕｏｇ）に対するｉ番目
のユニットからｊ番目のユニットへの結合係数ｗｊｉの
変化量Δｗｊｉを、Δ”ｊｌ　１ｌｌｅｌｌ　”’η・
β（δ１１Ｊ０１１．）＋α・ΔＷｊ＋ｉｎ＋・・・・
・・・第１５式 なる第１５式にて算出する。

そして、ステップ６の算出処理では、上記ステップ５に
おいて算出された上記結合係数ＷＪｌの変化量Δｗｊｉ
に基づいて、第１６式に示すように、上記各ユニット（
ｕ□〜ｕｎｙ）＋（ｕｏ＋〜ｕｏｔ）の結合係数Ｗ　ｊ
　ｉを ｗ、、＝ｗｊｉ＋Δｗｊｉ　　・・・・・・・・・第１
６式に変更する。

そして、上記ステップ１に戻って、上記信号処理部（１
０）における人力信号パターンｐに対する上記出力層（
Ｌｏ）の出力値０゜Ｊの算出処理を行う。

この学習処理部（２０）は、上述のステップｌないしス
テップ６の動作を繰り返し行い、上記教師信号として与
えられる所望の出力値ｊｐ＝と上記出力値０゜ｊとの二
乗誤差の総和Ｅ、が十分に小さくなり、上記信号処理部
（ｌＯ）の出力層（Ｌｏ）に得られる出力値０゜Ｊが上
記所望の出力（ａＬｐ＝に最も近い値になると、上記ス
テップ２の判定動作により、学習処理を完了する。

この実施例の信号処理装置のように、上記各ユニット（
ｕＨ＋〜ｕ、ｌｙ）＋（ｕｏ＋〜ｕ　、、）において入
力値ｏ１の二乗和にいき値として１を加えた値の逆数に
て示される上記学習変数βにて学習定数ηを正規化する
ことにより、学習レートを上記入力値０２．に応じて動
的に変化させて、上記結合の強さの係数ｗｊｉの学習処
理を行うことによって、学習回数ｎを従来の学習処理の
１７４〜１／１０に大幅に減少させて、高速で安定に学
習を行うことができた。

なお、第１５式における学習定数ηおよび安定化定数α
を全入カバターンに対する誤差の最大値ＥＩｌａｘの関
数として第１７式および第１８式のように表して、 η＝ａＥｍａｘ　　　　　・φ・・・・・第１７式α＝
　　ｂＥｓａｘ　＋　ｃ　　、、、、、、、第１８式（
ａ、ｂ、ｃは定数） これらを動的に変更することで、より高速の学習処理を
行うことができる。

Ｈ発明の効果 本発明に係る信号処理装置では、各ユニットにおける入
力（１ｆ！Ｏｐｔの二乗和にいき値としてｌを加えた値
の逆数にて示される上記学習変数βにて学習定数ηを正
規化することにより、学習レートを上記入力値Ｏｐｉに
応じて動的に変化させて、上記結合の強さの係数ｗｊｉ
の学習処理を行うので、高速でしかも安定した学習を行
うことができる。

【図面の簡単な説明】

第１図は本発明に係る信号処理装置の構成を概念的に示
すブロック図、第２図は上記信号処理装置を構成する学
習処理部における学習処理過程を示すフローチャートで
ある。 第３図はバックプロシバゲーション学習則の適用される
ニューラルネットワークの一最的な構成を示す模式図で
ある。 （１０）・・・・・・・・・・・・・・・信号処理部（
２０）・・・・・・・・・・・・・・・学習処理部（Ｌ
ｌ）・・・・・・・・・・・・・・入力層（ＬＨ）・・
・・・・・・・・・・・・中間層（Ｌ、）・・・・・・
・・・・・・・・出力層（ｕｚ〜ｕ＋ｚ）＋（ｕ、＋〜
ｕｗｚ）＋（ｕｏｘ〜ｕｏｍ）・・・・・・・ユニット

Claims (1)

1. 【特許請求の範囲】 それぞれニューロンに対応する信号処理を行う複数のユ
   ニットにて構成された入力層、中間層および出力層を備
   える信号処理部と、上記入力層に入力される入力信号パ
   ターンに対する上記出力層の出力値と教師信号として与
   えられる所望の出力値との誤差情報δ＿ｊ＿ｉに基づい
   て上記各ユニットの間の結合の強さの係数ｗ＿ｊ＿ｉを
   上記出力層側から上記入力層側に向かって順次に繰り返
   し計算し、上記結合の強さの係数ｗ＿ｊ＿ｉの学習処理
   を行う学習処理部とを備える信号処理装置において、 上記学習処理部は、上記結合の強さの係数ｗ＿ｊ＿ｉの
   変化量Δｗ＿ｊ＿ｉをη・β（δ＿ｐ＿ｊ・ｏ＿ｐ＿ｉ
   ）に基づいて算出し（ただし、ηは学習定数、βは学習
   変数）、ｗ＿ｊ＿ｉ＝ｗ＿ｊ＿ｉ＋Δｗ＿ｊ＿ｉ なる結合の強さの係数ｗ＿ｊ＿ｉを上記信号処理部の各
   ユニットに与え、上記各ユニットにおける入力値ｏ＿ｐ
   ＿ｉの二乗和に１を加えた値の逆数にて示される上記学
   習変数β ▲数式、化学式、表等があります▼ にて上記学習定数ηを正規化した学習レートにて上記結
   合の強さの係数ｗ＿ｊ＿ｉの学習処理を行うことを特徴
   とする信号処理装置。