JPH0830573A - ニューラルネットワーク - Google Patents
ニューラルネットワークInfo
- Publication number
- JPH0830573A JPH0830573A JP6160470A JP16047094A JPH0830573A JP H0830573 A JPH0830573 A JP H0830573A JP 6160470 A JP6160470 A JP 6160470A JP 16047094 A JP16047094 A JP 16047094A JP H0830573 A JPH0830573 A JP H0830573A
- Authority
- JP
- Japan
- Prior art keywords
- output
- category
- layer
- learning
- teacher data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 17
- 230000003111 delayed effect Effects 0.000 abstract 1
- 238000000034 method Methods 0.000 description 9
- 210000002569 neuron Anatomy 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
(57)【要約】
【目的】 複雑な認識対象に対する認識能力を高める。
【構成】 入力層Ｓと中間層Ａ及び出力層Ｒを有する階
層型ニューラルネットワークにおいて、出力層は、各認
識カテゴリーＡ，Ｂ，Ｃに対して３つのユニットを設け
た多重化構成とし、バックプロパゲーション式学習には
例えば正解カテゴリーＡに属する出力ユニットのうち最
大出力値になる１つのユニットのみ正解の教師データを
与え、カテゴリーＡに属する他のユニットには学習の進
まない教師データとする。これにより、カテゴリー間の
境界を明確にした学習を可能にする。
層型ニューラルネットワークにおいて、出力層は、各認
識カテゴリーＡ，Ｂ，Ｃに対して３つのユニットを設け
た多重化構成とし、バックプロパゲーション式学習には
例えば正解カテゴリーＡに属する出力ユニットのうち最
大出力値になる１つのユニットのみ正解の教師データを
与え、カテゴリーＡに属する他のユニットには学習の進
まない教師データとする。これにより、カテゴリー間の
境界を明確にした学習を可能にする。
Description
【０００１】
【産業上の利用分野】本発明は、階層型のニューラルネ
ットワークに係り、特にパターン認識のための出力層構
成とバックプロパゲーションによる学習処理に関する。
ットワークに係り、特にパターン認識のための出力層構
成とバックプロパゲーションによる学習処理に関する。
【０００２】
【従来の技術】階層型ニューラルネットワークは、例え
ば、音声認識における音声データから音素列に変換する
処理を行い、この結果を使ってＤＴＷ（動的計画法、Ｄ
Ｐマッチング法）で単語識別を行うという離散単語認識
システムに利用される。従来の階層型ニューラルネット
ワークの例を図４に示す。
ば、音声認識における音声データから音素列に変換する
処理を行い、この結果を使ってＤＴＷ（動的計画法、Ｄ
Ｐマッチング法）で単語識別を行うという離散単語認識
システムに利用される。従来の階層型ニューラルネット
ワークの例を図４に示す。
【０００３】ユニット（ニューロン）が入力層Ｓと中間
層Ａ及び出力層Ｒのそれぞれ独立な３層に分離される。
入力層Ｓは、多数個のニューロンモデルから成り、識別
しようとする入力パターンの数値情報を各ユニットの入
力とし、神経信号に変換する。
層Ａ及び出力層Ｒのそれぞれ独立な３層に分離される。
入力層Ｓは、多数個のニューロンモデルから成り、識別
しようとする入力パターンの数値情報を各ユニットの入
力とし、神経信号に変換する。
【０００４】中間層Ａは、多数個のニューロンモデルか
ら成り、入力層Ｓのすべてのユニットと結合荷重Ｗをも
って結合される。
ら成り、入力層Ｓのすべてのユニットと結合荷重Ｗをも
って結合される。
【０００５】出力層Ｒは、識別するカテゴリに１対１に
対応する数のニューロンモデルから成り、中間層Ａのす
べてのユニットと結合荷重をもって結合される。
対応する数のニューロンモデルから成り、中間層Ａのす
べてのユニットと結合荷重をもって結合される。
【０００６】この構成において、出力パターンには、そ
の入力パターンに対応する正解を得るため、入力パター
ンを与えたときの出力パターンが教師信号（期待出力）
と一致するようにネットワークの各結合荷重を変化させ
るパターン変換処理がなされる。
の入力パターンに対応する正解を得るため、入力パター
ンを与えたときの出力パターンが教師信号（期待出力）
と一致するようにネットワークの各結合荷重を変化させ
るパターン変換処理がなされる。
【０００７】このパターン変換処理において、出力パタ
ーンと教師信号との誤差を求め、出力層から入力層へ逆
方向へ誤差を伝播させ、この誤差に応じた量だけ各ユニ
ット間の荷重を調整し、再度に入力パターンを与えて出
力パターンと教師信号の誤差を求めるというバックプロ
パゲーション式学習を行う。
ーンと教師信号との誤差を求め、出力層から入力層へ逆
方向へ誤差を伝播させ、この誤差に応じた量だけ各ユニ
ット間の荷重を調整し、再度に入力パターンを与えて出
力パターンと教師信号の誤差を求めるというバックプロ
パゲーション式学習を行う。
【０００８】
【発明が解決しようとする課題】従来のニューラルネッ
トワークにおいて、実用的な問題を取り扱う場合、カテ
ゴリー間のデータの境界があいまいであるとき、また、
カテゴリー内のデータの特徴のバラツキが大きいときな
ど、１ユニットで１つのカテゴリーを代表させることに
無理が生じることが多い。このため、音素識別など認識
対象が複雑化するに伴って認識率が低下する。
トワークにおいて、実用的な問題を取り扱う場合、カテ
ゴリー間のデータの境界があいまいであるとき、また、
カテゴリー内のデータの特徴のバラツキが大きいときな
ど、１ユニットで１つのカテゴリーを代表させることに
無理が生じることが多い。このため、音素識別など認識
対象が複雑化するに伴って認識率が低下する。
【０００９】本発明の目的は、複雑な認識対象に対する
認識能力を高めるニューラルネットワークを提供するこ
とにある。
認識能力を高めるニューラルネットワークを提供するこ
とにある。
【００１０】
【課題を解決するための手段】本発明は、前記課題の解
決を図るため、入力層と中間層及び出力層を有し、各層
間は結合荷重を有して結合される階層型ニューラルネッ
トワークにおいて、前記出力層は、１つの認識カテゴリ
ーに対して複数のユニットを設け、バックプロパゲーシ
ョン式学習には該当カテゴリーに属する出力ユニットの
うち最大出力値になるユニット以外には学習を行わない
ことを特徴とする。
決を図るため、入力層と中間層及び出力層を有し、各層
間は結合荷重を有して結合される階層型ニューラルネッ
トワークにおいて、前記出力層は、１つの認識カテゴリ
ーに対して複数のユニットを設け、バックプロパゲーシ
ョン式学習には該当カテゴリーに属する出力ユニットの
うち最大出力値になるユニット以外には学習を行わない
ことを特徴とする。
【００１１】
【作用】認識対象のカテゴリー毎に複数のユニットを用
意した多重化出力層構成とし、学習に際して与える教師
データは、入力パターンに対する正解になるカテゴリー
の各ユニットのうち、最大値をもつユニットのみに教師
データを与え、他のユニットには学習を行わない。これ
により、カテゴリー間の境界を明確にした学習を可能に
する。
意した多重化出力層構成とし、学習に際して与える教師
データは、入力パターンに対する正解になるカテゴリー
の各ユニットのうち、最大値をもつユニットのみに教師
データを与え、他のユニットには学習を行わない。これ
により、カテゴリー間の境界を明確にした学習を可能に
する。
【００１２】
【実施例】図１は、本発明の一実施例を示す階層型ネッ
トワーク構成図である。本実施例のネットワークが従来
の階層型ニューラルネットワークと異なる部分は、従来
の構成では出力層の各ユニットが認識対象のカテゴリー
に１対１で対応させるのに対し、本実施例では各カテゴ
リーＡ，Ｂ，Ｃ毎に複数（図示では３）のユニットを用
意する。
トワーク構成図である。本実施例のネットワークが従来
の階層型ニューラルネットワークと異なる部分は、従来
の構成では出力層の各ユニットが認識対象のカテゴリー
に１対１で対応させるのに対し、本実施例では各カテゴ
リーＡ，Ｂ，Ｃ毎に複数（図示では３）のユニットを用
意する。
【００１３】これらユニット中、最大の出力値をもつユ
ニットに属するカテゴリーを認識結果とするのは従来と
同じ手法にされる。
ニットに属するカテゴリーを認識結果とするのは従来と
同じ手法にされる。
【００１４】本実施例の構成において、ニューラルネッ
トの学習は、基本的にはバックプロパゲーション法によ
るが、多重化された出力ユニットに対してはユニットの
識別表現の分化が生じ易くするよう、誤差の計算プロセ
スを図２に示すアルゴリズムとする。
トの学習は、基本的にはバックプロパゲーション法によ
るが、多重化された出力ユニットに対してはユニットの
識別表現の分化が生じ易くするよう、誤差の計算プロセ
スを図２に示すアルゴリズムとする。
【００１５】図２において、破線ブロックは、各カテゴ
リーＡ，Ｂ，Ｃに対する教師データ変更処理を示す。あ
るカテゴリーＸに設定しようとする教師データが１か否
かをチェックし（ステップＳ１）、１でなければ当該カ
テゴリーＸのユニットに与える教師データを０とする
（ステップＳ２）。
リーＡ，Ｂ，Ｃに対する教師データ変更処理を示す。あ
るカテゴリーＸに設定しようとする教師データが１か否
かをチェックし（ステップＳ１）、１でなければ当該カ
テゴリーＸのユニットに与える教師データを０とする
（ステップＳ２）。
【００１６】教師データが１のカテゴリーについては、
当該カテゴリーのユニットのうち、最大出力になるユニ
ットか否かをチェックし（ステップＳ３）、最大出力で
ないユニットにはその出力をそのまま教師データとする
（ステップＳ４）。カテゴリー内で最大出力のユニット
には教師データ１を与える（ステップＳ５）。すなわ
ち、学習を行わない。
当該カテゴリーのユニットのうち、最大出力になるユニ
ットか否かをチェックし（ステップＳ３）、最大出力で
ないユニットにはその出力をそのまま教師データとする
（ステップＳ４）。カテゴリー内で最大出力のユニット
には教師データ１を与える（ステップＳ５）。すなわ
ち、学習を行わない。
【００１７】これら教師データの変更処理は、すべての
カテゴリーＡ，Ｂ，Ｃについて行われる。図３は、教師
データの変更例を示し、カテゴリーＡ，Ｂ，Ｃの出力値
がそれぞれ図示の値になり、また、教師データとしてカ
テゴリーＡに１を、他のカテゴリーＢ，Ｃに０を与える
場合を示す。
カテゴリーＡ，Ｂ，Ｃについて行われる。図３は、教師
データの変更例を示し、カテゴリーＡ，Ｂ，Ｃの出力値
がそれぞれ図示の値になり、また、教師データとしてカ
テゴリーＡに１を、他のカテゴリーＢ，Ｃに０を与える
場合を示す。
【００１８】カテゴリーＢ，Ｃについては教師データが
０になるため、ステップＳ１、Ｓ２の経路から、これら
のカテゴリーには教師データに０を与える。
０になるため、ステップＳ１、Ｓ２の経路から、これら
のカテゴリーには教師データに０を与える。
【００１９】カテゴリーＡには教師データが１になるた
め、その３つのユニットのうちの最大出力にならないユ
ニットにはその出力０.１，０.５を教師データとし（ス
テップＳ３、Ｓ４）、最大出力になるユニットには１の
教師データを与える（ステップＳ３、Ｓ５）。
め、その３つのユニットのうちの最大出力にならないユ
ニットにはその出力０.１，０.５を教師データとし（ス
テップＳ３、Ｓ４）、最大出力になるユニットには１の
教師データを与える（ステップＳ３、Ｓ５）。
【００２０】図２に戻って、各カテゴリーのそれぞれの
ユニットに与える教師データの変更処理を終了した後、
これら教師データを使って通常のバックプロパゲーショ
ン学習アルゴリズムによる学習を行う（ステップＳ
６）。
ユニットに与える教師データの変更処理を終了した後、
これら教師データを使って通常のバックプロパゲーショ
ン学習アルゴリズムによる学習を行う（ステップＳ
６）。
【００２１】したがって、本実施例によれば、カテゴリ
ーを複数のユニットとする多重ユニット構成とし、学習
には入力カテゴリー以外のカテゴリーにはそのユニット
の教師データの全てを０にし、正解になるカテゴリーに
はその最大値になるユニットの教師データを１にし、他
のユニットは出力値を教師データとする。
ーを複数のユニットとする多重ユニット構成とし、学習
には入力カテゴリー以外のカテゴリーにはそのユニット
の教師データの全てを０にし、正解になるカテゴリーに
はその最大値になるユニットの教師データを１にし、他
のユニットは出力値を教師データとする。
【００２２】これにより、１つのカテゴリーに属してい
ながら他のカテゴリーとの境界があいまいで、識別が従
来難しかったケースでも、出力ユニットの多重化により
学習が無理なく進み、良好なパターン識別が期待でき
る。
ながら他のカテゴリーとの境界があいまいで、識別が従
来難しかったケースでも、出力ユニットの多重化により
学習が無理なく進み、良好なパターン識別が期待でき
る。
【００２３】本実施例に基づく実験例として、ニューラ
ルネットにより音声データから音素識別を行い、この音
素識別結果を使ってＤＴＷで単語識別を行った結果、音
素識別能力及び単語識別能力も向上した。
ルネットにより音声データから音素識別を行い、この音
素識別結果を使ってＤＴＷで単語識別を行った結果、音
素識別能力及び単語識別能力も向上した。
【００２４】この実験に使用したニューラルネットは、
出力層を２３ユニット（多重出力では２３×２ユニット
とした）であり、その認識結果を従来型のものと対比さ
せて以下の表１に示す。
出力層を２３ユニット（多重出力では２３×２ユニット
とした）であり、その認識結果を従来型のものと対比さ
せて以下の表１に示す。
【００２５】
【表１】
【００２６】この表からも、従来型ニューラルネットが
誤認識しているカテゴリー１４番の音素データに対し、
本発明になる多重出力型では正しい結果を得ている。
誤認識しているカテゴリー１４番の音素データに対し、
本発明になる多重出力型では正しい結果を得ている。
【００２７】
【発明の効果】以上のとおり、本発明によれば、認識対
象のカテゴリー毎に複数のユニットを用意した多重化出
力層構成とし、学習に際して与える教師データは、入力
パターンに対する正解になるカテゴリーの各ユニットの
うち、最大値をもつユニットのみに教師データを与え、
他のユニットには学習を行わないようにしたため、カテ
ゴリー間の境界を明確にした学習を可能にし、複雑な識
別対象にも良好なパターン識別ができる効果がある。
象のカテゴリー毎に複数のユニットを用意した多重化出
力層構成とし、学習に際して与える教師データは、入力
パターンに対する正解になるカテゴリーの各ユニットの
うち、最大値をもつユニットのみに教師データを与え、
他のユニットには学習を行わないようにしたため、カテ
ゴリー間の境界を明確にした学習を可能にし、複雑な識
別対象にも良好なパターン識別ができる効果がある。
【図１】本発明の一実施例を示すニューラルネットワー
ク構成図。
ク構成図。
【図２】実施例における誤差の計算アルゴリズム。
【図３】実施例における教師データの与え方の例。
【図４】従来の階層型ニューラルネットワーク構成図。
Ｓ…入力層 Ａ…中間層 Ｒ…出力層
Claims (1)
- 【請求項１】 入力層と中間層及び出力層を有し、各層
間は結合荷重を有して結合される階層型のニューラルネ
ットワークにおいて、 前記出力層は、１つの認識カテゴリーに対して複数のユ
ニットを設け、バックプロパゲーション式学習には該当
カテゴリーに属する出力ユニットのうち最大出力値にな
るユニット以外には学習を行わないことを特徴とするニ
ューラルネットワーク。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP16047094A JP3389684B2 (ja) | 1994-07-13 | 1994-07-13 | ニューラルネットワークの学習方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP16047094A JP3389684B2 (ja) | 1994-07-13 | 1994-07-13 | ニューラルネットワークの学習方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0830573A true JPH0830573A (ja) | 1996-02-02 |
| JP3389684B2 JP3389684B2 (ja) | 2003-03-24 |
Family
ID=15715652
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP16047094A Expired - Fee Related JP3389684B2 (ja) | 1994-07-13 | 1994-07-13 | ニューラルネットワークの学習方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3389684B2 (ja) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04337406A (ja) * | 1991-05-14 | 1992-11-25 | Kawasaki Steel Corp | 鋼板の表面等級判別方法 |
| JPH0581226A (ja) * | 1991-09-19 | 1993-04-02 | A T R Shichiyoukaku Kiko Kenkyusho:Kk | 神経回路網学習法およびそれを用いた装置 |
| JPH05135000A (ja) * | 1991-07-04 | 1993-06-01 | Fujitsu Ltd | パターン学習システム |
-
1994
- 1994-07-13 JP JP16047094A patent/JP3389684B2/ja not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04337406A (ja) * | 1991-05-14 | 1992-11-25 | Kawasaki Steel Corp | 鋼板の表面等級判別方法 |
| JPH05135000A (ja) * | 1991-07-04 | 1993-06-01 | Fujitsu Ltd | パターン学習システム |
| JPH0581226A (ja) * | 1991-09-19 | 1993-04-02 | A T R Shichiyoukaku Kiko Kenkyusho:Kk | 神経回路網学習法およびそれを用いた装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3389684B2 (ja) | 2003-03-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Castillo | Functional networks | |
| JP2764277B2 (ja) | 音声認識装置 | |
| US5095443A (en) | Plural neural network system having a successive approximation learning method | |
| US5859925A (en) | Classifying system having a single neural network architecture for multiple input representations | |
| US5677988A (en) | Method of generating a subword model for speech recognition | |
| JPH08227408A (ja) | ニューラルネットワーク | |
| US5864807A (en) | Method and apparatus for training a speaker recognition system | |
| JPH05101028A (ja) | 複数特徴量の統合判定方法 | |
| JPH0830573A (ja) | ニューラルネットワーク | |
| JP2736361B2 (ja) | ニューラルネット構成方法 | |
| JP2000172662A (ja) | ニューラルネットワークの学習方法 | |
| JPH04237388A (ja) | ニューロプロセッサ | |
| JPH0535710A (ja) | ニユーラルネツトワークの学習方法および学習装置 | |
| US5159590A (en) | Multi-slot call relocation control method and system | |
| JPH05204399A (ja) | 不特定話者音素認識方法 | |
| JPH096881A (ja) | ニューラルネットワーク | |
| JPH09138786A (ja) | ニューラルネットワークの学習装置 | |
| JP2743418B2 (ja) | 学習方法 | |
| JPH11175494A (ja) | ニューラルネットワーク | |
| JPH04364565A (ja) | ニューラルネットワーク装置 | |
| JP3393511B2 (ja) | 文字認識装置及び方法 | |
| JPH04253259A (ja) | ニューラルネットワークの学習方法 | |
| JPH0887484A (ja) | ニューラルネットワークによるカテゴリ識別法 | |
| JPH0744195A (ja) | 音声認識用リカレントニューラルネットワーク | |
| JPH03294983A (ja) | 文字認識装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080117 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090117 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |