JPH08314879A - ニュ−ラルネットの学習方法及びニュ−ラルネット型パターン認識装置 - Google Patents

Abstract

(57)【要約】 【目的】 本発明は、ニューラルネットの過学習を防止
することを目的とするものである。 【構成】 本願では、品質の高い学習用データ（教師用
データ）は確実に学習し、品質の低い識別困難な学習用
データ（教師用データ）は、曖昧に学習する（曖昧学習
処理）。この曖昧学習処理は、例えば、教師信号の値を
変更する変更手段（２１ｂ）により制御される。又、例
えば、学習の必要時を判断する判断基準（誤差総和所定
値Ｇ）を変更する変更手段（２１ａ）により制御され
る。

Description

【発明の詳細な説明】

【０００１】本発明は、ニュ−ラルネットの学習方法及
びニュ−ラルネット型パターン認識装置に関する。

【０００２】

【従来の技術】ニュ−ラルネットに関しては、以下の文
献等により極めて周知である。 （ａ）．産業図書株式会社1994年9月12日発行の「ニュ
−ロ・ファジィ・遺伝的アルゴリズム」。 （ｂ）．オ−ム社平成5年1月25日発行の「ニュ−ロ・フ
ァジィ・カオス」。

【０００３】ニュ−ラルネットの実用的使用分野には、
音声認識・文字認識等のパターン認識の分野がある。文
字認識装置にニュ−ラルネットを用いた従来例を図１〜
図１１を参照しつつ、説明する。尚、公知の事項なので
「発明が解決しようとする課題」の項まで、読み飛ばし
てもらっても結構である。

【０００４】この例のニュ−ラルネット型文字認識装置
は、「０」〜「９」までの数字を認識するものである。
そして、時間のかかる学習を、予め高性能なコンピュー
タにより行う。そして、この学習結果である結合係数を
ＲＯＭに覚え込ませる。商品に、このＲＯＭを搭載し
て、結合係数による演算を行い文字認識を行うものであ
る。つまり、商品後には、学習を行わないタイプであ
る。

【０００５】図１は、第１従来例の学習用のニュ−ラル
ネット型文字認識装置の構成を示す図である。図２は、
ＲＯＭを搭載したニュ−ラルネット型文字認識装置（商
品）の構成を示す図である。図３は、学習用のサンプル
データを示す図であり、この例では、「０」〜「９」を
１セットとし、１０００セット（計１万個）のサンプル
データである。

【０００６】図４は、「その他」用の１０個の学習用の
サンプルデータである。図５は、正規化の１例を示す図
であり、ここでは８×８画素のデータとしている。図６
は、ニュ−ラルネット型文字認識部（１６）周辺を示す
図である。図７は、この第１従来例の教師信号を示す図
である。

【０００７】図８は、この第１従来例とは、異なる従来
の教師信号の一例を示す図である。図９は、この第１従
来例の動作を示す図である。図１０は、数を増やした学
習用のサンプルデータを示す図であり、ここでは、
「０」〜「９」を２０００セット（計２万個）のサンプ
ルデータを学習することになる。

【０００８】図１１は、この第１従来例とは、異なる従
来のニュ−ラルネット型文字認識部（１６）周辺を示す
図である。まず、この第１従来例について、説明する。
尚、パターン認識等については、特開平4-219883号公報
(G06K9/66)、特開平5-324838号公報(G06K9/66)等にも示
されるように周知技術であるので、説明は簡単なものと
する。

【０００９】図１において、１０は学習用サンプルデー
タ（教師用サンプルデータ）が、格納された記憶部であ
る。この教師用サンプルデータ記憶部１０には、図３及
び図４に示されるように予かじめ正解の分かっているサ
ンプルデータが、１００１０個格納されている。１２
は、入力されたサンプルデータを正規化する正規化部で
ある。ここでは、図５に示される様に、８×８画素のデ
ータに揃える。

【００１０】図１の１４は、認識処理を容易にするため
の特徴抽出部である。この特徴抽出部１４は、前処理部
とも呼ばれる。この特徴抽出部１４の処理としては、骨
格化（細線化）、平均輝度抽出、方向成分の抽出等の種
々の処理が、従来から提案されている。この部１４は、
認識処理を容易にするためのものであり、削除しても動
作するが、一般的には、認識率は低下する。当然、この
特徴抽出部での抽出する特徴を下手に選ぶと、反対に認
識率は低下する。

【００１１】１６は、ニュ−ラルネット型文字認識部で
ある。この詳細は、図６で述べる。図１の１８は、教師
信号出力部である。この教師信号出力部１８には、サン
プルデータの正解データが、入力され、この正解データ
に対応する図７の教師信号を出力する。尚、この例で
は、ニュ−ラルネット型文字認識部１６の出力層の端子
数は、図６の如く、１１端子である。従って、図７の如
く、設計したが、端子数が４ならば、図８の如く設計す
ることも考えられる。

【００１２】図１の２０は、学習を制御する学習制御部
である。この学習制御部２０は、ニュ−ラルネット型文
字認識部１６の出力信号と、教師信号との差（誤差）に
より、学習を制御する。そして、バックプロパゲ−ショ
ン法（ＢＰ法）により、ニュ−ラルネット型文字認識部
１６内の各階層間の結合係数（重み係数）を少しずつ修
正する。

【００１３】２２は、ＲＯＭである。このＲＯＭ２２に
は、学習終了後にニュ−ラルネット型文字認識部１６内
の各階層間の結合係数（重み係数）が、記憶される。図
２は、商品を示す図である。２４は、文字列データの入
力部である。２６は、文字列データを１字に切り分ける
文字切り出し部である。

【００１４】１２ａは、切り出された文字データを正規
化する正規化部である。ここでは、図５に示される様
に、８×８画素のデータに揃える。図１の正規化部１２
と全く同じ処理を行う。１４ａは、認識処理を容易にす
るための特徴抽出部である。この特徴抽出部１４ａは、
前述の特徴抽出部１４と全く同じ処理を行う。もし、図
１の特徴抽出部１４が設けられていなければ、当然、こ
の特徴抽出部１４ａも設けない。

【００１５】１６ａは、ニュ−ラルネット型文字認識部
である。ニュ−ラルネット型文字認識部１６ａは、ニュ
−ラルネット型文字認識部１６と同じ構成であり、且
つ、結合係数は前記ＲＯＭ２２により、設定される。２
４は、文字認識結果を出力する出力部である。図６は、
学習時のニューラルネット型認識部１６の周辺を示す図
である。

【００１６】ここでは、正規化部１２の８×８画素の文
字データをそのまま特徴抽出データとしている。つま
り、８×８＝６４個のデータを出力している。ニューラ
ルネット型認識部１６は、３層である。認識部１６の入
力層の端子数は、６４個である。出力層の端子数は、１
１個であり、左から「０」〜「９」「ＥＸ（その他）」
に対応している。

【００１７】２０ａは、認識部１６の出力信号と、教師
信号との差を出力する誤差出力部である。２０ｂは、こ
の誤差に応じて、ＢＰ法により、各層間の結合係数（Ｗ
ｈｏ，Ｖｉｊ）を少しずつ補正する修正部である。２０
ｃは、この誤差の総和が所定値より大きな場合に、前記
修正部２０ｂによる補正を行わしめる誤差総和検出部で
ある。言い換えれば、誤差総和検出部２０ｃは、誤差の
総和が所定値より小さな場合は、修正部２０ｂによる学
習処理（結合係数の修正処理）を停止させる。

【００１８】この誤差出力部２０ａ，修正部２０ｂ，誤
差総和検出部２０ｃが、前述の学習制御部２０を構成し
ている。この第１従来例での学習時の動作を図９を参照
しつつ、説明する。尚、第１従来例の学習は、巡回回数
（繰り返し回数）を設定するタイプである。このタイプ
は、所定回数巡回すると、学習を終了する。尚、当然、
収束条件を満たす場合に、学習を終了する様にしてもよ
い。

【００１９】まず、図９のＳ１に示すように、巡回回数
ｍを設定する。そして、図９のＳ２に示すように、サン
プルデータを入力する。つまり、図１の教師用サンプル
データ記憶部１０は、図３又は図４に示すサンプルデー
タを図１の正規化部１２に順次出力し、対応する正解デ
ータを教師信号出力部１８に出力する。

【００２０】サンプルデータは、正規化部１２で正規化
され、特徴抽出部１４を介して、認識部１６に入力され
る。認識部１６は、結合係数に基づいて演算処理を行
い、出力層から出力信号を出す。図９のＳ３に示すよう
に、出力信号と教師信号とを比較して、誤差を求める。

【００２１】つまり、図６の誤差出力部２０ａは、出力
信号と教師信号とを比較して、誤差を出力する。図９の
Ｓ４，Ｓ５に示す様に、誤差の総和が、０．５以下か否
かを求める。０．５以下であれば、学習の必要無しとす
る。０．５より大きければ、Ｓ５でＢＰ法により、誤差
が小さくなるように、結合係数を微調整する。

【００２２】つまり、図６の誤差総和検出部２０ｃは、
誤差の総和が、０．５以下であれば、修正部２０ｂの動
作を停止させる。これにより、不必要な学習を除外出
来、学習効率が上がる。図９のＳ６に示すように、最後
のデータ（１万１０個目のデータ）でなければ、次のサ
ンプルデータで同様に処理する。

【００２３】図９のＳ７，Ｓ８に示すように、この１万
１０個目のデータによる学習をｍ回繰り返した後に、Ｓ
９の如く、学習を終了し、結合係数をＲＯＭ２２に取り
出す。そして、図２に示すように、このＲＯＭ２２を使
用すれば、学習済みの図１のニュ−ラルネット型認識部
１６を図２のニュ−ラルネット型認識部１６ａにそっく
り再生出来るので、これを用いて文字認識を行う。

【００２４】このようなニュ−ラルネット型認識部の認
識率を上げるには、図１０に示すようにサンプルデータ
数を増やせば良い。又、この図６の例では、特徴抽出部
１４は不動作であったが、図１１のように、正規化後の
データを８方向の４×４画素の方向成分に変換する特徴
抽出部１４を設けて、これを入力してもよい。尚、この
図１１の認識部１６の入力層の端子数は、８×４×４＝
１２８個となる。

【００２５】

【発明が解決しようとする課題】認識の性能を上げるた
めには、前述の図１０のように、学習するサンプル数を
増加する。そして、学習するサンプル数を増加しても、
十分に学習できるように、巡回（繰り返し学習）の回数
を増やす。

【００２６】しかし、このような手法は、新たな問題を
引き起こす。増加した多くのサンプルデータの中には、
正解データは異なるが、サンプルデータは非常に類似し
ているものがある。このようなサンプルデータで学習を
行うと、以下の問題が発生しやすくなる。

【００２７】．学習に時間がかかる。 ．認識率が低下する。 ．さらに、認識時に、学習時のサンプルと同じデータ
が入力されると、正確な答えを出力する。しかし、認識
時に、学習時のサンプルのデータと近い他のデータが入
力されると、大きくかけ離れた（とんでもない）答えを
出力する可能性が高まる。

【００２８】このように、ニューラルネットも、人間と
同様に、一般的には、時間をかけて学習すればするほ
ど、「賢く」なるが、教師の与える練習問題に矛盾があ
ると、ニューラルネットは混乱を起こして、認識率が低
下したり、独特な認識処理を行うようになる。このた
め、このようなことを引き起こすサンプルデータの学習
を停止することが、考えられている。

【００２９】しかし、これでは、いままでの学習によっ
て得た知識に合致しやすいデータだけ学習し、いままで
の学習によって得た知識と合致しにくい（矛盾する可能
性を持つ）データは、学習しないこととなる。この手法
は、自分の殻に閉じこもる学習であり、「自閉的学習」
である。本願は、上記の欠点（過剰学習、又は、過学習
と呼ばれている）を「自閉的学習」とは、異なる手法
で、改善することを、目的とする。

【００３０】つまり、本願は、矛盾する可能性を持つデ
ータを含む数多くのデータを学習しても、学習が収束し
やすいニューラルネットの学習法及び装置を提案するも
のである。

【００３１】

【課題を解決するための手段】本発明は、ニュ−ラルネ
ットの学習方法において、品質の高い学習用のデータは
確実に学習し、品質の低い学習用のデータは曖昧に学習
することを特徴とする。本発明は、出力信号と教師信号
との誤差が所定値（Ｇ）より大きな場合に学習を行うニ
ュ−ラルネットの学習方法において、品質の低い学習用
のデータが入力された場合、品質の高い学習用のデータ
が入力された場合に比べて、前記所定値（Ｇ）の値を上
げることを特徴とする。

【００３２】本発明は、出力信号と教師信号との誤差が
所定値より大きな場合に学習を行うニュ−ラルネットの
学習方法において、品質の高い学習用のデータが入力さ
れた場合と、品質の低い学習用のデータが入力された場
合とで、前記教師信号の値を変更することを特徴とす
る。本発明は、学習用のサンプルデータと、この学習用
のサンプルデータの正解データにより、学習を行うニュ
ーラルネットの学習方法において、前記サンプルデータ
を品質に応じて分類し、学習時に、前記正解データより
作成される教師信号の値を、前記分類によって変更する
ことを特徴とする。

【００３３】本発明は、学習用のサンプルデータを入力
した結果の出力信号と、この学習用のサンプルデータの
正解データより作成した教師信号との誤差が、所定値
（Ｇ）より大きな場合に学習を行うニュ−ラルネットの
学習方法において、前記サンプルデータを品質に応じて
分類し、学習時に、前記分類によって前記所定値（Ｇ）
の値を変更することを特徴とする。

【００３４】本発明は、ニューラルネット型認識装置に
おいて、上述のいずれかの学習方法で求めたニューラル
ネットの結合係数（Ｖｉｈ，Ｗｈｏ）により、認識処理
を行うことを特徴とする。本発明は、学習用のサンプル
データ及びこのデータに対応する正解データを備えるデ
ータ入力手段（１０）と、前記サンプルデータから作成
した情報データを入力とするニューラルネット型認識部
（１６）と、前記正解データから教師信号を作成する教
師信号出力手段（１８）と、前記ニューラルネット型認
識部（１６）の出力信号と前記教師信号とを比較する誤
差出力手段（２０ａ）と、この誤差に応じて前記結合係
数を調整する修正手段（２０ｂ）とを備えるニューラル
ネット型認識装置において、前記サンプルデータの品質
に応じた分類により、前記学習の程度を変更する変更手
段（２１ａ，２１ｂ）を備えることを特徴とする。

【００３５】本発明は、学習用のサンプルデータ及びこ
のデータに対応する正解データを備えるデータ入力手段
（１０）と、前記サンプルデータから作成した情報デー
タを入力とするニューラルネット型認識部（１６）と、
前記正解データから教師信号を作成する教師信号出力手
段（１８）と、前記ニューラルネット型認識部（１６）
の出力信号と前記教師信号を比較する誤差出力手段（２
０ａ）と、この誤差が所定値（Ｇ）より大きな場合に、
この誤差に応じて前記結合係数を調整する修正手段（２
０ｂ，２０ｃ）とを備えるニューラルネット型パターン
認識装置において、前記サンプルデータの品質に応じた
分類により、前記所定値（Ｇ）を変更する変更手段（２
１ａ）を備えることを特徴とする。

【００３６】本発明は、学習用のサンプルデータ及びこ
のデータに対応する正解データを備えるデータ入力手段
（１０）と、前記サンプルデータから作成した情報デー
タを入力とするニューラルネット型認識部（１６）と、
前記正解データから教師信号を作成する教師信号出力手
段（１８）と、前記ニューラルネット型認識部（１６）
の出力信号と前記教師信号を比較する誤差出力手段（２
０ａ）と、この誤差に応じて前記結合係数を調整する学
習制御手段（２０ｂ）とを備えるニューラルネット型パ
ターン認識装置において、前記サンプルデータの品質に
応じて、前記教師信号の値を変更する変更手段（２１
ｂ）を備えることを特徴とする。

【００３７】本発明は、前述のデータ入力手段（１０）
は、更に前記サンプルデータに対応し、このサンプルデ
ータの品質を示す品質データを格納し、前記変更手段
（２１ａ）は、この品質データにより制御されることを
特徴とする。本発明は、前述のデータ入力手段（１０）
は、前記データ入力手段（１０）は、更に前記サンプル
データに対応し、このサンプルデータの品質を示す品質
データを格納し、前記変更手段（２１ｂ）は、この品質
データにより制御されることを特徴とする。

【００３８】

【作用】本発明によれば、品質の高い（信頼性の高い）
教師用データは真面目に学習し、品質の低い（信頼性の
低い）教師用データは曖昧に学習するので、信頼性の低
い教師用データにより、ニューラルネットが、不必要に
混乱することを防止できる。

【００３９】本発明によれば、所定値（Ｇ）の値を上げ
ることにより、ニューラルネットが、不必要に混乱する
（過学習する）ことを防止できる。本発明によれば、品
質の高い学習用のデータが入力された場合と、品質の低
い学習用のデータが入力された場合とで、前記教師信号
の値を変更することにより、ニューラルネットが不必要
に混乱する（過学習する）ことを防止できる。

【００４０】本発明によれば、サンプルデータを品質に
応じて分類し、学習時に、教師信号の値を、前記品質の
分類によって変更することにより、ニューラルネットが
不必要に混乱する（過学習する）ことを防止できる。本
発明によれば、サンプルデータを品質に応じて分類し、
学習時に、前記分類によって誤差総和所定値（Ｇ）の値
を、前記分類した品質に応じて変更することにより、ニ
ューラルネットが不必要に混乱する（過学習する）こと
を防止できる。

【００４１】本発明によれば、ニューラルネット型認識
装置は、上述の学習法により、得られたニューラルネッ
トの結合係数（Ｖｉｈ，Ｗｈｏ）により、認識処理を行
う。本発明によれば、変更手段（２１ａ，２１ｂ）によ
り、サンプルデータの品質に応じて、学習が為される。
本発明によれば、変更手段（２１ａ）により、サンプル
データの品質に応じて誤差総和所定値（Ｇ）が変更され
る。

【００４２】本発明によれば、変更手段（２１ｂ）によ
り、サンプルデータの品質に応じて、前記教師信号の値
が変更される。更に、本発明によれば、データ入力手段
（１０）は、更に前記サンプルデータに対応しこのサン
プルデータの品質を示す品質データを格納し、前記変更
手段（２１ａ）は、この品質データにより制御される。

【００４３】更に、本発明によれば、データ入力手段
（１０）は、更に前記サンプルデータに対応しこのサン
プルデータの品質を示す品質データを格納し、前記変更
手段（２１ｂ）は、この品質データにより制御される。

【００４４】

【実施例】図１２〜図１４、図１を参照しつつ、本発明
の第１実施例を説明する。まず、学習するデータを示す
図１３を説明する。従来の図１０で示した２０００セッ
トの「０」〜「９」のデータを品質に応じてセット単位
で並べ替える。

【００４５】この並び替えたデータが、図１３である。
ここで、１０１セット目（１０１０個目のデータ）まで
は、品質が良いものとする。それ以降は、品質は悪いも
のとする。このデータを図１の教師用サンプルデータ記
憶部１０に記憶させる。図１２の説明をする。なお、図
６，図１１と同一部分には同一符号を付した。

【００４６】図１２において、１４は特徴抽出部であ
る。この特徴抽出部１４は、正規化部１２の８×８画素
のデータをそのまま出力すると共に、このデータから抽
出した４方向の成分を４×４画素のデータとして出力す
る。つまり、８×８＋４×４×４＝１２８個のデータを
出力する。ニューラルネット認識部１６は、これらの１
２８画素のデータにより、文字認識のための学習を行
う。

【００４７】２１ａは、第１実施例の特徴である学習特
性切替回路（変更手段）である。この切替回路２１ａ
は、１０１０個目までのデータには誤差総和所定値を
０．５とし、１０１１個目以降の誤差総和所定値を１．
０に切り替える。この第１実施例の動作を図１４を参照
しつつ、説明する。図１４のＳ１に示すように、巡回回
数ｍを設定する。

【００４８】図１４のＳ１１に示すように、誤差総和所
定値Ｇを０．５に設定する。つまり、図１２の切替回路
２１ａは、誤差総和部２０ｃの誤差総和所定値Ｇを０．
５に設定する。図１４のＳ２に示すように、サンプルデ
ータを入力する。つまり、図１３又は図４に示すサンプ
ルデータを正規化部１２に出力し、正解データを教師信
号出力部１８に出力する。

【００４９】サンプルデータは、正規化部１２で正規化
され、特徴抽出部１４を介して、認識部１６に入力され
る。認識部１６は、結合係数に基づいて演算処理を行
い、出力層から出力信号を出す。図１４のＳ３に示すよ
うに、出力信号と教師信号とを比較して、誤差を求め
る。図１２の誤差出力部２０ａは、出力信号と教師信号
とを比較して、誤差を出力する。

【００５０】図１４のＳ４，Ｓ５に示す様に、誤差の総
和が、Ｇ以下か否かを求める。ここで、Ｇ＝０．５なの
で、０．５以下であれば、学習の必要無しとする。０．
５より大きければ、Ｓ５でＢＰ法により、誤差が小さく
なるように、結合係数を微調整する。つまり、図１２の
誤差総和検出部２０ｃは、誤差の総和が、０．５以下で
あれば、修正部２０ｂの動作を停止させる。

【００５１】これにより、不必要な学習を除外出来、学
習効率が上がる。図１４のＳ６に示すように、最後のデ
ータ（２万１０個目のデータ）でなければ、次のサンプ
ルデータで同様に処理する。しかし、図１４のＳ５１，
Ｓ５２に示すように、１０１１番目のデータ以降のは、
Ｇ＝１．０として、サンプルデータを処理している。

【００５２】つまり、図１２の切替回路２１ａは、１０
１１番目のサンプルデータ以降は、誤差総和検出部２０
ｃの誤差総和所定値Ｇを１．０に設定変更する。１０１
１番目以降のサンプルデータは、図１４のＳ４，Ｓ５に
示す様に、誤差の総和が、Ｇ以下か否かを求める。ここ
で、Ｇ＝１．０なので、１．０以下であれば、学習の必
要無しとする。１．０より大きければ、Ｓ５でＢＰ法に
より、誤差が小さくなるように、結合係数を微調整す
る。

【００５３】つまり、図１２の誤差総和検出部２０ｃ
は、誤差の総和が、１．０以下であれば、修正部２０ｂ
の動作を停止させる。これにより、低品質のデータに対
しては、学習する基準を低く設定することにより、曖昧
な学習が出来、学習効率が上がる。図１４のＳ７，Ｓ８
に示すように、この２万１０個目のデータによる学習を
ｍ回繰り返した後に、Ｓ９の如く、学習を終了し、結合
係数をＲＯＭ２２に取り出す。

【００５４】尚、この第１実施例では、データを品質を
２種類に分けたが、本願は、別にこれに限定される訳で
はなく、多くの種類に分類してもよい。また、データの
品質を「０」〜「９」のセット単位で分類したが、本願
はこれに限定される訳ではなく、１データ単位で分類し
てもよい。また、本願では、予めデータを品質順に並び
替え、１０１１個目から切替回路２１ａにより、誤差総
和所定値Ｇを切り替えたが、本願は別にこれに限定され
る訳ではない。つまり、１データ毎にこのデータの品質
を表す品質データを予め付与し、この品質データによ
り、誤差総和所定値Ｇを切り替えるようにしてもよい。

【００５５】また、曖昧学習を誤差総和所定値Ｇを切り
替えずに行ってもよい。このような例を図１５〜図１
７，図１，図７，図１３を参照しつつ、本発明の第２実
施例として説明する。尚、第１実施例と同一部分には同
一符号を付して説明を省略する。まず、第１実施例と同
様に学習するデータは、図１３のものである。

【００５６】ここでも、１０１セット目（１０１０個目
のデータ）までは、品質が良いものとする。それ以降
は、品質は悪いものとする。このデータを図１の教師用
サンプルデータ記憶部１０に記憶させる。図１５におい
て、１４は特徴抽出部である。この特徴抽出部１４は、
８×８画素のデータと、このデータから抽出した４方向
の４×４画素のデータを出力する。

【００５７】ニューラルネット認識部１６は、これらの
１２８画素のデータにより、文字認識のための学習を行
う。１８は、教師信号出力部である。この教師信号出力
部１８は、正解データに対応して、教師信号を出力す
る。この出力テーブルとして、図７以外に図１６のテー
ブルも備えている。

【００５８】２１ｂは、第２実施例の特徴である教師特
性切替回路（変更手段）である。この切替回路２１ｂ
は、１０１０個目までのデータには、図７の教師信号を
教師信号出力回路１８より出力させる。そして、１０１
１個目以降のデータに対しては、図１６の教師信号を教
師信号出力回路１８より出力させる。この第２実施例の
動作を図１７を参照しつつ、説明する。

【００５９】図１７のＳ１に示すように、巡回回数ｍを
設定する。図１７のＳ１２に示すように、教師信号のテ
ーブルを図７のものに設定する。つまり、図１５の切替
回路２１ｂは、教師信号出力部１８のテーブルを図７の
ものに設定する。図１７のＳ２に示すように、サンプル
データを順次入力する。つまり、図１３又は図４に示す
サンプルデータを正規化部１２に出力し、正解データを
教師信号出力部１８に出力する。

【００６０】サンプルデータは、正規化部１２で正規化
され、特徴抽出部１４を介して、認識部１６に入力され
る。認識部１６は、結合係数に基づいて演算処理を行
い、出力層から出力信号を出す。図１７のＳ３に示すよ
うに、出力信号と教師信号とを比較して、誤差を求め
る。図１５の誤差出力部２０ａは、出力信号と教師信号
とを比較して、誤差を出力する。

【００６１】図１７のＳ４，Ｓ５に示す様に、誤差の総
和が、０．５以下であれば、学習の必要無しとする。
０．５より大きければ、Ｓ５でＢＰ法により、誤差が小
さくなるように、結合係数を微調整する。つまり、図１
５の誤差総和部２０ｃは、誤差の総和が、０．５以下で
あれば、修正部２０ｂの動作を停止させる。

【００６２】これにより、不必要な学習を除外出来、学
習効率が上がる。図１７のＳ６に示すように、最後のデ
ータ（２万１０個目のデータ）でなければ、次のサンプ
ルデータで同様に処理する。しかし、図１７のＳ５１，
Ｓ５３に示すように、１０１１番目のデータ以降のは、
教師信号を図１６のものに、設定変更して、サンプルデ
ータを処理している。

【００６３】つまり、図１５の切替回路２１ｂは、１０
１１番目のサンプルデータ以降は、教師信号出力部１８
のテ−ブルを図１６のものに設定変更する。つまり、１
０１１番目以降のサンプルデータは、図１６に示す様
に、教師信号の正解得点が低く（１．０→０．７）設定
変更され、不正解得点が高く（０．０→０．１，０．
２，０．３）設定変更されている。

【００６４】これにより、低品質のデータに対しては、
学習する基準を低く設定することにより、曖昧な学習が
出来、学習効率が上がる。図１７のＳ７，Ｓ８に示すよ
うに、この２万１０個目のデータによる学習をｍ回繰り
返した後に、Ｓ９の如く、学習を終了し、結合係数をＲ
ＯＭ２２に取り出す。

【００６５】この第２実施例では、１０１０個目のデー
タまでは、高得点の回答が認識部１６より出力されない
と（教師信号の正解得点が高く、教師信号の不正解得点
が低い）、高得点を出力するように、学習を行ってい
た。しかし、１０１１個目以降のデータでは、中得点
（教師信号の正解得点を少し低くし、教師信号の不正解
得点を少し高くする）の回答が認識部１６より出力され
ないと、学習を行う。つまり、認識部１６が、高得点の
回答を出力したり、低得点の回答を出力すると、中得点
になるように学習を行う。

【００６６】尚、第２実施例でも、教師信号のテーブル
を品質に応じて２種類に分けたが、本願は、別にこれに
限定される訳ではなく、多くの種類に分類してもよい。
また、データの品質をセット単位で分類したが、本願は
これに限定される訳ではなく、１データ単位で分類して
もよい。また、第１，２実施例では、予めデータを品質
順に並び替え、１０１１個目から切り換え回路２１ａ，
２１ｂにより、特性を切り替えたが、本願は別にこれに
限定される訳ではない。つまり、１データ毎にこのデー
タの品質を表す品質データを予め付与し、この品質デー
タにより、教師信号テーブルを切り替えるようにしても
よい。

【００６７】また、この品質データとしては、単に、高
品質、中品質、低品質だけでなく、他の正解データへの
類似度をも示すようにしてもよい。この一例を図１８に
示す。図１８において、図１，図１２，図１５と同一部
分には、同一符号を付して、重複説明を省略する。

【００６８】１０は学習用サンプルデータ（教師用サン
プルデータ）が、格納された記憶部である。この教師用
サンプルデータ記憶部１０には、サンプルデータに対応
する正解データが、格納されている。さらに、サンプル
データに対応する品質データも格納されている。２１ｂ
は、教師特性切替回路（変更手段）である。

【００６９】２１ｂは、学習特性切替回路（変更手段）
である。この切替回路２１ａは、品質データにより、教
師信号の特性を変更している。切替回路２１ｂは、品質
データにより、誤差総和所定値Ｇを変更している。とこ
ろで、上記実施例１，２，３では、曖昧学習を、誤差総
和所定値Ｇを変更したり、教師用テーブルを変更するこ
とにより、行った。

【００７０】本願は、別にこれに限定される訳でなく、
例えば、曖昧学習時に、正解データに対応する認識部１
６の出力端子の値が他の出力端子の値に比べて、一番大
きい場合（又は２番以内の場合）に、学習を行わず、そ
れ以外の場合に学習を行うようにしてもよい。尚、上記
実施例は、図１の学習時の装置と図２の認識時の装置と
は、別々の装置であるが、本願は、これに限定されるも
のでない。

【００７１】また、上記実施例は、商品化後は、学習を
行わない例を示したが、本願は、これに限定されるもの
でない。また、本願は、ソフトウエアにより、実現して
もよい。また、本実施例では、基本的な３層の階層型ニ
ュ−ラルネットについて、述べたが、当然、本願は、３
層型に限定されるものではなく、教師付き学習を行うニ
ュ−ラルネットに適用可能である。

【００７２】又、特開平2-306387号公報(G06K9/66),特
開平4-155480号公報(G06F15/70)等の如く、教師用デー
タを予め複数のグループに分類し、この分類毎に個別に
学習させるものに、本願を用いても良い。また、本願で
は、文字認識について述べたが、本願は、当然、これに
限定されるものではない。

【００７３】また、本願では、ニュ−ラルネットだけに
より文字認識を行う文字認識装置について述べたが、当
然、本願は、他の文字認識手法と組み合わせて、文字認
識を行う文字認識装置に用いても良い。

【００７４】

【発明の効果】本願によれば、教師用データとして、矛
盾するようなデータが学習の対象となっても、認識率を
下げることなく、学習時間をいたずらに長くすること無
く学習することが出来る。つまり、本願によれば、過学
習を防止できる。

【図面の簡単な説明】

【図１】文字認識にニューラルネットを用いた場合の学
習時の回路を示す図である。

【図２】文字認識にニューラルネットを用いた場合の認
識時の回路を示す図である。

【図３】学習用の１万個のサンプルデータを示す図であ
る。

【図４】学習用の１０個のサンプルデータを示す図であ
る。

【図５】正規化の１例を示す図である。

【図６】ニューラルネット型文字認識部周辺を示す図で
ある。

【図７】従来の教師信号を示す図である。

【図８】出力層の端子が４個の場合の、教師信号の他の
一例を示す図である。

【図９】学習時の動作を説明するための図である。

【図１０】学習用の２万個のサンプルデータを示す図で
ある。

【図１１】従来の他のニューラルネット型文字認識部周
辺を示す図である。

【図１２】本発明の第１実施例を示す図である。

【図１３】この第１実施例の学習用の２万個のサンプル
データを示す図である。

【図１４】この第１実施例の動作を説明するための図で
ある。

【図１５】本発明の第２実施例を示す図である。

【図１６】この第２実施例での追加された教師信号を示
す図である。

【図１７】この第２実施例の動作を説明するための図で
ある。

【図１８】本発明の第３実施例を示す図である。

【符号の説明】

(10)・・・・・・教師用サンプルデータ記憶部（データ
入力手段）、 (16)・・・・・・ニューラルネット型認識部、 (18)・・・・・・教師信号出力部（教師信号出力手
段）、、 (20)・・・・・・学習制御部（学習制御手段）、 (20a)・・・・・・誤差出力部（誤差出力手段）、 (20b)・・・・・・修正部（修正手段）、 (20c)・・・・・・誤差総和検出部、 (Ｇ)・・・・・・誤差総和所定値、 (21a)・・・・・・学習特性切替回路（変更手段）、 (21b)・・・・・・教師特性切替回路（変更手段）。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 堀井 洋 大阪府守口市京阪本通２丁目５番５号 三 洋電機株式会社内 (72)発明者 真鍋 圭三 大阪府守口市京阪本通２丁目５番５号 三 洋電機株式会社内

Claims (11)

【特許請求の範囲】
1. 【請求項１】 ニュ−ラルネットの学習方法において、 品質の高い学習用のデータは確実に学習し、品質の低い
   学習用のデータは曖昧に学習することを特徴とするニュ
   −ラルネットの学習方法。
2. 【請求項２】 出力信号と教師信号との誤差が所定値
   （Ｇ）より大きな場合に学習を行うニュ−ラルネットの
   学習方法において、 品質の低い学習用のデータが入力された場合、品質の高
   い学習用のデータが入力された場合に比べて、前記所定
   値（Ｇ）の値を上げることを特徴とするニュ−ラルネッ
   トの学習方法。
3. 【請求項３】 出力信号と教師信号との誤差が所定値よ
   り大きな場合に学習を行うニュ−ラルネットの学習方法
   において、 品質の高い学習用のデータが入力された場合と、品質の
   低い学習用のデータが入力された場合とで、前記教師信
   号の値を変更することを特徴とするニュ−ラルネットの
   学習方法。
4. 【請求項４】 学習用のサンプルデータと、この学習用
   のサンプルデータの正解データにより、学習を行うニュ
   ーラルネットの学習方法において、 前記サンプルデータを品質に応じて分類し、 学習時に、前記正解データより作成される教師信号の値
   を、前記分類によって変更することを特徴とするニュー
   ラルネット学習方法。
5. 【請求項５】 学習用のサンプルデータを入力した結果
   の出力信号と、この学習用のサンプルデータの正解デー
   タより作成した教師信号との誤差が、所定値（Ｇ）より
   大きな場合に学習を行うニュ−ラルネットの学習方法に
   おいて、 前記サンプルデータを品質に応じて分類し、学習時に、
   前記分類によって前記所定値（Ｇ）の値を変更すること
   を特徴とするニューラルネット学習方法。
6. 【請求項６】 ニューラルネット型認識装置において、 請求項１〜５のいずれか１項の学習方法で求めたニュー
   ラルネットの結合係数（Ｖｉｈ，Ｗｈｏ）により、認識
   処理を行うニューラルネット型認識装置。
7. 【請求項７】 学習用のサンプルデータ及びこのデータ
   に対応する正解データを備えるデータ入力手段（１０）
   と、 前記サンプルデータから作成した情報データを入力とす
   るニューラルネット型認識部（１６）と、 前記正解データから教師信号を作成する教師信号出力手
   段（１８）と、 前記ニューラルネット型認識部（１６）の出力信号と前
   記教師信号とを比較する誤差出力手段（２０ａ）と、 この誤差に応じて前記結合係数を調整する修正手段（２
   ０ｂ）とを備えるニューラルネット型認識装置におい
   て、 前記サンプルデータの品質に応じた分類により、前記学
   習の程度を変更する変更手段（２１ａ，２１ｂ）を備え
   ることを特徴とするニューラルネット型認識装置。
8. 【請求項８】 学習用のサンプルデータ及びこのデータ
   に対応する正解データを備えるデータ入力手段（１０）
   と、 前記サンプルデータから作成した情報データを入力とす
   るニューラルネット型認識部（１６）と、 前記正解データから教師信号を作成する教師信号出力手
   段（１８）と、 前記ニューラルネット型認識部（１６）の出力信号と前
   記教師信号を比較する誤差出力手段（２０ａ）と、 この誤差が所定値（Ｇ）より大きな場合に、この誤差に
   応じて前記結合係数を調整する修正手段（２０ｂ，２０
   ｃ）とを備えるニューラルネット型パターン認識装置に
   おいて、 前記サンプルデータの品質に応じた分類により、前記所
   定値（Ｇ）を変更する変更手段（２１ａ）を備えること
   を特徴とするニューラルネット型認識装置。
9. 【請求項９】 学習用のサンプルデータ及びこのデータ
   に対応する正解データを備えるデータ入力手段（１０）
   と、 前記サンプルデータから作成した情報データを入力とす
   るニューラルネット型認識部（１６）と、 前記正解データから教師信号を作成する教師信号出力手
   段（１８）と、 前記ニューラルネット型認識部（１６）の出力信号と前
   記教師信号を比較する誤差出力手段（２０ａ）と、 この誤差に応じて前記結合係数を調整する学習制御手段
   （２０ｂ）とを備えるニューラルネット型パターン認識
   装置において、 前記サンプルデータの品質に応じて、前記教師信号の値
   を変更する変更手段（２１ｂ）を備えることを特徴とす
   るニューラルネット型パターン認識装置。
10. 【請求項１０】 前記データ入力手段（１０）は、更に
    前記サンプルデータに対応し、このサンプルデータの品
    質を示す品質データを格納し、 前記変更手段（２１ａ）は、この品質データにより制御
    されることを特徴とする請求項８のニューラルネット型
    認識装置。
11. 【請求項１１】 前記データ入力手段（１０）は、更に
    前記サンプルデータに対応し、このサンプルデータの品
    質を示す品質データを格納し、 前記変更手段（２１ｂ）は、この品質データにより制御
    されることを特徴とする請求項９のニューラルネット型
    認識装置。