JPH04213172A - パターン認識装置 - Google Patents
パターン認識装置Info
- Publication number
- JPH04213172A JPH04213172A JP2400691A JP40069190A JPH04213172A JP H04213172 A JPH04213172 A JP H04213172A JP 2400691 A JP2400691 A JP 2400691A JP 40069190 A JP40069190 A JP 40069190A JP H04213172 A JPH04213172 A JP H04213172A
- Authority
- JP
- Japan
- Prior art keywords
- neural network
- pattern
- input
- feature
- recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Analysis (AREA)
Abstract
(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。
め要約のデータは記録されません。
Description
【０００１】
【産業上の利用分野】本発明は、学習可能なニューラル
ネットワークを用いて入力パターンを認識させるパター
ン認識装置に関する。
ネットワークを用いて入力パターンを認識させるパター
ン認識装置に関する。
【０００２】
【従来の技術】入力メディアから特徴パターンを抽出す
る特徴抽出手段と、学習可能なニューラルネットワーク
とで構成するパターン認識装置の従来技術について、手
書き数字認識を例にとって説明する。
る特徴抽出手段と、学習可能なニューラルネットワーク
とで構成するパターン認識装置の従来技術について、手
書き数字認識を例にとって説明する。
【０００３】図２および図３に特徴パターンの例を示す
。図２は手書き数字の横方向濃淡頻度分布（横方向に見
たときの黒画素の数の分布）であり、図３は縦方向濃淡
頻度分布（縦方向に見たときの黒画素の数の分布）であ
る。
。図２は手書き数字の横方向濃淡頻度分布（横方向に見
たときの黒画素の数の分布）であり、図３は縦方向濃淡
頻度分布（縦方向に見たときの黒画素の数の分布）であ
る。
【０００４】図４は従来技術におけるパターン認識装置
の構成例を示す図である。
の構成例を示す図である。
【０００５】図４において、１は入力数字の原イメージ
、２は特徴抽出手段、３は認識用ニューラルネットワー
ク、４は認識用ニューラルネットワーク３のための教師
信号、５は認識結果をそれぞれ示す。
、２は特徴抽出手段、３は認識用ニューラルネットワー
ク、４は認識用ニューラルネットワーク３のための教師
信号、５は認識結果をそれぞれ示す。
【０００６】従来技術では、学習可能なニューラルネッ
トワークに、図２と図３に示すような特徴パターンを入
力して、教師信号４として、分類すべき識別クラスに対
応する値、すなわち、ある手書き数字に所属する特徴パ
ターンを入力するときには、その数字に対応する出力層
のニューロンへの値だけは、「１」とし、その他は「０
」とするような値を用いて学習させていた。学習アルゴ
リズムとしては、通常、バックプロパゲーション法〔参
考文献 Ｒｕｍｅｌｈａｒｔ， Ｄ．Ｅ． ｅｔ ａ
ｌ．： Ｐａｒａｌｌｅｌ Ｄｉｓｔｒｉｂｕｔｅｄ
Ｐｒｏｃｅｓｓｉｎｇ， Ｖｏｌ．１， ＭＩＴ Ｐｒ
ｅｓｓ （１９８６）〕を用いていた。
トワークに、図２と図３に示すような特徴パターンを入
力して、教師信号４として、分類すべき識別クラスに対
応する値、すなわち、ある手書き数字に所属する特徴パ
ターンを入力するときには、その数字に対応する出力層
のニューロンへの値だけは、「１」とし、その他は「０
」とするような値を用いて学習させていた。学習アルゴ
リズムとしては、通常、バックプロパゲーション法〔参
考文献 Ｒｕｍｅｌｈａｒｔ， Ｄ．Ｅ． ｅｔ ａ
ｌ．： Ｐａｒａｌｌｅｌ Ｄｉｓｔｒｉｂｕｔｅｄ
Ｐｒｏｃｅｓｓｉｎｇ， Ｖｏｌ．１， ＭＩＴ Ｐｒ
ｅｓｓ （１９８６）〕を用いていた。
【０００７】図２および図３に示した特徴パターンを個
別の入力として分類すべき識別クラスに対応する値を教
師信号として学習させるような実験を行った。
別の入力として分類すべき識別クラスに対応する値を教
師信号として学習させるような実験を行った。
【０００８】具体的に説明すると、７５人分の横方向濃
淡頻度分布あるいは縦方向濃淡頻度分布（ともに３２次
元の特徴パターンで、各数字につき７５個、計７５０個
）を入力とした。ニューラルネットワークの規模は、横
方向入力、縦方向入力ともに、入力層３２ニューロン、
中間層１０ニューロン、出力層１０ニューロンである。
淡頻度分布あるいは縦方向濃淡頻度分布（ともに３２次
元の特徴パターンで、各数字につき７５個、計７５０個
）を入力とした。ニューラルネットワークの規模は、横
方向入力、縦方向入力ともに、入力層３２ニューロン、
中間層１０ニューロン、出力層１０ニューロンである。
【０００９】その結果、学習済みニューラルネットワー
クを用いた未知データ（７５人分の手書き数字によるデ
ータ）の認識率は、横方向入力で８３．２０％、縦方向
入力のときには５１．３３％となった。
クを用いた未知データ（７５人分の手書き数字によるデ
ータ）の認識率は、横方向入力で８３．２０％、縦方向
入力のときには５１．３３％となった。
【００１０】
【発明が解決しようとする課題】しかしながら、このよ
うな従来技術では、学習用の入力パターン間に類似性が
あっても、必ず正解クラスに対応するニューロンには「
１」を、その他のニューロンには「０」を教師信号とし
て割り当てるために次のような問題が生じる。
うな従来技術では、学習用の入力パターン間に類似性が
あっても、必ず正解クラスに対応するニューロンには「
１」を、その他のニューロンには「０」を教師信号とし
て割り当てるために次のような問題が生じる。
【００１１】すなわち、図３を見ればわかるように、手
書き数字の縦方向頻度分布は各クラス（数字）に対応す
る特徴パターンがよく似ている。例えば、数字「６」と
数字「８」の縦方向頻度分布は比較的類似性が高く、学
習用入力パターンの中にはほとんど区別がつかないよう
なものもある。
書き数字の縦方向頻度分布は各クラス（数字）に対応す
る特徴パターンがよく似ている。例えば、数字「６」と
数字「８」の縦方向頻度分布は比較的類似性が高く、学
習用入力パターンの中にはほとんど区別がつかないよう
なものもある。
【００１２】このような類似した入力パターンに対して
、前述のように断定的な値を教師信号として割り当てる
と極めて類似した入力に対して明らかに異なる値を学習
させるという学習上の問題（コンフリクトと呼ぶ）が生
じる。バックプロパゲーションの学習過程という観点か
ら言うと、いつまで学習させても、他のクラスとよく似
た入力データでは相当の誤差を生じ続けることになる。
、前述のように断定的な値を教師信号として割り当てる
と極めて類似した入力に対して明らかに異なる値を学習
させるという学習上の問題（コンフリクトと呼ぶ）が生
じる。バックプロパゲーションの学習過程という観点か
ら言うと、いつまで学習させても、他のクラスとよく似
た入力データでは相当の誤差を生じ続けることになる。
【００１３】従って、学習が定常状態に収束しないので
、効果的な学習ができず、未知データの認識率も高くな
らないという問題が生じる。
、効果的な学習ができず、未知データの認識率も高くな
らないという問題が生じる。
【００１４】そこで、本発明は、入力特徴パターン間の
類似性を低減するように、入力パターンを整形した後に
、認識用ニューラルネットワークに入力することにより
、性能のよいパターン認識を行えるようなパターン認識
装置を提供することを目的とする。
類似性を低減するように、入力パターンを整形した後に
、認識用ニューラルネットワークに入力することにより
、性能のよいパターン認識を行えるようなパターン認識
装置を提供することを目的とする。
【００１５】
【課題を解決するための手段】前記目的を達成する本発
明のパターン認識装置は、入力メディアの特徴パターン
を抽出する特徴抽出手段と、この特徴抽出手段で抽出さ
れた特徴パターンを入力としてパターンを識別するニュ
ーラルネットワークとを備えるパターン認識装置におい
て、前記特徴抽出手段で抽出された特徴パターンを入力
とする第１のニューラルネットワークと、この第１のニ
ューラルネットワークの出力を入力とする第２のニュー
ラルネットワークとを設け、前記第１のニューラルネッ
トワークには教師信号として標準的な特徴パターンを入
力して学習を行わせ、前記第２のニューラルネットワー
クには教師信号として分類すべき識別クラスに対応する
値を入力して学習を行わせることを特徴としている。
明のパターン認識装置は、入力メディアの特徴パターン
を抽出する特徴抽出手段と、この特徴抽出手段で抽出さ
れた特徴パターンを入力としてパターンを識別するニュ
ーラルネットワークとを備えるパターン認識装置におい
て、前記特徴抽出手段で抽出された特徴パターンを入力
とする第１のニューラルネットワークと、この第１のニ
ューラルネットワークの出力を入力とする第２のニュー
ラルネットワークとを設け、前記第１のニューラルネッ
トワークには教師信号として標準的な特徴パターンを入
力して学習を行わせ、前記第２のニューラルネットワー
クには教師信号として分類すべき識別クラスに対応する
値を入力して学習を行わせることを特徴としている。
【００１６】
【作用】本発明のパターン認識装置においては、まず、
個々の特徴パターンを第１のニューラルネットワークに
入力して、標準的な特徴パターンを教師信号として学習
させる。
個々の特徴パターンを第１のニューラルネットワークに
入力して、標準的な特徴パターンを教師信号として学習
させる。
【００１７】標準的な特徴パターンは、それからの変形
を伴う個々の特徴パターンに比べるとパターン間の類似
性が低い。従って、前記第１のニューラルネットワーク
により、個々の特徴パターンを標準パターンに近い形に
修正し、比較的類似性の低いパターンに変換できる。
を伴う個々の特徴パターンに比べるとパターン間の類似
性が低い。従って、前記第１のニューラルネットワーク
により、個々の特徴パターンを標準パターンに近い形に
修正し、比較的類似性の低いパターンに変換できる。
【００１８】次に、前記第１のニューラルネットワーク
に出力を、第２のニューラルネットワークに入力して、
従来技術と同様に、分類すべき識別クラスに対応する値
を教師信号として学習させる。
に出力を、第２のニューラルネットワークに入力して、
従来技術と同様に、分類すべき識別クラスに対応する値
を教師信号として学習させる。
【００１９】前記第２のニューラルネットワークへの入
力は、前記第１のニューラルネットワークにより、パタ
ーン間の類似性が低減されているので、従来技術よりも
コンフリクトの少ないニューラルネットワーク学習がで
きる。
力は、前記第１のニューラルネットワークにより、パタ
ーン間の類似性が低減されているので、従来技術よりも
コンフリクトの少ないニューラルネットワーク学習がで
きる。
【００２０】従って、前記の２つのニューラルネットワ
ークを組み合わせて用いることにより、性能のよいパタ
ーン認識装置を実現できる。
ークを組み合わせて用いることにより、性能のよいパタ
ーン認識装置を実現できる。
【００２１】
【実施例】以下添付図面を用いて本発明の実施例を詳細
に説明するが、ここでは、パターン認識の例題として手
書き数字認識を、また、入力特徴パターンの例として横
方向濃淡分布と縦方向濃淡分布（ともに３２次元）を、
学習可能なニューラルネットワークの例として、バック
プロパゲーション法により学習させる多層構造型ニュー
ラルネットワークをとりあげて説明する。
に説明するが、ここでは、パターン認識の例題として手
書き数字認識を、また、入力特徴パターンの例として横
方向濃淡分布と縦方向濃淡分布（ともに３２次元）を、
学習可能なニューラルネットワークの例として、バック
プロパゲーション法により学習させる多層構造型ニュー
ラルネットワークをとりあげて説明する。
【００２２】図１は本発明のパターン認識装置の実施例
を示す図であり、図４に示した従来のパターン認識装置
と同じ構成部分に付いては、同じ符合を付してある。
を示す図であり、図４に示した従来のパターン認識装置
と同じ構成部分に付いては、同じ符合を付してある。
【００２３】図１において、１は入力数字の原イメージ
、２は特徴抽出手段、３は認識用ニューラルネットワー
ク、４は認識用ニューラルネットワーク３のための教師
信号、５は認識結果、６は本発明で新規に採用する変形
修正用ニューラルネットワーク、７は変形修正用ニュー
ラルネットワーク６のための教師信号をそれぞれ示して
いる。
、２は特徴抽出手段、３は認識用ニューラルネットワー
ク、４は認識用ニューラルネットワーク３のための教師
信号、５は認識結果、６は本発明で新規に採用する変形
修正用ニューラルネットワーク、７は変形修正用ニュー
ラルネットワーク６のための教師信号をそれぞれ示して
いる。
【００２４】まず、変形修正用ニューラルネットワーク
６に個々の特徴パターンを入力して、教師信号７を用い
て学習させる。教師信号７は標準的な特徴パターンであ
る。ここでは、標準パターンとして、学習に用いた７５
人分の入力特徴パターンの平均パターンを採用した場合
を例にとって説明する。
６に個々の特徴パターンを入力して、教師信号７を用い
て学習させる。教師信号７は標準的な特徴パターンであ
る。ここでは、標準パターンとして、学習に用いた７５
人分の入力特徴パターンの平均パターンを採用した場合
を例にとって説明する。
【００２５】ニューラルネットワーク６の規模は、入力
層３２ニューロン、中間層３２ニューロン、出力層３２
ニューロンである。
層３２ニューロン、中間層３２ニューロン、出力層３２
ニューロンである。
【００２６】ニューラルネットワーク６の学習後、学習
データに対するニューラルネットワーク６の出力を認識
用ニューラルネットワーク３に入力して、教師信号４を
用いて学習させる。教師信号４は分類すべき識別クラス
に対応する値である。ここでは、該当する数字に対応す
る出力層のニューロンへの値だけは「１」とし、その他
は「０」とするような値を教師信号とする。
データに対するニューラルネットワーク６の出力を認識
用ニューラルネットワーク３に入力して、教師信号４を
用いて学習させる。教師信号４は分類すべき識別クラス
に対応する値である。ここでは、該当する数字に対応す
る出力層のニューロンへの値だけは「１」とし、その他
は「０」とするような値を教師信号とする。
【００２７】ニューラルネットワーク３の規模は、入力
層３２ニューロン、中間層１０ニューロン、出力層１０
ニューロンである。
層３２ニューロン、中間層１０ニューロン、出力層１０
ニューロンである。
【００２８】以上の条件で、評価実験を行った。その結
果、本発明の多段構成型ニューラルネットワークを用い
た未知データ（７５人分の手書き数字によるデータ）の
認識率は、横方向入力で８４．６７％、縦方向で５３．
４７％となった。
果、本発明の多段構成型ニューラルネットワークを用い
た未知データ（７５人分の手書き数字によるデータ）の
認識率は、横方向入力で８４．６７％、縦方向で５３．
４７％となった。
【００２９】この結果を従来技術と比較すると、横方向
入力では１．４７％、縦方向入力では２．１４％それぞ
れ向上した。
入力では１．４７％、縦方向入力では２．１４％それぞ
れ向上した。
【００３０】以上の説明では、メディアの例として手書
き数字をとりあげて説明したが、本発明は、手書き数字
以外の文字、図形、画像などのパターン認識にも適用で
きることは明らかである。
き数字をとりあげて説明したが、本発明は、手書き数字
以外の文字、図形、画像などのパターン認識にも適用で
きることは明らかである。
【００３１】また、以上の説明では、手書き数字の特徴
パターンとして、横方向濃淡分布と縦方向濃淡分布を例
にとって説明したが例にとって説明したが、本発明は、
ななめ方向の濃淡分布や、その他の類似性の高い特徴パ
ターンを採用する場合にも適用できることは明らかであ
る。
パターンとして、横方向濃淡分布と縦方向濃淡分布を例
にとって説明したが例にとって説明したが、本発明は、
ななめ方向の濃淡分布や、その他の類似性の高い特徴パ
ターンを採用する場合にも適用できることは明らかであ
る。
【００３２】さらに、以上の説明では、標準パターンと
して、学習に用いた入力特徴パターンの平均パターンを
採用した場合を例にとって説明したが、平均パターン以
外のものを標準パターンに採用する場合にも適用できる
ことは明らかである。
して、学習に用いた入力特徴パターンの平均パターンを
採用した場合を例にとって説明したが、平均パターン以
外のものを標準パターンに採用する場合にも適用できる
ことは明らかである。
【００３３】
【発明の効果】以上説明したように、本発明によれば、
入力メディアの特徴パターンを抽出する特徴抽出手段と
、この特徴抽出手段で抽出された特徴パターンを入力と
してパターンを識別するニューラルネットワークとを備
えるパターン認識装置において、特徴抽出手段で抽出さ
れた特徴パターンを入力とする第１のニューラルネット
ワークと、この第１のニューラルネットワークの出力を
入力とする第２のニューラルネットワークとを設け、第
１のニューラルネットワークには教師信号として標準的
な特徴パターンを入力して学習を行わせ、第２のニュー
ラルネットワークには教師信号として分類すべき識別ク
ラスに対応する値を入力して学習を行わせるように構成
したので、第１のニューラルネットワークを用いて、標
準パターンからの変形をできるだけ修正し、類似性を低
減したパターンを、第２のニューラルネットワークへの
入力とすることができるので、従来技術よりもコンフリ
クトの少ないニューラルネットワーク学習を行なえ、従
って、性能のよいパターン認識装置を実現できるという
効果がある。
入力メディアの特徴パターンを抽出する特徴抽出手段と
、この特徴抽出手段で抽出された特徴パターンを入力と
してパターンを識別するニューラルネットワークとを備
えるパターン認識装置において、特徴抽出手段で抽出さ
れた特徴パターンを入力とする第１のニューラルネット
ワークと、この第１のニューラルネットワークの出力を
入力とする第２のニューラルネットワークとを設け、第
１のニューラルネットワークには教師信号として標準的
な特徴パターンを入力して学習を行わせ、第２のニュー
ラルネットワークには教師信号として分類すべき識別ク
ラスに対応する値を入力して学習を行わせるように構成
したので、第１のニューラルネットワークを用いて、標
準パターンからの変形をできるだけ修正し、類似性を低
減したパターンを、第２のニューラルネットワークへの
入力とすることができるので、従来技術よりもコンフリ
クトの少ないニューラルネットワーク学習を行なえ、従
って、性能のよいパターン認識装置を実現できるという
効果がある。
【図１】本発明のパターン認識装置の実施例を示す図で
ある。
ある。
【図２】手書き数字の横方向濃淡分布の例を示す図であ
る。
る。
【図３】手書き数字の縦方向濃淡分布の例を示す図であ
る。
る。
【図４】従来技術でのパターン認識装置の構成例を示す
図である。
図である。
１ 入力数字の原イメージ、
２ 特徴抽出手段、
３ 認識用ニューラルネットワーク、４ ニューラ
ルネットワーク３のための教師信号、５ 認識結果、 ６ 変形修正用ニューラルネットワーク、７ ニュ
ーラルネットワーク６のための教師信号。
ルネットワーク３のための教師信号、５ 認識結果、 ６ 変形修正用ニューラルネットワーク、７ ニュ
ーラルネットワーク６のための教師信号。
Claims (1)
- 【請求項１】 入力メディアの特徴パターンを抽出す
る特徴抽出手段と、この特徴抽出手段で抽出された特徴
パターンを入力としてパターンを識別するニューラルネ
ットワークとを備えるパターン認識装置において、前記
特徴抽出手段で抽出された特徴パターンを入力とする第
１のニューラルネットワークと、この第１のニューラル
ネットワークの出力を入力とする第２のニューラルネッ
トワークとを設け、前記第１のニューラルネットワーク
には教師信号として標準的な特徴パターンを入力して学
習を行わせ、前記第２のニューラルネットワークには教
師信号として分類すべき識別クラスに対応する値を入力
して学習を行わせることを特徴とするパターン認識装置
。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2400691A JPH04213172A (ja) | 1990-12-06 | 1990-12-06 | パターン認識装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2400691A JPH04213172A (ja) | 1990-12-06 | 1990-12-06 | パターン認識装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH04213172A true JPH04213172A (ja) | 1992-08-04 |
Family
ID=18510574
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2400691A Pending JPH04213172A (ja) | 1990-12-06 | 1990-12-06 | パターン認識装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH04213172A (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0587349A3 (en) * | 1992-09-08 | 1994-12-21 | Sony Corp | Pattern recognition devices. |
| EP3151562A1 (en) * | 2015-09-29 | 2017-04-05 | Dolby Laboratories Licensing Corp. | Feature based bitrate allocation in non-backward compatible multi-layer codec via machine learning |
-
1990
- 1990-12-06 JP JP2400691A patent/JPH04213172A/ja active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0587349A3 (en) * | 1992-09-08 | 1994-12-21 | Sony Corp | Pattern recognition devices. |
| US5469512A (en) * | 1992-09-08 | 1995-11-21 | Sony Corporation | Pattern recognition device |
| EP3151562A1 (en) * | 2015-09-29 | 2017-04-05 | Dolby Laboratories Licensing Corp. | Feature based bitrate allocation in non-backward compatible multi-layer codec via machine learning |
| US10123018B2 (en) | 2015-09-29 | 2018-11-06 | Dolby Laboratories Licensing Corporation | Feature based bitrate allocation in non-backward compatible multi-layer codec via machine learning |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Bayar et al. | A deep learning approach to universal image manipulation detection using a new convolutional layer | |
| Sadeghi et al. | HistNet: Histogram-based convolutional neural network with Chi-squared deep metric learning for facial expression recognition | |
| Raj et al. | Face recognition based smart attendance system | |
| Islalm et al. | Recognition bangla sign language using convolutional neural network | |
| Kussul et al. | Improved method of handwritten digit recognition tested on MNIST database | |
| US5048100A (en) | Self organizing neural network method and system for general classification of patterns | |
| US5105468A (en) | Time delay neural network for printed and cursive handwritten character recognition | |
| US5832108A (en) | Pattern recognition method using a network and system therefor | |
| CN110070115B (zh) | 一种单像素攻击样本生成方法、装置、设备及存储介质 | |
| Naidu et al. | Handwritten character recognition using convolutional neural networks | |
| Hossain et al. | Recognition and solution for handwritten equation using convolutional neural network | |
| CN107491729B (zh) | 基于余弦相似度激活的卷积神经网络的手写数字识别方法 | |
| CN112613341A (zh) | 训练方法及装置、指纹识别方法及装置、电子设备 | |
| Sethy et al. | Off-line Odia handwritten numeral recognition using neural network: a comparative analysis | |
| EP0604687B1 (en) | Method for deriving character features in a character recognition system | |
| CN115049830B (zh) | 一种基于矩阵边缘特征元素的图像缩边模型、方法及装置 | |
| Escalera et al. | Traffic-sign recognition systems | |
| Magrina | Convolution neural network based ancient tamil character recognition from epigraphical inscriptions | |
| CN108960275A (zh) | 一种基于深度玻尔兹曼机的图像识别方法及系统 | |
| JPH04213172A (ja) | パターン認識装置 | |
| Reddy et al. | A three-dimensional neural network model for unconstrained handwritten numeral recognition: a new approach | |
| CN112016592A (zh) | 基于交叉领域类别感知的领域适应语义分割方法及装置 | |
| Jadhav et al. | Sign Language Recognition Using Neural Network | |
| Pearlsy et al. | Malayalam handwritten character recognition using transfer learning and fine tuning of deep convolutional neural networks | |
| Sizyakin et al. | A deep learning-based approach for defect detection and removing on archival photos |