JPH08329196A - 文字認識装置およびその学習方法 - Google Patents
文字認識装置およびその学習方法Info
- Publication number
- JPH08329196A JPH08329196A JP7133497A JP13349795A JPH08329196A JP H08329196 A JPH08329196 A JP H08329196A JP 7133497 A JP7133497 A JP 7133497A JP 13349795 A JP13349795 A JP 13349795A JP H08329196 A JPH08329196 A JP H08329196A
- Authority
- JP
- Japan
- Prior art keywords
- input data
- teacher
- data
- learning method
- recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Character Discrimination (AREA)
Abstract
(57)【要約】
【構成】 ニューラルネットワークは前段部と後段部と
を含み、前段部では入力データをグループに分類する。
後段部では前段部で分類されたグループに従って入力デ
ータを認識する。ニューラルネットワークの学習時、ス
テップS24〜S31までを実行して、教師用サンプル
をそれ以前に決定された複数のグループに重複して登録
する。 【効果】 入力文字が正しく分類でき、精度よく文字を
認識できる。
を含み、前段部では入力データをグループに分類する。
後段部では前段部で分類されたグループに従って入力デ
ータを認識する。ニューラルネットワークの学習時、ス
テップS24〜S31までを実行して、教師用サンプル
をそれ以前に決定された複数のグループに重複して登録
する。 【効果】 入力文字が正しく分類でき、精度よく文字を
認識できる。
Description
【0001】
【産業上の利用分野】この発明は文字認識装置およびそ
の学習方法に関し、特にたとえば入力データを複数のグ
ループの特定のものに分類する前段部と、その複数のグ
ループにそれぞれ対応する複数の認識部からなる後段部
とを含むニューラルネットワークを用いた文字認識装置
およびその学習方法に関する。
の学習方法に関し、特にたとえば入力データを複数のグ
ループの特定のものに分類する前段部と、その複数のグ
ループにそれぞれ対応する複数の認識部からなる後段部
とを含むニューラルネットワークを用いた文字認識装置
およびその学習方法に関する。
【0002】
【従来の技術】この種の文字認識装置の一例が、「Co
mbNet−II」として知られている。「CombNe
t−II」は、たとえば、平成4年5月28日付で出願公
開された特開平4−155480号〔G06F 15/
70,15/18〕に開示されている。
mbNet−II」として知られている。「CombNe
t−II」は、たとえば、平成4年5月28日付で出願公
開された特開平4−155480号〔G06F 15/
70,15/18〕に開示されている。
【0003】特開平4−155480号に開示されてい
る従来技術には、ステムネット(Stem Net)と呼ばれる前
段部と、ブランチネット(Branch Net)と呼ばれる後段部
とが存在する。そして、ステムネットにおいて、1つの
ニューロンと最適整合するグループの数が所定値を超え
たときにグループ群を2分割してニューロンを生成する
自己増殖機能を備えることが開示されている。
る従来技術には、ステムネット(Stem Net)と呼ばれる前
段部と、ブランチネット(Branch Net)と呼ばれる後段部
とが存在する。そして、ステムネットにおいて、1つの
ニューロンと最適整合するグループの数が所定値を超え
たときにグループ群を2分割してニューロンを生成する
自己増殖機能を備えることが開示されている。
【0004】この従来技術では、図1に示すように、ス
テムネットにおける各グループすなわち特徴空間の境界
が決められる。図1でいえば、たとえばその中央部分の
1つの参照ベクトル(基準データ)は、文字「1」,
「5」,「6」,「7」および「9」のパターンデータ
をその参照ベクトルと類似する1つのグループに分類す
ることを示している。このようにして前段部におけるグ
ループが決定され、次いで、ブランチネットすなわち後
段部の認識部が学習される。すなわち、認識部では、た
とえば図2に示すように、複数のグループに分散した同
一文字のパターンデータを1つの参照データに関連付け
るように学習する。図2でいえば、3つの参照ベクトル
と類似するとされていたたとえば「0」の文字は、
「0」を表す参照ベクトル(図2では左端の白丸)に関
連付けられる。したがって、認識時に文字「0」が
「0」として正しく認識できるのである。
テムネットにおける各グループすなわち特徴空間の境界
が決められる。図1でいえば、たとえばその中央部分の
1つの参照ベクトル(基準データ)は、文字「1」,
「5」,「6」,「7」および「9」のパターンデータ
をその参照ベクトルと類似する1つのグループに分類す
ることを示している。このようにして前段部におけるグ
ループが決定され、次いで、ブランチネットすなわち後
段部の認識部が学習される。すなわち、認識部では、た
とえば図2に示すように、複数のグループに分散した同
一文字のパターンデータを1つの参照データに関連付け
るように学習する。図2でいえば、3つの参照ベクトル
と類似するとされていたたとえば「0」の文字は、
「0」を表す参照ベクトル(図2では左端の白丸)に関
連付けられる。したがって、認識時に文字「0」が
「0」として正しく認識できるのである。
【0005】
【発明が解決しようとする課題】ところが、従来技術の
文字認識装置では、後段部の学習において決定された識
別境界(図2の曲線)が不連続になる場合があり、この
ような場合には、入力パターンが誤ったグループに分類
されるために誤認識され、したがって、十分な認識精度
が得られない、という問題がある。
文字認識装置では、後段部の学習において決定された識
別境界(図2の曲線)が不連続になる場合があり、この
ような場合には、入力パターンが誤ったグループに分類
されるために誤認識され、したがって、十分な認識精度
が得られない、という問題がある。
【0006】それゆえに、この発明の主たる目的は、認
識精度をよくすることができる、ニューラルネットワー
クを用いた文字認識装置およびその学習方法を提供する
ことである。
識精度をよくすることができる、ニューラルネットワー
クを用いた文字認識装置およびその学習方法を提供する
ことである。
【0007】
【課題を解決するための手段】第1の発明は、入力デー
タを所定の複数の基準データと比較して入力データを分
類する前段部と複数の基準データに対応して設けられた
複数の認識部からなる後段部とからなるニューラルネッ
トワークを用いた文字認識装置の後段部のバックプロパ
ゲーション法に従った学習方法において、教師用入力デ
ータと基準データとの類似度に応じて、後段部の複数の
認識部に教師用データを学習させるようにしたことを特
徴とする、学習方法である。
タを所定の複数の基準データと比較して入力データを分
類する前段部と複数の基準データに対応して設けられた
複数の認識部からなる後段部とからなるニューラルネッ
トワークを用いた文字認識装置の後段部のバックプロパ
ゲーション法に従った学習方法において、教師用入力デ
ータと基準データとの類似度に応じて、後段部の複数の
認識部に教師用データを学習させるようにしたことを特
徴とする、学習方法である。
【0008】第2の発明は、入力データを所定の複数の
基準データと比較して入力データを分類する前段部と複
数の基準データに対応して設けられた複数の認識部から
なる後段部とを含むニューラルネットワークを用いた文
字認識装置の学習方法であって、(a) 教師用入力データ
に基づいて自己増殖によって複数のグループに分類して
前段部における複数の基準データを作成し、(b) 複数の
基準データのそれぞれに対応する後段部の複数の認識部
を作成し、(c) 教師用入力データが複数の基準データに
類似するとき教師用入力データが複数のグループに重複
して分類されるように教師用入力データを再分類し、そ
して(d) バックプロパゲーション法によって教師用入力
データを複数の認識部に学習させる、学習方法である。
基準データと比較して入力データを分類する前段部と複
数の基準データに対応して設けられた複数の認識部から
なる後段部とを含むニューラルネットワークを用いた文
字認識装置の学習方法であって、(a) 教師用入力データ
に基づいて自己増殖によって複数のグループに分類して
前段部における複数の基準データを作成し、(b) 複数の
基準データのそれぞれに対応する後段部の複数の認識部
を作成し、(c) 教師用入力データが複数の基準データに
類似するとき教師用入力データが複数のグループに重複
して分類されるように教師用入力データを再分類し、そ
して(d) バックプロパゲーション法によって教師用入力
データを複数の認識部に学習させる、学習方法である。
【0009】
【作用】この発明では、ニューラルネットワークの学習
時にたとえば教師用入力データを再分類する等して一定
以上の類似度を有する2以上のグループ(認識部)に重
複して登録するようにした。したがって、各グループの
境界すなわち特徴空間の境界の不連続性が改善される。
時にたとえば教師用入力データを再分類する等して一定
以上の類似度を有する2以上のグループ(認識部)に重
複して登録するようにした。したがって、各グループの
境界すなわち特徴空間の境界の不連続性が改善される。
【0010】
【発明の効果】この発明によれば、特徴空間の境界の不
連続性が改善されるので、認識時において、入力文字が
正しいグループに分類でき、認識精度が向上する。この
発明の上述の目的,その他の目的,特徴および利点は、
図面を参照して行う以下の実施例の詳細な説明から一層
明らかとなろう。
連続性が改善されるので、認識時において、入力文字が
正しいグループに分類でき、認識精度が向上する。この
発明の上述の目的,その他の目的,特徴および利点は、
図面を参照して行う以下の実施例の詳細な説明から一層
明らかとなろう。
【0011】
【実施例】図3の機能ブロック図に示されるこの発明の
一実施例の文字認識装置10は、ニューラルネットワー
ク12を含み、このニューラルネットワーク12はステ
ムネットと呼ばれる前段部14と、ブランチネットと呼
ばれる後段部16とを含む。前段部14は多数のカテゴ
リを有する入力パターンを特定のグループに分類するた
めのものであり、入力パターンを予め設定された複数の
基準データ(参照ベクトル)と比較することによって分
類する。また、後段部16は認識部またはブランチネッ
トと呼ばれるもので、前段部14のグループの各々に対
応して設けられ、それぞれ、入力層16a,中間層16
bおよび出力層16cを含む。入力層16aと中間層1
6bとは結合係数Nih で結合されていて、中間層16b
と出力層16cとは結合係数who で結合されている。後
段部16の入力層16aには、前段部14で分類され
た、たとえば8つの4×4ドットの特徴パターンデータ
が入力される。
一実施例の文字認識装置10は、ニューラルネットワー
ク12を含み、このニューラルネットワーク12はステ
ムネットと呼ばれる前段部14と、ブランチネットと呼
ばれる後段部16とを含む。前段部14は多数のカテゴ
リを有する入力パターンを特定のグループに分類するた
めのものであり、入力パターンを予め設定された複数の
基準データ(参照ベクトル)と比較することによって分
類する。また、後段部16は認識部またはブランチネッ
トと呼ばれるもので、前段部14のグループの各々に対
応して設けられ、それぞれ、入力層16a,中間層16
bおよび出力層16cを含む。入力層16aと中間層1
6bとは結合係数Nih で結合されていて、中間層16b
と出力層16cとは結合係数who で結合されている。後
段部16の入力層16aには、前段部14で分類され
た、たとえば8つの4×4ドットの特徴パターンデータ
が入力される。
【0012】特徴パターンデータは図4に従って求めら
れる。すなわち、ステップS1では、たとえば図5で示
すように、8×8ドットの正規化パターンデータの周囲
に1ドットの「0」を加え、10×10ドットのパター
ンデータに変換する。次いで、ステップS2において、
8方向の直線成分フィルタを用いてフィルタ処理を実行
する。すなわち、このステップS2では、数1に従っ
て、8つの8×8ドットのパターンデータ(中間データ
Hk(x,y) )を計算する。
れる。すなわち、ステップS1では、たとえば図5で示
すように、8×8ドットの正規化パターンデータの周囲
に1ドットの「0」を加え、10×10ドットのパター
ンデータに変換する。次いで、ステップS2において、
8方向の直線成分フィルタを用いてフィルタ処理を実行
する。すなわち、このステップS2では、数1に従っ
て、8つの8×8ドットのパターンデータ(中間データ
Hk(x,y) )を計算する。
【0013】
【数1】
【0014】数1において、中間データHk(x,y) の添
字x,yは図5における各ドット(座標)位置を示し、
I(x+i-1,y+i-1) は入力データであり、fk(i,j) は直
線成分フィルタを示す。直線成分フィルタf1は、水平
方向成分を抽出するためのフィルタであり、直線成分フ
ィルタf2,f3,f4,f5,f6,f7およびf8
は、それぞれ、垂直成分,右45°成分,右30°成
分,左30°成分,右60°成分および左60°成分を
抽出するフィルタである。
字x,yは図5における各ドット(座標)位置を示し、
I(x+i-1,y+i-1) は入力データであり、fk(i,j) は直
線成分フィルタを示す。直線成分フィルタf1は、水平
方向成分を抽出するためのフィルタであり、直線成分フ
ィルタf2,f3,f4,f5,f6,f7およびf8
は、それぞれ、垂直成分,右45°成分,右30°成
分,左30°成分,右60°成分および左60°成分を
抽出するフィルタである。
【0015】ただし、図5において最も外側の各ドット
の入力データは「0」として計算する。つまり、
の入力データは「0」として計算する。つまり、
【0016】
【数2】I(x,-1)=0 I(x,8) =0 I(-1,y)=0 I(8,y) =0 x=0,1,2,3,4,5,6,7 y=0,1,2,3,4,5,6,7 である。
【0017】数1に従って計算した中間データHk
(x,y) は max{Hk(x,y) }で割ることによって「0〜
1」の値に正規化する。次に、ステップS3で、ステッ
プS2において求めた8つの中間データ(8×8ドッ
ト)の周囲に1ドットの「0」を加え、8つの10×1
0ドットの中間データに変換する。
(x,y) は max{Hk(x,y) }で割ることによって「0〜
1」の値に正規化する。次に、ステップS3で、ステッ
プS2において求めた8つの中間データ(8×8ドッ
ト)の周囲に1ドットの「0」を加え、8つの10×1
0ドットの中間データに変換する。
【0018】そして、ステップS4において、ぼかし圧
縮フィルタを用いたフィルタ処理を実行し、特徴パター
ンデータを計算する。すなわち、数3に従った出力デー
タOk(p,q) を得る。
縮フィルタを用いたフィルタ処理を実行し、特徴パター
ンデータを計算する。すなわち、数3に従った出力デー
タOk(p,q) を得る。
【0019】
【数3】
【0020】ただし、中間データの最も外側の各ドット
は「0」として計算する。つまり、
は「0」として計算する。つまり、
【0021】
【数4】Hk(x,-1)=0 Hk(x,8) =0 Hk(-1,y)=0 Hk(8,y) =0 x=0,1,2,3,4,5,6,7 y=0,1,2,3,4,5,6,7 である。
【0022】なお、gk(i,j) はぼかし圧縮フィルタを
示す。ぼかし圧縮フィルタg1は、水平方向成分を抽出
するためのフィルタであり、ぼかし圧縮フィルタg2,
g3,g4,g5,g6,g7およびg8は、それぞ
れ、垂直成分,右45°成分,右30°成分,左30°
成分,右60°成分および左60°成分を抽出するフィ
ルタである。
示す。ぼかし圧縮フィルタg1は、水平方向成分を抽出
するためのフィルタであり、ぼかし圧縮フィルタg2,
g3,g4,g5,g6,g7およびg8は、それぞ
れ、垂直成分,右45°成分,右30°成分,左30°
成分,右60°成分および左60°成分を抽出するフィ
ルタである。
【0023】そして、数3に従って計算した出力データ
Ok(p,q) は max{Ok(p,q) }で割ることによって
「0〜1」の値に正規化する。このようにして、それぞ
れが4×4ドットである8方向の直線成分すなわち特徴
パターンデータが計算され、それが前段部14へ入力さ
れる。図3に示す文字認識装置10において、ブランチ
ネットすなわち後段部16の学習時には、このようにし
て入力される128(=8×4×4)次元のデータに従
って、結合係数Vih およびWho が決定される。すなわ
ち、教師用サンプルデータの特徴データが、前段部14
に入力される。したがって、ニューラルネットワーク1
2では、適宜の結合係数Vih およびWho に従って、出力
層16cから出力値を出力する。つまり、教師用サンプ
ルとの類似度に応じた出力値を出力する。
Ok(p,q) は max{Ok(p,q) }で割ることによって
「0〜1」の値に正規化する。このようにして、それぞ
れが4×4ドットである8方向の直線成分すなわち特徴
パターンデータが計算され、それが前段部14へ入力さ
れる。図3に示す文字認識装置10において、ブランチ
ネットすなわち後段部16の学習時には、このようにし
て入力される128(=8×4×4)次元のデータに従
って、結合係数Vih およびWho が決定される。すなわ
ち、教師用サンプルデータの特徴データが、前段部14
に入力される。したがって、ニューラルネットワーク1
2では、適宜の結合係数Vih およびWho に従って、出力
層16cから出力値を出力する。つまり、教師用サンプ
ルとの類似度に応じた出力値を出力する。
【0024】ニューラルネットワーク12からの上述の
出力値は誤差出力回路18に与えられる。この誤差出力
回路18には、また、教師信号出力回路20から、正解
出力値、すなわちそのとき学習させようとした文字に相
当する出力値をたとえば「0.9」とし、残余の文字に
相当する出力値をたとえば「0.2」とした教師信号が
与えられる。したがって、誤差出力回路18では、ニュ
ーラルネットワーク12からの出力値と教師信号出力回
路20からの教師信号との誤差を計算し、誤差データを
誤差総和回路22に与える。
出力値は誤差出力回路18に与えられる。この誤差出力
回路18には、また、教師信号出力回路20から、正解
出力値、すなわちそのとき学習させようとした文字に相
当する出力値をたとえば「0.9」とし、残余の文字に
相当する出力値をたとえば「0.2」とした教師信号が
与えられる。したがって、誤差出力回路18では、ニュ
ーラルネットワーク12からの出力値と教師信号出力回
路20からの教師信号との誤差を計算し、誤差データを
誤差総和回路22に与える。
【0025】誤差総和回路22は、誤差データの総和を
計算し、誤差総和が所定値たとえば「0.5」を超える
と、修正回路24に修正指令信号を与える。修正回路2
4では、修正指令信号を受けると、そのとき誤差出力回
路18から出力されている誤差データに基づいて、結合
係数Vih およびWho を修正する。つまり、バックプロパ
ゲーション法に従って結合係数Vih およびWho が修正さ
れる。
計算し、誤差総和が所定値たとえば「0.5」を超える
と、修正回路24に修正指令信号を与える。修正回路2
4では、修正指令信号を受けると、そのとき誤差出力回
路18から出力されている誤差データに基づいて、結合
係数Vih およびWho を修正する。つまり、バックプロパ
ゲーション法に従って結合係数Vih およびWho が修正さ
れる。
【0026】次に、図6および図7を参照して、図3実
施例におけるニューラルネットワーク12の学習方法に
ついて説明する。まず、図6の最初のステップS11で
は、サンプル番号tが「1」の教師サンプルの特徴パタ
ーンデータをニューラルネットワーク12の前段部14
に入力する。次のステップS12では、グループ数nを
「1」として、前段部14におけるグループを作成し、
そのグループの基準データすなわち参照ベクトルをセッ
トする。次のステップS13では、サンプル番号tをイ
ンクリメントし、「t+1」のサンプル番号の教師サン
プルの特徴パターンデータを前段部14に与える。
施例におけるニューラルネットワーク12の学習方法に
ついて説明する。まず、図6の最初のステップS11で
は、サンプル番号tが「1」の教師サンプルの特徴パタ
ーンデータをニューラルネットワーク12の前段部14
に入力する。次のステップS12では、グループ数nを
「1」として、前段部14におけるグループを作成し、
そのグループの基準データすなわち参照ベクトルをセッ
トする。次のステップS13では、サンプル番号tをイ
ンクリメントし、「t+1」のサンプル番号の教師サン
プルの特徴パターンデータを前段部14に与える。
【0027】そして、次のステップS14では、サンプ
ル番号「t+1」の教師サンプルと先のステップS12
で設定した参照ベクトルとの類似度SM(これは特開平
4−155480号の(1) 式のようにして求めることが
できる)を求め、その類似度SMが所定の閾値αより小
さいかどうか、すなわち教師サンプルt+1がn=1の
グループの参照ベクトルと類似しているかどうかを判断
する。このステップS14において“YES”が判断さ
れるということは、教師サンプルt+1とn=1の参照
ベクトルとが類似していないことを意味し、この場合に
は、次のステップS15において、全グループ数Nをイ
ンクリメントするとともに、この教師サンプルt+1の
参照ベクトルをセットする。逆に、このステップS14
において“NO”が判断されるということは、教師サン
プルt+1がステップS12の参照ベクトルに類似して
いることを示し、したがって、この場合には、ステップ
S16において、そのときのグループ番号kに教師サン
プルt+1を分類するとともに、n=1の参照ベクトル
を教師サンプルt+1を考慮して変更する。具体的に
は、2つの参照ベクトルの平均値をとる。
ル番号「t+1」の教師サンプルと先のステップS12
で設定した参照ベクトルとの類似度SM(これは特開平
4−155480号の(1) 式のようにして求めることが
できる)を求め、その類似度SMが所定の閾値αより小
さいかどうか、すなわち教師サンプルt+1がn=1の
グループの参照ベクトルと類似しているかどうかを判断
する。このステップS14において“YES”が判断さ
れるということは、教師サンプルt+1とn=1の参照
ベクトルとが類似していないことを意味し、この場合に
は、次のステップS15において、全グループ数Nをイ
ンクリメントするとともに、この教師サンプルt+1の
参照ベクトルをセットする。逆に、このステップS14
において“NO”が判断されるということは、教師サン
プルt+1がステップS12の参照ベクトルに類似して
いることを示し、したがって、この場合には、ステップ
S16において、そのときのグループ番号kに教師サン
プルt+1を分類するとともに、n=1の参照ベクトル
を教師サンプルt+1を考慮して変更する。具体的に
は、2つの参照ベクトルの平均値をとる。
【0028】次のステップS17では、教師サンプル番
号tが全サンプル数Tと等しくなったかどうか、すなわ
ち、全ての教師サンプルを分類したかどうかを判断す
る。したがって、このステップS17において“NO”
が判断された場合には、先のステップS13〜S16が
繰り返し実行される。ステップS17において、“YE
S”が判断されるということは、全ての教師サンプルを
分類したことを意味し、この場合には、続くステップS
18において、再びサンプル番号tを「1」に設定し、
次のステップS19に進む。
号tが全サンプル数Tと等しくなったかどうか、すなわ
ち、全ての教師サンプルを分類したかどうかを判断す
る。したがって、このステップS17において“NO”
が判断された場合には、先のステップS13〜S16が
繰り返し実行される。ステップS17において、“YE
S”が判断されるということは、全ての教師サンプルを
分類したことを意味し、この場合には、続くステップS
18において、再びサンプル番号tを「1」に設定し、
次のステップS19に進む。
【0029】このステップS19では、全グループ1〜
Nの参照ベクトルとサンプル番号t(=1)の教師サン
プルとの類似度SMが最大となるグループ番号k′が、
先のグループ番号kと同じかどうかが判断される。すな
わち、このステップS19では、サンプル番号tの教師
サンプルが、ステップS16で分類した同じグループに
属するかどうかを判断する。したがって、このステップ
S19において“NO”が判断されると、教師パターン
tの分類をグループkからk′に移動するとともに、グ
ループの移動があったことを示すフラグをセットする。
また、ステップS19において“YES”が判断される
とき(t=k′)、ステップS20を処理したときと同
様に、ステップS21において、サンプル番号tをイン
クリメントし、ステップS22において、全サンプルt
についてグループ移動の有無が確認されたかどうかを判
断する。
Nの参照ベクトルとサンプル番号t(=1)の教師サン
プルとの類似度SMが最大となるグループ番号k′が、
先のグループ番号kと同じかどうかが判断される。すな
わち、このステップS19では、サンプル番号tの教師
サンプルが、ステップS16で分類した同じグループに
属するかどうかを判断する。したがって、このステップ
S19において“NO”が判断されると、教師パターン
tの分類をグループkからk′に移動するとともに、グ
ループの移動があったことを示すフラグをセットする。
また、ステップS19において“YES”が判断される
とき(t=k′)、ステップS20を処理したときと同
様に、ステップS21において、サンプル番号tをイン
クリメントし、ステップS22において、全サンプルt
についてグループ移動の有無が確認されたかどうかを判
断する。
【0030】このように、ステップS18からステップ
S22において全ての教師サンプルのグループ移動の有
無を判断するのは、先のステップS16において、グル
ープkに類似した教師サンプルを取り込むときに参照ベ
クトルを変更するからである。したがって、このステッ
プS22において“NO”が判断されると、ステップS
19〜S21が繰り返し実行される。
S22において全ての教師サンプルのグループ移動の有
無を判断するのは、先のステップS16において、グル
ープkに類似した教師サンプルを取り込むときに参照ベ
クトルを変更するからである。したがって、このステッ
プS22において“NO”が判断されると、ステップS
19〜S21が繰り返し実行される。
【0031】そして、ステップS23において、先のス
テップS20によって移動を示すフラグがオンされてい
るかどうかを判断する。このフラグがオンされていると
いうことは、教師サンプルのグループ間移動があったこ
とを示し、この場合には、ステップS18〜S23が、
フラグがオンされなくなるまで、繰り返し実行される。
テップS20によって移動を示すフラグがオンされてい
るかどうかを判断する。このフラグがオンされていると
いうことは、教師サンプルのグループ間移動があったこ
とを示し、この場合には、ステップS18〜S23が、
フラグがオンされなくなるまで、繰り返し実行される。
【0032】このようにして、図6のステップS11〜
S23において、ニューラルネットワーク12の前段部
14における分類が決定される。そして、図7のステッ
プS24〜S31が実行され、教師サンプルの再分類が
行われる。すなわち、ステップS24では、サンプル番
号tを「1」にセットし、ステップS25では、類似し
ているかどうかを判断するグループ数mを「2」に設定
する。そして、ステップS26において、「SM1 −S
Mm 」が所定の閾値βより小さいかどうかを判断する。
SM1 は、その教師サンプルtが最も類似する参照ベク
トルとの類似度、すなわち第1位の類似度を示す。した
がって、SMm は、教師サンプルtが第m位に類似する
参照ベクトルとの類似度を示す。m=2がセットされて
いる場合には、ステップS26では、(SM1 −S
M2 )>βが判断される。つまり、教師サンプルtの第
1位の類似度と第2位の類似度との差が所定の閾値βよ
り小さいかどうかが判断される。
S23において、ニューラルネットワーク12の前段部
14における分類が決定される。そして、図7のステッ
プS24〜S31が実行され、教師サンプルの再分類が
行われる。すなわち、ステップS24では、サンプル番
号tを「1」にセットし、ステップS25では、類似し
ているかどうかを判断するグループ数mを「2」に設定
する。そして、ステップS26において、「SM1 −S
Mm 」が所定の閾値βより小さいかどうかを判断する。
SM1 は、その教師サンプルtが最も類似する参照ベク
トルとの類似度、すなわち第1位の類似度を示す。した
がって、SMm は、教師サンプルtが第m位に類似する
参照ベクトルとの類似度を示す。m=2がセットされて
いる場合には、ステップS26では、(SM1 −S
M2 )>βが判断される。つまり、教師サンプルtの第
1位の類似度と第2位の類似度との差が所定の閾値βよ
り小さいかどうかが判断される。
【0033】ステップS26において“YES”が判断
されるということは、教師サンプルtが、第1位の類似
度を示す参照ベクトルと第m位の類似度を示す参照ベク
トルとの両方に類似していることを意味し、この場合に
は、ステップS27において、教師サンプルtをグルー
プ番号mのグループに追加的に分類する。すなわち、こ
のステップS27において、教師サンプルtが少なくと
も2つのグループに重複して登録されることになる。
されるということは、教師サンプルtが、第1位の類似
度を示す参照ベクトルと第m位の類似度を示す参照ベク
トルとの両方に類似していることを意味し、この場合に
は、ステップS27において、教師サンプルtをグルー
プ番号mのグループに追加的に分類する。すなわち、こ
のステップS27において、教師サンプルtが少なくと
も2つのグループに重複して登録されることになる。
【0034】次のステップS28では、グループ数mを
インクリメントし、続くステップS29では、グループ
数mが全グループ数Mと等しくなったかどうかすなわ
ち、第M位の類似度を示す参照ベクトルの全てについて
ステップS26が実行されたかどうかを判断する。した
がって、このステップS29において“NO”が判断さ
れればステップS26に戻り、ステップS26〜S29
を繰り返し実行する。そして、ステップS30でサンプ
ル番号tをインクリメントし、ステップS31において
全ての教師サンプルについて再分類の可能性のチェック
が行われたかどうかを判断する。したがって、このステ
ップS31において“NO”が判断されれば、先のステ
ップS25に戻る。
インクリメントし、続くステップS29では、グループ
数mが全グループ数Mと等しくなったかどうかすなわ
ち、第M位の類似度を示す参照ベクトルの全てについて
ステップS26が実行されたかどうかを判断する。した
がって、このステップS29において“NO”が判断さ
れればステップS26に戻り、ステップS26〜S29
を繰り返し実行する。そして、ステップS30でサンプ
ル番号tをインクリメントし、ステップS31において
全ての教師サンプルについて再分類の可能性のチェック
が行われたかどうかを判断する。したがって、このステ
ップS31において“NO”が判断されれば、先のステ
ップS25に戻る。
【0035】このようにして、ステップS24〜S31
において、全ての教師サンプルtが複数のグループに重
複して登録されるべきであるかどうかが判断される。そ
して、ステップS32〜S35において、ニューラルネ
ットワーク12の後段部16の先に説明した学習が実行
される。この実施例によれば、図7のステップS27に
おいて、1つの教師サンプルtが複数の参照ベクトルに
同等程度に類似する場合には、その教師サンプルtを複
数のグループに重複して登録するようにしている。した
がって、ブランチネットすなわち後段部16において
は、図8に示すようにグループの境界すなわち識別境界
が連続する。したがって、この実施例によれば、図9お
よび図10で示す認識時における認識精度が向上する。
において、全ての教師サンプルtが複数のグループに重
複して登録されるべきであるかどうかが判断される。そ
して、ステップS32〜S35において、ニューラルネ
ットワーク12の後段部16の先に説明した学習が実行
される。この実施例によれば、図7のステップS27に
おいて、1つの教師サンプルtが複数の参照ベクトルに
同等程度に類似する場合には、その教師サンプルtを複
数のグループに重複して登録するようにしている。した
がって、ブランチネットすなわち後段部16において
は、図8に示すようにグループの境界すなわち識別境界
が連続する。したがって、この実施例によれば、図9お
よび図10で示す認識時における認識精度が向上する。
【0036】図9に示す文字認識においては、最初のス
テップS41において、入力文字パターンを正規化して
8×8ドットのパターンデータを作成する。そして、次
のステップS42では、先に詳細に説明したように、直
線成分フィルタを用いて、特徴抽出を行うとともに、ス
テップS43において、ニューラルネットワーク12の
前段部14に入力するための特徴パターンデータ(12
8次元)を作成する。そして、ステップS44に示す1
文字認識のサブルーチンを実行する。
テップS41において、入力文字パターンを正規化して
8×8ドットのパターンデータを作成する。そして、次
のステップS42では、先に詳細に説明したように、直
線成分フィルタを用いて、特徴抽出を行うとともに、ス
テップS43において、ニューラルネットワーク12の
前段部14に入力するための特徴パターンデータ(12
8次元)を作成する。そして、ステップS44に示す1
文字認識のサブルーチンを実行する。
【0037】このサブルーチンにおいては、図10の最
初のステップS101に示すように、ステップS43で
入力された特徴パターンデータをニューラルネットワー
ク12のステムネットすなわち前段部14の各グループ
の参照ベクトルとの類似度によって、その入力文字がど
のグループに属するかを決定する。そして、参照ベクト
ルとの類似度が大きい方から2つまでのグループ出力を
ソートする(ステップS102)。次のステップS10
3においては、グループカウンタiをクリアする。そし
て、ステップS104では、ニューラルネットワーク1
2の後段部16すなわち認識部を用いて、文字認識を実
行する。その結果、文字コードcおよび文字レベルbp-o
utを出力する。そしてステップS105では、その文字
レベルbp-outが第1位の文字レベルであるかどうかを判
断する。そして、ステップS104で出力される文字レ
ベルbp-outが第1位のものであれば、次のステップS1
06において、その文字レベルbp-outが一定値以上かど
うかを判断する。文字レベルbp-outが一定値以上ないと
いうことは出力を確定できるほど文字レベルが大きくな
いことを意味し、この場合には、グループカウンタiを
インクリメントし、再び先のステップS104を実行す
る。ただし、このステップS106で“YES”が判断
されると、そのとき出力された文字レベルbp-outをニュ
ーラルネットワーク12の出力値として出力する。
初のステップS101に示すように、ステップS43で
入力された特徴パターンデータをニューラルネットワー
ク12のステムネットすなわち前段部14の各グループ
の参照ベクトルとの類似度によって、その入力文字がど
のグループに属するかを決定する。そして、参照ベクト
ルとの類似度が大きい方から2つまでのグループ出力を
ソートする(ステップS102)。次のステップS10
3においては、グループカウンタiをクリアする。そし
て、ステップS104では、ニューラルネットワーク1
2の後段部16すなわち認識部を用いて、文字認識を実
行する。その結果、文字コードcおよび文字レベルbp-o
utを出力する。そしてステップS105では、その文字
レベルbp-outが第1位の文字レベルであるかどうかを判
断する。そして、ステップS104で出力される文字レ
ベルbp-outが第1位のものであれば、次のステップS1
06において、その文字レベルbp-outが一定値以上かど
うかを判断する。文字レベルbp-outが一定値以上ないと
いうことは出力を確定できるほど文字レベルが大きくな
いことを意味し、この場合には、グループカウンタiを
インクリメントし、再び先のステップS104を実行す
る。ただし、このステップS106で“YES”が判断
されると、そのとき出力された文字レベルbp-outをニュ
ーラルネットワーク12の出力値として出力する。
【0038】ステップS105において“NO”が判断
されることは、ステップS104において出力された文
字レベルbp-outが第2位のものであることを意味し、こ
の場合には、ステップS109において、第1位の文字
レベルを示す文字コードc1と第2位の文字レベルを示
す文字コードc2とが等しいかどうかを判断する。第1
位と第2位との文字コードが異なる場合には、ステップ
S110において、第2位の文字レベルbp-out(c2)が一
定値以上であるかどうかを判断する。このステップS1
10において“YES”が判断されるということは、第
2位の文字レベルを示す文字を認識結果とすることを意
味し、この場合には、ステップS111において、文字
コードcとしてc2を出力するとともに、出力値として
bp-out(c2)を出力する。ただし、ステップS110にお
いて“NO”が判断されるときには、ステップS112
において、文字コードcとして第1位の文字コードc1
を出力し、文字レベルとして第1位の文字レベルbp-out
(c1)を出力する。
されることは、ステップS104において出力された文
字レベルbp-outが第2位のものであることを意味し、こ
の場合には、ステップS109において、第1位の文字
レベルを示す文字コードc1と第2位の文字レベルを示
す文字コードc2とが等しいかどうかを判断する。第1
位と第2位との文字コードが異なる場合には、ステップ
S110において、第2位の文字レベルbp-out(c2)が一
定値以上であるかどうかを判断する。このステップS1
10において“YES”が判断されるということは、第
2位の文字レベルを示す文字を認識結果とすることを意
味し、この場合には、ステップS111において、文字
コードcとしてc2を出力するとともに、出力値として
bp-out(c2)を出力する。ただし、ステップS110にお
いて“NO”が判断されるときには、ステップS112
において、文字コードcとして第1位の文字コードc1
を出力し、文字レベルとして第1位の文字レベルbp-out
(c1)を出力する。
【0039】さらに、第1位の文字コードと第2位の文
字コードとが同じ場合には、ステップS113におい
て、第2位の文字レベルbp-out(c2)が設定値たとえば
「0.8」以上あるかどうかを判断する。このステップ
S113において“YES”が判断されると、ステップ
S114において、出力値として「0.9」を出力す
る。また、ステップS113において“NO”が判断さ
れると、ステップS115において、第1位の文字レベ
ルbp-out(c1)と第2位の文字レベルbp-out(c2)の大きい
方を求め、次のステップS116において、その大きい
方の文字レベルがステップS113の設定値の半分以上
あるかどうかを判断する。このステップS116におい
て“YES”が判断されると、先のステップS114に
進み、出力値「0.9」が出力される。ただし、ステッ
プS116において“NO”が判断されると、ステップ
S117では、出力値として、ステップS115で求め
た大きい方の文字レベルを出力する。
字コードとが同じ場合には、ステップS113におい
て、第2位の文字レベルbp-out(c2)が設定値たとえば
「0.8」以上あるかどうかを判断する。このステップ
S113において“YES”が判断されると、ステップ
S114において、出力値として「0.9」を出力す
る。また、ステップS113において“NO”が判断さ
れると、ステップS115において、第1位の文字レベ
ルbp-out(c1)と第2位の文字レベルbp-out(c2)の大きい
方を求め、次のステップS116において、その大きい
方の文字レベルがステップS113の設定値の半分以上
あるかどうかを判断する。このステップS116におい
て“YES”が判断されると、先のステップS114に
進み、出力値「0.9」が出力される。ただし、ステッ
プS116において“NO”が判断されると、ステップ
S117では、出力値として、ステップS115で求め
た大きい方の文字レベルを出力する。
【0040】このようにして、ステップS44すなわち
図10のサブルーチンを実行することによって、ニュー
ラルネットワーク12によって認識した文字コードcと
文字レベルout とが出力される。なお、ステップS44
において出力される文字レベルout が所定の閾値以上な
いときには、ステップS45において必要なエラー処理
を行う。
図10のサブルーチンを実行することによって、ニュー
ラルネットワーク12によって認識した文字コードcと
文字レベルout とが出力される。なお、ステップS44
において出力される文字レベルout が所定の閾値以上な
いときには、ステップS45において必要なエラー処理
を行う。
【図1】従来技術のステムネットすなわち前段部におけ
る特徴空間を示す図解図である。
る特徴空間を示す図解図である。
【図2】従来技術におけるブランチネットすなわち後段
部を含む分類すなわち特徴空間を示す図解図である。
部を含む分類すなわち特徴空間を示す図解図である。
【図3】この発明の一実施例を示す機能ブロック図であ
る。
る。
【図4】特徴パターンデータを作成する動作を示すフロ
ー図である。
ー図である。
【図5】8×8ドットの周囲に1ドットの「0」を追加
した10×10ドットのパターンを示す図解図である。
した10×10ドットのパターンを示す図解図である。
【図6】図1実施例のニューラルネットワークの学習動
作の一例を示すフロー図である。
作の一例を示すフロー図である。
【図7】図6に続く動作を示すフロー図である。
【図8】実施例における後段部を含むグループの境界す
なわち特徴空間を示す図解図である。
なわち特徴空間を示す図解図である。
【図9】図3実施例を用いた文字認識の動作を示すフロ
ー図である。
ー図である。
【図10】図9の1文字認識サブルーチンを示すフロー
図である。
図である。
10 …文字認識装置 12 …ニューラルネットワーク 14 …前段部 16 …後段部
───────────────────────────────────────────────────── フロントページの続き (72)発明者 堀井 洋 大阪府守口市京阪本通2丁目5番5号 三 洋電機株式会社内 (72)発明者 田中 淳司 鳥取県鳥取市南吉方3丁目201番地 鳥取 三洋電機株式会社内
Claims (6)
- 【請求項1】入力データを所定の複数の基準データと比
較して入力データを分類する前段部と前記複数の基準デ
ータに対応して設けられた複数の認識部からなる後段部
とからなるニューラルネットワークを用いた文字認識装
置の前記後段部のバックプロパゲーション法に従った学
習方法において、 教師用入力データと基準データとの類似度に応じて、前
記後段部の複数の認識部に前記教師用データを学習させ
るようにしたことを特徴とする、学習方法。 - 【請求項2】前記教師用入力データと複数の基準データ
との間の類似度の差が所定値以下のとき、前記教師用入
力データを前記複数の基準データに対応する複数の認識
部に学習させる、請求項1記載の学習方法。 - 【請求項3】入力データを所定の複数の基準データと比
較して入力データを分類する前段部と前記複数の基準デ
ータに対応して設けられた複数の認識部からなる後段部
とを含むニューラルネットワークを用いた文字認識装置
の学習方法であって、 (a) 教師用入力データに基づいて自己増殖によって複数
のグループに分類して前記前段部における複数の基準デ
ータを作成し、 (b) 前記複数の基準データのそれぞれに対応する前記後
段部の複数の認識部を作成し、 (c) 前記教師用入力データが複数の基準データに類似す
るとき前記教師用入力データが複数のグループに重複し
て分類されるように前記教師用入力データを再分類し、
そして (d) バックプロパゲーション法によって前記教師用入力
データを複数の認識部に学習させる、学習方法。 - 【請求項4】前記ステップ(c) は前記教師用入力データ
と複数の基準データのそれぞれとの類似度に従って再分
類する、請求項4記載の学習方法。 - 【請求項5】前記ステップ(c) は前記教師用入力データ
と複数の基準データとの間の類似度の差が所定値以下の
とき再分類する、請求項5記載の学習方法。 - 【請求項6】請求項1ないし5のいずれかに記載の学習
方法に従って学習した、文字認識装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP13349795A JP3469677B2 (ja) | 1995-05-31 | 1995-05-31 | 文字認識装置およびその学習方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP13349795A JP3469677B2 (ja) | 1995-05-31 | 1995-05-31 | 文字認識装置およびその学習方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH08329196A true JPH08329196A (ja) | 1996-12-13 |
| JP3469677B2 JP3469677B2 (ja) | 2003-11-25 |
Family
ID=15106159
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP13349795A Expired - Fee Related JP3469677B2 (ja) | 1995-05-31 | 1995-05-31 | 文字認識装置およびその学習方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3469677B2 (ja) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2005008513A1 (en) * | 2003-07-16 | 2005-01-27 | 3Gd Korea, Inc. | A method of recognizing automatically information units for constructing experimental data and array patterns of rules, and a storage medium for recording a program of the same |
| US10867244B2 (en) | 2016-09-30 | 2020-12-15 | Fujitsu Limited | Method and apparatus for machine learning |
| US11514308B2 (en) | 2017-09-08 | 2022-11-29 | Fujitsu Limited | Method and apparatus for machine learning |
| WO2022269885A1 (ja) * | 2021-06-25 | 2022-12-29 | 三菱電機株式会社 | 学習データ収集装置、学習データ収集方法、および学習データ収集プログラム |
| US11829867B2 (en) | 2018-06-07 | 2023-11-28 | Fujitsu Limited | Computer-readable recording medium and learning data generation method |
| US11836580B2 (en) | 2018-12-18 | 2023-12-05 | Fujitsu Limited | Machine learning method |
-
1995
- 1995-05-31 JP JP13349795A patent/JP3469677B2/ja not_active Expired - Fee Related
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2005008513A1 (en) * | 2003-07-16 | 2005-01-27 | 3Gd Korea, Inc. | A method of recognizing automatically information units for constructing experimental data and array patterns of rules, and a storage medium for recording a program of the same |
| US10867244B2 (en) | 2016-09-30 | 2020-12-15 | Fujitsu Limited | Method and apparatus for machine learning |
| US11514308B2 (en) | 2017-09-08 | 2022-11-29 | Fujitsu Limited | Method and apparatus for machine learning |
| US11829867B2 (en) | 2018-06-07 | 2023-11-28 | Fujitsu Limited | Computer-readable recording medium and learning data generation method |
| US11836580B2 (en) | 2018-12-18 | 2023-12-05 | Fujitsu Limited | Machine learning method |
| WO2022269885A1 (ja) * | 2021-06-25 | 2022-12-29 | 三菱電機株式会社 | 学習データ収集装置、学習データ収集方法、および学習データ収集プログラム |
| JPWO2022269885A1 (ja) * | 2021-06-25 | 2022-12-29 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3469677B2 (ja) | 2003-11-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2940933B2 (ja) | パターン認識方式 | |
| US8396817B2 (en) | Learning apparatus, learning method, recognition apparatus, recognition method, and program | |
| CN100419780C (zh) | 含有地址信息的图像的视频编码方法 | |
| EP0487309A2 (en) | Pattern recognition method and apparatus using a neural network | |
| US7181062B2 (en) | Modular classification architecture for a pattern recognition application | |
| EP0450522A2 (en) | A learning method for a data processing system | |
| Meignen et al. | One application of neural networks for detection of defects using video data bases: identification of road distresses | |
| Saidane et al. | Robust binarization for video text recognition | |
| EP0459276A2 (en) | Data processing system | |
| JP3469677B2 (ja) | 文字認識装置およびその学習方法 | |
| CN119169666A (zh) | 基于遮挡增强及掩码学习的行人重识别方法 | |
| US20040022441A1 (en) | Method and computer program product for identifying and incorporating new output classes in a pattern recognition system during system operation | |
| Sari et al. | An MLP for binarizing images of old manuscripts | |
| WO1991002323A1 (en) | Adaptive network for classifying time-varying data | |
| KR20210050684A (ko) | 이미지 처리 시스템 | |
| EP0453939B1 (en) | Learning method for data processing system | |
| US7167587B2 (en) | Sequential classifier for use in pattern recognition system | |
| CN117275094B (zh) | 手势识别方法、装置、电子设备及存储介质 | |
| Chi et al. | Image segmentation using fuzzy rules derived from K-means clusters | |
| JPH0535710A (ja) | ニユーラルネツトワークの学習方法および学習装置 | |
| JP2993862B2 (ja) | 信号認識方法、信号認識装置、信号認識装置の学習方法及び信号認識装置の学習装置 | |
| CN116645727B (zh) | 一种基于Openpose模型算法的行为捕捉识别方法 | |
| Pal | Fuzzy set theoretic approach: A tool for speech and image recognition | |
| JP2778194B2 (ja) | パターン認識方法および装置 | |
| JPH05314090A (ja) | ニューラルネットを用いたパターン認識方法およびその装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20030819 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080905 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090905 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |