JPH041870A - パターン認識方法および装置 - Google Patents
パターン認識方法および装置Info
- Publication number
- JPH041870A JPH041870A JP2101837A JP10183790A JPH041870A JP H041870 A JPH041870 A JP H041870A JP 2101837 A JP2101837 A JP 2101837A JP 10183790 A JP10183790 A JP 10183790A JP H041870 A JPH041870 A JP H041870A
- Authority
- JP
- Japan
- Prior art keywords
- output
- value
- recognition
- confidence
- category
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。
め要約のデータは記録されません。
Description
【発明の詳細な説明】
〔産業上の利用分野〕
本発明は、多層構造の神経回路モデルを用いたパターン
認識装置において、神経回路網の出力信号から計算した
確信度に従って、認識結果のみならずリジェクト信号を
出力するパターン認識方法および装置に関するものであ
る。
認識装置において、神経回路網の出力信号から計算した
確信度に従って、認識結果のみならずリジェクト信号を
出力するパターン認識方法および装置に関するものであ
る。
従来、多層神経回路網を用いたパターン認識では、パタ
ーンや特徴量を入力し、文献（“Ａ Ｎｅｕ−ｒａｌ
Ｎｅｔｗｏｒｋ Ｄｉｇｉｔ Ｒｅｃｏｇｎｉｔｉｏｎ
” ｂｙ Ｄ、Ｊ、Ｂｕｒｒ ：ＪＥＥＲＩｎｔｅｒｎ
ａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｓｙｓ
ｔｅｍ、 Ｍａｎａｎｄ Ｃｙｂｅｒｎｅｔｉｃｓ ：
１９８６． ｐｐ、１６２１−１６２５）に示される
ように、各要素がカテゴリへの類似度を表現するような
ベクトル量として出力信号を得る。多くの場合、出力信
号の要素は、０から１の数値または−１から１の数値と
して表現されている。ベクトル量の要素の中で最大の値
を取る要素が表すカテゴリを認識結果とするものである
。
ーンや特徴量を入力し、文献（“Ａ Ｎｅｕ−ｒａｌ
Ｎｅｔｗｏｒｋ Ｄｉｇｉｔ Ｒｅｃｏｇｎｉｔｉｏｎ
” ｂｙ Ｄ、Ｊ、Ｂｕｒｒ ：ＪＥＥＲＩｎｔｅｒｎ
ａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｓｙｓ
ｔｅｍ、 Ｍａｎａｎｄ Ｃｙｂｅｒｎｅｔｉｃｓ ：
１９８６． ｐｐ、１６２１−１６２５）に示される
ように、各要素がカテゴリへの類似度を表現するような
ベクトル量として出力信号を得る。多くの場合、出力信
号の要素は、０から１の数値または−１から１の数値と
して表現されている。ベクトル量の要素の中で最大の値
を取る要素が表すカテゴリを認識結果とするものである
。
パターンｖｌＷＡ装置では、認識対象でないパターンが
入力されたり、２つのカテゴリのうちのどちらともわか
らないようなパターンが入力されることがある。このよ
うな場合には、無理に認識結果を求めるよりは、認識不
能としてリジェクトする方が認識結果の信鯨性を高める
ことができる。
入力されたり、２つのカテゴリのうちのどちらともわか
らないようなパターンが入力されることがある。このよ
うな場合には、無理に認識結果を求めるよりは、認識不
能としてリジェクトする方が認識結果の信鯨性を高める
ことができる。
そのため従来のパターン認識装置では、パターンの整合
度を入力パターンと各カテゴリ毎の標準パターンとの類
似度で評価し、最も類似度が高いカテゴリを認識結果と
するなどの方法がある。このような方法では、第１位候
補の類似度が成る一定値以上に達しないとリジェクトし
たり、１位候補と２位候補との類似度の差が成る一定値
以上ないとリジェクトするなどの方法が取られている。
度を入力パターンと各カテゴリ毎の標準パターンとの類
似度で評価し、最も類似度が高いカテゴリを認識結果と
するなどの方法がある。このような方法では、第１位候
補の類似度が成る一定値以上に達しないとリジェクトし
たり、１位候補と２位候補との類似度の差が成る一定値
以上ないとリジェクトするなどの方法が取られている。
神経回路網を用いたパターン認識方法においては、出力
信号は上限下限を持つ値を要素として持つベクトル値で
あるが、この値は従来のパターン認識方法に見られる類
似度とは異なり、上記の従来のリジェクト方法を用いた
場合には、認識誤りとリジェクトの双方を減らすように
しきい値を設定することは困難であり、本来正しく認識
されているパターンの多くがリジェクトされてしまう。
信号は上限下限を持つ値を要素として持つベクトル値で
あるが、この値は従来のパターン認識方法に見られる類
似度とは異なり、上記の従来のリジェクト方法を用いた
場合には、認識誤りとリジェクトの双方を減らすように
しきい値を設定することは困難であり、本来正しく認識
されているパターンの多くがリジェクトされてしまう。
上記のような従来のパターン認識方法におけるリジェク
ト方法では、１位候補の値のみを用いているか、または
２位候補までの値を用いている。
ト方法では、１位候補の値のみを用いているか、または
２位候補までの値を用いている。
これでは、非常に似た複数のパターンを分類する場合に
はリジェクトが多く発生してしまう。またこのような方
法では、２つ以上の候補の類似度などの値を統一的に評
価してリジェクトを行うことはできない。
はリジェクトが多く発生してしまう。またこのような方
法では、２つ以上の候補の類似度などの値を統一的に評
価してリジェクトを行うことはできない。
本発明の目的は、神経回路網の出力信号であるベクトル
値から認識結果の確信度を求め、その値としきい値とを
比較判定して認識結果を出力するか、あるいはリジェク
ト信号を出力することができるパターン認識方法および
装置を提供することにある。
値から認識結果の確信度を求め、その値としきい値とを
比較判定して認識結果を出力するか、あるいはリジェク
ト信号を出力することができるパターン認識方法および
装置を提供することにある。
第１の発明は、多層構造の神経回路網を用いたパターン
認識方法において、 入力パターンまたは入力パターンから抽出された特徴量
を入力して、多層構造の神経回路網によってカテゴリを
表す出力ベクトルに変換し、その出力ベクトルから、１
つの要素だけが値域の上限値の近くになり、その他の要
素は値域の下限値の近くであるときに確信度が最大とな
るように確信度を計算し、その確信度をしきい値と比較
して、しきい値よりも大きい場合には出力結果を認識結
果とし、確信度がしきい値よりも小さい場合にはリジェ
クトすることを特徴とする特 第２の発明は、多層構造の神経回路網を用いたパターン
認識装置において、 入力データからカテゴリを表す出力ベクトル信号へと変
換する神経回路網を実現する手段と、出力ベクトル信号
のうちで最大値を持つカテゴリを検出する手段と、 出力ベクトル信号が、１つの要素だけが値域の上限値の
近くになり、その他の要素は値域の下限値の近くである
ときに確信度が最大となるように確信度を計算する手段
と、 確信度がしきい値より大きい場合には最大値検出部の出
力をもって認識結果とし、確信度がしきい値以下の場合
にはリジェクトとして判定する手段とを備え、 認識結果またはリジェクト信号を出力することを特徴と
する。
認識方法において、 入力パターンまたは入力パターンから抽出された特徴量
を入力して、多層構造の神経回路網によってカテゴリを
表す出力ベクトルに変換し、その出力ベクトルから、１
つの要素だけが値域の上限値の近くになり、その他の要
素は値域の下限値の近くであるときに確信度が最大とな
るように確信度を計算し、その確信度をしきい値と比較
して、しきい値よりも大きい場合には出力結果を認識結
果とし、確信度がしきい値よりも小さい場合にはリジェ
クトすることを特徴とする特 第２の発明は、多層構造の神経回路網を用いたパターン
認識装置において、 入力データからカテゴリを表す出力ベクトル信号へと変
換する神経回路網を実現する手段と、出力ベクトル信号
のうちで最大値を持つカテゴリを検出する手段と、 出力ベクトル信号が、１つの要素だけが値域の上限値の
近くになり、その他の要素は値域の下限値の近くである
ときに確信度が最大となるように確信度を計算する手段
と、 確信度がしきい値より大きい場合には最大値検出部の出
力をもって認識結果とし、確信度がしきい値以下の場合
にはリジェクトとして判定する手段とを備え、 認識結果またはリジェクト信号を出力することを特徴と
する。
第３の発明は、多層構造の神経回路網を用いたパターン
認識装置において、 入力データからカテゴリを表す出力ベクトル信号へと変
換する神経回路網を実現する手段と、出力信号を降順に
ソートする手段と、 ソートされた結果の最大値のカテゴリを記憶する手段と
、 ソートされた出力ベクトル信号のうちの上位の一定個数
の要素において、第１位の要素だけが値域の上限値の近
くになり、その他の要素は値域の下限値の近くであると
きに確信度が最大となるように確信度を計算する手段と
、 確信度がしきい値より大きい場合には最大値カテゴリ記
憶部の内容をもって認識結果とし、確信度がしきい値以
下の場合にはリジェクトとして判定する手段とを備え、 認識結果またはリジェクト信号を出力することを特徴と
する。
認識装置において、 入力データからカテゴリを表す出力ベクトル信号へと変
換する神経回路網を実現する手段と、出力信号を降順に
ソートする手段と、 ソートされた結果の最大値のカテゴリを記憶する手段と
、 ソートされた出力ベクトル信号のうちの上位の一定個数
の要素において、第１位の要素だけが値域の上限値の近
くになり、その他の要素は値域の下限値の近くであると
きに確信度が最大となるように確信度を計算する手段と
、 確信度がしきい値より大きい場合には最大値カテゴリ記
憶部の内容をもって認識結果とし、確信度がしきい値以
下の場合にはリジェクトとして判定する手段とを備え、 認識結果またはリジェクト信号を出力することを特徴と
する。
第１の発明であるパターン認識方法では、多層型の神経
回路網を用いて、入力されるパターンまたはパターンの
特徴量から各カテゴリに対応する出力信号を求め、その
最大値をもつカテゴリを認識結果として定める。さらに
、出力値のベクトル全体から以下の式を用いて確信度を
計算する。ここで、認識対象のカテゴリ数をＮとして、
神経回路網からの出力ベクトルをＰｉ （１≦ｉ≦Ｎ
、 ０≦Ｐｉ≦１）、α、βを係数とすると、確信度
Ｒは、 ・ ・ ・（１） として求める。この値は、１つの値だけが上限値ｌに近
く、他の全ての値が下限値０に近いときに最大値を取り
、最大値を持つ要素Ｐｉが１から離れたり、第２位以下
の要素が最大値に接近した場合に、Ｒは小さくなる。そ
の値Ｒがしきい値よりも大きい場合には、最大の出力値
を持つカテゴリを認識結果として選択し、Ｒがしきい値
よりも小さい場合にはリジェクト信号を出力することに
より、不確かな認識結果をリジェクトすることができる
。
回路網を用いて、入力されるパターンまたはパターンの
特徴量から各カテゴリに対応する出力信号を求め、その
最大値をもつカテゴリを認識結果として定める。さらに
、出力値のベクトル全体から以下の式を用いて確信度を
計算する。ここで、認識対象のカテゴリ数をＮとして、
神経回路網からの出力ベクトルをＰｉ （１≦ｉ≦Ｎ
、 ０≦Ｐｉ≦１）、α、βを係数とすると、確信度
Ｒは、 ・ ・ ・（１） として求める。この値は、１つの値だけが上限値ｌに近
く、他の全ての値が下限値０に近いときに最大値を取り
、最大値を持つ要素Ｐｉが１から離れたり、第２位以下
の要素が最大値に接近した場合に、Ｒは小さくなる。そ
の値Ｒがしきい値よりも大きい場合には、最大の出力値
を持つカテゴリを認識結果として選択し、Ｒがしきい値
よりも小さい場合にはリジェクト信号を出力することに
より、不確かな認識結果をリジェクトすることができる
。
第２の発明であるパターン認識装置では、神経回路網の
出力ベクトルの全ての要素値から式（１）に従った演算
を実行する手段と、得られた確信度の値をしきい値と比
較して認識結果を出力するかリジェクトを行うかを判定
する手段とを備えることにより、不確かな認識結果をリ
ジェクトする。
出力ベクトルの全ての要素値から式（１）に従った演算
を実行する手段と、得られた確信度の値をしきい値と比
較して認識結果を出力するかリジェクトを行うかを判定
する手段とを備えることにより、不確かな認識結果をリ
ジェクトする。
第３の発明であるパターン認識装置では、神経回路網の
出力ベクトル値を降順に並べて、その上位の一定個数の
値から式（１）に従って確信度を計算する手段と、得ら
れた確信度の値をしきい値と比較して認識結果を出力す
るかリジェクトを行うかを判定する手段を備えることに
より、認識結果に影響を与え得る出力値の上位のカテゴ
リの値から計算した確信度に従って不確かな認識結果を
リジェクトする。
出力ベクトル値を降順に並べて、その上位の一定個数の
値から式（１）に従って確信度を計算する手段と、得ら
れた確信度の値をしきい値と比較して認識結果を出力す
るかリジェクトを行うかを判定する手段を備えることに
より、認識結果に影響を与え得る出力値の上位のカテゴ
リの値から計算した確信度に従って不確かな認識結果を
リジェクトする。
以下、本発明の実施例である文字認識方法と装置を図面
を参照して説明する。
を参照して説明する。
第１図は、本発明のパターン認識方法を説明する流れ図
を示す。認識対象となるパターンが入力され（ステップ
Ｓ １０１）、次にそのパターンより特徴抽出がなされ
（ステップＳ １０２）、ベクトル値に変換される。抽
出される特徴はどのようなものでもよく、文字認識の場
合ではガウスフィルタによる濃淡特徴や方向曲率を抽出
した特徴などがある。
を示す。認識対象となるパターンが入力され（ステップ
Ｓ １０１）、次にそのパターンより特徴抽出がなされ
（ステップＳ １０２）、ベクトル値に変換される。抽
出される特徴はどのようなものでもよく、文字認識の場
合ではガウスフィルタによる濃淡特徴や方向曲率を抽出
した特徴などがある。
また、特徴抽出をしない場合には、入力パターン自体を
特徴ベクトル値として扱うことも可能である。−例とし
て、第２図を参照してガウスフィルタによる文字パター
ンの特徴抽出方法を説明する。
特徴ベクトル値として扱うことも可能である。−例とし
て、第２図を参照してガウスフィルタによる文字パター
ンの特徴抽出方法を説明する。
フィルタリング部２０３において、白黒の二値画像とし
て入力された文字パターン２０１に、５×５マトリクス
で与えられたガウスフィルタ２０２を畳み込む。入カニ
値画像を３２画素×４２西素の二値画像Ｂ （ｉ、ｊ）
、５Ｘ５フイルタをＦ（ｋ、ｌ）、結果の多値画像をＧ
（ｉ、ｊ）とすると、Ｇ（ｉ、ｊ） ・（２） なる式に従って計算が実行する。その結果のＧ（ｉ、ｊ
）は、リサンプリング部２０４で９×１１の９９個のデ
ータに間引かれ、濃淡特徴になる。第２図の濃淡時＠２
０６は、このデータを表示したもので、１つ１つの要素
の値を丸の大きさで示している。
て入力された文字パターン２０１に、５×５マトリクス
で与えられたガウスフィルタ２０２を畳み込む。入カニ
値画像を３２画素×４２西素の二値画像Ｂ （ｉ、ｊ）
、５Ｘ５フイルタをＦ（ｋ、ｌ）、結果の多値画像をＧ
（ｉ、ｊ）とすると、Ｇ（ｉ、ｊ） ・（２） なる式に従って計算が実行する。その結果のＧ（ｉ、ｊ
）は、リサンプリング部２０４で９×１１の９９個のデ
ータに間引かれ、濃淡特徴になる。第２図の濃淡時＠２
０６は、このデータを表示したもので、１つ１つの要素
の値を丸の大きさで示している。
次に特徴ベクトル値は、多層神経回路網を用いて出力値
に変換する（ステップＳ １０３）。計算方法を第３図
を用いて説明する。第３図では、第０層から第２層まで
の３層構造の神経回路網の計算方法を説明するが、本発
明では、３層構造に限るものではなく、２層のものや４
層以上のものにも容易に拡張が可能である。
に変換する（ステップＳ １０３）。計算方法を第３図
を用いて説明する。第３図では、第０層から第２層まで
の３層構造の神経回路網の計算方法を説明するが、本発
明では、３層構造に限るものではなく、２層のものや４
層以上のものにも容易に拡張が可能である。
第３図では、第１図のステップ３１０２によって抽出さ
れた特徴ベクトル値を多層神経回路網に入力し、第０層
のベクトル値とする（ステップ５３０１）。次に、以下
の式（３）に従って第０層ベクトル値から第１層のマト
リクス積を計算する（ステップＳ ３０２）。第０層の
ベクトル値をｏ＝’（１≦１≦Ｎ ｏ ）とし、第１層
重みマトリクス値をＷ＝＝’（１≦ｉ≦Ｎ０．１≦ｊ≦
Ｎ、） 、計算結果のベクトル値をｏ＝’（１≦ｊ≦Ｎ
、）とすると、０．１ ＝ Σ （ｏ４’Ｘｗ 点
Ｊｌ） 十 ０１厘 （３）と
なる。ただし、ここでθ、１はバイアス値である。次に
ｏ、’（１≦ｊ≦Ｎ、）の各々に対して以下の式（４）
に従ってＳ関数を計算する（ステップ５３０３）。
れた特徴ベクトル値を多層神経回路網に入力し、第０層
のベクトル値とする（ステップ５３０１）。次に、以下
の式（３）に従って第０層ベクトル値から第１層のマト
リクス積を計算する（ステップＳ ３０２）。第０層の
ベクトル値をｏ＝’（１≦１≦Ｎ ｏ ）とし、第１層
重みマトリクス値をＷ＝＝’（１≦ｉ≦Ｎ０．１≦ｊ≦
Ｎ、） 、計算結果のベクトル値をｏ＝’（１≦ｊ≦Ｎ
、）とすると、０．１ ＝ Σ （ｏ４’Ｘｗ 点
Ｊｌ） 十 ０１厘 （３）と
なる。ただし、ここでθ、１はバイアス値である。次に
ｏ、’（１≦ｊ≦Ｎ、）の各々に対して以下の式（４）
に従ってＳ関数を計算する（ステップ５３０３）。
ｏ’Ｊ’ ＝ １／２ （１＋ｔａｎｈ （ｏｊ’）
） （４）次に、第２層重みマトリクスをｗ、
、”（１≦ｊ≦Ｎ、、ｔ≦に≦ＮＺ）とし、バイアス値
をθ−として、 ｏｋｚ＝Σ （Ｏｊ、’ Ｘ Ｗｊｋ”）＋θ−（５）
なる計算を行う（ステップＳ ３０４）。さらに、ｏ
、 ２（１≦に≦Ｎ ｚ ）は各々の式（６）に従って
Ｓ関数が計算される（ステップＳ ３０５）。
） （４）次に、第２層重みマトリクスをｗ、
、”（１≦ｊ≦Ｎ、、ｔ≦に≦ＮＺ）とし、バイアス値
をθ−として、 ｏｋｚ＝Σ （Ｏｊ、’ Ｘ Ｗｊｋ”）＋θ−（５）
なる計算を行う（ステップＳ ３０４）。さらに、ｏ
、 ２（１≦に≦Ｎ ｚ ）は各々の式（６）に従って
Ｓ関数が計算される（ステップＳ ３０５）。
ｏ’−＝ １／ ２ （１＋ｔａｎｈ （ｏｉｌ”）
］ （６）最後に、第２層のデータは出力信号
として出力される（ステップＳ ３０６）。
］ （６）最後に、第２層のデータは出力信号
として出力される（ステップＳ ３０６）。
ここで用いられる第１層および第２層の重みマトリクス
は、文献（“Ａｎ Ｉｎｔｒｏｄｕｃｔｉｏｎ ｔｏ
Ｃｏｓｐｕ−ｔｉｎｇ ｗｉｔｈ Ｎｅｕｒａｌ Ｎｅ
ｔｓ″ｂｙ Ｒ，Ｐ、Ｌｉｐｐｍａｎｎ：ＩＥＥＥ。
は、文献（“Ａｎ Ｉｎｔｒｏｄｕｃｔｉｏｎ ｔｏ
Ｃｏｓｐｕ−ｔｉｎｇ ｗｉｔｈ Ｎｅｕｒａｌ Ｎｅ
ｔｓ″ｂｙ Ｒ，Ｐ、Ｌｉｐｐｍａｎｎ：ＩＥＥＥ。
ＡＳＳＰ： Ａｐｒｉｌ １９８７． ｐｐ、４−２２
）に示されるような方法で予め学習により決定しである
ものとする。
）に示されるような方法で予め学習により決定しである
ものとする。
次に、出力データｏ’ｈ”（１≦に≦Ｎ、）の中から、
最大値を求める。その番号を最大値カテゴリとする（ス
テップＳ １０４）。
最大値を求める。その番号を最大値カテゴリとする（ス
テップＳ １０４）。
また、式（１）に従って出力データから確信度Ｒが計算
される（ステップＳ １０５）。ここで、出力データは
Ｎ次元のベクトルで、ベクトルの要素Ｐｉ（１≦ｉ≦Ｎ
）は、それぞれＯから１までの値をとるとする。このパ
ターン認識方法を、数字認識のために用いる場合には、
１０個の文字を認識対象とするためＮの値は１０と設定
し、英数字を認識対象とする場合には、大文字２６文字
、小文字２６文字。
される（ステップＳ １０５）。ここで、出力データは
Ｎ次元のベクトルで、ベクトルの要素Ｐｉ（１≦ｉ≦Ｎ
）は、それぞれＯから１までの値をとるとする。このパ
ターン認識方法を、数字認識のために用いる場合には、
１０個の文字を認識対象とするためＮの値は１０と設定
し、英数字を認識対象とする場合には、大文字２６文字
、小文字２６文字。
数字１０文字を認識するため、Ｎの値を６２に設定する
。また、式（１）の係数α、βをそれぞれｌとした。
。また、式（１）の係数α、βをそれぞれｌとした。
これは、本質的な問題ではなく他の値を取ることも可能
である。また、式（１）では、出力データの各要素がＯ
から１までの値を仮定したが、−１から１の場合や、さ
らに−船釣に出力データの各要素がａからｂまでの値を
とる場合にも容易に拡張でき以下の式（７）で表現でき
る。
である。また、式（１）では、出力データの各要素がＯ
から１までの値を仮定したが、−１から１の場合や、さ
らに−船釣に出力データの各要素がａからｂまでの値を
とる場合にも容易に拡張でき以下の式（７）で表現でき
る。
Ｒ＝−ａ Σ （Ｐ １−ａ） （ｂ−Ｐ ｉ）−β
（Σ （（Ｐ １−ａ）／ （ｂ−ａ） ）・ ・
・（７） 次に、計算された確信度Ｒとしきい値Ｔとを比較して（
ステップＳ １０６）、Ｒがしきい値以上ならばステッ
プ５１０７へ進み、ステップ５１０４で求められた最大
値のカテゴリ番号を出力し、Ｒがしきい値未満ならばス
テップ５１０８へすすみ、リジェクト信号である０を出
力する。しきい値Ｔの値は便宜上０．１とするが、これ
は本質的なものではなくどのような値でもよい。以上の
ステップで１パターンの認識処理を終了する。
（Σ （（Ｐ １−ａ）／ （ｂ−ａ） ）・ ・
・（７） 次に、計算された確信度Ｒとしきい値Ｔとを比較して（
ステップＳ １０６）、Ｒがしきい値以上ならばステッ
プ５１０７へ進み、ステップ５１０４で求められた最大
値のカテゴリ番号を出力し、Ｒがしきい値未満ならばス
テップ５１０８へすすみ、リジェクト信号である０を出
力する。しきい値Ｔの値は便宜上０．１とするが、これ
は本質的なものではなくどのような値でもよい。以上の
ステップで１パターンの認識処理を終了する。
次に第４図、第５図、第６図を参照して、第２の発明の
パターン認識装置の一実施例について説明する。
パターン認識装置の一実施例について説明する。
第４図は、文字認識装置の全体のブロック図を示す。こ
の文字認識装置は、特徴抽出部４０２と、認識部４０３
と、コード生成部４０４とから構成されている。
の文字認識装置は、特徴抽出部４０２と、認識部４０３
と、コード生成部４０４とから構成されている。
認識対象となる文字パターンは、端子４０１より入力さ
れ、特徴抽出部４０２において特徴ベクトルに変換され
る。この特徴抽出部は、本発明において本質的な問題で
はなく、従来の文字認識装置において用いられる方向特
徴、輪郭の曲率方向特徴などを用いてもよい。特徴抽出
部４０２で抽出されベクトルに変換された特徴データは
、認識部４０３に送られ、認識処理が行われ出力信号に
変換される。この出力信号は、１からＮのうちの認識結
果のカテゴリ番号、またはリジェクトを表す番号Ｏとす
る。Ｎは、認識対象のカテゴリ数である。この出力信号
はコード生成部４０４に送られて、認識結果がＪＩＳコ
ードなどの文字コードに変換され端子４０５より出力さ
れる。
れ、特徴抽出部４０２において特徴ベクトルに変換され
る。この特徴抽出部は、本発明において本質的な問題で
はなく、従来の文字認識装置において用いられる方向特
徴、輪郭の曲率方向特徴などを用いてもよい。特徴抽出
部４０２で抽出されベクトルに変換された特徴データは
、認識部４０３に送られ、認識処理が行われ出力信号に
変換される。この出力信号は、１からＮのうちの認識結
果のカテゴリ番号、またはリジェクトを表す番号Ｏとす
る。Ｎは、認識対象のカテゴリ数である。この出力信号
はコード生成部４０４に送られて、認識結果がＪＩＳコ
ードなどの文字コードに変換され端子４０５より出力さ
れる。
認識部４０３の一例を第５図を用いて説明する。
この認識部は、多層神経回路網計算部５０１と、出力デ
ータ記憶部５０２と、最大カテゴリ検出部５０３と、確
信度計算部５０４と、認識結果・リジェクト判定部５０
５とから構成されている。
ータ記憶部５０２と、最大カテゴリ検出部５０３と、確
信度計算部５０４と、認識結果・リジェクト判定部５０
５とから構成されている。
特徴抽出部４０２で求められた特徴データは、多層神経
回路網計算部５０１に転送され、認識処理が行われて出
力ベクトルに変換される。ここでの出力ベクトルは、そ
の要素のそれぞれが認識対象のカテゴリのスコアを表し
ており、出力ベクトルの次元数Ｎは、認識対象とするカ
テゴリ数に等しい。
回路網計算部５０１に転送され、認識処理が行われて出
力ベクトルに変換される。ここでの出力ベクトルは、そ
の要素のそれぞれが認識対象のカテゴリのスコアを表し
ており、出力ベクトルの次元数Ｎは、認識対象とするカ
テゴリ数に等しい。
多層神経回路網計算部５０１の一例を第６図を用いて説
明する。この例では、３層型のモデルを用いているが、
これは本質的な問題ではなく、２層のもの、４層以上の
モデルを用いた場合、またはそれ以外の結合形式の神経
回路モデルを用いた場合でも容易に拡張が可能である。
明する。この例では、３層型のモデルを用いているが、
これは本質的な問題ではなく、２層のもの、４層以上の
モデルを用いた場合、またはそれ以外の結合形式の神経
回路モデルを用いた場合でも容易に拡張が可能である。
この多層神経回路網計算部は、マトリクス積演算部６０
１ と、Ｓ関数部６０２と、中間層記憶部６０３と、マ
トリクス積演算部６０４と、Ｓ−関数部６０５と、第１
層重みマトリクス記憶部６０６と、第２層重みマトリク
ス記憶部６０７とから構成されている。
１ と、Ｓ関数部６０２と、中間層記憶部６０３と、マ
トリクス積演算部６０４と、Ｓ−関数部６０５と、第１
層重みマトリクス記憶部６０６と、第２層重みマトリク
ス記憶部６０７とから構成されている。
特徴抽出部４０２から入力されるベクトル値をｏｉ’（
１≦ｉ≦Ｎ、）とし、第１層重みマトリクス記憶部６０
６に保持されるマトリクス値をＷｉｊ（１≦ｉ≦Ｎ６，
１≦ｊ≦Ｎ１）、中間層記憶部６０３に保持されるベク
トル値を ’＝’（１≦ｊ≦Ｎ、）とすると、マトリク
ス積演算部６０１では、式（３）に従って計算を行う。
１≦ｉ≦Ｎ、）とし、第１層重みマトリクス記憶部６０
６に保持されるマトリクス値をＷｉｊ（１≦ｉ≦Ｎ６，
１≦ｊ≦Ｎ１）、中間層記憶部６０３に保持されるベク
トル値を ’＝’（１≦ｊ≦Ｎ、）とすると、マトリク
ス積演算部６０１では、式（３）に従って計算を行う。
ただし、ここでθＪ１ はバイアス値であり、第１層重
みマトリクス記憶部６０６に記憶される。結果のｏＪ＋
（１≦ｊ≦Ｎ、）は各々、Ｓ関数部６０２において式（
４）に従ってｏ″を求め、中間層記憶部６０３に記憶す
る。
みマトリクス記憶部６０６に記憶される。結果のｏＪ＋
（１≦ｊ≦Ｎ、）は各々、Ｓ関数部６０２において式（
４）に従ってｏ″を求め、中間層記憶部６０３に記憶す
る。
第２層重みマトリクス記憶部６０７に記憶される重みマ
トリクスをｗＪｍ”（１≦ｊ≦Ｎ、１≦に≦Ｎ２）とし
、この記憶部６０７に記憶されるバイアス値をθ−とす
るとマトリクス積演算部６０４では、式（５）を実現す
る計算を行う。結果の。−（ｌ≦に≦Ｎ、）は各々、Ｓ
関数部６０５において式（６）に従った計算によりｏ′
１を求め、出力信号として出力され、出力データ記憶部
５０２に記憶される。
トリクスをｗＪｍ”（１≦ｊ≦Ｎ、１≦に≦Ｎ２）とし
、この記憶部６０７に記憶されるバイアス値をθ−とす
るとマトリクス積演算部６０４では、式（５）を実現す
る計算を行う。結果の。−（ｌ≦に≦Ｎ、）は各々、Ｓ
関数部６０５において式（６）に従った計算によりｏ′
１を求め、出力信号として出力され、出力データ記憶部
５０２に記憶される。
ここで用いられる重みマトリクスは予め学習により決定
されているものとする。また、Ｓ関数として式（４）１
式（６）を用いた場合には、関数の出力値は０から１の
間の小数値となる。
されているものとする。また、Ｓ関数として式（４）１
式（６）を用いた場合には、関数の出力値は０から１の
間の小数値となる。
出力データ記憶部５０２から読み出されたベクトパター
ンは最大カテゴリ検出部５０３に送られて最大値をもつ
要素が求められ、その要素の表すカテゴリ番号を認識結
果・リジェクト判定部５０５に送る。
ンは最大カテゴリ検出部５０３に送られて最大値をもつ
要素が求められ、その要素の表すカテゴリ番号を認識結
果・リジェクト判定部５０５に送る。
また、出力データ記憶部５０２から読み出されたベクト
ルデータは確信度計算部５０４にも送られる。
ルデータは確信度計算部５０４にも送られる。
確信度計算部５０４では、式（１）に従った演算により
確信度Ｒを求める。
確信度Ｒを求める。
確信度計算部５０４で得られた値Ｒは認識結果リジェク
ト判定部５０５に送られ、しきい値Ｔと比較され、しき
い値Ｔよりも大きい場合には認識結果のカテゴリ番号が
コード生成部４０４へ転送され、確信度Ｒがしきい値Ｔ
よりも小さい場合には、リジェクト信号がコード生成部
４０４へ転送される。
ト判定部５０５に送られ、しきい値Ｔと比較され、しき
い値Ｔよりも大きい場合には認識結果のカテゴリ番号が
コード生成部４０４へ転送され、確信度Ｒがしきい値Ｔ
よりも小さい場合には、リジェクト信号がコード生成部
４０４へ転送される。
ここでは、カテゴリ番号として１からＮ（Ｎはカテゴリ
数）までの数値、リジェクト信号として数値０とする。
数）までの数値、リジェクト信号として数値０とする。
次に、第３の発明の一実施例である文字認識装置を説明
する。
する。
文字認識装置全体の構成は第３図に従い、認識部の構成
が第２の発明と異なる。本実施例における認識部７００
を第７図に示す。この認識部７００は、多層神経回路網
計算部７０１と、出力データ記憶部７０２と、データソ
ート部７０３と、最大カテゴリ検出部７０４と、確信度
計算部７０５と、認識結果・リジェクト判定部７０６と
から構成されている。
が第２の発明と異なる。本実施例における認識部７００
を第７図に示す。この認識部７００は、多層神経回路網
計算部７０１と、出力データ記憶部７０２と、データソ
ート部７０３と、最大カテゴリ検出部７０４と、確信度
計算部７０５と、認識結果・リジェクト判定部７０６と
から構成されている。
入力パターンは、特徴抽出部４０２で、特徴ベクトルに
変換されて多層神経回路網計算部７０１に入力され認識
される。多層神経回路網計算部７０１での構成は、前述
の第６図での多層神経回路網計算部５０１の構成と同じ
である。そこからのＮ次元の出力データは、出力データ
記憶部７０２に保存される。ここで、Ｎは認識対象のカ
テゴリ数を表す。
変換されて多層神経回路網計算部７０１に入力され認識
される。多層神経回路網計算部７０１での構成は、前述
の第６図での多層神経回路網計算部５０１の構成と同じ
である。そこからのＮ次元の出力データは、出力データ
記憶部７０２に保存される。ここで、Ｎは認識対象のカ
テゴリ数を表す。
出力データ記憶部７０２から読み出されたデータは、デ
ータソート部７０３において大きい値から順に並べ直さ
れる。最大値を持つカテゴリ番号は最大カテゴリレジス
タ７０４に記憶される。
ータソート部７０３において大きい値から順に並べ直さ
れる。最大値を持つカテゴリ番号は最大カテゴリレジス
タ７０４に記憶される。
データソート部７０３から出力された大きい値のものか
ら順にＭ個の値は、確信度計算部７０５に入力され、 ・ ・ ・（８） に従った計算が実行される。ここで、ＭはＮに比べて小
さな数とし、実施例では、手書き数字認識ではＭを５と
し、英数字を認識対象とする場合にはＭを１０とした。
ら順にＭ個の値は、確信度計算部７０５に入力され、 ・ ・ ・（８） に従った計算が実行される。ここで、ＭはＮに比べて小
さな数とし、実施例では、手書き数字認識ではＭを５と
し、英数字を認識対象とする場合にはＭを１０とした。
このＭの値は、本質的なものでなく他の値でもよい、ま
た、Ｐｉはデータソート部７０３の出力値で、ｉが小さ
いほどＰｉは大きな値をとる。α、βはそれぞれ１とし
た。
た、Ｐｉはデータソート部７０３の出力値で、ｉが小さ
いほどＰｉは大きな値をとる。α、βはそれぞれ１とし
た。
確信度計算部７０５で計算された確信度の値は、認識結
果・リジェクト判定部７０６に送られて、予め設定され
たしきい値Ｔよりも大きい場合には、認識結果として最
大カテゴリレジスタ内のカテゴリ番号を、さもない場合
にはりジエクト信号をコード生成部４０４に転送し、こ
こで認識結果の文字コードが生成され出力される。ここ
で、しきい値Ｔを０．１としたが、これ以外の数値でも
実現は可能である。
果・リジェクト判定部７０６に送られて、予め設定され
たしきい値Ｔよりも大きい場合には、認識結果として最
大カテゴリレジスタ内のカテゴリ番号を、さもない場合
にはりジエクト信号をコード生成部４０４に転送し、こ
こで認識結果の文字コードが生成され出力される。ここ
で、しきい値Ｔを０．１としたが、これ以外の数値でも
実現は可能である。
以上の説明から明らかなように、本発明のパターン認識
方法および装置では、神経回路網での認識部から出力さ
れた各カテゴリのスコアが、その値の取り得る範囲を（
ａ、ｂ）とした場合に、１つの要素だけがａの値を取り
、他の要素全てがｂの値を取った場合に明確にａの値を
取ったカテゴリが認識結果として正しいものと出力され
る。全カテゴリのうちでの最大値が、範囲の上限ａから
離れている場合や、最大値を取るカテゴリに、近い値を
とるカテゴリが複数個存在する場合に、確信度は減少し
、誤認識を起こしている確率の高い認識結果として、こ
の認識結果をリジェクトする。
方法および装置では、神経回路網での認識部から出力さ
れた各カテゴリのスコアが、その値の取り得る範囲を（
ａ、ｂ）とした場合に、１つの要素だけがａの値を取り
、他の要素全てがｂの値を取った場合に明確にａの値を
取ったカテゴリが認識結果として正しいものと出力され
る。全カテゴリのうちでの最大値が、範囲の上限ａから
離れている場合や、最大値を取るカテゴリに、近い値を
とるカテゴリが複数個存在する場合に、確信度は減少し
、誤認識を起こしている確率の高い認識結果として、こ
の認識結果をリジェクトする。
リジェクトされた場合には、他の認識方法を起動したり
、人手によって認識結果を修正するなどして認識結果の
信軌度を高めることができる。
、人手によって認識結果を修正するなどして認識結果の
信軌度を高めることができる。
第１図は、本願第１の発明のパターン認識方法の説明図
、 第２図は、特徴抽出部として、ガウスフィルタを用いた
場合の例を示す図、 第３図は、３層構造の神経回路網の計算方法の説明図、 第４図は、文字認識装置のブロック図、第５図は、認識
部の一例を示すブロック図、第６図は、多層神経回路網
計算部の一例を示すブロック図、 第７図は、認識部の他の例を示すブロック図である。 ４０２ ・・・・・特徴抽出部 ４０３ ・・・・・認識部 ４０４ ・・・・・コード生成部 ５０１、７０１・・・多層神経回路網計算部５０２、７
０２・・・出力データ記憶部５０３ ・・・・・最大カ
テゴリ検出部５０４、７０５・・・確信度計算部 ５０５、７０６・・・認識結果・リジェクト判定部７０
３ ・・・・・データソート部 ７０４ ・・・・・最大カテゴリレジスタ代理人 弁
理士 岩 佐 義 幸 禅２図 馬１図 糸３図 ｖｉ）６図 第５図 糸７図
、 第２図は、特徴抽出部として、ガウスフィルタを用いた
場合の例を示す図、 第３図は、３層構造の神経回路網の計算方法の説明図、 第４図は、文字認識装置のブロック図、第５図は、認識
部の一例を示すブロック図、第６図は、多層神経回路網
計算部の一例を示すブロック図、 第７図は、認識部の他の例を示すブロック図である。 ４０２ ・・・・・特徴抽出部 ４０３ ・・・・・認識部 ４０４ ・・・・・コード生成部 ５０１、７０１・・・多層神経回路網計算部５０２、７
０２・・・出力データ記憶部５０３ ・・・・・最大カ
テゴリ検出部５０４、７０５・・・確信度計算部 ５０５、７０６・・・認識結果・リジェクト判定部７０
３ ・・・・・データソート部 ７０４ ・・・・・最大カテゴリレジスタ代理人 弁
理士 岩 佐 義 幸 禅２図 馬１図 糸３図 ｖｉ）６図 第５図 糸７図
Claims (3)
- （１）多層構造の神経回路網を用いたパターン認識方法
において、 入力パターンまたは入力パターンから抽出された特徴量
を入力して、多層構造の神経回路網によってカテゴリを
表す出力ベクトルに変換し、その出力ベクトルから、１
つの要素だけが値域の上限値の近くになり、その他の要
素は値域の下限値の近くであるときに確信度が最大とな
るように確信度を計算し、その確信度をしきい値と比較
して、しきい値よりも大きい場合には出力結果を認識結
果とし、確信度がしきい値よりも小さい場合にはリジェ
クトすることを特徴とするパターン認識方法。 - （２）多層構造の神経回路網を用いたパターン認識装置
において、 入力データからカテゴリを表す出力ベクトル信号へと変
換する神経回路網を実現する手段と、出力ベクトル信号
のうちで最大値を持つカテゴリを検出する手段と、 出力ベクトル信号が、１つの要素だけが値域の上限値の
近くになり、その他の要素は値域の下限値の近くである
ときに確信度が最大となるように確信度を計算する手段
と、 確信度がしきい値より大きい場合には最大値検出部の出
力をもって認識結果とし、確信度がしきい値以下の場合
にはリジェクトとして判定する手段とを備え、 認識結果またはリジェクト信号を出力することを特徴と
するパターン認識装置。 - （３）多層構造の神経回路網を用いたパターン認識装置
において、 入力データからカテゴリを表す出力ベクトル信号へと変
換する神経回路網を実現する手段と、出力信号を降順に
ソートする手段と、 ソートされた結果の最大値のカテゴリを記憶する手段と
、 ソートされた出力ベクトル信号のうちの上位の一定個数
の要素において、第１位の要素だけが値域の上限値の近
くになり、その他の要素は値域の下限値の近くであると
きに確信度が最大となるように確信度を計算する手段と
、 確信度がしきい値より大きい場合には最大値カテゴリ記
憶部の内容をもって認識結果とし、確信度がしきい値以
下の場合にはリジェクトとして判定する手段とを備え、 認識結果またはリジェクト信号を出力することを特徴と
するパターン認識装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2101837A JP2778194B2 (ja) | 1990-04-19 | 1990-04-19 | パターン認識方法および装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2101837A JP2778194B2 (ja) | 1990-04-19 | 1990-04-19 | パターン認識方法および装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH041870A true JPH041870A (ja) | 1992-01-07 |
| JP2778194B2 JP2778194B2 (ja) | 1998-07-23 |
Family
ID=14311187
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2101837A Expired - Lifetime JP2778194B2 (ja) | 1990-04-19 | 1990-04-19 | パターン認識方法および装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2778194B2 (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE19639884A1 (de) * | 1995-09-27 | 1997-04-03 | Hitachi Ltd | Mustererkennungssystem |
| JP2012146199A (ja) * | 2011-01-13 | 2012-08-02 | Nippon Steel Corp | 視線位置検出装置、視線位置検出方法、及びコンピュータプログラム |
| JP2017224184A (ja) * | 2016-06-16 | 2017-12-21 | 株式会社日立製作所 | 機械学習装置 |
-
1990
- 1990-04-19 JP JP2101837A patent/JP2778194B2/ja not_active Expired - Lifetime
Non-Patent Citations (1)
| Title |
|---|
| INTERNATIONAL JOINT CONFERENCE ON NEURAL NETWORKS =1989 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE19639884A1 (de) * | 1995-09-27 | 1997-04-03 | Hitachi Ltd | Mustererkennungssystem |
| US5911002A (en) * | 1995-09-27 | 1999-06-08 | Hitachi, Ltd. | Pattern recognition system |
| DE19639884C2 (de) * | 1995-09-27 | 2000-09-21 | Hitachi Ltd | Mustererkennungssystem |
| JP2012146199A (ja) * | 2011-01-13 | 2012-08-02 | Nippon Steel Corp | 視線位置検出装置、視線位置検出方法、及びコンピュータプログラム |
| JP2017224184A (ja) * | 2016-06-16 | 2017-12-21 | 株式会社日立製作所 | 機械学習装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2778194B2 (ja) | 1998-07-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5287275A (en) | Image recognition apparatus and method for recognizing a pattern within an image | |
| US5337369A (en) | Equipment for fingerprint pattern classification | |
| CN111046774A (zh) | 一种基于卷积神经网络的中文签名笔迹鉴定方法 | |
| US5490223A (en) | Pattern recognition apparatus | |
| CN114331946A (zh) | 一种图像数据处理方法、设备以及介质 | |
| CN111353514A (zh) | 模型训练方法、图像识别方法、装置及终端设备 | |
| CN113689381A (zh) | 波纹管内壁瑕疵检测模型及检测方法 | |
| CN114445657B (zh) | 目标检测方法、装置、电子设备及存储介质 | |
| US3942169A (en) | Pattern recognition system | |
| CN116206227B (zh) | 5g富媒体信息的图片审查系统、方法、电子设备及介质 | |
| KR20160144660A (ko) | 컨볼루션 신경망을 위한 개선된 분류 층 | |
| JPH041870A (ja) | パターン認識方法および装置 | |
| US6694059B1 (en) | Robustness enhancement and evaluation of image information extraction | |
| JP2019057087A (ja) | 文字認識方法及び文字認識システム | |
| Stojanović et al. | Deep learning‐based approach to latent overlapped fingerprints mask segmentation | |
| US5333210A (en) | Method and system for pattern analysis using a coarse-coded neural network | |
| JP3222699B2 (ja) | パターン認識装置 | |
| JPH04112391A (ja) | パターン識別方法 | |
| US5950180A (en) | Process for the classification of objects | |
| CN111310806B (zh) | 分类网络及图像处理方法、装置、系统和存储介质 | |
| JPH08263660A (ja) | 信号認識方法、信号認識装置、信号認識装置の学習方法及び信号認識装置の学習装置 | |
| CN116645727B (zh) | 一种基于Openpose模型算法的行为捕捉识别方法 | |
| JPH05303642A (ja) | パターン認識装置 | |
| JPH05282457A (ja) | 被写体認識方法 | |
| JPH05303645A (ja) | 画像認識装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090508 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100508 Year of fee payment: 12 |
|
| EXPY | Cancellation because of completion of term |