JPH07160830A - ニューロを用いた文字認識装置 - Google Patents

Abstract

(57)【要約】 【目的】 文字認識でのニューロネットワークは入力層
と中間層と出力層とより成る結合形を使っているが、認
識精度がよくない。認識精度を高くしたニューロネット
ワークを使った文字認識装置を提供したい。 【構成】 文字画像の各小領域毎の結合形ニューロネッ
トワークである小領域ニューロネットワーク１００を構
成しておく。このネットワーク１００で正規相関値を使
って学習を行ってネットワーク系１００を構築する。構
築したネットワーク系１００の中の中間層を入力層と
し、独自の中間層（第２の中間層）と独自の出力層（第
２の出力層）とで結合形である統合ニューロネットワー
ク１０１を構成し、既に構築されたネットワーク１００
の入力層をも利用して学習を行う。実際の文字認識は、
ネットワーク１００の入力層と中間層と第２の中間層と
第２の出力層とで構成したネットワークで行う。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ニューロネットワーク
を使用して文字（図形や記号を含む）認識を行う文字認
識装置に関する。

【０００２】

【従来の技術】従来のニューロネットワークを使っての
文字認識装置を図２に示す。このニューロネットワーク
は全結合形と呼ばれているものであり、入力層１と中間
層２と出力層３との３層より成り、ある種のユニットは
その隣の層の各ユニット全てと１本の重み係数で接続さ
れている。そして事前に教師データを用いての学習を行
ってニューロネットワーク系を構築しておき、認識時に
は、正規化した文字画像（認識対象文字のこと）を入力
して出力層３から認識結果を得るようにしたものであ
る。中間層２を一段とした例であるが、２段以上の例も
ある。

【０００３】尚、図２で出力層３の「０、１、２、…
…、９」とは、数字０、１、２、……、９の各々の認識
時に‘１’を出力する認識数字対応の出力位置を示す。
例えば数字‘２’を認識した時には出力層３の出力位置
２が‘１’を出力し、他の出力位置０、１、３、……、
９はすべて‘０’を出力する。

【０００４】全結合形でのニューロネットワーク学習方
法は以下の通りである。 （１）、学習用文字画像を準備する。各文字画像には、
教師データ（正解値：反応させる出力層のユニット番
号）を予め設定しておく。ニューラルネットワークの認
識精度は、この準備した学習用文字画像に依存する所が
大きく、間違った教師データの設定や人間でも判断不可
能な文字画像等は、学習させてはいけない。 （２）、ネットワーク中の各ユニット間の重み係数及び
各ユニットが保持しているオフセット値を乱数にて初期
化する。 （３）、学習用文字画像１つを選択する。文字画像の選
択は、乱数を用い各文字種均等に行う。

【０００５】（４）、選択した文字画像をニューラルネ
ットワークの入力層に入力し、各重み係数及びオフセッ
ト値を用いて、中間層から出力層へと順次算出する。 （５）、前記（４）で出力された出力層の値と、予め用
意した教師データとの誤差を算出し、その誤差を小さく
するように、各層の重み係数及びオフセット値を変更す
る。この学習方法は一般にバックプロパゲーションと呼
ばれるものである。 （６）、前記（３）〜（５）を、適当な回数繰り返す。

【０００６】かくして、全結合形のニューロネットワー
ク系が構築された。次いでこの構築したネットワーク系
で以下の方法により文字認識を行う。

【０００７】全結合形での文字認識方法は以下の通りで
ある。以下に１文字の文字画像の、本ネットワークによ
る認識手順を示す。 （１）、切り出された文字画像に対しサイズ正規化処理
及び輝度正規化処理を行う。ここで、サイズ正規化とは
本ネットワークの入力層の大きさに一致するように文字
画像サイズを変更すること、輝度正規化処理とは、規定
の輝度値で定まる範囲に輝度値が全て収まるように、輝
度値を変更すること（範囲とは例えば輝度値０と２５５
の間）である。

【０００８】（２）、前記（１）の文字画像データを、
本ネットワークの入力層に入力し、重み係数及びオフセ
ット値を用いて中間層・出力層と順次の値を算出する。 （３）、本ネットワークの出力層の値より、認識結果を
求めそれを出力する。

【０００９】

【発明が解決しようとする課題】全結合形ニューロネッ
トワークは、文字全体の形状を認識対象とし、文字の小
領域単位の学習や認識は行っていない。そのため、認識
精度が向上しにくいとの問題を持つ。

【００１０】本発明の目的は、文字の全体形状のみなら
ず文字の小領域単位の形状についても学習を行い、認識
を行うようにしたニューロを使った文字認識装置を提供
するものである。

【００１１】

【課題を解決するための手段】本発明は、文字パターン
を構成する各小領域単位に形成された、少なくとも入力
層、中間層、出力層を持つ、小領域ニューラルネットワ
ーク群と；各小領域ニューラルネットワーク群の全入力
層を文字パターン全体のための入力層とし、この入力層
につながる上記全中間層を文字パターン全体のための第
１の中間層とし、この第１の中間層につながる第２の中
間層を有し、この第２の中間層につながる出力層を有す
る統合ネットワークと；より成るニューロを用いた文字
認識装置。

【００１２】更に本発明は、上記ニューロを用いた文字
認識装置において、小領域ニューラルネットワーク群で
教師データをもとに学習を行って第１のニューロネット
ワーク系を構築し、統合ネットワークにおいてはこの構
築後の全入力層より成る入力層、全中間層より成る第１
の中間層、及び未構築の第２の中間層、出力層を用いて
教師データをもとにして学習を行って第２のニューロネ
ットワーク系を構築し、この構築後の第２のニューロネ
ットワーク系により文字パターンの認識を行わせるよう
にしたニューロを用いた文字認識装置を開示する。

【００１３】更に本発明は、小領域ニューラルネットワ
ーク群での小領域毎の教師データは、各小領域毎の出力
層に対応した正規化相関値とした。

【００１４】更に本発明は、学習用文字画像と各基準文
字画像との間で各々各小領域毎に相関値を求め、この小
領域毎に、相関値の大小の順に正規化しこの正規化して
得た正規化相関値を小領域ニューラルネットワーク群で
の小領域毎の教師データとする。

【００１５】

【作用】本発明によれば、小領域ネットワークの一部を
統合ネットワークの一部に組み込むことで、小領域ネッ
トワークによる学習効果を統合ネットワークに利用で
き、統合ネットワークでは、小領域ネットワークによる
学習結果を持つその一部の組み込みを利用して文字全体
の形状の学習を行い、文字認識を行う。

【００１６】更に、小領域ネットワークでの教師データ
に、出力層対応の正規化相関値を使うことで、小領域で
の種々の文字対応値への学習が可能となり、文字全体形
状の認識精度が向上する。

【００１７】

【実施例】図１は本発明の文字認識装置の実施例図であ
る。この文字認識装置は、小領域ネットワーク１００
と、統合ネットワーク１０１とより成る。小領域ネット
ワーク１００は、入力層１０と、この入力層１０を小領
域に区分した場合における各区分対応の中間層１１
（１）、１１（２）、……と、各中間層１１（１）、１
１（２）、……対応の出力層１２（１）、１２（２）、
……と、より成る。

【００１８】統合ネットワーク１０１は、小領域ネット
ワーク１００の中間層１１（１）、１１（２）、……を
入力層とし、この入力層につながる中間層１３、出力層
１４を持つネットワークである。

【００１９】このネットワーク１００、１０１によれ
ば、学習はネットワーク１００による学習と、ネットワ
ーク１０１による学習とに分かれ、先ずネットワーク１
００で学習を行い小領域ネットワーク系を構築する。

【００２０】次に、この構築した小領域ネットワーク系
１００のもとで、統合ネットワーク１０１の学習を行
い、統合ネットワーク系を構築する。ここで、構築と
は、そのネットワークにおける各層間の重み係数が決定
されて入力層から出力層に至るニューロ系路が作られた
ことを意味する。尚、統合ネットワーク１０１での学習
に際して、構築した小領域ネットワーク系１００で一部
である入力層１０及び中間層１１（１）、１１（２）、
……をそのまま入力層として利用している。中間層１１
（１）、１１（２）、……の各々は、中間層１３への入
力層としている。

【００２１】学習して構築したネットワークを利用して
文字認識を行うが、この場合は、入力層１０と、中間層
１１（１）、１１（２）、……と、中間層１３と、出力
層１４とより成るネットワーク系で文字認識を行う。即
ち、正規化文字画像を入力層１０へ入力し、中間層１１
（１）、１１（２）、……、中間層１３、出力層１４を
経て認識結果を得る。

【００２２】このように、上記実施例によれば、本ネッ
トワークは、下記２つの３層の階層型ネットワークを接
続し、全体として４層の階層型ネットワークとなる。 ・小領域ネットワーク……小領域単位の小さい３層の階
層型ネットワークであり、小領域数分存在する。 ・統合ネットワーク………前記小領域ネットワークの各
中間層を、入力層とした３層の階層型ネットワーク。 小領域ネットワークは、学習のみ３層構造となり、認識
時には中間層までしか使用しない。

【００２３】次に、小領域について説明する。文字の大
きさが最大で８×１２マトリックスサイズの例で説明す
る。このサイズは本来任意であることは当然である。各
小領域のサイズは同一とし、８×１２のマトリックスサ
イズ（ピクセル）に対して、１５個の小領域を配置す
る。

【００２４】この配置例を図３に示す。各小領域のサイ
ズ４×４ピクセルサイズとし、図３（イ）〜（ニ）の１
５個の区分化を行う。図３を通じて図形中に示してある
数字０〜９５がピクセル位置を示し、図３（イ）が８×
１２ピクセルを４×４ピクセルで規則的に６区分化した
例、図３（ロ）が図３（イ）の６区分化例の中で左右の
中心境界部分を補間するための３区分化例、図３（イ）
の６区分化例の中で左右各々の中心境界部分を補間する
ための４区分化例、図３（ニ）が図３（ロ）の中心境界
部分を補間するための２区分化例を示す。

【００２５】ここで、入力層１０にとって１５個の小領
域に区分化とは、この１５個の小領域単位に各々独立に
信号出力を行うとの意味であり、中間層１１にとって
は、１５個の小領域対応の中間層１１（１）、１１
（２）、……、１１（１５）を持つことであり、出力層
１２にとっては、１５個の中間層１１（１）、１１
（２）、……、１１（１５）対応に１５個の出力層１２
（１）、１２（２）、……、１２（１５）を持つことで
ある。

【００２６】以上の本実施例によるネットワークでの学
習方法を以下に説明する。全体の学習手順は図４に示
し、小領域ネットワーク１００での学習手順を図６、統
合ネットワーク１００での学習手順を図８に示す。

【００２７】（１）、小領域ネットワーク１００での学
習。 小領域ネットワークは、１つの文字画像を入力すると、
各１５個の小領域ネットワークを全て学習する。以下に
は、１つのネットワークの学習手順を示す。 、学習用文字画像を準備し、その各文字画像に教師デ
ータを設定する。教師データは、通常の場合図４に示す
ように、その文字画像に対して反応させる出力層の番号
を用意するが、本小領域ネットワークにおける教師デー
タは、以下に示すような各出力層へ対応した正規化層間
値を用いる。教師データ算出方法を、以下に示す。 ・用意した学習用文字画像中より、各出力層に対応する
基準文字画像を決定する。基準文字画像とは、欠けやつ
ぶれ、ゴミなどのない、正常に印字された文字画像を云
う。 ・用意した学習用文字画像と前記各基準文字画像（これ
を正規化相関の辞書とする）で、本ネットワークが着目
している小領域における正規化相関値を算出する。 ・本正規化相関値を教師データとする。

【００２８】、ネットワーク中の各ユニット間の重み
係数及び各ユニットが保持しているオフセット値を乱数
にて初期化する。 、学習用文字画像１つを選択する。文字画像の選択
は、乱数を用い各文字種均等に行う。 、選択した文字画像をニューラルネットワークの入力
層に入力し、各重み係数及びオフセット値を用いて、中
間層から出力層へと順次算出する。 、前記で出力された出力層の値と、予め用意した教
師データとの誤差を算出し、その誤差を小さくするよう
に、各層の重み係数及びオフセット値を変更する。 、前記〜を、適当な回数繰り返す。

【００２９】（２）、統合ネットワーク１０１での学
習。 統合ネットワークは、前記小領域ネットワークの学習を
充分行った後に、以下の手順に従って行う。 、学習用文字画像を準備し、その各文字画像に教師デ
ータを設定する。ここでの教師データは、通常の場合の
その文字画像に対して反応させる出力層の番号とする。 、ネットワーク中の各ユニット間の重み係数及び各ユ
ニットが保持しているオフセット値を乱数にて初期化す
る。 、学習用文字画像１つを選択し、前記学習済みの小領
域ネットワークを用いて、その中間層までの値を算出す
る。文字学習の選択は、乱数を用い各文字種均等に行
う。 、前記で求めた各小領域ネットワークの中間層の値
を、本統合ネットワークの入力層に入力し、各重み係数
及びオフセット値を用いて、中間層から出力層へと順次
算出する。 、前記で出力された出力層の値と、予め用意した教
師データとの誤差を算出し、その誤差を小さくするよう
に、各層の重み係数及びオフセット値を変更する。 、前記〜を、適当な回数繰り返す。

【００３０】（３）、本実施例での認識方法について。 この認識手順を図１０に示す。本ネットワークは、小領
域ネットワークの中間層まで算出したのち、それらを統
合ネットワークの入力層に入力して、その出力層まで算
出することにより行われる。以下に１文字の文字画像
の、本ネットワークによる認識手順を示す。 、切り出された文字画像に対し前記サイズ正規化処理
及び輝度正規化処理を行う。 、前記の文字画像データの各小領域データを、各小
領域ネットワークの入力層に入力し、重み係数及びオフ
セット値を用いて各中間層の値を算出する。 、前記各小領域ネットワークの中間層の値を、統合ネ
ットワークの入力層へ入力し、重み係数及びオフセット
値を用いて中間層・出力層と順次の値を算出する。 、統合ネットワークの出力層の値より、認識結果を求
めそれを出力する。

【００３１】次に、小領域ネットワークで使った正規化
相関値について述べる。図７に示すような４×４のサイ
ズの２つの画像Ａ、Ｂを与えて、この２つの画像Ａ、Ｂ
の相関値を求めるものとする。ここで、画像Ａとは、学
習用文字画像での任意の小領域の４×４のサイズの画
像、画像Ｂとは基準文字画像での任意の領域の４×４サ
イズの画像である。この画像ＡとＢとの相関値をｒとす
ると、次式によって求まる。

【００３２】

【数１】 本式によればｒは常に

【数２】 となる。ここで ｒ＝１とは、パーフェクト・マッチ ｒ＝−１とは、パーフェクト・ミスマッチ を表す。パーフェクト・マッチとは、ＡとＢとが全ての
画素において一致することであり、パーフェクト・ミス
マッチとはＡとＢとが全ての画素において不一致である
ことを意味する。パーフェクト・マッチは数学的に表現
すれば、

【数３】 を満たすα、βが存在することを意味する（α＞０）。

【００３３】以上の正規化相関値を教師データとする例
を図８に示す。図８において、図の左側に示す如き数字
‘０’の右上部の１／４円弧の学習データの例とする。
これに対して、種々の形状の‘０’を基準画像として、
その小領域（右上部側にあるもの）相互間で、相関値を
（数１）に従って求める。そしてその中の最大の相関値
（０．６３と０．９７と０．８７との中の最大値）を代
表相関値とする。この例では、代表値は０．９７であ
る。

【００３４】同様に、数字‘１’についての種々の基準
画像の該当小領域についての相関値を求め、その最大値
を代表相関値とする。図では、−０．４２となる。以
下、数字２、３、……、９について各々代表相関値を求
める。図では数字２、３、……、８は省略し、数字９で
の代表相関値０．８９の例を示してある。次に、この数
字０〜９で算出した代表相関値を０〜１に正規化する。
図では、０．９７→１、−０．４２→０．００、０．８
９→０．６４に正規化した例を示してある。この正規化
した代表相関値が正規化相関値である。これを小領域ネ
ットワークでの教師データとして使う。

【００３５】つまり、本教師データ作成方法によれば、
例えば文字の左上部が図８の如く１／４円弧の形状とな
っていれば、その教師データは、文字‘０’、‘２’、
‘３’、‘６’、‘８’、‘９’の該当個所が高い値を
示し、文字‘１’、‘４’、‘５’、‘７’の該当個所
は低い値を示すものとなる。

【００３６】このように、限られた小さい領域の特徴を
用いて学習を行うことにより、その小領域ネットワーク
の中間層に特徴量（ニューロは、学習により、その中間
層に特徴を自動的に抽出すると、一般的にいわれてい
る）を取り出すことが可能となる。

【００３７】更にこのことを説明する。ニューロは似た
ようなパターンＡとＢがあった場合に、それらを別の出
力層に出力させるような教師データで学習すると、ネッ
トワークが混乱し、収束しない場合がある。小領域ネッ
トワークの場合、上記のように文字の左上部が１／４円
弧のような形状をしている文字は、いくつもあり、これ
を通常の教師データで学習すると、前記のような状況に
おちいり、精度が向上しない。そこで、各形状にあわせ
て教師データを作成するため、正規化相関値を用いて教
師データを作成している。実際のテストでは、欠けやつ
ぶれの多い文字に対しては、明らかに全結合ニューロよ
り、本発明のニューロの方が精度が高くなった。全結合
形は、文字全体での特徴のみにより読み取りを行うが、
本発明のネットワークは、文字の各部分の特徴をとら
え、それらを総合的に判断して読み取りを行うようにな
る。このことから、前記テスト結果のような結果が得ら
れたと考えている。

【００３８】次に小領域の配置及びサイズについて説明
する。本ネットワークの小領域ネットワークの配置の仕
方は、認識対象の文字の識別が可能となる配置及びサイ
ズとする必要がある。小領域の数は、少なければそれだ
け高速に認識可能とはなるが様々な文字への対応（汎用
性）を考えれば、以下の様な、文字パターン全体をま網
羅した配置とすることが望ましい。

【００３９】又、小領域のサイズも、極力文字を構成す
る最小となる形状（直線とか円弧とかの形状である）の
特徴が含まれるようなサイズとすることが望ましい。

【００４０】尚、文字として数字の例を示したが、それ
以外に、英文字、日本文字、記号、図形等の認識にも適
用できる。

【００４１】

【発明の効果】本発明によれば、小領域ネットワークに
より小領域毎の学習を行い、この学習結果を利用した統
合ネットワークにより更に学習を行い、その学習結果を
利用して文字認識を行う。これにより、認識精度の高い
文字読み取りが可能となった。

【図面の簡単な説明】

【図１】本発明のニューラルネットワークによる文字認
識装置の実施例図である。

【図２】従来のニューラルネットワークによる文字認識
装置の構成図である。

【図３】本発明の小領域配置例を示す図である。

【図４】通常の教師データを示す例図である。

【図５】本発明のニューラルネットワークによる文字認
識装置での学習手順を示す図である。

【図６】本発明の小領域ニューラルネットワークでの学
習手順を示す図である。

【図７】本発明の相関値を求めるための図形を示す図で
ある。

【図８】本発明の正規化相関値を求めるための説明図で
ある。

【図９】本発明の統合ネットワークでの学習手順を示す
図である。

【図１０】本発明での文字認識装置での認識手順を示す
図である。

【符号の説明】

１０ 入力層 １１（１）、１１（２）、…… 中間層 １２（１） 出力層 １３ 中間層

Claims (4)

【特許請求の範囲】
1. 【請求項１】 文字パターンを構成する各小領域単位に
   形成された、少なくとも入力層、中間層、出力層を持
   つ、小領域ニューラルネットワーク群と；各小領域ニュ
   ーラルネットワーク群の全入力層を文字パターン全体の
   ための入力層とし、この入力層につながる上記全中間層
   を文字パターン全体のための第１の中間層とし、この第
   １の中間層につながる第２の中間層を有し、この第２の
   中間層につながる出力層を有する統合ネットワークと；
   より成るニューロを用いた文字認識装置。
2. 【請求項２】 請求項１記載のニューロを用いた文字認
   識装置において、小領域ニューラルネットワーク群で教
   師データをもとに学習を行って第１のニューロネットワ
   ーク系を構築し、統合ネットワークにおいてはこの構築
   後の全入力層より成る入力層、全中間層より成る第１の
   中間層、及び未構築の第２の中間層、出力層を用いて教
   師データをもとにして学習を行って第２のニューロネッ
   トワーク系を構築し、この構築後の第２のニューロネッ
   トワーク系により文字パターンの認識を行わせるように
   したニューロを用いた文字認識装置。
3. 【請求項３】 小領域ニューラルネットワーク群での小
   領域毎の教師データは、各小領域毎の出力層に対応した
   正規化相関値とした請求項２記載のニューロを用いた文
   字認識装置。
4. 【請求項４】 学習用文字画像と各基準文字画像との間
   で各々各小領域毎に相関値を求め、この小領域毎に、相
   関値の大小の順に正規化しこの正規化して得た正規化相
   関値を小領域ニューラルネットワーク群での小領域毎の
   教師データとする請求項３記載のニューロを用いた文字
   認識装置。