JPH0746371B2 - 文字読取装置 - Google Patents

Description

【発明の詳細な説明】 〔産業上の利用分野〕 この発明は、文字読取装置に関するものであり、特に、
工業用カメラ等で撮像した，欠けや隠れが生じた低品質
の刻印文字，印刷文字，手書き文字等を読取る文字読取
装置に関するものである。

〔従来の技術〕

画像中の文字を読取る文字読取装置は、画像から個々の
文字を切り出す文字パターン切り出し装置と、切り出さ
れた文字パターンを認識する文字認識装置とを組合わせ
ることにより実現することが出来る。

第３図は、例えば、特公昭55−42434号公報に示された
従来の文字パターン切り出し装置と、特公昭53−46062
号公報に示された従来の文字認識装置とを組合わせた従
来の文字読取装置の構成図である。

図において、１は入力された帳票等のディジタル画像を
記憶する画像メモリ、２は帳票等の媒体上に設定した文
字枠或いは印刷又は刻印する文字の位置や大きさ等の既
知の文字配列情報を格納した文字配列情報格納メモリ、
３は文字配列情報格納メモリ２の内容を参照して画像メ
モリ１から文字パターンを切り出す文字切り出し手段、
４は認識対象のカテゴリに対応した基準パターンを格納
した認識辞書を記憶する辞書メモリ、５は画像メモリ１
から切り出した文字パターンと辞書メモリ４に記憶した
各カテゴリの基準パターンとを重ね合わせることにより
入力文字パターンのカテゴリを決定する文字認識手段で
ある。なお、上記文字切り出し手段３及び文字認識手段
５はマイクロプロセッサ等により実現されるものであ
る。

第４図（ａ）〜（ｉ）は、第３図に示した従来の文字読
取装置の動作例を示した図である。

同図（ａ）に示した６は画像メモリ１に記憶した入力画
像で、6aはカテゴリ「３」の文字パターン,6bはカテゴ
リ「４」の文字パターン,6cはカテゴリ「８」の文字パ
ターン,6dはカテゴリ「７」の文字パターン、同図
（ｂ）に示した７は文字配列情報格納メモリ２の内容で
ある文字の位置及び大きさを矩形で表現したものであ
り、7a,7b,7c,7dは左からそれぞれ１文字目,2文字目,3
文字目,4文字目の位置及び大きさを表現した矩形、同図
（ｃ）に示した８は文字配列情報格納メモリ２の内容を
数値で表現したテーブルであり、8a,8b,8c,8dはそれぞ
れ上記矩形7a,7b,7c,7dの位置番号（NO），左上端のＸ
座標（SX），左上端のＹ座標（SY），幅（Ｗ），高さ
（Ｈ）を数値により表現したものである。一方、同図
（ｄ）に示した９は入力画像６から作成した周辺分布
で、9aはＹ方向の周辺分布,9bはＸ方向の周辺分布、同
図（ｅ）に示した10は入力画像６から切り出した文字パ
ターンの矩形で、10a,10b,10c,10dはそれぞれ矩形7a,7
b,7c,7dに対応させて切り出した文字パターンの矩形、
同図（ｆ）に示した11は辞書メモリ４に記憶した認識辞
書で、11a〜11jはそれぞれカテゴリ「０」〜「９」の基
準パターンである。また、同図（ｇ）に示した12は文字
パターンの矩形10aに対応する入力画像６の文字パター
ン、同図（ｈ）に示した13は文字パターン12と辞書メモ
リ４に記憶した認識辞書11の各カテゴリ「０」〜「９」
の基準パターン11a〜11jとを重ね合わせて求めた第５位
までの候補カテゴリとその類似度で、13a,13b,13c,13d,
13eはそれぞれ基準パターン11d,11i,11j,11a,11fと文字
パターン12を重ね合わせた場合の類似度、同図（ｉ）に
示した14は候補カテゴリとその類似度13から文字パター
ン12に対して決定した認識カテゴリ「３」である。

次に、動作について説明する。入力画像６は画像メモリ
１に記憶する。

文字切り出し手段３では、入力画像６をＸ方向及びＹ方
向に走査し、各カラム及び各ライン毎に黒画素を計数し
てＸ方向の周辺分布9b及びＹ方向の周辺分布9aを作成す
る。次に周辺分布9a及び9bをそれぞれ２値化し、Ｘ方向
に連続する黒部分の両端のＸ座標とＹ方向に連続する黒
部分の両端のＹ座標から文字パターンに外装する矩形10
a,10b,10c,10dの位置及び大きさを求め、予め設定して
おいた文字配列情報格納メモリ２の内容であるテーブル
８の数値（位置及び大きさ）と比較して（比率を求め
て）矩形7a,7b,7c,7dに文字パターンの矩形10a,10b,10
c,10dをそれぞれ対応付けることにより文字パターンの
矩形10を決定し、文字パターンの矩形10に対応した文字
パターンを入力画像６から切り出す。例えば、文字パタ
ーン12は文字パターンの矩形10aに対応する入力画像６
のパターンである。

次に文字認識手段５では、文字切り出し手段３で切り出
した文字パターン12と辞書メモリ４に記憶した認識辞書
11に格納された認識対象のカテゴリの基準パターン11a
〜11jとをそれぞれ重ね合わせ、両者の整合の度合（類
似度）を求める。

この場合、例えば、入力文字パターンと基準文字パター
ンについて白画素を−1,黒画素を＋１で表す２値行列を としたとき、類似度は次に示すＳで表されるものであ
る。

ここで、分子は２つの行列の要素の一致数から不一致数
を引いた値，分母Ｎは行列の全要素数である。尚、 はベクトル、P,Qはスカラーを表す。

例えば、類似度13a,13b,13c,13d,13eは、それぞれ基準
文字パターン11d,11i,11j,11a,11fと文字パターン12を
重ね合わせた場合に上記式により算出した類似度Ｓの値
である。

次に、認識対象の全カテゴリ「０」〜「９」の中から類
似度が高いカテゴリを候補カテゴリとし、候補カテゴリ
とその類似度13から認識方式で定められた条件を満たす
もの，例えば類似度が最も高いカテゴリ「３」を認識カ
テゴリ14と決定する。

〔発明が解決しようとする問題点〕

従来の文字読取装置は以上のように構成されているの
で、工業用カメラなどで撮像する方向や位置により、文
字が欠けたり，障害物に一部分が隠れたりする場合に
は、正確に文字を切り出せないという問題点があった。
又，文字を切り出した場合でも、欠けや隠れにより正し
く文字を認識することが困難であるといった問題点があ
った。

この発明は、上記のような問題点を解消する為になされ
たもので、文字の一部分が欠けたり隠れていても精度良
く文字を切り出して正しく文字を認識することが出来る
文字読取装置を得ることを目的とする。

〔問題点を解決するための手段〕

この発明に係る文字読取装置は、入力画像の画素の値に
基づいて明らかに文字である文字パターンを優先して切
り出し優先文字切り出し手段と、既知の文字配列情報と
優先文字切り出し手段で切り出した文字パターンの位置
及び大きさ情報に基づいて残りの文字の位置及び大きさ
を推定して文字パターンを切り出し推定文字切り出し手
段と、上記文字パターンから成る領域の画素の値に基づ
いて文字が欠けた又は隠れた領域を検出する欠け隠れ領
域検出手段と、欠け隠れ領域検出手段で検出した欠け隠
れ領域を除く領域において上記文字パターンと認識の対
象となる文字の基準パターンとを比較することにより文
字を認識する文字認識手段とを備えたものである。

〔作用〕

この発明における文字読取装置は、事前に予想される文
字の位置及び大きさ等の文字配列情報と既に優先文字切
り出し手段で切り出された文字パターンの情報から推定
して文字に欠け又は隠れがある文字を推定文字切り出し
手段で切り出し、且つ，欠け隠れの領域を検出するにこ
とより、文字認識手段は欠け隠れ領域を除いたパターン
を用いて文字を認識する。従って、撮像方向や位置の変
動等によって文字に欠けや隠れがある場合でも精度良く
文字を切り出すことが出来る。又、文字に欠けや隠れが
ある場合でも正確に文字を認識することが出来る。

〔実施例〕

以下、この発明の一実施例を図について説明する。

第１図は本実施例による文字読取装置の構成図である。
図において、１は認識対象の文字が記録された媒体をテ
レビカメラ等の撮像装置で撮像して得たディジタル画像
を記憶する画像メモリ、3aは画像メモリ１を走査して求
めたＸ方向及びＹ方向の周辺分布値に基づいて明らかに
文字である文字パターンを優先して切り出す優先文字切
り出し手段、3bは優先切り出し手段3aで切り出すことが
出来なかった文字パターンを既に切り出した文字パター
ンの位置及び大きさ情報と文字配列情報格納メモリ２の
内容とから推定して切り出す推定文字切り出し手段、15
は推定文字切り出し手段3bで切り出した文字パターンか
ら成る領域を走査して求めたＹ方向の周辺分布値に基づ
いて文字が欠けた又は隠れた領域を検出する欠け隠れ領
域検出手段、5aは欠け隠れ領域検出手段15で検出した領
域を除外した領域において文字パターンと認識の対象と
なる文字の基準パターンとを比較して文字を認識する文
字認識手段である。尚、上記各手段3a,3b,15,5aはマイ
クロプロセッサ等により実現されるものであり、又、各
メモリ２及び４は第３図に示した従来の文字読取装置と
同一のものである。

第２図（ａ）〜（ｎ）は、第１図に示した実施例による
文字読取装置を動作例を示した図である。

同図（ａ）に示した16は画像メモリ１に記憶した入力画
像で、16a〜16hはそれぞれカテゴリ「３」，「４」，
「８」，「７」，「６」，「２」，「３」，「４」の文
字パターンであり、文字パターン16a及び16bは文字の上
部が隠れており、文字パターン16g,16hは文字の上部が
欠けている。同図（ｂ）に示した17は文字配列情報格納
メモリ２の内容である文字の位置及び大きさを矩形で表
現したものであり、17a〜17dは１行目の左からそれぞれ
１〜４文字目の位置及び大きさを表現した矩形、17e〜1
7hは２行目の左からそれぞれ１〜４文字目の位置及び大
きさを表現した矩形、同図（ｃ）に示した18は文字配列
情報格納メモリ２の内容を数値で表現したテーブルであ
り、18a〜18hはそれぞれ矩形17a〜17hの位置番号（N
O），左上端のＸ座標（SX）及びＹ座標（SY），幅
（Ｗ），高さ（Ｈ）を数値により表現したものである。
一方、同図（ｄ）に示した19は入力画像６から作成した
周辺分布で、19a及び19bはＹ方向の周辺分布,19c及び19
dはＸ方向の周辺分布であり、Ｙ方向の周辺分布19aとＸ
方向の周辺分布19cが１行目の文字パターンに対応し、
Ｙ方向の周辺分布19bとＸ方向の周辺分布19dが２行目の
文字パターンに対応する。同図（ｅ）に示した20は優先
文字切り出し手段3aで切り出した文字パターンの矩形
で、20a〜20dはそれぞれ矩形17c〜17fに対応する文字パ
ターンの矩形、同図（ｆ）に示した21は推定文字切り出
し手段3bで切り出した文字パターンの矩形で、21a〜21d
はそれぞれ矩形17a,17b,17g,17hに対応させて切り出し
た文字パターンの矩形、同図（ｇ）に示した22は推定文
字切り出し手段3bで切り出された文字パターンの矩形21
a〜21dから成る領域の入力画像16を走査して求めたＹ方
向の周辺分布で、22aは１行目の文字パターンの矩形21a
及び21bから成る領域を走査して求めたＹ方向の周辺分
布,22bは２行目の文字パターンの矩形21c及び21dから成
る領域を走査して求めたＹ方向の周辺分布、同図（ｈ）
に示した23は周辺分布22の値に基づいて検出した欠け隠
れ領域で、23aは周辺分布22aの値に基づいて検出した隠
れ領域,23bは周辺分布22bの値に基づいて検出した欠け
領域である。

又、同図（ｉ）に示した24は文字パターンの矩形21に対
応させて入力画像16から切り出した文字パターンであ
り、24a,24bはそれぞれ文字パターンの矩形21b,21dに対
応する。同図（ｊ）に示した25は整合画素を値「１」,,
非整合画素を値「０」として文字パターン24毎に作成し
たマスクパターン（図中黒で示した部分が整合画素，白
で示した部分が非整合画素）で、25a,25bはそれぞれ文
字パターン24a,24bのマスクパターン、同図（ｋ），
（ｌ）に示した26,27は文字パターン24とマスクパター
ン25と辞書メモリ４に記憶された第４図（ｆ）に示す認
識辞書11のカテゴリ「０」〜「９」の基準パターン11a
〜11jとを重ね合わせることにより求めた第５位までの
候補カテゴリとその類似度で、26は文字パターン24aと
マスクパターン25aに対する候補カテゴリとその類似度
であり、26a〜26eはそれぞれ基準パターン11e,11a,11g,
11c,11iとの類似度、27は文字パターン24bとマスクパタ
ーン25bに対する候補カテゴリとその類似度であり、27a
〜27eはそれぞれ基準パターン11e,11g,11c,11i,11aに対
する類似度である。そして、同図（ｍ）に示した28は候
補カテゴリとその類似度26から文字パターン24aに対し
て決定した認識カテゴリ「４」、同図（ｎ）に示した29
は候補カテゴリとその類似度27から文字パターン24bに
対して決定した認識カテゴリ「４」である。尚、辞書メ
モリ４に格納する認識辞書は第４図に示した従来の文字
読取装置の動作例中の認識辞書11と同一のものである。

次に、動作について説明する。

テレビカメラ等の撮像装置で撮像し、光電変換して得ら
れた入力画像16を画像メモリ１に記憶する。

優先文字切り出し手段3aでは、入力画像16を走査し，各
ライン毎の黒画素を計数してＹ方向の周辺分布19a,19b
を作成する。そして、周辺分布19a,19bを２値化し、Ｙ
方向に連続する黒部分の両端のＹ座標を求める。図の例
では連続する黒部分が２箇所あり、Ｙ座標の対が２組抽
出される。次に連続する黒部分毎にＹ座標の対で定まる
範囲の入力画像16を走査し、各カテゴリ毎の黒画素を計
数してＸ方向の周辺分布19c,19dを求める。Ｘ方向の周
辺分布19cはＹ方向の周辺分布19aから求まるＹ座標の対
に対する周辺分布であり、Ｘ方向の周辺分布19dはＹ方
向の周辺分布19bから求まるＹ座標の対に対する周辺分
布である。そして、次にＸ方向の周辺分布19c,19dを２
値化し、連続する黒部分の両端のＸ座標を求める。図中
破線が２値化閾値を表すものとすると、周辺分布19cに
対しては３組のＸ座標の対が抽出され、周辺分布19dに
対しては２組のＸ座標の対が抽出される。次に、Ｙ方向
の周辺分布19aに対するＹ座標の対とＸ方向の周辺分布1
9cに対するＸ座標の対を組合わせてパターンに外装する
矩形を求める。この矩形の位置及び大きさが所定の範囲
にある文字パターンの矩形20a,20bを優先して切り出
す。Ｙ方向の周辺分布19bとＸ方向の周辺分布19dに対し
ても同様にして文字パターンの矩形20c,20dを切り出
す。

推定文字切り出し手段3bでは、優先文字切り出し手段3a
で切り出した文字パターンの矩形20a〜20dの位置及び大
きさと文字配列情報格納メモリ２の内容である矩形17a
〜17hの位置及び大きさ18a〜18hとの比率を比較するこ
とにより文字パターンの矩形20a〜20dをそれぞれ矩形17
c〜17fに対応させ、残りの矩形17a,17b,17g,17hに対し
ては、それぞれ位置的に最も近い文字パターンの矩形20
c,20a,20d,20bの位置及び大きさに対する上記比率を掛
けることにより文字パターンの矩形21a〜21dの位置及び
大きさを推定して切り出す。

この矩形21a〜21dも、文字配列情報格納メモリ２の内容
である矩形17a〜17hとの比率は優先文字切り出し手段3a
で切り出された矩形20a〜20dと同じであるので、文字パ
ターンにほぼ外装するものとなる。

欠け隠れ領域検出手段15では、推定文字切り出し手段3b
で求めた文字パターンの矩形21a〜21dに対して、同一行
にある矩形21a,21bから成る領域を走査し、各ライン毎
に黒画素を計数してＹ方向の周辺分布22aを求める。矩
形21c,21dに対しても同様にしてＹ方向の周辺分布22bを
求める。次に周辺分布22a,22bをそれぞれ所定の閾値で
２値化し、欠け領域23b,隠れ領域23aの境界線のＹ座標
を求める。上記閾値には欠け検出用と隠れ検出用の２種
類存在するが、周辺分布19の値に基づいて求めた外接矩
形の形状により何れか一方を用いる。図の例では、周辺
分布22aに対しては隠れ検出用が，周辺分布22bに対して
は欠れ検出用がそれぞれ採用される。

文字認識手段5aでは、優先文字切り出し手段3a及び推定
文字切り出し手段3bで切り出した矩形20及び21に対する
入力画像16の文字パターンに対して，欠け隠れ領域23と
重ならないものは全ての画素の値が「１」であるマスク
パターンを作成し、それ以外のものは上記境界線のＹ座
標に基づいて欠け隠れ領域と重なる画素の値を「０」，
それ以外の画素の値を「１」としたマスクパターンを作
成する。例えば、文字パターンの矩形21b,21dに関して
は、それぞれ対応する文字パターン24a,24bに対してマ
スクパターン25a,25bが作成される。マスクパターン25a
は隠れ領域をマスクしたものであり、マスクパターン25
bは欠け領域をマスクしたものである。次に、文字パタ
ーン24aとマスクパターン25aと辞書メモリ４に記憶され
た第４図に示す認識辞書11の各カテゴリの基準パターン
11a〜11jとをそれぞれ重ね合わせることにより類似度を
求める。文字パターン24bとマスクパターン25bに対して
も同様にして類似度を求める。

この場合、例えば、入力文字パターンについて整合画素
を1,非整合画素を０で表す２値行列を は従来の文字読取装置の類似度計算式と同一のものとし
たとき、類似度は次に示すＳで表されるものである。

ここで、分子は の要素が１である位置での の要素の一致数から不一致数を引いた値、分母は の値１の要素数である。即ち、分子はマスクパターンが
１である画素に関して、入力文字パターンと基準文字パ
ターンが一致する画素数から不一致となる画素数を引い
た値となり、分母はマスクパターンの値が１である画素
のみがカウントされる。

例えば、類似度26a〜26eはそれぞれ基準パターン11e,11
a,11g,11c,11iと文字パターン24aとマスクパターン25a
とを重ね合わせた場合に上記式により算出した類似度Ｓ
の値である。同様に、類似度27a〜27eはそれぞれ基準パ
ターン11e,11g,11c,11i,11aと文字パターン24bとマスク
パターン25bを重ね合わせた場合の類似度である。

次に、認識対象の全カテゴリ「０」〜「９」の中から類
似度の高いカテゴリを候補カテゴリとし、候補カテゴリ
とその類似度26から認識方式で定められた条件を満たす
もの，例えば類似度が最も高いカテゴリ「４」を認識カ
テゴリ28と決定する。同様に、候補カテゴリと類似度27
に対してはカテゴリ「４」を認識カテゴリ29と決定す
る。従って、文字パターン24aの認識結果も文字パター
ン24bの認識結果もカテゴリ「４」となる。

尚、上記実施例では、欠け隠れ領域をＹ方向についての
み求めたが、Ｘ方向及びＹ方向について求めても良い。

又、欠け隠れ領域を検出する走査範囲は推定文字切り出
し手段3bで切り出された文字パターンから成る領域とし
て説明したが、切り出された全ての文字パターンから成
る領域としても良いし、推定文字切り出し手段3bで切り
出された個々の文字パターンを走査範囲としても良い。

更に、文字認識方法はパターンを重ね合わせるパターン
マッチング法を用いた場合について説明したが、パター
ンから抽出した特徴を用いる方法を用いても良い。

〔発明の効果〕

以上の様に、この発明によれば、優先文字切り出し手段
と推定文字切り出し手段とを設けたことにより、撮像方
向及び位置の変動等により文字に欠けや隠れがある場合
でも精度良く文字を切り出すことが出来る。又、欠け隠
れ領域検出手段と欠け隠れ領域を除外して認識する文字
認識手段を設けたことにより、文字に欠けや隠れがある
場合でも正確に文字認識が出来るといった効果がある。

【図面の簡単な説明】

第１図はこの発明の一実施例による文字読取装置の構成
図、第２図（ａ）〜（ｎ）は第１図に示す装置の動作例
を示す図、第３図は従来の文字読取装置の構成図、第４
図（ａ）〜（ｉ）は第３図に示す装置の動作例を示す図
である。 １は画像メモリ、２は文字配列情報格納メモリ、3aは優
先文字切り出し手段、3bは推定文字切り出し手段、5aは
文字認識手段、15は欠け隠れ領域検出手段。 尚、図中、同一符号は同一，又は相当部分を示す。

Claims (1)

【特許請求の範囲】
1. 【請求項１】文字配列が既知である個々の文字を入力画
   像から切り出して認識することにより文字を読取る文字
   読取装置において、入力画像の画素の値に基づいて明ら
   かに文字である文字パターンを優先して切り出す優先文
   字切り出し手段と、上記文字配列の情報と優先文字切り
   出し手段で切り出した文字パターンの位置及び大きさ情
   報に基づいて残りの文字の位置及び大きさを推定して文
   字パターンを切り出す推定文字切り出し手段と、上記文
   字パターンから成る領域の画素の値に基づいて文字が欠
   けた又は隠れた領域を検出する欠け隠れ領域検出手段
   と、欠け隠れ領域検出手段で検出した欠け隠れ領域を除
   く領域において上記文字パターンと認識の対象となる文
   字の基準パターンとを比較することにより文字を認識す
   る文字認識手段とを備えたことを特徴とする文字読取装
   置。