JPH06150055A - 文字認識装置 - Google Patents

Abstract

(57)【要約】 【目的】 本発明は文書や字体の種類に係わりなく、正
確で安定した認識結果を得ることのできる信頼性、汎用
性に優れた文字認識装置の提供。 【構成】 文字領域を検出する文字領域検出手段と、文
字領域の連結黒画素の外接矩形を検出する外接矩形検出
手段と、他の外接矩形と重なる外接矩形を統合する外接
矩形統合手段と、その割合を算出する重なり割合算出手
段と、上下方向に重なる割合を算出する上下重なり割合
算出手段と、外接矩形の平均高さを算出する外接矩形平
均高さ算出手段と、外接矩形平均高さより高いものの割
合を算出する非平均高さ割合算出手段と、重なり割合と
上下重なり割合と非平均高さ割合を基にその文字領域が
和文か英文かを判定する和文英文判定手段と、和文領域
に対して日本語文字認識を行う日本語文字認識手段と、
英文領域に対して英文字認識を行う英文字認識手段とを
備えた構成からなる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明はスキャナ等の光学的手段
を用いて文書画像を取り込み、取り込んだ画像データか
ら文字，図形，表等の属性毎に領域を検出し、各属性に
応じた認識処理を行う文字認識装置に関するものであ
る。

【０００２】

【従来の技術】近年、印刷文書のデータベース化や文書
の再利用を目的として、文書等の電子化が広く行われて
おり、そのためのコンピュータ等への入力装置として文
字認識装置が用いられている。

【０００３】以下に従来の文字認識装置について説明す
る。従来の文字認識装置は、認識効率を向上させるた
め、画像データから検出された文字領域を和文領域と英
文領域とに判別し、それぞれ別個に文字認識処理を行っ
ていた。

【０００４】文字領域が和文領域であるか英文領域であ
るかを判定するには、英文は単語間スペースと単語内の
文字間のスペースとの２タイプのスペースが存在し、文
字に外接する矩形の間の距離の分布をとると分布のピー
クが２箇所検出できるのに対し、日本語では文字間のス
ペースのみしか存在しないため、文字に外接する矩形の
間の距離の分布をとると分布のピークが２箇所検出され
ることはない、という特徴を基にしていた。

【０００５】以上のように構成された文字認識装置につ
いて、以下その動作を説明する。始めに、スキャナによ
って取り込まれた画像データから連結する黒画素に外接
する矩形を外接矩形として検出し、外接矩形の大きさと
外接矩形内の黒画素密度から、文字外接矩形と文字以外
の外接矩形とに分類する。

【０００６】次に、分類された文字外接矩形を統合する
ことにより文字領域を検出する。次に、指定された文字
領域の外接矩形を検出する。

【０００７】次に、検出された各外接矩形に対して左右
に隣接する外接矩形を取り出し外接矩形間の距離の分布
をとる。

【０００８】次に、外接矩形間の距離の分布のピークが
２箇所検出できた場合はその文字領域を英文領域と判定
し、それ以外は和文領域と判定する。

【０００９】次に、和文領域は漢字，平仮名，片仮名等
の日本語文字認識を行い、英文領域はアルファベット等
の英文字認識を行う。

【００１０】

【発明が解決しようとする課題】しかしながら上記従来
の構成では、タイプライター等で作成されたモノスペー
ス文書等では文字の種類によって外接矩形間の距離が変
化し、イタリック体等で書かれた文書については字体が
傾いているので外接矩形が重なってしまうため、単語内
の文字間のスペースを安定して検出できなかった。

【００１１】このため、英文領域であっても外接矩形の
距離の分布のピークが２つにならず、英文領域を和文領
域と誤判定してしまい、認識率が低下し信頼性、汎用性
に欠けるという問題点を有していた。

【００１２】本発明は上記従来の問題点を解決するもの
で、文書の種類や、字体の種類に係わりなく、正確で安
定した認識結果を得ることのできる信頼性、汎用性に優
れた文字認識装置を提供することを目的とする。

【００１３】

【課題を解決するための手段】この目的を達成するため
に本発明の文字認識装置は、二値化された認識対象文書
から認識する文字領域の座標を連結黒画素特徴より検出
する文字領域検出手段と、前記文字領域検出手段で検出
された文字領域に対して連結黒画素の外接矩形を検出し
て外接矩形総数を検出する外接矩形検出手段と、他の外
接矩形と重なる外接矩形を検出しそれらの外接矩形に外
接する外接矩形を検出する外接矩形統合手段と、他の外
接矩形と重なる外接矩形の割合を算出する重なり割合算
出手段と、上下方向に重なる外接矩形の割合を算出する
上下重なり割合算出手段と、出現頻度の最も高い外接矩
形の高さを外接矩形平均高さとして算出する外接矩形平
均高さ算出手段と、前記外接矩形平均高さ算出手段で算
出した外接矩形平均高さ以上の高さをもつ外接矩形の割
合を算出する非平均高さ割合算出手段と、前記重なり割
合算出手段で算出した重なり割合と上下重なり割合算出
手段で算出された上下重なり割合と前記非平均高さ割合
算出手段で算出された非平均高さ割合を基にその文字領
域が和文領域か英文領域かを判定する和文英文判定手段
と、前記和文英文判定手段で判定された和文領域に対し
て日本語文字認識を行う日本語文字認識手段と、前記和
文英文判定手段で判定された英文領域に対して英文字認
識を行う英文字認識手段と、を備えた構成を有してい
る。

【００１４】

【作用】この構成によって、日本語及び英語の文字の特
徴から文字領域の和文英文判定を行うために、文書の作
成方法や書体の種類に関係なく正確に文字領域が和文領
域か英文領域かを判定することができ、認識確度を向上
させることができる。

【００１５】

【実施例】以下本発明の一実施例について図面を参照し
ながら説明する。

【００１６】図１は本発明の一実施例における文字認識
装置の機能ブロック図であり、図２は文字認識装置の装
置ブロック図である。

【００１７】１は認識画像文書をスキャナにより２値化
された画像データに変換して取り込む画像データ取り込
み部、２は画像データ取り込み部１によって取り込まれ
た画像データを格納する画像データ格納部、３は画像デ
ータ格納部２に格納されている画像データの連結黒画素
に外接する矩形を検出し外接矩形の大きさ，黒画素の密
度，画素の複雑度に基づいて文字，図形，表，画像（写
真）のそれぞれの属性毎に領域を検出する認識領域検出
部、４は各属性に応じた認識処理を行うように各領域を
属性による選り分けをおこなう属性選り分け部、５は属
性選り分け部４で属性が文字と選り分けされた領域に対
してその領域が和文領域であるか英文領域であるかを領
域内の文字自体の特徴を基に判定する和文英文判定手
段、６は属性選り分け部４で属性が画像（写真）と選り
分けされた領域を処理する画像（写真）処理部、７は和
文英文判定手段５による判定結果が和文領域の場合に漢
字，平仮名，片仮名等の日本語文字用の文字認識を行う
日本語文字認識手段、８は和文英文判定手段５による判
定結果が英文領域の場合にアルファベット等の英文字用
の文字認識を行う英文字認識手段、９は属性選り分け部
４で属性が表，図形と選り分けされた領域を処理する表
図形処理部である。

【００１８】図２において、１０は文字認識装置全体を
制御する中央処理装置（以下ＣＰＵと略す）、１１は文
字認識プログラム等が格納されているリードオンリーメ
モリー（以下ＲＯＭと略す）、１２は画像データ及び認
識プログラムのデータ等が格納されるランダムアクセス
メモリー（以下ＲＡＭと略す）、１３は認識対象文書を
読み取って画像データに変換するスキャナ、１４は外部
からＣＰＵ１０に対して認識開始・終了等の指令を与え
るためのキーボード、１５はＣＰＵ１０によってＲＡＭ
１２に格納された認識結果等を表示するＣＲＴである。

【００１９】和文英文判定手段５においては文字自体の
特徴を基にその領域が和文領域か英文領域かを判定する
が、その際に用いられる英文字の特徴は、（１）大文字
の“Ａ”、小文字の“ａ”のように文字の高さにばらつ
きがある。（２）分離している文字が少ないので、連結
黒画素の外接矩形を検出した場合、外接矩形１つが１文
字と対応する。（３）外接矩形が他の外接矩形と重なる
ことはほとんどない。イタリック体の文字の場合は外接
矩形が他の外接矩形と重なるが、この場合でも横方向に
重なることがあっても上下方向に重なることはない。

【００２０】一方、日本語文字の特徴は、（１）英文字
に見られるような文字高さのばらつきはない。（２）漢
字が偏と旁等からなるように、日本語文字は複数の外接
矩形により１文字が形成される場合が多い。（３）日本
語文字を形成する外接矩形は上下左右どの方向にも重な
る。といったものである。

【００２１】以上のように構成された文字認識装置の和
文英文判定手段について、以下その動作を図３乃至図１
２を参照しながら説明する。

【００２２】図３は本実施例における文字認識装置の和
文英文判定手段の初期設定処理のフローチャートであ
り、図４は和文英文判定手段の外接矩形統合処理のフロ
ーチャートであり、図５は和文英文判定手段の和文英文
判断処理のフローチャートであり、図６及び図９は画像
データの具体例を示す図であり、図７及び図１０は外接
矩形検出処理結果の具体例を示す図であり、図８及び図
１１は外接矩形統合処理結果の具体例を示す図であり、
図１２は外接矩形検出処理の具体例を示す図である。

【００２３】まず、初期設定処理を行う。図３におい
て、始めに、指定された文字領域内の連結黒画素の外接
矩形を検出し全ての外接矩形の座標情報をＲＡＭ１２に
格納する（Ｓ１）。ここで、外接矩形の座標の座標系は
図１２に示すように左上が原点で、水平方向の座標を
ｘ、垂直方向の座標をｙで表す。外接矩形は左上の座標
（ｘ１，ｙ１）と右下の座標（ｘ２，ｙ２）で表す。図
６の英文の画像データに対する外接矩形検出例が図７で
Ｋ１からＫ１１までの１１個の外接矩形が検出される。
又、図９の日本語の画像データの外接矩形検出例が図１
０でＫ１２からＫ２２までの１１個の外接矩形が検出さ
れる。外接矩形平均高さを検出するためにＲＡＭ１２の
ワークエリアｌａｙｗｏｒｋを０クリアする（Ｓ２）。
次に、外接矩形の重なりを検査する回数を減らすために
外接矩形の格納順番をｙ１昇順に並び変える（Ｓ３）。
ここで、図７の外接矩形はｙ１でソートすることによ
り、Ｋ１→Ｋ２→Ｋ５→Ｋ１１→Ｋ６→Ｋ９→Ｋ３→Ｋ
４→Ｋ７→Ｋ８→Ｋ１０の順に格納される。又、図１０
の外接矩形は、Ｋ１２→Ｋ１５→Ｋ１８→Ｋ１３→Ｋ１
４→Ｋ１９→Ｋ２１→Ｋ２２→Ｋ１６→Ｋ１７→Ｋ２０
の順である。次に、検出した外接矩形の総数を格納する
ｒｅｃＴｏｔａｌ，他の外接矩形と重なる外接矩形数を
格納するｍＣｔ，上下に重なる外接矩形数を格納するｖ
ｍＣｔを０にする（Ｓ４）。

【００２４】次に、外接矩形統合処理を行う。図４にお
いて、まず、外接矩形の総数検出と外接矩形の重なり検
査のために、検査の対象となる外接矩形のアドレスを格
納するｂｓＢｏｘにＳ３でソートした１番目の外接矩形
を設定する（Ｓ５）。ここで、図７ではＫ１の外接矩
形、図１０ではＫ１２の外接矩形が設定される。次に、
外接矩形総数カウンタｒｅｃＴｏｔａｌを１進める（Ｓ
６）。ｂｓＢｏｘと重なる外接矩形があるか確認するた
めの対象外接矩形のアドレスを格納するｏｂｊＢｏｘに
ｂｓＢｏｘの次の外接矩形アドレスをセットする（Ｓ
７）。ここで、ｂｓＢｏｘが図７のＫ１の場合はｏｂｊ
ＢｏｘはＫ２で、ｂｓＢｏｘが図１０のＫ１２の場合は
ｏｂｊＢｏｘにはＫ１５が設定される。

【００２５】次に、ｏｂｊＢｏｘがあり、且つ、ｏｂｊ
Ｂｏｘのｙ１の値がｂｓＢｏｘのｙ２＋１の値より小さ
いかどうか調べる（Ｓ８）。ｎｏである場合は、ｂｓＢ
ｏｘに重なる外接矩形はｏｂｊＢｏｘ以降にないものと
してＳ１６へｊｕｍｐする。ｙｅｓである場合は、ｂｓ
Ｂｏｘに重なる外接矩形が存在する可能性があるものと
して、ｂｓＢｏｘとｏｂｊＢｏｘが重なっているか調べ
る（Ｓ９）。ここで、ｂｓＢｏｘのｘ１がｏｂｊＢｏｘ
のｘ２より小さくて、且つｂｓＢｏｘのｘ２がｏｂｊＢ
ｏｘのｘ１より大きければｂｓＢｏｘとｏｂｊＢｏｘが
重なっていると判定される。図９ではｂｓＢｏｘがＫ１
２でｏｂｊＢｏｘがＫ１３の場合等がこの例に当たる。
ｎｏである場合は、Ｓ１５へｊｕｍｐする。ｙｅｓであ
る場合は、他の外接矩形と重なる外接矩形数カウンタｍ
Ｃｔを１つ進める（Ｓ１０）。

【００２６】次に、ｂｓＢｏｘとｏｂｊＢｏｘが上下に
重なっているか調べる（Ｓ１１）。ここで、ｂｓＢｏｘ
のｘ２とｏｂｊＢｏｘのｘ２の小さい方の値とｂｓＢｏ
ｘのｘ１とｏｂｊＢｏｘのｘ１の大きい方の値との差
が、ｂｓＢｏｘのｙ２とｏｂｊＢｏｘのｙ２の小さい方
の値とｂｓＢｏｘのｙ１とｏｂｊＢｏｘのｙ１の大きい
方の値との差より大きければ、ｂｓＢｏｘとｏｂｊＢｏ
ｘは上下に重なっていると判定される。図９ではｂｓＢ
ｏｘがＫ１８でｏｂｊＢｏｘがＫ１７の時がこの例にあ
たる。ｎｏである場合は、Ｓ１３にｊｕｍｐする。ｙｅ
ｓである場合は、上下に重なる外接矩形数カウンタｖｍ
Ｃｔを１つすすめる（Ｓ１２）。

【００２７】次に、ｂｓＢｏｘとｏｂｊＢｏｘの２つの
外接矩形に外接する矩形を検出して、その座標をｂｓＢ
ｏｘに再設定することで、外接矩形を統合する（Ｓ１
３）。ｏｂｊＢｏｘのデータを削除する（Ｓ１４）。こ
こで、例としては図９のｂｓＢｏｘがＫ１８でｏｂｊＢ
ｏｘがＫ１７の時に、Ｋ１８とＫ１７の外接矩形が図１
１のＴ１４で、ｂｓＢｏｘにはＴ１４のー座標が設定さ
れ、ｏｂｊＢｏｘのＫ１７は削除される。ｏｂｊＢｏｘ
の次のデータをｏｂｊＢｏｘに再設定してＳ８にｊｕｍ
ｐする（Ｓ１５）。現在対象となっているｂｓＢｏｘと
重なり検査をする外接矩形がなくなるまでＳ８からＳ１
５までの処理を繰り返す。

【００２８】次に、ｂｓＢｏｘと重なる外接矩形が存在
しなくなったと判定されたら、現在対象となっているｂ
ｓＢｏｘの統合は終了したと判断し、ｌａｙＷｏｒｋエ
リアのｂｓＢｏｘの高さ番目を１インクリメントする
（Ｓ１６）。ここで、ｂｓＢｏｘの高さは、ｂｓＢｏｘ
のｙ２−ｂｓＢｏｘのｙ１＋１より算出される。例とし
て、図１１の統合された外接矩形Ｔ１２の高さは１２と
計算され、ｌａｙＷｏｒｋの１２番目のカウントを１つ
すすめる。ｂｓＢｏｘに現在対象となっているｂｓＢｏ
ｘの次の外接矩形データを設定する（Ｓ１７）。次に、
ｂｓＢｏｘにデータが存在するか調べる（Ｓ１８）。ｙ
ｅｓである場合は、Ｓ６にｊｕｍｐし、Ｓ６からＳ１７
の処理を繰り返す。ｎｏである場合は、外接矩形統合処
理を終了する。

【００２９】以上の処理によって、ｒｅｃｔｏｔａｌ、
ｍＣｔ、ｖｍＣｔ、ｌａｙＷｏｒｋの値が設定される。

【００３０】図６の英文の画像データに対しては、ｒｅ
ｃｔｏｔａｌ＝１１，ｍＣｔ＝０，ｖｍＣｔ＝０，ｌａ
ｙＷｏｒｋの５番目＝４，ｌａｙＷｏｒｋの６番目＝
１，ｌａｙＷｏｒｋの９番目＝３となり、図９の日本語
の画像データに対しては、ｒｅｃｔｏｔａｌ＝１１，ｍ
Ｃｔ＝５，ｖｍＣｔ＝１，ｌａｙＷｏｒｋの１１番目＝
３，ｌａｙＷｏｒｋの１２番目＝３となる。

【００３１】次に、和文英文判断処理を行う。図５にお
いて、他の外接矩形と重なる外接矩形数カウンタｍＣｔ
と上下に重なる外接矩形数カウンタｖｍＣｔの外接矩形
総数ｒｅｃＴｏｔａｌに対する割合を算出する（Ｓ１
９）。ここで、重なり割合と上下重なり割合は、それぞ
れ、重なり割合＝ｍＣｔ／ｒｅｃｔｏｔａｌ×１００
％，上下重なり割合＝ｖｍＣｔ／ｒｅｃｔｏｔａｌ×１
００％として算出される。例として、図６の英文の画像
データに対しては、重なり割合＝０，上下重なり割合＝
０、図９の日本語の画像データに対しては、重なり割合
＝４５．４，上下重なり割合＝９．０となる。

【００３２】次に、統合された外接矩形の平均高さを検
出する（Ｓ２０）。ｌａｙＷｏｒｋの中で最も数値の高
い位置を外接矩形平均高さとする。ｌａｙＷｏｒｋの中
に最大の数値の位置が複数ある場合は、位置の大きいも
のを外接矩形平均高さとする。例として、図６の英文の
画像データに対しては、ｌａｙＷｏｒｋの５番目が４と
最も高いので外接矩形平均高さは５となり、図９の日本
語の画像データに対しては、ｌａｙＷｏｒｋの１１番目
と１２番目が３で同数であるが、位置の大きい方を採用
して外接矩形平均高さを１２とする。

【００３３】次に、統合された外接矩形のうち外接矩形
平均高さの１．２５倍以上の高さをもつ外接矩形の数を
算出し、その外接矩形総数ｒｅｃＴｏｔａｌに対する割
合を非平均高さ割合として算出する（Ｓ２１）。例とし
て、図８の統合された外接矩形に対しては外接矩形平均
高さ５の１．２５倍の高さをもつものが５つあり、非平
均高さ割合は４５．５％である。又、図形１１の統合さ
れた外接矩形では外接矩形平均高さ１２の１．２５倍以
上の高さを持つものは０で、非平均高さ割合も当然０％
である。

【００３４】次に、重なり割合が、あらかじめ定められ
た第一閾値以上（＝２０）であるか調べる（Ｓ２２）。
ｎｏである場合は、Ｓ２５へｊｕｍｐする。ｙｅｓであ
る場合は、上下重なり割合が、第二閾値以上（＝１０）
であるか調べる（Ｓ２３）。ｙｅｓである場合は、その
領域を日本語と判断してＳ２７へｊｕｍｐする。ｎｏで
ある場合は、上下重なり割合が、重なり割合の第三閾値
倍（＝１／４倍）以上であるか調べる（Ｓ２４）。ｙｅ
ｓである場合は、その領域を日本語と判断してＳ２７へ
ｊｕｍｐする。ｎｏである場合は、非平均高さ割合が、
重なり割合の第四閾値倍（＝２／３倍）に第五閾値（＝
１０）を加えたものより大きいか調べる（Ｓ２５）。ｎ
ｏである場合は、その領域を日本語と判断してＳ２７へ
ｊｕｍｐする。ｙｅｓである場合は、その領域を英文と
判断し、その領域の属性を英文に設定し、全ての処理を
終了する（Ｓ２６）。次に、その領域を日本語と判断
し、その領域の属性を和文に設定し、全ての処理を終了
する（Ｓ２７）。

【００３５】以上の処理により、図６の画像データは重
なり割合が０％，上下重なり割合が０％，非平均高さ割
合が４５．５％であることから英文領域と判断され、図
６の画像データは重なり割合が４５．４％，上下重なり
割合が９．０％，非平均高さ割合が０％であることから
和文領域と判断され、認識対象領域が和文領域であるか
英文領域であるかを正しく判断することができる。

【００３６】

【発明の効果】以上のように本発明は、外接矩形を統合
する際に、他の外接矩形と重なる外接矩形の割合である
重なり割合と上下に重なる外接矩形の割合である上下重
なり割合を算出し、更に統合された外接矩形の平均高さ
以上の高さを持つ矩形の割合である非平均高さ割合を算
出して、これらの情報によって得られる日本語と英語の
文字自体の特徴に着目して和文英文判定を行うため、モ
ノスペース文書等の文書の種類やイタリック体等の書体
に係わりなく案定した和文英文の判定が可能となり、和
文英文の混在する文書に対しても精度の高い認識を行う
ことのできる信頼性、汎用性に優れた文字認識装置を実
現できるものである。

【図面の簡単な説明】

【図１】本発明の一実施例における文字認識装置の機能
ブロック図

【図２】本発明の一実施例における文字認識装置の装置
ブロック図

【図３】本発明の一実施例における文字認識装置の和文
英文判定手段の初期設定処理のフローチャート

【図４】本発明の一実施例における文字認識装置の和文
英文判定手段の外接矩形統合処理のフローチャート

【図５】本発明の一実施例における文字認識装置の和文
英文判定手段の和文英文判断処理のフローチャート

【図６】本発明の一実施例における画像データの具体例
を示す図

【図７】本発明の一実施例における外接矩形検出処理結
果の具体例を示す図

【図８】本発明の一実施例における外接矩形統合処理結
果の具体例を示す図

【図９】本発明の一実施例における画像データの具体例
を示す図

【図１０】本発明の一実施例における外接矩形検出処理
結果の具体例を示す図

【図１１】本発明の一実施例における外接矩形統合処理
結果の具体例を示す図

【図１２】本発明の一実施例における外接矩形検出処理
の具体例を示す図

【符号の説明】

１ 画像データ取り込み部 ２ 画像データ格納部 ３ 認識領域検出部 ４ 属性選り分け部 ５ 和文英文判定手段 ６ 画像（写真）処理部 ７ 日本語文字認識手段 ８ 英文字認識手段 ９ 表図形処理部 １０ ＣＰＵ １１ ＲＯＭ １２ ＲＡＭ １３ スキャナ １４ キーボード １５ ＣＲＴ

Claims (1)

【特許請求の範囲】
1. 【請求項１】二値化された認識対象文書から認識する文
   字領域の座標を連結黒画素特徴より検出する文字領域検
   出手段と、前記文字領域検出手段で検出された文字領域
   に対して連結黒画素の外接矩形を検出して外接矩形総数
   を検出する外接矩形検出手段と、他の外接矩形と重なる
   外接矩形を検出しそれらの外接矩形に外接する外接矩形
   を検出する外接矩形統合手段と、他の外接矩形と重なる
   外接矩形の割合を算出する重なり割合算出手段と、上下
   方向に重なる外接矩形の割合を算出する上下重なり割合
   算出手段と、出現頻度の最も高い外接矩形の高さを外接
   矩形平均高さとして算出する外接矩形平均高さ算出手段
   と、前記外接矩形平均高さ算出手段で算出した外接矩形
   平均高さ以上の高さをもつ外接矩形の割合を算出する非
   平均高さ割合算出手段と、前記重なり割合算出手段で算
   出した重なり割合と上下重なり割合算出手段で算出され
   た上下重なり割合と前記非平均高さ割合算出手段で算出
   された非平均高さ割合を基にその文字領域が和文領域か
   英文領域かを判定する和文英文判定手段と、前記和文英
   文判定手段で判定された和文領域に対して日本語文字認
   識を行う日本語文字認識手段と、前記和文英文判定手段
   で判定された英文領域に対して英文字認識を行う英文字
   認識手段とを備えたことを特徴とする文字認識装置。