JPH10207981A

JPH10207981A - 帳票認識方法

Info

Publication number: JPH10207981A
Application number: JP9007642A
Authority: JP
Inventors: Junko Komatsu; 順子小松; Goro Bessho; 吾朗別所; Gakuhei Riyuu; 学平劉; Yukihisa Uchiyama; 幸央内山; Fumihiro Hasegawa; 史裕長谷川
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 1997-01-20
Filing date: 1997-01-20
Publication date: 1998-08-07

Abstract

(57)【要約】（修正有）【課題】帳票画像の位置ずれ、変倍の補正処理が不要
で、帳票の物理レイアウトの違いに柔軟に対応できる。【解決手段】帳票の項目名枠３０２〜３０４、記入枠
３０５〜３０７の論理レイアウト情報を（ｂ）のように
定義する。処理しようとする帳票の画像より抽出した枠
領域の相対的位置関係を物理レイアウト情報と照らし合
わせることによって、帳票画像の項目名枠及び記入枠に
相当する枠領域を同定し、少なくとも記入枠と同定され
た枠領域の文字認識を行う。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、帳票または同様の
表形式の文書（これらを本明細書においては「帳票」と
総称する）の処理技術の分野に係り、特に、帳票上の記
入枠に記入された内容を認識する技術に関する。

【０００２】

【従来の技術】帳票に記入された内容を読み取る場合、
帳票のどの部分が認識すべき記入枠であるか同定する必
要がある。このような帳票認識に関しては従来から様々
な技術が知られているが、いずれの従来技術も予め用意
された帳票の物理レイアウト情報、より具体的には記入
枠の座標を利用して記入枠を抽出している（例えば特公
平７−１０９６１０号）。

【０００３】

【発明が解決しようとする課題】帳票の物理レイアウト
情報を利用する方法は、入力された帳票の画像の位置ず
れや変倍を精密に補正する必要があり、処理が複雑にな
り、高速処理が難しい。また、帳票の論理レイアウト
（枠の種類、枠の相対的位置関係、記入枠に記入される
内容の属性等）が同じでも、物理レイアウトが僅かでも
異なると対応できず、帳票の物理レイアウトの違いに対
する柔軟性がない。

【０００４】本発明の目的は、そのような従来技術の問
題点を解決できる帳票認識方法を提供することにある。

【０００５】

【課題を解決するための手段】本発明の骨子は、帳票の
項目名枠、記入枠のレイアウトをそれぞれの相対的位置
関係として定義した論理レイアウト情報を用意してお
き、入力された帳票画像より枠領域を抽出し、抽出さた
枠領域の相対的位置関係を論理レイアウト情報と照らし
合わせることにより、入力された帳票画像の項目名枠及
び記入枠に相当する枠領域を同定し、少なくとも記入枠
に相当する枠領域の文字認識を行うことである（請求項
１）。

【０００６】好ましくは、論理レイアウト情報には項目
名枠の項目名が含まれ、入力された帳票画像の項目名枠
に相当する枠領域を同定する際に、その枠領域の文字認
識を行い、その文字認識結果と論理レイアウト情報中の
対応した項目名枠の項目名との一致を調べる（請求項
２）。また、論理レイアウト情報には記入枠の記入内容
の属性も含まれ、入力された帳票画像の記入枠に相当す
る枠領域の文字認識に、論理レイアウト情報中の対応し
た記入枠の属性を利用する（請求項３）。

【０００７】

【発明の実施の形態】以下、本発明の実施の形態を図面
を参照して説明する。

【０００８】図１及び図２はそれぞれ本発明の一実施例
による帳票認識装置の構成を示すブロック図及びその処
理の流れを示すフローチャートである。図３及び図４は
それぞれ帳票の例及びそれらの論理レイアウト情報の例
を示す図である。

【０００９】図１において、１０１は帳票を２値画像と
して読み取って入力する画像入力部、１０２は入力され
た帳票の画像を格納するための画像メモリ、１０３は処
理に関連したデータを一時的に記憶するためのメモリ、
１０４は文字認識処理を行う文字認識部、１０９は文字
認識処理に利用される属性別の単語等の知識を保存して
いる属性別知識データベース、１０５は縦横の罫線の抽
出処理を行う罫線抽出部、１０６は罫線データより４辺
を罫線で囲まれた枠領域を抽出する枠領域抽出部、１０
７は帳票の論理レイアウトに係わる処理を行う論理レイ
アウト処理部、１０８は各種帳票の論理レイアウト情報
を保存している論理レイアウト構造データベース、１１
０は出力データを編集する出力データ編集部、１１１は
編集された出力データを出力する出力部、１１２は装置
全体の動作を制御する制御部である。

【００１０】なお、このような構成の帳票認識装置１０
０は、一般的なコンピュータシステムを利用しソフトウ
エアにより実現することも可能であることは明らかであ
る。この場合、例えば、１０４，１０５，１０６，１０
７，１１０等の機能部はプログラムとして記述され、そ
れらのプログラムは例えばハードディスク等の記録媒体
に保存され、必要に応じてシステムのメモリに読み込ま
れてＣＰＵによって実行されることになろう。また、論
理レイアウト構造データベース１０８及び属性別知識デ
ータベース１０９はハードディスク等の記憶媒体に保存
されることになろう。

【００１１】ここで、図３及び図４により帳票の論理レ
イアウト情報の定義方法について説明する。

【００１２】図３（ａ）に示す帳票は、タイトル３０１
と、罫線で囲まれた枠である複数の項目枠からなる。こ
れら項目枠として、項目名が予め印刷された項目名枠３
０２，３０３，３０４と、個々の帳票毎に項目情報が手
書きにより若しくは機械的に記入される記入枠３０５，
３０６，３０７とがある。また、図示されていないが、
帳票の余白部分の特定の位置、例えば右下隅部分に、帳
票の種別を表す印（文字認識が可能な数字等）が予め印
刷されている。

【００１３】図３（ｂ）は、この帳票について定義され
た論理レイアウト情報を、帳票の論理レイアウトとの対
比が容易なように模式的に表している。１行目のtytle
{ｘｘ申請書}は帳票のタイトルが「ｘｘ申請書」である
ことを表す。２行目から４行目のitem｛申請者｝、item
｛住所｝及びitem｛電話｝はそれぞれ項目名枠３０２，
３０３，３０４を表す。item｛＄xxxx｝は記入枠を意味
し、｛｝内の＄に続くxxxxは記入枠に記入される情報
の属性を表している。この属性としては、name（人
名）、address（住所）、tel（電話番号）、number（番
号）、money（金額）があり、さらに図４（ｂ）に見ら
れるcount（数量）、ignore（無視）がある。＆で繋が
れた複数のitem｛｝のそれぞれは、その記述順に左か
ら右へ一列に並んだ複数の項目枠のそれぞれを表してい
る。そして、帳票上で上にある項目枠列ほど先に、また
同じ項目枠列では左端の項目枠から順に、記述される。

【００１４】したがって、図３（ｂ）において、１行目
は帳票の「ＸＸ申請書」というタイトルがあることを意
味し、２行目はタイトルより下側に「申請者」という項
目名枠３０２と「人名」の記入枠３０５が横一列に順に
並んで存在することを意味し、３行目は、その下側に
「住所」という項目名枠３０３と「住所」の記入枠３０
６が横一列に順に並んで存在することを意味し、４行目
は、その下側に「電話」という項目名枠３０４と「電話
番号」の記入枠３０７が横一列に順に並んで存在するこ
とを意味する。

【００１５】図４（ａ）に示す帳票は、タイトル４０１
と、項目名枠４０２〜４０６、それに各項目の記入枠を
持つ。帳票種別を表す番号等の印も例えば帳票の右下隅
部に印刷されている。この帳票の論理レイアウト情報は
図４（ｂ）のように定義される。なお、図４（ｂ）の７
行目からitem｛＄ignore｝＆item｛＄ignore｝は、帳票
の最も下に位置する記入枠４０７，４０８を記述してお
り、属性はignoreであるから、そらの内容は無視してよ
い。

【００１６】なお、本実施例で扱う帳票は、上に示した
帳票の例のように、タイトルが枠に囲まれておらず、左
上位置の項目枠は必ず項目名枠であるものとする。

【００１７】次に、本実施例の帳票認識装置１００にお
ける処理の流れを、図２に示したフローチャートを参照
して説明する。

【００１８】まず、画像入力部１０１によって帳票の画
像が入力され、これが画像メモリ１０２に格納される
（図２のステップ２０１）。なお、従来のように、帳票
画像の位置ずれや変倍の補正は行われない。これは、以
下の項目枠に対する処理が論理レイアウト情報にのみ基
づいて行われるため、多少の画像の位置ずれや変倍によ
る項目枠の物理レイアウトの違いがあっても問題になら
ないからである。

【００１９】帳票画像が入力されると、文字認識部１０
４において、画像メモリ１０２内の帳票画像の右下隅部
より、帳票種別を表す番号等の文字画像を切り出して文
字認識する（ステップ２０３）。論理レイアウト処理部
１０７は、その認識結果より入力された帳票の種別を識
別し、論理レイアウト構造データベース１０８内の該当
帳票種別の論理レイアウト情報を選択する（ステップ２
０５）。この選択された論理レイアウト情報が、入力さ
れた帳票の処理に利用される。この選択ができないと
き、つまり論理レイアウト情報が論理レイアウト構造デ
ータベース１０８に登録されていない種類の帳票の画像
が入力されたときには、異常と判断され（ステップ２０
７）、制御部１１２においてユーザに対しエラーの警告
を出すなどして処理を異常終了させる。なお、ユーザが
帳票種別を指定し、指定された種別に従って論理レイア
ウト情報を選択するような方法を採用することも可能で
ある。

【００２０】入力帳票の種別に対応する論理レイアウト
情報が正常に選択されると、入力帳票より枠領域を抽出
するため、まず罫線抽出罫線抽出部１０５において入力
帳票画像より横方向及び縦方向の罫線を抽出する（ステ
ップ２０９）。この罫線抽出は、例えば、入力帳票画像
より所定値以上の長さを持つ横方向及び縦方向の黒ラン
を検出し、抽出した黒ランの中で一定距離以内のものを
統合することによって行われる。そして、枠領域抽出部
１０７において、横方向と縦方向の罫線の論理和を求め
ることにより、罫線で囲まれた枠の領域を抽出する（ス
テップ２１１）。抽出された枠領域の座標、例えば対向
した２頂点の座標はメモリ１０３に保存される。

【００２１】このようにして枠領域が抽出されると、論
理レイアウト処理部１０７は、抽出された枠領域の中で
最も上側で最も左側に位置する一つの枠領域をカレント
枠領域とし、その座標を文字認識部１０４に指定し、そ
の枠領域の内部について文字認識を行わせる（ステップ
２１５）。論理レイアウト処理部１０７は、その認識結
果と、選択した論理レイアウト情報中の先頭のitem
｛｝の｛｝内の項目名との一致を調べる（ステップ２
１５）。先頭の項目枠は必ず項目名枠であり、枠領域抽
出が正常ならば、この比較で一致がとれるはずである。
例えば、図３（ａ）の帳票の場合、カレント枠領域は項
目名枠３０２に対応し、認識結果は項目名「申請者」と
一致するはずである。一致がとれた場合にはステップ２
２１以降の処理に進む。

【００２２】もし、不一致の場合には、直ちにエラーと
して処理を以上終了させることも可能であるが、本実施
例では、この異常状態の復旧を試みるため、カレント枠
領域に隣接した枠領域の座標を文字認識部１０４に指定
し、その文字認識を行わせ（ステップ２１７）、認識結
果と先頭の項目名との一致を調べる（ステップ２１
９）。一致がとれないときにはエラーと判断され、制御
部１１２により処理は異常終了させられる。しかし、ど
れかの隣接枠領域で一致がとれたときには、一致がとれ
た枠領域をカレント枠領域とし、ステップ２２１以降の
処理に進む。

【００２３】なお、最初の枠領域を、文字認識を行うこ
となく、その相対的位置関係のみに基づいて、つまり左
上位置にあるということだけで、先頭の項目名枠と同定
することも可能である。ただし、同定エラーの危険性は
増加する。このことは、他の項目名枠に関しても同様で
ある（後述のステップ２２９，２３１を省き、枠領域の
相対的位置関係と論理レイアウト情報に記述された相対
的位置関係との一致のみを根拠として、直ちに項目名枠
を同定することも可能である）。

【００２４】このようにして先頭の項目名枠を確認でき
ると、論理レイアウト処理部１０７は、選択した論理レ
イアウト情報を参照し、カレント枠領域に対応した項目
枠の右隣に別の項目枠が存在するか調べる（ステップ２
２１）。図３（ａ）の帳票の場合、図３（ｂ）の２行目
にitem｛申請者｝の次に＆で繋がれたitem｛＄name｝が
あるから、右隣に項目枠（記入枠３０５）がある。この
場合、メモリ１０３内の枠領域の座標データを参照し、
その右隣の項目枠に対応した枠領域が存在するか調べる
（ステップ２２５）。その右隣の枠領域が存在しないと
きは、枠領域抽出が異常であるのでエラーと判断され処
理は異常終了させられる。

【００２５】その枠領域が存在する場合、その枠領域を
カレント枠領域とし、論理レイアウト情報中の対応した
項目枠の記述を参照し、その項目枠が項目名枠である
か、または記入枠か調べる（ステップ２２７）。記入枠
の場合、その属性とカレント枠領域の座標を文字認識部
１０４に指定し、文字認識を行わせる（ステップ２３
５）。この際、与えられた属性に対応した属性別知識デ
ータベース１０９内の知識を利用し、認識結果の精度を
高める。図３（ａ）の帳票の場合、カレント枠領域は記
入枠３０５に対応し、論理レイアウト情報にはitem｛＄
name｝と記述されているので、その内容の属性は「人
名」であるから、「人名」の知識を文字認識に利用する
ことになる。認識結果はメモリ１０３に保存される。

【００２６】ステップ２３５を終了した場合、論理レイ
アウト処理部１０７はステップ２２１に戻り、論理レイ
アウト情報を参照し、カレント枠領域に対応した項目枠
の右隣に項目枠があるか調べる。図３（ａ）の帳票の場
合、図３（ｂ）の２行目のitem｛＄name｝に＆で繋がれ
た項目枠はない。そこで下側に項目枠があるか調べる
（ステップ２０３）。図３（ｂ）の３行目にitem｛住
所｝とあるから、下側に「住所」という項目名枠３０３
があることが分かる。したがって、ステップ２２５で、
その項目名枠３０３に対応する枠領域があるか調べる
（ステップ２２５）。枠領域抽出が正常なら対応した枠
領域があるので、それをカレント枠領域とし、また、そ
れは項目名枠であるので、ステップ２２９に進む。この
ステップ２２９では、カレント枠領域の座標を文字認識
部１０４に指定し、文字認識を行わせる（ステップ２２
９）。その認識結果と、当該項目名枠の項目名「住所」
との一致を調べる（ステップ２３１）。不一致ならばエ
ラーとして処理は異常終了させられるが、一致がとれた
ならばステップ２２１より処理を続ける。

【００２７】図４（ａ）に示した帳票も同様に処理され
る。なお、記入枠４０７，４０８のような「無視」の属
性を持つ記入枠の場合、その文字認識を行っても無意味
であるため、ステップ２３５をスキップし、例えば認識
結果としてスペースコード等の特定のコードを出力す
る。

【００２８】このようにして最後の項目枠まで、図３
（ａ）の帳票では記入枠３０５まで、正常に処理された
ならば、出力データ編集部１１０において、メモり１０
３に得られた認識結果より出力データを編集する（ステ
ップ２３７）。出力データの形式は、その利用目的に応
じて適宜に選ばれる。例えば、記入枠に記入された内容
だけが欲しいような場合ならば、帳票種別を表す情報
と、各記入枠の認識結果を順に並べたような形式の出力
データとすることができる。そして、編集された出力デ
ータは出力部１１１に出力される（ステップ２３９）。

【００２９】

【発明の効果】請求項１乃至３の各項記載の発明によれ
ば、帳票の項目名枠及び記入枠のレイアウトを相対的位
置関係で定義した論理レイアウト情報を利用して、処理
しようとする帳票画像上の項目枠及び記入枠に相当する
枠領域を同定するため、物理レイアウトの違いに対する
柔軟性が高く、論理レイアウトが同一であれば物理レイ
アウトが多少違った帳票も処理することが可能であり、
また、処理しようとする帳票画像の位置ずれや変倍の補
正処理が不要となり、処理を簡略化・高速化することが
できる。また、論理レイアウト情報は、物理レイアウト
情報に比べ作成が用意であるため、帳票のレイアウトの
変更や新規の帳票の追加にも容易に対応できる。請求項
２記載の発明によれば、項目名枠の同定エラーを回避
し、より確実な処理が可能である。請求項３記載の発明
によれば、記入枠の属性を利用することにより、その文
字認識精度を向上させることができる。

【図面の簡単な説明】

【図１】本発明の一実施例による帳票認識装置の構成を
示すブロック図である。

【図２】本発明の一実施例による帳票認識装置の処理の
流れを示すフローチャートである。

【図３】帳票の例とその論理レイアウト情報を示す図で
ある。

【図４】帳票の他の例とその論理レイアウト情報を示す
図である。

【符号の説明】

１０１画像入力部１０２画像メモリ１０３メモリ１０４文字認識部１０５罫線抽出部１０６枠領域抽出部１０７論理レイアウト処理部１０８論理レイアウト構造データベース１０９属性別知識データベース１１０出力データ編集部１１１出力部１１２制御部３０１帳票タイトル３０２〜３０４項目名枠３０５〜３０７記入枠４０１帳票タイトル４０２〜４０６項目名枠４０７，４０８「無視」属性の記入枠

───────────────────────────────────────────────────── フロントページの続き (72)発明者内山幸央東京都大田区中馬込１丁目３番６号株式会社リコー内 (72)発明者長谷川史裕東京都大田区中馬込１丁目３番６号株式会社リコー内

Claims

【特許請求の範囲】

【請求項１】帳票の項目名枠及び記入枠のレイアウト
をそれぞれの相対的位置関係として定義した論理レイア
ウト情報を用意しておき、入力された帳票画像より枠領
域を抽出し、抽出さた枠領域の相対的位置関係を論理レ
イアウト情報と照らし合わせることにより、入力された
帳票画像の項目名枠及び記入枠に相当する枠領域を同定
し、少なくとも記入枠に相当する枠領域の文字認識を行
うことを特徴とする帳票認識方法。
【請求項２】論理レイアウト情報には項目名枠の項目
名が含まれており、入力された帳票画像の項目名枠に相
当する枠領域を同定する際に、その枠領域の文字認識を
行い、その文字認識結果と論理レイアウト情報中の対応
した項目名枠の項目名との一致を調べることを特徴とす
る請求項１記載の帳票認識方法。
【請求項３】論理レイアウト情報には記入枠の記入内
容の属性も含まれており、入力された帳票画像の記入枠
に相当する枠領域の文字認識に、論理レイアウト情報中
の対応した記入枠の属性を利用することを特徴とする請
求項１又は２記載の帳票認識方法。