JPH07220023A

JPH07220023A - 表認識方法及びその装置

Info

Publication number: JPH07220023A
Application number: JP6027443A
Authority: JP
Inventors: Takuya Okamoto; 卓哉岡本; Masatoshi Hino; 匡利樋野
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1994-01-31
Filing date: 1994-01-31
Publication date: 1995-08-18

Abstract

(57)【要約】（修正有）【目的】表の画像データからその表のフィールドを認識
する方法及び装置の改良を目的とする。また、画像デー
タのフィールド位置が変動していた場合でも、その位置
を補正して適正に認識し、フィールド内の文字を認識す
る方法及び装置を提供する。【構成】ステップ１０１で入力された画像から、表の外
枠線を抽出する。この外枠線を基準として、ステップ１
０３でフォーマット情報データベース３１から順次フォ
ーマットデータを読み出し、フォーマットの４隅を外枠
の４隅と対応付けることで、罫線情報３２で表される罫
線を画像上に座標変換し、画像との一致度を評価する。
ステップ１０６で、評価結果から複数のフォーマットの
うちのいずれであるかを判定する。ステップ１０８で罫
線の位置補正を行ない、さらに画像から罫線を消去す
る。ステップ１０９で罫線情報とフィールド情報３３か
らフィールド位置を設定し、ステップ１１０でフィール
ド中の文字を認識し、結果をプリンタ７０に出力する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、表の画像データからそ
の表のフィールドや文字を認識する表認識方法及び装置
に関し、例えば、紙に記入された表形式データをスキャ
ナなどの光学的読み取り装置でコンピュータ内に画像デ
ータとして読み込み、その表構造や表中の文字を認識す
る表形式データ自動入力システムに関する。

【０００２】

【従来の技術】従来の紙に記入されたデータを入力する
技術としては、帳票ＯＣＲが一般的である。これは、ス
キャナ読み取り時にドロップアウトする色を用いて記入
枠を示した用紙を用いるものである。スキャナで読み取
る際に記入枠をドロップアウトし、その枠内に記入され
たデータだけを取りだし、データの記入位置は、帳票の
周囲に記入されたマークからの相対位置で求める。

【０００３】近年のＦＡＸの普及に伴い、上記のような
帳票の入力をＦＡＸを用いて行なうシステムが開発され
ている。しかしながら、ＦＡＸでは、所定の色のみをド
ロップアウトすることがうまくできないことが多い。ま
たこのようなシステムにおいては、不特定多数のＦＡＸ
から様々な種類の画像データの送信が行なわれるため、
所定の帳票のみにドロップアウトの手法を用いるという
ことはできない。

【０００４】したがって、入力された画像中の所定の位
置に記入枠が存在するものとして、画像より消去し、フ
ィールド内のデータを抽出するという手法が取られてい
る。

【０００５】また、複数のフォーマットの帳票が混在し
て入力される状態においては、画像のフォーマットを解
析して、どのフォーマットであるかを判定する方式があ
る。例えば、特願平１−４９８００号に開示された帳票
認識装置などである。

【０００６】これらの方式では、画像から罫線あるいは
フィールド記入枠の要素を抽出し、これを組み立ててフ
ォーマットを推定し、指定されたフォーマットのどれに
当てはまるかを、チェックする。

【０００７】しかし、入力された画像中には多くのノイ
ズが存在し、罫線の途切れなどがある場合も少なくな
い。したがって、良好にフォーマットを推定できるとは
限らず、また処理時間もかかるものとなる。

【０００８】

【発明が解決しようとする課題】現在、このようなシス
テムで問題になるのは、紙の搬送速度のむらや歪みのた
めに、データの記入位置も非線形に変動するということ
である。

【０００９】この問題を解決するために、フィールドの
非線形なずれを検出しながら、フォーマットに示された
データの記入位置を補正する必要がある。また、この問
題は、画像を光学的にコンピュータに読み込む際に、ど
のような読み込み方法を用いても起きうる問題である。

【００１０】このようなフィールドの位置のずれを補正
する方式としては、フォーマットの基準点の位置を検出
し、このずれからフィールドの概略位置を設定し、フィ
ールドの周辺画像から、フィールド位置のずれを補正す
る方式がある。

【００１１】しかし、このような方式では、フィールド
の罫線の近くに数字の１などが記入されることにより、
フィールド位置の判定を誤るといった問題があり、これ
が認識率低下の原因となっている。

【００１２】本発明は、表の画像データからその表のフ
ィールドを認識する方法及び装置の改良を目的とする。
また、本発明は、例えば紙の搬送速度のむらや歪みなど
のために、入力した表の画像データのフィールド位置が
非線形に変動していた場合であっても、フィールドの位
置を補正してその位置を適正に高精度に認識しフィール
ド内の文字を認識することができる表認識方法及びその
装置を提供することを目的とする。

【００１３】

【課題を解決するための手段】本発明では、あらかじめ
表のフォーマットを示すフォーマット情報を用意してお
き、そのフォーマット情報で示される罫線を画像データ
上の座標に変換し、座標変換された罫線と画像データと
を用いて、上記のような画像の非線形な位置ずれを検出
する。そして、検出した位置ずれに基づいて罫線の位置
を補正する。フォーマット情報の座標変換は、表のフォ
ーマットの概略位置を設定するための基準線を画像中か
ら抽出し、これを基にして画像上の座標に変換する。

【００１４】画像上に概略のフォーマットをあてはめた
後に、画像上の枠線の要素を抽出し、これとフォーマッ
トを対応付ける。また、枠線に合わせてフォーマットを
補正し、枠線は消去することで、文字パターンにノイズ
が混入するのを防止する。

【００１５】フォーマットは、縦、横それぞれ２本づつ
の基準線を基にした、相対座標で設定することにより、
紙のサイズにも、スキャナの読み取り線密度に依存しな
いフォーマット情報の設定が可能である。

【００１６】また、フィールド単位ではなく、罫線単位
での補正を行うことで、フィールド内の文字によるフィ
ールド位置の誤抽出を防ぐ。

【００１７】また、上記の方式で、複数のフォーマット
を識別する場合、フォーマット数だけフォーマット情報
が必要となる。したがって、フォーマットの１部が異な
るために、多数のフォーマットを用意しなければならな
い場合がある。その場合は、異なる部分のフォーマット
だけを、別のデータベースに持つことで、フォーマット
数の増加を防ぐ。

【００１８】

【作用】本発明を利用することにより、帳票のデータ記
入位置の高精度な抽出が可能となり、画像の非線形な歪
みによって発生するフィールド抽出（フィールドの位置
の認識）の誤認識を減少することができる。

【００１９】複数のフォーマットが混在する場合でも、
高速かつ高精度なフォーマット判定が可能である。

【００２０】また、フォーマットの１部が異なる場合で
も、多数のフォーマットを用意する必要がなく、フォー
マットのマッチングのための処理量が減少し、処理が高
速化される。

【００２１】

【実施例】以下、図面を用いて本発明の実施例を説明す
る。

【００２２】図１は、本発明の第１の実施例に係る表認
識システムのシステム構成である。本実施例のシステム
は、ＣＰＵ１０、メモリ２０、ハードディスク３０、ハ
ードディスクコントローラ４０、端末５０、端末コント
ローラ５１、スキャナ６０、ディスク装置６１、画像入
力コントローラ６２、プリンタ７０、プリンタコントロ
ーラ７１、及びシステムバス８０を備えている。

【００２３】メモリ２０中には、表認識処理プログラム
２１、及びデータ格納領域２２が設けられている。ＣＰ
Ｕ１０は、システムの全体の管理、制御、及び、表認識
処理プログラム２１の実行を行う。ハードディスク３０
中には、認識する表のフォーマット情報が、フォーマッ
ト情報データベース３１として格納されている。ハード
ディスクコントローラ４０は、ハードディスク３０を制
御し、ＣＰＵ１０からの制御によりハードディスク３０
のデータの入出力を行う。

【００２４】端末５０から、人間が処理の指示、結果の
表示チェックなどを行う。端末５０は、端末コントロー
ラ５１で制御され、これによりキーボードからの入力及
びディスプレイへの表示などが行われる。スキャナ６
０、及びディスク装置６１などから、画像入力コントロ
ーラ６２を通して、画像が入力される。入力された画像
データは、メモリ２０のデータ格納領域２２に格納され
る。

【００２５】プリンタ７０には、プリンタコントローラ
７１を通してデータが送られ、認識結果が出力される。
システムバス８０は、各種データの通信を行うためのも
のである。

【００２６】図２は、表認識処理の手順を示すフローチ
ャートである。まず、全体の処理の流れについて説明す
る。

【００２７】スキャナ６０あるいはディスク装置６１の
ディスクから表の画像データを読み込み、メモリ２０上
のデータ格納領域２２に格納する（ステップ１０１）。
次に、読み込まれた画像データをサーチし、表の外枠線
を抽出する（ステップ１０２）。本実施例においては、
この表外枠をフォーマット変換の基準線とする。ステッ
プ１０２の処理については、図７を用いて後に詳述す
る。

【００２８】次に、フォーマット罫線と入力画像の一致
度を評価する（ステップ１０３）。これは、以下のよう
な処理である。まず、フォーマット情報データベース３
１から、１つのフォーマット情報を読み出す。１つのフ
ォーマット情報は、１つの表のフォーマットを表す罫線
情報３２とフィールド情報３３とからなるが、詳しくは
図３〜６を用いて後述する。読み出したフォーマット情
報の罫線情報３２から得られる罫線を、入力した画像上
の罫線とマッチングし、その対応する罫線数の全罫線数
に占める割合に基づいて一致度を求め、メモリ２０上に
格納する。このステップ１０３の処理については、図１
１を用いて後に詳述する。

【００２９】次に、データベース３１中に格納された全
てのフォーマット情報について、ステップ１０３を実行
したか否かを判別する（ステップ１０４）。全てのフォ
ーマット情報についてステップ１０３を実行していたら
ステップ１０６に進み、そうでないときはステップ１０
３に戻って、次のフォーマット情報を読み出して画像の
一致度の評価を続ける。

【００３０】次に、評価結果（フォーマット数と同数だ
け求められた評価値）から、入力された画像（の表）が
複数のフォーマットのいずれであるかを判定する（ステ
ップ１０６）。ステップ１０６の判定の処理について
は、図１５を用いて後に詳述する。

【００３１】ステップ１０６の判定で一致するフォーマ
ットがあったか否かを判別し（ステップ１０７）、一致
するフォーマットがなければ、ステップ１０８以降の認
識処理を行わずに処理を終了する。一致するフォーマッ
トがあったときは、そのフォーマットを用いて、ステッ
プ１０８以降の認識処理を行う。

【００３２】まず、該当するフォーマットの罫線情報３
２を読み出し、入力された画像データの罫線とマッチン
グさせるとともに罫線の位置補正を行い、さらに画像デ
ータから罫線部分を消去する（ステップ１０８）。ステ
ップ１０８の処理については、図１６を用いて後に詳述
する。

【００３３】次に、罫線の補正結果と、該当フォーマッ
トのフィールド情報３３とから、フィールド位置を設定
する（ステップ１０９）。ステップ１０９の処理につい
ては、図１８を用いて後に詳述する。

【００３４】さらに、認識対象の各フィールド中の画像
から文字を認識し、認識結果をプリンタ７０に出力する
（ステップ１１０）。ステップ１１０の処理について
は、図２０を用いて後に詳述する。

【００３５】以上が、表認識処理の概略である。

【００３６】図３及び図４は、本実施例の表認識システ
ムで認識する表のフォーマットパターンの例である。

【００３７】これらのフォーマットは、フォーマット情
報データベース３１として、それぞれのフォーマットご
とに、罫線情報３２とフィールド情報３３とに分けて格
納されている。罫線情報３２は、表を構成する罫線の位
置の情報である。位置の情報は、表の領域の左上を原点
（０，０）、右下を（１００００，１００００）とし
た、直交（ｘｙ）座標系で表す。フィールド情報３３
は、罫線で囲まれた領域であるフィールドの上下左右の
罫線と、その領域の種別などの情報で構成される。

【００３８】図５に、罫線情報３２の内容を示す。

【００３９】罫線情報３２は、縦線情報３２−ａと横線
情報３２−ｂとに分けて格納されている。

【００４０】縦線情報３２−ａ及び横線情報３２−ｂと
も、罫線の１本ごとに、その罫線の番号５０１−ａ，５
０１−ｂ、及びその罫線の始点の座標５０２−ａ，５０
２−ｂと終点の座標５０３−ａ，５０３−ｂを持つ。さ
らに、縦線情報３２−ａでは、その縦線の始点で交わる
横線の番号５０４−ａと、その縦線の終点で交わる横線
の番号５０５−ａとを持つ。また、横線情報３２−ｂで
は、その横線の始点で交わる縦線の番号５０４−ｂと、
その横線の終点で交わる縦線の番号５０５−ｂとを持
つ。

【００４１】縦線及び横線の本数は、それぞれ、縦線本
数情報５０６−ａ、横線本数情報５０６−ｂに格納され
ている。

【００４２】図６に、フィールド情報３３の内容を示
す。

【００４３】フィールド情報３３には、フィールドを特
定する番号であるフィールド番号６０１、フィールド上
線（そのフィールドの上側の横線）の番号６０２、フィ
ールド下線（そのフィールドの下側の横線）の番号６０
３、フィールド左線（そのフィールドの左側の縦線）の
番号６０４、及びフィールド右線（そのフィールドの右
側の縦線）の番号６０５が格納されている。これらの番
号６０２〜６０５は、図５の罫線情報３２の罫線の番号
５０１−ａ，５０１−ｂによって表される。すなわち、
フィールドを囲む４本の罫線の罫線情報に基づいて、そ
のフィールドの位置が同定されることになる。

【００４４】さらに、フィールド情報３３には、フィー
ルド種別６０６、フィールド標題６０７、及びフィール
ド個数６０８が格納されている。

【００４５】フィールド種別６０６は、そのフィールド
の内容を定義する。フィールド種別６０６を用いて、認
識結果をデータベースに格納する際の分類を行ったり、
フィールドの属性（数字しかない、ある限定された文字
しか出現しないなど）を定義することができる。フィー
ルド標題６０７は、そのフィールドの認識結果を出力す
る際に、そのフィールドの内容が何なのか人間にわかる
ように表示するために利用する標題である。

【００４６】図７は、図２のステップ１０２の表外枠抽
出処理の詳細なフローチャートである。以下、ステップ
ごとに処理の内容を説明する。

【００４７】ステップ７０１：画像中から縦線の位置を
抽出するために、画像データ中の黒画素を縦方向（ｙ軸
方向）に投影する。この投影は、すべてのｘ座標につい
て、ｙ軸方向に黒画素の個数の総和をとることにより行
う。

【００４８】ステップ７０２：ステップ７０１で求めた
投影値が、所定の閾値以上になるピーク点（ｘ座標）を
すべて求める。求めたピーク点の周辺に縦線が存在する
ことになる。また、求めたピーク点のうちｘ座標が最小
のピーク点を求める。そのピーク点の周辺に、表外枠の
左線が存在することになる。さらに、求めたピーク点の
うちｘ座標が最大のピーク点を求める。そのピーク点の
周辺に、表外枠の右線が存在することになる。

【００４９】ただし、画像の周辺には、ノイズが存在す
る場合があるので、ピーク点の抽出範囲は、画像の両端
から一定距離以上離れていなければならないとする。こ
の値は、画像入力する機器や、入力されるデータ中の表
のサイズなどにより適切な値を設定する。

【００５０】ステップ７０３：ステップ７０２で求めた
表外枠線に対応する左右のピーク点（ｘ座標）のそれぞ
れについて、ピーク点から左右方向の一定の値の範囲を
縦線、すなわち左右の外枠縦線の存在する範囲（ｘ座標
の値）とする。

【００５１】ステップ７０４：すべてのｙ座標の値ごと
に、ステップ７０３で設定された左側の外枠縦線の存在
する範囲で、左側（ｘ座標の小さい方）から画像をサー
チし、最初に白画素から黒画素へ変化する変化点の座標
をすべて求める。右側の外枠縦線についても、同様にし
て、ステップ７０３で設定された右側の外枠縦線の存在
する範囲で右側（ｘ座標の大きい方）から画像をサーチ
し、最初に白画素から黒画素へと変化する変化点の座標
をすべて求める。

【００５２】ステップ７０５：左側外枠縦線及び右側外
枠縦線のそれぞれについて、ステップ７０４で得られた
変化点の座標すべてについての近似直線を求める。

【００５３】変化点の座標を、（ｘ［ｉ］，ｙ［ｉ］）
（０≦ｉ＜Ｎ（＝変化点の数））とすると、近似直線は
次の数式１で求められる。

【００５４】

【数１】

【００５５】以上のステップ７０１〜７０５により、入
力画像の表の左右の外枠縦線が求められたことになる。

【００５６】ステップ７０６：画像中から横線の位置を
抽出するために、画像データ中の黒画素を横方向（ｘ軸
方向）に投影する。この投影は、すべてのｙ座標につい
て、ｘ軸方向に黒画素の個数の総和をとることにより行
う。

【００５７】ステップ７０７：ステップ７０６で求めた
投影値が、所定の閾値以上になるピーク点（ｙ座標）を
すべて求める。求めたピーク点の周辺に横線が存在する
ことになる。また、求めたピーク点のうちｙ座標が最小
のピーク点を求める。そのピーク点の周辺に、表外枠の
上線が存在することになる。さらに、求めたピーク点の
うちｙ座標が最大のピーク点を求める。そのピーク点の
周辺に、表外枠の下線が存在することになる。

【００５８】ただし、画像の周辺には、ノイズが存在す
る場合があるので、ピーク点の抽出範囲は、画像の両端
から一定距離以上離れていなければならないとする。こ
の値は、画像入力する機器や、入力されるデータ中の表
のサイズなどにより適切な値を設定する。

【００５９】ステップ７０８：ステップ７０７で求めた
表外枠線に対応する上下のピーク点（ｙ座標）のそれぞ
れについて、ピーク点から上下方向の一定の値の範囲を
横線、すなわち上下の外枠横線の存在する範囲（ｙ座標
の値）とする。

【００６０】ステップ７０９：すべてのｘ座標の値ごと
に、ステップ７０８で設定された上側の外枠横線の存在
する範囲で、上側（ｙ座標の小さい方）から画像をサー
チし、最初に白画素から黒画素へ変化する変化点の座標
をすべて求める。下側の外枠横線についても、同様にし
て、ステップ７０８で設定された下側の外枠横線の存在
する範囲で下側（ｙ座標の大きい方）から画像をサーチ
し、最初に白画素から黒画素へと変化する変化点の座標
をすべて求める。

【００６１】ステップ７１０：上側外枠横線及び下側外
枠横線のそれぞれについて、ステップ７０９で得られた
変化点の座標すべてについての近似直線を求める。

【００６２】変化点の座標を、（ｘ［ｉ］，ｙ［ｉ］）
（０≦ｉ＜変化点の数）とすると、近似直線は次の数式
２で求められる。

【００６３】

【数２】

【００６４】以上のステップ７０６〜７１０により、入
力画像の表の上下の外枠横線が求められたことになる。

【００６５】図８及び図９は、図７のステップ７０１〜
７０５の手順により入力画像から外枠縦線を抽出してい
る様子を図示したものである。横線の抽出も、縦線の抽
出と同様の手順で求められるので、説明は省略する。

【００６６】図８は、画像データから表外枠の縦線の存
在する範囲を求めた結果である。

【００６７】画像データ８０１中に、表データが格納さ
れている。この画像８０１は、左上を原点とし、右方向
にｘ軸、下方向にｙ軸を持つ、直交座標系である。８０
２は、図７のステップ７０１でこの画像の黒画素を投影
した結果である。８０３は、ステップ７０２でピーク点
を判定するための閾値である。８０４が、最も左のピー
ク位置である。点線８０５から点線８０６の範囲が、ピ
ーク点８０４から左右に得られる表外枠左線の存在する
範囲である。この範囲は、ステップ７０３で設定され
る。この間をサーチして、表左線を見つける。

【００６８】図９は、表外枠左線を求める様子を示して
いる。

【００６９】図８の点線８０５と点線８０６に挾まれた
範囲の、画素の各ライン（各ｙ座標ごと）について、点
線８０５の位置から順に右方向に画素を追跡する。そし
て、最初に見つかった、白画素から黒画素への変化点を
外枠の位置とする。この位置は、図７のステップ７０４
で求められる。各ラインで見つかった点を、上述の数式
１で、得られる直線で近似することで、表外枠左線９０
１が得られる。

【００７０】図１０は、図８の画像８０１から、表外枠
の上下左右の４線を求めた結果を示す。

【００７１】表の外枠の、上下左右の線が得られたの
で、表の外枠は、この横線２本（上線、下線）と、縦線
２本（左線、右線）の交点で表現する。表の左上の交点
１００１の座標を（ｘｌｕ，ｙｌｕ）、右上の交点１０
０２の座標を（ｘｒｕ，ｙｒｕ）、左下の交点１００３
の座標を（ｘｌｄ，ｙｌｄ）、右下の交点１００４の座
標を（ｘｒｄ，ｙｒｄ）とする。

【００７２】図１１は、図２のステップ１０３のフォー
マット一致度評価処理の詳細なフローチャートである。
フォーマット一致度は、フォーマットの表を構成する各
罫線について、順次、入力画像とマッチングして、画像
中に存在するかどうかを調べ、存在する罫線の数のフォ
ーマットの全罫線に占める割合を求めることで得る。以
下、各ステップごとに処理の内容を説明する。

【００７３】ステップ１１０１：カウンターＣＲＴとＥ
ＲＲを、０でクリアする。ＣＲＴは罫線情報３２の罫線
が入力画像中に存在した場合にその数をカウントするた
めのカウンタ、ＥＲＲは入力画像中に存在しなかった罫
線のカウンタである。

【００７４】ステップ１１０２：マッチング対象のフォ
ーマットの罫線情報３２から、罫線を１本読みだす。罫
線情報３２は、図５に示したように、表の左上の座標を
（０，０）、右下の座標を（１００００，１００００）
とした座標系で罫線の始終点の座標を持っている。一
方、図２のステップ１０２（図７）で、図１０に示すよ
うに画像８０１の左上を（０，０）とする座標系で表の
外枠が得られているので、これに基づいて罫線情報３２
から読み出した罫線を座標変換する。

【００７５】表の４隅の点の画像中での座標を基に、罫
線情報３２に示された罫線の始終点の座標を画像中の座
標に変換すると、下記の数式３のようになる。

【００７６】

【数３】

【００７７】ステップ１１０４：座標変換した罫線を、
入力画像とマッチングし、評価値を得る。マッチングの
処理内容については、図１２を参照して後に詳細に説明
する。

【００７８】ステップ１１０５：ステップ１１０４の結
果、罫線が存在すると判定されたときは、ステップ１１
０６に進む。そうでなければ、罫線無しとして、ステッ
プ１１０７に進む。

【００７９】ステップ１１０６：画像中に罫線情報３２
の罫線が存在したので、存在した罫線数のカウンタＣＲ
Ｔに１を加える。

【００８０】ステップ１１０７：画像中に罫線情報３２
の罫線が存在しなかったので、存在しない罫線数のカウ
ンタＥＲＲに１を加える。

【００８１】ステップ１１０８：罫線情報３２の全ての
罫線についてマッチングが終了したか否か判定する。終
了していなければ、ステップ１１０２に戻って次の罫線
について同様に処理する。全ての罫線についてのマッチ
ングが終われば、ステップ１１０９に進む。

【００８２】ステップ１１０９：フォーマットの全罫線
に対する、画像中に存在した罫線数の割合を、フォーマ
ット一致の評価値とする。

【００８３】図１２は、図１１のステップ１１０４の罫
線と画像のマッチング処理の詳細なフローチャートを示
す。罫線と画像のマッチングは、画像上で、罫線の近辺
の、罫線に垂直な短い黒ランを抽出し、この黒ランを基
に、画像上の罫線の位置を求め、この罫線を構成する黒
ランの数が、閾値以上かどうかで判定する。以下、各ス
テップの処理内容を説明する。

【００８４】ステップ１２０１：マッチング対象の罫線
が縦罫線か否かを判定する。縦罫線なら、ステップ１２
０２に進む。そうでなければ、横罫線なので、ステップ
１２１２に進む。

【００８５】以下、縦罫線の場合について、ステップ１
２０２からステップ１２１１までの処理の内容を、図１
３及び図１４を用いて説明する。図１３は、画像８０１
の罫線の周辺の一部を示す。１３０４，１３０５は画像
中の黒画素の部分であり、１３０４は罫線、１３０５は
文字を示している。図１４は、図１３の１３０６の部分
を拡大した内容を示す。

【００８６】ステップ１２０２：画像中に、マッチング
対象のフォーマット中の罫線（罫線情報３２から読み出
した罫線であり、以下、これをフォーマット罫線と呼
ぶ）を設定する。図１３の１３０１が画像中に設定した
フォーマット罫線を示す。そして、このフォーマット罫
線１３０１を中心として、点線１３０２及び１３０３に
挾まれる一定幅の領域を設定する。この範囲で、画像中
の罫線を検索する。

【００８７】ステップ１２０３：図１３の画像の罫線１
３０４や文字１３０５を構成する横方向の黒ランから、
ステップ１２０２で設定した範囲（点線１３０２から１
３０３の範囲）中に含まれる、閾値γ以下の長さの黒ラ
ンを抽出する。

【００８８】図１４において、黒く帯状に塗り潰した黒
ランは、閾値γ以下の長さの黒ランとして抽出される。
黒ラン１３０４−２，１３０４−３は、長さが閾値γ以
上であったため、抽出されなかった。

【００８９】ステップ１２０４：ステップ１２０３で抽
出された全ての黒ラン（１３０４−１、１３０５−１な
ど）の重心（１４０２−１、１４０２−２など）を求
め、この重心位置（黒ランの数だけある）とフォーマッ
ト罫線１３０１とのずれ量をそれぞれ求める。ずれ量と
は、重心位置がフォーマット罫線１３０１上であれば
０、重心位置がフォーマット罫線１３０１より右にあれ
ば画素単位でのフォーマット罫線１３０１までの距離、
重心位置がフォーマット罫線１３０１より左にあれば画
素単位でのフォーマット罫線１３０１までの距離に−１
を乗じた値である。

【００９０】ステップ１２０５：ステップ１２０４で求
めた、黒ランのずれ量について、ずれ量の値に対する、
黒ランの数のヒストグラム１４０３を作成する。

【００９１】ステップ１２０６：ステップ１２０５で作
成したヒストグラムの値が、最大となるずれ量１４０４
を求める。

【００９２】ステップ１２０７：ステップ１２０６で求
めたずれ量だけ、フォーマット罫線をずらした位置を中
心として、点線１４０５と１４０６に挾まれた一定幅の
範囲１４０７を設定する。

【００９３】ステップ１２０８：ステップ１２０３で抽
出された、閾値γ以下の長さの黒ランのうち、ステップ
１２０７で設定した範囲中に、重心が含まれるランだけ
を抽出する。

【００９４】ステップ１２０９：ステップ１２０８で抽
出された黒ランの数が、フォーマット罫線の画素を単位
とした長さ（画素数）の、定数δ（＜１）倍より大きけ
れば、ステップ１２１０のステップに進む。そうでなけ
れば、ステップ１２１１に進む。

【００９５】ステップ１２１０：画像中に、フォーマッ
ト罫線に対応する罫線が存在すると判定する。

【００９６】ステップ１２１１：画像中に、フォーマッ
ト罫線に対応する罫線が存在しないと判定する。

【００９７】ステップ１２０１でマッチング対象の罫線
が横罫線であった場合は、ステップ１２０２からステッ
プ１２０８の代りに、ステップ１２１２からステップ１
２１８が実行される。ステップ１２１２からステップ１
２１８は、ステップ１２０２からステップ１２０８の処
理をｘ座標とｙ座標を交換した座標系で行うことで、同
様に実現できるので、説明は省略する。

【００９８】図１５は、図２のステップ１０６のフォー
マット判定処理の詳細なフローチャートである。フォー
マットの一致度の評価値が最大のフォーマットが、その
画像に対応するフォーマットである。同じ評価値が得ら
れるなら、罫線数が多いフォーマットを、画像に対応す
るフォーマットとする。ただし、評価値が、閾値βより
小さければ、あてはまるフォーマットがないとして、エ
ラーにする。以下、各ステップについて説明する。

【００９９】ステップ１５０１：各フォーマットの番号
を、その罫線数で降順にソートする。

【０１００】ステップ１５０２：対応フォーマット番号
ｆｍｔ＿ｎｏ＝０、比較フォーマット番号ｉ＝１に初期
化する。

【０１０１】ステップ１５０３：ｉ番目のフォーマット
の一致度の評価値とｆｍｔ＿ｎｏ番目のフォーマットの
一致度の評価値とを比較する。ｉ番目の評価値の方が、
ｆｍｔ＿ｎｏ番目の評価値よりも大きければ、ステップ
１５０４に進む。そうでなければ、ステップ１５０５に
進む。

【０１０２】ステップ１５０４：対応フォーマット番号
ｆｍｔ＿ｎｏ＝ｉとする。

【０１０３】ステップ１５０５：ｉの値に１を加える。

【０１０４】ステップ１５０６：ｉの値が、全フォーマ
ット数と同じになったか否かを調べる。同じであれば、
全てのフォーマットについて比較を行ったので、ステッ
プ１５０７に進む。そうでなければ、次のフォーマット
と比較するために、ステップ１５０３に進む。

【０１０５】ステップ１５０７：ｆｍｔ＿ｎｏ番目のフ
ォーマットの評価値が、閾値β以上であるか否かを判定
する。閾値β以上ならば、ステップ１５０８に進む。そ
うでなければ、ステップ１５０９に進む。

【０１０６】ステップ１５０８：対応フォーマットが存
在するとして、フォーマット番号ｆｍｔ＿ｎｏを設定す
る。

【０１０７】ステップ１５０９：対応フォーマットが存
在しないとし、マッチングエラーとして、ｆｍｔ＿ｎｏ
＝−１を設定する。

【０１０８】図１６は、図２のステップ１０８の罫線補
正及び画像からの罫線消去の処理の詳細なフローチャー
トである。各罫線ごとに、図１２に示したフローチャー
トのステップ１２０８，１２１８で抽出された黒ランを
消去し、この重心の近似直線を求めることで、罫線の位
置を画像に合わせて補正する。以下、各ステップの内容
を説明する。

【０１０９】ステップ１６０１：罫線番号のカウンタｉ
をｉ＝０に初期設定する。

【０１１０】ステップ１６０２：ｉ番目のフォーマット
罫線と画像とのマッチングを行う。これは、図１１のス
テップ１１０４と同じく、図１２のフォーマット罫線と
画像のマッチング処理を呼出すことにより行う。

【０１１１】ステップ１６０３：マッチングの結果、画
像中に対応する罫線が存在するなら、ステップ１６０４
に進む。そうでなければ、ステップ１６０６に進む。

【０１１２】ステップ１６０４：図１７は、罫線の位置
補正の様子を示す図である。ステップ１６０４では、こ
の図１７に示すように、フォーマット罫線と画像とのマ
ッチングにより抽出された黒ランを通る近似直線１７０
１を求める。近似直線１７０１は、抽出された全黒ラン
の重心を（ｘ［ｉ］，ｙ［ｉ］）（０≦ｉ＜黒ラン数）
とすると、縦線の場合は上記の数式１を用い、横線の場
合は上記の数式２を用いて、それぞれ求められる。

【０１１３】ステップ１６０５：ステップ１６０２の罫
線と画像とのマッチングで抽出された黒ランを画像から
消去することで、画像中から罫線を消去する。

【０１１４】ステップ１６０６：罫線番号ｉに１を加え
る。

【０１１５】ステップ１６０７：罫線番号ｉが全罫線数
より小さければ、次の罫線の補正と画像中から罫線を消
去するために、ステップ１６０２に進む。そうでなけれ
ば、ステップ１６０８に進む。

【０１１６】ステップ１６０８：全罫線について、その
始終点で交差する罫線との交点を求め、補正された罫線
として、その始点及び終点の座標を更新する。

【０１１７】図１８は、図２のステップ１０９のフィー
ルド位置補正の処理の詳細なフローチャートである。フ
ィールドの上下左右の罫線の式から、フィールドの存在
する位置を求める。以下、各ステップについて説明す
る。

【０１１８】ステップ１８０１：フォーマット情報デー
タベース３１中の、画像に対応するフォーマットのフィ
ールド情報３３から、順次、フィールドのデータを読み
だす。

【０１１９】ステップ１８０２：フィールド情報３３
は、図６に示したようにフィールドを囲む上下左右の４
本の罫線より構成されるので、罫線の番号に基づいて、
ステップ１０８で補正された罫線の情報を読み出す。読
み出されたフィールドの上線及び下線の２本の横線と、
左線及び右線の２本の縦線の交点を求め、これをフィー
ルド位置の情報とする。

【０１２０】ステップ１８０３：ステップ１８０２で求
められたフィールドの４隅の座標（左上、右上、左下、
右下）をフィールド位置情報３５として出力する。

【０１２１】図１９に、フィールド位置情報のフォーマ
ットを示す。１９０１に、フィールドを特定するための
フィールド番号が格納される。１９０２に、フィールド
の画像上での左上の座標が格納される。１９０３に、フ
ィールドの画像上での右上の座標が格納される。１９０
４に、フィールドの画像上での左下の座標が格納され
る。１９０５に、フィールドの画像上での右下の座標が
格納される。

【０１２２】ステップ１８０４：まだ、フィールド位置
を求めていないフィールドが存在すするなら、ステップ
１８０１に戻って次のフィールドの処理を行う。そうで
なければ、フィールド位置の設定の処理を終わる。

【０１２３】図２０は、図２のステップ１１０のフィー
ルド内文字認識処理の詳細なフローチャートである。ス
テップ１０９で得られたフィールドに含まれる文字パタ
ーン（画像）を抽出し、これを文字認識する。以下、各
ステップについて説明する。

【０１２４】ステップ２００１：画像中より、黒画素の
連結成分を抽出する。黒画素の連結成分抽出について
は、様々な方式が公知となっているので、その方式の説
明は省略する。

【０１２５】ステップ２００２：フィールド番号カウン
タｉをｉ＝０に初期化する。

【０１２６】ステップ２００３：フィールド位置情報３
５（図１９）より、ｉ番目のフィールドのフィールド位
置を読みだす。

【０１２７】ステップ２００４：ステップ２００１で抽
出した黒画素連結成分から、フィールド内に含まれる連
結成分だけを抽出する。更にこれらの連結成分を統合し
て、文字の外接矩形を作成し、文字パターンを抽出す
る。

【０１２８】ステップ２００５：ステップ２００４で抽
出された文字パターンを文字認識する。

【０１２９】ステップ２００６：認識結果をプリンタ７
０に出力する。

【０１３０】ステップ２００７：フォーマット番号カウ
ンタｉに１を加える。

【０１３１】ステップ２００８：フォーマット番号カウ
ンタｉの値が全フィールド数より小さければ、次のフィ
ールドの文字認識のために、ステップ２００３に戻る。
そうでなければ、文字認識処理が終わりとなる。

【０１３２】次に、第２の実施例として、解析された表
の一部のフィールドが更に罫線により分割される場合の
表解析方式について説明する。

【０１３３】図２１は、フォーマット中の１つのフィー
ルドが、さらに罫線により分割される場合の処理の流れ
を図示したものである。

【０１３４】２１０１は、図３のフォーマット例１と同
じ表のフォーマットである。このフォーマット２１０１
中、フィールド２１０２は、このフィールドを更に細か
く分割するフォーマット（以下、これをフィールド分割
フォーマットと呼ぶ）を有する。

【０１３５】２１０３，２１０４は、フィールド２１０
２の上線と下線であり、それぞれ、横線情報３２−ｂの
番号５と番号６の罫線であるものとする。２１０５，２
１０６も、同様に、フィールド２１０２の左線と右線で
あり、それぞれ、縦線情報３２−ａの番号８と番号９の
罫線であるものとする。

【０１３６】２１０７は、このフィールド２１０２に対
応したフィールド分割フォーマットである。フィールド
分割フォーマット２１０７を構成する罫線は、それぞ
れ、このフォーマット上での線番号を持っており、この
線番号に基づいてフィールド情報が作成される。このフ
ィールド分割フォーマット２１０７を、フィールド２１
０２に当てはめると、罫線２１０８は、フィールド２１
０２のフィールド上線２１０３に対応する。同様に、罫
線２１０９はフィールド２１０２のフィールド下線２１
０４に、罫線２１１０はフィールド２１０２のフィール
ド左線２１０５に、罫線２１１１はフィールド２１０２
のフィールド右線２１０６に、それぞれ対応する。

【０１３７】２１１２，２１１３，２１１４は、新たな
罫線として追加される。この結果、合成結果に示したよ
うに、２本の横線２１１６，２１１７、及び１本の縦線
２１１８が、それぞれ、罫線として追加される。これら
の罫線の追加に伴い、フィールドが増加する。

【０１３８】図２２は、以上の処理を行う場合の、図２
のフローチャートの変更点である。フィールドの位置設
定（ステップ１０９）と、フィールド内文字認識（ステ
ップ１１０）との間に、フィールド分割フォーマットの
判定及びフォーマット情報の変更のステップ２２０１を
追加する。

【０１３９】ステップ２２０１では、全フォーマットに
ついて、フィールド分割フォーマットデータベース３６
からフィールド分割フォーマットのデータ（例えば図２
１の２１０７）を読みだし、フィールド分割の有無のチ
ェックと、フィールド分割フォーマットの表全体のフォ
ーマット情報への追加及び変更処理を行う。これによ
り、フィールド位置情報３５には分割フォーマットの分
のフィールドも反映される。その後ステップ１１０で、
フィールド分割フォーマットの表全体のフォーマット情
報への追加及び変更処理後のフォーマット情報に基づい
て、各フィールドの文字認識処理を行なう。

【０１４０】図２３は、フィールド分割の判定及びフィ
ールド分割フォーマットの表全体のフォーマット情報へ
の追加及び変更処理の詳細なフローチャートである。

【０１４１】図２４に、フィールド分割フォーマットの
例を示す。これらのフィールド分割フォーマットは、表
全体のフォーマット情報と同様に、左上を（０，０）、
右下を（１００００，１００００）とする座標系におけ
るフォーマット情報として表現されている。

【０１４２】図２５に、これらのフィールド分割フォー
マットの内容を示す。フィールド分割フォーマット情報
３７には、そのフィールド分割フォーマットの対象とな
るフィールドの種別３７−１と、フィールド分割フォー
マットの罫線情報３７−２と、フィールド分割フォーマ
ットのフィールド情報３７−３とが格納される。

【０１４３】フィールド種別３７−１は、図６のフィー
ルド情報３３のフィールド種別６０６で表される。すな
わち、例えば図６のフィールド情報３３において、ある
フィールドのフィールド種別６０６がｐであったとし、
図２５のフィールド分割フォーマット情報３７にフィー
ルド種別３７−１がｐである情報が格納されていたとす
ると、そのフィールドは対応するフィールド分割フォー
マット情報に基づいてフィールド分割されていることに
なる。罫線情報３７−２は、図５に示した罫線情報３２
と同様の内容を持つ。フィールド情報３７−３は、図６
に示したフィールド情報３３と同様の内容を持つ。

【０１４４】以下、図２３に従って処理内容を説明す
る。

【０１４５】ステップ２３０１：フィールド分割フォー
マットのチェックを順次行なうため、チェックの対象と
なるフィールドの番号を指定するカウンタｉをｉ＝０に
初期化する。

【０１４６】ステップ２３０２：フィールド番号ｉのフ
ィールドのフィールド種別（図６の６０６）を取り出
し、そのフィールド種別の値と同じ値のフィールド種別
３７−１を持つフィールド分割フォーマット情報３７
を、フィールド分割フォーマットデータベース３６か
ら、抽出する。

【０１４７】ステップ２３０３：処理対象となるフィー
ルド番号ｉのフィールドのフィールド種別に対応するフ
ィールド分割フォーマットがデータベース中にあれば、
ステップ２３０４に進む。そうでなければ、そのフィー
ルドはフィールド分割されていないということであるか
ら、フィールド分割の処理を行なわずに、ステップ２３
１０に進む。

【０１４８】ステップ２３０４：対応するフォーマット
が存在する場合は、ステップ１０６（図１５）と同じ手
順で、ステップ２３０３で抽出されたすべてのフィール
ド分割フォーマットに対するフォーマット判定を行う。

【０１４９】ステップ２３０５：フォーマット判定の結
果、あてはまるフォーマットが存在するなら、ステップ
２３０６に進む。そうでなければ、フィールド分割処理
を行なわずに、ステップ２３１０に進む。

【０１５０】ステップ２３０６：図１６のフローチャー
トに示した罫線の位置補正と画像からの罫線消去の処理
と同じ手順で、フィールド中のフィールド分割フォーマ
ットに対応した罫線の位置補正及び画像からの罫線消去
を行なう。

【０１５１】ステップ２３０７：フィールド分割フォー
マットの罫線情報を、表全体のフォーマット情報の罫線
情報３２に加える。

【０１５２】図２６に、罫線情報３２−１３２−２にフ
ィールド分割フォーマットの罫線情報を追加した状態を
示す。ここでは、図２１に示したフィールド分割フォー
マットの罫線情報を追加したとする。縦の罫線情報３２
−１の最後に、追加分の新たな罫線情報２６０１が加え
られる。横の罫線情報３２−２の最後に、追加分の新た
な罫線情報２６０２が加えられる。これにより、フィー
ルド分割フォーマット上での０番の縦線（図２１の２１
１２）は、表全体のフォーマット上では３７番（図２１
の２１１８）になる。また、フィールド分割フォーマッ
ト上での０番と１番の横線（図２１の２１１２，２１１
３）は、表全体のフォーマット上では１８番と１９番
（図２１の２１１６，２１１７）となる。

【０１５３】ステップ２３０８：表全体のフィールド情
報３３へのフィールド分割フォーマットのフィールド情
報の追加及び変更を行なう。すなわち、分割対象のフィ
ールドのフィールド情報を、フィールド分割フォーマッ
トのフィールド情報に置き換える。これにより、分割フ
ィールドを加えた新たなフィールド情報３３を作成す
る。

【０１５４】図２７に、フィールド情報の変更処理の様
子を示す。表全体のフィールド情報２７０１の、分割対
象のフィールド２７０２を、フィールド分割フォーマッ
トのフィールド情報２７０３に置き換える。この際、フ
ィールド分割フォーマット上での上下左右の罫線番号
を、図２６で示した表全体の中での罫線番号に変換する
（２７０４）。

【０１５５】ステップ２３０９：図１８のフィールドの
位置設定処理と同じ手順で、ステップ２３０８で新たに
作成したフィールド情報３３に基づいて、そのフィール
ドを囲む上下左右の罫線の交点から、フィールド位置情
報３５をその４隅の座標で設定する。

【０１５６】ステップ２３１０：フィールド番号カウン
タｉに、１を加える。

【０１５７】ステップ２３１１：フィールド番号カウン
タｉが、フィールド数よりも小さければ、次のフィール
ドの処理のために、ステップ２３０２に進む。そうでな
ければ、フィールド分割処理を終える。

【０１５８】上述の第１及び第２の実施例とも、フォー
マット判定の際には、フォーマットの全罫線を用いて判
定していたが、他のフォーマットと差異のある部分だけ
を用いて判定することにより、高速化が可能である。

【０１５９】図２８は、このような判定に用いるフォー
マット判定用罫線情報を作成する方式のフローチャート
である。

【０１６０】３つのフォーマットＡ，Ｂ，Ｃがある場
合、まず、フォーマットＡとフォーマットＢについて、
それぞれのフォーマット中の全ての罫線を、他のフォー
マットの罫線と比較し、長さや位置などで類似したもの
がない罫線だけを抽出する。これにより、ＡとＢを区別
する罫線が得られる。以上の処理を、ＡとＣ、ＢとＣの
組み合わせについても行なうことで、それぞれのフォー
マットを判定するのに必要な罫線が得られる。これをフ
ォーマット判定用罫線情報３４として、それぞれのフォ
ーマットについて得る。

【０１６１】フォーマット判定用罫線情報３４を、フォ
ーマット判定時に、罫線情報３２と置き換えることで、
フォーマット判定処理の高速化が実現できる。

【０１６２】以下、図２８の各ステップについて説明す
る。

【０１６３】ステップ２８０１：複数のフォーマットか
ら、２つのフォーマットを選択する組み合わせを全て作
成する。

【０１６４】ステップ２８０２：ステップ２８０１で作
成したフォーマットの組み合わせの１つから、２つのフ
ォーマットの罫線情報を読み出す。

【０１６５】ステップ２８０３：各フォーマットの全罫
線を比較し、それぞれ、長さ、位置が類似した罫線を除
く。

【０１６６】ステップ２８０４：ステップ２８０３で除
去されなかった罫線を、フォーマット判定用罫線情報３
４に格納する。例えば、フォーマットＡとＢを比較した
場合、３４−１に、フォーマットＡの罫線情報でフォー
マットＢと対応しなかった罫線が格納される。また、３
４−２に、フォーマットＢの罫線情報でフォーマットＡ
と対応しなかった罫線が格納される。

【０１６７】ステップ２８０５：ステップ２８０１で求
めた他のフォーマット同士の組み合わせについても、ス
テップ２８０２からステップ２８０４を実行し、それぞ
れの組み合わせで発生したフォーマット判定用罫線を求
める。

【０１６８】以上の処理により、フォーマット判定用罫
線情報が作成される。

【０１６９】

【発明の効果】本発明によれば、画像の非線形なずれを
フィールドを囲む罫線を用いることで補正しているの
で、高精度なフィールド抽出が可能である。また、画像
データで罫線が一部途切れている場合などでも、正しい
フィールド抽出が可能である。

【０１７０】フォーマットをフィールドの集合としてで
なく、表を構成する罫線の集合と、罫線に囲まれるフィ
ールドとしてして記述することで、フィールド単位での
位置補正では困難であった問題（罫線近くに存在する”
１”などの影響）を排除することができる。

【０１７１】複数のフィールドにまたがる長い罫線を罫
線情報中で１本の罫線とすると、画像の非線形なひずみ
に対応し切れない場合がある。しかし、本発明では、１
本の罫線を途中で分断し複数の罫線情報として取り扱う
ことができる。したがって、長い罫線についても、部分
的な直線近似により、十分対応が可能である。

【０１７２】フォーマットに対応する線要素の有無を判
定することで、複数のフォーマットの判定が、ＩＤ等の
付加情報無しで可能となる。また、フォーマットの部分
的な変動（例えば、フィールド内に別の構造を有する場
合など）に対しても、変動部分のフォーマットを持つだ
けで、表認識が可能となる。

【図面の簡単な説明】

【図１】本発明の第１の実施例のシステム構成図

【図２】表認識処理全体の概略フローチャート図

【図３】フォーマットデータの例（その１）を示す図

【図４】フォーマットデータの例（その２）を示す図

【図５】フォーマット情報中の罫線情報の内容を示す図

【図６】フォーマット情報中のフィールド情報の内容を
示す図

【図７】表外枠抽出処理のフローチャート図

【図８】表外枠抽出処理における表外枠の概略位置判定
の様子を示す図

【図９】表外枠抽出処理における表外枠の補正の様子を
示す図

【図１０】表外枠抽出処理における表外枠全体の抽出結
果を示す図

【図１１】画像とフォーマットの一致度評価処理のフロ
ーチャート図

【図１２】罫線と画像のマッチング処理のフローチャー
ト図

【図１３】罫線と画像のマッチング処理における罫線の
検索範囲の設定の様子を示す図

【図１４】罫線と画像のマッチング処理における罫線の
存在範囲の判定の様子を示す図

【図１５】画像データのフォーマットの同定処理のフロ
ーチャート図

【図１６】罫線の位置補正処理と画像中の罫線消去処理
のフローチャート図

【図１７】罫線の位置補正処理の様子を示す図

【図１８】認識フィールドの位置設定処理のフローチャ
ート図

【図１９】フィールド位置情報の内容を示す図

【図２０】フィールド内文字認識処理のフローチャート
図

【図２１】フィールドの分割処理の概要を示す図

【図２２】フィールドの分割処理の図２のフローチャー
トへの追加分を示す図

【図２３】フィールドの分割判定及び分割処理のフロー
チャート図

【図２４】フィールド分割フォーマットの例を示す図

【図２５】フィールド分割フォーマット情報の内容を示
す図

【図２６】表全体の罫線情報へのフィールド分割フォー
マットの罫線情報追加を示す図

【図２７】表全体のフィールド情報へのフィールド分割
フォーマットの追加を示す図

【図２８】フォーマット判定用罫線情報の作成処理のフ
ローチャート図

【符号の説明】

１０ＣＰＵ２０メモリ３０ハードディスク４０ハードディスク
コントローラ５０入出力端末５１端末コントロー
ラ６０イメージスキャナ６１ディスク６２画像入力コントローラ７０プリンタ７１プリンタコントローラ８０システムバス３１フォーマット情報データベース３２フォーマ
ット罫線情報３３フォーマットフィールド情報３４フォーマ
ット判定用線分情報３５フィールド位置情報３６部分フォーマッ
トデータベース

Claims

【特許請求の範囲】

【請求項１】所定フォーマットの罫線で構成された表形
式の文書を、画像入力手段を用いて画像データとして読
み込み、該画像データから該表構造を認識する表認識方
法であって、前記画像データから表の基準線を抽出する基準線抽出ス
テップと、抽出した基準線を基準として、前記所定フォーマットの
罫線を、画像データ上の座標へと座標変換する座標変換
ステップと、座標変換された罫線と前記画像データとの位置ずれを検
出し、検出した位置ずれに基づいて前記罫線の位置を補
正する位置補正ステップとを備えたことを特徴とする表
認識方法。
【請求項２】所定フォーマットの罫線で構成された表形
式の文書を、画像入力手段を用いて画像データとして読
み込み、該画像データから該表構造を認識する表認識方
法であって、前記画像データから表の基準線を抽出する基準線抽出ス
テップと、あらかじめ用意されている複数のフォーマット情報か
ら、１つのフォーマットの罫線を表す罫線情報を読み出
し、読み出した罫線と前記画像データとの一致度を求め
る一致度評価ステップと、該一致度評価の処理を、前記複数のフォーマット情報の
すべてに対して行ない、複数のフォーマットのそれぞれ
に対応する一致度を求めるステップと、該一致度がもっとも高いフォーマットを、前記画像デー
タに対応する対応フォーマットと判定するステップと、該対応フォーマットの罫線と前記画像データとの位置ず
れを検出し、検出した位置ずれに基づいて前記罫線の位
置を補正するステップと、該補正後の罫線の位置に基づいて、罫線で囲まれたフィ
ールドの位置を求めるステップとを備えたことを特徴と
する表認識方法。
【請求項３】所定フォーマットの罫線で構成された表形
式の文書を、画像入力手段を用いて画像データとして読
み込み、該画像データから該表構造を認識する表認識方
法であって、前記画像データから表の基準線を抽出する基準線抽出ス
テップと、あらかじめ用意されている複数のフォーマット情報か
ら、１つのフォーマットの罫線を表す罫線情報を読み出
し、読み出した罫線を、前記抽出した基準線を基準とし
て前記画像データ上の座標へと座標変換する座標変換ス
テップと、前記座標変換した罫線と前記画像データとをマッチング
させ、前記画像データ中に前記座標変換した罫線に対応
する罫線が存在するか否かを判定する罫線探索ステップ
と、前記座標変換ステップ及び前記罫線探索ステップの処理
を前記複数のフォーマットのすべての罫線について行な
うとともに、各フォーマットごとに、一致した罫線の全
罫線数に占める割合を求めその割合をそのフォーマット
と画像データとの一致度とするステップと、該一致度が最も高いフォーマットを、前記画像データに
対応する対応フォーマットと判定するステップと、該対応フォーマットの罫線と前記画像データとの位置ず
れを検出し、検出した位置ずれに基づいて前記罫線の位
置を補正するステップと、該補正後の罫線の位置に基づいて、罫線で囲まれたフィ
ールドの位置を求めるステップとを備えたことを特徴と
する表認識方法。
【請求項４】前記最も高い一致度が、所定の閾値に達し
なかった場合は、これをリジェクトし、以後の表認識処
理を行わない請求項２または３に記載の表認識方法。
【請求項５】表を構成する罫線を、１つのフィールドを
構成する部分単位に分割し、分割された罫線の部分単位
に、前記位置の補正を行う請求項１から３のいずれか１
つに記載の表認識方法。
【請求項６】表を構成する罫線を、１つのフィールドを
構成する部分単位に分割し、分割された罫線の部分のう
ち連続した複数の部分をまとめ、まとめられた部分を単
位として、前記位置の補正を行う請求項１から３のいず
れか１つに記載の表認識方法。
【請求項７】表を構成する罫線単位に、前記位置の補正
を行う請求項１から３のいずれか１つに記載の表認識方
法。
【請求項８】前記表内のフィールドの一部が複数のフィ
ールドに分割されうるフォーマットを有する表に対し、
該フィールド内の部分的なフォーマットを、前記フォー
マット情報とは別のフィールド分割フォーマット情報と
して用意しておくとともに、さらに、該フィールド内のフィールド分割フォーマット
を、該フィールド分割フォーマット情報を用いて判定
し、得られたフィールド分割フォーマットを前記対応フ
ォーマットに追加し、追加されたフィールドについても
他フィールドと同様に認識する請求項２または３に記載
の表認識方法。
【請求項９】フォーマットを構成する罫線のうち、他の
フォーマットに現われないような特徴的な罫線を抽出し
て、これをフォーマット判定用の罫線情報としてあらか
じめ用意しておき、このフォーマット判定用罫線と画像
の一致度を求めることで、フォーマットの判定を行なう
請求項２または３に記載の表認識方法。
【請求項１０】所定フォーマットの罫線で構成された表
形式の文書を、画像入力手段を用いて画像データとして
読み込み、該画像データから該表構造を認識する表認識
装置であって、前記画像データから表の基準線を抽出する基準線抽出手
段と、抽出した基準線を基準として、前記所定フォーマットの
罫線を、画像データ上の座標へと座標変換する座標変換
手段と、座標変換された罫線と前記画像データとの位置ずれを検
出し、検出した位置ずれに基づいて前記罫線の位置を補
正する位置補正手段とを備えたことを特徴とする表認識
装置。
【請求項１１】所定フォーマットの罫線で構成された表
形式の文書を、画像入力手段を用いて画像データとして
読み込み、該画像データから該表構造を認識する表認識
装置であって、複数の表のフォーマットを規定するフォーマット情報を
記憶した記憶手段と、前記画像データから表の基準線を抽出する基準線抽出手
段と、前記記憶手段の複数のフォーマット情報から、１つのフ
ォーマットの罫線を表す罫線情報を読み出し、読み出し
た罫線と前記画像データとの一致度を求める一致度評価
手段と、該一致度評価の処理を、前記複数のフォーマット情報の
すべてに対して行ない、複数のフォーマットのそれぞれ
に対応する一致度を求める手段と、該一致度がもっとも高いフォーマットを、前記画像デー
タに対応する対応フォーマットと判定する手段と、該対応フォーマットの罫線と前記画像データとの位置ず
れを検出し、検出した位置ずれに基づいて前記罫線の位
置を補正する手段と、該補正後の罫線の位置に基づいて、罫線で囲まれたフィ
ールドの位置を求める手段とを備えたことを特徴とする
表認識装置。
【請求項１２】所定フォーマットの罫線で構成された表
形式の文書を、画像入力手段を用いて画像データとして
読み込み、該画像データから該表構造を認識する表認識
装置であって、複数の表のフォーマットを規定するフォーマット情報を
記憶した記憶手段と、前記画像データから表の基準線を抽出する基準線抽出手
段と、前記記憶手段の複数のフォーマット情報から、１つのフ
ォーマットの罫線を表す罫線情報を読み出し、読み出し
た罫線を、前記抽出した基準線を基準として前記画像デ
ータ上の座標へと座標変換する座標変換手段と、前記座標変換した罫線と前記画像データとをマッチング
させ、前記画像データ中に前記座標変換した罫線に対応
する罫線が存在するか否かを判定する罫線探索手段と、前記座標変換手段及び前記罫線探索手段の処理を前記複
数のフォーマットのすべての罫線について行なうととも
に、各フォーマットごとに、一致した罫線の全罫線数に
占める割合を求めその割合をそのフォーマットと画像デ
ータとの一致度とする手段と、該一致度が最も高いフォーマットを、前記画像データに
対応する対応フォーマットと判定する手段と、該対応フォーマットの罫線と前記画像データとの位置ず
れを検出し、検出した位置ずれに基づいて前記罫線の位
置を補正する手段と、該補正後の罫線の位置に基づいて、罫線で囲まれたフィ
ールドの位置を求める手段とを備えたことを特徴とする
表認識装置。
【請求項１３】所定フォーマットの罫線と該罫線に囲ま
れたフィールド内に記載された文字とから構成された表
形式の文書を、画像入力手段を用いて画像データとして
読み込み、該画像データから該表構造およびフィールド
内の文字を認識する文字の自動読み取り方法であって、前記画像データから表の基準線を抽出する基準線抽出ス
テップと、あらかじめ用意されている複数のフォーマット情報か
ら、１つのフォーマットの罫線を表す罫線情報を読み出
し、読み出した罫線と前記画像データとの一致度を求め
る一致度評価ステップと、該一致度評価の処理を、前記複数のフォーマット情報の
すべてに対して行ない、複数のフォーマットのそれぞれ
に対応する一致度を求めるステップと、該一致度がもっとも高いフォーマットを、前記画像デー
タに対応する対応フォーマットと判定するステップと、該対応フォーマットの罫線と前記画像データとの位置ず
れを検出し、検出した位置ずれに基づいて前記罫線の位
置を補正するステップと、該補正後の罫線の位置に基づいて、罫線で囲まれたフィ
ールドの位置を求めるステップと、位置補正後のフィールドに含まれる文字パターンを抽出
して、文字認識を行うステップとを備えたことを特徴と
する文字の自動読み取り方法。
【請求項１４】所定フォーマットの罫線と該罫線に囲ま
れたフィールド内に記載された文字とから構成された表
形式の文書を、画像入力手段を用いて画像データとして
読み込み、該画像データから該表構造およびフィールド
内の文字を認識する文字の自動読み取り装置であって、複数の表のフォーマットを規定するフォーマット情報を
記憶した記憶手段と、前記画像データから表の基準線を抽出する基準線抽出手
段と、前記記憶手段の複数のフォーマット情報から、１つのフ
ォーマットの罫線を表す罫線情報を読み出し、読み出し
た罫線と前記画像データとの一致度を求める一致度評価
手段と、該一致度評価の処理を、前記複数のフォーマット情報の
すべてに対して行ない、複数のフォーマットのそれぞれ
に対応する一致度を求める手段と、該一致度がもっとも高いフォーマットを、前記画像デー
タに対応する対応フォーマットと判定する手段と、該対応フォーマットの罫線と前記画像データとの位置ず
れを検出し、検出した位置ずれに基づいて前記罫線の位
置を補正する手段と、該補正後の罫線の位置に基づいて、罫線で囲まれたフィ
ールドの位置を求める手段と、位置補正後のフィールドに含まれる文字パターンを抽出
して、文字認識を行う手段とを備えたことを特徴とする
文字の自動読み取り装置。