JPH0877294A - 文書画像処理装置 - Google Patents

Abstract

(57)【要約】 【目的】本発明は、帳票などの文書フォーマットを正確
に特定でき、効率の良い文字列の抽出、読み取りを可能
にした文書画像処理装置を提供する。 【構成】画像入力部１１より生成される帳票の入力画像
に対して、特徴抽出部１２より抽出された図形特徴量を
特徴構造化部でグループ化し、それぞれの特徴間の関係
を抽出・管理する。構造化特徴と、書式構造種別同定部
１５で予め登録されている処理対象文書の書式構造に関
する情報（書式構造モデル）を用いて入力文書の書式構
造の種別を推定する。書式構造情報照合部１６は、推定
された書式構造の種別に対応する書式構造モデルと入力
文書の構造化特徴の間で、詳細な対応関係を抽出する。
未対応・矛盾対応発見修正部１８で対応関係の整合を得
た後、文書構造獲得部１９でその対応関係に基づき予め
登録されている書式構造モデルに関する情報を入力文書
にコピーすることで入力文書の構造及び関連知識を獲得
する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、例えば帳票などの文書
上に記載された文字の読みとり、データベースへの自動
入力、帳票画像の自動ファイリングに用いられる文書画
像処理装置に関するものである。

【０００２】

【従来の技術】近年、書類形態で管理・利用されていた
文書を電子化して計算機に入力し、多用な用途で活用し
ている。様々な業務処理で用いられている文書には、表
形式のものが多く、文書中の特定の位置に記載されてい
る所望の文字列を所望の形式で計算機に効率よく入力
し、管理したいという要求が高まっている。これらの期
待に答えるためにこれまでに光学的文字読みとり装置が
開発され、実用化されてきた。

【０００３】このような帳票上の特定の位置に記載され
ている文字列を読み取り対象とする場合、帳票の書式構
造を事前に知る必要がある。帳票のように定型的な書式
構造を持つ文書に対する文字列の読み取り処理では、書
式構造を事前に覚えさせておき、それに基づいて効率良
く文字列領域を特定し、読み取るようにしている。

【０００４】このようなアプローチをとるものとして
は、対象文書の書式構造に関する知識とそれを利用する
処理を分離することで書式構造の多用性への拡張性を高
めている。これらのものは書式構造に関する知識として
文書構造の物理情報、例えば位置、大きさ、幾何学的関
係などの情報を用いている。代表的な研究として、文献
「信学論（Ｄ）、Ｊ71−Ｄ、10、pp.2050-2058(1988-1
0）」と文献「信学論（Ｄ−II）、Ｊ72−Ｄ−II、７、p
p.1029-1039(1989-07）」がある。

【０００５】一方、最近になって、文書構造に関する物
理情報を用いるだけでは対応できない帳票に対しても文
字列領域の特定を可能にすることが考えられている。こ
の場合、文字領域を空間的な隣接・接続関係に基づいた
論理情報で表現し、識別することを可能にしている。

【０００６】このようなアプローチをとるものとして
は、種々の帳票文書の書式構造に関する構成規則を一般
化してメタ知識と表現されたものを用いて対象文書画像
の書式構造を認識している。代表的な研究として文献
「信学論（Ｄ−II）、Ｊ76−Ｄ−II、３、pp.534-545(1
993-03）」がある。

【０００７】

【発明が解決しようとする課題】文献「信学論（Ｄ）、
Ｊ71−Ｄ、10、pp.2050-2058(1988-10）」や文献「信学
論（Ｄ−II）、Ｊ72−Ｄ−II、７、pp.1029-1039(1989-
07）」のようなアプローチをとる手法では、物理情報に
依存しているので文書が大幅にずれて入力されたり、拡
大・縮小によるスケール変換を受けている場合には対応
できない。また、文献「信学論（Ｄ−II）、Ｊ76−Ｄ−
II、３、pp.534-545(1993-03）」のようなアプローチを
とる手法では、入力文書は高品質で画像の劣化がないこ
とを前提としているため、処理対象文書の品質が悪く画
像情報が不足している場合には所望の処理結果を得られ
ないという問題がある。

【０００８】また、何れの手法においても、以下の
（１）〜（６）の問題がある。

【０００９】（１） 表が複数混在している場合には対
応できない。

【００１０】（２） 表が分裂している場合には対応で
きない。

【００１１】（３） 罫線がかすれていたり、欠落して
いる場合には対応できない。

【００１２】（４） 罫線分布が局所的に変動している
場合には対応できない。

【００１３】（５） 入力された文書の処理方法を限定
している（左右に９０度および１８０度回転している文
書に対応できない）。

【００１４】（６） 種々の書式構造の文書を一括して
読み取らせる場合、適用すべき書式構造モデルの自動同
定ができない。

【００１５】本発明は上記事情に鑑みてなされたもの
で、表形式の帳票などの書式構造を正確に認識でき、効
率の良い文字列の領域の特定を可能にした文書画像処理
装置を提供することを目的とする。

【００１６】

【課題を解決するための手段】本発明は、文書より入力
画像を生成する画像入力手段と、入力文書の書式構造を
認識するために用いられる処理対象文書の書式構造に関
する情報を登録する際に、正立した処理対象文書の書式
構造に関する情報を複数の所定角度で回転させたものを
発生させ、それぞれに正立したものから何度回転してい
るかに関する情報を付与し、それらすべてを処理対象文
書の書式構造に関する情報として登録する書式構造情報
登録手段と、前記画像入力手段により生成された入力画
像から線分と文字成分に関する図形特徴を抽出し、さら
に前記入力画像における文字成分以外の領域から線分に
関する特徴を罫線を構成する図形特徴とみなして抽出す
る特徴抽出手段と、前記特徴抽出手段より抽出された罫
線に関する図形特徴をグループ化することにより表に関
する特徴を抽出し、各表に関する特徴において罫線が交
差・接続する部分に生じる接合部に関する情報を抽出
し、それぞれの特徴間の関係を抽出・管理する特徴構造
化手段と、前記特徴構造化手段で得られた入力画像の構
造化された画像特徴と、予め前記書式構造情報登録手段
によって登録されている処理対象文書の書式構造に関す
る情報を用いて、類似度を計算し、最も類似度の高い書
式構造モデルあるいは類似度の高いものから順に複数個
の書式構造モデルあるいはある一定値以上の類似度を有
する書式構造モデルを選び、前記入力文書の書式構造の
種別を一つあるいは複数個の候補に絞りこむ書式構造種
別同定手段と、前記特徴構造化手段により得られた入力
文書の表に関する特徴と、前記書式構造情報登録手段に
より登録されている当該書式構造モデルを構成する表に
関する特徴との間い照合処理を行ない、表間対応関係を
獲得する表照合手段と、前記表照合手段により得られた
表の対応関係において入力文書の表を構成する罫線と同
罫線に対応付く書式構造モデルの表を構成する罫線との
間の対応関係を獲得する罫線照合手段と、前記照合処理
結果に基づき特徴間の対応付きの程度を表す照合度を計
算し、正しい対応付けが行なわれているか否かの判断を
行なう照合結果判定手段とにより構成されているモデル
照合手段と、前記モデル照合手段で選択された書式構造
文書と入力文書における構造化特徴間の対応付けにおい
て、不完全な対応付けおよび矛盾した対応付けを解消す
ることにより整合のとれた前記書式構造モデルと入力文
書の構造化された特徴間の対応関係を獲得する未対応・
矛盾対応発見修正手段と、前記モデル照合手段で入力画
像に対応付いた書式構造モデルが所定角度で回転させた
ものである場合には、その回転角度を正立する方向に入
力画像を回転し、正立した当該書式モデルと対応付ける
画像回転手段と、前記書式構造モデルと入力文書の構造
化された特徴間の対応関係に基づいて、予め登録されて
いる当該書式構造モデルに関する情報を入力文書にコピ
ーすることにより入力文書の書式構造と関連情報を獲得
する文書構造獲得手段とを具備し、この文書構造獲得手
段により得られる結果に基づいて入力画像の書式構造を
認識するように構成されている。

【００１７】

【作用】この結果、本発明は、入力文書画像から罫線に
関する図形特徴量と文字成分に関する図形特徴量を抽出
し、これらのかかわり合いから文字成分以外の領域で正
確に罫線の特徴量を抽出できる。また、この罫線特徴を
グループ化することにより表に関する特徴量が得られ、
さらに各表において罫線に関する特徴とそれらの交差・
接合により生じる接合部を抽出し、全体−部分関係で記
述・管理することにより図形特徴量に対してより豊富な
情報を付加することができる。それらを効率的に検索す
ることができる。これにより文書内に表が複数個混在し
ていても各々の情報を抽出することができ、また罫線に
関する特徴も表ごとに区別することができる。

【００１８】本発明では、入力画像から得られた構造化
された特徴と予め登録されている書式構造モデルの構造
化特徴との間で照合処理を行なうことにより入力文書を
解釈するが、照合処理の前に書式構造モデルの種別を同
定することで登録されているすべての書式構造モデルと
の照合処理を行なうことを避けることができる。この処
理では、文書中に含まれている接合部の数や罫線の数を
用いているので入力文書と書式構造モデルの間で拡大縮
小に伴うスケール変換がなされていたり、表や罫線の構
成要素の大きさが部分的に変動していても安定した結果
を得ることができる。書式構造モデルの種別を同定する
時に唯一の結果を出力するのではなく複数個の候補を出
力することで同定誤りが生じないようにしている。候補
となっている書式構造モデルの構造化特徴と入力文書の
構造化特徴との間で行なわれる照合処理では、もっとも
良く対応付く書式構造モデルを選ぶことができ、得られ
た対応関係が正しく獲得されているか否かの判断を行な
うことにより処理結果の信頼性を高めている。このと
き、照合処理まず表単位に行なわれ、次いで罫線単位に
行なわれる。この結果、局所的にまったく同じ特徴量を
持つ罫線でもそれが所属する表が異なれば誤った対応付
けが行なわれることはない。

【００１９】また、本発明では、対応関係に対してどち
らかの構造化特徴の欠落による不完全な対応付きや矛盾
した対応付きの有無およびこの箇所を発見し、それを解
消する。この結果、整合のとれた対応関係を獲得するこ
とができ、安定した処理結果を得ることができる。この
対応関係に基づいて予め登録されている書式構造モデル
に関連する情報を入力文書に複写することにより入力文
書の文書構造を獲得し、読みとるべき文字列の記載位置
を正確に特定することができる。

【００２０】

【実施例】以下、図面を参照して本発明の一実施例を説
明する。図１は本実施例に係わる画像処理装置の概略構
成を示すブロック図である。

【００２１】本発明は、画像入力部１１、特徴抽出部１
２、特徴構造化部１３、書式構造情報登録部１４、書式
構造種別同定部１５、書式構造情報照合部１６、未対応
・矛盾対応発見修正部１７、照合結果判定部１８、及び
文書構造獲得部１９の各機能部から構成されている。

【００２２】また、処理対象とする帳票は、図２に示す
ように、罫線により文字列領域が規定されているものと
する。

【００２３】画像入力部１１は、スキャナ装置やＴＶカ
メラ、ＦＡＸデータの入力部などによって構成されるも
のである。画像入力部１１は、処理対象である帳票等の
文書の画像を検出してシステム内に取り込む。画像入力
部１１によって入力された画像（入力画像）は、特徴抽
出部１２に送られる。

【００２４】特徴抽出部１２は、画像入力部１１から得
られた入力画像から、罫線や文字成分に関する幾何学的
な図形特徴量をそれぞれ基本特徴として抽出する。特徴
抽出部１２により抽出された基本特徴の集合は特徴構造
化部１３に送られる。

【００２５】特徴構造化部１３は、特徴抽出部１２によ
り抽出された基本特徴の集合について、例えば罫線に関
する特徴をグループ化することにより得られる表や、罫
線が交差・接続する部分に生じる接合部などに関する情
報を構造化特徴として抽出し、さらにそれぞれの特徴間
の関係を記述、管理する。

【００２６】書式構造情報登録部１４は、システムとオ
ペレータとの対話的な入力作業により、処理対象文書に
関する知識の登録を行なう。本実施例では、処理対象文
書の種類ごとに用意された種々の知識の総体をモデルと
呼び、モデルを定義したときに用いた文書をモデル文書
と呼ぶことにする。モデルは例えば、そのモデル文書の
構造化特徴に関する情報などを有している。

【００２７】このとき、書式構造情報登録部１４は、正
立している構造化特徴から、右に９０度回転したもの、
左に９０度回転したもの、１８０度回転したものの３種
類の構造化特徴を発生させ、それぞれが正立したものか
ら何度回転されているものであるかという情報を付与し
て知識ベースとして格納してもよい。

【００２８】この他に、例えば罫線により規定されてい
る領域内に含まれる文字列を文字認識装置で認識・コー
ド化させるような場合には、各種情報を構造化特徴に関
連付けて知識ベースとして登録・管理するようにしても
よい。

【００２９】各種情報には、例えば、文字認識対象領域
の指定に関する情報、文字認識対象領域の文字列方向の
情報、文字読み取り処理時に拘束条件として働く文字種
情報及び筆記形態情報、文字認識後処理のための項目属
性情報、文字認識結果の対応関係などの情報がある。

【００３０】書式構造種別同定部１５は、特徴構造化部
１３によって抽出された入力画像に対する構造化特徴
と、予め書式構造情報登録部１４によって登録されてい
るモデル文書のそれぞれの構造化特徴との間で、類似度
計算を行なうことにより入力文書のフォーマットの種別
を同定する。すなわち類似度値が高いモデルのフォーマ
ットが入力文書のフォーマットである可能性が高いもの
と判別する。書式構造種別同定部１５は、該当する構造
化特徴を次段の書式構造情報照合部１６に出力する。

【００３１】なお、書式構造種別同定部１５は、最も類
似度値の高いモデルのみに注目するのではなく、例えば
ある事前に定められたしきい値以上の類似度値を示す全
てのモデル文書の構造化特徴を候補として、書式構造情
報照合部１６に入力構造化特徴と共に送り込むようにし
てもよい。

【００３２】書式構造情報照合部１６は、書式構造種別
同定部１５によって候補とされた全てのモデル文書と入
力文書の間で構造化特徴間の対応関係を獲得する。ま
た、書式構造情報照合部１６は、入力文書の構造化特徴
と各モデル文書の構造化特徴との対応付け結果に対して
対応付きの度合いを表す尺度（以後、照合度と呼ぶ）を
計算する。書式構造情報照合部１６は、構造化特徴間の
対応関係を示す情報、及び照合度を示す情報を照合結果
判定部１７に出力する。

【００３３】なお、書式構造種別同定部１５から複数の
モデル文書の構造化特徴が送られてきた場合には、書式
構造情報照合部１６は、さらに最大照合度を示すモデル
文書を選択・出力するようになっていてもよい。

【００３４】照合結果判定部１７は、書式構造情報照合
部１６によって得られた情報に基づいて、最大照合度を
示す文書モデルと入力文書との間で対応関係が取れてい
るか否かを判定する。ここで対応関係が取れていると判
定された場合には、後段の未対応・矛盾対応発見修正部
１８に着目入力文書とモデル文書間の対応関係に関する
情報が送られるようにする。対応関係が取れていないと
みなされる場合には、入力文書を棄却して、次の文書を
入力するようにオペレータに促す。

【００３５】未対応・矛盾対応発見修正部１８は、書式
構造情報照合部１６で獲得された入力文書の構造化特徴
とモデル文書の構造化特徴の対応関係において、誤った
特徴の抽出や必要な特徴の欠落のために不完全な対応や
矛盾した対応が生じているか否かを発見する。未対応・
矛盾対応発見修正部１８は、不完全な対応や矛盾した対
応を発見した場合には、それらを解消することにより整
合のとれた入力・モデル間の対応関係を獲得した上で、
文書構造獲得部１９に出力する。

【００３６】文書構造獲得部１９は、未対応・矛盾対応
発見修正部１８で得られた整合のとれた入力文書とモデ
ル文書の構造化特徴間の対応関係に基づいて、予め書式
構造情報登録部１４で登録されているモデル文書に関す
る知識を入力文書にコピーすることにより入力文書の文
書構造及び関連知識を獲得する。

【００３７】次に、上述した必須構成要素を含む具体的
な文書画像処理システムについて説明する。ここでは、
図３に示すように、文字認識装置と組み合わせた文書画
像処理システムについて説明する。このシステムは、入
力文書から得られた入力画像において、特定の位置に記
載されている文字列領域を自動的に抽出し、さらにその
文字列画像を認識・コード化して、所望の出力様式で出
力するという動作をするものである。以後、図２に示す
文書（以下、特に断らない限り図２の文書を入力文書と
呼ぶ）を用いて説明する。

【００３８】図３に示すように、文書画像処理システム
は、画像入力部２１、２値化処理部２３、前処理部２
５、特徴抽出部２７、特徴構造化部２９、モデル登録部
３１、フォント種別同定部３３、モデル照合部３５、照
合結果判定部３７、未対応矛盾対応発見修正部３９、文
書構造獲得部４１、文字列領域抽出部４３、文字認識部
４５、及び文字認識結果出力部４７によって構成されて
いる。

【００３９】画像入力部２１は、図１において説明した
画像入力部１１と同じものとして説明を省略する。

【００４０】２値化処理部２３は、画像入力部２３から
取り込まれた文書画像を、公知である２値化処理により
白と黒の２値の画像データに変換し、前処理部２５に出
力する。

【００４１】前処理部２５は、２値化処理部２３から出
力された２値画像について、例えば文献「信学技報、Ｐ
ＲＵ９２−３２、１９９２」に記載されている傾き検出
・補正処理により、傾きのない２値画像に変換する。さ
らに、前処理部２５は、傾きが補正された２値画像に対
して、公知である黒連結成分抽出処理により、連結する
黒画素のまとまりを囲む外接矩形枠を生成し、その大き
さ（縦幅と横幅の長さ）や位置座標値を抽出、管理し、
その結果を特徴抽出部２７に出力する。

【００４２】なお、入力文書の位置座標は左上端を原点
とし、ｘ座標値は右方向に次第に大きくなり、ｙ座標値
は下方向に次第に大きくなるように定義されているもの
とする。本実施例で触れる文書画像は全てこの座標系で
定義されている。この内、縦幅と横幅の長さが、それぞ
れ動的に検出されたしきい値th1 、th2 よりも小さく、
かつ最近傍の他の黒連結成分矩形から距離th3 以上離れ
ているものを、ノイズあるいは網点であるとして除去す
るようにしてもよい。

【００４３】以後、画像入力部２１から入力された文書
画像に対して、２値化処理部２３における２値化処理、
前処理部２５における前処理を施して得た画像を入力文
書画像または単に入力画像と呼ぶ。入力画像は、特徴抽
出部２７に送られる特徴抽出部２７は、前処理部２５か
ら得られた入力画像から幾何学的な図形特徴を抽出する
ものであり、図４に示すように、線分抽出部２７ａ、文
字候補矩形抽出部２７ｂ、及び罫線特徴抽出部２７ｃに
よって構成されている。特徴抽出部２７は、以下に示す
手順で幾何学的な図形特徴を抽出する。

【００４４】まず、線分抽出部２７ａは、例えば、以下
に述べる手順に基づいて入力画像から線分を抽出する。
このとき線分抽出処理は、垂直方向と水平方向の２つの
方向に限定して実施されるようにしてもよい。具体的な
例として、垂直方向の線分を抽出する場合について説明
する。なお、水平方向の線分についても同様の手順によ
り抽出することができる。

【００４５】Ｓｔｅｐ１：文書画像を垂直方向に順次走
査し、各走査線において、予め定めた例えば３ドット以
上の長さを持つ連続する黒画素の連なりの集合（ＢＬ＝
｛ｂｌi ｜ｉ＝１，２，…，ｎ｝）を抽出する。

【００４６】Ｓｔｅｐ２：ＢＬの要素のうち、水平方向
に隣接しているものを統合してまとめることにより、さ
らに、その集合（ＢＬＧ＝｛ｂｌｇj ｜ｊ＝１，２，…
Ｍ｝）を抽出する。

【００４７】Ｓｔｅｐ３：ＢＬＧの各要素に含まれるＢ
Ｌにおいて、垂直方向に最も長い黒画素の連なりｂｌma
x を抽出し、その長さｂｌmax のα（例えばα＝０．
３）倍未満の長さを持つｂｌi を削除する。

【００４８】Ｓｔｅｐ４：残ったｂｌi を内接する矩形
を抽出し、その集合（ＲＬ＝｛ｒｌk ｜ｋ＝１，２，
…，Ｐ｝）を抽出する（このとき、ｒｌk とそれを構成
するｂｌi とを相互に関連づける）。ｒｌk の左上端お
よび右下端のｙ座標値を検出し、それぞれｒｌk ｙ1 、
ｒｌk ｙ2 とする。

【００４９】Ｓｔｅｐ５：ＲＬの各要素を水平方向（左
から右への方向）に順次走査し、各走査線において最初
に出現するｂｌi のｘ座標（ｘis）と最後に出現するｂ
ｌiのｘ座標（ｘie）を保持する。

【００５０】Ｓｔｅｐ６：各ｒｌk の各水平走査線にお
いて得られたｘisの集まりと、ｅieの集まりの平均値ｒ
ｌk ｘ1 ，ｒｌk ｘ2 をそれぞれ計算する。

【００５１】Ｓｔｅｐ７：各ｒｌk の左上端および右下
端の座標をそれぞれ（ｒｌk ｘ1 ，ｒｌk ｙ1 ）、（ｒ
ｌk ｘ2 ，ｒｌk ｙ2 ）に設定し、それを線分として抽
出する。

【００５２】線分抽出部２７ａにより、入力画像から抽
出された線分の例を図５に示している。図５に示すよう
に、この段階では文字の部分において、文字を構成する
短い線分を検出している。これらを取り除くように以下
の処理を行なってもよい。すなわち、線分抽出部２７ａ
による線分抽出処理に前後して、あるいは同時に黒連結
成分群に対して、文字候補矩形抽出部２７ｂは、以下に
述べる手順により、文字とみなすことのできる黒連結成
分（以後、文字候補矩形と呼ぶ）を選出する。

【００５３】Ｓｔｅｐ１：各黒連結成分を内接する矩形
を抽出し、その縦幅ｃｈと横幅ｃｗを求める。

【００５４】Ｓｔｅｐ２：ｃｈとｃｗの各値に対して出
現頻度を求め、最頻値を抽出する。最頻値を示すｃｈを
入力文書中の文字の平均的な文字高さ（ＣＨ）、最頻値
を示すｃｗを入力文書中の文字の平均的な文字幅（Ｃ
Ｗ）とみなす。

【００５５】Ｓｔｅｐ３：（ＣＷ−ｔｈ）≦ｃｗ≦（Ｃ
Ｗ＋ｔｈ）かつ（ＣＨ−ｔｈ）≦ｃｈ≦（ＣＨ＋ｔｈ）
を満たす黒連結成分を文字候補矩形として抽出する。

【００５６】文字候補矩形抽出部２７ｂにより抽出され
た文字候補矩形の抽出結果例を図６（文字部を外枠矩形
で囲んだ例）に示している。

【００５７】なお、文字候補矩形抽出処理を線分抽出処
理より先に行ない、得られた文字候補矩形以外の入力画
像上の部分に対して垂直方向と水平方向の両方向に、以
下に述べるフィルタリング処理を適用して、罫線がかす
れていたり、とぎれているような場合でも線分抽出処理
結果を安定させるようにしてもよい。

【００５８】この場合、特徴抽出部２７は、図７に示す
ように構成される。すなわち、文字候補矩形抽出部２７
ｂの処理結果がフィルタリング処理部２７ｄに出力され
フィルタリング処理が施される。そして、フィルタリン
グ処理の後に、線分抽出部２７ａによる線分抽出処理実
行される。

【００５９】フィルタリング処理部２７ｄによるフィル
タリング処理は、例えば、２値画像において水平（垂
直）方向の走査線上のある決まった長さ以内で連続する
白画素を全て黒画素に置き換えるという処理で実現され
る。これにより、かすれやとぎれのある罫線部分が補正
されるので、線分抽出処理結果が安定される。

【００６０】罫線特徴抽出部２７ｃは、線分抽出部２７
ａによって抽出された線分群において、図８に示すよう
な文字候補矩形に交差あるいは包含されている線分を除
去し、残った線分を罫線特徴として抽出する。

【００６１】この時点では、各罫線特徴は、入力画像に
おける当該画像を囲む外接矩形の左上端と右下端の位置
座標、外接矩形の縦幅及び横幅などの種々の情報で表現
されるようにしてもよい。また、罫線特徴に「対応付い
た罫線特徴の識別番号」を用意しておいて、後段のモデ
ル照合部３５で実施される照合処理において、対応付い
た相手の識別番号を格納するようにしてもよい。

【００６２】得られた罫線特徴の集合は、さらに水平罫
線と垂直罫線の２種類に分類され、水平罫線特徴の集合
とその要素数、垂直罫線特徴の集合とその要素数が抽出
される。

【００６３】入力画像に対する罫線特徴抽出結果の例を
図９に示す。ここで、入力画像から抽出された水平罫線
の集合（水平罫線特徴集合）と垂直罫線の集合（垂直罫
線特徴集合）の各要素に、 ＩＨＬ＝（ｉｈｌ₁ ，ｉｈｌ₂ ，ｉｈｌ₃ ，ｉｈｌ₄ ，
ｉｈｌ₅ ，ｉｈｌ₆ ，ｉｈｌ₇ ）， ＩＶＬ＝（ｉｖｌ₁ ，ｉｖｌ₂ ，ｉｖｌ₃ ，ｉｖｌ₄ ，
ｉｖｌ₅ ，ｉｖｌ₆ ，ｉｖｌ₇ ，ｉｖｌ₈ ，ｉｖｌ₉ ） となるように識別番号を付与する。

【００６４】また、水平罫線特徴集合の要素数をｉｈ-n
um、垂直罫線特徴集合の要素数をｉｖ-numとし、水平罫
線特徴集合と垂直罫線特徴集合をまとめて入力罫線特徴
集合と呼ぶことにする。入力罫線特徴集合は、後段の特
徴構造化部２９に送られる。以後の説明において上記記
号を用いることにする。

【００６５】特徴構造化部２９は、特徴抽出部２７から
得られた入力罫線特徴集合から以下に述べる手順で罫線
に関する構造化特徴を抽出するもので、図１０に示すよ
うに、罫線グループ化処理部２９ａ、表特徴抽出部２９
ｂ、罫線接合部検出部２９ｃ、及び特徴間関係記述部２
９ｄによって構成されている。

【００６６】まず、罫線グループ化処理部２９ａは、交
差・接続する罫線特徴を一まとめにグループ化する。罫
線グループ化処理アルゴリズムは例えば以下のようにな
る。このアルゴリズムは、交差・接続する罫線には同じ
ラベルを与えることにより罫線をグループ化するもので
ある。

【００６７】Ｓｔｅｐ１：ラベル番号を初期化する。

【００６８】Ｓｔｅｐ２：１本の垂直罫線を選択する。

【００６９】Ｓｔｅｐ３：ステップ２で選択された当該
垂直罫線に直交する全ての水平罫線を抽出する。

【００７０】Ｓｔｅｐ４：当該垂直罫線か当該水平罫線
のいずれかに既にラベルが付与されている場合には、そ
の中で最小値のラベルを当該罫線の全てに付与する。

【００７１】Ｓｔｅｐ５：当該垂直罫線と当該水平罫線
のいずれにもラベルが付与されていない場合には、それ
ら全てに新しいラベル番号を付与し、ラベル番号を更新
する。

【００７２】Ｓｔｅｐ６：Ｓｔｅｐ２からＳｔｅｐ５を
全ての垂直罫線に適用する。（Ｓｔｅｐ２からＳｔｅｐ
６までを手続きＡとする） Ｓｔｅｐ７：１本の水平罫線を選択する。

【００７３】Ｓｔｅｐ８：当該水平罫線に直交する全て
の垂直罫線を抽出する。

【００７４】Ｓｔｅｐ９：当該水平罫線か当該垂直罫線
のいずれかに既にラベルが付与されている場合にはその
中で最小値のラベルを当該罫線の全てに付与する。

【００７５】Ｓｔｅｐ10：当該垂直罫線と当該水平罫線
のいずれにもラベルが付与されていない場合には、それ
ら全てに新しいラベル番号を付与し、ラベル番号を更新
する。

【００７６】Ｓｔｅｐ11：Ｓｔｅｐ7 からＳｔｅｐ10を
全ての垂直罫線に対して適用する（Ｓｔｅｐ7 からＳｔ
ｅｐ11までを手続きＢとする）。

【００７７】Ｓｔｅｐ12：手続きＡと手続きＢをラベル
番号の更新がなくなるまで繰り返す。

【００７８】Ｓｔｅｐ13：同じラベルが付与されている
罫線特徴をグループ化する。

【００７９】例えば、図９に示す入力罫線特徴集合に対
して、前述のようなグループ化処理を適用すると以下に
示す２つのグループが得られる。

【００８０】Ｇroup１：（ｉｈｌ₁ ，ｉｈｌ₂ ，ｉｈｌ
₃ ，ｉｈｌ₄ ，ｉｈｌ₅ ，ｉｖｌ₁，ｉｖｌ₂ ，ｉｖｌ
₃ ，ｉｖｌ₄ ，ｉｖｌ₅ ，ｉｖｌ₆ ）， Ｇroup２：（ｉｈｌ6 ，ｉｈｌ7 ，ｉｖｌ7 ，ｉｖｌ8
，ｉｖｌ9 ） 表特徴抽出部２９ｂは、罫線グループ化処理部２９ａに
よって得られたグループごとに、グループに含まれる罫
線を内接する矩形（以後、表枠と呼ぶ）を抽出する。さ
らに、表特徴抽出部２９ｂは、表特徴として、例えば左
上端の位置座標、右下端の位置座標、表の縦幅、表の横
幅、重心の位置座標、水平罫線数、当該表に含まれる水
平罫線の集合、垂直罫線数、当該表に含まれる垂直罫線
の集合、当該表に含まれる接合部数、他の表に内接され
ているか否かの情報などを抽出する。この時、水平（垂
直）罫線特徴は、その左上端のｙ（ｘ）座標値の昇順に
ソートされていてもよい。

【００８１】ここで接合部数については、後段の罫線接
合部検出部２９ｃで抽出され、表特徴として格納され
る。例えば、Ｇroup１からは、図１１に示すように以下
の表特徴ｉｔ₁ が得られる。また、Ｇroup２から得られ
る表特徴をｉｔ2 とする。

【００８２】 表特徴：ｉｔ₁ 左上端の位置座標 （ｉｔ₁ ｘ1 ，ｉｔ₁ ｙ1 ） 右下端の位置座標 （ｉｔ₁ ｘ2 ，ｉｔ₁ ｙ2 ） 表の縦幅 ｉｔ₁ height 表の横幅 ｉｔ₁ width 重心の位置座標 （ｉｔ₁ ｃｘ，ｉｔ₁ ｃｙ） 水平罫線数 ｉｈｌ₁ num 当該表に含まれる水平罫線の集合 ＩＨＬ₁ 垂直罫線数 ｉｖｌ₁ num 当該表に含まれる垂直罫線の集合 ＩＶＬ₁ 当該表に含まれる接合部数 ｉ₁ junc-num 他の表に内接されているか否かの情報 nest flag ｉｔ₁ height＝ｉｔ₁ ｙ2 −ｉｔ₁ ｙ1 ＋１， ｉｔ₁ width ＝ｉｔ₁ ｘ2 −ｉｔ₁ ｘ1 ＋１， ｉｔ₁ ｃｘ＝（ｉｔ₁ ｘ1 ＋ｉｔ₁ ｘ2 ）／２， ｉｔ₁ ｃｙ＝（ｉｔ₁ ｙ1 ＋ｉｔ₁ ｙ2 ）／２， ｉｈｌ₁ num ＝５， ＩＨＬ₁ ＝（ｉｈｌ₁ ，ｉｈｌ₂ ，ｉｈｌ₃ ，ｉｈ
ｌ₄ ，ｉｈｌ₅ ）， ｉｖｌ₁ num ＝６， ＩＶＬ₁ ＝（ｉｖｌ₁ ，ｉｖｌ₂ ，ｉｖｌ₃ ，ｉｖ
ｌ₄ ，ｉｖｌ₅ ，ｉｖｌ₆）， nest flag ＝０（すなわち他の表に含まれていない） １枚の入力帳票に複数の表が含まれていることを考慮し
て、さらにページ特徴を抽出、管理する。ページ特徴
は、例えば、表数、表特徴の集合、水平罫線数、垂直罫
線数、及び接合部数によって定義される。

【００８３】例えば、図９の入力罫線集合からは、ペー
ジ特徴：ＩＰとして、 表数＝２、 表特徴の集合ＩＴ＝（ｉｔ₁ ，ｉｔ₂ ）、 水平罫線数ｉｈｌ-num＝７、垂直罫線数ｉｖｌ-num＝
９、接合部数ｉjunc-num＝２８、が得られる。

【００８４】次に、罫線接合部検出部２９ｃは、各表に
おいて、そこに含まれる水平罫線と垂直罫線の交差部分
・接続部分（以後、接合部と呼ぶ）を求め、さらに各表
特徴で接合部の個数を管理する。罫線接合部検出部２９
ｃの動作手順は例えば次のようになる。

【００８５】Ｓｔｅｐ１：一本の水平罫線を選択する。

【００８６】Ｓｔｅｐ２：着目した水平罫線に交差・接
続する全ての垂直罫線を抽出する。

【００８７】Ｓｔｅｐ３：当該水平罫線と当該垂直罫線
の交点を求め、水平罫線ごとにその座標値を管理する。
各水平罫線では接合部特徴はｘ座標値の昇順にソートし
ておく。

【００８８】Ｓｔｅｐ４：Ｓｔｅｐ1 からＳｔｅｐ3 ま
でを全ての水平罫線に対して実施する。

【００８９】Ｓｔｅｐ５：一本の垂直罫線を選択する。

【００９０】Ｓｔｅｐ６：着目した垂直罫線に交差・接
続する全ての水平罫線を抽出する。

【００９１】Ｓｔｅｐ７：当該垂直罫線と当該水平罫線
の交点を求め、垂直罫線ごとにその座標値を管理する。
各垂直罫線では接合部特徴はｙ座標値の昇順にソートし
ておく。

【００９２】Ｓｔｅｐ８：Ｓｔｅｐ５からＳｔｅｐ７ま
でを全ての垂直罫線に対して実施する。

【００９３】例えば、表特徴ｉｔ₁ では、水平罫線集合
ＩＨＬ₁ と、垂直罫線集合ＩＶＬ₂から、図１２に示す
接合部が得られ、その接合部数「２２」を表特徴に加え
る（ｉ₁ junc-num＝２２とする）。

【００９４】特徴間関係記述部２９ｄは、以上の処理結
果より得られた情報を、例えば図１３のように関係づけ
て管理する。この結果、ページ特徴から表特徴、罫線特
徴、接合特徴と階層的に関連づけられて管理され、特徴
に関する情報を効率的に検索できるようになる。

【００９５】以後、これらの特徴を総称して構造化特徴
と呼ぶ。また、入力文書から抽出された構造化特徴を入
力構造化特徴、モデル文書から抽出された構造化特徴を
モデル構造化特徴と呼ぶ。

【００９６】一方、処理対象文書に対する処理とは別
に、モデル登録部３１は、オペレータによって提示され
た処理対象文書の種類ごとの一例であるサンプル文書を
もとに、オペレータとの間の対話的入力作業によりモデ
ルの登録を行なう。ここでは、モデル登録作業時のモデ
ル登録部３１の動作の一例について説明する。

【００９７】まず、画像入力部２１を介して登録対象の
サンプル文書を入力し、２値化処理部２３、前処理部２
５を経て文書画像（以後、モデル画像と呼ぶ）を取得す
る。次いで、特徴抽出部２７においてモデル画像から罫
線特徴を抽出する。

【００９８】モデル登録部３１は、特徴抽出部２７にお
ける抽出結果に対して特徴抽出処理の誤りを推定し、そ
れを修正する旨のメッセージを、表示部３１ａのディス
プレイの画面上に表示して、修正作業をオペレータに指
示する。

【００９９】特徴抽出処理の誤りの推定方式は、例え
ば、端点が接合部となっていない罫線を見つけて、その
罫線が正しく抽出されていないとみなすことにより実現
できる。モデル登録部３１は、表示部３１ａに表示され
た指示に従いオペレータによって画面上で修正された罫
線特徴を入力部３１ｂを介して入力する。

【０１００】修正作業が完了すると、修正された罫線特
徴は特徴構造化部２９に送られ、構造化特徴が抽出され
る。この構造化特徴は、未知入力文書を処理する際に、
フォーマット種別同定部３３、モデル照合部３５、未対
応・矛盾対応発見修正部３９、照合結果判定部３７など
で用いられる。

【０１０１】抽出・修正された罫線特徴は、画面上にモ
デル画像と重ねて表示される。オペレータは、書式構造
情報登録部３１が画面上に出力するメッセージに従いな
がら、モデル文書に対応付くべき入力文書画像を処理す
るために必要な知識を構築していく。

【０１０２】この結果、モデルとして構造化特徴の情
報、文字認識対象領域の指定に関する情報、文字認識対
象領域の文字列方向の情報、文字読み取り処理時に拘束
条件として働く文字種情報、筆記形態情報、文字認識後
処理のための項目属性情報、文字認識結果の対応関係な
どの情報が知識ベース３１ｃに格納される。

【０１０３】このうち構造化特徴は、正立した画像に対
して作られている。そこで、モデル登録部３１は、知識
ベース３１ｃへの登録時に、左に９０度回転したものと
右に９０度回転したものと１８０度回転したものをそれ
ぞれ発生させ、さらに何度回転されているかを示す情報
を付加するようにしてもよい。

【０１０４】これら４方向の構造化特徴と入力構造化特
徴は、後段のモデル照合部３５において、それぞれの方
向の特徴と入力画像とを照合させることにより、入力文
書の文書方向が未知であっても、モデルマッチングで最
良マッチングした構造化特徴に付与されている回転角度
を知ることができる。従って、その角度を０度にする方
向に入力画像を回転させれば、必ず正立した入力画像を
得ることができる。

【０１０５】モデル登録部３１は、以上の処理を全ての
モデル文書に対して行なう。ここでは、一例として図１
４と図１５に示す２種類の構造化特徴がモデルとして登
録されたものとする（以後、図１４をモデル１、図１５
をモデル２と呼ぶ）。

【０１０６】フォーマット種別同定部３３は、モデル登
録部３１によって予め登録されているモデルから、入力
文書に対応するもの（あるいは対応する可能性のあるも
の）を選出する。

【０１０７】ここでは、入力文書の構造化特徴と登録さ
れている全てのモデルの構造化特徴との間で類似度計算
を行ない、最も類似度の高いモデルあるいは、ある一定
の値以上の類似度を有するモデルの構造化特徴を後段の
モデル照合部３５に送り込む。

【０１０８】類似度計算に用いる特徴としては、例えば
文書中に含まれる、特徴構造化２９によって抽出された
接合部数を用いる。接合部数という特徴は、未知入力文
書が寸法の拡大・縮小、さらには各表が独立してスケー
ル変換されている場合にも、影響を受けない特徴である
ので書式構造種別同定のための類似度計算に適してい
る。

【０１０９】この他に、文書中に含まれる水平罫線特徴
数や垂直罫線特徴数、表特徴数なども類似度計算のため
の特徴として有効である。ここでモデル文書は適宜に順
序づけがなされているとする。

【０１１０】また、類似度は以下のようにして求まる。
ここで、モデルの総数：model-num、入力文書中の接合
部数：ｉｊｎ、ｋ番目のモデル文書中の接合部数：ｍｊ
ｎ_k（ただし１≦ｋ≦model-num ）、入力文書とｋ番目
のモデル文書との類似度：ｓｉｍ_k （ただし− 100≦ｓ
ｉｍ_k ≦ 100）とすると、類似度は例えば、 ｉｊｎ＞０またはｍｊｎ_k ＞０のとき ｓｉｍ_k ＝ 100− 200×｜ｉｊｎ−ｍｊｎ_k ｜／（ｉｊ
ｎ＋ｍｊｎ_k ） ｉｊｎ＝０かつｍｊｎ_k ＝０のとき ｓｉｍ_k ＝−100 により求まる。

【０１１１】得られた類似度のうち類似度が最大である
もの、あるいは予め設定されたしきい値th5 以上のもの
を候補のモデルとして入力文書の構造化特徴とともにモ
デル照合部３５に送る。このとき、全てのモデルにおい
て類似度がしきい値th5 未満である場合、以後の処理を
中断して、入力文書を棄却してもよいし、また、全ての
モデルの構造化特徴をモデル照合部に送り込むようにし
てもよい。

【０１１２】例えば、登録されているモデル文書が図１
４と図１５の２種類である場合、入力文書とそれら２つ
のモデル文書との類似度計算は以下のようになる。ここ
で入力文書の接合部数：ｉｊｎ＝28、モデル１の接合部
数：ｍｊｎ₁ ＝31、モデル２の接合部数：ｍｊｎ₂ ＝26
とし、入力文書とモデル１との類似度をｓｉｍ₁ 、入力
文書とモデル２との類似度をｓｉｍ₂ 、しきい値：th5
＝80とする。

【０１１３】 ｓｉｍ₁ ＝ 100− 200×｜28−31｜／（28＋31） ＝89.83 ｓｉｍ₂ ＝ 100− 200×｜28−26｜／（28＋26） ＝92.59 以上の計算結果からｓｉｍ1 とｓｉｍ2 が共にしきい値
th5 を越えているので、双方とも入力文書に対応付く可
能性のあるモデルとしてそれらの構造化特徴を後段のモ
デル照合部３５に送る。

【０１１４】モデル照合部３５は、入力文書から抽出さ
れた構造化特徴（以後、入力構造化特徴と呼ぶ）と、書
式構造種別同定部で選出された一つあるいは複数個のモ
デル文書の構造化特徴（以後、モデル構造化特徴と呼
ぶ）を受け取り、それらの間で以下に述べる照合処理を
行ない、照合度を計算する。

【０１１５】照合処理は、当該入力構造化特徴と当該モ
デル構造化特徴との間の対応付け処理のことであり、照
合度はその対応付きの程度を表す尺度である。ここで
は、最も高い照合度を示すモデル文書が入力文書に対応
するものであるとし、入力構造化特徴とそのモデル構造
化特徴との間の対応関係に関する情報を、後段の照合結
果判定部に送り込む。最大照合度を示すモデル文書と入
力文書との間の対応関係が獲得されているか否かの最終
的な判断は照合結果判定部で行なわれる。

【０１１６】特徴構造化部２９で得られた構造化特徴
は、図１３に示すように、ページ特徴から表特徴へ、さ
らに表特徴から罫線特徴へと全体−部分という階層的な
関係が抽出されて構造化されている。この特質を用いる
場合、照合処理は階層的に実施される。これに対応し
て、モデル照合部３５は、さらに図１６に示すように、
選択部３５ａ、表照合部３５ｂ、罫線照合部３５ｃ、照
合度計算部３５ｄ、及び照合結果出力部３５ｅによって
構成される。

【０１１７】まず、選択部３５ａは、複数個のモデルの
構造化特徴から一つのモデルの構造化特徴を選択し、入
力文書の構造化特徴とともに表照合部３５ｂに送る。

【０１１８】次いで、表照合部３５ｂは、入力文書の表
特徴の集合（以後、入力表特徴集合と呼ぶ）とモデル文
書の表特徴の集合（以後、モデル表特徴集合と呼ぶ）と
の間で対応付けを行なう。

【０１１９】表間対応がとれた場合には、さらに罫線照
合部３５ｃは、入力文書の当該表の内部に含まれる罫線
特徴（以後、入力罫線特徴と呼ぶ）とモデル文書の当該
表の内部に含まれる罫線特徴（以後、モデル罫線特徴と
呼ぶ）との間で対応付けを行なう。

【０１２０】罫線間の対応がとれた場合には、照合度計
算部３５ｄは、（入力文書と当該モデル文書との間の）
照合度を計算する。ここで、表間対応と罫線間対応のど
ちらも得られなかった場合には、照合度に最低値（−10
0 ）を代入する。

【０１２１】照合結果出力部３５ｅは、それまでに計算
されている最も高い照合度を示すモデル文書と入力文書
の組を選び、その構造化特徴間の対応関係に関する情報
を後段の照合結果判定部３７に出力する。

【０１２２】以下では、フォーマット種別同定部３３か
ら図１４と図１５の２種類のモデルと入力文書の構造化
特徴がそれぞれ送られてきた場合のモデル照合部３５の
処理動作例について説明する。

【０１２３】２種類のモデルのうち、選択部３５ａによ
ってモデル１が選ばれ、入力文書とともにそれぞれの構
造化特徴が表照合部３５ｂに送り込まれたとする。ここ
で、入力文書の表特徴数をｉｔ-num＝２とし、表特徴集
合をＩＴとすると、ＩＴ＝（ｉｔ₁ ，ｉｔ₂ ）（図９参
照）モデル１の表特徴数をｍｔ1-num ＝２とし、表特徴
集合をＭＴ１とすると、ＭＴ１＝（ｍｔ１₁ ，ｍｔ
１₂ ）（図１４参照）とする。

【０１２４】表照合部３５ｂは、さらに図１７に示すよ
うに、対応可能ペア検出部３５ｂ−１、異種対応可能ペ
ア間両立関係判定部３５ｂ−２、及び最良マッチング抽
出部３５ｂ−３によって構成されており、次のように動
作する。

【０１２５】まず、対応可能ペア検出部３５ｂ−１は、
選択部３５ａで選択されたモデルの表特徴集合の各要素
に対して、それと対応付く可能性のある入力の表特徴を
すべて検出し、対応可能ペアとして管理する。すなわ
ち、 Ｓｔｅｐ１：任意のＭＴから任意の一つの表特徴ｍｔ_k
（着目モデルの表特徴集合のうちｋ番目の表特徴）を選
ぶ。

【０１２６】Ｓｔｅｐ２：表特徴ｍｔ_k の接合部数とＩ
Ｔの各表特徴の接合部数との間で類似度を計算をする。

【０１２７】Ｓｔｅｐ３：例えばｍｔ_k とｉｔ_j （入力
表特徴集合のｊ番目の表特徴）の類似度ｓｉｍ_kjが、あ
らかじめ設定したしきい値th6 以上である場合には、対
応可能であるとして、その組（ｍｔ_k ，ｉｔ_j ）を対応
可能ペアとして保持する。

【０１２８】Ｓｔｅｐ４：Ｓｔｅｐ３を表特徴集合ＩＴ
のすべての要素に対して適用する。

【０１２９】Ｓｔｅｐ５：Ｓｔｅｐ１〜Ｓｔｅｐ４まで
を着目ＭＴのすべての要素に対して適用する。

【０１３０】ここで、ｉｔj の接合部数をｉｊｎ_j 、ｍ
ｔ_k の接合部数をｍｊｎ_k とすると、類似度は、例えば
次の式で求まるとする。

【０１３１】ｉｊｎ_j ＞０またはｍｊｎ_j ＞０のとき、 ｓｉｍ_kj＝ 100− 200×｜ｉｊｎ_j −ｍｊｎ_k ｜／（ｉ
ｊｎ_j ＋ｍｊｎ_k ） ｉｊｎ_j ＝０かつｍｊｎ_k ＝０のとき、 ｓｉｍ_kj＝−100 上記動作をＩＴとＭＴ１を例として具体的に説明すると
以下のようになる。th6 ＝75、ｉｔ₁ の接合部数＝22、
ｉｔ₂ の接合部数＝６、ｍｔ１₁ の接合部数＝25、ｍｔ
１₂ の接合部数＝６とすると式から、 ｍｔ１₁ とｉｔ₁ の間の類似度：ｓｉｍ１₁₁＝86.67 と
なり、ｓｉｍ１₁₁＞th6 であるから、対応可能であると
して、その組（ｍｔ１₁ ，ｉｔ₁ ）を対応可能ペアとし
て保持する。

【０１３２】ｍｔ１₁ とｉｔ₂ の間の類似度：ｓｉｍ１
₁₂＝−22.58 となり、ｓｉｍ１₁₂＜th6 であるから、対
応不可能であるとする。

【０１３３】ｍｔ１₂ とｉｔ₁ の間の類似度：ｓｉｍ１
₂₁＝−14.28 となり、ｓｉｍ１₂₁＜th6 であるから、対
応可能であるとする。

【０１３４】ｍｔ１₂ とｉｔ₂ の間の類似度：ｓｉｍ１
₂₂＝ 100となり、ｓｉｍ１₂₂＞th6であるから、その組
（ｍｔ１₂ ，ｉｔ₂ ）を対応可能ペアとして保持する。

【０１３５】以上の結果、対応可能ペアとして、ＩＴと
ＭＴ１との間では、p1＝（ｍｔ１₁，ｉｔ₁ ）とp2＝
（ｍｔ１₂ ，ｉｔ₂ ）が検出された。

【０１３６】次に、異種対応可能ペア間両立関係判定部
３５ｂ−２は、当該モデル文書と入力文書の間で、対応
可能ペア検出部３５ｂ−１で検出された２つの異なる対
応可能ペアが両立するものであるか否かを判定する。

【０１３７】ここでいう「両立する」ということは、２
つの対応可能ペアが同時に存在することに矛盾が無いこ
とを意味する。ここでの判定条件としては以下のものが
上げられる。判定対象となる対応可能ペアをそれぞれ
（ｍｔ_k ，ｉｔ_j ）、（ｍｔ′_k ，ｉｔ′_j ）とする。
ここで、ｍｔ_k の左上端の位置座標を（ｍｔ_k ｘ1 ，ｍ
ｔ_k ｙ1 ）、右下端の位置座標を（ｍｔ_k ｘ2 ，ｍｔ_k
ｙ2 ）、ｍｔ′_k の左上端の位置座標を（ｍｔ′_k ｘ1
，ｍｔ′_k ｙ1 ）、右下端の位置座標を（ｍｔ′_k ｘ2
，ｍｔ′_k ｙ2 ）、ｉｔ_j の左上端の位置座標を（ｉ
ｔ_j ｘ1 ，ｉｔ_j ｙ1 ）、右下端の位置座標を（ｉｔ_j
ｘ2 ，ｉｔ_j ｙ2 ）、ｉｔ′_j の左上端の位置座標を
（ｉｔ′_j ｘ1 ，ｉｔ′_j ｙ1 ）、右下端の位置座標を
（ｉｔ′_j ｘ2 ，ｉｔ′_j ｙ2 ）とする。

【０１３８】また、文書画像の座標系（ｘ，ｙ）：０＜
ｘ≦ＷＩＤＴＨ，０＜ｙ≦ＨＥＩＧＨＴにおいて、図１
８に示すような座標系を定義する。すなわち、図１８
（ａ）中に示す矩形領域Ｔ：（左上端の位置座標を（ｔ
ｘ1 ，ｔｙ1 ）、右下端の位置座標を（ｔｘ2 ，ｔｙ2
）とする）に対して、図１８（ｂ）に示す０＜ｘ＜ｔ
ｘ1 かつ０＜ｙ≦ＨＥＩＧＨＴを満たす領域を領域１、
図１８（ｃ）に示すｔｘ2＜ｘ≦ＷＩＤＴＨかつ０＜ｙ
≦ＨＥＩＧＨＴを満たす領域を領域２、図１８（ｄ）に
示す０＜ｘ≦ＷＩＤＴＨかつ０＜ｙ＜ｔｙ1 を満たす領
域を領域３、図１８（ｅ）に示す０＜ｘ≦ＷＩＤＴＨか
つｔｙ2 ＜ｙ≦ＨＥＩＧＨＴを満たす領域を領域４と定
義する。

【０１３９】また、判定条件として、以下の条件１から
条件３までのすべての条件を満たさない場合のみ、２つ
の対応可能ペアが両立可能であると見なす。

【０１４０】条件１：ｍｔ_k ＝ｍｔ′_k 、 条件２：ｉｔ_j ＝ｉｔ′_j 、 条件３：配置関係に逆転があること。条件３は、以下の
条件３−１〜３−４の条件を満たす場合である。すなわ
ち、 条件３−１：ｉｔ_j （ｉｔ′_j ）に対して、ｉｔ′
_j （ｉｔ_j ）が領域１にあり、ｍｔ_k （ｍｔ′_k ）に対
して、ｍｔ′_k （ｍｔ_k ）が領域２にある。

【０１４１】条件３−２：ｉｔ_j （ｉｔ′_j ）に対し
て、ｉｔ′_j （ｉｔ_j ）が領域２にあり、ｍｔ_k （ｍ
ｔ′_k ）に対して、ｍｔ′_k （ｍｔ_k ）が領域１にあ
る。

【０１４２】条件３−３：ｉｔ_j （ｉｔ′_j ）に対し
て、ｉｔ′_j （ｉｔ_j ）が領域３にあり、ｍｔ_k （ｍ
ｔ′_k ）に対して、ｍｔ′_k （ｍｔ_k ）が領域４にあ
る。

【０１４３】条件３−４：ｉｔ_j （ｉｔ′_j ）に対し
て、ｉｔ′_j （ｉｔ_j ）が領域４にあり、ｍｔ_k （ｍ
ｔ′_k ）に対して、ｍｔ′_k （ｍｔ_k ）が領域３にあ
る。

【０１４４】異種対応可能ペア間両立関係判定部３５ｂ
−２の動作を、前述した対応可能ペアp1とp2を用いて具
体的に説明する。ＩＴとＭＴ１の間における２つの異な
る対応可能ペアの組として（p1，p2）がある。このペア
は条件１から条件３までのすべてを満たさないので両立
可能であると判断される。異種対応可能ペア間両立関係
判定部３５ｂ−２は、両立可能と判断された対応可能ペ
アを、最良マッチング抽出部３５ｂ−３に出力する。

【０１４５】最良マッチング抽出部３５ｂ−３は、異種
対応可能ペア間両立関係判定部３５ｂ−２において両立
すると判定された対応可能ペアのうち、すべてが互いに
両立可能な対応可能ペアの最大の集合を求めることによ
り、入力表特徴集合とモデル表特徴集合間の最良マッチ
ングを抽出する。

【０１４６】最良マッチング抽出部３５ｂ−３は、さら
に図１９に示すように、連合グラフ作成部３５ｂ−３ａ
と最大クリーク抽出部３５ｂ−３ｂにより構成されてい
る。連合グラフ作成部３５ｂ−３ａは、異種対応可能ペ
ア間両立関係判定部３５ｂ−２の判定結果を受け取り、
その情報をもとに連合グラフを作成する。この連合グラ
フの節点は対応可能ペアを示し、節点間を結ぶ弧は２つ
の対応可能ペアが両立可能であることを示すものであ
り、異種対応可能ペア間両立関係判定部３５ｂ−２の判
定結果を表す補助的なデータ構造である。

【０１４７】具体的には、対応可能ペアp1とp2が連合グ
ラフ作成部３５ｂ−３ａに送られ、この結果、図２０に
示す連合グラフが得られる。上述した「すべてが互いに
両立可能な対応可能ペアの最大の集合」はこの連合グラ
フにおいては全体的に連結した（完全に互いに両立可能
な）最大の節点集合であると捉えることができる。それ
はクリークであり、本実施例ではより大きなクリークは
より良いマッチングを表している。

【０１４８】最大クリーク検出部３５ｂ−３ｂは、連合
グラフ作成部３５ｂ−３ａによって作成された連合グラ
フから、節点数が最大である完全連結部分グラフ（最大
クリーク）を抽出する。なお、最大クリーク検出部３５
ｂ−３ｂの動作は、例えば文献「信学論（Ｄ），J68-
Ｄ，3,pp221-228,1985」に記載されている方式を適用す
ることができる。

【０１４９】最大クリーク検出部３５ｂ−３ｂによって
抽出されたクリーク、すなわち、「すべてが互いに両立
可能な対応可能ペアの最大の集合」を構成する要素の対
応可能ペアは、入力文書の表特徴集合ＩＴと当該モデル
文書の表特徴集合ＭＴ１との間で対応の取れた表の組を
表す。具体的には、最大クリーク：mclique ＝p1，p2が
得られ、ｍｔ１₁ とｉｔ₁ 、ｍｔ１₂ とｉｔ₂ の対応が
それぞれ得らたことになる。この対応結果は、後段の罫
線照合部３５ｃに送られる。

【０１５０】このとき、入力文書とモデル文書の表特徴
集合の各表では、その内部に含まれる罫線特徴の座標値
は、表の左上端の座標値で正規化されている。また、入
力文書の各表の罫線特徴の座標値は、対応付くモデル文
書の表に重ね合わせられるようにスケール変換されてい
る。

【０１５１】すなわち、入力表の縦幅がｉｔ-height 、
横幅がｉｔ-width、対応付いたモデル表の縦幅がｍｔ-h
eight 、横幅がｍｔ-widthであるとき、当該入力表の正
規化された罫線特徴の座標値は、さらに、ｘ座標値では
（ｍｔ-width／ｉｔ-width）倍、ｙ座標値では（ｍｔ-h
eight ／ｉｔ-height ）倍されることによりスケール変
換される。この結果、後段の罫線照合部３５ｃでは同じ
スケールかつ同じ座標系のもとで入力表とモデル表に含
まれる罫線集合間の対応付け処理が可能になる。

【０１５２】前述した対応可能ペア検出部３５ｂ−１の
動作を示すＳｔｅｐ３において、ｓｉｍ_kj＜th6 である
場合には、ｍｔ_k とｉｔ_j の構造が異なっている他に、
例えば図２１（ａ）に示すように、入力文書の印刷品質
が悪いために表が分離している場合（図中（ａ−１））
や、隣接する表の間隔が狭いために画像入力時に接触し
てしまったりする場合（図中（ｂ−１））も考えられ
る。

【０１５３】このような問題点に対応するために対応可
能ペア検出部３５ｂ−１は、さらに以下の処理を実施す
るようにしてもよい。

【０１５４】Ｓｔｅｐ３−１：ｍｊｎ_k ＞ｉｊｎ_j （ｍ
ｊｎ_k ＜ｉｊｎ_j ）である場合には、ＩＴ（ＭＴ１）の
中から以下の条件を満たすｉｔ_j （ｍｔ_k ）に隣接する
表特徴ｉｔ_l （ｍｔ_l ）を１つ検出し、それらを統合し
て仮想的な表特徴ｉｔ′_j を新たに生成し、その際に生
じる接合部数ｉｊｎ′_j （ｍｊｎ′_k ）とｍｊｎ_k （ｉ
ｊｎ_j ）との類似度ｓｉｍｌ′_kjを計算する。

【０１５５】類似度：ｓｉｍｌ′_kjがしきい値th6 以上
である場合には、対応可能であるとして、（ｍｔ_k ，ｉ
ｔ′_j ）（（ｍｔ′_k ，ｉｔ_j ））を対応可能ペアとし
て保持する。

【０１５６】条件：ｉｔ_j （ｍｔ_k ）とｉｔ_l （ｍ
ｔ_l ）の間に他の表が存在しないこと。

【０１５７】Ｓｔｅｐ３−２：Ｓｔｅｐ３−１で求めた
ｓｉｍｌ′_kjがしきい値th6 に満たない場合、類似度：
ｓｉｍｌ′_kjがしきい値th6 以上となるまで、あるいは
条件を満たす統合すべき表が見つからなくなるまでＳｔ
ｅｐ３−１を繰り返す。

【０１５８】この場合、表照合部３５ｂの最良マッチン
グ部３５ｂ−３では、最大クリークを構成する「対応付
き」のすべての組み合わせを出力するようにして、その
後に次の条件を適用することにより候補を絞り込む。そ
れでもなお複数の組み合わせが生じている場合には、そ
れらすべてを後段の罫線照合部３５ｃに送り込み、その
結果に基づいて（それらの中で照合度が最も高くなる組
み合わせを選ぶことにより）最終的に表間対応関係を一
意に決めるようにしてもよい。

【０１５９】条件：モデル表特徴集合のすべての要素が
入力表特徴集合のいずれかの要素に対応していること。

【０１６０】次に、罫線照合部３５ｃでは、表照合部３
５ｂで対応付いた入力表とモデル表にそれぞれ含まれる
罫線集合間で対応付け処理を行なう。このとき水平罫線
集合間の対応付けと垂直罫線集合間の対応付けを独立に
行なうようにしてもよい。そして両者の整合を、各々の
対応付け処理が済んだあとで得るようにしてもよい。こ
の場合の罫線照合部３５ｃは、さらに図２２に示すよう
に構成される。すなわち、表対応選択部３５ｃ−１、垂
直罫線照合部３５ｃ−２、水平罫線照合部３５ｃ−３、
及び方向間整合獲得部３５ｃ−４によって構成されてい
る。

【０１６１】まず、表対応選択部３５ｃ−１は、表照合
部３５ｂで抽出された表間対応付きの中から任意の対応
を選択する。垂直罫線照合部３５ｃ−２は、表対応選択
部３５ｃ−１によって選択された入力表とモデル表の垂
直罫線集合間で対応付けを行なう。この対応付けに成功
すれば、さらに水平罫線照合部３５ｃ−３は、水平罫線
集合間で対応付けを行なう。方向間整合獲得部３５ｃ−
３は、垂直罫線照合部３５ｃ−２による対応付けと水平
罫線照合部３５ｃ−３による対応付けとの間の整合を獲
得する。

【０１６２】なお、垂直罫線照合部３５ｃ−２と水平罫
線照合部３５ｃ−２は、さらに図２３に示すように構成
されている。これらの処理動作は、罫線方向の違いを考
慮する以外は、基本的に同じである。

【０１６３】以下に、具体的な説明として、垂直罫線照
合部３５ｃ−２における、ｍｔ１₁の垂直罫線集合Ｍ₁
ＶＬ₁ とｉｔ₁ の垂直罫線集合ＩＶＬ₁ の間の対応付け
処理の動作について説明する。ただし、図１４より、 Ｍ₁ ＶＬ₁ ＝（ｍ₁ ｖｌ₁ ，ｍ₁ ｖｌ₂ ，ｍ₁ ｖｌ₃ ，
ｍ₁ ｖｌ₄ ，ｍ₁ ｖｌ₅ ，ｍ₁ ｖｌ₆ ，ｍ₁ ｖｌ₇ ，ｍ
₁ ｖｌ₈ ）とする。以後、垂直罫線を単に罫線と略して
説明する。

【０１６４】図２３中に示す対応可能罫線特徴ペア検出
部３５ｃ−２ａは、モデルの罫線集合の各要素に対し
て、要素と対応付く可能性のある入力の罫線特徴をすべ
て検出し、対応可能な罫線特徴のペアとして管理する。
すなわち、以下に説明する手順を実行する。

【０１６５】Ｓｔｅｐ１：任意のＭ₁ ＶＬ₁ から任意の
一つの罫線特徴ｍ₁ ｖｌ_k （ｋ番目の罫線特徴を意味す
る）を選ぶ。

【０１６６】Ｓｔｅｐ２：ｍ₁ ｖｌ_k に対応付く入力罫
線特徴を検出するための探索範囲（ａｒｅａ_mvl ）を設
定する。

【０１６７】ここで、ｍ₁ ｖｌ_k の罫線特徴の左上端と
右下端の位置座標を（ｍｌｘ1 ，ｍｌｙ1 ）、（ｍｌｘ
2 ，ｍｌｙ2 ）とすると、探索範囲は例えば（ｍｌｘ1
−th9 ，ｍｌｙ1 ）と（ｍｌｘ2 ＋th9 ，ｍｌｙ2 ）の
座標値で構成される矩形の内部としてもよい。ここで、
しきい値th9 が予め与えられているものとする。

【０１６８】Ｓｔｅｐ３：Ｓｔｅｐ２で求められた探索
範囲に内包・交差する入力罫線特徴を抽出する。

【０１６９】この処理は例えば以下のようにして行なわ
れる。すなわち、探索対象となる入力罫線の左上端と右
下端の位置座標値を（ｉｘ1 ，ｉｙ1 ）、（ｉｘ2 ，ｉ
ｙ2）とした場合、以下の条件を満たす入力罫線を抽出
する。

【０１７０】条件：ｍｉｎ（ｍｌｘ2 ＋th9 ，ｉｘ2 ）
−ｍａｘ（ｍｌｘ1 ＋th9 ，ｉｘ1）＋１＞０でかつｍ
ｉｎ（ｍｌｙ2 ，ｉｙ2 ）−ｍａｘ（ｍｌｙ1 ，ｉｙ1
）＋１＞０である。

【０１７１】Ｓｔｅｐ４：抽出された入力罫線特徴の一
つを選ぶ（例えば、ｉｖｌ_j （入力罫線特徴集合のｊ番
目の罫線特徴）を選んだものとする）。

【０１７２】Ｓｔｅｐ５：ｍ₁ ｖｌ_k の縦幅：ｍｌ-hei
ght とｉｖｌ_j の縦幅：ｉｌ-height との類似度：ｓｉ
ｍｌ_kjを計算する。

【０１７３】ここで、類似度：ｓｉｍｌ_kjは例えば次の
式で求まるとする。

【０１７４】 ｍｌ-height ＞０またはｉｌ-height ＞０のとき ｓｉｍｌ_kj＝ 100− 200×｜ｍｌ-height −ｉｌ-heigh
t ｜／（ｍｌ-height＋ｉｌ-height ） ｍｌ-height ＝０かつｉｌ-height ＝０のとき ｓｉｍｌ_kj＝−100 Ｓｔｅｐ６：類似度：ｓｉｍｌ_kjがあらかじめ設定した
しきい値th10以上である場合には、対応可能であるとし
て、その組（ｍ₁ ｖｌ_k ，ｉｖｌ_j ）を対応可能ペアと
して保持する。

【０１７５】Ｓｔｅｐ７：類似度：ｓｉｍｌ_kjがしきい
値th10未満である場合には、さらに以下の処理を行な
う。

【０１７６】Ｓｔｅｐ７−１：図２４に示すように、１
本であるべき線がかすれたり、途切れたりしているため
に分離している場合に対応するために以下の処理を行な
う。

【０１７７】Ｓｔｅｐ７−１−１：Ｓｔｅｐ３で抽出さ
れた入力罫線特徴のうち、以下の条件を満たす罫線特徴
のうち最も近接するものを１つ抽出し、それらを図２５
に示すように統合した際に生じる縦幅：ｉl-height′と
ｍｌ-height との類似度：ｓｉｍｌ′_kjを計算する。た
だし、ｉｖｌ_j の左上端と右下端の位置座標値を、（ｉ
ｖｌ_j ｘ1 ，ｉｖｌ_j ｙ1 ）、（ｉｖｌ_j ｘ2 ，ｉｖｌ
_j ｙ2 ）、抽出対象となる入力罫線の左上端と右下端の
位置座標値を（ｉｘ１，ｉｙ１）、（ｉｘ２，ｉｙ２）
とする。

【０１７８】条件：ｍｉｎ（ｉｖｌ_j ｘ2 ，ｉｘ2 ）−
ｍａｘ（ｉｖｌ_j ｘ1 ，ｉｘ1 ）＋１＞０、類似度：ｓ
ｉｍｌ′_kjがしきい値th10以上である場合には、対応可
能であるとして、その組（ｍ₁ ｖｌ_k ，ｉｖｌ′_j ）を
対応可能ペアとして保持する。

【０１７９】Ｓｔｅｐ７−１−２：Ｓｔｅｐ７−１−１
で求めたｓｉｍｌ′_kj＜th10である場合、類似度：ｓｉ
ｍｌ′_kjがしきい値th10以上となるまで、あるいは条件
を満たす統合すべき罫線が見つからなくなるまでＳｔｅ
ｐ７−１−１を繰り返す。

【０１８０】Ｓｔｅｐ７−２：図２６に示すようにモデ
ルの複数本の罫線特徴と入力の複数本の罫線特徴とが対
応付くような場合に対応するために以下の処理を行な
う。

【０１８１】Ｓｔｅｐ７−２−１：ｍｌ-height ＞ｉｌ
-height （ｍｌ-height ＜ｉｌ-height ）である場合に
は、ＩＶＬ₁ （Ｍ₁ ＶＬ₁ ）の中から以下の条件を満た
すｉｖｌ_j （ｍ₁ ｖｌ_k ）に最も近接する罫線特徴ｉｖ
ｌ′_j （ｍ₁ ｖｌ′_k ）を１つ検出し、それらを統合し
た際に生じる縦幅ｉｌ-height ′（ｍｌ-height ′)と
ｍｌ-height(ｉｌ-height)との類似度：ｓｉｍｌ′_kjを
計算する。

【０１８２】ただし、ｉｖｌ_j の左上端と右下端の位置
座標値を、（ｉｖｌ_j ｘ１′，ｉｖｌ_j ｙ１′）、（ｉ
ｖｌ_j ｘ２′，ｉｖｌ_j ｙ２′）、予め設定されたしき
い値をth11とする。

【０１８３】条件：ｍｉｎ（ｉｖｌ_j ｘ２＋th11，ｉｖ
ｌ_j ｘ２′）−ｍａｘ（ｉｖｌ_j ｘ１−th11，ｉｖｌ_j
ｘ１′）＋１＞０ 類似度：ｓｉｍｌ′_kjがしきい値th10以上である場合に
は、対応可能であるとして、（ｍ₁ ｖｌ_k ，ｉｖｌ_j ）
と（ｍ₁ ｖｌ_k ，ｉｖｌ′_j ）（（ｍ₁ ｖｌ_k，ｉｖｌ
_j ）と（ｍ₁ ｖｌ′_k ，ｉｖｌ_j ))を対応可能ペアとし
て保持する。

【０１８４】Ｓｔｅｐ７−２−２：Ｓｔｅｐ７−２−１
で求めたｓｉｍｌ′_kj＜th10である場合、類似度：ｓｉ
ｍｌ′_kjがしきい値th10以上となるまで、あるいは条件
を満たす統合すべき罫線が見つからなくなるまでＳｔｅ
ｐ７−２−１を繰り返す。

【０１８５】Ｓｔｅｐ８：Ｓｔｅｐ４〜Ｓｔｅｐ７まで
をＳｔｅｐ３で抽出されたすべての入力罫線特徴に対し
て適用する。

【０１８６】Ｓｔｅｐ９：Ｓｔｅｐ１〜Ｓｔｅｐ８まで
を着目Ｍ₁ ＶＬ₁ のすべての要素に対して適用する。

【０１８７】ここで、ｍｉｎ（）は（）内の２変数の
内、小さい方を出力する関数であり、ｍａｘ（）は（）
内の２変数の内、大きい方を出力する関数である。

【０１８８】対応可能罫線特徴ペア検出部３５ｃ−２ａ
の前述した処理動作を、Ｍ₁ ＶＬ₁とＩＶＬ₁ を用いて
具体的に説明する。対応可能罫線特徴ペア検出部３５ｃ
−２ａにおいて、Ｍ₁ ＶＬ₁ の各要素で探索範囲を設け
て、それぞれ対応付く可能性を持つＩＶＬ₁ の要素を抽
出した結果、以下のような罫線特徴ペアが得られたもの
とする。

【０１８９】ｐｌ₁ ＝（ｍ₁ ｖｌ₁ ，ｉｖｌ₁ ）、 ｐｌ₂ ＝（ｍ₁ ｖｌ₂ ，ｉｖｌ₂ ）、 ｐｌ₃ ＝（ｍ₁ ｖｌ₃ ，ｉｖｌ₃ ）、 ｐｌ₄ ＝（ｍ₁ ｖｌ₄ ，ｉｖｌ₂ ）、 ｐｌ₅ ＝（ｍ₁ ｖｌ₄ ，ｉｖｌ₄ ）、 ｐｌ₆ ＝（ｍ₁ ｖｌ₅ ，ｉｖｌ₄ ）、 ｐｌ₇ ＝（ｍ₁ ｖｌ₆ ，ｉｖｌ₄ ）、 ｐｌ₈ ＝（ｍ₁ ｖｌ₇ ，ｉｖｌ₅ ）、 ｐｌ₉ ＝（ｍ₁ ｖｌ₈ ，ｉｖｌ₆ ）。

【０１９０】このうち、ｐｌ₁ 、ｐｌ₂ 、ｐｌ₃ 、ｐｌ
₄ 、ｐｌ₈ 、ｐｌ₉ は、Ｓｔｅｐ２からＳｔｅｐ６まで
の処理（以後、Ｓｔｅｐ２からＳｔｅｐ６までの処理で
得られた対応可能特徴ペアのみを１対１対応可能ペアと
呼ぶ）で得られる。

【０１９１】ｐｌ5 は、Ｓｔｅｐ２からＳｔｅｐ６まで
の処理で類似度：ｓｉｍｌ₄₄がしきい値th10未満であっ
たために、Ｓｔｅｐ７−２−１によりｉｖｌ₄ と「ｍ₁
ｖｌ₄ とｍ1 ｖｌ5 を統合したもの」のペアを検出し
た。そして、そのペアをｐｌ₅とｐｌ₆ の対応可能なペ
アに分けて管理している。ｐｌ₇ についても同様にＳｔ
ｅｐ７−２−１でｉｖｌ₄ と「ｍ₁ ｖｌ₄ とｍ₁ ｖｌ₆
を統合したもの」のペアを検出していることにより対応
可能なペアとして抽出されている。

【０１９２】対応可能罫線特徴ペア検出部３５ｃ−２ａ
における処理動作のＳｔｅｐ２における探索範囲の設定
は、例えば以下に述べる手順で行なわれてもよい。例え
ば、図２７に示すモデル垂直罫線ＶＬ₁ の探索範囲は、
モデル垂直罫線ＶＬ₁ に左側で隣接するモデル垂直罫線
ＶＬ₂ と、右側で隣接するモデル垂直罫線ＶＬ₃ との距
離に応じて設定するようにしてもよい。

【０１９３】すなわち、ＶＬ₁ の左上端の位置座標値を
（ＶＬ₁ ｘ1 ，ＶＬ₁ ｙ1 ）、右下端の位置座標値を
（ＶＬ₁ ｘ2 ，ＶＬ₁ ｙ2 ）、ＶＬ₂ の左上端の位置座
標値を（ＶＬ₂ ｘ1 ，ＶＬ₂ ｙ1 ）、右下端の位置座標
値を（ＶＬ₂ ｘ2 ，ＶＬ₂ ｙ2）、ＶＬ₃ の左上端の位
置座標値を（ＶＬ₃ ｘ1 ，ＶＬ₃ ｙ1 ）、右下端の位置
座標値を（ＶＬ₃ ｘ2 ，ＶＬ₃ ｙ2 ）とすると、ＶＬ₁
とＶＬ₂ の間の距離：ｄｉｓｔ12と、ＶＬ₁ とＶＬ₃ の
間の距離：ｄｉｓｔ13はそれぞれ、 ｄｉｓｔ12＝ＶＬ₁ ｘ1 −ＶＬ₂ ｘ2 ＋１、 ｄｉｓｔ13＝ＶＬ₃ ｘ1 −ＶＬ₁ ｘ2 ＋１、より求まる
こととする。

【０１９４】そして探索範囲を、((ＶＬ₁ ｘ1 −ｄｉｓ
ｔ12／２），（ＶＬ₁ ｙ1 ＋th9)）と、((ＶＬ₁ ｘ2 ＋
ｄｉｓｔ13／２），（ＶＬ₁ ｙ2 ＋th9)）、の位置座標
値で構成される矩形領域としてもよい。

【０１９５】ここで、ＶＬ₁ とその左側で隣接するモデ
ル垂直罫線ＶＬ₂ は、min(ＶＬ₁ ｙ2 ，ＶＬ₂ ｙ2 ）−
max(ＶＬ₁ ｙ1 ，ＶＬ₂ ｙ1 ）＋１＞th13を満たす、距
離ｄｉｓｔ12が最小であるモデル垂直罫線を検出するこ
とにより求めることができ、右側で隣接するモデル垂直
罫線ＶＬ3 は、min(ＶＬ₁ ｙ2 ，ＶＬ₃ ｙ2 ）−max(Ｖ
Ｌ₁ ｙ1 ，ＶＬ₃ ｙ1 ）＋１＞th13を満たす、距離ｄｉ
ｓｔ13が最小であるモデル垂直罫線を検出することによ
り求めることができる。ここでth13をしきい値とする。
各モデル水平罫線の探索範囲も同様に求めることができ
る。

【０１９６】この他にも、Ｓｔｅｐ２における探索範囲
を次のようにして設定してもよい。例えばｋ番目のモデ
ル罫線に着目したとき、探索対象となっている入力罫線
のうちｋ±α以内の番号を有するものを着目モデル罫線
の探索範囲とするようにしてもよい。また、ある大きさ
のパラメータでスケール変換がなされた状態で、着目モ
デル罫線と同じ長さを持つ全ての入力罫線を探索範囲と
しても良い。

【０１９７】次に、対応可能罫線特徴ペア間両立性判定
部３５ｃ−２ｂは、対応可能罫線特徴ペア検出部３５ｃ
−２ａで検出されたすべての２つの異なる対応可能ペア
の組み合わせにおいて、それらが両立するものであるか
否かを判定する。

【０１９８】ここでの判定条件としては以下のものが上
げられる。判定対象となる対応可能ペアをそれぞれｐ＝
（ｍｌ_k ，ｉｌ_j ）、ｐ′＝（ｍｌ′_k ，ｉｌ′_j ）と
する。

【０１９９】ここで、ｍｌ_k の左上端の位置座標を（ｍ
ｌ_k ｘ1 ，ｍｌ_k ｙ1 ）、右下端の位置座標を（ｍｌ_k
ｘ2 ，ｍｌ_k ｙ2 ）、ｍｌ′_k の左上端の位置座標を
（ｍｌ′_k ｘ1 ，ｍｌ′_k ｙ1 ）、右下端の位置座標を
（ｍｌ′_k ｘ2 ，ｍｌ′_k ｙ2）、ｉｌ_j の左上端の位
置座標を（ｉｌ_j ｘ1 ，ｉｌ_j ｙ1 ）、右下端の位置座
標を（ｉｌ_j ｘ2 ，ｉｌ_j ｙ2 ）、ｉｌ′_j の左上端の
位置座標を（ｉｌ′_j ｘ1 ，ｉｌ′_j ｙ1 ）、右下端の
位置座標を（ｉｌ′_j ｘ2 ，ｉｌ′_j ｙ2 ）とする。

【０２００】判定条件は、条件１から条件４までのすべ
ての条件を満たさない場合のみ２つの対応可能ペアが両
立可能であるとみなす。

【０２０１】条件１：ｐとｐ′のどちらかが１対１対応
可能ペアでり、かつｍｌ_k ＝ｍｌ′_k である。

【０２０２】条件２：ｐとｐ′のどちらかが１対１対応
可能ペアでり、かつｉｌ_j ＝ｉｌ′_j である。

【０２０３】条件３：ｐとｐ′のどちらも１対１対応可
能ペアでり、かつ以下の条件３−１，３−２のどちらか
を満たす。

【０２０４】条件３−１：（min(ｍｌ_k ｘ2 ，ｍｌ′_k
ｘ2 ）−max(ｍｌ_k ｘ1 ，ｍｌ′_kｘ1 ）＋１）＞０か
つ（min(ｍｌ_k ｙ2 ，ｍｌ′_k ｙ2 ）−max(ｍｌ_k ｙ1
，ｍｌ′_k ｙ1 ）＋１）＞０。

【０２０５】条件３−２：（min(ｉｌ_k ｘ2 ，ｉｌ′_k
ｘ2 ）−max(ｉｌ_k ｘ1 ，ｉｌ′_kｘ1 ）＋１）＞０か
つ（min(ｉｌ_k ｙ2 ，ｉｌ′_k ｙ2 ）−max(ｉｌ_k ｙ1
，ｉｌ′_k ｙ1 ）＋１）＞０。

【０２０６】条件４：配置関係に逆転がある。すなわ
ち、以下の４−１〜４−４の状態にある。

【０２０７】４−１：ｉｌ_j （ｉｌ′_j ）に対して、ｉ
ｌ′_j （ｉｌ_j ）が領域１にあり、ｍｌ_k （ｍｌ′_k ）
に対して、ｍｌ′_k （ｍｌ_k ）が領域２にある。

【０２０８】４−２：ｉｌ_j （ｉｌ′_j ）に対して、ｉ
ｌ′_j （ｉｌ_j ）が領域２にあり、ｍｌ_k （ｍｌ′_k ）
に対して、ｍｌ′_k （ｍｌ_k ）が領域１にある。

【０２０９】４−３：ｉｌ_j （ｉｌ′_j ）に対して、ｉ
ｌ′_j （ｉｌ_j ）が領域３にあり、ｍｌ_k （ｍｌ′_k ）
に対して、ｍｌ′_k （ｍｌ_k ）が領域４にある。

【０２１０】４−４：ｉｌ_j （ｉｌ′_j ）に対して、ｉ
ｌ′_j （ｉｌ_j ）が領域４にあり、ｍｌ_k （ｍｌ′_k ）
に対して、ｍｌ′_k （ｍｌ_k ）が領域３にある。

【０２１１】対応可能罫線特徴ペア間両立性判定部３５
ｃ−２ｂの動作を、前述した対応可能罫線特徴ペアｐｌ
₁ 〜ｐｌ₉ を用いて具体的に説明する。ｐｌ₁ からｐｌ
₉ までの９個の対応可能罫線特徴ペアのすべての組み合
わせは３６通りある。

【０２１２】そのうち上記条件１〜４をすべて満たさな
い組み合わせは、（ｐｌ₁ ，ｐｌ₂）、（ｐｌ₁ ，ｐｌ
₃ ）、（ｐｌ₁ ，ｐｌ₄ ）、（ｐｌ₁ ，ｐｌ₅ ）、（ｐ
ｌ₁，ｐｌ₆ ）、（ｐｌ₁ ，ｐｌ₇ ）、（ｐｌ₁ ，ｐｌ
₈ ）、（ｐｌ₁ ，ｐｌ₉ ）、（ｐｌ₂ ，ｐｌ₃ ）、（ｐ
ｌ₂ ，ｐｌ₅ ）、（ｐｌ₂ ，ｐｌ₆ ）、（ｐｌ₂ ，ｐｌ
₇ ）、（ｐｌ₂ ，ｐｌ₈ ）、（ｐｌ₂ ，ｐｌ₉ ）、（ｐ
ｌ₃ ，ｐｌ₅ ）、（ｐｌ₃ ，ｐｌ₆ ）、（ｐｌ₃ ，ｐｌ
₇ ）、（ｐｌ₃ ，ｐｌ₈ ）、（ｐｌ₃ ，ｐｌ₉）、（ｐ
ｌ₄ ，ｐｌ₆ ）、（ｐｌ₄ ，ｐｌ₇ ）、（ｐｌ₄ ，ｐｌ
₈ ）、（ｐｌ₄，ｐｌ₉ ）、（ｐｌ₅ ，ｐｌ₆ ）、（ｐ
ｌ₅ ，ｐｌ₇ ）、（ｐｌ₅ ，ｐｌ₈ ）、（ｐｌ₅ ，ｐｌ
₉ ）、（ｐｌ₆ ，ｐｌ₇ ）、（ｐｌ₆ ，ｐｌ₈ ）、（ｐ
ｌ₆ ，ｐｌ₉ ）、（ｐｌ₇ ，ｐｌ₈ ）、（ｐｌ₇ ，ｐｌ
₉ ）、（ｐｌ₈ ，ｐｌ₉ ）の３２通りである。これらの
組み合わせの各々において、それを構成する対応可能罫
線特徴ペアは、両立可能であると判断される。

【０２１３】次に、最良マッチング抽出部３５ｃ−２ｃ
は，対応可能罫線特徴ペア間両立性判定部３５ｃ−２ｂ
において両立すると判定されたもののうち、すべてが互
いに両立可能な対応可能ペアの最大の集合を求めること
により、入力表特徴集合とモデル表特徴集合間の最良マ
ッチングを抽出する。

【０２１４】なお、最良マッチング抽出部３５ｃ−２ｃ
は、図１７に示す最良マッチング抽出部３５ｂ−３と同
一の機能を有している（詳細は図１９に示している）。
最良マッチング抽出部３５ｃ−２ｃを構成している連合
グラフ作成部では、対応可能罫線特徴ペア間両立性判定
部３５ｃ−２ｂで得られた結果から連合グラフを作る
か、ｐｌ₁ からｐｌ₉ までの９個の対応可能罫線特徴ペ
アに対しては、図２８に示すものが作られる。

【０２１５】Ｍ₁ ＶＬ₁ とＩＶＬ₁ の間の対応付け処理
に関しては、最良マッチング抽出部３５ｃ−２ｃにおい
て、（ｍ₁ ｖｌ₁ ，ｉｖｌ₁ ）、（ｍ₁ ｖｌ₂ ，ｉｖｌ
₂ ）、（ｍ₁ ｖｌ₃ ，ｉｖｌ₃ ）、（ｍ₁ ｖｌ₅ ，ｉｖ
ｌ₄ ）、（ｍ₁ ｖｌ₆ ，ｉｖｌ₄ ）、（ｍ₁ ｖｌ₇ ，ｉ
ｖｌ₅ ）、（ｍ₁ ｖｌ₈ ，ｉｖｌ₆ ）、の対応が抽出さ
れたものとする。

【０２１６】ｍｔ１₁ の水平罫線集合：Ｍ₁ ＨＬ₁ ＝
（ｍ₁ ｈｌ₁ ，ｍ₁ ｈｌ₂ ，ｍ₁ ｈｌ₃ ，ｍ₁ ｈｌ₄ ，
ｍ₁ ｈｌ₅ ）とｉｔ₁ の水平罫線集合：ＩＨＬ₁ ＝（ｉ
ｈｌ₁，ｉｈｌ₂ ，ｉｈｌ₃ ，ｉｈｌ₄ ，ｉｈｌ₅ ）の
間の対応付け処理も、水平罫線照合部３５ｃ−３におい
て、同様に、（ｍ1 ｈｌ₁ ，ｉｈｌ₁ ）、（ｍ₁ ｈ
ｌ₂，ｉｈｌ₂ ）、（ｍ₁ ｈｌ₃ ，ｉｈｌ₃ ）、（ｍ₁
ｈｌ₄ ，ｉｈｌ₄ ）、（ｍ₁ｈｌ₅ ，ｉｈｌ₅ ）、の対
応が抽出されたものとする。

【０２１７】表照合部３５ｂで抽出されたｍｔ１₂ とｉ
ｔ₂ の対応における、罫線集合間の対応付け処理も罫線
照合部３５ｃで同様に行なわれ、ｍｔ１₂ の垂直罫線集
合：Ｍ₁ ＶＬ₂ ＝（ｍ₁ ｖｌ₉ ，ｍ₁ ｖｌ₁₀，ｍ₁ ｖｌ
₁₁）とｉｔ₂ の垂直罫線集合：ＩＶＬ₂ ＝（ｉｖｌ₇ ，
ｉｖｌ₈ ，ｉｖｌ₉ ）の間では、（ｍ₁ ｖｌ₉ ，ｉｖｌ
₇ ）、（ｍ₁ ｖｌ₁₀，ｉｖｌ₈ ）、（ｍ₁ ｖｌ₁₁，ｉｖ
ｌ₉ ）、ｍｔ１₂ の水平罫線集合：Ｍ₁ ＨＬ₁ ＝（ｍ₁
ｈｌ₆ ，ｍ₁ ｈｌ₇ ）とｉｔ₂ の水平罫線集合：ＩＨＬ
₂ ＝（ｉｈｌ₇ ，ｉｈｌ₈ ）の間では、（ｍ₁ ｖｌ₆ ，
ｉｖｌ₆ ）、（ｍ₁ ｖｌ₇ ，ｉｖｌ₇ ）の罫線特徴間の
対応が得られたものとする。

【０２１８】照合度計算部３５ｄは、罫線照合部３５ｃ
によって対応関係が抽出されたモデル文書と入力文書の
間で、当該構造化特徴間の対応付きを数量化することに
よりその度合い（照合度）を計算する。

【０２１９】照合度は、モデル照合部３５に送られてき
たすべてのモデル文書と入力文書との間で計算され、照
合結果出力部３５ｅに出力される。照合度：matching-m
etric は、モデル水平罫線数をsmhl-num、モデル垂直罫
線数をsmvl-num、入力水平罫線のうちモデル水平罫線と
対応付いたものの総数をsmch-num、入力垂直罫線のうち
モデル垂直罫線と対応付いたものの総数をsmcv-numとし
たときに、例えば以下の式で定義される。

【０２２０】matching-metric ＝ 100− 200×（｜smhl
-num−smch-num｜＋｜smvl-num−smcv-num｜）／（（sm
hl-num−smch-num）＋（smvl-num−smcv-num）） 例えば、図９の入力文書と図１４のモデル文書との間の
照合度： matching-metric1 は、smhl-num＝７，smvl-n
um＝11，smch-num＝７，smcv-num＝10より、 matching-metric₁ ＝ 100− 200×（｜７−７｜＋｜11
−10｜／（７＋７）＋（11＋11））＝94.44 、となる。

【０２２１】また、図９の入力文書と図１５のモデル文
書との間の照合度： matching-metric₂ は、当該構造化
特徴間の対応関係が抽出可能であったので（−100 ）を
設定する。

【０２２２】照合結果出力部３５ｅは、モデル照合部３
５に送られてきたすべてのモデル構造化特徴と入力構造
化特徴との間の照合度のうち、最大値を示すモデル文書
と入力文書の組み合わせを選び、それらの構造化特徴間
の対応関係と共に照合結果判定部３７に出力する。

【０２２３】照合結果判定部３７は、モデル照合部３５
で最大照合度を示したモデル文書と入力文書の構造化特
徴間の対応関係（以後、構造化特徴間対応関係と呼ぶ）
が獲得できたか否かを判定する。

【０２２４】すなわち、モデル照合部３５で計算された
最大照合度が予め与えられているしきい値：th7 以上で
ある場合には、構造化特徴間対応関係を獲得できたと判
定する。また、最大照合度がth7 未満である場合には、
構造化特徴間対応関係を獲得できなかったとして、入力
文書を棄却して、次の文書の入力を実施する。

【０２２５】また、この場合、フォーマット種別同定部
３３で選出されなかったモデルのすべてに対して、モデ
ル照合部３５で照合処理を行ない、その結果をこの照合
結果判定部３７で判定するようにしてもよい。こうする
と、フォーマット種別同定部３３における処理誤りを救
済でき、処理結果の精度が高まる。

【０２２６】具体的に説明すると、例えば、モデル照合
部３５で図９の入力構造化特徴と図１４のモデル構造化
特徴との間で最大照合度が計算されたとすると、その
値：max-sim は matching-metric₁ より、max-sim ＝9
4.44 であり、 th7＝60とするとth7＜max-sim より、当
該構造化特徴間の対応関係は獲得されたと見なされる。

【０２２７】構造化特徴間の対応関係は、例えば次のよ
うな形式により保持される。すなわち、入力罫線特徴モ
デル罫線特徴の各対応付きにおいて、入力罫線特徴のim
ageに、それに対応するモデル罫線特徴の識別子を格納
し、モデル罫線特徴のimageに、それに対応付くモデル
罫線の識別子を格納する。予め、それぞれの罫線集合の
各罫線特徴のimage に−１をセットしておけば、対応付
かない罫線特徴のimage には常に−１が設定されている
ことになる。

【０２２８】モデル照合部３５と照合結果判定部３７を
経て獲得された構造化特徴対応関係のうちで最も重要な
ものは、入力文書の罫線集合とモデル文書の罫線集合の
間の対応関係（以後、罫線特徴間対応関係と呼ぶ）であ
る。後段の文字列領域抽出部４３は、この対応関係に基
づいて入力画像から文字列領域を切り出す。

【０２２９】このとき罫線間対応関係が、どちらかの構
造化特徴の欠落のため不完全であったり、矛盾を含んで
いる場合には、処理不能となってしまう。このような問
題点を解決するために、未対応・矛盾対応発見修正部４
１は、文字列領域抽出部４３による処理の前に、罫線間
対応関係に対する未対応・矛盾対応を修正する。

【０２３０】未対応・矛盾対応発見修正部４１は、以下
の処理（１）（２）を実施する。

【０２３１】（１）モデルの罫線集合を構成する罫線特
徴のうち入力罫線に対応付いてないものを検出し、すで
に対応付いている他の対応関係を利用し、入力罫線集合
において対応付くものを発見するか、対応付くべきもの
を仮想入力罫線として自動的に発生させて、新たに入力
罫線集合に加える。

【０２３２】（２）上記（１）の処理を行なうと図２９
に示すような矛盾が生じてしまう場合には、それを解消
し、無矛盾な対応関係を生みだすようにする。

【０２３３】このような未対応・矛盾対応発見修正部３
９の動作は、例えば図３０に示すフローチャートに従
う。図３０に示すフローチャートの各ステップの処理動
作は以下のようになる。ただし、この時点でも入力罫線
集合の各要素は対応付いているモデル罫線集合の座標系
に変換されたままであるものとする。

【０２３４】ｆ１：当該モデル罫線集合の要素のうち、
特徴のimage に−１が付与されているものを検出する。

【０２３５】ｆ２：着目モデル罫線特徴の左上端の座標
値（ｍｘ1 ，ｍｙ1 ）と右下端の座標値（ｍｘ2 ，ｍｙ
2 ）に対して、それぞれ以下のように探索範囲を設け
る。ここで、しきい値th8 が予め設定されているものと
する。

【０２３６】ｌｉｍ-x1 ＝ｍｘ1 −th8 ｌｉｍ-y1 ＝ｍｙ1 −th8 ｌｉｍ-x2 ＝ｍｘ2 ＋th8 ｌｉｍ-y2 ＝ｍｙ2 ＋th8 この探索範囲に含まれる入力罫線特徴のうち、着目モデ
ル罫線に最も近いものを検出する。この時、近さの尺度
を表す距離値は、例えば罫線特徴の重心間のユークリッ
ド距離で定義されてもよい。

【０２３７】ｆ３：仮想入力罫線として、以下の特徴
（罫線特徴）を有するものを生成する。罫線特徴は、左
上端の位置座標（ｋｘ1 ，ｋｙ1 ）、右下端の位置座標
（ｋｘ2 ，ｋｙ2 ）、縦幅（ｋ−height）、横幅（ｋ−
width ）、重心の位置座標（ｋｃｘ，ｋｃｙ）を含む。

【０２３８】ｆ４：着目モデル罫線が、 １．水平罫線の場合、着目モデル罫線の両端に接続する
垂直モデル罫線をそれぞれ検出する。これらの垂直モデ
ル罫線が、(a) 存在し、かつそれに対応付く入力罫線が
存在する場合には、その垂直入力罫線特徴の左上端と右
下端の位置座標のうちｘ座標値のみを、それぞれｋｘ1
とｋｘ2 に格納する。

【０２３９】(b) 存在しない場合、もしくは垂直モデル
罫線が存在してもそれに対応付く入力罫線が存在しない
場合には、着目水平モデル罫線の位置座標値であるｍｘ
1 とｍｘ2 をそれぞれｋｘ1 とｋｘ2 に格納する。

【０２４０】２．垂直罫線の場合、着目モデル罫線の位
置座標値であるｍｘ1 とｍｘ2 をそれぞれｋｘ1 とｋｘ
2 に格納する。

【０２４１】ｆ５：着目モデル罫線が、 １．垂直罫線の場合、着目モデル罫線の両端に接続する
水平モデル罫線をそれぞれ検出する。これらの水平モデ
ル罫線が、(a) 存在し、かつそれに対応付く入力罫線が
存在する場合には、その垂直入力罫線特徴の左上端と右
下端の位置座標のうちｙ座標値のみを、それぞれｋｙ1
とｋｙ2 に格納する。

【０２４２】(b) 存在しない場合、もしくは水平モデル
罫線が存在してもそれに対応付く入力罫線が存在しない
場合には、着目垂直モデル罫線の位置座標値であるｍｙ
1 とｍｙ2 をそれぞれｋｙ1 とｋｙ2 に格納する。

【０２４３】２．水平罫線の場合、着目モデル罫線の位
置座標値であるｍｙ1 とｍｙ2 をそれぞれｋｙ1 とｋｙ
2 に格納する。

【０２４４】ｆ６：ｆ２で検出モデル罫線特徴のimage
を調べる。image に−１がセットされている場合には、
図３０のフローチャートでＮＯの方向に、−１以外の値
がセットされている場合にはＹＥＳの方向に処理を進め
る。

【０２４５】ｆ７：着目モデル罫線が水平罫線の場合、
着目モデル罫線の両端に接続する垂直モデル罫線をそれ
ぞれ検出する。これらの垂直モデル罫線が、 １．存在し、かつそれら対応付く入力罫線が存在する場
合には、その垂直入力罫線特徴の左上端と右下端の位置
座標のうちｘ座標値のみをそれぞれ着目水平入力罫線の
左上端と右下端のｘ座標値に格納する。

【０２４６】２．存在しない場合、もしくは垂直モデル
罫線が存在してもそれに対応付く入力罫線が存在しない
場合には、着目水平モデル罫線の位置座標値であるｍｘ
1とｍｘ2 をそれぞれ着目水平入力罫線の左上端と右下
端のｘ座標値に格納する。

【０２４７】ｆ８：着目モデル罫線が垂直罫線の場合、
着目モデル罫線の両端に接続する水平モデル罫線をそれ
ぞれ検出する。これらの水平モデル罫線が、 １．存在し、かつそれに対応付く入力罫線が存在する場
合には、その水平入力罫線特徴の左上端と右下端の位置
座標のうちｙ座標値のみをそれぞれ着目水平入力罫線の
左上端と右下端のｙ座標値に格納する。

【０２４８】２．存在しない場合、もしくは水平モデル
罫線が存在してもそれに対応付く入力罫線が存在しない
場合には、着目垂直モデル罫線の位置座標値であるｍｙ
1とｍｙ2 をそれぞれ着目垂直入力罫線の左上端と右下
端のｙ座標値に格納する。

【０２４９】図３０に示すフローチャートの具体的な動
作を図９に示す入力構造化特徴と図１４に示すモデル構
造化特徴を用いて説明する。当該モデル罫線特徴集合の
うちｍ₁ ｖｌ₄ のみ、対応付く入力罫線が存在しない。
従って、図３０のフローチャートのステップｆ１でｍ₁
ｖｌ₄ が検出される。次いで、ステップｆ２において、
ｍ₁ ｖｌ₄ の探索範囲に含まれるｉｖｌ₄ を検出し、さ
らにステップｆ６でｉｖｌ₄ に対応付くモデル罫線とし
てｍ₁ ｖｌ₅ とｍ₁ ｖｌ₆ を検出する。このうち、ｍ₁
ｖｌ₆ とｍ₁ ｖｌ₄ は共存できる（同時に存在できる）
が、ｍ₁ ｖｌ₄とｍ₁ ｖｌ₅ の両立性は矛盾する。そこ
で、ステップｆ９でｍ₁ ｖｌ₄ とｍ₁ ｖｌ₅ のどちらが
当該入力罫線に近いかが判断され、その結果、ｍ₁ ｖｌ
₄ の方が近いことが分かる。これによりステップｆ１０
でｉｖｌ₄ とｍ₁ ｖｌ₅ の対応関係が無効とされ、ステ
ップｆ１１，ｆ１２において、ｍ₁ ｖｌ₄ とｉｖｌ₄ の
対応が新たに生成され、これにより生じる座標値の変更
がステップｆ７，ｆ８で行なわれる。

【０２５０】ステップｆ１０で対応関係を無効とされた
ことにより、ｍ₁ ｖｌ₅ に対応付く入力罫線が存在しな
くなった。これをステップｆ１４で検知したあと、ｍ₁
ｖｌ₅ に対応付く入力罫線の発見・設定処理が行なわれ
る。まず、ステップｆ２でｍ₁ ｖｌ₅ の探索範囲でｉｖ
ｌ₄ を発見し、ステップｆ６でｉｖｌ₄ に対応付くモデ
ル罫線としてｍ₁ ｖｌ₄ とｍ₁ ｖｌ₆ を検出する。この
うち、ｍ₁ ｖｌ₆ とｍ₁ ｖｌ₅ は共存できる（同時に存
在できる）が、ｍ₁ ｖｌ₄ とｍ₁ ｖｌ₅ の両立性は矛盾
することがわかっており、さらにｍ₁ ｖｌ₄ の方がｍ₁
ｖｌ₅ より近いことが分かっているので、ｍ₁ ｖｌ₅ に
対応する入力罫線は当該入力罫線集合では見つからなか
ったとして、ステップｆ３で仮想入力罫線を生成させ、
その位置座標をステップｆ４とｆ５で設定し、ステップ
ｆ１３で当該罫線集合に加える。この結果、当該モデル
罫線集合に未対応モデル罫線がなくなり、未対応・矛盾
対応発見修正手段３９における処理は終了となる。

【０２５１】以上の処理結果により得られた罫線マッチ
ングに対して、以下の手順によって示されるマッチング
後処理を適用することによって、さらにマッチング結果
の精度を上げることができる。あるモデル罫線に対応付
くべき入力罫線の付近に当該モデル罫線との間の類似度
が高い線分（例えば取り消し線）が存在する場合、誤っ
てそれに対応づけてしまうことがある。以下の処理は、
このような誤りを解消するものである。

【０２５２】Ｓｔｅｐ１：モデル罫線（ｍｌ）を１つ抽
出する。

【０２５３】Ｓｔｅｐ２：その探索範囲（上述したａｒ
ｅａ_ml）内に存在する入力罫線（ｉｌ）を抽出し、モデ
ルとの類似度（ｌｓｉｍ_ml）を計算する。ここで、ｍｌ
ｈ：ｍｌの縦幅、ｍｌｗ：ｍｌの横幅、ｉｌｈ：ｉｌの
縦幅、ｉｌｗ：ｉｌの横幅とすると、ｍｌが水平罫線の
場合には、 ｌｓｉｍ_ml＝ 100− 200×｜ｍｌｗ−ｉｌｗ｜／（ｍｌ
ｗ＋ｉｌｗ）とし、垂直罫線の場合には、 ｌｓｉｍ_ml＝ 100− 200×｜ｍｌｈ−ｉｌｈ｜／（ｍｌ
ｈ＋ｉｌｈ）とする。

【０２５４】Ｓｔｅｐ３：ｌｓｉｍ_ml≧th10である入力
罫線（ｉｌ′）をすべて抽出する。

【０２５５】Ｓｔｅｐ４：当該モデル罫線と対応づいて
いた入力罫線とｉｌ′の中で最も距離ｄｄ_mlが近い罫線
を選び、あらためてそれを当該モデルに対応づける。こ
こで、ｍｌの左上端と右下端の座標をそれぞれ（ｍｌｘ
1 ，ｍｌｙ1 ）、（ｍｌｘ2，ｍｌｙ2 ）、ｉｌ′の左
上端と右下端をそれぞれ（ｉｌ′ｘ1 ，ｉｌ′ｙ1 ）、
（ｉｌ′ｘ2 ，ｉｌ′ｙ2 ）とすると、ｍｌが水平罫線
の場合には、 ｄｄ_ml＝ min（ｍｌｙ1 ，ｉｌ′ｙ1 ）− max（ｍｌｙ
2 ，ｉｌ′ｙ2 ）＋１ とし、垂直罫線の場合には、 ｄｄ_ml＝ min（ｍｌｘ1 ，ｉｌ′ｘ1 ）− max（ｍｌｘ
2 ，ｉｌ′ｘ2 ）＋１ とする。

【０２５６】以上の結果、入力構造化とモデル構造化特
徴間の対応付け処理は終了したことになり、入力文書の
すべての罫線特徴の座標系を元に戻すようにする。

【０２５７】未対応・矛盾対応発見修正手段３９により
整合の得られた入力構造化特徴とモデル構造化特徴の対
応関係を用いて、入力文書の罫線特徴集合に対して、以
下に述べる罫線成形処理を施すことによって以後の処理
が安定に行なわれるようにしてもよい。

【０２５８】例えば、図３１に示すように、罫線特徴
（図中Ｌ１）の端点（図中Ｅ）がそれに直交する他の罫
線特徴（図中Ｌ２）に接していない場合には、Ｌ１の端
点の位置座標を変更して、Ｌ２に接するようにすること
で罫線特徴を成形する。この成形処理は、入力画像の水
平罫線集合と垂直罫線集合の両方に適用される。

【０２５９】水平罫線集合に対する罫線成形処理部の動
作は、例えば次のようになる。ここでＬ１の左上端の座
標値を（Ｌ₁ ｘ1 ，Ｌ₁ ｙ1 ）、右下端の座標値を（Ｌ
₁ ｘ2 ，Ｌ₁ ｙ2 ）、Ｌ２の左上端の座標値を（Ｌ₂ ｘ
1 ，Ｌ₂ ｙ1 ）、右下端の座標値を（Ｌ₂ ｘ2 ，Ｌ₂ ｙ
2 ）とする。

【０２６０】Ｓｔｅｐ１：入力画像に対応するモデル文
書の水平罫線特徴集合の任意の罫線特徴を選択する。

【０２６１】Ｓｔｅｐ２：着目水平罫線の両端に接する
モデル垂直罫線を検出する。

【０２６２】例えば、図３１のＬ１の左端（点Ｅ）に接
するべき垂直罫線Ｌ２は、次のようにして検出される。
まず、探索領域を設定する。予め設定してあるしきい値
をth12とすると、探索領域は例えば、（Ｌ₁ ｘ1 −th1
2，（Ｌ₁ ｙ1 ＋Ｌ₁ ｙ2 ）／２−th12）、（Ｌ₁ ｘ1
＋th12，（Ｌ₁ ｙ1 ＋Ｌ₁ ｙ2 ）／２＋th12）で示され
る矩形（図３１中の破線で示されている矩形）の内部と
する。

【０２６３】次に、探索領域に交差する垂直罫線のうち
以下に定義する距離：ｄｉｓｔが最小のものを抽出す
る。

【０２６４】 ｄｉｓｔ＝｜Ｌ₁ ｘ1 −（Ｌ₂ ｘ1 ＋Ｌ₂ ｘ2 ）／２｜ Ｓｔｅｐ３：着目モデル水平罫線に対応付いている入力
垂直罫線を抽出する。ここで、着目入力水平罫線の左上
端の位置座標値を（ｉｘ1 ，ｉｙ1 ）、右下端の位置座
標値を（ｉｘ2 ，ｉｙ2 ）とする。

【０２６５】Ｓｔｅｐ４：着目モデル水平罫線の左端に
接するモデル垂直罫線に対応付いている入力垂直罫線を
抽出する。ここで、その左上端の位置座標値を（ｌｘ1
，ｌｙ1 ）、右下端の位置座標値を（ｌｘ2 ，ｌｙ2
）とする。

【０２６６】Ｓｔｅｐ５：着目モデル水平罫線の右端に
接するモデル垂直罫線に対応付いている入力垂直罫線を
抽出する。ここで、その左上端の位置座標値を（ｒｘ1
，ｒｙ1 ）、右下端の位置座標値を（ｒｘ2 ，ｒｙ2
）とする。

【０２６７】Ｓｔｅｐ６：着目入力水平罫線の左上端の
位置座標を（（ｌｘ1 ＋ｌｘ2 ）／２，ｉｙ1 ）に変更
する。

【０２６８】Ｓｔｅｐ７：着目入力水平罫線の右下端の
位置座標を（（ｒｘ1 ＋ｒｘ2 ）／２，ｉｙ2 ）に変更
する。

【０２６９】Ｓｔｅｐ８：Ｓｔｅｐ２からＳｔｅｐ７ま
での処理を、すべてのモデル水平罫線特徴に対して行な
う。

【０２７０】文書構造獲得部４１は、入力文書とモデル
文書との間で矛盾のない構造化特徴間対応関係が得られ
た場合には、以下に示す処理を行なうことにより入力文
書の構造を獲得する。すなわち、モデル登録部３１で予
め登録されている当該モデル文書の知識を、構造化特徴
間対応関係に基づいて入力文書にコピーすることによ
り、入力文書の構造を獲得したものと見なす。

【０２７１】具体的に説明すると、まず、モデル文書の
各罫線特徴に付与されている識別番号（以後、ｉｄと呼
ぶ）を罫線対応関係に基づいて、それに対応付いている
入力文書の罫線特徴に付与する。

【０２７２】次いで、モデル文書に対して定義されてい
る種々の知識を入力文書に対して用意されている、知識
を格納するためのメモリ４３ｂの所定の領域にコピーす
る。後段の文字列領域抽出部４３、文字認識部４５、文
字認識結果出力部４７は、メモリ４３ｂの所定の領域に
コピーされた知識に基づいて動作する。

【０２７３】文字列領域抽出部４３は、文書構造獲得部
４１で得られた当該文書に関する知識を用いて、認識対
象文字列領域として定義されている領域のみを入力画像
から切り出す。認識対象文字列領域は、例えば領域を囲
んでいる上下左右の罫線のそれぞれの識別番号で定義さ
れていてもよい。この場合、文字列領域抽出部４３で
は、入力文書画像中に位置するそれらの罫線の内側の部
分を入力画像から切り出すことにより文字列領域を抽出
する。

【０２７４】文字認識部４５は、文字列領域抽出部４３
において抽出された文字列画像を、その文字列領域につ
いて定義されている知識を制約条件として用いて、例え
ば文献「信学技報、ＰＲＵ９３−４７、１９９３」に記
載されている方式に基づいた処理により、文字切り出し
／認識処理を行ない、コードデータに変換する。

【０２７５】このとき、各文字認識結果は類似度の降順
にソートされており、上位Ｎ位まで保持されているよう
にしてもよい。また、認識結果はオペレータとシステム
との対話的な修正作業により修正されるようになってい
てもよい。

【０２７６】文字認識結果出力部４７は、文字認識部４
５による文字認識結果に対して、文字単位で修正が済ん
だ文字コードデータに応じて、入力文書に対応付いたモ
デルに関して予め指定されている出力形態に基づき、デ
ィスプレイあるいはファイルに出力する。

【０２７７】このようにして、本発明では、入力画像か
ら抽出した罫線特徴を、特徴構造化部２９において構造
化して、さらに表特徴、接合部に関する特徴などを抽出
し、それらの関係を抽出・管理する。これらの情報を用
いて、モデル登録部３１によって予め登録されているモ
デル文書のフォーマットに関する構造化特徴間で対応付
け処理を行なう。このとき、モデル照合部３５によっ
て、入力文書とモデル文書の間で表特徴集合間の照合処
理を行ない、さらにその中に含まれる罫線特徴集合間で
照合処理を行なうことにより、以下のような効果が得ら
れる。

【０２７８】１．階層的な照合処理を行なうので計算量
を少なくすることができる。

【０２７９】２．表が複数混在している場合も取り扱う
ことができる。

【０２８０】３．表単位の照合処理を行なうことにより
全体的な配置関係を考慮することができ、局所的に見て
同じ特徴量を有する場合でも対応付け誤りが生じない。

【０２８１】４．表間対応ごとに大きさの倍率に関する
パラメータを求めることができ、モデル表に対応する入
力表の大きさに関するパラメータがそれぞれ独立した値
を持つような文書を取り扱うことができる。

【０２８２】５．表が印刷品質の劣化などにより分裂し
ている場合も取り扱うことができる。

【０２８３】６．入力文書とモデル文書の間で罫線間の
対応関係を求めるので、罫線がかすれていたり、途切れ
ていたり、欠落している場合や余分な特徴抽出結果があ
る場合にも対応できる。

【０２８４】７．罫線単位で対応付け処理を行なうとき
に、複数対複数の対応を許しているので、罫線分布が局
所的に変動している場合にも対応できる。

【０２８５】照合処理結果に対しては、照合結果判定部
３７によって、照合度を用いてその妥当性を評価するこ
とにより、正しい対応付け結果のみを採用することがで
きる。

【０２８６】さらに、照合処理結果に対して、未対応・
矛盾対応発見修正部３９によって、不完全な対応結果を
発見し、修正するので以下のような効果が得られる。

【０２８７】１．印刷の品質の悪い文書にも対応でき
る。

【０２８８】２．特徴抽出結果が不完全である場合にも
対応できる。

【０２８９】３．対応関係に基づいている後段の処理で
処理不能となることがない。

【０２９０】４．未対応箇所に対して、特徴抽出時のパ
ラメータを調整して未検出な画像特徴の抽出が可能とな
る。

【０２９１】また、本発明ではモデル照合処理の前に、
フォーマット種別同定部３３によって、入力文書の書式
構造種別の同定処理を行なうことにより、照合処理で適
用すべきモデルの種類を絞りこむので、無駄な照合処理
を行なわないため、以下のような効果がある。

【０２９２】１．計算量が少ない。

【０２９３】２．構造のかけ離れたものにむりやり対応
付けることがないため高精度な処理結果が得られる。

【０２９４】３．オペレータが対象文書ごとにモデルを
手動で与える必要がないので、システムの自動運転が可
能となる。

【０２９５】４．モデル登録時に正立したモデルフォー
マットから、左および右に９０度回転させたもの、１８
０度回転させたものの４種類を登録し、モデル照合時に
これらと対応付け処理を行なうことにより、文書の入力
方向を限定しなくてもよい。

【０２９６】

【発明の効果】以上詳述したように本発明によれば、表
形式の帳票などの書式構造を正確に認識でき、効率の良
い文字列の領域の特定が可能となるものである。

【図面の簡単な説明】

【図１】本発明の一実施例に係わる画像処理装置の概略
構成を示すブロック図。

【図２】本実施例における処理対象文書の一例を示す
図。

【図３】本発明の一実施例である文字認識装置と組み合
わせた文書画像処理システムの概略構成を示すブロック
図。

【図４】本実施例における特徴抽出部２７の構成を示す
ブロック図。

【図５】入力画像から抽出された線分素の例を示す図。

【図６】入力画像から抽出された文字候補矩形の例を示
す図。

【図７】本実施例における特徴抽出部２７の他の構成を
示すブロック図。

【図８】文字候補矩形に交差・内包する線分素の例を示
す図。

【図９】入力画像から抽出された罫線特徴の例を示す
図。

【図１０】本実施例における特徴構造化部２９の構成を
示すブロック図。

【図１１】入力画像から抽出された表特徴の例を示す
図。

【図１２】入力画像から抽出された接合部特徴の例を示
す図。

【図１３】階層的に関連づけられて管理される特徴に関
する情報の一例を示す図。

【図１４】モデル文書の一例を示す図。

【図１５】モデル文書の一例を示す図。

【図１６】本実施例におけるモデル照合部３５の構成を
示すブロック図。

【図１７】本実施例における表照合部３５ｂの構成を示
すブロック図。

【図１８】任意の矩形領域の周辺に関する領域を定義す
るための説明に用いる図。

【図１９】本実施例における最良マッチング抽出部３５
ｂ−３の構成を示すブロック図。

【図２０】連合グラフの一例を示す図。

【図２１】表特徴の分裂および接触の例を示す図。

【図２２】本実施例における罫線照合部３５ｃの構成を
示すブロック図。

【図２３】本実施例における垂直罫線照合部３５ｃ−２
および水平罫線照合部３５ｃ−３の構成を示すブロック
図。

【図２４】１本の罫線が分離している場合の例を示す
図。

【図２５】分離している罫線を統合した例を示す図。

【図２６】複数のモデル罫線と複数の入力罫線が対応付
く例を示す図。

【図２７】任意の１本のモデル罫線特徴に対応付く可能
性のある入力罫線特徴を抽出するための探索範囲の例を
示す図。

【図２８】連合グラフの一例を示す図。

【図２９】未対応・矛盾対応発見抽出処理により矛盾し
た対応が生じてしまう例を示す図。

【図３０】未対応・矛盾対応発見抽出処理の流れ示すフ
ローチャートの例を表す図。

【図３１】罫線特徴の端点がそれに直交する他の罫線特
徴に接していない例を示す図。

【符号の説明】

１１，２１…画像入力部、１２…特徴抽出部、１３…特
徴構造化部、１４…書式構造情報登録部、１５…書式構
造種別同定部、１６…書式構造情報照合部、１７…未対
応・矛盾対応発見修正部、１８…照合結果判定部、１９
…文書構造獲得部、２３…２値化処理部、２５…前処理
部、２７…特徴抽出部、２７ａ…線分抽出部、２７ｂ…
文字候補矩形抽出部、２７ｃ…罫線特徴抽出部、２７ｄ
…フィルタリング処理部、２９…特徴構造化部、２９ａ
…罫線グループ化処理部、２９ｂ…表特徴抽出部、２９
ｃ…罫線接合部検出部、２９ｄ…特徴間関係記述部、３
１…モデル登録部、３３…フォント種別同定部、３５…
モデル照合部、３５ａ…選択部、３５ｂ…表照合部、３
５ｂ−１…対応可能ペア検出部、３５ｂ−２…異種対応
可能ペア間両立関係判定部、３５ｂ−３…最良マッチン
グ抽出部、３５ｂ−３ａ…連合グラフ作成部，３５ｂ−
３ｂ…最大クリーク抽出部、３５ｃ…罫線照合部、３５
ｃ−１…表対応選択部、３５ｃ−２…垂直罫線照合部、
３５ｃ−２ａ…対応可能罫線特徴ペア検出部、３５ｃ−
２ｂ…対応可能罫線特徴ペア間両立性判定部、３５ｃ−
２ｃ…最良マッチング抽出部、３５ｃ−３…水平罫線照
合部、３５ｃ−４…方向間整合獲得部、３５ｄ…照合度
計算部、３５ｅ…照合結果出力部、３７…照合結果判定
部、３９…未対応矛盾対応発見修正部、４１…文書構造
獲得部、４３…文字列領域抽出部、４５…文字認識部、
４７…文字認識結果出力部。

Claims (10)

【特許請求の範囲】
1. 【請求項１】 文書より入力画像を生成する画像入力手
   段と、 入力画像の書式構造を認識するために用いられる処理対
   象文書の書式構造に関する情報（書式構造モデル）を予
   め登録する書式構造情報登録手段と、 前記画像入力手段により生成された入力画像から幾何学
   的な図形特徴量を抽出する特徴抽出手段と、 前記特徴抽出手段より抽出された図形特徴量をグループ
   化して画像特徴を生成し、それぞれの画像特徴間の関係
   を抽出・管理する特徴構造化手段と、 前記特徴構造化手段で得られた入力画像の画像特徴と、
   前記書式構造情報登録手段によって予め登録されている
   処理対象文書の書式構造に関する情報を用いて、入力文
   書の書式構造の種別の候補を絞りこむ書式構造種別同定
   手段と、 前記書式構造同定手段で候補となったすべての書式構造
   モデルと前記特徴構造化手段で構造化された入力文書の
   特徴との間で対応付けを行ない、最も良く対応づいた書
   式構造モデルと入力文書の組を選択し、その対応関係を
   獲得する書式構造情報照合手段と、 前記書式構造情報照合手段で選択された書式構造文書と
   入力文書における構造化特徴間の対応付けにおいて、不
   完全な対応付けおよび矛盾した対応付けを解消すること
   により整合のとれた前記書式構造モデルと入力文書の構
   造化された特徴間の対応関係を獲得する未対応・矛盾対
   応発見修正手段と、 前記未対応・矛盾対応発見修正手段によって得られた前
   記書式構造モデルと入力文書の構造化された特徴間の対
   応関係に基づいて、予め登録されている当該書式構造モ
   デルに関する情報を入力文書にコピーすることにより入
   力文書の書式構造と関連情報を獲得する文書構造獲得手
   段と、 を具備することを特徴とする文書画像処理装置。
2. 【請求項２】 文書より入力画像を生成する画像入力手
   段と、 前記画像入力手段により生成された入力画像から線分と
   文字成分に関する図形特徴を抽出し、さらに前記入力画
   像における文字成分以外の領域から線分に関する特徴を
   罫線を構成する図形特徴とみなして抽出する特徴抽出手
   段と、 前記特徴抽出手段より抽出された罫線に関する図形特徴
   をグループ化することにより表に関する特徴を抽出し、
   各表に関する特徴において罫線が交差・接続する部分に
   生じる接合部に関する情報を抽出し、それぞれの特徴間
   の関係を抽出・管理する特徴構造化手段と、 を具備することを特徴とする文書画像処理装置。
3. 【請求項３】 文書より入力画像を生成する画像入力手
   段と、 前記画像入力手段により生成された入力画像から線分と
   文字成分に関する図形特徴を抽出し、さらに前記入力画
   像における文字成分以外の領域から線分に関する特徴を
   罫線を構成する図形特徴とみなして抽出する罫線特徴抽
   出手段と、 前記罫線特徴抽出手段より抽出された罫線に関する図形
   特徴の集合に対して、交差・接続する罫線を同じグルー
   プにまとめることにより表に関する特徴を抽出する表特
   徴抽出手段と、 を具備することを特徴とする文書画像処理装置。
4. 【請求項４】 文書より入力画像を生成する画像入力手
   段と、 入力画像の書式構造を認識するために用いられる処理対
   象文書の書式構造に関する情報（書式構造モデル）を予
   め登録する書式構造情報登録手段と、 前記画像入力手段によって生成された入力画像から線分
   と文字成分に関する図形特徴を抽出し、さらに入力画像
   における文字成分以外の領域から線分に関する特徴を罫
   線に関する図形特徴とみなして抽出する特徴抽出手段
   と、 前記特徴抽出手段より抽出された罫線に関する図形特徴
   をグループ化することにより表に関する特徴を抽出し、
   各表に関する特徴において罫線が交差・接続する部分に
   生じる接合部に関する情報を抽出し、それぞれの特徴間
   の関係を抽出・管理する特徴構造化手段と、 前記特徴構造化手段により得られた前記入力文書の表に
   関する特徴と、予め前記書式構造情報登録手段により登
   録されている書式構造モデルを構成する表に関する特徴
   との間で照合処理を行い、表間対応関係を獲得する表照
   合手段と、 前記表照合手段により得られた表の対応関係において入
   力文書の表を構成する罫線と、同罫線に対応付く書式構
   造モデルの表を構成する罫線との間の対応関係を獲得す
   る罫線照合手段と、 前記照合処理結果に基づき特徴間の対応付きの程度を表
   す照合度を計算し、正しい対応付けが行なわれているか
   否かの判断を行なう照合結果判定手段と、 を具備することを特徴とする文書画像処理装置。
5. 【請求項５】 文書より入力画像を生成する画像入力手
   段と、 入力画像の書式構造を認識するために用いられる処理対
   象文書の書式構造に関する情報（書式構造モデル）を予
   め登録する書式構造情報登録手段と、 前記画像入力手段によって生成された入力画像から幾何
   学的な図形特徴量を抽出する特徴抽出手段と、 前記特徴抽出手段より抽出された図形特徴量をグループ
   化して画像特徴を生成し、それぞれの特徴間の関係を抽
   出・管理する特徴構造化手段と、 前記特徴構造化手段で得られた入力画像の構造化された
   画像特徴と、予め前記書式構造情報登録手段によって登
   録されている処理対象文書の書式構造に関する情報を用
   いて、類似度を計算し、最も類似度の高い書式構造モデ
   ルあるいは類似度の高いものから順に複数個の書式構造
   モデルあるいはある一定値以上の類似度を有する書式構
   造モデルを選び、前記入力文書の書式構造の種別を一つ
   あるいは複数個の候補に絞りこむ書式構造種別同定手段
   と、 を具備することを特徴とする文書画像処理装置。
6. 【請求項６】 文書より入力画像を生成する画像入力手
   段と、 入力画像の書式構造を認識するために用いられる処理対
   象文書の書式構造に関する情報（書式構造モデル）を予
   め登録する書式構造情報登録手段と、 前記画像入力手段により得られた入力画像から線分と文
   字成分に関する図形特徴を抽出し、さらに入力画像にお
   ける文字成分以外の領域から線分に関する特徴を罫線に
   関する図形特徴とみなして抽出する特徴抽出手段と、 前記特徴抽出手段より抽出された罫線に関する図形特徴
   をグループ化することにより表に関する特徴を抽出し、
   各表に関する特徴において罫線が交差・接続する部分に
   生じる接合部に関する情報を抽出し、それぞれの特徴間
   の関係を抽出・管理する特徴構造化手段と、 前記特徴構造化手段で得られた入力画像の構造化された
   特徴と、予め前記書式構造情報登録手段によって登録さ
   れている処理対象文書の書式構造に関する情報を用い
   て、類似度を計算し、最も類似度の高い書式構造モデル
   あるいは類似度の高いものから順に複数個の書式構造モ
   デルあるいはある一定値以上の類似度を有する書式構造
   モデルを選び、入力文書の書式構造の種別を一つあるい
   は複数個の候補に絞りこむ書式構造種別同定手段と、 前記書式構造種別同定手段により選択されたそれぞれの
   書式構造モデルに対して、 前記特徴構造化手段により得られた入力文書の表に関す
   る特徴と、前記書式構造情報登録手段により登録されて
   いる当該書式構造モデルを構成する表に関する特徴との
   間い照合処理を行ない、表間対応関係を獲得する表照合
   手段と、 前記表照合手段により得られた表の対応関係において入
   力文書の表を構成する罫線と同罫線に対応付く書式構造
   モデルの表を構成する罫線との間の対応関係を獲得する
   罫線照合手段と、 前記罫線照合手段により得られた対応関係に対して、特
   徴間の対応付きの程度を表す照合度を計算する照合度計
   算手段と、 前記照合度計算手段で計算されたそれぞれの書式構造モ
   デルの照合度の中から最大照合度を示す書式構造モデル
   を抽出する照合結果出力手段と、 前記照合結果出力手段によって抽出された書式構造モデ
   ルの最大照合度を用いて、入力文書と当該書式構造モデ
   ルの構造化特徴間で正しい対応付けが行われているか否
   かの判定を行なう照合結果判定手段と、 を具備することを特徴とする文書画像処理装置。
7. 【請求項７】 前記書式構造情報登録手段は、 入力文書の書式構造を認識するために用いられる処理対
   象文書の書式構造に関する情報を登録する際に、正立し
   た処理対象文書の書式構造に関する情報を複数の所定角
   度で回転させたものを発生させ、それぞれに正立したも
   のから何度回転しているかに関する情報を付与し、それ
   らすべてを処理対象文書の書式構造に関する情報として
   登録することを特徴とする請求項１または請求項４また
   は請求項５または請求項６記載の文書画像処理装置。
8. 【請求項８】 文書より入力画像を生成する画像入力手
   段と、 入力文書の書式構造を認識するために用いられる処理対
   象文書の書式構造に関する情報を登録する際に、正立し
   た処理対象文書の書式構造に関する情報を複数の所定角
   度で回転させたものを発生させ、それぞれに正立したも
   のから何度回転しているかに関する情報を付与し、それ
   らすべてを処理対象文書の書式構造に関する情報として
   登録する書式構造情報登録手段と、 前記画像入力手段により生成された入力画像から幾何学
   的な図形特徴量を抽出する特徴抽出手段と、 前記特徴抽出手段より抽出された図形特徴量をグループ
   化することで画像特徴を生成し、それぞれの特徴間の関
   係を抽出・管理する特徴構造化手段と、 前記特徴構造化手段で得られた入力画像の構造化された
   画像特徴と、前記書式構造情報登録手段によって予め登
   録されている処理対象文書の書式構造に関する情報を用
   いて、入力文書の書式構造の種別を一つあるいは複数個
   の候補に絞りこむ書式構造種別同定手段と、 前記書式構造種別同定手段で候補となったすべての書式
   構造モデルと入力文書の前記特徴構造化手段で構造化さ
   れた特徴との間で対応付けを行ない、最も良く対応づい
   た書式構造モデルと入力文書の組を選択し、その対応関
   係を獲得するモデル照合手段と、 前記モデル照合手段で選択された書式構造文書と入力文
   書における構造化特徴間の対応付けにおいて、不完全な
   対応付けおよび矛盾した対応付けがなされているか否か
   を発見し、それらを解消することにより整合のとれた前
   記書式構造モデルと入力文書の構造化された特徴間の対
   応関係を獲得する未対応、矛盾対応発見・修正手段と、 前記モデル照合手段で入力画像に対応付いた書式構造モ
   デルが所定角度で回転させたものである場合には、その
   回転角度を正立する方向に入力画像を回転し、正立した
   当該書式モデルと対応付ける画像回転手段と、 前記書式構造モデルと入力文書の構造化された特徴間の
   対応関係に基づいて、予め登録されている当該書式構造
   モデルに関する情報を入力文書にコピーすることにより
   入力文書の書式構造と関連情報を獲得する文書構造獲得
   手段と、 を具備することを特徴とする文書画像処理装置。
9. 【請求項９】 文書より入力画像を生成する画像入力手
   段と、 入力画像の書式構造を認識するために用いられる処理対
   象文書の書式構造に関する情報（書式構造モデル）を予
   め登録する書式構造情報登録手段と、 前記画像入力手段によって生成された入力画像から線分
   と文字成分に関する図形特徴を抽出し、さらに入力画像
   における文字成分以外の領域から線分に関する特徴を罫
   線に関する図形特徴（罫線特徴）とみなして抽出する特
   徴抽出手段と、 前記特徴抽出手段より抽出された罫線特徴をグループ化
   することにより表に関する特徴（表特徴）を抽出し、各
   表特徴において罫線が交差・接続する部分に生じる接合
   部に関する情報を抽出し、それぞれの特徴間の関係を抽
   出・管理する特徴構造化手段と、 前記特徴構造化手段により得られた入力文書の表特徴
   と、予め前記書式構造情報登録手段により登録されてい
   る書式構造モデルを構成する表特徴との間で照合処理を
   行い、表間対応関係を獲得する表照合手段と、 前記表照合手段により得られた表の対応関係において入
   力文書の表を構成する罫線特徴とそれに対応付く書式構
   造モデルの表を構成する罫線との間の対応関係を獲得す
   る罫線照合手段と、 前記罫線照合手段により獲得された対応関係に対し、特
   徴間の対応付きの程度を表す照合度を計算し、正しい対
   応付けが行なわれているか否かの判定を行なう照合結果
   判定手段と、 前記照合結果判定手段によって正して対応付けが行われ
   ていると判定された入力文書と書式構造モデルの罫線特
   徴間の対応関係において、入力文書の罫線特徴（入力罫
   線特徴）に対応付いていない書式構造モデルの罫線特徴
   （未対応モデル罫線特徴）を抽出する手段と、 前記未対応モデル罫線特徴に対応付くべき入力罫線特徴
   が他のモデル罫線特徴に対応付いている場合には、その
   対応関係を解消し、未対応モデル罫線特徴とその入力罫
   線特徴を対応付ける手段と、 前記未対応モデル罫線特徴に対応付くべき欠損した未対
   応の入力罫線特徴がある場合には、未対応モデル罫線特
   徴と当該入力罫線特徴を対応付ける手段と、 前記未対応モデル罫線特徴に対応付くべき入力罫線特徴
   が見つからない場合には、対応付くべき入力罫線特徴を
   新たに発生させ、未対応モデル罫線特徴と新たに発生さ
   せた入力罫線特徴を対応付ける手段によって未対応およ
   び矛盾対応を修正する手段と、 を具備することを特徴とする文書画像処理装置。
10. 【請求項１０】 文書より入力画像を生成する画像入力
    手段と、 入力画像の書式構造を認識するために用いられる処理対
    象文書の書式構造に関する情報（書式構造モデル）を予
    め登録する書式構造情報登録手段と、 前記画像入力手段により生成された入力画像から線分と
    文字成分に関する図形特徴を抽出し、さらに入力画像に
    おける文字成分以外の領域から線分に関する特徴を罫線
    に関する図形特徴（罫線特徴）とみなして抽出する特徴
    抽出手段と、 前記特徴抽出手段より抽出された罫線特徴をグループ化
    することにより表に関する特徴（表特徴）を抽出し、各
    表特徴において罫線が交差・接続する部分に生じる接合
    部に関する情報を抽出し、それぞれの特徴間の関係を抽
    出・管理する特徴構造化手段と、 前記特徴構造化手段により得られた入力文書の表特徴
    と、予め書式構造情報登録手段により登録されている書
    式構造モデルを構成する表特徴との間で照合処理を行
    い、表間対応関係を獲得する表照合手段と、 前記表照合手段により得られた表の対応関係において入
    力文書の表を構成する罫線特徴とそれに対応付く書式構
    造モデルの表を構成する罫線特徴との間の対応関係を獲
    得する罫線照合手段と、 前記罫線照合手段で獲得された罫線特徴間の対応関係に
    おいて、当該書式構造モデルの罫線特徴集合における罫
    線間の接続関係に基づいて、対応する入力文書の罫線特
    徴集合における罫線間の接続関係を修正する罫線照合後
    処理手段と、 を具備することを特徴とする文書画像処理装置。