JPH10289253A - キーワード領域抽出方式 - Google Patents

Abstract

(57)【要約】 【課題】 本発明は、電子ファイリングシステムにおけ
るキーワード検索を行うため、入力文書のキーワード領
域を精度よく抽出することを目的とする。 【解決手段】 文書のフォームのうち罫線とユーザが指
定したキーワード領域との相対位置情報をフォーム辞書
に登録しておき、入力文書に対してフォームマッチング
を行い、対応する罫線を特定し、その罫線から上記相対
位置情報を用いて入力文書のキーワード領域を抽出す
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、電子的に入力され
た文書をキーワードを用いて検索するために使用される
入力文書中のキーワード領域の抽出方式に関する。

【０００２】

【従来の技術】近年、オフィスの効率化のために紙文書
を電子化して光ディスク等に保存する「電子ファイリン
グ」の需要が増加している。従来の電子ファイリング
は、スキャナなどで文書入力する際に、後の検索のため
のキーワードをキー入力する必要があった。この不便さ
を解消するために、既に、文書タイトルをキーワードと
して自動抽出／登録する技術を開発した（特願平７−２
２９５０８号、特願平７−３４１９８３号）。これによ
り表外にあるタイトルは、約９０％の精度で自動抽出が
できた。しかし、表内のタイトルについては、約５５％
と実用にするには精度が不十分であった。

【０００３】表内のタイトル等のキーワードを高精度に
自動抽出するために、予め表を含む文書を登録して、後
で登録文書については高精度で正しいキーワードを抽出
する「表形式文書のフォーム学習」を開発した（特願平
８−３４２１８５号、特願平８−３５１３４６号）。

【０００４】

【発明が解決しようとする課題】しかしながら、従来使
用されているキーワード領域抽出技術は、電子ファイリ
ングで使われる以下のような固定フォーム入力の中で使
われているものである。 １）フォーム登録時：フォーム登録用に文書を入力し、
文書画像上の特定領域をユーザが指定することにより、
その領域の座標を、文書画像の左上を原点とした絶対座
標で記憶する。 ２） 文書自動入力時：文書入力すると、電子ファイリ
ングシステム内部で文書のマッチングを行い、入力文書
と同じフォームを登録辞書内にある文書の中から選択す
る。選択された文書には、フォーム登録時に指定された
キーワード領域座標が格納してあるので、それを使用し
て、キーワード領域の絶対座標の領域を抽出し、その内
部を文字認識して、キーワードの文字コードを抽出す
る。ここで、入力文書のキーワード領域とは必ずしも罫
線等で囲まれているものではないから、正確なキーワー
ド検索を行うためには境界情報の正確な抽出が必要であ
る。

【０００５】しかしながら、上記方法は、キーワード領
域の座標が絶対座標であるので、フォーム登録時と入力
時の文書画像のズレ（傾き、位置ズレなど）やＦＡＸな
どによる若干の文書の形の伸縮変化があると正しいキー
ワード領域を抽出することができない問題点があった。

【０００６】

【課題を解決するための手段】本発明は、入力画像と予
め登録しておいた辞書のフォームが正しくマッチングさ
れた場合に、マッチしたフォーム辞書に登録されている
キーワード領域に相当する入力画像上の領域を正しく抽
出するものである。

【０００７】本発明では、キーワード領域の座標を絶対
座標でなく、文書画像中にあるキーとなる物理的オブジ
ェクト（例えば表罫線）からの相対座標として定義する
ことにより、従来技術のような画像のズレや形の変化に
対してロバストなキーワード領域抽出を実現する。

【０００８】図１は本発明のキーワード領域抽出方式の
原理図である。 Ａ） 辞書登録時 １）文書画像のフォームからキーとなる物理的オブジェ
クト（表罫線、特定の画像、特定の文字／文字列など）
を物理オブジェクト抽出手段１で求める。

【０００９】２）文書画像のフォームからユーザが指定
したキーワード領域を手段２により抽出する。 ３）キーとなる物理的オブジェクトとキーワード領域の
相対的位置関係を求め、それをキーオブジェクトの位置
と共にフォーム辞書３に記憶する。 Ｂ） 文書入力時 １）入力文書画像４にマッチする辞書内のフォームをマ
ッチング手段５により決定する。

【００１０】２）入力文書画像からキーとなる物理的オ
ブジェクト（表罫線、特定の画像、特定の文字／文字列
など）を求める。 ３）マッチしたフォーム辞書内のキーオブジェクトとそ
こからのキーワード領域の相対座標を参照して、入力文
書画像の同じキーオブジェクト位置から相対位置にある
キーワード領域をキーワード領域抽出手段６で求める。

【００１１】本発明では罫線等からの相対位置情報を使
って罫線等の近傍のキーワード領域を正確に抽出するこ
とにより、キーワードの適切な検索が可能となる。特
に、入力時の文書画像のズレやＦＡＸ等による文書画像
の変化した場合にも正確にキーワード領域を抽出でき
る。

【００１２】既に出願されている発明（特願平８−３４
２１８５号、特願平８−３５１３４６号）と本発明を併
せて、電子ファイリングでのフォーム学習を使った有効
なキーワード自動抽出が実現可能となる。

【００１３】請求項１の発明は、予めフォームの物理オ
ブジェクトとフォームのキーワード領域を登録するフォ
ーム辞書と、入力画像を入力する手段と、前記辞書のフ
ォームと入力画像をマッチングする手段と、マッチング
のとれた辞書のフォームの物理オブジェクトとキーワー
ド領域との相対的位置情報を用いて入力画像の物理オブ
ジェクトを基準にして入力画像のキーワード領域を抽出
する手段とからなることを特徴とするキーワード領域抽
出方式である。

【００１４】請求項２の発明は、請求項１の発明におい
て、前記物理オブジェクトは罫線、図、あるいは文字で
あることを特徴とする。請求項３の発明は、請求項２の
発明において、前記フォーム辞書に予め登録したキーワ
ード領域とこの近傍の罫線情報を用いたことを特徴とす
る。

【００１５】請求項４の発明は、請求項３の発明におい
て、フォーム辞書中の罫線と入力画像中の罫線を対応付
け、対応付いた罫線を使用して入力画像のキーワード領
域を抽出することを特徴とする。

【００１６】請求項５の発明は、請求項４の発明におい
て、フォーム辞書に登録して有るキーワード領域に最も
近い対応付けられた罫線情報を使用して入力画像のキー
ワード領域を抽出することを特徴とする。

【００１７】請求項６の発明は、請求項５の発明におい
て、１本の対応付いている罫線からキーワード領域の上
下左右の座標位置を推定することを特徴とする。請求項
７の発明は、請求項４の発明において、１本の対応付い
ている罫線からキーワード領域の上下左右の座標位置を
推定することを特徴とする。

【００１８】請求項８の発明は、請求項７の発明におい
て、入力画像のキーワード領域の一辺の座標を複数の罫
線から推定された複数候補から決定することを特徴とす
る。請求項９の発明は、請求項８の発明において、複数
の罫線から推定されたキーワード領域の上下左右の各辺
の座標位置において、各辺の座標値の候補から値が近い
ものに注目して、それらの間の平均値で、または、各辺
の座標値の候補の頻度分布をとった際の最頻度を示す座
標値で、その辺の座標値を決定することを特徴とする。

【００１９】請求項１０の発明は、請求項１の発明にお
いて、登録、抽出するキーワード領域として、表内の罫
線内接矩形（セル）あるいは表外の文字列外接矩形を扱
うことを特徴とする。

【００２０】請求項１１の発明は、請求項１０の発明に
おいて、入力画像のキーワード領域の一辺の座標を複数
の罫線から推定された複数候補から決定することを特徴
とする。

【００２１】請求項１２の発明は、請求項１１の発明に
おいて、複数の罫線から推定されたキーワード領域の上
下左右の各辺の座標位置において、各辺の座標値の候補
から値が近いものに注目して、それらの間の平均値でそ
の辺の座標値を決定することを特徴とする。

【００２２】請求項１３の発明は、請求項２の発明にお
いて、入力画像から罫線で囲まれる矩形領域（セル）を
求め、フォーム辞書に登録して有るキーワード領域に最
も近いセルを求め、それを入力画像中のキーワード領域
候補とすることを特徴とする。

【００２３】請求項１４の発明は、請求項２の発明にお
いて、推定キーワード領域の縦横比と辞書のフォームの
キーワード領域の縦横比を比較して大きく異なる場合
に、推定キーワード領域を作るときに用いた複数の辺座
標候補の中から縦横比を満足するものを選択することを
特徴とする。

【００２４】請求項１５の発明は、請求項２の発明にお
いて、罫線から抽出された推定キーワード領域とセルか
ら抽出された推定キーワード領域を組み合わせてキーワ
ード領域を抽出することを特徴とする。

【００２５】請求項１６の発明は、請求項２の発明にお
いて、入力画像から表と見なされる領域を抽出し、その
外側にある文字列を囲む矩形を求め、フォーム辞書に登
録して有るキーワード領域に最も近い表外文字列矩形を
求め、それを入力画像中のキーワード領域候補とするこ
とを特徴とする。

【００２６】請求項１７の発明は、請求項２の発明にお
いて、入力画像内で推定したキーワード領域が表の内に
あるか外るあるかを判別して、表の内部の場合は、表内
部で最も近い罫線の内接矩形領域をキーワード領域とし
て出力し、表の外部の場合は表外の最も近い文字列の外
接矩形領域をキーワード領域として出力することを特徴
とする。

【００２７】請求項１８の発明は、請求項２の発明にお
いて、フォーム辞書のキーワード領域とそれに最も近い
表内の罫線の内接矩形領域との距離値と、フォーム辞書
のキーワード領域とそれに最も近い表外の文字列の外接
矩形領域との距離値とを比較して、距離値が小さい方を
出力することを特徴とする。

【００２８】請求項１９の発明は、予めフォームの物理
オブジェクトとフォームのキーワード領域を登録するフ
ォーム辞書作成ステップと、入力画像を入力する入力ス
テップと、前記辞書のフォームと入力画像をマッチング
するマッチングステップと、マッチングのとれた辞書の
フォームの物理オブジェクトとキーワード領域との相対
的位置情報を用いて入力画像の物理オブジェクトを基準
にしてキーワード領域を抽出する抽出ステップとからな
ることを特徴とするキーワード領域抽出方法である。

【００２９】請求項２０の発明は、請求項１９の発明に
おいて、前記物理オブジェクトは罫線、図、あるいは文
字であることを特徴とする。請求項２１の発明は、計算
機に使用されたとき、予めフォームの物理オブジェクト
とフォームのキーワード領域を登録する辞書機能と、入
力画像を入力する機能と、前記辞書のフォームと入力画
像をマッチングする機能と、マッチングのとれた辞書の
フォームの物理オブジェクトとキーワード領域との相対
的位置情報を用いて入力画像の物理オブジェクトを基準
にしてキーワード領域を抽出する機能とを計算機に行わ
せるための計算機読み出し可能記憶媒体である。

【００３０】

【発明の実施の形態】以下、本発明の一実施例を図面を
参照して説明する。本発明は、表形式文書（文書中に表
が１つ以上ある文書）を対象とする。 Ａ）フォーム登録時 フォームとは、入力文書画像を構成する物理的オブジェ
クト（罫線、文字、図形）のレイアウト構造を表す。

【００３１】図２のフローチャートに示すように、先ず
表形式文書画像を入力（ステップＳ１）し、その中の物
理オブジェクトとして例えば縦横の罫線を抽出し（ステ
ップＳ２）、その罫線から例えば罫線の位置や長さ等の
フォームマッチング用の特徴量を抽出し（ステップＳ
３）、その特徴量をフォームマッチング用の辞書へ登録
（ステップＳ４）する。次に、ユーザに文書画像を提
示、ユーザがマウスクリック等で座標を指示することに
よりキーワード領域を獲得する（ステップＳ５）。そし
て、キーワード領域座標と罫線座標をキーワード領域抽
出用の辞書へ登録する（ステップＳ６）。 Ｂ）フォームマッチングによるキーワード領域抽出 図３に示すように、表形式文書画像を入力し（ステップ
Ｓ１０）、その罫線を抽出し（ステップＳ１１）、そし
て縦横の４本の罫線で囲まれたセルを抽出する（ステッ
プＳ１２）。入力画像の表外文字列も抽出する（ステッ
プＳ１３）。罫線からフォームマッチング用の特徴量を
抽出する（ステップＳ１４）。入力文書とフォームマッ
チング用の辞書とのフォームのフォームマッチングを行
い（ステップＳ１５）、マッチした辞書内文書を選択す
る。

【００３２】辞書内文書の表罫線と入力文書の表罫線の
対応関係を求める（ステップＳ１６）。図４は辞書と入
力画像との対応関係を示し、例えば、表１０，１１内の
横罫線同士あるいは縦罫線同士を対応させる。

【００３３】辞書内文書で対応関係がある罫線の中で、
最も辞書内のキーワード領域１２に近いもの（最大）４
本（罫線１３，１４，１５，１６）を選択する（ステッ
プＳ１７）。ここで、キーワード領域とは実際に罫線で
囲まれている必要はなく、座標値で指定されるものであ
る。

【００３４】辞書内（最大）４罫線とキーワード領域の
相対的位置関係を求める（ステップＳ１８）。辞書内か
ら選択した（最大）４罫線に対応する入力文書内の罫線
（最大４罫線１７，１８，１９，２０）を求める（ステ
ップＳ１９）。

【００３５】入力文書の対応罫線の位置情報と辞書内４
罫線とキーワード領域の相対的位置関係情報から入力文
書中の複数のキーワード候補領域座標を求める（ステッ
プＳ２０）。複数のキーワード候補座標の中から最も良
いものを多数決によってキーワード領域として抽出する
（ステップＳ２１）。ここまでで、入力文書内のキーワ
ード領域２１が辞書における罫線とキーワード領域１２
との相対位置に基づいて抽出できる。

【００３６】次のこのキーワード領域２１が辞書のキー
ワード領域１２と同じものか否かをチェックする。すな
わち、フォーム辞書のキーワード領域１２の縦横比によ
る推定キーワード領域座標のチェック（ステップＳ２
２）を行う。

【００３７】次に「セルから推定したキーワード領域」
を抽出する（ステップＳ２３）。セルとは、図４に示す
ように罫線によって囲まれる部分２２である。図４では
キーワード領域２１は１つのセル２２内に存在する。

【００３８】「推定キーワード領域」と「セルから推定
したキーワード領域」の両方を考慮した最終的な推定キ
ーワード領域抽出（ステップＳ２４）を行う。以上で表
１１内のキーワード領域は抽出された。

【００３９】次に、表外のキーワード領域を抽出するた
めに、図５に示すように、推定キーワード領域に最も近
い表外文字列（２６，２７）を抽出する（ステップＳ２
５）。

【００４０】推定キーワード領域２１と重複する表外文
字列（２６，２７）を統合（ステップＳ２６）して、表
外のキーワード領域２８とする。推定キーワード領域の
上にある矩形も抽出（ステップＳ２７）する。そして、
表内外を考慮した最終的キーワード領域の決定／出力
（ステップＳ２８）を行う。

【００４１】図６は本発明のシステム構成図である。文
書を光電変換装置３０を介して電子的にファイル３１に
格納する。そして電子的文書をキーワードを使って検出
するためのフォーム辞書を作成し、本発明のキーワード
領域抽出方式をメモリ３２に格納されたプログラムを使
ってプロセッサ３３によって実行する。なお、バス３５
は各装置間及びディスプレイ３４を接続する。

【００４２】次に、Ａフォーム登録時、およびＢフォー
マッチングによるキーワード抽出の具体的処理内容を説
明する。Ａ，Ｂ両者に共通の処理も、一方のみで行われ
る処理もある。 １）罫線抽出処理 この処理はＡフォーム登録時もＢフォームマッチング時
も行われる。

【００４３】図７は、実施形態の罫線抽出装置の機能ブ
ロック図である。図７において、対象となる入力パター
ン４１は、極端な傾きや回転を補正した後の２値画像で
ある。

【００４４】まず、縮小処理部４２が画像を縮小し、連
結パターン抽出部４３が連結パターンを抽出した後、罫
線抽出装置は矩形高さの最頻値を計算し（処理Ｐ１）、
マスク処理部４４が細線化を行う。

【００４５】次に、横直線抽出部４５が、横隣接投影
（処理Ｐ２）、横線分検出（処理Ｐ３）、横線分統合
（処理Ｐ４）、および横直線探索（処理Ｐ５）を行った
後、罫線抽出装置は横点線検出（処理Ｐ６）を行う。次
に、縦直線抽出部４６が、縦隣接投影（処理Ｐ７）、縦
線分検出（処理Ｐ８）、縦線分統合（処理Ｐ９）、およ
び縦直線探索（処理Ｐ１０）を行った後、罫線抽出装置
は縦点線検出（処理Ｐ１１）を行う。

【００４６】次に、罫線抽出装置は、横直線の高さの最
頻値を計算し（処理Ｐ１２）、縦直線の幅の最頻値を計
算し（処理Ｐ１３）、横線分の高さの最頻値を計算し
（処理Ｐ１４）、縦線分の幅の最頻値を計算する（処理
Ｐ１５）。次に、完全に重複する直線同士を統合し（処
理Ｐ１６）、直線矩形の形や隣の直線矩形までの距離を
元に不要な直線を除去する（処理Ｐ１７）。次に、縦横
の直線間の接続関係を元に不要な直線を除去し（処理Ｐ
１８）、部分的に重複する直線同士を統合する（処理Ｐ
１９）。

【００４７】次に、罫線抽出装置は、他の直線とほぼ完
全に重複する直線を除去し（処理Ｐ２０）、所定のしき
い値より大きな線分だけから成る直線を除去する（処理
Ｐ２１）。そして、別のしきい値より大きな線分にマー
クを付け（処理Ｐ２２）、対象とする線分をシフトしな
がら直線をチェックし、不要な直線を除去して（処理Ｐ
２３）、残された直線を出力する。

【００４８】なお、この罫線抽出処理は特願平８−１０
７５６８号及び特に網かけ部は特願平８−３４２１８５
号に詳述されている。 ２）セル抽出 入力画像の縦横罫線で囲まれるセルを求める。 ３）フォームマッチング用の特徴量抽出処理 フォームマッチング用の特徴量としては、罫線の位置や
大きさ、あるいは中心点を用いる。このフォームマッチ
ングの特徴量、および下記の５）フォームマッチング処
理および６）辞書内文書と入力文書との対応関係を求め
る処理については特願平８−３５１３４６号に開示され
ているので、詳細な説明は省略する。 ４）ユーザに文書画像を提示、キーワード領域獲得処理 文書画像をディスプレイに表示し、マウスなどのポイン
ティングデバイスを使用して、ユーザにキーワード領域
を指定してもらう。指定領域の座標を獲得する。これは
辞書登録時のみ行われる。 ５）フォームマッチング処理（マッチした辞書内文書の
選択処理） このフォームマッチング処理としては、各種存在する
が、一例をあげれば表のフォームの罫線情報を格納し、
入力画像から抽出された罫線と格納されている罫線情報
に含まれる罫線の間の対応可能な複数の組合わせを求め
て、該複数の組合わせの中から互いに両立する２つ以上
の組合わせを含むグループを、他のグループの組合わせ
が含まれないように抽出し、抽出された１つ以上のグル
ープに含まれる組合わせの情報に基づいて、入力画像と
表のフォームを照合することにより入力文書と辞書内の
文書とのマッチしたものを選択する。 ６）辞書内文書の表罫線と入力文書の罫線の対応関係を
求める処理 辞書内文書の表罫線と入力文書の罫線との対応関係とし
ては、例えば１つ以上のグループ間で罫線の対応関係が
互いに矛盾しないグループの集合を抽出し、このグルー
プの集合の中で含まれる罫線の組合わせの数が最も多い
最適集合を求め、この最適集合の各グループに含まれる
組合わせ情報に基づいて入力画像と表のフォームを対応
付け最適対応関係のものを抽出する。 ７）フォーム辞書の表の辺の長さのしきい値計算処理 フォーム辞書内の表の縦横の辺長さの最大のものを求め
（model maxlen) 、model maxlen/4をキーワード領域に
近い罫線を探す際のしきい値とする。このしきい値以上
の長さの辺を表のマッチングに用いる。 ８）入力画像の表の辺の長さのしきい値計算処理 同様に表の縦横の辺長さの最大のものを求め（input ma
xlen) 、input maxlen/4をキーワード領域に近い罫線を
探す際のしきい値とする。図４はフォーム辞書の表１０
と入力画像の表１１との対応も示す。 ９）表の辺の長さのしきい値の比の計算処理 input model RATE = input maxlen / model maxlenをし
きい値の比として求める。 １０）フォーム辞書の縦横罫線長さのしきい値の計算処
理 フォーム辞書の縦横罫線長さの最大値を求め、それを１
／４してしきい値とする。このしきい値以下の長さの罫
線は、信頼性の見地からマッチングの際に用いない。 １１）辞書内文書で対応関係がある罫線の中で、最も辞
書内のキーワード領域に近いもの（最大）４つを選択す
る処理 フォーム辞書内に格納されているキーワード領域の座標
を求め、そのフォームの縦横罫線の内、入力画像の罫線
と対応しており、かつ長さが縦横の罫線長さのしきい値
以上の長さのものだけを対象にして、もっともキーワー
ド領域に近い罫線を求める。図４では、キーワード領域
１２に近い罫線は罫線１３，１４，１５，１６である。

【００４９】図８は、辞書キーワード領域の上にある横
罫線を見つける手順を示す。図９は、フォーム辞書に格
納されている文書フォームであって、図８のフローチャ
ートで用いる変数を図示する。

【００５０】 フォーム辞書キーワード領域の高さを求める：tagheigh
t フォーム辞書キーワード領域の幅を求める：tagwidth 最も近い罫線とキーワード領域の高さまたは幅との比を
求める 例）キーワード領域の上の最も近い罫線の長さをhlenと
して求めたとき、比は、tagheight rate = tagheight/h
len で求める 同様にtagwidth rate = tagwidth/vlen で求める vtop: 対応付けがある縦罫線の中で最もキーワード領域
に近いものの上ｙ座標 vbottom:対応付けがある縦罫線の中で最もキーワード領
域に近いものの下ｙ座標 vlen=vbottom-vtop+1 tagtop: キーワード領域の上ｙ座標 diffleft up= tagtop-vtop upleft rate = diffleft up/vlen 辞書キーワード領域の上にある最も近い横罫線の番号と
距離値を求める。図８において、辞書のキーワード領域
より横罫線が上にある（ステップＳ３１）場合には、そ
の上の横罫線までの距離を求め、求めた距離がいままで
求めた距離の中で最小である場合には（ステップＳ３
２）その距離値と罫線番号を記録し、対応関係がある横
罫線が他にある（ステップＳ３３）場合には、再び上述
の各ステップを繰り返し、上方の横罫線とその最小の距
離を獲得する。 １２）辞書内（最大）４罫線とキーワード領域の位置関
係を求める処理 上罫線の場合の例で求める位置関係の情報を図９を参照
して説明する。

【００５１】上罫線の長さ：hlen = upright-upleft+1 上罫線番号：upline:(upleft,uptop)-(upright,upbotto
m) 上罫線までの距離：minupdist=tagtop-upbottom+1 上罫線の左端を基準としたキーワード領域左端の座標：
diff upleft=tagleft-upleft 上罫線の右端を基準としたキーワード領域右端の座標：
diff upright=tagright-upright 上罫線までの距離をuplineの長さで正規化したもの：up
dist rate=minupdist/hlen diffup leftをuplineの長さで正規化したもの：upleft
rate =diff upleft/hlen diffup right をuplineの長さで正規化したもの：uprig
ht rate=diff upright/hlen キーワード領域からみて罫線が無いまたは、対応する罫
線が無い方向がある場合には、罫線番号に−１を記録す
る。 １３）辞書内から選択した（最大）４罫線に対応する入
力文書内の罫線（最大４つ）を求める処理 辞書罫線と入力罫線の対応表から上で選択した辞書のキ
ーワード領域に最も近い辞書罫線に対応する入力画像罫
線の番号を求める。図１０は各変数を画面上に示す。

【００５２】 in upline : uplineに対応する入力画像中の横罫線番号 in downline : downlineに対応する入力画像中の横罫線
番号 in leftline : leftlineに対応する入力画像中の縦罫線
番号 in rightline : rightlineに対応する入力画像中の縦罫
線番号 対応つく罫線が無い場合は−１を設定しておく。

【００５３】同様の処理をキーワード領域の下辺と横罫
線の関係、左辺または右辺と縦罫線の関係において行
う。キーワード領域からみて罫線が無いまたは、対応す
る罫線が無い方向がある場合には、罫線番号に−１を記
録して記しとする。 １４）入力文書の対応罫線の位置情報と辞書内４罫線と
キーワード領域の位置関係情報から入力文書中の複数の
キーワード領域座標候補を求める処理 キーワード候補領域の抽出処理 例）in upline を基準にしたキーワード領域の推定 キーワード領域の上罫線矩形を基準にした入力画像のキ
ーワード領域座標の推定（inputcelltop1, left1, righ
t1, bottom1) キーワード領域の左罫線矩形を基準にした入力画像のキ
ーワード領域座標の推定（inputcelltop2) キーワード領域の右罫線矩形を基準にした入力画像のキ
ーワード領域座標の推定（inputcelltop3) ・in upline >=０の場合：in upline の長さを求める(=
ihlen) キーワード領域の上座標候補１： inputcelltop1 = in uplien 矩形の下座標＋ updist ra
te^* ihlen とりあえずの上座標：inputcelltop = inputcelltop1 ・in downlien < 0 の場合： キーワード領域の下座標候補１： inputcellbottom1 = inputcelltop + tagheight rate^*
ihlen ・in leftline < ０の場合： キーワード領域の左座標候補１： inputcellleft1 = in upline矩形の左座標＋upleft rat
e ^* ihlen ・in leftline >=０の場合： in leftline 矩形の長さを求める（ =ivlen) キーワード領域の上座標候補２： inputcelltop2 = in leftline 矩形の上座標＋leftup r
ate ^* ivlen ・in rightline <０の場合： キーワード領域の左座標候補１： inputcellright1 = in upline 矩形の左座標＋upright
rate^* ihlen ・in rightline >= ０の場合：in rightline矩形の長さ
を求める（ =ivlen) キーワード領域の上座標候補２： inputcelltop3 = in rightline矩形の上座標＋rightup
rate^* ivlen 同様の処理をin downline, in leftline, in rightline
を基準として行い、 inputcellbottom2,3 inputcellleft2,3 inputcellright2,3 を求める。 １５）多数決によるキーワード候補座標から「罫線から
推定したキーワード領域」抽出 上座標抽出を説明する。

【００５４】図１１において、ステップＳ４１，４２，
４３、 inputcell１，２，３の中から近いものだけを対
象にしてその違いの量を求める。すなわち inputcell
１，２の両方が有効の時（ステップＳ４１）には、その
差の絶対値をdiff１２として求める。そして、 inputce
ll１，３の両方が有効な時（ステップＳ４２）には、そ
の差の絶対値をdiff１３として求める。次に、 inputce
ll２３が有効な時（ステップＳ４３）には、その差の絶
対値をdiff２３として求める。

【００５５】次に、ステップＳ４４は仮のキーワード領
域上の座標（ｙ座標）を使える状況から強制的に求めて
おく。すなわち、既に inputcellが設定されていない場
合には（ステップＳ４４）、 inputcelltop ２、および
３から強制的に inputcellを求める。この処理を行った
後half flag をたてておく。

【００５６】次に、図１２に移り、ステップＳ４５ない
し４７において、値の近いものから平均を求める。すな
わちてdiff１２がしきい値より小さい場合（ステップＳ
４５）、平均値を求めるため和とカウント数を求める。
diff１３およびdiff２３についても同様の処理を行う
（ステップＳ４６，４７）。図１３においてカウント数
が０でなく、平均値が求められる場合には（ステップＳ
４８）、topsum/topcount により平均値を求め、それを
inputcelltop とする。平均値を求めたことをフラグ
に、meanflagtop ＝１として記録する。カウント数が０
の時は（ステップＳ４８）平均値を求めることができな
いので、使える情報だけすなわち inputcelltop １，２
または３からだけの各罫線から推定したキーワード領域
の上座標を抽出する（ステップＳ４９〜Ｓ５１）。同様
にbottom, right, left を求めることにより、罫線から
推定するキーワード領域を入力画像について求めること
ができる。

【００５７】図１４には inputcelltop １，２，３から
キーワード領域の一辺を求める関係を図示する。 １６）フォーム辞書のキーワード領域の縦横比による推
定キーワード領域座標のチェックを図１５及び図１６を
参照して説明する。

【００５８】フォーム辞書のキーワード領域の縦横比を
求める：tagrate= (tagbottom-tagtop)/(tagright-tagl
eft) 上までで求めた入力画像の推定キーワード領域の縦横比
を求める：inputrate= (inputcellbottom-inputcellto
p)/(inputcellright-inputcellleft) 以上のキーワード領域の縦横比を基準にして座標候補の
inputcell１を使った方が inputcellを使った場合より
縦横比がマッチする場合には、 inputcell１をinputcel
lの代わりに使用する（ステップＳ６１〜６４））。す
なわち、平均で求めたものでない時（ステップＳ６
１）、 inputcellrateが tagrate±マージンの範囲に入
らないで inputcellrateとtagrate が相当違う時は（ス
テップＳ６２）、合計フラグを０とし、 inputcelltop
１が有効の時（ステップＳ６３）、 inputcelltop の代
わりに inputcelltop １を使って inputrateを計算す
る。 inputrateとtagrate が近い場合（ステップＳ６
４）には、 inputcelltop １を inputcellに採用し、こ
の方法により inputcelltop を作ったことを合計フラグ
１としてフラグに記録する。

【００５９】次に inputcell２についても inputcell１
と同様の処理を行う（ステップＳ６５〜６７）。さらに
inputcelltop ３についても同様の処理を行う（ステッ
プＳ６８〜７０）。そして、 inputcelltop を決定す
る。

【００６０】ここまでで、入力画像の罫線から求めた推
定キーワード領域が、inputcelltop,bottom,left,right
の座標値で求まる。 １７）「セルから推定したキーワード領域」抽出を図１
７を参照して説明する。

【００６１】入力画像から求めたセルの中で、最も上の
推定キーワード領域に近いセルの座標を求め、tmpcellt
op,bottom,left,rightであらわす。 近さの尺度： ｜tmpcelltop-inputcelltop ｜＋｜tmpcellbottom-inpu
tcellbottom ｜＋｜tmpcellleft-inputcellleft ｜＋｜
tmpcellright-inputcellright ｜ 最も近いセルと推定キーワード領域との距離（＝近さの
尺度）をhyouin mindistとする。

【００６２】先ず、対応する辺の差の絶対値の差として
距離を定義し、今までの距離の中で最小のものを求め
（ステップＳ７１）、その距離値とその番号を記録し、
他にセルがなくなったら（ステップＳ７２）、推定キー
ワード領域に最も近いセルの番号と距離を得る。

【００６３】図１８には罫線１４から求めたキーワード
領域２１とセル２２の関係を示し、図１９にはキーワー
ド領域２１に最も近いセル２２を選択するところを示
す。 １８）「推定キーワード領域」と「セルから推定したキ
ーワード領域」の両方を考慮した最終的な推定キーワー
ド領域抽出する過程を図２０に示す。

【００６４】「罫線から推定したキーワード領域」と
「セルから推定したキーワード領域」から最もキーワー
ド領域らしい領域座標を求める。先ず、強制的に求めた
ものの時には（ステップＳ７８）、似ている座標の平均
で求めたものでない（ステップＳ７９）を確認してセル
座標を推定キーワード領域の座標とする。

【００６５】bottom,left,right についても同様であ
る。ここまでで、セルの形状も考慮した表内の推定キー
ワード領域が決まる。 １９）推定キーワード領域に最も近い表外文字列抽出を
図２１を参照して説明する。

【００６６】入力画像から求めた表外文字列の中で、最
も推定キーワード領域に近い文字列の座標を求める。近
さの尺度は、文字列矩形の各辺の座標と推定キーワード
領域の対応する辺の座標の差の絶対値の累積で行う（最
も小さい距離：hyouout mindist)。

【００６７】図２１において、表外の文字列矩形の集合
から推定キーワード領域に最も近いものを求める（ステ
ップＳ８０，８１）。先ず、対応する辺の差の絶対値の
和として距離を定義する。そして、今までの中で最小の
距離値である場合には（ステップＳ８０）、その距離値
と文字列矩形の各座標を記録し、他に表外文字列矩形が
ない場合には（ステップＳ８１）、推定キーワード領域
に最も近い表外文字列を抽出する。 ２０）推定キーワード領域と重複する表外文字列の統合
を図２２，２３を参照して示す。

【００６８】推定キーワード領域と表外文字列領域が重
複する場合は、他の表外文字列矩形で重複するものを求
め、すべての重複する文字列矩形を囲む矩形を求め、そ
れを表外文字列矩形とする。

【００６９】推定キーワード領域が部分的にも表外文字
列の中の最も近いものと重複する場合（ステップＳ９
０）には、求めたい表外文字列矩形座標の初期化を行
い、表外文字Ｓの中から求めた１つの文字列が部分的に
も推定キーワード領域に重複する場合（ステップＳ９
１）には、表外文字列矩形と表外文字列の上下の座標が
あるマージンの中に収まるか、すなわち、ほぼ同一行に
あるかを判断する（ステップＳ９２）。そしてこの場合
には２つの文字列矩形を囲む外接矩形を求める（ステッ
プＳ９３〜９７）。そして、他に表外文字列矩形がない
時に推定キーワード領域と重複する表外文字列の統合さ
れたものを得る。 ２１）推定キーワード領域の上にある矩形抽出を図２
４，２５を用いて説明する。

【００７０】推定キーワード領域の上にある表矩形また
は文字列矩形を求め、その下の辺の座標を求める inputcelltop = 推定キーワード領域の上ｙ座標 inputcellbottom = 推定キーワード領域の下ｙ座標 inputcellleft = 推定キーワード領域の左ｘ座標 inputcellright = 推定キーワード領域の右ｘ座標 先ず、推定キーワード領域の短い方を使って（ステップ
Ｓ１００）、しきい値the cell thenを求める。そし
て、表矩形と inputcell矩形がＸ方向で重複している場
合（ステップＳ１０１）には、重複矩形が inputcellよ
りも上にあるかを判断する（ステップＳ１０２）。その
場合には求める距離の近い表矩形を求める（ステップＳ
１０３）。表外文字列矩形が inputcellとＸ方向に重複
している場合には（ステップＳ１０５）、表外文字列矩
形が inputcellよりも上であるかを判断する（ステップ
Ｓ１０６）。その場合には最も距離の近いものを求め、
（ステップＳ１０７，１０８）推定キーワード領域上に
ある表矩形または文字矩形を抽出する。図２６は、表矩
形２の中に推定キーワード領域がある場合、その上にあ
る表矩形１、文字列矩形１，２，３を抽出する画像を示
す。 ２２）表内外を考慮した最終的キーワード領域の決定／
出力 ａ）表内フラグの初期化 hyouinflag=0とし、表外であ
ることをデフォルトとする ｂ）推定キーワード領域と表矩形の重複チェック 図２７、図２８において、推定キーワード領域が表矩形
に一部でも重複するかのチェックを行い、重複する場合
は、推定キーワード領域と２１）で求めた辺との間の黒
画素をチェックし、無い場合に表内フラグ：hyouinflag
= 1（表内である）とする 表矩形がＸ方向で inputcellと重複している場合（ステ
ップＳ１１０）には、表矩形の上辺が inputcellの上辺
よりも上になるかを判断する（ステップＳ１１１）。そ
して、その場合には表矩形と inputcell矩形でＸ方向で
重複するところの座標を求める。すなわちこの範囲で黒
画素があるか否かをチェックするためである（ステップ
Ｓ１１２〜１１３）。そして、求めた範囲内で１バイト
単位でこの画素の有無を調べ、黒画素が重複長さよりも
小さい場合には表内とする（ステップＳ１１４〜１１
７）。

【００７１】図２９は、推定キーワード領域と表矩形の
重複チェックを示す図である。この図の場合、blackbyt
es < (x2b-x1b+1)を満足して、hyouinflag=0となる。 ｃ）推定キーワード領域とセル重複チェックを図３０に
示す。

【００７２】推定キーワード領域がセルに重複する場合
は、hyouinflag=1とする。ステップＳ１１８は表外であ
ることをデフォルトとするものであり、次に一部がキー
ワード領域と表とが重複するかを判断し（ステップＳ１
１９）、重複する場合には表内にキーワード領域がある
と判定し、表内フラグをイコール１とする。一部が重複
しない時には他のセル矩形がない時（ステップＳ１１９
−１）には処理を終了する。推定キーワード領域とセル
の重複の画像を図３１に示す。 ｄ）表内フラグによる表外キーワード距離のリセットを
図３２に示す。

【００７３】hyouinflag==0 のままの場合、hyouout mi
ndist = 0 とする ｅ）表内外を考慮した最終的キーワード領域の決定／出
力 図３３において、hyouin mindist < hyouout mindistの
場合、推定キーワード領域を出力する。それ以外の場合
表外文字列矩形領域をキーワード領域として出力する。

【００７４】先ず表内外で距離の近い候補を出力し（ス
テップＳ１２０）、次に表内と判断された場合には最終
的なセル矩形と inputcell（キーワード推定領域）との
合成領域を求めてそれを出力する（ステップＳ１２１〜
１２４）。

【００７５】図３４は、上記手順を画面上で説明する図
であって、キーワード領域の上、右、下辺はセル矩形に
近いので、セル矩形の座標を出力し、キーワード領域の
左辺ではセル矩形から遠いので、キーワード領域の座標
を出力することで最終的にキーワード領域を決定／出力
する。

【００７６】以上は物理的オブジェクトとして罫線を用
い、その罫線を基準としてキーワード領域を求める方法
を説明したが、物理的オブジェクトとしては図３３に示
すように文字コードオブジェクトや図形パターンのオブ
ジェクトとでもよい。

【００７７】図３５の例のように、物理オブジェクトの
例としては、 ・会社名ロゴが図形パターン ・会社名などの文字コードがある領域 などがある。

【００７８】この例では、会社名ロゴの領域と会社名文
字コードの領域からの相対的位置関係によって、目的で
ある氏名が記載されているキーワード領域を抽出する。
図３６は本発明に係るキーワード領域抽出方式のプログ
ラムを記憶した記憶媒体の説明図である。同図において
コンピュータ５１は本体５４とメモリ５５とから構成さ
れており、本体５４に対しては可搬型記憶媒体５２に記
憶されたキーワード領域抽出方式のプログラムをロード
することも、また例えばプログラム提供者側からネット
ワーク５３を介してキーワード領域抽出方式のプログラ
ムなどをロードすることも可能である。

【００７９】本発明のプログラムは、例えば図３６にお
けるメモリ５５に格納され、そのプログラムは本体５４
によって実行される。ここでメモリ５５としては、例え
ばランダムアクセスメモリ（ＲＡＭ）、またはハードデ
ィスクなどが使用される。

【００８０】また、本発明のプログラムは可搬型記憶媒
体５２に記録されて流通してもよい。この可搬型記憶媒
体５２としてはメモリカード、フロッピーディスク、Ｃ
Ｄ−ＲＯＭ（コンパクトディスクリードオンリメモ
リ）、光ディスク、光磁気ディスクなど市販され、流通
可能な任意の記憶媒体を使用することができる。

【００８１】

【発明の効果】本発明により、あらかじめ登録した表形
式文書であれば、表の中、外の領域であっても、高精度
にキーワード領域を自動抽出することが可能となる。

【００８２】ビジネスで使う表形式文書１０４種のシミ
ュレーション実験の結果では、入力文書解像度が４００
ｄｐｉ，３００ｄｐｉ，２００ｄｐｉ，ｆａｘ（２００
×１００ｄｐｉ）の場合、抽出領域正解率は、それぞれ
１００％、９９．０％、９５．２％、９５．２％という
第１位キーワード領域抽出正解率を得ている。

【００８３】なお、入力文書が大きく傾いて、あるいは
回転して入力された場合には、さらにその傾き角度を考
慮して罫線とキーワード領域との相対位置を決定すれば
良い。

【００８４】なお、この本発明を用いない表形式文書の
表内キーワード領域の抽出正解率は、５５％だったこと
からみても、本発明の有効性は明らかである。

【図面の簡単な説明】

【図１】本発明の原理図である。

【図２】フォームの辞書登録を示す図である。

【図３】入力画像のキーワード領域抽出を示す図であ
る。

【図４】表内キーワード領域の抽出を示す図である。

【図５】表外キーワード領域の抽出を示す図である。

【図６】本発明のシステム構成図である。

【図７】罫線抽出装置の機能ブロック図である。

【図８】辞書キーワード領域の上にある横罫線抽出を示
す図である。

【図９】フォームの辞書における罫線とキーワード領域
を示す図である。

【図１０】入力画像における罫線とキーワード領域を示
す図である。

【図１１】多数決による罫線から推定したキーワード領
域を示す図（その１）である。

【図１２】多数決による罫線から推定したキーワード領
域を示す図（その２）である。

【図１３】多数決による罫線から推定したキーワード領
域を示す図（その３）である。

【図１４】３本の罫線から推定するキーワード領域を示
す図である。

【図１５】フォーム辞書のキーワード領域の縦横比によ
る推定キーワード領域座標のチェックを示す図（その
１）である。

【図１６】フォーム辞書のキーワード領域の縦横比によ
る推定キーワード領域座標のチェックを示す図（その
２）である。

【図１７】セルから推定したキーワード領域を示す図で
ある。

【図１８】キーワード領域とセルを示す図である。

【図１９】キーワード領域に最も近いセルの選択を示す
図である。

【図２０】罫線から推定したキーワード領域とセルから
推定したキーワード領域から最終的キーワード領域の抽
出を示す図である。

【図２１】推定キーワード領域に最も近い表外文字列抽
出を示す図である。

【図２２】推定キーワード領域と重複する表外文字列抽
出を示す図（その１）である。

【図２３】推定キーワード領域と重複する表外文字列抽
出を示す図（その２）である。

【図２４】推定キーワード領域の上にある矩形抽出を示
す図（その１）である。

【図２５】推定キーワード領域の上にある矩形抽出を示
す図（その２）である。

【図２６】表矩形上の他の矩形の抽出を示す図である。

【図２７】推定キーワード領域と表矩形の重複チェック
を示す図（その１）である。

【図２８】推定キーワード領域と表矩形の重複チェック
を示す図（その２）である。

【図２９】推定キーワード領域と表矩形の重複を示す図
である。

【図３０】推定キーワード領域とセル重複チェックを示
す図である。

【図３１】推定キーワード領域とセル重複を示す図であ
る。

【図３２】表内フラグによる表外キーワード距離のリセ
ットを示す図である。

【図３３】表内外を考慮した最終的キーワード領域の決
定を示す図である。

【図３４】最終的キーワード領域の決定を示す図であ
る。

【図３５】文字コードオブジェクトと図形パターンオブ
ジェクトの例を示す図である。

【図３６】キーワード領域抽出方式のプログラムを記憶
する記憶媒体を説明する図である。

【符号の説明】

１ フォームの物理オブジェクト抽出 ２ フォームのキーワード領域抽出 ３ フォーム辞書 ４ 入力画像 ５ マッチング ６ 辞書フォームの物理オブジェクトとキーワード領域
との相対位置を用いて入力画像の物理オブジェクトから
入力画像のキーワード領域を抽出する手段

Claims (21)

【特許請求の範囲】
1. 【請求項１】 予めフォームの物理オブジェクトとフォ
   ームのキーワード領域を登録するフォーム辞書と、入力
   画像を入力する手段と、前記辞書のフォームと入力画像
   をマッチングする手段と、マッチングのとれた辞書のフ
   ォームの物理オブジェクトとキーワード領域との相対的
   位置情報を用いて入力画像の物理オブジェクトを基準に
   して入力画像のキーワード領域を抽出する手段とからな
   ることを特徴とするキーワード領域抽出方式。
2. 【請求項２】 前記物理オブジェクトは罫線、図、ある
   いは文字であることを特徴とする請求項１記載のキーワ
   ード領域抽出方式。
3. 【請求項３】 前記フォーム辞書に予め登録したキーワ
   ード領域とこの近傍の罫線情報を用いたことを特徴とす
   る請求項２記載のキーワード領域抽出方式。
4. 【請求項４】 フォーム辞書中の罫線と入力画像中の罫
   線を対応付け、対応付いた罫線を使用して入力画像のキ
   ーワード領域を抽出することを特徴とする請求項３記載
   のキーワード領域抽出方式。
5. 【請求項５】 フォーム辞書に登録して有るキーワード
   領域に最も近い対応付けられた罫線情報を使用して入力
   画像のキーワード領域を抽出することを特徴とする請求
   項４記載のキーワード領域抽出方式。
6. 【請求項６】 １本の対応付いている罫線からキーワー
   ド領域の上下左右の座標位置を推定することを特徴とす
   る請求項５記載のキーワード領域抽出方式。
7. 【請求項７】 １本の対応付いている罫線からキーワー
   ド領域の上下左右の座標位置を推定することを特徴とす
   る請求項４記載のキーワード領域抽出方式。
8. 【請求項８】 入力画像のキーワード領域の一辺の座標
   を複数の罫線から推定された複数候補から決定すること
   を特徴とする請求項７記載のキーワード領域抽出方式。
9. 【請求項９】 複数の罫線から推定されたキーワード領
   域の上下左右の各辺の座標位置において、各辺の座標値
   の候補から値が近いものに注目して、それらの間の平均
   値で、または、各辺の座標値の候補の頻度分布をとった
   際の最頻度を示す座標値で、その辺の座標値を決定する
   ことを特徴とする請求項８記載のキーワード領域抽出方
   式。
10. 【請求項１０】 登録、抽出するキーワード領域とし
    て、表内の罫線内接矩形（セル）あるいは表外の文字列
    外接矩形を扱うことを特徴とする請求項１記載のキーワ
    ード領域抽出方式。
11. 【請求項１１】 入力画像のキーワード領域の一辺の座
    標を複数の罫線から推定された複数候補から決定するこ
    とを特徴とする請求項１０記載のキーワード領域抽出方
    式。
12. 【請求項１２】 複数の罫線から推定されたキーワード
    領域の上下左右の各辺の座標位置において、各辺の座標
    値の候補から値が近いものに注目して、それらの間の平
    均値でその辺の座標値を決定することを特徴とする請求
    項１１記載のキーワード領域抽出方式。
13. 【請求項１３】 入力画像から罫線で囲まれる矩形領域
    （セル）を求め、フォーム辞書に登録して有るキーワー
    ド領域に最も近いセルを求め、それを入力画像中のキー
    ワード領域候補とすることを特徴とする請求項２記載の
    キーワード領域抽出方式。
14. 【請求項１４】 推定キーワード領域の縦横比と辞書の
    フォームのキーワード領域の縦横比を比較して大きく異
    なる場合に、推定キーワード領域を作るときに用いた複
    数の辺座標候補の中から縦横比を満足するものを選択す
    ることを特徴とする請求項２記載のキーワード領域抽出
    方式。
15. 【請求項１５】 罫線から抽出された推定キーワード領
    域とセルから抽出された推定キーワード領域を組み合わ
    せてキーワード領域を抽出することを特徴とする請求項
    ２記載のキーワード領域抽出方式。
16. 【請求項１６】 入力画像から表と見なされる領域を抽
    出し、その外側にある文字列を囲む矩形を求め、フォー
    ム辞書に登録して有るキーワード領域に最も近い表外文
    字列矩形を求め、それを入力画像中のキーワード領域候
    補とすることを特徴とする請求項２記載のキーワード領
    域抽出方式。
17. 【請求項１７】 入力画像内で推定したキーワード領域
    が表の内にあるか外るあるかを判別して、表の内部の場
    合は、表内部で最も近い罫線の内接矩形領域をキーワー
    ド領域として出力し、表の外部の場合は表外の最も近い
    文字列の外接矩形領域をキーワード領域として出力する
    ことを特徴とする請求項２記載のキーワード領域抽出方
    式。
18. 【請求項１８】 フォーム辞書のキーワード領域とそれ
    に最も近い表内の罫線の内接矩形領域との距離値と、フ
    ォーム辞書のキーワード領域とそれに最も近い表外の文
    字列の外接矩形領域との距離値とを比較して、距離値が
    小さい方を出力することを特徴とする請求項２記載のキ
    ーワード領域抽出方式。
19. 【請求項１９】 予めフォームの物理オブジェクトとフ
    ォームのキーワード領域を登録するフォーム辞書作成ス
    テップと、入力画像を入力する入力ステップと、前記辞
    書のフォームと入力画像をマッチングするマッチングス
    テップと、マッチングのとれた辞書のフォームの物理オ
    ブジェクトとキーワード領域との相対的位置情報を用い
    て入力画像の物理オブジェクトを基準にしてキーワード
    領域を抽出する抽出ステップとからなることを特徴とす
    るキーワード領域抽出方法。
20. 【請求項２０】 前記物理オブジェクトは罫線、図、あ
    るいは文字であることを特徴とする請求項１９記載のキ
    ーワード領域抽出方法。
21. 【請求項２１】 計算機に使用されたとき、予めフォー
    ムの物理オブジェクトとフォームのキーワード領域を登
    録する辞書機能と、入力画像を入力する機能と、前記辞
    書のフォームと入力画像をマッチングする機能と、マッ
    チングのとれた辞書のフォームの物理オブジェクトとキ
    ーワード領域との相対的位置情報を用いて入力画像の物
    理オブジェクトを基準にしてキーワード領域を抽出する
    機能とを計算機に行わせるための計算機読み出し可能記
    憶媒体。