JP4867401B2 - 画像処理装置及びプログラム - Google Patents

Description

本発明は、画像処理の分野において、帳票文書に印字された情報を表構造と関連付けるための技術に関する。

帳票文書は、予め表が印刷された帳票フォーマットに対し、文字や数字或いは記号など（以下、単に文字という）で表された各種情報を後から印字して作成される場合が多い。このように後から上書きする形で文字を印字した場合、予め印刷されている表と文字との間で位置ずれが発生し、例えば表を構成する罫線の一部と文字の一部とが交差してしまうことがある。このような交差があると、例えばコンピュータによる画像処理で表の罫線を除去した場合、その罫線の除去によって文字の一部も失われしまう。よって、印字されていた文字で表されていた情報を認識しようとしても、文字そのものを判別できず、情報を正確に読み取ることができない。ただし、表が印刷された帳票フォーマット上にその表と無関係な文字が印字されているわけではなく、その表に適合したなんらかの情報が印字されているはずであるから、それを正確に読み取ることが望ましい。

例えば特許文献１には、帳票上の枠を構成する罫線を消去し、罫線消去後の帳票画像より、枠を拡大した領域内の黒画素連結成分の矩形を抽出し、それら矩形の統合によって文字列領域（行）を抽出することが開示されている。
特開２００１−２３６４６４号公報

特許文献１に記載の方式では、枠を拡大した領域に交差した文字列を処理することが考慮されていないため、枠を拡大した領域に交差した文字列を扱うことができないばかりでなく、帳票の種類が異なる毎に枠の拡大のサイズ設定が必要となる。また、枠を拡張して文字列を統合できたとしても、帳票上の枠と文字とが作成者が意図した位置関係に対応しているかが検証できず、自動的に帳票文書から情報を読み取った場合に、間違った位置関係のまま処理を行なってしまう可能性がある。

本発明は上記のような問題点に鑑みて為されたものであり、予め印刷されている表構造を有する帳票フォーマットに後から文字や数字などの情報を印字して作成された帳票文書を画像として読み取り、印字された情報を表構造の適切な位置に関連付ける技術の提供を目的のひとつとする。

上記従来例の問題点を解決するため、本発明は、罫線から成る表と該表に関連した情報とが記載された文書を画像として読み取る画像入力手段と、前記画像から表の罫線の位置を特定する罫線特定手段と、前記罫線特定手段によって特定された罫線の位置に基づき、前記画像を罫線から成る罫線画像と情報を表す情報画像とに分離する画像分離手段と、前記画像分離手段によって分離された罫線画像によって囲まれる複数の矩形領域を検出し、該矩形領域の最小単位に対して矩形単位の座標値を割り付けて、該複数の矩形領域の隣接関係を特定することで、前記表の表構造を抽出する表構造抽出手段と、前記画像分離手段によって分離された情報画像に外接する外接矩形を検出し、該外接矩形に対して矩形単位の座標値を割り付けて、該複数の外接矩形の隣接関係を特定することで、前記情報の位置構造を抽出する情報構造抽出手段と、前記表構造抽出手段によって割り付けられた座標値と前記情報構造抽出手段によって割り付けられた座標値とを対応付けることで、前記表構造に前記情報の位置構造を対応付ける構造対応付け手段とを有することを特徴とする。

前記情報構造抽出手段は、前記複数の外接矩形間の距離が所定の範囲内であれば該外接矩形を統合し、統合した外接矩形に対して座標を割り付けることが好ましい。また、前記情報構造抽出手段は、前記外接矩形を膨張させた後に座標を割り付けることが好ましい。
また、前記情報構造抽出手段は、隣接する外接矩形の位置に基づき複数の外接矩形をグループ化し、各々のグループ間で重ならないように前記外接矩形を膨張させることが好ましい。

さらに本発明の一態様に係るプログラムは、コンピュータに、罫線から成る表と該表に関連した情報とが記載された文書を画像として読み取る画像入力手順、前記画像から表の罫線の位置を特定する罫線特定手順、前記罫線特定手順において特定された罫線の位置に基づき、前記画像を罫線から成る罫線画像と情報を表す情報画像とに分離する画像分離手順、前記画像分離手段によって分離された罫線画像によって囲まれる複数の矩形領域を検出し、該矩形領域の最小単位に対して矩形単位の座標値を割り付けて、該複数の矩形領域の隣接関係を特定することで、前記表の表構造を抽出する表構造抽出手順、前記画像分離手段によって分離された情報画像に外接する外接矩形を検出し、該外接矩形に対して矩形単位の座標値を割り付けて、該複数の外接矩形の隣接関係を特定することで、前記情報の位置構造を抽出する情報構造抽出手順、前記表構造抽出手段によって割り付けられた座標値と前記情報構造抽出手段によって割り付けられた座標値とを対応付けることで、前記表構造に前記情報の位置構造を対応付ける構造対応付け手順を実行させることを特徴とする。

本発明によると、画像分離手段により罫線画像と情報画像とに分離してから、構造対応付け手段により表構造と情報の位置構造とを対応付けすることができるので、印字ずれがあっても情報を正確に読み取ることができる。

図１は、本発明の画像処理装置の実施の一形態を示すブロック構成図である。図中、１０１は画像入力部、１０２は罫線特定部、１０３は画像分離部、１０４は表構造抽出部、１０５は情報構造抽出部、１０６は構造対応付け部、１０７は出力部である。画像入力部１０１は、スキャナなどを用い、プラテンガラス等に載置された原稿上の画像を画像データ（以下、単に画像と略す）として取得する。罫線特定部１０２は、その画像において罫線を表す罫線画像を特定する。画像分離部１０３は、画像を罫線画像と情報画像とに分離する。表構造抽出部１０４は、その分離によって得られた罫線画像から表構造を抽出する。情報構造抽出部１０５は、その分離によって得られた情報画像から情報の位置構造を抽出する。構造対応付け部１０６は、表構造と情報の位置構造を対応付ける。出力部１０７は、構造対応付け部１０６によって対応付けられた結果を出力する。

以上のように構成された画像処理装置の各部の処理について、図２を用いて説明する。画像入力部１０１は、スキャナなどから原稿上の画像を表す画像データを取得し、画像処理装置１に入力する（ステップ２０１）。スキャナは、例えば原稿載置台、光源、ラインセンサ、Ａ／Ｄ（アナログ／デジタル）変換器などからなり、ラインセンサの受光素子の並び方向（主走査方向）と直交する方向（副走査方向）にそのラインセンサを移動させることによって、原稿上の画像を読み取り、画像データとして出力する。このスキャナの読み取り方式は任意であり、原稿を移動させて読み取る方式などでも良い。画像入力部１０１よって入力された帳票画像の一例を図３に示す。

本実施形態における処理対象は、罫線から成る表及びその表に関連した情報を表す画像（以下、帳票画像という）である。そのため、画像入力部１０１は、入力された原稿画像に、帳票画像以外の画像が含まれているか否かを判断し（ステップ２０２）、含まれている場合には（ステップ２０２；ＹＥＳ）、その原稿画像において処理対象となる帳票画像と処理対象でない画像とを分離して、処理対象の帳票画像のみを抽出する（ステップ２０３）。このような画像の分離方法については、画像の属性を基に自動的に分離する表領域分離技術（例えば、特開平２−２１０５８６号公報参照）などがあり、公知の技術のため詳細な説明を省略する。また、例えば表示部に表示された原稿画像上で操作者が操作部により指定することにより、処理対象となる帳票画像の抽出を行なうようにしてもよい。以下の処理は、このようにして抽出された帳票画像に対して実行される。

次に、罫線特定部１０２は、帳票画像に含まれる罫線画像を特定する（ステップ２０４）。罫線画像を特定する方法としては、例えば帳票構造において所定長以上のランレングスデータを検出してそれを罫線画像とする方法や、帳票構造の水平／垂直方向の射影を取り、そのピーク値を取る領域を罫線画像とする方法などがある。罫線特定部１０２は、このような方法を用いて、帳票画像から罫線画像を抽出し、抽出した罫線画像の帳票画像中の位置（始点座標及び終点座標）を含む罫線特定情報を生成する。

画像分離部１０３は、罫線特定情報が表す罫線画像の位置に基づいて、帳票画像を罫線画像と情報画像とに分離する（ステップ２０５）。具体的には、画像分離部１０３は、帳票画像と同じサイズの記憶領域を確保し、罫線特定情報が表す位置に画素を置くことでその記憶領域上に罫線画像を複製する。これにより、図４に示すような罫線画像が生成される。次に、画像分離部１０３は、上記と同様に帳票画像と同じサイズの記憶領域を確保し、そこに帳票画像を複製する。そして、その帳票画像から罫線特定情報によって表される位置の画素を削除することで、図５に示すように文字によって表された情報のみからなる情報画像を生成する。

次に、表構造抽出部１０４は、罫線画像が表す表の表構造を抽出する（ステップ２０６）。具体的には、表構造抽出部１０４は、まず、画像分離部１０３で分離された罫線画像によって囲まれる複数の矩形領域を検出する。ここで検出された複数の矩形領域のうち最小単位の矩形領域が、表に含まれる各項目に相当する。

ここで、図６は、複数の矩形領域に対するラベリング処理の手順を示すフローチャートである。表構造抽出部１０４は、図４に示した罫線画像において、罫線が書かれている部分の画素の値を”1”、それ以外の部分の値を”0”とした場合、画素の値が”0”である領域に対してラベリング処理を行う。ラベリング処理は、注目した画素値が連結している部分、すなわち矩形領域の最小単位に対して同じラベルを与える処理であり、これにより罫線で区切られている表の項目にあたる部分にそれぞれ異なるラベルを付与することができる（ステップ７０１）。そして、表構造抽出部１０４は、或るラベルが付与された領域（ラベル領域）を選択して（ステップ７０２）、そのラベル領域に相当する矩形領域を表す情報を生成する（ステップ７０３）。表構造抽出部１０４は、この処理を未処理のラベル領域がなくなるまで繰り返す（ステップ７０４）。

矩形領域は、その矩形領域の左上のX座標、Y座標およびその矩形領域の幅と高さで表わされる。表構造抽出部１０４は、これらの矩形領域を左上に位置するものから順に並べて、矩形単位の２次元座標値を与える。すなわち、最小のX座標およびY座標を持つ矩形領域に対しては（１，１）という２次元座標値を与え、その右隣に位置する矩形領域に対しては（２，１）という２次元座標値を与える。また、（１，１）の座標を与えられた矩形領域の下に位置する矩形領域に対しては（１，２）という２次元座標値を与える。これにより、図７（ａ）に示すような帳票画像に対して、図７（ｂ）に示すようにして各矩形領域に対応する２次元座標値を与えることができる。なお、上記のように２次元座標値のみで表現するのではなく、各行あるいは各列での最小の矩形領域を基準として、２次元座標値に対して幅と高さを定義してもよい。この場合、図８（ａ）に示すような複雑な帳票画像に対して、図８（ｂ）に示すようにして各矩形領域に対応する座標値を与えることができる。図８（ｂ）において、各括弧内の数字は”( X座標, Y座標, 幅, 高さ )”を示している。

再び図２の説明に戻る。
次に、情報構造抽出部１０５は、画像分離部１０３によって分離された情報画像に基づいて情報の位置構造を抽出する（ステップ２０７）。そのために、情報構造抽出部１０５は、情報画像の外接矩形を検出し、さらに各々の外接矩形間の距離を調べて、隣接する外接矩形との距離が所定範囲内（所定の閾値以内）であれば、その外接矩形どうしを統合する処理を行う。具体的には図９に示すような手順となる。

図９において、情報構造抽出部１０５は、帳票画像の左上に位置する外接矩形から探索を始める（ステップ２００１）。そして、情報構造抽出部１０５は、Ｉ番目として選択した外接矩形を外接矩形Ａとし、Ｉ＋ｎ番目の外接矩形を外接矩形Ｂとする。例えば図１０に示すように外接矩形Ａと外接矩形Ｂとがあった場合、情報構造抽出部１０５は、外接矩形Ａの右辺lraと外接矩形Ｂの左辺llbとの距離dlrを求め（ステップ２００２）、その距離dlrと閾値tとを比較し（ステップ２００３）、閾値tより小さい場合には（ステップ２００３；ＹＥＳ）、外接矩形ＡとＢを統合して、新たな外接矩形Ａ’として（ステップ２００６）、外接矩形Ｂを削除する(ステップ２００７)。一方、距離dlrが閾値t以上であれば（ステップ２００３；ＮＯ）、外接矩形Ａの下辺lba’と外接矩形Ｂの上辺lucの距離dbuを求め（ステップ２００４）、その距離dbuと閾値t’とを比較し（ステップ２００５）、閾値t’より小さければ外接矩形Ａと外接矩形Ｂを統合して外接矩形Ａ’として（ステップ２００６）、外接矩形Ｂを削除する（ステップ２００７）。このような処理により、図１０に示す外接矩形Ａと外接矩形Ｂとが統合されて外接矩形Ａ’となる。一方、図１０に示す外接矩形Ａと外接矩形Ｃとの間の距離は閾値よりも大きいため、図１１に示すように統合されることはない。このような処理を帳票画像の左上に位置する外接矩形から行うことで（ステップ２００８〜２０１１）、図１２に示すように、帳票画像の右下に位置する外接矩形に到達するまでにすべての統合処理を終えることができる。

次に、情報構造抽出部１０５は、求めた情報の外接矩形を膨張させて、座標を割り付けやすくなるように整形する。膨張の方法は、各行あるいは各列において、行方向又は列方向に見たときに互いに重複しあう外接矩形をグループ化し、各グループの範囲を決定する。これにより、図１２に示した複数の外接矩形が、図１３の点線で示したようにグループ化される。各グループの範囲を決定するために、情報構造抽出部１０５は、図１４に示すようにして、水平方向及び垂直方向に重複する外接矩形の数を表すグラフを作成する。このグラフにおいて、１つグループは１つの山を構成するため、各外接矩形の各辺を山の縁まで膨張する（つまり、外接矩形の重なり具合がグループ内で同じになるまで膨張する）。この処理により、図１５に示すように各グループの縁の位置は揃い、２次元座標値を当てはめることが容易となる。なぜなら、行方向又は列方向に見たときに各々のグループ間で矩形領域が重なっていないからである。また、図１６に示すように複雑な表構造である場合には、膨張方向に外接矩形が複数存在する場合がある。この場合は、図１７に示すように、外接矩形が接触するまでそれぞれを膨張する。このときの接触位置は、その外接矩形が属するグループ内の等分点とし、それぞれの接触位置が一致するようにする。外接矩形を膨張した結果、各外接矩形はそれぞれのグループの境界が揃えられて位置するようになる。このようにして整形された外接矩形に対して、表構造抽出部１０４で行ったように、２次元座標値を与える。すなわち、最小のX座標およびY座標を持つ外接矩形に（１，１）という２次元座標値を与え、その右隣に位置する外接矩形には（２，１）という２次元座標値を与える。また（１，１）という２次元座標値を与えられた外接矩形の下に位置する外接矩形には（１，２）という２次元座標値を与える。

そして、構造対応付け部１０６は、表構造抽出部１０４によって抽出された表構造と情報構造抽出部１０５から抽出された情報の位置構造を調べ、それぞれの位置合わせを行う（図２のステップ２０８）。具体的には、構造対応付け部１０６は、情報画像から抽出した２次元座標値に一致する座標値が罫線画像から抽出した表構造に含まれているかを調べる。次に構造対応付け部１０６は、各々の情報画像を切り出し、表構造抽出部１０４で抽出された座標値に対応する罫線画像上の位置にコピーを行う。すなわち、罫線画像から抽出した表構造の座標値（１，１）の位置に、その表構造の座標値（１，１）に相当する矩形内の情報画像を切り出し、切り出した情報画像を貼り付ける。以下、同様に全ての座標について繰り返し行う。この処理により、ずれて印刷された情報を帳票上の適正な位置にあわせることができる。出力部１０７は、このような処理結果を表示したり、記憶媒体に記憶させるなどして出力する（ステップ２０９）。

画像処理装置１の実施の一形態を図１８に示す。３０１はスキャナなどの画像入力部、３０２はパーソナルコンピュータなどの画像処理部、３０３はキーボードなどの画像操作部、３０４はマウスに代表されるポインティングデバイスなどの画像指示部である。図１８に示す例では、パーソナルコンピュータなどから構成されているが、画像を入力し処理できるものであれば、本発明はこれらの構成に限られるものではなく、例えば複写機などであっても良い。画像入力部３０１は、前述した画像入力部１０１に相当し、画像処理部３０２は、前述した罫線特定部１０２、画像分離部１０３、表構造抽出部１０４、情報構造抽出部１０５、構造対応付け部１０６に相当する。

この画像処理装置１は、典型的には、汎用のコンピュータシステムにて上述の各構成要素の機能又は処理内容を記述したプログラムを実行することにより実現される。この画像処理装置１を実現するコンピュータシステムは、図１９に示すように、ＣＰＵ（中央演算装置）４０とメモリ４２と各種Ｉ／Ｏ（入出力）インタフェース４４とがバス４６を介して接続された回路構成を有する。ハードディスク（記憶媒体）に対するデータの読み書きを行うハードディスクドライブ４８や、ＣＤやＤＶＤ、フラッシュメモリなどの各種規格の可搬型の不揮発性記録媒体に対するデータの読み書きを行うディスクドライブ５０がＩ／Ｏインタフェース４４を介してバス４６に接続されている。これらのドライブ４８，５０に装着された記憶媒体には、後述するような処理手順が記述されたプログラムがＣＤやＤＶＤ等の記録媒体を経由して又はネットワーク経由で記憶される。そして、ＣＰＵ４０によって、これらの記憶媒体に記憶されたプログラムがメモリ４２に読み出されて実行されることにより、前述した図１に示す各種機能が実現されることになる。

このように本実施形態によれば、画像分離部１０３により罫線画像と情報画像とに分離し、それぞれを別の処理を施すことができるので、枠を拡大した領域に交差した文字列をも扱うことができる。また、構造対応付け部１０６により表構造と情報とを対応付けすることができるので、印刷ずれの影響を回避し、帳票画像から情報を正確に読み取ることができる。
なお、罫線画像を除去したときに、情報画像と罫線画像が重なっていた領域に欠損部分が生じるが、後処理として文字認識が必要な場合には、この欠損部分を適切な手法を用いて修正することが望ましい。

本発明の実施の形態に係る画像処理装置のブロック構成図である。 同実施形態における動作手順を示すフローチャートである。 同実施形態における帳票画像の一例を表す図である。 同実施形態における罫線画像の一例を表す図である。 同実施形態における情報画像の一例を表す図である。 同実施形態における複数の矩形領域に対するラベリング処理のフローチャートである。 帳票画像に対する座標の割付例を表す図である。 帳票画像に対する座標の割付例を表す図である。 外接矩形の統合手順を示すフローチャートである。 外接矩形の統合例を表す図である。 外接矩形の統合例を表す図である。 情報画像から情報の外接矩形を抽出した一例を表す図である。 外接矩形をグルーピングした例を表す図である。 外接矩形の重複の度合いを表す図である。 外接矩形を膨張した例を表す図である。 外接矩形をグルーピングした例を表す図である。 外接矩形を膨張した例を表す図である。 本実施形態の構成の一例を示す図である。 画像処理装置のハードウェア構成の一例を表す図である。

符号の説明

１０１ 画像入力部、１０２ 罫線特定部、１０３ 画像分離部、１０４ 表構造抽出部、１０５ 情報構造抽出部、１０６ 構造対応付け部、１０７ 出力部。

Claims (5)

1. 罫線から成る表と該表に関連した情報とが記載された文書を画像として読み取る画像入力手段と、
   前記画像から表の罫線の位置を特定する罫線特定手段と、
   前記罫線特定手段によって特定された罫線の位置に基づき、前記画像を罫線から成る罫線画像と情報を表す情報画像とに分離する画像分離手段と、
   前記画像分離手段によって分離された罫線画像によって囲まれる複数の矩形領域を検出し、該矩形領域の最小単位に対して矩形単位の座標値を割り付けて、該複数の矩形領域の隣接関係を特定することで、前記表の表構造を抽出する表構造抽出手段と、
   前記画像分離手段によって分離された情報画像に外接する外接矩形を検出し、該外接矩形に対して矩形単位の座標値を割り付けて、該複数の外接矩形の隣接関係を特定することで、前記情報の位置構造を抽出する情報構造抽出手段と、
   前記表構造抽出手段によって割り付けられた座標値と前記情報構造抽出手段によって割り付けられた座標値とを対応付けることで、前記表構造に前記情報の位置構造を対応付ける構造対応付け手段と
   を有することを特徴とする画像処理装置。
2. 前記情報構造抽出手段は、前記複数の外接矩形間の距離が所定の範囲内であれば該外接矩形を統合し、統合した外接矩形に対して座標を割り付けることを特徴とする請求項１に記載の画像処理装置。
3. 前記情報構造抽出手段は、前記外接矩形を膨張させた後に座標を割り付けることを特徴とする請求項１に記載の画像処理装置。
4. 前記情報構造抽出手段は、隣接する外接矩形の位置に基づき複数の外接矩形をグループ化し、各々のグループ間で重ならないように前記外接矩形を膨張させることを特徴とする請求項３に記載の画像処理装置。
5. コンピュータに、
   罫線から成る表と該表に関連した情報とが記載された文書を画像として読み取る画像入力手順、
   前記画像から表の罫線の位置を特定する罫線特定手順、
   前記罫線特定手順において特定された罫線の位置に基づき、前記画像を罫線から成る罫線画像と情報を表す情報画像とに分離する画像分離手順、
   前記画像分離手段によって分離された罫線画像によって囲まれる複数の矩形領域を検出し、該矩形領域の最小単位に対して矩形単位の座標値を割り付けて、該複数の矩形領域の隣接関係を特定することで、前記表の表構造を抽出する表構造抽出手順、
   前記画像分離手段によって分離された情報画像に外接する外接矩形を検出し、該外接矩形に対して矩形単位の座標値を割り付けて、該複数の外接矩形の隣接関係を特定することで、前記情報の位置構造を抽出する情報構造抽出手順、
   前記表構造抽出手段によって割り付けられた座標値と前記情報構造抽出手段によって割り付けられた座標値とを対応付けることで、前記表構造に前記情報の位置構造を対応付ける構造対応付け手順、
   を実行させるためのプログラム。

Images