JP2000285190A - 帳票識別方法および帳票識別装置および記憶媒体 - Google Patents

Abstract

(57)【要約】 【課題】罫線枠等の物理的な構造のみに限定することな
く、色情報、キーワード認識結果など、複数の特徴を用
いて性能のよい帳票識別を可能にする。 【解決手段】入力された識別対象の帳票の画像から複数
の特徴量を抽出し、そのうちの１つと登録帳票の特徴量
とを比較して該識別対象の帳票の種別が識別できなかっ
たとき、前記複数の特徴量のうちの他の特徴量と前記登
録帳票の特徴量とを比較して該識別対象の帳票の種別を
識別することを特徴とする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、帳票を種別を効率
よく識別、分類するための帳票識別方法に関する。

【０００２】

【従来の技術】従来、画像を識別するために、例えば、
特開昭６１−７５４７７号には、格納すべき対象文書の
見本文書（複数個）の画像あるいはその特徴パターンを
あらかじめ記憶しておき，格納すべき対象文書の画像か
ら特徴パターンを抽出して、上記見本文書の特徴パター
ンと比較し同一であると判定した見本文書の分類コード
を入力文書に付与することによって、自動的に分類コー
ドの決定を行う方法が提案されている。

【０００３】しかし、例えば特開昭６１−７５４７７号
では、画像の水平・垂直線分の積分値（水平・垂直方向
への長い線分の画素数の加算）を用いていることから、
異なる文書が同一の直線部を有している場合には区別が
できない他、画像が傾いていたり、位置づれがある場合
には、画像レベルでの位置合わせや傾き補正が難しいと
いう問題があった。

【０００４】この問題を解決するために、例えば、特開
平０８−２５５２３６号では、帳票画像から抽出した罫
線枠の情報をハッシュテーブルを利用し、帳票間で照合
することで識別を行う処理を提案している。これは、登
録帳票に対して帳票画像から抽出した罫線枠の連結性を
検査し、その連結罫線枠の外接長方形により正規化し、
各罫線枠の中心座標をハッシュテーブルに登録する。一
方、識別対象の帳票に対しても同様に、帳票画像から罫
線枠を抽出し、連結罫線枠より正規化する。最後に、各
罫線枠の中心座標で登録しておいたハッシュテーブルを
検索し、最もヒットした登録帳票の種別を該当する帳票
とするという手法である。

【０００５】

【発明が解決しようとする課題】大量・多品種の帳票を
扱うにつれ、罫線枠の物理的な構造にのみに基づいてい
る手法では、同じ構造をもっていても異なる種類の帳票
として分類したい場合、例えば、枠情報が一致していて
もプレ印字文字のみが違うもの、色情報のみが違うもの
などでは、認識性能に限界がでてきた。

【０００６】そこで、本発明は、罫線枠等の物理的な構
造のみに限定することなく、色情報、キーワード認識結
果など、複数の特徴を用いて性能のよい帳票識別を可能
にする帳票識別方法およびそれを用いた帳票識別装置を
提供することを目的とする。

【０００７】

【課題を解決するための手段】本発明の帳票識別方法
は、入力された識別対象の帳票の画像から複数の特徴量
を抽出し、そのうちの１つと登録帳票の特徴量とを比較
して該識別対象の帳票の種別が識別できなかったとき、
前記複数の特徴量のうちの他の特徴量と前記登録帳票の
特徴量とを比較して該識別対象の帳票の種別を識別する
ことにより、罫線枠等の物理的な構造のみに限定するこ
となく、色情報、キーワード認識結果など、複数の特徴
を用いて性能のよい帳票識別を可能にする。

【０００８】本発明の帳票識別方法は、入力された帳票
の画像から帳票の種別を特定するための色および罫線お
よび文字列のうちの少なくとも１つを特徴量として抽出
し、複数の登録帳票をこれらに共通する前記特徴量で予
め分類しておき、入力された識別対象の帳票の画像から
抽出された前記特徴量のうち、該識別対象の帳票の種別
を識別する際に用いる特徴量を選択し、この選択された
特徴量で分類された登録帳票の特徴量に基づき該識別対
象の帳票の種別を識別することにより、検索範囲を絞り
ながら、大量・多品種の帳票の識別を可能にし、性能の
よい帳票識別結果を得ることができる。

【０００９】好ましくは、入力された識別対象の帳票の
画像の種別に応じて、該帳票の画像から抽出する特徴量
を選択する。

【００１０】好ましくは、前記識別対象の帳票の画像か
ら抽出された特徴量に一致する帳票が登録されていない
とき、該特徴量に最も類似する登録帳票の特徴量を用い
て該帳票を登録する。

【００１１】好ましくは、帳票の特徴量として色を抽出
する際、各画素の色を周辺画素の色を基に判定する。

【００１２】本発明の帳票識別装置は、入力された識別
対象の帳票の画像から複数の特徴量を抽出する抽出手段
と、この抽出手段で抽出された複数の特徴量のうちの１
つと登録帳票の特徴量とを比較して該識別対象の帳票の
種別を識別する第１の識別手段と、この第１の識別手段
で前記識別対象の帳票の種別が識別できなかったとき、
前記複数の特徴量のうちの他の特徴量と前記登録帳票の
特徴量とを比較して該識別対象の帳票の種別を識別する
第２の識別手段とを具備したことにより、罫線枠等の物
理的な構造のみに限定することなく、色情報、キーワー
ド認識結果など、複数の特徴を用いて性能のよい帳票識
別を可能にする。

【００１３】本発明の帳票識別装置は、入力された帳票
の画像から帳票の種別を特定するための色および罫線お
よび文字列のうちの少なくとも１つを特徴量として抽出
する抽出手段と、複数の登録帳票をこれらに共通する前
記特徴量で分類する分類手段と、入力された識別対象の
帳票の画像から抽出された前記特徴量のうち、該識別対
象の帳票の種別を識別する際に用いる特徴量を選択し、
この選択された特徴量で分類された登録帳票の特徴量に
基づき該識別対象の帳票の種別を識別する識別手段とを
具備したことにより、検索範囲を絞りながら、大量・多
品種の帳票の識別を可能にし、性能のよい帳票識別結果
を得ることができる。

【００１４】好ましくは、入力された識別対象の帳票の
画像の種別に応じて、該帳票の画像から抽出する特徴量
を選択する。

【００１５】好ましくは、前記識別対象の帳票の画像か
ら抽出された特徴量に一致する帳票が登録されていない
とき、該特徴量に最も類似する登録帳票の特徴量を用い
て該帳票を登録する。

【００１６】

【発明の実施の形態】以下、本発明の実施形態について
図面を参照して説明する。

【００１７】図１は、本実施形態にかかる帳票画像を識
別するための帳票識別装置の構成例を示したもので、画
像入力部１とディスプレイ装置６と入力デバイス７と各
種記憶手段（入力データメモリ３、保存部８、フォーマ
ット情報記憶部４）をバスに接続して構成されている。

【００１８】図１には、帳票登録部２と帳票識別部４を
ハードウエア資源として示しているが、画像入力部１と
ディスプレイ装置６と入力デバイス７と各種記憶手段
（入力データメモリ３、保存部８、フォーマット情報記
憶部４）とＣＰＵとを有したコンピュータに実行させる
ことのできるプログラムとしてフロッピーディスク、Ｃ
Ｄ−ＲＯＭ等の記憶媒体に記録して頒布することもでき
る。

【００１９】図１に示す帳票識別装置は、帳票登録モー
ドと帳票識別モードの２種類のモードを有し、帳票登録
モードにおいては、以下のように動作する。すなわち、
画像入力部１は登録する帳票（登録帳票）をスキャンし
て、得られた画像を帳票登録部２に与える。入力データ
メモリ３は入力された画像を記憶しておくものである。
帳票登録部２は入力された画像にカラー分離、線分抽
出、文字枠抽出、文字認識、枠抽出などの認識処理を施
し、認識結果をディスプレイ装置６に表示してユーザに
提示し、ユーザとの対話的な処理によって、登録帳票の
各種構成要素を抽出して、フォーマット情報を生成して
フォーマット情報記憶部４に登録する。

【００２０】一方、帳票識別モード時に以下のように動
作する。すなわち、画像入力部１はファイリングすべき
各々の帳票をスキャンして、得られた画像を帳票識別部
５に与える。帳票識別部５はフォーマット情報記憶部４
に登録された複数のフォーマット情報をもとにして、フ
ァイリングすべき帳票が、登録された帳票のうちのどれ
と一致しているかを基に識別する。そしてその結果をデ
ィスプレイ装置６に表示することによって、得られた識
別結果をユーザに提示し、ユーザとの対話的な処理によ
って確認を行ったのち、例えばマウス、キーボード、電
子ペン等の入力装置から構成される指示デバイス７を用
いてユーザにより処理が指示される。最後に、帳票登録
部２で登録された登録帳票のフォーマット情報と帳票識
別部５で得られた帳票のフォーマット情報とに基づき、
入力画像を保存部８にファイリングする。ただし、この
対話処理を省略し、自動保存を行い、複数枚を保存した
後に確認作業を行うことも可能である。

【００２１】次に、上記した各動作モードで行われる処
理を、より詳細に説明する。まず、帳票登録モードにつ
いて説明する。

【００２２】図２は、帳票登録モードにおける処理動作
を説明するためのフローチャートである。まず、スキャ
ナによって入力された登録帳票の画像がディスプレイ装
置６上に表示される（ステップＳ１）。そして、この入
力画像に対し、帳票登録部２では、カラー分離処理を行
って、背景画像、罫線およびプレ印字部抽出を行う（ス
テップＳ２）。次に罫線・プレ印字部として得られたデ
ータに対しては、色解析処理（ステップＳ３）、２値化
処理（ステップＳ４）が実行される。さらに、要素抽出
処理（ステップＳ５）が施され、罫線、文字枠、文字コ
ードなどの帳票の種別を識別する際に用いる特徴的な要
素（特徴量）の抽出を行う。最後に、追加・修正処理
（ステップＳ６）によって、ユーザからの指示に従っ
て、データを編集し、最終的にフォーマット情報を作成
して、フォーマット情報記録部４に登録する（ステップ
Ｓ７）。

【００２３】次に、ステップＳ２のカラー分離処理にお
ける背景画像検出およびその除去処理について説明す
る。

【００２４】入力画像に対して、画素ごとにＲＧＢの値
をＨＳＶ（色相、彩度、明度）に変換する。この値か
ら、ヒストグラムをとって、もっとも値の多い値を背景
色値とする。背景色が決定されたら、背景部分を全体画
像から除去する。もちろん、背景色の検出は他の方法を
用いてもよい。

【００２５】入力画像は、背景部分、罫線部分、文字部
分が存在すると考えることができるので、背景画像が除
去された時点で残された画像は、罫線・プレ印字文字部
と考えられる。したがって、これらの画像について２値
化した後（ステップＳ４）、また、色解析を行い、色特
徴の抽出を行った後（ステップＳ３）、画像から図形特
徴や文字コード等の各種要素を抽出する（ステップＳ
４）。

【００２６】ステップＳ４の２値化処理では、たとえ
ば、ステップＳ２のカラー分離処理によって背景部分が
削除されているので、残った画像は、罫線、プレ印字文
字、手書き文字などの要素になると考えてよいので、背
景以外のデータが黒になるように２値化できればよい。

【００２７】ステップＳ３の色解析はたとえば以下の方
法で行う。すでに、入力画像の中から、背景部分が削除
されているので、色部分についてのみ処理を行う。色部
分についてのみ、ＲＧＢ空間もしくはＨ（色相）−Ｓ
（彩度）空間に投票し、クラスタリングにより帳票に存
在する色を判定する。たとえば、図３に示したように、
あらかじめ、帳票に使われるような罫線の色成分に相当
する投票箱をＨ−Ｓの色空間に配置しておいて、抽出さ
れた画素に対して色成分を計算して、投票箱に投票して
いく方法をとる。たとえば、赤に相当する投票箱（領
域）Ｒ１、青に相当する投票箱（領域）Ｒ５を設けて、
各画素の色成分で投票を行い、最終的に投票数や投票画
素全体に対して占める割合を算出して、当選か落選かを
決定する。この方法によって対象帳票の代表色を記録す
る。色種だけではなく、帳票内で用いられている色の割
合も保存しておいてもよい。色の特徴を解析する方法
は、従来より提唱されているほかの手法をもちいてもか
まわない。

【００２８】ステップＳ５の要素抽出では、罫線枠（罫
線、文字枠）、文字コードなどを抽出する。罫線の抽出
はたとえば以下の方法で行う。すなわち、ここでは、罫
線は４点から構成される枠情報であると考え、抽出を行
う。まず、入力データをラスタスキャンしてその追跡開
始点を検出した後、その追跡開始点から時計周りあるい
は反時計周りに図形境界がつくる閉曲線を追跡すること
によって輪郭線抽出が行なわれる。このような閉曲線追
跡により抽出された輪郭の情報は座標点列、あるいは方
向コードの列であるチェインコードとして保存される。
この輪郭抽出処理については、従来より種々提唱されて
いる他の輪郭抽出の手法を用いても良いことは言うまで
もない。

【００２９】次に、輪郭線データをもとに、画像の交差
部や角点という特徴点を抽出する。これは、例えば輪郭
点列から凸点列を検出し、それに対応付く凹点列を抽出
する。この特徴点抽出は例えば曲率算出処理によって求
められた曲率ｋを所定の閾値Ｋ０、Ｋ１と比較し、ｋ≦
Ｋ０ なる点列を凹点列、ｋ≧Ｋ１ となる点を凸点列
とすることにより実現される。

【００３０】尚、この特徴点抽出処理を、図形の細線化
処理や芯線化処理によって実現してもよい。例えば、細
線化データでは線分の端点には凸部が存在し、細線の交
差点には凹点が存在することから、特徴抽出が可能とな
る。

【００３１】次に、これらの点列の組合せから枠を抽出
する。枠の抽出は、例えば注目点近郊にある４点の座標
の組合せから、図形が長方形または平行四辺形をなすか
どうかを判断することにより容易に枠領域が抽出可能で
ある。このとき、枠抽出は他の手法を用いてもよいこと
はいうまでもない。

【００３２】文字枠抽出はたとえば以下の方法で行な
う。画像を連結領域ごとにラベル付けし、外接図形を求
める。次に隣接する外接図形がある閾値内の距離にある
場合には併合してみる。併合を行なった場合に再度外接
図形を計算し、下線の方向（傾き）の変動がある閾値以
内の場合には同一文字列であるとする。なお、文字枠抽
出方法は従来より種々提唱されている手法など他の方法
を用いてもよい。

【００３３】文字抽出はたとえば以下の方法で行なう。
画像を連結領域ごとにラベル付けし、外接図形を求め
る。外接図形の大きさがある閾値内である場合には文字
候補として文字認識を行なう。なお、文字抽出方法は従
来より種々提唱されている手法など他の方法を用いても
よい。

【００３４】以上のように抽出された要素に対しては、
ステップＳ６において、追加・修正が行われる。

【００３５】ディスプレイ装置６に表示された入力画像
から抽出された各種要素は、例えば、ステップＳ１で入
力された登録帳票の画像の上に重畳表示されて、ユーザ
によりデータ修正が行なわれるようになっている。修正
方法は、従来利用している図形作成ツールなどと同様に
行うことが可能である。

【００３６】最後にユーザによる修正により最終的に作
成されたフォーマット情報がフォーマット情報記憶部４
に登録される（ステップＳ７）。その際、フォーマット
情報にはキーワードまたはファイル名を付与し、保存す
る。

【００３７】ここで、図４を参照して、カラー帳票の特
徴を説明する。帳票には、その構成要素として、罫線
枠、罫線色、予め印字されている文字列（プレ印字文字
列）領域Ｒ１、Ｒ２があげられる。

【００３８】図５は登録された登録帳票のフォーマット
情報（ここでは、そのイメージを示している）の４つの
例であり、各登録帳票からは、色情報の違いも含めて特
徴量となる構成要素（罫線枠、文字列（プレ印字文
字））が抽出されている。

【００３９】これらの帳票は、色情報のみ共通のもの、
プレ印字の一部が共通のもの、罫線枠の一部が共通のも
の等が存在する。

【００４０】例えば、後述する帳票識別モードにおいて
は、登録帳票と識別対象の帳票とで最初に照合すべきも
の（第１の特徴量）を色情報とする。すなわち、図６に
示すように、第１の特徴量として罫線色とすると、登録
帳票ＡとＢ、ＣとＤは、同じフォーマット群として分類
される。また、帳票の先頭にあるプレ印字＃１を第２の
特徴量として、これを基に分類すると、帳票見本ＣとＤ
とが同じフォーマット郡として分類される。さらに、帳
票の右下にあるプレ印字＃２を第３の特徴量として、こ
れを基に分類すると帳票見本Ａ〜Ｃが同じフォーマット
として分類される。

【００４１】図６に示した分類方法に限らず、複数の登
録帳票のフォーマット情報には、罫線枠の構造のみが一
致していて、プレ印字のある場所やその文字列（文字コ
ード）、罫線色のみが違うものなど、多種存在すること
から、できるだけ登録帳票を分離しやすい観点から分類
することが望ましい。

【００４２】次に、帳票識別モードについて詳細に説明
する。

【００４３】図７は帳票識別モードにおける処理動作を
説明するためのフローチャートである。まず、スキャナ
によって入力された識別対象の帳票の画像がディスプレ
イ装置６上に表示される（ステップＳ１１）。そして、
この入力画像に対し、帳票識別部５は画像分離処理を施
し（ステップＳ１２）、背景画像、黒領域（文字列部
分）、罫線およびプレ印字部を抽出する。

【００４４】罫線・プレ印字部として得られたデータに
対しては、色解析処理（ステップＳ１３）、２値化処理
（ステップＳ１４）が施される。さらに、要素抽出処理
（ステップＳ１５）が施され、罫線、文字枠、文字コー
ドなどの要素抽出を行う。

【００４５】ここでの背景画像検出処理、色解析処理、
罫線、文字枠、文字コードなどの要素抽出処理、２値化
処理については、帳票登録時と同様であるので説明を省
く。なお、ここでは、必ずしも文字認識処理を行う必要
はない。文字認識処理は、必要に応じて、後述するステ
ップＳ１９にて行うようにしてもよい。

【００４６】ステップＳ１２における黒領域抽出処理
は、たとえば以下の方法で行う。黒領域は、画素ごとに
ＲＧＢの値をＨＳＶ（色相、彩度、明度）に変換した場
合、明度Ｖや彩度Ｓが小さくなる。したがって、しきい
値処理によって黒画素部分を抽出することが可能にな
る。もちろん、黒画素領域の抽出は他の方法を用いても
よい。もちろん、帳票の罫線やプレ印字文字に黒が用い
られている場合は、黒領域も罫線・プレ印字部と同様に
取り扱ってもよい。

【００４７】次に、ステップＳ１５の要素抽出処理で得
られたデータから、登録帳票と識別対象の帳票とで最初
に照合すべきもの（第１の特徴量）を選択する（ステッ
プＳ１６）。そして、帳票識別を行う（ステップＳ１
７）。

【００４８】ここで、帳票識別処理の一例として、ハッ
シュテーブルを用いて帳票識別を行う場合について説明
する。なお、この手法について特開平０８−２５５２３
６号に開示されており、登録帳票から抽出された特徴量
からハッシュテーブルを作成する前処理と、入力画像か
ら特徴を抽出し、投票を行い認識する認識処理とに分け
ることができる。

【００４９】また、ここでハッシュテーブルを作成する
際には、複数の登録帳票を分類した結果を１つの登録帳
票として扱っていてもよい。この場合も以下の説明がそ
のまま当てはまる。

【００５０】まず、図８を参照してハッシュテーブルの
作成処理について説明する。図２を参照して説明したよ
うに、帳票を登録する際には、その帳票の画像の入力
（ステップＳ３１）、帳票の各構成要素の抽出（ステッ
プＳ３２）を行う。そこで、ハッシュテーブルを作成す
るために、既にフォーマット情報記憶部４に記憶されて
いるフォーマット情報を基に、罫線枠の中心座標、文字
列枠の中心座標、連結枠情報などの特徴量を抽出し、こ
れらの値を規格化する。例えば、最大値を「１」とした
場合の相対的な値を算出する（ステップＳ３３）。

【００５１】この規格化された値を用いて、例えば、罫
線枠の中心座標、文字列枠の中心座標といった各特徴量
毎にハッシュテーブルテーブルを作成する。

【００５２】図９に、特徴量として、罫線枠の中心座標
を用いた場合のハッシュテーブルの一例を示す。全ての
登録帳票（Ａ〜Ｆ）の罫線枠の中心座標をハッシュテー
ブル上に埋め込んだ場合を示している。傾きに関しては
直線データをもとに傾き補正してあることを前提として
いるので、罫線枠は水平・垂直線分のみから構成されて
いると考えてよい。ここでは、ハッシュテーブルを作成
するときの基底（規格化する特徴量のパラメータ）のと
り方は、水平・垂直線分上に位置する点で表現する。特
に、帳票の場合には連結する長方形枠が多く存在するこ
とから、基底には、連結長方形枠の外接図形の幅と高さ
情報を用いる。規定には、帳票そのものののサイズを用
いてもよいし、基準になるものが統一されていればよ
い。

【００５３】次に、図１０に示すフローチャートを参照
して、ハッシュテーブルを用いた帳票識別処理動作につ
いて説明する。図７を参照して説明したように、帳票の
識別を行う際には、識別対象の帳票の画像の入力（ステ
ップＳ４１）、罫線、文字枠などの特徴量の抽出を行う
（ステップＳ４２）。

【００５４】抽出された特徴量からさらに、罫線枠の中
心座標、文字列枠の中心座標、連結枠情報などの特徴量
を抽出し、これらの値を規格化する（ステップＳ４
３）。

【００５５】そして、この規格化されてた特徴量を用い
てハッシュテーブル上の当該特徴量に該当する特徴点の
エリアを検索する（ステップＳ４４）。このエリアは予
め定められた範囲の検索エリアで、そのエリア内に登録
帳票の特徴点があれば、その登録帳票に投票する（ステ
ップＳ４５）。具体的には、登録された登録帳票名（フ
ォーマット番号）ごとにヒストグラムを作成しておい
て、検索したエリア内の登録帳票名（フォーマット番
号）ごとに投票を行う。これらの処理を識別対象の帳票
の有する特徴点の数だけ繰り返し（ステップＳ４６）、
ヒストグラムの最も大きい登録帳票との類似度を計算
し、識別結果として出力する（ステップＳ４７、ステッ
プＳ４８）。

【００５６】例えば、図１１に示すような罫線枠の中心
座標にるハッシュテーブルにおいて、登録帳票が６枚あ
るとして、識別対象の帳票として、フォーマット番号
「Ａ」の帳票（サンプル帳票）を識別する場合について
説明する。当該サンプル帳票には特徴点が９点あり、図
１１のハッシュテーブル上のハッチング部分は各特徴点
に対応する予め定めれた範囲の検索エリアである。この
場合、図１２に示すように、サンプル帳票の特徴点に対
応する各検索エリアに存在する登録帳票の特徴点を基に
各登録帳票に投票した結果、フォーマット番号「Ａ」の
登録帳票の投票数は「８」と最も大きく、次に、フォー
マット番号「Ｄ」の登録帳票の投票数「２」、フォーマ
ット番号「Ｅ」の登録帳票の投票数「１」、フォーマッ
ト番号「Ｆ」の登録帳票の投票数「１」と続いている。

【００５７】そこで、上記４つの登録帳票との類似度を
求めることにする。類似度は、例えば次式（１）で定義
されるものであるとする。すなわち、各登録帳票ｔの投
票数をＮｔ、識別対象の帳票の長方形枠数をｋ、登録帳
票ｔの長方形枠数をＲｔとすると、類似度Ｓは、 Ｓ ＝ （Ｎｔ×２×１００）／（ｋ＋Ｒｔ） …（１） と表すことができる。

【００５８】式（１）を用いて類似度を算出した結果を
図１２に示す。

【００５９】よって、サンプル帳票にもっとも類似して
いるのは、類似度が最も高いフォーマット番号「Ａ」の
登録帳票であることが分かる。

【００６０】以上、ハッシュテーブルを用いた帳票の識
別方法について説明したが、この場合に限らず、他の識
別方法を用いてもよい。

【００６１】次に、識別対象の帳票（サンプル帳票）に
ついて第２の特徴量を用いた詳細調査を行うことを考え
る。この時点で、フォーマット番号「Ａ」の登録帳票が
１つの登録帳票のみであれば、それを識別結果として出
力すればよく（ステップＳ２６）、第２の特徴量を用い
た詳細調査は省略できる。

【００６２】例えば、図１３に示すように、フォーマッ
ト番号「Ａ」という登録帳票には、（ａ）図、（ｂ）図
に示すような２種類の登録帳票が含まれているとする。
これらの２つの登録帳票は、罫線枠、罫線枠の色がとも
に同一であり、異なる部分は、プレ印字されている文字
列である。したがって、この２つの登録帳票のフォーマ
ット情報には、識別に必要な文字枠（文字領域）と文字
列とが含まれている。

【００６３】例えば、図１４に示すように、図１３
（ａ）、（ｂ）に示した各登録帳票のフォーマット情報
は、文字識別すべき２カ所のプレ印字領域Ｒ１、Ｒ２が
登録されている。詳細調査が必要な場合は、識別対象の
帳票（サンプル帳票）に対し、この２カ所に記載されて
いる文字列を順次抽出し、文字認識を行う（ステップＳ
１８〜ステップＳ１９）。１カ所の文字認識で１つの登
録帳票に確定できなかったときは、確定できるまで文字
認識を繰り返す（ステップＳ１８〜ステップＳ１９）。

【００６４】文字列抽出、文字認識については、既存の
方法を用いればよい。ここで認識された文字列が図１３
（ａ）、（ｂ）のどちらか一方の帳票に一致するか、ま
たは、一致度が高いかによって、詳細識別結果とする。

【００６５】文字認識を繰り返し、識別対象の帳票に詳
細調査が必要なくなれば、識別対象の帳票がある１つの
登録帳票に一致したことになり（ステップＳ１８）、そ
の識別結果を出力または保存する（ステップＳ２６）。

【００６６】図１３の例では、プレ印字領域Ｒ１のみ文
字認識すれば、どちらの帳票であるか確定できるが、こ
こで確定できない場合は、さらに、プレ印字領域Ｒ２を
文字認識する、他の特徴量を用いて、さらに詳細調査を
繰り返す。ここでは、帳票が確定できるまで特徴量をか
えて識別を行うか、またはもっとも類似しているものを
提示してもよい。該当帳票がない場合には新しく登録追
加することも可能である。

【００６７】（第２の実施形態）次に、帳票登録におけ
る登録帳票の分類について、より詳細に説明する。

【００６８】図１５は、登録された登録帳票（Ａ〜Ｅ）
のフォーマット情報をイメージ的に示してものである。
図１５において、登録帳票ＡとＢとＣ、ＤとＥは、それ
ぞれ罫線構造としては共通のものを持ち登録帳票ＡとＢ
とＥ、ＣとＤは、用いられる色としては共通である。こ
のように、各特徴（色、罫線、プレ印字＃１、プレ印字
＃２）による分類を行うと、図１６のように、それぞれ
の特徴について２つのグループに分類できる。

【００６９】ここで、帳票識別モードにおいて、図７の
ステップＳ１６で選定される第１の特徴量が色情報であ
るとすると、この段階で絞り込まれた登録帳票に対し、
さらに第２の特徴量として罫線を用いて、前述したよう
に、ハッシュテーブルを用いて帳票の識別を行う。この
様に、帳票登録時に識別に用いられる特徴量を想定し、
登録帳票を分類しておくことによって、識別作業の効率
化および識別誤りの削減ができる。

【００７０】（第３の実施形態）次に、識別対象の帳票
の画像のタイプによって識別に用いる特徴量を選択する
場合について、図１７に示すフローチャートを参照して
説明する。

【００７１】まず、スキャナによって入力された識別対
象の帳票の画像がディスプレイ装置６上に表示される
（ステップＳ５１）。そして、この入力画像がどの画像
タイプ（２値画像、濃淡画像、カラー画像）に属するか
を判断する（ステップＳ５２）。画像タイプの判断に
は、ユーザがいずれの画像タイプであるかを指示するこ
とにより判断するようにしてもよい。

【００７２】画像タイプにより帳票の識別に用いる特徴
量が異なる。すなわち、例えば、２値画像の場合は、罫
線枠、プレ印字文字（ステップＳ５４）、濃淡画像の場
合は、濃淡の濃度分布、罫線枠、プレ印字文字（ステッ
プＳ５５）、カラー画像の場合は、罫線色、罫線枠、プ
レ印字文字（ステップＳ５６）が特徴量としてあげられ
る。最後に各特徴量のうちで、第１の特徴量を選定する
（ステップＳ５７）。

【００７３】例えば、２値画像の場合には、第１の特徴
量として罫線枠を選定する。同様に、濃淡画像の場合に
は濃度分布、カラー画像の場合には罫線色を第１の特徴
量として選定する。その後は、各画像タイプに対応した
特徴量の抽出処理のみを行って、前述したようなハッシ
ュテーブルを用いた帳票識別、プレ印字文字の照合等を
行えばよい。

【００７４】この場合、画像タイプに応じて予め抽出す
べき特徴量が限定されるので、帳票識別結果を得るまで
の時間が短縮できる。

【００７５】なお、識別に用いる特徴量は、上記特徴量
に限らず、他の特徴量を用いてもよい。同様に、画像タ
イプによって、識別に用いる特徴量は、第１の特徴量に
限らず、第２、第３の特徴量を併用してもよい。

【００７６】（第４の実施形態）次に、帳票識別の結
果、該当する帳票が得られなかった場合、すなわち、未
登録の帳票の識別を行ってしまった場合の処理動作につ
いて、図１８に示すフローチャートを参照して説明す
る。

【００７７】図７に示す処理を行った結果（ステップＳ
６１、ステップＳ６２）、識別対象の帳票と同一の登録
帳票が存在したときは、それを帳票識別結果として出力
する（ステップＳ６３、ステップＳ６４）。以上の詳細
な処理は、図７に示したフローチャートと同様である。
一方、識別対象の帳票と同一の登録帳票が存在しなかっ
たとき（ステップＳ６３）、類似帳票があるかどうかを
判断する（ステップＳ６５）。類似帳票であるかどうか
は、検索時に用いた類似度など帳票の類似性を評価でき
るものを用いて、評価する。そして、類似度が所定の閾
値以上のものを提示してもよいし、もっとも類似度が高
いものを提示してもよい。ここで類似する帳票が存在し
ない場合は、現在識別しようとしている入力された帳票
を図２に示したように新規登録する（ステップＳ６
６）。

【００７８】もし、類似帳票があれば、その類似帳票の
フォーマット情報を流用して、現在識別しようとしてい
る帳票の追加登録を行う（ステップＳ６７）。

【００７９】例えば、図１９（ａ）に示すようなフォー
マット情報の登録帳票が既に登録されていて、現在識別
しようとしている入力された帳票が図１９（ｂ）である
とする。そして、この入力帳票に最も類似するものが図
１９（ａ）に示した登録帳票であるとする。

【００８０】図１９（ａ）に示す帳票と図１９（ｂ）に
示す帳票とは、プレ印字文字のみしか違わないので、改
めて登録するには、登録の手間がかかる他、フォーマッ
ト情報記憶部４における登録帳票のフォーマット情報の
容量も必要になるので、ここでは、図１９（ａ）に示す
登録帳票の変形として、図１９（ｂ）に示す帳票中の異
なる部分、すなわち、プレ印字文字のみを追加登録し
て、新たな登録帳票の登録を行うものである。

【００８１】このような他の登録帳票のフォーマット情
報を流用した登録帳票の登録方法としては、例えば、図
２０に示したように、罫線タイプと色、プレ印字文字を
別々に部品登録し、各登録帳票は、そのフォーマット番
号に対応させて、例えば、図２１に示すように、図２０
に示した部品の組み合わせで表現する。

【００８２】このように、登録帳票の要素を部品化し
て、それらを組み合わせて１つの登録帳票のフォーマッ
ト情報を作成することにより、部分的に一致する複数の
登録帳票を登録する場合、登録の手間を最小限にし、ま
た、登録データ容量も減らすことが可能になる。

【００８３】また、この場合、帳票識別を行う際も前述
同様に行える。

【００８４】（第５の実施形態）帳票登録モード、帳票
識別モードに共通して言えることだが、例えば、図２の
ステップＳ３における色解析処理、図７のステップＳ１
３における色解析処理において、入力された帳票画像の
各画素に対して、その画素の持つ色の情報が抽出すべき
色であるかどうかを判断する過程における処理について
説明する。すなわち、抽出すべき色とそれ以外の取り除
くべき色または背景色が存在する状態から、抽出すべき
色を抽出するか、または、不要なものを取り除く操作を
行う時に、抽出すべきものと、それ以外の両者の中間的
な状態である中間色であると判断された画素の周囲の画
素の色の判定状態を調べ、これによって、その画素が抽
出すべき色を持つかどうかを判断する。

【００８５】図２２に示すフローチャートを参照して、
以上述べたような色判断処理動作について説明する。

【００８６】まず、黒領域に抽出処理について説明す
る。図２３（ａ）は、原画像である。ここで、領域ｘ１
は黒線、領域ｘ２、ｘ３は色付きの線である。図２３
（ａ）に示した原図ををスキャンした直後の画像データ
を図２３（ｂ）に示す。図２３（ｂ）において、領域ｘ
５は、黒と判断される部分、領域ｘ４、ｘ６は、色付き
と判断される部分である。スキャナでは、このように、
黒の領域における色付きの領域との境界上が色付きとな
ることがある。 そこで、まず、図２３（ｂ）に示した
ようなデータから黒の領域ｘ５のみを抽出する（ステッ
プＳ７１）。次に、図２３（ｃ）に示すように、この黒
の領域ｘ５の周辺領域はｘ４、ｘ６であるが、この領域
ｘ４、ｘ６の色を調べる（ステップＳ７２）。領域ｘ
４、ｘ６の色が白でない、すなわち、中間色であるとき
は、この領域を黒と判定する（ステップＳ７３、ステッ
プＳ７４）。そして、このとき黒と判定された領域ｘ
４、ｘ６と、もともと黒と判定されている領域ｘ５とを
合わせて図２３（ｄ）に示すように、黒領域と定める。

【００８７】一方、色付き領域の抽出処理の場合は、こ
の逆を行う。まず、色付きと判断される領域ｘ４、ｘ６
を抽出し、これと接しているとともに、黒領域と判断さ
れる領域ｘ５に接していない領域、すなわち領域ｘ２、
ｘ３に相当する部分を抽出し、これを色付き領域と判定
する。

【００８８】しかしながら、図２４に示すように、黒領
域ｘ１３の左側境界部分ｘ１２が色付きになっていない
場合には、上記の方法では、領域ｘ１２が色付きとは見
なされずに抽出からもれてしまう。そこで、次のような
処理を行う。

【００８９】まず、色付きと判断され、かつ、黒領域と
判断される領域ｘ１３に接していない領域、すなわち、
領域ｘ１１を抽出し、それとは別の黒領域ｘ１３と接し
ている色付きの領域ｘ１２、ｘ１４を抽出する。領域ｘ
１２、ｘ１４のうち、色付きと判断された領域、すなわ
ち、領域ｘ１１に接している部分を色付きと判断する。
こうすることによって、領域ｘ１１、ｘ１２を色付きと
して抽出される。

【００９０】以上の説明は、白、黒、色付きという分類
で説明しているが、色については何を対象にしてもよ
い。一般に抽出すべき色（複数の色でもよく、以下同様
に「色」といった場合に必ずしも単色を意味するもので
はない。また、色には、白や黒、灰色なども含めて考え
る）に対して、それ以外の色または背景色が存在する状
態から、抽出すべき色を抽出するか、または不要なもの
を取り除く操作を行うときに、両者の中間色の考え方を
導入し、この中間色であると判断された画素の周囲の画
素の状態、すなわち、抽出すべき色かそうでないか、ま
た、中間色であるなどの状態によって、最終的にその画
素を抽出すべきか否かを判断する。

【００９１】なお、中間色は、例えば、抽出すべき色と
背景になる色の平均として定義される色と定義してもよ
い。

【００９２】（効果）以上説明したように、上記実施形
態によれば、色情報または罫線情報またはプレ印字文字
の認識結果など、複数の特徴を有する登録帳票を共通の
特徴で予め分類しておくことにより、検索範囲を絞りな
がら、大量・多品種の帳票の識別を可能にし、性能のよ
い帳票識別結果を得ることができる。

【００９３】また、共通要素をもつ帳票を、その共通要
素の組み合わせとして管理することによって、効率よい
帳票登録が可能になる。

【００９４】

【発明の効果】以上説明したように、本発明によれば、
複数の特徴を有する大量・多品種の帳票の識別を可能に
し、性能のよい帳票識別結果を得ることができる。

【図面の簡単な説明】

【図１】本発明の第１の実施形態にかかる帳票識別装置
の構成例を示した図。

【図２】投票登録処理動作について説明するためのフロ
ーチャート。

【図３】色判定のための投票空間の一例を示した図。

【図４】帳票の特徴を説明するための図。

【図５】登録帳票のフォーマット情報の具体例を示した
図。

【図６】登録帳票の分類例を示した図。

【図７】投票識別処理動作について説明するためのフロ
ーチャート。

【図８】ハッシュテーブル作成処理動作を説明するため
のフローチャート。

【図９】罫線枠の中心座標によるハッシュテーブルの一
具体例を示した図。

【図１０】ハッシュテーブルを用いた帳票識別処理動作
を説明するためのフローチャート。

【図１１】ハッシュテーブル上の検索エリアを具体的に
示した図。

【図１２】ハッシュテーブルを用いた登録帳票の検索結
果の一例を示した図。

【図１３】特徴の一部分が異なる類似する帳票の一例を
示した図。

【図１４】帳票中の文字認識すべき領域を示した図。

【図１５】登録帳票のフォーマット情報をイメージ的に
示した図。

【図１６】登録帳票を色、罫線、プレ印字文字で分類し
た結果の一例を示した図。

【図１７】識別対象の帳票の画像のタイプによって識別
に用いる特徴量を選択する場合の処理動作を説明するた
めのフローチャート。

【図１８】未登録帳票の登録処理動作の一例を示したフ
ローチャート。

【図１９】未登録帳票と、それに類似する登録帳票の一
例を示した図。

【図２０】帳票の特徴的な要素を部品化した場合の、部
品の登録例を示した図。

【図２１】図２０に示した部品を用いて帳票の特徴量を
表現した場合の帳票の登録例を示した図。

【図２２】色判断処理動作を説明するためのフローチャ
ート。

【図２３】色判断処理を説明するための図。

【図２４】色判断処理を説明するための図。

【符号の説明】

１…画像入力部 ２…帳票登録部 ３…入力データメモリ ４…フォーマット情報記憶部 ５…帳票識別部 ６…ディスプレイ装置 ７…指示デバイス ８…保存部

Claims (10)

【特許請求の範囲】
1. 【請求項１】 入力された識別対象の帳票の画像から複
   数の特徴量を抽出し、そのうちの１つと登録帳票の特徴
   量とを比較して該識別対象の帳票の種別が識別できなか
   ったとき、前記複数の特徴量のうちの他の特徴量と前記
   登録帳票の特徴量とを比較して該識別対象の帳票の種別
   を識別することを特徴とする帳票識別方法。
2. 【請求項２】 入力された帳票の画像から帳票の種別を
   特定するための色および罫線および文字列のうちの少な
   くとも１つを特徴量として抽出し、複数の登録帳票をこ
   れらに共通する前記特徴量で予め分類しておき、入力さ
   れた識別対象の帳票の画像から抽出された前記特徴量の
   うち、該識別対象の帳票の種別を識別する際に用いる特
   徴量を選択し、この選択された特徴量で分類された登録
   帳票の特徴量に基づき該識別対象の帳票の種別を識別す
   ることを特徴とする帳票識別方法。
3. 【請求項３】 入力された識別対象の帳票の画像の種別
   に応じて、該帳票の画像から抽出する特徴量を選択する
   ことを特徴とする請求項２記載の帳票識別方法。
4. 【請求項４】 前記識別対象の帳票の画像から抽出され
   た特徴量に一致する帳票が登録されていないとき、該特
   徴量に最も類似する登録帳票の特徴量を用いて該帳票を
   登録することを特徴とする請求項２記載の帳票識別方
   法。
5. 【請求項５】 帳票の特徴量として色を抽出する際、各
   画素の色を周辺画素の色を基に判定することを特徴とす
   る請求項２記載の帳票識別方法。
6. 【請求項６】 入力された識別対象の帳票の画像から複
   数の特徴量を抽出する抽出手段と、 この抽出手段で抽出された複数の特徴量のうちの１つと
   登録帳票の特徴量とを比較して該識別対象の帳票の種別
   を識別する第１の識別手段と、 この第１の識別手段で前記識別対象の帳票の種別が識別
   できなかったとき、前記複数の特徴量のうちの他の特徴
   量と前記登録帳票の特徴量とを比較して該識別対象の帳
   票の種別を識別する第２の識別手段と、 を具備したことを特徴とする帳票識別装置。
7. 【請求項７】 入力された帳票の画像から帳票の種別を
   特定するための色および罫線および文字列のうちの少な
   くとも１つを特徴量として抽出する抽出手段と、 複数の登録帳票をこれらに共通する前記特徴量で分類す
   る分類手段と、 入力された識別対象の帳票の画像から抽出された前記特
   徴量のうち、該識別対象の帳票の種別を識別する際に用
   いる特徴量を選択し、この選択された特徴量で分類され
   た登録帳票の特徴量に基づき該識別対象の帳票の種別を
   識別する識別手段と、 を具備することを特徴とする帳票識別装置。
8. 【請求項８】 入力された識別対象の帳票の画像の種別
   に応じて、該帳票の画像から抽出する特徴量を選択する
   ことを特徴とする請求項７記載の帳票識別装置。
9. 【請求項９】 前記識別対象の帳票の画像から抽出され
   た特徴量に一致する帳票が登録されていないとき、該特
   徴量に最も類似する登録帳票の特徴量を用いて該帳票を
   登録することを特徴とする請求項７記載の帳票識別装
   置。
10. 【請求項１０】 入力された帳票の画像から帳票の種別
    を特定するための色および罫線および文字列のうちの少
    なくとも１つを特徴量として抽出させる抽出手段と、 複数の登録帳票をこれらに共通する前記特徴量で分類さ
    せる分類手段と、 入力された識別対象の帳票の画像から抽出された前記特
    徴量のうち、該識別対象の帳票の種別を識別する際に用
    いる特徴量を選択し、この選択された特徴量で分類され
    た登録帳票の特徴量に基づき該識別対象の帳票の種別を
    識別させる識別手段と、 を実行するプログラムを記録した機械読み取り可能な記
    憶媒体。