JPH0789361B2 - 帳票登録装置 - Google Patents

Description

【発明の詳細な説明】 〔発明の利用分野〕 本発明は文書の処理方式に係り、特に表形式の文書上の
文字を読み取る目的で帳票を予め登録する目的に好適な
帳票登録方式に関する。

〔発明の背景〕

従来の文字読み取り装置（以下、OCRと略する）では、
読み取り領域をOCRが感じない色（ドロツプアウトカラ
ー）を用いて印刷する必要があり、印刷費用が高価にな
る問題があつた。さらに文字読み取り領域の位置を文書
のエツジからの距離として記述し、その領域の文字数や
文字種・チエツク方法などを指定する必要があり、煩雑
であつた。以下、文字読み取り領域の位置情報や領域内
の文字数や文字種・チエツク方法などの情報を書式情報
と呼ぶ。文字認識機能は専用OCRだけでなく、文書フア
イルやOA用ワークステーシヨンなどにも要求されている
が、上記の問題点が広い普及を阻んでいた。

従来技術では、たとえば公開特許公報昭和58−20718
（昭和58年12月２日公開）において、入力画像からあら
かじめメモリ内に格納しておいた定形的な画像を除去す
ることによりドロツプアウトカラー以外の文書を使用可
能とする方法が開示されている。しかし、この方法で
は、定形的な画像を除去した残りの画像に対して書式情
報を指定する必要がある点は従来と同様であつた。

〔発明の目的〕

本発明の目的は、入力文書の構造を自動的に理解して文
書の書式を自動的に生成することにより、対象文書の範
囲を大幅に拡大するとともに、書式情報作成の手間を簡
略化する手段を抵抗することにある。

本発明の他の目的は、定形的な入力文書の種類を自動的
に識別してあらかじめ記憶した書式情報を用いることに
より、種類の異なる定形的な文書の連続読み取りを可能
とする手段を提供することにある。

〔発明の概要〕

かかる目的を達成するために、本発明においては識別対
象文書（帳票）の画像から枠部分ならびに枠部分の間の
関係を抽出し、さらに枠の内部の画像及びその枠の性質
に対する選択情報（以下メニユーと呼ぶ）を表示してそ
の枠の性質を入力させ、枠部分自体の情報を使用者が選
択した枠の性質とから帳票の構造を理解することによ
り、自動的に識別対象文書の書式情報の決定を行うもの
である。

すなわち、枠にはデータの記入が予定されているデータ
枠と、普通はデータの記入がなされない項目枠があり、
項目枠とデータ枠の区別及び項目枠の属性が分かれば、
帳票の構造を理解できることを利用する。項目枠には通
常項目名称が印刷（または手書き）されているので、こ
の項目名称を表示して人間がその種類・属性を与えるこ
とにより、帳票の構造を自動的に理解させるものであ
る。

〔発明の実施例〕

以下、本発明を図面を用いて詳細に説明する。

第１図は本発明の文書理解方式を実施する装置の構成を
示すブロツク図である。装置の各部はバス１に接続さ
れ、全体の動作は制御部２により制御される。文書３上
に情報（文書画像）は光電変換装置４により走査され、
さらにデイジタル化され、バス１を介してメモリ51に格
納される。メモリ51は後述する52,53,54とともにメモリ
５の一部をなす。デイジタル化の際、公知の高効率符号
化処理を行つてもよく、これにより文書画像を記憶する
メモリの記憶容量を節約できる。また、以下の説明では
１画素１ビツトに二値化するものとするが、１画素を多
値で表現してもよく、カラースキヤナにより光電変換し
て色情報を付与してもよい。

文書の処理には登録モードと識別モードとがある。モー
ドの選択はキーボード６、デイスプレイ７を用いて制御
部２とマンマシン対話により行う。まず、登録モードの
場合を説明する。登録モードの処理の流れ図を第２図に
示す。この処理は制御部２のソフトウエアにより実行さ
れる。第２図で、201は識別対象文書画像の入力であ
り、この文書上の画像をメモリ51の中に格納する。202
では入力した文書画像に対し位置補正処理、傾き補正処
理などの正規化を行い、その結果得られる画像がメモリ
52に格納される。この正規化画像に対し、203で線抽出
処理が行われ、抽出された線パターンはメモリ53に格納
される。第３図は線パターン抽出の処理内容を説明する
図であり、（Ａ）のような入力画像から水平方向の線抽
出により（Ｂ）のような水平線パターンを得、同様に
（Ａ）から垂直方向の線抽出により（Ｃ）のような垂直
線パターンを得、（Ｂ）と（Ｃ）との論理和により
（Ｄ）のような画像を得る。以後（Ｄ）を線パターンと
呼ぶ。204では線パターンから輪郭抽出により輪郭上の
座標点列を抽出する。この座標点列は輪郭の個数だけ得
られる。以下では輪郭の中で内輪郭だけを処理する。こ
こで内輪郭とは白地を取り囲む黒地の境界であり、白地
を右側に黒地を左側に見るようにして輪郭を一周したと
き時計回りに一周するような輪郭を言う。205ではこの
内輪郭の中から長方形をなすものを抽出する。以後長方
形をなす内輪郭を枠と呼ぶ。206では枠の４隅の座標を
用いて枠の順序を左上から右下へと並べ換える。207で
は抽出した枠が複数個あつたとき、枠の間の相互関係す
なわち枠ｍと枠ｎの間の関係コードCmnを抽出する。関
係コードCmnの定義の例を次に示す。

Cmn＝ 0:以下の条件が全て不成立 ＝ 1:mがｎを包含 ＝−1:nがｍを包含 ＝ 2:mがｎの直上 ＝−2:mがｎの直下 ＝ 3:mがｎの直左 ＝−3:mがｎの直右 ＝ 4:mがｎの上方 ＝−4:mがｎの下方 ＝ 5:mがｎの左方 ＝−5:mがｎの右方 208では抽出した枠に対応する領域の画像を原画像から
取り出し、順次この画像をデイスプレイ７に送つて枠内
の画像を表示する。209ではこの枠の性質に関するメニ
ユーをデイスプレイ７に表示する。210ではこのメニユ
ーに対する使用者の応答をキーボードから読み込む。枠
の性質には、種類（項目枠かデータ枠か）の区別及び属
性（空白、人名、地名、年月日、品名、人間関係）が含
まれる。属性のメニユー表示及び応答入力は項目枠につ
いてのみ行う。また枠内が空白であることを自動的に判
定して、空白枠は自動的にデータ枠と決定してもよい。
211では枠ｍの性質Am、枠間の関係コードCmnなどを文書
の構造に関する知識と照合して、入力文書の構造を理解
する。知識は「if〜then〜」形式、すなわち条件と結論
とにより表現される。知識の例を次に示す。但し、a,b,
cは枠番号を示す。

1. （条件） Aa＝‘人名’＆枠ａは項目枠 （結論） 枠ａの項目名称＝‘人名’ 2. （条件） Aa＝‘空白’＆ Ab＝‘人名’＆ Cab＝−３ （結論） 枠ａは枠ｂに従属するデータ枠 枠ａの属性＝‘人名’ 3. （条件） Aa＝‘空白’＆ Ab＝‘地名：都道府県’＆ Cab＝−４ Ac＝‘地名’＆ Cac＝−３ （結論） 枠ａは枠b,cに属するデータ枠 枠ａの属性＝‘地名：都道府県’ 4. （条件） Aa＝‘年月日’ （結論） 枠ａは独立なデータ枠 枠ａの属性＝‘時間：年月日’ 5. （条件） Aa＝‘空白’ （結論） 枠ａは独立なデータ枠 枠ａの項目名称＝‘雑’ 枠ａの属性＝‘雑’ すなわち、データ枠の属性はそれが属する項目枠によつ
て自動的に決定される。

上記の知識の具体的な実現法はプログラムの「if〜then
〜」文としてかかれたサブルーチンであり、知識との照
合はa,bのところにm,nを代入し、条件が成立するか否か
を調べた結果を外部に引数として与えればよい。条件が
成立したときは結論も引数として外部に与える。知識た
とえば1.の条件のa,bにあてはまる枠番号m,nが見出され
たとすれば、結論の枠番号ａのところに枠番号ｍを代入
したものを入力文書の構造データとして登録する。構造
データは上記の枠の関係コード、枠の種類（項目枠、デ
ータ枠あるいは両者）、従属関係、項目名称、属性コー
ドなどからなる。複数の知識に該当する場合には、一例
として出現順序の早い知識を優先させると決めればよ
い。最も優先度の低い知識として他の知識にあてはまら
ないときの救済措置（上記の場合は5.）を決めておけ
ば、すべての枠についての構造が決定される。すべての
枠について知識との照合が行われ構造が決定されると、
構造データの登録が終了する。212でマスクデータを決
定する。マスクデータとは、データ枠の中にありかじめ
印刷された文字（上記の4.における年月日などの単位名
称に相当）の位置を示すものである。マスクデータを決
定するには、たとえば枠内の黒画素の連結領域を抽出し
て十分大きい連結領域の外接四角形を求めればよい。21
3で構造データ及び枠の物理データ（枠の４隅の座標な
ど）、マスクデータを出力装置９に書き出す。構造デー
タ、枠の物理データ、マスクデータは従来のOCRの書式
データに相当する。書き出しに際してキーボード６、デ
イスプレイ７を用いて、入力文書に対する識別番号やフ
アイル名称を入力する。

以上で登録モードの説明を終了する。この登録モード処
理はあらかじめ行つて構造データ等の書式情報を格納し
ておくものとするが、次に述べる識別モード処理と統合
して行うことも可能である。

次に識別モードにおける入力対象文書の処理について説
明する。第４図に識別モードの処理の流れ図を示す。40
1は入力文書の画像の取り込み、402は正規化、403は線
パターンの抽出、404は輪郭抽出、405は長方形抽出、40
6は枠順序付け、407は関係コード抽出であり、第２図の
202〜207と同様である。408では見本文書の構造データ
及び物理データを順次メモリ53に読みだし、メモリ54の
入力文書との構造データ及び物理データと比較し、入力
文書がどの見本文書と一致するかを決定する。この見本
文書の構造データ及び物理データを用いて入力文書の読
み取りを以下のようにして行う。409は枠について以下
の410〜414を繰り返し実行するループである。410はデ
ータ枠についてのみ読み取りを行う判定である。411で
はこのデータ枠の内部の領域だけを抽出する。412では
マスクデータによりあらかじめ印刷された文字を消去す
る（マスクデータが存在するときのみ行う）。413では
属性コードにより定まる字種を選択し、認識辞書（文字
認識のための標準パターン）を設定する。414では枠内
部の領域を認識部８に送つて枠内部の文字を認識する。
415では属性コードにより定まる単語辞書を選択し、416
で単語照合を行つて文字認識結果の誤読あるいは不読を
検出あるいは修正する。417では文字認識結果と構造デ
ータ中の必要な部分編集し、出力装置９に書き出す。編
集の例として、たとえばデータ枠の属する項目枠の属性
が「人名」であり「前記知識の2.に相当）、この枠の認
識結果が‘山田太郎’であつたとすれば、 ‘人名’＝‘山田太郎’ のようにし、これを１レコードとして書き出す。また、
独立な項目枠・データ枠で項目名称＝‘時間：年月
日’、単位名称＝‘年月日’であり（知識4.に相当）単
位名称の部分がマスクデータにより消去されたため、認
識結果が58529だつたとすれば、編集出力は ‘日時’＝‘58年５月29日’ とする。後者の例では認識部８から文字の位置座標を取
り出し、マスクデータと座標の比較により位置を決定し
て編集する。

以上本発明の一実施例について説明した。本実施例に対
して通常の文字認識装置や図形処理装置で行われる処
理、たとえば枠の抽出結果の表示・修正、文字認識結果
の表示・修正などを付加することは容易である。また、
枠認識に際して線抽出や長方形決定の閾値を複数個設
け、自動判定の結果が艱難なときはマンマシン的に最適
値を選択したり、二値化レベルを変えて再試行するなど
の変更を加えてもよい。さらに、識別モードにおいて文
書の種類があらかじめ決まつている場合はキーボードか
ら見本文書の番号を与えるようにして、構造データなど
の照合を省略してもよい。

なお、本実施例では文書から線パターンを抽出し、それ
から枠を抽出するとしたが原文書パターンから直接輪郭
を抽出し、それから枠を抽出するようにすることも可能
であり、この場合には枠以外の輪郭を後で他処理たとえ
ば文字切り出しや文字認識に利用できる。

また、本実施例では文書構造の記述として枠形式のもの
に限定したが、実線あるいは破線などの罫線や、円など
を用いるように拡張することも可能である。たとえば実
線からなる罫線は、細長い外輪郭を抽出することで検出
でき、罫線の上方の領域を切り出すことによつて下線を
引いた表題文字の認識が可能である。円の検出は輪郭座
標系列を極座標表示し、この空間で直線検出すればよ
い。

また、枠の外部の文字も読み取つて、構造記述に利用す
るこもできる。色情報を利用し構造記述に色属性を付加
することも有効である。

さらに、文書から直接光電変換する場合に限定せず、画
像フアイルから読みだした文書画像に対しても適用でき
る。

〔発明の効果〕

以上説明したごとく、本発明によれば簡単な構成で入力
文書の構造を自動的に理解して文書の書式を自動的に生
成することが可能で、従来のように人間による書式情報
の作成作業が不要であり、黒色で印刷された表形式の文
書が読み取れるのでドロツプアウトカラーで印刷し直す
必要がなく、準備作業の手間を簡略化できるとともに、
対象文書の範囲を大幅に拡大することができる。

また本発明によれば、定形的な入力文書の種類を自動的
に識別して予め記憶した書式情報を用いることができ、
異なる種類の定形的な文書の連続読み取りが可能とな
る。

【図面の簡単な説明】

第１図は本発明の文書処理方式を実施する装置の構成を
示すブロツク図、第2,4図は第１図の制御部における処
理を説明するための流れ図、第３図は第２図における処
理内容を説明する図である。 １……バス、２……制御部、３……文書、５……メモ
リ、６……キーボード、７……デイスプレイ、８……文
字認識部、９……出力装置。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 道野 正雄 神奈川県小田原市国府津2880番地 株式会 社日立製作所小田原工場内 (56)参考文献 特開 昭61−59568（ＪＰ，Ａ) 特開 昭61−54569（ＪＰ，Ａ) 特開 昭56−137480（ＪＰ，Ａ) ７ｔｈ．Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｐａｔｔｅ ｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ，Ｐｒｏｃ ｅｅｄｉｎｇｓ Ｖｏｌ．１、Ｐ．347− 349，Ｊｕｌｙ30−Ａｕｇｕｓｔ２ 1984, “ＨＩＥＲＡＲＣＨＩＣＡＬ ＲＥＰＲＥ ＳＥＮＴＡＴＩＯＮ ＯＦ ＯＰＴＩＣＡ ＬＬＹ ＳＣＡＮＮＥＤ ＤＯＣＵＭＥＮ ＴＳ"

Claims (1)

【特許請求の範囲】
1. 【請求項１】表形式の文書の表構造を決定するための推
   論情報を保持する手段と、 文書画像を入力する手段と、 該文書画像中の枠を抽出する手段と、 該抽出した枠相互の位置関係情報を検出する手段と、 上記枠に対応する領域の画像を上記文書画像から抽出す
   る手段と、 該抽出した枠に対応する領域に含まれる枠内の画像を表
   示する手段と、 当該枠に対する複数の属性情報を選択項目として表示
   し、該表示した複数の属性情報のうち一つの属性情報を
   選択させる手段と、 該選択項目から選択された属性情報と上記枠相互の位置
   関係情報とを上記推論情報にあてはめて表形式の文書の
   表構造データを決定する手段と、 該表構造データを登録する手段を有することを特徴とす
   る帳票登録装置。