JPS6159568A - 文書処理装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔発明の利用分野〕 本発明は文書の処理方式に係り、特に表形式の文書上の
文字を読み取る目的に好適な文書処理方式に関する。

〔発明の背景〕

従来の文字読み取り装置（以下、ＯＣＲと略する）では
、読み取り領域をＯＣＲが感じない色（ドロップアウト
カラー）を用いて印刷する必要があり、印刷費用が高価
になる問題があった。さらに文字読み取り領域の位置を
文書のエツジからの距離として記述し、その領域の文字
数や文字種・チェック方法などを指定する必要があり、
煩雑であった。以下１文字読み取り領域の位置情報や領
域内の文字数や文字種・チェック方法などの情報を書式
情報と呼ぶ０文字認識機能は従来のように専用ＯＣＲだ
けでなく１文書ファイルやＯＡ用ワークステーションな
どにも要求されているが、上記の問題点が広い普及を阻
んでいた。

従来技術では、たとえば公開特許公報昭和５８−２０７
１８４号（昭和５８年１２月２日公開）において、入力
画像からあらかじめメモリ内に格納しておいた定形的な
画像を除去する方法、ならびに定形的な画像を用いて文
書の種類を識別する方法が開示されている。しかし、こ
の方法ではメモリに画像を記憶するのでメモリ量が増大
し、また文書の変形（伸縮・回転・位置ずれなど）が生
じたとき正しく除去できないおそれがあった。

〔発明の目的〕

本発明の目的は、入力文書の構造を自動的に理解して文
書の書式を自動的に生成することにより、対象文書の範
囲を大幅に拡大するとともに、書式情報作成の手間を簡
略化する手段を提供することにある。

本発明の他の目的は、定形的な入力文書の種類を自動的
に識別してあらかじめ記憶した書式情報を用いることに
より、種類の異なる定形的な文書の連続読み取りを可能
とする手段を提供することにある。

〔発明の概要〕

かかる目的を達成するために、本発明においては識別対
象文書と同種で、まだ文字を記入していない文書（以下
、これを見本文書と呼ぶ）を用い、見本文書の画像から
枠部分ならびに枠部分の間の関係を抽出し、さらに枠の
内部に存在する文字を識別して枠部分と識別した文字と
から画像の構造を理解することにより、自動的に識別対
象文書の書式情報の決定を行うものである。

〔発明の実施例〕

以下、本発明を図面を用いて詳細に説明する。

第１図は本発明の文書理解方式を実施すや装置の構成を
示すブロック図である。装置の各部はバス１に接続され
、全体の動作は制御部２により制御される１文書３上の
情報（文書画像）は光電変換装置４により走査され、さ
らにディジタル化され、バス１を介してメモリ５１に格
納される。メモリ５１は後述する５２，５３．５４とと
もにメモリ５の一部をなす。ディジタル化の際、公知の
高効率符号化処理を行ってもよく、これにより文書画像
を記憶するメモリの記憶容量を節約できる。

また、以下の説明では１画素１ビツトに二値化するもの
とするが、１画素を多値で表現してもよく、カラースキ
ャナにより光電変換して色情報を付与してもよい。

文書の処理には登録モードと識別モードとがある。モー
ドの選択はキーボード６、ディスプレイ７を用いて制御
部２とマンマシン対話により行う。

まず、登録モードの場合を説明する。登録モードの処理
の流れ図を第２図に示す、この処理は制御部２のソフト
ウェアにより実行される。第２図で、２０１は見本文書
画像の入力であり、各文書類型ごとに見本文書を用い、
この見本文書上の画像をメモリ５１の中に格納する。２
０２では見本文書画像に対し位置補正処理、傾き補正処
理などの正規化を行い、その結果得られる画像がメモリ
５２に格納される。この正規化画像に対し、２０３で線
抽出処理が行われ、抽出された線パターンはメモリ５３
に格納される。第３図は線パターン抽出の処理内容を説
明する図であり、（Ａ）のような入力画像から水平方向
の線抽出により（Ｂ）のような水平線パターンを得、同
様に（Ａ）から垂直方向の線抽出により（Ｃ）のような
垂直線パターンを得、（Ｂ）と（Ｃ）との論理和により
（Ｄ）のような画像を得る。以後（Ｄ）を線パターンと
呼ぶ、線パターン抽出処理の詳細については後述する、
２Ｑ４では線パターンから輪郭抽出により輪郭上の座標
点列を抽出する。この座標点列は輪郭の個数だけ得られ
る。以下では輪郭の中で内輪郭だけを処理する。ここで
内輪郭とは白地を取り囲む黒地の境界であり、白地を右
側に黒地を左側に見るようにして輪郭を一周したとき時
計回りに一周するような輪郭を言う、２０６ではこの内
輪郭の中から長方形をなすものを抽出する。長方形判定
の詳細については後述する。以後長方形をなす内輪郭を
枠と呼ぶ、２０６では枠の４隅の座標を用いて枠の順序
を左上から右下へと並べ換える。

２０７では抽出した枠が複数個あったとき、枠の間の相
互関係すなわち枠ｍと枠ｎの間の関係コードＣｍｎを抽
出する。関係コードＣｍｎの定義の例を次に示す。

Ｃｍｎ＝　　Ｏ：以下の条件が全て不成立＝　にｍがｎ
を包含 ＝−１：ｎがｍを包含 ＝　２二ｍがｎの直上 ＝−２：ｍがｎの直下 ＝　３二ｍがｎの直左 ＝　−３：　ｍがｎの直右 ＝　４：ｍがｎの上方 ＝−４：ｍがｎを下方 ＝　５二ｍがｎの左方 ＝−５：ｍがｎの右方 ２０８では抽出した枠に対応する領域の画像を原画像か
ら取り出し、順次この画像を文字認識部８に送って枠内
の文字を認識する。枠内部の画像のみを文字認識部に送
るので非ドロップアウトカラーの裏部分や枠外の不用部
分に妨害されることがなく、また帯状領域を対象とする
ので文字の切り出し・認識が容易である。全ての枠の中
の文字を認識した後２０９では枠ｍの中の認識文字数Ｎ
ｍ。

文字列Ｋｍ、関係コードＣｍ　ｎとを文書の構造に関す
る知識と照合して、入力文書の構造を理解する６知識は
ｒ　ｉ　ｆ−ｔｈａｎ〜」形式、すなわち条件と結論と
により表現される。知識の例を次に示す。

ａ、ｂ、ｃは枠番号を示す。

１、（条件）Ｋａ＝’　申請書′ （結論）枠ａは項目枠 枠ａの項目名称＝′申請書′ ２、（条件）Ｎａ＝Ｏ＆ Ｋｂ＝′申請書′＆ Ｃａｂ＝−３ （結論）枠ａは枠すに従属するデータ栓枠ａの属性＝′
氏名′ （Ｎａ＝Ｏは空白を示す） ３、（条件）Ｎａ＝Ｏ＆ Ｋｂ＝’都道府県′＆ Ｃａｂ＝−４ Ｋｃ＝’本籍′＆ Ｃａ　ｃ　＝　−３ （結論）枠ａは枠す、ｃに属するデータ栓枠ａの属性＝
″住所：都道府県′ ４、（条件）Ｋａ＝’昭和年月日′ （結論）枠ａは独立なデータ枠 枠ａの単位名称＝′日日時 枠ａの属性＝９時間二年月日″ ５、（条件）　Ｎ　ａ　＝　Ｑ （結論）枠ａは独立な項目・データ栓 枠ａの項目名称二′雑′ 枠ａの属性＝′雑′ ここで項目枠とは見出しとして使われる枠で、普通はデ
ータが記入されない、データ枠とは項目の内容を表す文
字（文字列）が記入される予定の枠をいい、属性とはそ
の枠に記入される文字の種類や限定範囲などをいう、上
記の知識の具体的な実現法はプログラムのｒ　ｉ　ｆ−
ｔｈｅｎ〜」文としてかかれたサブルーチンであり、知
識との照合はａ。

ｂのところにｍ、ｎを代入し、条件で成立する力＼否か
を調べた結果を外部に引数として与えれ［ｆよい６条件
が成立したときは結論も引数として外部に与える。知識
たとえば１．の条件のａ、ｂ４こあてはまる枠番号ｍ、
ｎが見出されたとすれば、結論の枠番号ａのところに枠
番号ｍを代入したものを入力文書の構造データとして登
録する。構造データは上記の枠の関係コード、枠の種類
（項目枠、データ枠あるいは両者）、従属関係１頂目名
称、属性コードとからなる。複数の知識に該当する場合
には、−例として出現順序の早い知識を優先させると決
めればよい。最も優先度の低い知識として他の知識にあ
てはまらないときの救済措置（上記の場合は５．）を決
めておけば、すべての枠についての構造が決定される。

すべての枠について知識との照合が行われ構造が決定さ
れると、構造データの登録が終了し、２１０で構造デー
タ及び枠の物理データ（枠の４隅の座標など）、マスク
データを出力装Ｗ９に書き出す。マスクデータとは、デ
ータ枠の中にあらかじめ印刷された文字（上記の４．に
おける昭和年月日などの単位名称に相当）の位置を示す
ものである。構造データ、枠の物理データ、マスクデー
タは従来のＯＣＲの書式データに相当する。書き出しに
際してキーボード６、ディスプレイ７を用いて、入力文
書に対する識別番号やファイル名称を入力する。

次に線パターン抽出処理の詳細を説明する。第４図は、
線パターンを抽出する処理をＰＡＤ形式で示す流れ図で
ある。線パターン抽出には水平線抽出と垂直線抽出とが
あるが、ここでは水平線抽出について述べ、垂直線抽出
については同様であるので省略する。第４図で４０１は
線抽出への入り口であり、メモリ５２に格納されている
正規化画像Ｑが与えられる。Ｑは第３図（Ａ）のような
二次元データ Ｑ（ｉＩＪ）＋　（ｉ＝ｏ−Ｉ−１，ｊ＝ｏ　〜Ｊ−１
）として表現される。４０２では４０３〜４０９の処理
を走査線番号ｊについて繰り返すことにより、第３図（
Ｂ）のような二次元パターンＡ　（Ｌｊ）を得る。４０
３は初期化でありＡ（ｉ、ｊ）を０にクリアし後述する
ＢをＯとする。４０４は走査線の中で画素数工だけ繰り
返すループである。

４０５はＱ（ｉ、ｊ）が１か０かを判定し、１の場合に
は４０６で黒の遮炎Ｂをカウントする。

Ｑ（ｉＩ　ｊ）が０の場合には、４０７の判定によりそ
の前の１７ｉｉ素までの遮炎Ｂが閾値εより大きいとき
、４０８で Ａ　　（ｉ　　Ｂ　＋　　ｊ）　　〜ＡＣ１ｌｔ　　ｊ
）の８個の画素を１（黒）にする処理を行い、４０９で
遮炎Ｂをリセットする。４１０〜４１１の処理は走査線
の最終点（ｉ＝Ｉ−１）において４０７以降と同様の処
理を行うものである。４０７の判定を加えたことにより
十分長い黒の水平線分があるときのみ線抽出が行われる
が、文書上に記入されている文字・記号は短い線分から
なっているのでほとんど抽出されない。４１２はこの処
理の出口であり、パターンＡ（ｉＩＪ）を出力に与え、
メモリ５３に格納する０以上の説明から分かるように、
パターンＡ（ｉｔ　ｊ）は線分の存在を反映したパター
ンである。

次に長方形抽出処理の詳細を説明する。第５図は、長方
形を抽出する処理の内容を示す図である。

内輪郭の座標は一次元データＸ　（ｉ）　、　Ｙ　（ｉ
）てして表現される０輪郭点の中で（Ｘ　（ｉ）　＋Ｙ
（ｉ））の最大値と最小値、（Ｘ　（ｉ）　−Ｙ（ｉ）
）の最大値と最小値、を与える点を求めればこちらは第
５図のＰ４．Ｐ２．Ｐ３．ＰＬに相当する。

Ｐ１〜Ｐ４は枠が長方形の場合には４隅の点になる。Ｐ
１〜Ｐ２の間でＸの最大値と最小値を与える点を求めこ
れをＱ１２．Ｑｌｌとする。Ｐ２〜Ｐ３の間でＹの最大
値と最小値を与える点を求めこれをＱ２２．Ｑ２１とす
る。他の辺についても同様にする。ＰＬ、Ｑｌｌ、Ｑ１
２．Ｐ２の４点　　゛のＸ座標値の差が小さいとき、Ｐ
１〜Ｐ２は直線であると判定し、他の３辺についても同
様に直線判定を行い、４辺が直線であるときこの枠は長
方形であると判定をする。

次に関係コープ抽出処理の詳細を説明する。第６図は、
関係コードを抽出する処理をＰＡＤ形式で示す流れ図で
ある。第６図で６０１は入り口であり、メモリ５２に格
納されている枠の４隅の座標及び輪郭長Ｒが与えられる
。枠ｍの４隅を（Ｘ　１　（ｍ）、Ｙ　１　（ｍ）、　
）〜（Ｘ４　（ｍ）、Ｙ　４　（ｍ）　）とする、６０
２，６０３は枠番号ｍ、ｎに関する二重ループである。

６０４でＣｍ　ｎに初期値Ｏを入れる。６０５の条件は
枠ｍがｎを包含することを検出し１条件が成立するとき
はＣｍｎに１を、Ｃｎｍに−１を代入する。以下同様に
関係コードを判定する。６０６は出口で関係コードから
なる行列Ｃを出力に与える。

以上で登録モードの説明を終了する。この登録モード処
理はあらかじめ行って構造データ等の書式情報を格納し
ておくものとするが、次に述べる識別モード処理と統合
して行うことも可能である。

次に識別モードにおける入力対象文書の処理について説
明する。第７図に識別モードの処理の流れ図を示す、７
０１は入力文書の画像の取り込み、７０２は正規化、７
０３は線パターンの抽出。

７０４は輪郭抽出、７０５は長方形抽出、７０６は枠順
序付け、７０７は関係コード抽出であり、第２図の２０
２〜２０７と同様である。７０８では見本文書の構造デ
ータ及び物理データを順次メモリ５３に読みだし、メモ
リ５４の入力文書の構造データ及び物理データと比較し
、入力文書がどの見本文書と一致するかを決定する。こ
の見本文書の構造データ及び物理データを用いて入力文
書の読み取りを以下のようにして行う、７ｏ９は枠につ
いて以下の７１０〜７１７を繰り返し実行するループで
ある。７１０はデータ枠についてのみ読み取りを行う判
定である。７１１ではこのデータ枠の内部の領域だけを
抽出する。７１２ではマスクデータによりあらかじめ印
刷された文字を消去する（マスクデータが存在するとき
のみ行う）。

７１３では属性コードにより定まる字種を選択し、認識
辞書（文字認識のための標準パターン）を設定する。７
１４では枠内部の文字を認識する。

７１５では属性コードにより定まる単語辞書を選択し、
７１６で単語照合を行って文字認識結果の誤読あるいは
不読を修正する。７１７では文字認識結果と構造データ
中の必要な部分を編集し、出力装置９に書き出す１編集
の例として、たとえば、データ枠の属する項目枠の項目
名称が「申請者」であり（前記知識の２．に相当）、こ
の枠の認識結果が′山田太部′であったとすれば。

″申請者′＝′山田太部′のようにし、これをルコード
として書き出す、また、独立な項目枠・データ枠で項目
名称＝′自白時、単位名称＝′昭和年月日′であり（知
識４．に相当）単位名称の部分がマスクデータにより消
去されたため、認識結果が５８５２９だったとすれば、
編集出力は１日時′＝′昭和５８年５月２９日′ とする。後者の例では認識部８から文字の位置座標を取
り出し、マスクデータと座標の比較により位置を決定し
て編集する。

以上本発明の一実施例について説明した０本実施例に対
して通常の文字認識装置や図形処理装置で行われる処理
、たとえば枠の抽出結果の表示・修正、文字認識結果の
表示・修正などを付加することは容易に想像されよう。

また、枠認識に際して線抽出や長方形決定の閾値を複数
個設け、自動判定の結果が困難なときはマンマシン的に
最適値を選択したり、二値化レベルを変えて再試行うな
どの変更を加えてもよい、さらに、識別モードにおいて
文書の種類があらかじめ決まっている場合はキーボード
から見本文書の番号を与えるようにして、構造データな
どの照合を省略してもよい。

なお、本実施例では文書から腺パターンを抽出し、それ
から枠を抽出するとしたが原文書パターンから直接輪郭
を抽出し、それから枠を抽出するようにすることも可能
であり、この場合には枠以外の輪郭を後で他の処理たと
えば文字切り出しや文字認識に利用できる。

また１本実施例では文書構造の記述して枠形式のものに
限定したが、実線あるいは破線などの罫線や、円などを
用いるように拡張することも可能である。たとえば実線
からなる罫線は、細長い外輪郭を抽出することで検出で
き、罫線の上方の領域を切り出すことによって下線を引
いた表題文字の認識が可能である。円の検出は輪郭座標
系列を極座標表示し、この空間で直接検出すればよい。

また、枠の外部の文字も読み取って、構造記述に利用す
ることもできる。色情報を利用し構造記述に色属性を付
加することも有効である。

さらに、文書から直接光電変換する場合に限定せず、画
゛像ファイルから読み出した文書画像に対しても適用で
きる。

〔発明の効果〕

以上説明したごとく、本発明によれば入力文書の構造を
自動的に理解して文書の書式を自動的に生成することが
可能で、従来のように人間による書式情報の作成作業が
不要であり、黒色で印刷された表形式の文書が読み取れ
るのでドロップアウトカラーで印刷し直す必要がなく、
準僅作業の手間を簡略化できるとともに、対象文書の範
囲を大幅に拡大することができる６ また本発明によれば、定形的な入力文書の種類を自動的
に識別してあらかじめ記憶した書式情報を用いることが
でき、異なる種類の定形的な文書の連続読み取りが可能
となる。

【図面の簡単な説明】

第１図は本発明の実施例を示す図、第２．４゜６．７図
は第１図の制御部における処理を説明するための流れ図
、第３．５図は第２図における処理内容を説明する図で
ある。 １・・・バス、２・・・制御部、３・・・文書、５・・
・メモリ、６・・・キーボード、７・・・ディスプレイ
、８・・・文字認第　　Ｚ　　月 ■　３　図 （Ａ）　　　　　　　　　　　　　（Ｂ）（Ｏ）　　　
　　　　　　　　　　　　　　　　　　　　　（Ｄン第
５図 Ｙ 茅　６　図 Ｚ　７　　図

Claims (1)

1. 【特許請求の範囲】 １、ディジタル画像を入力する手段と、 上記ディジタル画像から枠部分を抽出する手段と、 上記枠部分の間の関係を識別する手段と、 上記枠部分の内部に存在する文字を識別する手段と、 上記枠部分と上記識別された文字とから画像の構造を理
   解する手段と を有してなる文書処理方式。 ２、特許請求の範囲第１項記載の文書処理方式において
   、 見本文書の面像の構造を理解した結果に基づき文書の書
   式情報を設定し、 上記の設定した書式情報を用いて文書の上の文字を読み
   取ることを特徴とする文書処理方式。 ３、特許請求の範囲第２項記載の文書処理方式において
   、 見本文書の画像の構造を理解した結果に基づき文書の書
   式情報を設定し、 上記の設定した書式情報を外部の記憶装置に出力するこ
   とを特徴とする文書処理方式。 ４、特許請求の範囲第１項記載の文書処理方式において
   、 日本文書から抽出した文書の構造をあらかじめ記憶して
   なる記憶部と、 入力された画像から抽出した構造を上記の記憶部中の見
   本文書の構造と照合する手段とを有し、 上記の照合結果に基づいてあらかじめ記憶した書式情報
   のうちの一つを選択し、該書式情報を用いて入力文書の
   上の文字を読み取ることを特徴とする文書処理方式。