JPH05342408A - 文書画像ファイリング装置 - Google Patents

Abstract

(57)【要約】 【目的】 入力した文書画像を各属性に従った領域（文
章・写真・図形）ごとに、本来の属性を与えるようにフ
ァイリングすることのできる文書画像ファイリング装置
を提供すること。 【構成】 文書を読み取る文書画像入力装置１と、その
文書画像入力装置１により読み取った文書画像から文字
領域、写真領域、および図形領域を分離する領域分離装
置３と、その領域分離装置３で分離された文字領域の画
像に対して文字認識を行う文字認識装置４２と、図形領
域の画像に対してベクトル図形化し、清書処理を行う図
形領域清書装置６２と、分離した前記各領域に対して文
字は文字コードとして、図形はベクトル図形データとし
て、写真領域は画像データとしてファイリングするファ
イリング手段４３，５３，６３とを備えている。

Description

【発明の詳細な説明】 【０００１】 【産業上の利用分野】この発明は、文字・写真・図形の
混在する文書画像のファイリング装置に関する。 【０００２】 【従来の技術】従来の文書画像のファイリング装置にお
いて、文書画像からいくつかの属性（文章、写真、ある
いは図形など）に従った領域を自動的に抽出し、再配置
するシステムが提案されている。たとえば、入力した画
像の各領域を対話処理により抽出し、各領域毎にファイ
リング装置に蓄積し、利用時にはその目的に合わせて、
文書のレイアウトを編集することのできるデータベース
編集装置がある（信学技法，ＰＲＬ８４−１０１，ｐ．
６５〜ｐ．７２）。 【０００３】 【発明が解決しようとする課題】しかし、これらの従来
のシステムは入力した画像の配置を変更するだけであ
り、各領域が画像として表現されていたので、本来文字
が持つ属性（フォント、文字サイズ等）や図形が持つ属
性（線幅、線種等）などを変更・活用することができ
ず、そのため、ファイル検索後の利用方法が、画像とし
ての非常に限れた形でしかできないという問題があっ
た。また、各領域をすべて画像として扱っているため
に、検索内容の表示は画像入力時の解像度に依存してし
まい、細かい字や図形を奇麗に再現することができなか
った。本発明は、前記問題点を解決するためになされた
もので、入力した文書画像を各属性に従った領域（文章
・写真・図形）ごとに、本来の属性を与えるようにファ
イリングすることのできる文書画像ファイリング装置を
提供することを目的とするものである。 【０００４】 【課題を解決するための手段】本発明の文書画像ファイ
リング装置は、前記目的を達成するために、文書を読み
取る文書画像入力手段（１）と、その文書画像入力手段
により読み取った文書画像から文字領域、写真領域、お
よび図形領域を分離する領域分離手段（３）と、その領
域分離手段（３）で分離された文字領域の画像に対して
文字認識を行う文字認識手段（４２）と、図形領域の画
像に対してベクトル図形化し、清書処理を行う図形領域
清書手段（６２）と、分離した前記各領域に対して文字
は文字コードとして、図形はベクトル図形データとし
て、写真領域は画像データとしてファイリングするファ
イリング手段（４３，５３，６３）とを備えたことを特
徴とする。 【０００５】 【作用】文書画像入力手段から入力されたディジタル画
像を、領域分離手段（３）で、文字領域、写真領域およ
び図形領域に分離する。分離された文字領域画像は、文
字認識手段（４２）において文字認識を行い、その認識
結果はファイリング手段（４３）により文字コードとし
てファイリングされる。上記分離された写真領域画像
は、必要に応じて情報圧縮などの処理を施した後、ファ
イリング手段（５３）により、従来と同じように画像デ
ータとしてファイリングされる。さらに、分離された図
形領域画像は、図形領域清書手段（６２）により直線近
似され整形処理された後に、図形データとしてファイリ
ングされる。これらのファイリングをすることにより、
文字領域はコードとして記録され、文書編集装置などに
より文書として自由な編集をすることができる。また、
図形は図形データとして記録されるのでＣＡＤなどの図
形データとして高度な編集をすることができるようにな
る。 【０００６】 【実施例】図１は、本発明の一実施例の文書画像ファイ
リング装置を示したもので、この装置は、文書画像を入
力するための画像入力装置１、入力した画像を記憶する
画像メモリ２、上記画像から文字領域・写真領域・図形
領域を分離するための領域分離装置３、その領域分離装
置３で分離した文字領域、写真領域、図形領域をそれぞ
れ記憶する文字領域画像メモリ４１，写真領域画像メモ
リ５１、図面領域画像メモリ６１を備えている。さら
に、この文書画像ファイリング装置は、文字領域画像メ
モリ４１中の文字領域画像の文字を認識する文字認識装
置４２、写真領域画像メモリ５１の中の写真領域画像を
情報圧縮する写真領域圧縮装置５２、図形領域画像メモ
リ６１中の図形領域画像を直線近似し清書を行う図形領
域清書装置６２を備えている。上記で処理された結果を
ファイリングするために、文章ファイル装置４３、写真
ファイル装置５３、図形ファイル装置６３が接続されて
いる。 【０００７】画像入力装置１では、文字・写真・図形が
混在している文書画像をディジタルデータとして入力
し、画像メモリ２に記憶する。図２は、文書画像の一例
を示すものである。図２で見られるように、文書画像２
１は文字領域４１１、写真領域５１１、図形領域６１１
を混在して持っている。しかし、画像として入力しただ
けでは、前述のように本来文字が持つ属性（フォント、
文字サイズ等）や図形が持つ属性（線幅、線種等）を変
更・活用することができない。そのため、ファイル検索
後の利用方法が、画像としての非常に限れた形でしかで
きなかった。本実施例では、ファイル検索後の利用価値
を広げるために、この後の処理では文書画像２１に含ま
れる各領域に対して本来の属性を与えるような処理を行
い、さらにその属性を持たせたままで、各領域別々にフ
ァイル装置に蓄積するようにしている。 【０００８】画像メモリ２中の文書画像２１は、領域分
離装置３により文字領域４１１、写真領域５１１、およ
び図形領域６１１に分割される。図３（ａ），（ｂ），
（ｃ）は、文書画像２１から分離した、文字領域、写真
領域、図形領域を示している。図４は、図形領域を分離
するための領域分離装置３の一例を示すものである。図
４に示すように、この領域分離装置３は、多値で入力さ
れた文字線画像、写真画像の混在する画像に対して２値
化を行う２値化回路３１と、２値化された画像に対して
孤立点除去を行う孤立点除去回路３２と、孤立点除去を
行った画像に対して輪郭を抽出する輪郭抽出回路３３
と、２値画像と輪郭画像をＭ×Ｎ画素のブロックで扱
い、Ｍ×Ｎ画素内に存在する２値の黒画素の数と輪郭抽
出された画素との比により中間調領域を識別する写真領
域判定回路３４と、輪郭抽出された画像をチェーン符号
化するチェーン符号化回路３５と、チェーン符号化され
た各々の黒画素連の方向の変化を計数する方向変化計数
回路３６と、その計数された方向の変化とその黒画素連
結画像の画素数の関係から文字と図形を判定する文字領
域図形領域判定回路３７と、各領域判定回路３４，３７
の判定結果により、入力画像を各領域に振り分けるため
の切替回路３８を有している。 【０００９】孤立点除去回路３２および輪郭検出回路３
３の入力部には、３ラインずつ並列に順次入力画像を取
り込むためのラインメモリ３９１，３９２が設けられ、
また写真領域判定回路３４の入力部には、５ラインずつ
並列に順次画像を取り込むためのラインメモリ３９３が
設けられている。多値の入力画像データは２値化回路３
１により２値化されて、孤立点除去回路３２により、画
像データ中の孤立した画素の除去を行う。例えば、一つ
の着目画素に隣接する８個の画素を見て着目画素が孤立
した画素か否かを判定し、孤立画素であればそれを除去
する。そのためにラインメモリ９１を設けて３ライン分
のデータを参照している。輪郭検出回路３３は、３ライ
ン分のデータを参照することにより、輪郭抽出を行うこ
とができる。すなわち、輪郭抽出部３３は、原画像と、
その原画像を１画素分、右にシフトした画像との論理積
をとり、その処理結果の画像と原画像を１画素分、左に
シフトした画像との論理積をとり、同じように上，下に
１画素分シフトした画像との論理積をとると、４方向に
１画素分収縮した画像ができあがり、この画像と原画像
との排他的論理和をとることによって、輪郭抽出をす
る。写真領域判定回路３４は、写真領域（中間調領域）
と文字線画像の特性の相違に着目して領域の判定を行
う。すなわち、写真領域は画像を２値化したものと輪郭
抽出した後のものとで画素数におおきな差異があるのに
対し、文字線画像はその差異が少ない。従って、２値画
像の画素数と輪郭抽出後の画素数との比を調べ、しきい
値よりも大きい場合に写真領域と判定する。 【００１０】チェーン符号化回路３５は、輪郭抽出回路
３３によって輪郭抽出された画像に対して、ラスター走
査を行い、黒画素を見つけ、その画素の８近傍を走査
し、黒画素があったならば、チェーン符号化を行い、そ
の画素を白画素に置き換え、次々とこの処理を８近傍に
黒画素がなくなるまで、くり返す。また、８近傍に複数
の黒画素が存在した場合は、注目した画素以外の黒画素
の位置情報をスタックする。メインの黒画素追跡が終了
した時点でスタックされた画素の位置情報を取り出し、
同様にチェーン符号化をくり返す。このスタックされて
いた画素情報から追跡して抽出したチェーン符号はメイ
ンのチェーン符号とつながっているので、子チェーン符
号とする。スタックにある画素情報を全て取り出した時
点で、最初に行っていたラスター走査を続ける。これに
よって、画像全てのチェーン符号化が行われる。 【００１１】方向変化計数回路３６は、チェーン符号化
された各々の黒画素連（１本のメインのチェーン符号と
それにつながっている子チェーン符号の組）の方向の変
化を計数する。すなわち、方向変化計数回路３６では、
チェーン符号化回路部３５によって生成された一連のチ
ェーン符号（メインのチェーン符号とその子チェーン符
号の組）に連結している原画像の黒画素を計数する。一
連のチェーン符号に連結する黒画素を計数することは、
孤立画像の面積を計数していることになる。また、複数
の輪郭を持つ、つまり、一連のチェーン符号が複数組で
一つの孤立画像を形成している場合は、その複数組のチ
ェーン符号を新たに一連のチェーン符号として、方向変
化計数回路３６で処理している一連のチェーン符号と対
応がとれるようにする。具体的には、そのようなチェー
ン符号番号を文字領域図形領域判定回路３７へ知らせる
ようにする。 【００１２】文字領域図形領域判定部３７では、“文字
は比較的小さく、複雑で輪郭の方向変化が煩雑であり、
図形は比較的大きく、簡単で輪郭の方向変化が少ない”
ことを利用して、各々のチェーン符号の方向の変化回数
とその黒連結画像の画素数（面積）の関係、たとえば次
式のような比をとり、あるしきい値で、文字と図形を分
離する。 （チェーン符号の方向の変化回数）／（面積） 上記領域分離装置３で分割された文字領域４１１、写真
領域５１１および図形領域６１１は、それぞれ文字領域
画像メモリ４１、写真領域画像メモリ５１、および図形
領域画像メモリ６１に記憶される 【００１３】上記文字領域画像メモリ４１の文字領域４
１１は、文字認識装置４２により認識され、認識結果を
文字コードとして出力する。この認識結果は文章のデー
タとして文章ファイル装置４３に記録される。この文字
認識装置は、公知の技術によって構成してもよいが、本
出願人の出願した特願平１−３１４３０１号の発明「文
字認識装置」（発明者大住淳一）、あるいは特願平１−
３１８８２７号の発明「文字認識装置」（発明者倉持
勉）などにより構成すれば、好適である。ここでは、前
者の文字認識装置を用いた例について概略の説明をす
る。図５は本発明による文字認識装置の基本的構成を示
すブロック図である。この文字認識装置は、ストローク
方向抽出部４２１と、方向ストロークパターン形成部４
２２と、パターンぼかし部４２３と、相関処理部４２４
と、方向パターン格納部４２５−１、４２５−２、・・
・４２５−ｎと、パターン辞書格納部４２６とから構成
される。図５において、ストローク方向抽出部４２１で
は、入力文字から切り出されたパターンから文字ストロ
ークを抽出する。方向ストロークパターン形成部４２２
では、前記ストローク方向抽出部１で抽出された各方向
のストロークの内、方向ストロークごとに分ける。パタ
ーンぼかし部４２３では、各同一方向ストロークを集め
て形成されたパターンを縮小する。相関処理部４２４で
は、パターンぼかし部４２３で形成されたぼかしパター
ンと予めパターン辞書格納部４２６に格納されているパ
ターンとの相関を求める処理を行う。方向パターン格納
部４２５−１ないし４２５−ｎは、それぞれ同一方向の
ストロークパターンが格納されている。 【００１４】図６はストローク方向説明図、図７はスト
ローク方向判定例説明図である。図６において、ストロ
ーク方向が８方向の例が示されている。たとえば、図３
図示のごときパターンについて、各画素がどの方向のパ
ターンに属しているかの判定方法を説明する。図７示の
各正方形が一つの画素を形成し、図中の黒画素がどの方
向ストロークに属するかを判定する。すなわち、注目し
ている画素を基にして、図７に示すように、前後左右お
よび斜め方向の各方向にそれぞれ画素を順次走査し、黒
画素をカウントして行き、走査した画素が白画素になっ
たら、その方向の走査を止める。このような走査を各方
向について行い、終了したら、黒画素のカウント数が最
も大きい方向を、その着目画素のストローク方向である
と判定する。図７に示す例では、図６のストローク方向
７と一致する方向のストロークが最も長い。したがっ
て、注目画素は、方向７のストロークに属する。同様に
他の画素全てに対してストローク方向の判定を行う。 【００１５】図８は方向パターンの抽出例説明図であ
る。図８において、たとえば、「漢」の文字の８方向の
ストロークパターンを抽出した例で、便宜上縮小してあ
る。また、図８に示す番号（１）ないし（８）は、図６
のような方向性を示す番号１ないし８と対応している。
ぼかし処理は、２値画像である各方向ストロークパター
ンを縮小し濃淡のある画像に変換する。ここでは以下の
ような処理を用いることにする。方向ストロークパター
ンの大きさがＮ×Ｎ画素として、ぼかし後のパターンの
大きさをＭ×Ｍとする。ＮはＭの画素の整数ａ倍とす
る。すなわち、ａ×ａ画素の原画を１画素に投影するこ
とになる。この際、方向ストロークパターンの各画素の
内、背景である白画素を−１、パターンを形成する黒画
素を＋１とし、 個の画素を加算する。したがって、ぼ
かし変換後の１画素は−ａから＋の間の値を持つことに
なる。ここで得られた各方向のぼかしパターンと辞書と
して持っている各文字方向のぼかしパターンとの間で各
方向ごとに相関をとる。相関はぼかした方向パターンの
各画素を要素とするＭ次元ベクトル同志の内積をそれぞ
れのベクトルのノルムで除したものになる。式で書く
と、 Ｓi ＝（Ｉi ，Ｄi ）／‖Ｉi ‖・‖Ｄi ‖ となる。Ｓが相関値、Ｉが入力パターン、Ｄが辞書パタ
ーンを、添字ｉはストロークの方向を示す。８方向の場
合、各文字に対して８個の相関値が得られるので、８個
の相関値の２乗和を各文字に対する類似の度合いとす
る。辞書として持っている全文字中で、最も類似の度合
いの高いものを認識結果とする。 【００１６】写真領域画像メモリ５１中の写真領域５１
１は、写真領域圧縮装置５２により情報圧縮され、画像
データとして写真ファイル装置に記録される。上記写真
領域圧縮装置は、従来の任意の情報圧縮手法を用いて実
現することができる。さらに、上記図形領域メモリ６１
中の図形領域６１１は、図形領域清書装置６２により、
線図形に対して直線近似をおこない、直線近似の際に生
じる端点や交差点のずれを直し、線図形全体を清書す
る。清書する様子を図９に示す。すなわち、図９（ａ）
のような線図形画像に対して、直線近似をすることによ
り、図９（ｂ）のような結果を得ることができる。この
結果に対して、整形処理を施し端点や交点のずれを直す
ことで、図９（ｃ）のような結果を得ることができる。
上記の図形領域清書装置の直線近似の機能は、例えば、
本出願人の先に出願した特願 − 号（FX2432
2）の発明「画像データベクトル変換装置」に記載の方
法を用いることにより、また整形処理は同じく本出願人
の先に出願した特願− 号（FX25527）の発明
「ベクトルデータ整形方式」に記載の方法を用いること
で実現することができる。 【００１７】図１０は上記「画像データベクトル変換装
置」および「ベクトルデータ整形方式」を用いた図形領
域清書装置の構成例を示すものである。この図形領域清
書装置は、走査を主体とする単純な処理により、画像デ
ータをベクトルデータに変換できるものであり、図１０
に示すように、図形領域画像メモリ６１に格納された２
値画像を直交する方向（ここではＸ軸方向およびＹ軸方
向）に走査して所定の処理を行う。Ｘ軸方向の走査と処
理は、Ｘ軸方向走査部６２１、連続黒画素計数部６２
２、黒画素重心抽出部６２３、重心連結部６２４により
行い、Ｙ軸方向の走査と処理は、Ｙ軸方向走査部６２
５、連続黒画素計数部６２６、黒画素重心抽出部６２
７、重心連結部６２８により行う。各処理の結果は、ベ
クトル整形部６２９により整形される。Ｙ軸方向とＸ軸
方向の処理とは走査方向が異なるだけで実質的には同じ
ものであり、ここではＹ軸方向を例にとり説明する。図
１１は、２値画像をベクトル変換するために行う走査を
説明する図である。Ｙ軸方向走査部６２５の走査は、画
素単位に行うのではなく、幾つかの画素を飛び越して行
う。その飛び越し幅である走査線間幅Ｓは、任意の幅に
決めることができる。連続黒画素計数部６２４は、走査
をしつつ黒画素が幾つ連続しているかを計数する。その
計数結果に基づき、黒画素重心抽出部６２７は連続した
黒画素の重心を抽出する。重心連結部６２７は、黒画素
重心抽出部６２７の抽出した黒画素重心同士を連結し
て、ベクトルを形成する。一定の距離を予め定めておい
て、黒画素重心間の距離がその一定の距離より小であれ
ば、両者を連結してベクトルを形成する。しかし、上記
一定の距離より大であれば連結しない。ベクトル整形部
６２７は、ベクトル間を結合したり、接触させたり、誤
ベクトルの削除等を行い、ベクトルの整形を行う。 【００１８】上記の領域分離装置を用いて例えば、図１
１に示すような構成のファイリング装置を構成すること
ができる。画像入力装置１により入力された文書画像
は、上記のように領域分離装置３により各領域に分離
後、文字認識装置４２、写真領域圧縮装置５２、図形領
域清書装置６２により処理された結果をそれぞれ文書フ
ァイル装置４３、写真ファイル装置５３、図形ファイル
装置６３に記録する。記録する際に、各ファイルに対し
適当なキーワードを付与しておく。また、１ページの完
全な文章として利用するために、文書から分離した各フ
ァイルの関係も同時に記録する。あるテーマについて文
章を作成したとき、適当なキーワードで検索装置１０を
用いて、適当な文章を文章ファイル装置４２から検索す
る。検索した結果は文章として編集することができるの
で、文章編集装置７に用いて自由に編集し利用すること
が可能である。また、あるテーマについて書いている文
章に対して表や図形を付加したい場合、適当なキーワー
ドで検索装置１０を用いて図形ファイル装置６２から適
当な図形あるいは表を検索し、検索した結果は図形とし
て編集することが可能なので、図形編集装置８により形
を変えて利用することができる。また、文章ファイル、
写真ファイル、図形ファイル間の関係を調べて１ページ
の文章を検索するように検索装置１０に指示することに
より、１ページの文章を検索でき、文章編集装置７、図
形編集装置８により検索した文章を編集し、再利用する
ことが可能となる。このような文書編集装置７、図形編
集装置８、検索装置１０は同一の処理装置で実現するこ
とも可能である。 【００１９】以上のように、本発明をも用いることで、
ファイリングした結果を有効に活用できる装置を構成す
ることができる。ここで説明した実施例では、文字領
域、写真領域、および図形領域に分割しているのみであ
るが、文字領域に対する文字認識の結果から、文字の大
きさを抽出することにより、タイトルを抽出できる。す
なわち、文字のおおきさより大きな文字領域をタイトル
部分であるとすることができる。また、このタイトルと
して抽出された部分の文字認識結果をキーワードとし
て、文字領域、写真領域、図形領域をファイルに記録す
ることにより、ファイリングしようとしている画像から
自動的にキーワードを抽出することがてきる。 【００２０】 【発明の効果】本発明は、文書ファイリング装置におい
て、画像をファイリングする前に領域分割を行う。すな
わち、入力画像に対し文字領域、写真領域、および図形
領域に分割を施す。そして、文字領域は、文字コードと
して、図形領域は直線近似を行うようにした。従来の画
像ファイリング装置では、文字や図形も画像データとし
てファイリングされていたので、検索した結果を見るの
が主であり、画像としての利用価値しかなかった。しか
し、本発明によれば文字領域は文書として編集が可能と
なり、また図形領域は図形として編集が可能となった。
これにより、過去にファイリングした内容を自由に手直
しして利用することができるようになった。また、検索
した文章を再度出力する際、文字は文字フォントで、図
形は直線を描画するコマンドによって描画されるので、
奇麗な出力を得ることができる。

【図面の簡単な説明】 【図１】 入力画像に対し領域を分離し、所定の形式に
変換する本発明の一実施例を示す図である。 【図２】 文書画像の一例を示す図である。 【図３】 領域分離の結果を示した図である。 【図４】 領域分離装置の構成を示す図である。 【図５】 文字認識装置の構成を示す図である。 【図６】 ストローク方向を説明するための図である。 【図７】 ストローク方向の判定を説明するための図で
ある。 【図８】 方向パターンの抽出例を説明するための図で
ある。 【図９】 線図形整形処理の過程を説明するための図で
ある。 【図１０】 図形領域清書装置の構成を示す図である。 【図１１】 装置の構成例を示す図である。 【符号の説明】 １…画像入力装置、 ２…画像メモリ ３…領域分離装
置 ４１…文字領域画像メモリ ４２…文字認識装置 ４３
…文章ファイル装置 ５１…写真領域画像メモリ ５２…写真領域圧縮装置
５３…写真ファイル装置 ６１…図形領域画像メモリ
６２…図形領域清書装置 ６３…図形ファイル装置 ２
１…文書画像 ４１１…文字領域 ５１１…写真領域
６１１…図形領域

Claims (1)

1. 【特許請求の範囲】 文書を読み取る文書画像入力手段装置と、 読み取った文書画像から文字領域、写真領域、図形領域
   を分離する領域分離手段と、 前記領域分離手段で分離された文字領域の画像に対して
   文字認識を行う文字認識手段と、 図形領域の画像に対してベクトル図形化し、清書処理を
   行う図形領域清書手段と、 分離した上記各領域に対して、文字は文字コードとし
   て、図形はベクトル図形データとして、写真領域は画像
   データとしてファイリングするファイリング手段とを備
   えたことを特徴とした文書画像ファイリング装置。