JPH04106670A - 文書画像処理装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［産業上の利用分野］ 本発明は、イメージ情報の形式で取り込まれた文書情報
から文字領域と図表領域とイメージ領域を分離抽出し、
各領域に含まれる情報をその情報に適するコードデータ
に変換後、再構成して出力する文書画像処理装置に関す
る。

［従来の技術］ 一般的に、紙に書かれた文書情報を保存する場合、イメ
ージスキャナ等で取り込んだ画像をそのままイメージ情
報として扱い、外部記憶装置等に保存している。また、
文字領域のみを抽出した後文字領域について文字認識を
行い文字コード化して保存する場合は、入力文書画像に
対して使用者が、文字領域を人手により指定する必要が
あった。

［発明が解決しようとする課題］ 以上述べたように、イメージ情報の形で保存するタイプ
では、記憶容量が膨大になり、また、文書の一部を書き
直したりする編集作業が行えなかった。そして、領域指
定するタイプでは、人間が常にその場に居て、指示する
必要があり、手間がかかっていた。

そこで本発明は、上記の問題点を解決するためのもので
、人手に頼らず入力された文書画像を文字領域・図表領
域・イメージ領域に分離し、さらに文字領域においては
文字を認識し、図表領域においては文字および幾何図形
を認識し、それぞれの情報に適したコードデータに変換
して、文書を保存する装置を提供することを目的とする
。

［課題を解決するための手段１ 本発明の文書画像処理装置は、文字・図表・イメージ領
域をを少なくとも一つ以上含む文書をイメージ情報とし
て取り込む画像人力部と、この画像入力部により取り込
まれたイメージ情報から雑音を除去し２値化する前処理
部と、この前処理部で処理されたデータから空白領域を
抽出する空白領域抽出部と、空白領域以外の領域につい
て黒画素密度を求めることにより前述のイメージ情報を
文字領域・図表領域・イメージ領域に分割する領域分割
部と、文字領域部の文字を認識する文字領域処理部と、
図表領域内の幾何図形および文字を認識する図表領域処
理部と、イメージ領域内のイメージ情報を加工するイメ
ージ領域処理部と、これらの各処理部からのデータを再
構成する再構成部と、再構成された文書情報を出力する
画像出力部とを具備したことを特徴とする。

［実施例］ 以下本発明について図面に基づいて説明する。

第１図は本発明の文書画像処理装置の構成を示すブロッ
ク図である。１０１は文書画像をイメージ情報として取
り込む画像入力部であり、スキャナもしくはカメラ等を
用いる。あらかじめ画像が収納されている光ディスク等
を使用する場合は、これに対応する再生装置になる。１
０２は取り込んだイメージ情報を一時的に保存する画像
メモリである。１０３はイメージ情報に含まれる雑音の
除去、２値化を行う前処理部である。雑音の除去には、
メジアンフィルタ等を用いて孤立雑音を除去する。もし
、人力画像が傾いていたときは後の処理をやりやすくす
るために、この部分で傾斜角の補正を行う。１０４は文
字領域・図表領域・イメージ領域を分離抽出するために
、通常これらの領、域を分離している空白領域を抽出す
る空白領域抽出部である。空白部の抽出法については後
述する。

１０５は、空白領域抽出部１０４で抽出された空白領域
以外の領域について、その部分の黒画素密度を求めるこ
とにより、入力されたイメージ情報を文字領域・図表領
域・イメージ領域に分割する領域分割部である。１０６
は分割された文字領域内で、文字列の抽出、−文字の切
り出し、切り出した文字の認識を行う文字領域処理部で
ある。１０７は図表領域内の幾何図形および文字を抽出
した後、認識を行う図表領域処理部である。１０８はイ
メージ領域と判定された部分をイメージ情報のまま、も
しくは圧縮処理をするイメージ領域処理部である。１０
９は、コードデータ化された領域とイメージデータの領
域を紙面上に再構成する再構成部である。１１０は再構
成された文書情報を出力する画像出力部で、具体的には
印画装置・表示装置・外部記憶装置がこれに該当する。

次に、入力されたイメージ情報から空白部分を抽出する
方法について、第２図を用いて説明する。

第２図において、２１は前処理部１０３を経た後のイメ
ージ情報である。今、図に示したように、ｍＸｎ画素の
矩形を作り、矢印の方向（横方向）に順次走査して行き
、矩形内に存在する黒画素の数を計数する。このときの
結果を２２に示す。ａの部分では、矩形内には空白領域
しか存在しないので、計数された黒画素の数は０である
。次にｂの部分では、文字の存在する領域にかかるので
黒画素の数が増える。Ｃでは、すべて文字領域なのでさ
らに黒画素の数が多くなる。このように、空白領域から
例えば文字領域に遷移するときには、矩形内の黒画素の
数が０からある値へ変化する。

この変化する矩形内（ｂの部分）に領域の境界線が存在
する。次に領域の境界線の位置を正確に求めるために、
ｂの矩形を左側へ移動させ、矩形内の黒画素の数がＯに
なる場所を求める。移動の方法としては、１画素ずつ左
方向へ移動させればよい。矩形内の黒画素数がＯになっ
た時の矩形の右辺の位置を境界として記憶しておく。文
字領域から空白領域への遷移部分（ｘｙｚ）で示される
部分についても同様の走査を行い境界線を求める。

走査する矩形の形状は、一般的に以下のようにする。横
方向走査のときは、ｍ≧ｎを満たし、かつ複数行もしく
は複数文字が矩形内に入るｍの値を用い、縦方向走査の
ときは、ｍ≦ｎを満たし、かつ複数行もしくは複数文字
が矩形内に入るｎの値を用いる。こうすることによって
、段組等が存在する文書に対しても各領域を分離してい
る空白部分を感度良く抽出できる。

以上の動作を第２図に示した人力画像に対して横方向・
縦方向について行った結果を第３図に示す。第３図に見
られるように、入力画像の状態により、境界線の位置が
多少凸凹している。このままでは、以後の処理がやりに
くいので外接矩形をとることにより、この部分の領域を
入力画像から分離抽出する。このようにして、入力画像
の中から、空白領域とそれ以外の領域を分離する。次に
、以上の処理により、分離抽出された空白領域以外の部
分（第３図に示される矩形）について、その中の黒画素
の数を計数し、面積で除することにより密度を求める。

いま、写真等のイメージ領域。

文字領域・図表領域の黒画素密度をそれぞれ、Ｄｌ−Ｄ
２・Ｄ３とすると、一般的にＤｉ＞０２＞Ｄ３の関係式
が成り立つ。そこで、適当なしきい値を設けることによ
り、各領域を分離抽出することができる−０ 第４図は、文字領域処理部１０６の詳細を示すブロック
図である。４１は文、字領域内の文字列を抽出する文字
列抽出部、４２は抽出された文字列から一文字を切り出
す文字抽出部、４３は抽出された文字を文字認識用辞書
４４を参照して、認識を行う文字認識部である。ここで
認識が行えなかった文字に関しては、イメージデータの
まま次の単語照合部４５へ送られる。単語照合部では、
認識された文字が、単語として意味をもつかどうか単語
辞書４６を参照して、もし文字の誤認識により意味のな
い単語が存在した場合は、訂正の可能なものについては
正しい単語に変換する。文字認識部で認識できなかった
文字についても、単語辞書を参照することにより確定で
きるものについては、この部分で決定する。単語照合部
で確定できなかった文字については、イメージのまま残
しておく。４７は、認識された文字について、これをコ
ード化する文字コード化部である。４８は、上記の部分
でコードデータ化された文字列を紙面上で再構成するた
めに必要な情報を付加する真書式付加部である。例えば
、第、５図に示されるように、紙面の左上を原点として
、縦方向にＸ軸を、横方向にＹ軸をとったとき、（ｘｌ
、ｙｌ）と（ｘ２、ｙ２）で囲まれた領域に文字列が存
在するとする。このとき、この領域を示す真書式は、例
えば第６図（ａ）に示したようになる。この例では、”
Ｃｈａｒ”が、この領域が文字領域であることを、文字
領域の存在位置が（ｘｌ、ｙｌ）と（ｘ２、ｙ２）で囲
まれた矩形内であること、文字の種類が明朝体であるこ
と、文字の大きさが１０ポイントであり、認識した文字
列が１＠＠・・・・・・・・・・・・＠＠）　で示され
る内容であることをそれぞれ表している。この情報を基
に、文字領域内の情報が印字装置や表示装置に出力され
たり、あるいは外部記憶装置に保存される。

第７図は、図表領域処理部１０７の詳細を示すブロック
図である。７１は図表領域内の幾何図形を抽出する幾何
図形抽出部で、抽出法には、ＨＯｕｇｈ変換・黒画素の
連結成分抽出等を用いる。

７２は図表領域に含まれる文字を抽出する文字抽出部、
７３は抽出された文字を文字認識用辞書７４を参照して
、認識を行う文字認識部である。ここで認識が行えなか
った文字に関しては、イメージデータのまま次の単語照
合部７５へ送られる。

単語照合部では、認識された文字が、単語として意味を
もつかどうか単語辞書７６を参照して、もし文字の誤認
識により意味のない単語が存在した場合は、訂正の可能
なものについては正しい単語に変換する。文字認識部で
認識できなかった文字についても、単語辞書を参照する
ことにより確定できるものについては、この部分で決定
する。単語照合部で確定できなかった文字については、
イメージのまま残しておく。７７は、認識された文字に
ついて、これをコード化する文字コード化部である。７
８は、上記の部分でコードデータ化された文字列を紙面
上で再構成するために必要な情報を付加する頁書式付加
部である。例えば、第５図に示されるように、紙面の左
上を原点として、縦方向にＸ軸を、横方向にＹ軸をとっ
たとき、（ｘ３、ｙ３）と（ｘ４、ｙ４）を結ぶ直線が
存在するとする。このとき、この直線を示す頁書式は、
例えば第６図（ｂ）に示したようになる。この例では、
”Ｌｉｎｅ”が、この図形が直線であることを、直線の
存在位置が（ｘ３、ｙ３）と（ｘ４、ｙ４）を結ぶ領域
であること、線の種類が実線であること、線の幅が０．
５ｍｍであることをそれぞれ表している。第７図におい
て、７２から７８で示される部分については、文字領域
処理部１０６に含まれるものと共用してもよい。

本発明の応用例としては、以下のものが考えられる。電
子ファイリングシステムにおいて、入力画像を領域分割
し、コード化することによって、データの圧縮ができ、
記憶容量が縮小できる。デスクトップパブリッシングと
組み合わせることにより、入力画像の文章や図形を書き
換えて別の文書を作成するのに利用することができる。

機械翻訳を行う際、従来キーボードなどを使用して人が
入力していた文書入力の自動化を図ることができる。複
写機において、従来イメージ情報のまま複製を繰り返す
とと、雑音等の影響で文字や図形が不鮮明になりついに
は読み取れなくなったが、度この文書処理装置を通し、
コード化できる部分についてコード化することにより、
コード化された部分については、何回複写を繰り返して
も常に鮮明な画像を得ることができる。また、同様の理
由でファクシミリの入力画像の処理に利用すると、画像
が鮮明になり、かつ伝送容量の圧縮につながる。

［発明の効果］ 以上述べたように、本発明の文書画像処理装置を用いる
と、従来イメージ情報として取り扱っていた文字および
図形を認識することにより、これに適したコードデータ
に直すので、保存する場合、記憶容量が少なくて済む。

またコードデータに変換されているので、一部分の文字
・図形等を変更したり、再利用したりする編集作業が行
える。さらに、文字・図表・イメージ領域を自動的に分
離抽出しているので処理の省力化が可能になるだけでな
く、あらかじめプログラムを設定しておくことにより、
欄外に存在するロゴマークを消すとか、文章だけ、図形
だけの保存といったトリックプレイも行える。

【図面の簡単な説明】

第１図は本発明の文書画像処理装置の構成を示すブロッ
ク図、第２図は本発明の空白領域抽出法の原理説明図、
第３図は第２図で示した方法を文書に適用したときの結
果を示す図、第４図は本発明の文字領域処理部のブロッ
ク図、第５図は入力画像の一例を示す図、第６図は第５
図を頁書式で表現した図、第７図は本発明の図表領域処
理部のブロック図である。 １０１・・・画像入力部、１０２・・・画像メモリ、１
０３・・・前処理部、１０４・・・特徴抽出部、１０５
・・・領域分割部、１０６・・・文字領域処理部、１０
７・・・図表領域処理部、１０８・・・イメージ領域処
理部、１０９・・・再構成部、１１０・・・画像出力部
、２１・・・入力イメージ情報、２２・・・黒画素数の
分布図、４１・・・文字列抽出部、４２・７２・・・文
字抽出部、４３・７３・・・文字認識部、４４・７４・
・・文字認識用辞書、４５・７５・・・単語照合部、４
６・７６・・・単語辞書、４７・７７・・・文字コード
化部、４８・７８・・・頁書式付加部、７１・・・幾何
図形抽出部用願人　　セイコーエプソン株式会社 代理人　弁理土鈴水害三部（他１名） −一一一一一一ト かかっていた。 そこで本発明は、上記の問題点を解決するためのもので
、人手に頼らず入力された文書画像を文字領域・図表領
域・イメージ領域に分離し、さらに文字領域においては
文字を認識し、図表領域においては文字および幾何図形
を認識し、それぞれの情報に適したフードデータに変換
して、文書を保存する装置を提供することを目的とする
。 １ｉ！！題を解決するための手段】 本発明の文書画像処理装置は、文字・図表・イメージ領
域をを少なくとも一つ以上含む文書をイメージ情報とし
て取り込む画像入力部と、この画像入力部により取り込
まれたイメージ情報から雑音を除去し２値化する前処理
部と、イメージ情報における文字・図表・イメージ領域
の持つ特徴を抽出する特徴抽出部と、この特徴抽出部で
抽出された特徴に基づき前述のイメージ情報を文字領第
２図 第６図（ｂ）

Claims (1)

【特許請求の範囲】
1. 文字・図表・イメージ領域を少なくとも一つ以上含む文
   書をイメージ情報として取り込む画像入力部と、前記画
   像入力部により取り込まれたイメージ情報から雑音を除
   去し２値化する前処理部と、前記前処理部で処理された
   データから空白領域を抽出する空白領域抽出部と、前記
   空白領域以外の領域について黒画素密度を求めることに
   より前記イメージ情報を文字領域・図表領域・イメージ
   領域に分割する領域分割部と、前記文字領域部の文字を
   認識する文字領域処理部と、前記図表領域内の幾何図形
   および文字を認識する図表領域処理部と、前記イメージ
   領域内のイメージ情報を加工するイメージ領域処理部と
   、前記３処理部からのデータを再構成する再構成部と、
   再構成された文書情報を出力する画像出力部とを具備し
   たことを特徴とする文書画像処理装置。