JPS6286465A - 文書画像の領域分割方式 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔発明の利用分野〕 本発明は文書を画像として入力し、蓄積する装置に係り
、特に入力された文書画像を文字領域。

図形領域、写真領域等に分割する文書画像の領域分割方
式に関する。

〔発明の背景〕

従来の文書画像の領域分割方式としては、例えば、文書
画像を縦横方向に投影してヒストグラムを作成し、ヒス
トグラムの極端に変化する場所を判定することにより９
文字列を抽出する方式（秋田、増田：　［書式指定情報
によらない紙面構成要素抽出法」電子通信学会論文誌’
　８３　／　１　ｖ　ｏ　１　。

Ｊ６６−Ｄ、Ｎα１．第１１１頁〜第１１８頁）や、文
書画像の２次元フーリエ変換を用いる方式（星野：　「
印刷文書画像の領域切り分は方法」、特開昭５９−５５
５８１号公報）、文書画像中に現われる白ラン、黒ラン
の特徴に着目して領域を分割する方法（村尾、坂井：　
「文書画像における構造情報の抽出」、情報処理学会第
２１回全国大会予稿集、７Ｈ−１，第８５７頁〜第８５
８頁）がある。

文書画像の縦横方向の投影や２次元フーリエ変換を用い
る方式は、画像の大局的情報に基づいており、文書の広
い部分にわたって文字が存在する場合には効率よく判定
９分割を行うことができるが、文字部分が小さい場合に
は困難となる。また、大局的情報を処理するため、全画
像を記憶できるメモリが必要であり、処理量も大きくな
る。

文書画像中の白ラン、黒ランの情徴に着目する方法も、
ランを処理対象とするため、データ処理量が大きくなる
という問題点がある。

〔発明の目的〕

本発明の目的は、大きな画像メモリを必要とせず、処理
効率の良い文書画像の領域分割方式を提供することにあ
る。

〔発明の概要〕

上記目的を達成するために、本発明による文書画像の領
域分割方式は、文字領域と図形または写真領域とを含む
文書画像中の連結成分に着目して各連結成分に外接する
矩形を抽出するステップと、上記各外接矩形の隣接関係
から縦書若しくは横書き文字列を構成する文字外接矩形
の平均サイズを求めるステップと、」二記平均サイズを
基準に文字領域と、文字以外の図形または写真領域とを
区別するステップとを含むことを特徴とする。

上記本発明の方式は、文書画像における連結成分の外接
矩形が備える次のような性質を利用している。すなわち
、文書中に用いられる文字は一般に縦書き若しくは横書
きの文字列を構成しており、（１）横書文字列の場合は
、高さの類似する矩形が横方向に近接して並ぶ。

（２）縦書文列の場合は、幅の類似する矩形が縦方向に
近接して並ぶ。

（３）図形領域や写真領域における連結成分の外接矩形
は、文字を構成する連結成分の外接矩形よりも、高さ２
幅がかなり大きく、また、大きさや位置に規則性が類似
性がない。

（４）文字を構成する連結成分の数は、図形領域や写真
領域を構成する連結成分の数よりも多い。

従ってこらにの性質を利用すると、例えば、第１図に示
すような手順により、文書画像中の文字部とそれ以外の
領域を、分割することができる。

即ち、入力された文書画像から連結成分の外接矩形を抽
出する（処理１００）。次に、抽出された外矩形の情報
を用いて縦書／横書の判定を行う（処理２００）。この
判定は、前記（１）、（２）の性質に着目し、以下に述
べる方法で行う。先ず、縦書を仮定した場合と横書を仮
定した場合のそれぞれについて、文字列を構成すると思
われる互いに隣接する矩形間の距離を画像全体に対して
求め、その平均をとる。この平均値の低い方の仮定が正
しい判定する。縦書／横書判定と同時に、文字の平均高
さ１幅の推定を行う（処理３００）。これは、文字列を
構成すると判定された各矩形の高さおよび幅の画像全体
の平均を求めることにより行う。このようにして求まっ
た文字部分の高さ、幅の推定値を基準にし、それにより
も明らかに大きい値の（高さ、幅を持つ矩形を図形領域
および写真を構成するものと仮定し、近隣するものがあ
れば統合して、「図形、写真領域」として抽出する（処
理４００）。抽出された「図形、写真領域」について、
原画像を調べ、「図形領域」と「写真領域」を分離する
（処理５００）。この場合、図形は白地部分が多く、写
真は黒地部分が多いという一般的性質に着目し、例えば
、各領域内での白黒画素比を求めることにより上記いず
れの領域かを判断する。ここで、白黒画素比を判定の基
準とする場合には、連結成分の外接矩形抽出時に、その
矩形内の白黒画素比を同時に求めておけば、原画像を求
めておけば、原画像を調べることなく、「図形領域」　
「写真領域」の分離が可能である。

最後に、文字を構成すると判定された矩形について、縦
書の場合は縦方向、横書の場合は横方向に統合して文字
列を抽出し、各文字列を統合して文字領域を抽出する（
処理６００）。

〔発明の実施例〕

以下、本発明の詳細な説明する。

第２図は、本発明による領域分割方式の概要説明図であ
る。処理対象となる文書は、入力文書画像データ１０と
して、スキャナ等の画像入力装置に入力される。連結成
分外接矩形抽出部１１は、入力文書画像データ１０から
、連結成分の外接矩形を抽出し、その結果を外接矩形情
報テーブル１２に書き込む。この処理は例えば、「ディ
ジタル画像処理Ｊ　　（Ｒｏｓｎｆｅｌｄ、ｋａｋ著、
長尾真監訳、近代科学社、第３５３頁〜第３６１頁）等
で公知の手法を採用できる。矩形情報の表し方には種々
の形式があるが、例えば、縦方向、横方向の最大値。

最小値を用いる。１３１は領域分割処理部であり、〔処
理６０１）：処理２００の判定結果が縦書の時、処理６
０２を実行し、横書の時、処理６０４を実行する。

［処理６０２］：第８図において、ｒ文字」。

「横軸文字」、「縦書文字」と判定される矩形を文字構
成要素とし、これらの中で互いに方向接続条件を満たす
矩形のグループを求める。冬グループの全ての矩形に外
接する矩形を求め、「文字列」とする。

〔処理６０３）：処理６０４で求められた「文字列」を
表わす矩形について、横方向で隣接する２つの矩形が次
の条件を満たす時、文字領域として統合可能とする。

隣接する２つの矩形をｉ＋　−１（１１がｉの右隣）と
し、そのＸ座標、ｙ座標の最大値、最小値を、Ｘｍ１ｎ
ｌ、　　ＸｍａＸＩ９３’＋＋＋１ｎｌ、　　ｙｍａＸ
ｌ、　　！、＋ｍ１ｎＪｙＸ　ｍａｘＪ　ｔ　　：ｌ’
　ｍ１ｎｄ　ｌ　　ｙ　ｌｌａ！Ｊとすると、（ｊ）　
　縦方向位置で、重なり合う部分がある。

ｗａｘ（ｙ＋＋＋ｔｎｔ＋　Ｖ□ｎＪ）〈＋＋ｎ（’／
　ｍａＸＩ　　’／　Ｉｌ＋ａＸｊ）・・・（１４） （５）横方向距離が、２つの矩形の幅の平均のγ１倍以
下である。

ｘｍｓｎａ　−ｘ＋ｍａｘｔ＜γＩ　Ｘ　（０’＠ａｘ
ｔ　　Ｘｍｔｎｔ）　＋（ＸｍａｘＪ−ｘｍｔｎｚ）　
）　／　２・・・（１５） 但し、γ１は、文字列の幅に対する文字列間距離の大き
さの比を示すパラメータで、通常の印刷文書の場合、１
〜２である。

全ての文字列を示す矩形に対して、上記条件（ｉ）、（
ｊ）を互いに満たす矩形のグループを求め、各グループ
で全矩形に外接する矩形を、「文字領域」として抽出す
る。

〔処理６０４）：処理６０２と同様にして、文字構成要
素のうち、互いに横方向接続条件を満たす矩形のグルー
プを求め、各グループで、全ての矩形に外接する矩形を
求め、「文字列」とする。

〔処理６０５）：処理６０４で求められたｒ文字列」を
表わす矩形について、縦方向で隣接する２つの矩形が次
の条件を満す時、文字領域として統合可能とする。隣接
する２つの矩形をＩＩ　ｊ　Ｆがｊの下降）とすると、 （ｉｉｉ）　　横方向位置で、重なり合う部分がある。

＋＋＋ａｘ（Ｘ＋＋ｕｎｉ　、　　ｘｍｔｎａ）〈ｌｌ
ｔｎ（ｘｍａｘｔ　　　　ＸｍａｘＪ）　　”’　　（
１５）（ｔｖ　）　　縦方向距離が、２つの矩形の高さ
の平均の７２倍以下である。

３／　ｍ１ｎ−ｙ　ｍａｘｔ　＜　γ２Ｘ　　（（３／
＋ａａｘｉ　　　　Ｖｍｌｎｉ）　　＋（’／ｍａｘａ
　　３／ｍ＋ｎｊ）　）　／　２・・・（１６） 但し、γ２は、文字列の高さに対する文字列間距離の大
きさの比を示すパラメータで、通常の印刷文書の場合１
〜２である。

全ての文字列を示す矩形に対して、上記条件（ｉｉｉ）
（ｔｖ）を互いに満たす矩形のグループを求め、各グル
ープで、全矩形に外接する矩形を「文字領域」として抽
出する。

〔発明の効果〕

本発明によ４１．ば、以下の効果がある。

（１）連結成分のり■接矩形を処理の基本単位としてい
るため、画素やランを基本単位とする処理に比べ、効率
良く文書画像を「文字領域」　「図形領域」「写真領域
」に分割することができる。

（２）「図形領域」と「写真領域」の分離以外は。

連結成分の外接矩形情報だけを用いて処理を行っている
。連結成分の外接矩形の抽出はラインメモリがあれば実
行できるたる、「図形領域」と「写真領域」の分離以外
は、ラインメモリだけで実現できる。また、「図形領域
）と「写真領域」の分離も、分離を行う際の特徴量とし
て白黒画素比など、外接矩形抽出時に同時に求めること
のできるのものを用いれば、全処理を、画像全体を記憶
するメモリを用いることなく、ラインメモリのみで実現
することができる。

【図面の簡単な説明】

第１図は本発明による領域分割処理の手順を示す全体フ
ロー図、第２図は本発明による領域分割方式の説明図、
第３図は上記領域分割をするためのバードウエフの構成
の１例を示す図、第４図および第５図はそれぞれ横方向
、縦方向の介接条件に関する説明図、第６−１図、第６
−２図、第７図、第９図はそれぞれ第１図の詳細フロー
図、第つからなければ、処理２０７を実行する。 〔処理２０５）：着目している矩形と見つかった矩形間
の距離ｄｈを求める。着目している矩形のＸ座標最大値
を、Ｘｍａｘｉ、見つかった矩形のＸ座標最小値をＸ＋
ｍ１ＸＪとすると、 ｄ　　ｈ　　＝　ｘ　ｍ１ｎｄ　　　ｘ　ｍａｘ＋　　
　　　　　　　　　　　　−（７）ｄｈは負の値を許す
。 〔処理２０６）：横方向で隣接する矩形の組の数Ｃｏｕ
ｎｔＨと、矩形間距離の和ｄｉｓｔＨを更新する。また
、着目している矩形の幅Ｗと高さｈで、幅の和νｓｕｍ
）ｌ、高さの和ｈｓｕｍＨを更新する。 〔処理２０７）：横方向と同様に、縦方向隣接条件を満
し、下側で、もつとも近接する矩形を求める。 ［処理２０Ｂ］：縦方向隣接条件を執す矩形が見つかれ
ば処理２０９を実行し、見つからなければ処理３０２を
実行する。 〔処理２０９］　　：着目している矩形と見つかった矩
形間の短離ｄｕを求める。着目している矩形のｙ差標最
大値を、’ｌ　ｍａｎｌ、見つかった矩形のｙ差標最小
値を３’ｍｉ。とすると、 ｄ　ｖ＝’ｆｍｓｒａ−ｙ＋ｍａｘ＋　　　　　　　　
”’　（８）ｄｖは負の値を許す。 〔処理２１０３：縦方向で隣接する矩形の組の数Ｃｏｕ
ｎｔＶと、矩形間距離の和ｄｉｓｔＶを更新する。また
、着目している矩形の幅Ｗと高さｈで、幅の和ｗｓｕｍ
Ｖ、高さの和ｈｓｕｍＶを更新する。 〔処理２１１）：横方向で隣接する矩形間距離の平均ａ
ｖｒｄＨと、縦方向で隣接する矩形間距離の平均ａｖｒ
ｄＶを求める。 〔処理２１．２　）　　：　ａｖｒｄ）Ｉ−ａｖｒｄＶ
の値が一εより小さい時、横書と判定、εより大きい時
、縦書と判定する。−ε以上かっε以下の時は、判定不
能とする。ここでＥは非負の定数で１判定不能の範囲を
決めるパラメータである。Ｅ＝０の場合は、ａｖｒｄＨ
＝　ａｖｒｄＶの時のみ、判定不能となる。 〔処理３００）：処理２００の結果に基づき文字の高さ
と幅を推定する。 第７図は、処理３００の文字高さ、幅推定の詳細に流れ
を示す図である。 （工２） 〔処理３０１）：処理２００での判定結果が縦書の時、
処理３０２．処理３０８を、実行し、横書の時、処理３
０４．処理３０５を実行する。 〔処理３０２）、（処理３０３］　：処理２００で縦方
向文字列を構成すると判定された矩形の高さの平均ａｖ
ｒＨと幅の平均ａｖｒＷを求め、推定値とする。 ａｖｒＨ＝　ｈｓｕｍＶ　／　ｃｏｕｎｔＶ　　　　　
　　　０°“（９）ａｖｒＷ＝ｖｓｕｍＶ／ｃｏｕｎｔ
Ｖ　　　　　　　　−（１０）〔処理３０４）、［処理
３０５］　　：処理２００で、横方向文字列を構成する
と判定された矩形の高さの平均ａ　ｖ　ｒ　ｌ（と幅の
平均ａｖｒＷを求め、推定値とする。 ａｖｒＨ＝ｈｓｕｍＨ／　ｃｏｕｎｔｌ（−（１１）ａ
ｖｒＷ＝ｗｓｕｍＶ／ｃｏｕｎｔＨ−（１２）〔処理４
００） 処理３００で求まった文字の高さ、幅の推定値により、
「図形、写真領域」を抽出する。第８図は、抽出の閾値
を示す図である。ここで、ｓｔ。 ｓｚ、ｔｔ、ｔｚはパラメータであり、Ｏ＜８１＜１＜
　ｓ　ｘ　、　Ｏ＜　ｔ　１　＜　１．　＜　ｔ　ｘ。 幅が、（Ｓ２）　Ｘ　（ａｕｒａ）より大きいか、高さ
く１３） が（ｔｚ　）　Ｘ　（ａｕｒａ）より大きい矩形を図形
および写真領域構成要素とし、互いに重なり合う矩形が
あれば、それらに外接する矩形で統合し、「図形、写真
領域」とする。 〔処理５００〕 処理４．　ＯＯで抽出された「図形、写真領域」におい
て、各領域内での白黒画素比ｒｗｂを求める。 領域内の白黒画素比を求めるには、一般に原画像データ
を用いなければならないが、連結成分抽出等に、黒画素
数を同時に求めておけば原画素を調べることなく、白黒
画素を求めることができる。 ｒｗｂ＝ｎｕｍｔｉｌ／ｎｕｍＢ　　　　　　　　　・
＋　（１３）但し、ｎｕｍＶ　：白画素数、ｎｕｍＢ　
：黒画素数であり、ｒｗｂ＞ｕの時は、「図形領域Ｊ　
、ｒｗｂ＜Ｖの時は、「写真領域」と判定する。ｕ、ｖ
はパラメータで、０　＜　ｕ　＜　ｖ　＜　’Ｊ。 ［処理６００〕 処理４００で文字構成要素と判定された矩形を統合して
、ｒ文字領域」を抽出する。 第９図は、処理６００の詳細フロー図である。 外接矩形情報テーブル１２の情報を用いて、第１図の流
れに従って領域分割を行い、領域分割結果１４を得る。 この領域分割処理においては、「図形領域」と「写真領
域」を分離するために、原画像データを用いるが、それ
以外の処理は、テーブル１２に記憶された外接矩形情報
のみで行うことができる。 第３図は上記処理を行うためのハードウェア構成の１例
を示す。文書画像データは、画像入力装置２４により画
像メモリ２５に入力される。画像処理装置２６は、画像
メモリ２５の画像データから連結成分を抽出し、その外
接矩形情報をメイン・メモリ２１上の外接矩形情報テー
ブル１２に書き込む。領域分割処理は、この外接矩形情
報と画像データを用いて、ＣＰＵ２０が実行する。領域
分割の結果は、画像データと共に画像ファイル２７に記
憶される。また、領域分割の結果を、領域の種類ごとに
、異なるパターンでディスプレイ２２に表示したり、プ
リンタ等の画像出力装置２３かに出力することや、原画
像を領域別に表示、出力することができる。ＣＣＰＵ２
０は、上述した各要素の動作制御も行う。この例では、
高速処理を目的に専用の画像処理装置２６を用いたが、
ＣＰＵ２０のプログラム処理により、連結成分の外接矩
形抽出を行う場合は、画像処理装置２６は省略すること
ができる。 次に、第１−図に示す処理の詳細について説明する。先
ず、横方向、縦方向隣接条件を第４図に示す矩形−１−
ｙＪにおいて、次のように定義する。 〔横方向隣接条件〕 （１）横方向について、一方が他方を包含する様な関係
にない。 （Ｘｍ１ｎＩ　　Ｘｍ１□Ｊ）Ｘ（ｘｍａｘｉ　　Ｘ＋
ｍａ□）〉０　　・・・（１）（２）双方の重心の縦方
向位置（ｙ座標）が、２つの矩形の縦方向の重なりの間
にある。 （３）高さが類似している。 １／α＜　ｈ　ｉ／　ｈ　Ｊ　＜α　（α〉１）αは、
高さ比の範囲を示すパラメータ。　　・・・（３）〔縦
方向隣接条件〕 第５図に示す矩形に、Ｑにおいて、 （１）縦方向について、一方が他方を包含する様な関係
にない。 （ｘｍｉｎｈ　　ｘ＋ｍｔｎｋ）Ｘ（ｘｍａｘｋｘｍａ
ｘｔ）＞Ｏ・＝　（４）（２）双方の重心の横方向位置
（Ｘｍ標）が、２つの矩形の横方向の重なりの間にある
。 ｍａＸ（ｙ＋ｍ１ｎｋｔ　ｙｍｔｎｔ）＜（ｇｙｈ＋　
ｇｙｔ）＜ｍｔｎ（ｙｍａｘｈ　　ｙｍａｘｔ）ｇｙｋ
＝（３／＋５ａｘｈ　　Ｖｍａ□）／２ｇｙｔ＝（ｙｍ
ａｘｘ　　ｙ＊ａｘｋ）／　２　　　　　　”’　（５
）（３）幅が類似している。 〔処理の１００〕 画像のデータより連結成分の外接矩形を抽出し、その情
報を外接矩形情報テーブルに書き込む。 〔処理２００〕 抽出した連結成分の外接矩形情報より、以下の如く文書
画像の縦書横書を判定する。 第６−１．６−２図は、処理２００の縦書横書判定の詳
細な流れを示す図である。以下の説明では、連結成分の
外接矩形を矩形と略す。 （処理２０１）：変数の初期化を行う。ＣｏｕｎｔＨ。 ｄｉｓｔＨは、横方向隣接条件を満し、もつとも近い距
離にある矩形の組の数とその矩形間距離の和、ｈｓｕｍ
ｌ（、ｗｓｕｍＨはそれらの矩形の幅と高さの和である
。同様に、ＣｏｕｎｔＶ、ｄｉｓｔＶ、　ｈｓｕｍＶ、
ｗｓｕｍＶは、縦方向のそれである。 〔処理２０２）：処理１００で求めた矩形、全てについ
て、処理２０３〜処理２１．０を繰り返す。 繰り返し終了時には、処理２１１を実行する。 ［処理２０３］：着目している矩形に対して、横方向隣
接条件を満し右側でもつとも近接する矩形を求める。右
隣りを求めるのは、矩形の組が重複して処理されるのを
防ぐ手段であり、左隣りを求めても、また重複を考慮し
て両隣りを求めても良す島。 〔処理２０４）：処理２０３で横方向隣接条件を満す矩
形が見つかれば、処理２０５を実行し、見８図は矩形の
高さおよび幅による領域の分類を示す図である。 １０・・・入力文書画像データ、１１・・・連結成分外
接矩形抽出部、１２・・・連結成分外接矩形情報テーブ
ル、１３・・・領域分割処理部、１−４・・・領域分割
結果、２０・・・ＣＰＵ、２１・・・メインメモリ、２
２・・・ディプレイ、２３・・・画像出力装置、２４・
・・画像入力装置、２５・・・画像メモリ、２６・・・
画像処理装置、２７・・・画像ファイル。

Claims (1)

【特許請求の範囲】
1. 文字領域と図形または写真領域とを含む文書画像中の連
   結成分に着目して各連結成分に外接する矩形を抽出する
   ステップと、上記各外接矩形の隣接関係から縦書若しく
   は横書き文字列を構成する文字外接矩形の平なサイズを
   求めるステップと、上記平均サイズを基準に文字領域と
   、文字以外の図形または写真領域とを区別するステップ
   とを含むことを特徴とする文書画像の領域分割方式。