JPS61269779A - 文書画像解析方式 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 （産業上の利用分野） 本発明は、書籍等の文書画像を予め定められた紙面構成
要素に分割し、所望の領域を自動抽出する文書画像解析
方式に係わり、特に、文書画像を構成する主要な文字列
の情報を射影分布上で測定できる統計量に基づいて抽出
しながら、文書画像を大局的領域から局小的領域へ分割
する文書画像領域分割方式に係わる。

（従来技術とその問題点） 多量の既存文書画像の効率的な蓄積や画像伝送を行った
り、また、一般書籍を自動的に読み取るためには、固定
書式を持つ帳票だけでなく、多種多様な文書画像を解析
し、文字領域や図表領域の分離、更には、所望の領域を
自動抽出することが必要となる。

従来、このような文書画像の構造解析方法として、文字
領域から成る紙面の周辺分布を求め、主要な文字列の大
まかな位置を周辺分布上の急峻性より推測し、推測され
た位置を基準として、黒画素の連結成分の追跡を行う方
法（電子通信学会論文誌Ｄ　Ｖｏｌ、　Ｊ６６−Ｄ　Ｎ
ｏ、１．１９８３−１，１１１ページ〜１１８ページ）
がある。しかし、このような従来手法では、周辺分布上
の急峻性の検出には、文字列の大きさに依存するパラメ
ータを設定する必要があり、また、主要な文字列の大ま
かな位置が決められるのみであるため、全く異なる方式
である黒画素の連結成分の追跡、処理を新たに、加える
必要が生じる。

また、文書画像をラスク走査し、白ｌ黒ランレングスの
情報から、まとまりのよい矩形領域に構造化する方法（
情報処理策２１口金国大会、７Ｈ−１）があるｌｔ、ノ
イズの影響も受けやすく更に、まとまりのよい矩形領域
に構造化する際、文書画像の全体構成がとらえにくいた
めに、予め書式情報を設定して置く必要が生じる。

ぐ発明の目的） 本発明の目的は、従来の上記欠点を解決するために、垂
直又は水平方向の射影情報に従って分割された複数個の
部分領域及び部分領域間の統計量から得られる分離度に
基づいて、文字列の規則的な配置を検定しながら、対象
となる文書画像を垂直又は水平方向の射影分布上で大局
的な領域から局所的な領域へ階層的に分割する方式を提
供することにある。

本発明の他の目的は、文書画像が縦書きあるいは横書き
であっても、更に、図表領域を含んでいても、文書画像
内の主要な文字列を抽出することができる文書画像解析
方式を提供することにある。

（発明の構成） 本発明の構成は、文書画像を光学的に走査し、光電変換
を行ない、量子化した後、所定のエリアに記憶する手段
と、記憶された文書画像内の領域に対して、垂直又は水
平方向の射影情報を抽出する射影情報抽出手段と、垂直
又は水平方向の射影情報の空白区間を基にして、該文書
画像内の領域を複数個の部分領域に分割する部分領域抽
出手段と、複数個の部分領域及び部分領域間の統計量を
用いて測定する手段と、予め定めた閾値より大きな分離
度を有する複数個の部分領域のうち、連続して抽出され
た部分領域を検出することによって該文書画像の主要な
文字列に関する情報を抽出する規則性情報抽出手段と、
水平方向及び垂直方向の射影情報を交互に検出しながら
、該規則性情報抽出手段により得られる情報に従って、
該文書画像を大局的な領域から局小的な領域へ分割する
手段とを有することを特徴とする文書画像解析方式を提
供することにある。

（実施例） 以下本発明における実施例について図面を参照しながら
説明する。第１図（ａ）、　（ｂ）は、射影分布上で分
割される領域間の分離度を算出する方法を説明するため
の図である。第１図（ａ）は、縦方向に文字が配置され
た文書画像の一部を示しており、斜線部は、文字を示し
ている。

第１図（ｂ）は、第１図（ａ）で示した３つの縦方向の
文字列に対して、垂直方向の射影分布即ち、垂直方向の
黒画素数の分布を示したものである。第１図（ｂ）にお
いて、２つの文字列を表す部分領域をそれぞれ、ｆｌ。

ｆ２で示し、部分領域ｆＬＧ＝１．２）内における平均
位置を両（ｉ＝Ｌ２）、分散を０２１（ｉ＝１，２）、
黒画素数をＤｉ（ｉ＝１．２）で示している。また、平
均値μ７及び分散σ２Ｔは、部分領域ｆ１と部分領域ｆ
２とを１つの領域（以下、合成領域ｆ１，２と呼ぶ）と
見なして、測定した統計量即ち、２つの部分領域ｆ１．
ｆ２間の統計量を示している。そこで、領域ｆ１とｆ２
との分離度ｎ０，２の一例として、式（１）によって算
出することができる。

式（１）で示した分離度ｎ０，２はＯ≦ｒ１１．２≦１
の関係を満足し、分離度が良くなれば、１に近づき、分
離度が悪くなれば、０に近づく評価尺度となっている。

また、式（１）による分離度ｒ１１．２は、領域ｆｉ（
ｉ＝１．２）の黒画素密度Ｄｉ（ｉ＝１．２）及び平均
値位置ｐｉ（ｉ＝１．２）と合成領域ｆ１，２との分散
σＴ２を用いて算出しているが、領域ｆｉ（ｉ＝１．２
）の黒画素密度Ｄｉ（ｉ＝１．２）及び分散ｏＴ２（ｉ
　＝　１．２）と合成領域ｆ１，２分散σＴ２を用いて
分離度ｒ１１，２を算出することもできる。尚、領域ｆ
１．ｆ２等の複数個の部分領域（以下子領域と呼ぶ）は
、射影分布上の空白区間に基づいて容易に決められる。

第２図（ａ）、　（ｂ）、　（ｃ）は、本発明における
文書画像の領域解析方式を説明するために、用いた一例
である。

第２図（ａ）で示した解析対象となる文書画像の領域Ｒ
は、丸印で示す文字が縦方向に印字された場合で馬り、
更に、矩形と斜線で示すような図表等の要虜も含まれる
場合の一例を示している。

簿２図で使用される記号Ｒ（１）、　Ｒ（Ｌ　１）、・
・・Ｒ（１，１，２，３）は、水平又は垂直方向に対す
る射影分布ＨＬ　ｖｉｓ　”’用いて得られる領域を示
し、以下の意味を持つ。

領域Ｒ（ｎ、　ｎ２．　”・ｎｙ−１＋　ｎ　Ｘ但し、
ｎｌ、　ｎ２．　・ｎｌ＝　１．２．３−）は、分割レ
ベル１の第ｎ１番目から分割レベル！−１の第ｎ、−１
番目に到る領域Ｒ（ｎｌ、ｎ２．・・・ｎよ−１）を親
領域として垂直方向（但し、分割レベル１が偶数の時）
又は水平方向（但し、分割レベルｌが奇数の時）の射影
分布上で分割された第ｎ番目の子領域を示している。例
えば、第２図（ａ）で示す領域Ｒ（１，１）は、親領域
Ｒ（１）に対して、垂直方向の射影分布Ｖ１上で分割さ
れる第１番目の子領域を表わし、第２図（ｂ）で示す領
域Ｒ（１゜１．２）は、親領域Ｒ（１，１）に対して、
水平方向の射影分布Ｈ２上で分割される第２番目の子領
域を表わす。更に、第２図（Ｃ＞で示す領域Ｒ（１，１
，２，３）は、親領域Ｒ（１゜１．２）に対して、垂直
方向の射影分布■２上で分割される第３番目の子領域を
表わす。尚、前述した分割レベルは、水平方向の射影分
布Ｈ１により得られる領域Ｒ（１）の分割レベルを１と
し、垂直方向の射影分布ｖ１の場合には、分割レベル２
、水平方向の射影分布Ｈ２の場合には、分割レベル３と
いったように、水平方向、垂直方向の射影分布を交互に
抽出するこ、＆によって、決められている。

十こで、本発明における文書画像の解析方式につ）１て
説明する。最初に、量子化記憶された画像情報の解析対
象となる領域Ｒに対して、射影分布Ｈ１が抽出される。

ここでは、射影分布Ｈ１の子領域Ｒ（１）は、１つであ
り、更に、分割レベルが１であるため、領域Ｒ（１）は
、第３図で示す分割制御部１を通して、未決定領域記憶
部１３にスタックされる。次に、未決定領域記憶部１３
から、次に分割すべき親領域として、Ｒ（１）が取り出
され、親領域Ｒ（１）に対して、第２図（ａ）で示す垂
直方向の射影分布ｖ１が抽出され、５つの子領域Ｒ（１
，１）、　Ｒ（１，２）、　Ｒ（Ｌ　３）、　Ｒ（１，
４）、　Ｒ（１゜５）に分割された後、子領域間の分離
度ｒ１ｉ、Ｌ＋１（ｉ＝１，２゜３．４）が前式（１）
により計算される。

次に、予め定められた閾値ｒｌｓを用いて、各子領域Ｒ
（１，１）・・・Ｒ（１，５）間の分離度Ｔｒｉ、Ｌ＋
□を検査し、分離度へ。

田が閾値上より大きな値を持つ連続した複数個の子領域
を抽出し、更に連続した複数個の子領域が一定許容範囲
で配置されることを検査することによって、主要な文字
列に関する情報が求められる。即ち、第２図（ａ）の場
合には、子領域Ｒ（１，２）からＲ（１，５）までの４
つの領域から主要な文字列に関する情報が得られる。こ
こで、主要な文字列に関する情報の一例を、第１図（ｂ
）を用いて説明すると、図中、３個の領域幅Ｂｌ、　Ｂ
２．　Ｂ３及び領域間の間隙Ｗ１゜Ｗ２に関する平均値
π＝古（Ｂ１＋Ｂ２＋Ｂ３）、ｗ　＝　＋（Ｗ１＋Ｗ２
）をそれぞれ主要文字列の平均幅百及び平均間隙Ｗとし
て抽出することができ、更に、主要な文字列が抽出され
た領域の面積などを算出し、前述した主要な文字列に関
する情報の信頼性として利用される。尚、このような主
要文字列に関する情報（以下、規則性情報と呼ぶ）は、
水平及び垂直方向の射影分布について、独立に抽出され
、記憶される。

次に、射影分布ｖｌ上で分割された５つの子領域Ｒ（１
，−１）、　Ｒ（１，２）・・・Ｒ（１，５）を分類し
、識別子が付加される。

複数個の子領域の分類は、例えば、規則性情報の主要な
文字列の平均幅Ｂ等に基づいて行うことができる。例え
ば、第２図（ａ）の場合には、領域Ｒ（１，２）・・・
Ｒ（Ｌ５）に対しては、文字列候補という識別子が与え
られ、領域Ｒ（１，１）は、文字列より大きな未確定領
域という識別子が与えられることになる。

次に、同図（ａ）の垂直方向の射影分布ｖｌ上で得られ
た５つの子領域Ｒ（１，１）・・・Ｒ（１，５）のうち
、どの子領域間を分割するかが決められる。例えば、第
２図の場合、垂直方向の規則性情報から主要な文字列間
の平均間隙Ｗを用いて設定される閾値Ｗｓと各子領域間
の間隙Ｗｉ、ｉ＋Ｌ（ｉ＝”＋・・・４）との比較、及
び分離度の閾値ｒ１ｓと各子領域間の分離度ｒＬｉ計１
（ｉ＝１．・・・４）との比較を行うことによって決定
される。この場合、各領域は第２図（ａ）の破線矢印で
示す部分で領域分割される。分割されたそれぞれの領域
は、未決定領域として記憶される。次に、記憶された前
記未決定１域から次に分割すべき親領域Ｒ（１，５）が
取り出さ絹、親領域Ｒ（１，５）に対して水平方向の射
影分布を抽出し、前述した同様な処理が行われる。ここ
で、親領域Ｒ（１，５）の場合には、前述した子領域Ｒ
（１，１）・・・Ｒ（１，５）の分類処理に際して文字
列平均１１ｉＷＢに基づいて文字列候補という識別子が
与えられているため、これ以上の分割は行われず、第３
図に示す分割結果記憶部１４に格納されると共に、親領
域Ｒ（１，５）に対して、水平方向の射影分布上で得ら
れる複数個の子領域は、例えば、１文字車位の抽出を行
う文字切出し処理を行うために、同時に格納される。

尚、領域Ｒ（Ｌ　２）、　Ｒ（１，３）、　Ｒ（１，４
）についても領域Ｒ（１゜５）の場合と同様な処理され
る。

次に、未決定領域記憶部から分割すべき親領域Ｒ（１゜
１）が取り出され、第２図（ｂ）で示したように、親領
域Ｒ（１，１）に対して、水平方向の射影分布Ｈ２を抽
出し、２つの子領域Ｒ（１，１，１）、　Ｒ（１，１，
２）が得られる。

２つの子領域は、前述した分離度の計算、規則性情報の
抽出、識別子の付加処理まで同様に行われた後、２つの
子領域を分割するか否かが決定される。

ここで、第２図（ａ）及び（ｂ）の破線で示した領域Ｒ
，Ｒ（１゜１）内の文書画像における水平方向の射影分
布Ｈ１゜Ｈ２に対して、共に、前述した規則性情報が検
出さ鉢ないために、すでに、垂直方向の射影分布ｖ１上
の、領域Ｒ（１，２）ないしＲ（１，５）から得られた
垂直方向に対１する規則性情報に基づいて第２図（ｂ）
で示す２つの・を領域Ｒ（１，１，１）、　Ｒ（１，１
，２）を分割するか否かが決定される。ここで、第２図
（ｂ）で示す水平方向の射影分布Ｈ２上の２つの領域Ｒ
（１，１，１）、　Ｒ（１，１，２）を分割するか否か
は、同図（ｂ）で示す２つの領域Ｒ（Ｌ　１．１）、　
Ｒ（１，１，２）間の間隙Ｗａの大きさを、すでに抽出
された垂直方向の規則性情報のうち、例えば、主要な文
字列の平均幅丁に基づいて設定される閾値ｍにより検査
することによって決定される。そこで、第２図（ｂ）の
破線矢印で示すように、２つの領域Ｒ（１，１，１）、
　Ｒ（１，１，２）に分割される。尚、上述した規則性
情報は、前述した如く、水平方向、垂直方向に、独立に
得られ、それぞれ解析対象画像が横書きであるか縦書き
であるかを示す特徴量の１つと見なせるため、例えば、
両方向共に規則性情報が検出された場合には、規則性情
報が抽出された領域面積に基づいて、規則性情報の有効
性を検査することがでいる。以上、述べたように、未確
定領域という識別子を有する親領域に対して得られた複
数個の子領域間の分割の決定は、前述したように、複数
個の子領域と有効な規則性情報とが、同一方向の射影分
布より得られた場合には、複数個の子領域の間予と分離
度が、規則性情報のうち、主要文字列の平均間隙Ｗに基
づいて設定した閾値Ｗｓ及び分離度における閾値ｒ１ｓ
を用いて検査され、一方、複数個の子領域と有効な規則
性情報とが、異なる方向の射影分布より得られた場合に
は、上述したように、複数個の子領域間の間隙が、規則
性情報のうち、主要な文字列の平均幅りに基づいて検査
されることによって行うことができる。

以下、同様にして、第２図（Ｃ）で示す親領域Ｒ（１，
１，２）ｔこ対して、垂直方向の射影分布ｖ２が抽出さ
れ、３つの子領域Ｒ（１，１，２，１）、　Ｒ（１，１
，２，２）、　Ｒ（１，１，２，３）が求まることによ
って、第２図（ａ）で示した文書画像Ｒの主要な文字列
を求めることができる。

ここで、第２図（ｂ）の子領域（１，１，１）を第３図
で示す未決定領域記憶部１３より親領域（１，１，１）
として取り出し、同様に垂直射影分布■２の子領域を求
めると、１つのみであるため、これ以上分割ができず、
未確定領域となるが、例えば、その領域の大きさなどを
調べることにより、図２表等の要素であることが判明す
る。尚、第２図では、縦書き文書画像について、本発明
の領域解析方式を説明したが、横書きの文書画像につい
ても同様に取り扱えることは言うまでもない。第３図は
、本発明の具体的な実施例を示す論理ブロック図である
。

図において、３は文書画像として量子化された画像情報
を記憶する文書画像メモリである。尚、文書画像が、通
常のイメージ入力装置を用いて、走査され、量子化され
た後文書画像メモリ３に記憶されているものとする。

最初に、解析対象領域決定部１５において、文書画像メ
モリ３に記憶された文書画像の解析対象となる領域が決
められる。解析対象の領域は、予め与えちれても良いし
、文書画像のサイズ等によって決２しても良い。解析対
象の領域が決定されると、その領域は、親類域記憶レジ
スタ２に記憶される。

尚、解析対象領域に対する分割レベルを０とし、以下、
前述した射影分布を垂直方向に算出するか水平方向に算
出するかの決定は、分割レベルが偶数の時水平方向に、
分割レベルが奇数の時垂直方向に求めるように行われる
。

射影分布抽出４は、親類域記憶レジスタ２に格納された
親類域に対して、水平方向又は垂直方向に射影分布を抽
出し、射影分布記憶レジスタ５に格納される。尚、上記
射影分布は、通常用いられる平滑処理を行った後、射影
分布記憶レジスタ５に格納しても良い。６は、子領域抽
小部であり、上記射影分布に従って、第１図で説明した
ように、複数個の子領域を抽出する。抽出された複数個
の子領域は、分離度計算部７に入力され、第１図で説明
したように、複数個の子領域間の分離度が算出され、上
記複数個の子領域は、上記分離度を特徴の１つに加え、
子領域記憶レジスタ８に格納される。９は、規則性情報
検出部であり、第２図で説明したように、複数個の子領
域間の分離度等に従−って、規則性情報の抽出を行う。

規則性情報検出部９において、規則性情報が抽出される
と、上記子領域の分割レベル（但し、子領域の分割レベ
ルは、親類域の分割レベル１より大きくなる。）から、
水平方向に規則性情報が抽出されたのか、垂直方向なの
かを決め、規則性情報記憶レジスタ１０に格納された水
平方向又は垂直方向の規則性情報を更新する。

子領域分類部１１は、第２図で示したように、子領域記
憶レジスタ８に格納された複数個の子領域を、規則性情
報記憶レジスタ１０に格納された規則性情報に従って、
分類し、文字列候補領域、未確定領域等であることを示
す識別子が与えられる。１２は、分割領域決定部である
。分割領域決定部１２は、親類域記憶レジスタ２に格納
された親類域の情報（例えば、親類域に付加された識別
子、分割レベルなど）、親類域に対する複数個の子領域
の情報（例えば、各子領域に付加された識別子、各子領
域間の分離度、各子領域間の間隙など）、更には、規則
性情報レジスタ１０に格納された規則性情報（例えば、
水平又は垂直方向のうち、優位な方向における主要な文
字列の平均幅Ｂ、平均間隔Ｗなど）、に従って、第２図
で説明したように、複数個の子領域のうち、どの部分の
子領域間を分割するのか、または、親類域に対ｌ−て、
分割を終了し、分割制御部１に親類域及びその複数個の
子領域を分割結果記憶部１４に登録するのかを決定し、
その旨、分割制御部１に通知する。分割制御部１は、分
割領域決定部１２で決定された親類域の情報あるいは複
数個の子領域情報に対する分割方法に従って、分割すべ
き複数個の子領域情報の未決定領域記憶部へのスタック
処理、分割結果記憶部１４への親類域及び複数個の子領
域の登録処理を行った後、未決定領域記憶部１３より、
次に分割すべき親類域情報を未決定領域記憶部１３から
取り出し、親類域記憶レジスタ２に転送する。

ここで、本発明における文書画像解析方式の終了は、未
決定領域記憶部１３に格納された分割すべき領域がなく
なった時に、検出され、領域分割結果は、分割結果記憶
部１４に格納されることになる。

（発明の効果） 以上説明したように、本発明の文書画像解析方式によれ
ば、解析対象となる文書画像を大局的な領域から局小的
な領域へ階層的に分割する際、射影分布上で得られる複
数個の領域間の分離度を測定することによって、安定に
しかも予め書式情報を与えることなく、種々な文書画像
に対して適用することができる。

【図面の簡単な説明】

第１図（ａ）、　（ｂ）は、本発明における射影分布上
で分割される領域間の分離度を算出する方法を説明する
ための図であり、第２図（ａ）、　（ｂ）、　（ｃ）は
、本発明における文書画像の領域解析方式を説明するた
めの図であり、第３図は、本発明の具体的な実施例を示
す論理ブロック図である。図において、１は分割制御部
、２は親類域記憶レジスタ、３は文書画像メモリ、４は
射影分布抽出部、５は射影分布記憶レジスタ、６は子領
域抽小部、７は分離度計算部、８は子領域記憶レジスタ
、９は規則性情報検出部、１０は規則性情報記憶レジス
タ、１１は子領域分類部、１２は分割領域決定部、１３
は未決定領域記憶部、１４は分割結果記憶部、１５は解
析対象領域決定部である。 特許出願人　工業Ｌ”、・７・ＲＤｔ長等ヤヵ多　　１
　　図 （ｂ）

Claims (1)

【特許請求の範囲】
1. 書籍等の文書画像を予め定められた紙面構成要素に分割
   し、所望の領域を抽出する文書画像解析方式において、
   前記文書画像を光学的に走査し、光電変換を行ない量子
   化した後、所定のエリアに記憶する手段と、前記記憶さ
   れた前記文書画像内の領域の画像情報に対して、垂直又
   は水平方向の射影情報を抽出する射影情報抽出手段と、
   前記垂直又は水平方向の射影情報の空白区間を基にして
   、前記記憶された前記文書画像内の領域を複数個の部分
   領域に分割する部分領域抽出手段と、前記複数個の部分
   領域間の分離度を前記部分領域及び部分領域間の統計量
   を用いて測定する手段と、予め定めた閾値より大きな前
   記分離度を有する複数個の部分領域のうち、連続して配
   置された前記複数個の部分領域を検出することによって
   、前記文書画像の主要な文字列に関する情報を抽出する
   規則性情報抽出手段と、前記水平方向及び垂直方向の射
   影情報を交互に検出し、前記規則性情報抽出手段により
   得られる情報に従って、前記文書画像を大局的な領域か
   ら局小的な領域へ分割する分割制御手段とを有すること
   を特徴とする文書画像解析方式。