JPH0244486A - 文書画像処理方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 （１）発明の属する技術分野 本発明は文書読取装置や文書ファイリング装置などにお
いて１文書画像中の文字図形列検出２文字列の並び方向
（Ｎ方向か横方向かなど）の検出。

同−文字図形列区間の検出２文字図形列の傾き検出など
の処理を間遠にしてかつ、精度よく実行する文書画像処
理方法に関するものである。

（２）従来の技術 文書画像から文字列を検出する方法としては。

従来技術として“書式情報によらない紙面構成要素抽出
法”信学論（Ｄ）　Ｖｏｌ、Ｊ６６−Ｄ、　ＮＯ，１（
１９８３）〔文献１〕がある。この方法は文書画像中の
黒画素の射影を求め、その射影関数の周期性から文字列
や文書の傾きを検出するものである。この方法は１文書
中に文字列が多数存在する場合には良好な結果が得られ
るが５文字列が少ない場合や０文書中の文字列の位置が
段組みによって変動している場合などでは十分な精度を
得ることが困難であった。

文書画像の傾きを検出する方法としては、従来技術とし
て“文書画像の傾き補正のための一方式°°、信学論（
Ｄ）　Ｖｏｌ、Ｊ６９−Ｄ、　Ｎｏ、１１（１９８６）
　（文献２〕や、“英文文書の傾き検出及び単語切り出
しに関する検討”、昭和６２年度信学総全大、　Ｎｏ。

１５１０（１９８７）　　（文献３〕などがある。

文献２の方法は文書画像上の黒画素の輪郭抽出からその
外接矩形を求める処理を行った後に１文書画像を一定の
角度で回転させなから５外接矩形の特徴間（たとえば底
辺の長さ）を一定方向に射影し、射影が急峻なピークを
示す角度を文書の傾きとして検出する手法であり、入力
した文書画像そのものを用いるのでなく、外接矩形の特
徴間を用いることによって処理の高速化を図った方法で
ある。この方法は角度分解能を小さくとれば文書の傾き
を精度よく検出できるが、角度分解能を小さくとると処
理量が増大し、処理速度が低下すると云う欠点がある。

一方１文献３の方法は文書画像上の黒画素の塊から外接
矩形を求める処理を行った後に、大きさの等しい矩形を
検出し、注目する矩形とその上下左右に存在する隣接矩
形とを結ぶことによって局所的な文字同士の方向を求め
る処理を２文書画像の本文領域の全面にわたって行ない
、検出された個々の傾きの平均値を文書の傾きとみなし
て検出するもので、矩形が多数存在する場合には有効で
あるが、矩形が少ない場合は傾き検出精度が低下すると
云う欠点がある。

以上示したように、これらの方法は、処理の対象として
いる文書に外接矩形や射影として抽出される文字図形が
多数存在することを前提としており２図や画像の領域が
大きく文字列の少ない文書や、マルチサイズの文字から
成る文書に対しては十分な傾き検出精度が得にくいと云
う欠点があった。

（３）発明の目的 本発明の目的は２文書画像処理において２文書中に文字
が多数存在することを前提に考案された従来方法の問題
点を解決し２文字図形が多数存在する文書だけでなく２
文字図形が少ない文書や。

マルチサイズの文字図形が含まれる文書に対しても２文
字図形列の区間やその方向、あるいは文書全体の傾きを
精度よく検出する方法を提供することにある。

（４）発明の構成 （４−１）発明の特徴と従来技術との差本発明は２文書
上のある限定された区間の文字列や図形列に注目すれば
１文書が傾いていても。

はぼ大きさの等しい文字や図形が特定の方向（例えば縦
方向、あるいは横方向）に並んでいて、その相互の関係
が保存されていることに注目し３文書画像上の黒画素の
塊、あるいは周辺分布から文字図形列、あるいは文字図
形列領域を予測・抽出し５文字図形列内あるいは文字図
形列領域内の文字図形の位置の相互関係から文書画像の
文字図形列区間と傾きとを検出することを最も主要な特
徴とする。そのため従来技術として取り上げた文書中の
黒画素の射影から文字列や文書の傾きを求める文献１の
方法や、外接矩形の統計的性質のみを用いて文書の傾き
を求める文献２の方法や、注目する文字の上下方向の隣
接矩形の位置から求まる局所的な傾きを統計的に処理し
て文書全体の傾きを求める文献３の方法とは１文書中の
図形を選択的に用いて処理する点で異なる。

（４−２）実施例 〔実施例１〕 第１図は本発明の処理方法を説明する構成図であって、
ｌは文書画像の入力端子、２は連続する黒画素および強
制分割した黒画素あるいはそれらを射影した特徴を検出
し２文字図形領域を抽出する文字図形領域検出機構、３
は文字図形領域選択機構、４は文字図形列および文字図
形列領域を検出する文字図形列検出機構、５は文字図形
列処理機構、６は出力端子、７は制御部である。

入力端子１から白、黒などのように「０」と「ｌ」とで
表現された２値から成る文書画像データを入力し３文字
図形領域検出機構２では、入力された文書画像データに
おいて、（イ）黒画素の連続性の検出処理の結果にもと
づいて非連続部分を囲い〔第２図（ａ）の場合〕、ある
いは、（ロ）黒画素の連続性の検出において黒画素に非
所望に途切れがない場合に強制分割処理を行って囲いを
つくり（一定間隔で区切り〔第２図（ｂ）　（Ｃ）の場
合〕や周辺分布の変化を勘案して区切り〔第２図（ｄ）
の場合〕による分割）から黒画素の塊を囲む文字図形領
域Ｍ？を検出し、その存在位置情報、すなわち上辺。

底辺、左辺、右辺の座標Ｙ　ｉｌ＋　　Ｙ　ｉＺ＋　　
ｘｉｌ＋　　ｘｉＺを求め１次の処理機構に送出する。

なお、外接矩形Ｍ？の代りに短区間の周辺分布Ｂ？（Ｓ
ＪＩ域あるいは位置情報として横方向のアドレスＶｒ１
．　　Ｙｒｚ。

あるいは縦方向のアドレスＸｉｌ＋　　ｘｉＺを求める
ことを意味する）を求めても後続処理を近似的に実現で
きる。

次に文字図形領域選択機構３では、性質の近い文字図形
領域群Ｍ：を抽出する。

この文字図形領域群Ｍ１は１例えば１文字図形領域Ｍ？
の位置情報から各文字図形領域の縦幅ＭＴ正と横幅ＭＷ
、とのヒストグラムＨ（ｙ）、　　Ｈ（ｘ）を算出し、
そこから求めた文字図形領域の縦幅（あるいは横幅）の
代表値ＭＴ　（ＭＷ）にほぼ等しい縦幅ＭＴｉ　　（横
幅ＭＷ、）を持つ文字図形領域を選択しそれらの文字図
形領域をまとめて群とじてとらえることによって得られ
る（式（１）、　（１）’）。線分のような図形、ある
いは個別の文字が連結しているような場合には、一定間
隔で強制分割した文字図形領域に対して求めた特徴を使
用する。

縮幅用： ＭＴ＊（１−α）−β＜ＭＴ逼　く肘＊（１＋α）＋β
横幅用： Ｍ匈＊（１−α）−β〈門−、＜ＭＷ＊（１＋α）＋β
−（１）　　’ α、βはデータの画像分解能で決定されるが、８画素／
　ｍｍの場合αは０．０５〜０．１０．　　βは１〜２
を選べばよい。なお２文字図形領域の選択においてヒス
トグラムＨ（Ｚ　、　　Ｈ（ｘ）の代わりに、ヒストグ
ラムに矩形の幅を乗じた矩形占有関数Ｇ（ｙ）、Ｇ（ｘ
）を用いれば１文字図形領域の大きさごとの文書画像中
の占有面積にほぼ比例した値が求まり２文字列の傾きな
どを検出するのに適した文字図形領域を求めることがで
きる。第３図（ａ）は約５度傾いた文書画像データを示
し、第３図０））は第３図（ａ）に示す文書画像データ
において５例えば図示「株」１式、　　１．−、−ｒ工
、「ヌ、ｒ−」　ｒアＪ　「イ」の如く各塊を矩形で囲
った文字図形領域Ｍ９などの縮幅についてとったヒスト
グラムＨ（ｙ）とその矩形占有関数Ｇ（ｙ）とを示した
ものである。第３図（ｂ）から縦幅ＭＴ、、ＭＴ、、Ｍ
Ｔ、をもつ文字図形領域が多く存在することが判る。

次に文字図形列検出機構４では１選択された文字図形領
域Ｍｉ、あるいは元の文字図形領域Ｍ？の位置関係から
文字図形列検出、あるいは文字図形列領域検出の処理を
行なう、なお１文字図形列検出処理は横方向の処理と縦
方向の処理とが同一の処理なので、横方向（縦幅）の処
理について述べるが、縦方向の情報を使用するときには
記号の添字を区別することによって表記する。

第４図は文字図形列検出の様子を示すもので注目する文
字図形領域Ｍｉ（あるいはＭ？）が第り行目の文字図形
列に存在する場合を示しており。

文字図形列の抽出過程を示している。この図が示すよう
に、注目する文字図形領域Ｍ１　（あるいはＭ　？　）
を文書画像上の横方向に射影し、射影が重なる文字図形
領域の中で注目する文字図形領域に最も近い矩形を検出
し、右側に存在すればその文字図形領域をＭｌ−＋Ｃあ
るいはＭ？−＋）とし。

次に注目する文字図形領域をＭｌ。２（あるいはＭ？、
Ｚ）に移し、前記と同様にして右方向への射影をとり、
最も近い文字図形領域を検出する処理を繰り返す（以後
、この処理を伝播処理と呼ぶ）。

文字図形領域Ｍ＋（あるいはＭ’ｔ）の左側についても
右側と同様な伝播処理を繰り返す。このようにして、第
り行分の文字図形列を検出することができる。

次に１文字図形列処理機構５では （イ）（頃き検出の処理は、検出された文字図形列に対
して等しい特徴（縦幅、縦幅と横幅、黒画素の配置や変
化点、あるいは矩形パターンの識別結果など）を持つ文
字図形領域の傾き検出用特徴点（■文字図形領域の中心
点のアドレス、■底辺の中心点のアドレス、■上辺の中
心点のアドレスなど）同士を直線で結び、直線の傾きθ
？を文書の傾きと見なして検出する。傾きの求め方は同
−文字図形列において限定された区間内で最も距離が遠
く、かつ等しい特徴を持つ文字図形領域同士において傾
き検出用の特徴点を直線で結んだ傾きθＱや８第５図に
示すように同一文字列でありかつ等しい特徴を持つ文字
図形領域同士において。

傾き検出用の特徴点同士の傾きθ？を求め、その値の平
均値θ１の分散の小さいもの、あるいは傾き値のヒスト
グラムのピークの象、峻なものを求めその傾きを文書画
像の傾きθ、とみなして検出する　などが考えられる。

また２文字図形列のつながりを直線で表現したときに生
じる傾き検出用特徴点のばらつき（２乗誤差など）が最
小となる基準線を最小２乗近似によって求め、その基準
線の方向を文字図形列の並び方向すなわち文字図形列の
傾きθ、（θＸ）とすることもできる。

（ロ）文字図形列の並びを検出する処理は、複数方向（
例えば縦と横）で求めた文字図形列の傾きθアの分散や
、ヒストグラムのピークの急峻さを比較し１分散が小さ
い方あるいはピークの鋭い方を文字図形列の並び方向と
する。あるいは、注目する文字図形領域が形成する文字
列において、一定区間内における文字図形領域の出現数
を求め、出現数の大きい方を文字図形列の並び方向とす
ることもできる。

（＋１）　（［＋）項の処理で選択された文字列の傾き
、あるいは複数の文字列の（頃きの平均などを文書の傾
きθとみなして出力端子６に出力する。

第６図は、このようにして第３図（ａ）図示の文書画像
についての傾きを検出し、その傾き値を用いて、傾きを
補正した結果を示す。

制御部７は各処理機構において、どの処理を選択したの
かを、伝達する役割をする。

本発明は、上記のような処理を用いることによって１文
字列の多い文書画像だけでなく２文字列の少ない文書画
像に対しても精度よく、かつ高速にその傾きを求めるこ
とができるようになるので。

傾いた文書画像の高速、高精度の書式認識や１文書ファ
イリングにおける品質のよい画像の蓄積に効果を発渾す
る。

〔実施例２〕 第７図は実施例１において文字図形領域選択機構３を除
くとともに９文字図形列検出機構４の処理を第８図に示
すように文字図形列領域に限定したり、注目する文字図
形領域の予測を下記の方法で行うようにした実施例を示
している。すなわち文字図形列検出機構４は文字図形領
域Ｍ？（あるいはＭｔ　）の存在個数を第８図図示の如
く文書上の横方向に計数して射影関数Ｆ（ｙ）を求め、
Ｆ（ｙ）の最大値（掻大値）を文字図形列の中心位ＩＰ
、とし、Ｐ、±ｒ＊ＭＴ＋の区間を図示の如く「文字図
形列領域」とするもので５傾き検出の処理は注目する文
字図形領域Ｍ＋（Ｍ？）から一定距離だけ隔だてた一定
区間（δ＊ＭＴＬ　）内に存在する複数の対応文字図形
領域群とにおいて傾き検出用の特徴点同士を互いに直線
で結び、複数の傾きθ？を求め９傾きθ？のヒストグラ
ムを求め最も大きな値を検出して文書画像の傾き候補θ
ｈとする。

文書画像の傾きとしては特徴点の種別ごと（■文字図形
領域の中心点のアドレス、■底辺の中心点のアドレス、
■上辺の中心点のアドレスなど）の傾きの中からバラツ
キが最も小さいものを選んで文書画像の傾きθとする。

この方法においては処理の一部を省略、あるいは簡略化
しているので処理の高速化、処理規模の小形化が可能に
なるなどの効果がある。また、黒画素の塊の射影に重な
りがないような文字図形列においても、その傾きを検出
することができる。

〔実施例３〕 第９図は実施例１の文字図形側処理機構５の処理におい
て文字図形列検出を同−文字図形列検出検出に発展させ
た手法を説明する図である。なお図中に示した＊印は「
０」あるいは「１」のいずれかである。すなわち、注目
する文字図形領域Ｍ（（あるいはＭ　？　）から文字図
形列を求める処理までは同じ処理を行ない、傾きθ？を
求める際に方向別の傾きを求めて処理するものである。

たとえば、傾きθ？を求める際に右側（前）方向と左側
（後）方向との傾きを角度で第１０図に示すように別々
に求めて表にし、　（１）注目文字図形領域Ｍ：　（あ
るいはＭ　？　）から右側方向の傾きＲθ？と左側方向
の傾きＬθ？とがθＴＨ，以上差があり、（ｉｉ）注目
文字図形領域の左側方向の傾き予測しθ？とその注目文
字図形領域の右側に隣接する文字図形領域Ｍｔ−１（あ
るいはＭ？−１）の右側方向の傾き予測がＲθ？、Ｉと
かθＴＨ，以下であればＭｔ（あるいはＭ？）とＭｌ、
１（あるいはＭ？、ｌ）の間で文字列が区切れているも
のと見なすことができる。

この方法は文字図形列置間を検出して文書画像の傾きを
求めることから段組みや文字・図表・写真の混在によっ
て文字図形列がずれた場合や大小文字の混在によって文
字図形列の中心や文字図形列幅が変動した場合でも精度
よく文書の傾きを検出することができる。さらに、連続
した線分に本方法を適用すれば直線と曲線との区別がで
きる。

このように本方法を従来の文書構造認識に加えることに
より、より精度の高い文書構造認識が可能となる。

［実施例４〕 第１１図及び第１２図は２周辺分布を文字図形列の検出
と傾き検出とに適用した方法を説明する図である。まず
１文書を高さｈのたんざく状の領域に分割しく第１１図
（ａ））、各々の周辺分布を黒画素の上下方向の投影に
よって求める（第１１図（ｂ）図示の半円状の塊は投影
を表している）。入力画像が多値の場合には、そのまま
画素濃度を累積すればよし・。次に２周辺分布の値が一
定の値ε以上、また幅がζ以上となる区間（第１１図（
ｂ）図示のｘ１〜Ｘ２）を検出し、それの投影成分とす
る。

ここで、ε及びこの値は除去すべき雑音の大きさに基づ
いて設定すればよい。この投影成分は文字列の位置をそ
のまま反映していると考えることができる。また２文書
中に図表などが含まれている場合には１図表の大きさが
文書中の文字の大きさよりも大きいことを利用して、投
影成分の幅が一定値η以下のものを文字列による投影成
分とじて選択してくればよい。ηの値は文字列幅に基づ
いて設定する必要がある。この値はパラメータとして予
め設定してもよいし、あるいは文書中の文字図形の個数
が多い場合には投影成分の幅のヒストグラムを求め、そ
の代表値を基に設定してもよい。

第１２図は第１１図に示した方法で求めた各投影成分に
ついてのクラスタリングを行い１文字図形列ごとに異な
ったラベルを割り付けるための過程を示したものである
。まず、第１２図において上下方向に見たときにお互い
に重なり合う各投影成分に同一のラベル■を付与する（
第１２図（ａ）ステップ１）。次に、同じ番号のラベル
を付与したものの中で、上下方向に見たときに重なりの
程度が少ないものには異なったラベル■を付与する（第
１２図イ）、ステップ２）。ここで同一のラベルを付与
された投影成分をそれぞれ文字図形列の候補とし、その
方向を求める。文字図形列の方向は、投影成分の中点付
近を通過する直線を最小２乗近似によって求めてもよい
し、あるいは隣接する投影成分間の方向を全ての投影成
分について求め　全体の平均を求めるなどの方法を用い
ることによって求めてもよい。また、実施例１の文字図
形列処理機構で述べた方法をとってもよい。同一のラベ
ルが付与された文字図形開会てに対してこの処理を行い
２文字図形列全体の方向の平均をとって文書の傾きを求
めることができる。次に、ステップ２で求めた傾きをも
とに、連続する投影成分の位置を予測し、その予測位置
から大きくはずれるものに新たなラベル■を付与する（
第１２図（Ｃ）、ステップ３）。ステップ２で述べたと
同様の処理によって文字図形列の方向を求め、ステップ
２で得られたよりもさらに正確な文書の傾きを求める。

この処理によって１段ごとに位置の異なる文字列が存在
しても文書の傾きの検出は可能になる。ここで、同じラ
ベルを付与された投影成分はそのまま個々の文字列を反
映したものになっている。従って１文書の傾きの検出と
同時に２文書中の文字列の抽出もできたことになる。

以上述べたように、入力した文書の領域をたんざく状に
分割し、その各領域の中で求めた周辺分布を用いること
によって１図表が含まれたものや。

段ごとに文字列の位置が異なる文書に対しても傾きの検
出や９文字列の抽出が可能になる。なお。

ステップ１からステップ３に至る処理は必ずしも全てを
行う必要はなく１文書によってその一部分を省略するこ
とが可能である。また、ここでは文字列の方向が縦の場
合を例にとって説明したが文字列の方向が横の場合でも
全く同様の処理が可能であることは言うまでもない。

第１３図は第１図図示構成図における要部についてのフ
ローチャートを示している。

処理■において外接矩形が検出され、処理■においてヒ
ストグラムが算出され、処理■において極大値が算出さ
れ、処理■において第３図（ｂ）図示の如（極大値Ｍ　
Ｔ　１．　Ｍ　Ｔ　ｔ−−−−−が検出され、処理■に
おいて傾きが検出され、処理■において傾きの判定が行
われ、処理■において文書画像についての（頃きが検出
される。

第１４図は第１１図および第１２図に示した実施例に対
応する要部フローチャートを示している。

処理■、■までにおいて第１１図（ａ）図示の如くたん
ざく状の領域に分割する。処理０．■までにおいて第１
１図（ｂ１図示の如く投影を得る。処理＠において第１
２図（ａ）図示の処理を行い、処理■において第１２図
（ｂ）の如くラベル付けを行う。処理［株］において平
均によって文書の仮の傾きを得る。

処理■において第１２図（Ｃ）の如くラベル付けを行う
。処理■において文書の傾きを得る。処理■において結
果が出力される。

（５）発明の詳細 な説明したように１本発明によれば文書画像の文字図形
列５文字図形列の並び方向（縦書方向や横方向）、同−
文字図形列置間、および文字図形列の傾きを高速に、し
かも精度よく検出できるから１文書画像の傾き補正や１
文書認識における文字図形列置式の認識１文字認識にお
ける文字図形列置間を用いた文字種識別などに効果があ
る。

【図面の簡単な説明】

第１図は本発明の処理方法を説明する構成図第２図は文
字図形領域の抽出手法の異なりを示す文字図形領域概念
図、第３図（ａ）（ｂ）は傾いた文書画像（ａ）とその
ヒストグラム及び矩形占有関数を示す図ｂ）、第４図は
文字図形列検出の概念図、第５図は傾き検出の概念図、
第６図は第３図（ａ）に示した文書画像の傾き補正結果
を示す図、第７図は本発明を簡易化した構成図、第８図
は文字図形列領域検出の概念図、第９図は同−文字図形
列検出検出の概念図、第１０図は方向別の傾き検出結果
図。 第１１図は周辺分布を用いて投影成分を求める方法を示
す図、第１２図は投影成分のラベリングによる文字図形
列の検出とその傾き検出の原理を示す図、第１３図は第
１図図示構成図における要部についてのフローチャート
、第１４図は第１１図および第１２図に示した実施例に
対応する要部フローチャートを示す。 図中において。 １は入力端子 は文字図形領域検出機構。 は文字図形領域選択機構。 は文字図形列検出機構。 は文字図形列処理機構。 は出力端子。 は制御部である。

Claims (4)

【特許請求の範囲】
1. （１）画像入力部から入力された文書画像データに対し
   、文書の傾きを検出・補正して取込む文書画像処理装置
   において、 文書画像上の黒画素の塊についてあるいは黒画素の塊を
   強制的に分割して得られる部分的な塊についての外接矩
   形の位置や大きさ、または黒画素を射影して得られる周
   辺分布を特徴として文字図形の領域を求める文字図形領
   域検出機構と、文字図形領域の大きさとその出現頻度、
   あるいは文字図形領域内の特徴やパターン識別結果から
   傾き検出に用いる文字図形領域を選択する文字図形領域
   選択機構と、 選択された文字図形領域、あるいは全ての文字図形領域
   を用いて、その近傍に存在する文字図形領域との重なり
   具合やその位置関係から文字図形の並びを検出する文字
   図形列検出機構と、 各文字図形列を構成する文字図形領域相互の位置関係か
   ら文字図形列の傾きを検出する文字図形列処理機構とを
   有し、 上記文字図形領域相互の位置関係を調べて文字図形列の
   傾きを検出するようにした ことを特徴とする文書画像処理方法。
2. （２）文字図形領域選択機構を除去し、かつ文字図形列
   検出機構において、処理の対象とする文字図形列領域を
   限定し、傾き検出処理を単純化したことを特徴とする請
   求項（１）記載の文書画像処理方法。
3. （３）文字図形列処理機構において、ある特定の文字図
   形領域を開始点として文字図形領域間の傾きを複数の方
   向に対して求め、注目する文字図形領域とその他の文字
   図形領域との方向別の傾きの変化、および文字図形列の
   基準線からのずれの変化を検出することによって、同一
   の文字図形列区間を検出することを特徴とする請求項（
   １）記載の文書画像処理方法。
4. （４）文字図形領域検出機構において、入力した文書画
   像を小領域に分割して領域ごとの周辺分布を求め、文字
   図形領域選択機構において該文字図形領域検出機構によ
   って得られた周辺分布の中で文字列に対応する部分を選
   択し、文字図形列検出機構において該文字図形領域選択
   機構で選択した周辺分布の位置の重なり具合いをもとに
   文字図形列を抽出し、文字図形列処理機構において該文
   字図形列検出機構によって得られた文字図形列の傾きを
   もとに文書全体の傾きあるいは文書の方向を求めること
   を特徴とした請求項（１）記載の文書画像処理方法。