JPH07105310A - 画像傾き検出方法及び表処理方法 - Google Patents

Abstract

(57)【要約】 【目的】 罫線を含む画像の傾きを検出する。傾いた画
像上の表中の文字を正確に認識する。 【構成】 黒ラン統合部９０３で入力画像（９０２）上
の主、副走査方向の長い黒ランを抽出し、矩形統合部９
０５で所定距離内の黒ランを矩形に統合する。罫線矩形
抽出部４０７で、所定距離内の矩形を統合して罫線矩形
を抽出する。傾き検出部４０９は、矩形統合部４０５で
統合される黒ランのペアの始点、終点座標の比較、及び
罫線矩形抽出部４０７で統合される矩形のペアの始点、
終点の座標の比較によって、入力画像の傾き方向を判定
する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、イメージスキャナ等の
画像入力機器によって入力した文書もしくは帳票（これ
らを本明細書では文書類と総称する）の画像の処理に係
り、特に、罫線を含む文書類の画像の傾きの検出及び画
像中の表領域の処理に関する。

【０００２】

【従来の技術】文字認識装置において文書類の画像を処
理する場合、入力された画像が傾いていると認識率等に
悪い影響がある。複写機やファクシミリ装置、スキャナ
等の画像入力装置一般においても、入力画像の傾きは好
ましくない。

【０００３】入力した文書画像の傾きを検出する方法と
して、文書画像より文字塊ブロックを抽出し、文字塊ブ
ロック間の配置関係や中心等の特徴から、傾きを求める
方法が知られている（特開平３−６２２８４号）。

【０００４】

【発明が解決しようとする課題】しかし、特開平３−６
２２８４号の方法は、文字塊を抽出できること、つまり
入力画像中に文字が存在することが前提である。このた
め、罫線のフォーマットデータのみからなる画像の傾き
を検出することができない。

【０００５】よって本発明の目的は、罫線を含む入力画
像の傾きを、それに文字が含まれているか否かを問わず
に、検出することができる画像傾き検出方法を提供する
ことにある。本発明のもう一つの目的は、傾いて入力さ
れた画像上の表中の文字を正確に認識できる表処理方法
を提供することにある。

【０００６】

【課題を解決するための手段】上記目的を達成するため
に、請求項１の発明は、入力画像上の一定値以上の長さ
の黒ランを抽出し、抽出した黒ランで予め定められた距
離内にある黒ランを、それら全てを包含する矩形に統合
し、この黒ランの統合の際に統合される黒ランの相互の
位置関係によって入力画像の傾きの方向を判定すること
を特徴とするものである。

【０００７】請求項２の発明は、入力画像上の一定値以
上の長さの黒ランを抽出し、抽出した黒ランで予め定め
られた距離内にある黒ランを、それら全てを包含する矩
形に統合し、黒ランを統合した矩形で予め定められた距
離内にあるものを、それら全てを包含する罫線矩形に統
合し、前記矩形の統合の際に統合される矩形の相互の位
置関係によって、入力画像の傾きの方向を判定すること
を特徴とするものである。

【０００８】請求項３の発明は、入力画像上の一定値以
上の長さの黒ランを抽出し、抽出した黒ランで予め定め
られた距離内にある黒ランを、それら全てを包含する矩
形に統合し、黒ランを統合した矩形で予め定められた距
離内にあるものを、それら全てを包含する罫線矩形に統
合し、前記黒ランの統合の際に統合される黒ランの相互
の位置関係、及び、前記矩形の統合の際に統合される矩
形の相互の位置関係によって、入力画像の傾きの方向を
判定することを特徴とするものである。

【０００９】請求項４の発明は、請求項１または３の発
明の方法において、統合される黒ランの始点及び終点の
座標の大小比較によって傾き方向を判定することを特徴
とするものである。

【００１０】請求項５の発明は、請求項２または３の発
明の方法において、統合される矩形の始点及び終点の座
標の大小比較によって傾きの方向を判定することを特徴
とするものである。

【００１１】請求項６の発明は、請求項１，３または４
の発明の方法において、統合される黒ランの複数ペアに
ついて、各ペア毎に傾き方向の判定を行ない、傾きの方
向毎にその判定回数を計数し、計数した判定回数の多い
ほうの傾きの方向を黒ランによる傾き方向の判定結果と
することを特徴とするものである。

【００１２】請求項７の発明は、請求項６の発明の方法
において、傾きの判定を、最も長い一つの矩形の範囲に
関して行なうことを特徴とするものである。

【００１３】請求項８の発明は、請求項２，３または５
の発明の方法において、統合される矩形の複数ペアにつ
いて、各ペア毎に傾き方向の判定を行ない、傾きの方向
毎にその判定回数を計数し、計数した判定回数の多いほ
うの傾きの方向を矩形による傾き方向の判定結果とする
ことを特徴とするものである。

【００１４】請求項９の発明は、請求項８の発明の方法
において、傾きの判定を、最も長い一つの罫線矩形の範
囲に関して行なうことを特徴とするものである。

【００１５】請求項１０の発明は、請求項２または３の
発明の方法において、罫線矩形の内部の黒画素数を該罫
線矩形の長手方向のサイズで除した値を、該罫線矩形の
短手方向のサイズより減算し、該減算後のサイズと該罫
線矩形の長手方向のサイズとから、入力画像の傾き角度
を求めることを特徴とするものである。

【００１６】請求項１１の発明は、請求項１の発明の方
法において、矩形の内部の黒画素数を該矩形の長手方向
のサイズで除した値を、該矩形の短手方向のサイズより
減算し、該減算後のサイズと該矩形の長手方向のサイズ
とから、入力画像の傾き角度を求めることを特徴とする
ものである。

【００１７】請求項１２の発明は、入力画像の傾きの方
向を請求項１乃至９のいずれか１項の発明の方法によっ
て検出するとともに、該入力画像の傾きの角度を請求項
１０または１１の発明の方法によって検出し、該検出し
た傾きの方向及び角度に基づいて該入力画像の傾きを補
正した画像を作成し、該傾き補正画像より罫線の矩形を
抽出し、該抽出した罫線の矩形の座標より表の枠を認識
し、該認識した枠の内部の文字画像を該傾き補正画像よ
り切り出して文字認識をすることを特徴とするものであ
る。

【００１８】

【作用】請求項１乃至１１の各項の発明の方法によれ
ば、入力画像上の罫線を基準として、画像の傾き方向を
検出でき、さらに請求項１０または１１の発明の方法に
よれば、入力画像の傾きの角度も検出できる。このよう
に、入力画像上に罫線が存在すれば、入力画像の傾きを
的確に検出することができるため、例えば、文字が存在
しない表のみの帳票等でも、その画像の傾き検出が可能
となる。

【００１９】請求項１または２の発明の方法は、黒ラン
の統合の際に統合される黒ランの位置関係、または黒ラ
ンの統合矩形の統合の際に統合される矩形の位置関係に
基づいて画像の傾きを検出するが、黒ランの矩形統合
や、その矩形の統合処理は表処理で一般に必要な処理ス
テップであるため、表処理に適用するのに無駄のない合
理的な方法である。

【００２０】請求項３の発明の方法によれば、罫線を構
成する黒ランの位置関係に加えて、罫線を構成する黒ラ
ンの統合矩形の位置関係を利用して、傾き方向判定に利
用する。したがって、黒ランの位置関係のみを利用した
方法に比べ、より正確な傾き方向検出が可能である。

【００２１】請求項４または５の発明の方法によれば、
黒ランまたは矩形の始点及び終点の座標の大小関係に基
づき、極めて単純なルールで傾き方向を判定することが
できる。

【００２２】請求項６または８の発明の方法によれば、
罫線を構成する黒ランまたは黒ラン統合矩形の複数のペ
アの位置関係に基づいて傾き方向を判定するため、ノイ
ズによる影響などを回避し、安定確実に傾き方向を検出
できる。

【００２３】請求項７または９の発明によれば、入力画
像上の最も長い罫線を基準として傾き方向を判定するこ
とになるため、正確な判定結果を得られる。また、一つ
の罫線の範囲のみに着目するので、全ての罫線を対象す
る場合に比べ処理の負担を軽減できる。

【００２４】請求項１０または１１の発明の方法によれ
ば、入力画像の傾きによる黒ラン統合矩形またはその統
合矩形の太りを考慮して、入力画像の傾き角度を精度よ
く検出することができる。

【００２５】請求項１２の発明によれば、入力画像の傾
きを検出して、入力画像の傾きを補正してから罫線を抽
出して表の枠を認識し、枠内の文字画像を傾き補正画像
から切り出すので、傾いて入力された画像上の表中の文
字を正確に認識することができる。

【００２６】

【実施例】以下、本発明の実施例について図面を用い説
明する。

【００２７】＜実施例１＞図１は、本実施例を説明する
ためのブロック図である。図１において、２値画像入力
部（イメージスキャナ等）１０１によって、罫線を含む
文書類の画像が読み取られ２値イメージデータとして入
力される。入力画像の２値イメージデータは、２値イメ
ージメモリ１０２に格納される。

【００２８】黒ラン抽出部１０３は、２値イメージメモ
リ１０２内の２値イメージデータをスキャンし、主走査
方向または副走査方向に一定値以上の長さを持つ黒ラン
を抽出する。そして、抽出した黒ランのデータ（始点、
終点の座標）を黒ランメモリ１０４に格納する。

【００２９】矩形統合部１０５において、黒ランメモリ
１０４内の黒ランデータを参照し、主走査方向または副
走査方向に長い黒ランに対して、予め定められた距離の
範囲内にある黒ランを、それらを全て包含する矩形に統
合する処理を行ない、黒ランの統合矩形のデータ（頂点
座標等）を矩形メモリ１０６に格納する。また、統合す
る１対の黒ランのデータ（始点、終点の座標）を矩形メ
モリ１０６の特定領域へ格納する。

【００３０】傾き検出部１０７は、矩形統合部による黒
ランの統合処理中に、統合される黒ランのペアのデータ
を矩形メモリ１０６内の特定領域より受け取って、統合
される黒ランのペアの相互の位置関係を調べることによ
って、２値画像入力部１０１に対する相対的な入力画像
の傾きの方向を判定する。この傾き方向の判定方法の例
を次に示す。

【００３１】（例１）主走査方向罫線に着目した方法 主走査方向の黒ランの統合の際に、図２に示すように、
統合される主走査方向の長い２本の黒ランＬＨ１，ＬＨ
２の始点または終点のＸ座標を比較する。図２（ａ）に
示すように、上側の黒ランＬＨ１の始点のＸ座標（ｘs
1）と下側の黒ランＬＨ２の始点のＸ座標（ｘs2）との
関係が ｘs1＜ｘs2 ならば「右下がり」と判定し、また
図２（ｂ）に示すように 黒ランＬＨ１の終点のＸ座標
（ｘe1）と黒ランＬＨ２の終点のＸ座標（ｘe2）が ｘe
1＞ｘe2 ならば「右上がり」と判定する。そのいずれで
もない場合には、傾きなしと判定する。

【００３２】なお、この判定を、統合される黒ランの複
数ペアについて行ない、例えば、各ペアの判定結果の多
数決により最終的な判定結果を決めてもよい。あるい
は、右下がり、右上がりのそれぞれの判定回数をカウン
トし、所定値に先に到達した傾き方向を最終的な判定結
果としてもよい。

【００３３】（例２）副走査方向罫線に着目した方法 副走査方向の黒ランの統合の際に、図３に示すように、
統合される副走査方向の長い２本の黒ランＬＶ１，ＬＶ
２の始点または終点のＹ座標を比較する。図３（ａ）に
示すように、右側の黒ランＬＶ１の始点のＹ座標（Ｙs
1）と下側の黒ランＬＶ２の始点のＹ座標（Ｙs2）との
関係が Ｙs1＜Ｙs2 ならば「右下がり」と判定し、また
図３（ｂ）に示すように、黒ランＬＶ１の終点のＹ座標
（Ｙe1）と黒ランＬＶ２の終点のＹ座標（Ｙe2）が、
Ｙe1＞Ｙe2 ならば「右上がり」と判定する。そのいず
れでもない場合には、傾きなしと判定する。

【００３４】なお、この判定を、統合される黒ランの複
数ペアについて行ない、例えば、各ペアの判定結果の多
数決により最終的な判定結果を決めてもよい。あるい
は、右下がり、右上がりのそれぞれの判定回数をカウン
トし、所定値に先に到達した傾き方向を最終的な判定結
果としてもよい。

【００３５】また、主走査方向の黒ランの統合矩形と副
走査方向の黒ランの統合矩形の両方が得られる場合に、
主、副各走査方向の黒ランによる傾き判定の結果が一致
した場合に判定結果を有効とし、不一致の場合に判定不
能とする等の方法を採ることもできる。あるいは、主、
副走査各方向の判定結果の確からしさを求めておき、各
方向の判定結果が不一致のときには、確からしさの高い
方の判定結果を最終判定結果とする等の方法をとること
ができる。

【００３６】＜実施例２＞図４は、本実施例を説明する
ためのブロック図である。図４において、２値画像入力
部（イメージスキャナ等）４０１によって、罫線を含む
文書類の画像が読み取られ２値イメージデータとして２
値イメージメモリ４０２に格納される。

【００３７】黒ラン抽出部４０３は、２値イメージメモ
リ４０２内の２値イメージデータをスキャンし、主走査
方向または副走査方向に一定値以上の長さを持つ黒ラン
を抽出する。そして、抽出した黒ランのデータ（始点、
終点の座標）を黒ランメモリ４０４に格納する。

【００３８】矩形統合部４０５において、黒ランメモリ
４０４内の黒ランデータを参照し、主走査方向または副
走査方向に長い黒ランに対して、予め定められた距離の
範囲内にある黒ランを、それらを全て包含する矩形に統
合する処理を行ない、黒ランの統合矩形のデータ（頂点
座標等）を矩形メモリ４０６に格納する。

【００３９】このような主、副各走査方向の黒ランの統
合処理によって、罫線を構成する黒ランの殆どを統合す
ることができる。しかし、イメージスキャナ等で入力し
た文書類の画像では、罫線の交差、罫線のかすれ等によ
って、罫線の切れが生じることが少なからずある。

【００４０】このような切れを補正して本来の罫線を抽
出するため、罫線矩形抽出部４０７において、矩形メモ
リ４０６内の主走査方向黒ランの統合矩形及び副走査方
向黒ランの統合矩形のそれぞれに対して、罫線矩形統合
を行なう。すなわち、主走査方向の長い黒ランの統合矩
形について、予め定められた距離の範囲内にある矩形
を、それら全て包含する矩形（主走査方向罫線矩形）に
統合する。同様に、副走査方向に長い黒ランの統合矩形
について、予め定められた距離の範囲内にある矩形を、
それら全てを包含する矩形（副走査方向罫線矩形）に統
合する。そして、抽出した罫線矩形のデータ（頂点座標
等）を罫線矩形メモリ４０８に格納する。また、統合す
る矩形のデータ（頂点座標等）を、罫線矩形メモリ４０
８の特定領域に格納する。

【００４１】傾き検出部４０９において、矩形統合部４
０４及び罫線矩抽出部４０７の統合処理の際に、黒ラン
メモリ４０４内のデータ及び罫線矩形メモリ４０８内の
特定領域のデータを参照し、統合された黒ランのペアの
位置関係及び統合された矩形のペアの位置関係を調べる
ことによって、２値画像入力部４０１に対する相対的な
入力画像の傾きの方向を判定する。この傾き方向の判定
方法の例を次に示す。

【００４２】（例１）主走査方向罫線に着目した方法 主走査方向の長い黒ランの矩形統合の際、統合される黒
ランのペアについて、前記実施例１におけると同様に、
上側の黒ランの始点または終点のＸ座標と下側の黒ラン
の始点または終点のＸ座標との大小関係により、傾きの
方向を判定する（図２参照）。

【００４３】また、主走査方向の罫線矩形統合の際に、
図５に示すように、統合される１対の矩形（黒ランの統
合矩形）ＲＨ１，ＲＨ２それぞれの始点または終点のＸ
座標の大小関係により、傾きの方向を判定する。上側の
矩形ＲＨ１の始点（左上頂点）のＸ座標（Ｘｓ１）と下
側の矩形ＲＨ２の始点のＸ座標（Ｘｓ２）が、図５
（ａ）に示すように、Ｘｓ１＜Ｘｓ２の関係のときに
は、傾きの方向を「右下がり」と判定する。また、図５
（ｂ）に示すように、矩形ＲＨ１の終点（右下頂点）の
Ｘ座標（ｘe1）と矩形ＲＨ２の終点のＸ座標（ｘe2）
が、Ｘｅ１＞Ｘｅ２の関係のときには、傾きの方向を
「右上がり」と判定する。以上のいずれの関係でもない
ときには、傾きなしと判定する。

【００４４】そして、黒ランによる判定結果と、矩形に
よる判定結果とが一致した場合に、その判定結果を最終
的な判定結果とする。

【００４５】なお、矩形による判定を統合される矩形の
複数ペアについて行ない、例えば、各ペアの判定結果の
多数決を判定結果としてもよい。あるいは、右下がり、
右上がりのそれぞれの判定回数をカウントし、所定値に
先に到達した傾き方向を判定結果としてもよい。

【００４６】（例２）副走査方向罫線に着目した方法 副走査方向の長い黒ランの矩形統合の際、統合される黒
ランのペアについて、前記実施例１におけると同様に、
右側の黒ランの始点のＹ座標と左側の黒ランの始点のＹ
座標との大小関係により、傾きの方向を判定する（図３
参照）。

【００４７】また、副走査方向の罫線矩形統合の際に、
図６に示すように、統合される１対の矩形（黒ランの統
合矩形）ＲＶ１，ＲＶ２それぞれの始点または終点のＹ
座標の大小関係により、傾きの方向を判定する。右側の
矩形ＲＶ１の始点（右上頂点）のＹ座標（Ｙｓ１）と左
側の矩形ＲＶ２の始点のＹ座標（Ｙｓ２）が、図６
（ａ）に示すように、Ｙｓ１＜Ｙｓ２の関係のときに
は、傾きの方向を「右下がり」と判定する。また、図６
（ｂ）に示すように、矩形ＲＶ１の終点（左下頂点）の
Ｙ座標（Ｙe1）と矩形ＲＶ２の終点のＹ座標（Ｙe2）
が、Ｙｅ１＞Ｙｅ２の関係のときには、傾きの方向を
「右上がり」と判定する。以上のいずれの関係でもない
ときには、傾きなしと判定する。

【００４８】そして、黒ランによる判定結果と、矩形に
よる判定結果とが一致した場合に、その判定結果を最終
的な判定結果とする。

【００４９】なお、矩形による判定を統合される矩形の
複数ペアについて行ない、例えば、各ペアの判定結果の
多数決を判定結果としてもよい。あるいは、右下がり、
右上がりのそれぞれの判定回数をカウントし、所定値に
先に到達した傾き方向を判定結果としてもよい。

【００５０】また、主走査方向罫線と副走査方向罫線の
両方が得られる場合に、主、副各走査方向の罫線に着目
した傾き判定の結果が一致した場合に判定結果を有効と
し、不一致の場合に判定不能とする等の方法を採ること
もできる。あるいは、主、副走査各方向の判定結果の確
からしさを求めておき、各方向の判定結果が不一致のと
きには、確からしさの高い方の判定結果を最終判定結果
とする等の方法をとることもできる。

【００５１】＜実施例３＞図７は、本実施例を説明する
ためのブロック図である。図７において、２値画像入力
部（イメージスキャナ等）７０１によって、罫線を含む
文書類の画像が読み取られ２値イメージデータとして入
力される。入力画像の２値イメージデータは、２値イメ
ージメモリ７０２に格納される。

【００５２】黒ラン抽出部７０３は、２値イメージメモ
リ７０２内の２値イメージデータをスキャンし、主走査
方向または副走査方向に一定値以上の長さを持つ黒ラン
を抽出する。そして、抽出した黒ランのデータ（始点、
終点の座標）を黒ランメモリ７０４に格納する。

【００５３】矩形統合部７０５において、黒ランメモリ
７０４内の黒ランデータを参照し、主走査方向または副
走査方向に長い黒ランに対して、予め定められた距離の
範囲内にある黒ランを、それらを全て包含する矩形に統
合する処理を行ない、黒ランの統合矩形のデータ（頂点
座標等）を矩形メモリ７０６に格納する。また、統合す
る１対の黒ランのデータ（始点、終点の座標）を矩形メ
モリ７０６の特定領域へ格納する。

【００５４】傾き条件判定部部７０８は、矩形メモリ７
０６内の矩形のデータを参照し、主走査方向及び副走査
方向の統合矩形中で最も長い矩形を抽出する。その矩形
を、本実施例では、最も精度の高い罫線、あるいは文書
類上の表を代表する罫線とみなして、以下に述べるよう
な方法で傾きを判定する。

【００５５】まず、最も長い矩形として抽出したの範囲
内について、黒ラン抽出部７０３で黒ラン抽出を再度実
行し、ここで抽出された黒ランについて矩形統合部７０
５で矩形統合を実行する。

【００５６】この矩形統合処理中に、傾き条件判定部７
０８において、矩形メモリ７０６の特定領域より統合さ
れる黒ランのペアのデータを読み込み、傾き条件に関す
る判定を行なう。この判定条件の例を次に示す。

【００５７】（１）注目している矩形が主走査方向の黒
ランの統合矩形（主走査方向罫線）の場合 図２に示すように、統合される黒ランＬＨ１，ＬＨ２の
始点または終点のＸ座標を比較する。図２（ａ）に示す
ように、上側の黒ランＬＨ１の始点のＸ座標（ｘs1）と
下側の黒ランＬＨ２の始点のＸ座標（ｘs2）との関係が
ｘs1＜ｘs2ならば「右下がり」の条件に合致すると判
定する。また、図２（ｂ）に示すように、黒ランＬＨ
１，ＬＨ２の終点のＸ座標（ｘe1，ｘe2）が、 ｘe1＞
ｘe2 ならば「右上がり」の条件に合致すると判定す
る。

【００５８】（２）注目している矩形が副走査方向の黒
ランの統合矩形（副走査方向罫線）の場合 図３に示すように、統合される黒ランＬＶ１，ＬＶ２の
始点または終点のＹ座標を比較する。図３（ａ）に示す
ように、右側の黒ランＬＶ１の始点のＹ座標（Ｙs1）と
下側の黒ランＬＶ２の始点のＹ座標（Ｙs2）との関係が
Ｙs1＜Ｙs2ならば「右下がり」の条件に合致すると判
定する。また、それぞれの終点のＹ座標（Ｙe1，Ｙe2）
が、図３（ｂ）に示すように、 Ｙe1＞Ｙe2 ならば「右
上がり」の条件に合致すると判定する。

【００５９】そして、傾き条件判定部７０８は、「右上
がり」条件に合致したときには条件合致回数メモリ７０
９（初期値は０）の値を１だけ増加させ、「右下がり」
条件に合致したときは条件合致回数メモリ７０９の値を
１だけ減少させる。いずれの条件にも合致しない場合に
は、条件合致回数メモリ７０９の値を更新しない。

【００６０】注目した矩形に関する上記の判定が完了す
ると、傾き検出部７１０において、条件合致回数メモリ
７０９の値が正値で、絶対値が３を超えるときは、傾き
方向を「右上がり」と判定する。傾き条件合致回数メモ
リ７０９の値が負値で、絶対値が３を超えるときには、
傾き方向を「右下がり」と判定する。また、その値が±
３の範囲内のときは、「傾きなし」と判定する。なお、
±３の範囲内で「傾きなし」としたのは、入力画像上の
ノイズの影響を考慮したものである。

【００６１】＜実施例４＞図８は、本実施例を説明する
ためのブロック図である。図８において、２値画像入力
部（イメージスキャナ等）８０１によって、罫線を含む
文書類の画像が読み取られ、その２値イメージデータが
２値イメージメモリ８０２に格納される。

【００６２】黒ラン抽出部８０３は、２値イメージメモ
リ８０２内の２値イメージデータをスキャンし、主走査
方向または副走査方向に一定値以上の長さを持つ黒ラン
を抽出し、抽出した黒ランのデータ（始点、終点の座
標）を黒ランメモリ８０４に格納する。

【００６３】矩形統合部８０５において、黒ランメモリ
８０４内の黒ランデータを参照し、主走査方向または副
走査方向に長い黒ランに対して、予め定められた距離の
範囲内にある黒ランを、それらを全て包含する矩形に統
合する処理を行ない、黒ランの統合矩形のデータ（頂点
座標等）を矩形メモリ８０６に格納する。罫線矩形抽出
部８０７において、矩形メモリ８０６内の矩形データを
参照し、主走査方向の長い黒ランの統合矩形について、
予め定められた距離の範囲内にある矩形を、それら全て
包含する矩形（主走査方向罫線矩形）に統合する。同様
に、副走査方向に長い黒ランの統合矩形について、予め
定められた距離の範囲内にある矩形を、それら全てを包
含する矩形（副走査方向罫線矩形）に統合する。そし
て、抽出した罫線矩形のデータ（頂点座標等）を罫線矩
形メモリ８０８に格納する。

【００６４】傾き条件判定部部８０９は、罫線矩形メモ
リ７０６内のデータを参照し、主走査方向及び副走査方
向の罫線矩形中で最も長い矩形を抽出する。その矩形
を、本実施例では、最も精度の高い罫線、あるいは文書
類上の表を代表する罫線とみなして、以下に述べるよう
な方法で傾きを判定する。

【００６５】まず、抽出した最も長い罫線矩形の範囲内
について、黒ラン抽出部８０３で黒ラン抽出を再度実行
し、ここで抽出された黒ランについて矩形統合部８０５
で矩形統合を実行し、その矩形の統合を罫線矩形抽出部
８０７で実行する。

【００６６】矩形統合部８０５による黒ランの統合処理
中に、傾き条件判定部８０９は、統合される黒ランのペ
アについて傾き条件に関する判定を行なう。この判定条
件の例を次に示す。

【００６７】（１）主走査方向の罫線矩形が処理の対象
であるとき 図２に示すように、統合される黒ランＬＨ１，ＬＨ２の
始点または終点のＸ座標を比較する。図２（ａ）に示す
ように、上側の黒ランＬＨ１の始点のＸ座標（ｘs1）と
下側の黒ランＬＨ２の始点のＸ座標（ｘs2）との関係が
ｘs1＜ｘｓ２ならば「右下がり」の条件に合致すると
判定する。また、図２（ｂ）に示すように、それぞれの
終点のＸ座標（Ｘｅ１，Ｘe2）が、 ｘe1＞ｘe2 ならば
「右上がり」の条件に合致すると判定する。

【００６８】（２）副走査方向の罫線矩形が処理の対象
であるとき 図３に示すように、統合される黒ランＬＶ１，ＬＶ２の
始点または終点のＹ座標を比較する。図３（ａ）に示す
ように、右側の黒ランＬＶ１の始点のＹ座標（Ｙs1）と
下側の黒ランＬＶ２の始点のＹ座標（Ｙs2）との関係が
Ｙs1＜Ｙs2ならば「右下がり」の条件に合致すると判
定する。また、図３（ｂ）に示すように、それぞれの終
点のＹ座標（Ｙe1，Ｙe2）が、 Ｙe1＞Ｙe2 ならば「右
上がり」の条件に合致すると判定する。

【００６９】そして、傾き条件判定部８０９は、統合さ
れる黒ランのペアが「右上がり」条件に合致したときに
は条件合致回数メモリ８１０（初期値は０）の値を１だ
け増加させ、「右下がり」条件に合致したときは条件合
致回数メモリ８１０の値を１だけ減少させる。いずれの
条件にも合致しない場合には、条件合致回数メモリ８１
０の値を更新しない。

【００７０】また、罫線矩形抽出部８０７による罫線統
合処理中に、傾き条件判定部８０９は、統合される矩形
のペアについて傾き条件に関する判定を行なう。この判
定条件の例を次に示す。

【００７１】（１）主走査方向罫線が処理対象であると
き 図５に示すように、統合される１対の矩形（黒ランの統
合矩形）ＲＨ１，ＲＨ２それぞれの始点または終点のＸ
座標の大小関係により傾きの方向を判定する。上側の矩
形ＲＨ１の始点（左上頂点）のＸ座標（Ｘｓ１）と下側
の矩形ＲＨ２の始点のＸ座標（Ｘｓ２）が、図５（ａ）
に示すように、Ｘｓ１＜Ｘｓ２の関係のときに傾きの方
向を「右下がり」と判定する。また、図５（ｂ）に示す
ように、それぞれの終点のＸ座標（Ｘe1，Ｘe2）が、Ｘ
ｅ１＞Ｘｅ２の関係のときには、傾きの方向を「右上が
り」と判定する。

【００７２】そして、傾き条件判定部８０９は、統合さ
れる矩形のペアが「右上がり」条件に合致したときには
条件合致回数メモリ８１０（初期値は０）の値を１だけ
増加させ、「右下がり」条件に合致したときは条件合致
回数メモリ８１０の値を１だけ減少させる。いずれの条
件にも合致しない場合には、条件合致回数メモリ８１０
の値を更新しない。

【００７３】このようしにて、注目した罫線矩形に関す
る統合処理が終了した段階で、傾き検出部８１１は、条
件合致回数メモリ８１０の値が正値で絶対値が５を超え
るときは、傾き方向を「右上がり」と判定する。傾き条
件合致回数メモリ８１０の値が負値で、絶対値が５を超
えるときには、傾き方向を「右下がり」と判定する。ま
た、その値が±５の範囲内のときは、「傾きなし」と判
定する。なお、±５の範囲内で「傾きなし」としたの
は、入力画像上のノイズの影響を考慮したものである。

【００７４】なお、本実施例では、最も長い罫線矩形を
選び、それを代表として、黒ラン抽出、その統合、罫線
矩形統合を改めて行ない、その際に条件判定を行なうこ
とによって傾き方向を検出したが、全ての罫線を対象と
して同様の条件判定を行なって傾きを検出することもで
きることは当然である。

【００７５】すなわち、矩形統合部８０５による黒ラン
統合処理中に、傾き条件判定部８０９で、すべての統合
される黒ランのペアに関して前述の如き条件判定を行な
い、その結果に応じて条件合致回数メモリ８１０の更新
を行なう。また、罫線矩形抽出部８０７による矩形統合
中に、全ての統合される矩形のペアに関して前述の如き
条件判定を行ない、その結果に応じて条件合致回数メモ
リ８１０の更新を行なう。そして、以上の処理を完了し
た段階での条件合致回数メモリ８１０の値によって、傾
き検出部８１１において前述の如き傾き方向の判定を行
なう。

【００７６】＜実施例５＞前記各実施例では傾きの方向
だけを検出したが、本実施例では傾きの角度も検出す
る。

【００７７】図９は、本実施例の説明のためのブロック
図である。ここに示すシステム構成は前記実施例４に類
似しており、傾きの方向の検出に関しては前記実施例４
と同様である。ただし、前記実施例１，２または３と同
様の方法で傾きの方向を検出してもよい（実施例１また
は３の場合には、黒ランの統合矩形を罫線矩形として扱
う）。

【００７８】前記実施例４と全く同様に、２値画像入力
部９０１によって文書類の２値イメージデータを２値イ
メージメモリ９０２に入力し、そのイメージ上の主走査
方向及び副走査方向に長い黒ランを黒ラン抽出部９０３
で抽出し、そのデータを黒ランメモリ９０６に格納す
る。矩形統合部９０５で黒ランを矩形に統合し、そのデ
ータを矩形メモリ９０６に格納する。罫線矩形抽出部９
０７で、その矩形の統合をして罫線矩形を抽出し、その
データを罫線矩形メモリ９０８に格納する。傾き条件判
定部９０９で最大長の罫線矩形を抽出する。そして、そ
の罫線矩形の範囲について、黒ラン抽出、黒ラン統合、
罫線矩形抽出を実行し、傾き条件判定部９０９で、黒ラ
ンのペア及び矩形のペアに関する傾きの条件の判定を行
なって条件合致回数メモリ９１０を更新する。そして、
傾き検出部９１１で、条件合致回数メモリ９１０の値よ
り傾きの方向を判定する。

【００７９】さて、以上のような傾き方向の検出のため
の動作と並行して、本実施例では次に述べるような傾き
角度検出のための処理を行なう。図１０は、その処理の
説明図である。

【００８０】黒ラン抽出部９０３において、注目した罫
線矩形の範囲内の２値イメージをスキャンして黒ランを
抽出する際に、当該罫線矩形の内部の黒画素数（pixe
l）を求め、その値を黒画素数メモリ９１３に格納す
る。なお、この黒画素数（pixel）を、罫線矩形に包含
される黒ランのデータ（黒ランメモリ９０４内）より求
めてもよい。

【００８１】次に、傾き検出部９１１において、罫線矩
形メモリ９０８内のデータより注目した罫線の幅（widt
h）を求め、それと黒画素数（pixel）とから次式によっ
て罫線の太さ（thickness）を計算する。

【００８２】thickness＝pixel／width 傾き検出部９１１はまた、罫線矩形メモリ９０８内のデ
ータより注目した罫線の高さ（height）を求め、これと
罫線の太さ（thickness）とから次式によって罫線のず
れ（tilt）を計算する。

【００８３】tilt＝height−thickness そして、次式によって、傾きの角度（θ）を求める。

【００８４】tanθ＝tilt／width ＜実施例６＞図１１は、本実施例を説明するためのブロ
ック図である。図１おいて、破線の枠１００１の内部の
構成は、入力イメージの傾き検出に関しては図９に示し
た前記実施例５の構成と同一であるので、その説明を省
略する。なお、図９中の各部と対応する部分には同一の
符号で示されている。

【００８５】図１１において、画像補正部１００２は、
傾き検出部９１１より出力された傾きの方向及び角度の
情報に応じて、画像の傾きと逆方向へ、傾きの角度と同
じ角度だけ、２値イメージメモリ９０２内の２値イメー
ジデータを回転させることによって、傾きを補正した２
値イメージを作成し、それを補正２値イメージメモリ１
００３に格納する。

【００８６】この補正２値イメージメモリ１００３内の
２値イメージデータに対して、黒ラン抽出部９０３によ
り、主走査方向及び副走査方向に一定値以上の長さを持
つ黒ランを抽出し、黒ランのデータを黒ランメモリ９０
４に格納する。黒ランメモリ９０４内の古いデータ（傾
き検出のための黒ランデータ）は廃棄される。

【００８７】矩形統合部９０５において、黒ランメモリ
９０４内のデータを参照し、主走査方向の黒ラン及び副
走査方向の黒ランのそれぞれに対して、予め定められた
距離の範囲内の黒ランを、それらを全部包含する矩形に
統合する処理を行ない、その矩形のデータを矩形メモリ
９０６に格納する。矩形メモリ９０６内の古いデータは
廃棄される。

【００８８】罫線矩形抽出部９０７において、矩形メモ
リ９０６内のデータを参照し、主走査方向黒ランの統合
矩形及び副走査方向黒ランの統合矩形のそれぞれに対し
て、予め定められた距離の範囲内の黒ランを、それらを
全部包含する矩形に統合する処理を行ない、統合した矩
形（罫線矩形）のデータを罫線矩形メモリ９０８に格納
する。罫線矩形メモリ９０８内の古いデータは廃棄され
る。このようにして、文書類の傾きが補正されたイメー
ジ上の罫線矩形が抽出されたことになる。

【００８９】次に、枠認識部１００４において、罫線矩
形メモリ９０８内の罫線矩形のデータを基に、表の枠
（縦横の罫線で囲まれた矩形領域）を認識し、各枠の座
標（対角頂点座標）を枠座標メモリ１００５に格納す
る。そして、この枠座標を基に、枠内文字抽出部１００
６によって各枠の内部の文字の画像を、補正２値イメー
ジメモリ１００３内の補正２値イメージより切り出し、
切り出した文字画像を文字認識部１００７へ渡し、文字
認識を行なわせる。かくして、傾いて入力された文書類
上の表の文字を、正確に認識できる。

【００９０】

【発明の効果】以上に説明した如く、本発明によれば以
下のような効果を得られる。

【００９１】（１）請求項１乃至１１の各項の発明の方
法によれば、入力画像上の罫線を基準として、画像の傾
き方向を検出できる。さらに請求項１０または１１の発
明の方法によれば、入力画像の傾きの角度も検出でき
る。このように、罫線を基準とする方法であるので、例
えば、文字が存在しない表のみの帳票等でも、その画像
の傾き検出が可能となる。

【００９２】（２）請求項１または２の発明の方法は、
黒ランの統合の際に統合される黒ランの位置関係、また
は黒ランの統合矩形の統合の際に統合される矩形の位置
関係に基づいて画像の傾きを検出するが、黒ランの矩形
統合や、その矩形の統合処理は表処理で一般に必要な処
理ステップであるため、表処理に適用するのに無駄のな
い合理的な方法である。

【００９３】（３）請求項３の発明の方法によれば、罫
線を構成する黒ランの位置関係に加えて、罫線を構成す
る黒ランの統合矩形の位置関係を利用して、傾き方向判
定に利用する。したがって、黒ランの位置関係のみを利
用した方法に比べ、より正確な傾き方向検出が可能であ
る。

【００９４】（４）請求項４または５の発明の方法によ
れば、黒ランまたは矩形の始点及び終点の座標の大小関
係に基づき、極めて単純なルールで傾き方向を判定する
ことができる。

【００９５】（５）請求項６または８の発明の方法によ
れば、罫線を構成する黒ランまたは黒ラン統合矩形の複
数のペアの位置関係に基づいて傾き方向を判定するた
め、ノイズによる影響などを回避し、安定確実に傾き方
向を検出できる。

【００９６】（６）請求項７または９の発明によれば、
入力画像上の最も長い罫線を基準として傾き方向を判定
することになるため、正確な判定結果を得られる。ま
た、一つの罫線の範囲のみに着目するので、全ての罫線
を対象する場合に比べ処理の負担を軽減できる。

【００９７】（７）請求項１０または１１の発明の方法
によれば、入力画像の傾きによる黒ラン統合矩形または
その統合矩形の太りを考慮して、入力画像の傾き角度を
精度よく検出することができる。

【００９８】請求項１２の発明によれば、入力画像の傾
きを検出して、入力画像の傾きを補正してから罫線を抽
出して表の枠を認識し、枠内の文字画像を傾き補正画像
から切り出すので、傾いて入力された画像上の表中の文
字を正確に認識することができる。

【図面の簡単な説明】

【図１】本発明の実施例１を説明するためのブロック図
である。

【図２】（ａ）右下がりに傾いた画像上の主走査方向罫
線を構成する黒ランのペアの位置関係の例を示す。 （ｂ）右上がりに傾いた画像上の主走査方向罫線を構成
する黒ランのペアの位置関係の例を示す。

【図３】（ａ）右下がりに傾いた画像上の副走査方向罫
線を構成する黒ランのペアの位置関係の例を示す。 （ｂ）右上がりに傾いた画像上の副走査方向罫線を構成
する黒ランのペアの位置関係の例を示す。

【図４】本発明の実施例２を説明するためのブロック図
である。

【図５】（ａ）右下がりに傾いた画像上の主走査方向罫
線を構成する矩形のペアの位置関係の例を示す。 （ｂ）右上がりに傾いた画像上の主走査方向罫線を構成
する矩形のペアの位置関係の例を示す。

【図６】（ａ）右下がりに傾いた画像上の副走査方向罫
線を構成する矩形のペアの位置関係の例を示す。 （ｂ）右上がりに傾いた画像上の副走査方向罫線を構成
する矩形のペアの位置関係の例を示す。

【図７】本発明の実施例３を説明するためのブロック図
である。

【図８】本発明の実施例４を説明するためのブロック図
である。

【図９】本発明の実施例５を説明するためのブロック図
である。

【図１０】主走査方向罫線の場合の傾き角度を検出の説
明図である。

【図１１】本発明の実施例６を説明するためのブロック
図である。

【符号の説明】

１０１，４０１，７０１，８０１，９０１ ２値画像入
力部 １０２，４０２，７０２，８０２，９０２ ２値イメー
ジメモリ １０３，４０３，７０３，８０３，９０３ 黒ラン抽出
部 １０４，４０４，７０４，８０４，９０４ 黒ランメモ
リ １０５，４０５，７０５，８０５，９０５ 矩形統合部 １０６，４０６，７０６，８０６，９０６ 矩形メモリ １０７，４０９，７１０，８１１，９１１ 傾き検出部 ４０７，８０７，９０７ 罫線矩形抽出部 ４０８，８０８，９０８ 罫線矩形メモリ ８０９，９０９ 傾き条件判定部 ８１０，９１０ 条件合致回数メモリ １００２ 画像補正部 １００３ 補正２値イメージメモリ １００４ 枠認識部 １００５ 枠座標メモリ １００６ 枠内文字抽出部 １００７ 文字認識部 ＬＨ 主走査方向罫線の黒ラン ＬＶ 副走査方向罫線の黒ラン ＲＨ 主走査方向罫線の黒ラン統合矩形 ＲＶ 副走査方向罫線の黒ラン統合矩形

Claims (12)

【特許請求の範囲】
1. 【請求項１】 入力画像上の一定値以上の長さの黒ラン
   を抽出し、抽出した黒ランで予め定められた距離内にあ
   る黒ランを、それら全てを包含する矩形に統合し、この
   黒ランの統合の際に統合される黒ランの相互の位置関係
   によって入力画像の傾きの方向を判定することを特徴と
   する画像傾き検出方法。
2. 【請求項２】 入力画像上の一定値以上の長さの黒ラン
   を抽出し、抽出した黒ランで予め定められた距離内にあ
   る黒ランを、それら全てを包含する矩形に統合し、黒ラ
   ンを統合した矩形で予め定められた距離内にあるもの
   を、それら全てを包含する罫線矩形に統合し、前記矩形
   の統合の際に統合される矩形の相互の位置関係によっ
   て、入力画像の傾きの方向を判定することを特徴とする
   画像傾き検出方法。
3. 【請求項３】 入力画像上の一定値以上の長さの黒ラン
   を抽出し、抽出した黒ランで予め定められた距離内にあ
   る黒ランを、それら全てを包含する矩形に統合し、黒ラ
   ンを統合した矩形で予め定められた距離内にあるもの
   を、それら全てを包含する罫線矩形に統合し、前記黒ラ
   ンの統合の際に統合される黒ランの相互の位置関係、及
   び、前記矩形の統合の際に統合される矩形の相互の位置
   関係によって、入力画像の傾きの方向を判定することを
   特徴とする画像傾き検出方法。
4. 【請求項４】 統合される黒ランの始点及び終点の座標
   の大小比較によって傾き方向を判定することを特徴とす
   る請求項１または３記載の画像傾き検出方法。
5. 【請求項５】 統合される矩形の始点及び終点の座標の
   大小比較によって傾きの方向を判定することを特徴とす
   る請求項２または３記載の画像傾き検出方法。
6. 【請求項６】 統合される黒ランの複数ペアについて、
   各ペア毎に傾き方向の判定を行ない、傾きの方向毎にそ
   の判定回数を計数し、計数した判定回数の多いほうの傾
   きの方向を黒ランによる傾き方向の判定結果とすること
   を特徴とする請求項１，３または４記載の画像傾き検出
   方法。
7. 【請求項７】 傾きの判定を、入力画像上の最も長い一
   つの矩形の範囲に関して行なうことを特徴とする請求項
   ６記載の画像傾き検出方法。
8. 【請求項８】 統合される矩形の複数ペアについて、各
   ペア毎に傾き方向の判定を行ない、傾きの方向毎にその
   判定回数を計数し、計数した判定回数の多いほうの傾き
   の方向を矩形による傾き方向の判定結果とすることを特
   徴とする請求項２，３または５記載の画像傾き検出方
   法。
9. 【請求項９】 傾きの判定を、入力画像上の最も長い一
   つの罫線矩形の範囲に関して行なうことを特徴とする請
   求項８記載の画像傾き検出方法。
10. 【請求項１０】 罫線矩形の内部の黒画素数を該罫線矩
    形の長手方向のサイズで除した値を、該罫線矩形の短手
    方向のサイズより減算し、該減算後のサイズと該罫線矩
    形の長手方向のサイズとから、入力画像の傾き角度を求
    めることを特徴とする請求項２または３に記載の画像傾
    き検出方法。
11. 【請求項１１】 矩形の内部の黒画素数を該矩形の長手
    方向のサイズで除した値を、該矩形の短手方向のサイズ
    より減算し、該減算後のサイズと該矩形の長手方向のサ
    イズとから、入力画像の傾き角度を求めることを特徴と
    する請求項１記載の画像傾き検出方法。
12. 【請求項１２】 入力画像の傾きの方向を請求項１乃至
    ９のいずれか１項に記載の方法によって検出するととも
    に、該入力画像の傾きの角度を請求項１０または１１記
    載の方法によって検出し、該検出した傾きの方向及び角
    度に基づいて該入力画像の傾きを補正した画像を作成
    し、該傾き補正画像より罫線の矩形を抽出し、該抽出し
    た罫線の矩形の座標より表の枠を認識し、該認識した枠
    の内部の文字画像を該傾き補正画像より切り出して文字
    認識をすることを特徴とする表処理方法。