JPH10334183A - 白黒反転領域識別装置、及びその装置を使用した表認識装置 - Google Patents

Abstract

(57)【要約】 （修正有） 【課題】 帳票等の表形式の画像データを認識する認識
装置に係り、特に白黒反転領域を正確に識別し、該識別
結果に従って表認識を行う。 【解決手段】 画像入力部３０を介してスキャナー等で
読みとった画像データを画像領域格納部３１に格納し、
その画像データに対し、線分抽出部３２は線分抽出マス
クを使用し、局所的な領域を順次切り出し、線分統合部
３３によって当該領域の黒画素数が所定値を越える線分
を水平方向、垂直方向に統合し、白黒反転領域決定部３
５によって上記統合線分の中の一定の閾値以上の線分を
白黒反転候補領域と識別し、この白黒反転候補領域が例
えば水平方向と垂直方向に重なる領域を白黒反転領域と
決定する。また、罫線抽出部３４により抽出された罫
線、及び上記白黒反転領域に従って帳票等の表を認識す
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は帳票等の表形式の画
像データをスキャナ等の入力装置で入力し、該画像デー
タに対して表認識処理を行う際使用する白黒反転領域識
別装置、及びその装置を使用する表認識装置に関する。

【０００２】

【従来の技術】近年、原稿上の文字や帳票フォームをイ
メージデータとしてコンピュータに供給する装置として
スキャナ等の入力装置が広く使用されている。また、こ
のような入力装置から供給された表を含むイメージデー
タは、画像認識装置により文字や罫線として認識され、
対応する文字コードやベクトルデータとして例えばコン
ピュータ内に記憶される。

【０００３】上述のような画像認識装置の中で、罫線の
ように比較的細く、上下又は左右に長いラインを有する
表を認識するため、特にランを使用した表認識装置（特
開平６-３３７９０）が提案されている。この装置は、
図３４に示すように画像入力部１０１から画像領域１０
２に表画像を入力し、該入力画像に対し、実線ラン抽出
部１０３により縦、横２方向のランを使用し、一定の長
さ以上の線分抽出し、それらを連結することにより罫線
を抽出するものである。また、抽出された罫線のうち、
幅がしきい値以上の罫線で囲まれた部分を白黒反転候補
として白黒反転セル候補抽出部１０４に出力する。そし
て、白黒反転セル決定部１０５では抽出した白黒反転セ
ル候補の内部の黒画素の密度が、例えば５０％以上であ
れば、対応する領域（セル）を白黒反転セルと認定し、
画素反転部１０６によって当該セルに対し白黒反転処理
を行うものである。

【０００４】尚、上述の白黒反転処理後、白黒反転領域
に書き込まれたデータに対して文字の切り出し処理を行
い、切り出した文字に対して認識処理を行う。

【０００５】

【発明が解決しようとする課題】上記従来の表認識装置
では以下の問題が発生する。 （イ）先ず、従来例の表認識装置では、図３５（ａ）に
示すように、長い横ラン及び縦ランを使用するので同図
（ｂ）に示すように１つのセル内が全て白黒反転画像で
構成されている場合には問題ないが、例えば同図（ｃ）
に示すように、１つのセル内に白黒反転領域と通常セル
領域が混在する場合問題となる。すなわち、同図（ｃ）
に示す例に対し、同図（ａ）の長さの横ラン及び縦ラン
を使用して黒画素数を計数する場合、白画素数が極めて
多くなり、正確な黒画素数を計数できない。このため白
黒反転領域の識別を誤る。 （ロ）また、従来例の表認識装置では、図３５（ａ）に
示すように、長い横ラン、及び縦ラン（例えば、同図
（ｂ）に示す白黒反転領域の長さと同じ長さの横ラン、
及び縦ラン）を使用するので、認識するセルの横及び縦
の長さが異なる白黒反転領域を認識する場合、正確な黒
画素数の計数ができない。例えば、同図（ａ）に示すよ
うに、横ランの長さをＬ１とし、縦ランの長さをＬ２と
する時、認識する白黒反転セルの横幅が上記Ｌ１より長
く、又縦幅が上記Ｌ２より長い場合、やはり白画素数が
多くなり、正確な白黒反転領域の識別ができない。

【０００６】また、同様なことは白黒反転セル領域内の
文字サイズが大きい場合にも生じる。すなわち、この場
合同図（ｂ）に示す文字列「会社名」の白抜き文字の文
字サイズが大きい場合であり、横ラン又は縦ランに従っ
て黒画素数を計数すると白抜き文字部分が大きいため、
黒画素数の計数値が少なくなり、正確な白黒反転領域
（白黒反転セル）の認識ができない。 （ハ）さらに、スキャナーによる帳票フォーム等の表画
像の読み出し処理が、例えば傾いた状態で行われた場
合、白黒反転領域に傾きが生じており、傾きのない長い
横ラン、及び縦ランを用いて黒画素数を計数すること
は、誤った（より少ない）数の黒画素数を計数すること
になり、白黒反転セルの認識を誤る結果となる。

【０００７】かかる場合、例えば横ラン、及び縦ランを
同じ角度だけ傾けて計数処理を行うことが必要である。
しかし、このような傾き補正には煩雑な処理が必要とな
る。本発明は上記課題を解決するため、水平方向に短い
線分抽出マスク、及び垂直方向に短い線分抽出マスクを
使用し、当該線分抽出マスクに含まれる黒画素数を計数
し且つ統合処理し、統合線分の線幅が所定の閾値を越え
る場合白黒反転候補領域とし、当該白黒反転候補領域を
水平方向及び垂直方向に作成し、これらを例えば線分セ
グメント列で囲った領域を白黒反転領域とすることで、
上記（イ）〜（ハ）の課題を解決する白黒反転領域識別
装置、及びその装置を使用する表認識装置を提供するも
のである。

【０００８】

【課題を解決するための手段】請求項１記載の発明は上
記課題を解決するため、表形式の２値イメージデータに
対し、水平方向に長い線分抽出マスクを用いて水平方向
に走査し、垂直方向に長い線分抽出マスクを用いて垂直
方向に走査し、黒画素密度が所定の閾値より高い領域を
それぞれ抽出する領域抽出手段と、該領域抽出手段で抽
出した前記黒画素密度の高い領域をそれぞれのマスク走
査方向に直交する方向で統合する第１の統合手段と、該
第１の統合手段で統合した領域の線幅が所定の閾値以上
であれば白黒反転候補領域であるとし、該白黒反転候補
領域をそれぞれのマスク走査方向に統合する第２の統合
手段と、該第２の統合手段で統合した白黒反転候補領域
の輪郭に対し、水平方向及び垂直方向の線分セグメント
列を作成する線分セグメント列作成手段と、該線分セグ
メント列作成手段で作成された水平方向の線分セグメン
ト列と垂直方向の線分セグメント列で囲まれた領域を白
黒反転領域に設定する白黒反転領域設定手段とを備えた
白黒反転領域識別装置を提供することによって達成でき
る。

【０００９】すなわち、本例は水平方向に長い、縦×横
（ｍ×ｎ）が例えば、１×６、１×１５、１×３０等）
の線分抽出マスクを使用し、水平方向に順次一定ドット
毎に走査し、当該線分抽出マスクで切り取られる矩形領
域内に所定の閾値以上の黒画素が含まれている時、当該
領域を上記水平方向に直交する方向に統合し、該統合結
果によって所定の閾値以上の線幅であれば白黒反転候補
領域とし、更に第２の統合手段によって当該白黒反転候
補領域の領域（線分）を水平方向に延長する。

【００１０】一方、垂直方向に対しても同様の処理を行
い、垂直方向に長いｍ×ｎ（例えば、６×１、１５×
１、３０×１等）の線分抽出マスクを使用し、垂直方向
に順次一定ドット毎に走査し、当該線分抽出マスクで切
り取られる領域内に所定の閾値以上の黒画素が含まれて
いる時、当該領域（線分）を上記垂直方向に直交する方
向に統合し、該統合結果得られる線幅が所定の閾値以上
の線幅であれば白黒反転候補領域とし、更に第２の統合
手段によって当該白黒反転候補領域の線分を垂直方向に
延長する。

【００１１】そして、上記水平方向及び垂直方向に作成
した白黒反転候補領域に対し、それぞれの輪郭を示す線
分セグメント列を水平方向、垂直方向に作成し、このよ
うにして作成された線分セグメント列で囲われた領域を
白黒反転領域とする。

【００１２】このように本請求項１記載の発明は、水平
方向に極めて細く（例えば１ドット）、且つ比較的短い
（例えば６ドット、１５ドット、３０ドット）線分抽出
マスクを使用し、また垂直方向に極めて細く（例えば１
ドット）、且つ比較的短い（例えば６ドット、１５ドッ
ト、３０ドット）線分抽出マスクを使用し、黒画素数の
多い領域を統合して白黒反転領域を識別するものであ
り、一つのセル内の一部に白黒反転領域が存在する場合
でも正確にその領域を識別することができる（前記課題
（イ）の解決）。また、白黒反転領域内に大きいサイズ
の反転文字が存在する場合でも、上記のように本例で使
用する線分抽出マスクは極めて細く比較的短い線分抽出
マスクを使用するので白黒反転領域を正確に識別するこ
とができる（前記課題（ロ）の解決）。さらに、表画像
が傾いて読み出された場合でも、狭い範囲の黒画素数を
認識しつつ統合処理により白黒反転領域を識別するの
で、傾いた線分として認識でき、傾斜のある状態の白黒
反転領域として認識できる（前記課題（ハ）の解決）。

【００１３】請求項２記載の発明は上記課題を解決する
ため、表形式の２値イメージデータに対し、水平方向に
長い線分抽出マスクを用いて水平方向に走査し、垂直方
向に長い線分抽出マスクを用いて垂直方向に走査し、黒
画素密度が所定の閾値より高い領域をそれぞれ抽出する
領域抽出手段と、該領域抽出手段で抽出した前記黒画素
密度の高い領域をそれぞれのマスク走査方向に直交する
方向で統合する第１の統合手段と、該第１の統合手段で
統合した領域の線幅が所定の閾値以上であれば白黒反転
候補領域であるとし、該白黒反転候補領域をそれぞれの
マスク走査方向に統合する第２の統合手段と、該第２の
統合手段で統合した水平方向の白黒反転候補領域と垂直
方向の白黒反転候補領域の重なり状態により白黒反転領
域を設定する白黒反転領域設定手段とを備えた白黒反転
領域識別装置を提供することによって達成できる。

【００１４】すなわち、本例は上記請求項１記載の発明
が白黒反転候補領域の輪郭に対し線分セグメント列を作
成し、当該線分セグメント列で囲まれた領域を白黒反転
領域であると識別したのに対し、本例の発明は水平方向
の白黒反転候補領域と垂直方向の白黒反転候補領域の重
なり状態により白黒反転領域を識別する構成である。

【００１５】すなわち、本例も水平方向に長いｍ×ｎの
線分抽出マスクを使用し、水平方向に順次一定ドット毎
に走査し、当該線分抽出マスクで切り取られる矩形領域
内に所定の閾値以上の黒画素が含まれている時、当該矩
形領域を上記水平方向に直交する方向に統合し、該統合
結果、所定の閾値以上の線幅であれば白黒反転候補領域
とし、また垂直方向に対しても同様の処理を行い、垂直
方向に長い線分抽出マスクを使用し、垂直方向に順次一
定ドット毎に走査し、当該線分抽出マスクで切り取られ
る矩形領域内に所定の閾値以上の黒画素が含まれている
時、当該矩形領域を上記垂直方向に直交する方向に統合
し、該統合結果、所定の閾値以上の線幅であれば白黒反
転候補領域とする。

【００１６】そして、上記水平方向及び垂直方向に作成
した白黒反転候補領域に対し、その重なり状態を判断
し、白黒反転領域の識別を行う。例えば、この重なりの
状態は水平、垂直両方向の白黒反転領域が重なり合う領
域面積を、一方（水平方向又は垂直方向の何れか一方）
方向の白黒反転領域の面積で割り算した値が所定の閾値
以上である場合、当該水平、垂直両方向の白黒反転領域
で囲まれた領域を白黒反転領域とする。このように構成
することにより、白黒反転領域を正確に識別でき、前記
課題（イ）〜（ハ）を解決することができる。

【００１７】尚、白黒反転領域の識別は上記例に限ら
ず、水平方向と垂直方向の白黒反転候補領域の重なり合
う和を求め、当該和が所定値以上である時水平、垂直両
方向の白黒反転候補領域で囲まれた領域を白黒反転領域
とするようにしてもよく、その他各種方式が考えられ
る。

【００１８】請求項３の記載は、請求項１又は２記載の
発明を具体的にするものであり、例えば前記第１の統合
手段で統合した領域の線幅が所定の閾値以下であると判
断するとき、前記第１の統合手段で統合した領域を罫線
であると判断する罫線判断手段を有する構成である。

【００１９】すなわち、罫線は比較的細い線幅であり、
上記第１の統合手段で統合した領域の線幅を所定の閾値
以上であると判断した時は上記のように白黒反転候補領
域と考えるが、所定の閾値以下であると判断する時には
当該領域を罫線であると判断する。

【００２０】このように構成することにより、本例によ
れば白黒反転領域の識別と同時に、罫線の抽出も行うこ
とができ、極めて効率の良い白黒反転領域識別装置とす
ることができる。

【００２１】請求項４の記載は、請求項３の記載を更に
具体的にするものであり、例えば前記罫線判断手段で判
断した罫線をそれぞれのマスク走査方向に統合して罫線
を作成する罫線作成手段を有する構成である。

【００２２】このように構成することにより、帳票等の
表形式の画像データを認識処理する際、白黒反転領域
（白黒反転セル）の識別と共に罫線を認識でき、白黒反
転領域の識別処理が終了する時、同時に例えば帳票フォ
ームの罫線作成も終了することになり、極めて効率の良
い白黒反転領域識別装置とすることができる。

【００２３】請求項５の記載は、上記請求項４の記載を
更に具体的にするものであり、前記罫線作成手段が垂直
方向の罫線を作成する場合、例えば前記線分セグメント
列作成手段で作成した水平方向の線分セグメント列と、
前記垂直方向の罫線間で囲まれた領域を白黒反転領域と
する構成である。

【００２４】上記線分セグメント列は水平方向の白黒反
転候補領域の輪郭であり、例えば水平方向に長い白黒反
転候補領域と垂直方向の罫線で囲まれた領域を白黒反転
領域とする構成である。このように本例は、線分セグメ
ント列（白黒反転候補領域）と罫線で囲まれた領域を白
黒反転領域と識別するものである。

【００２５】また、請求項６の記載は、上記請求項４記
載の発明を具体的にするものであり、前記罫線設定手段
が水平方向の罫線を設定する場合、例えば前記線分セグ
メント列作成手段で作成した垂直方向の線分セグメント
列と、前記水平方向の罫線間で囲まれた領域を白黒反転
領域とする構成である。

【００２６】本例の記載は、上記請求項５の記載とは逆
に、線分セグメント列は垂直方向の白黒反転候補領域の
輪郭であり、この線分セグメント列と水平方向の罫線で
囲まれた領域を白黒反転領域と識別するものである。

【００２７】請求項７の記載は、上記請求項１又は５又
は６の記載を具体的にするものであり、前記白黒反転領
域の輪郭の凹凸を吸収するマージンが、前記線分セグメ
ント列に付加されている構成である。

【００２８】すなわち、本例は上記線分抽出マスクを用
いて線分抽出処理を行うと、個々に抽出された領域は、
例えば上下方向又は左右方向に凹凸を有し、本例はこの
凹凸を例えば白黒反転領域の外側方向（線分の法線ベク
トルの外側方向）に所定数のドットを追加し、白黒反転
領域の輪郭の凹凸を吸収する構成である。

【００２９】請求項８の記載は、上記請求項１又は２記
載の発明を具体的にするものであり、前記白黒反転領域
設定手段は、例えば連結成分数が所定の閾値以下である
場合、水平方向の線分セグメント列と垂直方向の線分セ
グメント列で囲まれた領域を白黒反転領域に決定する構
成である。

【００３０】したがって、本例の場合請求項１記載の発
明により白黒反転領域が識別されても、当該白黒反転領
域内の連結成分数が所定の閾値以下でなければ白黒反転
領域と決定しない構成である。ここで、連結成分数は白
黒反転候補領域の領域内に黒印字部又は白印字部の接続
した部分がいくつあるかを示すものであり、例えば白黒
反転候補領域内に網点等の多数の黒ドットが含まれてい
る場合、上記連結成分数を限定することにより網点等の
影響をなくすものである。

【００３１】請求項９の記載は、上記請求項８の記載を
より具体的にするものであり、前記連結成分数を算出す
る例えば算出手段と、該算出手段で算出した連結成分数
が所定の閾値以下であることを識別する識別手段とを有
する構成である。

【００３２】ここで、上記算出手段による連結成分数の
算出は、例えば白黒反転領域内の独立する黒印字部を算
出する演算であり、また例えば網点等を有する場合、当
該黒ドット数を演算する構成である。一方、識別手段は
上記算出手段が算出した連結成分数が予め設定された閾
値以下であるか識別する手段であり、例えば網点等の模
様が白黒反転領域に付加されている場合、この識別手段
によって識別され、このような模様が付加されたセルと
白黒反転セルとを確実に識別するものである。

【００３３】請求項１０の記載は、上記請求項４記載の
発明をより具体的にするものであり、前記領域抽出手段
は孤立した罫線候補を抽出し、該孤立した罫線候補の周
辺に前記白黒反転候補領域が存在する時、前記孤立した
罫線候補も白黒反転候補領域に統合する孤立罫線統合手
段を有する構成である。

【００３４】すなわち、黒画素密度の高い領域をマスク
走査方向に直交する方向で統合した結果、その領域の線
幅が所定の閾値以上であれば白黒反転候補領域として抽
出する。しかし、当該罫線候補の周辺に前記白黒反転候
補領域が存在する時、本来白黒反転候補領域であるが、
例えば“かすれ”等により孤立した罫線候補として誤っ
て抽出される場合もある。したがって、このような場合
を救済するため、孤立罫線統合手段によって白黒反転候
補領域に統合する。

【００３５】このように構成することにより、白黒反転
領域内に“かすれ”等の薄い黒印字があったとしても確
実にこれを検出し、補正処理して白黒反転領域として識
別することができる。

【００３６】請求項１１の記載は、上記請求項１０の記
載をより具体的にするものであり、前記孤立した罫線候
補の抽出は、文字領域と罫線領域を区別する手段を備
え、罫線抽出処理後に白黒反転領域を抽出する構成であ
る。

【００３７】すなわち、罫線抽出により抽出される罫線
には、本来の罫線以外に文字列等が誤って罫線と認識さ
れる場合があり、かかる場合文字領域と罫線領域を区別
することにより、確実に罫線を抽出するものである。

【００３８】請求項１２の記載は、上記請求項１記載の
発明をより具体的にするものであり、前記線分セグメン
ト列には、該線分セグメント列が白黒反転領域であるこ
とを示す属性が付加されている構成である。

【００３９】上記線分セグメント列への属性の付加は、
例えば線分セグメント列を記憶するメモリに専用のフラ
グを立て、白黒反転領域を示すセグメント列であること
を記憶させることで実現する。

【００４０】請求項１３の記載は、上記請求項１２の記
載をより具体的にするものであり、前記線分セグメント
列には、白黒反転領域に対する前記線分セグメント列の
位置が、上下又は左右の辺の位置情報として付加されて
いる構成である。

【００４１】例えば、水平方向に２本の線分セグメント
列の場合、線分セグメント列には白黒反転領域に対する
位置によって、上又は下の位置情報が付加される。ま
た、垂直方向に２本の線分セグメント列の場合、白黒反
転領域に対する位置によって、右又は左の位置情報が付
加される。

【００４２】このように構成することにより、作成され
た線分セグメント列の白黒反転領域に対する位置が明確
になり、例えば白黒反転領域と通常のセル領域を区別す
る際、容易に行うことができる。

【００４３】請求項１４の記載は、上記請求項１３の記
載をより具体的にするものであり、表のセル構造を解析
する際、該セルの位置情報が、前記線分セグメント列に
付加された上下又は左右の辺の位置情報と同じ場合には
白黒反転領域と判断し、異なる場合には通常のセル領域
と判断する構成である。

【００４４】本例は上記請求項１３の具体的適応例であ
り、上記構成により白黒反転領域と通常のセル領域の区
別を簡単に行うことができる。尚、線分セグメント列に
付加された上下、左右の位置情報は、上記以外に、例え
ば表に含まれる白黒反転領域の数や白黒反転領域のサイ
ズの算出等にも使用できる。

【００４５】請求項１５の記載は、上記請求項１又は２
記載の発明をより具体的にするものであり、前記白黒反
転領域内が複数のセル領域より成る場合、前記白黒反転
領域に接続する罫線を延長して白黒反転領域内の前記セ
ル領域を抽出する構成である。

【００４６】例えば、白黒反転領域が水平方向に形成さ
れている場合、垂直方向の罫線を上記白黒反転領域内に
延長し、白黒反転領域を例えば短冊状に分割して垂直方
向の罫線によって仕切られた領域をセル領域とするもの
である。

【００４７】このように構成することにより、容易に白
黒反転領域をセル分割することができる。請求項１６の
記載は、上記請求項１５の記載をより具体的にするもの
であり、前記白黒反転領域内のセルを分割する際、白黒
反転領域に接続する罫線を延長した領域を細分割して黒
画素密度を求める手段を有する構成である。

【００４８】すなわち、上記請求項１５の記載により白
黒反転領域内をセル分割する場合、例えば垂直方向の罫
線を上記白黒反転領域内に延長し、白黒反転領域を短冊
状に分割する際、罫線を延長した白黒反転領域の位置に
白黒反転文字が存在する場合、この位置を罫線で仕切る
ことができないので、白黒反転文字の存在を確認するた
めに行う処理である。

【００４９】したがって、例えば垂直方向に長い線分抽
出マスクを使用し、対象となる白黒反転領域内を線分抽
出マスクで黒画素数の抽出処理を行い、黒画素数が少な
い場合、すなわち白画素数が多い場合、当該位置には白
黒反転文字（白抜き文字）が存在し、セル分割できない
位置であることが分かる。

【００５０】このように構成することにより、白黒反転
領域内を正確にセル分割することができる。請求項１７
記載の発明は上記課題を解決するため、表形式の２値イ
メージデータに対し、水平方向に長い線分抽出マスクを
用いて水平方向に走査し、垂直方向に長い線分抽出マス
クを用いて垂直方向に走査し、黒画素密度が所定の閾値
より高い領域をそれぞれ抽出する領域抽出手段と、該領
域抽出手段で抽出した前記黒画素密度の高い領域をそれ
ぞれのマスク走査方向に直交する方向で統合する第１の
統合手段と、該第１の統合手段で統合した領域の線幅が
所定の閾値以上であれば白黒反転候補領域であるとし、
該白黒反転候補領域をそれぞれのマスク走査方向に統合
する第２の統合手段と、該第２の統合手段で統合した白
黒反転候補領域の輪郭に対し、水平方向及び垂直方向の
線分セグメント列を作成する線分セグメント列作成手段
と、該線分セグメント列作成手段で作成した水平方向の
線分セグメント列と垂直方向の線分セグメント列で囲ま
れた領域を白黒反転領域に設定する第２の設定手段とを
備えた白黒反転領域識別部と、該白黒反転領域認識部に
より識別された白黒反転領域に対し、白黒反転処理を行
う白黒反転処理手段と、該白黒反転処理手段によって反
転処理された領域に位置する文字列に対して認識処理を
施す認識手段とを有する表認識装置を提供することによ
り達成できる。

【００５１】本発明は、前記請求項１記載の白黒反転領
域識別装置を使用した表認識装置である。すなわち、水
平方向に長い線分抽出マスクと垂直方向に長い線分抽出
マスクを使用し、黒画素密度が所定の閾値より高い領域
をそれぞれ抽出し、この黒画素密度の高い領域に対し、
マスク走査方向に直交する方向で統合し、更にマスク走
査方向に統合し、例えば白黒反転候補領域の輪郭に対の
線分セグメント列を形成し、その線分セグメント列に囲
まれた領域を白黒反転領域に設定した、当該領域に対
し、白黒反転処理手段によって白黒反転処理を施すもの
であり、更に白黒反転処理手段によって反転処理された
領域に位置する文字列に対して認識処理を行う認識手段
とを有する表認識装置である。

【００５２】このように構成することにより、正確に識
別された白黒反転領域に対し白黒反転処理を行い、白黒
反転領域内の文字列に対し文字認識処理を施す表認識装
置を提供できる。この場合、白黒反転処理が施された文
字列は正確に黒印字されるので確実な表認識処理を行う
ことができる。

【００５３】請求項１８記載の発明は上記課題を解決す
るため、表形式の２値イメージデータに対し、水平方向
に長い線分抽出マスクを用いて水平方向に走査し、垂直
方向に長い線分抽出マスクを用いて垂直方向に走査し、
黒画素密度が所定の閾値より高い領域をそれぞれ抽出す
る領域抽出手段と、該領域抽出手段で抽出した前記黒画
素密度の高い領域をそれぞれのマスク走査方向に直交す
る方向で統合する第１の統合手段と、該第１の統合手段
で統合した領域の線幅が所定の閾値以上であれば白黒反
転候補領域であるとし、該白黒反転候補領域をそれぞれ
のマスク走査方向に統合する第２の統合手段と、該第２
の統合手段で統合した水平方向の白黒反転候補領域と垂
直方向の白黒反転候補領域の重なり状態により白黒反転
領域を設定する白黒反転領域設定手段とを備えた白黒反
転領域識別部と、該白黒反転領域認識部により識別され
た白黒反転領域に対し、白黒反転処理を行う白黒反転処
理手段と、該白黒反転処理手段によって反転処理された
領域に位置する文字列に対して認識処理を施す認識手段
とを有する表認識装置を提供することにより達成でき
る。

【００５４】本発明は、前記請求項２記載の白黒反転領
域識別装置を使用した表認識装置であり、上記請求項１
７記載の表認識装置に対し、第２の統合手段で統合した
水平方向の白黒反転候補領域と垂直方向の白黒反転候補
領域の重なり状態により白黒反転領域を設定する白黒反
転領域識別装置を使用する表認識装置である。

【００５５】このように構成することにより、正確に識
別された白黒反転領域に対し白黒反転処理を行い、白黒
反転領域内の文字列に対し文字認識処理を施す表認識装
置を提供できる。この場合、白黒反転処理が施された文
字列は正確に黒印字されるので確実な認識処理を行うこ
とができる。

【００５６】請求項１９の記載は、上記請求項１７記載
の発明を具体的にするものであり、前記白黒反転処理手
段は、前記白黒反転領域の輪郭セグメントを塗りつぶす
塗りつぶし手段と、前記輪郭セグメント列以外の白黒反
転領域を白黒反転する処理手段を具備する構成である。

【００５７】すなわち、本例は塗りつぶし手段によって
白黒反転領域の輪郭部分を、例えば黒色で塗りつぶして
枠取りし、その中の白黒反転領域を処理手段によって反
転処理する構成である。

【００５８】請求項２０の記載は、上記請求項１９の記
載を具体的にするものであり、前記白黒反転処理手段
は、セルによって分割された領域を塗りつぶすセル領域
塗りつぶし手段を有する構成である。

【００５９】この場合も、上記白黒反転領内のセル分割
される分割線を、例えば黒色で塗りつぶし、白黒反転領
域を反転処理した際にセル分割線が分かるようにする構
成である。

【００６０】請求項２１の記載は、上記請求項１７又は
１８記載の発明を具体的にするものであり、前記白黒反
転処理手段によって反転処理された白黒反転領域に位置
する文字列の線幅を算出し、該算出した線幅に従って前
記文字列を膨張又は収縮処理し、前記文字列を整形する
構成である。

【００６１】このように構成することにより、白黒反転
処理により起こり得る文字列の線幅の異常を修正し、正
確な文字列に整形するものである。請求項２２の記載
は、上記請求項１７又は１８記載の発明を具体的にする
ものであり、前記白黒反転領域設定手段は、連結成分数
が所定の閾値以下である場合、白黒反転領域の設定処理
を行う構成である。

【００６２】本例は上記請求項８の記載に対応する構成
であり、当該構成を表認識装置に適用するものである。
すなわち、白黒反転領域の設定に際し連結成分数を計算
し、該連結成分数が所定の閾値以内である時白黒反転領
の決定を行うことにより確実に白黒反転領域セルを識別
でき、白黒反転領域に対して正確に反転処理を施した状
態で文字認識等の認識処理を行える表認識装置を提供で
きる。

【００６３】請求項２３の記載は、上記請求項１７又は
１８記載の発明を具体的にするものであり、前記領域抽
出手段は孤立した罫線候補を抽出し、該孤立した罫線候
補の周辺に前記白黒反転候補領域が存在する時、前記孤
立した罫線候補も白黒反転候補領域に統合する孤立罫線
統合手段を有する構成である。

【００６４】本例は上記請求項１０の記載に対応する構
成であり、当該構成を表認識装置に適用するものであ
る。すなわち、黒画素密度の高い領域をマスク走査方向
に直交する方向で統合した結果、その領域の線幅が所定
の閾値以下であれば罫線候補として抽出し、当該罫線候
補の周辺に前記白黒反転候補領域が存在する時、白黒反
転候補領域とする。このように構成することにより、例
えば“かすれ”により孤立した罫線候補と判断された場
合でも、孤立罫線統合手段によって白黒反転候補領域に
統合され、白黒反転領域の正確な領域に対して反転処理
を施した状態で文字認識等の認識処理を行える表認識装
置を提供できる。

【００６５】請求項２４の記載は、上記請求項１７記載
の発明を具体的にするものであり、前記線分セグメント
列には、例えば該線分セグメント列が白黒反転領域であ
ることを示す属性が付加されている構成である。

【００６６】本例は上記請求項１２の記載に対応する構
成であり、当該構成を表認識装置に適用するものであ
る。すなわち、線分セグメント列は白黒反転領域に対応
するものであり、当該線分セグメント列に白黒反転領域
に対する位置の属性として、上下又は左右等の属性を付
加することにより、線分セグメント列の位置が明確とな
り、白黒反転セルと通常セルとの区別も簡単になり、表
認識処理を容易とする表認識装置が提供できる。

【００６７】請求項２５の記載は、上記請求項１７又は
１８記載の発明を具体的にするものであり、前記白黒反
転領域内が、例えば複数のセル領域より成る場合、前記
白黒反転領域に接続する罫線を延長して白黒反転領域内
の前記セル領域を抽出する構成である。

【００６８】本例は上記請求項１５の記載に対応する構
成であり、当該構成を表認識装置に適用するものであ
る。すなわち、白黒反転領域内に複数のセル領域が存在
する場合、当該白黒反転領域に対しその延長線が短冊状
に接続する罫線を利用し、白黒反転領域を複数のセルに
分割する構成である。

【００６９】このように構成することにより、１つの白
黒反転領域内に複数のセル領域が存在する場合でも、確
実にセル領域を分割することができ、正確に分割された
セル領域に対して認識処理を行うことができる表認識装
置を提供する。

【００７０】請求項２６の記載は、上記請求項２５記載
の発明を具体的にするものであり、前記白黒反転領域内
のセルを分割する際、例えば白黒反転領域に接続する罫
線を延長した領域を細分割して黒画素密度を求める手段
を有する構成である。

【００７１】本例は白黒反転領域内をセル分割する際の
１つの方式を説明するものであり、この方式によれば白
黒反転領域内の文字列を誤ってセル分割することがない
表認識装置を提供できる。尚、白黒反転領域内をセル分
割する方式は上記例に限るものではない。

【００７２】請求項２７記載の発明は上記課題を解決す
るため、表形式の２値イメージデータに対し、水平方向
に長い線分抽出マスクを用いて水平方向に走査し、垂直
方向に長い線分抽出マスクを用いて垂直方向に走査し、
黒画素密度が所定の閾値より高い領域をそれぞれ抽出す
る機能と、該機能で抽出した前記黒画素密度の高い領域
をそれぞれのマスク走査方向に直交する方向で統合する
機能と、該機能で統合した領域の線幅が所定の閾値以上
であれば白黒反転候補領域であるとし、該白黒反転候補
領域をそれぞれのマスク走査方向に統合する機能と、該
機能で統合した白黒反転候補領域の輪郭に対し、水平方
向及び垂直方向の線分セグメント列を作成する機能と、
該機能で作成された水平方向の線分セグメント列と垂直
方向の線分セグメント列で囲まれた領域を白黒反転領域
に設定する機能とをコンピュータに実行させる命令を含
むプログラムを格納した前記コンピュータが読み取り可
能な記憶媒体を提供することにより達成できる。

【００７３】本発明は上記処理を行うプログラムをハー
ドディスク、ＩＣメモリカード、磁気テープ、フロッピ
ーディスク、又は光ディスクなどの記憶媒体に記憶する
構成であり、プログラムの実行の際、上記記憶媒体から
プログラムを読み出して実行する。

【００７４】請求項２８記載の発明は上記課題を解決す
るため、表形式の２値イメージデータに対し、水平方向
に長い線分抽出マスクを用いて水平方向に走査し、垂直
方向に長い線分抽出マスクを用いて垂直方向に走査し、
黒画素密度が所定の閾値より高い領域をそれぞれ抽出す
る機能と、該機能で抽出した前記黒画素密度の高い領域
をそれぞれのマスク走査方向に直交する方向で統合する
機能と、該機能で統合した領域の線幅が所定の閾値以上
であれば白黒反転候補領域であるとし、該白黒反転候補
領域をそれぞれのマスク走査方向に統合する機能と、該
機能で統合した水平方向の白黒反転候補領域と垂直方向
の白黒反転候補領域の重なり状態により白黒反転領域を
設定する機能とをコンピュータに実行させる命令を含む
プログラムを格納した前記コンピュータが読み取り可能
な記憶媒体を提供することにより達成できる。

【００７５】本発明も上記処理を行うプログラムをハー
ドディスク、ＩＣメモリカード、磁気テープ、フロッピ
ーディスク、又は光ディスクなどの記憶媒体に記憶する
構成であり、プログラムの実行の際、上記記憶媒体から
プログラムを読み出して実行する。

【００７６】また、請求項２９の記載は、請求項１又は
２記載の発明の白黒反転領域の意味を具体的に示すもの
であり、前記白黒反転領域の白黒には色の三要素によっ
て作成される任意の２色を含むものであり、例えば白と
赤、白と青、黄色と赤、黄色と緑、等各種組み合わせが
考えられる。

【００７７】さらに、請求項３０の記載も同様に、請求
項１７又は１８記載の発明の白黒反転領域の意味を具体
的に示すものであり、前記白黒反転領域の白黒には色の
三要素によって作成される任意の２色を含むものであ
り、白と赤、白と青、黄色と赤、黄色と緑、等各種組み
合わせが考えられる。

【００７８】

【発明の実施の形態】以下、本発明の実施形態例を図面
を用いて詳細に説明する。図１は本実施形態例の白黒反
転領域認識装置を含む表認識装置のシステム構成図であ
る。本例は、例えば表計算ソフトや帳票フォーム等に使
用される表の中の白黒反転領域を抽出するため、ｍ×ｎ
の線分抽出マスクを用い、局所的に黒画素密度の高い領
域を求め、それらの統合により局所的に存在する白黒反
転領域の抽出を可能にするものである。

【００７９】同図において、１は様々な処理を行う中央
演算処理ユニット（ＣＰＵ）、２は上記ＣＰＵ１で実行
されるプログラムを格納するプログラムメモリ、３は画
像データをビットマップ形式で格納する画像メモリ、４
は画像処理に使用するワークメモリ、５は画像を光学的
に読み取るスキャナ、６はスキャナ５により読み取られ
た情報を一時的に格納するメモリ、７は各文字画像の特
徴を格納した辞書ファイル、８は認識結果を表示するデ
ィスプレイ、９は認識結果を印刷するプリンタ、１０は
ディスプレイ８及びプリンタ９のインターフェイス回
路、１１はＣＰＵ１、プログラムメモリ２、画像メモリ
３、ワークメモリ４、メモリ６、辞書ファイル７、イン
ターフェイス回路１０及びドライバ１２を接続している
バス、１３はハードディスク、１４はＩＣメモリカー
ド、１５は磁気テープ、１６はフロッピーディスク、１
７はＣＤ−ＲＯＭなどの光ディスクである。

【００８０】本装置のシステムは、スキャナ５により読
み取った画像データをメモリ６に一時的に格納し、その
画像データをビットマップ形式で画像メモリ３に展開す
る。そして、画像メモリ３からワークメモリ４にコピー
された２値画像データに対してパターン抽出処理を行
う。その結果に基づいて、スキャナ５により読み取った
画像データから文字画像の切り出しを行い、切り出され
た文字画像の特徴と辞書ファイル７に格納された特徴デ
ータとの比較を行い、その認識結果をディスプレイ８又
はプリンタ９に出力する。

【００８１】このシステムにおいて、白黒反転領域の抽
出は、プログラムメモリ２に格納されたプログラムに従
って処理を行うＣＰＵ１の機能として実現される。ここ
で、白黒反転領域抽出処理を行うプログラムは、プログ
ラムメモリ２のＲＯＭに予め格納されている。また、白
黒反転領域抽出処理を行うプログラムを、ハードディス
ク１３、ＩＣメモリカード１４、磁気テープ１５、フロ
ッピーディスク１６、又は光ディスク１７などの記憶媒
体からプログラムメモリ２のＲＡＭにロードしてから、
このプログラムをＣＰＵ１で実行させるようにしてもよ
い。

【００８２】さらに、白黒反転領域抽出処理を行うプロ
グラムを、通信インターフェイスを介して通信ネットワ
ークから取り出すこともできる。例えば、通信インター
フェイス１９と接続される通信ネットワークとして、例
えば、ＬＡＮ（ＬｏｃａｌＡｒｅａ Ｎｅｔｗｏｒ
ｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒ
ｋ）、インターネット、アナログ電話網、デジタル電話
網（ＩＳＤＮ：Ｉｎｔｅｇｒａｌ Ｓｅｒｖｉｃｅ Ｄ
ｉｇｉｔａｌ Ｎｅｔｗｏｒｋ）、ＰＨＳ（パーソナル
ハンディシステム）や衛星通信などの無線通信網などを
用いることができる。

【００８３】次に、図２に示す処理は、上述のようにプ
ログラムメモリ２に記憶されたプログラムに基づいて、
ＣＰＵ１が行う認識処理である。同図において、ＣＰＵ
１は、先ず画像入力２０の処理を行い、前述のように画
像メモリ３に記憶した画像データ（イメージデータ）の
入力処理を行う。次に、線分抽出マスクを用いてイメー
ジデータを順次抽出する線分抽出２１の処理を行う。例
えば、この線分抽出マスクは縦×横がｍ×ｎのドット抽
出マスクであり、線分を抽出するマスクであるので、水
平方向の線分を抽出する場合、水平方向に長い（例えば
１×６、１×３０等）のマスクを使用し、垂直方向の線
分を抽出する場合、垂直方向に長い（例えば６×１、３
０×１等）のマスクを使用する。そして、上述のような
水平方向に長い線分抽出マスク、又は垂直方向に長い線
分抽出マスクを使用し、イメージデータを順次切り出
し、切り出したデータに含まれる黒画素数が一定のスレ
ッショルド値（閾値）以上である時、全て黒画素成分の
線分とする。

【００８４】次に、白黒反転領域抽出２２の処理を行
う。この処理は、上述の線分抽出２１の処理で水平方向
に長い線分、又は垂直方向に長い線分を統合し、統合し
た領域が罫線であるか、又は白黒反転領域であるか判別
し、白黒反転領域を抽出する。この判別には所定の閾値
が使用され、所定の閾値以上の線幅を有する統合線分に
対し白黒反転領域の対象線分とする。

【００８５】次に、セル領域抽出２３では、上記線分抽
出２１の処理で抽出された線分の中で上記白黒反転領域
抽出２２にもれた線分、すなわち統合線分の中で所定の
閾値以下の線幅の統合線分を罫線候補とし、セル領域の
抽出処理を行う。

【００８６】次に、セル内項目抽出２４の処理は、セル
領域抽出２３の処理により抽出されたセル領域内の項
目、及び白黒反転領域抽出２２の処理によって抽出され
た白黒反転領域に対し白黒反転処理を行い、反転処理後
の例えば文字列に対しセル内項目抽出処理を行う。

【００８７】そして、最後にセル内の項目データに対
し、文字認識２５の処理を行う。この処理は、例えば抽
出した項目内の文字（ビットマップデータ）に対し、予
め前述の辞書７に登録された文字の特徴データと比較す
ることにより、特徴の一致した文字データ、又は最も特
徴が近似する文字データを認識文字とする。

【００８８】図３は上述の処理を具体的に説明するシス
テム構成図である。尚、同図において、画像入力部３０
は、上述の図２で説明した画像入力２０の処理を行うも
のであり、線分抽出部３２は同じく図２の線分抽出２１
の処理を行うものである。また、同図に示す線分統合部
３３、罫線抽出部３４、白黒反転領域決定部３５、白黒
反転領域内セル決定部３６、画素反転部３７は、図２の
白黒反転領域抽出２２の処理に対応する各部である。

【００８９】尚、図３の画像領域格納部３１は、図１の
ワークメモリ４のエリアの一部である。 ＜第１の実施形態例＞以下、上述のシステム構成を使用
し、第１の実施形態例について説明する。

【００９０】先ず、図４に示すフローチャートは本例の
処理を説明するものである。以下、同図に従って説明す
る。尚、前述の画像メモリ３には既にスキャナ５から表
形式の例えば帳票の原稿が読み込まれ、バス１１を介し
て対応するイメージデータが格納されているものとす
る。

【００９１】先ず、ＣＰＵ１は画像メモリ３に格納され
たイメージデータを読み出し、線分抽出２２及び白黒反
転領域抽出２３の各処理を行う。これらの処理は水平方
向、又は垂直方向に対して別々に行う。本例の説明で
は、図４に記載の左側の処理である水平方向処理から説
明する。

【００９２】先ず、水平方向の線分抽出処理（ステップ
（以下Ｓで示す）１）は、水平方向に長い線分抽出マス
クを用いて行う。この線分抽出マスクとしてはｍ×ｎ
が、例えば１×６（尚、線分抽出マスクとしては１×６
のマスクに限らず、１×１５、１×３０等のマスクも使
用することができる）のマスクを使用する。

【００９３】図５は上述の線分抽出処理（Ｓ１）を具体
的に説明するフローチャートである。この処理は同図に
示すように、先ず上述の線分抽出マスクで対応する１×
６の領域を切り取り、その中の黒画素数をマスクサイズ
で割り算した値（マスク内のパターン黒画素数／マスク
サイズ）が予め設定した閾値より大きいか判断する（Ｓ
１−１）。この結果、割り算した値が所定の閾値より大
きい時、線分抽出マスクで切り取られた線分（すなわ
ち、細く比較的短い線分）には黒画素数が多く、この場
合マスク内を全て線分とする（黒画素とする）（Ｓ１−
１がＹＥＳ、Ｓ１−２）。一方、マスク内の黒画素数を
マスサイズで割り算した値が閾値より小さい時、線分抽
出マスクで切り取られた領域には黒画素数が少なく、切
り取った領域は線分ではないと判断する（Ｓ１−１がＮ
Ｏ）。

【００９４】図６は上述の処理を具体的に説明する図で
あり、例えば、ｍ×ｎ（縦×横）が１×６の画素（ドッ
ト）の領域を指定する線分抽出マスクにより、水平方向
成分を抽出する場合を説明するものである。同図（ａ）
は互いに重なり合ったマスク領域「１」〜「９」を示
し、同図（ｂ）のイメージデータに対し、上記線分抽出
マスクを用いてマスク処理を行うことにより、水平方向
の線分が抽出されることを示す。この処理により、多数
の極めて細く短い領域（ｍ×ｎが１×６の線分）が、水
平方向及び垂直方向に抽出される。

【００９５】次に、図４に示す線分統合処理（Ｓ２）を
実行する。この線分統合処理の具体例は、上述の図５に
示す判断（Ｓ２−１）と統合処理（Ｓ２−２）であり、
また上記統合処理の際、図４に示す白黒反転領域候補抽
出処理（Ｓ３）も同時に実行される（尚、上述の白黒反
転領域候補抽出処理（Ｓ３）の具体的な処理は図７のフ
ローチャートに従って行われる）。また、線分統合処理
は、図３に示した線分統合部３３が行う処理である。す
なわち、前述の図４の処理（Ｓ１）に従って、抽出され
た線分に対し上下の線分、又は左右の線分が接している
か判断し（Ｓ２−１）、接している線分があれば（Ｓ２
−１がＹＥＳ）、これらを統合し（Ｓ２−２）、矩形領
域を作成する（Ｓ２−３）。

【００９６】ここで、線分統合部３３は第１の統合手段
としての機能、及び第２の統合手段としての機能を有
し、先ず始めには第１の統合手段としての機能として、
上記線分の上下方向（垂直方向）を統合する。すなわ
ち、上述のように線分抽出マスクを用いて水平方向に領
域（線分）を切り取った場合、その領域と直交する方向
（垂直方向）の他の領域（線分）を統合する。この場
合、統合領域（線分）間の距離が所定のスレッショルド
値（ｔｈｄ）より短くなければならず（Ｓ３−１）、上
記スレッショルド値（ｔｈｄ）より線分間の距離が長い
場合、接すると判断しない。この場合、線分間の距離が
離れすぎているため、同じ線分とは見なせないためであ
る。また、この統合は線分間の長さが同じ場合に行われ
（Ｓ３−２）、長さが違う場合には部分的な統合を行う
（Ｓ３−３）。

【００９７】以上の処理により水平方向に１×６の領域
（線分）は、当該領域に黒画素数が所定の閾値以上あれ
ば垂直方向に延びてゆき、上述の処理によって統合した
領域（線分）の幅が所定の閾値を越えれば白黒反転候補
領域とする。そして、白黒反転領域と判断された場合、
次に統合線分をマスク走査方向に統合する。

【００９８】この処理が線分統合部３３の第２の機能で
ある。この統合処理は、マスク走査方向に隣り合う白黒
反転候補領域を順次統合するものである。そして、この
ようにして白黒反転候補領域がマスク走査方向に延びて
ゆき、上述の矩形領域が形成される（Ｓ２−３）。

【００９９】図８及び図９は上述の線分統合処理の結果
を示す図である。尚、図８は統合領域内に“かすれ”等
がない場合を示し、図９は統合領域内に“かすれ”等が
ある場合を示す。

【０１００】先ず、図８の例について説明すると、同図
に示す、は線幅がスレッショルド値以上（閾値以
上）の領域を統合した線分である。すなわち、水平方向
に長いｍ×ｎの線分抽出マスクを使用し、垂直方向、及
び水平方向に統合した結果得られた線幅がスレッショル
ド値（同図に示すスレッショルド値（ｔｈｄ１））以上
の線分であり、白黒反転候補領域である。尚、水平方向
に長いｍ×ｎの線分抽出マスクの大きさを、例えばＭと
すると同図に示す大きさの関係が白黒反転候補領域との
間にある。

【０１０１】一方、図９は、上述のように統合領域内に
“かすれ”部分を含む例であり、同図に示す’、
”、は線幅がスレッショルド値以上（同図に示すス
レッショルド値（ｔｈｄ１））の領域を統合した線分で
ある。これらの線分も白黒反転候補領域の線分である
が、図９の’−”の線分は、図８の線分に比較し
て“かすれ”部分に対応する部分が削られた状態であ
る。この理由は、前述の統合処理の際垂直方向への統合
線分距離が足りず、垂直方向への統合処理が厚く行われ
ず（Ｓ３−１が（＞ｔｈｄ））、細い統合線分となった
ものである。

【０１０２】次に、図４に示す罫線候補抽出処理（Ｓ
４）を行う。この処理は前述の図３に示す罫線抽出部３
４が行う処理である。この処理を具体的に説明する図が
図１０に示すフローチャートである。先ず、前述の処理
により統合された統合線分の中で白黒反転候補領域に含
まれない統合線分を抽出する（Ｓ４−１）。次に上記抽
出処理により抽出された統合線分に対し、当該統合線分
の線幅が所定のスレッショルド値（ｔｈｄ１）より狭い
か判断する（Ｓ４−２）。ここで、当該統合線分の線幅
が所定のスレッショルド値（ｔｈｄ１）より狭い時、罫
線候補とする（Ｓ４−２）。

【０１０３】ここで、前述の図８、図９を用いて説明す
ると、スレッショルド値（ｔｈｄ１）が両図に示す幅の
時、統合線分の、’、、’は罫線候補となる。
また、図９の場合、統合線分、’、”、、’
が罫線候補となる。図８と図９を比べて異なる部分は罫
線候補に”が“かすれ”のある図９に存在することで
ある。尚、図４の罫線抽出処理（Ｓ５）は、上述の罫線
候補抽出処理によって抽出された罫線候補をマスク走査
方向に統合し、水平方向に長い線分を作成するものであ
る。

【０１０４】次に、図４の孤立罫線抽出処理（Ｓ６）を
行う。この処理を具体的に説明する図が図１１のフロー
チャートである。この処理は、上述の罫線候補抽出処理
により抽出された罫線に対し、左右、又は上下に距離の
スレッショルド値（ｔｈｄ２）以内に白黒反転候補領域
が存在するか判断するものである（Ｓ６−１）。前述の
図８の例の場合、統合線分、’、、’は上述の
孤立罫線にあたらない。すなわち、統合線分の、に
は線分の右側に白黒反転候補領域又はが存在する
が、線分の左側には白黒反転候補領域が存在しないから
である。また、統合線分の’、’には線分の左側に
白黒反転候補領域、が存在するが、線分の右側には
白黒反転候補領域が存在しないからである。

【０１０５】一方、図９の例の場合、統合線分、
’、、’については上述の図８の例と同じである
が、統合線分”の場合異なる。すなわち、統合線分
”の左右には白黒反転候補領域’、”が存在する
（Ｓ６−１がＹＥＳ）。したがって、統合線分”は孤
立罫線として抽出される。

【０１０６】次に、図４の孤立罫線と白黒反転候補領域
の統合処理（Ｓ７）を行う。この処理は図３に示す白黒
反転領域決定部３５が行う処理である。この処理を具体
的に説明する図が図１２のフローチャートである。この
処理は、上述の処理（Ｓ６）によって抽出した孤立罫線
を囲む上下、又は左右の白黒反転候補領域に外接する矩
形領域の算出を行うものである（Ｓ７−１）。すなわ
ち、上述のように孤立罫線は、例えば図９の”の統合
線分であり、その左右には白黒反転領域’と”が位
置する。したがって、同図の”に示すような孤立罫線
を両側の白黒反転領域’、”に統合する処理を行
う。具体的には図９に□印で囲うの矩形領域を算出す
る。

【０１０７】以上の説明に従って水平方向に対する白黒
反転領域の抽出、及び罫線領域の抽出処理が完了する。
また、以上の処理は、水平方向に対する白黒反転領域、
及び罫線領域の抽出処理であるが、垂直方向に対しても
同様に行う。

【０１０８】すなわち、図４に示すフローチャートの右
側の処理であり、垂直方向に長い線分抽出マスクを用い
て垂直方向の線分抽出処理（ステップ（以下Ｓ’で示
す）１）を行い、抽出した線分に対して線分統合処理を
行う（Ｓ２’）。この具体的な処理は、前述と同様、図
５及び図７のフローチャートに従って行われる。次に、
白黒反転候補領域抽出処理（Ｓ３’）を行い、白黒反転
候補領域を抽出し、罫線候補抽出処理（Ｓ４’）を行
い、罫線抽出を行う（Ｓ５’）。さらに孤立罫線に対す
る抽出処理を行い（Ｓ６’）、最後に垂直方向に対する
白黒反転候補領域の統合処理（Ｓ７’）を行う。尚、上
述の各処理共、水平方向の場合と同様、図１０〜図１２
の具体的なフローチャートに従って実行される。

【０１０９】以上の処理により、垂直方向に対する白黒
反転領域、及び罫線領域の抽出処理も終了し、次に水平
／垂直の白黒反転候補領域の統合処理に移行する（図４
のＳ８）。

【０１１０】図１３はこの処理を具体的に説明するフロ
ーチャートである。また、図１４は図１３のフローチャ
ートに沿ってその処理を説明する図である。先ず、図１
３のフローチャートに従って、水平方向の白黒反転候補
領域を抽出する（Ｓ８−１）。この白黒反転候補領域は
図１４の’、”、及びである。次に、水平方向の
白黒反転領域に重なる垂直方向の白黒反転領域の抽出を
行う（Ｓ８−２）。この白黒反転候補領域は図１４に示
す、である。尚、この垂直方向の白黒反転候補領域
は、図４の白黒反転領域抽出処理（Ｓ３’）において抽
出された領域である。

【０１１１】次に、水平方向の白黒反転候補領域と垂直
方向の白黒反転候補領域の重なっている部分の面積を算
出する（Ｓ８−３）。すなわち、図１４の水平方向の白
黒反転候補領域’と垂直方向の白黒反転候補領域が
重なった領域Ａ、白黒反転候補領域”と垂直方向の白
黒反転候補領域が重なった領域Ｂ、水平方向の白黒反
転候補領域と垂直方向の白黒反転候補領域が重なっ
た領域Ｃ、白黒反転候補領域と垂直方向の白黒反転候
補領域が重なった領域Ｄの各面積を計算し、上記Ａ、
Ｂ、Ｃ、Ｄの面積を加算する。

【０１１２】次に、上述の処理によって算出した重なっ
た領域の面積を利用し、以下の計算を行う。すなわち、
（重なっている部分の面積）／水平方向の白黒反転領域
の面積を計算し、この値とスレッショルド値（ｔｈｄ
３）を比較する（Ｓ８−４）。そして、（重なっている
部分の面積）／水平方向の白黒反転領域の面積がスレッ
ショルド値（ｔｈｄ３）より大きい時（≧ｔｈｄ３）、
水平方向の白黒反転候補領域と垂直方向の白黒反転候補
領域が外接する矩形領域を算出する（Ｓ８−６）。すな
わち、この場合、水平方向の白黒反転候補領域と垂直方
向の白黒反転領域の（重なっている部分の面積）が大き
い場合であり、白黒反転領域であると識別してもよい場
合である。一方、上述の判断（Ｓ８−４）において、
（重なっている部分の面積）／水平方向の白黒反転領域
の面積がスレッショルド値（ｔｈｄ３）より小さい時
（＜ｔｈｄ３）、水平方向の白黒反転候補領域と垂直方
向の白黒反転領域の（重なっている部分の面積）が小さ
く、白黒反転領域であると識別できない場合である。

【０１１３】但し、この場合更に次の判断（Ｓ８−５）
を実行する。すなわち、上述とは逆に（重なっている部
分の面積）／垂直方向の白黒反転領域の面積を計算し、
この値とスレッショルド値（ｔｈｄ３）を比較する。そ
して、（重なっている部分の面積）／垂直方向の白黒反
転領域の面積がスレッショルド値（ｔｈｄ３）より大き
い時（≧ｔｈｄ３）、垂直方向に対する（重なっている
部分の面積）の比は大きいものであるとして、白黒反転
候補領域と垂直方向の白黒反転候補領域を外接する矩形
領域を算出する（Ｓ８−６）。すなわち、この場合、水
平方向の白黒反転候補領域と垂直方向の白黒反転領域の
（重なっている部分の面積）は、垂直方向の白黒反転候
補領域の面積に対しては充分大きいものであり、白黒反
転領域であると識別してもよいと判断できるからであ
る。

【０１１４】以上の処理により、水平方向の白黒反転候
補領域と垂直方向の白黒反転候補領域が外接する矩形領
域を算出すると、図１４の□印で囲った実線領域Ｅとな
る。すなわち、この領域が水平方向及び垂直方向の白黒
反転候補領域から識別した白黒反転領域である。

【０１１５】但し、本例では上記水平／垂直の白黒反転
候補領域の統合処理で得られた結果から直ちに白黒反転
領域を決定するのではなく、次の白黒反転領域内の連結
成分の算出処理（図４のＳ９）を実行し、この結果に基
づき白黒反転領域の決定処理を行う（図４のＳ１０）。
以下、具体的に説明する。

【０１１６】先ず、連結成分の算出は図１５に示すフロ
ーチャートに従って実行され、例えば白黒反転領域内を
ラベリングして連結成分数を算出する（Ｓ９−１）。す
なわち、連結成分数の算出は、例えば白黒反転領域内の
独立する黒印字部にラベルを付し、そのラベル数（連結
成分数）を算出する処理である。したがって、例えば白
黒反転領域内に網点等が有る場合、当該黒ドット数（ラ
ベル数、連結成分数）は極めて大きな値となる。

【０１１７】次に、白黒反転領域の決定処理を行う（Ｓ
１０）。この決定処理は図１６に示す処理によって行わ
れ、上述の連結成分が所定のスレッショルド値（ｔｈｄ
４）以上であれば白黒反転候補領域を棄却し、連結成分
が所定のスレッショルド値以下であれば白黒反転候補領
域を白黒反転領域として決定する（Ｓ１０−１）。

【０１１８】すなわち、前述のように算出した連結成分
数が予め設定された閾値以下であるか識別する処理であ
り、例えば網点等の模様が白黒反転領域に付加されてい
る場合、この処理によって識別され、このような模様が
付加されたセルは本来の白黒反転領域（白黒反転セル）
と確実に識別され、白黒反転領域から排除される。

【０１１９】ここで、例えば図１７に示す例の場合、黒
印字部は背景の黒部１個と、文字列「会社名」に含まれ
る独立の黒印字部（例えば６個）の合計７個である。し
たがって、この場合連結成分数のスレッショルド値（ｔ
ｈｄ４）を「１０」とすれば判断（Ｓ１０−１）は（≦
ｔｈｄ４）であり、この場合白黒反転領域である。

【０１２０】次に、上述の処理により決定した白黒反転
領域の輪郭セグメント表現を行う（Ｓ１１）。この処理
は具体的には図１８のフローチャートに従って処理され
る。すなわち、白黒反転領域の外郭に位置する抽出済み
線分に着目し、線分の線幅を白黒反転領域の外側方向
（線分の放線ベクトルの外側方向）に増分する（Ｓ１１
−１）。そして、線分の矩形の頂点座標を格納する（Ｓ
１１−２）。

【０１２１】具体的には図１９に示すように、水平方向
と垂直方向の線分抽出マスクによって抽出される領域
（線分）は、元々の画像の傾き等により最大４度程度傾
く場合があり、抽出する領域（線分）も上下、左右にず
れて抽出される。このため、上述のように線分の線幅を
白黒反転領域の外側方向に増分する補正を行う。

【０１２２】次に、白黒反転領域の属性付与処理を行う
（Ｓ１２）。この処理は、具体的には図２０に示すフロ
ーチャートの如く、上述の処理で作成した輪郭セグメン
トの白黒反転領域における位置情報を属性データとして
格納する（Ｓ１２−１）。例えば、上述の図１９の線分
セグメント列の例で説明すると、白黒反転領域の上側に
位置する線分セグメント列ａ１〜ａ４には白黒反転領域
の「上」の位置を示す属性が付加され、線分セグメント
列ｂ１、ｂ２には白黒反転領域の「右」の位置を示す属
性が付加され、白黒反転領域の下側に位置する線分セグ
メント列ｃ１〜ｃ４には白黒反転領域の「下」の位置を
示す属性が付加され、線分セグメント列ｄ１、ｄ２には
白黒反転領域の「左」の位置を示す属性が付加される。

【０１２３】このように構成することにより、当該白黒
反転領域を囲う線分セグメント列には上記属性が付加さ
れ、例えばこれらの属性をワークメモリ４に線分セグメ
ント列の位置情報と共に格納しておくことにより、後に
表認識処理を行う際、当該線分セグメント（列）が白黒
反転領域を囲うセグメント（列）であり、しかもその属
性データから白黒反転領域のどの位置に対応するか容易
に判断できる。

【０１２４】次に、白黒反転領域内のセル分割を行う
（図４のＳ１３）。尚、この処理は図３に示す白黒反転
領域内セル決定部３６が行う処理である。すなわち、白
黒反転領域内が複数のセルで構成されている場合もあ
り、上述のように設定した白黒反転領域内をセル分割す
る。

【０１２５】この処理を具体的に説明するフローチャー
トが図２１である。先ず、白黒反転領域に接する罫線で
輪郭セグメントから距離（スレッショルド値（ｔｈｄ
５））以上離れた罫線を抽出する（Ｓ１３−１）。例え
ば、白黒反転領域が水平方向に形成されている場合、垂
直方向の罫線を抽出する。次に、罫線を白黒反転領域内
へ延長した短冊領域を抽出する（Ｓ１３−２）。すなわ
ち、上述のように抽出した垂直方向の罫線を白黒反転領
域内に延長し、白黒反転領域を例えば短冊状に分割す
る。そして、短冊領域の白画素密度が所定のスレッショ
ルド（ｔｈｄ５）より少ないか判断する（Ｓ１３−
３）。すなわち、この処理は白黒反転領域を短冊状に分
割する際、罫線を延長した白黒反転領域の位置に白黒反
転文字が存在する場合、この位置を罫線で仕切ることが
できないので、白黒反転文字の存在を確認するために行
う処理である。したがって、例えば垂直方向に長い線分
抽出マスクを使用し、対象となる白黒反転領域内を線分
抽出マスクで黒画素数の抽出処理を行い、黒画素数が少
ない場合、すなわち白画素数が多い場合、当該位置には
白黒反転文字が存在し、セル分割できない位置であるこ
とが分かる。

【０１２６】ここで、上述の短冊領域の白画素密度が所
定のスレッショルド値（ｔｈｄ５）より少ない場合、短
冊領域の白黒反転領域の輪郭セグメント化を行う（Ｓ１
３−４）。そして、上述のセル分割した各白黒反転領域
の輪郭セグメント表現と属性付与を行う（Ｓ１３−
５）。

【０１２７】最後に、白黒反転領域の画素反転処理を行
う（Ｓ１４）。尚、この処理は図３の画素反転部３７が
行う処理である。図２２はこの具体的処理を説明するフ
ローチャートである。先ず、白黒反転領域を分割した輪
郭セグメント内の塗りつぶし処理を行う（Ｓ１４−
１）。次に、白黒反転領域の輪郭セグメント以外の領域
の白黒反転処理を行う（Ｓ１４−２）。すなわち、上記
塗りつぶし手段によって白黒反転領域の輪郭部分を、例
えば黒色で塗りつぶして枠取りし、その中の白黒反転領
域に対してのみ反転処理を行うものである。例えば、図
１９の例で説明すると、線分セグメント列ａ１〜ａ４、
ｂ１、ｂ２、ｃ１〜ｃ４、ｄ１、ｄ２を黒色で塗りつぶ
し、その中の白黒反転領域に対して白黒反転処理を行
う。

【０１２８】以上のようにして、白黒反転領域に対する
白黒反転処理を行うと、白黒反転領域内の白抜き文字は
白黒反転し、黒印字となる。尚、図２３は上述の白黒反
転処理により反転処理を行った後の状態を示す図であ
る。

【０１２９】以上のように本例の白黒反転領域識別装置
は水平方向に長い線分抽出マスクと、垂直方向に長い線
分抽出マスクを使用し、統合処理によって白黒反転候補
領域を設定し、白黒反転領域を識別するものであり、白
黒反転領域を正確に識別できる装置である。

【０１３０】尚、本例の白黒反転領域識別装置におい
て、白黒反転領域の決定に連結成分数を算出し、該連結
成分数が所定のスレッショルド値（ｔｈｄ４）以下の時
白黒反転領域と決定したが、本発明は必ずしも連結成分
数の算出、及び該連結成分数による決定処理を必要とす
るものではない。

【０１３１】また、本例の説明では白黒反転領域の設定
に図４の処理（Ｓ９）を実行し、（重なっている部分の
面積）／垂直方向の白黒反転領域の面積を計算し、この
値とスレッショルド値（ｔｈｄ３）を比較する処理を行
って白黒反転領域の設定を行ったが、水平方向及び垂直
方向の白黒反転候補領域を輪郭線で囲い、当該領域を白
黒反転領域に設定してもよい。

【０１３２】また、水平方向の線分セグメント列を抽出
し、この線分セグメント列に対して垂直方向の罫線情報
を用い、水平方向の線分セグメント列と垂直方向の罫線
で仕切られた領域を白黒反転領域に設定してもよい。ま
た、必ずしも線分セグメント列を使用する必要はなく、
水平方向の白黒反転候補領域をそのまま使用し、水平方
向の白黒反転候補領域を垂直方向の罫線で仕切り、白黒
反転領域に設定してもよい。

【０１３３】図２４は上述の処理によって白黒反転領域
を設定する例である。すなわち、同図（ａ）は水平方向
の白黒反転候補領域、と、垂直方向の罫線’、
’で仕切られた領域を白黒反転領域に設定するもので
ある。また、同図（ｂ）に示すもう１つの例は、水平方
向の白黒反転候補領域、が同じ長さである時、両白
黒反転領域、間を白黒反転領域と認定するものであ
る。このように構成することによっても白黒反転領域を
正確に抽出することができる。

【０１３４】一方、上述とは逆に、垂直方向の線分セグ
メント列を抽出し、この線分セグメント列に対して水平
方向の罫線情報を用い、垂直方向の線分セグメント列と
水平方向の罫線で仕切られた領域を白黒反転領域に設定
しても良い。また、必ずしも線分セグメント列を使用す
る必要はなく、垂直方向の白黒反転候補領域をそのまま
使用し、水平方向の罫線で仕切り、白黒反転領域を設定
してもよい。 ＜第２の実施形態例＞次に、本発明の第２の実施形態例
について説明する。

【０１３５】尚、本例は上述の白黒反転領域識別装置に
よって白黒反転領が抽出され、当該領域に白黒反転処理
を施すと共に、当該白黒反転領域及び通常のセル内の文
字列に対して認識処理を行い、表全体の認識処理を行う
表認識装置である。

【０１３６】尚、本例の処理もプログラムメモリ２に記
憶された表認識処理プログラムに従ってＣＰＵ１が実行
する。先ず、図２５は本例の表認識装置によって認識の
対象となる帳票原稿の例を示す図である。本例の帳票は
ある会社の例えば社員リストであり、会社名、社員の性
別、電話番号、名前、担当等の項目が記載され、強調等
の必要のため所定の項目には白黒反転領域が設けられて
いる。

【０１３７】この帳票原稿はスキャナー５で読みとら
れ、バス１１を介して対応するイメージデータが画像メ
モリ３に格納される。そして、先ず水平方向に長い線分
抽出マスクを用いて線分抽出処理（Ｓ１）を行い、抽出
した線分に対して線分統合処理を行う（Ｓ２）。尚、垂
直方向に対しても、同時又は水平方向の処理が完了した
後、垂直方向に長い線分抽出マスクを用いて線分抽出処
理（Ｓ１’）が行われ、抽出した線分に対して線分統合
処理を行う（Ｓ２’）。また、この線分抽出、線分統合
処理は前述の図５及び図７のフローチャートに従って行
われ、白黒反転領域セル又は通常のセルを含む罫線の抽
出が行われる。

【０１３８】図２６は、例えば上述の線分抽出、線分統
合の処理を行った後の状態の表認識結果である。同図に
示すように、白黒反転領域の一部に充分線分統合処理で
きない領域が存在する。すなわち、項目記載の中の「店
名」の記載の一部、「会社名」の記載の一部、等に確実
に線分統合できない箇所がある。尚、この箇所を同図に
Ｔ、Ｕ、Ｖ、Ｗで示す。この箇所は図２５に示す元々の
原稿の状態で“かすれ”等が存在した箇所である。

【０１３９】次に、上述のような“かすれ”の箇所に対
する処理として、孤立罫線抽出処理を行う（Ｓ６、Ｓ
６’）と、上述のような“かすれ”箇所は孤立罫線とし
て抽出される。図２７は、例えば上述の処理により抽出
される孤立罫線の状態を表認識出力したと場合の出力結
果である。同図に示すように、上述のＴ、Ｕ、Ｖ、Ｗに
対応する箇所に孤立罫線が形成されている。尚、これら
の罫線を同図にＴ’、Ｕ’、Ｖ’、Ｗ’で示す。

【０１４０】本例の表認識装置は上述のような孤立罫線
に対しては、孤立罫線と白黒反転候補領域の統合処理に
よって当該領域を全て白黒反転候補領域に補正する（Ｓ
７）。すなわち、図２７の孤立罫線Ｔ’、Ｕ’、Ｖ’、
Ｗ’の左右には何れの場合でも白黒反転候補領域が存在
し、上述の統合処理（Ｓ７）によって上記孤立罫線
Ｔ’、Ｕ’、Ｖ’、Ｗ’は両側の白黒反転候補領域に統
合される。図２８は、上述の処理により孤立罫線が白黒
反転候補領域に統合された状態を出力した結果である。

【０１４１】次に、水平／垂直の白黒反転候補領域の統
合処理（Ｓ８）、白黒反転領域内の連結成分の算出処理
（Ｓ９）、この結果に基づく白黒反転領域の決定処理
（Ｓ１０）を行った後、決定した白黒反転領域に対する
輪郭セグメントを作成する（Ｓ１１）。図２９は、決定
した白黒反転領域に対して輪郭セグメントを形成した状
態を示す図である。

【０１４２】さらに、図３０は上記白黒反転領域内に含
まれるセル領域を抽出するため白黒反転領域内セル分割
処理（Ｓ１３）を行って表認識出力した結果である。同
図に示すように、本例のセル分割処理は、例えば水平方
向に形成された白黒反転領域に対し、垂直方向の罫線４
０〜４５を白黒反転領域内に延長し、セル分割を行うも
のであり、簡単に白黒反転領域内のセル領域を分割処理
できる。また、図３０に該当する箇所は存在しないが、
白黒反転領域内のセル領域を分割する際、垂直方向の罫
線の延長線上に文字列があれば、垂直方向の線分抽出マ
スクを用いて黒画素数を検出するので簡単に分割箇所で
はないことを認識することができる。

【０１４３】以上のようにして白黒反転領域を抽出した
後、白黒反転処理（Ｓ１４）を実行することによって白
黒反転領域内には反転処理が施される。図３１は白黒反
転領域の中で、例えば「会社名」の項目領域を反転処理
した出力結果を示す。

【０１４４】一方、上記白黒反転処理により反転処理さ
れた文字列には、線幅の異常が発生し易い。すなわち、
白黒反転処理により白抜き文字が正確に黒印字されず、
例えば線幅の極めて狭い箇所や逆に広い箇所が生じる。
そこで、本例の表認識装置はこの問題に対処すべく、文
字列の整形処理を行う。

【０１４５】図３２は画素反転処理後の文字列の整形処
理を説明するフローチャートである。以下、具体的に説
明する。先ず、領域内のパターンの水平方向の平均線幅
を算出する（ステップ（以下ＳＴで示す）１）。この算
出は水平方向に白ドットが黒ドットに変わる位置からド
ット数の計数を開始し、次に黒ドットが白ドットに変わ
る位置で計数を終了する。そして、その間に計数したド
ット数を水平方向の線幅とする。次に、垂直方向に対し
ても同様に行い、領域内のパターンの垂直方向の平均線
幅を算出する（ＳＴ２）。この算出も垂直方向に白ドッ
トが黒ドットに変わる位置からドット数の計数を開始
し、次に黒ドットが白ドットに変わる位置で計数を終了
する。そして、その間に計数したドット数を垂直方向の
線幅とする。そして、上述の処理を複数回行った結果に
対してパターンの平均線幅を算出する（（水平＋垂直）
／２）（ＳＴ３）。

【０１４６】その後、上述の様にして求めた白黒反転処
理後の文字（列）の平均線幅を所定のスレッショルド値
（ｔｈｗ）と比較する（ＳＴ４）。そして、平均線幅が
所定のスレッショルド値（ｔｈｗ）以下であると判断す
る時（ＳＴ４が＜ｔｈｗ）、膨張処理を行う（ＳＴ
５）。一方、文字（列）の平均線幅が所定のスレッショ
ルド値（ｔｈｗ）以上であると判断する時（ＳＴ４が＞
ｔｈｗ）、収縮処理を行う（ＳＴ６）。すなわち、反転
した文字（列）の平均線幅がスレッショルド値（ｔｈ
ｗ）より狭い場合には膨張処理を行い、線幅が太い場合
には収縮処理を行い、反転処理後の文字（列）の整形を
行う。

【０１４７】以上のようにして、反転処理後の文字
（列）に対する整形処理を行った後、セル領域抽出２３
を実行するが、その際本例の表認識装置では既に白黒反
転領域抽出処理の際、罫線抽出と白黒反転領域に対応す
る線分セグメント列には属性が付加されているため容易
に白黒反転領域セルを囲む罫線か、又は通常セルを囲む
罫線か区別することができる。

【０１４８】例えば、図３３は上述の内容を具体的に説
明する図である。上述のように白黒反転領域に対応する
線分セグメント列には上下、左右の属性は付加されてい
るので各線分セグメント（列）が白黒反転領域のどの位
置に対応するか容易に判断できる。例えば、同図に示す
ように線分セグメント列の上下の属性に囲まれた領域は
白黒反転領域であり、上下の属性が逆の線分セグメント
列に囲まれた領域は通常のセル領域となる。

【０１４９】以上の処理の後、各セル内の文字列に対す
る認識処理を行い、帳票フォームと共に文字列に対する
認識結果を含む表出力を行う。尚、前述の図３０は最終
的な本例の表認識装置の出力結果でもある。

【０１５０】

【発明の効果】以上説明したように本発明によれば、以
下の効果が得られる。すなわち、本発明の白黒反転領域
識別装置によれば、一つのセル内の一部に白黒反転領域
が存在する場合でも正確にその領域を識別することがで
きる。また、白黒反転領域内に大きいサイズの反転文字
が存在する場合でも、本発明で使用する線分抽出マスク
は極めて細く比較的短いマスクを使用するので白黒反転
領域を正確に識別することができる。さらに、表画像が
傾いて読み出された場合でも、狭い範囲の黒画素数を認
識しつつ統合処理により白黒反転領域を識別するので、
傾斜のある状態の白黒反転領域として認識できる。

【０１５１】また、本発明の一態様によれば、白黒反転
領域に例えば“かすれ”等が存在する場合でも、孤立罫
線処理により救済するため、白黒反転領域を正確に識別
することができる。

【０１５２】また、本発明の一態様によれば、作成され
た線分セグメント列の白黒反転領域に対する位置が明確
になり、例えば白黒反転領域と通常のセル領域を区別す
る際、容易に行うことができる。

【０１５３】また、本発明の一態様によれば、白黒反転
領域を例えば短冊状に分割して水平方向又は垂直方向の
罫線によって仕切られた領域をセル領域とするので、簡
単に白黒反転領域内をセル分割することができる。

【０１５４】本発明の表認識装置によれば、一つのセル
内の一部に白黒反転領域が存在する場合でも反転領域を
正確に識別することができ、白黒反転領域内に大きいサ
イズの反転文字が存在する場合でも、その領域を正確に
識別することができ、表画像が傾いて読み出された場合
でも白黒反転領域を正確に識別することができる。

【０１５５】また、本発明によれば、処理プログラムを
ハードディスク、ＩＣメモリカード、磁気テープ、フロ
ッピーディスク、又は光ディスクなどの記憶媒体に記憶
し、必要に応じて読み出し白黒反転領域の識別、表認識
処理を行うことができる。

【図面の簡単な説明】

【図１】本実施形態例の白黒反転領域認識装置を含む表
認識装置のシステム構成図である。

【図２】ＣＰＵが行う認識処理を説明する図である。

【図３】ＣＰＵが行う処理を具体的に説明するシステム
構成図である

【図４】第１の実施形態例の処理を説明するフローチャ
ートである。

【図５】線分抽出処理（Ｓ１）を具体的に説明するフロ
ーチャートである。

【図６】ｍ×ｎ（縦×横）が１×６の画素（ドット）の
領域を指定する線分抽出マスクにより、水平方向成分を
抽出する場合を説明するものである。

【図７】線分統合処理を具体的に説明するフローチャー
トである。

【図８】線分統合処理の結果を示す図である。

【図９】線分統合処理の結果を示す図である。

【図１０】罫線抽出処理のフローチャートである。

【図１１】孤立罫線抽出処理を説明するフローチャート
である。

【図１２】孤立罫線と白黒反転候補領域の統合処理を具
体的に説明するフローチャートである。

【図１３】水平／垂直の白黒反転候補領域の統合処理を
具体的に説明するフローチャートである。

【図１４】水平／垂直の白黒反転候補領域の統合処理を
説明する図である。

【図１５】連結成分の算出処理を具体的に説明するフロ
ーチャートである。

【図１６】白黒反転領域決定のフローチャートである。

【図１７】黒印字部は背景の黒部１個と、文字列「会社
名」に含まれる独立の黒印字部（例えば６個）の合計７
個の連結成分数を説明する図である。

【図１８】白黒反転領域の輪郭セグメント表現を行う処
理を具体的に説明するフローチャートである。

【図１９】抽出する領域（線分）がずれて抽出される例
を説明する図である

【図２０】白黒反転領域の属性付与処理を具体的に示す
フローチャートである。

【図２１】白黒反転領域内セル分割のフローチャートで
ある。

【図２２】白黒反転領域の画素反転処理を説明するフロ
ーチャートである。

【図２３】白黒反転処理により反転処理を行った後の状
態を示す図である。

【図２４】白黒反転領域を設定する例である。

【図２５】第２の実施形態例を説明する表認識の対象と
なる帳票原稿の例を示す図である。

【図２６】線分抽出、線分統合の処理を行った後の状態
で表認識出力したと仮定した場合の本例の表認識装置か
らの出力結果である罫線抽出処理のフローチャートであ
る。

【図２７】抽出される孤立罫線の状態を表認識出力した
と場合の出力結果である。

【図２８】孤立罫線が白黒反転候補領域に統合された状
態を出力した結果である。

【図２９】決定した白黒反転領域に対して輪郭セグメン
トを形成した状態を示す図である。

【図３０】白黒反転領域内に含まれるセル領域を抽出す
るため白黒反転領域内セル分割処理を行って表認識出力
した結果である。

【図３１】白黒反転領域の中で、例えば「会社名」の項
目領域を反転処理した出力結果を示す図である。

【図３２】画素反転処理後の文字列の整形処理を説明す
るフローチャートである。

【図３３】白黒反転領域セルを囲む罫線か、又は通常セ
ルを囲む罫線か容易に区別できることを説明する図であ
る。

【図３４】従来例の表認識システムを説明する図であ
る。

【図３５】（ａ）はランの構成を説明する図であり、
（ｂ）は白黒反転領域を説明する図であり、（ｃ）は白
黒反転領域内の全ての領域が白黒反転領域ではないこと
を示す図である。

【符号の説明】

１ 中央演算処理ユニット（ＣＰＵ） ２ プログラムメモリ ３ 画像メモリ ４ ワークメモリ ５ スキャナ ６ メモリ ７ 辞書ファイル ８ ディスプレイ ９ プリンタ １０ インターフェイス回路 １１ バス １２ ドライバ １３ ハードディスク １４ ＩＣメモリカード １５ 磁気テープ １６ フロッピーディスク １７ 光ディスク １９ 通信インターフェイス ２０ 画像入力 ２１ 線分抽出 ２２ 白黒反転領域抽出 ２３ セル領域抽出 ２４ セル内項目抽出 ２５ 文字認識 ３０ 画像入力部 ３１ 画像領域格納部 ３２ 線分抽出部 ３３ 線分統合部 ３４ 罫線抽出部 ３５ 白黒反転領域決定部 ３６ 白黒反転領域内セル決定部 ３７ 画素反転部 ４０〜４５ 罫線

Claims (30)

【特許請求の範囲】
1. 【請求項１】 表形式の２値イメージデータに対し、水
   平方向に長い線分抽出マスクを用いて水平方向に走査
   し、垂直方向に長い線分抽出マスクを用いて垂直方向に
   走査し、黒画素密度が所定の閾値より高い領域をそれぞ
   れ抽出する領域抽出手段と、 該領域抽出手段で抽出した前記黒画素密度の高い領域を
   それぞれのマスク走査方向に直交する方向で統合する第
   １の統合手段と、 該第１の統合手段で統合した領域の線幅が所定の閾値以
   上であれば白黒反転候補領域であるとし、該白黒反転候
   補領域をそれぞれのマスク走査方向に統合する第２の統
   合手段と、 該第２の統合手段で統合した白黒反転候補領域の輪郭に
   対し、水平方向及び垂直方向の線分セグメント列を作成
   する線分セグメント列作成手段と、 該線分セグメント列作成手段で作成された水平方向の線
   分セグメント列と垂直方向の線分セグメント列で囲まれ
   た領域を白黒反転領域に設定する白黒反転領域設定手段
   と、 を備えたことを特徴とする白黒反転領域識別装置。
2. 【請求項２】 表形式の２値イメージデータに対し、水
   平方向に長い線分抽出マスクを用いて水平方向に走査
   し、垂直方向に長い線分抽出マスクを用いて垂直方向に
   走査し、黒画素密度が所定の閾値より高い領域をそれぞ
   れ抽出する領域抽出手段と、 該領域抽出手段で抽出した前記黒画素密度の高い領域を
   それぞれのマスク走査方向に直交する方向で統合する第
   １の統合手段と、 該第１の統合手段で統合した領域の線幅が所定の閾値以
   上であれば白黒反転候補領域であるとし、該白黒反転候
   補領域をそれぞれのマスク走査方向に統合する第２の統
   合手段と、 該第２の統合手段で統合した水平方向の白黒反転候補領
   域と垂直方向の白黒反転候補領域の重なり状態により白
   黒反転領域を設定する白黒反転領域設定手段と、 を備えたことを特徴とする白黒反転領域識別装置。
3. 【請求項３】 前記第１の統合手段で統合した領域の線
   幅が所定の閾値以下であると判断するとき、前記第１の
   統合手段で統合した領域を罫線であると判断する罫線判
   断手段を有することを特徴とする請求項１又は２記載の
   白黒反転領域識別装置。
4. 【請求項４】 前記罫線判断手段で判断した罫線をそれ
   ぞれのマスク走査方向に統合して罫線を作成する罫線作
   成手段を有することを特徴とする請求項３記載の白黒反
   転領域識別装置。
5. 【請求項５】 前記罫線作成手段が垂直方向の罫線を作
   成する場合、前記線分セグメント列作成手段で作成した
   水平方向の線分セグメント列と、前記垂直方向の罫線間
   で囲まれた領域を白黒反転領域とすることを特徴とする
   請求項４記載の白黒反転領域識別装置。
6. 【請求項６】 前記罫線作成手段が水平方向の罫線を作
   成する場合、前記線分セグメント列作成手段で作成した
   垂直方向の線分セグメント列と、前記水平方向の罫線間
   で囲まれた領域を白黒反転領域とすることを特徴とする
   請求項４記載の白黒反転領域識別装置。
7. 【請求項７】 前記白黒反転領域の輪郭の凹凸を吸収す
   るマージンが、前記線分セグメント列に付加されている
   ことを特徴とする請求項１、又は５、又は６記載の白黒
   反転領域識別装置。
8. 【請求項８】 前記白黒反転領域設定手段は、連結成分
   数が所定の閾値以下であるとき、白黒反転領域の設定を
   行うことを特徴とする請求項１又は２記載の白黒反転領
   域識別装置。
9. 【請求項９】 前記連結成分数を算出する算出手段と、
   該算出手段で算出した連結成分数が所定の閾値以下であ
   ることを識別する識別手段とを有することを特徴とする
   請求項８記載の白黒反転領域識別装置。
10. 【請求項１０】 孤立した罫線候補を抽出し、該孤立し
    た罫線候補の周辺に前記白黒反転候補領域が存在する
    時、前記孤立した罫線候補も白黒反転候補領域に統合す
    る孤立罫線統合手段をさらに有することを特徴とする請
    求項１又は２記載の白黒反転領域識別装置。
11. 【請求項１１】 前記孤立した罫線候補の抽出は、文字
    領域と罫線領域を区別する手段を備え、罫線抽出処理後
    に白黒反転領域を抽出することを特徴とする請求項１０
    記載の白黒反転領域識別装置。
12. 【請求項１２】 前記線分セグメント列には、該線分セ
    グメント列が白黒反転領域であることを示す属性が付加
    されていることを特徴とする請求項１記載の白黒反転領
    域識別装置。
13. 【請求項１３】 前記線分セグメント列には、白黒反転
    領域に対する前記線分セグメント列の位置が、上下又は
    左右の辺の位置情報として付加されていることを特徴と
    する請求項１２記載の白黒反転領域識別装置。
14. 【請求項１４】表のセル構造を解析する際、該セルの位
    置情報が、前記線分セグメント列に付加された上下又は
    左右の辺の位置情報と同じ場合には白黒反転セル領域と
    判断し、異なる場合には通常のセル領域と判断すること
    を特徴とする請求項１３記載の白黒反転領域識別装置。
15. 【請求項１５】前記白黒反転領域内が複数のセル領域よ
    り成る場合、前記白黒反転領域に接続する罫線を延長し
    て白黒反転領域内の前記セル領域を抽出することを特徴
    とする請求項１又は２記載の白黒反転領域識別装置。
16. 【請求項１６】前記白黒反転領域内のセルを分割する
    際、白黒反転領域に接続する罫線を延長した領域を細分
    割して黒画素密度を求める手段を有することを特徴とす
    る請求項１５記載の白黒反転領域識別装置。
17. 【請求項１７】 表形式の２値イメージデータに対し、
    水平方向に長い線分抽出マスクを用いて水平方向に走査
    し、垂直方向に長い線分抽出マスクを用いて垂直方向に
    走査し、黒画素密度が所定の閾値より高い領域をそれぞ
    れ抽出する領域抽出手段と、該領域抽出手段で抽出した
    前記黒画素密度の高い領域をそれぞれのマスク走査方向
    に直交する方向で統合する第１の統合手段と、該第１の
    統合手段で統合した領域の線幅が所定の閾値以上であれ
    ば白黒反転候補領域であるとし、該白黒反転候補領域を
    それぞれのマスク走査方向に統合する第２の統合手段
    と、該第２の統合手段で統合した白黒反転候補領域の輪
    郭に対し、水平方向及び垂直方向の線分セグメント列を
    作成する線分セグメント列作成手段と、該線分セグメン
    ト列作成手段で作成した水平方向の線分セグメント列と
    垂直方向の線分セグメント列で囲まれた領域を白黒反転
    領域に設定する白黒反転領域設定手段とを備えた白黒反
    転領域識別部と、 該白黒反転領域認識部により識別された白黒反転領域に
    対し、白黒反転処理を施す白黒反転処理手段と、 該白黒反転処理手段によって反転処理された領域に位置
    する文字列に対して認識処理を行う認識手段と、 を有することを特徴とする表認識装置。
18. 【請求項１８】 表形式の２値イメージデータに対し、
    水平方向に長い線分抽出マスクを用いて水平方向に走査
    し、垂直方向に長い線分抽出マスクを用いて垂直方向に
    走査し、黒画素密度が所定の閾値より高い領域をそれぞ
    れ抽出する領域抽出手段と、該領域抽出手段で抽出した
    前記黒画素密度の高い領域をそれぞれのマスク走査方向
    に直交する方向で統合する第１の統合手段と、該第１の
    統合手段で統合した領域の線幅が所定の閾値以上であれ
    ば白黒反転候補領域であるとし、該白黒反転候補領域を
    それぞれのマスク走査方向に統合する第２の統合手段
    と、該第２の統合手段で統合した水平方向の白黒反転候
    補領域と垂直方向の白黒反転候補領域の重なり状態によ
    り白黒反転領域を設定する白黒反転領域設定手段とを備
    えた白黒反転領域識別部と、 該白黒反転領域認識部により識別された白黒反転領域に
    対し、白黒反転処理を行う白黒反転処理手段と、 該白黒反転処理手段によって反転処理された領域に位置
    する文字列に対して認識処理を行う認識手段と、 を有することを特徴とする表認識装置。
19. 【請求項１９】 前記白黒反転処理手段は、前記白黒反
    転領域の輪郭セグメントを塗りつぶす塗りつぶし手段
    と、前記輪郭セグメント列以外の白黒反転領域を白黒反
    転する処理手段を具備することを特徴とする請求項１７
    記載の表認識装置。
20. 【請求項２０】 前記白黒反転処理手段は、セルによっ
    て分割された領域を塗りつぶすセル領域塗りつぶし手段
    を有することを特徴とする請求項１９記載の表認識装
    置。
21. 【請求項２１】 前記白黒反転処理手段によって反転処
    理された白黒反転領域に位置する文字列の線幅を算出
    し、該算出した線幅に従って前記文字列を膨張又は収縮
    処理し、前記文字列を整形することを特徴とする請求項
    １７又は１８記載の表認識装置。
22. 【請求項２２】 前記白黒反転領域設定手段は、連結成
    分数が所定の閾値以下である場合、白黒反転領域の設定
    を行うことを特徴とする請求項１７又は１８記載の表認
    識装置。
23. 【請求項２３】 前記領域抽出手段は孤立した罫線候補
    を抽出し、該孤立した罫線候補の周辺に前記白黒反転候
    補領域が存在する時、前記孤立した罫線候補も白黒反転
    候補領域に統合する孤立罫線統合手段を有することを特
    徴とする請求項１７又は１８記載の表認識装置。
24. 【請求項２４】 前記線分セグメント列には、該線分セ
    グメント列が白黒反転領域であることを示す属性が付加
    されていることを特徴とする請求項１７記載の表認識装
    置。
25. 【請求項２５】前記白黒反転領域内が複数のセル領域よ
    り成る場合、前記白黒反転領域に接続する罫線を延長し
    て白黒反転領域内の前記セル領域を抽出することを特徴
    とする請求項１７又は１８記載の表認識装置。
26. 【請求項２６】前記白黒反転領域内のセルを分割する
    際、白黒反転領域に接続する罫線を延長した領域を細分
    割して黒画素密度を求める手段を有することを特徴とす
    る請求項２５記載の表認識装置。
27. 【請求項２７】 表形式の２値イメージデータに対し、
    水平方向に長い線分抽出マスクを用いて水平方向に走査
    し、垂直方向に長い線分抽出マスクを用いて垂直方向に
    走査し、黒画素密度が所定の閾値より高い領域をそれぞ
    れ抽出する機能と、 該機能で抽出した前記黒画素密度の高い領域をそれぞれ
    のマスク走査方向に直交する方向で統合する機能と、 該機能で統合した領域の線幅が所定の閾値以上であれば
    白黒反転候補領域であるとし、該白黒反転候補領域をそ
    れぞれのマスク走査方向に統合する機能と、 該機能で統合した白黒反転候補領域の輪郭に対し、水平
    方向及び垂直方向の線分セグメント列を作成する機能
    と、 該機能で作成された水平方向の線分セグメント列と垂直
    方向の線分セグメント列で囲まれた領域を白黒反転領域
    に設定する機能と、 をコンピュータに実行させる命令を含むプログラムを格
    納した前記コンピュータが読み取り可能な記憶媒体。
28. 【請求項２８】 表形式の２値イメージデータに対し、
    水平方向に長い線分抽出マスクを用いて水平方向に走査
    し、垂直方向に長い線分抽出マスクを用いて垂直方向に
    走査し、黒画素密度が所定の閾値より高い領域をそれぞ
    れ抽出する機能と、 該機能で抽出した前記黒画素密度の高い領域をそれぞれ
    のマスク走査方向に直交する方向で統合する機能と、 該機能で統合した領域の線幅が所定の閾値以上であれば
    白黒反転候補領域であるとし、該白黒反転候補領域をそ
    れぞれのマスク走査方向に統合する機能と、 該機能で統合した水平方向の白黒反転候補領域と垂直方
    向の白黒反転候補領域の重なり状態により白黒反転領域
    を設定する機能と、 をコンピュータに実行させる命令を含むプログラムを格
    納した前記コンピュータが読み取り可能な記憶媒体。
29. 【請求項２９】前記白黒反転領域に示す白黒には色の三
    要素によって作成される任意の２色を含むことを特徴と
    する請求項１又は２記載の白黒反転領域識別装置。
30. 【請求項３０】前記白黒反転領域に示す白黒には色の三
    要素によって作成される任意の２色を含むことを特徴と
    する請求項１７又は１８記載の表認識装置。