JPH0721817B2

JPH0721817B2 - 文書画像処理方法

Info

Publication number: JPH0721817B2
Application number: JP61065640A
Authority: JP
Inventors: 浩至福田; 匡利樋野; 邦晃田畑
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1986-03-26
Filing date: 1986-03-26
Publication date: 1995-03-08
Anticipated expiration: 2010-03-08
Also published as: JPS62224870A

Description

【発明の詳細な説明】〔産業上の利用分野〕本発明は文書画像の処理方法に関し、更に詳しくは、画
像データとして取り込まれた文書情報中の文字認識、あ
るいは特定の文字領域の切り出しに適した文書画像処理
方法に関する。

〔従来の技術〕

光ディスクのような大容量のメモリをファイル装置とし
た文書画像処理システムにおいては、蓄積文書の検索に
必要な索引情報の自動入力化が要望される。文書画像
は、本質的に濃淡値をとる写真領域と、文字あるいは図
形の如く２値情報で表わされる領域とに大別されるが、
索引情報の自動入力のためには、入力文書画像中の文字
領域で特定の文字列、あるいは文字を抽出し、文字認識
により索引用語を文字コードに変換する必要がある。

従来、文書画像中の文字を認識する技術として、例え
ば、アイ・イー・イー・イー，プロシーディング第６回
アイ・シー・ピー・アール（IEEE Proceeding 6th ICP
R）,1982年，第1023頁〜第1026頁において、英文（ロー
マ字）を対象とし、文字列から互いに接触した位置関係
にある文字群（語）を分離して認識する手法が報告され
ている。また、文字認識のために、文字列から個別文字
を分離する技術として、例えば、電子通信学会論文誌,V
ol.J67-D,No.10（1984年10月）には、日本語文書を対象
とした文字切り出しの例が報告されている。しかしなが
ら、これらの報告は、いずれも文書構成文字の種類（英
文か和文か）が既知であることを前提としたものであ
り、文字種類が未知、あるいは複数種類の文字が混在す
る文書画像を対象としたものではない。

一方、情報処理学会論文誌,Vol.25,No.2（1985年３月）
の第257頁〜第264頁には、文書構成文字の種類を、文字
パターンの視覚的特徴により識別するための方法につい
ての報告がなされている。この報告では、例えば３絵素
×３絵素の小さな単位メッシュで文字を走査し、単位メ
ッシュ内に白画素領域と黒画素領域がたかだか１個ずつ
しか現われないようにした場合、単位メッシュのパター
ン種類が2⁹＝512個のうちの66個のパターン（合法パタ
ーン）に限定されてしまうことに着目し、文字走査時に
得られる合法パターンの種類，頻度分布から、文字スト
ロークの傾斜方向，曲線性，文字の縦横比などの特徴を
抽出し、これによりローマ字，ギリシャ文字，ロシア文
字，日本文字，ハングル文字等の判別をしている。

〔発明が解決しようとする問題点〕

然るに、上述した合法パターンを用いる文字種類識別方
式は、文書中に現われる合法パターンの統計的な特徴を
利用しているため、同一文書中に２種類以上の文字が混
在する場合、例えば、タイトル，著者，アブストラクト
部などの重要部分については日本語の他に英文による記
載もなされているような学会論文に対しては適用できな
い。また、この方式では、全ての黒画素についてストロ
ークの方向、形状等を判定する必要があるため、処理が
複雑であり、判定のためのデータ処理に大きなメモリ容
量を要するという問題もある。

本発明の目的は、同一文書画像中に２種類の文字領域が
混在する場合に、特に日本文（和文）領域と英文領域と
の識別に適した文書画像処理方法を提供することにあ
る。

〔問題点を解決するための手段〕

上記目的を達成するため、本発明による文書画像処理方
法は、文字列を含む文書情報を画像データとしてメモリ
に取り込むステップと、上記画像データから黒画素連続
領域毎の外接矩形を求めるステップと、上記画像データ
から文字列毎の外接矩形を求めるステップと、上記文字
列の各々について、当該文字列の外接矩形に含まれる黒
画素連続領域毎の外接矩形の上辺および下辺の上下方向
相対位置に関する頻度分布を求めるステップと、上記頻
度分布のピーク位置から当該文字列を構成する文字種類
が英文文字か和文文字かを判定するステップとを含むこ
とを特徴とする。

〔作用〕

文書中の文字領域において、各文字のストロークを示す
黒画素連続領域毎の外接矩形は、例えば漢字，片仮名，
平仮名からなる和文と、大文字，小文字のアルファベッ
トからなる英文とを比較すると、その並び方において差
違がある。例えば、英文の場合は、単語と単語との間に
スペース部分が存在するが、和文にはない。また、英文
では大文字と小文字とで黒画素連続領域の外接矩形の大
きさに明らかな違いがあるが、和文の漢字と平仮名，片
仮名の間にはアルファベット程の大きさの違いはない。
従って、これらの外接矩形の隣接関係、あるいは上下方
向でのばらつき方には特徴があり、例えば、文字列外接
矩形の上辺および下辺に対する各黒画素連続領域の外接
矩形の離間の程度、あるいは、各黒画素連続領域の外接
矩形の文字列方向の離間程度を頻度分布として求める
と、分布のパターンから各文字列が和文か英文かを判別
できる。同様に、和文とギリシャ語，ロシア語，ドイツ
語などの文との区別もできる。

本発明によれば、各文字列毎に、黒画素連続領域の外接
矩形の位置に関する頻度分布から、当該文字列の文字種
類を判別することにより、例えば、日本語で記載された
学会発表文献、論文から英文による文字領域を抽出し、
これを切り出して抄録を自動的に作成することができ
る。また、特定の領域について、文字種類を知った上で
文字認識処理を実行することができるため、誤認識を少
なくして文字コードへの変換を迅速に実行でき、これら
の文字コードを索引として自動登録することも可能とな
る。

〔実施例〕

以下、本発明の実施例について説明する。

第１図は、本発明を実施する文書画像処理システムのハ
ードウエア構成図であり、１はデータプロセッサ、２は
上記プロセッサで必要とするプログラムを格納するため
のメモリ、３は文字認識に必要な辞書を格納するための
メモリであり、この例では和文用の辞書と英文用の辞書
とが用意される。４は処理結果あるいは中間結果などの
データ類を格納するためのメモリ、５はプロセッサ１に
対して各種コマンドあるいは数値データ等を入力するキ
ーボード、６は文書画像の入力装置である。文書画像の
入力装置６としては、例えば文書から画像情報を読み取
るスキャナが代表的であるが、既にデータが入力されて
いる記録媒体からデータを読取る磁気テープ，磁気ディ
スク等であってもよい。また、７は入力された文書画像
データを一時的に格納するフレームメモリ、８は文書画
像データを表示するためのディスプレイ装置、９はハー
ドコピーをとるためのプリンタ装置であり、これらの要
素はバス10により接続されている。

本発明では、画像入力装置６から入力された文書画像デ
ータをプロセッサ１により、第２図の如く処理する。

すなわち、フレームメモリ７に入力された文書画像11に
対して、黒画素連続成分の外接矩形12と各文字列の外接
矩形13を求める。黒画素連続成分の外接矩形は、例えば
特開昭60-129379号公報等で知られた公知の方法により
抽出できる。また、文字列の外接矩形13は、例えば信学
技報PRL-83-7において“縦書き横書き文書からの個別文
字切出し法”と題して報告された公知の手法を採用でき
る。

本発明では、このようにして入力画像から抽出した２種
類の外接矩形12と13とから、各文字列を構成する文字種
類14を判別し、これに基づいて、文字切り出し処理15、
あるいは文字認識処理16を行なう。

第３図（Ａ）は、入力文書の１例としして、和文領域20
と英文領域21とを含む入力画像11の一部を示し、第３図
（Ｂ）は、上記入力画像から抽出した文字列矩形31〜38
と、黒画素連続成分の外接矩形（各文字列外接矩形内の
小矩形）を示す。この例で、文字列の外接矩形（以下、
文字列矩形と言う）とそれに含まれる黒画素連続領域の
外接矩形（以下、黒画素外接矩形と言う）との関係をみ
ると、和文領域20と英文領域21では次の相違があること
が判る。

（１）和文では、黒画素外接矩形の多くが文字列矩形の
底辺に揃っているが、英文の場合は「ｇ」，「ｊ」，
「ｐ」，「ｑ」，「ｙ」，「，」など、一部の文字，記
号が下側突出ストロークを有し、これによって文字列矩
形の底辺が決まるため、黒画素外接矩形の多くは文字列
底辺から離れている。

（２）英文では、ほとんどの文字が連続したストローク
からなり、黒画素外接矩形の上辺は、文字列矩形の上辺
に一致する第１レベルと、小文字の上辺に相当する第２
レベルの２つの顕著なレベルをもつが、和文の場合は、
黒画素外接矩形の上辺は、文字列矩形の上辺に集中して
おり、明確な第２レベルがない。

（３）各文字列における黒画素外接矩形の隣接関係につ
いてみると、英文の場合は、単語間に大きな離間部が存
在するが、和文には、これがなく、各矩形間の離間距離
も不均一である。

本発明は、２種類の文字領域における上述した特徴差に
着目して、各文字列毎に構成文字の種類を識別する。

第４図は、複数の黒画素外接矩形R1〜R7を含む文字列矩
形Ｌについて、各矩形の表示記号を示す。文字列矩形Ｌ
の大きさと位置は、左上と右下の画素の座標アドレス
（LXmin,LYmin），（LXmax,LYmax）で示され、同様に、
各黒画素外接矩形の大きさと位置も、それぞれの左上と
右下の座標アドレス（RXmin,RYmin），（RXmax,RYmax）
で示される。１つの文字列矩形Ｌ内に含まれる全ての黒
画素外接矩形Ｒは、を満足する。入力画像から抽出された上記各矩形の座標
値は、例えば第５図に示す如く、データメモリ４に用意
した黒画素外接矩形テーブル51および文字列矩形テーブ
ル52に、各矩形ID毎に記憶される。

上述した性質（１），（２）に着目して各文字列の構成
文字種類を判別する場合は、例えば第６図に示す如く、
各文字列矩形Ljを高さ方向にｎ個の領域（この例では領
域ａ〜ｈの８領域）に分割し、この文字列に含まれる黒
画素外接矩形Ｒの上辺RXmaxと下辺RYminとが、それぞれ
どの分割領域に位置しているかを調べ、その頻度分布を
求めればよい。RXmaxとRYminの頻度分布は、それぞれ第
７図に示す如く、和文と英文で異なった特徴を示すか
ら、例えば上下両端の分割領域ａとｈに高い頻度を示す
文字列は和文、その内側の分割領域ｂとｇに高い頻度を
もつ文字列は英文と判断できる。

一方、性質（３）に着目する場合は、第８図に示すよう
に、同じ文字列内に含まれる各黒画素外接矩形領域間の
距離Ｄの分布を求め、第９図の如く、D₁とD₂の２つの顕
著なピークがある場合は英文、そうでない場合は和文と
判断すればよい。

以下、性質（１），（２）に着目する第１の判定と、性
質（３）に着目する第２の判定とを利用した本発明の文
書画像処理の手順をプログラム・フローチャートにより
説明する。

第10図は、文書画像処理の全体手順を示しており、次の
処理ステップからなっている。

処理61:画像入力装置６から文書画像を入力する。

処理62:黒画素連続成分の外接矩形Ｒを抽出する。抽出
した矩形の座標アドレスを行ごとに第５図の矩形テーブ
ル51に記憶する。ここでは、対角点のアドレスで記憶し
ているが矩形のアドレスを一意に定義できるテーブル形
式ならば例えば、一点の座標アドレスと、矩形の幅，高
さを表現する他の表示形式を採用してもよい。

処理63:文字列矩形Ｌを抽出して、各アドレスデータを
文字列矩形テーブル52に記憶する。

処理64:黒画素外接矩形テーブル51と文字列矩形テーブ
ル52を参照して文字列が和文であるか英文であるかを判
定する第１の判定処理を行なう。

処理65:処理64で判定できなかった文字列に対して、和
文か英文かの第２の判定処理を行なう。

処理66:上記判定結果を参照して、辞書メモリ３を利用
して文字認識，文字切出し等の処理を行なう。

第11図は第１の判定処理64の詳細を示すフローチャート
であり、次のステップからなっている。

処理701:各文字列毎に黒画素外接矩形Ｒの上辺分布頻度
をカウントするためのカウンタUCと、底辺分布頻度をカ
ウントするためのカウンタDCをそれぞれクリアする。

処理702:黒画素外接矩形テーブル51から矩形ID順に矩形
Ｒの座標データを読み込む。

処理703:テーブル52を参照し、矩形Ｒが含まれる文字列
Ljを検索する。包含条件は前述した式（１）による。

処理704:文字列Ljを高さ方向にｎ個に分割する。各分割
領域の上限アドレスAmax（ｉ）と下限アドレスAmin
（ｉ）は次式で定義される。

Amax（ｉ）＝LYmin＋（LYmax−LYmin）・i/n Amin（ｉ）＝LYmin＋（LYmax−LYmin）・（ｉ−１）/n 処理705:矩形Ｒの上辺アドレスRYmaxが上記分割領域の
どれに含まれるかを調べ、該当するカウンタUC（ｉ）を
インクリメントする。分割領域のインデックスｉとRYma
xとの関係は、 Amin（ｉ）≦RYmax≦Amax（ｉ）により求める。

処理706:矩形Ｒの底辺アドレスRYminが上記分割領域の
どれに含まれるかを調べ、該当するカウンタDC（ｉ）を
インクリメントする。分割領域のインデックスとRYmin
との関係は、 Amin（ｉ）≦RYmin≦Amax（ｉ）により求める。

これらの処理により、矩形Ｒの上辺を下辺が、第６図の
分割領域ａ〜ｈのいずれに位置しているかが、各文字列
毎のカウンタUC,DCに頻度として記憶される。

処理707:テーブル51の全ての矩形について判定処理を終
えたか否かをチェックし、NOならば処理702に戻り、YES
なら処理708に進む。

処理708:各文字列毎のカウンタUC,DCを参照し、それぞ
れの最大カウント値が文字列矩形の上端または下端の分
割領域に対応するカウンタで生じているか否かを判定す
る。すなわち、 max〔UC（ｉ）〕＝UC（ｈ），（ｉ＝ａ〜ｈ） max〔DC（ｉ）〕＝DC（ａ），（ｉ＝ａ〜ｈ）が共に満足するか否かを調べる。もし、満足すれば、こ
の文字列は和文と判定できる。

処理709:当該文字列が和文であることを示すため、例え
ばテーブル52の判定結果を示す欄Ｆに和文表示コードを
記録する。

処理710:処理708で和文と判定できなかった場合、カウ
ンタUCの最大カウント値が最上端の分割領域ｈ以外であ
り、且つ、カウンタDCの最大カウント値が最下端の分割
領域ａ以下に生じていれば、この文字列は英文であると
判定する。

すなわち、 max〔UC（ｉ）〕≠UC（ｈ），（ｉ＝ａ〜ｈ） max〔DC（ｉ）〕≠DC（ａ），（ｉ＝ａ〜ｈ）が共に満足する場合、英文と判断して処理ステップ711
に進み、そうでない場合はステップ712に進む。

処理711:文字列矩形テーブル52の下欄に英文であること
を示すコードを記録する。

処理712:文字列矩形テーブル52のＦ欄に判定不能である
旨の表示記号を記録する。

処理713:全ての文字列について文字種類判定を終了した
か否かを判定し、未処理の文字列が残っている場合は処
理ステップ708に戻り、そうでない場合は、このルーチ
ンを終了する。

第12図は第２の判定処理65の詳細を示すフローチャート
である。

処理800:文字列テーブル52の下欄をチェックし、前回の
第１の判定で判定不能と判断された文字列を見つける。
もし、なければ、このルーチンを終了し、あれば次のス
テップ801に進む。

処理801:文字列矩形Ljデータを読み取る。

処理802:文字列矩形Ljに含まれる全ての黒画素外接矩形
を検索する。この場合の検索条件は式（１）であり、既
に行なった第１の判定処理64で各矩形とLjとの対応関係
が保存（例えばテーブル51に対応するLjの矩形IDを記
憶）してあれば、それを利用してもよい。

処理803:隣接する黒画素外接矩形間の距離Ｄの分布をカ
ウントするためのカウンタLCを初期化する。

処理804:ステップ802で検索された黒画素外接矩形の１
つR_iについて、隣接矩形R_i+1とのＸ方向の離間距離Ｄを
それぞれのＸ座標を用いて求める。

処理805:距離Ｄに対応するカウンタLC（ｎ）をインクリ
メントする。カウンタのインデックスｎは、距離Ｄを所
定の値ずつ離散化することにより求まる。

処理806:文字列矩形Ljに含まれる全ての黒画素外接矩形
について、上記距離判定を終了したか否かをチェック
し、未処理矩形があれば、処理ステップ804に戻り、そ
うでなければ処理ステップ807に進む。

処理807:カウンタLCの値をチェックし、第９図の如く、
ピーク値が互いに離間した２箇所にあるか否かを調べ
る。もし、あれば英文と判定して処理ステップ808に進
み、そうでなければ処理ステップ809に進む。ピーク値
の判定は、ピーク点を示す所定の傾きＫに対して、 LC（ｉ）−LC（ｉ−１）＞Ｋ LC（ｉ）−LC（ｉ＋１）＞Ｋを満たすカウンタLC（ｉ）が２つ（ｉ＝I₁,I₂）存在
し、｜I₁−I₂｜＞ｐ但し、ｐは所定の距離を示す値か否かを判定すればよ
い。

処理808:文字列矩形Ljが英文であることを示すコード
を、テーブル52の欄Ｆに記録する。

処理809:カウンタLCの各カウント値の分散を所定の閾値
と比較し、これより大きい場合は処理ステップ810に進
み、そうでない場合は処理ステップ811に進む。

処理810:文字列矩形Ljを和文と判断し、テーブル52の欄
Ｆにその旨の表示コードを記録する。

処理811:全文字列について処理が終了したか否かを判定
し、未処理の文字列があれば処理ステップ800に戻り、
なければこのルーチンを終了する。

以上、判定処理64と65について説明したが、これらの処
理は互いに入れ換えてもよく、また、いずれか一方のみ
を用いるようにしてもよい。また、判定処理64あるいは
65において、文字種類を判定できない場合、前後の文字
列の判定結果から不明文字列の種類を推定するようにし
てもよい。

尚、第３図の英文領域21を参照すると、アルファベット
の大多数は、各文字のストロークが連続しており、黒画
素外接矩形領域が縦方向に分離されるケース（例えば小
文字の「ｉ」，「ｊ」）は極めて稀である。即ち、英文
の場合は、RYmin,RYmaxのそれぞれの値の分散が小さい
ため、これを利用して和文との区別をつけることができ
る。例えば、１つの文字列に含まれる黒画素外接矩形の
数をｍとすると、RYminの分散Sminは、で求まり、RYmaxの分散Smaxも同様にして求まる。従っ
て、分散の閾値Smaxφ,Sminφに対して、和文は Smin＞Sminφ and Smax＞Smaxφ で判断できる。尚、Smaxφ,Sminφの値は、文字列の高
さの関数として定義することにより、文字の大きさによ
り変えることができる。

この判定は、第1,第２の判定に代え、あるいは、これら
を補う第３の判定として、第10図のフローチャートに加
えることができる。

以上の方法により、文字列毎の文字種類が自動的に判別
できるため、第２図に示したように、これらの文字種類
を前提として、文字切出し、あるいは文字認識を行なう
ことができる。

〔発明の効果〕

本発明によれば、文書画像データ中の文字領域におい
て、構成文字の種類を文字列毎に自動的に判別できるた
め、この判別結果を利用して、特定文字領域の抽出（切
り出し）、文字認識等を行なうことができ、その結果を
画像ファイルの索引、あるいは抄録等の補助情報として
自動的に登録するような文書画像処理システムにおいて
有効である。

【図面の簡単な説明】

第１図は本発明を実施するための文書画像処理システム
の１例を示す全体構成図、第２図は本発明による文書画
像処理の概略手順を説明するための図、第３図（Ａ），
（Ｂ）はそれぞれ入力文書画像と、これから抽出された
黒画素連続領域の外接矩形および文字列外接矩形の具体
例を示す図、第４図は文字列外接矩形と黒画素連続領域
外接矩形の表示データについての説明図、第５図は上記
各矩形の格納テーブルの構成を示す図、第６図および第
７図は文字種類の第１の判定方法における頻度分布のカ
ウントと頻度分布の特性を説明するための図、第８図と
第９図は文字種類の第２の判定方法における領域分布の
カウントと頻度分布の特性を説明するための図、第10図
は本発明による画像処理の全体のフローチャート、第11
図は第１の判定方法を実施するためのフローチャート、
第12図は第２の判定方法を実施するためのフローチャー
トである。符号の配明 1:プロセッサ、2:プログラムメモリ 3:辞書メモリ、4:データメモリ 5:キーボード、6:画像入力装置 7:フレームメモリ、8:表示装置、20:和文領域、21:英文
領域 L:文字列外接矩形 R:黒画素連続領域の外接矩形。

Claims

【特許請求の範囲】

【請求項１】文字列を含む文書情報を画像データとして
メモリに取り込むステップと、上記画像データから黒画
素連続領域毎の外接矩形を求めるステップと、上記画像
データから文字列毎の外接矩形を求めるステップと、上
記文字列の各々について、当該文字列の外接矩形に含ま
れる黒画素連続領域毎の外接矩形の上辺および下辺の上
下方向相対位置に関する頻度分布を求めるステップと、
上記頻度分布のピーク位置から当該文字列を構成する文
字種類が英文文字か和文文字かを判定するステップを含
むことを特徴とする文書画像処理方法。
【請求項２】第１項記載の文書画像処理方法において、
さらに隣りあう黒画素連続領外接矩形同志の左右方向間
隔の頻度分布を求めるステップと、上記間隔の頻度分布
のピークの数から当該文字列を構成する文字種類が英文
文字か和文文字かを判定するステップを含むことを特徴
とする文書画像処理方法。