JP2501832B2 - 色マ−ク領域の抽出方法 - Google Patents

Description

【発明の詳細な説明】 〔産業上の利用分野〕 この発明は、ディジタル画像処理方法を用いて、文書
画像中に色ペンでマークした領域を自動的に抽出する方
法に関するものである。

〔従来の技術〕

文書画像中に色ペンでマークした情報の抽出に関して
は、特開昭60-31682号公報にあるように、画素の水平・
垂直方向の周辺分布をとってマークした領域の４点の座
標を抽出していた。すなわち、第５図（ａ）の１は色ペ
ンでマークされた色マークであり、この色マーク１の水
平方向周辺分布は２のようになり、同じく垂直方向周辺
分布は３のようになる。これから座標X₁,X₂とY₁,Y₂の４
点が決まる。

〔発明が解決しようとする問題点〕

このように、色マーク１の抽出は色ペンで囲んだ領域
に外接する長方形として抽出されるため、第５図（ｂ）
に示すような形状に色マーク１がなった場合には、第５
図（ａ）と同様にして水平方向周辺分布2,垂直方向周辺
分布３からX₁,X₂,Y₁,Y₂の４点が決定されるので、余分
な情報までも抽出してしまうといった欠点があった。ま
た、従来この種の領域抽出法として色マーク１を線追跡
し、閉じたループ内の情報を抽出する方法がある。この
手法では色マーク１上の点を逐次追跡するので、色マー
ク１の形状に依存せず、任意のマーク形状に対して忠実
な領域抽出が行えるが、線追跡の処理は着目画素の８方
向の連結性を調べていくので一般的に処理に多大な時間
を必要とし、電子ファイルシステムのようなOA機器の上
で実行するにはCPUにかかる負荷が大き過ぎるという欠
点があった。

この発明の目的は、上記従来の欠点を解決するために
なされたものであり、色ペンでマークした領域を高速、
かつ精度よく抽出するための色マーク領域の抽出方法を
提供するものである。

〔問題点を解決するための手段〕

この発明にかかる色マーク領域の抽出方法は、文書に
対して色ペンで描かれた色マークを抽出する手段と、抽
出した色情報に関して文書の水平、垂直方向に色画像の
周辺分布をとり、色マーク領域に外接する長方形の頂点
を求める手段と、この長方形の各頂点付近で色マークの
存在を確認する手段と、長方形の頂点が色マーク上に存
在しないときにはその頂点を基準点として水平、垂直方
向に他の頂点に向かって色マークの存在を探索し、それ
ぞれの方向で色マークを検出し、この検出された２つの
色マークの座標点と基準点によって構成される長方形の
基準点と向かい合う第４番目の頂点を算出する手段を有
し、抽出した頂点がすべて色マーク上に存在することが
確認されるまで、上記色マークの探索処理と存在の判定
処理を繰り返すようにしたものである。

〔作用〕

この発明においては、文書画像中の色マークに外接す
る長法形の頂点座標の抽出を出発点として、その長法
形の各頂点が前記色マーク上に存在するか否かを判定
し、存在しないときは両隣りの頂点に向かって色マー
クの探索を行う、という２つのプロセスをすべての頂点
が色マーク上に存在することが確認されるまで繰り返し
て実行して、色ペンなどで囲まれた領域の境界を水平お
よび垂直方向の線分群によって近似し、囲まれた領域を
抽出する。

〔実施例〕

以下この発明における実施例を図面を参照しながら説
明する。

第１図はこの発明を実施する装置の構成を示すブロッ
ク図である。この図において、11は色ペンでマークされ
た原画の文書画像、12はこの文書画像11を光学的に走査
し、光電変換を行い、得られた電気信号を信号強度にし
たがって量子化する画像入力部、13は色マーク分離部で
あり、原画像中の紙面と文字と色マークの３種の情報に
分離を行う。14は画素の水平（Ｘ）方向、垂直（Ｙ）方
向の周辺分布をとって、色マーク領域や文字列の外接長
方形の４頂点の座標を抽出するための領域抽出部、15は
各長方形の各頂点が色マーク上に存在するか否かを判定
する色マーク判定部、16は頂点が色マーク上に存在しな
いときに両隣の頂点に向かって色マークを探索する色マ
ーク探索部であり、17は計算機のメモリ、18は計算機の
中央演算処理部（CPU）、19はディスプレイ、20は計算
機の共通バス、21は情報蓄積部であって図示のとおり接
続されている。

第２図はこの実施例で行われる実際の処理の流れであ
る。この処理の流れにそって、以下のように動作する。
なお、第２図中の（１）〜（11）は各ステップを示す。

第１図における各部の動作を説明するため、例えば新
聞中の記事を電子的に切り抜こうとする場合を仮定す
る。まず、色ペンによって新聞中の目的とする記事をマ
ークによって囲み、これを文書画像11として画像入力部
12に示すイメージリーダやカメラなどの画像入力装置に
よって入力する（１）。画像入力部12では、原画像を光
学的に走査し、光電変換を行い、得られた電気信号を信
号強度にしたがって量子化する。次に、量子化された信
号は、色マーク分離部13において、例えば前述した特開
昭60-31682号公報に記載された下記の方法を用いて色マ
ークの抽出を行う。

新聞中の紙面、文字および色マークに関するそれぞれ
の信号強度は、モノクロのイメージリーダで読み取った
場合を仮定すると、第３図に示すように、紙面４（Hig
h）、文字５（low）、色マーク１（intermediate）と３
つのレベルに分離される。そこて、しきい値THD_hiahに
よって紙面４と色マーク１を、THD_lowによって文字５と
色マーク１を分離し、２抽出化する（２）。次に、それ
ぞれの出力の排他的論理和をとって色マーク１を抽出す
る（３）。色マーク分離部13において得られた２値化さ
れた文字情報と色マーク情報は計算機のメモリ17にいっ
たん別々に格納される。次に、抽出した色マーク１の位
置座標を求めるため、領域抽出部14において紙面に対し
て垂直の方向に色マーク情報に関する画素の周辺分布を
とると、第５図（ａ），（ｂ）に示すような色画素の垂
直方向周辺分布３が得られ、これを適当なしきい値で切
ると色マーク部の垂直方向の領域開始点（Y1）、終了点
（Y2）の位置座標が求まる（４）。次に、前記垂直方向
の周辺分布によって求めたマーク領域の分布範囲Y1,Y2
で示さる幅において水平方向に色情報の周辺分布をとる
と、同様に水平方向の色マークの領域開始点（X1）、終
了点（X2）の位置座標が求まる（５）。領域抽出部14で
得られたX1,X2,Y1,Y2は色マーク１に外接する長方形の
４つの頂点A1（X1,Y1）,A2（X2,Y1）,A3（X1,Y2）,A4
（X2,Y2）の座標を意味する（６）。ところで、例えば
第５図（ｂ）に示す色マーク１の形状に対しては領域抽
出部14で得られたA1〜A4の各頂点によって囲まれる領域
は十分精度よく色マーク領域を抽出しているとはいいが
たい。そこで、色マーク判定部15において外接する長方
形の頂点A1〜A4が色マーク上に存在するか否かを判定す
る（７）。以下、第４図を例に、頂点の探索プロセスを
説明する。

今、頂点A1,A2,A4は色マーク１上に存在するので、そ
の場合は頂点としてその位置座標を計算機のメモリ17に
格納する。一方、頂点A3のように頂点が色マーク１に存
在しない場合は、色マーク探索部16においてその頂点を
基準点として両隣の２つの頂点A1とA4に向かってそれぞ
れX1＝一定、Y2＝一定として色マーク１の探索を行う
（８）。色マーク１が検出されたらその点をそれぞれA5
（X1,Y3）、A6（X3,Y2）とする。A5,A6は色マーク１で
囲んだ領域の頂点の一部であるから、この２点の位置座
標を計算機のメモリ17に格納する。次に、頂点A3,A5,A6
を含む長方形のもうひとつの頂点A7を求める。頂点A7の
位置座標は（X3,Y3）となる。そして再び色マーク判定
部15に処理を移し、頂点A7が色マーク１上に存在するか
否かを判定し、色マーク１上に存在すればA7の位置座標
を計算機のメモリ17に格納して処理は終了する。この場
合、色マーク１の領域はA1,A2,A4,A5,A6,A7を結んで得
られるとして抽出される。もし、第４図に示すように色
マーク１上に存在しない場合は、A7を新しい基準点とし
てA7に隣合う頂点A5,A6に向ってY3＝一定、X3＝一定と
して色マーク１の探索を行い、色マーク１を検出したら
それらの点をそれぞれA8（X3,Y4）、A9（X4,Y3）として
計算機のメモリ17に頂点として格納する。そして、再度
A7,A8,A9を含む長方形のもうひとつの頂点A10（X4,Y4）
を算出する。そして、頂点A10が色マーク１上に存在す
るか否かを判定し、色マーク１上に存在すればA10を頂
点として計算機のメモリ17に格納する。色マーク１上に
存在しないときは、求めた頂点An（ｎ≧1,2,3,……）が
色マーク１上に存在することが確認されるまで色マーク
１の探索と色マーク１の判定を繰り返し行う。このよう
にして、色マーク１の外形を水平、垂直方向の線分群で
囲む頂点Anの集合を得る。

次に、前記色マーク１の頂点Anの集合をステップ
（２）の２値化処理におけるしきい値THD_lowで２値化し
た結果得られる文字情報に対してマッピングし、頂点An
を結んだ線分の内側の領域を抽出し、抽出結果を計算機
のメモリ17に格納して切抜き作業を終了する。これによ
って、原文書中に色マーク１により囲んだ文字情報の抽
出が完了する。

このように、従来、文書中の色マーク１で囲まれた文
字情報を色マーク１の囲み形状に外接する長方形で切り
だしていたため、色マーク形状が長方形でないときに
は、原文書中の不必要な情報までも切り出されていたの
が、この発明を用いれば色マーク１を施した形状にでき
るだけ忠実に水平・垂直な線分群で切り抜くことが可能
となる。また、この発明を新聞など印刷文書中の記事事
項を色ペンで抽出したい領域をマークして、マークした
領域内の情報を自動的に抽出するなどの場合に適用で
き、例えば色ペンによるマークが定規を使ってまっすく
に引かれていないような場合にも、記事のレイアウトが
水平・垂直の線分群の組合せで分離でき、しかも記事の
形状は周辺分布の処理で得られるマーク領域の外接長方
形を基本パターンとしてその４つの頂点のうち最大２つ
の頂点が凹型となってできる矩形であるから、色マーク
探索プロセスにおいても水平（Ｙ＝一定）、垂直（Ｘ＝
一定）の一方向ずつ処理を限定して進めればよいので、
従来の線追跡の手法を用いた領域抽出に比べて大幅な処
理時間の短縮が可能となるといった利点がある。

また、抽出した頂点が色マーク１上に存在するか否か
を判定して存在しないときだけ色マーク１の探索を実行
するので、特開昭60-31682号公報によって既に公知とな
っている処理プロセスにこの発明のプロセスを繋合わせ
ることは、データ形式を変更せずとも継承することがで
きるなど処理プロセスの整合性もよいという利点があ
る。

なお、上記実施例では色ペンでマークした領域をモノ
クロのイメージリーダで入力し、２つのしきい値によっ
て２値化した結果を排他論理和をとることによって色マ
ーク１を抽出し、領域を表す頂点座標の抽出プロセスを
実行する例を示したが、カラースキャナで文書を入力
し、抽出した色領域に対して同じ色マーク判定、探索処
理を実行させることも可能である。

〔発明の効果〕

この発明は、文書に対して色ペンで描かれた色マーク
を抽出する手段と、抽出した色情報に関して文書の水
平、垂直方向に色画像の周辺分布をとり、色マーク領域
に外接する長方形の頂点を求める手段と、この長方形の
各頂点付近で色マークの存在を確認する手段と、長方形
の頂点が色マーク上に存在しないときにはその頂点を基
準点として水平、垂直方向に他の頂点に向かって色マー
クの存在を探索し、それぞれの方向で色マークを検出
し、この検出された２つの色マークの座標点と基準点に
よって構成される長方形の基準点と向かい合う第４番目
の頂点を算出する手段を有し、抽出した頂点がすべて色
マーク上に存在することが確認されるまで、上記色マー
クの探索処理と存在の判定処理を繰り返すようにしたの
で、色マーク領域の各頂点を求めるプロセスは２値の論
理演算、画素のカウントおよびしきい値による判定処理
で構成できるため処理をハードウェア化しやすく、高速
化が図れるという利点がある。

【図面の簡単な説明】 第１図はこの発明における装置の一実施例を示すブロッ
ク図、第２図はこの発明におけるマーク領域抽出手順の
流れ図、第３図はモノクロイメージリーダを用いた時の
文書紙面，文字，色ペンによる色マークの出力信号強度
の例の説明図、第４図は色マーク判定および色マーク探
索手順の模式図、第５図（ａ），（ｂ）は従来の周辺分
布法を用いた領域抽出の例を示す説明図である。 図中、11は文書画像、12は画像入力部、13は色マーク分
離部、14は領域抽出部、15は色マーク判定部、16は色マ
ーク探索部、17はメモリ、18はCPU、19はディスプレ
イ、20は共通バス、21は情報蓄積部である。

Claims (1)

(57)【特許請求の範囲】
1. 【請求項１】文書画像中の色ペンで囲まれた文書の領域
   を抽出する方法において、前記文書に対して前記色ペン
   で描かれた色マークを抽出する手段と、抽出した色情報
   に関して前記文書の水平、垂直方向に色画像の周辺分布
   をとり、色マーク領域に外接する長方形の頂点を求める
   手段と、この長方形の各頂点付近で色マークの存在を確
   認する手段と、前記長方形の頂点が色マーク上に存在し
   ないときにはその頂点を基準点として水平、垂直方向に
   他の頂点に向かって色マークの存在を探索し、それぞれ
   の方向で色マークを検出し、この検出された２つの色マ
   ークの座標点と前記基準点によって構成される長方形の
   基準点と向かい合う第４番目の頂点を算出する手段を有
   し、抽出した頂点がすべて色マーク上に存在することが
   確認されるまで、上記色マークの探索処理と存在の判定
   処理を繰り返すことを特徴とする色マーク領域の抽出方
   法。