JPH05250514A - 形態学的技術を用いて手書き指示イメージを検出する方法 - Google Patents

Abstract

(57)【要約】 （修正有） 【目的】 通常のペンまたは鉛筆を用いたユーザーによ
る指定マークラインとマークされた領域とを自動的もし
くは対話方式で同定して抽出するマーク指定イメージ検
出装置と方法。 【構成】 走査された原イメージに対し、形態学的なイ
メージ処理オペレーションのみが適用され、その結果と
してマーク指定ラインとマークされた領域とが外挿され
る。マーク指定ラインは、これをイメージから抽出する
か、あるいはイメージのバックグラウンド情報（例えば
テキスト）を除去するか、の何れかにより、これだけが
残される。 【効果】 マークされた領域をプリントしたり、伝送し
たりあるいは別途処理したりすることが可能となる。

Description

【発明の詳細な説明】

【０００１】この発明は、一般的にはイメージ処理、よ
り詳細には、通常のペンもしくは通常の筆記用具を用い
て手書きでマークされた文書領域とマークされていない
文書領域とを識別するための形態学的技術と装置とに関
する。

【０００２】通常の筆記用具で手書きされたマークと，
これらのマークが意味する領域とを同定する能力は、光
学式イメージスキャナーを用いて書類のイメージを生成
する多くの用途にとって、商業的に有用なものである。
当該領域をマークする目的として、例えば次のようなこ
とが挙げられるであろう：アスキーコード（ＡＳＣＩ
Ｉ）を復元してデータベースファイリング用のフィール
ドもしくはキーワードを同定するために光学式文字読み
取り装置（ＯＣＲ）に送るべきテキストを同定するこ
と、光学式文字読み取り装置には送らないイメージ部分
を同定すること、ビットマップとして記憶されるべきイ
メージ部分を同定すること、動作開始の対象となる書式
領域を同定すること等。

【０００３】従来方式においては、文書のイメージ処理
対象となる特定部分の同定は、蛍光ペン（ハイライター
ペン）を用い、各頁のハイライト部分、暗い文章印刷部
分および明るい下地の順にグレースケールを漸減させる
ことにより達成されてきた。しかし、単に明るく透明な
だけのハイライトタイプのペンは、それ自体からの反射
特性によって当該文書上の他のマークからのハイライト
が打ち消されてしまうため、使用できない。例えば、ブ
ルームベルグ等による米国特許第５，０４８，１０９号
には、透明なハイライト・カラーペンで照り返された文
書イメージ領域を検出する方法が記載されている。しか
しこの方法では、グレースケールスキャナー、バンドパ
スおよびしきい値フィルターのほか、バイナリーイメー
ジ処理も必要であり、この米国特許第５，０４８，１０
９号の大きな短所は、イメージをハイライトタイプのペ
ンでマークしなければならないことである。この発明に
おいては、文書イメージの、通常のペンや鉛筆でマーク
された領域が存在する領域を検出する方法と装置とが述
べられる。

【０００４】フジサワに対する米国特許第５，０２９，
２２４号には、任意にマークされた文書イメージ領域
を、マークされた領域の輪郭を示すマークが存在するか
否かを示唆する信号から察知するマーク領域識別装置が
述べられている。このマーク領域識別装置には、少なく
とも１本の走査線に対するマーク信号を記憶する第１記
憶部、この第１記憶部に記憶されたマーク信号に基づく
各走査線に対し、マーク領域終端に向かう主走査方向に
おける座標を記憶する第２記憶部、および第１ならびに
第２記憶部から旧走査線のマーク領域信号の状態を引き
出しながら該マーク領域の内側と外側とを識別するとと
もに、旧走査線のマーク領域に隣接した現走査線に対す
るマーク領域の内側または外側を示すマーク領域信号を
生成させるための識別部が包含される。

【０００５】マツナワ等に対する米国特許第５，０１
６，０９６号には、多色文書上のカラーマークを検出し
たあと、カラーマークで示された領域の内側または外側
それぞれのイメージ処理を可能にする装置が述べられて
いる。そして特有カラーでマークされた領域が走査期間
中に検出されたら、領域抽出回路がパルスを発信するこ
とにより、前記カラーマーク領域が検出される。従って
マーク領域の幅が、このパルスの間隔によって示される
ことになる。

【０００６】ワタナベに対する米国特許第４，７２０，
７５０号には、オリジナル文書の任意部分を指定してこ
れを削除可能な電子コピー機械用のイメージ形成装置が
記載されている。ここでは、エリア指定用紙の上に描か
れたマスキングエリアがコピー機械によって読み取ら
れ、記憶される。そしてオリジナル文書がコピー機械の
上に置かれ、マークされたマスキングエリアが削除、す
なわちエリア指定用紙の記憶済マスクの様態に従い、コ
ピーされない。

【０００７】サカノに対する米国特許第４，９０８，７
１６号には、文書にマークを記すことによって文書の一
つのエリアを指定し、このマークで取り囲まれたエリア
を、トリミングすなわちマスキングプロセスの対象エリ
アとして処理するイメージ処理装置が述べられている。
文書の指定エリアを取り囲むのに、カラー・フエルトペ
ンまたはこれに類似したものが使用される。そしてマー
ク検出回路がイメージの色調を検出することにより、こ
のマークが検出される。つまりマーカーペンの反射率な
いし色調を違えることにより、マークされたエリアが検
出可能となり、該部分を意のままに削除したり、保存し
たりすることが可能となる。

【０００８】この発明の目的は、従来方式の上記ならび
にその他の欠点を克服するため、ペン、鉛筆もしくはそ
の他の通常の筆記用具を用いた手書きマークで指定され
たイメージも検出可能となるように、従来の方法と装置
とを改良することである。

【０００９】この発明の他の目的は、手書きマークで指
定されたイメージを検出する方法と装置とを、バイナリ
走査されたイメージに作用させるとともに、形態学的バ
イナリイメージ処理技術を用いて検出プロセスを迅速処
理可能に、改良することである。

【００１０】この発明の更に異なる目的は、手書きマー
クで指定されたイメージを検出する方法と装置とを、ハ
イライトタイプのペンも、またグレースケールスキャナ
ーも用いずに検出可能に、改良することである。

【００１１】更にこの発明は、手書きマークで指定され
たイメージを検出する方法と装置とを、特殊な検出回路
を用いなくても正確に動作するように改良することも、
目的とする。

【００１２】図１はこの発明の好適第一実施例のフロー
チャートで、光学的に走査された最初のイメージ内の手
書きマーク指定行を同定して抽出する方法へ直接アプロ
ーチする各ステップを示す。

【００１３】図２は好適第二実施例のフローチャート
で、前記同定・抽出方法に直接アプローチする他のやり
方の各ステップを示す。

【００１４】図３は好適第三実施例に対するバイナリ論
理シンボルを用いたフローチャートで、光学的に走査さ
れた最初のイメージ内の手書きマーク指定行を同定して
抽出する方法への間接アプローチの各ステップを示す。

【００１５】図４はこの発明による、光学的に走査され
た最初のイメージ内の手書きマーク指定行を同定して抽
出する装置の好適実施例のブロック線図である。

【００１６】図５は通常のペンでマーク指定した行が存
在する文書頁を走査した最初のイメージの一例である。

【００１７】図６は図３のマーク指定間接検出方法によ
り、図５の最初のイメージから形態学的閉鎖オペレーシ
ョンの結果として形成させた２番目のイメージの一例で
ある。

【００１８】図７は図３のマーク指定間接検出方法によ
り、図５の最初のイメージを排他的論理加算して形成さ
せた３番目のイメージの一例である。

【００１９】図８は図３のマーク指定間接検出方法によ
って形成させた４番目のイメージの一例である。この第
四イメージは、図７の第三イメージの膨張変換結果に図
５の最初のイメージを論理加算することによって形成さ
せたものである。

【００２０】図９は図３のマーク指定間接検出方法によ
り、図８の第四イメージに図５の最初のイメージを排他
的論理加算して形成させた５番目のイメージの一例であ
る。

【００２１】図１０は図３のマーク指定間接検出方法に
より、図９の第五イメージから、１群のオペレーション
の結果として形成させた６番目のイメージの一例であ
る。

【００２２】図１１は図３のマーク指定間接検出方法に
より、図１０の第六イメージを形態学的に開放すること
によって形成させた７番目のイメージの一例である。

【００２３】図１２は図３のマーク指定間接検出方法に
より、図１１の第七イメージを係数４で縮小した８番目
のイメージの一例である。

【００２４】図１３は図３のマーク指定間接検出方法に
より、図１２の第八イメージを閉鎖することによって形
成させた９番目のイメージの一例である。

【００２５】図１４は図３のマーク指定間接検出方法に
より、図１３の第九イメージから、１群のオペレーショ
ンの結果として形成させた１０番目のイメージの一例で
ある。

【００２６】図１５は図３のマーク指定間接検出方法に
より、図１４の第十イメージを係数２で縮小して形成さ
せた１１番目のイメージの一例である。

【００２７】図１６は図３のマーク指定間接検出方法に
より、図１５の第十一イメージの境界ボックスを充填す
ることによって形成させた１２番目のイメージの一例で
ある。

【００２８】図１７は図１および２の手書きマーク指定
直接検出方法により、図５の最初のイメージから、１群
のオペレーションの結果として形成させた２番目のイメ
ージの一例である。

【００２９】図１８は図１の手書きマーク指定直接検出
方法により、図１７の第二イメージを縮小しかつ１群の
開放の結果として形成させた３番目のイメージの一例で
ある。

【００３０】図１９は図２の手書きマーク指定直接検出
方法により、図１８の第三イメージを縮小することによ
って形成させた４番目のイメージの一例である。

【００３１】図２０は図２の手書きマーク指定直接検出
方法により、図１９の第四イメージの境界ボックスを充
填することによって形成させた５番目のイメージ（マス
ク）の一例である。

【００３２】図２１は長さが８の水平構成要素の例であ
る。

【００３３】図２２は長さが２の水平構成要素の例であ
る。

【００３４】図２３は長さが５の水平構成要素の例であ
る。

【００３５】図２４はオン画素を左下隅から右上隅に対
角線上に並べた５×５構成要素の例である。

【００３６】図２５はオン画素を左上隅から右下隅に対
角線上に並べた５×５構成要素の例である。

【００３７】図２６は長さが５の垂直構成要素の例であ
る。

【００３８】図２７Ａ〜Ｈは何れも長さが９で、さまざ
まに配列した８種類の構成要素の例である。

【００３９】図２８は手書きマーク指定検出に対して直
接アプローチする他の好適実施例の最初のイメージの一
例である。

【００４０】図２９は手書きマーク指定検出に対して直
接アプローチする他の好適実施例の２番目のイメージの
一例である。

【００４１】図３０は手書きマーク指定検出に対して直
接アプローチする他の好適実施例の３番目のイメージの
一例である。

【００４２】図３１は手書きマーク指定検出に対して直
接アプローチする他の好適実施例の４番目のイメージの
一例である。

【００４３】図３２は手書きマーク指定検出に対して直
接アプローチする他の好適実施例の５番目のイメージの
一例である。

【００４４】図３３は手書きマーク指定検出に対して直
接アプローチする他の好適実施例の６番目のイメージの
一例である。

【００４５】図３４は手書きマーク指定検出に対して直
接アプローチする他の好適実施例の７番目のイメージの
一例である。

【００４６】図３５は手書きマーク指定検出に対して間
接アプローチする好適第二実施例の最初のイメージの一
例である。

【００４７】図３６は手書きマーク指定検出に対して間
接アプローチする好適第二実施例の２番目のイメージの
一例である。

【００４８】図３７は手書きマーク指定検出に対して間
接アプローチする好適第二実施例の３番目のイメージの
一例である。

【００４９】図３８は手書きマーク指定検出に対して間
接アプローチする好適第二実施例の４番目のイメージの
一例である。

【００５０】図３９は手書きマーク指定検出に対して間
接アプローチする好適第二実施例の５番目のイメージの
一例である。

【００５１】図４０は手書きマーク指定検出に対して間
接アプローチする好適第二実施例の６番目のイメージの
一例である。

【００５２】図４１は当該イメージについて開放オペレ
ーションを実行したあと、間接アプローチする好適第二
実施例の７番目のイメージの一例である。

【００５３】図４２は当該イメージに対して閉鎖オペレ
ーションを実行したあとの図４１のイメージの一例であ
る。

【００５４】図４３は当該イメージについて浸食オペレ
ーションを実行したあとの図４２のイメージの一例であ
る。

【００５５】図４４は不透明な手書きマークによって丸
囲みされた文書イメージ領域を抽出するための位相幾何
学的方法のフローチャートである。

【００５６】図４５は不透明な手書きマークによって丸
囲みされた文書イメージ領域を抽出するための準位相幾
何学的方法のフローチャートである。

【００５７】図４６は不透明な手書きマークによって丸
囲みされた文書イメージ領域を抽出するための方法のフ
ローチャートである。

【００５８】走査済の最初のイメージをディジタルコン
ピューターで処理し、機械マークと手書きマークとを区
別するとともに、不透明な手書きマークと手書きマーク
された領域とを同定するための方法には、走査済の最初
のイメージの各指定マークにつき、それぞれの特質を利
用して手書きと機械記入とを識別し区分することが含ま
れる。また、これに利用する各マークそれぞれの特質に
は、マークの水平、垂直、斜め、カーブおよび不規則な
各形状が含まれ、走査済の最初のイメージの手書きマー
ク関連領域を当該手書きマークに干渉されずに同定した
あと、これを再生する各ステップが含まれる。

【００５９】一つの実施例においては、手書きマークの
位置が、当該イメージに対する形態学的開放オペレーシ
ョンを、１セットの構成要素を用いて複数回実行するこ
とにより特定される。この各開放オペレーションごとに
前記セットの異なった構成要素が用いられる。そしてこ
れら１群の開放オペレーションの結果、実質的に手書き
マークのみを含んだイメージが生成される。境界ボック
スは、同定された手書きマークを用いるか、あるいはこ
れを更に処理してより明確にした手書きマークを用いて
文書の手書きマーク領域の周囲に生成させればよい。

【００６０】他の実施例においては、取り囲まれた領域
に対する一連の溢れ充填とビットごとの反転とを用いる
ことにより、当該イメージから手書きマークで完全に取
り囲まれたイメージ領域が抽出される。そしてこのプロ
セスによってイメージが溢れ充填され、かつビットごと
に一度反転されたあと、当該イメージを、異なったサイ
ズの固定構成要素を用いて開放と閉鎖とを繰り返すこと
ができる。こうして生成された閉鎖文書イメージにオリ
ジナルイメージを論理加算することにより、取り囲まれ
た部分が抽出される。

【００６１】更に異なる実施例においては、開放された
文書イメージ内のイメージユニット周囲の境界ボックス
を発見したあと、該ボックスが当該手書きラインに対応
する境界ボックスであることをテストする構成要素を用
いて当該文書を開放することにより、一つのイメージの
手書きラインが同定される。この構成要素の配列は、同
定対象ラインのタイプ（例えば垂直または水平）に応じ
て変化さればよい。そして更に処理を実行することによ
り、手書きラインに関連したテスト箇所を決めて抽出す
ればよい。

【００６２】Ｉ．用語の定義 ここでは、バイナリイメージに関して検討するが、これ
に関し、用語『イメージ』とは、画素で構成された二次
元データ構造を意味するものとする。そしてバイナリイ
メージとは、当該画素が『オン』か『オフ』の何れかで
あるイメージを言う。このバイナリイメージは、一つま
たは幾つかの原イメージ（ソースイメージ）を所望イメ
ージに写像するオペレーション回数に従って変化する。
処理の原点となるイメージのことを、時にはオリジナル
イメージもしくは原イメージと言う。

【００６３】『形態学的オペレーション』とは、画素マ
ップイメージ（『ソース』イメージ）に関するオペレー
ションのことで、各画素ごとのローカルルールを用い、
他の画素マップイメージ（『ソース』イメージ）、すな
わち『所望』イメージを生成させるためのものである。
このローカルルールは、実行すべき所望オペレーション
のタイプのほか、選択した『構成要素』にも関係する。

【００６４】画素は、これが黒色ならオン、白色ならオ
フと定義される。ただし、黒色がオン、白色がオフと指
定されていることは、大部分の文書では前景が黒色、下
地が白色であると言う事実を反映したものであることを
念頭に置くべきである。この発明の技術は、陰画にも同
様に適用可能でなければならないでろう。この場合、黒
色対白色の関係が検討対象になるであろうが、反転され
たイメージにもオンまたはオフに対する基準が同様に適
用されるので、これら二つの状態の役割が逆になる。た
だし幾つかのケースでは、オンまたはオフの何れでもよ
い、すなわち『気にする必要のない』画素に対する基準
が検討対象になる。

【００６５】『構成要素』とは、原イメージをプローブ
し、かつ適切な形態学的オペレーションを介してさまざ
まなタイプの情報を原イメージから抽出する、通常では
サイズが小さくかつ形状が単純な（必ずしも必要条件で
はない）イメージオブジェクトのことである。各種構成
要素を示した添付図面において、充実円が『ヒット』、
またオープン円が『ミス』である。中心位置に十字印が
付されている。充実円もオープン円も存在しない四角形
が『気にする必要のない』部分で、この中のイメージ値
（オンまたはオフ）はサンプリングされない。バイナリ
構成要素は、バイナリ入力イメージに対して作用して出
力バイナリイメージを生成する形態学的バイナリオペレ
ーションにおいて、バイナリイメージをプローブするの
に用いられる。この構成要素は、その中心位置と、通常
は特定の値（オンまたはオフ）を有する画素所在数とに
よって定義される。構成要素を定める画素は、互いが隣
接している必要はない。また中心位置は、必ずしも当該
パターンの幾何学的中心である必要はなく、しかもパタ
ーンの内部でなくてもよい。『充実』構成要素とは、そ
の内部のすべての画素がオンである周辺を有する構成要
素を言う。例えば、２×２の充実構成要素とは、２×２
のオン画素の四角形のことである。しかし充実構成要素
が矩形である必要はない。水平構成要素とは、一般に横
１列のオン画素、また垂直構成要素とは、一般にサイズ
が選定された縦１列のオン画素のことである。『ヒット
・ミス』構成要素とは、少なくとも１個のオン画素と少
なくとも１個のオフ画素とを特定する構成要素を言う。

【００６６】ＡＮＤ、ＯＲおよびＸＯＲは、画素対画素
に２個のイメージ間で実行される論理オペレーションで
ある。

【００６７】ＮＯＴは、画素対画素に１個のイメージに
つき実行される論理オペレーションである。

【００６８】『拡大』とは、縮尺係数Ｎによって指定さ
れる縮尺オペレーションであって、これよれば、原イメ
ージ内の各画素に、何れも原イメージと同じ値を持つ画
素のＮ×Ｎ平方が得られる。

【００６９】『縮小』とは、しきい値レベルＭでの縮尺
係数Ｎによって指定される縮尺オペレーションである。
縮尺＝Ｎでの縮小では、原イメージがＮ×Ｎ平方の画素
に分割され、原イメージ内のこれら各正方形が所望イメ
ージ上の単独画素にマッピングされる。所望イメージ内
の画素に対する値は、しきい値レベルＭによって定まる
が、このＭは１からＮ² までの数値である。画素正方形
内でのオン画素の数がＭより大またはこれに等しい場
合、所望画素がオンに、その他がオフになる。

【００７０】『浸食（EROSION)』は、形態学的オペレー
ションであって、構成要素の中心を原イメージ内のこれ
に対応する画素位置の上に重畳させたとき、当該構成要
素内のすべてのオン画素とオフ画素と、これの下に位置
する原イメージの各画素とがマッチした場合、かつその
場合に限り、所望イメージ内の当該画素がオンに反転さ
れるオペレーションを言う。各マッチング毎に所望イメ
ージ内の一つの画素にこの浸食が行われる。このことに
より、各画素につき、構成要素（当該画素の中心にシフ
トされた構成要素）が原イメージの前景の中に完全に収
まったら、１が出力され、そうでなければ０が出力され
る。ただし、通常では浸食が、ヒットした構成要素のみ
を用いたオペレーションを意味し、更に一般的には、ヒ
ットとミスの両方によるマッチングオペレーション
（『ヒット・ミス変換』と称されることがよくある）を
意味することに留意されたい。ここに言う浸食には、ヒ
ットとミスの両方を用いたマッチングオペレーションも
含まれるので、ここで用いられる特定タイプの浸食は、
前記のヒット・ミス変換に該当する。

【００７１】『膨張変換（DILATION) 』とは、構成要素
によってオンにされた原イメージ内の所定画素を、所望
イメージ内のこれに対応した位置の構成要素の中心によ
って所望イメージの中に書き込む形態学的オペレーショ
ンのことである。この膨張変換に用いられる構成要素
は、通常ではオフ画素を持っていない。この膨張変換に
より、１組の画素としての構成要素が、原イメージの各
画素に対する所望イメージの中に描き込まれる。この結
果、出力イメージが、原イメージのすべての“１”画素
について変換された構成要素がシフトされた全バージョ
ンの組み合わせになる。

【００７２】『シード充填（seed fill)』とは、入力と
して二つのイメージを対象とし、その結果としての３番
目のイメージを生成させるオペレーションのことであ
る。入力イメージの一つが『シード』になるが、これは
１個もしくはそれ以上のオン画素で構成されていればよ
い。そして他方の入力イメージが『マスク』になるが、
これは１個より多いイメージコンポーネントで構成され
るのが通常である。そしてこれら二つのイメージが揃え
られる。このシード充填の結果、シードイメージの中に
少なくとも１個のシード画素が出現したイメージコンポ
ーネントのみを有するイメージが生成される。結果とし
てのイメージは、シード画素による充填開始と、各イメ
ージ領域が成長して当該イメージコンポーネントがマス
ク内に充満されることとによって形成される。このこと
は、形態学的オペレーション、すなわち、シードによっ
てスタートし、変化がストップするまで『マスク』を用
いて膨張変換と論理加算とを交互に繰り返すことによる
結果としてのイメージを生成させる『フィルクリップ
（fillclip) 』オペレーションによるか、またはシード
充填、すなわち『溢れ充填』技法（シードを包含するこ
れらのイメージコンポーネントを、オン画素をオフ画素
に反転させることによって消去したあと、原イメージと
の排他的論理和、ＸＯＲを用いて復元する技法）によっ
て実現可能である。

【００７３】『フィルクリップ』とは、一方のイメージ
をシードとして利用し、これを形態学的に成長させなが
ら、第２イメージへの各成長ステップごとに刈り取る
（クリッピング）形態学的オペレーションのことであ
る。このフィルクリップには、例えばその後に他のイメ
ージとの論理和と膨張変換結果とが引き続く膨張変換を
含めてもよいであろう。

【００７４】『開放（OPNING) 』とは、一つのイメージ
と構成要素とを用いた浸食の後、これに引き続き膨張変
換を実行させる形態学的オペレーションのことである。
そしてこの結果が、原イメージでの各マッチングのため
に所望イメージ内に模写されるべき構成要素になる。

【００７５】『閉鎖（CLOSING)』とは、一つのイメージ
と構成要素とを用いた形態学的オペレーションのことで
ある。これには、その後に構成要素によるイメージ浸食
が引き続く膨張変換が含まれる。イメージの閉鎖は、バ
ックグラウンド（ビット反転）での開放のビット反転と
等価である。

【００７６】ユニオン（UNION)は、二つのイメージ間で
のビットごとのＯＲである。また『交差（INTERSECTIO
N) 』とは、二つのイメージ間でのビットごとのＡＮＤ
のことである。

【００７７】『ぼやけリング（BLURRING) 』とは、二つ
またはそれ以上のビットを含んだ構成要素を用いた膨張
変換のことである。

【００７８】『マスク（MASK) 』とは、通常は原イメー
ジから得られたイメージを言い、これには原イメージ内
の処理対象領域に該当したオン画素が実質的に充実され
た領域も含まれる。このマスクには、処理対象領域に該
当しないオン画素領域が含まれていてもよい。

【００７９】『テキスト』とは、文字，数字、あるいは
東洋言語での表意文字や表音文字のような非アルファベ
ット言語文字で構成された文書ないしイメージの一部の
ことである。

【００８０】上記で定義したさまざまオペレーション
は、時には名詞、時には形容詞や動詞の形態で引用され
る。例えば膨張変換（名詞の形態）に関しては、膨張と
言う用語において、イメージあるいは膨張されつつある
イメージ（動詞形）、もしくは膨張変換対象のイメージ
（形容詞形）と言った表現も許される。これらの意味の
差は意図的なものではない。

【００８１】形態学的オペレーションは幾つかの固有な
特質を持ち、これを利用すると、専用アルゴリズムの設
計が簡単になる。先ず第一に、これらは翻訳しても不変
である。しかも変換前にイメージをシフトしても結果が
変わらない。ただし結果のシフトは除く。またこのオペ
レーションが、翻訳しても不変であることにより、イメ
ージ内の各ポイントを同一ルールで取り扱う高度の並列
処理が実行可能となる。このほか、この形態学的オペレ
ーションによれば、その幾何学的挙動を容易に目視可能
にする二つの特質が満たされるようになる。その一つ
が、浸食、膨張変換、開放（オープン）および閉鎖（ク
ローズ）が『増加する』ことで、これは、もしイメージ
１にイメージ２が含まれているなら、このイメージ１に
対する任意の形態学的オペレーションが、イメージ２に
対する形態学的オペレーションの中にも含まれることを
意味する。他の一つが、閉鎖が外延的（extensive)、開
放が反外延的( antiextensive)であることである。そし
てこのことは、原イメージが閉鎖によって変換されたイ
メージの中に包含され、また開放によって変換されたイ
メージが原イメージの中に包含されることを意味する。
構成要素の中心が原イメージの内部に含まれている場合
には、膨張変換と浸食の各オペレーションも、やはりそ
れぞれに外延的、反外延的になる。

【００８２】開放ならびに閉鎖の各オペレーションも、
下記のように、更に二つの形態学的オペレーションを満
足させる： （１）オペレーション結果が、構成要素の中心位置とは
無関係になること、（２）冪などを用いても、すなわち
得られた結果に開放もしくは閉鎖を再適用しても、オペ
レーション結果が不変であること。

【００８３】『イメージユニット』とは、ワード、数
字、文字、グラフあるいは確実に抽出可能でかつその下
に言語構造を有するその他のユニットのように、イメー
ジが同定可能な区画を意味する。

【００８４】II．方法の概要 この発明によって解決される一つの問題が、通常のペン
または鉛筆によって手書きされたマークの存在する頁上
の同定対象領域（すなわちイメージ区画）である。これ
らのマークが、水平あるいは垂直な各ライン、もしくは
『丸囲み』マーク（閉じられていないライン、曲線の一
部あるいはこれらの組み合わせ）で構成されていてもよ
い。しかし何れのマークも手書きであるため、機械印刷
された罫線や定規を用いた手書きのような直線性やスム
ーズさを備えていない。

【００８５】イメージ判読問題は、次のような幾つかの
副題に分解できる： （１）マークそのものの同定、（２）これらのマークに
関係したイメージ領域の同定、（３）マーク自体によっ
て干渉されずにこれら各領域を再生すること。

【００８６】イメージユニットを取り巻くワードボック
スすなわち境界ボックスを発見する方法では、ワードで
はなく文字を連結する水平構成要素によってイメージを
閉じたあと、連結されたイメージコンポーネント（この
場合ではワード）の境界ボックスを識別するオペレーシ
ョンが引き続き実行される。このプロセスは、１または
それ以上のしきい値縮小（しきい値１による）を用いる
ことによって著しく加速されるが、これによってイメー
ジ縮小と、文字間スペースを閉じると言う二つの効果が
発揮される。このしきい値縮小のあと、通常、小さな水
平構成要素による閉鎖が実行される。連結コンポーネン
ト識別オペレーションは、縮小されたスケールで実行さ
れ、その結果がフルスケールにスケールアップされる。
縮小スケールでのオペレーションの不利な点は、各ボッ
クスを拘束するワードが近似的なものになることである
が、それでも多くの用途では充分な精度が得られてい
る。上述した方法は、任意のテストフォントに対しては
実に良好に作用するが、文字間隔が大きな固定幅の大き
いフォントや、ワード間隔が狭くなる変動幅の小さなフ
ォントのような極端なケースにおいては、エラーが発生
する恐れがある。最も確実な方法では、固有のイメージ
特性の測定結果に基づき閉鎖するように構成要素が選定
される。しかしこれには次の二つのステップが必要にな
る： （１）行順序の原イメージすなわち縮小イメージ（ただ
し非閉鎖）を、左から右に、また上から下に配列するこ
と、（２）水平方向のコンポーネント間隔のヒストグラ
ムを描くこと。このヒストグラムは、当然小さな文字間
隔と、これより大きなワード間隔とに分けられなければ
ならない。そしてこれらの各ピークの谷間によって構成
要素のサイズを決定し、その結果を用いてイメージを閉
鎖することにより、文字を結合する。ただしワードは連
結しない。

【００８７】Ａ．手書きマークの同定 イメージ判読問題の副題（１）には、マークの同定が含
まれるが、これには手書きマークの幾つかの顕著な特質
を利用することができる。そしてこのような特質とし
て、次のようなものが挙げられる： （ｉ）水平、垂直および斜めの長い直線区画、だだしこ
こでの『長い』とは、テキストの文字のような機械印刷
マークとの相対的なものである、（ii）正確に真っ直ぐ
ではなく、若干カーブしている区画、（iii ）イメージ
内のテキストに対し、水平または垂直ではない区画。

【００８８】文書に罫線やグラフが存在せず、これがテ
キストのみで構成されている場合、手書きマークと機械
印刷ラインとを見分ける必要がなく、手書きマークをテ
キストから分離するには、直線区画の長さに基づきイメ
ージを精査するだけで充分である（この『精査』は、通
常は形態学的に実行されるが、浸食または開放の何れか
を用いた事前縮小が行われることもある）。

【００８９】イメージに水平または垂直な罫線が含まれ
ている場合には、機械マークと手書きマークとを見分け
る必要がある。そしてこのような場合には、前述したす
べての特徴を利用すると最善の結果が得られる。機械マ
ークと手書きマークとを見分ける一つの方法は、次の通
りである： （ａ）１９８９年１２月８日に受理されたブルーミング
等による『文書のゆがみ識別のための方法と装置』と題
する出願中の特許明細書、第４４８，７７４号記載のゆ
がみ分離法（Deskew) 、この特許出願内容全体がここに
引用される。 （ｂ）長い水平ライン区間に対してイメージの開放を実
行する。これによって機械印刷水平ラインと、ほぼ水平
な手書きライン区間の両者が浮かび上がってくる。 （ｃ）こうして抽出された各連結コンポーネントに対
し、幅Ｗ、高さＨおよび境界ボックス内の画素の数Ｎを
確認する。 （ｄ）この幅、高さおよび境界ボックス内の画素の数を
利用し、当該イメージ区画が機械によるものか、それと
も手書きなのかを確認する。このことは、水平区間に対
するＷ／Ｈの比、境界ボックス内のオン画素の部分エリ
アを特定するＮ／ＷＨの比、ｃを適用可能な値が約２で
ある定数としたときの水平区間に対するＮ／〔Ｗ・（Ｗ
−ｃ）〕の比等の各構成係数を用い、かつこれらの諸係
数としきい値とを比較することにより、実行可能であ
る。もし定数ｃを０にすると、係数がＮ／Ｗ・Ｈになる
特殊ケースが発生する。係数Ｎ（ＷＨ）をこの定数ｃで
一般化する理由は、ぎざぎざなマークと、機械印刷ライ
ンの僅かなゆがみとを補償するためである。例えば、幅
から２を控除しなければ、Ｎ／〔Ｗ・（Ｈ−ｃ）〕がほ
ぼ１．０になるのに反し、手書きマークに対してはこれ
が１．０より遙かに小さくなる。

【００９０】Ｂ．マークされた領域の同定 イメージ判読問題の副題（２）は、手書きマークに関係
した文書イメージ領域の同定に関するものである。副題
（１）において同定された手書きマークを更に処理する
ことにより、文書イメージの目標部分が同定される。

【００９１】充填オペレーション、同定された区画を
『シード』にして処理を開始し、同定された区画がその
一部であるイメージ内の連結されたコンポーネントを充
填することにより、連結された手書きマークが提供され
る。このマークは、アンダーライン、サイドライン、丸
囲み等であり得る。

【００９２】この結果、当該マークがアンダーライン
（幅／高さの比が大）、サイドライン（高さ／幅の比が
大）あるいは丸囲み（幅と高さとが何れも最小しきい値
よりも大）であるなら、連結された（充填された）コン
ポーネントの境界ボックスの凹凸比（幅：幅のアスペリ
ティ・レシオ）と、決定すべきしきい値との比較が可能
となる。

【００９３】アンダーラインは、通常、イメージユニッ
トに関して前記各項に直接関係するので、隣のアンダー
ラインと関連したイメージユニットのセグメント化が専
ら実行される。この結果、例えば文書イメージが水平方
向に閉鎖（もしくは膨張）可能となるため、当該イメー
ジユニット内の文字が吸収消滅する。従って，連結コン
ポーネントを抽出すると、全イメージユニットが得られ
る。

【００９４】サイドラインは、これが当該イメージの左
側に引かれていれば、通常ではこれがその右側の文書イ
メージに関係し、逆の場合には逆の関係になる。

【００９５】丸囲みは、通常、文書のこれによって囲ま
れた部分に関係する。ここで丸囲みとは、囲みもしくは
これに近いものによって境界を定めようとする任意のマ
ークを意味する。この丸囲みは、手書きマークも含め、
これによって境界が定められた領域が、下記の幾つかの
方法で確認可能であるため、必ずしも閉じている必要は
ない。 （ａ）連結されたコンポーネントに対して境界ボックス
を利用する方法。この方法は、文書イメージの完全に囲
まれた隔絶領域に対しては効果的であるが、テキストブ
ロック内で発生する丸囲みマークに対してはあまり効果
がない。と言うのも、例えば境界ボックスの中に収まっ
てはいるが、囲いの外側にある対象外のテキストまで拾
い上げてしまうからである。 （ｂ）丸囲み領域内の充填。これは、当該領域が閉じら
れている場合にのみ有効である。当該領域の連結度をテ
ストするには、幾つかの方法がある。その極めて簡単な
方法が、内側からか、もしくは外側からの何れかの方向
での溢れ充填を利用することである。この溢れ充填は、
先ず、連結されたコンポーネントの境界ボックスによっ
て定められたイメージ領域の抽出からスタートし（多
分、境界ボックス外側のオフ画素を用いながら、境界ボ
ックスから僅かばかりはみ出したイメージを用いて）、
下記の何れかによる： ｉ）バックグラウンドのオフ画素を内側から充填し、充
填が囲みから漏れ出ているか否かチェックする、または ii）バックグラウンドのオフ画素を外側から充填し、充
填が囲み内に浸透しているか否かをテストする。 （ｃ）閉鎖方向を入れ替えることは、外郭が閉じられて
いない丸囲みに対して効果的である。この方法は、連結
されたコンポーネントを隔絶し、これを、当該寸法に匹
敵するサイズの構成要素への最短距離に沿って閉じたあ
と、合理的サイズの構成要素と直交する方向に沿って閉
じる（連結されたコンポーネントの凹凸度−アスペリテ
ィ−に関係しつつ）。そして再びオリジナル方向に閉じ
ると、その結果が、連結コンポーネントにまたがるソリ
ッドマスクになる。この方法は、縮小された何れのスケ
ールについても効果的に実行可能である。

【００９６】Ｃ．マークされた領域の再生 イメージ判読問題の副題（３）が、境界が定められた領
域を、手書きマークに干渉されずに再生させることであ
る。この問題は、手書きマークが抽出対象資料に結びつ
いている場合に発生する。このような結びつきに阻害さ
れ、抽出されたイメージから手書きマークにより生成さ
れた画素のみを除去することが、一般に不可能になる。
それにもかかわらず、このような作業を良好にやっての
ける解決法が存在する。

【００９７】この発明に基づく一つの方法が、手書きマ
ークを構成していると思われるこれらの画素を抽出し、
これらを排他的論理加算（ＸＯＲ）する、すなわち抽出
イメージから一式差し引く方法である。手書きマーク境
界部のノイズ画素が抽出されていなければ、これらがＸ
ＯＲすなわち一式引き算の後でも残存する結果、これら
を除去するため、構成要素による開放を適用することが
必要になる。

【００９８】サイドラインに対しては、一般にこれが機
械印刷資料には結びついていないので、通常では問題が
起こらない。しかしアンダーラインは、その上の資料に
タッチすることがあり得る。この結果、例えば連結され
たコンポーネントに、アンダーライン上部の一つまたは
何個かの文字が含まれることがあり得るため、これに結
びついたコンポーネントが除去されなくなる筈である。
しかしながら、充填を実行しない水平方向の開放だけで
アンダーラインが抽出される筈である。すなわち、下記
の二つの方法の何れかによって境界領域のノイズ画素を
回収することにより、水平方向の開放にはこれらのノイ
ズ画素が含まれなくなるのである （ｉ）抽出されたアンダーラインを、小さな垂直構成要
素を用いて膨張変換する方法。膨張変換されたアンダー
ラインは、たとえ構成要素が極めて小さなものであって
も、通常では境界ノイズ画素をカバーする。もしくは
（ii）小さな構成要素を用いた開放によって抽出された
コンポーネントを後処理することにより、ノイズを除去
する方法。

【００９９】上述したように、アンダーラインは、通
常、ワードに再生されるイメージユニットに使用されて
いるので、アンダーライン上部の資料を把握することを
目的とした処理は、当該ワードを主体にしたものでなけ
ればならない。従ってイメージユニットを抽出したあ
と、アンダーラインを表す画素を差し引けばよい。

【０１００】丸囲み領域が最も千変万化であるが、ここ
では手書きマークを含んだ限定領域が、前記の方法で把
握されたと仮定する。そしてこの刈り取られた領域が、
文書の、丸囲みには触れていない隔絶部分であるなら、
当該全領域が抽出可能となり、これに引き続き丸囲みコ
ンポーネントの各画素のＸＯＲ、すなわち引き算が実行
される。しかし手書きマークが機械印刷文章にタッチし
ている場合、下記のオペレーションを適用すればよい： （ｉ）手書きマークに結合され、これに触れた文字全体
が含まれているかも知れないコンポーネントの除去、
（ii）ラインセグメントを１組の方位（通常は０°、２
２．５°、４５°、６７．５°、９０°、１１２．５
°、１３５°、１５７．５°の８方位）で表した構成要
素を用いた１群のオペレーションによる手書きマーク画
素の同定。当該構成要素のサイズは基準に従って設定さ
れるが、この基準は、通常のテキスト文字の混入を防止
するため充分に大きくなければならない一方、手書きマ
ークの大部分を把握するのに充分な程度に小さくなけれ
ばならない。そして１群のオペレーションによって得ら
れたイメージが、小さな等方性構成要素（例えば３×３
または５×５）によって膨張変換され、その結果が、把
握されたイメージからＸＯＲすなわち引き算される。

【０１０１】上記オペレーションの信頼性を改善するた
め、把握した各領域のビットマップごとに個別処理しな
ければならない。またイメージ閉鎖時の境界効果を防止
するため、境界画素を加えることも必要になるであろ
う。そして各領域ごとに個別処理することにより、各領
域の相互干渉がなくなる（例えば大規模閉鎖に際しても
異なった二つの領域がブリッジされなくなる）。このほ
か、領域処理のための構成要素も、閉じられていない丸
囲みで限定された領域抽出のための前述方法と同様、各
領域それぞれの寸法と特性に合わせて選定可能となる。

【０１０２】III. 直接アプローチ この発明の方法と装置によれば、通常のペンや鉛筆で手
書きマークされた文書領域を、たとえこれらのマークが
各行を貫通しているような場合においても、同定可能と
なる。マークされたこれらの行を同定しかつこれを文書
イメージから抽出するのに、マークされた行の二つの文
字を用いることができる。先ず各行が長いラインである
として同定されることがあり得るし、またテキストが、
例えば強くカーブした局部領域を持っているにもかかわ
らず、マークされた行が局部的には直線区間で構成され
ているかのように見受けられることもあり得る。

【０１０３】マークされた行の同定への直接アプローチ
と、手書きマーク領域の逐次処理とにより、局部的に長
い行で構成された文書イメージのこのような部分も抽出
されるとともに、マークされた行が当該文書イメージか
ら効果的に除去される。この直接アプローチ法が、図１
の優先的第一実施例に示されているが、同図では文書の
第一イメージが、図５の事例に対する説明として、ステ
ップ２において走査される。この図５の第一イメージ
は、１５０画素／インチのスケールで表されている。こ
の第一イメージが、ステップ４においてしきい値２を用
いて２Ｘ縮小されたしきい値となる結果、７５画素／イ
ンチに縮尺変更された第一イメージが得られる。そして
図５の縮小された第一イメージの形態学的な１群の開放
が、ステップ６において実行されるが、このとき図２７
Ａ〜Ｈに示されているような８個１組の構成要素要素が
用いられ、図１７に示されているような２番目のイメー
ジが形成される。図２７Ａ〜Ｈの構成要素は、何れも９
の長さを有し、これらがセットとなり、それぞれ方位が
異なった８本のラインを表す。この１群の開放の実行に
際し、少なくとも一つの構成要素パターンを完全にカバ
ーする縮小された第一イメージの一部の中に存在する何
れの画素も受入れられる。図１７に示されているこの結
果においては、マークラインがくっきりと浮かび上がっ
ている。そしてステップ８において境界ボックスが生成
され、これが充填されて図２０に示されているようなマ
ーク領域マスクが形成される。

【０１０４】図２に、手書きマークを同定しかつこれを
抽出するための直接アプローチ法を用いた第二の優先的
実施例が示されている。この方法の最初の３ステップ
は、図１の２、４および６の各ステップと同一である。
これら最初の３ステップには、ステップ２での第一イメ
ージ（図５による）の走査、ステップ４でのイメージ縮
小、そして図２７Ａ〜Ｈに示した８個１組の構成要素を
用いたステップ６での１群の開放実行が含まれる。しか
し図１とは異なり、この図２のステップ１６では、図１
７に示されている第二イメージが、しきい値１を用いて
２Ｘ縮小され、３８画素／インチになっている。縮小さ
れたこの第二イメージが、ステップ６で使用されたのと
同一セット、すなわち図２７Ａ〜Ｈの構成要素セットを
用いた１群の開放実行によって処理され、図１８に示さ
れているような３番目のイメージが形成される。この優
先的第二実施例においては、第一実施例のステップ４で
の縮小とは異なり、２Ｘの縮小が実行されるので、構成
要素の長さが実質的に前ステップ４のときの２倍にな
る。また図１８から明らかなように、この第三イメージ
を求める形態学的オペレーションの結果が、極めて鮮明
なイメージになり、実質的にマークラインのみが示され
るようになる。そしてステップ２０では境界ボックスが
生成され、またステップ２２では第三イメージが、何れ
もしきい値１で２回にわたり２Ｘ縮小される結果、図１
９に示されているように９．５画素／インチになる。そ
してステップ２４でのこの４番目のイメージの境界ボッ
クス充填の結果が、図２０の５番目のイメージ（マス
ク）になる。散らばったマークや、マークとは認められ
ないような極端に小さなマークによるエラーを避けるた
め、ステップ２６では小さな境界ボックスが消去され
る。

【０１０５】IV．丸囲み抽出技術 丸囲み抽出のための他の優先的実施例が図２８〜３４に
描かれているが、コール実行のためのスクリプトテキス
トの説明は、付録Ａに記載する。

【０１０６】先ず、図２８に示されているオリジナルイ
メージのゆがみを除去する。この処理は補足的なもので
はあるが、付録Ｂ記載の手書きライン識別法を用いる場
合にはこれが役立つ。次に図２８の第一イメージの４Ｘ
縮小を実行すると、図２９に示されているような結果が
得られる（２Ｘ縮小であってもよい）。この縮小処理も
補足的なものではあるが、縮小イメージでは多数の逐次
処理が遙かに迅速に実行されるようになるため、効率の
向上に役立つ。図３０では水平ラインが、長い水平構成
要素を用いた開放によって（または、浸食によれば若干
良い結果が得られる）既に抽出されている。この例で用
いた構成要素は、長さが２０画素であったが、これは解
像度が４０〜８０画素／インチのイメージにとって合理
的なものであり、典型的な解像度３００画素／インチを
４Ｘないし８Ｘ引き下げたものに相当する。手書きライ
ンが弱々しい場合、すなわち細かったり、傾いている場
合には、長い水平ラインの抽出が不可能になることがあ
る。このような細いラインを処理するには、水平開放に
先立ち、垂直膨張変換を行ってラインを太くするとよ
い。また、水平ラインの抽出後、これとは別の膨張変換
を行えば、僅かばかり離れたコンポーネント同士を結合
させることができる。図３１では、連結された各コンポ
ーネントが既に存在し、かつ短いラインが幾つかの従来
技術を用いて既に除去されている。そしてこの図３１に
は、短いラインが淘汰された後に残されたこれら各コン
ポーネントに対する境界ボックスが示されている。図３
２では手書きラインが選択されている。可能な識別係数
（この事例では二つ）として、アスペリティレシオ
（幅：幅の凹凸比）と、オン画素を包含した境界ボック
スの断片とが挙げられる。図３３では、手書きマークが
下記によってフル解像度で抽出されている： （１）図３２で選択されたセグメントをフル解像度に拡
大、 （２）図３２のセグメントの、図２８のオリジナルイメ
ージとのＡＮＤ拡大 （３）ＡＮＤオペレーションの結果を充填オペレーショ
ンでのシードとして用い、クリッピングマスクとしての
図２８のオリジナルイメージによって手書きオリジナル
マーク全体を生成。

【０１０７】連結されたコンポーネントの境界ボックス
を決定する（１）、オリジナルイメージから境界ボック
スを抽出する（２）、および手書きマーク（図３３参
照）を差し引く（３）によって、手書きマークによって
取り囲まれた領域の中身（図３４参照）が得られた。従
ってこの方法は、例え手書きマークが閉じたカーブの形
態ではない場合においても、適用可能である。

【０１０８】通常のペンないし鉛筆（ハイライトペンも
含む）での手書きマークで丸囲みされた文書領域抽出方
法への一般的アプローチが、図４６のフローチャートで
示されている。ステップ２０２では１個のイメージが走
査され、その結果としての文書イメージＡが、ステップ
２０２でゆがみ除去される。そしてゆがみが除去された
イメージＢが、ステップ２０４において少なくとも１個
の水平または垂直構成要素を用いて開放される。こうし
て開放されたイメージＣは、ステップ２０４において、
当該構成要素のタイプに応じて水平または垂直の何れか
のイメージセグメントを持つようになる。ステップ２０
６ではイメージユニットを取り囲む境界ボックスが決定
され、これが水平または垂直ラインセグメントの境界四
角形を含んだデータ構造Ｄになる。ステップ２０８では
データ構造Ｄから境界ボックスが除去されて機械印刷マ
ークのみを含んだものとなり、これがデータ構造Ｅに該
当する。ステップ２１０ではこのデータ構造Ｅで表され
る領域が、ゆがみ除去済イメージＢから抽出され、これ
が手書きラインセグメントのイメージＦになる。ステッ
プ２１２では、このイメージＦの手書きラインセグメン
トが、イメージＢをクリッピングマスクとして利用する
シード充填オペレーションのためのシードとして使用さ
れる。このシード充填オペレーションの結果が、手書き
マークを表す充填済丸囲みのイメージＧとなる。ステッ
プ２１４においては、イメージＧの丸囲みの周囲に境界
ボックスが発見され、これがデータ構造Ｈになるが、こ
れには手書きマークを取り巻く四角形が含まれる。そし
てこのデータ構造Ｈによって表された領域が、ステップ
２１６でゆがみ除去済イメージＢから抽出され、その結
果が、手書きマークとその中身とを包含したイメージＪ
になる。ステップ２１８では、このイメージＪがイメー
ジＧと排他的論理加算（ＸＯＲ）される。そしてこのＸ
ＯＲの結果、手書きマークが消え去り、これに囲まれて
いた領域の中身のみを含んだイメージになる。

【０１０９】Ｖ．間接アプローチ 手書き指示マークライン同定への間接アプローチには、
指示マークライン以外のすべてのプリントを文書イメー
ジから除去することも含まれる。図３の各ステップによ
って示されているこの間接アプローチは、ステップ３０
において、図５に示されている１５０画素／インチの第
一イメージの走査で開始される。走査された図５の第一
イメージは、例えば１５０画素／インチでの走査、すな
わち３００画素／インチをしきい値２で２分の１に引き
下げた走査によって生成させることができる。また、図
６に示されている第二イメージは、図５のイメージを、
図２１の長さ８の構成要素のような第一水平構成要素で
閉じることによって形成される。これ以外の構成要素オ
リエンテーションを用いてもよいが、この水平オリエン
テーションによれば、カーブと文字間隔とを最も効果的
に閉じることができる。ステップ３２でのこの閉鎖オペ
レーションにより、第一イメージ内の背の高い湾曲領域
が同定される。そしてこのステップ３２での閉鎖オペレ
ーションの結果（図６）と、ステップ３０の第一イメー
ジ（図５）が、図３のＸＯＲゲート３４で排他的論理加
算（ＸＯＲ）される。そしてこの結果が、図７に第三イ
メージとして示されているが、これにはステップ３２の
閉鎖オペレーションによって加算された画素のみが含ま
れている。しかしこれら各画素の大部分のものが、背の
高い湾曲部を有する近似ラインになる運命にあるが、そ
の理由は、湾曲部の背が低いラインは、このような多数
の画素を発生させない筈であるからである。図７の第三
イメージに対するフィルクリップオペレーションは、図
３の二つのステップ、すなわちステップ３６での第三イ
メージの膨張変換と、これに引き続き膨張変換結果と第
一イメージとを論理加算するステップ３８とに分岐され
る。ここでは、図７の第三イメージが、ステップ３６に
おいて３×３の充実構成要素で膨張変換されるのが特徴
的である。そして膨張変換された第三イメージが、ステ
ップ３８で第一イメージに論理加算されて図８の第四イ
メージが形成される。このフィルフリップ処理により、
図６の背の高い湾曲画素を発生させた文書の各行が埋め
戻される。文書の各行を図８に示されているように完全
に埋め戻すには、このフィルクリップオペレーションを
２回以上繰り返すとよい。またこれに代わり、図７の第
三イメージを３×３の充実構成要素で逐次膨張変換し、
この膨張変換結果を図５の第一イメージに論理加算して
図８の第四イメージを生成させることも可能である。そ
して図８の第四イメージ、すなわちＡＮＤゲート３８か
らの出力が、ゲート４０でステップ３０からの第一イメ
ージ（図５）と排他的論理加算（ＸＯＲ）されて図９の
第五イメージになる。指定マークラインを強化しかつバ
ックグラウンドノイズを消去してこの図９の第五イメー
ジを求めるには、さまざまな形態学的処理を利用するこ
とができる。そして次のステップ４２では図９の第五イ
メージに対し、１セットの構成要素、特に図２３〜２６
に示されている４組の構成要素セットを用いた１群のオ
ペレーションが実行される。この形態学的オペレーショ
ンには図９の第五イメージに対する各構成要素による順
次開放が含まれているので、１群の結果が得られ、図１
０に示されているようにノイズが抑制された第六イメー
ジが形成される。このイメージでは、通常、細い垂直ラ
イン状のものが出現するが、この図１０内の何れの画素
も、図２３〜２６の構成要素の四つの方位の少なくとも
一つの方位上での画素５個のランに属するものである。
このバックグラウンドノイズは、図２２に示されている
長さが２の第二水平構成要素を用いたステップ４４での
前記第六イメージの開放によって更に抑制され、図１１
に示されている７番目のイメージが形成される。そして
この時点ではバックグラウンドノイズが充分に抑制され
ているので、この第七イメージを一連の構成要素によっ
て閉鎖し、指定マークライン内の小間隙を閉じたあと、
小規模な開放によってバックグラウンドノイズを除去す
る等、さまざまな代案によってイメージ処理を続行させ
ることが可能となる。ステップ４６ではこの第七イメー
ジが、何れもしきい値が１の２回のしきい値縮小２Ｘに
よって１５０画素／インチから３８画素／インチ、すな
わち４分の１に縮小され、図１２に示されている８番目
のイメージが生成される。次のステップ４８ではこの第
八イメージが図２３〜２６の４種類の構成要素によって
逐次閉鎖され、図１３に示されている９番目のイメージ
が形成される。この第九イメージでは、図１２の第八イ
メージのカーブの切れ目の幾つかが閉じられている。そ
してステップ５０では、前回と同じ図２３〜２６の４種
類の構成要素セットを用いた開放に伴う前記第九イメー
ジの組合せにより、図１４に示されているように大部分
のバックグラウンドノイズが消された１０番目のイメー
ジが生まれる。この図１４の第十イメージが、ステップ
５２において係数２で縮小され、図１５に示されている
１１番目のイメージが形成される。そしてこの第十一イ
メージにつき境界ボックス充填を行うことにより、図１
６の１２番目のイメージが形成される。この図１６の第
十二イメージにより、境界ボックスのソリッドマスクが
描かれるが、このマスクをステップ５６でフルスケール
に拡大したあと、ＡＮＤゲート５８においてステップ３
０からの第一イメージ（図５）と論理加算することによ
り、指定マークイメージ検出プロセスがステップ６０に
おいて完結される。

【０１１０】VI．位相幾何学的方法 丸囲み領域の中身を抽出するための方法の他の優先的実
施例には、図３５に示されているようにフル解像度（結
果が前記実施例の図３３と同一）での手書きマークの抽
出が含まれる。この図３６では、連結された各コンポー
ネントの境界ボックスが得られている。効率ならびに他
の部分間の相互干渉防止のため、各サブイメージが抽出
されかつ個別処理される。図３７〜４２に、処理の各中
間段階ごとの結果が示されているが、これらの図では、
イメージを合成する各サブイメージが、それぞれのオリ
ジナル位置にまとめて配置されている。そして図３７で
は各サブイメージが、それぞれのエッジからの溢れ充填
による１回目のエッジ充填でエッジ充填されている。も
し手書きマークが閉じられたものであれば、充填が内部
には浸透しない。ここでは二つの手書き『丸囲い』が途
切れ、一つが閉じており、また写真のサブイメージが閉
じた丸囲いのように作用することに留意されたい。図３
８では各サブイメージが反転されている（１回目のエッ
ジ充填での反転）。もし手書きマークの輪郭が途切れて
いたら、これが若干残されことになる（例えばテキスト
の穴のように）。また丸囲みが閉じられていれば、その
中身が黒いバックグラウンド上に白抜きとして出現す
る。ここで、これより前の二つのステップを、輪郭面積
とオン画素の個数とを比較検査することによって閉じた
輪郭の有無を判定することに利用可能であることに留意
されたい。もしオン画素が輪郭面積のかなりな部分（例
えば３０％以上）を占めていれば、輪郭は閉じているこ
とになる。これに反し、小規模な浸食のあと、オン画素
が残っていなければ、輪郭は開いていることになる。

【０１１１】閉じた輪郭の中身は、幾つかの方法で抽出
可能である。例えば図３９に示されているように、反転
済の各サブイメージを１回目のエッジ充填でエッジ充填
すればよい。この結果、途切れた輪郭に対してはオン画
素の充実したサブイメージが生まれているのに対し、閉
じた輪郭の外側ではエッジ充填がまだ途中である。また
反転された各サブイメージ（２回目のエッジ充填で反
転）が図４０に示されているが、ここでは内部が抽出さ
れている。二つのオープン輪郭には内部が存在しないの
に対し、輪郭が閉じられたサブイメージでは中身が具現
されている。写真サブイメージはあたかも閉じた輪郭の
ように受けとめられるので、その零ではない内容も表示
される。内容抽出の基本オペレーションが、エッジ充填
／反転であるが、これは閉じた輪郭内部のオン画素を抽
出する位相幾何学的オペレーションであって、さまざま
なイメージコンポーネントの形状は、重要ではないこと
に留意されたい。

【０１１２】丸囲み領域の中身を抽出するための他の位
相幾何学的方法（図４４に示されている方法）には下記
各ステップ、すなわち文書イメージを走査するステップ
２５０、文書イメージをエッジから充填するステップ２
５２（ここでは囲まれた領域以外の全イメージが充填さ
れる）、ビットごとにイメージを反転し、囲まれた領域
のみを充填するステップ２５４、エッジから充填するス
テップ２５６、およびビットごとにイメージを反転する
ステップ２５８が含まれるが、この結果、手書きで丸囲
みされた領域のみが充填されたイメージが生成される。
１回目のエッジ充填オペレーションは、機械印刷で囲ま
れた領域を排除するためのものである。切れ目なく丸囲
みされた領域の中身を抽出するための準幾何学的方法が
図４５に示されている。この方法には下記各ステップ、
すなわち文書イメージを走査するステップ２８０、文書
イメージをエッジから充填するステップ２８２、ビット
ごとにイメージを反転するステップ２８４、充実した構
成要素を用いてイメージを開放するステップ２８６、少
なくとも１個の垂直構成要素を用いてイメージを閉じる
ステップ２８８、および閉じられたイメージに走査済オ
リジナルイメージを論理加算するステップ２９０が含ま
れるが、この結果、手書きで丸囲いされた領域のみが含
まれたイメージが生成される。

【０１１３】図３５に示されているイメージを出発点と
し、図３６〜４０の各イメージを生成させるために用い
られる手順書を付録Ｃに掲載する。

【０１１４】また、前述しかつ図３９と図４０に示した
２回目のエッジ充填／反転手順に対する一つの代案とし
て下記が挙げられる。１回目のエッジ充填／反転のあ
と、途切れて丸囲いされた領域内に残された文字自体の
ループ部分によるノイズ画素が存在する。しかしこれ
は、浸食、ただし好ましくは開放を利用することによ
り、消去可能である。開放後の結果を図４１に示す。こ
の図において、非イメージ、すなわちそれぞれの輪郭が
閉じられているイメージ（前記１回目のエッジ充填／反
転の項で説明したように）のみを選択すると、二つのサ
ブイメージのみが存在するようになる。そしてこの各サ
ブイメージは、バックグラウンドテキストをオン画素に
転換するのに充分な大きさの構成要素で閉じることがで
きるので、その結果としてのビットマップが、オン画素
で充実された領域になる。そしてオリジナルイメージで
の０．１３インチ（ただしこのサイズは変更可能）に相
当した構成要素を用いて閉じたあと、図４１の結果を得
るのに、下記の二つのやり方が挙げられる： （ａ）このマスクにオリジナルイメージを論理加算して
テキストを抽出するやり方。このやり方によれば、通
常、手書き輪郭からの幾つかの画素も含まれるようにな
るが、その理由は、この閉鎖オペレーションによって当
該輪郭最奥部の幾つかの画素が捕らえられるからであ
る。 （ｂ）このマスクにオリジナルイメージを論理加算する
前に、先ず小さな構成要素（例えば３×３）でこれを浸
食する。このやり方によれば、マスクが手書き輪郭に重
畳するのが防止される筈である。従って（ｂ）の方が
（ａ）よりも優れている。この結果が図４３に示されて
いる。

【０１１５】図３６〜３８および図４１〜４３（上述し
た代案）に示されいるイメージを生成させるための手順
書を付録Ｄに掲載する。

【０１１６】付録Ｄ記載のaddBorderPixarとremoveBord
erPixar の両オペレーションは、閉鎖オペレーション時
のイメージ境界での諸問題を防止するためのものであ
る。この結果、常に空白部の境界線が存在するようにな
るため、イメージ境界線が発生しなくなる。

【０１１７】VII.手書きマークイメージ検出装置 図４の手書きマークイメージ検出装置８０には、例えば
ユーザー入力装置８２、モニター８６、読出専用メモリ
ー８８、ランダムアクセスメモリー９０、ファイル９
２、出力装置９４が含まれる。この装置８０は、コンピ
ューターシステム、ファクシミリ装置や写真複写システ
ム等の文書イメージを改変するための幾つかの自動装置
を表したものである。また、これのユーザー入力装置８
２は、キーボード、光学式電子スキャナー、写真複写機
やファクシミリ装置等、任意のユーザー入力装置を意味
する。手書きマークされた文書イメージが、一旦このユ
ーザー入力装置８２によって読み取られると、当該文書
イメージがプロセッサ８４によって処理され、前述した
何れの方法によるかに応じて手書きマークもしくは所望
の中身が抽出される。プロセッサ８４は、ＲＯＭ８８に
用意された手引とＲＡＭ９０に用意された情報に従って
動作するが、このときファイル９２へのアクセスも可能
である。手書きマークされた文書イメージ区画抽出結果
を、モニター８６にディスプレイさせたり、あるいは出
力装置９４（ファクシミリ装置、写真複写機、プリンタ
ー、ＣＲＴディスプレイ等、文書イメージ出力用の任意
の出力装置）に出力させることができる。

【０１１８】以上この発明を特定の優先的実施例を参照
して説明したが、この発明はこのような特例に限定され
るものではなく、また、当部門の専門家によれば、特許
請求の範囲に記載のこの発明の精神ならびに範囲から逸
脱せずに他の実施例や修正が可能である。

【０１１９】以上、前述した装置と方法が、原イメージ
内のマークで指定された行とその他の印刷部分との両者
の特徴的外観を利用しながら、マーク指定された行をど
のようにして原イメージから抽出するかを説明した。こ
の発明では、形態学的オペレーションとしきい値縮小の
みが用いられるが、何れの形態学的オペレーションも翻
訳に際して不変であり、かつ並列方式ならびにパイプラ
イン方式の両アーキテクチャーで実行可能であるため、
極めて迅速に、しかも妥当なコストで業務処理可能とな
る。

【図面の簡単な説明】

【図１】 この発明の好適第一実施例のフローチャート
で、光学的に走査された最初のイメージ内の手書きマー
ク指定行を同定して抽出する方法へ直接アプローチする
各ステップを示す。

【図２】 好適第二実施例のフローチャートで、前記同
定・抽出方法に直接アプローチする他のやり方の各ステ
ップを示す。

【図３】 好適第三実施例に対するバイナリ論理シンボ
ルを用いたフローチャートで、光学的に走査された最初
のイメージ内の手書きマーク指定行を同定して抽出する
方法への間接アプローチの各ステップを示す。

【図４】 この発明による、光学的に走査された最初の
イメージ内の手書きマーク指定行を同定して抽出する装
置の好適実施例のブロック線図である。

【図５】 通常のペンでマーク指定した行が存在する文
書頁を走査した最初のイメージの一例である。

【図６】 図３のマーク指定間接検出方法により、図５
の最初のイメージから形態学的閉鎖オペレーションの結
果として形成させた２番目のイメージの一例である。

【図７】 図３のマーク指定間接検出方法により、図５
の最初のイメージを排他的論理加算して形成させた３番
目のイメージの一例である。

【図８】 図３のマーク指定間接検出方法によって形成
させた４番目のイメージの一例である。この第四イメー
ジは、図７の第三イメージの膨張変換結果に図５の最初
のイメージを論理加算することによって形成させたもの
である。

【図９】 図３のマーク指定間接検出方法により、図８
の第四イメージに図５の最初のイメージを排他的論理加
算して形成させた５番目のイメージの一例である。

【図１０】 図３のマーク指定間接検出方法により、図
９の第五イメージから、１群のオペレーションの結果と
して形成させた６番目のイメージの一例である。

【図１１】 図３のマーク指定間接検出方法により、図
１０の第六イメージを形態学的に開放することによって
形成させた７番目のイメージの一例である。

【図１２】 図３のマーク指定間接検出方法により、図
１１の第七イメージを係数４で縮小した８番目のイメー
ジの一例である。

【図１３】 図３のマーク指定間接検出方法により、図
１２の第八イメージを閉鎖することによって形成させた
９番目のイメージの一例である。

【図１４】 図３のマーク指定間接検出方法により、図
１３の第九イメージから、１群のオペレーションの結果
として形成させた１０番目のイメージの一例である。

【図１５】 図３のマーク指定間接検出方法により、図
１４の第十イメージを係数２で縮小して形成させた１１
番目のイメージの一例である。

【図１６】 図３のマーク指定間接検出方法により、図
１５の第十一イメージの境界ボックスを充填することに
よって形成させた１２番目のイメージの一例である。

【図１７】 図１および２の手書きマーク指定直接検出
方法により、図５の最初のイメージから、１群のオペレ
ーションの結果として形成させた２番目のイメージの一
例である。

【図１８】 図１の手書きマーク指定直接検出方法によ
り、図１７の第二イメージを縮小しかつ１群の開放の結
果として形成させた３番目のイメージの一例である。

【図１９】 図２の手書きマーク指定直接検出方法によ
り、図１８の第三イメージを縮小することによって形成
させた４番目のイメージの一例である。

【図２０】 図２の手書きマーク指定直接検出方法によ
り、図１９の第四イメージの境界ボックスを充填するこ
とによって形成させた５番目のイメージ（マスク）の一
例である。

【図２１】 長さが８の水平構成要素の例である。

【図２２】 長さが２の水平構成要素の例である。

【図２３】 長さが５の水平構成要素の例である。

【図２４】 オン画素を左下隅から右上隅に対角線上に
並べた５×５構成要素の例である。

【図２５】 オン画素を左上隅から右下隅に対角線上に
並べた５×５構成要素の例である。

【図２６】 長さが５の垂直構成要素の例である。

【図２７】 Ａ〜Ｈの何れも長さが９で、さまざまに配
列した８種類の構成要素の例である。

【図２８】 手書きマーク指定検出に対して直接アプロ
ーチする他の好適実施例の最初のイメージの一例であ
る。

【図２９】 手書きマーク指定検出に対して直接アプロ
ーチする他の好適実施例の２番目のイメージの一例であ
る。

【図３０】 手書きマーク指定検出に対して直接アプロ
ーチする他の好適実施例の３番目のイメージの一例であ
る。

【図３１】 手書きマーク指定検出に対して直接アプロ
ーチする他の好適実施例の４番目のイメージの一例であ
る。

【図３２】 手書きマーク指定検出に対して直接アプロ
ーチする他の好適実施例の５番目のイメージの一例であ
る。

【図３３】 手書きマーク指定検出に対して直接アプロ
ーチする他の好適実施例の６番目のイメージの一例であ
る。

【図３４】 手書きマーク指定検出に対して直接アプロ
ーチする他の好適実施例の７番目のイメージの一例であ
る。

【図３５】 手書きマーク指定検出に対して間接アプロ
ーチする好適第二実施例の最初のイメージの一例であ
る。

【図３６】 手書きマーク指定検出に対して間接アプロ
ーチする好適第二実施例の２番目のイメージの一例であ
る。

【図３７】 手書きマーク指定検出に対して間接アプロ
ーチする好適第二実施例の３番目のイメージの一例であ
る。

【図３８】 手書きマーク指定検出に対して間接アプロ
ーチする好適第二実施例の４番目のイメージの一例であ
る。

【図３９】 手書きマーク指定検出に対して間接アプロ
ーチする好適第二実施例の５番目のイメージの一例であ
る。

【図４０】 手書きマーク指定検出に対して間接アプロ
ーチする好適第二実施例の６番目のイメージの一例であ
る。

【図４１】 当該イメージについて開放オペレーション
を実行したあと、間接アプローチする好適第二実施例の
７番目のイメージの一例である。

【図４２】 当該イメージに対して閉鎖オペレーション
を実行したあとの図４１のイメージの一例である。

【図４３】 当該イメージについて浸食オペレーション
を実行したあとの図４２のイメージの一例である。

【図４４】 不透明な手書きマークによって丸囲みされ
た文書イメージ領域を抽出するための位相幾何学的方法
のフローチャートである。

【図４５】 不透明な手書きマークによって丸囲みされ
た文書イメージ領域を抽出するための準位相幾何学的方
法のフローチャートである。

【図４６】 不透明な手書きマークによって丸囲みされ
た文書イメージ領域を抽出するための方法のフローチャ
ートである。

【符号の説明】

８２ ユーザー入力装置、８４ プロセッサ、８６ モ
ニター、８８ ＲＯＭ、９０ ＲＡＭ、９２ ファイ
ル、９４ 出力装置

───────────────────────────────────────────────────── フロントページの続き (72)発明者 ダサーリ・ラクシュミ アメリカ合衆国 カリフォルニア州 94304 パロアルト ＃383 アルマストリ ート 3375

Claims (3)

【特許請求の範囲】
1. 【請求項１】 不透明な手書きマークおよび手書きマー
   クされた各領域の所在を同定するため、走査済の最初の
   イメージをディジタルコンピューターで処理するための
   方法において、下記各ステップ、すなわち （ａ）最初のイメージにつき、第一セットの構成要素を
   用いて１群の開放を実行し、２番目のイメージを形成さ
   せること、 （ｂ）この２番目のイメージのマーク指定された行を取
   り巻く境界ボックスを生成し、この境界ボックスによっ
   て各マーク領域を同定すること、 を包含した方法。
2. 【請求項２】 不透明な手書きマークによって取り囲ま
   れた文書イメージ領域を抽出するため、イメージをディ
   ジタルコンピューターで処理するための位相幾何学的方
   法において、下記各ステップ、すなわち （ａ）当該文書イメージを、エッジから溢れ充填するこ
   と、 （ｂ）この文書イメージを、ビットごとに反転するこ
   と、 （ｃ）この文書イメージを、エッジから溢れ充填するこ
   と、および （ｄ）この文書イメージを、ビットごとに反転するこ
   と、 を包含した方法。
3. 【請求項３】 不透明な手書きマークによって取り囲ま
   れた文書イメージ領域を抽出するため、イメージをディ
   ジタルコンピューターで処理するための準位相幾何学的
   方法において、下記各ステップ、すなわち （ａ）当該文書イメージを、エッジから溢れ充填するこ
   と、 （ｂ）この文書イメージを、ビットごとに反転するこ
   と、 （ｃ）この文書イメージを、サイズが予め定められた最
   初の充実構成要素を用いて開放すること、 （ｄ）この文書イメージを、サイズが予め定めらた２番
   目の充実構成要素を用いて閉鎖すること、および （ｅ）この閉鎖された文書イメージにオリジナル文書イ
   メージを論理加算（ＡＮＤ）すること、 を包含した方法。