JPH0863546A

JPH0863546A - 情報抽出方法および画像修復方法並びに画像修復システム

Info

Publication number: JPH0863546A
Application number: JP7233400A
Authority: JP
Inventors: Haato Piitaa; ハートピーター; Piaasu Maaku; ピアースマーク; Mitsutoshi Mizutani; 光利水谷
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 1994-08-23
Filing date: 1995-08-18
Publication date: 1996-03-08
Anticipated expiration: 2015-08-18
Also published as: US5694494A; JP3547025B2; DE19530829A1; DE19530829C2

Abstract

(57)【要約】【課題】特別なカラーフィルタや特別なフォームなど
を用いる必要なく、フォームに書き加えられた情報をフ
ォーム自体に含まれている情報から識別(電気的に分離)
する。【解決手段】ユーザによって情報が書き加えられる前
のドキュメントの画像を第１画像として取得する第１画
像取得部１と、ユーザによって情報が書き加えられた後
のドキュメントの画像を第２画像として取得する第２画
像取得部２と、第２画像から第１画像を差し引き、差し
引いた結果の画像を作成する差し引き画像作成部３と、
差し引き画像において、第２画像から第１画像を差し引
いたことによって除去された、ユーザによって書き加え
られた情報の除去部分を修復する修復部４とを備えてい
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、仕上げられた(情
報が書き加えられた)フォームドキュメントの走査画像
から、情報を抽出するための情報抽出方法および画像修
復方法並びに画像修復システムに関し、特に、フォーム
ドキュメント上の情報を電気的に取得し、該情報のう
ち、フォームドキュメントに書き加えられた情報をフォ
ームドキュメント自体の情報と識別する技術に関する。

【０００２】

【従来の技術】在来のドキュメント処理において共通の
問題は、種々のフォームタイプのドキュメントから情報
を抽出することにある。フォームドキュメントは、典型
的には、空欄(ブランク)や空いた領域をもつ予め印刷さ
れた紙シートであり、フォームドキュメント上への情報
は、フォームを仕上げる個々の者によってフォームドキ
ュメントに書き込まれる(書き加えられる)ようになって
いる。このフォームは、これに書き込まれた情報に基づ
いて所定の行動をとることが予期される者，すなわちこ
れに書き込まれた(書き加えられた)情報を最終的に必要
とする者によって処理される前に、幾人かの者の手に渡
り、各々の者がこのフォームにさらに追加の情報を書き
加えることも考えられる。これに書き込まれた情報を最
終的に必要とする者は、例えば、このフォームに予め印
刷されている部分と関連させてこのフォームに書き加え
られた情報を解釈して、決定を行なったり特定の行動を
とる。このようなフォームは、良く知られており、例え
ば、購買注文票，出荷伝票，労務管理簿，保険記録票な
どがある。

【０００３】このようなフォームの処理を容易にし、ま
た、これらのフォームから情報を抽出するのに、フォー
ムに書き加えられている情報をフォームに予め印刷され
ている情報から分離するのが望ましい。例えば、このフ
ォームを仕上げる個々の者の名前および住所の情報を抽
出し、この情報を、予め印刷されている名前，住所，市
などの欄の情報(ブランクフォーマットの情報)と識別す
るのが望ましい。

【０００４】例えば良く知られているドキュメントスキ
ャナを用いて、このフォームを走査する場合、このフォ
ームに予め印刷されている情報は、このフォームに書き
加えられている情報とともに、検出される。光学的文字
認識や他の同様な技術を用いる場合には、このような処
理の後になされるドキュメント処理動作においてこのフ
ォームに書き加えられた情報だけを用いることができる
ように、２種類の情報を分離するのは非常に難しい。

【０００５】

【発明が解決しようとする課題】この問題を解決する一
手段として、従来では、フォームについて特定の印刷カ
ラー(色)を用い、また、仕上げたフォームを走査する際
に、上記特定の印刷カラー(色)と整合のとれたカラーフ
ィルタ(色フィルタ)を用いていた。このような場合に、
フォームに予め印刷されているカラーインクとは異なる
カラーインクを用いてフォームを仕上げる(フォームに
情報を書き込む)。

【０００６】仕上げられたフォームの走査中、フォーム
ドキュメント自体がスキャナによって読取られずに、フ
ォームに書き加えられた情報だけがスキャナで検出でき
るように、整合カラーフィルタが用いられる。この技法
は、実用的ではあるが、フォームの供給者やフォームの
使用業務が非常に多種のフォームを取扱う場合には、こ
れに対応させて、非常に多種のカラーフィルタが必要と
なる。

【０００７】また、上記問題を解決する他の手段とし
て、従来では、標準的なテストフォームにおけるテスト
の問題とこれに対する答えのように、答えの部分をドキ
ュメント自体と分離させるドキュメント処理技術を用い
ていた。米国特許第５，２２９，５８９号には、この技
術の一例が示されており、仕上げられた(情報が書き加
えられた)答案を走査して読み込み、読み込まれた答案
画像から空白(ブランク)の答案画像を差し引き、書き加
えられた情報を検出するようにしている。しかしなが
ら、このような技法では、書き加えられた情報が元の空
白(ブランク)の答案部分と重なり合うときに、書き加え
られた情報のうち元の空白(ブランク)の答案部分と重な
り合う情報が除去されてしまい、これによって、書き加
えられた情報の内容を解釈するのに、手書き文字認識，
光学文字認識や他の手法を使用することができなくなる
という欠点がある。

【０００８】フォームから情報を抽出する他の技法は、
米国特許第５，１４０，６５０号に記載されている。こ
の特許では、空白のフォーム(ブランクフォーム)と仕上
げられた(書き込まれた)フォームとの各々を走査し、空
白のフォームの画像を仕上げられたフォームの画像と比
較する。次いで、マスク領域を定めてデータを抽出し、
次いで、このデータを光学文字認識によって解析する。
しかしながら、この技法では、フォームの除去処理にお
いて、データが存在する領域のフォームの全てが常に除
去されるわけではないので、エラーが生じ、この結果、
解析にエラーが生じてしまう。

【０００９】本発明は、特別なカラーフィルタや特別な
フォームなどを用いる必要なく、フォームに書き加えら
れた情報をフォーム自体に含まれている情報から良好に
識別(電気的に分離)することの可能な情報抽出方法およ
び画像修復方法並びに画像修復システムを提供すること
を目的としている。

【００１０】

【課題を解決するための手段】上記目的を達成するため
に、請求項１記載の発明では、ユーザによって情報が書
き加えられる前のドキュメントの画像を第１画像として
取得し、ユーザによって情報が書き加えられた後のドキ
ュメントの画像を第２画像として取得し、第２画像から
第１画像を差し引き、差し引いた結果の画像を作成し、
差し引き画像において、第２画像から第１画像を差し引
いたことによって除去された、ユーザによって書き加え
られた情報の除去部分を修復することを特徴としてい
る。

【００１１】また、請求項２記載の発明では、請求項１
記載の情報抽出方法において、前記差し引いた結果の画
像において、差し引かれた部分の画素を未知画素領域の
画素として特定し、閾値および近傍配置を設定し、前記
未知画素領域内の各画素に対して、その近傍配置によっ
て規定される領域内に存在する既知画素の個数を計数
し、該計数値が閾値よりも大きい場合には、その未知画
素に対して値を計算して与え、全ての未知画素について
上記各処理を繰り返し行ない、上記の処理において値が
計算された画素について、これを未知画素領域から取り
除いて、既知画素領域に加え、所望の場合には、前記閾
値を調整し、未知画素の個数が所望個数となるまで前記
各処理を繰り返すことを特徴としている。

【００１２】また、請求項３乃至請求項７記載の発明で
は、請求項２記載の情報抽出方法において、前記近傍配
置は、未知画素に隣接し、未知画素を取り囲む幾何学的
領域であり、また、前記閾値は、近傍の画素数よりも小
さな値であり、また、未知画素の値は、近傍画素のうち
既知の値をもつ既知画素の値に数学的演算を施して計算
され、また、各画素はマトリックスに配置され、前記近
傍配置は３×３の大きさの領域であり、また、閾値を調
整する場合には、閾値を“１”ずつ減少させることを特
徴としている。

【００１３】また、請求項８記載の発明では、請求項１
記載の情報抽出方法において、前記差し引き処理は、前
記第２画像から前記第１画像を差し引く前に、第１画像
において情報をもつ画素を膨張し、これによって、第２
画像から差し引かれるべき画素数を増加させる工程を含
むことを特徴としている。

【００１４】また、請求項９乃至請求項１２記載の発明
では、請求項１記載の情報抽出方法において、前記第２
画像は、ユーザによって情報が書き加えられたドキュメ
ントを走査することによって得られ、また、前記第１画
像は、ユーザによって仕上げられたドキュメントに対応
したブランクドキュメントを走査することによって得ら
れ、また、前記差し引き処理は、第１画像と第２画像と
を電気的に比較し、第１画像と第２画像との両方に同じ
情報をもつ領域を第２画像から差し引くことによってな
され、また、前記差し引き処理は、前記第２画像から前
記第１画像を差し引く前に、第１画像において情報をも
つ画素を膨張し、これによって、第２画像から差し引か
れるべき画素数を増加させる工程を含むことを特徴とし
ている。

【００１５】また、請求項１３、請求項２３記載の発明
では、既知の画像データの画素からなる第１領域と未知
の画像データの画素からなる少なくとも１つの第２領域
とをもち、前記第２領域の位置が既知となっている画像
を修復する画像修復方法，画像修復システムにおいて、
閾値および近傍配置を設定し、この際、１つのカラーの
画素についての閾値を他のカラーの画素についての閾値
とは異なったものに設定し、前記第２領域内の各画素に
対して、その近傍配置によって規定される領域内におい
て第２領域でない画素の個数を計数し、該計数値が閾値
よりも大きい場合には、その未知画素に対して値を計算
して与え、計数値が閾値よりも大きいという条件を満た
す未知画素が選択された個数のものとなるまで上記各処
理を繰り返し行ない、上記処理において値が計算された
画素について、これを第２領域から取り除いて、第１領
域に加え、所望の場合には、前記閾値を調整し、未知画
素の個数が所望個数となるまで前記処理を繰り返すこと
を特徴としている。

【００１６】また、請求項１４乃至請求項２２記載の発
明では、請求項１３記載の画像修復方法において、前記
近傍配置は、未知画素に隣接し、未知画素を取り囲む幾
何学的領域であり、また、前記閾値は、近傍の画素数よ
りも小さな値であり、また、未知画素の値は、近傍画素
のうち既知の値をもつ既知画素の値に数学的演算を施し
て計算され、また、未知画素の値は、近傍画素のうち既
知の値をもつ既知画素の値の平均値として決定され、ま
た、各画素はマトリックスに配置され、前記近傍配置は
３×３の大きさの領域であり、また、閾値を調整する場
合には閾値を“１”ずつ減少させ、また、前記閾値は
“７”に初期設定され、また、前記未知画素の選択され
た個数は“０”であり、また、前記未知画素の所望個数
は“０”であることを特徴としている。

【００１７】

【発明の実施の形態】以下、本発明の実施形態を図面に
基づいて説明する。本発明は、特別なカラーフィルタや
特別なフォームなどを用いる必要なく、フォームに書き
加えられた情報をフォーム自体に含まれている情報から
識別(電気的に分離)することを意図している。

【００１８】このため、本発明では、仕上げられた(情
報が書き加えられた)フォームとともに、空白(ブラン
ク)のフォーム(すなわち、情報が書き加えられていない
状態でのフォーム)を走査し、これら２つのフォームド
キュメントをほぼ整列させることによって、フォーム自
体を表現する画素を仕上げられたフォームの画像から差
し引き、フォームに書き加えられたもののみの画像を抽
出し(残し)、次いで、本願の発明者によって案出された
画像修復処理を用いて、フォームに書き加えられたもの
のみの画像に修復処理を施して、フォームに書き加えら
れた全ての情報を修復するようになっている。これによ
り、在来の手書き文字認識技術，光学文字認識技術や他
の技術を用いることができて、本発明の処理によって得
られた情報を他の装置で使用することができる。

【００１９】図１は本発明に係る情報抽出装置の構成例
を示す図である。図１を参照すると、この情報抽出装置
は、ユーザによって情報が書き加えられる前のドキュメ
ントの画像を第１画像として取得する第１画像取得部１
と、ユーザによって情報が書き加えられた後のドキュメ
ントの画像を第２画像として取得する第２画像取得部２
と、第２画像から第１画像を差し引き、差し引いた結果
の画像を作成する差し引き画像作成部３と、差し引き画
像において、第２画像から第１画像を差し引いたことに
よって除去された、ユーザによって書き加えられた情報
の除去部分を修復する修復部４とを備えている。

【００２０】すなわち、本発明の好敵な実施形態では、
ドキュメントすなわちフォームに書き加えられた情報を
電気的に抽出するのに、先ず、ユーザによって情報が書
き加えられる前の状態でのドキュメントの画像(すなわ
ち、例えば、空白フォーマット(ブランクフォーマット)
に所定情報が予め印刷されているようなドキュメントの
画像)を第１画像として獲得し、次いで、このドキュメ
ントにユーザによって情報が書き加えられた後のこのド
キュメントの画像を第２画像として獲得し、このように
第１画像および第２画像の２つの画像を獲得した後、ド
キュメントに印刷されている情報に対応する第１画像の
各領域ごとに、各領域を第２画像から除去し、これによ
って、第２画像から第１画像を差し引いた(除去した)画
像に相当する画像を作成し、最後に、ユーザによって書
き加えられた情報のうち、上記のような除去処理で除去
された情報を電気的に修復するようになっている。

【００２１】好ましくは、ドキュメントを走査すること
によって第１画像および第２画像を電気的に取得し、次
いで、これら２つの画像を整列させ、第２画像(情報が
書き加えられたフォームの画像)から第１画像(ブランク
フォームの画像)を差し引くのが良い。この差し引き処
理により、ユーザによって書き加えられた情報のうちあ
る部分が除去されてしまうことがあるが、本発明では、
この画像を修復するために、この画像に所定の処理を行
なうに先立って、画像の継なぎ処理(image continuatio
n technique)を用いるようにしている(上記修復部４に
画像継なぎ技術を用いるようにしている)。

【００２２】この“画像継なぎ技術”は、既知の画素値
をもつある定まった画像領域(既知画像領域)と未知の画
素値をもつある定まった画像領域(未知画像領域)との知
識に基づいて、既知画像領域と未知画像領域とを有する
画像に対して修復処理を行なう技術である。例えば、後
述のように、図８には、黒領域が全て既知の画素値をも
つ画像領域である一方、白領域が既知の画素値と未知の
画素値との両方をもつ画像領域が示されている。すなわ
ち、オリジナルフォームの水平ラインが除去された領域
については、その画素値が黒であるか白であるかは未知
である(文字領域では、ユーザが情報を書き加えてお
り、一方、文字間の領域では、ユーザは情報を書き加え
ていない)。本発明の画像継なぎ技術では、画素値が未
知あるいは不確かな値をもつ未知画素領域(ドロップア
ウト領域)，図８の例では水平ラインの除去された領域
に含まれる画素に対してのみに画像処理を施すようにし
ている。

【００２３】すなわち、本発明の画像継なぎ技術では、
所定の未知画素領域(上記例では、水平ラインの除去さ
れた領域)内の各画素が当初、完全に未知の値あるいは
不確かな値をもつ未知画素であるとし、未知画素領域内
の特定の未知画素に着目するとき、該未知画素の近傍画
素のうちで既知の値をもつ既知画素の個数が所定の閾値
よりも大きい場合に限り、近傍画素のうちの既知画素の
値を用いて未知画素の値を決定する一方、既知画素の個
数が所定の閾値よりも小さいときには、未知画素の値を
決定せず未知画素のまま残すようになっており、未知画
素領域内の各画素について所定の閾値での前記処理がな
された後、値の決定された未知画素を既知画素として既
知画素領域に組み込む。そして、残された未知画素につ
いて上記の処理を繰り返し行ない、残された未知画素に
ついて最早、値が得られなくなると、閾値を変更し、残
されている未知画素に対して前記処理を繰り返し行なう
ようになっている。

【００２４】ここで、閾値および近傍領域(近傍配置)に
ついては、初期条件として設定される。近傍領域は、修
復されるべきターゲート画素(ある1つの未知画素)を取
り囲む例えば所定数の画素からなる幾何学的領域のこと
である。また、閾値は、近傍領域の画素のうちの既知画
素の個数に対して設定される。

【００２５】より詳細には、本発明の画像継なぎ技術で
は、１つの未知画素領域(ドロップアウト領域)内の各画
素について、その近傍領域に関して解析を行なう。この
近傍領域内において、未知画素ではない画素(すなわち
既知画素)の個数を計数する。この結果、計数値が閾値
よりも小さい場合は、未知画素の値を決定せず、計数値
が閾値よりも大きい場合に、未知画素の値を計算する。
この計算は、例えば、近傍領域の各画素の値の平均をと
ることによってなされる。あるいは、他の例として、黒
画素に対して白画素よりも大きな重み付けを行なうこと
によってなされる。例えば、平均が黒画素比率で０．３
３以上(白画素比率で０．６７以下)であれば、未知画素
の値を黒とする。未知画素を解析してその値を計算する
上記の処理は、閾値よりも大きな個数の近傍画素をもつ
未知画素が残らなくなるまで(「近傍画素の個数が閾値
を超える」という閾値判定条件を満たす未知画素が残ら
なくなるまで)、続けられる。

【００２６】このようにして、各未知画素について、計
数値が閾値よりも大きいか否かを判断し、計数値が閾値
よりも大きい未知画素についてのみ、画素値が計算され
ると、計算された画素値を未知画素領域に戻す(設定す
る)。これにより、値の計算された未知画素は既知画素
となり、未知画素領域の大きさ(サイズ)，すなわち未知
画素は減り、既知画素領域，すなわち既知画素は増加す
る。しかる後、残された未知画素を解析してその結果を
閾値と比較する処理を繰り返し行なう。この処理は、値
を計算できる未知画素の個数(上記閾値判定条件を満た
す未知画素の個数)が十分少なくなるまで(例えば“０”
になるまで)、続けられる。しかる後、閾値を減少させ
て、同様の処理を繰り返し行なう。このようにして、全
ての未知画素は、最終的に既知画素となり、これによ
り、画像が修復される。

【００２７】図２は本発明を実現するためのシステムの
一例を示す図である。図２のシステムは、コンピュータ
システム２００を有している。このコンピュータシステ
ム２００には、例えば、ワークステーションやパーソナ
ルコンピュータ、あるいは、特別な画像処理用コンピュ
ータを有する良く知られたコンピュータシステムを用い
ることができる。コンピュータシステム２００には、画
像情報を少なくとも一時的に蓄積するための画像蓄積装
置(画像蓄積媒体)２０３が接続されている。画像蓄積装
置２０３としては、半導体メモリ，ハードディスクメモ
リ，テープ装置などの良く知られた記憶装置を用いるこ
とができる。

【００２８】また、コンピュータシステム２００には、
画像取得システム(画像入力システム)２０５が接続され
ている。この画像取得システム２０５には、画像を読取
って、画像をデジタル画素値アレイに変換する機能を有
するもの、例えば、スキャナ，ファクシミリ，複写機等
の良く知られた画像入力システムを用いることができ、
画像取得システム２０５としては処理されるべきアナロ
グ画像をデジタル情報に変換しうるものであれば良く、
画像取得システム２０５の特徴等については本発明にと
って重要ではない。さらに、ある用途では、コンピュー
タシステム２００には、表示／制御装置２０８が接続さ
れる。表示／制御装置２０８としては、キーボード，モ
ニタ，あるいはコンピュータシステム２００の動作を制
御するための他の制御装置を用いることができる。ま
た、表示／制御装置２０８として、本発明のシステムを
起動するための付加的なプッシュボタンや他の簡単な装
置を用いることもできる。さらには、表示／制御装置２
０８を自動制御装置として構成し、ユーザから見えない
ようにすることもできる。このため、図において、表示
／制御装置２０８を破線で囲んでいる。図２のシステム
は、コンピュータプログラムの制御の下で作動し、本発
明の情報抽出処理，画像修復処理を実行するようになっ
ている。

【００２９】ここで、ブランクフォームの画像と仕上げ
られたフォームの画像とは、画像取得システム２０５に
よって得られ、それぞれ画像蓄積装置２０３に格納され
る。次いで、コンピュータシステム２００は、仕上げら
れたフォームの画像をブランクフォームの画像から差し
引き、その結果の画像に対して修復処理を施すようにな
っている。

【００３０】図３，図４は本発明の画像修復処理(図１
の修復部の処理)の処理例を示すフローチャートであ
る。なお、画像修復処理を実際に開始する前提として、
差し引かれた結果の画像データ(画素データ)(ステップ
１００)において、未知画素からなる未知画素領域(ドロ
ップアウト領域)と、未知画素領域以外の既知画素から
なる既知画素領域とが、特定されており、未知画素領域
の各未知画素の存在する位置(例えばメモリ内位置)がわ
かっている必要がある(ステップ１１０)。いまの場合、
未知画素領域の各未知画素の位置は、オリジナルドキュ
メント(ブランクドキュメント)の黒画素によって特定さ
れる。すなわち、ブランクドキュメントの黒画素に対応
する画素が未知画素として特定される。

【００３１】また、１つの未知画素に対する近傍画素が
予め定義されている必要がある(例えば、近傍の形状，
大きさなど)(ステップ１１７)。また、閾値ｋの初期値
が設定されている必要がある(ステップ１２０)。なお、
閾値ｋの初期値は、例えばオペレータの指定によって設
定することができる。また、処理演算の種類(例えば近
傍画素のうちの既知画素の値の平均値をとるなどの演算
の種類)が設定されている必要がある。

【００３２】すなわち、近傍画素の定義，閾値の初期
値，演算の種類が、処理対象となる画像の種類(例え
ば、画像が２値画像であるか多値画像であるかなど)に
応じて、あるいは、未知画素領域の種類(未知画素領域
の大きさ，形状など)に応じて、適切なものに設定され
ている必要がある。

【００３３】このような前提が整った後、実際の修復処
理を開始する。すなわち、先ず、差し引かれた画像の画
素データを解析して、画像中に、未知画素が残っている
か否かを調べる(ステップ１０２)。この処理は、例えば
メモリ等に保持されている未知画素の個数および位置の
記録を参照することによってなされる。未知画素の個数
が、"０"(あるいは許容されうる程度の小さい数)になる
と、処理を終了する(ステップ１１２)。

【００３４】これに対し、未知画素が画像中に残ってい
るならば、次の未知画素位置を読出す(ステップ１１
４)。ステップ１１５では、いま読出した未知画素に関
して、既知のデータ値をもつ近傍画素の個数をカウント
する。

【００３５】ここで、近傍画素は、前述のようにステッ
プ１１７で予め定義されており、近傍画素として、例え
ば近傍画素のすぐ近くの画素(例えば隣接画素)，すなわ
ち、未知画素として選択された１つの画素を囲む８つの
画素を定義することができる。これらの８つの画素は、
１つの未知画素の上の行の３つの画素と、未知画素の下
の行の３つの画素と、ドロップアウト画素の左右のそれ
ぞれ１つの画素とからなっている。

【００３６】なお、この近傍の定義は任意であることが
認識されるべきである。従って、ステップ１１７におい
ては、画像のタイプ，品質が異なる毎に、システムの性
能を最適化するよう、「近傍」の定義を選ぶことができ
る。例えば、他のタイプの画像では、半球レンズ状のパ
ターン，より大きい領域のパターン，あるいは他のパタ
ーンを用いることができる。普通でない画像に対して
は、処理されるべき未知画素の近くにない画素を使っ
て、「近傍」を定義することも可能である。

【００３７】既知のデータ値をもつ近傍画素数のカウン
トが完了すると、このカウント値ＫＮを閾値ｋと比較す
る(ステップ１２２)。

【００３８】ここで、閾値ｋは、前述のようにステップ
１２０で予め初期設定されており、この閾値は、既知の
値をもっている必要がある近傍画素の数に対応してい
る。１つの例では、この閾値は、"７"(８つの近傍画素
のうち７個)に設定されている。８つの近傍画素に対し
て"７"の閾値を用いることによって、処理結果画像は高
品質のものとなる。処理をより高速にするために、後述
のように、より小さな値の閾値を選択することもでき
る。

【００３９】ある１つの未知画素に関し、既知のデータ
値をもつ近傍画素数が十分でなく、閾値ｋよりも小さい
場合には、この未知画素を未知画素のまま残し、次の未
知画素を選択するため、ステップ１１４に戻る。これに
対し、ステップ１２２において、近傍画素数が閾値ｋと
同じかこれよりも大きい場合には、この未知画素に対し
て、新しい値を計算する(ステップ１２５)。この新しい
値は、適当な手段を用いて計算することができる。例え
ば、近傍の画素の値の平均値として計算できる。あるい
は、変形例として、あるドキュメントの解析において
は、１つのカラーの画素(例えば黒画素)を他のカラーの
画素(例えば白画素)よりも優先させるのが好ましいこと
がある。このような場合、１つのカラーの画素(例えば
黒画素)に対する閾値(重み付け)を、他のカラーの画素
(例えば白画素)に対する閾値(重み付け)と異なるものに
設定することができ、これにより、未知画素の画素値を
良好に決定できる可能性をより一層増加させることがで
きる。もちろん、重み付け平均や、統計的相関のような
より複雑な数学演算を含む他の手法を用いたり、より大
きな比較領域を用いて、計算することもできる。

【００４０】ステップ１２５において、１つの未知画素
の値が計算されると、値を計算することの可能な他の未
知画素が残っているか否かを調べる(ステップ１２７)。
値を計算することの可能な他の未知画素がまだ残ってい
る場合には、次の未知画素を取り込み、ステップ１１４
に戻る。このような処理を繰り返し、最早、値を計算す
ることができる未知画素がなくなると、ステップ１３０
に進む。このことからわかるように、この段階の処理で
は、多数の未知画素が残っている可能性があるが、これ
らの画素はいずれも、既知の値を持つ近傍画素の個数が
閾値を満たしていないもの(閾値よりも小さいもの)であ
る。

【００４１】値を計算することができる未知画素が最早
なくなると、画像は、新しい値に更新される。換言すれ
ば、いま計算のなされた結果、値をもった未知画素を、
既知画素として、計算された値を用いて画像中に戻す。
これにより、既知の画素の組が拡張し、未知画素の組は
減少する。

【００４２】次に、“十分”な個数の未知画素が更新さ
れたかを調べる（ステップ１３５）。ここで、“十分”
な個数を、任意所望の画素数，パ−セント，あるいは他
の画素尺度のものにすることができる。このステップ１
３５のゴールは、システムの繰り返し数を学習すること
である。例えば、上記ステップ１１４乃至１３０を繰り
返し行なった結果、１つ，２つ，あるいは２，３の画素
の値しか計算できなかった場合には、閾値を設定し直す
ことによって、より効率的に処理を行なうことができ
る。十分な（多数の）画素が更新されたならば、次の画
素を処理するため、ステップ１１４に戻る。

【００４３】これに対し、少数の画素しか更新されなか
った場合には、画素の更新を促進するため、閾値を設定
し直すことができる。この場合、ステップ１０２に戻
り、次の繰り返し処理がなされる。未知画素が最早残っ
ていない場合には、処理を終了する（ステップ１１
２）。

【００４４】要約すると、本発明の方法では、画像から
の既知の情報と未知画素の位置についての既知の情報と
を使用している。また、未知画素の各々について、画像
中の局所的な近傍画素を考慮している。十分な近傍情報
が知られているならば、その未知画素の位置をマーク
し、その位置に値をセーブする。各未知画素を順次に調
べた後、マークされた位置の値によって、画素を更新
し、次いで、これらを未知画素でなく既知画素とする。
これによって、次の処理では、既知の画素の個数が増加
している。このような処理を繰り返し行なって、値を計
算することのできる未知画素の個数が十分に小さくなる
と(例えば"０"になると)、必要に応じ、閾値を変更して
処理を繰り返し行ない、全ての未知画素位置が値をもつ
ようになったとき、最終的に処理を終了する。

【００４５】好適な例では、全ての未知画素が値をもっ
たときに(修復されたときに)処理を終了するようになっ
ているが、未知画素の全てが値をもつ必要はなく（すな
わち、未知画素の全てが修復される必要はなく)、この
場合でも処理を終了することができる。

【００４６】元の画像は、任意のものであるので、本発
明は、元の画像情報の内容については何ら条件を設けて
いない。全ての必要な情報は、画素レベルである。

【００４７】上述した本発明の画像修復処理の第１の特
徴(利点)は、未知画素領域内の画素の値のみを決定する
ことにある。すなわち、画像中の全ての画素に対する処
理を行なうのではなく、画像中の一部の領域の画素に対
してだけ処理を行なうので、画像処理時間を従来に比べ
短縮することができ、また、処理を行なう必要のない既
知画素領域内の画素については処理を行なわないので、
全体の画像品質を劣化させずに済む。

【００４８】また、上述した処理の第２の特徴(利点)
は、未知画素のうち、最も信頼性良く値が決定されうる
画素から順に、値を決定することである。すなわち、既
知の値をもつ近傍画素数が最も多い未知画素から順に値
が決定される。

【００４９】また、上述した処理の第３の特徴(利点)
は、未知画素の値が決定され、この未知画素が既知の値
をもつ既知画素となるとき、次の段階で、この画素を近
傍画素の既知の値をもつ画素の仲間に加えて、未知のま
ま残っている画素の値を決定することにある。これによ
り、各画素の連続性を確保することができる。

【００５０】また、上述した処理の第４の特徴(利点)
は、画像の種類に依らず、全ての種類の画像を処理対象
とすることができることにある。すなわち、近傍画素の
定義，閾値の初期値，演算の種類を適宜設定することに
より、画像が２値画像であっても、また、多値画像であ
っても、差し引かれた画像の修復を良好に行なうことが
できることにある。

【００５１】図５はフォームの一例を示す図である。図
５に示すフォームは、このフォームを仕上げる(このフ
ォームに情報を書き加える)ユーザにその指示を与える
各種の印刷領域を有しているという点で、代表的なもの
である。図５に示すフォームの場合、一人以上のユーザ
がこのフォームに情報を書き込み(書き加え)、このフォ
ームを他の場所に持ち運び、そこで、ドキュメント処理
を行なう。ドキュメント処理では、このフォームにユー
ザによって書き加えられた情報を抽出し、抽出した情報
を用いることができるようにするのが望ましい。仕上げ
られた(情報が書き加えられた)フォームを処理するため
の光学文字認識や他の技術は、フォームを仕上げるため
のユーザへの指示情報をも含めて、フォーム上の全ての
情報を抽出するので、ユーザによって書き加えられた情
報を処理するに先立って、この指示情報を除去するのが
望ましい。フォームから指示情報，ライン等を除去する
ことによって、これらが除去された結果の情報を、単に
画像としてでなく、情報内容として処理することが可能
となる。ここで、ユーザによる情報の書き込みがなされ
る前のドキュメントの情報内容を表わすのに、以後、
“ブランクフォーム(空白のフォーム)”，“ブランクフ
ォーマット(空白のフォーマット)のドキュメント”など
の用語を用いる。

【００５２】図６は図５に示すドキュメントが一人ある
いはそれ以上のユーザによって部分的に仕上げられた
(情報が書き込まれた)後の状態を示す図である。図６に
示すように、フォームには、個人証明に関する情報が書
き加えられている。図６に示す情報，すなわちユーザに
よって情報が書き加えられた後のドキュメントを、“仕
上げられた(書き加えられた)フォーム”と称する。

【００５３】本発明は、仕上げられるフォームの内容
(中身)に関するものであるが、本発明は、２つのドキュ
メント間の相違を電気的に検出し、所望の仕方で処理す
る任意の用途に適用可能であることが認識されるべきで
ある。ユーザによってドキュメントに書き加えられる情
報と等価なものとして、例えば、任意の種類のドキュメ
ントに付された注釈を考えることができる。従って、本
発明は、オリジナルドキュメントのコピーをとることが
可能な限り、同じドキュメントの２つのバージョン間の
変化を検出するのに適用可能である。

【００５４】本発明の好適な実施形態では、図５および
図６に示すように情報が書き加えられる前のドキュメン
トと情報が書き加えられた後のドキュメントとのそれぞ
れについて、フォームの画像を電気的に取得する。好ま
しくは、市販されている良く知られた光学スキャナを用
いて、各フォームの画像を電気的に取得する。典型的に
は、このようなスキャナには、走査したドキュメントの
デジタル画像が得られるよう電荷結合素子(ＣＣＤ)や同
様なセンサが用いられる。

【００５５】上記のような２つの画像が電気的に得ら
れ、これらが記憶された後、本発明では、これらを以下
のように処理する。

【００５６】本発明の一実施形態では、ブランクフォー
ム(空白のフォーム)上の情報を膨張(拡大)して、フォー
ムの情報内容に対応する画素数を増加させる。この膨張
処理によって、フォームの情報内容を表わしている黒領
域は、白部分に対して拡大される。例えば、フォーム上
で、１行分の画素を占める１つの水平ラインのサイズ
(大きさ)を、３行分の画素を占めるように、拡大するこ
とができる。この膨張処理は、空白フォーム(ブランク
フォーム)のバージョンを作成し、これを、情報が書き
加えられたフォームのバージョンから除去するためにな
される。すなわち、膨張処理により、フォームの情報内
容を与える黒領域(dark region)は、所望量だけ白領域
内に拡がり(grown)、黒領域のサイズ(大きさ)が増加す
る。黒領域のサイズが増加することによって、仕上げら
れた(書き加えられた)フォームからブランクドキュメン
ト(空白ドキュメント)を差し引くとき、ブランクドキュ
メントの全ての情報内容を仕上げられたドキュメントか
ら確実に除去することが可能となる。このような膨張処
理は、良く知られた既存の技術を用いて行なうことがで
きる。なお、ドキュメントが簡単（単純）なものである
場合やユーザによって書き加えられた部分が簡単（単
純）なものである場合には、ブランクフォームにおける
ドキュメントの膨張処理は、必ずしも用いる必要はな
い。

【００５７】図７は図６に示したドキュメントの一部分
の拡大図である。なお、図７は本発明による処理をより
詳細に説明するのに用いるものであるが、図７を用いず
とも、本発明による処理が理解されるべきである。図７
に示すように、処理対象となる仕上げられた(情報が書
き加えられた)ドキュメントの画像は、オリジナルドキ
ュメント(ブランクドキュメント)自体の下地部分に、ユ
ーザによって書き加えられた情報が重なり合った部分を
有している。

【００５８】図８に示すように、ブランクドキュメント
の画像は、これが膨張(拡大)されている状態，膨張(拡
大)されていない状態のいずれの場合であっても、仕上
げられたドキュメントの画像から取り除かれる。この処
理は、好ましくは、ブランクドキュメント（ブランクフ
ォーム）の画像と仕上げられたドキュメント（仕上げら
れたフォーム）の画像とを互いに比較して整列させ、次
いで、ブランクフォームの画像を、これが膨張(拡大)さ
れている状態，膨張(拡大)されていない状態のいずれの
場合であっても、仕上げられたフォームの画像から差し
引くことによってなされるのが良い。これら２つのフォ
ームの整列処理は、在来のパターンマッチングアルゴリ
ズムを用いて行うことができる。例えば、フォームの印
刷時に、フォームに整列用のマークを予め印刷してお
き、２つのフォームの画像において整列用マークの特徴
を用いることによって、２つのフォームの整列処理を行
なうことができる。なお、図８においては、オリジナル
ドキュメントの水平ラインの部分がわずかに膨張(拡大)
処理をされていることにより、除去された部分は、フォ
ームのオリジナルな部分よりもわずかに大きなサイズの
ものとなっている。

【００５９】ブランクドキュメントが差し引かれた後、
ユーザによって書き加えられた情報ができる限り多く修
復されることが望まれる。光学的文字認識技術の多く
は、文字を認識するために情報内容が連続していること
を前提としている。例えば、ＯＣＲは、交差している２
つの斜線ストロークを“Ｘ”として認識できるが、図８
に示すような２セグメントストロークのところの５セグ
メントストロークを“Ｘ”として正しく認識することは
できない。在来の光学的文字認識技術を用いて図８の画
像を処理すると、多くの認識エラーが生じてしまう。こ
のような問題を回避するため、本発明では、前述のよう
な画像継なぎ(image continuation)技術を用いる。

【００６０】図８の画像に対してこのような画像継なぎ
技術を適用すると(例えば、第１の画像(ブランクドキュ
メントの画像)が差し引かれた部分(除去された部分)を
初期の未知画素領域として画像継なぎ技術を適用する
と)、情報が失われた画素(すなわち、水平ラインの除去
された領域の画素)が修復されて図９に示すような画像
となる。図９において、文字“Ｘ”の１つのストローク
と文字“Ｓ”の下部とに僅かな欠陥があるものの、画像
継なぎ技術により全ての文字のオリジナルな形を修復で
きたことがわかる。

【００６１】図１０は図６に示されたドキュメントの他
の部分の拡大図である。図１０を参照すると、その上部
には仕上げられた(書き加えられた)フォームが示され、
また、その中間部には仕上げられたドキュメントからブ
ランクドキュメントを差し引いた結果が示され、また、
その下部には、画像修復技術(画像継なぎ技術)を適用し
て、差し引き処理によって除去された画素を修復した結
果が示されている。図１０から文字“Ｘ”が“単一”の
文字に修復され、名前において“Ｙ”の下部が修復さ
れ、電話番号のエリアコードの上部が修復されているこ
とがわかる。

【００６２】図１１はフォームのライン上に“copy”の
語が手書きで書き込まれている完成ドキュメントの拡大
部分を示す図であり、図１２は、図１１の仕上げられた
ドキュメントの画像からブランクドキュメントの画像を
差し引いた画像を示す図であり、図１３は図１２の画像
を黒画素と白画素とを同じ重み付けで修復した後の修復
画像を示す図である。

【００６３】上述の実施形態は、あくまで例示であり、
これに限定されるべきでなく、本発明は、特許請求の範
囲を逸脱しない限り、広義に捉えられるべきである。

【００６４】

【発明の効果】以上に説明したように、請求項１乃至請
求項１２記載の発明によれば、ドキュメントにユーザに
よって書き加えられた情報を電気的に抽出する情報抽出
方法であって、ユーザによって情報が書き加えられる前
のドキュメントの画像を第１画像として取得し、ユーザ
によって情報が書き加えられた後のドキュメントの画像
を第２画像として取得し、第２画像から第１画像を差し
引き、差し引いた結果の画像を作成し、差し引き画像に
おいて、第２画像から第１画像を差し引いたことによっ
て除去された、ユーザによって書き加えられた情報の除
去部分を修復するようになっており、この修復処理で
は、前記差し引いた結果の画像において、差し引かれた
部分の画素を未知画素領域の画素として特定し、閾値お
よび近傍配置を設定し、前記未知画素領域内の各画素に
対して、その近傍配置によって規定される領域内に存在
する既知画素の個数を計数し、該計数値が閾値よりも大
きい場合には、その未知画素に対して値を計算して与
え、全ての未知画素について上記各処理を繰り返し行な
い、上記処理において値が計算された画素について、こ
れを未知画素領域から取り除いて、既知画素領域に加
え、所望の場合には、前記閾値を調整し、未知画素の個
数が所望個数となるまで前記処理を繰り返すようにして
いるので、特別なカラーフィルタや特別なフォームなど
を用いる必要なく、フォームに書き加えられた情報をフ
ォーム自体に含まれている情報から良好に識別(電気的
に分離)することができる。

【００６５】また、請求項１３乃至請求項２３記載の発
明によれば、既知の画像データの画素からなる第１領域
と未知の画像データの画素からなる少なくとも１つの第
２領域とをもち、前記第２領域の位置が既知となってい
る画像を修復する画像修復方法，画像修復システムにお
いて、閾値および近傍配置を設定し、この際、１つのカ
ラーの画素についての閾値を他のカラーの画素について
の閾値とは異なったものに設定し、前記第２領域内の各
画素に対して、その近傍配置によって規定される領域内
において第２領域でない画素の個数を計数し、該計数値
が閾値よりも大きい場合には、その未知画素に対して値
を計算して与え、計数値が閾値よりも大きいという条件
を満たす未知画素が選択された個数のものとなるまで上
記各処理を繰り返し行ない、上記処理において値が計算
された画素について、これを第２領域から取り除いて、
第１領域に加え、所望の場合には、前記閾値を調整し、
未知画素の個数が所望個数となるまで前記処理を繰り返
すようにしているので、画像を極めて良好に修復するこ
とができる。

【図面の簡単な説明】

【図１】本発明に係る情報抽出装置の構成例を示す図で
ある。

【図２】本発明を実現するためのシステムの一例を示す
図である。

【図３】本発明の好適な処理例を示すフローチャートで
ある。

【図４】本発明の好適な処理例を示すフローチャートで
ある。

【図５】フォームの一例を示す図である。

【図６】図５のフォームにユーザによって情報が書き込
まれた後の状態を示す図である。

【図７】図６に示したドキュメントの一部分の拡大図で
ある。

【図８】差し引き画像の一例を示す図である。

【図９】図８の差し引き画像を本発明の画像継なぎ技術
により修復した結果の画像を示す図である。

【図１０】図６に示したドキュメントの他の部分の拡大
図である。

【図１１】フォームのライン上に“copy”の語が手書き
で書き込まれている完成ドキュメントの拡大部分を示す
図である。

【図１２】図１１の仕上げられたドキュメントの画像か
らブランクドキュメントの画像を差し引いた画像を示す
図である。

【図１３】図１２の画像を黒画素と白画素とを同じ重み
付けで修復した後の修復画像を示す図である。

【符号の説明】

１第１画像取得部２第２画像取得部３差し引き画像作成部４修復部２００コンピュータシステム２０３画像蓄積装置２０５画像取得システム２０８表示／制御装置

───────────────────────────────────────────────────── フロントページの続き (72)発明者水谷光利東京都大田区中馬込１丁目３番６号株式会社リコー内

Claims

【特許請求の範囲】

【請求項１】ドキュメントにユーザによって書き加え
られた情報を電気的に抽出する情報抽出方法であって、ユーザによって情報が書き加えられる前のドキュメント
の画像を第１画像として取得し、ユーザによって情報が書き加えられた後のドキュメント
の画像を第２画像として取得し、第２画像から第１画像を差し引き、差し引いた結果の画
像を作成し、差し引き画像において、第２画像から第１画像を差し引
いたことによって除去された、ユーザによって書き加え
られた情報の除去部分を修復することを特徴とする情報
抽出方法。
【請求項２】請求項１記載の情報抽出方法において、 (ａ)前記差し引いた結果の画像において、差し引かれた
部分の画素を未知画素領域の画素として特定し、 (ｂ)閾値および近傍配置を設定し、 (ｃ)前記未知画素領域内の各画素に対して、(１)その近
傍配置によって規定される領域内に存在する既知画素の
個数を計数し、(２)該計数値が閾値よりも大きい場合に
は、その未知画素に対して値を計算して与え、(３)全て
の未知画素について上記各処理を繰り返し行ない、 (ｄ)上記(ｃ)の処理において値が計算された画素につい
て、これを未知画素領域から取り除いて、既知画素領域
に加え、 (ｅ)所望の場合には、前記閾値を調整し、未知画素の個
数が所望個数となるまで前記(ｃ)および(ｄ)の処理を繰
り返すことを特徴とする情報抽出方法。
【請求項３】請求項２記載の情報抽出方法において、
前記近傍配置は、未知画素に隣接し、未知画素を取り囲
む幾何学的領域であることを特徴とする情報抽出方法。
【請求項４】請求項２記載の情報抽出方法において、
前記閾値は、近傍の画素数よりも小さな値であることを
特徴とする情報抽出方法。
【請求項５】請求項２記載の情報抽出方法において、
未知画素の値は、近傍画素のうち既知の値をもつ既知画
素の値に数学的演算を施して計算されることを特徴とす
る情報抽出方法。
【請求項６】請求項２記載の情報抽出方法において、
各画素はマトリックスに配置され、前記近傍配置は３×
３の大きさの領域であることを特徴とする情報抽出方
法。
【請求項７】請求項２記載の情報抽出方法において、
(ｅ)の処理では閾値を“１”ずつ減少させることを特徴
とする情報抽出方法。
【請求項８】請求項１記載の情報抽出方法において、
前記差し引き処理は、前記第２画像から前記第１画像を
差し引く前に、第１画像において情報をもつ画素を膨張
し、これによって、第２画像から差し引かれるべき画素
数を増加させる工程を含むことを特徴とする情報抽出方
法。
【請求項９】請求項１記載の情報抽出方法において、
前記第２画像は、ユーザによって情報が書き加えられた
ドキュメントを走査することによって得られることを特
徴とする情報抽出方法。
【請求項１０】請求項９記載の情報抽出方法におい
て、前記第１画像は、ユーザによって仕上げられたドキ
ュメントに対応したブランクドキュメントを走査するこ
とによって得られることを特徴とする情報抽出方法。
【請求項１１】請求項１０記載の情報抽出方法におい
て、前記差し引き処理は、第１画像と第２画像とを電気
的に比較し、第１画像と第２画像との両方に同じ情報を
もつ領域を第２画像から差し引くことによってなされる
ことを特徴とする情報抽出方法。
【請求項１２】請求項１１記載の情報抽出方法におい
て、前記差し引き処理は、前記第２画像から前記第１画
像を差し引く前に、第１画像において情報をもつ画素を
膨張し、これによって、第２画像から差し引かれるべき
画素数を増加させる工程を含むことを特徴とする情報抽
出方法。
【請求項１３】既知の画像データの画素からなる第１
領域と未知の画像データの画素からなる少なくとも１つ
の第２領域とをもち、前記第２領域の位置が既知となっ
ている画像を修復する画像修復方法において、 (ａ)閾値および近傍配置を設定し、この際、１つのカラ
ーの画素についての閾値を他のカラーの画素についての
閾値とは異なったものに設定し、 (ｂ)前記第２領域内の各画素に対して、(１)その近傍配
置によって規定される領域内において第２領域でない画
素の個数を計数し、(２)該計数値が閾値よりも大きい場
合には、その未知画素に対して値を計算して与え、(３)
(２)の条件を満たす未知画素が選択された個数のものと
なるまで上記各処理を繰り返し行ない、 (ｃ)上記(ｂ)の処理において値が計算された画素につい
て、これを第２領域から取り除いて、第１領域に加え、 (ｄ)所望の場合には、前記閾値を調整し、未知画素の個
数が所望個数となるまで前記(ｂ)および(ｃ)の処理を繰
り返すことを特徴とする画像修復方法。
【請求項１４】請求項１３記載の画像修復方法におい
て、前記近傍配置は、未知画素に隣接し、未知画素を取
り囲む幾何学的領域であることを特徴とする画像修復方
法。
【請求項１５】請求項１４記載の画像修復方法におい
て、前記閾値は、近傍の画素数よりも小さな値であるこ
とを特徴とする画像修復方法。
【請求項１６】請求項１３記載の画像修復方法におい
て、未知画素の値は、近傍画素のうち既知の値をもつ既
知画素の値に数学的演算を施して計算されることを特徴
とする画像修復方法。
【請求項１７】請求項１３記載の画像修復方法におい
て、未知画素の値は、近傍画素のうち既知の値をもつ既
知画素の値の平均値として決定されることを特徴とする
画像修復方法。
【請求項１８】請求項１３記載の画像修復方法におい
て、各画素はマトリックスに配置され、前記近傍配置は
３×３の大きさの領域であることを特徴とする画像修復
方法。
【請求項１９】請求項１３記載の画像修復方法におい
て、(ｄ)の処理では閾値を“１”ずつ減少させることを
特徴とする画像修復方法。
【請求項２０】請求項１８記載の画像修復方法におい
て、前記閾値は“７”に初期設定されることを特徴とす
る画像修復方法。
【請求項２１】請求項１３記載の画像修復方法におい
て、前記未知画素の選択された個数は“０”であること
を特徴とする画像修復方法。
【請求項２２】請求項１３記載の画像修復方法におい
て、前記未知画素の所望個数は“０”であることを特徴
とする画像修復方法。
【請求項２３】既知の画像データの画素からなる第１
領域と未知の画像データの画素からなる少なくとも１つ
の第２領域とをもち、前記第２領域の位置が既知となっ
ている画像を修復する画像修復システムにおいて、 (ａ)閾値および近傍配置を設定し、その際、１つのタイ
プの画素についての閾値を他のタイプの画素についての
閾値とは異なったものに設定する手段と、 (ｂ)前記第２領域内の各画素に対して、(１)その近傍配
置によって規定される領域内において第２領域でない画
素の個数を計数し、(２)該計数値が閾値よりも大きい場
合には、その未知画素に対して値を計算して与え、(３)
(２)の条件を満たす未知画素がなくなるまで上記各処理
を繰り返し行なう手段と、 (ｃ)上記(ｂ)の手段によって値が計算された画素につい
て、これを第２領域から取り除いて、第１領域に加える
手段と、 (ｄ)未知画素がなくなるまで、前記閾値を調整して前記
(ｂ)および(ｃ)の処理を繰り返す手段とを備えているこ
とを特徴とする画像修復システム。