JP2009031876A - 画像処理装置およびそれを備えた画像形成装置、画像読取装置、画像処理方法、画像処理プログラム、画像処理プログラムを記録した記録媒体 - Google Patents

Abstract

【課題】 反転文字を含む画像データであっても予め登録された画像データとの類似度を高精度で判定することができる画像処理装置およびそれを備えた画像形成装置を提供する。
【解決手段】 特徴点算出部２０は、画像データを２値化して画素が連結する連結成分の重心を特徴点として求めるとともに、画像データを反転処理し、反転処理された画像データから同様に重心を特徴点として求め、これらを加算して画像データの特徴点とする。特徴量算出部２１は、反転画像データから求められた特徴点も含む前記特徴点に基づいて、所定の不変量を算出し、それに基づいてハッシュ値を算出する。投票処理部２２は、算出されたハッシュ値に基づいて、ハッシュテーブルを検索し、ハッシュ値に対応付けて登録されているインデックスの原稿に投票し、投票を累積加算する。類似度判定処理部２３は、投票処理部２２で算出された投票数を予め定めた閾値と比較し、類似度を判定する。
【選択図】 図２

Description

本発明は、入力画像データと予め登録されている画像データとの類似度を判定するための画像処理装置およびそれを備えた画像形成装置、画像読取装置、画像処理方法、画像処理プログラム、画像処理プログラムを記録した記録媒体に関する。

スキャナで原稿画像を読み取り、原稿を読み取って得られた画像データを、予め登録されている画像データと照合して、これらの画像データの類似度を判定する画像処理としては、例えば、ＯＣＲ（Optical Character Reader）で原稿画像からキーワードを抽出し、抽出したキーワードにより画像データの類似度を判定する方法、類似度の判定を行う画像を罫線のある帳票画像に限定して、罫線の特徴を抽出して画像データの類似度を判定する方法などが提案されている。

特許文献１には、マッチング装置が開示されており、このマッチング装置は、入力文書の特徴からデスクリプタを生成し、このデスクリプタとデスクリプタデータベースを用いて、入力文書と文書データベース中の文書とのマッチングを行う。

ここで、デスクリプタデータベースは、デスクリプタを記録し、かつ、デスクリプタが抽出される特徴を含む文書のリストを示す。また、デスクリプタは、文書のデジタル化により生じる歪みや入力文書と文書データベース中の整合する文書との間の差異に対し不変となるように選ばれる。

デスクリプタデータベースがスキャンされるときに、文書データベース中の各文書に対する投票を累積し、最高得票数の１文書または得票数がある閾値を超えた文書を整合文書とする。

特開平７−２８２０８８号公報

特許文献１記載のマッチング装置は、白または低濃度の背景に黒文字、色文字で構成された原稿画像を対象としたものであり、着色された背景に白い文字、いわゆる反転文字で構成された原稿画像については、抽出することができないので、反転文字を含む原稿画像を反転の対象とした場合に、判定精度が低下してしまう。

本発明の目的は、反転文字を含む画像データであっても予め登録された画像データとの類似度を高精度で判定することができる画像処理装置およびそれを備えた画像形成装置、画像読取装置、画像処理方法、画像処理プログラム、画像処理プログラムを記録した記録媒体を提供することである。

本発明は、原稿画像データに基づいて画素を連結した連結領域を特定し、特定された連結領域の特徴点を抽出する第１の特徴点算出部と、
原稿画像データの画素値を反転させた画像データを求める反転処理部と、
原稿画像データを反転させた画像データに基づいて画素を連結した連結領域を特定し、特定された連結領域の特徴点を抽出する第２の特徴点算出部と、
前記第１の特徴点算出部で算出された特徴点と、前記第２の特徴点算出部で算出された特徴点とを加算する特徴点加算部と、
前記特徴点加算部で加算された特徴点に基づいて原稿画像データの特徴量を求める特徴量算出部と、
算出された特徴量を原稿画像と対応付けて予め登録しておく記憶部と、
前記特徴量算出部で求められた特徴量と、予め登録されている原稿画像の特徴量とに基づいて、原稿画像と登録されている原稿画像とが類似しているか否かを判定する類似度判定部を備えることを特徴とする画像処理装置である。

また本発明は、前記記憶部は、原稿画像データの特徴点と原稿画像データを反転させた画像データより算出された特徴点とを加算した特徴点より求められた特徴量を、原稿画像を反転させることなく求められた特徴量に基づいて算出された特徴量とは別に記憶することを特徴とする。

また本発明は、前記類似度判定部は、前記原稿画像データを反転させた画像データを用いるか否かを表す信号に基づいて、判定を行うことを特徴とする。

また本発明は、前記類似度判定部の判定結果に基づいて、前記原稿画像データの複写、電子配信、ファクシミリ送信、ファイリングを含む前記原稿画像データに対する処理内容を制御する制御部が備えられていることを特徴とする。

また本発明は、上記の画像処理装置を備えることを特徴とする画像形成装置である。
また本発明は、上記の画像処理装置を備えることを特徴とする画像読取装置である。

また本発明は、原稿画像データに基づいて画素を連結した連結領域を特定し、特定された連結領域の特徴点を抽出する第１の特徴点算出工程と、
原稿画像データの画素値を反転させた画像データを求める反転処理工程と、
原稿画像データを反転させた画像データに基づいて画素を連結した連結領域を特定し、特定された連結領域の特徴点を抽出する第２の特徴点算出工程と、
前記第１の特徴点算出工程で算出された特徴点と、前記第２の特徴点算出工程で算出された特徴点とを加算する特徴点加算工程と、
前記特徴点加算工程で加算された特徴点に基づいて原稿画像データの特徴量を求める特徴量算出工程と、
前記特徴量算出工程で求められた特徴量と、予め登録されている原稿画像の特徴量とに基づいて、原稿画像と登録されている原稿画像とが類似しているか否かを判定する類似度判定工程とを備えることを特徴とする画像処理方法である。

また本発明は、コンピュータを、上記の画像処理装置として機能させるための画像処理プログラムである。

また本発明は、コンピュータを、上記の画像処理装置として機能させるための画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体である。

本発明によれば、第１の特徴点算出部が、原稿画像データに基づいて画素を連結した連結領域を特定し、特定された連結領域の特徴点を抽出する。その一方で、反転処理部が、原稿画像データの画素値を反転させた画像データを求め、第２の特徴点算出部が原稿画像データを反転させた画像データに基づいて画素を連結した連結領域を特定し、特定された連結領域の特徴点を抽出する。

特徴点加算部では、前記第１の特徴点算出部で算出された特徴点と、前記第２の特徴点算出部で算出された特徴点とを加算し、特徴量算出部が、前記特徴点加算部で加算された特徴点に基づいて原稿画像データの特徴量を求める。記憶部には、算出された特徴量を原稿画像と対応付けて予め登録しておき、類似度判定部が、前記特徴量算出部で求められた特徴量と、予め登録されている原稿画像の特徴量とに基づいて、原稿画像データと登録されている原稿画像とが類似しているか否かを判定する。原稿画像は、それを表すインデックスとして登録しておけばよく、さらに、原稿画像を表すインデックスと原稿画像の画像データとを対応付けて登録しておくようにしてもよい。

これにより、反転文字を含む画像データであっても予め登録された画像との類似度を高精度で判定することができる。

また本発明によれば、前記記憶部は、原稿画像データの特徴点と原稿画像データを反転させた画像データより算出された特徴点とを加算した特徴点より求められた特徴量を、原稿画像を反転させることなく求められた特徴量に基づいて算出された特徴量とは別に記憶する。

これにより、類似度判定を行う際に検索する対象を絞り込むことができるので、処理速度を向上させることができる。

また本発明によれば、前記類似度判定部は、前記原稿画像データを反転させた画像データを用いるか否かを表す信号に基づいて、判定を行う。

これにより、反転文字が含まれる原稿画像についてのみ処理を行うので、反転文字が含まれない原稿画像について不要な処理を行うことなく迅速に類似判定処理を行うことができる。

また本発明によれば、類似度判定の結果に基づいて、原稿画像の複写、電子配信禁止、ファクシミリ送信禁止、原稿画像のファイリング等の制御を行うことができる。

また本発明によれば、デジタル複写機、複合機になどの画像形成装置において、読み込まれた原稿画像、あるいは、ホストコンピュータより送信された画像データに反転文字が含まれていたとしても、予め登録された原稿画像との類似度を高精度に判定し、原稿画像の複写や印刷、電子配信禁止、ファクシミリ送信禁止、原稿画像のファイリング等の制御を行うことができる。

また本発明によれば、スキャナ、デジタルカメラなどの画像読取装置において、読み込まれた原稿画像、または、撮像された画像データに反転文字が含まれていたとしても、予め登録された画像との類似度を高精度に判定し、原稿画像の送信（コンピュータ、プリンタなどへの送信）、電子配信禁止、ファクシミリ送信禁止、原稿画像のファイリング等の制御を行うことができる。

このように、反転文字を含む原稿画像についても類似判定処理を行うことができるので、汎用性に優れた画像形成装置および画像読取装置を提供することができる。

また本発明によれば、第１の特徴点算出工程で、原稿画像データに基づいて画素を連結した連結領域を特定し、特定された連結領域の特徴点を抽出する。その一方で、反転処理工程では、原稿画像データの画素値を反転させた画像データを求め、第２の特徴点算出工程で原稿画像データを反転させた画像データに基づいて画素を連結した連結領域を特定し、特定された連結領域の特徴点を抽出する。

特徴点加算工程では、前記第１の特徴点算出工程で算出された特徴点と、前記第２の特徴点算出工程で算出された特徴点とを加算し、特徴量算出工程で、前記特徴点加算工程で加算された特徴点に基づいて原稿画像データの特徴量を求める。類似度判定工程では、前記特徴量算出工程で求められた特徴量と、予め登録されている原稿画像の特徴量とに基づいて、原稿画像と登録されている原稿画像とが類似しているか否かを判定する。

これにより、反転文字を含む画像データであっても予め登録された画像との類似度を高精度で判定することができる。

また本発明によれば、コンピュータを上記の画像処理装置として機能させるための画像処理プログラムおよび画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体として提供することができる。

図１は、本発明の実施の一形態である画像処理装置３を備える画像形成装置１の構成を示すブロック図である。

画像形成装置１は、カラー画像入力装置２、カラー画像処理装置３、カラー画像出力装置４、各種操作を行うための操作パネル５などを備える。カラー画像入力装置２で原稿を読み込むことにより得られたＲＧＢ（Ｒ：赤、Ｇ：緑、Ｂ：青）のアナログ信号の画像データは、カラー画像処理装置２へ出力され、カラー画像処理装置３で所定の処理が行われ、ＣＭＹＫ（Ｃ：シアン、Ｍ：マゼンダ、Ｙ：イエロー、Ｋ：黒）のデジタルカラー信号としてカラー画像出力装置３へ出力される。

カラー画像入力装置２は、例えば、ＣＣＤ（Charged Coupled Device）を備えたスキャナであり、原稿画像からの反射光像をＲＧＢのアナログ信号として読み取り、読み取ったＲＧＢ信号をカラー画像処理装置３へ出力する。また、カラー画像出力装置４は、原稿画像の画像データを記録紙上に出力する電子写真方式またはインクジェット方式などのプリンタである。また、カラー画像出力装置４は、液晶ディスプレイなどの表示装置であってもよい。

カラー画像処理装置３は、後述する各処理部を備え、ＡＳＩＣ（Application Specific
Integrated Circuit）などにより実現される。

カラー画像処理装置３は、Ａ／Ｄ（アナログ／デジタル）変換部１０、シェーディング補正部１１、文書照合処理部１２、入力階調補正部１３、領域分離処理部１４、色補正部１５、黒生成下色除去部１６、空間フィルタ処理部１７、出力階調補正部１８、階調再現処理部１９を有する。

カラー画像入力装置２にて読み取られたアナログカラー信号は、カラー画像処理装置３内を、Ａ／Ｄ変換部１０、シェーディング補正部１１、文書照合処理部１２、入力階調補正部１３、領域分離処理部１４、色補正部１５、黒生成下色除去部１６、空間フィルタ処理部１７、出力階調補正部１８、および階調再現処理部１９の順で送られ、ＣＭＹＫ（Ｃ：シアン、Ｍ：マゼンタ、Ｙ：イエロー、Ｋ：ブラック）のデジタルカラー信号として、カラー画像出力装置４へ出力される。

Ａ／Ｄ変換部１０は、入力されてきたＲＧＢのアナログカラー信号を画像データであるデジタルカラー信号に変換する。シェーディング補正部１１は、Ａ／Ｄ変換部１０より送られてきたＲＧＢのデジタルカラー信号に対して、カラー画像入力装置２の照明系、結像系、撮像系で生じる各種の歪みを取り除く処理を施す。

文書照合処理部１２は、入力された画像を二値化し、二値画像に基づいて特定された連結領域の特徴点を算出し、その結果を用いて入力された画像と予め登録されている画像（文書画像を含む）との類似度を判定する。文書照合処理部１２は、画像が類似していると判定した場合、予め設定されている類似原稿に対する処理を特定した分類信号を出力して、所定の処理を行う。

類似していると判定された場合、原稿画像の出力制御を行う。例えば、原稿画像の複写、画像データの電子配信およびファクシミリ送信を禁止したり、画像データのファイリングを許可する。あるいは、原稿画像の複写、電子配信およびファクシミリ送信は許可するが、処理のログを記録し管理者に通知するようにしても良い。また、文書照合処理部１２は、入力されたＲＧＢ信号をそのまま後段の入力階調補正部１３へ出力する。

入力階調補正部１３では、ＲＧＢ信号（ＲＧＢの反射率信号）のカラーバランスを整えると同時に、濃度信号などカラー画像処理装置３が扱い易い信号に変換する。

領域分離処理部１４は、ＲＧＢ信号に基づいて、入力画像データの各画素を例えば、文字領域、網点領域、写真領域などの複数の領域に属する画素として分離する。

そして、領域分離処理部１４は、上記分離結果に基づき、画素がどの領域に属しているかを示す領域識別信号を、黒生成下色除去部１６、空間フィルタ処理部１７、及び階調再現処理部１９へと出力するとともに、入力信号をそのまま後段の色補正部１５に出力する。

領域分離処理としては、たとえば、注目画素を含むｎ×ｍのブロック（例えば、１５×１５）における最小濃度値（最小画素値）と最大濃度値（最大画素値）の差分である最大濃度差と、隣接する画素の濃度差の絶対値の総和である総和濃度繁雑度を算出し、予め定められている複数の閾値と比較することにより、下地領域、写真領域、文字領域、または網点領域に分離することが可能である。本発明では、各画素を上記の各領域に分離した上で、下地領域または写真領域であれば非エッジ領域に属すると判断し、文字領域または網点領域であればエッジ領域に属すると判断する。具体的な領域分離処理の例としては、たとえば特開２００２−２３２７０８号公報などに記載されている。

下地領域の濃度分布は、通常、濃度変化が少ないため、最大濃度差および総和濃度繁雑度は共に非常に小さくなる。写真領域の濃度分布は、滑らかな濃度変化をしており、最大濃度差および総和濃度繁雑度は共に小さくなるが、下地領域よりは多少大きくなる。網点領域の濃度分布は、最大濃度差は網点により様々であるが、総和濃度繁雑度は網点の数だけ濃度変化が生じているので、最大濃度差に対する総和濃度繁雑度の割合が大きくなる。

したがって、最大濃度差と文字・網点判定閾値（前記複数の閾値の１つ）との積よりも総和濃度繁雑度が大きい場合、網点領域であると判別する。文字領域の濃度分布は、最大濃度差が大きく、それに伴い総和濃度繁雑度も大きくなるが、網点領域よりも濃度変化が少ないため、網点領域よりも総和濃度繁雑度は小さくなる。したがって、最大濃度差と文字・網点判定閾値との積よりも総和濃度繁雑度が小さい場合、文字領域であると判別する。

よって、算出された最大濃度差と最大濃度差閾値との比較、および、算出された総和濃度繁雑度と総和濃度繁雑度閾値との比較を行い、最大濃度差が最大濃度差閾値よりも小さく、かつ、総和濃度繁雑度が総和濃度繁雑度閾値よりも小さい場合、注目画素は下地・写真領域であると判定し、そうでない場合は文字・網点領域であると判定する。

さらに、下地・写真領域であると判断された場合、算出された最大濃度差と下地・写真判定閾値との比較を行い、最大濃度差の方が小さい場合は、下地領域であると判定し、最大濃度差の方が大きい場合は写真領域であると判定する。文字・網点領域であると判断された場合、算出された総和濃度繁雑度と最大濃度差に文字・網点判定閾値を掛けた値との比較を行い、総和濃度繁雑度の方が小さい場合は文字領域であると判定し、総和濃度度の方が大きい場合は網点領域であると判定する。

色補正部１５は、色を忠実に再現するために、不要吸収成分を含むＣＭＹ色材の分光特性に基づいた色濁りを取り除く処理を行うものである。処理方法としては、入力ＲＧＢ信号と出力ＣＭＹ信号の対応関係をＬＵＴ（ルックアップテーブル）としてもつ方法や、

のような変換行列を用いるカラーマスキング法などがある。たとえばカラーマスキング法を用いる場合には、あるＣＭＹデータを画像出力装置２４に与えた場合に出力される色のＬ^* ａ^* ｂ^* 値（ＣＩＥ１９７６Ｌ^* ａ^* ｂ^* 信号（ＣＩＥ：Commission International de l’Eclairage；国際照明委員会、また、Ｌ^* ：明度、ａ^* ，ｂ^* ：色度））と同じＬ^* ａ^* ｂ^* をもつカラーパッチを画像入力装置２２に読み込ませたときのＲＧＢデータと、画像出力装置２４に与えたＣＭＹデータの組を多数用意し、それらの組合せより式１のａ₁₁からａ₃₃までの変換行列の係数を算出し、算出した係数を用いて色補正処理を行う。より精度を高めたい場合は、二次以上の高次の項を加えればよい。

黒生成下色除去部１６は、色補正後のＣＭＹの３色信号から黒（Ｋ）信号を生成する黒生成、元のＣＭＹ信号が重なる部分を差し引いて新たなＣＭＹ信号を生成する処理を行うものであって、ＣＭＹの３色信号をＣＭＹＫの４色信号に変換する。

空間フィルタ処理部１７は、黒生成下色除去部１６から入力されるＣＭＹＫ信号の画像データに対して、領域識別信号に基づいてデジタルフィルタによる空間フィルタ処理を行う。空間周波数特性を補正することによって出力画像のぼやけや粒状性劣化を防ぐことができる。

たとえば、領域分離処理部１４にて文字領域として分離された領域は、特に黒文字または色文字の再現性を高めるために、空間フィルタ処理部１７の空間フィルタ処理において鮮鋭強調処理で高周波成分を強調する。また、領域分離処理部１４にて網点領域として分離された領域は、空間フィルタ処理部１７において、網点成分を除去するためのローパス・フィルタ処理は行わず、網点成分を可能な限り再現できるように、空間フィルタ処理をスルーさせたり（禁止したり）、鮮鋭強調処理で高周波成分を強調する。

網点領域については、従来はモアレを防止するために平滑化処理が行われているが、平滑化処理が行われると網点の形態がくずれ、網点を再現する上で好ましくない。そこで、本発明においては、網点領域に対して、何も処理を行わない（空間フィルタ処理をスルーする）か、あるいは弱い強調処理を行うことにより、網点の形態を保存する。なお、空間フィルタ処理部１４における空間フィルタ処理は、網点領域の場合はスルー処理または鮮鋭強調処理としたが、領域によらず共通のフィルタ処理を行うことも可能である。

出力階調補正部１８は、濃度信号などの信号をカラー画像出力装置４の特性値である網点面積率に変換する出力階調補正処理を行う。階調再現処理部１９は、ＣＭＹＫ信号の画像データに対し、領域識別信号に基づいて、最終的に画像が擬似的に階調を再現できるように擬似階調再現処理を施す。

上述した各処理が施された画像データは、一旦記憶部（図示せず）に記憶され、所定のタイミングで読み出されてカラー画像出力装置４へ出力される。カラー画像出力装置４は、画像を記録媒体（例えば紙等）上に出力するものであり、たとえば、電子写真方式、インクジェット方式などの出力方式を挙げることができるが特に限定されるものではない。

操作パネル５は、たとえば、液晶ディスプレイなどの表示部と設定ボタンなどの操作部とが一体化されたタッチパネル等により構成され、ユーザによって操作パネルより入力された情報に基づいてカラー画像処理装置３、カラー画像入力装置２、カラー画像出力装置４の動作が制御される。なお、以上の各処理は図示していないＣＰＵ（Central Processing Unit：制御手段）により制御される。

図２は、文書照合処理部１２の構成を示すブロック図である。文書照合処理部１２は、特徴点算出部２０、特徴量算出部２１、投票処理部２２、類似度判定処理部２３、登録処理部２６および制御部（ＣＰＵ）２４、メモリ２５を有する。

特徴点算出部２０は、文字列や罫線の連結部分を抽出し、連結部分の重心を特徴点として算出する。

特徴量算出部２１は、特徴点算出部で算出された特徴点を用いて、回転、拡大、縮小に対して不変な量（原稿画像の回転、平行移動、拡大縮小を含む幾何学的変化に対して不変なパラメータ）である特徴量を算出する。算出方法の一例については後述する。

投票処理部２２は、算出された特徴量（ハッシュ値）を用いて、ハッシュテーブルに登録されている原稿画像に対して投票する。

類似度判定処理部２３は、投票処理部２２の投票処理結果に基づいて、最大の得票数を得た原稿画像および得票数を抽出する。抽出された得票数を予め定められている閾値と比較し、類似度を判定する。あるいは、抽出された得票数をその原稿画像が有している最大得票数で除算して正規化し、その結果と予め定められている閾値との比較を行う。この場合の閾値の例としては、例えば、０．８程度が好ましい。０．８以上であれば類似しているものと判断する。なお、手書き部分があると、投票数は最大得票数より大きくなることがあるため、類似度は１より大きくなる場合もあり得る。

最大得票数は、特徴点の数×１つの特徴点（注目特徴点）から算出されるハッシュ値の数で表される。後述の例では、最も簡単例として、１つの特徴点から１つのハッシュ値が算出される例を示しているが、注目特徴点の周辺の特徴点を選択する方法を変えると、１つの特徴点から複数のハッシュ値を算出することができる。

例えば、注目特徴点の周辺の特徴点として６点抽出し、この６点から５点を抽出する組合せは６通り存在する。そして、これら６通りそれぞれについて、５点から３点を抽出して不変量を求め、ハッシュ値を算出することもできる。

登録処理部２６は、特徴量算出部２１が算出した各特徴点についてのハッシュ値と、原稿（登録画像）を表すインデックス（原稿ＩＤ）とをメモリに設けられたハッシュテーブル（後述の図１６（ａ）参照）に順次登録していく。ハッシュ値がすでに登録されている場合は、当該ハッシュ値に対応付けて原稿ＩＤを登録する。登録処理を行う場合、投票処理部２２、類似度判定処理部２３の処理は行われずにバイパスされる。また、逆に、文書照合処理を行う場合は、登録処理部２６の処理は行われずにバイパスされる。

制御部（ＣＰＵ）２４は、上記各処理部およびメモリ２５へのアクセスを制御する。なお、制御部２４は、カラー画像処理装置３全体を制御する制御部と同じ制御部でもよく、文書照合処理に特化した制御部であってもよい。

図３は、特徴点算出部２０の構成を示すブロック図である。
特徴点算出部２０は、無彩化処理部３０、解像度変換部３１、ＭＴＦ補正処理部３２、２値化処理部３３、重心算出部３４を有する。

無彩化処理部３０は、入力画像データがカラー画像であった場合、これを無彩化して、明度もしくは輝度信号に変換する。

例えば、ＲＧＢ画像データに基づいて、下記式（１）より輝度Ｙを求める。
Ｙ_ｊ＝０．３０Ｒ_ｊ＋０．５９Ｇ_ｊ＋０．１１Ｂ_ｊ …（１）
Ｙ_ｊ：各画素の輝度値，Ｒ_ｊ，Ｇ_ｊ，Ｂ_ｊ：各画素の色成分

また、ＲＧＢ画像データをＣＩＥ１９７６Ｌ^*ａ^*ｂ^*画像データに変換し、明度Ｌ^*を求めても良い。

解像度変換部３１は、入力画像データがカラー画像入力装置２で光学的に変倍されていた場合に、所定の解像度となるように再度変倍する。また、解像度変換部３１では、後段の処理量を軽減するために、カラー画像入力装置２で等倍時に読み込まれる解像度よりも解像度を低下させるための解像度変換も行う。

ＭＴＦ補正処理部３２は、カラー画像入力装置２の空間周波数特性が機種ごとに異なることを吸収するために用いられ、適切なフィルタ処理（強調処理）を施すことにより、ＭＴＦの劣化により生じるぼやけを修復する処理を行う。また、特徴点抽出処理に不要な高周波成分を抑制するためにも用いる。すなわち、図４に示すような混合フィルタを用いて強調および平滑化処理を行う。

２値化処理部３３は、無彩化された画像データから重心算出に適した２値化画像データを作成する第１の２値化処理部３３ａと、無彩化された画像データを反転する反転処理部３３ｂと、反転した画像データについて２値化画像データを作成する第２の２値化処理部３３ｃとからなる。

２値化対象ラインブロックの各画素を２値化する閾値として用いることにより、対象とする広域エリアの画素値平均を限られた記憶領域のみで実現する。無彩化された画像データ（以下では、非反転画像データという。）を反転した画像データ（以下では、反転画像データという。）の輝度Ｙｊ’は、画像データが８ビット（２５６階調）の場合、Ｙｊ’＝２５５−Ｙｊとして算出される。

第１および第２の２値化処理部３３ａ，３３ｃの処理内容は同一であり、非反転、反転画像データの輝度値または明度値を閾値と比較することにより画像データを２値化する。

図５および図６は、特徴点算出部２０の他の構成を示すブロック図である。２値化処理部３３の構成以外は、図３に示した構成と同様であるので説明は省略する。図５に示す特徴点算出部２０の他の構成では、２値化処理部３３ｄで２値化した後に、反転処理部３３ｂで反転処理を行う構成である。また、図６に示す特徴点算出部２０の他の構成では、図３に示した反転処理部３３ｂと第２の２値化処理部３３ｃの代わりに、反転文字用の特徴信号を生成する特徴信号生成処理部３５を備えていてもよい。

重心算出部３４は、２値化された画像データから、連結成分の重心を求め、これを特徴点として特徴量算出部２１へ出力する。

重心算出部３４は、非反転画像データについて重心の算出を行う第１算出部３４ａと、反転画像データについて重心の算出を行う第２の算出部３４ｂと、第１算出部３４ａ、第２算出部３４ｂで算出された重心を合算（加算）する重心合算処理部３４ｃよりなる。

図７は、第１算出部３４ａの構成を示すブロック図である。なお、第１算出部３４ａ、第２算出部３４ｂの構成は、同じ構成であるので以下では第１算出部３４ａについて説明する。

第１算出部３４ａは、ラベリング処理部４０、閾値処理部４１、重心計算処理部４２、制御部４３およびメモリ４４を有する。

ラベリング処理部４０は、例えば、２ラインの画像データを抽出し、下記手順により注目画素に対してラベル付けをライン単位で行う。

まず、注目画素に対して、図８に示すように、注目画素Ｘに隣接する４画素（左、左上、上、右上）を調べる。注目画素の隣接画素の全てがラベル付けされていないときは、使用していないラベルを注目画素に付ける。注目画素の隣接画素に同じラベルがつけられているとき、それと同じラベルを注目画素に付ける。注目画素の隣接画素に異なるラベルがつけられているとき、それらの中で最も古いラベルを注目画素に付け（マージ）、それらのラベルが同一のものであることを、図９に示すようなラベル等価表に記録する。

また、ラベル付けと同時に、注目画素の座標値を、与えられたラベルに対応するバッファに累積加算を行う。なお、バッファには、ｘ座標の加算結果、ｙ座標の加算結果、各ラベルに加算した回数（画素数）、および判定に使用するラベル毎のフラグが格納されている。ここで、フラグの種類には、「空」、「更新無し」、「更新有り」がある。あるラインの処理が終了し、次のラインの処理を行うときに、各ラベルのフラグは初期化され、「更新なし」となる。ラインの処理が終了したときに、あるラベルのフラグが「更新なし」の場合、連結部分が終了していることを意味している。このとき、上記ラベルは解放され、再度使用可能、すなわちフラグが「空」となる。

１ラインの処理が終了した段階で、座標値の加算がなされなかったラベル（フラグが「更新無し」のラベル）は、それ以降のラインへ連結成分が継続することが無いため、閾値処理部４１にて重心算出判定を行う。

閾値処理部４１は、対象ラベルの画素数と閾値との比較を行い、重心算出を行うがどうかの判定を行う。対象ラベルの画素数が下記式の範囲にある場合は、重心算出を行う。下記式の範囲外の場合は、重心算出は行わない。
TH_L_LIMIT ＜ (対象ラベルの画素数) ＜ TH_H_LIMIT

閾値TH_L_LIMITの例としては、孤立点などのノイズ成分を除去するため例えば、１００を設定する。また、反転文字における小さな連結領域がなるべく検出されないような値に設定する。

閾値TH_H_LIMITの例としては、例えば、解像度が300dpi原稿の場合、４０９６を設定する。上限側の閾値は、解像度、文字の大きさに依存する。反転文字における広範囲の領域が検出されないような値に設定する。

なお、これらの閾値は種々の画像サンプルを用いて、反転文字が適切に検出できる値を予め設定すれば良い。

重心計算処理部４２は、累積加算した座標値を加算した画素数で除算することで重心求める。

全ての原稿画像について、反転画像データを求めるのではなく、原稿画像の読み込みを行う際に、処理モードの選択（反転文字原稿モード）を行うようにしても良い。処理モードの選択は、操作パネル５より行うことが可能に構成されている。

処理モードの選択を行う代わりに、原稿がセット（原稿台でもＡＤＦ（Auto Document Feeder）の何れでも良い）されたときに、原稿に白抜きの文字が含まれるか否かなどの対話形式の質問を操作パネルの表示部に表示し、ユーザに処理を促すようにしても良い。

図１０は、操作パネル５に表示する対話形式の質問の例を示す図である。原稿モードを通常文字原稿か、反転文字原稿かを、文字のみ（ａ）または例の画像（ｂ）を示して質問する。

また、例となる画像は、「詳細」を選択したときにのみ表示するようにしてもよい（ｃ）。通常文字の詳細が選択されたときは、通常文字の例を表示して、例のような文字が含まれるかどうかを質問する（ｄ）。反転文字の詳細が選択されたときは、反転文字の例を表示して、例のような文字が含まれるかどうかを質問する（ｅ）。

また、原稿モードを自動検知することにより、通常文字原稿モード、あるいは反転文字モード等、処理モードを自動設定してもよい。

図１１は、連結領域の特徴点の例を示す説明図である。図において、特定された連結領域は、文字「Ａ」であり、同一ラベルが付された画素の集合として特定される。この文字「Ａ」の特徴点（重心）は、図中黒丸で示される位置（ｘ座標、ｙ座標）となる。

図１２は、文字列に対する特徴点の抽出結果の例を示す説明図である。複数の文字から構成される文字列の場合、文字の種類によりそれぞれ異なる座標を有する特徴点が複数抽出される。

特徴量算出部２１は、複数抽出された特徴点から所定の特徴点を選択し、ハッシュ値を算出する。たとえば、図１３に示すように、注目特徴点Ｃ１からの距離が近いものから順に周辺の特徴点を４点抽出し、抽出された周辺の特徴点４点から３点を選択して、下記式により余りを求め、余りをハッシュ値Ｈｉ（ｉ＝１，２，・・・，Ｎ；Ｎは特徴点の数）とする。

図１４に示す例の場合、注目特徴点Ｃ１，Ｃ２それぞれについて３種類（ａ）〜（ｃ）、（ｄ）〜（ｆ）の不変量が求められる。本実施形態において、不変量は所定の特徴点の周辺に存在する、周辺特徴点同士を結ぶ線分の長さのうちの２つの比であり、不変量Ｈ１ｊ、Ｈ２ｊ（ｊ＝１，２，３）と表すものとする。上記線分の長さは、各周辺特徴点の座標値に基づいて算出される。例えば、図１４（ａ）の例では、特徴点ｃと特徴点ｄとを結ぶ線分の長さをＡ１１、特徴点ｃと特徴点ｂとを結ぶ線分の長さをＢ１１とすると、不変量Ｈ１１はＨ１１＝Ａ１１／Ｂ１１となる。図１４（ｂ）、（ｃ）、図１４（ｄ）〜（ｆ）についても同図に示すように線分を定義し不変量を同様に求めることができる。

Ｄ：余りをどの程度設定するかにより決定される定数
ｉ：自然数

例えば、Ｄを「１０」とした場合には、余りは「０」〜「９」となり、これが算出するハッシュ値の取り得る範囲となる。

また、注目特徴点Ｃ１，Ｃ２による不変量を算出する方法として、例えば、図１５に示すように、それぞれ４種類（ａ）〜（ｄ）、（ｅ）〜（ｈ）の不変量Ｈ１ｊ、Ｈ２ｊ（ｊ＝１，２，３，４）を求めるようにしても良い。この場合、ハッシュ値Ｈｉは、Ｈｉ＝（Ｈｉ１×１０^３＋Ｈｉ２×１０^２＋Ｈｉ３×１０^１＋Ｈｉ４×１０^０）／Ｅで算出される。

原稿画像の登録を行う場合は、操作パネルより登録モードを選択し、図１６に示すようにハッシュ値と原稿を示すインデックス（ＩＤｋ）とをハッシュテーブルに登録する。なお、図１６（ｂ）に示すように、ハッシュ値が等しい場合（Ｈ１＝Ｈ５）、ハッシュテーブルの２つのエントリを１つにまとめることもできる。

反転文字を含む原稿画像については、反転文字を含まない原稿画像とは別のハッシュテーブルに登録するようにしても良い。これにより、照合判定を行う際、原稿のモード（通常文字原稿、反転文字原稿等）に応じて、検索する対象を絞り込むことができるので、処理速度を向上させることができるとともに判定精度を向上させることができる。

投票処理部２２は、特徴量算出部２１が算出したハッシュ値（特徴量）に基づいて、メモリ２５に記憶されたハッシュテーブルを検索し、該ハッシュ値に登録されているインデックスの原稿について投票する。投票を累積加算した結果を類似度判定処理部２３へ出力する。

類似度判定処理部２３は、投票処理部２２から入力された投票結果に基づいて、原稿（画像、文書画像）の類似度を判定し、判定結果（分類信号）を出力する。より具体的には、類似度判定処理部２３は、投票処理部２２から入力された投票数（得票数）を予め定めた閾値と比較し、投票数が閾値以上であれば、入力画像が予め登録された原稿の画像に類似すると判定し、さらに類似と判定された中で最も得票数の高い原稿が一致する原稿であると判定する。判定結果に応じて登録された原稿に対応して定められた処理（例えば、複写禁止、所定のフォルダに記憶など）を行うべく分類信号を出力する。また、類似度判定処理部２３は、投票処理部２２から入力された投票数が閾値より小さい場合、類似する原稿がないと判定して、その結果を出力する。上記の判定方法は一例であり、別の方法として、例えば、原稿毎の最大得票数（原稿毎に求められる特徴点の数など）で得票数を除算して正規化した後で類似度の判定や一致の判定を行っても良い。

図１７は、文書照合処理を示すフローチャートである。
ステップＳ１では、特徴点算出部２０が、入力された画像に対して特徴点算出処理を実行し、ステップＳ２で、特徴量算出部２１が、特徴点算出部２０から入力された特徴点に基づいて、所定の不変量を算出し、算出した不変量に基づいて特徴量であるハッシュ値を算出する。

ステップＳ３では、全てのラインの処理が終了されたかどうかを判断し、終了されていればステップＳ４に進み、終了していなければステップＳ１に戻る。

ステップＳ４では、投票処理部２２が、特徴量算出部２１が算出したハッシュ値に基づいて、ハッシュテーブルを検索し、ハッシュ値に対応付けて登録されているインデックスの原稿について投票し、投票を累積加算する。

ステップＳ５では、類似度判定処理部２３が、投票処理部２２から入力された投票数を予め定めた閾値と比較し、投票数が閾値以上であれば、入力画像が予め登録された原稿の画像に類似すると判定し、閾値未満であれば類似しないと判定する。

ステップＳ６では、判定結果について判断し、類似画像があればステップＳ７に進んで、判定信号「１」を出力する。類似画像がなければステップＳ８で判定信号「０」を出力する。

図１８は、特徴点算出処理を示すフローチャートである。
通常文字については、ステップＳ２１で２値化処理し、ステップＳ２２でラベリングを行う。ステップＳ２３の閾値処理でラベル数が閾値範囲外であればステップＳ３０に進み、範囲内であればステップＳ２４に進む、ステップＳ２４では、重心計算を行う。

反転文字については、ステップＳ２５で反転処理を行い、ステップＳ２６で２値化処理し、ステップＳ２７でラベリングを行う。ステップＳ２８の閾値処理でラベル数が閾値範囲外であればステップＳ３０に進み、範囲内であればステップＳ２９に進む、ステップＳ２９では、重心計算を行う。ステップＳ３０では、それぞれ求められた重心を合算する。

図１９は、本発明の実施の一形態である画像読取装置６（フラットベッドスキャナ）の構成を示すブロック図である。

図１９に示すように、画像読取装置６は、カラー画像入力装置２とカラー画像処理装置７とを含む。

カラー画像処理装置７は、Ａ／Ｄ変換部１０、シェーディング補正部１１、文書照合処理部１２とから構成されている。

カラー画像入力装置２にて読み取られたアナログ信号は、カラー画像処理装置７内を、Ａ／Ｄ変換部１０、シェーディング補正部１１、文書照合処理部１２の順で送られる。各部位は、上記の実施形態と同様であるので、説明は省略する。

読み取られた原稿画像のデータおよび判定信号（または特徴量）は、ネットワークを介してプリンタや複合機、サーバーに送信される。あるいは、コンピュータを介してプリンタに、もしくは、直接プリンタに入力される。この場合、プリンタ、複合機やサーバー、コンピュータ側では、上記原稿画像のデータ、判定信号（または特徴量）を処理できるようにしておく必要がある。

本発明の他の実施形態としては、コンピュータに実行させるためのプログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）を記録したコンピュータ読み取り可能な記録媒体に、上記に示した文書照合並びに出力制御を行う画像処理方法を記録するものとすることもできる。これにより、文書照合並びに出力制御を行う画像処理方法を行うプログラムコードを記録した記録媒体を持ち運び自在に提供することができる。

記録媒体としては、マイクロプロセッサで処理が行われるためのメモリ、たとえばＲＯＭそのものが記録媒体であってもよいし、また、コンピュータの外部記憶部７４としてプログラム読み取り装置が設けられ、そこに挿入することで読み取り可能な記録媒体であってもよい。

いずれの場合においても、記録されているプログラムコードは、マイクロプロセッサが記録媒体にアクセスすることで実行されてもよいし、マイクロプロセッサが記録媒体からプログラムコードを読み出し、読み出されたプログラムコードをプログラム記憶エリアにダウンロードして、実行してもよい。なお、このダウンロード用のプログラムは予め所定の記憶装置に格納されているものとする。ＣＰＵなどのマイクロプロセッサは、インストールされたプログラムコードに従って所定の画像処理を行うようにコンピュータの各部を統括的に制御する。

また、プログラム読み取り装置で読み取り可能な記録媒体としては、磁気テープ、カセットテープなどのテープ系、フレキシブルディスク、ハードディスクなどの磁気ディスクまたはＣＤ−ＲＯＭ（Compact Disc-Read Only Memory）／ＭＯ（Magneto Optical disc）／ＭＤ（Mini Disc）／ＤＶＤ（Digital Versatile Disc）などの光ディスクのディスク系、ＩＣ（Integrated Circuit）カード（メモリカードを含む）／光カードなどのカード系、あるいはマスクＲＯＭ、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、フラッシュＲＯＭなどの半導体メモリを含めた固定的にプログラムコードを記録する媒体であってもよい。

また、コンピュータを、インターネットを含む通信ネットワークに接続可能な構成とし、通信ネットワークからプログラムコードをダウンロードするように流動的にプログラムコードを担持する媒体であってもよい。なお、このように通信ネットワークからプログラムコードをダウンロードする場合には、そのダウンロード用プログラムは予めコンピュータに格納しておくか、他の記録媒体からインストールされるものであってもよい。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

記録媒体から読み取った画像処理プログラムを実行するコンピュータシステムの一例は、フラットベッドスキャナ、フィルムスキャナ、デジタルカメラなどの画像読取装置と、各種プログラムを実行することにより上記の画像処理方法を含めた様々な処理を行うコンピュータと、このコンピュータの処理結果などを表示するＣＲＴ（Cathode Ray Tube）ディスプレイ、液晶ディスプレイなどの画像表示装置と、コンピュータの処理結果を紙などに出力するプリンタなどの画像出力装置とが互いに接続されて構成されるシステムである。さらに、このコンピュータシステムには、通信ネットワークを介してサーバーなどに接続し、画像処理プログラムを含む各種プログラムコードや画像データなどの各種データを送受信するためのネットワークカード、モデムなどが備えられる。

本発明の実施の一形態である画像処理装置３を備える画像形成装置１の構成を示すブロック図である。 文書照合処理部１２の構成を示すブロック図である。 特徴点算出部２０の構成を示すブロック図である。 混合フィルタの一例を示す図である。 特徴点算出部２０の他の構成を示すブロック図である。 特徴点算出部２０の他の構成を示すブロック図である。 第１算出部３４ａの構成を示すブロック図である。 注目画素Ｘとこれに隣接する４画素の位置を説明するための図である。 ラベル等価表の一例を示す図である。 操作パネル５に表示する対話形式の質問の例を示す図である。 連結領域の特徴点の例を示す説明図である。 文字列に対する特徴点の抽出結果の例を示す説明図である。 注目特徴点と周辺の特徴点の一例を示す図である。 注目特徴点による不変量の算出例を示す図である。 注目特徴点による不変量の他の算出例を示す図である。 ハッシュテーブルの一例を示す図である。 文書照合処理を示すフローチャートである。 特徴点算出処理を示すフローチャートである。 本発明の実施の一形態である画像読取装置６の構成を示すブロック図である。

符号の説明

１ 画像形成装置
２ カラー画像入力装置
３ カラー画像処理装置
４ カラー画像出力装置
５ 操作パネル
６ 画像読取装置
７ カラー画像処理装置
１０ Ａ／Ｄ（アナログ／デジタル）変換部
１１ シェーディング補正部
１２ 文書照合処理部
１３ 入力階調補正部
１４ 領域分離処理部
１５ 色補正部
１６ 黒生成下色除去部
１７ 空間フィルタ処理部
１８ 出力階調補正部
１９ 階調再現処理部
２０ 特徴点算出部
２１ 特徴量算出部
２２ 投票処理部
２３ 類似度判定処理部
２４ 制御部
２５ メモリ
２６ 登録処理部

Claims (9)

1. 原稿画像データに基づいて画素を連結した連結領域を特定し、特定された連結領域の特徴点を抽出する第１の特徴点算出部と、
   原稿画像データの画素値を反転させた画像データを求める反転処理部と、
   原稿画像データを反転させた画像データに基づいて画素を連結した連結領域を特定し、特定された連結領域の特徴点を抽出する第２の特徴点算出部と、
   前記第１の特徴点算出部で算出された特徴点と、前記第２の特徴点算出部で算出された特徴点とを加算する特徴点加算部と、
   前記特徴点加算部で加算された特徴点に基づいて原稿画像データの特徴量を求める特徴量算出部と、
   算出された特徴量を原稿画像と対応付けて予め登録しておく記憶部と、
   前記特徴量算出部で求められた特徴量と、予め登録されている原稿画像の特徴量とに基づいて、原稿画像と登録されている原稿画像とが類似しているか否かを判定する類似度判定部を備えることを特徴とする画像処理装置。
2. 前記記憶部は、原稿画像データの特徴点と原稿画像データを反転させた画像データより算出された特徴点とを加算した特徴点より求められた特徴量を、原稿画像を反転させることなく求められた特徴量に基づいて算出された特徴量とは別に記憶することを特徴とする請求項１に記載の画像処理装置。
3. 前記類似度判定部は、前記原稿画像データを反転させた画像データを用いるか否かを表す信号に基づいて、判定を行うことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記類似度判定部の判定結果に基づいて、前記原稿画像データの複写、電子配信、ファクシミリ送信、ファイリングを含む前記原稿画像データに対する処理内容を制御する制御部が備えられていることを特徴とする請求項１〜３のいずれか１つに記載の画像処理装置。
5. 請求項１〜４のいずれか１つに記載の画像処理装置を備えることを特徴とする画像形成装置。
6. 請求項１〜４のいずれか１つに記載の画像処理装置を備えることを特徴とする画像読取装置。
7. 原稿画像データに基づいて画素を連結した連結領域を特定し、特定された連結領域の特徴点を抽出する第１の特徴点算出工程と、
   原稿画像データの画素値を反転させた画像データを求める反転処理工程と、
   原稿画像データを反転させた画像データに基づいて画素を連結した連結領域を特定し、特定された連結領域の特徴点を抽出する第２の特徴点算出工程と、
   前記第１の特徴点算出工程で算出された特徴点と、前記第２の特徴点算出工程で算出された特徴点とを加算する特徴点加算工程と、
   前記特徴点加算工程で加算された特徴点に基づいて原稿画像データの特徴量を求める特徴量算出工程と、
   前記特徴量算出工程で求められた特徴量と、予め登録されている原稿画像の特徴量とに基づいて、原稿画像と登録されている原稿画像とが類似しているか否かを判定する類似度判定工程とを備えることを特徴とする画像処理方法。
8. コンピュータを、請求項１〜４のいずれか１つに記載の画像処理装置として機能させるための画像処理プログラム。
9. コンピュータを、請求項１〜４のいずれか１つに記載の画像処理装置として機能させるための画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images