JP3937687B2 - 画像処理装置及び画像処理方法、記録媒体 - Google Patents
画像処理装置及び画像処理方法、記録媒体 Download PDFInfo
- Publication number
- JP3937687B2 JP3937687B2 JP2000136158A JP2000136158A JP3937687B2 JP 3937687 B2 JP3937687 B2 JP 3937687B2 JP 2000136158 A JP2000136158 A JP 2000136158A JP 2000136158 A JP2000136158 A JP 2000136158A JP 3937687 B2 JP3937687 B2 JP 3937687B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- region
- registered
- area
- similarity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
- Character Input (AREA)
- Processing Or Creating Images (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像の処理に関し、特に、画像のファイリング及びファイリングされた画像の検索に関する。
【０００２】
【従来の技術】
従来、文書等を含む画像を蓄積するイメージファイリングシステムにおいては、イメージスキャナで取り込んだ画像に検索用のキーワードのインデックスを付加して蓄積し、検索時の便宜を図っていた。
【０００３】
【発明が解決しようとする課題】
しかし、従来のファイリングシステムにおいては、新たに登録しようとする画像が、既に登録、蓄積された登録画像と二重に登録されないようにするためには、蓄積してある登録画像を、キーワード検索したり、すべての登録画像を一覧表示するなどして手作業で探し出し、新たに登録しようとする画像との一致を人間が目でみて確認しなければならなず、手間がかかった。このため、二重登録を許してしまうような事態も生じていた。
【０００４】
すなわち、従来のファイリングシステムにおいては、新たな画像と近似するか又は一致する登録画像の検索機能が、ユーザにおいて使い勝手のよいものではなかった。
【０００５】
従って、本発明の目的は、新たな画像と近似するか又は一致する画像を好適に検索し得る画像処理装置及び画像処理方法、記録媒体を提供することにある。
【０００７】
【課題を解決するための手段】
本発明によれば、予め登録された複数の登録画像の中から、入力された入力画像に近似又は一致する登録画像を検索する画像処理装置であって、前記登録画像に対して領域分割処理を実行することにより得られた領域の数と各領域の位置と各領域の大きさと各領域の領域種別とを、当該登録画像と共に記憶した記憶手段と、前記入力画像に対して領域分割処理を実行することにより、当該入力画像内に含まれる領域の数と各領域の位置と各領域の大きさと各領域の領域種別とを得る処理手段と、前記処理手段により得られた前記入力画像内に含まれる領域の数と、領域の数が一致する前記登録画像を前記記憶手段から第１の検索候補として検索する第１検索手段と、前記第１検索候補となった前記登録画像の中から、前記処理手段により得られた、前記入力画像内に含まれる各領域の位置及び大きさに類似する、領域の位置及び大きさを有する前記登録画像を第２検索候補として検索する第２検索手段と、前記第２検索候補となった前記登録画像を対象として、前記入力画像内の前記領域種別がテキストである領域を文字認識して得た文字認識結果と、前記対象の登録画像内の前記領域種別がテキストである領域を文字認識して得た文字認識結果とを比較することにより、テキストに関する類似度を算出するとともに、前記入力画像内の前記領域種別がイメージである領域から抽出した画像特徴量と前記対象の登録画像内の前記領域種別がイメージである領域から抽出した画像特徴量とを比較することにより、イメージに関する類似度を算出し、更に、当該算出されたテキストに関する類似度とイメージに関する類似度とに対して、予め定めた重み付けをおこなって加算することにより総合類似度を求め、当該求めた総合類似度に基づいて前記第２検索候補となった前記登録画像の中から前記入力画像に類似する登録画像を判定する第３検索手段と、を備えたことを特徴とする画像処理装置が提供される。
【０００９】
また、本発明によれば、予め登録された複数の登録画像の中から、入力された入力画像に近似又は一致する登録画像を検索する画像処理方法であって、前記登録画像に対して領域分割処理を実行することにより得られた領域の数と各領域の位置と各領域の大きさと各領域の領域種別とを、当該登録画像と共に記憶手段に記憶する記憶工程と、前記入力画像に対して領域分割処理を実行することにより、当該入力画像内に含まれる領域の数と各領域の位置と各領域の大きさと各領域の領域種別とを得る処理工程と、前記処理工程において得られた前記入力画像内に含まれる領域の数と、領域の数が一致する前記登録画像を前記記憶手段から第１の検索候補として検索する第１検索工程と、前記第１検索候補となった前記登録画像の中から、前記処理工程において得られた、前記入力画像内に含まれる各領域の位置及び大きさに類似する、領域の位置及び大きさを有する前記登録画像を第２検索候補として検索する第２検索工程と、前記第２検索候補となった前記登録画像を対象として、前記入力画像内の前記領域種別がテキストである領域を文字認識して得た文字認識結果と、前記対象の登録画像内の前記領域種別がテキストである領域を文字認識して得た文字認識結果とを比較することにより、テキストに関する類似度を算出するとともに、前記入力画像内の前記領域種別がイメージである領域から抽出した画像特徴量と前記対象の登録画像内の前記領域種別がイメージである領域から抽出した画像特徴量とを比較することにより、イメージに関する類似度を算出し、更に、当該算出されたテキストに関する類似度とイメージに関する類似度とに対して、予め定めた重み付けをおこなって加算することにより総合類似度を求め、当該求めた総合類似度に基づいて前記第２検索候補となった前記登録画像の中から前記入力画像に類似する登録画像を判定する第３検索工程と、を含むことを特徴とする画像処理方法が提供される。
【００１１】
また、本発明によれば、予め登録された複数の登録画像の中から、入力された入力画像に近似又は一致する登録画像を検索するために、コンピュータを、前記登録画像に対して領域分割処理を実行することにより得られた領域の数と各領域の位置と各領域の大きさと各領域の領域種別とを、当該登録画像と共に記憶した記憶手段、前記入力画像に対して領域分割処理を実行することにより、当該入力画像内に含まれる領域の数と各領域の位置と各領域の大きさと各領域の領域種別とを得る処理手段、前記処理手段により得られた前記入力画像内に含まれる領域の数と、領域の数が一致する前記登録画像を前記記憶手段から第１の検索候補として検索する第１検索手段、前記第１検索候補となった前記登録画像の中から、前記処理手段により得られた、前記入力画像内に含まれる各領域の位置及び大きさに類似する、領域の位置及び大きさを有する前記登録画像を第２検索候補として検索する第２検索手段、前記第２検索候補となった前記登録画像を対象として、前記入力画像内の前記領域種別がテキストである領域を文字認識して得た文字認識結果と、前記対象の登録画像内の前記領域種別がテキストである領域を文字認識して得た文字認識結果とを比較することにより、テキストに関する類似度を算出するとともに、前記入力画像内の前記領域種別がイメージである領域から抽出した画像特徴量と前記対象の登録画像内の前記領域種別がイメージである領域から抽出した画像特徴量とを比較することにより、イメージに関する類似度を算出し、更に、当該算出されたテキストに関する類似度とイメージに関する類似度とに対して、予め定めた重み付けをおこなって加算することにより総合類似度を求め、当該求めた総合類似度に基づいて前記第２検索候補となった前記登録画像の中から前記入力画像に類似する登録画像を判定する第３検索手段、として機能させるプログラムを記録した記録媒体が提供される。
【００１２】
【発明の実施の形態】
以下、本発明の好適な実施の形態について、添付図面を参照して説明する。
【００１３】
図６は、本発明の一実施形態に係るイメージファイリングシステムが実現されるハードウェアの一例を示した図である。図６に示すように、本システムは、一般的なコンピュータシステム上で実現可能である。
【００１４】
図６において、６００はアドレス信号を伝えたり、データを伝達させるバス、６０１は制御を行うＣＰＵ、６０２はＢＩＯＳやＯＳをブートするためのプログラムを記憶するＲＯＭ、６０３はＯＳや各種プログラムをロードしたり作業領域に使用するＲＡＭである。
【００１５】
また、６０４は画像データベースを蓄積したり、ＯＳや各種プログラムを記憶したり、あるいは作業データの一時ファイルを記憶する外部記憶装置、６０５は、文書画像や各種メッセージなどを表示するディスプレイ、６０６はイメージスキャナインターフェースであり、６０７は文書を読み込み文書画像にするイメージスキャナである。
【００１６】
図１は、新たな画像の登録処理を説明するフローチャートである。以下、本実施形態において、説明の便宜上、新たに登録するために与えられた画像を入力画像と称し、既に登録され、蓄積された画像を登録画像と称する。
【００１７】
入力画像は、例えば、イメージスキャナ６０７によって文書等が読み込まれ、カラー画像、または、白黒多値画像または二値画像として外部記憶装置６０４等に記憶される。
【００１８】
また、入力画像は、アプリケーションソフトで作られた文書データをビットマップ形式等の画像に変換することによっても得られる。
【００１９】
図８は、アプリケーションソフトで作られた文書データの場合、それをビットマップ形式の画像に変換するステップを説明している。
【００２０】
ステップＳ８０２では、入力された文書データを（ステップＳ８０１）、ワープロソフト等のアプリケーションソフト（例えばMicrosoft社のWord、一太郎：共に登録商標）がＧＤＩ形式８０３に変換する（ステップＳ８０３）。
【００２１】
そして、ステップＳ８０４では、プリンタドライバないしＦＡＸドライバなどが、ビットマップ形式の画像に変換する（ステップＳ８０５）。
【００２２】
次に、図１に戻り、ステップＳ１０１では、入力画像に対して領域分割処理を実行する。領域分割処理とは、画像を、その内容の種別に従ったブロック（領域）に分割する処理である。例えば、画像中のテキスト部分、イメージ部分、表部分等の種別に従ったブロックに分割する処理である。このような領域分割処理の具体的内容は種々提案されており、例えば、特開平０６−０６８３０１号公報等において開示されている。
【００２３】
図７は、領域分割処理を行った一例を示す図である。図７において、７０１は画像全体、７０２，７０３，７０４は、テキストブロック、７０５，７０６はイメージブロックを示している。なお、ブロック７０３と７０４の中の太線は文字列を簡略化して表したものである。図７の例では、ブロックの種類を、テキストとイメージとの二種類に分けているが、ブロックの種類をもっと多くの種類に細分してもよいことはいうまでもない。
【００２４】
入力画像を領域分割した結果は、図１の１１のブロック情報としてＲＡＭ６０３に記憶される。図４はこのブロック情報を説明した図である。
【００２５】
ブロック情報は、ブロック情報ヘッダと、領域分割された各ブロックのブロック情報データ１〜ブロック情報データｎからなる。
【００２６】
ブロック情報ヘッダには、例えば、総ブロック数、テキストブロック数、イメージブロック数、判別不能なブロック数、に係る情報が含まれる。また、各ブロック情報データには、例えば、ブロックＩＤ、ブロック種別、ブロックの座標情報、ブロックの横幅、ブロックの高さ、に係る情報が含まれる。なお、本実施形態では、ブロックの座標情報として、ブロックの中心の座標を用いるが、中心以外の座標（例えば、ブロック左上頂点の座標）を用いてもよい。図４の下方に示したプログラムは、ブロック情報ヘッダ及びブロック情報データの内容についてＣ言語で記述したプログラムの例を示している。
【００２７】
以下、領域分割してできる各ブロックを、Ｂ１，Ｂ２，Ｂ３，…，Ｂｎとする。上述した通り、ブロックは、テキストブロックとイメージブロックに区別され、また、ブロックＢiの中心座標をＣＸ(Ｂi)，ＣＹ(Ｂi)とする。
【００２８】
そして、テキストブロックを、その中心座標ＣＸ(Ｂi)を第１キー、その中心座標ＣＹ(Ｂi)を第２キーとしてソートする。ソートされた結果のテキストブロックをＴＢ１，ＴＢ２，…，ＴＢｍとする。
【００２９】
同様にイメージブロックをソートし、ソートされた結果を、ＩＢ１，ＩＢ２，…，ＩＢｋとする。図４のブロック情報データには、テキストブロックをＴＢ１，ＴＢ２，…，ＴＢｍ、イメージブロックＩＢ１，ＩＢ２，…，Ｉｂｋの順に記録される。
【００３０】
そして、外部記憶装置６０４に蓄積、構成されている画像データベースに、入力画像は登録画像としてブロック情報１１と対にして記憶保管されるとともに、その記憶位置を一時的にＲＡＭ６０３に記憶する。
【００３１】
画像データベースには、図３で示されているページテーブルが記憶されている。図３においてページＩＤは登録画像を一意的に決定できる番号であり、例えば登録画像を登録した順番につけた順序番号である。図３でｍ，ｋは、それぞれ各登録画像を領域分割して抽出したテキストブロックの個数とイメージブロックの個数とを示している。図において、インスタンスポインタは、対応する登録画像とブロック情報の対が記録されている外部記憶装置６０４内の記録位置を示している。
【００３２】
ステップＳ１０２では、まず、今回登録した画像についてのページＩＤと，テキストブロック及びイメージブロックの個数ｍ＋ｋ，イメージブロックの個数ｋ、インスタンスポインタをページテーブルに追加記録する。次に、ステップＳ１０３では、このテーブルを、ｍ＋ｋを第１キー、ｋを第２キーとしてソートする。
【００３３】
このようにして、入力画像は登録画像として保存される。しかし、入力画像が既存の登録画像と同一である場合には、二重登録を防止する必要がある。また、既存の登録画像と著しく近似する場合は、ユーザにおいてその登録を希望しない場合もある。そこで、本システムでは、図２のフローチャートに従って二重登録を防止する登録処理がなされる。
【００３４】
ステップＳ２０２では、入力画像に対して、領域分割処理を実行する。この処理は、図１の場合と同じである。その結果、図４に示すようなブロック情報が得られる。
【００３５】
ステップＳ２０３では、入力画像のテキストブロック数ｍ、イメージブロック数ｋとから、総ブロック数ｍ＋ｋ＝ｎを計算し、ページテーブルを参照して総ブロック数ｎと一致する登録画像を第１の検索候補として絞り込みを行う。なお、第１の検索候補が一つしかない場合等には、これを最終的な候補としてもよい。
【００３６】
ステップＳ２０４では、これら第１の検索候補の各登録画像と入力画像との間の一致度を求める。本実施形態では、各登録画像と入力画像との一致度として、各ブロックの大きさ、位置に基づき、両者の距離を求める。ここでは、登録画像と入力画像との距離を以下のようにして求める。
【００３７】
入力画像について、上述した方法でソートされたテキストブロックを、
ＴＢ’１，ＴＢ’２，…，ＴＢ’ｍ’
イメージブロックを
ＩＢ’１，ＩＢ’２，…，ＩＢ’ｋ’
また、登録画像のテキストブロックを、
ＴＢ１，ＴＢ２，…ＴＢｍ
イメージブロックを
ＩＢ１，ＩＢ２，…ＩＢｋ
とする。更に、テキストブロックＴＢiの幅、高さを、Ｗ（ＴＢi），Ｈ（ＴＢi）、イメージブロックＩＢjの幅、高さを、Ｗ（ＩＢj），Ｈ（ＩＢj）と表す。
【００３８】
２つの画像の距離Ｄは、以下のように計算される。
【００３９】
【数１】
【００４０】
ここで、級数の項数ｍtは、
ｍt＝ｍｉｎ（ｍ，ｍ’）
である。
【００４１】
【数２】
【００４２】
ここで、級数の項数ｋｉは、
ｋi＝ｍｉｎ（ｋ，ｋ’）
である。そして、
Ｄ＝Ｄt＋αＤi
として距離Ｄ（以下、第１識別関数と呼ぶ。）を計算する。ここで、αは画像の識別がもっともよくなるようにあらかじめ実験的に決めておいた定数である。一般に、テキストブロックよりイメージブロックのほうが精度よく求められると考えられるので、例えば、経験的に２ぐらいの値にしておいてもよい。つまり、ＤiのほうがＤtよりも識別に有効に働くわけである。
【００４３】
このようにして、第１の検索候補に係る各登録画像と入力画像との距離Ｄを求めたら、距離Ｄの小さいほうからいくつかの登録画像を選ぶことにより、検索候補を絞り込む。たとえば、距離Ｄの小さいほうから３つだけを選ぶ、あるいは、第１検索候補の数がある割合（たとえば１／５）に減るように距離Ｄの小さいほうから選ぶことにより絞込みを行う。こうして絞り込みを行い、第２の検索候補とする。この第２の検索候補の集合をＳ２とする。
【００４４】
なお、この段階で、距離Ｄが最小な登録画像を１つだけに絞り込み、これを最終候補としてもよい。
【００４５】
次にステップＳ２０５では次のようにさらに絞り込みを行う。
【００４６】
この集合Ｓ２のなかから、入力画像にもっとも近いものを以下のように選び出す。上記検索では、双方の対応するブロックについて、ブロック位置とブロックサイズを比較し、距離計算を行った。今度は、各対応するブロックの中身の比較をして、さらに距離計算を行う。それには、テキストブロック同士の比較とイメージブロック同士の比較がある。入力画像と登録画像との対応するテキストブロックをＴＸＴＢ２，ＴＸＴＢとする。対応付けは、ブロックの中心のＸ座標を第１キー、Ｙ座標を第２キーとしてソートした場合に同順位にあるブロックを対応させることで行う。これらのテキストブロックを２値化してＯＣＲ（光学的文字認識）を行えば文字列が得られる。そしてＴＸＴＢ２の文字列とＴＸＴＢの文字列をＤＰマッチング（Dynamic Programming：動的計画法）の手法で比較することにより、
ＴＸＴＢ２にあって、ＴＸＴＢにない文字の個数：ｎ１
ＴＸＴＢ２になくて、ＴＸＴＢにある文字の個数：ｎ２
ＴＸＴＢ２とＴＸＴＢと対応する文字列が異なっている文字の個数：ｎ３２，ｎ３（ｎ３２は、ＴＸＴＢ２のほうの文字数、ｎ３はＴＸＴＢのほうの文字数である）
が求められる。ＤＰマッチングは、例えば、情報科学講座「音声認識」（新美康永著、共立出版）の１０７ページにも開示されている公知の技術である。
【００４７】
図５は、ＴＸＴＢ２とＴＸＴＢの各文字列をＤＰマッチングした例の説明図である。図で各文字列は太線で表されている。Ｅの部分は、文字列が一致した部分、Ｘの部分は上記１（ＴＸＴＢ２にあって、ＴＸＴＢにない文字）の部分、Ｙの部分は上記２（ＴＸＴＢ２になくて、ＴＸＴＢにある文字）の部分、Ｚの部分は上記３（ＴＸＴＢ２とＴＸＴＢと対応する文字列が異なっている文字）の部分である。
【００４８】
この結果、２つのテキストブロックＴＸＴＢ２とＴＸＴＢの距離を次のように計算できる。
【００４９】
Ｄ（ＴＸＴＢ２，ＴＸＴＢ）＝（ｎ１＋ｎ２＋ｎ３２＋ｎ３）／ＮＣ
ここで、ＮＣはＴＸＴＢ２の文字数とＴＸＴＢの文字数の合計である。
【００５０】
このようにして、対応するテキストブロックについて距離が求まる。また、入力画像と登録画像との間で、テキストブロック数が一致しない場合も考えられる。たとえば、入力画像のほうがテキストブロック数が多くて、ＴＸＴＢ２に対応する登録画像のテキストブロックがないならば、距離は１となる。このようにして、すべてのテキストブロックについて求まった距離を合計したものをテキストブロック距離と呼ぶことにする。
【００５１】
今度は、イメージブロックについて入力画像と登録画像との比較である。入力画像のイメージブロックＩＭＧＢ２と登録画像のイメージブロックＩＭＧＢが対応するものとする。対応付けは、ブロックの中心のＸ座標を第１キー、Ｙ座標を第２キーとしてソートした場合に同順位にあるブロックを対応させることで行う。ＩＭＧＢ２を二値化してできる画像について、全画素数に対する黒画素数の比（すなわち、黒画素数÷全画素数）ratio（ＩＭＧＢ２）を求める。同様にして、ratio（ＩＭＧＢ）を求める。
【００５２】
｜ratio（ＩＭＧＢ２）−ratio（ＩＭＧＢ）｜
をＩＭＧＢ２とＩＭＧＢとの距離とする。対応するイメージブロックがない場合は、距離は最大値の１とする。そして、全イメージブロックについての距離の合計値をイメージブロック距離と呼ぶことにする。
【００５３】
さて、入力画像と登録画像との詳細識別距離ｄを
ｄ＝テキストブロック距離＋β×イメージブロック距離
で求める。ここで、βは前に述べたαと同様で、イメージブロック距離にかける重みづけファクターである。画像の識別がうまくいくように実験的にβをもとめるのが望ましいが、イメージブロックのほうがテキストブロックよりも精度良く抽出できる（つまり信頼性が高い）ので、おおまかに１より大きい値（たとえば２）にしてもよい。上記ｄを第２識別関数と呼ぶ。
【００５４】
さて、集合Ｓ２のすべての登録画像と入力画像との詳細識別距離ｄを求め、ステップＳ２０６では、最小の詳細識別距離ｄ０について、所定の値δと比較する。δよりｄ０が小さければ、このｄ０を与える集合Ｓ２の登録画像を入力画像と一致する登録画像だと判定する。
【００５５】
ここで、δはあらかじめの実験で求める値である。たとえば、ひとつの画像を条件を変えてイメージスキャナで何回も読み込んでできる１０００個の画像のものと、ある条件で読み込んだ画像との詳細距離（１０００個ある）をもとめ、この１０００個の数値の最大値をδとする。
【００５６】
ステップＳ２０６で一致するものがあれば入力画像は画像データベースには登録しない。一致するものがなければ、ステップＳ２０７へ進む。
【００５７】
ステップＳ２０７は、図１で説明したＳ１０２からＳ１０３までの文書登録処理とまったく同じである。
【００５８】
以上、本発明の好適な実施形態について説明したが、上述した第１及び第２識別関数は、登録画像と入力画像との距離を計算するものとしたが、距離ではなく類似度を計算してもよい。例えば、距離の逆数を計算すれば、すなわち類似度となることは明白である。識別関数を類似度とした場合は、候補の選択は、類似度の大きいものから順番に絞り込むことになる。
【００５９】
また、上記実施形態は、画像の二重登録を避けるためのものであったが、同様の処理を応用して他の用途、例えば、画像検索装置としても用いることができる。画像の検索を行う場合、入力画像に対してステップＳ２０２乃至Ｓ２０６の処理を施すことにより、一致する登録画像をデータベースから探し出すことができるので、その後、一致する登録画像を取り出す処理を行うことにより、画像検索が可能となる。
【００６０】
たとえば、文書画像を検索したい場合、手元に探し出したい文書画像とほとんど同じであるが、少し違っている文書画像があり、原本の文書画像をデータベースから取り出したいという用途がある。この場合、データベースが前記実施形態のように構成されていれば、手元にある文書画像ともっとも似通った文書画像の検索を、手作業によらず、行うことができる。このような用途としては、手元の文書画像は原本を何回もコピーしたものによるものであるために、印刷状態が悪くなったものであった場合、原本から再び印刷状態の良好な文書を取り出したいというケースがある。
【００６１】
なお、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはCPUやMPU）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００６２】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００６３】
【発明の効果】
以上、本発明によれば、新たな画像と近似するか又は一致する画像を好適に検索することができる。
【図面の簡単な説明】
【図１】新たな画像の登録処理を説明するフローチャートである。
【図２】二重登録を防止しつつ新たな画像の登録処理を説明するフローチャートである。
【図３】ページテーブルの説明図である。
【図４】ブロック情報の説明図である。
【図５】テキストブロックのＤＰマッチングの説明図である。
【図６】本発明の一実施形態に係るイメージファイリングシステムが実現されるハードウェアの一例を示した図である。
【図７】領域分割処理を行った一例を示す図である。
【図８】文書データから入力画像を得る場合の処理のフローチャートである。
【発明の属する技術分野】
本発明は、画像の処理に関し、特に、画像のファイリング及びファイリングされた画像の検索に関する。
【０００２】
【従来の技術】
従来、文書等を含む画像を蓄積するイメージファイリングシステムにおいては、イメージスキャナで取り込んだ画像に検索用のキーワードのインデックスを付加して蓄積し、検索時の便宜を図っていた。
【０００３】
【発明が解決しようとする課題】
しかし、従来のファイリングシステムにおいては、新たに登録しようとする画像が、既に登録、蓄積された登録画像と二重に登録されないようにするためには、蓄積してある登録画像を、キーワード検索したり、すべての登録画像を一覧表示するなどして手作業で探し出し、新たに登録しようとする画像との一致を人間が目でみて確認しなければならなず、手間がかかった。このため、二重登録を許してしまうような事態も生じていた。
【０００４】
すなわち、従来のファイリングシステムにおいては、新たな画像と近似するか又は一致する登録画像の検索機能が、ユーザにおいて使い勝手のよいものではなかった。
【０００５】
従って、本発明の目的は、新たな画像と近似するか又は一致する画像を好適に検索し得る画像処理装置及び画像処理方法、記録媒体を提供することにある。
【０００７】
【課題を解決するための手段】
本発明によれば、予め登録された複数の登録画像の中から、入力された入力画像に近似又は一致する登録画像を検索する画像処理装置であって、前記登録画像に対して領域分割処理を実行することにより得られた領域の数と各領域の位置と各領域の大きさと各領域の領域種別とを、当該登録画像と共に記憶した記憶手段と、前記入力画像に対して領域分割処理を実行することにより、当該入力画像内に含まれる領域の数と各領域の位置と各領域の大きさと各領域の領域種別とを得る処理手段と、前記処理手段により得られた前記入力画像内に含まれる領域の数と、領域の数が一致する前記登録画像を前記記憶手段から第１の検索候補として検索する第１検索手段と、前記第１検索候補となった前記登録画像の中から、前記処理手段により得られた、前記入力画像内に含まれる各領域の位置及び大きさに類似する、領域の位置及び大きさを有する前記登録画像を第２検索候補として検索する第２検索手段と、前記第２検索候補となった前記登録画像を対象として、前記入力画像内の前記領域種別がテキストである領域を文字認識して得た文字認識結果と、前記対象の登録画像内の前記領域種別がテキストである領域を文字認識して得た文字認識結果とを比較することにより、テキストに関する類似度を算出するとともに、前記入力画像内の前記領域種別がイメージである領域から抽出した画像特徴量と前記対象の登録画像内の前記領域種別がイメージである領域から抽出した画像特徴量とを比較することにより、イメージに関する類似度を算出し、更に、当該算出されたテキストに関する類似度とイメージに関する類似度とに対して、予め定めた重み付けをおこなって加算することにより総合類似度を求め、当該求めた総合類似度に基づいて前記第２検索候補となった前記登録画像の中から前記入力画像に類似する登録画像を判定する第３検索手段と、を備えたことを特徴とする画像処理装置が提供される。
【０００９】
また、本発明によれば、予め登録された複数の登録画像の中から、入力された入力画像に近似又は一致する登録画像を検索する画像処理方法であって、前記登録画像に対して領域分割処理を実行することにより得られた領域の数と各領域の位置と各領域の大きさと各領域の領域種別とを、当該登録画像と共に記憶手段に記憶する記憶工程と、前記入力画像に対して領域分割処理を実行することにより、当該入力画像内に含まれる領域の数と各領域の位置と各領域の大きさと各領域の領域種別とを得る処理工程と、前記処理工程において得られた前記入力画像内に含まれる領域の数と、領域の数が一致する前記登録画像を前記記憶手段から第１の検索候補として検索する第１検索工程と、前記第１検索候補となった前記登録画像の中から、前記処理工程において得られた、前記入力画像内に含まれる各領域の位置及び大きさに類似する、領域の位置及び大きさを有する前記登録画像を第２検索候補として検索する第２検索工程と、前記第２検索候補となった前記登録画像を対象として、前記入力画像内の前記領域種別がテキストである領域を文字認識して得た文字認識結果と、前記対象の登録画像内の前記領域種別がテキストである領域を文字認識して得た文字認識結果とを比較することにより、テキストに関する類似度を算出するとともに、前記入力画像内の前記領域種別がイメージである領域から抽出した画像特徴量と前記対象の登録画像内の前記領域種別がイメージである領域から抽出した画像特徴量とを比較することにより、イメージに関する類似度を算出し、更に、当該算出されたテキストに関する類似度とイメージに関する類似度とに対して、予め定めた重み付けをおこなって加算することにより総合類似度を求め、当該求めた総合類似度に基づいて前記第２検索候補となった前記登録画像の中から前記入力画像に類似する登録画像を判定する第３検索工程と、を含むことを特徴とする画像処理方法が提供される。
【００１１】
また、本発明によれば、予め登録された複数の登録画像の中から、入力された入力画像に近似又は一致する登録画像を検索するために、コンピュータを、前記登録画像に対して領域分割処理を実行することにより得られた領域の数と各領域の位置と各領域の大きさと各領域の領域種別とを、当該登録画像と共に記憶した記憶手段、前記入力画像に対して領域分割処理を実行することにより、当該入力画像内に含まれる領域の数と各領域の位置と各領域の大きさと各領域の領域種別とを得る処理手段、前記処理手段により得られた前記入力画像内に含まれる領域の数と、領域の数が一致する前記登録画像を前記記憶手段から第１の検索候補として検索する第１検索手段、前記第１検索候補となった前記登録画像の中から、前記処理手段により得られた、前記入力画像内に含まれる各領域の位置及び大きさに類似する、領域の位置及び大きさを有する前記登録画像を第２検索候補として検索する第２検索手段、前記第２検索候補となった前記登録画像を対象として、前記入力画像内の前記領域種別がテキストである領域を文字認識して得た文字認識結果と、前記対象の登録画像内の前記領域種別がテキストである領域を文字認識して得た文字認識結果とを比較することにより、テキストに関する類似度を算出するとともに、前記入力画像内の前記領域種別がイメージである領域から抽出した画像特徴量と前記対象の登録画像内の前記領域種別がイメージである領域から抽出した画像特徴量とを比較することにより、イメージに関する類似度を算出し、更に、当該算出されたテキストに関する類似度とイメージに関する類似度とに対して、予め定めた重み付けをおこなって加算することにより総合類似度を求め、当該求めた総合類似度に基づいて前記第２検索候補となった前記登録画像の中から前記入力画像に類似する登録画像を判定する第３検索手段、として機能させるプログラムを記録した記録媒体が提供される。
【００１２】
【発明の実施の形態】
以下、本発明の好適な実施の形態について、添付図面を参照して説明する。
【００１３】
図６は、本発明の一実施形態に係るイメージファイリングシステムが実現されるハードウェアの一例を示した図である。図６に示すように、本システムは、一般的なコンピュータシステム上で実現可能である。
【００１４】
図６において、６００はアドレス信号を伝えたり、データを伝達させるバス、６０１は制御を行うＣＰＵ、６０２はＢＩＯＳやＯＳをブートするためのプログラムを記憶するＲＯＭ、６０３はＯＳや各種プログラムをロードしたり作業領域に使用するＲＡＭである。
【００１５】
また、６０４は画像データベースを蓄積したり、ＯＳや各種プログラムを記憶したり、あるいは作業データの一時ファイルを記憶する外部記憶装置、６０５は、文書画像や各種メッセージなどを表示するディスプレイ、６０６はイメージスキャナインターフェースであり、６０７は文書を読み込み文書画像にするイメージスキャナである。
【００１６】
図１は、新たな画像の登録処理を説明するフローチャートである。以下、本実施形態において、説明の便宜上、新たに登録するために与えられた画像を入力画像と称し、既に登録され、蓄積された画像を登録画像と称する。
【００１７】
入力画像は、例えば、イメージスキャナ６０７によって文書等が読み込まれ、カラー画像、または、白黒多値画像または二値画像として外部記憶装置６０４等に記憶される。
【００１８】
また、入力画像は、アプリケーションソフトで作られた文書データをビットマップ形式等の画像に変換することによっても得られる。
【００１９】
図８は、アプリケーションソフトで作られた文書データの場合、それをビットマップ形式の画像に変換するステップを説明している。
【００２０】
ステップＳ８０２では、入力された文書データを（ステップＳ８０１）、ワープロソフト等のアプリケーションソフト（例えばMicrosoft社のWord、一太郎：共に登録商標）がＧＤＩ形式８０３に変換する（ステップＳ８０３）。
【００２１】
そして、ステップＳ８０４では、プリンタドライバないしＦＡＸドライバなどが、ビットマップ形式の画像に変換する（ステップＳ８０５）。
【００２２】
次に、図１に戻り、ステップＳ１０１では、入力画像に対して領域分割処理を実行する。領域分割処理とは、画像を、その内容の種別に従ったブロック（領域）に分割する処理である。例えば、画像中のテキスト部分、イメージ部分、表部分等の種別に従ったブロックに分割する処理である。このような領域分割処理の具体的内容は種々提案されており、例えば、特開平０６−０６８３０１号公報等において開示されている。
【００２３】
図７は、領域分割処理を行った一例を示す図である。図７において、７０１は画像全体、７０２，７０３，７０４は、テキストブロック、７０５，７０６はイメージブロックを示している。なお、ブロック７０３と７０４の中の太線は文字列を簡略化して表したものである。図７の例では、ブロックの種類を、テキストとイメージとの二種類に分けているが、ブロックの種類をもっと多くの種類に細分してもよいことはいうまでもない。
【００２４】
入力画像を領域分割した結果は、図１の１１のブロック情報としてＲＡＭ６０３に記憶される。図４はこのブロック情報を説明した図である。
【００２５】
ブロック情報は、ブロック情報ヘッダと、領域分割された各ブロックのブロック情報データ１〜ブロック情報データｎからなる。
【００２６】
ブロック情報ヘッダには、例えば、総ブロック数、テキストブロック数、イメージブロック数、判別不能なブロック数、に係る情報が含まれる。また、各ブロック情報データには、例えば、ブロックＩＤ、ブロック種別、ブロックの座標情報、ブロックの横幅、ブロックの高さ、に係る情報が含まれる。なお、本実施形態では、ブロックの座標情報として、ブロックの中心の座標を用いるが、中心以外の座標（例えば、ブロック左上頂点の座標）を用いてもよい。図４の下方に示したプログラムは、ブロック情報ヘッダ及びブロック情報データの内容についてＣ言語で記述したプログラムの例を示している。
【００２７】
以下、領域分割してできる各ブロックを、Ｂ１，Ｂ２，Ｂ３，…，Ｂｎとする。上述した通り、ブロックは、テキストブロックとイメージブロックに区別され、また、ブロックＢiの中心座標をＣＸ(Ｂi)，ＣＹ(Ｂi)とする。
【００２８】
そして、テキストブロックを、その中心座標ＣＸ(Ｂi)を第１キー、その中心座標ＣＹ(Ｂi)を第２キーとしてソートする。ソートされた結果のテキストブロックをＴＢ１，ＴＢ２，…，ＴＢｍとする。
【００２９】
同様にイメージブロックをソートし、ソートされた結果を、ＩＢ１，ＩＢ２，…，ＩＢｋとする。図４のブロック情報データには、テキストブロックをＴＢ１，ＴＢ２，…，ＴＢｍ、イメージブロックＩＢ１，ＩＢ２，…，Ｉｂｋの順に記録される。
【００３０】
そして、外部記憶装置６０４に蓄積、構成されている画像データベースに、入力画像は登録画像としてブロック情報１１と対にして記憶保管されるとともに、その記憶位置を一時的にＲＡＭ６０３に記憶する。
【００３１】
画像データベースには、図３で示されているページテーブルが記憶されている。図３においてページＩＤは登録画像を一意的に決定できる番号であり、例えば登録画像を登録した順番につけた順序番号である。図３でｍ，ｋは、それぞれ各登録画像を領域分割して抽出したテキストブロックの個数とイメージブロックの個数とを示している。図において、インスタンスポインタは、対応する登録画像とブロック情報の対が記録されている外部記憶装置６０４内の記録位置を示している。
【００３２】
ステップＳ１０２では、まず、今回登録した画像についてのページＩＤと，テキストブロック及びイメージブロックの個数ｍ＋ｋ，イメージブロックの個数ｋ、インスタンスポインタをページテーブルに追加記録する。次に、ステップＳ１０３では、このテーブルを、ｍ＋ｋを第１キー、ｋを第２キーとしてソートする。
【００３３】
このようにして、入力画像は登録画像として保存される。しかし、入力画像が既存の登録画像と同一である場合には、二重登録を防止する必要がある。また、既存の登録画像と著しく近似する場合は、ユーザにおいてその登録を希望しない場合もある。そこで、本システムでは、図２のフローチャートに従って二重登録を防止する登録処理がなされる。
【００３４】
ステップＳ２０２では、入力画像に対して、領域分割処理を実行する。この処理は、図１の場合と同じである。その結果、図４に示すようなブロック情報が得られる。
【００３５】
ステップＳ２０３では、入力画像のテキストブロック数ｍ、イメージブロック数ｋとから、総ブロック数ｍ＋ｋ＝ｎを計算し、ページテーブルを参照して総ブロック数ｎと一致する登録画像を第１の検索候補として絞り込みを行う。なお、第１の検索候補が一つしかない場合等には、これを最終的な候補としてもよい。
【００３６】
ステップＳ２０４では、これら第１の検索候補の各登録画像と入力画像との間の一致度を求める。本実施形態では、各登録画像と入力画像との一致度として、各ブロックの大きさ、位置に基づき、両者の距離を求める。ここでは、登録画像と入力画像との距離を以下のようにして求める。
【００３７】
入力画像について、上述した方法でソートされたテキストブロックを、
ＴＢ’１，ＴＢ’２，…，ＴＢ’ｍ’
イメージブロックを
ＩＢ’１，ＩＢ’２，…，ＩＢ’ｋ’
また、登録画像のテキストブロックを、
ＴＢ１，ＴＢ２，…ＴＢｍ
イメージブロックを
ＩＢ１，ＩＢ２，…ＩＢｋ
とする。更に、テキストブロックＴＢiの幅、高さを、Ｗ（ＴＢi），Ｈ（ＴＢi）、イメージブロックＩＢjの幅、高さを、Ｗ（ＩＢj），Ｈ（ＩＢj）と表す。
【００３８】
２つの画像の距離Ｄは、以下のように計算される。
【００３９】
【数１】
ここで、級数の項数ｍtは、
ｍt＝ｍｉｎ（ｍ，ｍ’）
である。
【００４１】
【数２】
ここで、級数の項数ｋｉは、
ｋi＝ｍｉｎ（ｋ，ｋ’）
である。そして、
Ｄ＝Ｄt＋αＤi
として距離Ｄ（以下、第１識別関数と呼ぶ。）を計算する。ここで、αは画像の識別がもっともよくなるようにあらかじめ実験的に決めておいた定数である。一般に、テキストブロックよりイメージブロックのほうが精度よく求められると考えられるので、例えば、経験的に２ぐらいの値にしておいてもよい。つまり、ＤiのほうがＤtよりも識別に有効に働くわけである。
【００４３】
このようにして、第１の検索候補に係る各登録画像と入力画像との距離Ｄを求めたら、距離Ｄの小さいほうからいくつかの登録画像を選ぶことにより、検索候補を絞り込む。たとえば、距離Ｄの小さいほうから３つだけを選ぶ、あるいは、第１検索候補の数がある割合（たとえば１／５）に減るように距離Ｄの小さいほうから選ぶことにより絞込みを行う。こうして絞り込みを行い、第２の検索候補とする。この第２の検索候補の集合をＳ２とする。
【００４４】
なお、この段階で、距離Ｄが最小な登録画像を１つだけに絞り込み、これを最終候補としてもよい。
【００４５】
次にステップＳ２０５では次のようにさらに絞り込みを行う。
【００４６】
この集合Ｓ２のなかから、入力画像にもっとも近いものを以下のように選び出す。上記検索では、双方の対応するブロックについて、ブロック位置とブロックサイズを比較し、距離計算を行った。今度は、各対応するブロックの中身の比較をして、さらに距離計算を行う。それには、テキストブロック同士の比較とイメージブロック同士の比較がある。入力画像と登録画像との対応するテキストブロックをＴＸＴＢ２，ＴＸＴＢとする。対応付けは、ブロックの中心のＸ座標を第１キー、Ｙ座標を第２キーとしてソートした場合に同順位にあるブロックを対応させることで行う。これらのテキストブロックを２値化してＯＣＲ（光学的文字認識）を行えば文字列が得られる。そしてＴＸＴＢ２の文字列とＴＸＴＢの文字列をＤＰマッチング（Dynamic Programming：動的計画法）の手法で比較することにより、
ＴＸＴＢ２にあって、ＴＸＴＢにない文字の個数：ｎ１
ＴＸＴＢ２になくて、ＴＸＴＢにある文字の個数：ｎ２
ＴＸＴＢ２とＴＸＴＢと対応する文字列が異なっている文字の個数：ｎ３２，ｎ３（ｎ３２は、ＴＸＴＢ２のほうの文字数、ｎ３はＴＸＴＢのほうの文字数である）
が求められる。ＤＰマッチングは、例えば、情報科学講座「音声認識」（新美康永著、共立出版）の１０７ページにも開示されている公知の技術である。
【００４７】
図５は、ＴＸＴＢ２とＴＸＴＢの各文字列をＤＰマッチングした例の説明図である。図で各文字列は太線で表されている。Ｅの部分は、文字列が一致した部分、Ｘの部分は上記１（ＴＸＴＢ２にあって、ＴＸＴＢにない文字）の部分、Ｙの部分は上記２（ＴＸＴＢ２になくて、ＴＸＴＢにある文字）の部分、Ｚの部分は上記３（ＴＸＴＢ２とＴＸＴＢと対応する文字列が異なっている文字）の部分である。
【００４８】
この結果、２つのテキストブロックＴＸＴＢ２とＴＸＴＢの距離を次のように計算できる。
【００４９】
Ｄ（ＴＸＴＢ２，ＴＸＴＢ）＝（ｎ１＋ｎ２＋ｎ３２＋ｎ３）／ＮＣ
ここで、ＮＣはＴＸＴＢ２の文字数とＴＸＴＢの文字数の合計である。
【００５０】
このようにして、対応するテキストブロックについて距離が求まる。また、入力画像と登録画像との間で、テキストブロック数が一致しない場合も考えられる。たとえば、入力画像のほうがテキストブロック数が多くて、ＴＸＴＢ２に対応する登録画像のテキストブロックがないならば、距離は１となる。このようにして、すべてのテキストブロックについて求まった距離を合計したものをテキストブロック距離と呼ぶことにする。
【００５１】
今度は、イメージブロックについて入力画像と登録画像との比較である。入力画像のイメージブロックＩＭＧＢ２と登録画像のイメージブロックＩＭＧＢが対応するものとする。対応付けは、ブロックの中心のＸ座標を第１キー、Ｙ座標を第２キーとしてソートした場合に同順位にあるブロックを対応させることで行う。ＩＭＧＢ２を二値化してできる画像について、全画素数に対する黒画素数の比（すなわち、黒画素数÷全画素数）ratio（ＩＭＧＢ２）を求める。同様にして、ratio（ＩＭＧＢ）を求める。
【００５２】
｜ratio（ＩＭＧＢ２）−ratio（ＩＭＧＢ）｜
をＩＭＧＢ２とＩＭＧＢとの距離とする。対応するイメージブロックがない場合は、距離は最大値の１とする。そして、全イメージブロックについての距離の合計値をイメージブロック距離と呼ぶことにする。
【００５３】
さて、入力画像と登録画像との詳細識別距離ｄを
ｄ＝テキストブロック距離＋β×イメージブロック距離
で求める。ここで、βは前に述べたαと同様で、イメージブロック距離にかける重みづけファクターである。画像の識別がうまくいくように実験的にβをもとめるのが望ましいが、イメージブロックのほうがテキストブロックよりも精度良く抽出できる（つまり信頼性が高い）ので、おおまかに１より大きい値（たとえば２）にしてもよい。上記ｄを第２識別関数と呼ぶ。
【００５４】
さて、集合Ｓ２のすべての登録画像と入力画像との詳細識別距離ｄを求め、ステップＳ２０６では、最小の詳細識別距離ｄ０について、所定の値δと比較する。δよりｄ０が小さければ、このｄ０を与える集合Ｓ２の登録画像を入力画像と一致する登録画像だと判定する。
【００５５】
ここで、δはあらかじめの実験で求める値である。たとえば、ひとつの画像を条件を変えてイメージスキャナで何回も読み込んでできる１０００個の画像のものと、ある条件で読み込んだ画像との詳細距離（１０００個ある）をもとめ、この１０００個の数値の最大値をδとする。
【００５６】
ステップＳ２０６で一致するものがあれば入力画像は画像データベースには登録しない。一致するものがなければ、ステップＳ２０７へ進む。
【００５７】
ステップＳ２０７は、図１で説明したＳ１０２からＳ１０３までの文書登録処理とまったく同じである。
【００５８】
以上、本発明の好適な実施形態について説明したが、上述した第１及び第２識別関数は、登録画像と入力画像との距離を計算するものとしたが、距離ではなく類似度を計算してもよい。例えば、距離の逆数を計算すれば、すなわち類似度となることは明白である。識別関数を類似度とした場合は、候補の選択は、類似度の大きいものから順番に絞り込むことになる。
【００５９】
また、上記実施形態は、画像の二重登録を避けるためのものであったが、同様の処理を応用して他の用途、例えば、画像検索装置としても用いることができる。画像の検索を行う場合、入力画像に対してステップＳ２０２乃至Ｓ２０６の処理を施すことにより、一致する登録画像をデータベースから探し出すことができるので、その後、一致する登録画像を取り出す処理を行うことにより、画像検索が可能となる。
【００６０】
たとえば、文書画像を検索したい場合、手元に探し出したい文書画像とほとんど同じであるが、少し違っている文書画像があり、原本の文書画像をデータベースから取り出したいという用途がある。この場合、データベースが前記実施形態のように構成されていれば、手元にある文書画像ともっとも似通った文書画像の検索を、手作業によらず、行うことができる。このような用途としては、手元の文書画像は原本を何回もコピーしたものによるものであるために、印刷状態が悪くなったものであった場合、原本から再び印刷状態の良好な文書を取り出したいというケースがある。
【００６１】
なお、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはCPUやMPU）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００６２】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００６３】
【発明の効果】
以上、本発明によれば、新たな画像と近似するか又は一致する画像を好適に検索することができる。
【図面の簡単な説明】
【図１】新たな画像の登録処理を説明するフローチャートである。
【図２】二重登録を防止しつつ新たな画像の登録処理を説明するフローチャートである。
【図３】ページテーブルの説明図である。
【図４】ブロック情報の説明図である。
【図５】テキストブロックのＤＰマッチングの説明図である。
【図６】本発明の一実施形態に係るイメージファイリングシステムが実現されるハードウェアの一例を示した図である。
【図７】領域分割処理を行った一例を示す図である。
【図８】文書データから入力画像を得る場合の処理のフローチャートである。
Claims (15)
- 予め登録された複数の登録画像の中から、入力された入力画像に近似又は一致する登録画像を検索する画像処理装置であって、
前記登録画像に対して領域分割処理を実行することにより得られた領域の数と各領域の位置と各領域の大きさと各領域の領域種別とを、当該登録画像と共に記憶した記憶手段と、
前記入力画像に対して領域分割処理を実行することにより、当該入力画像内に含まれる領域の数と各領域の位置と各領域の大きさと各領域の領域種別とを得る処理手段と、
前記処理手段により得られた前記入力画像内に含まれる領域の数と、領域の数が一致する前記登録画像を前記記憶手段から第１の検索候補として検索する第１検索手段と、
前記第１検索候補となった前記登録画像の中から、前記処理手段により得られた、前記入力画像内に含まれる各領域の位置及び大きさに類似する、領域の位置及び大きさを有する前記登録画像を第２検索候補として検索する第２検索手段と、
前記第２検索候補となった前記登録画像を対象として、前記入力画像内の前記領域種別がテキストである領域を文字認識して得た文字認識結果と、前記対象の登録画像内の前記領域種別がテキストである領域を文字認識して得た文字認識結果とを比較することにより、テキストに関する類似度を算出するとともに、前記入力画像内の前記領域種別がイメージである領域から抽出した画像特徴量と前記対象の登録画像内の前記領域種別がイメージである領域から抽出した画像特徴量とを比較することにより、イメージに関する類似度を算出し、更に、当該算出されたテキストに関する類似度とイメージに関する類似度とに対して、予め定めた重み付けをおこなって加算することにより総合類似度を求め、当該求めた総合類似度に基づいて前記第２検索候補となった前記登録画像の中から前記入力画像に類似する登録画像を判定する第３検索手段と、
を備えたことを特徴とする画像処理装置。 - 前記領域種別がイメージである領域から抽出する画像特徴量は、当該イメージである領域を２値化して算出される、当該イメージ領域における全画素数に対する黒画素数の比であることを特徴とする請求項１に記載の画像処理装置。
- 前記第３検索手段で前記入力画像に類似すると判定された前記登録画像が存在しなかった場合、当該入力画像を新たな登録画像として前記記憶手段に記憶する一方、前記第３検索手段で前記入力画像に類似すると判定された前記登録画像が存在した場合、当該入力画像を前記登録画像として前記記憶手段に記憶しない登録手段を備えたことを特徴とする請求項１に記載の画像処理装置。
- 前記重み付けでは、前記イメージに関する類似度に対する重みの方が、前記テキストに関する類似度に対する重みよりも大きいことを特徴とする請求項１に記載の画像処理装置。
- 前記第２検索手段は、前記領域種別がイメージである領域の位置及び大きさに関する類似度の重みを、前記領域種別がテキストである領域の位置及び大きさに関する類似度の重みよりも大きくして前記第２検索候補を検索することを特徴とする請求項１に記載の画像処理装置。
- 予め登録された複数の登録画像の中から、入力された入力画像に近似又は一致する登録画像を検索する画像処理方法であって、
前記登録画像に対して領域分割処理を実行することにより得られた領域の数と各領域の位置と各領域の大きさと各領域の領域種別とを、当該登録画像と共に記憶手段に記憶する記憶工程と、
前記入力画像に対して領域分割処理を実行することにより、当該入力画像内に含まれる領域の数と各領域の位置と各領域の大きさと各領域の領域種別とを得る処理工程と、
前記処理工程において得られた前記入力画像内に含まれる領域の数と、領域の数が一致する前記登録画像を前記記憶手段から第１の検索候補として検索する第１検索工程と、
前記第１検索候補となった前記登録画像の中から、前記処理工程において得られた、前記入力画像内に含まれる各領域の位置及び大きさに類似する、領域の位置及び大きさを有する前記登録画像を第２検索候補として検索する第２検索工程と、
前記第２検索候補となった前記登録画像を対象として、前記入力画像内の前記領域種別がテキストである領域を文字認識して得た文字認識結果と、前記対象の登録画像内の前記領域種別がテキストである領域を文字認識して得た文字認識結果とを比較することにより、テキストに関する類似度を算出するとともに、前記入力画像内の前記領域種別がイメージである領域から抽出した画像特徴量と前記対象の登録画像内の前記領域種別がイメージである領域から抽出した画像特徴量とを比較することにより、イメージに関する類似度を算出し、更に、当該算出されたテキストに関する類似度とイメージに関する類似度とに対して、予め定めた重み付けをおこなって加算することにより総合類似度を求め、当該求めた総合類似度に基づいて前記第２検索候補となった前記登録画像の中から前記入力画像に類似する登録画像を判定する第３検索工程と、
を含むことを特徴とする画像処理方法。 - 前記領域種別がイメージである領域から抽出する画像特徴量は、当該イメージである領域を２値化して算出される、当該イメージ領域における全画素数に対する黒画素数の比であることを特徴とする請求項６に記載の画像処理方法。
- 前記第３検索工程で前記入力画像に類似すると判定された前記登録画像が存在しなかった場合、当該入力画像を新たな登録画像として前記記憶手段に記憶する一方、前記第３検索工程で前記入力画像に類似すると判定された前記登録画像が存在した場合、当該入力画像を前記登録画像として前記記憶手段に記憶しない登録工程を備えたことを特徴とする請求項６に記載の画像処理方法。
- 前記重み付けでは、前記イメージに関する類似度に対する重みの方が、前記テキストに関する類似度に対する重みよりも大きいことを特徴とする請求項６に記載の画像処理方法。
- 前記第２検索工程では、前記領域種別がイメージである領域の位置及び大きさに関する類似度の重みを、前記領域種別がテキストである領域の位置及び大きさに関する類似度の重みよりも大きくして前記第２検索候補を検索することを特徴とする請求項６に記載の画像処理方法。
- 予め登録された複数の登録画像の中から、入力された入力画像に近似又は一致する登録画像を検索するために、コンピュータを、
前記登録画像に対して領域分割処理を実行することにより得られた領域の数と各領域の位置と各領域の大きさと各領域の領域種別とを、当該登録画像と共に記憶した記憶手段、
前記入力画像に対して領域分割処理を実行することにより、当該入力画像内に含まれる領域の数と各領域の位置と各領域の大きさと各領域の領域種別とを得る処理手段、
前記処理手段により得られた前記入力画像内に含まれる領域の数と、領域の数が一致する前記登録画像を前記記憶手段から第１の検索候補として検索する第１検索手段、
前記第１検索候補となった前記登録画像の中から、前記処理手段により得られた、前記入力画像内に含まれる各領域の位置及び大きさに類似する、領域の位置及び大きさを有する前記登録画像を第２検索候補として検索する第２検索手段、
前記第２検索候補となった前記登録画像を対象として、前記入力画像内の前記領域種別 がテキストである領域を文字認識して得た文字認識結果と、前記対象の登録画像内の前記領域種別がテキストである領域を文字認識して得た文字認識結果とを比較することにより、テキストに関する類似度を算出するとともに、前記入力画像内の前記領域種別がイメージである領域から抽出した画像特徴量と前記対象の登録画像内の前記領域種別がイメージである領域から抽出した画像特徴量とを比較することにより、イメージに関する類似度を算出し、更に、当該算出されたテキストに関する類似度とイメージに関する類似度とに対して、予め定めた重み付けをおこなって加算することにより総合類似度を求め、当該求めた総合類似度に基づいて前記第２検索候補となった前記登録画像の中から前記入力画像に類似する登録画像を判定する第３検索手段、
として機能させるプログラムを記録した記録媒体。 - 前記領域種別がイメージである領域から抽出する画像特徴量は、当該イメージである領域を２値化して算出される、当該イメージ領域における全画素数に対する黒画素数の比であることを特徴とする請求項１１に記載の記録媒体。
- 前記プログラムが、コンピュータを、前記第３検索手段で前記入力画像に類似すると判定された前記登録画像が存在しなかった場合、当該入力画像を新たな登録画像として前記記憶手段に記憶する一方、前記第３検索手段で前記入力画像に類似すると判定された前記登録画像が存在した場合、当該入力画像を前記登録画像として前記記憶手段に記憶しない登録手段として機能させるプログラムを含むことを特徴とする請求項１１に記載の記録媒体。
- 前記重み付けでは、前記イメージに関する類似度に対する重みの方が、前記テキストに関する類似度に対する重みよりも大きいことを特徴とする請求項１１に記載の記録媒体。
- 前記第２検索手段は、前記領域種別がイメージである領域の位置及び大きさに関する類似度の重みを、前記領域種別がテキストである領域の位置及び大きさに関する類似度の重みよりも大きくして前記第２検索候補を検索することを特徴とする請求項１１に記載の記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000136158A JP3937687B2 (ja) | 2000-05-09 | 2000-05-09 | 画像処理装置及び画像処理方法、記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000136158A JP3937687B2 (ja) | 2000-05-09 | 2000-05-09 | 画像処理装置及び画像処理方法、記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001319231A JP2001319231A (ja) | 2001-11-16 |
| JP3937687B2 true JP3937687B2 (ja) | 2007-06-27 |
Family
ID=18644145
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000136158A Expired - Fee Related JP3937687B2 (ja) | 2000-05-09 | 2000-05-09 | 画像処理装置及び画像処理方法、記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3937687B2 (ja) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004334339A (ja) | 2003-04-30 | 2004-11-25 | Canon Inc | 情報処理装置及び情報処理方法ならびに記憶媒体、プログラム |
| JP2004348706A (ja) | 2003-04-30 | 2004-12-09 | Canon Inc | 情報処理装置及び情報処理方法ならびに記憶媒体、プログラム |
| JP4366119B2 (ja) | 2003-05-29 | 2009-11-18 | キヤノン株式会社 | 文書処理装置 |
| JP4333350B2 (ja) | 2003-12-04 | 2009-09-16 | コニカミノルタホールディングス株式会社 | 画像管理装置、画像管理方法及びプログラム |
| JP4569162B2 (ja) * | 2004-04-30 | 2010-10-27 | コニカミノルタビジネステクノロジーズ株式会社 | 画像処理方法、画像処理プログラムおよび画像処理装置 |
| JP4641414B2 (ja) | 2004-12-07 | 2011-03-02 | キヤノン株式会社 | 文書画像検索装置、文書画像検索方法、プログラム、記憶媒体 |
| JP4561474B2 (ja) * | 2005-05-24 | 2010-10-13 | 株式会社日立製作所 | 電子化文書保管システム |
| JP4721111B2 (ja) | 2005-11-24 | 2011-07-13 | 富士ゼロックス株式会社 | 画像処理装置、画像処理システム、画像処理プログラムおよび画像処理方法 |
| JP4830721B2 (ja) | 2006-08-29 | 2011-12-07 | 富士ゼロックス株式会社 | 情報処理装置及びプログラム |
| JP5502346B2 (ja) * | 2009-03-09 | 2014-05-28 | 富士フイルム株式会社 | 症例画像登録装置、方法およびプログラムならびに症例画像検索装置、方法、プログラムおよびシステム |
| US8000528B2 (en) * | 2009-12-29 | 2011-08-16 | Konica Minolta Systems Laboratory, Inc. | Method and apparatus for authenticating printed documents using multi-level image comparison based on document characteristics |
| JP5071539B2 (ja) * | 2010-09-13 | 2012-11-14 | コニカミノルタビジネステクノロジーズ株式会社 | 画像検索装置、画像読取装置、画像検索システム、データベース生成方法およびデータベース生成プログラム |
| CN114359533B (zh) * | 2021-11-18 | 2022-11-04 | 珠海读书郎软件科技有限公司 | 一种基于页面文本的页码识别方法和计算机设备 |
-
2000
- 2000-05-09 JP JP2000136158A patent/JP3937687B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001319231A (ja) | 2001-11-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2957375B2 (ja) | 文書書式のデジタル・イメージの文字認識誤りを修復するデータ処理システム及び方法 | |
| JP3937687B2 (ja) | 画像処理装置及び画像処理方法、記録媒体 | |
| US5524065A (en) | Method and apparatus for pattern recognition | |
| EP2172856A2 (en) | Image processing apparatus, image processing method and program | |
| US9430716B2 (en) | Image processing method and image processing system | |
| JP2004234656A (ja) | 文書分析情報を使用して文書を再フォーマット化する方法及び製造物 | |
| US6718075B1 (en) | Image search method and apparatus | |
| US5905811A (en) | System for indexing document images | |
| JPH11224258A (ja) | 画像検索装置及びその方法、コンピュータ可読メモリ | |
| JPH10289240A (ja) | 画像処理装置及びその制御方法 | |
| JP4135659B2 (ja) | フォーマット変換装置およびファイル検索装置 | |
| US6996293B1 (en) | Reduced image forming method and apparatus | |
| CN1896997B (zh) | 字符串检索装置 | |
| EP1010128B1 (en) | Method for performing character recognition on a pixel matrix | |
| JPH10289241A (ja) | 画像処理装置及びその制御方法 | |
| JP2009140478A (ja) | 画像処理装置及び画像処理方法 | |
| KR100957508B1 (ko) | 광학 문자 인식 시스템 및 방법 | |
| JP2002024761A (ja) | 画像処理装置及び画像処理方法並びに記憶媒体 | |
| JP2020047031A (ja) | 文書検索装置、文書検索システム及びプログラム | |
| JP2586372B2 (ja) | 情報検索装置及び情報検索方法 | |
| KR19990016894A (ko) | 영상 데이터베이스 검색방법 | |
| JP3902825B2 (ja) | 文書検索システムおよび方法 | |
| JPH08272813A (ja) | ファイリング装置 | |
| JPH09265472A (ja) | 画像データベースシステム | |
| JP4261831B2 (ja) | 文字認識処理方法、文字認識処理装置、文字認識プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040614 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7426 Effective date: 20040614 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20040614 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061121 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061211 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070209 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070309 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070319 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110406 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120406 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130406 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130406 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140406 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |