JPH11149485A - 文書画像データベース検索方法、文書画像データベース編成方法、記録媒体、及び、文書画像データベース編成装置 - Google Patents

文書画像データベース検索方法、文書画像データベース編成方法、記録媒体、及び、文書画像データベース編成装置

Info

Publication number
JPH11149485A
JPH11149485A JP10263041A JP26304198A JPH11149485A JP H11149485 A JPH11149485 A JP H11149485A JP 10263041 A JP10263041 A JP 10263041A JP 26304198 A JP26304198 A JP 26304198A JP H11149485 A JPH11149485 A JP H11149485A
Authority
JP
Japan
Prior art keywords
document image
document
image
representative
displaying
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP10263041A
Other languages
English (en)
Inventor
John F Cullen
エフ カレン ジョン
Jonathan J Hull
ジェー ハル ジョナサン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Publication of JPH11149485A publication Critical patent/JPH11149485A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5846—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using extracted text
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00—Data processing: database and file management or data structures
    • Y10S707/99931—Database or file accessing
    • Y10S707/99933—Query processing, i.e. searching
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00—Data processing: database and file management or data structures
    • Y10S707/99931—Database or file accessing
    • Y10S707/99933—Query processing, i.e. searching
    • Y10S707/99934—Query formulation, input preparation, or translation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00—Data processing: database and file management or data structures
    • Y10S707/99941—Database schema or data structure
    • Y10S707/99944—Object-oriented database structure
    • Y10S707/99945—Object-oriented database structure processing
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00—Data processing: database and file management or data structures
    • Y10S707/99941—Database schema or data structure
    • Y10S707/99948—Application of database or data structure, e.g. distributed, multimedia, or image

Landscapes

  • Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 【課題】 直観的に理解容易な方法で文書画像を検索で
きる対話型の文書画像データベース編成・検索システム
を実現する。 【解決手段】 ユーザがキーワードを入力し（１０
２）、システムがそのキーワードを含む文書画像を検索
する（１０４）。システムは、それら文書画像を視覚的
特徴によって複数のクラスタに分類し（１０８）、その
各クラスタの代表文書画像を自動的に選択し（１１
０）、それをユーザに表示する。ユーザはさらに検索を
続ける場合、その代表文書画像から１つ選択する（１１
４）。システムは、選ばれた代表文書画像に対応したク
ラスタ内の文書画像を再分類し（１０８）、各クラスタ
の代表文書画像を選択しユーザに表示する（１１０，１
１２）。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、文書画像データベ
ース検索編成システムに関する。
【０００２】
【従来の技術】低コスト、大容量の文書画像記憶装置が
増加したため、量的にも種類においても絶えず増加し続
ける文書を、これまでのようにハードコピーの形で保管
するのではなく、オンライン電子情報として保存できる
ようになった。このような記憶装置技術の革新によっ
て、文書の記憶コストは下がったが、その一方で、膨大
なオンライン文書からユーザが関心のある特定の文書を
見つけ出すための、より効率のよい検索方法が必要にな
ってきた。
【０００３】関心のある文書を見つけ出す方法は色々と
あるが、どうみても不完全であった。一般的に、これら
の方法では、文書がスキャンされてコンピュータに取り
込まれ、光学的文字認識（ＯＣＲ）プログラムで、その
画像をテキストファイルに変換する。次に、ある形式の
キーワード一致検索が行われ、システムは全文書のテキ
スト全体をスキャンするか、あるいは、文書を最初に分
類した人間によって文書を表すものとして注意深く選択
されたキーワードの集合をスキャンする。この１番目の
方法の問題点は、大量の文書を全体にわたってスキャン
するため、検索コストが高いことである。２番目の方法
の難点は、人によって、ファイリング及び検索のための
カテゴリーが違ってくることである。データベース内の
文書の種類が増加するに従って、これら従来の検索方法
の信頼性は悪化する。
【０００４】文書の画像部分の情報内容を利用すること
の有利性に気づき、文書中の小画像のマッチングによっ
て文書を検索する試みがいろいろとなされてきた。例え
ば、M.Y. Jaisimha, A. Bruce 及び T. Nguyen は、彼
らの著作" DocBrows :A system for Textual and Graph
ical Querying on Degraded Document IamageData" に
おいて、レターヘッド中の会社ロゴを利用して文書を検
索するシステムについて述べている。D. Doermann ら
は、"Development of a GeneralFramework for Intelli
gent Document Retrieval"において、文書の低レベルの
特徴及び高レベルの構造を記述する画像記述子の生成及
びマッチングに基づいた文書のマッチングシステムにつ
いて概説している。しかし、残念ながら、この方法は、
強力な画像情報処理を必要し、このことが一般的な市販
アプリケーションへの利用を非常に難しくしている。
【０００５】以上の方法は、画像の特徴ベクトルの要素
マッチングによる文書検索の手段を提供するが、大規模
な文書画像データベースを編成するための有効な方法を
提供するものではない。このような欠点から分かること
は、文書画像データベースの効率的な検索方法及び装置
と、そのような効率的な検索のための文書画像データベ
ースの編成方法及び装置こそが必要とされるものであ
る。
【０００６】
【発明が解決しようとする課題】よって、本発明の目的
は、ユーザが直観的に理解しやすい方法で、効率的な検
索が可能な対話型の文書画像データベース検索方法を提
供することにある。本発明のもう一つの目的は、そのよ
うな効率的な検索を可能にするための文書画像データベ
ース編集方法及び装置を提供することにある。
【０００７】
【課題を解決するための手段】前記目的を達成するた
め、本発明により提供される対話型データベース検索編
集システムは、テキスト検索を利用し、また、文書を外
観によって自動的に分類するため画像特徴抽出を利用す
る。このシステムにおいては、自動的に、文書画像の視
覚的特徴を判定して文書画像を相互の類似性によって分
類する。また、検索の高速化のため、文書画像のテキス
ト特徴並びに視覚的特徴によってデータベースを編成す
る。
【０００８】本発明の代表的な態様は、初期検索の基準
となるテキストストリング（文字列）のキーワードをユ
ーザから受け入れるステップ、データベース中の文書画
像のテキスト成分から前記キーワードを検索するステッ
プ、前記キーワードを含んでいるテキスト成分を有する
文書画像を、その圧縮表現から抽出された特徴の処理に
基づいて、文書画像クラスタに分類するステップ、各文
書画像クラスタの代表文書画像を表示するステップ、及
び、システムがさらに検索を実行する特定の文書画像ク
ラスタを指示する入力をユーザから受け取るステップを
含む。
【０００９】本発明のもう一つの代表的な態様は、文書
画像を特徴情報に基づいて分類することにより類似した
特徴を持つ文書画像のクラスタを作るステップ、各文書
画像クラスタから１つの代表文書画像を選択するステッ
プ、代表文書画像をユーザに表示するステップ、及び、
システムがさらに検索を実行する文書画像クラスタを選
択するための入力をユーザから受け取るステップを含
む。
【００１０】関連した態様では、前記分類ステップの前
に、圧縮画像から特徴情報を抽出する。関連したもう一
つの態様では、ユーザが希望する個数のクラスタを指定
可能とされる。
【００１１】以下の詳細な説明を以下の図面と共に参照
すれば、本発明の理解が一層深まるであろう。また、上
に述べなかった本発明の目的及び特徴も明かとなろう。
【００１２】
【発明の実施の形態】以下、添付図面を参照し、本発明
の実施の形態を説明する。［本発明の実施に適した典型
的なシステム構成］本発明は専用のハードウェアによっ
て実施することも可能であることは当然であるが、通
常、本発明は、図１に示すような基本的なサブシステム
からなるコンピュータシステム上で実施されるであろ
う。
【００１３】図１において、コンピュータシステム１０
はバス１２を含み、このバス１２は主要なサブシステ
ム、例えば中央プロセッサ１４、システムメモリ１６、
入出力（Ｉ／Ｏ）コントローラ１８、パラレルポート２
２を介してプリンタなどの外部装置２０、ディプレイア
ダプタ２６を介してディスプレイ２４、シリアルポート
２８、キーボード３０、固定ディスクドライブ３２、フ
ロッピーディスク３３Ａを挿入して動作可能なフロッピ
ーディスクドライブ３３を相互に接続する。その他、多
くのデバイスを接続可能であり、例えば、外部インター
フェース３６を介してスキャナ装置３４を接続でき、シ
リアルポート２８を介してマウス３８を接続でき、タッ
チスクリーン４０を直接接続できる。これ以外に、多く
のデバイスあるいはサブシステム（不図示）を同様の方
法で接続してもよい。また、後述のように、図１に示し
た全てのデバイスが必ずしも本発明の実施のために必要
なわけではない。また、システムの動作を損なわない限
り、デバイス及びサブシステムの相互接続を図１に示し
た方法と異なった方法で行っても構わない。図１に示す
ようなコンピュータシステムの動作は、当該技術分野で
は自明であるので、ここでは詳述しない。本発明を実行
するためのソースコードは、システムメモリ１６に動作
可能に配置されるか、あるいは、固定ディスク（３２）
やフロッピーディスク３３Ａなどの記録媒体に格納され
であろう。また、画像データベースも固定ディスク（３
２）に格納されるであろう。
【００１４】ディスプレイ２４は、ＣＲＴディスプレイ
つまりモニタを採用したパソコン、ワークステーショ
ン、メインフレームコンピュータなどの一般的なコンピ
ュータに使用されるものと同様なものである。様々な種
類のユーザ入力デバイスを本発明に使用できる。例え
ば、ユーザの手の動きに従ってディスプレ２４の画面上
に表示されたポインタを移動させることができるマウス
３８は、標準的なユーザ入力デバイスである。マウスは
表面に１つ又はそれ以上のボタンがあり、ユーザはマウ
スを動かして画面上のオブジェクトを指し示し、マウス
の１つ又はそれ以上のボタンを押すことにより、そのオ
ブジェクトを選択し、あるいは起動することができる。
あるいは、タッチスクリーン４０を用いれば、ユーザ
は、画面上でオブジェクトを指し示すことにより１つの
オブジェクトを選択し、その選択されたオブジェクトを
ポインティング操作によって画面上の別の位置へ移動さ
せることができる。マウス又はタッチスクリーンを利用
して起動させるための様々なボタンやコントロールを、
画面に表示できる。固定ディスクドライブ３２は、ハー
ドディスクドライブ又は光ディスクドライブ、あるい
は、文書画像データベースの格納に適した任意の媒体で
ある。
【００１５】［画像データベースに対して行われる照会
動作の概要］本発明の独特かつ革新的な特徴の一つは、
直観的に理解できるやり方で、データベース中の文書に
対し画像ベースの検索を行うことができ、また、検索を
高速化するため、文書画像の視覚的特徴によってデータ
ベースを編成することである。また、従来技術で必要と
されたような代表文書画像をユーザが作る必要がない。
この点に関しては、例えば本出願人が特願平９−２３４
２９号（特開平９−２３７２８２号）で既に提案した文
書画像データベース検索方法では、「模範文書」をユー
ザが用意もしくは生成しなければならない。
【００１６】本発明の一実施例によるデータベース検索
編成処理手順が図２に示されている。この実施例におい
ては、ＯＣＲスキャンニングによって、文書のテキスト
成分が文書画像から抽出され、それがデータベース内で
利用可能とされる。このデータベースは、コンピュータ
システム内の固定ディスク（３２）やシステムメモリ１
６など、任意の１つまたは複数の記憶媒体に置かられ
る。
【００１７】検索手続きは最初の照会ステップ１０２か
ら始まる。この照会ステップ１０２において、ユーザ
は、キーボード３０などの入力デバイスとディスプレイ
２４を利用して、１つ又はそれ以上のキーワード（すな
わち、文字列又は文字列の組合せ）をシステムに入力す
る。
【００１８】データベース中の文書のテキスト成分に含
まれる前記文字列を探すための検索が、テキスト・ベー
ス検索ステップ１０４で行われる。このテキスト・ベー
ス検索で、ユーザが関心を持っている文書が見つかった
場合には、ユーザは、ステップ１０６で、それ以上の処
理を停止させることができる。関心を持っている文書が
見つからなかった場合には、前記文字列を含んでいる文
書が画像ベース検索のための基礎になる。好適な実施例
においては、文書画像の圧縮画像から抽出された特徴が
データベース内に用意されている。テキスト・ベース検
索の条件を満たした文書は、分類ステップ１０８におい
て、各文書画像から抽出された特徴の類似度に基づいて
分類され、複数のクラスタが生成される。ステップ１１
０において、分類ステップ１０８で生成された各文書画
像クラスタ毎に、１つの代表文書画像が選択される。
【００１９】表示ステップ１１２で、代表文書画像がデ
ィスプレイ２４によってユーザに表示される。好適な実
施例においては、図１２に示すように、ウェブ・ブラウ
ザー１００４をユーザインターフェースとして利用し
て、各代表文書画像の圧縮表現がアイコン１００６とし
て表示される。関連した実施例では、圧縮されない代表
文書画像を表示する。好適な実施例においては、ユーザ
は、あるクラスタをさらなる検索のための基礎として選
択でき、この選択は、ステップ１１４で、マウス３８又
は他の入力デバイスを使って、さらなる検索の基礎とす
べきクラスタの代表文書アイコンを指示することによっ
て行う。
【００２０】選択された文書クラスタに分類ステップを
適用することによって検索を続行し、当該クラスタを新
しい１組のクラスタに分割する（ステップ１０８）。そ
の各クラスタは新しい１つの代表文書画像を持つ。検索
は、文書が見つかるまで（ステップ１０６）、あるいは
ユーザが検索の停止を選択するまで（ステップ１１６）
継続する。
【００２１】本発明の他の実施例によるデータベース検
索編成処理手順が図３にフローチャートとして示されて
いる。この例では、各文書画像の圧縮表現がデータベー
ス内に用意される。これらの圧縮表現から特徴が抽出さ
れるが、この抽出のステップ１０７は文書完了ステップ
１０６と分類ステップ１０８の間に挿入される。検索
は、図２に関連して説明した例におけると同様に分類ス
テップ１０８に進む。関連した実施例では、図示しない
が、分類ステップ１０８を最初に適用する前に、あるい
はデータベースのナビゲーション中、分類ステップ１０
８を新たに適用する前に随時、ユーザが希望するクラス
タ数を選択できるようにするステップも含む。
【００２２】本発明によるもう一つの実施例によるデー
タベース検索編成処理手順が図４に示されている。この
実施例においても、前述の実施例と同様、文書画像の圧
縮画像から抽出された特徴をデータベース内に用意して
おくのが望ましい。分類ステップ２０８で、文書は各文
書画像から抽出された特徴の類似度に基づいて分類さ
れ、クラスタを生成する。分類ステップ２０８で生成さ
れた各文書画像クラスタ毎に、ステップ２１０で１つの
代表文書画像が選択される。代表文書画像は、表示ステ
ップ２１２で、ディスプレイ２４によってユーザに表示
される。好適な実施例においては、ステップ２１４で、
システムはユーザから入力パラメータを受け入れる。こ
の入力パラメータに基づいて、さらに検索が続けられ
る。検索は、ユーザが停止を選択するまで（ステップ２
１６）続く。
【００２３】関連した実施例を図５に示す。この実施例
では、各文書画像の圧縮表現がデータベース内に用意さ
れる。分類ステップ２０８の前の抽出ステップ２０７
で、これらの圧縮表現から特徴が抽出される。検索は、
図４に関連して説明した実施例と同様、分類ステップ２
０８に進む。
【００２４】もう一つの関連実施例は、分類ステップ２
０８を最初に適用する前に、あるいはデータベースのナ
ビゲーション中、分類ステップ２０８を新たな適用する
前に随時、ユーザが希望するクラスタ数を選択できるよ
うにするステップも含む。
【００２５】図６乃至図１０は、検索技術の基礎をなす
画像処理技術の利用について説明するものであり、図６
は圧縮、図７、図８、図９及び図１０は特徴抽出、図１
１は分類の説明図である。図１２は、本発明の表示及び
ユーザインターフェースの部分を実現するためのウェブ
・ブラウザーの利用法を示すものである。
【００２６】［圧縮技術］圧縮により、データベースの
大量の文書画像の記憶コストが削減される。各文書画像
は、圧縮技術によって、例えば、ウェーブレット圧縮
（IEEE DataCompression Conference, CREW : Compress
ion with Reversible EmbeddedWavelets, March 1995
を参照。 これは、ここに引用によって本出願に全面
的に編入される）や、従来から知られている任意の圧縮
技術によって圧縮される。
【００２７】図６はウェーブレット圧縮を説明するもの
である。ウェーブレット圧縮の処理では、画像データ４
０２にピラミッド変換を再帰的に適用し、画像を４分の
１の大きさの高周波情報４０４，４０６，４０８と４分
の１の大きさの低周波情報４１０に分割する。本出願に
おいて、ＣＲＥＷはいくつかの利点がある。すなわち、
ＣＲＥＷは、かなり高速に、画像をハイパス成分とロー
パス成分に分解する。ＣＲＥＷは、目立ちやすい画像劣
化を最小に押さえて、２０：１のロッシー圧縮が可能で
ある。最終的に、低周波領域の左上コーナーにローパス
・サブバンド画像４１２が生成される。このサブバンド
画像４１２は、文書の内容確認が可能なアイコン表現を
提供する。このような文書の視覚的に確認可能な表現
は、効率よくアクセス可能であり、文書情報のインデッ
クスとして便利である。
【００２８】［文書画像の圧縮から特徴抽出までの処理
の流れ］図７は、２値形式の文書画像の圧縮から特徴抽
出までの処理フローの一例を図示したものである。
【００２９】２値形式の文書画像５００が、処理ステッ
プ５０１で、５×５のガウシアン平滑フィルタによって
処理され、文書画像の濃淡表現５０２が生成される。文
書画像が濃淡画像として記憶されている場合には、この
処理ステップ５０１は不要である。
【００３０】なお、多くのシステムは文書画像の記憶に
２値画像表現を採用している。２値画像の利点はコンピ
ュータの記憶媒体の比較的小さい領域しか占有しないこ
とである。これに対し、濃淡画像の主たる利点は、縮小
されても文書画像の認識可能な構造が維持されることで
ある。濃淡画像の主な欠点は、その記憶のための記憶媒
体のコストであった。しかし、デジタル媒体のコストが
下がるにつれ、この欠点は以前より重要でなくなった。
また、圧縮技術の進歩により、画像の記憶容量の差を打
ち消すのに十分な高い圧縮率で濃淡画像を記憶すること
が可能になっている。
【００３１】この濃淡表現５０２は、ウェーブレット圧
縮アルゴリズム５０３によって、圧縮表現５０４に変換
される。ローパスフィルタ・ステップ５０５で、圧縮表
現５０４から低周波画像情報（ローパス画像）５０６が
分離される。同じように、ハイパスフィルタ・ステップ
５０９で、圧縮表現５０４から高周波画像情報（ハイパ
ス画像）５１０が分離される。特徴抽出ステップ５０７
が低周波画像情報５０６に対し実行され、画像の画素値
の統計的モーメントとして、画素値の平均と分散という
特徴５０８が生成される。同様に、特徴抽出ステップ５
１１が高周波画像情報５１０に対し実行され、ワード
数、絵の数及びコラムの数という特徴５１２が生成され
る。これらの低周波特徴情報５０８と高周波特徴情報５
１２はステップ５１３で併合されて、特徴ベクトル５１
４が作られる。
【００３２】［特徴抽出］圧縮ステップで得られた低周
波画像情報に対する特徴抽出（図７のステップ８０７に
相当）によって、図８に示すように画像の画素値の統計
的モーメントを生成する。本発明のある実施例において
は、図７に関連して述べたように、その統計的モーメン
トとして、画素値の平均(Ｘmean)６０２と分散(Ｘvaria
nce)６０４が、図８中に示し計算式によって計算され
る。ただし、Ｘj（ｊ＝1,2,...,N）は、低周波画像中の
各画素の値である。
【００３３】図９及び図１０は、圧縮ステップで得られ
た高周波画像情報に対し適用される特徴抽出（図７のス
テップ５１１に相当）を説明するものである。高周波画
像情報に対する特徴抽出は、連結成分を検出することに
よってなされる。処理の最初のステップはヒストグラム
平準化を行うことであり、濃淡値の最小値と最大値が計
算され、濃淡値の範囲が０と２５５の間の値をとるよう
に調整される。ヒストグラム平準化は当業者に周知の標
準的な画像処理技術の一つである。最終的に連結成分ア
ルゴリズムが、好適な実施例では４連結成分アルゴリズ
ムが、適用される。
【００３４】４連結成分アルゴリズムによれば、連結成
分を探索する際に、ある特定の画素の上下左右を観察し
同様の濃淡レベルを持つ他の画素を探す。注目している
画素の上下左右のいずれかにある隣接画素が統合されて
１つの連結成分が作られる。一方、８連結成分アルゴリ
ズムでは、連結成分の探索の際に、画素の上下左右だけ
でなく、画素の４つの頂点のどれかに隣接する画素も調
べることになる。
【００３５】本発明のある実施例では、連結成分が確認
されたならば、その連結成分情報から、前述のようにテ
キスト・ワード７０２、絵７０４及びテキスト・コラム
８０２の総数などの特徴が抽出される。テキスト・ワー
ドの総数という特徴は、あるしきい値サイズ未満の連結
成分の総数を調べることによって決定される。このしき
い値は、テキストに属している連結成分と絵に関係した
連結成分領域を識別するために設定される。しきい値未
満の連結成分の個数がワード数である。しきい値を超え
る連結成分の個数が絵の個数である。
【００３６】図１０は、テキスト・カラム数の決定の基
礎となる処理を表している。図１０のグラフ８０４に、
連結成分（ｙ軸）対位置（ｘ軸）のプロットが示されて
いる。図１０のプロット８０２は、グラフ８０４の遷移
数（ｙ軸）対連結成分数（ｘ軸）を表している。プロッ
ト８０２において、遷移数は画像中のカラムの個数を示
す。
【００３７】グラフ８０２中の主要な台地部を観測する
ことにより、文書中の主要なカラム数を判断できる。グ
ラフ８０２の場合、大きな絵があるために大勢としては
１コラムの文書と判断される。しかし、第２の台地部分
が、その文書中に３つのコラムもまた存在することを示
す。かなり大きい数でピークが検出されたが、これはワ
ード境界のノイズを示し、この点を超えたところでは、
もうカラム情報は検出できない。
【００３８】ある実施例においては、前述の如く、抽出
された特徴を統合して「特徴ベクトル」を作る。この特
徴ベクトルを文書データベース内の対応した文書画像の
検索に利用できる。
【００３９】［文書画像のクラスタへの分類］文書画像
は特徴情報に基づいて分類され、文書画像のクラスタが
作られる。各クラスタには類似した特徴を有する文書画
像が含まれる。分類を行う方法の一つは、ｋ−平均アル
ゴリズムを利用することである。図１１に示す本発明の
一実施例によれば、図１１に示すように、キーワード検
索などで絞り込まれた複数の文書画像９００は、予め選
んだ個数のクラスタ（グループ）、例えば３個のクラス
タ９０２，９０４，９０６に分類される。検索の細かさ
と、混乱することなく追跡可能なクラスタ数との兼ね合
いをユーザが判断して、望ましいクラスタ数をユーザが
選ぶようにしてもよい。任意のクラスタ内の文書に対し
分類を再帰的に行うことにより、データベース内に階層
構造を作ることができる。
【００４０】［代表文書画像の表示］ユーザに表示する
ための代表文書画像は、システムによって自動的に各文
書画像クラスタから選び出される。本発明の一実施例に
おいては、分類ステップで生成された各クラスタについ
て、中心が計算され、その中心に最も近い画像が特性画
像、すなわち代表文書画像としてラベル付けされる。
【００４１】本発明の好適な実施例においては、ウェブ
・ブラウザーをユーザ・インターフェースとして利用し
て、代表文書画像を表示し、どの文書画像クラスタをさ
らなる検索の基礎とすべきかユーザが指示できるように
する。図１２（ａ）に示すようなウェブ・ブラウザー１
００４をユーザ・インターフェースとして利用し、図１
２（ｂ）に示すように、ある検索の段階における文書画
像クラスタそれぞれの代表文書画像の圧縮表現がアイコ
ン１００６としてウェブ・ブラウザー１００４に表示さ
れる。関連した実施例では、圧縮しない代表文書画像が
表示される。好適な実施例では、ユーザが、ある特定の
クラスタをさらなる検索の基礎として選択することがで
き、この選択は、ユーザがマウス３８又はその他の入力
デバイスを用いて、さらなる検索の基礎としようとする
クラスタの代表文書アイコン１００６をシステムに指示
することによって行う。検索が続けられ、選択された文
書クラスタに対し分類ステップを適用し、このクラスタ
を新たな１組のクラスタに分割するが、その各クラスタ
に１つの代表文書画像がある。図１２（ｃ）に示すよう
に、それら代表文書画像の圧縮表現がアイコン１００８
として表示される。他の実施例では、これら代表文書画
像は圧縮されないものがウェブ・ブラウザー１００４に
表示される。
【００４２】［ワールド・ワイド・ウェブからの文書画
像検索］関連した実施例においては、ワールド・ワイド
・ウェブの検索エンジン、例えばAltavistaやInfoseek
より引き出された文書が、本発明の方法により閲覧され
る。通常、ユーザは、単純なテキスト・ベースの照会に
対し返された、様々なソースからの多数の文書を受信す
る。どの文書が実際に関心のあるものか、判断が難し
い。しかし、外観から区別可能な特定の種類の文書、例
えば、大抵は２コラムのテキストを含む科学論文を求め
ているユーザは、本発明の技術を利用すれば、そのよう
な文書だけを素早く手に入れることができる。
【００４３】特定の実施例に関連して本発明を説明し
た。それ以外の実施例も当業者には明かになろう。した
がって、特許請求の範囲の各請求項によって指摘された
こと以外、本発明は限定されるべきではない。
【００４４】
【発明の効果】以上の説明から明らかなように、本発明
によれば、ユーザが直観的に理解しやすい対話型の方法
で、文書画像データベースから必要な文書を効率よく検
索することができ、また、検索と並行して、文書画像の
テキスト特徴並びに視覚的特徴に基づいて自動的に、文
書画像データベースを高速検索が可能となるように編成
することができる、等々の効果を得られる。
【図面の簡単な説明】
【図１】本発明の実施に適した典型的なコンピュータシ
ステムを示すブロック図である。
【図２】本発明の一実施例によるデータベース検索編成
処理手順を示すフローチャートである。
【図３】本発明の他の実施例によるデータベース検索編
成処理手順を示すフローチャートである。
【図４】本発明の別の実施例によるデータベース検索編
成処理を示すフローチャートである。
【図５】本発明の他の実施例によるデータベース検索編
成処理を示すフローチャートである。
【図６】文書画像のウェーブレット圧縮の説明図であ
る。
【図７】２値形式の文書画像の圧縮から特徴抽出までの
流れを説明する図である。
【図８】低周波画像情報からの特徴抽出の説明図であ
る。
【図９】高周波画像情報からのワード及び絵の連結成分
の抽出の説明図である。
【図１０】高周波画像情報からのコラムの連結成分の抽
出の説明図である。
【図１１】文書画像のクラスタリングの説明図である。
【図１２】ユーザ・インターフェースのためのウェブ・
ブラウザーの利用を説明するための図である。
【符号の説明】
１０ コンピュータシステム １４ 中央プロセッサ １６ システムメモリ ２４ ディスプレイ ３０ キーボード ３２ 固定ディスクドライブ ３３Ａ フロッピーディスク ３８ マウス １００４ ウェブ・ブラウザー １００６，１００８ 代表文書画像のアイコン

Claims (32)

    【特許請求の範囲】
  1. 【請求項１】 テキスト成分、圧縮表現及び非圧縮表現
    を持つ文書画像を複数含む文書画像データベースから、
    ある特定の文書画像を検索する方法であって、 ユーザから検索のためのキーワードとしてのテキストを
    受け取るステップ、 前記文書画像のテキスト成分から前記キーワードを検索
    するステップ、 前記キーワードを含むテキスト成分を有する文書画像
    を、それらの圧縮表現又は非圧縮表現の処理に基づいて
    複数の文書画像クラスタに分類するステップ、 前記処理に基づいて、複数の文書画像クラスタのそれぞ
    れの代表文書画像を表示するステップ、及び、 特定の文書画像クラスタを指示する入力をユーザから受
    け取るステップを含むことを特徴とする文書画像データ
    ベース検索方法。
  2. 【請求項２】 前記圧縮表現は、前記文書画像にＣＲＥ
    Ｗアルゴリズムを適用することによって生成されること
    を特徴とする請求項１記載の文書画像データベース検索
    方法。
  3. 【請求項３】 前記の分類ステップにおける画像成分の
    処理は、 前記特定の文書画像に関する画像特徴情報を抽出するス
    テップ、及び、 前記画像特徴情報に対しクラスタリング・アルゴリズム
    を適用して文書画像クラスタを生成するステップからな
    ることを特徴とする請求項１記載の文書画像データベー
    ス検索方法。
  4. 【請求項４】 前記抽出ステップは、前記特定の文書画
    像について統計情報を計算するステップからなることを
    特徴とする請求項３記載の文書画像データベース検索方
    法。
  5. 【請求項５】 前記抽出ステップは、前記特定の文書画
    像について成分連結を計算するステップも含むことを特
    徴とする請求項４記載の文書画像データベース検索方
    法。
  6. 【請求項６】 前記クラスタリング・アルゴリズムは、
    複数の文書画像クラスタを生成する「Ｋ−平均」クラス
    タリング・アルゴリズムであることを特徴とする請求項
    ３記載の文書画像データベース検索方法。
  7. 【請求項７】 前記複数のクラスタはそれぞれ５個から
    １０個の文書画像からなることを特徴とする請求項６記
    載の文書画像データベース検索方法。
  8. 【請求項８】 前記の表示ステップにおける処理は、各
    文書画像クラスタについて、中心を計算し、前記中心に
    最も近い文書画像を代表文書画像として選択するステッ
    プからなることを特徴とする請求項１記載の文書画像デ
    ータベース検索方法。
  9. 【請求項９】 分類ステップ、表示ステップ、及び、入
    力を受け取るステップを再帰的に繰り返して文書画像デ
    ータベースの階層的検索パターンを構成するステップを
    さらに含むことを特徴とする請求項１記載の文書画像デ
    ータベース検索方法。
  10. 【請求項１０】 前記表示ステップは、ウェブ・ブラウ
    ザーを利用して前記の各代表文書画像の縮小表現を表示
    するステップをさらに含むことを特徴とする請求項１記
    載の文書画像データベース検索方法。
  11. 【請求項１１】 前記表示ステップは、ウェブ・ブラウ
    ザーを利用して前記代表文書画像を表示するステップを
    さらに含むことを特徴とする請求項１記載の文書画像デ
    ータベース検索方法。
  12. 【請求項１２】 文書画像データベース内の複数の文書
    画像を編成する方法であって、 前記複数の文書画像中のそれぞれの特定文書画像を圧縮
    するステップ、 前記特定文書画像に関する画像特徴情報を抽出するステ
    ップ、 前記特定文書画像を分類して文書画像クラスタを生成す
    るステップ、 処理に基づいて、それぞれの特定の文書画像クラスタの
    ための代表文書画像を選択するステップ、及び、 それぞれの特定の代表文書画像を表示するステップ、を
    含むことを特徴とする文書画像データベース編成方法。
  13. 【請求項１３】 前記圧縮ステップは、前記特定文書画
    像にＣＲＥＷアルゴリズムを適用するステップからなる
    ことを特徴とする請求項１２記載の文書画像データベー
    ス編成方法。
  14. 【請求項１４】 前記抽出ステップは、前記特定文書画
    像から統計情報を計算するステップ、及び、前記特定文
    書画像に含まれているテキスト情報からテキスト・キー
    ワードを抽出するステップからなることを特徴とする請
    求項１２記載の文書画像データベース編成方法。
  15. 【請求項１５】 前記抽出ステップは、前記特定文書画
    像について成分連結を計算するステップも含むことを特
    徴とする請求項１４記載の文書画像データベース編成方
    法。
  16. 【請求項１６】 前記分類ステップは、複数の代表文書
    グループを生成するための「ｋ−平均」クラスタリング
    ・アルゴリズムからなることを特徴とする請求項１２記
    載の文書画像データベース編成方法。
  17. 【請求項１７】 前記複数のクラスタはそれぞれ５個か
    ら１０個の文書画像からなることを特徴とする請求項１
    ６記載の文書画像データベース編成方法。
  18. 【請求項１８】 前記の選択ステップにおける処理は、
    各文書画像クラスタについて、中心を計算し、前記中心
    に最も近い文書画像を代表文書画像として選択するステ
    ップからなることを特徴とする請求項１２記載の文書画
    像データベース編成方法。
  19. 【請求項１９】 ユーザ入力を受け取るステップをさら
    に含み、該ユーザ入力は再帰的検索方法を構成するため
    の分類ステップ、選択ステップ、表示ステップ、及び当
    該受け取るステップの再帰的適用のスタートポイントと
    なる特定の代表文書画像を選択するものである、ことを
    特徴とする請求項１２記載の文書画像データベース編成
    方法。
  20. 【請求項２０】 前記表示ステップは、ウェブ・ブラウ
    ザーを利用して前記の各代表文書画像の圧縮表現を表示
    するステップからなることを特徴とする請求項１２記載
    の文書画像データベース編成方法。
  21. 【請求項２１】 前記表示ステップは、ウェブ・ブラウ
    ザーを利用して前記代表文書画像を表示するステップか
    らなることを特徴とする請求項１２記載の文書画像デー
    タベース編成方法。
  22. 【請求項２２】 検索のためのキーワードとしてのテキ
    ストをユーザから受け取るステップ、 テキスト成分及び圧縮表現をそれぞれ持つ文書画像から
    なる文書画像データベースから前記キーワードを含むテ
    キスト部分を有する文書画像を検索するステップ、 前記文書画像の画像成分の処理に基づいて、文書画像を
    文書画像クラスタに分類するステップ、 各クラスタのための表示用の代表文書画像を選択するス
    テップ、及び、 選択された前記代表文書画像を表示するステップをコン
    ピュータに実行させるためのプログラムが記録されたこ
    とを特徴とする、コンピュータ読み取り可能な記録媒
    体。
  23. 【請求項２３】 前記プログラムは、前記文書画像にＣ
    ＲＥＷアルゴリズムを適用することによって前記文書画
    像から前記圧縮表現を生成するステップもコンピュータ
    に実行させるものであることを特徴とする請求項２２記
    載の記録媒体。
  24. 【請求項２４】 前記プログラムは、前記文書画像の階
    層的編成を生成する再帰的検索のため、表示された代表
    文書画像から文書画像データベースの画像を選択するユ
    ーザ入力を受け取るステップもコンピュータに実行させ
    るものであることを特徴とする請求項２２記載の記録媒
    体。
  25. 【請求項２５】 前記の文書画像を分類するステップ
    は、「ｋ−平均」アルゴリズムを利用して文書画像を複
    数のクラスタに分類するステップをさらに含むことを特
    徴とする請求項２２記載の記録媒体。
  26. 【請求項２６】 前記複数のクラスタはそれぞれ５個か
    ら１０個の文書画像からなることを特徴とする請求項２
    ５記載の記録媒体。
  27. 【請求項２７】 前記の文書画像を分類するステップの
    画像成分の処理は、前記文書画像の前記画像成分から画
    像特徴情報を抽出するステップをさらに含むことを特徴
    とする請求項２２記載の記録媒体。
  28. 【請求項２８】 前記の画像特徴情報を抽出するステッ
    プは、統計情報を計算するステップと、連結成分情報を
    抽出するステップをさらに含むことを特徴とする請求項
    ２７記載の記録媒体。
  29. 【請求項２９】 前記の代表文書画像を選択するステッ
    プは、各文書画像クラスタについて、中心を計算し、前
    記中心に最も近い文書画像を代表文書画像として選択す
    るステップからなることを特徴とする請求項２２記載の
    記録媒体。
  30. 【請求項３０】 前記の選択された代表文書画像を表示
    するステップは、ウェブ・ブラウザーを利用して前記文
    書画像の前記代表文書画像を表示するステップからなる
    ことを特徴とする請求項２２記載の記録媒体。
  31. 【請求項３１】 前記の選択された代表文書画像を表示
    するステップは、ウェブ・ブラウザーを利用して前記文
    書画像を表示するステップからなることを特徴とする請
    求項２２記載の記録媒体。
  32. 【請求項３２】 文書画像データベースを記憶する電子
    的記憶装置、 文書画像を表示するディスプレイ、及び、前記電子的記
    憶装置及び前記ディスプレイと接続されたプロセッサ装
    置からなり、 前記プロセッサ装置が、文書画像を圧縮し、文書画像の
    画像特徴情報を抽出し、抽出された前記画像特徴情報に
    従って文書画像を分類し、得られた各グループについて
    代表文書画像を選択し、前記代表文書画像をユーザに表
    示し、文書画像を操作するためのコマンドをユーザから
    受け取る動作をすることを特徴とする文書画像データベ
    ース編成装置。
JP10263041A 1997-09-24 1998-09-17 文書画像データベース検索方法、文書画像データベース編成方法、記録媒体、及び、文書画像データベース編成装置 Pending JPH11149485A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US08/936336 1997-09-24
US08/936,336 US5995978A (en) 1997-09-24 1997-09-24 Navigation system for document image database

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2006013982A Division JP4236116B2 (ja) 1997-09-24 2006-01-23 画像特徴抽出方法及び装置

Publications (1)

Publication Number Publication Date
JPH11149485A true JPH11149485A (ja) 1999-06-02

Family

ID=25468487

Family Applications (2)

Application Number Title Priority Date Filing Date
JP10263041A Pending JPH11149485A (ja) 1997-09-24 1998-09-17 文書画像データベース検索方法、文書画像データベース編成方法、記録媒体、及び、文書画像データベース編成装置
JP2006013982A Expired - Fee Related JP4236116B2 (ja) 1997-09-24 2006-01-23 画像特徴抽出方法及び装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2006013982A Expired - Fee Related JP4236116B2 (ja) 1997-09-24 2006-01-23 画像特徴抽出方法及び装置

Country Status (5)

Country Link
US (1) US5995978A (ja)
JP (2) JPH11149485A (ja)
CN (1) CN1101969C (ja)
DE (1) DE19843445A1 (ja)
GB (1) GB2330930B (ja)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001125931A (ja) * 1999-10-27 2001-05-11 Nec Corp 物理ドメインを区分および再編成するために論理ドメインを定義および利用する方法
JP2002007413A (ja) * 2000-06-20 2002-01-11 Fujitsu Ltd 画像検索装置
JP2002230012A (ja) * 2000-12-01 2002-08-16 Sumitomo Electric Ind Ltd ドキュメントクラスタリング装置
JP2003203090A (ja) * 2002-01-07 2003-07-18 Ricoh Co Ltd 画像空間表示方法
JP2003330941A (ja) * 2002-05-08 2003-11-21 Olympus Optical Co Ltd 類似画像分類装置
JP2004029969A (ja) * 2002-06-21 2004-01-29 Japan Research Institute Ltd 属性情報検索装置、属性情報検索方法およびその方法をコンピュータに実行させるプログラム
JP2007080061A (ja) * 2005-09-15 2007-03-29 Univ Of Tsukuba Ｗｅｂページの検索方法及びＷｅｂページのクラスタリング方法
WO2007066704A1 (ja) * 2005-12-09 2007-06-14 Nec Corporation テキストマイニング装置、テキストマイニング方法、および、テキストマイニングプログラム
JP2010033358A (ja) * 2008-07-29 2010-02-12 Sony Corp 情報処理装置、情報処理方法、プログラム、および情報処理システム
JP2010218181A (ja) * 2009-03-17 2010-09-30 Yahoo Japan Corp 画像検索装置
WO2011001584A1 (ja) * 2009-06-29 2011-01-06 日本電気株式会社 情報分類装置、情報分類方法及び情報分類プログラム
JP2013504795A (ja) * 2009-09-11 2013-02-07 サムワンズ グループ インテレクチュアル プロパティー ホールディングス プロプライエタリー リミテッド データベース検索方法、システムおよびコントローラ
JP7812429B1 (ja) * 2024-10-25 2026-02-09 みずほリサーチ＆テクノロジーズ株式会社 アイテム探索システム、アイテム探索方法及びアイテム探索プログラム

Families Citing this family (84)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6418424B1 (en) 1991-12-23 2002-07-09 Steven M. Hoffberg Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
US7242988B1 (en) 1991-12-23 2007-07-10 Linda Irene Hoffberg Adaptive pattern recognition based controller apparatus and method and human-factored interface therefore
US10361802B1 (en) 1999-02-01 2019-07-23 Blanding Hovenweep, Llc Adaptive pattern recognition based control system and method
US8352400B2 (en) 1991-12-23 2013-01-08 Hoffberg Steven M Adaptive pattern recognition based controller apparatus and method and human-factored interface therefore
US6850252B1 (en) 1999-10-05 2005-02-01 Steven M. Hoffberg Intelligent electronic appliance system and method
US6400996B1 (en) 1999-02-01 2002-06-04 Steven M. Hoffberg Adaptive pattern recognition based control system and method
US6869023B2 (en) 2002-02-12 2005-03-22 Digimarc Corporation Linking documents through digital watermarking
US6522770B1 (en) 1999-05-19 2003-02-18 Digimarc Corporation Management of documents and other objects using optical devices
US8094949B1 (en) 1994-10-21 2012-01-10 Digimarc Corporation Music methods and systems
US7986806B2 (en) 1994-11-16 2011-07-26 Digimarc Corporation Paper products and physical objects as means to access and control a computer or to navigate over or act as a portal on a network
US7051086B2 (en) 1995-07-27 2006-05-23 Digimarc Corporation Method of linking on-line data to printed documents
US6965682B1 (en) 1999-05-19 2005-11-15 Digimarc Corp Data transmission by watermark proxy
US6577746B1 (en) * 1999-12-28 2003-06-10 Digimarc Corporation Watermark-based object linking and embedding
US7171018B2 (en) 1995-07-27 2007-01-30 Digimarc Corporation Portable devices and methods employing digital watermarking
US7505605B2 (en) 1996-04-25 2009-03-17 Digimarc Corporation Portable devices and methods employing digital watermarking
US7024016B2 (en) * 1996-05-16 2006-04-04 Digimarc Corporation Digital watermarking apparatus and methods
US6735253B1 (en) 1997-05-16 2004-05-11 The Trustees Of Columbia University In The City Of New York Methods and architecture for indexing and editing compressed video over the world wide web
US8527882B2 (en) * 1998-06-12 2013-09-03 Gregory J. Swartz System and method for iconic software environment management
US6285995B1 (en) * 1998-06-22 2001-09-04 U.S. Philips Corporation Image retrieval system using a query image
US8332478B2 (en) 1998-10-01 2012-12-11 Digimarc Corporation Context sensitive connected content
US6363381B1 (en) * 1998-11-03 2002-03-26 Ricoh Co., Ltd. Compressed document matching
US7143434B1 (en) 1998-11-06 2006-11-28 Seungyup Paek Video description system and method
US7904187B2 (en) 1999-02-01 2011-03-08 Hoffberg Steven M Internet appliance system and method
US20020032734A1 (en) 2000-07-26 2002-03-14 Rhoads Geoffrey B. Collateral data combined with user characteristics to select web site
US20020052803A1 (en) * 1999-11-19 2002-05-02 Rahim Amidhozour Methods and apparatus for facilitating electronic commerce in area rugs
US6381510B1 (en) 1999-11-19 2002-04-30 Eruggallery.Com Methods and apparatus for facilitating electronic commerce in area rugs
US7657064B1 (en) 2000-09-26 2010-02-02 Digimarc Corporation Methods of processing text found in images
US6970860B1 (en) * 2000-10-30 2005-11-29 Microsoft Corporation Semi-automatic annotation of multimedia objects
US7099860B1 (en) * 2000-10-30 2006-08-29 Microsoft Corporation Image retrieval systems and methods with semantic and feature based relevance feedback
US7987186B1 (en) 2000-11-06 2011-07-26 Navteq North America, Llc Method and system for wavelet-based representation and use of cartographic data
US8103877B2 (en) 2000-12-21 2012-01-24 Digimarc Corporation Content identification and electronic tickets, coupons and credits
US6965683B2 (en) 2000-12-21 2005-11-15 Digimarc Corporation Routing networks for use with watermark systems
DE10105928A1 (de) * 2001-02-09 2002-08-29 Koenig & Bauer Ag Verfahren zum Auffinden von Elementen in einer Datenbank
US7552139B2 (en) * 2001-03-19 2009-06-23 Xerox Corporation Represented object groups
US20030018667A1 (en) * 2001-07-18 2003-01-23 Eastman Kodak Company Website using images as a navigational tool for user-created photopages on the internet
US7130864B2 (en) * 2001-10-31 2006-10-31 Hewlett-Packard Development Company, L.P. Method and system for accessing a collection of images in a database
US7339992B2 (en) 2001-12-06 2008-03-04 The Trustees Of Columbia University In The City Of New York System and method for extracting text captions from video and generating video summaries
EP1456810B1 (en) 2001-12-18 2011-05-11 L-1 Secure Credentialing, Inc. Multiple image security features for identification documents and methods of making same
US8370761B2 (en) * 2002-02-21 2013-02-05 Xerox Corporation Methods and systems for interactive classification of objects
US7824029B2 (en) 2002-05-10 2010-11-02 L-1 Secure Credentialing, Inc. Identification card printer-assembler for over the counter card issuing
GB2391648A (en) * 2002-08-07 2004-02-11 Sharp Kk Method of and Apparatus for Retrieving an Illustration of Text
GB2395805A (en) 2002-11-27 2004-06-02 Sony Uk Ltd Information retrieval
US8356019B1 (en) 2002-12-11 2013-01-15 Altera Corporation Method and apparatus for utilizing patterns in data to reduce file size
US7194106B2 (en) * 2003-04-03 2007-03-20 Digimarc Corporation Creating electronic forms through digital watermarking
EP1671235A4 (en) * 2003-09-23 2007-10-24 Amazon Com Inc CUSTOMIZED RESEARCH BANK WITH HIGH-PERFORMANCE CAPABILITIES FOR ACCESSING ELECTRONIC TEXT IMAGES ON THE BASIS OF MEMBERSHIP OF THE CORRESPONDING PHYSICAL TEXT
US7496560B2 (en) * 2003-09-23 2009-02-24 Amazon Technologies, Inc. Personalized searchable library with highlighting capabilities
US7382903B2 (en) * 2003-11-19 2008-06-03 Eastman Kodak Company Method for selecting an emphasis image from an image collection based upon content recognition
DE102004001212A1 (de) * 2004-01-06 2005-07-28 Deutsche Thomson-Brandt Gmbh Verfahren und Vorrichtung zum Durchsuchen einer Datenbank in zwei Suchschritten
US20050187782A1 (en) * 2004-02-24 2005-08-25 First Data Corporation System for maintaining account and presentation instrument data
JP2006025129A (ja) * 2004-07-07 2006-01-26 Canon Inc 画像処理システム及び画像処理方法
JP4208780B2 (ja) * 2004-07-07 2009-01-14 キヤノン株式会社 画像処理システム及び画像処理装置の制御方法並びにプログラム
JP2006023945A (ja) * 2004-07-07 2006-01-26 Canon Inc 画像処理システム及び画像処理方法
JP2006023944A (ja) * 2004-07-07 2006-01-26 Canon Inc 画像処理システム及び画像処理方法
DE102004050348B3 (de) * 2004-10-15 2006-05-18 Siemens Ag Verfahren zur Initialisierung eines Datennetzes
US20060106760A1 (en) * 2004-10-29 2006-05-18 Netzer Moriya Method and apparatus of inter-document data retrieval
JP4252030B2 (ja) * 2004-12-03 2009-04-08 シャープ株式会社 記憶装置およびコンピュータ読取り可能な記録媒体
US8566705B2 (en) * 2004-12-21 2013-10-22 Ricoh Co., Ltd. Dynamic document icons
WO2006096612A2 (en) 2005-03-04 2006-09-14 The Trustees Of Columbia University In The City Of New York System and method for motion estimation and mode decision for low-complexity h.264 decoder
CN101223510B (zh) * 2005-05-31 2010-06-23 科学园株式会社 监视方法以及监视系统
JP2007026386A (ja) * 2005-07-21 2007-02-01 Fuji Xerox Co Ltd 画像検索システム及び方法
US8683314B2 (en) * 2006-01-13 2014-03-25 Ricoh Co., Ltd. Tree pruning of icon trees via subtree selection using tree functionals
GB2455025A (en) * 2006-09-15 2009-06-03 Nielsen Co Methods and apparatus to identify images in print advertisements
CN100414548C (zh) * 2006-09-22 2008-08-27 南京搜拍信息技术有限公司 综合利用图像及文字信息的搜索系统及搜索方法
KR100898454B1 (ko) * 2006-09-27 2009-05-21 야후! 인크. 통합 검색 서비스 시스템 및 방법
US8117210B2 (en) 2006-10-06 2012-02-14 Eastman Kodak Company Sampling image records from a collection based on a change metric
JP4809198B2 (ja) * 2006-11-29 2011-11-09 株式会社リコー 画像処理機器，記事画像選択方法，プログラム，および記録媒体
US8676802B2 (en) * 2006-11-30 2014-03-18 Oracle Otc Subsidiary Llc Method and system for information retrieval with clustering
US20090064008A1 (en) * 2007-08-31 2009-03-05 Matsushita Electric Industrial Co., Ltd. User interaction for content based storage and retrieval
JP4811433B2 (ja) * 2007-09-05 2011-11-09 ソニー株式会社 画像選択装置、画像選択方法、およびプログラム
US20090112830A1 (en) * 2007-10-25 2009-04-30 Fuji Xerox Co., Ltd. System and methods for searching images in presentations
WO2009126785A2 (en) 2008-04-10 2009-10-15 The Trustees Of Columbia University In The City Of New York Systems and methods for image archaeology
FR2931974B1 (fr) * 2008-06-02 2010-07-30 Sagem Comm Procede et dispositif de numerisation
WO2009155281A1 (en) 2008-06-17 2009-12-23 The Trustees Of Columbia University In The City Of New York System and method for dynamically and interactively searching media data
US8671069B2 (en) 2008-12-22 2014-03-11 The Trustees Of Columbia University, In The City Of New York Rapid image annotation via brain state decoding and visual pattern mining
JP5025782B2 (ja) * 2010-02-17 2012-09-12 キヤノン株式会社 画像検索装置及び画像検索方法
CN102193934B (zh) * 2010-03-11 2013-05-29 株式会社理光 用于寻找图像集合中的代表性图像的系统和方法
US20110246453A1 (en) * 2010-04-06 2011-10-06 Krishnan Basker S Apparatus and Method for Visual Presentation of Search Results to Assist Cognitive Pattern Recognition
US10956475B2 (en) 2010-04-06 2021-03-23 Imagescan, Inc. Visual presentation of search results
US9361130B2 (en) * 2010-05-03 2016-06-07 Apple Inc. Systems, methods, and computer program products providing an integrated user interface for reading content
US11010432B2 (en) 2011-10-24 2021-05-18 Imagescan, Inc. Apparatus and method for displaying multiple display panels with a progressive relationship using cognitive pattern recognition
US9772999B2 (en) 2011-10-24 2017-09-26 Imagescan, Inc. Apparatus and method for displaying multiple display panels with a progressive relationship using cognitive pattern recognition
WO2013128850A1 (ja) * 2012-03-02 2013-09-06 ソニー株式会社 情報処理装置及び情報処理方法
US10783400B2 (en) * 2018-04-06 2020-09-22 Dropbox, Inc. Generating searchable text for documents portrayed in a repository of digital images utilizing orientation and text prediction neural networks
US11645295B2 (en) 2019-03-26 2023-05-09 Imagescan, Inc. Pattern search box

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0589176A (ja) * 1991-09-25 1993-04-09 Dainippon Printing Co Ltd 画像検索装置
JPH06251147A (ja) * 1993-02-23 1994-09-09 Nippon Telegr & Teleph Corp <Ntt> 映像特徴処理方法
JPH09237282A (ja) * 1996-03-01 1997-09-09 Ricoh Co Ltd 文書画像データベース検索方法、画像特徴ベクトル抽出方法、文書画像閲覧システム、機械読み取り可能な媒体及び画像表示方法

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0341347A (ja) * 1989-04-13 1991-02-21 Mitsubishi Rayon Co Ltd 欠陥検査方法およびその装置
US4974034A (en) * 1989-12-05 1990-11-27 Xerox Corporation Post-collation duplex copying system
US5761655A (en) * 1990-06-06 1998-06-02 Alphatronix, Inc. Image file storage and retrieval system
JPH0490054A (ja) * 1990-08-03 1992-03-24 Toshiba Corp 画像記憶検索装置
JPH04106460A (ja) * 1990-08-28 1992-04-08 Toshiba Corp 欠陥検出方法
US5483650A (en) * 1991-11-12 1996-01-09 Xerox Corporation Method of constant interaction-time clustering applied to document browsing
US5590317A (en) * 1992-05-27 1996-12-31 Hitachi, Ltd. Document information compression and retrieval system and document information registration and retrieval method
JPH0627774A (ja) * 1992-06-29 1994-02-04 Ricoh Co Ltd 用紙選択機能付き画像形成装置
US5499108C1 (en) * 1992-07-29 2001-01-16 Primax Electronics Ltd Document-driven scanning input device communicating with a computer
JP2900209B2 (ja) * 1992-10-12 1999-06-02 セイコーインスツルメンツ株式会社 光学的パターン認識方法および光学的パターン認識装置
JPH06215036A (ja) * 1992-12-10 1994-08-05 Xerox Corp ドキュメントコレクションの探索方法
JPH06189064A (ja) * 1992-12-17 1994-07-08 Tokyo Electric Co Ltd 光学式読取装置
US5553277A (en) * 1992-12-29 1996-09-03 Fujitsu Limited Image search method for searching and retrieving desired image from memory device
JPH06303425A (ja) * 1993-04-15 1994-10-28 Ricoh Co Ltd 像域分離方法
JPH0721344A (ja) * 1993-06-16 1995-01-24 Ricoh Co Ltd 画像形成記憶装置
CA2175187A1 (en) * 1993-10-28 1995-05-04 William K. Thomson Database search summary with user determined characteristics
US5668897A (en) * 1994-03-15 1997-09-16 Stolfo; Salvatore J. Method and apparatus for imaging, image processing and data compression merge/purge techniques for document image databases
US5748780A (en) * 1994-04-07 1998-05-05 Stolfo; Salvatore J. Method and apparatus for imaging, image processing and data compression
US5465353A (en) * 1994-04-01 1995-11-07 Ricoh Company, Ltd. Image matching and retrieval by multi-access redundant hashing
JPH07283906A (ja) * 1994-04-07 1995-10-27 Fujitsu Ltd 画像読み取り装置におけるデータ転送方法及びデータ転送装置並びにデータ転送装置付き画像読み取り装置
JP3634419B2 (ja) * 1994-07-25 2005-03-30 セイコーエプソン株式会社 画像処理方法および画像処理装置
US5604824A (en) * 1994-09-22 1997-02-18 Houston Advanced Research Center Method and apparatus for compression and decompression of documents and the like using splines and spline-wavelets
US5748931A (en) * 1994-10-24 1998-05-05 Infosis Group Ltd. Information display system for simultaneously displaying graphical images and text of a publication
JP3282937B2 (ja) * 1995-01-12 2002-05-20 日本アイ・ビー・エム株式会社 情報検索方法及びシステム
JPH0923429A (ja) * 1995-07-07 1997-01-21 Hudson Soft Co Ltd アニメ調画像データ圧縮方法
JP3733161B2 (ja) * 1995-08-01 2006-01-11 キヤノン株式会社 画像処理装置および方法
JPH09218957A (ja) * 1995-12-05 1997-08-19 Advantest Corp 画像処理方法
AUPN727295A0 (en) * 1995-12-21 1996-01-18 Canon Kabushiki Kaisha Zone segmentation for image display

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0589176A (ja) * 1991-09-25 1993-04-09 Dainippon Printing Co Ltd 画像検索装置
JPH06251147A (ja) * 1993-02-23 1994-09-09 Nippon Telegr & Teleph Corp <Ntt> 映像特徴処理方法
JPH09237282A (ja) * 1996-03-01 1997-09-09 Ricoh Co Ltd 文書画像データベース検索方法、画像特徴ベクトル抽出方法、文書画像閲覧システム、機械読み取り可能な媒体及び画像表示方法

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001125931A (ja) * 1999-10-27 2001-05-11 Nec Corp 物理ドメインを区分および再編成するために論理ドメインを定義および利用する方法
JP2002007413A (ja) * 2000-06-20 2002-01-11 Fujitsu Ltd 画像検索装置
JP2002230012A (ja) * 2000-12-01 2002-08-16 Sumitomo Electric Ind Ltd ドキュメントクラスタリング装置
JP2003203090A (ja) * 2002-01-07 2003-07-18 Ricoh Co Ltd 画像空間表示方法
JP2003330941A (ja) * 2002-05-08 2003-11-21 Olympus Optical Co Ltd 類似画像分類装置
JP2004029969A (ja) * 2002-06-21 2004-01-29 Japan Research Institute Ltd 属性情報検索装置、属性情報検索方法およびその方法をコンピュータに実行させるプログラム
JP2007080061A (ja) * 2005-09-15 2007-03-29 Univ Of Tsukuba Ｗｅｂページの検索方法及びＷｅｂページのクラスタリング方法
US8229956B2 (en) 2005-12-09 2012-07-24 Nec Corporation Text mining device, text mining method, and text mining program
JP4868170B2 (ja) * 2005-12-09 2012-02-01 日本電気株式会社 テキストマイニング装置、テキストマイニング方法、および、テキストマイニングプログラム
WO2007066704A1 (ja) * 2005-12-09 2007-06-14 Nec Corporation テキストマイニング装置、テキストマイニング方法、および、テキストマイニングプログラム
JP2010033358A (ja) * 2008-07-29 2010-02-12 Sony Corp 情報処理装置、情報処理方法、プログラム、および情報処理システム
US9235430B2 (en) 2008-07-29 2016-01-12 Sony Corporation Information processing apparatus, information processing method, program and information processing system
JP2010218181A (ja) * 2009-03-17 2010-09-30 Yahoo Japan Corp 画像検索装置
WO2011001584A1 (ja) * 2009-06-29 2011-01-06 日本電気株式会社 情報分類装置、情報分類方法及び情報分類プログラム
JPWO2011001584A1 (ja) * 2009-06-29 2012-12-10 日本電気株式会社 情報分類装置、情報分類方法及び情報分類プログラム
JP2013504795A (ja) * 2009-09-11 2013-02-07 サムワンズ グループ インテレクチュアル プロパティー ホールディングス プロプライエタリー リミテッド データベース検索方法、システムおよびコントローラ
JP7812429B1 (ja) * 2024-10-25 2026-02-09 みずほリサーチ＆テクノロジーズ株式会社 アイテム探索システム、アイテム探索方法及びアイテム探索プログラム

Also Published As

Publication number Publication date
DE19843445A1 (de) 1999-05-20
CN1216382A (zh) 1999-05-12
CN1101969C (zh) 2003-02-19
JP2006216031A (ja) 2006-08-17
GB2330930A (en) 1999-05-05
GB2330930B (en) 2000-04-05
US5995978A (en) 1999-11-30
GB9820556D0 (en) 1998-11-11
JP4236116B2 (ja) 2009-03-11

Similar Documents

Publication Publication Date Title
JP4236116B2 (ja) 画像特徴抽出方法及び装置
US6006226A (en) Method and system for document image feature extraction
JP4422290B2 (ja) 文書検索装置、コンピュータシステム、文書検索処理方法及び記憶媒体
US6606623B1 (en) Method and apparatus for content-based image retrieval with learning function
US9092458B1 (en) System and method for managing search results including graphics
US5832474A (en) Document search and retrieval system with partial match searching of user-drawn annotations
JP4540970B2 (ja) 情報検索装置及びその方法
JP2816241B2 (ja) 画像情報検索装置
JPH09237282A (ja) 文書画像データベース検索方法、画像特徴ベクトル抽出方法、文書画像閲覧システム、機械読み取り可能な媒体及び画像表示方法
Chang et al. Extracting multidimensional signal features for content-based visual query
Saykol et al. Content-based retrieval of historical Ottoman documents stored as textual images
US20090150376A1 (en) Mutual-Rank Similarity-Space for Navigating, Visualising and Clustering in Image Databases
KR100471927B1 (ko) 웹 기반 영상 데이터 검색 시스템 및 그 방법
US7627176B2 (en) Apparatus, method, and computer program for analyzing document layout
CN101251857B (zh) 用于信息存储和检索的系统、设备和方法
JP4937578B2 (ja) 情報処理方法
Wang SIMPLIcity: a region-based retrieval system for picture libraries and biomedical image databases
JPH11250106A (ja) 内容基盤の映像情報を利用した登録商標の自動検索方法
Cheikh MUVIS-a system for content-based image retrieval
JPH08287086A (ja) 適合度順画像強調表示方法及び装置
White et al. ImageGREP: Fast visual pattern matching in image databases
Valova et al. Retrieval by Color Features in Image Databases.
Grana et al. Picture extraction from digitized historical manuscripts
Abdel-Mottaleb et al. Aspects of multimedia retrieval
JPH07160879A (ja) 画像処理方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050712

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050802

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050930

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20051122