JPH0451363A - 画像情報検索装置 - Google Patents

画像情報検索装置

Info

Publication number
JPH0451363A
JPH0451363A JP2159727A JP15972790A JPH0451363A JP H0451363 A JPH0451363 A JP H0451363A JP 2159727 A JP2159727 A JP 2159727A JP 15972790 A JP15972790 A JP 15972790A JP H0451363 A JPH0451363 A JP H0451363A
Authority
JP
Japan
Prior art keywords
image
information
retrieval device
area
information retrieval
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2159727A
Other languages
English (en)
Other versions
JP2816241B2 (ja
Inventor
Yasuo Kurosu
康雄 黒須
Shuhei Wada
和田 州平
Yoshihiro Yokoyama
横山 佳弘
Hidefumi Masuzaki
増崎 秀文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2159727A priority Critical patent/JP2816241B2/ja
Priority to US07/717,914 priority patent/US5369742A/en
Publication of JPH0451363A publication Critical patent/JPH0451363A/ja
Application granted granted Critical
Publication of JP2816241B2 publication Critical patent/JP2816241B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53Querying
    • G06F16/532Query formulation, e.g. graphical querying
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S706/00Data processing: artificial intelligence
    • Y10S706/90Fuzzy logic

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、画像の登録および検索方式に係り、特に文書
画像のレイアウト情報を利用して検索する画像情報検索
装置に適用して好適な画像の登録検索方式に関する。
〔従来の技術〕
近年、画像ファイル装置がワードプロセッサ、パーソナ
ルコンピュータ、ファクシミリに続く第4のOA機器と
して登場し、オフィスやデザイン部門のペーパーレス化
を推進する手段として注目を集めている。この画像ファ
イル装置は、光ディスクを利用してイメージ情報を大量
に蓄積し、必要に応じて即座に取り出して印刷できるよ
うになっている。したがって、特に大量の文書が発生す
る部門への浸透には著しいものがあり、大量に蓄積され
た文書の中から所望の文書を取り出す検索の効率化が画
像ファイル装置の大きな課題の一つとなっている。
そこで、効果的な検索を実現するため、キーワードを利
用した方法が広く流布している。すなわち、画像データ
を登録する際にその画像の内容を指し示す単語をキーワ
ードとして付加する。そして、検索に際してこのキーワ
ードを用いて所望の画像を探索する。このキーワードの
付は方は、画像の概念を表わす重要語句を割当てる方法
が普通である。しかし、キーワードは所詮語句にすぎな
いため、画像本来が持つパターン的な特徴を十分表現で
きないという欠点があった。
従来これらの不都合を解消する装置として、特開昭60
−83179号公報記載の装置が挙げられる。
この従来技術は、原画像の線図形をキーワードとして利
用することによって、人間の直観に合致する画像検索を
達成している。
すなわち、登録する画像を入力装置で読み取り、読み取
った画像を表示する。この表示画像の輪郭をポインティ
ングデバイス(マウス、タブレット等)を用いて、人手
でなぞる作業を行なう。そして、なぞって出来た図形を
縮小して、キーワードとする。
このようにして作成した縮小図形は画像の特徴部分だけ
が抽出されているため、所望の画像と別の画像とを容易
に識別できる。また縮小することにより、表示画面上に
作成した多数のキーワードを一括して表示できる。
最後に、表示された縮小図形をポインティングデバイス
等により指定すれば、所望の画像を光ディスクから読み
出せるようになっていた。
以上述べたように、従来技術を用いた装置は、図形その
ものをキーワードとして定義できるようになっていた。
したがって、操作者の直観に合致した概念パターンをキ
ーワードとして利用できるので、大容量の光ディスクか
ら目的の画像を容易に検索出来るようになっていた。
なお、この種の装置として関連するものには例えば、特
開昭60−19275号、62−72067.62−9
3757号公報等が挙げられる。
〔発明が解決しようとする課題〕
前述のように、上記従来技術によれば、画像入力時に線
図形を抽出し、これをキーワードとして利用できるため
、語句にキーワードと異なり、より人間の直観に合った
検索が出来るようになった。
しかしながら従来技術は、入力画像−枚一枚に対して概
形キーワードをなぞって作成するため、登録作業に多大
な時間を要するという欠点が残った。
また、検索に際して、登録した概形パターンを一覧表示
し、この中から所望の形状を選択するため、蓄積される
画像の枚数に比例して検索時間が伸びるという欠点も残
った。
さらに、検索に際して、登録した概形パターンが原画像
と一対一の対応を取っているため、たとえ類似した画像
を所望したとしても、所望した画像に対応する概形パタ
ーンを選択しない限り、検索出来ないという欠点も残っ
た。
本発明の目的は、大量の文書画像を蓄積する画、 7 像情報検索装置において、登録や検索に多大な時間を要
することなく、さらにあいまいさを許容した上で人間の
直観に合致した登録検索方式を提供することにある。
〔課題を解決するための手段〕
上記目的を達成するために、本発明は、画像情報検索装
置において、まず写真と他の部分の領域情報を抽出し、
画像と共に登録する。次に検索情報として全体画像に対
する写真の位置情報を指定し、この情報に基づいて生成
したファジーマスクと既登録の領域情報との間でコンボ
リューションの演算を実行する。最後に、評価値の大き
い順にN枚の画像を検索結果として出力するものである
ここで、本発明におけるファジーマクスを説明する。フ
ァジーマスクは、集合の境界を明瞭にしないまま扱うフ
ァジー集合論を基に考案した。すなわち、ファジー集合
は次のように表現される。
問題の対象領域すべてを覆う全集合をUとする。
Uのファジ一部分集合Fは、メンバシップ関数μF (
Ij)で規定する。メンバシップ関数μF(u)は、U
の要素Uをファジー集合Fへの所属度を表わす[0,1
] の数値へ写像する関数である。例えば0〜100歳
の人間の集合を全集合とし、ファジー集合young、
 m1ddle、 oldのメンバシップ関数は次の様
に定義できる。
young= μyoung(u)=110+1/lo
+o、 8/20+−0,3730m1ddle−μm
1ddle(u)=0.5730+1/40+0.51
50o]、d= μold(u)=0.4150十0.
8/60+1/70+1/80+1/90この例から明
らかな様に、30歳の人間はyoungに0.3、m1
ddleに0.5、oldに0.0の所属度を表わす。
この考え方を2次元に拡張して考案したものがファジー
マスクである。すなわち、検索時に指定された位置情報
に基づいて、指定位置が最大(丁)になるようなメンバ
シップ関数を定義し、これをファジーマスクと呼ぶもの
とする。このメンバシップ関数の設定条件は、指定位置
を1とし、その距離に反比例した[0.]、]の数値で
ある。したがって具体的な関数としては、線形でも、非
線形でも良く、利用環境に最も合致したものを選択する
なお、本発明においては、上記N枚の画像を出力する替
わりに、最大の評価値を示した一枚の画像を結果として
出力することもできる。
」1記領域情報を抽出する手段として画像の濃度勾配を
利用することもできる。
上記写真の位置情報として言語情報やレイアウトパター
ンを表示することもできる。
また本発明においては、上記写真の領域情報の他に、(
1)図形、(2)空白または黒べた、(3)文字の領域
情報を利用することもでき、各々の領域情報を抽出する
手段として、(1)単位面積当たりの零交差回数、(2
)単位面積当たりの平均濃度、(3)前2者と濃度勾配
との組み合わせでも達成できる。
また、本発明においては、4種類の領域情報を単独に利
用できる他に、複合して利用することによっても達成で
きる。
さらに、本発明は、他の見地によれば、画像情報を蓄積
する光ディスクにおいて、画像データ部に原画像を格納
し、インデツスク部に原画像に対応する写真の領域情報
を格納することにより達成できる。
〔作用〕
上述した本発明の構成において、画像情報検索装置は、
登録と検索の2種類の処理を実行する。
まず、登録は、画像と属性情報の処理に大別できる。画
像は、現行の画像ファイル装置と同様の手順で登録する
。すなわち、文書をスキャナから入力し、2値化処理を
経て光ディスクに格納する。
属性情報は、検索時に登録された各画像からレイアウト
情報を得るため、写真の領域情報を登録する。
ここで、写真の領域情報の抽出は、入力画像の性質に着
目し、これを利用する。すなわち、画像は、属性毎に異
なる濃度勾配を示し、文字部分に比べ写真部分はゆるや
かな勾配特性を持っている。
そこで、入力が像に対して微分を施こし、この値が小さ
い領域を写真部分と判定する。そして、写真部分と判定
された部分をブロックに統合し、写真を “′l゛、そ
の他を“0゛で表現し、光ディスクに登録する。
° 12゛ この様に処理される様子を第2図を参照して説明する。
第2図は、写真混在文書における濃度波形と濃度勾配(
微分値)を示す模式図である。左側に示した原画像の適
切な一ラインを切り出し、右側に対応する濃度波形と微
分値の波形を示している。この図から明らかな様に、文
字部分は濃度が急峻に変化し、この挙動に対応して微分
値は高い値を示している。また写真部分は、逆に、濃度
がゆるやかに変化し、微分値は小さな値を示している。
したがって、微分値の小さな領域を抽出することにより
、自然に写真領域を抽出できる。
以」二の説明で明らかな様に、属性情報の登録に当たっ
ては、操作者の介在は不要である。したがって、操作者
が登録に関与しないため、光ディスクへの登録を自動化
できる。
検索処理は、ファジーマスクの生成とこれを用いたスク
リーニング処理に大別できる。ファジーとは、“真““
偽゛′等の論理集合ではなく、中間値を許容した集合で
ある。例えば、画像のある領域が写真部分の真偽はどう
かの問いに対して、0.7の真であるという答えを用意
し、あいまいさを許容している。このファジーマスクの
生成に当たっては、この考え方を利用する。
すなわち、所望する写真の位置情報が判明すると、この
位置を中心に1.0から0.0の値を取るファジーマス
クを生成する。
また、スクリーニング処理は、登録時に作成した領域情
報とこのファジーマスクとの間でコンボリューションを
演算する。この評価値は、所望する位置に写真が有れば
、その値が高くなり、離れれば離れるほど小さくなる傾
向にある。したがって、評価値の大きな画像から順に表
示装置に出力すれば、所望のレイアウトを持つ順に画像
が表示される。
このように処理されるファジーマスクとスクリニングの
様子を第3図を参照して説明する。第3図は、ファジー
マスクと3枚の画像に対応する領域情報との間の演算を
示す模式図である。第3図(a)は、写真が左上にレイ
アウトされた画像を所望した時に生成されるファジーマ
スクを示し、(b)は上から順に左上、女中、左下に写
真がレイアウトされた画像に対応する領域情報を示し、
(C)は各々に対応した演算結果の様子を示している。
まず、最上段の領域情報は、所望の位置に写真が有るた
め、評価値が最も大きく、中段は中位の値を取り、最下
段は小さな値を取る。したがって、所望の位置との距離
が近い順に、大きな評価値を出力するため、この順で画
像を出力する。
また、ファジーを用いずに、通常の論理を用いると、最
上段が真となり、他は偽となる。したがって、ファジー
マスクを用いることにより、女中も出力できるようにな
り、あいまいさを許容した類似検索が可能となる。
なお、この説明では、レイアラ)・の指定に言語を用い
ているが、表示画面に複数のレイアウトを表示し、選択
させても等価である。
さらに、領域情報として写真を用いているが、図形、空
白または黒べた、文字を用いても等価である。この内処
理の難しい図形が処理される様子を第4図を参照して説
明する。第4図は、図形混在文書における2値化の断面
と単位面積当たりの零交差回数を示す模式図である。
左側に示した原画像の適切な一ラインを切り出し、右側
に対応する2値化断面と零交差回数を示している。この
図から明らかなように、文字部分は白黒の変化点が密集
し、この挙動に対応して零交差回数は高い値を示してい
る。また図形部分は逆に、変化点が疎らで、零交差回数
は小さな値を示している。したがって、単位面積当たり
の零交差回数の小さな領域を抽出することにより、自然
に図形領域を抽出することができる。
以上の説明で明らかなように、検索に当っては文書の持
つレイアウト情報で検索でき、しかも指示に要する時間
も短かく、類似した画像も検索することができる。
以上述べた処理手順にしたがって、光ディスクへの登録
および検索を実行する。
かくして本発明によれば、登録や検索に多大な操作時間
を要することなく、人間の直観に結びつく文書のレイア
ウト情報であいまい性を許容した・・、j5 1゜ 検索ができるので、従来と比べ飛躍的に使い勝手が向上
した画像情報検索装置を提供することができる。
〔実施例〕
以下、本発明の実施例について図面により説明する。
第1図は本発明による一実施例のブロック図である。1
は入力文書の光学画像からディジタル画像を得るスキャ
ナ、2はディジタル画像を一時蓄える入力バッファメモ
リ、3はデジタル画像から写真の位置を自動的に抽出す
る写真領域抽出、4は大量の画像と属性情報を蓄積する
光ディスク、5は検索条件を入力するキーボード、6は
ファジーマスクを設定するファジーマスク生成、7は画
像の領域情報とファジーマスクの間でコンボリューショ
ンを取るコンボリューション演算、8は評価値の上位N
個を選択する評価値判定、9は評価値判定の結果に従っ
て光ディスクから該当画像を読み出す出力バッファメモ
リ、10は読み出された画像を順次表示するデイスプレ
ィである。
次に本実施例の動作を登録と検索に分けて説明する。
まず、登録処理では、スキャナ1に入力された文書は光
学的に走査された後、ディジタル画像に変換され入力バ
ッファメモリ2に入力される。
入力バッファメモリ2に入力されたディジタル画像は、
ここに−時的に格納された後、タイミングを取って写真
領域抽出3と光ディスク4に出力される。
写真領域抽出3に入力されたディジタル画像は濃度勾配
の差異に着目した判別法を用いて、写真領域が抽出され
る。まず、−画素毎に微分が施こされ、濃度勾配を定量
化する。次に、写真領域が否かの判定を行い、写真領域
には“′1゛を立て、他の領域は“0°゛を立てる。こ
こで判定の基準は、比較的微分値が小さく、がっ零付近
を除いた値とする。なぜなら、零付近の微分値を取る画
像は空白であり、大きな値は文字図形領域を示すからで
ある。最後に、100 X 100画素で多数決を行な
い、ブロックに統合すると共に情報圧縮を図る。この統
合化により、写真の領域情報を画像の1万分の1程度に
圧縮すると共に、誤判定によるノイズを除去できる。こ
の様な手順で作成された写真の領域情報は入力画像の属
性情報として光ディスク4に出力される。
光ディスク4に入力された画像と属性情報は、対を成す
情報として、前者が画像データ部に格納され、後者がイ
ンデックス部に格納される。
以上、一連の登録動作を繰り返すことにより、光ディス
ク4に大量の画像が蓄積される。
一方、検索処理では、キーボード5から所望の検索条件
が入力される。例えば右上に写真の入った文書画像を検
索したい場合は、キーボードから、“右上パと入力する
。熱論、デイスプレィ上に各種レイアウトパターンを表
示し、この中から選択しても等価である。入力された検
索条件はファジーマスク生成6に出力される。
ファジーマスク生成6に入力された検索条件は分析され
、ファジーマスクを生成する。ファジーマスクはレイア
ウト情報によるあいまい検索を実行するキーコンポーネ
ントで、ファジー理論に基づいて考案した。形状に関し
ては第3図に示したが、所望の指定点を1.0として距
離に反比例して0.0に収束する関数が設定される。な
お次元は、登録した領域情報との間でコンボリューショ
ン演算を実行するため、領域情報と同一とする。また、
反比例の関数を設定したが、2次曲線であっても、指数
関数であっても差しつかえない。また柔軟性を犠牲にす
るつもりなら、標準的なマスクパターンを用意しておく
だけでも差しつかえない。以上の手順で作成されたファ
ジーマスクはコンボリューション演算7へ出力される。
コンボリューション演算7では、ファジーマスクの他に
、光ディスク4から領域情報が入力され、以下の式に従
って演算される。
F、ve−ΣFII7.(X、3+)XREG(X、い
−(])ここで、Eveは画像レイアウトの類似度を表
わす評価値、Fuz(x、y)はファジーマスク、RE
G(x、 y)は写真の領域情報である。作成したファ
ジーマスクに対して光ディスク4に格納された領域情報
が° 19゜ 20゛ 順次読み出され、演算結果が評価値判定8へ出力される
。以降、光ディスクに格納された全領域情報が読み出さ
れるまで繰り返される。
評価値判定8へ入力された登録画像数に相当する評価値
は、値の大きい順にソートされ、上位N個が選択される
。これらN個の値に相当する画像番号が出力バッファメ
モリ9に出力される。
出力バッファメモリ9に入力された画像番号に従って、
該当画像が光ディスク4から読み出され、評価値の大き
な順に出力バッファメモリ9を介して、デイスプレィ1
0に表示される。
ここで、類似画像N枚を表示する替わりに、評価値の最
大値を取る一枚を表示しても差しつかえない。
以」二の説明から明らかなように、本実施例によれば、
画像と共に写真の領域情報を自動的に登録し、検索時に
所望のレイアウトのファジーマスクとの間でコンボリュ
ーションを取り、評価値の大きな画像を順次表示できる
ようにした。したがって、登録、検索時間を削減した上
で、人間の直観に合致したあいまい画像検索が実現でき
、画像ファイル装置のマン−マシンインターフェースを
大幅に改善することができる。
上記実施例では、領域情報として写真部分を利用する構
成となっているが、文字/図形/空白部分あるいはこれ
らを複合して利用する構成としても良い。
さらに本発明の他の実施例について図面により説明する
。第5図は本発明の第2の実施例の構成を示すブロック
図である。
第5図の構成は、基本的には第1図と同じであるが、プ
ログラム制御の考え方を取り入れ、より柔軟性に富む構
成を可能にしている。51は装置全体をコントロールす
るCPU (中央処理装置、Central Pros
sesing Unit ) 、52はCPU51を制
御するプログラムとテーブル類が格納されている主メモ
リ、53は紙面を電気的な画像データに変換するスキャ
ナ、54は入力した画像データを写真領域とその他の領
域に判別する写真領域抽出回路、55はスキャナ53の
駆動信号を生成し画像データと写真の領域情報を転送す
るスキャナ制御回路、56は入力した画像データと写真
の領域情報を蓄積するイメージメモリ、57は画像デー
タに対して符号化、復号、切貼り等の画像処理を施こす
イメージプロセッサ、58は画像データを表示するデイ
スプレィ、59は同期信号を生成し画像データとともに
デイスプレィ58に転送するデイスプレィ制御回路、6
0は操作者からの指示情報を入力するキーボード、61
はキーボード60からの指示情報をサンプリングしCP
U51へ転送するキーボード制御回路、62は画像デー
タを紙面に印刷するプリンタ、63はプリンタ62の駆
動信号を生成し画像データを転送するプリンタ制御回路
、64は画像データと写真の領域情報を対で蓄積する光
ディスク、65は光ディスク64の駆動信号を生成し画
像データと写真の領域情報を転送する光デイスク制御回
路である。
つぎに本実施例の動作を登録と検索に分けて説明する。
まず、登録処理では、主メモリ52に格納されたプログ
ラムに基づいてCPU51からスキャナ制御回路55に
起動が掛けられる。起動されたスキャナ制御回路55は
スキャナ53を駆動し、画像データを入力する。
入力された画像データは写真領域抽出回路54に送られ
、濃度勾配の差異に着目した判別法により写真領域が抽
出される。すなわち、−画素毎に微分が施され、緩やか
な勾配を示す画素を写真と判定し、“1゛′を立て他の
画素は°“0゛とする。次に、情報圧縮を図ると共に、
ブロックに統合するため、領域情報を100 X 10
0程度で多数決を行ない、このブロックを1bitで表
現する。
処理された画像データと写真の領域情報はスキャナ制御
回路55、イメージバス66を介してイメージメモリ5
6に格納される。
つぎに、イメージメモリ56に格納された写真の領域情
報を画像データに対する属性情報として光ディスク64
のインデックス部に登録する。すなわち、写真の属性情
報がイメージメモリ56から読み出され、また他の属性
情報が主メモリから読み出され、光デイスク制御回路6
5を介して光ディスク° 23゛ ° 24゜ 64の所定の位置に登録される。ここで、他の属性情報
とは、自動的に計測可能な光ディスクの格納番地、デー
タ長、画像データの横幅、縦長等の値である。
最後に、画像データの本体である画像データ部を光ディ
スク64に登録する。すなわち、CPU51がイメージ
プロセッサ57に起動を掛け、イメージメモリ56に格
納された画像データを符号データに変換する。M H(
Modif ied Huffman)あるいはM2R
(Modified” READ)方式等で符号化され
た画像データは、光ディスク64の画像データ部に登録
される。
つまり、これらの符号データはイメージメモリ56から
読みだされ、光デイスク制御回路65を介して光ディス
ク64の所定の位置に登録される。
以上の一連の登録処理を画像データが入力される毎に繰
り返すことにより、光ディスク64に大量の画像が蓄積
される。
一方、検索処理では、主メモリ52に格納されたプログ
ラムに基づいてCPU51がらキーボード制御回路61
に起動が掛けられる。起動されたキーボード制御回路6
1はキーボード60がら所望の検索条件を入力する。入
力される検索条件は、文書画像における写真のレイアウ
ト情報で、主メモリ52に格納される。
主メモリ52に格納された検索条件は分析されファジー
マスクが生成される。ファジーマスクはレイアウト情報
によるあいまい検索を実行するキーコンポーネンl〜で
、ファジー理論に基づいて考案した。所望の写真位置を
中心に1.0がらo、oに収束する山形の形状を持ち、
小数点で表現することによりあいまいさを許容する。
作成されたファジーマスクは主メモリ52に格納され、
光ディスク64から読み出された写真の領域情報との間
で式(1)の演算が実行される。以後、光ディスク64
に蓄積された全領域情報に対する演算が完了するまで繰
り返される。
演算が終了すると、主メモリ52上に各画像に対する評
価値と光ディスクの格納番地の一覧表が作成される。指
定したレイアウトと類似した画像データを類似度の順に
選択するため、評価値の太きい順にソー!・され、上位
N個の格納番地がCPU51を介して光デイスク制御回
路65に通知される。
通知された格納番地に従って圧縮された画像データが光
ディスク64から読み出され、イメージメモリ56に格
納される。格納された符号データはイメージプロセッサ
57により伸張され、画像データに変換される。最後に
、伸張された画像データはデイスプレィ制御回路59を
介してデイスプレィ58に表示される。
以上の操作を繰り返し、評価値の高い順に画像データを
デイスプレィ58に表示し、所望の文書画像が表示され
た時点で処理を終了する。
所望の文書画像がデイスプレィ58」二に得られたら、
必要に応じてプリンタ制御回路63に起動を掛け、プリ
ンタ62により紙面に印刷する。
〔発明の効果〕
以上説明したように本発明によれば、検索に用いる領域
情報を画像の性質に着目した特徴抽出で自動的に求める
構成となっている。このため、従来の人手による線図形
の抽出作業を全廃することができる。したがって、登録
時の人手作業が不要となり、ひいては画像データの全自
動登録を可能にできるという効果がある。
また、検索条件の指示に画像属性のレイアウトを利用す
る構成となっている。このため、従来の抽象化した多数
の線図形を順次提示する煩雑な処理が不要と成り、検索
条件を瞬時に指定できる。
したがって、検索操作におけるマン−マシンインターフ
ェースを大幅に改善できるという効果がある。
さらに、ファージマスクを用いたマツチングにより画像
の類似度を評価する構成となっている。
このため、従来の線図形と画像が一体一対応の場合と異
なり、レイアウトの類似した画像も検索できる。したが
って、操作者がレイアウトを正確に記憶していなくても
、あいまいに検索できるという効果がある。
図、第2図は写真の領域情報を抽出する原理を示す模式
図、第3図はファジーマスクによる演算過程を示す模式
図、第4図は図形の領域情報を抽出する原理を示す模式
図である。
1・・・スキャナ    2・・・バッファメモリ3・
・・写真領域抽出  4・・・光ディスク5・・・キー
ボード   6・・・ファジーマスク生成7・・・コン
ボリューション演算 8・・・評価値判定   9・・・出力バッファメモリ
10・・・デイスプレィ

Claims (1)

  1. 【特許請求の範囲】 1、文書等の画像を入力する手段と、該画像と検索のた
    めの情報を対応して蓄積する手段と、検索条件を入力し
    て前記画像を検索する手段と、該検索した画像を出力す
    る手段よりなる画像情報検索装置において、 前記検索のための情報として写真の領域情報を抽出し、
    画像と共に蓄積し、前記検索条件として全体画像に対す
    るレイアウト情報を指定し、該レイアウト情報に基づい
    て生成したファジーマスクと前記写真の領域情報との間
    でコンボリューションを取り、該評価値か大きな順にN
    枚の画像を結果として出力することを特徴とする画像情
    報検索装置。 2、請求項1項記載の画像情報検索装置において、前記
    N枚の画像の替わりに、最大の評価値を示した一枚の画
    像を結果として出力することを特徴とする画像情報検索
    装置。 3、請求項1項記載の画像情報検索装置において、前記
    写真の領域情報を抽出する手段として、前記画像の濃度
    勾配を利用することを特徴とする画像情報検索装置。 4、請求項1項記載の画像情報検索装置において、前記
    レイアウト情報として“左上”、“右下”等の言語情報
    を利用することを特徴とする画像情報検索装置。 5、請求項4項記載の画像情報検索装置において、前記
    言語情報の替わりに、複数のレイアウトパターンを表示
    し、この中から選択することを特徴とする画像情報検索
    装置。 6、請求項1項記載の画像情報検索装置において、前記
    写真の領域情報の替わりに、図形の領域情報を抽出する
    ことを特徴とする画像情報検索装置。 7、請求項6項記載の画像情報検索装置において、前記
    図形の領域情報を抽出する手段として、前記画像におけ
    る単位面積当たりの零交差回数を利用することを特徴と
    する画像情報検索装置。 8、請求項1項記載の画像情報検索装置において、前記
    写真の領域情報の替わりに、空白又は黒べたの領域情報
    を抽出することを特徴とする画像情報検索装置。 9、請求項8項記載の画像情報検索装置において、前記
    空白又は黒べたの領域情報を抽出する手段として、前記
    画像における単位面積当たりの平均濃度を利用すること
    を特徴とする画像情報検索装置。 10、請求項1項記載の画像情報検索装置において、前
    記写真の領域情報の替わりに、文字の領域情報を抽出す
    ることを特徴とする画像情報検索装置。 11、請求項10項記載の画像情報検索装置において、
    前記文字の領域情報を抽出する手段として、前記画像に
    おける濃度勾配と単位面積当たりの零交差回数および単
    位面積当たりの平均濃度を組み合わせて利用することを
    特徴とする画像情報検索装置。 12、請求項1、6、8、又は10項記載の画像情報検
    索装置において、前記各単一種類の領域情報を利用する
    替わりに、複数種類の領域情報を組み合わせて利用する
    ことを特徴とする画像情報検索装置。 13、入力された画像を格納する画像データ部と、該画
    像の属性情報を格納するインデックス部を備えた光ディ
    スクにおいて、 画像データ部に原画像を格納し、インデックス部に該原
    画像に対応する写真の領域情報を格納することを特徴と
    する画像ファイル装置。 14、文書等の画像と検索のための情報を対応して蓄積
    しておき、検索条件を入力して該画像を検索し、出力す
    る画像情報検索方法において 前記検索のための情報として前記画像の特定領域の領域
    情報を抽出して蓄積しておき、前記検索条件としてレイ
    アウト情報を指定し、該レイアウト情報に基づいて作成
    したファジーマスクと該領域情報との間でマッチングを
    取り、該マッチングの評価値の大きいものを出力するこ
    とを特徴とする画像情報検索方法。 15、請求項14記載の画像情報検索方法において、前
    記特定領域が写真領域であることを特徴とする画像情報
    検索方法。
JP2159727A 1990-06-20 1990-06-20 画像情報検索装置 Expired - Fee Related JP2816241B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2159727A JP2816241B2 (ja) 1990-06-20 1990-06-20 画像情報検索装置
US07/717,914 US5369742A (en) 1990-06-20 1991-06-20 Image file and retrieving apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2159727A JP2816241B2 (ja) 1990-06-20 1990-06-20 画像情報検索装置

Publications (2)

Publication Number Publication Date
JPH0451363A true JPH0451363A (ja) 1992-02-19
JP2816241B2 JP2816241B2 (ja) 1998-10-27

Family

ID=15699959

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2159727A Expired - Fee Related JP2816241B2 (ja) 1990-06-20 1990-06-20 画像情報検索装置

Country Status (2)

Country Link
US (1) US5369742A (ja)
JP (1) JP2816241B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004272933A (ja) * 2004-06-03 2004-09-30 Toshiba Corp 顔画像監視システム

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69223979T2 (de) * 1991-10-04 1998-08-27 Omron Tateisi Electronics Co Fuzzy-züruckgewinnungsgerät und verfahren dafür
JP3210102B2 (ja) * 1992-11-17 2001-09-17 松下電器産業株式会社 電子化文書ファイリング装置及びファイリング文書検索方法
US5553277A (en) * 1992-12-29 1996-09-03 Fujitsu Limited Image search method for searching and retrieving desired image from memory device
JP3083676B2 (ja) * 1993-05-21 2000-09-04 株式会社日立製作所 デ−タファイル装置
US5860075A (en) * 1993-06-30 1999-01-12 Matsushita Electric Industrial Co., Ltd. Document data filing apparatus for generating visual attribute values of document data to be filed
JPH07319918A (ja) * 1994-05-24 1995-12-08 Fuji Xerox Co Ltd 文書検索対象指示装置
US5745907A (en) * 1994-10-18 1998-04-28 Canon Kabushiki Kaisha Image registering apparatus, image registering method, and its system
US5926824A (en) * 1994-11-16 1999-07-20 Canon Kabushiki Kaisha System and method for retrieving a document by inputting a desired attribute and the number of areas in which the attribute occurs as a retrieval condition
US5945982A (en) * 1995-05-30 1999-08-31 Minolta Co., Ltd. Data administration apparatus that can search for desired image data using maps
US5887081A (en) * 1995-12-07 1999-03-23 Ncr Corporation Method for fast image identification and categorization of multimedia data
US5893129A (en) * 1996-08-08 1999-04-06 U S West, Inc. Document storage and reproduction method
US6055336A (en) * 1996-11-18 2000-04-25 Canon Kabushiki Kaisha Image processing system which converts multi-value image data into binary image data
JP3173411B2 (ja) * 1997-03-17 2001-06-04 富士ゼロックス株式会社 関連文書検索装置及び関連文書検索プログラムを記録した記録媒体
US6469698B2 (en) * 1997-12-24 2002-10-22 Canon Kabushiki Kaisha Image display apparatus
US6269188B1 (en) 1998-03-12 2001-07-31 Canon Kabushiki Kaisha Word grouping accuracy value generation
US6243501B1 (en) 1998-05-20 2001-06-05 Canon Kabushiki Kaisha Adaptive recognition of documents using layout attributes
US6445460B1 (en) * 1999-04-13 2002-09-03 Flashpoint Technology, Inc. Method and system for providing and utilizing file attributes with digital images
US7171468B2 (en) * 2001-11-10 2007-01-30 Kabushiki Kaisha Toshiba System and method for accessing a document management repository
US7139097B2 (en) * 2002-03-11 2006-11-21 Kabushiki Kaisha Toshiba Paperless print
JP2005135118A (ja) * 2003-10-30 2005-05-26 Fuji Photo Film Co Ltd 図面管理システム
US20050166156A1 (en) * 2004-01-23 2005-07-28 Microsoft Corporation System and method for automatically grouping items
JP4477468B2 (ja) * 2004-10-15 2010-06-09 富士通株式会社 組み立て図面の装置部品イメージ検索装置
JP2006174167A (ja) * 2004-12-16 2006-06-29 Canon Inc 画像処理装置およびその方法
US7392473B2 (en) * 2005-05-26 2008-06-24 Xerox Corporation Method and apparatus for determining logical document structure
US7801392B2 (en) * 2005-07-21 2010-09-21 Fuji Xerox Co., Ltd. Image search system, image search method, and storage medium
US8813021B1 (en) 2006-02-16 2014-08-19 Cypress Semiconductor Corporation Global resource conflict management for an embedded application design
JP4951373B2 (ja) * 2007-03-13 2012-06-13 株式会社リコー 画像検索装置、画像検索方法、及びコンピュータプログラム
JP5098559B2 (ja) * 2007-10-11 2012-12-12 富士ゼロックス株式会社 類似画像検索装置、及び類似画像検索プログラム
JP6868186B2 (ja) * 2017-03-24 2021-05-12 富士フイルムビジネスイノベーション株式会社 検索情報生成装置、画像処理装置、検索情報生成プログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62137974A (ja) * 1985-12-12 1987-06-20 Ricoh Co Ltd 画像処理方式
US4899292A (en) * 1988-03-02 1990-02-06 Image Storage/Retrieval Systems, Inc. System for storing and retrieving text and associated graphics
JPH02195480A (ja) * 1989-01-25 1990-08-02 Hitachi Ltd 画像データの検索方式
US5020019A (en) * 1989-05-29 1991-05-28 Ricoh Company, Ltd. Document retrieval system
US5159667A (en) * 1989-05-31 1992-10-27 Borrey Roland G Document identification by characteristics matching
US5133024A (en) * 1989-10-24 1992-07-21 Horst Froessl Image data bank system with selective conversion
US5121224A (en) * 1990-06-01 1992-06-09 Eastman Kodak Company Reproduction apparatus with selective screening and continuous-tone discrimination
US5193122A (en) * 1990-12-03 1993-03-09 Xerox Corporation High speed halftone detection technique

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004272933A (ja) * 2004-06-03 2004-09-30 Toshiba Corp 顔画像監視システム

Also Published As

Publication number Publication date
JP2816241B2 (ja) 1998-10-27
US5369742A (en) 1994-11-29

Similar Documents

Publication Publication Date Title
JP2816241B2 (ja) 画像情報検索装置
DE69425607T2 (de) Selektive Einrichtung und Verfahren zur Dokumentenwiederauffindung.
JP4859025B2 (ja) 類似画像検索装置、類似画像検索処理方法、プログラム及び情報記録媒体
JP4236116B2 (ja) 画像特徴抽出方法及び装置
JP4181892B2 (ja) 画像処理方法
DE69731418T2 (de) Such- und Wiederauffindungssystem für Dokumente mit Suchverfahren von teilweise passenden, benutzergezeichneten Anmerkungen
US8644621B2 (en) Image processing apparatus and image retrieval method
JP2003298837A (ja) 電子画像を作成し操作するための図形入力及び表示システム、表示装置に入力されたソース電子画像を意味のある画像オブジェクトに編成するための方法、及びコンピュータ読取り可能プログラムコードが組み込まれたコンピュータ使用可能媒体を含む製品
JP2890482B2 (ja) 文書画像再配置ファイリング装置
JP2011243148A (ja) 情報処理装置、情報処理方法及びプログラム
US20080244384A1 (en) Image retrieval apparatus, method for retrieving image, and control program for image retrieval apparatus
CN120611020A (zh) 基于多模态rag的图文问答方法、系统、设备及存储介质
JP2004363786A (ja) 画像処理装置
JP7255585B2 (ja) 情報処理装置、情報処理方法、および、プログラム
JP2000322417A (ja) 画像ファイリング装置及び方法及び記憶媒体
JPH08180068A (ja) 電子ファイリング装置
JP7651962B2 (ja) 情報処理装置、情報処理システム、情報処理方法、及びプログラム
JPH07160879A (ja) 画像処理方法
JPH0740268B2 (ja) 文書フアイリング装置
JP7763105B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JPH09259132A (ja) 情報登録検索装置及びその方法
JPS6126149A (ja) 文書画像フアイル登録検索装置
JPH07107711B2 (ja) 文書画像の処理装置
JPH11282873A (ja) 画像データベース検索装置及びその検索方法並びに記録媒体
KR100221312B1 (ko) 칼라 영상 분류방법

Legal Events

Date Code Title Description
LAPS Cancellation because of no payment of annual fees