JPH03174657A - 画像検索装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 産業上の利用分野 本発明は、画像を記憶するシステム、たとえば画像デー
タペース等の画像検索装置に関するものである。

従来の技術 近年、文字、数値などのコード情報だけを管理していた
データベースに、図形や画像データも統合的に管理しよ
うとする要望が高まってきている。

図形や両像データは文字や数値と追い２次元データであ
るため、従来とは追った検索手法が必要とされている。

特に画像上用いた画像検索というものが、画像認識技術
Ｑ分野で研究が進められているが、現在のところ画像認
識技術を用いた画像検索手法は確立されていない。＋ｒ
ＪＪＪ＠　＊索紮行う第１の従来技術として、画像ファ
イｌレジステムがある。

これは、画像全登録するときに索引情報として登録して
釦いたキーワードを用いて検索を行う方法である。また
第２の従来技術として、ユーザインターフェースの部分
で、画像を用いて画像を検索しているように見えるもの
がある。これは、表示された画像内の２次元頗域金管理
し、その２次元＠域に対して画像を検索するためのキー
ワード等の検索情報を対応付け、画像内０２次元頭域を
指示することにより、対応付けた検索情報を用いた検索
操作金突行するものである。（たとえば特開昭６３−６
１０８５号）しかしながら、最近の高精細で５力ラー表
示が可能な表示装置の普及により、表示画像０色情報を
検索情報として利用し、画像検索手法いたいという要望
がある。第１の従来技術例に卦いて色情報金柑いた検索
を行う場合は、使用者が登録画像の色を表現するキーワ
ード（たとえば、赤色、黄色等）を索引情報として登録
してかキ、検索時には、そのキーワード全検索キーワー
ドとして入力し、検索する方法が考えられる。第２の従
来技術で実現する場合も、２次元甫域に色を表現するキ
ーワード（たとえば、赤い帽子等〉宛対応付Ｃすて、検
索する方法が考えられる。

発明が解決しようとする課題 従来の構成において、登録した画像を色情報を用いて検
索を行う場合、下記のような問題が生じる。第１　Ｑｒ
従来技術の場合、一般に登録する全体画像には種々の色
が存在することが多いため、登録者の目的、注Ｌｌ領域
により代表色とする色が遣ったり、またその代表色を表
現するキーワードが登録者によって違うため、検索時に
高いヒツト率が得られない。甘た一般の使用者が色を表
現するために用いるキーワードの種類には制限があり、
多色表示ができる。表示装置、たとえばＲＧＢそれぞれ
８ビツトで１６７０万色同時表示可能なフルカラー表示
装置の場合、全ての色をキーワードを用いて表現するの
は難しい。第２の従来技術では、２次元頭域に色に表現
するキーワードを対応付ける場合、登録者の注目＠域が
設定した２次元頭域に限られるため、代表色ヲー義的に
決めやすくなる。

しかし、第１の従来技術の場合と同様、多色表示装置で
登録画像を表示するときに、登録者が全ての表示色をキ
ーワードを用いて表鈎、するのは嬉しい。こりため、第
２の従来技術でも色情報に用いた検索を行うことぽ霞し
い。

本発明は上記問題を解決するもので、多色表示として管
理することにより、色情報金柑いた１画像検索が行える
画像検索装置を提供することを目的とするものである。

課題分解法するため０手段 前記課題χ解決するために本発明の画像検索装Ｊ：Ｑば
、文字、数値等のコード情報と画棟内の２次元＠域情報
と画像データとを記憶するデータ記憶手段と、前記２次
元鎖酸情報とコード情報を一対の構造化情報として管理
する構造化情報管理手段と、前記画像データを検索する
ためのコード情報を管理する検索情報管理手段と、前記
検索情報管理手段で管理するコード情報を用いて前記デ
ータ記憶手段に記憶した画像に検索する画像検索手段と
、前記画像検索手段で検索した画像を表示する表示手段
と、前記表示手段に表示した画像内の位置上指定する位
置指定手段と、前記位置指定手段により指定した位置情
報を用いて前記構造化情報管理手段で管理するコード情
報を取り出し、取り出したコード情報上検索条件として
前記画像検索手段による検索を行う画像検索装置に卦い
て、前記位置指定手段により指定した２次元頭域内の代
表色を選出する代表色選出手段と、前記代表色選一手段
により選出した代表色上検索情報として管理する色情報
管理手段と、検索条件として用いる色を選択する検索色
選択手段を有し、前記２次元頭載登録時に前記代表色選
出手段を用いて代表色を選出し、該代表色を前記色情報
管理手段で管理し、かつ模索時に前記検索色選択手段に
より色を選択し、前記構造化情報で管理するコード情報
と前記選択した色を検索条件として前記画像検索手段に
よる検索χ行うように構成したものである。

作用 上記構成により、２次元頭域内の代表色に選出し、その
代表色を数値データ（色値）として管理することにより
、検索時に検索色選択手段で選択した代表色０数値デー
タ宛用いた画像模索が容易に行える。

実施例 以下本発明の一実施例に図面に基づいて説明する。

第１図は本発明の画像検索装置の一実施例を示すブロッ
ク図である。第１図に釦いて、１は以下の手段上制御す
る制御手段、２は表示された画像内の位置を指定する位
置指定手段、３は文字・数値等のコード情報と１ｌｆｌ
像内の２次元哨域金記述した情報と画像テークを記憶す
るデータ記憶手段、４はコード情報と画像内の２次元頭
域金記述した情報を一力の情報（構造化情報）としてｆ
埋する構造化情報管理手段、５は位置指定手段２そ用い
て設定した２次元頭域内の代表色を選出する代表色選出
手段、６は代表色選出手段５を用いて選出した代表色の
数値テーク（色値）を検索情報として管理する色情報管
理手段、７は検索時に検索情報として用いる色を選択す
る検索色選択手段、８はデータ記憶手段３に記憶した画
像データ金検索するためのコード情報に管理する検索情
報９埋手段、９ぽ位置指定手段２で得られる位置情報に
用いて、構造化情報管理手段４で管理するコード情報に
変換し、検索情報管理手段８で管理するコード情報と一
致する画像宛検索する画像検索手段、１０は検索さＡた
画像データ釦よび構造化情報光表示する表乃く手段であ
る。オた木実流側では、構造化情報光表示Ｐｊ、４と色
情報管理手段６と検索情報管ｍ　手１９８はりレーショ
ナルデータベース管理システム（ＲＤＢＭＳ　）で構成
するものとする。

ＲＤＢＭＳは、記憶データの管理に表（レコード）を用
いて行うもので、レコード内の個々の管理嘆性をフィー
ルド、表の枠組（全部のフィーｌレド）ヲ称してスキー
マと呼ぶ。甘た、一般にはレコードの定義、レコードに
対するデータ入力としてデータベース定義キ胎分有し、
データペースに対する問い合わせざ語、データ操作耳語
分有する。

第２図は、本実流側に釦いてＲＤＢＭＳで管理するレコ
ードを示した図であり、第２図（ａ）　、　（ｂ）はそ
れぞれ構造化情報・色情報管理レコード、画像情報管理
レコードである。

第２図（ａ）Ｉ／）構造化情報・色情報管理レコードに
釦いて、２１は構造化情報上一意に決定する構造化情報
ＩＤフィールド、２２は記憶陽像を一意に決定する画像
ＩＤフィー７レド、２３は山像内の２次元＠域を格納す
る２次元唄域フィールド（この場合は、矩形頭載の左上
部の第１点座標と右下部り第２点座標とχ管理）、２４
は２次元頭域に関係するコード情報を格納するキーワー
ドフィールドであり、以上４フイーｐドは従来技術上用
いた構成と同様である。ここで２次元領域フィールド２
３とキーワードフィールド２４が第１図の構造化情報管
理手段４に相当する。さらに、本実施例では、設定した
２次元頭域内の色値を管理する色情報管理手段６として
、色値管理フィーＮド２５金設けている。

第２図（ｂｌは検索情報管理手段８内で記憶するコード
情報と画像データを関係付けた検索情報管理レコードで
あり、従来技術を用いた構成と同様である。

以下、上記構成について第３図、第４図、第５１’？１
を参照しながら説明する。

第３図（ａｌは表示手段１０にこれから２次元頭域を設
定しようとする画像が表示されている。なか、本実施例
では、表示手段１０ばＲＧＢそれぞれ８ピツ）　１６７
０万色が同時表示可能なものとする。第３図（ａｌでは
画像内に帽子の絵を持った画像が表示されている。従来
技術と同様に画像内の帽子がある部分に２次元頭ｉ′を
マウス（本実施例では、位置指定手段２としてマウスを
用いることとする）を用いて指定し、その領域にキーワ
ードとして１帽子”を対応付ける。次に、第３図（ｂｌ
では代表色選出手段５により、第３図（ａｌで設定した
２次元頭域内の色ヒストグラムを求め七のヒストグラム
度数が最大な色値ＡＣ６Ｂ　７５を、その２次元頭域内
の代表色の色値として選出する様子χ示す。ｆｘ釦、第
３図ｆｂｌではＲＧＢそれぞれの値を１６進数値で示し
ている。

この代表色Ｑ色値Ｑ選出は各２次元頭域に対して行われ
る。

本実施例では単純にヒストグラム度数が最大なもの金代
表色としたが、ＲＧＢ　ｊＣｆｉぞｆ′Ｌ８ビットを６
ビツトや４ビット程度に低量子化した後、ヒストグラム
度数を求め、ぞ０最大なもの上代表色とすることで、計
算の高速化や最適化に図る方法も考えられる。

また他Ｏ実施例として、設定した２次元唄域の色ヒスト
グラムを求める際に、設定した２次元明域境界上の色を
除いた色ヒストグラムを求め、そのヒストグラム度数が
最大なものを代表色とする方法も考えられる。こり方法
は２次元頭域金対象とする絵（第３図（ａｔでは帽子）
を大きく囲む形で設定された場合に、その２次元頭域内
の背景色の色成分を除去するための方法である。

筐た、同様の効果金目的とした他の実施例として、設定
した２次元＠域の重心を中心として設定した２次元＠域
に接する円内の色ヒストグラム分水め、そのヒストグラ
ム度数が最大なものを代表色とする方法も考えられる。

以上２次元頭域内の代表色の選択方法に各種の方法が考
えられるが、各方法宛個別に実施する場合や、各方法で
得られる代表色が一致するものを代表色とする場合が考
えられる。

第４図では第３区で設定された２次元頭域、それに対応
付けたキーワード、代表色の色値に構造化情報・色情報
管理レコードに登録した様子を示す。本実施例での色値
ばＲＧＢそれぞれ８ビツトの値ヲパックし、２４ビツト
値として管理している。

第５図では、第３図、第４図で示したように登録した画
像を、色情報を用いて検索する様子を示す。第５図（ａ
ｌでは検索色選択手段７が、過去に登録された色値の中
から、ユニークな色値ｅｌ！出し、算出したユニークな
色値の色を表示手段２にマトリックスに表示している様
子を示している。本実施例では検索時に過去に登録さｆ
ｉた色値からユニークな色値を算出したが、予め２次元
鎖酸設定時に選出された代表色の色値の中からユニーク
な色値を９埠してかく方法も考えられる。筐た過去に登
録した色のユニークな色値ヲ宵出もしくは管理を行わな
いで、単に表示手段１０で表示可能な色のカラーバー等
を表示して、使用者がそのカラーバーの色分指定するこ
とで、検索条件として用いる色に選択する方法も考えら
れる。また両者を組み合わせた方法として、表示手段１
０で表示可能な色ノカラーバー等を表示して、そのカラ
ーバー上に過去に登録した色をマークする方法も考えら
れる６゜さらに、過去に登録した色のユニークな色値の
算出もしくはｇ埋金、２次元＠域に対応付けたキーワー
ドごとに行う（たとえば、キーワード″帽子１を対応付
けｆｃ２次元次元頭金指示したときは、過去にキーワー
ド”帽子１分対応付けて登録した２次元頭域の色値の中
から、ユニークな色の算出もしくは管理を行う）方法も
考えられる。

本実施例に釦ける検索指示の手順としては、従来技術の
場合と同様に画像内に設定された２次元頭域をマウスを
用いて指定しく第５図（ａ）＝１）、次にマトリックス
に表示されたユニークな色から検索に用いる色をマウス
を用いて指定する（第５図（ａｌ＝２）。第５．図（ａ
ｌでは頭載キーワードとして１帽子“と、色値として“
ＡＣ６Ｂ７５”が選択されている（第５図（ｂ））。こ
の結果、第２図（ａｌの構造化情報・色情報管理レコー
ドにかいて、キーワードフィールド、色値管理フィール
ドがこの値と一致する画像ＩＤｋ画像検索手段９を用い
て検索する。

次に従来技術と同様に、ヒツトした画像ＩＤヲ用いて検
索情報管理レコードで管理する画像データ（本実施例で
は画像ファイｌし名）金データ記憶手段３から取り出し
、表示手段１０に表示する（第５図（ｂ））。

上記実施例では構造化情報管理手段４、色情報管理手段
６、検索情報管理手段８にＲＤＢＭＳ　’ｒ利用したが
、その他のデータベース管理システムトシてネットワー
ク型データベース、　階ａｍデータペースを用いても構
わない。またデータベース管理システム以外でも上記し
た構ｔｊ、’に有し、データを記憶、管理できるもので
あれば構わない。

発明の効果 以上のように、本発明によれば次のような効果があり、
その実用効果は非常に大きいものがある。

（１）従来Ｏ領域設定操作のま筐で、新たに色情報を用
いた検索が可能となり、検索の自由度が広がる。

（２）　　検索時０色指定も過去に登録された色リスト
から選択できるため、操作性が良く、検索のヒツト率も
向上する。

【図面の簡単な説明】

第１図は本発明０一実施例にかける画像検索装置のブロ
ック図、第２図（ａｌ（ｂｌはリレーンョナｌレデータ
ベース管理システムを用いて実現した構造化情報、色情
報管理レコード釦よび検索情報管理レコードを説明する
園、第３図、第４図は色情報登録時の説明図、第５図は
色情報金柑いた検索時の説明図である。 １・・・制御手段、２・・・位置指定手段、３・・・デ
ータ記憶手段、４・・・構造化情報管理手段、５・・・
代表色選出手段、６・・・色情報管理手段、７・・・検
索色選択手段、８・・・検索情報管理手段、９・・・画
像検索手段、１０・・・表示手段。 代坤入　　　森　　本　　義　　弘 第・７図

Claims (1)

1. 【特許請求の範囲】 １、文字、数値等のコード情報と画像内の２次元領域情
   報と画像データとを記憶するデータ記憶手段と、前記２
   次元領域情報とコード情報を一対の構造化情報として管
   理する構造化情報管理手段と、前記画像データを検索す
   るためのコード情報を管理する検索情報管理手段と、前
   記検索情報管理手段で管理するコード情報を用いて前記
   データ記憶手段に記憶した画像を検索する画像検索手段
   と、前記画像検索手段で検索した画像を表示する表示手
   段と、前記表示手段に表示した画像内の位置を指定する
   位置指定手段と、前記位置指定手段により指定した位置
   情報を用いて前記構造化情報管理手段で管理するコード
   情報を取り出し、取り出したコード情報を検索条件とし
   て前記画像検索手段による検索を行う画像検索装置であ
   つて、前記位置指定手段により指示した２次元領域内の
   代表色を選出する代表色選出手段と、前記代表色選出手
   段により選出した代表色を検索情報として管理する色情
   報管理手段と、検索条件として用いる色を選択する検索
   色選択手段を有し、前記２次元領域登録時に、前記代表
   色選出手段を用いて代表色を選出し、該代表色を前記色
   情報管理手段で管理することと、検索時に前記検索色選
   択手段により色を選択し、前記構造化情報で管理するコ
   ード情報と前記選択した色を検索条件として前記画像検
   索手段による検索を行うこととを特徴とする画像検索装
   置。 ２、２次元領域内の代表色の選出は、前記２次元領域内
   のカラーヒストグラムを求めて、前記ヒストグラム量が
   最大なものを代表色とすることを特徴とする請求項１記
   載の画像検索装置。 ３、２次元領域内の代表色の選出は、前記２次元領域境
   界上の色を除く前記２次元領域内のカラーヒストグラム
   を求めて、前記ヒストグラム量が最大なものを代表色と
   することを特徴とする請求項１記載の画像検索装置。 ４、２次元領域内の代表色の選出は、前記２次元領域の
   重心を中心とした前記２次元領域に接する円内のカラー
   ヒストグラムを求めて、前記ヒストグラム量が最大なも
   のを代表色とすることを特徴とする請求項１記載の画像
   検索装置。 ５、検索条件として用いる色の選択は、色情報管理手段
   で管理する代表色の中からユニークな色を表示手段に表
   示し、表示した色から選択することを特徴とする請求項
   １記載の画像検索装置。