JP2002140331A - 検索用要素画像抽出装置、検索参照画像入力装置及びプログラムを記録した記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 検索対象画像から切り出した代表的な要素画
像を用いて検索することにより、画像のテクスチャ等の
複雑性や分布等による画像特徴を手がかりとした画像検
索を可能とし、精度の良い画像検索を可能とすることを
目的とする。 【解決手段】 検索装置は、特徴ブロック・特徴ベクト
ル抽出部１０、主要特徴ブロック抽出部１１、表示部１
２、検索参照画像入力部１３、検索参照画像特徴ベクト
ル抽出部１４、検索部１５及び検索装置制御部１６から
構成されている。主要特徴ブロック抽出部１１は、複数
の検索対象画像をそれぞれ所定の大きさの要素画像に分
割する画像分割手段と画像分割手段により分割された要
素画像から代表的な要素画像を選択する選択手段とを有
する。この代表的な要素画像を用いて描画した検索参照
画像により画像の検索を行う。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、検索用要素画像抽
出装置、検索参照画像入力装置及びプログラムを記録し
た記録媒体に係り、特に、検索対象画像から切り出した
代表的な要素画像を用いて検索することを可能とした検
索用要素画像抽出装置、検索参照画像入力装置及びプロ
グラムを記録した記録媒体に関する。

【０００２】

【従来の技術】最近、画像の被写体の内容でなく画像全
体の類似性に基づいて画像検索を行う技術が研究されて
いる。そのような画像検索技術において、ユーザが画像
描画装置を用いて描画した画像をユーザの意図に反映し
た検索参照画像とする様々な手法が研究されている。

【０００３】例えば、特開平２０００−７６２７０号公
報（発明の名称：「画像検索システム及びその制御方
法、画像検索装置及びその制御方法、コンピュータ可読
メモリ」）には、描画ツールを用いて、ユーザ描画領域
に検索対象の画像に似せた画像を描画して検索を行う方
法が記載されている。なお、その検索は、画像をＮ等分
して、それぞれの画像特徴量に基づいて、類似画像検索
により行われる。

【０００４】また、西山晴彦 他「画像の構図を用いた
絵画検索システム」、情報処理学会論文誌、Vol３７.No
１.Ｐ１０１（１９９６）には、略画を用いて検索する
方法が記載されている。なお、検索用の略画は、色の指
定、領域情報の入力、オブジェクト情報の入力及び特徴
情報の入力により作成される。

【０００５】また、紺谷精一 他「画像の内容検索技
術」、画像ラボ、199.6.Ｐ5-9には、検索条件の入力方
法の一つとして、スケッチによる入力方法が記載されて
いる。この入力方法においては、画像エデタを用いて似
た画像を入力するようにされている。

【０００６】

【発明が解決しようとする課題】しかしながら、従来の
手法のものは、描画装置が検索対象の画像の画像特徴を
反映したテクスチャ等を描画する機能を有していなかっ
たため、色や濃淡に基づいた画像特徴による検索には適
しているが、画像のテクスチャ等の複雑性や分布等によ
る画像特徴を手がかりとした画像検索ができなかった。

【０００７】本発明は、前記問題に鑑みなされたもので
あり、検索対象画像から切り出した代表的な要素画像を
用いて検索することにより、画像のテクスチャ等の複雑
性や分布等による画像特徴（以下、「テクスチャ画像特
徴」という。 ）を手がかりとした画像検索を可能とし、
精度の良い画像検索を可能とすることを目的とするもの
である。

【０００８】

【課題を解決するための手段】前記課題を解決するため
に、本件発明は、以下の特徴を有する課題を解決するた
めの手段を採用している。

【０００９】請求項１に記載された発明は、複数の検索
対象画像をそれぞれ所定の大きさの要素画像に分割する
画像分割手段と、前記画像分割手段により分割された要
素画像から代表的な要素画像を選択する選択手段とを有
することを特徴とする検索用要素画像抽出装置である。

【００１０】請求項２に記載された発明は、検索対象画
像から切り出された所定の大きさの要素画像であって、
代表的な要素画像を表示する表示手段と、前記表示手段
により表示された前記代表的な要素画像を用いて、検索
参照画像を描画する描画手段とを有することを特徴とす
る検索参照画像入力装置である。請求項３に記載された
発明は、コンピュータを動作させて、複数の検索対象画
像をそれぞれ所定の大きさの要素画像に分割する画像分
割手段と、前記画像分割手段により分割された要素画像
から代表的な要素画像を選択する選択手段とを機能させ
るためのプログラムを記録した記録媒体である。

【００１１】請求項４に記載された発明は、コンピュー
タを動作させて、検索対象画像から切り出された所定の
大きさの要素画像であって、代表的な要素画像を表示す
る表示手段と、前記表示手段により表示された前記代表
的な要素画像を用いて、検索参照画像を描画する描画手
段とを機能させるためのプログラムを記録した記録媒体
である。

【００１２】

【発明の実施の形態】次に、本発明の実施の形態につい
て図面と共に説明する。

【００１３】本発明は、ユーザが画像描画装置を用いて
描画した画像を用いて検索するものであり、図１にその
方法を示す。

【００１４】図１の方法は、検索対象画像の取得（Ｓ１
０）、特徴ブロック・特徴ベクトル抽出（Ｓ１１）、主
要特徴ブロック抽出（Ｓ１２）、検索参照画像入力（Ｓ
１３）、検索参照画像特徴ベクトル抽出（Ｓ１４）、検
索（Ｓ１５）及び出力（Ｓ１６）の手順から構成されて
いる。

【００１５】以下、他の図を参照しながら、その詳細を
説明する。

【００１６】先ず、ステップ１０で検索対象画像が蓄積
されているデータベースから、検索対象画像Ｉ（Ｉ＝
０、１、、．．、Ｎ_Ｄ−１）を取得する。

【００１７】次いで、ステップ１１で、取得した検索対
象画像の特徴ブロックと特徴ベクトルを抽出する。この
特徴ブロックと特徴ベクトルの抽出処理は、図２に示さ
れているフローにより行われる。

【００１８】図２のステップ２０で、図３（Ａ）に示す
ように、取得したＮ_Ｄ枚の検索対象画像を幅Ｗ、高さＨ
のＷ×Ｈの格子Ｄｘ個とＤｙ個に分割する。この格子
（ｍ、ｎ）が特徴ブロック（ｍ、ｎ）である。

【００１９】但し、ｍ＝０、１、、．．、Ｄｘ−１、ｎ
＝０、１、、．．、Ｄｙ−１このように、取得した全て
の検索対象画像を幅Ｗ、高さＨのＷ×Ｈの格子Ｄｘ個と
Ｄｙ個に分割することにより、全ての検索対象画像の特
徴ブロックを取得する。

【００２０】なお、取得した検索対象画像は全て同じ大
きさ（幅Ｗ×Ｄｘ、高さＨ×Ｄｙ）に正規化されている
ものとする。

【００２１】また、各特徴ブロックは、図３（Ｂ）に示
すように、後述するＴ個の特徴ベクトル、Ｎｃ個のベク
トル要素を有している。

【００２２】次いで、図２のステップ２１で、画像特徴
を求める。

【００２３】各特徴ブロック（Ｉ、ｍ、ｎ）からそのブ
ロックのテクスチャ画像特徴（複雑性、分布、鋭さ等）
を良く表すであろうＴ個の画像特徴ｆ_０（Ｉ、ｍ、
ｎ）、ｆ _１（Ｉ、ｍ、ｎ）、．．、ｆ_Ｔ（Ｉ、ｍ、ｎ）
を求める。

【００２４】このＦ（Ｉ、ｍ、ｎ）＝（ｆ_０（Ｉ、ｍ、
ｎ）、ｆ_１（Ｉ、ｍ、ｎ）、．．、ｆ_Ｔ（Ｉ、ｍ、
ｎ））をこの特徴ブロックの特徴ベクトルとする。

【００２５】なお、特開平２０００−７６２７０号公報
に用いられているフラクタルベクトルは、画像特徴の一
つの例である。

【００２６】ここで、図１に戻る。ステップ１１で、取
得した検索対象画像の特徴ブロックと特徴ベクトルを抽
出した後で、ステップ１２で、主要特徴ブロックの抽出
を行う。この主要特徴ブロックの抽出の詳細を、図４を
用いて説明する。

【００２７】先ず、要素が空きのカテゴリ群Ｃo［ｋ］
を準備する（Ｓ３０）。但し、ｋ＝０、１、、．．、Ｎ
_Ｄ×Ｄｘ×Ｄｙ−１である。

【００２８】次いで、カテゴリＣo［Ｉ×ｍ×ｎ］にＦ
（Ｉ、ｍ、ｎ）を入れる（Ｓ３１）。但し、Ｉ＝０、
１、、．．、Ｎ_Ｄ−１、ｍ＝０、１、、．．、Ｄｘ−
１、ｎ＝０、１、、．．、Ｄｙ−１である。

【００２９】このときのカテゴリ数Ｃnは、 Ｃn＝Ｎ_Ｄ×Ｄｘ×Ｄｙ である。

【００３０】次いで、各カテゴリについて、中心ベクト
ルＶｃ［ｋ］を求める（Ｓ３２）。但し、ｋ＝０、
１、、．．、Ｃn−１である。

【００３１】また、現時点で、各ブロックは、Ｔ個の特
徴ベクトルを有し、Ｎｃ個のベクトルを要素として持つ
ものとする。

【００３２】つまり、Ｃo［ｋ］は、Ｆ_０［ｋ］＝（ｆ
_００［ｋ］、ｆ_０１［ｋ］、．．、ｆ_０Ｔ［ｋ］）、Ｆ
₁［ｋ］＝（ｆ_１０［ｋ］、ｆ_１１［ｋ］、．．、ｆ
_１Ｔ［ｋ］）、．．．、Ｆ_ＮＣ［ｋ］＝（ｆ
_ＮＣ０［ｋ］、ｆ_ＮＣ１［ｋ］、．．、ｆ
_ＮＣＴ［ｋ］）のＮｃ個のベクトルを要素として持つ。

【００３３】次いで、各特徴ブロック毎に、中心ベクト
ルＶｃ［ｋ］を次の式を用いて算出する。

【００３４】

【数１】 次に、全てのカテゴリについて、任意に選んだ二つのカ
テゴリの中心ベクトルＶｃ［ｋ］の２乗距離ｄ（ｋ、
ｋ’）を求める。但し、ｋ＝０、１、、．．、Ｃn−
１、ｋ’＝０、１、、．．、Ｃn−１、ｋ≠ｋ’であ
る。

【００３５】次いで、次のように、要素のクラス分けを
行う（Ｓ３３）。 （１）ｄ（ｋ、ｋ’）＜Ｄthであるような全てのＣo
［ｋ］Ｃo［ｋ’］の要素が必ず同じクラスに属する。 （２）ｄ（ｋ、ｋ’）＞Ｄthであるような全てのＣo
［ｋ］Ｃo［ｋ’］の要素はどれもお互いに異なるクラ
スに属する。 （３）全てのＣo［ｋ］の要素は、重複なくどれかのク
ラスに属する。 （４）現在同じカテゴリに属する要素同士が異なるクラ
スに分割されることはない。

【００３６】以上の４つの条件を満たす新しいクラス群
Ｃn［ｐ］を作る。但し、ｐ＝０、１、、．．、Ｃnn
（Ｃnn≦Ｃn） 例えば、図５に示すように、２１０のクラスには、クラ
ス分け前のカテゴリ１１０、１２０、１３０、１４０、
１５０が含まれる。なお、１１１、１２１、１３１、１
４１、１５１は、各カテゴリの中心ベクトルを示してい
る。また、２１１は、後述するクラスの中心ベクトルを
示している。

【００３７】なお、クラスを考えるときは、カテゴリ１
１０、１２０、１３０、１４０、１５０の意識はない。

【００３８】また、各カテゴリには、Ｎc個のベクトル
（要素）を有する。

【００３９】また、説明を簡単にするために、各カテゴ
リは重複しないように図示されているが、実際には各カ
テゴリの要素は複雑に入り組んでいる。

【００４０】次いで、クラスＣn［ｐ］の内、要素数の
多い順にＮ_Ｔ個のクラスのみで新しいクラス群Ｃt
［ｐ］を作る（Ｓ３４）。

【００４１】また、そのクラスの中心ベクトルをＶtc
［ｐ］を求める（Ｓ３５）。但し、ｐ＝０、
１、、．．、Ｎ_Ｔ−１である。

【００４２】次いで、各Ｃt［ｐ］（ｐ＝０、
１、、．．、Ｎ_Ｔ−１）について、クラスの中心ベクト
ルＶtc［ｐ］との２乗距離が最も小さい要素（Ｆc
［ｋ］）を求める（Ｓ３６）。

【００４３】例えば、図６は、図５の部分拡大図であ
る。１１２、１３２〜１３６、１５２〜１５４は、要素
を示している。２１１が、このクラスの中心ベクトルＶ
tc［ｐ］であるので、クラスの中心ベクトルＶtc［ｐ］
との２乗距離が最も小さい要素Ｆc［ｋ］は、要素１３
５である。この要素１３５は、クラス１３０の代表的な
要素である。

【００４４】次いで、各Ｆc［ｋ］について、その抽出
元となる特徴ブロックＴ［ｋ］を検索対象データベース
から画像として切り出す。

【００４５】例えば、Ｆc［ｋ］∈Ｆ（a,b,c）の場合
は、ファイルの番号がａの画像の（b,c）格子を切り出
す。

【００４６】図６では、Ｆc［ｋ］の特徴ブロックは、
クラス分け前の特徴ブロック１３０の要素である。従っ
て、特徴ブロック１３０を、検索対象画像データベース
から切り出す。

【００４７】このように、Ｎ_Ｔ個のクラスについて、そ
れぞれのクラスの中心ベクトルＶtc［ｐ］との２乗距離
が最も小さい要素Ｆc［ｋ］を求め、その抽出元となる
特徴ブロックＴ［ｋ］を検索対象データベースから画像
として切り出す。

【００４８】そうして、Ｎ_Ｔ個の主要特徴ブロックのＴ
［０］、Ｔ［１］、．．、Ｔ［Ｎt］を抽出する（Ｓ３
７）。

【００４９】ここで、図１に戻る。ステップ１２で、主
要特徴ブロックを抽出した後、ステップ１３で、この主
要特徴ブロックを利用して、検索参照画像の入力を行
う。

【００５０】ステップ１４では、入力された検索参照画
像の特徴ベクトルを抽出する。

【００５１】次いで、ステップ１５で、検索参照画像の
特徴ベクトルを検索条件として、検索対象画像データベ
ースの検索を行い、その検索した画像を出力する（Ｓ１
６）。

【００５２】このようにして、検索対象画像から切り出
した代表的な要素画像を用いて、検索対象画像データベ
ースの検索を、精度良く行うことができる。

【００５３】図７に検索装置の例を示す。検索装置１
は、検索対象画像データベース２に接続されて、検索を
行うことができる。

【００５４】図７では、検索装置１は、特徴ブロック・
特徴ベクトル抽出部１０、主要特徴ブロック抽出部１
１、表示部１２、検索参照画像入力部１３、検索参照画
像特徴ベクトル抽出部１４、検索部１５及び検索装置制
御部１６から構成されている。

【００５５】特徴ブロック・特徴ベクトル抽出部１０
は、検索対象画像が蓄積されているデータベースの特徴
ブロックと特徴ベクトルを抽出する。特徴ブロック・特
徴ベクトル抽出部１０で、図２の処理フローの処理を行
う。

【００５６】主要特徴ブロック抽出部１１は、検索対象
画像の特徴ブロックと特徴ベクトルに基づいて、検索対
象画像から切り出した主要な特徴ブロックの抽出を行
う。主要特徴ブロック抽出部１１で、図４の処理フロー
の処理を行う。

【００５７】表示部１２は、図１に示すような処理フロ
ーにおいて、検索処理における必要な表示を行う。

【００５８】例えば、検索を行うための制御画面、検索
条件の入力画面、検索の結果画面等の表示を行う。

【００５９】検索参照画像入力部１３は、検索条件の入
力画面に検索条件を入力する。検索条件は、検索参照画
像で行い、この検索参照画像は、検索対象画像から切り
出した主要な特徴ブロック（代表的な要素画像）を用い
て作成する。

【００６０】図８に検索条件の入力画面を示す。

【００６１】２０は、画像部である。この画像部２０の
描画領域の大きさは、検索対象データベースの画像と同
じ大きさ（幅Ｗ×Ｄｘ、高さＨ×Ｄｙ）である。この画
像部２０は、検索対象画像をＷ×Ｈの特徴ブロックに分
割したと同じように、点線で領域が分割されている。

【００６２】２１は、要素画像部であり、要素画像部２
１には、検索対象画像から切り出した代表的な要素画像
Ｔ［０］、Ｔ［１］、．．、Ｔ［Ｎt］が表示されてい
る。この代表的な要素画像Ｔ［０］、Ｔ［１］、．．、
Ｔ［Ｎt］は、画像付きボタンとして表示されている。
そこで、ボタンＴ［ｋ］をマウスでクリックし、次に、
画像部２０のある領域をクリックすると、その領域に画
像Ｔ［ｋ］が埋まるようになっている。

【００６３】２２は、ドロウイング部である。ドロウイ
ング部２２は、既存のドロウイングツールと同じ機能を
有する。このドロウイング部２２により、色又は濃淡レ
ベルを指定して円や多角形を書いたり、塗りつぶす等の
処理を行う。

【００６４】図２の検索参照画像特徴ベクトル抽出部１
４は、検索参照画像入力部１３により入力された検索参
照画像の特徴ベクトルの抽出を行う。

【００６５】要素画像部２１及びドロウイング部２２を
用いて描画した画像部２０の画像を、Ｗ×Ｈ（点線）で
分割する。この分割領域（ｍ、ｎ）が特徴ブロック
（ｍ、ｎ）である。但し、ｍ＝０、１、、．．、Ｄｘ−
１、ｎ＝０、１、、．．、Ｄｙ−１である。

【００６６】検索参照画像特徴ベクトル抽出部１４は、
各特徴ブロック（ｍ、ｎ）について、図２のステップ２
１で求めたと同じように、画像特徴ベクトルＦ＝（ｆ_０
（ｍ、ｎ）、ｆ_１（ｍ、ｎ）、．．、ｆ_Ｔ（ｍ、ｎ））
を計算する。

【００６７】次いで、Ｄｘ×Ｄｙ×Ｔ次元ベクトルＦ＝
（Ｆ（０、０）、Ｆ（１、０）、．．、Ｆ（Ｄｘ−１、
Ｄｙ−１））を出力する。

【００６８】検索部１５は、検索参照画像特徴ベクトル
抽出部１４で抽出された検索参照画像特徴ベクトルを用
いて、検索対象画像データベースを検索する。

【００６９】検索装置制御部１６は、ＣＰＵ（Central
Ｐrocessing Ｕnit ：中央処理装置）、画像検索に係る
アプリケーションを含み検索装置としての機能が果たさ
れるように、検索装置１全体を制御する。

【００７０】また、検索装置１には、コンピュータを動
作させて、複数の検索対象画像をそれぞれ所定の大きさ
の要素画像に分割する画像分割手段と、前記画像分割手
段により分割された要素画像から代表的な要素画像を選
択する選択手段とを機能させるためのプログラムを記録
した記録媒体を備えてもよい。

【００７１】同じく、また、検索装置１には、コンピュ
ータを動作させて、検索対象画像から切り出された所定
の大きさの要素画像であって、代表的な要素画像を表示
する表示手段と、前記表示手段により表示された前記代
表的な要素画像を用いて、検索参照画像を描画する描画
手段とを機能させるためのプログラムを記録した記録媒
体を備えてもよい。

【００７２】また、図７において、また、検索装置１
は、特徴ブロック・特徴ベクトル抽出部１０、主要特徴
ブロック抽出部１１、表示部１２、検索参照画像入力部
１３、検索参照画像特徴ベクトル抽出部１４、検索部１
５及び検索装置制御部１６から構成されていると説明し
た。

【００７３】しかしながら、図７における検索装置１の
部分を独立した装置としてもよい。

【００７４】例えば、複数の検索対象画像をそれぞれ所
定の大きさの要素画像に分割する画像分割手段と、前記
画像分割手段により分割された要素画像から代表的な要
素画像を選択する選択手段とで検索用要素画像抽出装置
のような独立した装置構成としてもよい。

【００７５】また、検索対象画像から切り出された所定
の大きさの要素画像であって、代表的な要素画像を表示
する表示手段と、前記表示手段により表示された前記代
表的な要素画像を用いて、検索参照画像を描画する描画
手段とで検索参照画像入力装置のような独立した装置構
成としてもよい。

【００７６】また、検索装置は、一体でも、検索用要素
画像抽出装置、検索参照画像入力装置等を組み合わせて
構成するようにしてもよい。

【００７７】また、検索装置は、直接検索対象画像デー
タベースに接続されていても、通信回線で接続されてい
てもよい。

【００７８】なお、上記説明では、全てのカテゴリにつ
いて、任意に選んだ二つのカテゴリの中心ベクトルＶｃ
［ｋ］の２乗距離ｄ（ｋ、ｋ’）を求めた例について説
明したが、本件発明は、２乗距離に限らず、他の距離を
用いてもよい。

【００７９】また、上記実施の形態では、クラス分けを
１回行う例について説明したが、クラス分けを複数回行
うようにしてもよい。

【００８０】

【発明の効果】検索対象画像中に出現頻度の高いテクス
チャ等の代表的な要素画像を用いて、描画することで、
ユーザの意図に反映した画像検索を良精度で行うことが
できる。

【００８１】

【図面の簡単な説明】

【図１】本発明の検索の処理フローである。

【図２】特徴ブロックと特徴ベクトルの抽出の処理フロ
ー図である。

【図３】検索対象画像の分割を説明するための図であ
る。

【図４】主要特徴ブロックの抽出の処理フローである。

【図５】クラス分けを説明するための図である。

【図６】図５の部分拡大図である。

【図７】本発明の検索装置を説明するための図である。

【図８】検索条件の入力画面を説明するための図であ
る。

【符号の説明】

１０ 特徴ブロック・特徴ベクトル抽出部 １１ 主要特徴ブロック抽出部 １２ 表示部 １３ 検索参照画像入力部 １４ 検索参照画像特徴ベクトル抽出部 １５ 検索部 １６ 検索装置制御部 ２０ 画像部 ２１ 要素画像部 ２２ ドロウイング部

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5B050 EA03 EA04 EA18 FA02 FA09 GA08 5B075 ND06 NK06 NK31 NK46 NR12 PP03 PP13 PP23 PQ02 QM05

Claims (4)

【特許請求の範囲】
1. 【請求項１】 複数の検索対象画像をそれぞれ所定の大
   きさの要素画像に分割する画像分割手段と、 前記画像分割手段により分割された要素画像から代表的
   な要素画像を選択する選択手段とを有することを特徴と
   する検索用要素画像抽出装置。
2. 【請求項２】 検索対象画像から切り出された所定の大
   きさの要素画像であって、代表的な要素画像を表示する
   表示手段と、 前記表示手段により表示された前記代表的な要素画像を
   用いて、検索参照画像を描画する描画手段とを有するこ
   とを特徴とする検索参照画像入力装置。
3. 【請求項３】 コンピュータを動作させて、 複数の検索対象画像をそれぞれ所定の大きさの要素画像
   に分割する画像分割手段と、 前記画像分割手段により分割された要素画像から代表的
   な要素画像を選択する選択手段とを機能させるためのプ
   ログラムを記録した記録媒体。
4. 【請求項４】 コンピュータを動作させて、 検索対象画像から切り出された所定の大きさの要素画像
   であって、代表的な要素画像を表示する表示手段と、 前記表示手段により表示された前記代表的な要素画像を
   用いて、検索参照画像を描画する描画手段とを機能させ
   るためのプログラムを記録した記録媒体。