JP2000285141A - 画像検索装置，画像分類装置およびそれらの装置としてコンピュータを機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 ユーザの意図を検索条件として正確に表現可
能な画像検索装置を提供すること。 【解決手段】 Ｕ／Ｉ部１５１が、問合せ画像を複数指
定すると共に、指定した各問合せ画像毎に前記検索対象
の画像との類似度を求める際に使用する特徴量の種類を
指定し、マッチング・エンジン１５３が、検索対象の画
像毎に、Ｕ／Ｉ部１５１で指定された種類の特徴量を用
いて各問合せ画像との類似度を求めると共に、求めた各
問合せ画像との類似度を合計して検索対象の画像の総合
類似度を求め、Ｕ／Ｉ部１５１が、検索対象の画像毎に
求めた総合類似度に基づいて、検索結果を出力する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、大量の画像の中か
らユーザが希望する画像を探し出すための画像検索装置
および大量の画像を所定の分類先に分類する画像分類装
置に関し、ユーザが望む通りの方法で精度の高い画像検
索処理および画像分類処理を行うことが可能な画像検索
装置および画像分類装置に関する。

【０００２】

【従来の技術】近年、コンピュータ技術や画像処理技術
の発達に伴って、大量の電子画像を蓄積して画像データ
ベースを構築する試みが盛んに行われている。画像デー
タベースを構築する際に重要となるのは、大量に蓄積し
た画像の中から利用したい画像を簡単に得ることができ
るようにするための画像検索装置である。

【０００３】画像検索装置の一つとして、各画像に言葉
を用いた検索キーを付与し、文書の検索と同様な方法
で、入力されたキーワードと画像に付された検索キーと
を照合し、キーワードと一致する検索キーが付された画
像を検索結果として返すというものがある。

【０００４】ところが、人間が画像から受ける印象は人
によって異なるため、画像に付された検索キーがその画
像から人間が受ける印象を全て言い表しているとは言え
ず、従って言葉による検索キーを用いた画像検索では満
足な画像を得ることができない場合が多い。なぜなら、
画像中に登場する人間，動物，建物等の事物（以下「オ
ブジェクト」と定義する）の形状特徴や位置関係につい
ては、適切な言葉で表現することができない場合が多い
からである。

【０００５】そのため、キーワードと言葉による検索キ
ーとを照合することによって画像を検索するのではな
く、検索条件として特定の画像（以下「問合せ画像」と
記述する）を与え、問合せ画像に類似する画像を画像デ
ータベースの中から検索できるようにすることが望まし
い。このような検索装置を実現するために、問合せ画像
および検索対象の画像からそれぞれ画像の特徴を表す特
徴量を抽出し、問合せ画像の特徴量と検索対象の画像の
特徴量との類似性を判定し、問合せ画像の特徴量と類似
する特徴量を有する画像を検索結果として返すという方
法が提案されている。つまり、この画像検索装置は、特
徴間の類似性を画像自体の類似性と考えることによっ
て、類似する画像を検索するというものである。

【０００６】また、画像そのものを問合せ画像とするの
ではなく、各画像の特徴量として画像の色（色のヒスト
グラム），テクスチャ，オブジェクトの形状等を抽出し
てデータベース化しておき、画像を検索する際に、デー
タベース化した画像の特徴量を検索条件として指定する
ことによって、指定した特徴量を有する画像を検索する
という検索装置も提案されている（Myron Flickner et
al, “Query by Imageand Video Content: The QBIC Sy
stem,” Computer, September 1995, pp23-32）。

【０００７】

【発明が解決しようとする課題】しかしながら、上記問
合せ画像を指定して、問合せ画像に類似する画像を検索
する画像検索装置においては、例えば、ユーザが検索結
果として望む画像に類似した問合せ画像が存在しない場
合、問合せ画像として指定するための画像を検索する処
理が必要となり、検索作業の利便性に欠けるという問題
点があった。

【０００８】また、画像の特徴量を指定して画像を検索
する画像検索装置にあっても、例えば、ユーザが検索結
果として望む画像の配色を選択したり、検索結果として
望む画像中に存在するオブジェクトの形状を描いたりす
ることによって画像の特徴量を検索条件として指定する
必要があるため、検索を実行する際のユーザの負担が大
きいという問題点があった。また、画像の特徴量を検索
条件として指定するため、ユーザが検索結果として希望
する画像を検索条件において的確に表現することは困難
で、検索に対するユーザの意図を適切に装置に伝えられ
ないという問題点があった。その結果、ユーザの望む検
索結果を得ることは困難であった。

【０００９】すなわち、上記従来の画像検索装置におい
ては、検索条件の指定に自由度がなく、ユーザの意図を
検索条件として正確に表現することができないという点
で不便であった。したがって、ユーザの意図を装置側に
正確に伝えることができず、ユーザの望む画像を精度良
く得ることは困難であった。さらに、ユーザの意図を装
置側に正確に伝え、ユーザの意図通りの検索処理を行う
ことを可能にするためには、ユーザが望む方法で検索処
理を行えるように様々な検索手法が用意されていなけれ
ばならない。

【００１０】本発明は上記に鑑みてなされたものであっ
て、新たな方法で画像検索処理を実行可能な画像検索装
置を提供することを目的とする。

【００１１】また、本発明は上記に鑑みてなされたもの
であって、ユーザの意図を検索条件として正確に表現で
きるようにし、精度の高い画像検索処理を行うことが可
能な画像検索装置を提供することを目的とする。

【００１２】また、本発明は上記に鑑みてなされたもの
であって、ユーザの検索意図を検索結果に反映できるよ
うな新たな方法の画像検索処理を実行可能にすることに
より、精度の高い画像検索処理を行うことが可能な画像
検索装置を提供することを目的とする。

【００１３】また、本発明は、上記のような画像検索装
置における画像検索処理を画像分類処理に応用し、新た
な方法で画像分類処理を実行可能な画像分類装置を提供
することを目的とする。

【００１４】また、本発明は、上記のような画像検索装
置における画像検索処理を画像分類処理に応用し、ユー
ザの意図を画像分類の基準となる分類条件として正確に
表現できるようにし、精度の高い画像の分類処理を行う
ことが可能な画像分類装置を提供することを目的とす
る。

【００１５】さらに、本発明は、上記のような画像検索
装置における画像検索処理を画像分類処理に応用し、ユ
ーザの検索意図を分類結果に反映できるような新たな方
法の画像分類処理を実行可能にすることにより、精度の
高い画像分類処理を行うことが可能な画像分類装置を提
供することを目的とする。

【００１６】

【課題を解決するための手段】上記目的を達成するた
め、請求項１の画像検索装置は、問合せ画像および複数
の検索対象の画像から画像の特徴を表す特徴量を少なく
とも一種類抽出し、抽出した少なくとも一種類の特徴量
を用いて前記問合せ画像および検索対象の画像の類似度
を求めることにより、前記複数の検索対象の画像から前
記問合せ画像と同一または類似の画像を検索する画像検
索装置において、前記問合せ画像および検索対象の画像
の類似度を求める際に使用される各種類の特徴量毎にそ
れぞれ一つの問合せ画像を指定する指定手段と、前記検
索対象の画像毎に、前記指定手段で指定された各問合せ
画像との類似度を対応する種類の特徴量を用いて求める
と共に、求めた各問合せ画像との類似度を合計して前記
検索対象の画像の総合類似度を求める検索手段と、前記
検索手段で前記検索対象の画像毎に求めた総合類似度に
基づいて、検索結果を出力する出力手段と、を備えたも
のである。

【００１７】また、請求項２の画像検索装置は、問合せ
画像および複数の検索対象の画像から画像の特徴を表す
特徴量を少なくとも一種類抽出し、抽出した少なくとも
一種類の特徴量を用いて前記問合せ画像および検索対象
の画像の類似度を求めることにより、前記複数の検索対
象の画像から前記問合せ画像と同一または類似の画像を
検索する画像検索装置において、前記問合せ画像を複数
指定すると共に、指定した各問合せ画像毎に前記検索対
象の画像との類似度を求める際に使用する特徴量の種類
を指定する指定手段と、前記検索対象の画像毎に、前記
指定手段で指定された種類の特徴量を用いて各問合せ画
像との類似度を求めると共に、求めた各問合せ画像との
類似度を合計して前記検索対象の画像の総合類似度を求
める検索手段と、前記検索手段で前記検索対象の画像毎
に求めた総合類似度に基づいて、検索結果を出力する出
力手段と、を備えたものである。

【００１８】また、請求項３の画像検索装置は、問合せ
画像および複数の検索対象の画像から画像の特徴を表す
特徴量を少なくとも一種類抽出し、抽出した少なくとも
一種類の特徴量を用いて前記問合せ画像および検索対象
の画像の類似度を求めることにより、前記複数の検索対
象の画像から前記問合せ画像と同一または類似の画像を
検索する画像検索装置において、前記問合せ画像を複数
指定する指定手段と、前記検索対象の画像毎に、前記指
定手段で指定された各問合せ画像との類似度を求めると
共に、求めた各問合せ画像との類似度を合計して前記検
索対象の画像の総合類似度を求める検索手段と、前記検
索手段で前記検索対象の画像毎に求めた総合類似度に基
づいて、検索結果を出力する出力手段と、を備えたもの
である。

【００１９】また、請求項４の画像検索装置は、問合せ
画像および複数の検索対象の画像から画像の特徴を表す
特徴量を少なくとも一種類抽出し、抽出した少なくとも
一種類の特徴量を用いて前記問合せ画像および検索対象
の画像の類似度を求めることにより、前記複数の検索対
象の画像から前記問合せ画像と同一または類似の画像を
検索する画像検索装置において、前記問合せ画像を複数
指定する指定手段と、前記検索対象の画像毎に、前記指
定手段で指定された各問合せ画像との類似度を求めると
共に、求めた各問合せ画像との類似度の中から最も高い
類似性を示す類似度を選択して前記検索対象の画像の総
合類似度を求める検索手段と、前記検索手段で前記検索
対象の画像毎に求めた総合類似度に基づいて、検索結果
を出力する出力手段と、を備えたものである。

【００２０】また、請求項５の画像検索装置は、請求項
２，３または４に記載の画像検索装置において、前記指
定手段が、前記検索手段で求める類似度に対し、前記問
合せ画像の種類に応じて任意の重み付けを行うことがで
きるように、前記各問合せ画像毎に重要度を指定するこ
とが可能であり、前記検索手段が、前記検索対象の画像
毎に、前記各問合せ画像との類似度を求め、求めた各問
合せ画像との類似度に対して前記指定手段で指定された
重要度に応じた重み付けを行った後、前記総合類似度を
求めるものである。

【００２１】また、請求項６の画像検索装置は、請求項
３または４に記載の画像検索装置において、前記指定手
段が、複数種類の特徴量を用いて前記問合せ画像および
検索対象の画像の類似度を求める場合に、前記検索手段
で求める類似度に対し、前記問合せ画像および特徴量の
種類に応じて任意の重み付けを行うことができるよう
に、各種類の特徴量毎の重要度を各問合せ画像毎に指定
することが可能であり、前記検索手段が、前記検索対象
の画像それぞれについて、前記各種類の特徴量毎に前記
各問合せ画像との類似度を求め、前記各種類の特徴量毎
に求めた各問合せ画像との類似度に対して前記指定手段
で指定された重要度に応じた重み付けを行った後、前記
総合類似度を求めるものである。

【００２２】また、請求項７の画像検索装置は、請求項
３または４に記載の画像検索装置において、さらに、複
数種類の特徴量を用いて前記問合せ画像および検索対象
の画像の類似度を求める場合に、前記検索手段で求める
類似度に対し、前記特徴量の種類に応じて任意の重み付
けを行うことができるように、前記指定手段で指定され
た各問合せ画像間の類似度を各種類の特徴量毎に求め、
求めた各種類の特徴量毎の類似度に基づいて前記各問合
せ画像間における各種類の特徴量毎の重要度を決定する
重要度決定手段を備え、前記検索手段が、前記検索対象
の画像それぞれについて、前記各種類の特徴量毎に各問
合せ画像との類似度を求め、前記各種類の特徴量毎に求
めた各問合せ画像との類似度に対して前記重要度決定手
段で決定した各種類の特徴量毎の重要度に応じた重み付
けを行った後、前記総合類似度を求めるものである。

【００２３】また、請求項８の画像検索装置は、問合せ
画像および複数の検索対象の画像から画像の特徴を表す
特徴量を少なくとも一種類抽出し、抽出した少なくとも
一種類の特徴量を用いて前記問合せ画像および検索対象
の画像の類似度を求めることにより、前記複数の検索対
象の画像から前記問合せ画像と同一または類似の画像を
検索する画像検索装置において、前記問合せ画像を少な
くとも一つ指定すると共に、画像から抽出する特徴量の
粗さのレベルを粗から細に向かって段階的に定義した抽
出基準に基づいて、検索に利用する特徴量の粗さのレベ
ルを少なくとも一つ指定する指定手段と、前記抽出基準
に基づいて、前記問合せ画像および複数の検索対象の画
像から少なくとも前記指定手段で指定された粗さのレベ
ルに該当する特徴量を所定のタイミングで抽出する特徴
抽出手段と、前記検索対象の画像毎に、前記指定手段で
指定された粗さのレベルに応じた特徴量を用いて前記問
合せ画像との類似度を求める検索手段と、前記検索手段
で前記検索対象の画像毎に求めた類似度に基づいて、検
索結果を出力する出力手段と、を備えたものである。

【００２４】また、請求項９の画像検索装置は、請求項
８に記載の画像検索装置において、前記抽出基準が、少
なくとも画像を何分割するかを表す分割数を前記粗さの
レベルとして段階的に定義しており、前記特徴抽出手段
が、前記段階的に定義された粗さのレベルのいずれか一
つに応じて前記特徴量を抽出する場合、該当する分割数
に基づいて画像を分割して複数の分割画像を生成し、生
成した各分割画像から前記特徴量をそれぞれ抽出するこ
とにより、前記問合せ画像および検索対象の画像から分
割画像単位の特徴量からなる特徴量群を抽出し、前記検
索手段が、前記特徴量群を利用して前記問合せ画像およ
び検索対象の画像の類似度を求める場合、前記問合せ画
像および検索対象の画像の対応する分割画像毎の類似度
を該当する特徴量を用いてそれぞれ求めることにより、
前記問合せ画像および検索対象の画像の類似度を求める
ものである。

【００２５】また、請求項１０の画像検索装置は、請求
項９に記載の画像検索装置において、前記抽出基準が、
前記段階的に定義された粗さのレベル中の最も粗い特徴
量を示すレベルとして、画像を分割することなく、画像
全体を特徴量の抽出対象とするレベルを含み、前記特徴
抽出手段が、前記画像全体を特徴量の抽出対象とするレ
ベルに応じて特徴量を抽出する場合、前記問合せ画像お
よび検索対象の画像から画像全体を対象として特徴量を
抽出するものである。

【００２６】また、請求項１１の画像検索装置は、請求
項８，９または１０のいずれか一つに記載の画像検索装
置において、前記抽出基準が、画像中に存在するオブジ
ェクトを特徴量の抽出対象とする場合に、前記オブジェ
クトから抽出する特徴量の粗さのレベルの定義を含むも
のである。

【００２７】また、請求項１２の画像検索装置は、請求
項８〜１１のいずれか一つに記載の画像検索装置におい
て、前記特徴抽出手段が、前記複数の検索対象の画像に
ついては前記抽出基準で定義された全ての粗さのレベル
に応じた特徴量を予め抽出しておき、前記指定手段で指
定された問合せ画像のうち、前記特徴量が抽出されてい
ない問合せ画像については前記検索手段が類似度を求め
る処理を実行する前に前記指定手段で指定された粗さの
レベルに応じた特徴量を抽出するものである。

【００２８】また、請求項１３の画像検索装置は、問合
せ画像および複数の検索対象の画像から画像の特徴を表
す特徴量を少なくとも一種類抽出し、抽出した少なくと
も一種類の特徴量を用いて前記問合せ画像および検索対
象の画像の類似度を求めることにより、前記複数の検索
対象の画像から前記問合せ画像と同一または類似の画像
を検索する画像検索装置において、前記問合せ画像を少
なくとも一つ指定する指定手段と、前記検索対象の画像
毎に、前記検索対象の画像中の所定のサイズの領域と前
記指定手段で指定された問合せ画像との類似度を予め抽
出した所定の特徴量を用いて求める処理を前記検索対象
の画像全体にわたって繰り返し実行する検索手段と、前
記検索手段で前記検索対象の画像毎に求めた類似度に基
づいて、検索結果を出力する出力手段と、を備えたもの
である。

【００２９】また、請求項１４の画像検索装置は、請求
項１〜１３のいずれか一つに記載の画像検索装置におい
て、前記指定手段が、検索結果の画像を前記問合せ画像
として指定可能であるものである。

【００３０】また、請求項１５のコンピュータ読み取り
可能な記録媒体は、前記請求項１〜１４のいずれか一つ
に記載の画像検索装置の各手段としてコンピュータを機
能させるためのプログラムを記録したものである。

【００３１】また、請求項１６の画像分類装置は、分類
対象の画像の分類先となる分類項目毎に前記分類対象の
画像の分類基準となる基準画像を設定し、前記各分類項
目毎に設定された基準画像および前記分類対象の画像か
らそれぞれ抽出した画像の特徴を表す少なくとも一種類
の特徴量を用いることにより、前記各分類項目毎に前記
基準画像および分類対象の画像の類似度を求め、求めた
類似度に基づいて前記分類対象の画像を前記分類項目の
いずれかに分類する画像分類装置であって、前記分類項
目を設定し、設定した分類項目それぞれに対し、前記基
準画像および分類対象の画像の類似度を求める際に使用
される各種類の特徴量毎にそれぞれ一つの基準画像を設
定する設定手段と、前記分類項目毎に、前記設定手段で
設定された各基準画像および分類対象の画像の類似度を
対応する種類の特徴量を用いて求めると共に、求めた類
似度を合計して前記分類対象の画像の総合類似度を求め
る演算手段と、前記演算手段で前記分類項目毎に求めた
前記分類対象の画像の総合類似度および予め設定された
分類先決定基準に基づいて、前記分類対象の画像の分類
先となる分類項目を決定する決定手段と、を備えたもの
である。

【００３２】また、請求項１７の画像分類装置は、分類
対象の画像の分類先となる分類項目毎に前記分類対象の
画像の分類基準となる基準画像を設定し、前記各分類項
目毎に設定された基準画像および前記分類対象の画像か
らそれぞれ抽出した画像の特徴を表す少なくとも一種類
の特徴量を用いることにより、前記各分類項目毎に前記
基準画像および分類対象の画像の類似度を求め、求めた
類似度に基づいて前記分類対象の画像を前記分類項目の
いずれかに分類する画像分類装置であって、前記分類項
目を設定し、設定した分類項目毎に、前記基準画像を複
数設定すると共に、設定した各基準画像毎に前記分類対
象の画像との類似度を求める際に使用する特徴量の種類
を設定する設定手段と、前記分類項目毎に、前記設定手
段で設定された種類の特徴量を用いて各基準画像および
分類対象の画像の類似度を求めると共に、求めた類似度
を合計して前記分類対象の画像の総合類似度を求める演
算手段と、前記演算手段で前記分類項目毎に求めた前記
分類対象の画像の総合類似度および予め設定された分類
先決定基準に基づいて、前記分類対象の画像の分類先と
なる分類項目を決定する決定手段と、を備えたものであ
る。

【００３３】また、請求項１８の画像分類装置は、分類
対象の画像の分類先となる分類項目毎に前記分類対象の
画像の分類基準となる基準画像を設定し、前記各分類項
目毎に設定された基準画像および前記分類対象の画像か
らそれぞれ抽出した画像の特徴を表す少なくとも一種類
の特徴量を用いることにより、前記各分類項目毎に前記
基準画像および分類対象の画像の類似度を求め、求めた
類似度に基づいて前記分類対象の画像を前記分類項目の
いずれかに分類する画像分類装置であって、前記分類項
目を設定し、設定した分類項目毎に、前記基準画像を複
数設定する設定手段と、前記分類項目毎に、前記設定手
段で設定された各基準画像および前記分類対象の画像の
類似度を求めると共に、求めた類似度を合計して前記分
類対象の画像の総合類似度を求める演算手段と、前記演
算手段で前記分類項目毎に求めた前記分類対象の画像の
総合類似度および予め設定された分類先決定基準に基づ
いて、前記分類対象の画像の分類先となる分類項目を決
定する決定手段と、を備えたものである。

【００３４】また、請求項１９の画像分類装置は、分類
対象の画像の分類先となる分類項目毎に前記分類対象の
画像の分類基準となる基準画像を設定し、前記各分類項
目毎に設定された基準画像および前記分類対象の画像か
らそれぞれ抽出した画像の特徴を表す少なくとも一種類
の特徴量を用いることにより、前記各分類項目毎に前記
基準画像および分類対象の画像の類似度を求め、求めた
類似度に基づいて前記分類対象の画像を前記分類項目の
いずれかに分類する画像分類装置であって、前記分類項
目を設定し、設定した分類項目毎に、前記基準画像を複
数設定する設定手段と、前記分類項目毎に、前記設定手
段で設定された各基準画像および前記分類対象の画像の
類似度を求めると共に、求めた類似度の中から最も高い
類似性を示す類似度を選択して前記分類対象の画像の総
合類似度を求める演算手段と、前記演算手段で前記分類
項目毎に求めた前記分類対象の画像の総合類似度および
予め設定された分類先決定基準に基づいて、前記分類対
象の画像の分類先となる分類項目を決定する決定手段
と、を備えたものである。

【００３５】また、請求項２０の画像分類装置は、請求
項１７，１８または１９に記載の画像分類装置におい
て、前記設定手段が、前記演算手段で求める類似度に対
し、前記基準画像の種類に応じて任意の重み付けを行う
ことができるように、前記各基準画像毎に重要度を設定
することが可能であり、前記演算手段が、前記分類項目
毎に、前記各基準画像および分類対象の画像の類似度を
求め、求めた類似度に対して前記設定手段で設定された
重要度に応じた重み付けを行った後、前記総合類似度を
求めるものである。

【００３６】また、請求項２１の画像分類装置は、請求
項１８または１９に記載の画像分類装置において、前記
設定手段が、複数種類の特徴量を用いて前記基準画像お
よび分類対象の画像の類似度を求める場合に、前記演算
手段で求める類似度に対し、前記基準画像および特徴量
の種類に応じて任意の重み付けを行うことができるよう
に、各種類の特徴量毎の重要度を各基準画像毎に設定す
ることが可能であり、前記演算手段が、前記分類項目そ
れぞれについて、前記各種類の特徴量毎に前記各基準画
像および分類対象の画像の類似度を求め、前記各種類の
特徴量毎に求めた類似度に対して前記設定手段で設定さ
れた重要度に応じた重み付けを行った後、前記総合類似
度を求めるものである。

【００３７】また、請求項２２の画像分類装置は、請求
項１８または１９に記載の画像分類装置において、さら
に、複数種類の特徴量を用いて前記基準画像および分類
対象の画像の類似度を求める場合に、前記演算手段で求
める類似度に対し、前記特徴量の種類に応じて任意の重
み付けを行うことができるように、前記分類項目毎に、
前記設定手段で設定された各基準画像間の類似度を各種
類の特徴量毎に求め、前記各種類の特徴量毎に求めた類
似度に基づいて前記各基準画像間における各特徴量毎の
重要度を決定する重要度決定手段を備え、前記演算手段
が、前記分類項目それぞれについて、前記各種類の特徴
量毎に前記各基準画像および分類対象の画像の類似度を
求め、前記各種類の特徴量毎に求めた類似度に対して前
記重要度決定手段で決定された重要度に応じた重み付け
を行った後、前記総合類似度を求めるものである。

【００３８】また、請求項２３の画像分類装置は、請求
項１６〜２２のいずれか一つに記載の画像分類装置にお
いて、前記設定手段が、前記分類項目毎に分類された画
像をさらに分類するための分類項目を設定可能であるも
のである。

【００３９】また、請求項２４の画像分類装置は、分類
対象の複数の画像から画像の特徴を表す少なくとも一種
類の特徴量を抽出し、抽出した特徴量を用いて前記分類
対象の各画像を類似する画像同士のグループに分類する
画像分類装置であって、前記特徴量の種類を指定する指
定手段と、前記指定手段で特徴量の種類が指定された場
合に、指定された種類の特徴量を用いて前記分類対象の
各画像間の類似度を求め、求めた分類対象の各画像間の
類似度に基づいて、前記分類対象の各画像を類似する画
像同士のグループに分類する分類手段と、前記分類手段
で分類された各グループからそれぞれグループを代表す
る代表画像を選択して画面表示する表示手段と、を備
え、前記指定手段が、さらに、前記表示手段によって表
示された代表画像の一つを指定すると共に、前記特徴量
の種類を指定可能であり、前記分類手段が、前記指定手
段で前記代表画像および前記特徴量の種類が指定された
場合に、指定された種類の特徴量を用いて前記代表画像
の属するグループに分類された各画像を類似する画像同
士のグループに分類し、前記表示手段が、前記分類手段
で分類された各グループからそれぞれグループを代表す
る代表画像を選択して画面表示するものである。

【００４０】また、請求項２５の画像分類装置は、請求
項２４に記載の画像分類装置において、前記表示手段
が、前記指定手段で指定可能な特徴量の種類を画面表示
し、前記指定手段で指定された特徴量の種類に関連付け
て前記分類手段で分類された各グループの代表画像を画
面表示して、前記分類対象の複数の画像を分類した結果
を木構造で画面表示するものである。

【００４１】また、請求項２６の画像分類装置は、請求
項１６〜２５のいずれか一つに記載の画像分類装置にお
いて、さらに、前記分類項目毎に分類された任意の画像
を問合せ画像として用いることにより、前記問合せ画像
と同一または類似の画像を検索する検索手段を備えたも
のである。

【００４２】また、請求項２７の画像分類装置は、請求
項２６に記載の画像分類装置において、前記検索手段
が、前記請求項１〜１４のいずれか一つに記載の画像検
索装置であるものである。

【００４３】また、請求項２８の画像分類装置は、請求
項１６〜２５のいずれか一つに記載の画像分類装置にお
いて、前記分類対象の画像が、前記請求項２６に記載の
検索手段または前記請求項１〜１４のいずれか一つに記
載の画像検索装置で検索された画像であるものである。

【００４４】さらに、請求項２９のコンピュータ読み取
り可能な記録媒体は、前記請求項１６〜２８のいずれか
一つに記載の画像分類装置の各手段としてコンピュータ
を機能させるためのプログラムを記録したものである。

【００４５】

【発明の実施の形態】以下、本発明に係る画像検索装置
および画像分類装置の実施の形態について、添付の図面
を参照しつつ詳細に説明する。

【００４６】〔実施の形態１〕まず、本発明に係る画像
検索装置について説明する。図１は、実施の形態１に係
る画像検索装置のブロック構成図である。図１に示す画
像検索装置は、パーソナルコンピュータやワークステー
ション等のコンピュータ１００で構成されており、全体
を制御するＣＰＵ１０１と、ブートプログラム等を記憶
したＲＯＭ１０２と、ＣＰＵ１０１のワークエリアとし
て使用されるＲＡＭ１０３と、問合せ画像，検索実行命
令等の入力を行うためのキーボード１０４およびマウス
１０５と、例えば検索結果の画像を表示するためのＣＲ
Ｔや液晶ディスプレイ等のモニタ１０６と、本発明の画
像検索装置としての機能をＣＰＵ１０１（コンピュータ
１００）に実行させるための画像検索ソフト１０７，複
数の画像が登録された画像ＤＢ１０８，画像ＤＢ１０８
中の画像から抽出した特徴量が登録された画像特徴ＤＢ
１０９等を記憶したハードディスク１１０と、画像を入
力するためのスキャナやディジタルカメラを接続するた
めのインターフェイス（Ｉ／Ｆ）１１１と、インターネ
ットやＬＡＮのようなネットワーク１１２にコンピュー
タ１００（画像検索装置）を接続するためのネットワー
ク・アダプタ１１３と、上記各部を接続するバス１１４
と、を備えている。

【００４７】図２は、図１に示した画像検索装置におい
て実行される処理を示すブロック図である。処理の詳細
な内容については後述するが、図２において、ユーザ・
インターフェイス（Ｕ／Ｉ）部１５１（本発明の指定手
段および出力手段に該当する）は、ユーザに対して画像
検索を行うための検索条件入力画面，検索結果表示画面
等を表示して、検索条件の入力，検索結果の出力処理等
を実行する。特徴抽出エンジン１５２（本発明の重要度
決定手段および特徴抽出手段に該当する）は、画像ＤＢ
１０８に登録する画像（検索対象の画像）および検索時
に指定される問合せ画像から画像の特徴量を抽出する処
理を実行する。さらに、マッチング・エンジン１５３
（本発明の検索手段に該当する）は、問合せ画像から抽
出された特徴量と画像特徴ＤＢ１０９に登録された画像
ＤＢ１０８中の画像の特徴量とを比較し、問合せ画像の
特徴に該当する特徴を有する画像を検索する処理を実行
する。

【００４８】なお、図２において、Ｕ／Ｉ部１５１，特
徴抽出エンジン１５２およびマッチング・エンジン１５
３は、図１に示した画像検索ソフト１０７を構成するモ
ジュールを意味している。これら各部による処理は、図
１に示したＣＰＵ１０１が画像検索ソフト１０７を実行
することによって実現される。

【００４９】つぎに、前述した構成を有する画像検索装
置によって実行される処理について、 （１）特徴量抽出処理 （２）画像検索処理 の順で説明する。

【００５０】（１）特徴量抽出処理 まず、検索対象の画像を画像ＤＢ１０８に登録する処理
を例にとって、画像の特徴を表す特徴量を各画像から抽
出する処理を説明する。ここでは、一例として、従来か
ら良く知られている画像の色特徴（色ヒストグラム），
画像のエッジ特徴および画像中のテクスチャ特徴を特徴
量として抽出するものとする。

【００５１】図３は、実施の形態１に係る画像検索装置
において実行される画像登録処理の概略を示すフローチ
ャートである。図２に示した特徴抽出エンジン１５２
は、Ｕ／Ｉ部１５１を介して登録対象となる画像を入力
する（Ｓ１１）。入力する画像は、例えば、スキャナで
読み取った画像，ディジタルカメラで撮像した画像，ネ
ットワーク１１２を介してダウンロードした画像，予め
ハードディスク１１０に記憶されていた画像等、いかな
るものであっても良い。

【００５２】そして、特徴抽出エンジン１５２は、入力
した画像から特徴量を抽出する処理を実行する（Ｓ１
２）。このステップＳ１２において、上記３種類の特徴
量が各画像から抽出されるものとする。これら３種類の
特徴量は、以下に示すように従来から知られている方法
を用いて各画像から抽出することができる。

【００５３】画像の色ヒストグラム（以下、単に「色」
と記述する）は、適当な色空間（例えばＬａｂ，Ｌｕ
ｖ，ＨＳＶなどが一般的）を選択して複数の領域に分割
し、画像の各ピクセルが色空間中のどの領域に対応する
かを調べ、領域毎のピクセル数を全体のピクセル数によ
り正規化することによって得ることができる。画像のエ
ッジ（以下、「構造」と記述する）は、例えばｓｏｂｅ
ｌのようなエッジ抽出フィルタを用いて得ることができ
る。さらに、テクスチャは、同時生起行列に基づくテク
スチャ抽出によって得ることができる（参考文献：高木
幹夫雄，下田陽久監修，「画像解析ハンドブック」，東
京大学出版会，１９９１年）。

【００５４】ステップＳ１２で画像から特徴量を抽出し
た後、特徴抽出エンジン１５２は、画像ＤＢ１０８に登
録する元の画像に関連付けて、抽出した特徴量を画像特
徴ＤＢ１０９に登録する（Ｓ１３）。また、元の画像も
画像ＤＢ１０８に登録される。

【００５５】なお、画像検索の高速化という観点から、
画像ＤＢ１０８に登録する検索対象の画像については、
登録時に予め特徴量を抽出して画像特徴ＤＢ１０９に登
録しておくことが好ましい。ただし、画像検索時に検索
対象の各画像から特徴量を抽出することにする場合に
は、予め特徴量を抽出しておく必要はない。

【００５６】図３に示した処理を実行することにより、
画像ＤＢ１０８に登録された画像は、抽出した特徴量の
種類毎に図４に示すような特徴空間にマップされること
になる。画像検索時においては、後述するように問合せ
画像から画像の特徴量を抽出し、同じく図４に示す特徴
空間にマップする。図４に示すポイント（黒点）は、特
徴空間にマップされた画像を示し、問合せ画像のポイン
トと各画像のポイント間の距離が画像の類似度となる。
なお、画像の特徴量の多くはベクトルデータであり、類
似度であるポイント間の距離の計算には一般にユークリ
ッド距離などのベクトルの距離定義式が利用される。ま
た、画像の特徴量の種類に合わせて独自の距離を定義す
ることもできる。

【００５７】（２）画像検索処理 続いて、実施の形態１に係る画像検索装置において実行
される画像検索処理について説明する。実施の形態１に
係る画像検索装置は、単に問合せ画像を検索条件として
指定するのみでは問合せ画像とユーザが検索結果として
希望する画像との類似観点を装置に伝えられないという
点を考慮したものであって、検索に使用する特徴量の種
類毎に問合せ画像を指定することによって、ユーザが適
切と考える仮想的な一つの問合せ画像を表現できるよう
にしたものである。なお、前述したように、ここで使用
可能な特徴量の種類としては、色，構造およびテクスチ
ャの３種類であるものとし、検索対象の画像は画像ＤＢ
１０８に登録された画像であるものとする。

【００５８】図５は検索時に使用される検索ウインドウ
を示す説明図であり、図６は実施の形態１に係る画像検
索処理を示すフローチャートである。図２のＵ／Ｉ部１
５１は、画像検索処理を実行する際に図５に示す検索ウ
インドウ２００ａを図１に示したモニタ１０６上に画面
表示する。検索ウインドウ２００ａは、画像検索に用い
られる色，構造およびテクスチャの特徴量毎にそれぞれ
一つの問合せ画像を指定するための画像指定欄Ａ，Ｂお
よびＣと、画像検索処理の実行を指定するための検索ボ
タン２０１と、検索結果の画像を表示する画像表示欄２
０２と、を備えている。

【００５９】ユーザは、図５に示した各画像指定欄にお
いて、特徴量の種類毎に問合せ画像をそれぞれ指定する
（Ｓ１０１）。問合せ画像として指定する画像は、例え
ば、スキャナで読み取った画像，ディジタルカメラで撮
像した画像，ネットワーク１１２を介してダウンロード
した画像，予めハードディスク１１０に記憶されていた
画像等、いかなるものであっても良い。

【００６０】ここで、問合せ画像の指定方法について具
体的に説明する。前提として、ユーザが検索結果として
希望する画像を適切に表現した一枚の画像は存在しない
が、例えば、検索結果として希望する画像に画像の配色
の雰囲気が似た画像Ａ，画像の構造（オブジェクトの配
置等）の雰囲気が似た画像Ｂおよび画像中のテクスチャ
の雰囲気が似た画像Ｃが見つかったものとする。

【００６１】ユーザは、図５に示すように、これら３枚
の画像Ａ，ＢおよびＣをそれぞれ画像指定欄Ａ，Ｂおよ
びＣに問合せ画像として指定する。具体的には、検索結
果として希望する画像に画像の配色の雰囲気が似ている
問合せ画像Ａを特徴量「色」に対応する画像指定欄Ａに
指定する。同様に、検索結果として希望する画像に画像
の構造の雰囲気が似ている問合せ画像Ｂを特徴量「構
造」に対応する画像指定欄Ｂに、画像中のテクスチャの
雰囲気が似ている問合せ画像Ｃを特徴量「テクスチャ」
に対応する画像指定欄Ｃに指定する。

【００６２】なお、以下の説明において、画像指定欄Ａ
に指定された画像を問合せ画像Ａと、画像指定欄Ｂに指
定された画像を問合せ画像Ｂと、画像指定欄Ｃに指定さ
れた画像を問合せ画像Ｃと呼ぶことにする。

【００６３】このように、単に問合せ画像を複数指定す
るだけでなく、画像検索に使用される各種類の特徴量毎
に問合せ画像を指定することにより、ユーザが適切と考
える仮想的な一つの問合せ画像を表現できると共に、検
索に対するユーザの意図を装置側に正確に伝えることが
可能となる。したがって、後述する検索処理によって、
ユーザの意図が反映された検索結果の画像を得ることが
可能となる。

【００６４】図６のフローチャートの説明に戻る。ユー
ザが図５の検索ボタン２０１を指定すると、Ｕ／Ｉ部１
５１は、問合せ画像Ａ，ＢおよびＣを特徴抽出エンジン
１５２に入力し、特徴抽出エンジン１５２は、各問合せ
画像Ａ，ＢおよびＣから対応する種類の特徴量を抽出す
る処理を実行する（Ｓ１０２）。すなわち、特徴抽出エ
ンジン１５２は、問合せ画像Ａから色の特徴量を、問合
せ画像Ｂから構造の特徴量を、問合せ画像Ｃからテクス
チャの特徴量を抽出する。その後、特徴抽出エンジン１
５２は、抽出した各問合せ画像の特徴量をマッチング・
エンジン１５３に渡す（図４の特徴空間にそれぞれマッ
プする）。

【００６５】なお、問合せ画像Ａ，ＢおよびＣから抽出
した特徴量が画像特徴ＤＢ１０９に登録されている場合
には、図６のステップＳ１０２の処理をスキップするこ
とができる。

【００６６】続いて、マッチング・エンジン１５３は、
画像ＤＢ１０８に登録されている検索対象の画像毎に、
該当する特徴量を用いて各問合せ画像Ａ，ＢおよびＣと
の類似度を求めると共に、求めた各問合せ画像Ａ，Ｂお
よびＣとの類似度を合計して、検索対象の画像の総合類
似度を求める処理を実行する（Ｓ１０３）。

【００６７】このステップＳ１０３における処理を検索
対象の一つの画像を例にとって具体的に説明する。マッ
チング・エンジン１５３は、検索対象の画像と問合せ画
像Ａについて、色の特徴量を用いて類似度を求める。す
なわち、マッチング・エンジン１５３は、色の特徴量に
基づいて図４に示した特徴量空間中にプロットされた検
索対象の画像と問合せ画像Ａとの距離を例えばユークリ
ッド距離などのベクトルの距離定義式を用いて求める。
この画像間の距離が、二つの画像の類似度に該当し、距
離が短いほど二つの画像が色の特徴において類似してい
ることになる。マッチング・エンジン１５３は、同様
に、構造の特徴量に基づいて検索対象の画像と問合せ画
像Ｂとの距離を求めると共に、テクスチャの特徴量に基
づいて検索対象の画像と問合せ画像Ｃとの距離を求め
る。

【００６８】その後、マッチング・エンジン１５３は、
検索対象の画像と各問合せ画像Ａ，ＢおよびＣとの距離
を合計し、距離の合計値を総合類似度とする。ここで、
特徴量の種類の数をＮ、特徴量ｊの問合せ画像をＱ_j、
検索対象の画像をＩ_i、特徴量ｊの画像間の距離式をＤ_j
（）とすると、検索対象の各画像毎の総合類似度Ｓ_iは
以下のように表わされる。

【００６９】

【数１】

【００７０】マッチング・エンジン１５３は、このよう
にして検索対象の画像毎に総合類似度を求め、検索対象
の画像毎の総合類似度をＵ／Ｉ部１５１に出力する。

【００７１】Ｕ／Ｉ部１５１は、マッチング・エンジン
１５３によって検索対象の画像毎に求められた総合類似
度を参照し、例えば総合類似度の高い順に検索対象の画
像を図５の画像表示欄２０２に表示する（Ｓ１０４）。
ここでは、総合類似度として、検索対象の画像と問合せ
画像Ａ，ＢおよびＣとの特徴量間の距離の合計を用いて
いるため、実際には、総合類似度の値の小さい順に検索
対象の画像が画像表示欄２０２に表示されることにな
る。すなわち、総合類似度は０以上の値を持ち、総合類
似度が０のときは各問合せ画像の特徴量および検索対象
の画像の特徴量が等しいということを意味する。

【００７２】なお、画像表示欄２０２には検索対象の画
像を全て表示する必要はなく、予め定めた数の画像のみ
を表示したり、予め定めた閾値以下（総合類似度が画像
間の距離で表されている場合）の総合類似度を得た画像
のみを表示することにしても良い。すなわち、検索結果
をどのように表示するかについては任意に設定・変更す
ることが可能である（以下の実施の形態においても同
様）。

【００７３】また、画像表示欄２０２に表示された検索
結果の画像を参照した結果、絞込み検索を行いたい場合
には、画像表示欄２０２に表示された画像を問合せ画像
として指定して同様の検索処理を行うこともできる。ま
た、画像表示欄２０２に表示された画像をマウス１０５
でクリックすることにより、画像を拡大して表示する処
理を行うことも可能である。

【００７４】このように、実施の形態１に係る画像検索
装置によれば、問合せ画像および検索対象の画像の類似
度を求める際に使用される各種類の特徴量毎にそれぞれ
一つの問合せ画像を指定し、検索対象の画像毎に、指定
された各問合せ画像との類似度を対応する種類の特徴量
を用いて求めると共に、求めた各問合せ画像との類似度
を合計して検索対象の画像の総合類似度を求め、検索対
象の画像毎に求めた総合類似度に基づいて検索結果を出
力することにより、ユーザの意図を検索条件として正確
に表現できるため、ユーザの意図を正確に装置に伝える
ことができると共に、検索に対するユーザの意図を確実
に装置に伝えることができるため、検索に対するユーザ
の意図を正確に反映した検索結果を得ることができ、ユ
ーザが望む通りの精度の高い画像検索処理を行うことが
できる。

【００７５】例えば、問合せ画像として適切な画像が存
在しない場合であっても、検索結果として望む画像に色
の雰囲気が似た画像やオブジェクトの形状の雰囲気が似
た画像を問合せ画像として指定し、これらの画像を合わ
せたものを一つの問合せとして使用することができる。

【００７６】なお、実施の形態１の説明において、全て
の種類の特徴量にそれぞれ対応して問合せ画像を指定す
ることにしたが、必ず全ての種類の特徴量に対応して問
合せ画像を指定する必要はない。また、色，構造および
テクスチャの３種類の特徴量を用いることにしたが、こ
れらはあくまでも例示であって、特徴量の種類および数
を限定することを意図したものではない。

【００７７】〔実施の形態２〕実施の形態２に係る画像
検索装置は、実施の形態１の場合と同様に、単に問合せ
画像を検索条件として指定するのみでは問合せ画像とユ
ーザが検索結果として希望する画像との類似観点を装置
に伝えられないという点を考慮したものであって、複数
の問合せ画像と検索に使用する特徴量の種類とを指定す
ることによって、ユーザが適切と考える仮想的な一つの
問合せ画像を表現できるようにしたものである。なお、
実施の形態２に係る画像検索装置において、実施の形態
１で既に説明した構成については同一の符号を使用して
詳細な説明を省略し、画像検索処理についても共通する
点については適宜説明を省略する。

【００７８】図７は検索時に使用される検索ウインドウ
を示す説明図であり、図８は実施の形態２に係る画像検
索処理を示すフローチャートである。図２のＵ／Ｉ部１
５１は、画像検索処理を実行する際に図７に示す検索ウ
インドウ２００ｂを図１に示したモニタ１０６上に画面
表示する。検索ウインドウ２００ｂは、複数の問合せ画
像を指定するための画像指定欄Ａ，ＢおよびＣと、各画
像指定欄に指定した問合せ画像毎に、検索対象の画像と
の類似度を求める際に使用する特徴量の種類を指定する
ための特徴量指定ボタン２０３と、画像検索処理の実行
を指定するための検索ボタン２０１と、検索結果の画像
を表示する画像表示欄２０２と、を備えている。

【００７９】実施の形態１で説明したように、前提とし
て、ユーザが検索結果として希望する画像を適切に表現
した一枚の画像は存在しないが、例えば、検索結果とし
て希望する画像に画像の配色の雰囲気が似た画像Ａ，画
像の構造の雰囲気が似た画像Ｂおよび画像中のテクスチ
ャの雰囲気が似た画像Ｃが見つかったものとする。

【００８０】ユーザは、図７に示した各画像指定欄に問
合せ画像を複数指定すると共に、指定した各問合せ画像
毎に検索対象の画像との類似度を求める際に使用する特
徴量の種類を指定する（Ｓ２０１）。

【００８１】具体的に、ユーザは、図７に示すように３
枚の画像Ａ，ＢおよびＣを画像指定欄Ａ，ＢおよびＣに
問合せ画像として指定する。そして、ユーザは、検索結
果として希望する画像に画像の配色の雰囲気が似ている
問合せ画像Ａについては、特徴量指定ボタン２０３にお
いて「色」を指定する。同様に、検索結果として希望す
る画像に画像の構造の雰囲気が似ている問合せ画像Ｂに
ついては「構造」を、画像中のテクスチャの雰囲気が似
ている問合せ画像Ｃについては「テクスチャ」を指定す
る。

【００８２】このように、単に問合せ画像を複数指定す
るだけでなく、指定した各問合せ画像毎にユーザが重視
する画像の特徴に該当する特徴量を指定することによ
り、ユーザが適切と考える仮想的な一つの問合せ画像を
表現できると共に、検索に対するユーザの意図を装置側
に正確に伝えることが可能となる。したがって、後述す
る検索処理によって、ユーザの意図が反映された検索結
果の画像を得ることが可能となる。

【００８３】ただし、図７においては、各問合せ画像に
対してそれぞれ異なる種類の特徴量を指定することにし
たが、同一種類の特徴量を指定しても良い。すなわち、
複数の問合せ画像全てに同一種類の特徴量を指定しても
良い。

【００８４】そして、ユーザが図７の検索ボタン２０１
を指定すると、Ｕ／Ｉ部１５１は、問合せ画像Ａ，Ｂお
よびＣ，ならびに特徴量の種類を特徴抽出エンジン１５
２に入力し、特徴抽出エンジン１５２は、各問合せ画像
Ａ，ＢおよびＣから指定された種類の特徴量を抽出する
処理を実行する（Ｓ２０２）。すなわち、特徴抽出エン
ジン１５２は、問合せ画像Ａから色の特徴量を、問合せ
画像Ｂから構造の特徴量を、問合せ画像Ｃからテクスチ
ャの特徴量を抽出する。その後、特徴抽出エンジン１５
２は、抽出した各問合せ画像の特徴量をマッチング・エ
ンジン１５３に渡す（図４の特徴空間にそれぞれマップ
する）。

【００８５】なお、問合せ画像Ａ，ＢおよびＣから抽出
した特徴量が画像特徴ＤＢ１０９に登録されている場合
には、図８のステップＳ２０２の処理をスキップするこ
とができる。

【００８６】続いて、マッチング・エンジン１５３は、
画像ＤＢ１０８に登録されている検索対象の画像毎に、
ユーザが指定した種類の特徴量を用いて各問合せ画像
Ａ，ＢおよびＣとの類似度を求めると共に、求めた各問
合せ画像Ａ，ＢおよびＣとの類似度を合計して検索対象
の画像の総合類似度を求める処理を実行する（Ｓ２０
３）。

【００８７】このステップＳ２０３における処理を検索
対象の一つの画像を例にとって具体的に説明する。マッ
チング・エンジン１５３は、検索対象の画像と問合せ画
像Ａについて、色の特徴量を用いて類似度を求める。す
なわち、マッチング・エンジン１５３は、色の特徴量に
基づいて図４に示した特徴量空間中にプロットされた検
索対象の画像と問合せ画像Ａとの距離を例えばユークリ
ッド距離などのベクトルの距離定義式を用いて求める。
この画像間の距離が、二つの画像の類似度に該当し、距
離が短いほど二つの画像が色の特徴において類似してい
ることになる。マッチング・エンジン１５３は、同様
に、構造の特徴量に基づいて検索対象の画像と問合せ画
像Ｂとの距離を求めると共に、テクスチャの特徴量に基
づいて検索対象の画像と問合せ画像Ｃとの距離を求め
る。

【００８８】その後、マッチング・エンジン１５３は、
検索対象の画像と各問合せ画像Ａ，ＢおよびＣとの距離
を合計し、距離の合計値を総合類似度とする。ここで、
特徴量の数をＮ、問合せ画像の数をＭ、ｋ番目の問合せ
画像をＱ_k、検索対象の画像をＩ_i、特徴量ｊの画像間の
距離式をＤ_j（）、ｋ番目の画像の特徴量ｊの指定の有
無をｔ_jk（指定されていれば１、指定されていなければ
０）とすると、検索対象の各画像毎の総合類似度Ｓ_iは
以下のように表わされる。

【００８９】

【数２】

【００９０】マッチング・エンジン１５３は、このよう
にして検索対象の画像毎に総合類似度を求め、検索対象
の画像毎の総合類似度をＵ／Ｉ部１５１に出力する。

【００９１】Ｕ／Ｉ部１５１は、マッチング・エンジン
１５３によって検索対象の画像毎に求められた総合類似
度を参照し、例えば総合類似度の高い順に検索対象の画
像を図７の画像表示欄２０２に表示する（Ｓ２０４）。
ここでは、総合類似度として、検索対象の画像と問合せ
画像Ａ，ＢおよびＣとの特徴量間の距離の合計を用いて
いるため、実際には、総合類似度の値の小さい順に検索
対象の画像が画像表示欄２０２に表示されることにな
る。すなわち、総合類似度は０以上の値を持ち、総合類
似度が０のときは各問合せ画像の特徴量および検索対象
の画像の特徴量が等しいということを意味する。

【００９２】なお、画像表示欄２０２には検索対象の全
ての画像を表示する必要はなく、予め定めた数の画像の
みを表示したり、予め定めた閾値以下（総合類似度が画
像間の距離で表されている場合）の総合類似度を得た画
像のみを表示することにしても良い。

【００９３】また、画像表示欄２０２に表示された検索
結果の画像を参照した結果、絞込み検索を行いたい場合
には、画像表示欄２０２に表示された画像を問合せ画像
として指定して同様の検索処理を行うこともできる。ま
た、画像表示欄２０２に表示された画像をマウス１０５
でクリックすることにより、画像を拡大して表示する処
理を行うことも可能である。

【００９４】このように、実施の形態２に係る画像検索
装置によれば、問合せ画像を複数指定すると共に、指定
した各問合せ画像毎に検索対象の画像との類似度を求め
る際に使用する特徴量の種類を指定し、検索対象の画像
毎に、指定された種類の特徴量を用いて各問合せ画像と
の類似度を求めると共に、求めた各問合せ画像との類似
度を合計して総合類似度を求め、検索対象の画像毎に求
めた総合類似度に基づいて検索結果を出力することによ
り、ユーザの意図を検索条件として正確に表現できるた
め、ユーザの意図を正確に装置に伝えることができると
共に、検索に対するユーザの意図を確実に装置に伝える
ことができるため、検索に対するユーザの意図を正確に
反映した検索結果を得ることができ、ユーザが望む通り
の精度の高い画像検索処理を行うことができる。

【００９５】例えば、問合せ画像として適切な画像が存
在しない場合であっても、検索結果として望む画像に色
の雰囲気が似た画像やオブジェクトの形状の雰囲気が似
た画像を問合せ画像として指定し、これらの画像を合わ
せたものを一つの問合せとして使用することができる。
加えて、指定した各問合せ画像毎にユーザが希望する特
徴量を指定することができるため、実施の形態１に係る
画像検索装置に比べ、検索条件を自由に設定することが
できる。

【００９６】なお、実施の形態２の説明において、問合
せ画像として３枚の画像を用いたが、問合せ画像の枚数
は３枚に限定されるものではない。すなわち、問合せ画
像を１枚のみ指定しても同様の方法で検索処理を行うこ
とができるが、実施の形態２においては複数枚指定する
ことに意味がある。また、色，構造およびテクスチャの
３種類の特徴量を用いることにしたが、これらはあくま
でも例示であって、特徴量の種類を限定することを意図
したものではない。

【００９７】〔実施の形態３〕実施の形態３に係る画像
検索装置は、実施の形態２の画像検索装置において、検
索に対するユーザの意図をさらに正確に表現できるよう
にしたものである。

【００９８】図９は、実施の形態３に係る画像検索装置
において用いられる検索ウインドウ２００ｃを示す説明
図である。図９に示す検索ウインドウ２００ｃは、図７
に示した検索ウインドウ２００ｂの構成に加えて、画像
指定欄Ａ，ＢおよびＣに指定された問合せ画像毎に相対
的な重要度を指定するための重要度指定バー２０４を備
えている。

【００９９】実施の形態１および２で説明したように、
前提として、ユーザが検索結果として希望する画像を適
切に表現した一枚の画像は存在しないが、例えば、検索
結果として希望する画像に画像の配色の雰囲気が似た画
像Ａ，画像の構造の雰囲気が似た画像Ｂおよび画像中の
テクスチャの雰囲気が似た画像Ｃが見つかったものとす
る。

【０１００】ユーザは、図９に示すように、これら３枚
の画像をそれぞれ画像指定欄Ａ，ＢおよびＣに問合せ画
像Ａ，ＢおよびＣとして指定する。つぎにユーザは、検
索結果として希望する画像に画像の配色の雰囲気が似て
いる問合せ画像Ａについては特徴量指定ボタン２０３に
おいて「色」を指定する。同様に、検索結果として希望
する画像に画像の構造の雰囲気が似ている問合せ画像Ｂ
については「構造」を、画像中のテクスチャの雰囲気が
似ている問合せ画像Ｃについては「テクスチャ」を指定
する。

【０１０１】続いて、ユーザは重要度指定バー２０４を
用いて各問合せ画像に重要度を指定する。この重要度指
定バー２０４は、一例として、各問合せ画像毎に「０」
を中心にして「＋」の重要度および「−」の重要度を指
定することができるように構成されている。なお、重要
度として「＋」方向および「−」方向の両方ではなく、
「＋」方向のみ、または「−」方向のみを指定できるよ
うにしても良い。

【０１０２】例えば、問合せ画像Ａ，ＢおよびＣのう
ち、検索結果として希望する画像に類似する配色を持っ
た問合せ画像Ａが最も重要である、即ち、検索結果とし
て問合せ画像Ａのような配色の画像が特に欲しいとユー
ザが感じる場合、ユーザは重要度指定バー２０４を
「＋」方向の所望の位置に移動させ、問合せ画像Ａは重
要であることを指定する。このようにして重要度が指定
されると、後述する検索時において、検索対象の画像と
問合せ画像Ａとの類似度に対し、問合せ画像Ａに対して
指定された重要度に応じた「＋」の重み付けが行われ
る。

【０１０３】なお、例えば、問合せ画像Ｃのようなテク
スチャの画像は検索結果として欲しくないとユーザが感
じる場合、ユーザは重要度指定バー２０４を「−」方向
の所望の位置に移動させる。すなわち、「−」方向の重
要度を指定することによりＮＯＴ条件を問合せ画像に付
与することができる。したがって、こんな特徴を有する
画像は検索結果として欲しくないとユーザが考える画像
を問合せ画像として指定することも可能である。この場
合、検索対象の画像と問合せ画像Ｃとの類似度に対し、
問合せ画像Ｃに対して指定された重要度に応じた「−」
の重み付けが行われることになる。

【０１０４】このように、問合せ画像毎にユーザが重要
度を指定することを可能にすることにより、検索に対す
るユーザの意図を検索条件として正確に表現することが
可能となる。すなわち、後述する検索処理によって、重
要度は類似度に対する重み付けとして反映されるため、
ユーザの意図が反映された検索結果の画像を得ることが
可能となる。なお、必ず重要度を指定しなければならな
いわけではなく、ユーザが希望する場合に、希望する問
合せ画像に対して指定すれば良い。

【０１０５】つぎに、実施の形態３に係る画像検索装置
による画像検索処理について説明する。図１０は、実施
の形態３に係る検索処理を示すフローチャートである。
ユーザは、図９に示した各画像指定欄に問合せ画像を複
数指定し、指定した各問合せ画像毎に検索対象の画像と
の類似度を求める際に使用する特徴量の種類を指定する
と共に、必要に応じて重要度を指定する（Ｓ３０１）。
図９に示したように、ユーザは、問合せ画像Ａ，Ｂおよ
びＣを指定し、各問合せ画像Ａ，ＢおよびＣ毎に特徴量
の種類および重要度を指定したものとする。

【０１０６】続いて、ユーザが図９の検索ボタン２０１
を指定すると、Ｕ／Ｉ部１５１は、問合せ画像Ａ，Ｂお
よびＣ，ならびに特徴量の種類を特徴抽出エンジン１５
２に入力し、特徴抽出エンジン１５２は、各問合せ画像
Ａ，ＢおよびＣから指定された種類の特徴量を抽出する
処理を実行する（Ｓ３０２）。すなわち、特徴抽出エン
ジン１５２は、問合せ画像Ａから色の特徴量を、問合せ
画像Ｂから構造の特徴量を、問合せ画像Ｃからテクスチ
ャの特徴量を抽出する。その後、特徴抽出エンジン１５
２は、抽出した各問合せ画像の特徴量をマッチング・エ
ンジン１５３に渡す（図４の特徴空間にそれぞれマップ
する）。

【０１０７】続いて、マッチング・エンジン１５３は、
画像ＤＢ１０８に登録されている検索対象の画像毎に、
ユーザが指定した種類の特徴量を用いて各問合せ画像
Ａ，ＢおよびＣとの類似度を求め、求めた各類似度に対
して重要度に応じた重み付けを行い、各問合せ画像Ａ，
ＢおよびＣとの類似度を合計して検索対象の画像の総合
類似度を求める処理を実行する（Ｓ３０３）。

【０１０８】このステップＳ３０３における処理を検索
対象の一つの画像を例にとって具体的に説明する。マッ
チング・エンジン１５３は、検索対象の画像と問合せ画
像Ａについて、色の特徴量を用いて類似度を求める。す
なわち、マッチング・エンジン１５３は、色の特徴量に
基づいて図４に示した特徴量空間中にプロットされた検
索対象の画像と問合せ画像Ａとの距離を例えばユークリ
ッド距離などのベクトルの距離定義式を用いて求める。
続いて、マッチング・エンジン１５３は、求めた距離に
対し、重要度指定バー２０４で指定された問合せ画像Ａ
の重要度に応じて重み付けを行う。マッチング・エンジ
ン１５３は、同様に、構造の特徴量に基づいて検索対象
の画像と問合せ画像Ｂとの距離を求め、求めた距離に対
して問合せ画像Ｂの重要度に応じた重み付けを行うと共
に、テクスチャの特徴量に基づいて検索対象の画像と問
合せ画像Ｃとの距離を求め、求めた距離に対して問合せ
画像Ｃの重要度に応じた重み付けを行う。

【０１０９】なお、重み付けの対象となる類似度は画像
同士の特徴量間の距離であるため、「＋」の重要度に基
づく「＋」の重み付けは画像間の距離を短くする方向に
働き、「−」の重要度に基づく「−」の重み付けは画像
間の距離を長くする方向に働くことになる。

【０１１０】その後、マッチング・エンジン１５３は、
検索対象の画像と各問合せ画像Ａ，ＢおよびＣとの距離
を合計し、距離の合計値を総合類似度とする。ここで、
特徴量の数をＮ、問合せ画像の数をＭ、ｋ番目の問合せ
画像をＱ_k、検索対象の画像をＩ_i、特徴量ｊの画像間の
距離式をＤ_j（）、ｋ番目の画像の特徴量ｊの重要度を
ｗ_jk（該当する特徴が指定されていなければ０）とする
と、検索対象の各画像毎の総合類似度Ｓ_iは以下のよう
に表わされる。

【０１１１】

【数３】

【０１１２】マッチング・エンジン１５３は、このよう
にして検索対象の画像毎に総合類似度を求め、検索対象
の画像毎の総合類似度をＵ／Ｉ部１５１に出力する。

【０１１３】Ｕ／Ｉ部１５１は、マッチング・エンジン
１５３によって検索対象の画像毎に求められた総合類似
度を参照し、例えば総合類似度の高い順に検索対象の画
像を図９の画像表示欄２０２に表示する（Ｓ３０４）。
ここでは、総合類似度として、検索対象の画像と問合せ
画像Ａ，ＢおよびＣとの特徴量間の距離の合計を用いて
いるため、実際には、総合類似度の値の小さい順に検索
対象の画像が画像表示欄２０２に表示されることにな
る。すなわち、総合類似度は０以上の値を持ち、総合類
似度が０のときは各問合せ画像の特徴量および検索対象
の画像の特徴量が等しいということを意味する。

【０１１４】なお、画像表示欄２０２に表示された検索
結果の画像を参照した結果、絞込み検索を行いたい場合
には、画像表示欄２０２に表示された画像を問合せ画像
として指定して同様の検索処理を行うこともできる。ま
た、画像表示欄２０２に表示された画像をマウス１０５
でクリックすることにより、画像を拡大して表示する処
理を行うことも可能である。

【０１１５】このように、実施の形態３に係る画像検索
装置によれば、求めた類似度に対し、問合せ画像の種類
に応じて任意の重み付けを行うことができるように、各
問合せ画像毎に重要度を指定することが可能であり、検
索対象の画像毎に、各問合せ画像との類似度を求め、求
めた各問合せ画像との類似度に対し、指定された重要度
に応じた重み付けを行うことにより、ユーザの意図を検
索条件として正確に表現できるため、ユーザの意図を正
確に装置に伝えることが可能となると共に、重要度は類
似度に対する重み付けとして反映されるため、ユーザの
意図が反映された検索結果の画像を得ることが可能とな
る。

【０１１６】なお、実施の形態３の説明において、問合
せ画像として３枚の画像を用いたが、問合せ画像の枚数
は３枚に限定されるものではない。ただし、実施の形態
３においては、問合せ画像毎に重要度を指定するため、
複数枚の問合せ画像を指定することに意味がある。

【０１１７】また、詳細な説明については省略するが、
実施の形態１で説明した画像検索装置においても、実施
の形態３で説明したように各問合せ画像毎に重要度を指
定することができるようにしても良い。

【０１１８】〔実施の形態４〕実施の形態４に係る画像
検索装置は、ユーザの意図を検索条件として正確に表現
するための一つの手法として、ＡＮＤ検索を実行可能に
するものである。なお、実施の形態４に係る画像検索装
置において、実施の形態１で既に説明した構成について
は同一の符号を使用して詳細な説明を省略し、画像検索
処理についても共通する点については適宜説明を省略す
る。

【０１１９】図１１は、実施の形態４に係る画像検索装
置において用いられる検索ウインドウ２００ｄを示す説
明図である。この検索ウインドウ２００ｄは、画像指定
欄Ａ，ＢおよびＣ，検索ボタン２０１ならびに画像表示
欄２０２に加え、ＡＮＤ検索の実行を指定するためのＡ
ＮＤ指定ボタン２０５およびＯＲ検索の実行を指定する
ためのＯＲ指定ボタン２０６を備えている。ＯＲ検索に
ついては、後述する実施の形態８において詳細に説明す
ることにし、ここではＡＮＤ検索についてのみ説明す
る。また、検索の際に用いる特徴量は一種類であるもの
とするが、当然、複数種類の特徴量を用いることにして
も良い。

【０１２０】続いて、実施の形態４に係る画像検索装置
による画像検索処理について説明する。図１２は、実施
の形態４に係る画像検索処理を示すフローチャートであ
る。ユーザは、図１１に示した各画像指定欄に問合せ画
像を複数指定し、ＡＮＤ指定ボタン２０５を選択してＡ
ＮＤ条件による画像検索処理を指定する（Ｓ４０１）。
図１１に示したように、ユーザは、３枚の問合せ画像
Ａ，ＢおよびＣを指定したものとする。

【０１２１】続いて、ユーザが図１１の検索ボタン２０
１を指定すると、Ｕ／Ｉ部１５１は、問合せ画像Ａ，Ｂ
およびＣを特徴抽出エンジン１５２に入力し、特徴抽出
エンジン１５２は、各問合せ画像Ａ，ＢおよびＣから所
定の特徴量を抽出する処理を実行する（Ｓ４０２）。そ
の後、特徴抽出エンジン１５２は、抽出した各問合せ画
像の特徴量をマッチング・エンジン１５３に渡す（図４
の特徴空間にそれぞれマップする）。

【０１２２】マッチング・エンジン１５３は、画像ＤＢ
１０８に登録されている検索対象の画像毎に、所定の特
徴量を用いて各問合せ画像Ａ，ＢおよびＣとの類似度を
求めると共に、求めた各問合せ画像Ａ，ＢおよびＣとの
類似度を合計して検索対象の画像の総合類似度を求める
処理を実行する（Ｓ４０３）。

【０１２３】このステップＳ４０３における処理を検索
対象の一つの画像を例にとって具体的に説明する。マッ
チング・エンジン１５３は、検索対象の画像と問合せ画
像Ａについて、所定の特徴量を用いて類似度を求める。
すなわち、マッチング・エンジン１５３は、所定の特徴
量に基づいて図４に示した特徴量空間中にプロットされ
た検索対象の画像と問合せ画像Ａとの距離を例えばユー
クリッド距離などのベクトルの距離定義式を用いて求め
る。マッチング・エンジン１５３は、同様に、所定の特
徴量に基づいて検索対象の画像と問合せ画像Ｂとの距離
を求めると共に、検索対象の画像と問合せ画像Ｃとの距
離を求める。

【０１２４】その後、マッチング・エンジン１５３は、
検索対象の画像と各問合せ画像Ａ，ＢおよびＣとの距離
を合計し、距離の合計値を総合類似度とする。ここで、
問合せ画像の数をＭ、ｋ番目の問合せ画像をＱ_k、検索
対象の画像をＩ_i、画像間の距離式をＤ（）とすると、
検索対象の各画像毎の総合類似度Ｓ_iは以下のように表
わされる。

【０１２５】

【数４】

【０１２６】マッチング・エンジン１５３は、このよう
にして検索対象の画像毎に総合類似度を求め、検索対象
の画像毎の総合類似度をＵ／Ｉ部１５１に出力する。

【０１２７】なお、複数種類の特徴量を用いて検索を行
う場合は、各種類の特徴量毎に検索対象の画像および各
問合せ画像の類似度（距離）を求め、検索対象の画像毎
に、特徴量毎に求めた各問合せ画像との類似度の全てを
合計して総合類似度を求めれば良い。

【０１２８】続いて、Ｕ／Ｉ部１５１は、マッチング・
エンジン１５３によって検索対象の画像毎に求められた
総合類似度を参照し、例えば総合類似度の高い順に検索
対象の画像を図１１の画像表示欄２０２に表示する（Ｓ
４０４）。ここでの総合類似度は、問合せ画像Ａ，Ｂお
よびＣの全てに対する検索対象の各画像の類似度を意味
しているため、画像のＡＮＤ検索が実行されたことにな
る。ただし、ここでは総合類似度として検索対象の画像
と問合せ画像Ａ，ＢおよびＣとの特徴量間の距離の合計
を用いているため、実際には、総合類似度の値の小さい
順に検索対象の画像が画像表示欄２０２に表示されるこ
とになる。すなわち、総合類似度は０以上の値を持ち、
総合類似度が０のときは各問合せ画像の特徴量および検
索対象の画像の特徴量が等しいということを意味する。

【０１２９】そして、画像表示欄２０２に表示された検
索結果の画像を参照した結果、絞込み検索を行いたい場
合には、画像表示欄２０２に表示された画像を問合せ画
像として指定して同様の検索処理を行うこともできる。

【０１３０】このように、実施の形態４に係る画像検索
装置によれば、問合せ画像を複数指定し、検索対象の画
像毎に、指定された各問合せ画像との類似度を求めると
共に、求めた各問合せ画像との類似度を合計して総合類
似度を求め、検索対象の画像毎に求めた総合類似度に基
づいて検索結果を出力することにより、ＡＮＤ検索を行
うことが可能となるため、ユーザの意図を検索条件とし
て正確に表現するための一つの手法を提供することがで
きる。

【０１３１】なお、実施の形態４の説明において、問合
せ画像として３枚の画像を用いたが、問合せ画像の枚数
は３枚に限定されるものではない。また、特徴量の種類
を特に示さなかったが、色，構造およびテクスチャ等、
いかなる種類の特徴量であっても単独でまたは複数組み
合わせて用いることができる。

【０１３２】〔実施の形態５〕実施の形態５に係る画像
検索装置は、実施の形態４の画像検索装置において、検
索に対するユーザの意図をさらに正確に表現できるよう
にしたものである。

【０１３３】図１３は、実施の形態５に係る画像検索装
置において用いられる検索ウインドウ２００ｅを示す説
明図である。図１３に示す検索ウインドウ２００ｅは、
図１１に示した検索ウインドウ２００ｄに加えて、画像
指定欄Ａ，ＢおよびＣに指定された各問合せ画像毎に相
対的な重要度を指定する重要度指定バー２０７を備えて
いる。

【０１３４】この重要度指定バー２０７は、実施の形態
３で説明したように、各問合せ画像毎に「０」を中心に
して「＋」の重要度および「−」の重要度を指定するこ
とを可能にするものである。したがって、ユーザが重要
と考える問合せ画像に対して「＋」の重要度を指定し、
このような画像に類似する画像は検索結果として欲しく
ないと考える場合は該当する問合せ画像に対して「−」
の重要度を指定することができる。指定した重要度は、
求めた類似度に対する重み付けとして検索結果に反映さ
れる。なお、重要度として「＋」方向および「−」方向
の両方ではなく、「＋」方向のみ、または「−」方向の
みを指定できるようにしても良い。

【０１３５】つぎに、実施の形態５に係る画像検索装置
による画像検索処理について説明する。図１４は、実施
の形態５に係る検索処理を示すフローチャートである。
ユーザは、図１３に示した各画像指定欄に問合せ画像を
複数指定すると共に、指定した各問合せ画像毎に必要に
応じて重要度を指定し、さらにＡＮＤ指定ボタン２０５
を選択してＡＮＤ条件による画像検索処理を指定する
（Ｓ５０１）。図１３に示したように、ユーザは、問合
せ画像Ａ，ＢおよびＣを指定し、指定した各問合せ画像
Ａ，ＢおよびＣ毎に任意の重要度を指定したものとす
る。

【０１３６】そして、ユーザが図１３の検索ボタン２０
１を指定すると、Ｕ／Ｉ部１５１は、問合せ画像Ａ，Ｂ
およびＣを特徴抽出エンジン１５２に入力し、特徴抽出
エンジン１５２は、各問合せ画像Ａ，ＢおよびＣから所
定の特徴量を抽出する処理を実行する（Ｓ５０２）。そ
の後、特徴抽出エンジン１５２は、抽出した各問合せ画
像の特徴量をマッチング・エンジン１５３に渡す（図４
の特徴空間にそれぞれマップする）。

【０１３７】マッチング・エンジン１５３は、画像ＤＢ
１０８に登録されている検索対象の画像毎に、所定の特
徴量を用いて各問合せ画像Ａ，ＢおよびＣとの類似度を
求め、求めた各類似度に対して重要度に応じた重み付け
を行い、各問合せ画像Ａ，ＢおよびＣとの類似度を合計
して検索対象の画像の総合類似度を求める処理を実行す
る（Ｓ５０３）。

【０１３８】このステップＳ５０３における処理を検索
対象の一つの画像を例にとって具体的に説明する。マッ
チング・エンジン１５３は、検索対象の画像と問合せ画
像Ａについて、所定の特徴量を用いて類似度を求める。
すなわち、マッチング・エンジン１５３は、所定の特徴
量に基づいて図４に示した特徴量空間中にプロットされ
た検索対象の画像と問合せ画像Ａとの距離を例えばユー
クリッド距離などのベクトルの距離定義式を用いて求め
る。続いて、マッチング・エンジン１５３は、求めた距
離に対し、検索ウインドウ２００ｅにおいて指定された
問合せ画像Ａの重要度に応じて重み付けを行う。マッチ
ング・エンジン１５３は、同様に、検索対象の画像と問
合せ画像Ｂとの距離を求め、求めた距離に対して問合せ
画像Ｂの重要度に応じた重み付けを行うと共に、検索対
象の画像と問合せ画像Ｃとの距離を求め、求めた距離に
対して問合せ画像Ｃの重要度に応じた重み付けを行う。

【０１３９】その後、マッチング・エンジン１５３は、
検索対象の画像と各問合せ画像Ａ，ＢおよびＣとの距離
を合計し、距離の合計値を総合類似度とする。ここで、
問合せ画像の数をＭ、ｋ番目の問合せ画像をＱ_k、検索
対象の画像をＩ_i、画像間の距離式をＤ（）、ｋ番目の
画像の重要度をｗ_kとすると、検索対象の各画像毎の総
合類似度Ｓ_iは以下のように表わされる。

【０１４０】

【数５】

【０１４１】マッチング・エンジン１５３は、このよう
にして検索対象の画像毎に総合類似度を求め、検索対象
の画像毎の総合類似度をＵ／Ｉ部１５１に出力する。

【０１４２】続いて、Ｕ／Ｉ部１５１は、マッチング・
エンジン１５３によって検索対象の画像毎に求められた
総合類似度を参照し、例えば総合類似度の高い順に検索
対象の画像を図１３の画像表示欄２０２に表示する（Ｓ
５０４）。ここでは総合類似度として検索対象の画像と
問合せ画像Ａ，ＢおよびＣとの特徴量間の距離の合計を
用いているため、実際には、総合類似度の値の小さい順
に検索対象の画像が画像表示欄２０２に表示されること
になる。すなわち、総合類似度は０以上の値を持ち、総
合類似度が０のときは各問合せ画像の特徴量および検索
対象の画像の特徴量が等しいということを意味する。

【０１４３】なお、画像表示欄２０２に表示された検索
結果の画像を参照した結果、絞込み検索を行いたい場合
には、画像表示欄２０２に表示された画像を問合せ画像
として指定して同様の検索処理を行うこともできる。

【０１４４】このように、実施の形態５に係る画像検索
装置によれば、求めた類似度に対し、問合せ画像の種類
に応じて任意の重み付けを行うことができるように、各
問合せ画像毎に重要度を指定することが可能であり、検
索対象の画像毎に、各問合せ画像との類似度を求め、求
めた各問合せ画像との類似度に対し、指定された重要度
に応じた重み付けを行うことにより、ユーザの意図を検
索条件として正確に表現できるため、ユーザの意図を正
確に装置に伝えることが可能となると共に、重要度は類
似度に対する重み付けとして反映されるため、ユーザの
意図が反映された検索結果の画像を得ることが可能とな
る。

【０１４５】なお、実施の形態５の説明において、問合
せ画像として３枚の画像を用いたが、問合せ画像の枚数
は３枚に限定されるものではない。また、特徴量の種類
を特に示さなかったが、色，構造およびテクスチャ等、
いかなる種類の特徴量であっても単独でまたは複数組み
合わせて用いることができる。

【０１４６】〔実施の形態６〕実施の形態６に係る画像
検索装置は、実施の形態４の画像検索装置において、検
索に対するユーザの意図をさらに正確に表現できるよう
にしたものである。

【０１４７】図１５は、実施の形態６に係る画像検索装
置において用いられる検索ウインドウ２００ｆを示す説
明図である。図１５に示す検索ウインドウ２００ｆは、
図１１に示した検索ウインドウ２００ｄに加えて、画像
指定欄Ａ，ＢおよびＣに指定された各問合せ画像Ａ，Ｂ
およびＣ毎に、検索に使用される特徴量の種類毎の重要
度を指定する重要度指定バー２０８を備えている。な
お、検索に使用される特徴量としては、一例として、
色，構造およびテクスチャの３種類を用いるものとす
る。

【０１４８】重要度指定バー２０８は、各種類の特徴量
毎の重要度を各問合せ画像毎に指定することを可能とす
るものであって、実施の形態３の重要度指定バー２０４
（図９参照）で説明したように「０」を中心にして
「＋」の重要度および「−」の重要度を指定することを
可能にするものである。なお、重要度として「＋」方向
および「−」方向の両方ではなく、「＋」方向のみ、ま
たは「−」方向のみを指定できるようにしても良い。

【０１４９】具体的に、この重要度の指定方法を図１５
の問合せ画像Ａを例にとって説明する。例えば、問合せ
画像Ａにおける配色は検索結果として希望する画像に近
いと考える場合、ユーザは色の重要度指定バー２０８を
操作して「＋」の重要度を指定する。一方、問合せ画像
Ａにおける構造は検索結果として希望する画像とはほと
んど似ていないと考える場合、ユーザは構造の重要度指
定バー２０８を操作して「−」の重要度を指定する。

【０１５０】そして、後に説明する検索処理において、
問合せ画像Ａと検索対象の画像の類似度が色の特徴量，
構造の特徴量およびテクスチャの特徴量毎に求められ
る。上記例においては、色の特徴量に「＋」の重要度
が、構造の特徴量に「−」の特徴量が指定されているた
め、色の特徴量を用いて求めた類似度に対して「＋」の
重要度に応じた「＋」の重み付けが行われ、構造の特徴
量を用いて求めた類似度に対して「−」の重要度に応じ
た「−」の重み付けが行われる。この処理は、検索対象
の各画像との類似度に対して実行される。

【０１５１】問合せ画像ＢおよびＣについても、上述し
た特徴量毎の重要度を指定することにより、問合せ画像
Ａのような処理が実行されることになる。

【０１５２】このように、各種類の特徴量毎の重要度を
各問合せ画像毎に指定することにより、検索に対するユ
ーザの意図を確実に装置側に伝えることが可能となる。
そして、検索処理によって、重要度は各種類の特徴量毎
に求めた類似度に対する重み付けとして反映されるた
め、ユーザの意図が反映された検索結果の画像を得るこ
とが可能となる。なお、必ず重要度を指定しなければな
らないわけではなく、ユーザが希望する場合に、希望す
る問合せ画像の任意の特徴量に対して指定すれば良い。

【０１５３】つぎに、実施の形態６に係る画像検索装置
による画像検索処理について説明する。図１６は、実施
の形態６に係る検索処理を示すフローチャートである。
ユーザは、図１５に示した各画像指定欄に問合せ画像を
複数指定すると共に、指定した各問合せ画像毎に特徴量
の種類毎の重要度を指定し、さらにＡＮＤ指定ボタン２
０５を選択してＡＮＤ条件による画像検索処理を指定す
る（Ｓ６０１）。図１５に示したように、ユーザは、問
合せ画像Ａ，ＢおよびＣを指定し、各種類の特徴量毎の
重要度を各問合せ画像Ａ，ＢおよびＣ毎に指定したもの
とする。

【０１５４】そして、ユーザが図１５の検索ボタン２０
１を指定すると、Ｕ／Ｉ部１５１は、問合せ画像Ａ，Ｂ
およびＣを特徴抽出エンジン１５２に入力し、特徴抽出
エンジン１５２は、各問合せ画像Ａ，ＢおよびＣから
色，構造およびテクスチャの３種類の特徴量を抽出する
処理を実行する（Ｓ６０２）。その後、特徴抽出エンジ
ン１５２は、３種類の特徴量毎に抽出した各問合せ画像
の特徴量をマッチング・エンジン１５３に渡す（図４の
特徴空間にそれぞれマップする）。

【０１５５】続いて、マッチング・エンジン１５３は、
画像ＤＢ１０８に登録されている検索対象の画像毎に、
３種類の特徴量を用いて各問合せ画像Ａ，ＢおよびＣと
の類似度を求め、求めた各類似度に対して重要度に応じ
た重み付けを行い、各問合せ画像Ａ，ＢおよびＣとの類
似度を合計して検索対象の画像の総合類似度を求める処
理を実行する（Ｓ６０３）。

【０１５６】このステップＳ６０３における処理を検索
対象の一つの画像を例にとって具体的に説明する。マッ
チング・エンジン１５３は、検索対象の画像と問合せ画
像Ａについて、色の特徴量を用いて類似度を求める。す
なわち、マッチング・エンジン１５３は、色の特徴量に
基づいて図４に示した特徴量空間中にプロットされた検
索対象の画像と問合せ画像Ａとの距離を例えばユークリ
ッド距離などのベクトルの距離定義式を用いて求める。
続いて、マッチング・エンジン１５３は、求めた距離に
対し、検索ウインドウ２００ｆにおいて問合せ画像Ａに
対して指定された色の特徴量の重要度に応じて重み付け
を行う。さらに、マッチング・エンジン１５３は、検索
対象の画像と問合せ画像Ａについて、構造の特徴量およ
びテクスチャの特徴量を用いた距離をそれぞれ求め、求
めた各距離に対し、検索ウインドウ２００ｆで問合せ画
像Ａに対して指定された構造の特徴量の重要度およびテ
クスチャの特徴量の重要度に応じて重み付けを行う。

【０１５７】マッチング・エンジン１５３は、同様に、
検索対象の画像と問合せ画像Ｂとの距離を３種類の特徴
量毎に求め、求めた各距離に対し、問合せ画像Ｂに対し
て指定された各特徴量毎の重要度に応じた重み付けを行
う。また、検索対象の画像と問合せ画像Ｃとの距離を３
種類の特徴量毎に求め、求めた各距離に対し、問合せ画
像Ｃに対して指定された各特徴量毎の重要度に応じた重
み付けを行う。

【０１５８】その後、マッチング・エンジン１５３は、
３種類の特徴量毎に求めた検索対象の画像と各問合せ画
像Ａ，ＢおよびＣとの距離を合計し、距離の合計値を総
合類似度とする。ここで、特徴量の数をＮ、問合せ画像
の数をＭ、ｋ番目の問合せ画像をＱ_k、検索対象の画像
をＩ_i、特徴量ｊの画像間の距離式をＤ_j（）、ｋ番目の
画像の特徴量ｊの重要度をｗ_jkとすると、検索対象の各
画像毎の総合類似度Ｓ _iは以下のように表わされる。

【０１５９】

【数６】

【０１６０】マッチング・エンジン１５３は、このよう
にして検索対象の画像毎に総合類似度を求め、検索対象
の画像毎の総合類似度をＵ／Ｉ部１５１に出力する。

【０１６１】Ｕ／Ｉ部１５１は、マッチング・エンジン
１５３によって検索対象の画像毎に求められた総合類似
度を参照し、例えば総合類似度の高い順に検索対象の画
像を図１５の画像表示欄２０２に表示する（Ｓ６０
４）。ここでは総合類似度として検索対象の画像と問合
せ画像Ａ，ＢおよびＣとの特徴量間の距離の合計を用い
ているため、実際には、総合類似度の値の小さい順に検
索対象の画像が画像表示欄２０２に表示されることにな
る。すなわち、総合類似度は０以上の値を持ち、総合類
似度が０のときは各問合せ画像の特徴量および検索対象
の画像の特徴量が等しいということを意味する。

【０１６２】なお、画像表示欄２０２に表示された検索
結果の画像を参照した結果、絞込み検索を行いたい場合
には、画像表示欄２０２に表示された画像を問合せ画像
として指定して同様の検索処理を行うこともできる。

【０１６３】このように、実施の形態６に係る画像検索
装置によれば、複数種類の特徴量を用いて問合せ画像お
よび検索対象の画像の類似度を求める場合に、求めた類
似度に対し、問合せ画像および特徴量の種類に応じて任
意の重み付けを行うことができるように、各種類の特徴
量毎の重要度を各問合せ画像毎に指定することが可能で
あり、検索対象の画像それぞれについて、各種類の特徴
量毎に各問合せ画像との類似度を求め、各種類の特徴量
毎に求めた各問合せ画像との類似度に対し、指定された
重要度に応じた重み付けを行うことにより、ユーザの意
図を検索条件として正確に表現できるため、ユーザの意
図を正確に装置に伝えることが可能となると共に、重要
度は類似度に対する重み付けとして反映されるため、ユ
ーザの意図が反映された検索結果の画像を得ることが可
能となる。

【０１６４】なお、実施の形態６の説明において、問合
せ画像として３枚の画像を用いたが、問合せ画像の枚数
は３枚に限定されるものではない。また、特徴量の種類
は、色，構造およびテクスチャの３種類に限定されるも
のではなく、いかなる種類の特徴量の組み合わせであっ
ても良い。

【０１６５】〔実施の形態７〕実施の形態７に係る画像
検索装置は、実施の形態４の画像検索装置において、検
索に対するユーザの意図を装置側が汲み取ることができ
るようにしたものである。

【０１６６】前述した実施の形態５および６において
は、ユーザが問合せ画像の重要度または問合せ画像毎に
各特徴量の重要度を指定する必要があったが、実施の形
態７に係る画像検索装置においては、画像検索に使用す
る特徴量を用いてユーザによって指定された問合せ画像
間の類似度を求め、求めた特徴量毎の類似度に基づいて
各問合せ画像間における特徴量毎の重要度を装置側で決
定し、類似度に対する重み付けとして反映するという点
が特徴となる。ここでは、例として、色，構造およびテ
クスチャの３種類の特徴量を用いて検索処理を行うもの
とし、検索条件を指定するための検索ウインドウは図１
１に示した検索ウインドウ２００ｄと同一であるものと
する。

【０１６７】つぎに、実施の形態７に係る画像検索装置
による画像検索処理について説明する。図１７は、実施
の形態７に係る検索処理を示すフローチャートである。
ユーザは、図１１に示した検索ウインドウ２００ｄを表
示させ、各画像指定欄に問合せ画像を複数指定すると共
に、ＡＮＤ指定ボタン２０５を選択してＡＮＤ条件によ
る画像検索処理を指定する（Ｓ７０１）。ユーザは、問
合せ画像Ａ，ＢおよびＣを指定したものとする。

【０１６８】そして、ユーザが図１１の検索ボタン２０
１を指定すると、Ｕ／Ｉ部１５１は、問合せ画像Ａ，Ｂ
およびＣを特徴抽出エンジン１５２に入力し、特徴抽出
エンジン１５２は、各問合せ画像Ａ，ＢおよびＣから
色，構造およびテクスチャの３種類の特徴量を抽出する
処理を実行する（Ｓ７０２）。

【０１６９】続いて、特徴抽出エンジン１５２は、抽出
した３種類の特徴量毎に、各問合せ画像Ａ，ＢおよびＣ
同士の距離（類似度）を求め、求めた各特徴量毎の距離
に基づいて各問合せ画像Ａ，ＢおよびＣ間における特徴
量毎の重要度を決定する（Ｓ７０３）。

【０１７０】具体的に、特徴抽出エンジン１５２は、３
種類の特徴量毎に、問合せ画像同士の特徴間距離を求め
る。各特徴量毎に求めた距離の分散が大きい場合にはそ
の特徴量についてはユーザは関知していないことを意味
し、分散が小さい場合にはユーザはその特徴量を重視し
ていると判断できる。したがって、分散が大きい特徴量
の場合には重要度を小さくし、分散が小さい場合には重
要度を大きくするように設定する。

【０１７１】例えば、σ²を特徴ｉにおける全ての問合
せ画像間の距離の分散とするとｉ番目の特徴量の重要度
ｗ_kは以下の式で決定することができる。ｋはｗ_kが適正
な値に収まるようにするための任意の係数である。

【０１７２】

【数７】

【０１７３】なお、距離の分散の程度に応じて、前述し
た実施の形態３，５および６で説明したように、「＋」
の重要度や「−」の重要度を設定することも可能であ
る。

【０１７４】その後、特徴抽出エンジン１５２は、３種
類の特徴量毎に抽出した各問合せ画像の特徴量および対
応する重要度をマッチング・エンジン１５３に渡す。

【０１７５】マッチング・エンジン１５３は、画像ＤＢ
１０８に登録されている検索対象の画像毎に、３種類の
特徴量を用いて各問合せ画像Ａ，ＢおよびＣとの類似度
を求め、求めた各類似度に対して重要度に応じた重み付
けを行い、各問合せ画像Ａ，ＢおよびＣとの類似度を合
計して検索対象の画像の総合類似度を求める処理を実行
する（Ｓ７０４）。

【０１７６】このステップＳ７０４における処理を検索
対象の一つの画像を例にとって具体的に説明する。マッ
チング・エンジン１５３は、検索対象の画像と問合せ画
像Ａについて色の特徴量を用いて類似度を求める。すな
わち、マッチング・エンジン１５３は、色の特徴量に基
づいて図４に示した特徴量空間中にプロットされた検索
対象の画像と問合せ画像Ａとの距離を例えばユークリッ
ド距離などのベクトルの距離定義式を用いて求める。続
いて、マッチング・エンジン１５３は、求めた距離に対
し、特徴抽出エンジン１５２で色の特徴量について決定
した重要度に応じて重み付けを行う。さらに、マッチン
グ・エンジン１５３は、検索対象の画像と問合せ画像Ａ
について、構造の特徴量およびテクスチャの特徴量を用
いた距離をそれぞれ求め、求めた各距離に対し、特徴抽
出エンジン１５２で決定した構造の特徴量の重要度およ
びテクスチャの特徴量の重要度に応じて重み付けを行
う。

【０１７７】マッチング・エンジン１５３は、同様に、
検索対象の画像と問合せ画像Ｂとの距離を３種類の特徴
量毎に求め、求めた各距離に対し、各種類の特徴量毎に
決定された重要度に応じた重み付けを行う。また、検索
対象の画像と問合せ画像Ｃとの距離を３種類の特徴量毎
に求め、求めた各距離に対し、各種類の特徴量毎に決定
された重要度に応じた重み付けを行う。

【０１７８】その後、マッチング・エンジン１５３は、
３種類の特徴量毎に求めた検索対象の画像と各問合せ画
像Ａ，ＢおよびＣとの距離を合計し、距離の合計値を総
合類似度とする。マッチング・エンジン１５３は、この
ようにして検索対象の画像毎に総合類似度を求め、検索
対象の画像毎の総合類似度をＵ／Ｉ部１５１に出力す
る。

【０１７９】続いて、Ｕ／Ｉ部１５１は、マッチング・
エンジン１５３によって検索対象の画像毎に求められた
総合類似度を参照し、例えば総合類似度の高い順に検索
対象の画像を図１１の画像表示欄２０２に表示する（Ｓ
７０５）。ここでは総合類似度として検索対象の画像と
問合せ画像Ａ，ＢおよびＣとの特徴量間の距離の合計を
用いているため、実際には、総合類似度の値の小さい順
に検索対象の画像が画像表示欄２０２に表示されること
になる。すなわち、総合類似度は０以上の値を持ち、総
合類似度が０のときは各問合せ画像の特徴量および検索
対象の画像の特徴量が等しいということを意味する。

【０１８０】なお、画像表示欄２０２に表示された検索
結果の画像を参照した結果、絞込み検索を行いたい場合
には、画像表示欄２０２に表示された画像を問合せ画像
として指定して同様の検索処理を行うこともできる。

【０１８１】このように、実施の形態７に係る画像検索
装置によれば、複数種類の特徴量を用いて問合せ画像お
よび検索対象の画像の類似度を求める場合に、求めた類
似度に対し、特徴量の種類に応じて任意の重み付けを行
うことができるように、各種類の特徴量毎に各問合せ画
像間の類似度を求め、求めた各種類の特徴量毎の類似度
に基づいて各問合せ画像間における各種類の特徴量毎の
重要度を決定し、検索対象の画像それぞれについて、各
種類の特徴量毎に各問合せ画像との類似度を求め、各種
類の特徴量毎に求めた各問合せ画像との類似度に対し、
決定した各種類の特徴量毎の重要度に応じた重み付けを
行うことにより、装置側でユーザが指定した問合せ画像
間における各種類の特徴量の重要度を判断し、判断した
重要度を画像間の類似度に反映させるため、ユーザの意
図に合った検索結果を返すことが可能となる。したがっ
て、ユーザが望む通りの検索処理を実現することがで
き、ユーザが望む検索結果を得ることができる。

【０１８２】なお、実施の形態７の説明において、問合
せ画像として３枚の画像を用いたが、問合せ画像の枚数
は３枚に限定されるものではない。また、特徴量の種類
は、色，構造およびテクスチャの３種類に限定されるも
のではなく、いかなる種類の特徴量の組み合わせであっ
ても良い。

【０１８３】〔実施の形態８〕実施の形態８に係る画像
検索装置は、ユーザの意図を検索条件として正確に表現
するための一つの手法として、ＯＲ検索を実行可能にす
るものである。実施の形態８に係る画像検索装置による
画像検索処理は、実施の形態４で説明に用いた図１１の
検索ウインドウ２００ｄにおいて、ＡＮＤ指定ボタン２
０５ではなく、ＯＲ指定ボタン２０６が指定された場合
に実行される。

【０１８４】図１８は、実施の形態８に係る画像検索処
理を示すフローチャートである。ユーザは、図１１に示
した各画像指定欄に問合せ画像を複数指定し、ＯＲ指定
ボタン２０６を選択してＯＲ条件による画像検索処理を
指定する（Ｓ８０１）。ユーザは、図１１に示すように
３枚の問合せ画像Ａ，ＢおよびＣを指定したものとす
る。

【０１８５】そして、ユーザが図１１の検索ボタン２０
１を指定すると、Ｕ／Ｉ部１５１は、問合せ画像Ａ，Ｂ
およびＣを特徴抽出エンジン１５２に入力し、特徴抽出
エンジン１５２は、各問合せ画像Ａ，ＢおよびＣから所
定の特徴量を抽出する処理を実行する（Ｓ８０２）。そ
の後、特徴抽出エンジン１５２は、抽出した各問合せ画
像の特徴量をマッチング・エンジン１５３に渡す（図４
の特徴空間にそれぞれマップする）。

【０１８６】マッチング・エンジン１５３は、画像ＤＢ
１０８に登録されている検索対象の画像毎に、所定の特
徴量を用いて各問合せ画像Ａ，ＢおよびＣとの類似度を
求めると共に、求めた各問合せ画像Ａ，ＢおよびＣとの
類似度の中から最も高い類似性を示す類似度を選択して
検索対象の画像の総合類似度を求める処理を実行する
（Ｓ８０３）。

【０１８７】このステップＳ８０３における処理を検索
対象の一つの画像を例にとって具体的に説明する。マッ
チング・エンジン１５３は、検索対象の画像と問合せ画
像Ａについて、所定の特徴量を用いて類似度を求める。
すなわち、マッチング・エンジン１５３は、所定の特徴
量に基づいて図４に示した特徴量空間中にプロットされ
た検索対象の画像と問合せ画像Ａとの距離を例えばユー
クリッド距離などのベクトルの距離定義式を用いて求め
る。マッチング・エンジン１５３は、同様に、所定の特
徴量に基づいて検索対象の画像と問合せ画像Ｂとの距離
を求めると共に、検索対象の画像と問合せ画像Ｃとの距
離を求める。

【０１８８】その後、マッチング・エンジン１５３は、
検索対象の画像と各問合せ画像Ａ，ＢおよびＣとの距離
の中から最も短い距離を選択して総合類似度とする。換
言すれば、マッチング・エンジン１５３は、検索対象の
画像と各問合せ画像Ａ，ＢおよびＣとの類似度の中から
最も高い類似性を示す類似度を選択する。ここで、問合
せ画像の数をＭ、ｋ番目の問合せ画像をＱ_k、検索対象
の画像をＩ_i、画像間の距離式をＤ（）とすると、検索
対象の各画像毎の総合類似度Ｓ_iは以下のように表わさ
れる。

【０１８９】

【数８】

【０１９０】マッチング・エンジン１５３は、このよう
にして検索対象の画像毎に総合類似度を求め、検索対象
の画像毎の総合類似度をＵ／Ｉ部１５１に出力する。

【０１９１】なお、複数種類の特徴量を用いて検索を行
う場合は、各種類の特徴量毎に検索対象の画像および各
問合せ画像の類似度（距離）を求め、検索対象の画像毎
に、各種類の特徴量毎に求めた各問合せ画像との類似度
の中から最も高い類似性を示す類似度（最も短い距離）
を選択して総合類似度とすれば良い。

【０１９２】続いて、Ｕ／Ｉ部１５１は、マッチング・
エンジン１５３によって検索対象の画像毎に求められた
総合類似度を参照し、例えば総合類似度の高い順に検索
対象の画像を図１１の画像表示欄２０２に表示する（Ｓ
８０４）。ここでは総合類似度として検索対象の画像と
問合せ画像Ａ，ＢおよびＣのいずれか一つとの特徴量間
の距離を用いているため、実際には、総合類似度の値の
小さい順に検索対象の画像が画像表示欄２０２に表示さ
れることになる。すなわち、総合類似度は０以上の値を
持ち、総合類似度が０のときはいずれか一つの問合せ画
像の特徴量および検索対象の画像の特徴量が等しいとい
うことを意味する。

【０１９３】なお、実施の形態８においては、検索対象
の画像が問合せ画像Ａ，ＢおよびＣのいずれか一つと類
似していれば、高い類似性を示す総合類似度が得られ
る。したがって、ＯＲ検索が実現されることになる。

【０１９４】また、画像表示欄２０２に表示された検索
結果の画像を参照した結果、絞込み検索を行いたい場合
には、画像表示欄２０２に表示された画像を問合せ画像
として指定して同様の検索処理を行うこともできる。

【０１９５】このように、実施の形態８に係る画像検索
装置によれば、問合せ画像を複数指定し、検索対象の画
像毎に、指定された各問合せ画像との類似度を求めると
共に、求めた各問合せ画像との類似度の中から最も高い
類似性を示す類似度を選択し、選択した類似度に基づい
て検索結果を出力することにより、ＯＲ検索を行うこと
が可能となるため、ユーザの意図を検索条件として正確
に表現するための一つの手法を提供することができる。

【０１９６】なお、実施の形態８の説明において、問合
せ画像として３枚の画像を用いたが、問合せ画像の枚数
は３枚に限定されるものではない。また、特徴量の種類
を特に示さなかったが、色，構造およびテクスチャ等、
いかなる種類の特徴量であっても単独でまたは複数組み
合わせて用いることができる。

【０１９７】〔実施の形態９〕実施の形態９に係る画像
検索装置は、実施の形態８の画像検索装置において、検
索に対するユーザの意図をさらに正確に表現できるよう
にしたものである。実施の形態９に係る画像検索装置に
よる画像検索処理は、実施の形態５で説明に用いた図１
３の検索ウインドウ２００ｅにおいて、ＡＮＤ指定ボタ
ン２０５ではなく、ＯＲ指定ボタン２０６が指定された
場合に実行される。

【０１９８】図１９は、実施の形態９に係る画像検索処
理を示すフローチャートである。ユーザは、図１３に示
した各画像指定欄に問合せ画像を複数指定すると共に、
指定した各問合せ画像毎に必要に応じて重要度を指定
し、さらにＯＲ指定ボタン２０６を選択してＯＲ条件に
よる画像検索処理を指定する（Ｓ９０１）。ユーザは、
図１３に示したように問合せ画像Ａ，ＢおよびＣを指定
し、指定した各問合せ画像Ａ，ＢおよびＣ毎に任意の重
要度を指定したものとする。

【０１９９】そして、ユーザが図１３の検索ボタン２０
１を指定すると、Ｕ／Ｉ部１５１は、問合せ画像Ａ，Ｂ
およびＣを特徴抽出エンジン１５２に入力し、特徴抽出
エンジン１５２は、各問合せ画像Ａ，ＢおよびＣから所
定の特徴量を抽出する処理を実行する（Ｓ９０２）。そ
の後、特徴抽出エンジン１５２は、抽出した各問合せ画
像の特徴量をマッチング・エンジン１５３に渡す（図４
の特徴空間にそれぞれマップする）。

【０２００】マッチング・エンジン１５３は、画像ＤＢ
１０８に登録されている検索対象の画像毎に、所定の特
徴量を用いて各問合せ画像Ａ，ＢおよびＣとの類似度を
求め、求めた各類似度に対して重要度に応じた重み付け
を行い、各問合せ画像Ａ，ＢおよびＣとの類似度の中か
ら最も高い類似性を示す類似度を選択して検索対象の画
像の総合類似度を求める処理を実行する（Ｓ９０３）。

【０２０１】このステップＳ９０３における処理を検索
対象の一つの画像を例にとって具体的に説明する。マッ
チング・エンジン１５３は、検索対象の画像と問合せ画
像Ａについて、所定の特徴量を用いて類似度を求める。
すなわち、マッチング・エンジン１５３は、所定の特徴
量に基づいて図４に示した特徴量空間中にプロットされ
た検索対象の画像と問合せ画像Ａとの距離を例えばユー
クリッド距離などのベクトルの距離定義式を用いて求め
る。続いて、マッチング・エンジン１５３は、求めた距
離に対し、検索ウインドウ２００ｅで指定された問合せ
画像Ａの重要度に応じて重み付けを行う。マッチング・
エンジン１５３は、同様に、検索対象の画像と問合せ画
像Ｂとの距離を求め、求めた距離に対して問合せ画像Ｂ
の重要度に応じた重み付けを行うと共に、検索対象の画
像と問合せ画像Ｃとの距離を求め、求めた距離に対して
問合せ画像Ｃの重要度に応じた重み付けを行う。

【０２０２】その後、マッチング・エンジン１５３は、
検索対象の画像と各問合せ画像Ａ，ＢおよびＣとの距離
の中から最も短い距離を選択して総合類似度とする。こ
こで、問合せ画像の数をＭ、ｋ番目の問合せ画像を
Ｑ_k、検索対象の画像をＩ_i、画像間の距離式をＤ（）、
ｋ番目の画像の重要度をｗ_kとすると、検索対象の各画
像毎の総合類似度Ｓ_iは以下のように表わされる。

【０２０３】

【数９】

【０２０４】マッチング・エンジン１５３は、このよう
にして検索対象の画像毎に総合類似度を求め、検索対象
の画像毎の総合類似度をＵ／Ｉ部１５１に出力する。

【０２０５】続いて、Ｕ／Ｉ部１５１は、マッチング・
エンジン１５３によって検索対象の画像毎に求められた
総合類似度を参照し、例えば総合類似度の高い順に検索
対象の画像を図１３の画像表示欄２０２に表示する（Ｓ
９０４）。ここでは総合類似度として検索対象の画像と
問合せ画像Ａ，ＢおよびＣのいずれか一つとの特徴量間
の距離を用いているため、実際には、総合類似度の値の
小さい順に検索対象の画像が画像表示欄２０２に表示さ
れることになる。すなわち、総合類似度は０以上の値を
持ち、総合類似度が０のときはいずれか一つの問合せ画
像の特徴量および検索対象の画像の特徴量が等しいとい
うことを意味する。

【０２０６】なお、画像表示欄２０２に表示された検索
結果の画像を参照した結果、絞込み検索を行いたい場合
には、画像表示欄２０２に表示された画像を問合せ画像
として指定して同様の検索処理を行うこともできる。

【０２０７】このように、実施の形態９に係る画像検索
装置によれば、求めた類似度に対し、問合せ画像の種類
に応じて任意の重み付けを行うことができるように、各
問合せ画像毎に重要度を指定することが可能であり、検
索対象の画像毎に、各問合せ画像との類似度を求め、求
めた各問合せ画像との類似度に対し、指定された重要度
に応じた重み付けを行うことにより、ユーザの意図を検
索条件として正確に表現できるため、ユーザの意図を正
確に装置に伝えることが可能となると共に、重要度は類
似度に対する重み付けとして反映されるため、ユーザの
意図が反映された検索結果の画像を得ることが可能とな
る。

【０２０８】なお、実施の形態９の説明において、問合
せ画像として３枚の画像を用いたが、問合せ画像の枚数
は３枚に限定されるものではない。また、特徴量の種類
を特に示さなかったが、色，構造およびテクスチャ等、
いかなる種類の特徴量であっても単独でまたは複数組み
合わせて用いることができる。

【０２０９】〔実施の形態１０〕実施の形態１０に係る
画像検索装置は、実施の形態８の画像検索装置におい
て、検索に対するユーザの意図をさらに正確に表現でき
るようにしたものである。実施の形態１０に係る画像検
索装置による画像検索処理は、実施の形態６で説明に用
いた図１５の検索ウインドウ２００ｆにおいて、ＡＮＤ
指定ボタン２０５ではなく、ＯＲ指定ボタン２０６が指
定された場合に実行される。

【０２１０】図２０は、実施の形態１０に係る画像検索
処理を示すフローチャートである。ユーザは、図１５に
示した各画像指定欄に問合せ画像を複数指定すると共
に、指定した各問合せ画像に特徴量の種類毎の重要度を
指定し、さらにＯＲ指定ボタン２０６を選択してＯＲ条
件による画像検索処理を指定する（Ｓ１００１）。ユー
ザは、図１５に示したように問合せ画像Ａ，ＢおよびＣ
を指定し、各種類の特徴量毎の重要度を各問合せ画像
Ａ，ＢおよびＣ毎に指定したものとする。

【０２１１】そして、ユーザが図１５の検索ボタン２０
１を指定すると、Ｕ／Ｉ部１５１は、問合せ画像Ａ，Ｂ
およびＣを特徴抽出エンジン１５２に入力し、特徴抽出
エンジン１５２は、各問合せ画像Ａ，ＢおよびＣから
色，構造およびテクスチャの３種類の特徴量を抽出する
処理を実行する（Ｓ１００２）。その後、特徴抽出エン
ジン１５２は、３種類の特徴量毎に抽出した各問合せ画
像の特徴量をマッチング・エンジン１５３に渡す（図４
の特徴空間にそれぞれマップする）。

【０２１２】マッチング・エンジン１５３は、画像ＤＢ
１０８に登録されている検索対象の画像毎に、３種類の
特徴量を用いて各問合せ画像Ａ，ＢおよびＣとの類似度
を求め、求めた各類似度に対して重要度に応じた重み付
けを行い、各問合せ画像Ａ，ＢおよびＣとの類似度の中
から最も高い類似性を示す類似度を選択して検索対象の
画像の総合類似度を求める処理を実行する（Ｓ１００
３）。

【０２１３】このステップＳ１００３における処理を検
索対象の一つの画像を例にとって具体的に説明する。マ
ッチング・エンジン１５３は、検索対象の画像と問合せ
画像Ａについて、色の特徴量を用いて類似度を求める。
すなわち、マッチング・エンジン１５３は、色の特徴量
に基づいて図４に示した特徴量空間中にプロットされた
検索対象の画像と問合せ画像Ａとの距離を例えばユーク
リッド距離などのベクトルの距離定義式を用いて求め
る。続いて、マッチング・エンジン１５３は、求めた距
離に対し、検索ウインドウ２００ｆにおいて問合せ画像
Ａに対して指定された色の特徴量の重要度に応じて重み
付けを行う。さらに、マッチング・エンジン１５３は、
検索対象の画像と問合せ画像Ａについて、構造の特徴量
およびテクスチャの特徴量を用いた距離をそれぞれ求
め、求めた各距離に対し、検索ウインドウ２００ｆで問
合せ画像Ａに対して指定された構造の特徴量の重要度お
よびテクスチャの特徴量の重要度に応じて重み付けを行
う。

【０２１４】マッチング・エンジン１５３は、同様に、
検索対象の画像と問合せ画像Ｂとの距離を３種類の特徴
量毎に求め、求めた各距離に対し、問合せ画像Ｂに対し
て指定された各特徴量毎の重要度に応じた重み付けを行
う。また、検索対象の画像と問合せ画像Ｃとの距離を３
種類の特徴量毎に求め、求めた各距離に対し、問合せ画
像Ｃに対して指定された各特徴量毎の重要度に応じた重
み付けを行う。

【０２１５】その後、マッチング・エンジン１５３は、
３種類の特徴量毎に求めた検索対象の画像と各問合せ画
像Ａ，ＢおよびＣとの距離の中から最も短い距離を選択
して総合類似度とする。ここで、特徴量の数をＮ、問合
せ画像の数をＭ、ｋ番目の問合せ画像をＱ_k、検索対象
の画像をＩ_i、特徴量ｊの画像間の距離式をＤ_j（）、ｋ
番目の画像の特徴量ｊの重要度をｗ_jkとすると、検索対
象の各画像毎の総合類似度Ｓ_iは以下のように表わされ
る。

【０２１６】

【数１０】

【０２１７】マッチング・エンジン１５３は、このよう
にして検索対象の画像毎に総合類似度を求め、検索対象
の画像毎の総合類似度をＵ／Ｉ部１５１に出力する。

【０２１８】続いて、Ｕ／Ｉ部１５１は、マッチング・
エンジン１５３によって検索対象の画像毎に求められた
総合類似度を参照し、例えば総合類似度の高い順に検索
対象の画像を図１５の画像表示欄２０２に表示する（Ｓ
１００４）。ここでは総合類似度として検索対象の画像
と問合せ画像Ａ，ＢおよびＣのいずれか一つとの特徴量
間の距離を用いているため、実際には、総合類似度の値
の小さい順に検索対象の画像が画像表示欄２０２に表示
されることになる。すなわち、総合類似度は０以上の値
を持ち、総合類似度が０のときはいずれか一つの問合せ
画像の特徴量および検索対象の画像の特徴量が等しいと
いうことを意味する。

【０２１９】なお、画像表示欄２０２に表示された検索
結果の画像を参照した結果、絞込み検索を行いたい場合
には、画像表示欄２０２に表示された画像を問合せ画像
として指定して同様の検索処理を行うこともできる。

【０２２０】このように、実施の形態１０に係る画像検
索装置によれば、複数種類の特徴量を用いて問合せ画像
および検索対象の画像の類似度を求める場合に、求めた
類似度に対し、問合せ画像および特徴量の種類に応じて
任意の重み付けを行うことができるように、各種類の特
徴量毎の重要度を各問合せ画像毎に指定することが可能
であり、検索対象の画像それぞれについて、各種類の特
徴量毎に各問合せ画像との類似度を求め、各種類の特徴
量毎に求めた各問合せ画像との類似度に対し、指定され
た重要度に応じた重み付けを行うことにより、ユーザの
意図を検索条件として正確に表現できるため、ユーザの
意図を正確に装置に伝えることが可能となると共に、重
要度は類似度に対する重み付けとして反映されるため、
ユーザの意図が反映された検索結果の画像を得ることが
可能となる。

【０２２１】なお、実施の形態１０の説明において、問
合せ画像として３枚の画像を用いたが、問合せ画像の枚
数は３枚に限定されるものではない。また、特徴量の種
類は、色，構造およびテクスチャの３種類に限定される
ものではなく、いかなる種類の特徴量の組み合わせであ
っても良い。

【０２２２】〔実施の形態１１〕実施の形態１１に係る
画像検索装置は、実施の形態８の画像検索装置におい
て、検索に対するユーザの意図を装置側が汲み取ること
ができるようにしたものである。実施の形態１１に係る
画像検索装置による画像検索処理は、実施の形態８（実
施の形態４）で説明に用いた図１１の検索ウインドウ２
００ｄにおいて、ＡＮＤ指定ボタン２０５ではなく、Ｏ
Ｒ指定ボタン２０６が指定された場合に実行される。

【０２２３】図２１は、実施の形態１１に係る画像検索
処理を示すフローチャートである。ユーザは、図１１に
示した各画像指定欄に問合せ画像を複数指定すると共
に、ＯＲ指定ボタン２０６を選択してＯＲ条件による画
像検索処理を指定する（Ｓ１１０１）。ユーザは、図１
１に示したように問合せ画像Ａ，ＢおよびＣを指定した
ものとする。

【０２２４】その後、ユーザが図１１の検索ボタン２０
１を指定すると、Ｕ／Ｉ部１５１は、問合せ画像Ａ，Ｂ
およびＣを特徴抽出エンジン１５２に入力し、特徴抽出
エンジン１５２は、各問合せ画像Ａ，ＢおよびＣから
色，構造およびテクスチャの３種類の特徴量を抽出する
処理を実行する（Ｓ１１０２）。

【０２２５】続いて、特徴抽出エンジン１５２は、抽出
した３種類の特徴量毎に、各問合せ画像Ａ，ＢおよびＣ
同士の距離（類似度）を求め、求めた各特徴量毎の距離
に基づいて各問合せ画像Ａ，ＢおよびＣ間における特徴
量毎の重要度を決定する（Ｓ１１０３）。

【０２２６】具体的に、特徴抽出エンジン１５２は、３
種類の特徴量毎に、ユーザが指定した複数の問合せ画像
同士の特徴間距離を求める。各特徴量毎に求めた距離の
分散が大きい場合にはその特徴量についてはユーザは関
知していないことを意味し、分散が小さい場合にはユー
ザはその特徴量を重視していると判断できる。したがっ
て、分散が大きい特徴量の場合には重要度を小さくし、
分散が小さい場合には重要度を大きくするように設定す
る。例えば、各特徴量の重要度は、実施の形態７で示し
た数７を用いて決定することができる。

【０２２７】その後、特徴抽出エンジン１５２は、３種
類の特徴量毎に抽出した各問合せ画像の特徴量および対
応する重要度をマッチング・エンジン１５３に渡す。

【０２２８】マッチング・エンジン１５３は、画像ＤＢ
１０８に登録されている検索対象の画像毎に、３種類の
特徴量を用いて各問合せ画像Ａ，ＢおよびＣとの類似度
を求め、求めた各類似度に対して重要度に応じた重み付
けを行い、各問合せ画像Ａ，ＢおよびＣとの類似度の中
から最も高い類似性を示す類似度を選択して検索対象の
画像の総合類似度を求める処理を実行する（Ｓ１１０
４）。

【０２２９】このステップＳ１１０４における処理を検
索対象の一つの画像を例にとって具体的に説明する。マ
ッチング・エンジン１５３は、検索対象の画像と問合せ
画像Ａについて、色の特徴量を用いて類似度を求める。
すなわち、マッチング・エンジン１５３は、色の特徴量
に基づいて図４に示した特徴量空間中にプロットされた
検索対象の画像と問合せ画像Ａとの距離を例えばユーク
リッド距離などのベクトルの距離定義式を用いて求め
る。続いて、マッチング・エンジン１５３は、求めた距
離に対し、特徴抽出エンジン１５２で色の特徴量につい
て決定した重要度に応じて重み付けを行う。さらに、マ
ッチング・エンジン１５３は、検索対象の画像と問合せ
画像Ａについて、構造の特徴量およびテクスチャの特徴
量を用いた距離をそれぞれ求め、求めた各距離に対し、
特徴抽出エンジン１５２で決定した構造の特徴量の重要
度およびテクスチャの特徴量の重要度に応じて重み付け
を行う。

【０２３０】マッチング・エンジン１５３は、同様に、
検索対象の画像と問合せ画像Ｂとの距離を３種類の特徴
量毎に求め、求めた各距離に対し、各種類の特徴量毎に
決定された重要度に応じた重み付けを行う。また、検索
対象の画像と問合せ画像Ｃとの距離を３種類の特徴量毎
に求め、求めた各距離に対し、各種類の特徴量毎に決定
された重要度に応じた重み付けを行う。

【０２３１】その後、マッチング・エンジン１５３は、
３種類の特徴量毎に求めた検索対象の画像と各問合せ画
像Ａ，ＢおよびＣとの距離の中から最も短い距離を選択
して総合類似度とする。マッチング・エンジン１５３
は、このようにして検索対象の画像毎に総合類似度を求
め、検索対象の画像毎の総合類似度をＵ／Ｉ部１５１に
出力する。

【０２３２】Ｕ／Ｉ部１５１は、マッチング・エンジン
１５３によって検索対象の画像毎の総合類似度を参照
し、例えば総合類似度の高い順に検索対象の画像を図１
１の画像表示欄２０２に表示する（Ｓ１１０５）。ここ
では総合類似度として検索対象の画像と問合せ画像Ａ，
ＢおよびＣのいずれか一つとの特徴量間の距離を用いて
いるため、実際には、総合類似度の値の小さい順に検索
対象の画像が画像表示欄２０２に表示されることにな
る。すなわち、総合類似度は０以上の値を持ち、総合類
似度が０のときはいずれか一つの問合せ画像の特徴量お
よび検索対象の画像の特徴量が等しいということを意味
する。

【０２３３】なお、画像表示欄２０２に表示された検索
結果の画像を参照した結果、絞込み検索を行いたい場合
には、画像表示欄２０２に表示された画像を問合せ画像
として指定して同様の検索処理を行うこともできる。

【０２３４】このように、実施の形態１１に係る画像検
索装置によれば、複数種類の特徴量を用いて問合せ画像
および検索対象の画像の類似度を求める場合に、求めた
類似度に対し、特徴量の種類に応じて任意の重み付けを
行うことができるように、各種類の特徴量毎に各問合せ
画像間の類似度を求め、求めた各種類の特徴量毎の類似
度に基づいて各問合せ画像間における各種類の特徴量毎
の重要度を決定し、検索対象の画像それぞれについて、
各種類の特徴量毎に各問合せ画像との類似度を求め、各
種類の特徴量毎に求めた各問合せ画像との類似度に対
し、決定した各種類の特徴量毎の重要度に応じた重み付
けを行うことにより、装置側でユーザが指定した問合せ
画像間における各種類の特徴量の重要度を判断し、判断
した重要度を画像間の類似度に反映させるため、ユーザ
の意図に合った検索結果を返すことが可能となる。した
がって、ユーザが望む通りの検索処理を実現することが
でき、ユーザが望む検索結果を得ることができる。

【０２３５】なお、実施の形態１１の説明において、問
合せ画像として３枚の画像を用いたが、問合せ画像の枚
数は３枚に限定されるものではない。また、特徴量の種
類は、色，構造およびテクスチャの３種類に限定される
ものではなく、いかなる種類の特徴量の組み合わせであ
っても良い。

【０２３６】〔実施の形態１２〕実施の形態１２に係る
画像検索装置は、前述した実施の形態１〜１１と異なる
視点で画像検索を行うことを可能にするものである。な
お、実施の形態１２に係る画像検索装置において、実施
の形態１で既に説明した構成については同一の符号を使
用して詳細な説明を省略し、画像検索処理についても共
通する点については適宜説明を省略する。

【０２３７】実施の形態１２に係る画像検索装置は、検
索時に使用する特徴量の粗さのレベル（視点の細かさ）
をユーザが指定できるようにし、ユーザによって指定さ
れた粗さのレベルに対応する特徴量を利用して、問合せ
画像および検索対象の画像の類似度を求めるというもの
である。ここで、特徴量の粗さとは、画像から抽出され
た特徴量が、抽出対象の画像の所定の特徴をどの程度忠
実に表現しているかの度合いを示すものであると定義す
ることにする。そこで、以下では、 １．特徴量抽出処理 ２．画像検索処理 の順で実施の形態１２に係る画像検索装置によって実行
される処理について説明する。

【０２３８】１．特徴量抽出処理 ここでは、検索対象の画像については粗さの異なる複数
の特徴量を予め抽出しておくことにし、問合せ画像のう
ち、特徴量が抽出されていない問合せ画像については検
索実行時に特徴量を抽出することにする。検索対象の画
像から特徴量を抽出するタイミングは、実施の形態１で
説明したように、検索対象の画像を画像ＤＢ１０８に登
録するときとする。そこで、図３を参照しつつ各画像か
ら特徴量を抽出する処理について説明する。

【０２３９】図２の特徴抽出エンジン１５２は、Ｕ／Ｉ
部１５１を介して登録対象となる画像を入力し（Ｓ１
１）、入力した画像から特徴量を抽出する処理を実行す
る（Ｓ１２）。

【０２４０】実施の形態１２においては、例えば、少な
くとも画像を何分割するかを表す分割数を特徴量の粗さ
のレベルとして段階的に定義した抽出基準に基づいて、
特徴抽出エンジン１５２が画像から粗さの異なる特徴量
を抽出できるようにしている。具体的に、抽出基準とし
て例えば以下のような特徴量の粗さのレベルが定義され
ており、特徴抽出エンジン１５２は、ステップＳ１１で
入力した画像から同一の特徴（色，構造等）について異
なる粗さのレベルの特徴量を抽出する。なお、抽出され
る特徴量は粗さが異なるのみであって、特徴量の種類
（例えば、色，構造等）は同一である

【０２４１】・レベル１：図２２（ａ）に示すように、
画像全体から特徴量１を抽出する。 ・レベル２：図２２（ｂ）に示すように、画像を４分割
して分割画像Ａ〜Ｄを生成し、各分割画像Ａ〜Ｄからそ
れぞれ特徴量Ａ〜Ｄを抽出することにより、一つの画像
から特徴量Ａ〜Ｄからなる特徴量２（特徴量群）を抽出
する。 ・レベル３：図２２（ｃ）に示すように、画像を８分割
して分割画像Ａ〜Ｈを生成し、各分割画像Ａ〜Ｈからそ
れぞれ特徴量Ａ〜Ｈを抽出することにより、一つの画像
から特徴量Ａ〜Ｈからなる特徴量３（特徴量群）を抽出
する。 ・レベル４：図２２（ｄ）に示すように、画像を１６分
割して分割画像Ａ〜Ｐを生成し、各分割画像Ａ〜Ｐから
それぞれ特徴量Ａ〜Ｐを抽出することにより、一つの画
像から特徴量Ａ〜Ｐからなる特徴量４（特徴量群）を抽
出する。

【０２４２】ここで、画像の構造（エッジ）および色
（色ヒストグラム）を特徴量として抽出する処理を例に
とって、画像からレベル１〜４の特徴量を抽出する処理
を具体的に説明する。

【０２４３】（１）構造 レベル１ 例えばｓｏｂｅｌのようなエッジ抽出フィルタを用い
て、ステップＳ１１で入力した画像からエッジ情報を抽
出する。抽出したエッジ情報から、エッジの位置，エッ
ジの強度および方向を得ることができる。エッジの強度
については適当な閾値で２値化し、上下左右斜め方向の
エッジ成分のエッジ画像データを得る。一例として、図
２３に示す画像から得た上下左右斜め方向のエッジ成分
のエッジ画像データを図２４（ａ）〜図２４（ｄ）に示
す。

【０２４４】図２４（ａ）〜図２４（ｄ）のエッジ画像
データについて、エッジ部分を黒画素、その他を白画素
と仮定し、 ・画像全体に対する黒画素の割合 ・黒画素の重心 ・黒画素の分散 ・黒画素の連結矩形のサイズの平均 ・黒画素の連結矩形のサイズの分散 というようなエッジ情報を各エッジ画像データから抽出
し、これを画像全体の構造の特徴量１とする。

【０２４５】 レベル２ 図２４（ａ）〜図２４（ｄ）のエッジ画像データをそれ
ぞれ図２２（ｂ）に示すように分割画像Ａ〜Ｄに分割し
（４分割）、各分割画像Ａ〜Ｄからで説明したエッジ
情報を抽出して分割画像単位の構造の特徴量Ａ〜Ｄを得
る。その結果、特徴量Ａ〜Ｄからなる特徴量２を画像か
ら抽出することができる。

【０２４６】 レベル３および４ また、レベル３については図２４（ａ）〜図２４（ｄ）
のエッジ画像データをそれぞれ図２２（ｃ）に示したよ
うに分割画像Ａ〜Ｈに分割し（８分割）、レベル４につ
いては図２２（ｄ）に示したように分割画像Ａ〜Ｐに分
割し（１６分割）、レベル２の場合と同様の方法でそれ
ぞれ特徴量Ａ〜Ｈからなる特徴量３および特徴量Ａ〜Ｐ
からなる特徴量４を画像から抽出することができる。

【０２４７】（２）色 つぎに、画像の色（色ヒストグラム）を特徴量として抽
出する処理を説明する。

【０２４８】 レベル１ 適当な色空間（例えばＬａｂ，Ｌｕｖ，ＨＳＶ等）を選
択して複数の領域に分割し、ステップＳ１１で入力した
画像の各ピクセルが色空間中のどの領域に対応するかを
調べ、領域毎のピクセル数を画像全体のピクセル数で正
規化することによって図２２（ａ）に示した画像全体を
対象とした特徴量１を抽出する。

【０２４９】 レベル２ 適当な色空間（例えばＬａｂ，Ｌｕｖ，ＨＳＶ等）を選
択して複数の領域に分割すると共に、ステップＳ１１で
入力した画像を図２２（ｂ）に示したように分割画像Ａ
〜Ｄに分割する（４分割）。そして、分割画像Ａの各ピ
クセルが色空間中のどの領域に対応するかを調べ、領域
毎のピクセル数を分割画像Ａ全体のピクセル数で正規化
することによって特徴量Ａを抽出することができる。他
の分割画像Ｂ〜Ｄについても同様な処理を行ってそれぞ
れ特徴量Ｂ〜Ｄを抽出し、特徴量Ａ〜Ｄからなる特徴量
２をステップＳ１１で入力した画像から抽出する。

【０２５０】 レベル３およびレベル４ レベル３についてはステップＳ１１で入力した画像を図
２２（ｃ）に示したように分割画像Ａ〜Ｈに分割し（８
分割）、レベル４については図２２（ｄ）に示したよう
に分割画像Ａ〜Ｐに分割し（１６分割）、レベル２の場
合と同様の方法でそれぞれ特徴量Ａ〜Ｈからなる特徴量
３および特徴量Ａ〜Ｐからなる特徴量４を画像から抽出
する。

【０２５１】このように、分割数を変化させて同一の画
像から特徴量を抽出することにより、例えば、ある画像
は全体的には青であるが、詳細に見ると青と少しの赤が
混じっているといったような、視点の細かさに依存した
特徴量を抽出することができる。例えば、青を中心とす
る画像中のいずれの位置に赤が分散しているかという情
報を含む特徴量を抽出することができる。

【０２５２】このようにして、ステップＳ１１で入力し
た画像から各レベルの特徴量を抽出した後、図３のフロ
ーチャートに示すように、特徴抽出エンジン１５２は、
画像ＤＢ１０８に登録する元の画像に関連付けて、抽出
した特徴量を画像特徴ＤＢ１０９に登録する（Ｓ１
３）。

【０２５３】なお、ここでは、画像の構造および色の特
徴を特徴量として抽出することを例にとって説明した
が、他の種類の特徴を特徴量として抽出することにして
も良い。また、例えば画像を４分割するといった場合で
あっても、図２２（ｂ）に示した分割方法以外にも様々
な方法が考えられる（例えば、画像を縦長または横長に
４分割する等）。したがって、分割方法は任意に設定す
ることが可能である。

【０２５４】２．画像検索処理 図２５は、実施の形態１２に係る画像検索装置で使用さ
れる検索ウインドウ２００ｇの一例を示す説明図であ
る。検索ウインドウ２００ｇは、画像指定欄Ａ〜Ｃ，検
索ボタン２０１および画像表示欄２０２に加え、検索に
使用する特徴量の種類を指定する特徴指定欄２０９と、
特徴指定欄２０９で指定された種類の特徴量のうち、い
ずれのレベル（粗さ）の特徴量を用いるかを指定する粗
さレベル指定欄２１０と、を備えている。特徴指定欄２
０９では、例えば構造の特徴量および色の特徴量のいず
れか一方または両方を指定することができ、粗さレベル
指定欄２１０では、例えばレベル１〜４の少なくとも一
つを指定することができるものとする。粗さレベル指定
欄２１０で指定可能なレベルは、前述した特徴量の抽出
基準の各レベルに対応している。

【０２５５】なお、特徴指定欄２０９において、いずれ
の特徴量も指定されなかった場合には、構造および色の
両方の特徴量を用いて検索処理が行われるものとし、粗
さレベル指定欄２１０においていずれのレベルも指定さ
れなかった場合には、全てのレベルの特徴量を用いて検
索処理が行われるものとする。また、使用可能な種類の
特徴量を全て指定できるようにするため、特徴指定欄２
０９に「全て」というボタンを用意することにしても良
い。同様に、レベルを全て指定できるようにするため、
粗さレベル指定欄２１０に「全て」というボタンを用意
することにしても良い。

【０２５６】続いて、実施の形態１２に係る画像検索処
理について説明する。なお、ここでは、検索ウインドウ
２００ｇにおける検索条件の指定の仕方に応じて異なる
処理が行われることになることから、最初に図２６のフ
ローチャートを参照しつつ画像検索処理の概略を説明し
た後、異なる検索条件毎に場合分けして個別に説明する
ことにする。

【０２５７】（１）画像検索処理の概略 まず、実施の形態１２に係る画像検索処理の概略を説明
する。ユーザは、図２５に示した画像指定欄に問合せ画
像を少なくとも一つ指定すると共に、特徴指定欄２０９
および粗さレベル指定欄２１０において、検索時に使用
する特徴量の種類および使用する特徴量の粗さのレベル
を指定する（Ｓ１２０１）。

【０２５８】続いて、ユーザが図２５の検索ボタン２０
１を指定すると、Ｕ／Ｉ部１５１は、問合せ画像，特徴
量の種類および粗さのレベルの種類を特徴抽出エンジン
１５２に入力し、特徴抽出エンジン１５２は、指定され
た特徴量の種類および粗さのレベルに応じて問合せ画像
から特徴量を抽出する（Ｓ１２０２）。ただし、ユーザ
によって指定された問合せ画像から既に特徴量が抽出さ
れている場合には、このステップＳ１２０２の処理をス
キップすることができる。また、検索対象の画像につい
て特徴量を抽出していない場合は、この時点で特徴量を
抽出することにしても良い。その後、特徴抽出エンジン
１５２は、抽出した問合せ画像の特徴量をマッチング・
エンジン１５３に渡す（図４の特徴空間にそれぞれマッ
プする）。

【０２５９】マッチング・エンジン１５３は、画像ＤＢ
１０８に登録されている検索対象の画像毎に、検索ウイ
ンドウ２００ｇにおいて指定されたレベルの特徴量を用
いて問合せ画像との類似度を求める処理を実行する（Ｓ
１２０３）。すなわち、マッチング・エンジン１５３
は、該当するレベルの特徴量に基づいて図４に示した特
徴量空間中にプロットされた検索対象の画像と問合せ画
像との距離を各特徴毎に定義された距離定義式を用いて
求める。

【０２６０】特徴量Ｆは通常、ベクトルとしてＦ＝｛ｆ
１，ｆ２，ｆ３，・・・，ｆｎ｝であらわされ、画像
ａ、ｂから抽出した特徴量をそれぞれＦａ、Ｆｂとする
と、以下の数１１で示す差分距離式Ｄ（Ｆａ，Ｆｂ）が
一般に距離定義式として用いられる。

【０２６１】

【数１１】

【０２６２】「構造」、「色」の特徴量の場合にもこの
距離式が利用できるが、「構造」での「画像全体に対す
る黒画素の割合」をヒストグラムとして特徴量とした場
合には、画像中のエッジが十分にある場合には適切な類
似度を得ることが可能であるが、画像中のエッジが少な
い場合には適切な類似度を得られない。

【０２６３】人間のエッジに対する類似感覚では、たと
えば画像中にエッジがない画像と少しでもある画像の場
合には大きな違いを感じるが、画像が十分にエッジを持
っている場合には、その量が多少異なっていてもその違
いには鈍感である。そこで、差分距離式よりも距離の精
度を高めるためにヒストグラムを全エッジ画素数で正規
化する（正規化距離式）ことによって、この問題を解決
することが可能である。

【０２６４】つまり、ヒストグラムの要素は以下の式で
与えられる。 ｆｏｉ＝ｆｉ／Ｎ なお、ｆｏｉは正規化されたヒストグラムの要素であ
る。また、全画素数Ｎは、数１２の式で与えられる。

【０２６５】

【数１２】

【０２６６】なお、ベクトル要素がすべて０でＳ＝０の
時は正規化はおこなわない。つまり、正規化距離式は数
１３の式で与えられる。

【０２６７】

【数１３】

【０２６８】画像中のエッジが少ない場合には上記式が
有効であるが、多い場合には従来のヒストグラムの方が
適切な類似度を得ることができる。そこで、エッジが多
い場合には従来式に近い計算式になり、少ない場合には
上記式に近い計算式になるような数１４の式を考案し
た。

【０２６９】

【数１４】

【０２７０】なお、正規化のための値を全画素数により
以下の数１５のように変動させる。

【０２７１】

【数１５】 ｋは定数であり、対象とする画像集合によって適宜指定
する。

【０２７２】以上のような計算を検索時に行うだけでな
く、予め特徴量の抽出時に正規化や半正規化で得られる
ベクトルに変換してデータベースに登録することで、検
索時には単純な差分式を用いて距離を求めることがで
き、高速な検索をおこなうことも可能である。

【０２７３】上記半正規化式により画像中のエッジの多
い少ないに関わらず適切な類似度を算出することができ
るが、検索時に計算する場合には式が複雑な分、時間が
かかるという問題がある。そこで、エッジ数および要求
される検索速度に従い従来の差分距離式と正規化距離式
を選択し算出する。

【０２７４】たとえば、以下のように場合分けが可能で
ある。 １）両方の画像のエッジ割合がある閾値Ａ以上の場合 差分距離式を選択 ２）どちらか一方が閾値Ａより下の場合 ａ）高速性が要求される場合 差分距離式を選択 ｂ）高速性が要求されない場合 正規化距離式を利用

【０２７５】ただし、この方式では場合分けにより、異
なる式を選択するので結果として得られる距離空間は距
離の公理を満たさない。距離の公理を満たす必要がある
場合には半正規化式が望ましい。

【０２７６】続いて、Ｕ／Ｉ部１５１は、マッチング・
エンジン１５３によって検索対象の画像毎に求められた
問合せ画像との類似度を参照し、例えば類似度の高い順
に検索対象の画像を図２５の画像表示欄２０２に表示す
る（Ｓ１２０４）。ただし、ここでは類似度として検索
対象の画像と問合せ画像との特徴量間の距離を用いてい
るため、実際には、類似度の値の小さい順に検索対象の
画像が画像表示欄２０２に表示されることになる。すな
わち、類似度は０以上の値を持ち、類似度が０のときは
各問合せ画像の特徴量および検索対象の画像の特徴量が
等しいということを意味する。

【０２７７】（２）画像検索処理の具体例 つぎに、前述した図２６のフローチャートに対応させつ
つ、 一つの問合せ画像，特徴量として「色」および粗さ
レベルとして「レベル１」が指定された場合 一つの問合せ画像，特徴量として「色」および粗さ
レベルとして「レベル２」が指定された場合 一つの問合せ画像，特徴量として「色」および粗さ
レベルとして二つ以上のレベルが指定された場合 複数種類の特徴量が指定された場合 複数の問合せ画像が指定された場合 の順で具体的に実施の形態１２に係る画像検索処理を説
明する。

【０２７８】 一つの問合せ画像，特徴量として
「色」および粗さレベルとして「レベル１」が指定され
た場合 図２５に示した検索ウインドウ２００ｇにおいて、ユー
ザが、一つの問合せ画像，特徴量として「色」および粗
さレベルとして「レベル１」を指定したものとする（Ｓ
１２０１）。

【０２７９】特徴抽出エンジン１５２は、図２２（ａ）
に示すように、問合せ画像全体を対象として、特徴量
「色」について「レベル１」に該当する特徴量である
「特徴量１」を抽出する（Ｓ１２０２）。

【０２８０】そして、マッチング・エンジン１５３は、
特徴抽出エンジン１５２において抽出された問合せ画像
および検索対象の画像の特徴量１に基づいて、検索対象
の画像毎に問合せ画像との類似度を求める（Ｓ１２０
３）。具体的には、該当する特徴量１に基づいて図４に
示した特徴量空間中にプロットされた検索対象の画像と
問合せ画像との距離を各特徴毎に定義された距離定義式
を用いて求める。

【０２８１】その後、Ｕ／Ｉ部１５１は、マッチング・
エンジン１５３によって検索対象の画像毎に求められた
問合せ画像との類似度を参照し、例えば類似度の高い
（値の小さい）順に検索対象の画像を図２５の画像表示
欄２０２に表示する（Ｓ１２０４）。

【０２８２】このように、レベル１のような粗さの特徴
量を選択して画像検索処理を実行することができるよう
にすることにより、例えば、色の特徴量を用いて検索を
場合にあっては、全体的に青い画像を検索するというよ
うな検索処理を実行することが可能となる。

【０２８３】なお、詳細な説明については省略するが、
特徴量として「構造」や他の種類の特徴量が指定された
場合であっても、同様な処理で検索処理を行うことがで
きる。

【０２８４】 一つの問合せ画像，特徴量として
「色」および粗さレベルとして「レベル２」が指定され
た場合 図２５に示した検索ウインドウ２００ｇにおいて、ユー
ザが、一つの問合せ画像，特徴量として「色」および粗
さレベルとして「レベル２」を指定したものとする（Ｓ
１２０１）。

【０２８５】特徴抽出エンジン１５２は、図２２（ｂ）
に示すように、問合せ画像を分割画像Ａ〜Ｄに分割し、
各分割画像Ａ〜Ｄからそれぞれ「色」の特徴量Ａ〜Ｄを
抽出する（Ｓ１２０２）。その結果、特徴量「色」につ
いて「レベル２」に該当する特徴量であって、特徴量Ａ
〜Ｄからなる「特徴量２」が問合せ画像から抽出される
ことになる。

【０２８６】そして、マッチング・エンジン１５３は、
特徴抽出エンジン１５２において抽出された問合せ画像
および検索対象の画像の特徴量２に基づいて、検索対象
の画像毎に問合せ画像との類似度を求める（Ｓ１２０
３）。具体的には、検索対象の画像および問合せ画像の
分割画像Ａ同士，分割画像Ｂ同士，分割画像Ｃ同士およ
び分割画像Ｄ同士の類似度を求める。より詳細には、特
徴抽出エンジン１５２において抽出された特徴量２に基
づいて、図４に示した特徴量空間中にプロットされた分
割画像Ａ同士，分割画像Ｂ同士，分割画像Ｃ同士および
分割画像Ｄ同士の距離を各特徴毎に定義された距離定義
式を用いて求める。ここでは分割画像Ａ〜Ｄのそれぞれ
について類似度を求めることになるため、４つの類似度
を得ることになる。

【０２８７】続いて、マッチング・エンジン１５３は、
求めた４つの類似度を用いて、検索対象の画像および問
合せ画像の類似度を決定する。類似度の決定方法として
は、例えば以下のような方法が考えられる。 −１ ４つの類似度の二乗和により検索対象の画像お
よび問合せ画像の類似度を決定する。 −２ ４つの類似度を合計することにより、検索対象
の画像および問合せ画像の類似度を決定する（ＡＮＤ検
索参照）。 −３ ４つの類似度の中から最も高い（値の小さい）
類似度を選択することにより、検索対象の画像および問
合せ画像の類似度を決定する（ＯＲ検索参照）。 なお、−１〜−３のいずれの方法を利用するかを検
索ウインドウ２００ｇで指定することができるようにし
ても良い。

【０２８８】その後、Ｕ／Ｉ部１５１は、マッチング・
エンジン１５３によって検索対象の画像毎に求められた
問合せ画像との類似度を参照し、例えば類似度の高い
（値の小さい）順に検索対象の画像を図２５の画像表示
欄２０２に表示する（Ｓ１２０４）。

【０２８９】このように、レベル２のような粗さの特徴
量を選択して画像検索処理を実行することができるよう
にすることにより、例えば、色の特徴量を用いて検索を
行う場合にあっては、全体的に青いがある部分には赤が
混じっている画像を検索するというような検索処理を実
行することが可能となる。すなわち、どの色が画像のど
の位置に存在するかを踏まえた検索処理が可能となり、
画像全体を対象として抽出した特徴量（レベル１）を用
いた検索では行うことができない細かい視点で検索処理
を行うことができる。

【０２９０】なお、詳細な説明については省略するが、
特徴量として「構造」や他の種類の特徴量が指定された
場合にあっても、同様な処理で検索処理を行うことがで
きる。また、粗さレベルのレベル３および４が指定され
た場合であっても、前述したレベル２の処理と同様な処
理で検索処理を行うことが可能であるため、ここでは説
明を省略する。

【０２９１】 一つの問合せ画像，特徴量として
「色」および粗さレベルとして二つ以上のレベルが指定
された場合 ここでは、粗さレベルとして二つ以上のレベルが指定さ
れた場合の一例として、粗さレベルが全て指定された場
合に基づいて画像検索処理を説明する。そこで、図２５
に示した検索ウインドウ２００ｇにおいて、ユーザが、
一つの問合せ画像，特徴量として「色」および全ての粗
さレベルを指定したものとする（Ｓ１２０１）。前述し
たように、粗さレベル指定欄２１０においていずれのレ
ベルも指定しない場合または全てのレベルを指定した場
合に、粗さレベルを全て指定したことになる。

【０２９２】特徴抽出エンジン１５２は、図２２（ａ）
〜図２２（ｄ）に示すように、検索ウインドウ２００ｇ
において指定された問合せ画像から、レベル１〜４に応
じて特徴量１〜４を抽出する（Ｓ１２０２）。なお、レ
ベル１に対応する特徴量１はの項で説明した方法で、
レベル２〜４に対応する特徴量２〜４はの項で説明し
た方法で抽出することができる。

【０２９３】そして、マッチング・エンジン１５３は、
特徴抽出エンジン１５２において抽出された問合せ画像
および検索対象の画像の特徴量１〜４を用いて、検索対
象の画像毎に問合せ画像との類似度を求める（Ｓ１２０
３）。ここでは、各特徴量（レベル）毎に検索対象の画
像および問合せ画像の類似度を求めることになり、その
結果、検索対象の画像毎に問合せ画像に対する４つの類
似度が得られることになる。なお、特徴量１（レベル
１）を用いて検索対象の画像および問合せ画像の類似度
を求める処理は、の項で説明した処理と同様である。
また、特徴量２〜４（レベル２〜４）を用いて検索対象
の画像および問合せ画像の類似度を求める処理は、それ
ぞれの項で説明した処理と同様である。

【０２９４】続いて、マッチング・エンジン１５３は、
検索対象の画像毎に各レベルに応じて求めた問合せ画像
との４つの類似度を用いて、問合せ画像との最終的な類
似度を決定する。最終的な類似度の決定方法としては、
例えば以下のような方法が考えられる。 −１ ４つの類似度の二乗和により、問合せ画像との
最終的な類似度を決定する（ＡＮＤ検索の変形）。 −２ ４つの類似度を合計することにより、問合せ画
像との最終的な類似度を決定する（ＡＮＤ検索を参
照）。 −３ ４つの類似度の中から最も高い（値の小さい）
類似度を選択することにより、問合せ画像との最終的な
類似度を決定する（ＯＲ検索を参照）。

【０２９５】−１および−２の方法で問合せ画像と
の最終的な類似度を決定することにする場合にあって
は、例えば、全体的に青く、かつ、ある部分に赤が混じ
っている画像を検索するというような検索処理（ＡＮＤ
検索）を実行することが可能となる。すなわち、全ての
（二つ以上の）粗さのレベルの特徴量を用いるため、特
定のレベルの特徴量のみを用いて検索を行う場合に比べ
て、高い精度で希望する画像を検索することができる。
また、−３の方法で問合せ画像との最終的な類似度を
決定することにする場合にあっては、例えば、全体的に
青い画像および全体的に青くある部分に赤が混じってい
る画像のいずれかを検索するというような検索処理（Ｏ
Ｒ検索）を実行することが可能となる。

【０２９６】なお、−１〜−３のいずれの方法を利
用するかを検索ウインドウ２００ｇで指定することがで
きるようにしても良い。

【０２９７】その後、Ｕ／Ｉ部１５１は、マッチング・
エンジン１５３によって検索対象の画像毎に求められた
問合せ画像との類似度を参照し、例えば類似度の高い
（値の小さい）順に検索対象の画像を図２５の画像表示
欄２０２に表示する（Ｓ１２０４）。

【０２９８】このように、粗さの異なる特徴量を複数選
択して画像検索処理を実行することができるようにする
ことにより、特定の粗さの特徴量を一つ用いる場合に比
べて、検索に対する視点が異なる様々な方法で検索処理
を実行することが可能となる。なお、詳細な説明につい
ては省略するが、特徴量として「構造」や他の種類の特
徴量が指定された場合にあっても、同様な処理で検索処
理を行うことができる。

【０２９９】 複数種類の特徴量が指定された場合 特徴指定欄２０９において複数種類の特徴量が指定され
た場合、特徴抽出エンジン１５２は、検索ウインドウ２
００ｇで指定された種類およびレベルの特徴量を問合せ
画像からそれぞれ抽出する（Ｓ１２０２）。例えば、構
造および色の特徴量が指定された場合、特徴抽出エンジ
ン１５２は、問合せ画像から、構造の特徴量について該
当する粗さレベルの特徴量を抽出すると共に、色の特徴
量について該当するレベルの特徴量を抽出する（図２２
参照）。

【０３００】そして、マッチング・エンジン１５３は、
検索対象の画像毎に、問合せ画像との類似度を特徴量の
種類毎に求め、求めた特徴量の種類毎の類似度を用い
て、問合せ画像との最終的な類似度を決定する（Ｓ１２
０３）。

【０３０１】最終的な類似度の決定方法としては、例え
ば以下のような方法が考えられる。 −１ 特徴量の種類毎に求めた類似度の二乗和によ
り、問合せ画像との最終的な類似度を決定する（ＡＮＤ
検索の変形）。 −２ 特徴量の種類毎に求めた類似度を合計すること
により、問合せ画像との最終的な類似度を決定する（Ａ
ＮＤ検索を参照）。この方法を用いる場合は、複数種類
の特徴量に応じたＡＮＤ検索を実行することが可能とな
る。 −３ 特徴量の種類毎に求めた類似度の中から最も高
い（値の小さい）類似度を選択することにより、問合せ
画像との最終的な類似度を決定する（ＯＲ検索を参
照）。この方法を用いる場合は、複数種類の特徴量に応
じたＯＲ検索を実行することが可能となる。 なお、−１〜−３のいずれの方法を利用するかを検
索ウインドウ２００ｇで指定することができるようにし
ても良い。

【０３０２】また、例えば、問合せ画像が一つ、構造お
よび色の特徴量ならびに粗さレベル１および２が指定さ
れた場合には、検索対象の画像毎に、レベル１の構造の
特徴量を用いて得た類似度，レベル２の構造の特徴量を
用いて得た類似度，レベル１の色の特徴量を用いて得た
類似度およびレベル２の色の特徴量を用いて得た類似度
が得られることになる。このような場合、得られた全て
の類似度を合計して問合せ画像との最終的な類似度を決
定することにしても良いし（−２（−１）の方法を
参照）、得られた類似度の中から最も高い（値の小さ
い）類似度を選択して問合せ画像との最終的な類似度を
決定することにしても良い（−３の方法を参照）。ま
た、これに代えて、特徴量の種類毎に各レベルの類似度
を合計し、または各レベルの類似度の中から最も高い
（値の小さい）類似度を選択して、特徴量の種類毎の問
合せ画像に対する類似度を求めた後、前述した−１〜
−３のいずれかの方法を用いて問合せ画像との最終的
な類似度を決定することにしても良い。

【０３０３】その後、Ｕ／Ｉ部１５１は、マッチング・
エンジン１５３によって検索対象の画像毎に求められた
総合類似度を参照し、例えば総合類似度の高い（値の小
さい）順に検索対象の画像を図２５の画像表示欄２０２
に表示する（Ｓ１２０４）。

【０３０４】 複数の問合せ画像が指定された場合 複数の問合せ画像が指定された場合、特徴抽出エンジン
１５２は、検索ウインドウ２００ｇで指定された種類お
よびレベルの特徴量を各問合せ画像からそれぞれ抽出す
る（Ｓ１２０２）。そして、マッチング・エンジン１５
３は、〜のいずれかの項で説明したようにして検索
対象の画像毎に各問合せ画像との類似度を求めた後、検
索対象の画像の総合類似度を求める（Ｓ１２０３）。

【０３０５】総合類似度を求める方法としては、例えば
以下のような方法がある。 −１ 各検索対象の画像毎に、各問合せ画像との類似
度の二乗和を総合類似度とする（ＡＮＤ検索の変形）。 −２ 各検索対象の画像毎に、各問合せ画像との類似
度を合計して総合類似度とする（ＡＮＤ検索を参照）。
この方法を用いる場合は、ＡＮＤ検索を実行することが
可能となる。 −３ 各検索対象の画像毎に、各問合せ画像との類似
度の中から最も高い（値の小さい）類似度を選択して総
合類似度とする（ＯＲ検索を参照）。この方法を用いる
場合は、ＯＲ検索を実行することが可能となる。

【０３０６】なお、−１〜−３のいずれの方法を利
用するかを検索ウインドウ２００ｇで指定することがで
きるようにしても良い。場合

【０３０７】その後、Ｕ／Ｉ部１５１は、マッチング・
エンジン１５３によって検索対象の画像毎に求められた
総合類似度を参照し、例えば総合類似度の高い（値の小
さい）順に検索対象の画像を図２５の画像表示欄２０２
に表示する（Ｓ１２０４）。

【０３０８】以上説明したように、実施の形態１２に係
る画像検索装置によれば、問合せ画像を少なくとも一つ
指定すると共に、画像から抽出する特徴量の粗さのレベ
ルを粗から細に向かって段階的に定義した抽出基準に基
づいて、検索に利用する特徴量の粗さのレベルを少なく
とも一つ指定し、抽出基準に基づいて、問合せ画像およ
び複数の検索対象の画像から少なくとも指定された粗さ
のレベルに該当する特徴量を所定のタイミングで抽出
し、検索対象の画像毎に、指定された粗さのレベルに応
じた特徴量を用いて問合せ画像との類似度を求め、検索
対象の画像毎に求めた類似度に基づいて検索結果を出力
するため、検索精度の異なる複数種類の検索処理を実行
することが可能となる。すなわち、ユーザが検索に使用
する特徴量の粗さのレベルを少なくとも一つ指定するこ
とができるため、検索に対するユーザの視点の細かさを
検索条件として表現でき、ユーザの意図を検索条件とし
て正確に表現することができる。したがって、ユーザが
望む通りの画像検索処理を行うことが可能となる。

【０３０９】なお、画像表示欄２０２に表示された検索
結果の画像を参照した結果、絞込み検索を行いたい場合
には、画像表示欄２０２に表示された画像を問合せ画像
として指定して同様の検索処理を行うこともできる。ま
た、特徴量の種類を構造および色としたが、構造のみ、
または色のみを用いることにしても良いし、他の種類の
特徴量を用いることにしても良い。また、複数の問合せ
画像や複数種類の特徴量を指定する場合に、他の実施の
形態で説明したように重要度を指定することができるよ
うにしても良い。

【０３１０】また、実施の形態１２においては、画像を
何分割するかによって特徴量の粗さを定義することにし
たが、画像のみではなく、画像中に存在するオブジェク
トも特徴量の抽出対象とし、オブジェクトを何分割する
かによってオブジェクト単位の特徴量の粗さを定義する
ことにしても良い。画像中に存在するオブジェクトも特
徴量の抽出対象とする場合の検索処理は、前述した検索
処理と同様であるため、ここでは詳細な説明を省略す
る。

【０３１１】さらに、前述したように、画像を分割して
得た分割画像毎に特徴量を抽出することを利用して、以
下のような画像検索処理を実現することも可能である。
ここでは、説明の便宜上、画像を４分割する場合を例と
して、実施の形態１２に係る画像検索装置の変形例を説
明する。

【０３１２】（変形例１）前述した実施の形態１２にお
いては、問合せ画像および検索対象の画像の分割画像を
それぞれ一対一対応で比較して類似度を求めることによ
り、問合せ画像および検索対象の画像の類似度を求めて
いた。これに対し、変形例１は、例えば、図２７に示す
ように問合せ画像の分割画像の一つを指定し、指定した
分割画像と検索対象の画像の各分割画像との類似度を求
めることにより、検索対象の画像の中から、問合せ画像
の特定の分割画像と類似する分割画像を有する画像を探
し出すことができるようにするものである。

【０３１３】（変形例２）変形例２は、例えば、図２８
に示すように、問合せ画像全体と検索対象の画像の各分
割画像との類似度を求めることにより、検索対象の画像
の中から、問合せ画像を含む画像を探し出すことができ
るようにするものである。

【０３１４】詳細な説明については省略するが、このよ
うな変形例１および変形例２のような検索処理を可能と
することにより、様々な方法で画像の検索を行うことが
可能となる。

【０３１５】〔実施の形態１３〕実施の形態１３に係る
画像検索装置は、検索対象の画像の中から、問合せ画像
を含む画像を探し出すことができるようにすることによ
り、前述した実施の形態１〜１２と異なる視点で画像検
索を行うことを可能にするものである。なお、実施の形
態１３に係る画像検索装置において、実施の形態１で既
に説明した構成については同一の符号を使用して詳細な
説明を省略し、画像検索処理についても共通する点につ
いては適宜説明を省略する。

【０３１６】具体的に、実施の形態１３に係る画像検索
装置は、問合せ画像を少なくとも一つ指定し、検索対象
の画像毎に、検索対象の画像中の所定のサイズの領域と
問合せ画像との類似度を予め抽出した所定の特徴量を用
いて求める処理を検索対象の画像全体にわたって繰り返
し実行することにより、検索対象の画像の中から、問合
せ画像を含む画像を探し出すことができるようにするも
のである。

【０３１７】実施の形態１３に係る画像検索装置におい
て、検索対象の画像中の所定のサイズの領域と問合せ画
像との類似度を予め抽出した所定の特徴量を用いて求め
る処理については様々な手法を用いることが可能である
が、ここでは図２９および図３０に示すような手法を用
いることにする。例えば、図２９に示すように、問合せ
画像を４分割して分割画像ａ〜ｄを生成し、各分割画像
から所定の種類の特徴量を抽出し、また、検索対象の画
像を１６分割して分割画像Ａ〜Ｐを生成し、各分割画像
から問合せ画像の場合と同様の種類の特徴量を抽出す
る。ただし、問合せ画像および検索対象の画像の分割数
を、それぞれ８および１６に限定するものではなく、問
合せ画像の分割数＜検索対象の画像の分割数という関係
にあれば良い。そして、各分割画像から抽出した特徴量
を用いて、図３０（ａ）〜図３０（ｉ）に示すように、
問合せ画像と検索対象の画像の一部との類似度を順次求
める。図３０は、それぞれ図２９に示した検索対象の画
像を示し、検索対象の画像中の斜線部分は問合せ画像と
比較されている領域に該当する。なお、問合せ画像およ
び検索対象の画像の分割数を逆にすれば（例えば、問合
せ画像を１６分割し、検索対象の画像を８分割する。す
なわち、問合せ画像の分割数＞検索対象の画像の分割
数）、問合せ画像中に含まれている画像を検索すること
が可能となる。

【０３１８】以下、実施の形態１３に係る画像検索装置
による画像検索処理について具体的に説明する。なお、
前提として、少なくとも検索対象の画像については、図
２９に示したように各分割画像からそれぞれ特徴量が抽
出されているものとする。特徴量を抽出する具体的な処
理については、実施の形態１２で説明した通りであるた
め、ここでは詳細な説明を省略する。また、抽出する特
徴量の種類は、色，構造等いかなるものであっても良
い。

【０３１９】図３１は、実施の形態１３に係る画像検索
処理のフローチャートであり、図３２は、検索ウインド
ウ２００ｈの一例を示す説明図である。ユーザは、図３
２に示す画像指定欄Ａ〜Ｃのいずれかに問合せ画像を少
なくとも一つ指定する（Ｓ１３０１）。ここでは、説明
を単純にするために、問合せ画像が一つ指定されたもの
とする。

【０３２０】続いて、ユーザが図３２の検索ボタン２０
１を指定すると、Ｕ／Ｉ部１５１は、問合せ画像を特徴
抽出エンジン１５２に入力し、特徴抽出エンジン１５２
は、問合せ画像から所定の種類の特徴量を抽出する（Ｓ
１３０２）。特徴抽出エンジン１５２は、図２９に示し
たように、問合せ画像を分割して分割画像ａ〜ｄを生成
し、各分割画像から所定の種類の特徴量を抽出する。た
だし、ユーザによって指定された問合せ画像から既に特
徴量が抽出されている場合には、このステップＳ１３０
２の処理をスキップすることができる。

【０３２１】そして、マッチング・エンジン１５３は、
画像ＤＢ１０８に登録されている検索対象の画像毎に、
特徴抽出エンジン１５２で抽出した特徴量を用い、検索
対象の画像中の所定の領域と問合せ画像との類似度を求
める処理を検索対象の画像の全体にわたって実行し、問
合せ画像との類似度を求める（Ｓ１３０３）。

【０３２２】このステップＳ１３０３において実行され
る処理の一例について、図３０を参照しつつ詳細に説明
する。例えば、図３０（ａ）に着目して説明すると、マ
ッチング・エンジン１５３は、特徴抽出エンジン１５２
で予め抽出した問合せ画像および検索対象の画像の各分
割画像の特徴量を用いて、 ・問合せ画像の分割画像ａと検索対象の画像の分割画像
Ａとの類似度 ・問合せ画像の分割画像ｂと検索対象の画像の分割画像
Ｂとの類似度 ・問合せ画像の分割画像ｃと検索対象の画像の分割画像
Ｅとの類似度 ・問合せ画像の分割画像ｄと検索対象の画像の分割画像
Ｆとの類似度 をそれぞれ求める。換言すれば、図４に示した特徴量空
間中にプロットされた分割画像同士の距離を各特徴毎に
定義された距離定義式を用いて求める。ここでは４つの
分割画像毎に類似度を求めるため、４つの類似度が得ら
れることになる。

【０３２３】続いて、マッチング・エンジン１５３は、
求めた４つの類似度を用いて、図３０（ａ）に示した検
索対象の画像の領域と問合せ画像との類似度を決定す
る。類似度の決定方法としては、例えば以下のような方
法が考えられる。 −１ ４つの類似度の二乗和により検索対象の画像の
領域と問合せ画像との類似度を決定する。 −２ ４つの類似度を合計することにより、検索対象
の画像の領域と問合せ画像との類似度を決定する（ＡＮ
Ｄ検索を参照）。 −３ ４つの類似度の中から最も高い（値の小さい）
類似度を選択することにより、検索対象の画像の領域と
問合せ画像との類似度を決定する（ＯＲ検索を参照）。 なお、−１〜−３のいずれの方法を利用するかを検
索ウインドウ２００ｈで指定することができるようにし
ても良い。

【０３２４】マッチング・エンジン１５３は、図３０
（ｂ）〜図３０（ｉ）に示す場合についても前述した処
理を実行し、検索対象の画像の各領域と問合せ画像との
類似度を決定する。

【０３２５】図３０（ａ）〜図３０（ｉ）のように、検
索対象の画像の各領域と問合せ画像との類似度を求めた
結果、検索対象の画像毎に、問合せ画像との９つの類似
度が得られることになる。そこで、マッチング・エンジ
ン１５３は、検索対象の画像毎に、９つの類似度を用い
て問合せ画像との最終的な類似度を決定する処理を実行
する。最終的な類似度の決定方法としては、例えば以下
のような方法が考えられる。

【０３２６】−１ ９つの類似度の二乗和により、検
索対象の画像と問合せ画像との最終的な類似度を決定す
る（ＡＮＤ検索の変形）。 −２ ９つの類似度を合計することにより、検索対象
の画像と問合せ画像との最終的な類似度を決定する（Ａ
ＮＤ検索を参照）。 −３ ９つの類似度の中から最も高い（値の小さい）
類似度を選択することにより、検索対象の画像と問合せ
画像との最終的な類似度を決定する（ＯＲ検索を参
照）。 なお、−１〜−３のいずれの方法を利用するかを検
索ウインドウ２００ｈで指定することができるようにし
ても良い。

【０３２７】図３１のフローチャートの説明に戻り、Ｕ
／Ｉ部１５１は、マッチング・エンジン１５３によって
検索対象の画像毎に求められた問合せ画像との最終的な
類似度を参照し、例えば類似度の高い順に検索対象の画
像を図３２の画像表示欄２０２に表示する（Ｓ１３０
４）。ここでは類似度として検索対象の画像と問合せ画
像との特徴量間の距離を用いているため、実際には、類
似度の値の小さい順に検索対象の画像が画像表示欄２０
２に表示されることになる。すなわち、類似度は０以上
の値を持ち、類似度が０のときは各問合せ画像の特徴量
および検索対象の画像の特徴量が等しいということを意
味する。

【０３２８】なお、以上の説明は、指定された問合せ画
像が一つで検索に用いられる特徴量の種類も一種類であ
ったが、複数種類の特徴量を用いることもできるし、問
合せ画像を複数指定することもできる。

【０３２９】そこで、複数種類の特徴量を用いる場合の
処理の一例を簡単に説明する。マッチング・エンジン１
５３は、前述したように、同一種類の特徴量毎に検索対
象の画像と問合せ画像との類似度を求める。そして、マ
ッチング・エンジン１５３は、例えば以下のような方法
で異なる種類の特徴量毎に求めた類似度を用いて、検索
対象の画像毎に、問合せ画像との類似度を決定すること
ができる。

【０３３０】−１ 特徴量の種類毎に求めた類似度の
二乗和により、問合せ画像との最終的な類似度を決定す
る（ＡＮＤ検索の変形）。 −２ 特徴量の種類毎に求めた類似度を合計すること
により、問合せ画像との最終的な類似度を決定する。こ
の方法を用いる場合は、複数種類の特徴量に応じたＡＮ
Ｄ検索を実行することが可能となる。 −３ 特徴量の種類毎に求めた類似度の中から最も高
い（値の小さい）類似度を選択することにより、問合せ
画像との最終的な類似度を決定する。この方法を用いる
場合は、複数種類の特徴量に応じたＯＲ検索を実行する
ことが可能となる。 なお、−１〜−３のいずれの方法を利用するかを検
索ウインドウ２００ｈで指定することができるようにし
ても良い。

【０３３１】また、複数の問合せ画像が指定された場合
の処理の一例を簡単に説明する。マッチング・エンジン
１５３は、前述したように、検索対象の画像と各問合せ
画像との類似度を求める。そして、マッチング・エンジ
ン１５３は、例えば以下のような方法を用いて、検索対
象の画像毎に、各問合せ画像に対する検索対象の画像の
類似度を決定することができる。

【０３３２】−１ 各検索対象の画像毎に、各問合せ
画像との類似度の二乗和を検索対象の画像の総合類似度
とする（ＡＮＤ検索の変形）。この方法を用いると、問
合せ画像としての複数の画像を含む画像を検索すること
が可能となる。 −２ 各検索対象の画像毎に、各問合せ画像との類似
度を合計して検索対象の画像の総合類似度とする。この
方法を用いる場合は、複数の問合せ画像を用いたＡＮＤ
検索を実行することが可能となる。すなわち、問合せ画
像としての複数の画像を含む画像を検索することが可能
となる。 −３ 各検索対象の画像毎に、各問合せ画像との類似
度の中から最も高い（値の小さい）類似度を選択して検
索対象の画像の総合類似度とする。この方法を用いる場
合は、複数の問合せ画像を用いたＯＲ検索を実行するこ
とが可能となる。すなわち、問合せ画像としての複数の
画像のいずれかを含む画像を検索することができる。 なお、−１〜−３のいずれの方法を利用するかを検
索ウインドウ２００ｈで指定することができるようにし
ても良い。

【０３３３】以上説明したように、実施の形態１３に係
る画像検索装置によれば、問合せ画像を少なくとも一つ
指定し、検索対象の画像毎に、検索対象の画像中の所定
のサイズの領域と指定された問合せ画像との類似度を予
め抽出した所定の特徴量を用いて求める処理を検索対象
の画像全体にわたって繰り返し実行し、検索対象の画像
毎に求めた類似度に基づいて検索結果を出力するため、
検索対象の画像の中から、問合せ画像を含む画像を探し
出すことができる。したがって、ユーザの意図するよう
な画像検索を実現する一つの手法を提供することができ
る。

【０３３４】なお、画像表示欄２０２に表示された検索
結果の画像を参照した結果、絞込み検索を行いたい場合
には、画像表示欄２０２に表示された画像を問合せ画像
として指定して同様の検索処理を行うこともできる。ま
た、複数の問合せ画像や複数種類の特徴量を指定する場
合に、他の実施の形態で説明したように重要度を指定す
ることができるようにしても良い。

【０３３５】〔実施の形態１４〕続いて、本発明に係る
画像分類装置について説明する。この画像分類装置は、
前述した画像検索装置と同様に、画像間の類似度を用い
て画像を分類するものである。画像を予め分類しておく
ことで、分類を辿るだけでユーザが所望する画像を探し
出すことができる。こうすることで画像検索とは異なる
方法で容易にユーザの所望する画像を探すことが可能と
なる。

【０３３６】本発明の実施の形態１４に係る画像分類装
置は、実施の形態１で説明した画像検索処理を応用して
画像を分類するものである。したがって、実施の形態１
で説明した点と共通する点については適宜説明を省略す
ることにする。

【０３３７】図３３は、実施の形態１４に係る画像分類
装置のブロック構成図である。図３３において、図１に
示した画像検索装置と同一の構成については同一の符号
を付し、ここでは異なる点についてのみ説明する。図３
３に示す画像分類装置は、図１に示した画像検索装置と
異なる点として、本発明の画像分類装置としての機能を
ＣＰＵ１０１（コンピュータ１００）に実行させるため
の画像分類ソフト３０１と、分類項目（後述するフォル
ダ），分類対象の画像を各分類項目に分類するための分
類条件，分類した結果の画像情報等が登録される分類木
ＤＢ３０２と、を備えている。

【０３３８】図３４は、図３３に示した画像分類装置に
おいて実行される処理を示すブロック図であり、図２に
対応するものである。ユーザ・インターフェイス（Ｕ／
Ｉ）部１５１（本発明の設定手段，指定手段および表示
手段に該当する）は、ユーザに対して画像分類を行うた
めの分類項目設定画面，分類結果表示画面等を表示し
て、分類条件の入力，分類結果の出力処理等を実行す
る。特徴抽出エンジン１５２は、画像ＤＢ１０８に登録
する画像（分類対象の画像）および後述する分類基準と
して設定される画像から画像の特徴量を抽出する処理を
実行する。さらに、マッチング・エンジン１５３（本発
明の演算手段，決定手段，分類手段および検索手段に該
当する）は、基準画像と分類対象の画像との類似度を求
め、求めた類似度に基づいて分類対象の画像の分類先と
なる分類項目を決定する処理（例えば、分類木ＤＢ３０
２に登録された分類項目に画像のＩＤを登録して分類す
る）を実行する。

【０３３９】つぎに、前述した構成を有する画像分類装
置の動作について、 （１）分類項目設定処理 （２）画像分類処理 の順で説明する。ここでは画像ＤＢ１０８に登録された
複数の画像を分類対象の画像とする。また、画像を分類
する際に用いる特徴量は画像の色，構造およびテクスチ
ャであり、画像ＤＢ１０８中の分類対象の画像からは、
図３を用いて実施の形態１で説明した処理によって既に
各種類の特徴量が抽出されているものとする。

【０３４０】（１）分類項目設定処理 図３５は、画像の分類項目の設定処理や分類後の画像の
表示を行うための画像分類ウインドウ３５０ａの一例を
示す説明図である。図３４のＵ／Ｉ部１５１は、ユーザ
によって画像分類ウインドウ３５０ａの表示が指定され
ると、図３５に示すような画像分類ウインドウ３５０ａ
を表示し、ユーザの指示に応じて後述するフォルダの作
成や分類条件の設定等の処理を実行する。

【０３４１】この図３５には、既に画像を管理するため
の項目（以下「フォルダ」と記述する）が設定されてい
る様子が示されているが、ここではルートに当たる画像
ＤＢフォルダ３５１のみが存在しているものと仮定し、
各フォルダを設定する処理を説明する。

【０３４２】図３５中の画像ＤＢフォルダ３５１は、画
像ＤＢ１０８中に登録された画像の全てを管理するフォ
ルダである。なお、この画像ＤＢフォルダ３５１の設定
を変更することにより、分類対象の画像を画像ＤＢ中の
画像から別の画像に変更することができる。例えば、実
施の形態１〜１３で説明した画像検索装置で検索した結
果の画像を指定して分類することも可能である。

【０３４３】ユーザは、この画像ＤＢフォルダ３５１の
下位に画像ＤＢ１０８の画像を分類する分類先となる新
たなフォルダを設定する。例えば、ユーザは、図示しな
いメニューから「フォルダ作成」を選択し、画像ＤＢフ
ォルダ３５１の下位にフォルダ３５２を作成する。

【０３４４】そして、ユーザは、フォルダ３５２に分類
対象の画像（画像ＤＢ１０８中の画像）を分類するため
の分類条件を設定するため、フォルダ３５２を選択する
と共に、図示しないメニューから「分類条件設定」を選
択し、図３５に示されている分類条件設定ウィンドウ３
６０ａを表示させる。

【０３４５】分類条件設定ウインドウ３６０ａは、図５
に示した検索ウインドウ２００ａの一部とほぼ同一の構
成であり、分類条件設定ウインドウ３６０ａには、実施
の形態１で説明した検索条件と同様の方法で分類条件を
設定することができる。分類条件設定ウインドウ３６０
ａは、画像を分類する際に使用される例えば色，構造お
よびテクスチャの特徴量毎に、分類対象の画像を分類す
るための基準として用いられる複数の基準画像（画像検
索の問合せ画像に該当する）を指定するための画像指定
欄Ａ，ＢおよびＣと、所望のフォルダに対して分類条件
の設定を指定するための設定ボタン３６１と、を備えて
いる。

【０３４６】基準画像として指定する画像としては、例
えば、スキャナで読み取った画像，ディジタルカメラで
撮像した画像，ネットワーク１１２を介してダウンロー
ドした画像，予めハードディスク１１０に記憶されてい
た画像，画像ＤＢ１０８に登録されている画像等、いか
なるものであっても良い。

【０３４７】ユーザは、実施の形態１で説明したよう
に、例えば３枚の画像を各種類の特徴量に対応させ、そ
れぞれ画像指定欄Ａ，ＢおよびＣに基準画像Ａ，Ｂおよ
びＣとして指定する。また、図示することは省略する
が、分類条件設定ウインドウ３６０ａからフォルダ毎
に、基準画像および検索対象の画像の類似度の閾値を設
定することができる。後述するように、フォルダに設定
された基準画像との類似度が閾値を超えた分類対象の画
像がそのフォルダに分類されることになる。ここではフ
ォルダ毎に閾値を設定することにするが、フォルダ全体
を対象として一つの閾値を設定することにしても良い。

【０３４８】そして、ユーザが設定ボタン３６１を選択
すると、Ｕ／Ｉ部１５１は、指定された基準画像および
閾値を分類条件としてフォルダ３５２に設定する。な
お、基準画像として設定された画像から特徴量を抽出し
ていない場合にあっては、分類条件をフォルダに設定す
る際に特徴抽出エンジン１５２が特徴量を抽出する処理
を行うことにしても良い。もちろん、画像を分類する処
理を行う際に各基準画像から必要な特徴量を抽出するこ
とにしても良い。

【０３４９】なお、ユーザは、フォルダ３５４〜３５７
のように、作成したフォルダ（例えばフォルダ３５３）
に分類される画像をさらに分類するためのフォルダ（例
えば、フォルダ３５３に対してフォルダ３５４および３
５５）を作成し、同様に分類条件を設定することができ
る。

【０３５０】このようにして、図３５に示すような複数
のフォルダ３５２〜３５８が分類対象の画像を分類する
ための分類項目として設定される。Ｕ／Ｉ部１５１は、
作成したフォルダや対応する分類条件をフォルダ情報と
して、フォルダの階層構造に関する情報と共に分類木Ｄ
Ｂ３０２に登録する。

【０３５１】実施の形態１で説明したように、各フォル
ダ毎に単に基準画像を複数指定するだけでなく、画像を
分類する際に使用される各種類の特徴量に対応させて各
問合せ画像を指定できるため、ユーザが適切と考える仮
想的な一つの基準画像を表現できると共に、分類に対す
るユーザの意図を分類基準として正確に表現することが
可能となる。したがって、後述する分類処理によって、
ユーザの意図が反映された分類結果の画像を得ることが
可能となる。

【０３５２】（２）画像分類処理 図３６は、実施の形態１４の画像分類処理を示すフロー
チャートである。ユーザが分類処理の開始を指示する
と、図３４のマッチング・エンジン１５３は、フォルダ
３５２〜３５８毎に、対応する種類の特徴量を用いて各
基準画像および分類対象の画像との類似度を求めると共
に、求めた類似度を合計して分類対象の画像の総合類似
度を求める処理を実行する（Ｓ１４０１）。

【０３５３】このステップＳ１４０１における処理につ
いてフォルダ３５２を例にとって具体的に説明する。マ
ッチング・エンジン１５３は、分類木ＤＢ３０２のフォ
ルダ情報を参照し、フォルダ３５２に設定された基準画
像Ａ（図３５の分類条件設定ウインドウ３６０ａを参
照）および分類対象の画像の類似度を色の特徴量を用い
て求める。すなわち、マッチング・エンジン１５３は、
色の特徴量に基づいて図４に示した特徴量空間中にプロ
ットされた分類対象の画像と基準画像Ａとの距離を例え
ばユークリッド距離などのベクトルの距離定義式を用い
て求める。マッチング・エンジン１５３は、同様に、構
造の特徴量に基づいて分類対象の画像と基準画像Ｂとの
距離を求めると共に、テクスチャの特徴量に基づいて分
類対象の画像と基準画像Ｃとの距離を求める。

【０３５４】その後、マッチング・エンジン１５３は、
分類対象の画像と各基準画像Ａ，ＢおよびＣとの距離を
合計し、距離の合計値を総合類似度とする（数１を参
照）。マッチング・エンジン１５３は、このようにして
フォルダ３５２〜３５８毎に総合類似度を求める。

【０３５５】続いて、マッチング・エンジン１５３は、
フォルダ３５２〜３５８毎に、ステップＳ１４０１で求
めた分類対象の画像の総合類似度が閾値を超えるか否か
を判定する（Ｓ１４０２）。ただし、ここでは類似度と
して距離を用いており、距離が短い（距離の値が小さ
い）ほど類似性が高いことになるため、実際には、総合
類似度が閾値以下（または未満）であるか否かを判定す
ることになる。

【０３５６】そして、マッチング・エンジン１５３は、
分類対象の画像の総合類似度が閾値を超えるフォルダに
分類対象の画像を分類する（Ｓ１４０３）。すなわち、
マッチング・エンジン１５３は、分類対象の画像の総合
類似度が閾値を超える場合、そのフォルダを分類対象の
画像の分類先として決定し、分類木ＤＢ３０２中に登録
された該当するフォルダのフォルダ情報に関連付けて分
類対象の画像のＩＤ（予め設定されているものとする）
を分類木ＤＢ３０２に登録する。

【０３５７】以上説明したステップＳ１４０１〜Ｓ１４
０３の処理を画像ＤＢ１０８中に登録されている各画像
に対して実行することにより、画像ＤＢ１０８中の画像
を分類することができる。また、マッチング・エンジン
１５３は、各フォルダ３５２〜３５８に分類された画像
のうち、最も高い総合類似度（距離で表現すれば最も小
さい総合類似度）を持つ画像を代表画像として選択し、
該当するフォルダ情報に関連付けて分類木ＤＢ３０２に
登録する。なお、フォルダ毎に得られた総合類似度に応
じて、分類対象の画像は２以上のフォルダに分類される
こともあり得る。

【０３５８】図３７は、画像ＤＢ１０８中の画像を各フ
ォルダ３５２〜３５８に分類した後の画像分類ウインド
ウ３５０ａの様子を示す説明図である。各フォルダ３５
２〜３５８には、マッチング・エンジン１５３によって
選択された代表画像が表示されている。また、ユーザが
特定のフォルダを選択すると、そのフォルダに分類され
た画像が画像分類ウインドウ３５０ａの右側に一覧表示
される。

【０３５９】このように、実施の形態１４に係る画像分
類装置によれば、分類項目を設定し、設定した分類項目
それぞれに対し、基準画像および分類対象の画像の類似
度を求める際に使用される各種類の特徴量毎にそれぞれ
一つの基準画像を設定し、分類項目毎に、設定された各
基準画像および分類対象の画像の類似度を対応する種類
の特徴量を用いて求めると共に、求めた類似度を合計し
て分類対象の画像の総合類似度を求め、分類項目毎に求
めた分類対象の画像の総合類似度および予め設定された
分類先決定基準に基づいて、分類対象の画像の分類先と
なる分類項目を決定することにより、ユーザの意図を分
類条件として正確に表現できるため、ユーザの意図を正
確に装置に伝えることができると共に、分類に対するユ
ーザの意図を確実に装置に伝えることができるため、分
類に対するユーザの意図を正確に反映した分類結果を得
ることができ、ユーザが望む通りの分類処理を実現する
ことができる。

【０３６０】例えば、基準画像として適切な画像が存在
しない場合であっても、分類結果として望む画像に色の
雰囲気が似た画像やオブジェクトの形状の雰囲気が似た
画像を基準画像として指定し、これらの画像を合わせた
ものを一つの問合せ画像として使用することができる。

【０３６１】なお、ここでは色，構造およびテクスチャ
の３種類の特徴量を用いることにしたが、これらはあく
までも例示であって、特徴量の種類を限定することを意
図したものではない。

【０３６２】また、図３７に示したように、フォルダ毎
に代表画像を表示することにしたが、これに代えて、フ
ォルダ名を表示したり、フォルダに設定した基準画像を
表示することにしても良い。

【０３６３】さらに、詳細な説明については省略する
が、画像ＤＢ１０８に新たに画像が登録された場合、そ
の画像についても分類処理を行うことにより、画像ＤＢ
１０８中の画像を常に分類した状態に保つことができ
る。例えば、Ｕ／Ｉ部１５１が画像ＤＢ１０８の状態を
監視することにすれば、人手を要することなく、画像Ｄ
Ｂ１０８中の画像を常に分類した状態に保つことができ
る。

【０３６４】〔実施の形態１５〕実施の形態１５に係る
画像分類装置は、実施の形態２で説明した画像検索処理
を応用して画像を分類するものである。なお、実施の形
態１５に係る画像分類装置において、実施の形態１４で
既に説明した構成については同一の符号を使用して詳細
な説明を省略し、画像分類装置の動作についても共通す
る点については適宜説明を省略する。

【０３６５】以下に、実施の形態１５に係る画像分類装
置の動作について、 （１）分類項目設定処理 （２）画像分類処理の順で説明する。

【０３６６】（１）分類項目設定処理 図３８は、画像の分類項目の設定処理や分類後の画像の
表示を行うための画像分類ウインドウ３５０ｂの一例を
示す説明図である。ここで、ユーザは、フォルダ３５２
を作成したものとし、フォルダ３５２に分類条件を設定
するため、図３８に示すような分類条件設定ウインドウ
３６０ｂを表示させる。

【０３６７】図３８に示す分類条件設定ウインドウ３６
０ｂは、図７に示した検索ウインドウ２００ｂの一部と
ほぼ同一の構成であり、分類条件設定ウインドウ３６０
ｂには、実施の形態２で説明した検索条件と同様の方法
で分類条件を設定することができる。分類条件設定ウイ
ンドウ３６０ｂは、分類対象の画像を分類するための基
準として用いられる複数の基準画像（画像検索の問合せ
画像に該当する）を指定するための画像指定欄Ａ，Ｂお
よびＣと、各画像指定欄に指定した基準画像毎に、分類
対象の画像との類似度を求める際に使用する特徴量の種
類を指定する特徴量指定ボタン３６２と、対応するフォ
ルダに対して分類条件の設定を指定するための設定ボタ
ン３６１と、を備えている。

【０３６８】ユーザは、実施の形態２で説明したよう
に、例えば３枚の画像をそれぞれ画像指定欄Ａ，Ｂおよ
びＣに基準画像Ａ，ＢおよびＣとして指定し、各基準画
像Ａ，ＢおよびＣ毎に分類対象の画像との類似度を求め
る際に使用する特徴量の種類を指定する。図３８に示す
分類条件設定ウインドウ３６０ｂは、一例として色・構
造・テクスチャの中から所望の特徴量を指定することが
できるようになっている。

【０３６９】また、図示することは省略するが、分類条
件設定ウインドウ３６０ｂからフォルダ毎に、基準画像
および検索対象の画像の類似度の閾値を設定することが
できる。後述するように、フォルダに設定された基準画
像との類似度が閾値を超えた分類対象の画像がそのフォ
ルダに分類されることになる。ここではフォルダ毎に閾
値を設定することにするが、フォルダ全体を対象として
一つの閾値を設定することにしても良い。

【０３７０】そして、ユーザが設定ボタン３６１を選択
すると、Ｕ／Ｉ部１５１は、指定された基準画像，特徴
量の種類および閾値を分類条件としてフォルダ３５２に
設定する。なお、基準画像として設定された画像から特
徴量を抽出していない場合にあっては、分類条件をフォ
ルダに設定する際に特徴抽出エンジン１５２が特徴量を
抽出する処理を行うことにしても良い。もちろん、画像
を分類する処理を行う際に各基準画像から必要な特徴量
を抽出することにしても良い。

【０３７１】なお、ユーザは、フォルダ３５４〜３５７
のように、作成したフォルダ（例えばフォルダ３５３）
に分類される画像をさらに分類するためのフォルダ（例
えば、フォルダ３５３に対してフォルダ３５４および３
５５）を作成し、同様に分類条件を設定することができ
る。

【０３７２】このようにして、図３８に示すような複数
のフォルダ３５２〜３５８が分類対象の画像を分類する
ための分類項目として設定される。Ｕ／Ｉ部１５１は、
作成したフォルダや対応する分類条件をフォルダ情報と
して、フォルダの階層構造に関する情報と共に分類木Ｄ
Ｂ３０２に登録する。

【０３７３】実施の形態２で説明したように、各フォル
ダ毎に単に基準画像を複数指定するだけでなく、指定し
た各基準画像毎にユーザが重視する画像の特徴に該当す
る特徴量を指定できるため、ユーザが適切と考える仮想
的な一つの基準画像を表現できると共に、分類に対する
ユーザの意図を分類基準として正確に表現することが可
能となる。したがって、後述する分類処理によって、ユ
ーザの意図が反映された分類結果の画像を得ることが可
能となる。

【０３７４】（２）画像分類処理 実施の形態１５の画像分類処理について図３６を参照し
つつ説明する。ユーザが分類処理の開始を指示すると、
図３４のマッチング・エンジン１５３は、フォルダ３５
２〜３５８毎に、ユーザが指定した種類の特徴量を用い
て各基準画像および分類対象の画像との類似度を求める
と共に、求めた類似度を合計して分類対象の画像の総合
類似度を求める処理を実行する（Ｓ１４０１）。

【０３７５】このステップＳ１４０１における処理につ
いてフォルダ３５２を例にとって具体的に説明する。マ
ッチング・エンジン１５３は、分類木ＤＢ３０２のフォ
ルダ情報を参照し、フォルダ３５２に設定された基準画
像Ａ（図３８の分類条件設定ウインドウ３６０ｂを参
照）および分類対象の画像の類似度を色の特徴量を用い
て求める。すなわち、マッチング・エンジン１５３は、
色の特徴量に基づいて図４に示した特徴量空間中にプロ
ットされた分類対象の画像と基準画像Ａとの距離を例え
ばユークリッド距離などのベクトルの距離定義式を用い
て求める。マッチング・エンジン１５３は、同様に、構
造の特徴量に基づいて分類対象の画像と基準画像Ｂとの
距離を求めると共に、テクスチャの特徴量に基づいて分
類対象の画像と基準画像Ｃとの距離を求める。

【０３７６】その後、マッチング・エンジン１５３は、
分類対象の画像と各基準画像Ａ，ＢおよびＣとの距離を
合計し、距離の合計値を総合類似度とする（数２を参
照）。マッチング・エンジン１５３は、このようにして
フォルダ３５２〜３５８毎に総合類似度を求める。

【０３７７】続いて、マッチング・エンジン１５３は、
フォルダ３５２〜３５８毎に、ステップＳ１４０１で求
めた分類対象の画像の総合類似度が閾値を超えるか否か
を判定する（Ｓ１４０２）。ただし、ここでは類似度と
して距離を用いており、距離が短い（距離の値が小さ
い）ほど類似性が高いことになるため、実際には、総合
類似度が閾値以下（または未満）であるか否かを判定す
ることになる。

【０３７８】そして、マッチング・エンジン１５３は、
分類対象の画像の総合類似度が閾値を超えるフォルダに
分類対象の画像を分類する（Ｓ１４０３）。すなわち、
マッチング・エンジン１５３は、分類対象の画像の総合
類似度が閾値を超える場合、そのフォルダを分類対象の
画像の分類先として決定し、分類木ＤＢ３０２中に登録
された該当するフォルダのフォルダ情報に関連付けて分
類対象の画像のＩＤ（予め設定されているものとする）
を分類木ＤＢ３０２に登録する。

【０３７９】以上説明したステップＳ１４０１〜Ｓ１４
０３の処理を画像ＤＢ１０８中に登録されている各画像
に対して実行することにより、画像ＤＢ１０８中の画像
を分類することができる。また、マッチング・エンジン
１５３は、各フォルダ３５２〜３５８に分類された画像
のうち、最も高い総合類似度（距離で表現すれば最も小
さい総合類似度）を持つ画像を代表画像として選択し、
該当するフォルダ情報に関連付けて分類木ＤＢ３０２に
登録する。なお、フォルダ毎に得られた総合類似度に応
じて、分類対象の画像は２以上のフォルダに分類される
こともあり得る。画像の分類処理が実行されると、図３
８の画像分類ウインドウ３５０ｂの各フォルダ３５２〜
３５８には、図３７に示すように代表画像が表示され
る。

【０３８０】このように、実施の形態１５に係る画像分
類装置によれば、フォルダを設定し、設定したフォルダ
毎に、基準画像を複数設定すると共に、設定した各基準
画像毎に分類対象の画像との類似度を求める際に使用す
る特徴量の種類を設定し、フォルダ毎に、設定された種
類の特徴量を用いて各基準画像および分類対象の画像の
類似度を求めると共に、求めた類似度を合計して総合類
似度を求め、フォルダ毎に求めた総合類似度および予め
設定された分類先決定基準に基づいて分類対象の画像の
分類先となるフォルダを決定することにより、ユーザの
意図を分類条件として正確に表現できるため、ユーザの
意図を正確に装置に伝えることができると共に、分類に
対するユーザの意図を確実に装置に伝えることができる
ため、分類に対するユーザの意図を正確に反映した分類
結果を得ることができ、ユーザが望む通りの分類処理を
実現することができる。

【０３８１】例えば、基準画像として適切な画像が存在
しない場合であっても、分類結果として望む画像に色の
雰囲気が似た画像やオブジェクトの形状の雰囲気が似た
画像を基準画像として指定し、これらの画像を合わせた
ものを一つの問合せ画像として使用することができる。

【０３８２】なお、ここでは色，構造およびテクスチャ
の３種類の特徴量を用いることにしたが、これらはあく
までも例示であって、特徴量の種類を限定することを意
図したものではない。

【０３８３】さらに、詳細な説明については省略する
が、画像ＤＢ１０８に新たに画像が登録された場合、そ
の画像についても分類処理を行うことにより、画像ＤＢ
１０８中の画像を常に分類した状態に保つことができ
る。例えば、Ｕ／Ｉ部１５１が画像ＤＢ１０８の状態を
監視することにすれば、人手を要することなく、画像Ｄ
Ｂ１０８中の画像を常に分類した状態に保つことができ
る。

【０３８４】〔実施の形態１６〕実施の形態１６に係る
画像分類装置は、実施の形態１５の画像分類装置におい
て、実施の形態３で説明した画像検索処理を応用するこ
とにより、分類に対するユーザの意図をさらに正確に表
現できるようにしたものである。なお、実施の形態１６
において、実施の形態１４で既に説明した構成について
は同一の符号を使用して詳細な説明を省略し、画像分類
装置の動作についても共通する点については適宜説明を
省略する。

【０３８５】以下に、実施の形態１６に係る画像分類装
置の動作について、 （１）分類項目設定処理 （２）画像分類処理 の順で説明する。

【０３８６】（１）分類項目設定処理 図３９は、実施の形態１６に係る画像分類装置において
用いられる画像分類ウインドウ３５０ｃを示す説明図で
ある。ここで、ユーザは、フォルダ３５２を作成したも
のとし、フォルダ３５２に分類条件を設定するため、図
３９に示すような分類条件設定ウインドウ３６０ｃを表
示させる。

【０３８７】図３９に示す分類条件設定ウインドウ３６
０ｃは、図３８に示したものに加えて（実施の形態３の
検索ウインドウ２００ｃに示すように）、画像指定欄
Ａ，ＢおよびＣに指定された各基準画像毎に相対的な重
要度を指定する重要度指定バー３６３を備えている。

【０３８８】ユーザは、図３９に示すように、例えば３
枚の画像をそれぞれ画像指定欄Ａ，ＢおよびＣに基準画
像Ａ，ＢおよびＣとして指定し、指定した基準画像Ａ，
ＢおよびＣ毎に分類対象の画像との類似度を求める際に
使用する特徴量の種類を指定する。

【０３８９】続いて、実施の形態３の重要度指定バー２
０４で説明したように、ユーザは重要度指定バー３６３
を用いて各基準画像に重要度を指定する。この重要度指
定バー３６３は、各基準画像毎に「０」を中心にして
「＋」の重要度および「−」の重要度を指定することを
可能とするものである。なお、重要度として「＋」方向
および「−」方向の両方ではなく、「＋」方向のみ、ま
たは「−」方向のみを指定できるようにしても良い。

【０３９０】このように、基準画像毎にユーザが重要度
を指定することにより、分類に対するユーザの意図を正
確に表現することが可能となる。すなわち、後述する分
類処理によって、重要度は類似度に対する重み付けとし
て反映されるため、ユーザの意図が反映された分類結果
の画像を得ることが可能となる。

【０３９１】さらに、ユーザはフォルダ３５２の閾値を
指定し、設定ボタン３６１を選択すると、Ｕ／Ｉ部１５
１は、基準画像，特徴量の種類，重要度および閾値を分
類条件としてフォルダ３５２に設定する。

【０３９２】このような処理を各フォルダに対して行う
ことにより、図３９に示すような複数のフォルダ３５２
〜３５８が分類対象の画像を分類するための分類項目と
して設定される。設定されたフォルダのフォルダ情報
は、分類木ＤＢ３０２に登録される。

【０３９３】（２）画像分類処理 図４０は、実施の形態１６の画像分類処理を示すフロー
チャートである。ユーザが分類処理の開始を指示する
と、図３４のマッチング・エンジン１５３は、フォルダ
３５２〜３５８毎に、ユーザが指定した種類の特徴量を
用いて各基準画像および分類対象の画像との類似度を求
め、求めた各類似度に対して重要度に応じた重み付けを
行い、各類似度を合計して分類対象の画像の総合類似度
を求める処理を実行する（Ｓ１６０１）。

【０３９４】このステップＳ１６０１における処理につ
いてフォルダ３５２を例にとって具体的に説明する。マ
ッチング・エンジン１５３は、分類木ＤＢ３０２のフォ
ルダ情報を参照し、フォルダ３５２に設定された基準画
像Ａ（図３９の分類条件設定ウインドウ３６０ｃを参
照）および分類対象の画像の類似度を色の特徴量を用い
て求める。すなわち、マッチング・エンジン１５３は、
色の特徴量に基づいて図４に示した特徴量空間中にプロ
ットされた分類対象の画像と基準画像Ａとの距離を例え
ばユークリッド距離などのベクトルの距離定義式を用い
て求める。続いて、マッチング・エンジン１５３は、求
めた距離に対し、ユーザが指定した基準画像Ａの重要度
に応じて重み付けを行う。マッチング・エンジン１５３
は、同様に、構造の特徴量に基づいて分類対象の画像と
基準画像Ｂとの距離を求め、求めた距離に対して基準画
像Ｂの重要度に応じた重み付けを行うと共に、テクスチ
ャの特徴量に基づいて分類対象の画像と基準画像Ｃとの
距離を求め、求めた距離に対して基準画像Ｃの重要度に
応じた重み付けを行う。

【０３９５】その後、マッチング・エンジン１５３は、
分類対象の画像と各基準画像Ａ，ＢおよびＣとの距離を
合計し、距離の合計値を総合類似度とする（数３を参
照）。マッチング・エンジン１５３は、このようにして
フォルダ３５２〜３５８毎に総合類似度を求める。

【０３９６】続いて、マッチング・エンジン１５３は、
フォルダ３５２〜３５８毎に、ステップＳ１６０１で求
めた総合類似度が閾値を超えるか否かを判定する（Ｓ１
６０２）。ただし、ここでは類似度として距離を用いて
おり、距離が短い（距離の値が小さい）ほど類似性が高
いことになるため、実際には、総合類似度が閾値以下
（または未満）であるか否かを判定することになる。

【０３９７】そして、マッチング・エンジン１５３は、
求めた総合類似度が閾値を超えるフォルダに分類対象の
画像を分類する（Ｓ１６０３）。すなわち、マッチング
・エンジン１５３は、求めた総合類似度が閾値を超える
フォルダを分類対象の画像の分類先として決定し、分類
木ＤＢ３０２中に登録された該当するフォルダのフォル
ダ情報に関連付けて分類対象の画像のＩＤ（予め設定さ
れているものとする）を分類木ＤＢ３０２に登録する。

【０３９８】以上説明したステップＳ１６０１〜Ｓ１６
０３の処理を画像ＤＢ１０８中に登録されている各画像
に対して実行することにより、画像ＤＢ１０８中の画像
を分類することができる。また、マッチング・エンジン
１５３は、各フォルダ３５２〜３５８に分類された画像
のうち、最も高い総合類似度（距離で表現すれば最も小
さい総合類似度）を持つ画像を代表画像として選択し、
該当するフォルダ情報に関連付けて分類木ＤＢ３０２に
登録する。画像の分類処理が実行されると、図３９の画
像分類ウインドウ３５０ｃの各フォルダ３５２〜３５８
には、図３７に示すように代表画像が表示される。

【０３９９】このように、実施の形態１６に係る画像分
類装置によれば、求めた類似度に対し、基準画像の種類
に応じて任意の重み付けを行うことができるように、各
基準画像毎に重要度を設定することが可能であり、フォ
ルダ毎に、各基準画像および分類対象の画像の類似度を
求め、求めた類似度に対し、設定された重要度に応じた
重み付けを行うことにより、ユーザの意図を分類条件と
して正確に表現できるため、ユーザの意図を正確に装置
に伝えることが可能となると共に、重要度は類似度に対
する重み付けとして反映されるため、ユーザの意図が反
映された画像の分類結果を得ることが可能となる。

【０４００】なお、詳細な説明については省略するが、
実施の形態１４で説明した画像分類装置においても、実
施の形態１６で説明したように各問合せ画像毎に重要度
を指定することができるようにしても良い。

【０４０１】〔実施の形態１７〕実施の形態１７に係る
画像分類装置は、ユーザの意図を分類条件として正確に
表現するための一つの手法として、実施の形態４で説明
したＡＮＤ検索を応用した画像分類処理を行うものであ
る。なお、実施の形態１７に係る画像分類装置におい
て、実施の形態１４で既に説明した構成については同一
の符号を使用して詳細な説明を省略し、画像分類装置の
動作についても共通する点については適宜説明を省略す
る。また、実施の形態１７に係る画像分類装置において
は、画像間の類似度を求める際に用いる特徴量は一種類
であるものとするが、当然、複数種類の特徴量を用いる
ことにしても良い。

【０４０２】以下に、実施の形態１７に係る画像分類装
置の動作について、 （１）分類項目設定処理 （２）画像分類処理 の順で説明する。

【０４０３】（１）分類項目設定処理 図４１は、実施の形態１７に係る画像分類装置において
用いられる画像分類ウインドウ３５０ｄを示す説明図で
ある。ここで、ユーザは、フォルダ３５２を作成したも
のとし、フォルダ３５２に分類条件を設定するため、図
４１に示すような分類条件設定ウインドウ３６０ｄを表
示させる。

【０４０４】図４１に示す分類条件設定ウインドウ３６
０ｄは、画像指定欄Ａ，ＢおよびＣ，ならびに設定ボタ
ン３６１に加え、ＡＮＤ条件を指定するためのＡＮＤ指
定ボタン３６４およびＯＲ条件を指定するためのＯＲ指
定ボタン３６５が設けられている点である。なお、ＯＲ
条件については、後述する実施の形態２１において詳細
に説明する。

【０４０５】ユーザは、図４１に示すように、例えば３
枚の画像をそれぞれ画像指定欄Ａ，ＢおよびＣに基準画
像Ａ，ＢおよびＣとして指定し、ＡＮＤ指定ボタン３６
４を選択してＡＮＤ条件を指定する。さらに、ユーザが
フォルダ３５２の閾値を指定し、設定ボタン３６１を指
定すると、Ｕ／Ｉ部１５１は、基準画像，ＡＮＤ条件の
指定および閾値を分類条件としてフォルダ３５２に設定
する。

【０４０６】このような処理を各フォルダに対して行う
ことにより、図４１に示すような複数のフォルダ３５２
〜３５８が分類対象の画像を分類するための分類項目と
して設定される。なお、設定されたフォルダのフォルダ
情報は、分類木ＤＢ３０２に登録される。

【０４０７】（２）画像分類処理 実施の形態１７の画像分類処理について図３６を参照し
つつ説明する。ユーザが分類処理の開始を指示すると、
図３４のマッチング・エンジン１５３は、フォルダ３５
２〜３５８毎に、所定の特徴量を用いて各基準画像およ
び分類対象の画像の類似度を求め、求めた類似度を合計
して分類対象の画像の総合類似度を求める処理を実行す
る（Ｓ１４０１）。

【０４０８】このステップＳ１４０１における処理につ
いてフォルダ３５２を例にとって具体的に説明する。マ
ッチング・エンジン１５３は、分類木ＤＢ３０２のフォ
ルダ情報を参照し、フォルダ３５２に設定された基準画
像Ａ（図４１の分類条件設定ウインドウ３６０ｄを参
照）および分類対象の画像の類似度を所定の特徴量を用
いて求める。すなわち、マッチング・エンジン１５３
は、所定の特徴量に基づいて図４に示した特徴量空間中
にプロットされた分類対象の画像と基準画像Ａとの距離
を例えばユークリッド距離などのベクトルの距離定義式
を用いて求める。マッチング・エンジン１５３は、同様
に、所定の特徴量に基づいて分類対象の画像と基準画像
Ｂとの距離を求めると共に、分類対象の画像と基準画像
Ｃとの距離を求める。

【０４０９】その後、マッチング・エンジン１５３は、
分類対象の画像と各基準画像Ａ，ＢおよびＣとの距離を
合計し、距離の合計値を総合類似度とする（数４を参
照）。なお、複数種類の特徴量を用いて各基準画像およ
び分類対象の画像の類似度を求める場合は、各種類の特
徴量毎に分類対象の画像および各基準画像の類似度（距
離）を求め、分類対象の画像毎に、各基準画像に対する
全ての類似度を合計して総合類似度を求めれば良い。マ
ッチング・エンジン１５３は、このようにしてフォルダ
３５２〜３５８毎に総合類似度を求める。

【０４１０】続いて、マッチング・エンジン１５３は、
フォルダ３５２〜３５８毎に、ステップＳ１４０１で求
めた総合類似度が閾値を超えるか否かを判定する（Ｓ１
４０２）。ただし、ここでは、類似度として距離を用い
ており、距離が短い（距離の値が小さい）ほど類似性が
高いことになるため、実際には、総合類似度が閾値以下
（または未満）であるか否かを判定することになる。

【０４１１】そして、マッチング・エンジン１５３は、
求めた総合類似度が閾値を超えるフォルダに分類対象の
画像を分類する（Ｓ１４０３）。すなわち、マッチング
・エンジン１５３は、求めた総合類似度が閾値を超える
フォルダを分類対象の画像の分類先として決定し、分類
木ＤＢ３０２中に登録された該当するフォルダのフォル
ダ情報に関連付けて分類対象の画像のＩＤ（予め設定さ
れているものとする）を分類木ＤＢ３０２に登録する。

【０４１２】以上説明したステップＳ１４０１〜Ｓ１４
０３の処理を画像ＤＢ１０８中に登録されている各画像
に対して実行することにより、画像ＤＢ１０８中の画像
を分類することができる。また、マッチング・エンジン
１５３は、各フォルダ３５２〜３５８に分類された画像
のうち、最も高い総合類似度（距離で表現すれば最も小
さい総合類似度）を持つ検索対象の画像を代表画像とし
て選択し、該当するフォルダ情報に関連付けて分類木Ｄ
Ｂ３０２に登録する。画像の分類処理が実行されると、
図４１の画像分類ウインドウ３５０ｄの各フォルダ３５
２〜３５８には、図３７に示すように代表画像が表示さ
れる。

【０４１３】このように、実施の形態１７に係る画像分
類装置によれば、フォルダを設定し、設定したフォルダ
毎に、基準画像を複数設定し、フォルダ毎に、設定され
た各基準画像および分類対象の画像の類似度を求めると
共に、求めた類似度を合計して総合類似度を求め、フォ
ルダ毎に求めた総合類似度および予め設定された分類先
決定基準に基づいて分類対象の画像の分類先となるフォ
ルダを決定するため、ＡＮＤ検索処理を応用した画像分
類処理を行うことが可能となる。したがって、新たな分
類方法で画像を分類可能な画像分類装置を提供すること
ができる。

【０４１４】なお、実施の形態１７においては、特徴量
の種類を特に示さなかったが、色，構造およびテクスチ
ャ等、いかなる種類の特徴量であっても単独でまたは複
数組み合わせて用いることができる。

【０４１５】さらに、詳細な説明については省略する
が、画像ＤＢ１０８に新たに画像が登録された場合、そ
の画像についても分類処理を行うことにより、画像ＤＢ
１０８中の画像を常に分類した状態に保つことができ
る。例えば、Ｕ／Ｉ部１５１が画像ＤＢ１０８の状態を
監視することにすれば、人手を要することなく、画像Ｄ
Ｂ１０８中の画像を常に分類した状態に保つことができ
る。

【０４１６】〔実施の形態１８〕実施の形態１８に係る
画像分類装置は、実施の形態１７の画像分類装置におい
て、実施の形態５で説明した画像検索処理を応用するこ
とにより、分類に対するユーザの意図を正確に表現でき
るようにしたものである。

【０４１７】以下に、実施の形態１８に係る画像分類装
置の動作について、 （１）分類項目設定処理 （２）画像分類処理 の順で説明する。

【０４１８】（１）分類項目設定処理 図４２は、実施の形態１８に係る画像分類装置において
用いられる画像分類ウインドウ３５０ｅを示す説明図で
ある。ここで、ユーザは、フォルダ３５２を作成したも
のとし、フォルダ３５２に分類条件を設定するため、図
４２に示すような分類条件設定ウインドウ３６０ｅを表
示させる。

【０４１９】図４２に示す分類条件設定ウインドウ３６
０ｅは、図４１に示した分類条件設定ウインドウ３６０
ｄに加えて、画像指定欄Ａ，ＢおよびＣに指定された各
基準画像間の相対的な重要度を指定する重要度指定バー
３６６を備えている。

【０４２０】ユーザは、図４２に示すように、例えば３
枚の画像をそれぞれ画像指定欄Ａ，ＢおよびＣに基準画
像Ａ，ＢおよびＣとして指定すると共に、重要度指定バ
ー３６６を用いて基準画像Ａ，ＢおよびＣ毎に重要度を
指定する。この重要度指定バー３６６は、実施の形態５
の重要度指定バー２０７で説明したように、各基準画像
毎に「０」を中心にして「＋」の重要度および「−」の
重要度を指定することを可能にするものである。なお、
重要度として「＋」方向および「−」方向の両方ではな
く、「＋」方向のみ、または「−」方向のみを指定でき
るようにしても良い。

【０４２１】このように、基準画像毎にユーザが重要度
を指定することにより、分類に対するユーザの意図を正
確に表現することが可能となる。すなわち、後述する分
類処理によって、重要度は類似度に対する重み付けとし
て反映されるため、ユーザの意図が反映された分類結果
の画像を得ることが可能となる。

【０４２２】さらに、ユーザがＡＮＤ指定ボタン３６４
を選択してＡＮＤ条件を指定すると共に、フォルダ３５
２の閾値を指定した後、設定ボタン３６１を指定する
と、Ｕ／Ｉ部１５１は、基準画像，重要度，ＡＮＤ条件
の指定および閾値を分類条件としてフォルダ３５２に設
定する。

【０４２３】このような処理を各フォルダに対して行う
ことにより、図４２に示すような複数のフォルダ３５２
〜３５８が分類対象の画像を分類するための分類項目と
して設定される。なお、設定された各フォルダのフォル
ダ情報は、分類木ＤＢ３０２に登録される。

【０４２４】（２）画像分類処理 実施の形態１８の画像分類処理について図４０を参照し
つつ説明する。ユーザが分類処理の開始を指示すると、
図３４のマッチング・エンジン１５３は、フォルダ３５
２〜３５８毎に、所定の特徴量を用いて各基準画像およ
び分類対象の画像との類似度を求め、求めた各類似度に
対して重要度に応じた重み付けを行い、各類似度を合計
して総合類似度を求める処理を実行する（Ｓ１６０
１）。

【０４２５】このステップＳ１６０１における処理につ
いてフォルダ３５２を例にとって具体的に説明する。マ
ッチング・エンジン１５３は、分類木ＤＢ３０２のフォ
ルダ情報を参照し、フォルダ３５２に設定された基準画
像Ａ（図４２の分類条件設定ウインドウ３６０ｅを参
照）および分類対象の画像の類似度を所定の特徴量を用
いて求める。すなわち、マッチング・エンジン１５３
は、所定の特徴量に基づいて図４に示した特徴量空間中
にプロットされた分類対象の画像と基準画像Ａとの距離
を例えばユークリッド距離などのベクトルの距離定義式
を用いて求める。続いて、マッチング・エンジン１５３
は、求めた距離に対し、ユーザが指定した基準画像Ａの
重要度に応じて重み付けを行う。マッチング・エンジン
１５３は、同様に、所定の特徴量に基づいて分類対象の
画像と基準画像Ｂとの距離を求め、求めた距離に対して
基準画像Ｂの重要度に応じた重み付けを行うと共に、所
定の特徴量に基づいて分類対象の画像と基準画像Ｃとの
距離を求め、求めた距離に対して基準画像Ｃの重要度に
応じた重み付けを行う。

【０４２６】その後、マッチング・エンジン１５３は、
分類対象の画像と各基準画像Ａ，ＢおよびＣとの距離を
合計し、距離の合計値を総合類似度とする（数５を参
照）。マッチング・エンジン１５３は、このようにして
フォルダ３５２〜３５８毎に総合類似度を求める。

【０４２７】続いて、マッチング・エンジン１５３は、
フォルダ３５２〜３５８毎に、ステップＳ１６０１で求
めた総合類似度が閾値を超えるか否かを判定する（Ｓ１
６０２）。ただし、ここでは類似度として距離を用いて
おり、距離が短い（距離の値が小さい）ほど類似性が高
いことになるため、実際には、総合類似度が閾値以下
（または未満）であるか否かを判定することになる。

【０４２８】そして、マッチング・エンジン１５３は、
求めた総合類似度が閾値を超えるフォルダに分類対象の
画像を分類する（Ｓ１６０３）。すなわち、マッチング
・エンジン１５３は、求めた総合類似度が閾値を超える
フォルダを分類対象の画像の分類先として決定し、分類
木ＤＢ３０２中に登録された該当するフォルダのフォル
ダ情報に関連付けて分類対象の画像のＩＤ（予め設定さ
れているものとする）を分類木ＤＢ３０２に登録する。

【０４２９】以上説明したステップＳ１６０１〜Ｓ１６
０３の処理を画像ＤＢ１０８中に登録されている各画像
に対して実行することにより、画像ＤＢ１０８中の画像
を分類することができる。また、マッチング・エンジン
１５３は、各フォルダ３５２〜３５８に分類された画像
のうち、最も高い総合類似度（距離で表現すれば最も小
さい総合類似度）を持つ画像を代表画像として選択し、
該当するフォルダ情報に関連付けて分類木ＤＢ３０２に
登録する。画像の分類処理が実行されると、図４２の画
像分類ウインドウ３５０ｅの各フォルダ３５２〜３５８
には、図３７に示すように代表画像が表示される。

【０４３０】このように、実施の形態１８に係る画像分
類装置によれば、求めた類似度に対し、基準画像の種類
に応じて任意の重み付けを行うことができるように、各
基準画像毎に重要度を設定することが可能であり、フォ
ルダ毎に、各基準画像および分類対象の画像の類似度を
求め、求めた類似度に対し、設定された重要度に応じた
重み付けを行うことにより、ユーザの意図を分類条件と
して正確に表現できるため、ユーザの意図を正確に装置
に伝えることが可能となると共に、重要度は類似度に対
する重み付けとして反映されるため、ユーザの意図が反
映された画像の分類結果を得ることが可能となる。

【０４３１】〔実施の形態１９〕実施の形態１９に係る
画像分類装置は、実施の形態１７の画像分類装置におい
て、実施の形態６で説明した画像検索処理を応用するこ
とにより、分類に対するユーザの意図を正確に表現でき
るようにしたものである。なお、実施の形態１９に係る
画像分類装置においては、例として、色，構造およびテ
クスチャの３種類の特徴量を用いて分類処理を行うもの
とする。

【０４３２】以下に、実施の形態１９に係る画像分類装
置の動作について、 （１）分類項目設定処理 （２）画像分類処理 の順で説明する。

【０４３３】（１）分類項目設定処理 図４３は、実施の形態１９に係る画像分類装置において
用いられる画像分類ウインドウ３５０ｆを示す説明図で
ある。ここで、ユーザは、フォルダ３５２を作成したも
のとし、フォルダ３５２に分類条件を設定するため、図
４３に示すような分類条件設定ウインドウ３６０ｆを表
示させる。

【０４３４】図４３に示す分類条件設定ウインドウ３６
０ｆは、図４１に示した分類条件設定ウインドウ３６０
ｄに加えて、画像指定欄Ａ，ＢおよびＣに指定された各
基準画像毎に、分類対象の画像との類似度を求める際に
使用される特徴量の種類毎の重要度を指定するための重
要度指定バー３６７を備えている。

【０４３５】ユーザは、図４３に示すように、例えば３
枚の画像をそれぞれ画像指定欄Ａ，ＢおよびＣに基準画
像Ａ，ＢおよびＣとして指定し、指定した基準画像Ａ，
ＢおよびＣ毎に、特徴量の種類毎の重要度を指定する。
この重要度指定バー３６７は、実施の形態６で説明した
ように、各基準画像の特徴量の種類毎に、「０」を中心
にして「＋」の重要度および「−」の重要度を指定する
ことを可能にするものである。なお、重要度として
「＋」方向および「−」方向の両方ではなく、「＋」方
向のみ、または「−」方向のみを指定できるようにして
も良い。

【０４３６】このように、各種類の特徴量毎の重要度を
各基準画像毎に指定することにより、分類に対するユー
ザの意図を正確に表現することが可能となる。すなわ
ち、後述する分類処理によって、重要度は各種類の特徴
量毎に求めた類似度に対する重み付けとして反映される
ため、ユーザの意図が反映された分類結果の画像を得る
ことが可能となる。

【０４３７】さらに、ユーザは、ＡＮＤ指定ボタン３６
４を選択してＡＮＤ条件を指定すると共に、フォルダ３
５２の閾値を指定した後、設定ボタン３６１を選択する
と、Ｕ／Ｉ部１５１は、基準画像，重要度，ＡＮＤ条件
の指定および閾値を分類条件としてフォルダ３５２に設
定する。

【０４３８】このような処理を各フォルダに対して行う
ことにより、図４３に示すような複数のフォルダ３５２
〜３５８が分類対象の画像を分類するための分類項目と
して設定される。なお、設定された各フォルダのフォル
ダ情報は、分類木ＤＢ３０２に登録される。

【０４３９】（２）画像分類処理 実施の形態１９に係る画像分類処理について図４０を参
照しつつ説明する。ユーザが分類処理の開始を指定する
と、図３４のマッチング・エンジン１５３は、フォルダ
３５２〜３５８毎に、３種類の特徴量を用いて各基準画
像および分類対象の画像の類似度を求め、求めた各類似
度に対して重要度に応じた重み付けを行い、各類似度を
合計して分類対象の画像の総合類似度を求める処理を実
行する（Ｓ１６０１）。

【０４４０】このステップＳ１６０１における処理につ
いてフォルダ３５２を例にとって具体的に説明する。マ
ッチング・エンジン１５３は、分類木ＤＢ３０２のフォ
ルダ情報を参照し、フォルダ３５２に設定された基準画
像Ａ（図４３の分類条件設定ウインドウ３６０ｆを参
照）および分類対象の画像の類似度を色の特徴量を用い
て求める。すなわち、マッチング・エンジン１５３は、
色の特徴量に基づいて図４に示した特徴量空間中にプロ
ットされた分類対象の画像と基準画像Ａとの距離を例え
ばユークリッド距離などのベクトルの距離定義式を用い
て求める。続いて、マッチング・エンジン１５３は、求
めた距離に対し、ユーザが基準画像Ａに対して指定した
色の特徴量の重要度に応じて重み付けを行う。さらに、
マッチング・エンジン１５３は、分類対象の画像と基準
画像Ａとの距離を構造の特徴量およびテクスチャの特徴
量を用いてそれぞれ求め、求めた各距離に対し、ユーザ
が基準画像Ａに対して指定した構造の特徴量の重要度お
よびテクスチャの特徴量の重要度に応じて重み付けを行
う。

【０４４１】マッチング・エンジン１５３は、同様に、
分類対象の画像と基準画像Ｂとの距離を３種類の特徴量
毎に求め、求めた各距離に対し、基準画像Ｂに対して指
定された各特徴量毎の重要度に応じた重み付けを行う。
また、分類対象の画像と基準画像Ｃとの距離を３種類の
特徴量毎に求め、求めた各距離に対し、基準画像Ｃに対
して指定された各特徴量毎の重要度に応じた重み付けを
行う。

【０４４２】その後、マッチング・エンジン１５３は、
３種類の特徴量毎に求めた分類対象の画像と各基準画像
Ａ，ＢおよびＣとの距離を合計し、距離の合計値を総合
類似度とする（数６を参照）。マッチング・エンジン１
５３は、このようにしてフォルダ３５２〜３５８毎に総
合類似度を求める。

【０４４３】続いて、マッチング・エンジン１５３は、
フォルダ３５２〜３５８毎に、ステップＳ１６０１で求
めた総合類似度が閾値を超えるか否かを判定する（Ｓ１
６０２）。ただし、ここでは類似度として距離を用いて
おり、距離が短い（距離の値が小さい）ほど類似性が高
いことになるため、実際には、総合類似度が閾値以下
（または未満）であるか否かを判定することになる。

【０４４４】そして、マッチング・エンジン１５３は、
求めた総合類似度が閾値を超えるフォルダに分類対象の
画像を分類する（Ｓ１６０３）。すなわち、マッチング
・エンジン１５３は、求めた総合類似度が閾値を超える
フォルダを分類対象の画像の分類先として決定し、分類
木ＤＢ３０２中に登録された該当するフォルダのフォル
ダ情報に関連付けて分類対象の画像のＩＤ（予め設定さ
れているものとする）を分類木ＤＢ３０２に登録する。

【０４４５】以上説明したステップＳ１６０１〜Ｓ１６
０３の処理を画像ＤＢ１０８中に登録されている各画像
に対して実行することにより、画像ＤＢ１０８中の画像
を分類することができる。また、マッチング・エンジン
１５３は、各フォルダ３５２〜３５８に分類された画像
のうち、最も高い総合類似度（距離で表現すれば最も小
さい総合類似度）を持つ画像を代表画像として選択し、
該当するフォルダ情報に関連付けて分類木ＤＢ３０２に
登録する。画像の分類処理が実行されると、図４３の画
像分類ウインドウ３５０ｆの各フォルダ３５２〜３５８
には、図３７に示すように代表画像が表示される。

【０４４６】このように、実施の形態１９に係る画像分
類装置によれば、複数種類の特徴量を用いて基準画像お
よび検索対象の画像の類似度を求める場合に、求めた類
似度に対し、基準画像および特徴量の種類に応じて任意
の重み付けを行うことができるように、各種類の特徴量
毎の重要度を各基準画像毎に設定することが可能であ
り、フォルダそれぞれについて、各種類の特徴量毎に各
基準画像および分類対象の画像の類似度を求め、各種類
の特徴量毎に求めた類似度に対し、設定された重要度に
応じた重み付けを行うことにより、ユーザの意図を分類
条件として正確に表現できるため、ユーザの意図を正確
に装置に伝えることが可能となると共に、重要度は類似
度に対する重み付けとして反映されるため、ユーザの意
図が反映された画像の分類結果を得ることが可能とな
る。

【０４４７】なお、特徴量の種類は、色，構造およびテ
クスチャの３種類に限定するものではなく、いかなる種
類の特徴量の組み合わせであっても良い。

【０４４８】〔実施の形態２０〕実施の形態２０に係る
画像分類装置は、実施の形態１７の画像分類装置におい
て、実施の形態７で説明した画像検索処理を応用するこ
とにより、分類に対するユーザの意図を装置側が汲み取
ることができるようにしたものである。なお、実施の形
態２０に係る画像分類装置は、例として、色，構造およ
びテクスチャの３種類の特徴量を用いて分類処理を行う
ものとする。

【０４４９】前述した実施の形態１８および１９におい
ては、ユーザが基準画像の重要度または各基準画像に特
徴量毎の重要度を指定する必要があったが、実施の形態
２０に係る画像分類装置においては、ユーザによってフ
ォルダ毎に指定された基準画像間の類似度を、基準画像
および分類対象の画像の類似度を求める際に使用する特
徴量を用いて求め、求めた特徴量毎の類似度に基づいて
各基準画像間における特徴量毎の重要度を装置側で決定
し、類似度に対する重み付けとして反映するという点が
特徴となる。

【０４５０】以下に、実施の形態２０に係る画像分類装
置の動作について、 （１）分類項目設定処理 （２）画像分類処理 の順で説明する。

【０４５１】（１）分類項目設定処理 図４１を用いて分類項目設定処理について説明する。ユ
ーザは、フォルダ３５２を作成したものとし、フォルダ
３５２に分類条件を設定するため、図４１に示すような
分類条件設定ウインドウ３６０ｄを表示させる。

【０４５２】ユーザは、図４１に示すように、例えば３
枚の画像をそれぞれ画像指定欄Ａ，ＢおよびＣに基準画
像Ａ，ＢおよびＣとして指定し、ＡＮＤ指定ボタン３６
４を選択してＡＮＤ条件を指定する。さらに、ユーザが
フォルダ３５２の閾値を指定し、設定ボタン３６１を選
択すると、特徴抽出エンジン１５２は、色，構造および
テクスチャの３種類の特徴量毎に、各基準画像Ａ，Ｂお
よびＣ間の距離（類似度）を求め、求めた各特徴量毎の
距離に基づいて各基準画像Ａ，ＢおよびＣ間における特
徴量毎の重要度を決定する。

【０４５３】具体的に、特徴抽出エンジン１５２は、３
種類の特徴量毎に、基準画像同士の特徴間の距離を求め
る。各特徴量毎に求めた距離の分散が大きい場合にはそ
の特徴量についてはユーザは関知していないことを意味
し、分散が小さい場合にはユーザはその特徴量を分類基
準として重視していると判断できる。したがって、分散
が大きい特徴量の場合には重要度を小さくし、分散が小
さい場合には重要度を大きくするようにする（数７を参
照）。

【０４５４】特徴抽出エンジン１５２は、３種類の特徴
量毎の重要度をＵ／Ｉ部１５１に入力し、Ｕ／Ｉ部１５
１は、基準画像，特徴抽出エンジン１５２で決定された
重要度，ＡＮＤ条件の指定および閾値を分類条件として
フォルダ３５２に設定する。

【０４５５】このような処理を各フォルダに対して行う
ことにより、図４１に示すような複数のフォルダ３５２
〜３５８が分類対象の画像を分類するための分類項目と
して設定される。なお、設定されたフォルダのフォルダ
情報は分類木ＤＢ３０２に登録される。

【０４５６】（２）画像分類処理 つぎに、実施の形態２０の画像分類処理について図４０
を参照しつつ説明する。ユーザが分類処理の開始を指定
すると、図３４のマッチング・エンジン１５３は、フォ
ルダ３５２〜３５８毎に、３種類の特徴量を用いて各基
準画像および分類対象の画像の類似度を求め、求めた各
類似度に対して重要度に応じた重み付けを行い、各類似
度を合計して分類対象の画像の総合類似度を求める処理
を実行する（Ｓ１６０１）。

【０４５７】このステップＳ１６０１における処理につ
いてフォルダ３５２を例にとって具体的に説明する。マ
ッチング・エンジン１５３は、分類木ＤＢ３０２のフォ
ルダ情報を参照し、フォルダ３５２に設定された基準画
像Ａ（図４１の分類条件設定ウインドウ３６０ｄを参
照）および分類対象の画像の類似度を色の特徴量を用い
て求める。すなわち、マッチング・エンジン１５３は、
色の特徴量に基づいて図４に示した特徴量空間中にプロ
ットされた分類対象の画像と基準画像Ａとの距離を例え
ばユークリッド距離などのベクトルの距離定義式を用い
て求める。続いて、マッチング・エンジン１５３は、求
めた距離に対し、特徴抽出エンジン１５２で色の特徴量
について決定した重要度に応じて重み付けを行う。さら
に、マッチング・エンジン１５３は、分類対象の画像と
基準画像Ａについて、構造の特徴量およびテクスチャの
特徴量を用いた距離を求め、求めた各距離に対し、特徴
抽出エンジン１５２で決定した構造の特徴量の重要度お
よびテクスチャの特徴量の重要度に応じて重み付けを行
う。

【０４５８】マッチング・エンジン１５３は、同様に、
分類対象の画像と基準画像Ｂとの距離を３種類の特徴量
毎に求め、求めた各距離に対し、各種類の特徴量毎に決
定された重要度に応じた重み付けを行う。また、分類対
象の画像と基準画像Ｃとの距離を３種類の特徴量毎に求
め、求めた各距離に対し、各種類の特徴量毎に決定され
た重要度に応じた重み付けを行う。

【０４５９】その後、マッチング・エンジン１５３は、
３種類の特徴量毎に求めた分類対象の画像と各基準画像
Ａ，ＢおよびＣとの距離を合計し、距離の合計値を総合
類似度とする。マッチング・エンジン１５３は、このよ
うにしてフォルダ３５２〜３５８毎に総合類似度を求め
る。

【０４６０】続いて、マッチング・エンジン１５３は、
フォルダ３５２〜３５８毎に、ステップＳ１６０１で求
めた総合類似度が閾値を超えるか否かを判定する（Ｓ１
６０２）。ただし、ここでは類似度として距離を用いて
おり、距離が短い（距離の値が小さい）ほど類似性が高
いことになるため、実際には、総合類似度が閾値以下
（または未満）であるか否かを判定することになる。

【０４６１】そして、マッチング・エンジン１５３は、
求めた総合類似度が閾値を超えるフォルダに分類対象の
画像を分類する（Ｓ１６０３）。すなわち、マッチング
・エンジン１５３は、求めた総合類似度が閾値を超える
フォルダを分類対象の画像の分類先として決定し、分類
木ＤＢ３０２中に登録された該当するフォルダのフォル
ダ情報に関連付けて分類対象の画像のＩＤ（予め設定さ
れているものとする）を分類木ＤＢ３０２に登録する。

【０４６２】以上説明したステップＳ１６０１〜Ｓ１６
０３の処理を画像ＤＢ１０８中に登録されている各画像
に対して実行することにより、画像ＤＢ１０８中の画像
を分類することができる。また、マッチング・エンジン
１５３は、各フォルダ３５２〜３５８に分類された画像
のうち、最も高い総合類似度（距離で表現すれば最も小
さい総合類似度）を持つ画像を代表画像として選択し、
該当するフォルダ情報に関連付けて分類木ＤＢ３０２に
登録する。画像の分類処理が実行されると、図４１の画
像分類ウインドウ３５０ｄの各フォルダ３５２〜３５８
には、図３７に示すように代表画像が表示される。

【０４６３】このように、実施の形態２０に係る画像分
類装置によれば、複数種類の特徴量を用いて基準画像お
よび検索対象の画像の類似度を求める場合に、求めた類
似度に対し、特徴量の種類に応じて任意の重み付けを行
うことができるように、分類項目毎に、設定された各基
準画像間の類似度を各種類の特徴量毎に求め、各種類の
特徴量毎に求めた類似度に基づいて各基準画像間におけ
る各特徴量毎の重要度を決定し、分類項目それぞれにつ
いて、各種類の特徴量毎に各基準画像および分類対象の
画像の類似度を求め、各種類の特徴量毎に求めた類似度
に対し、決定された重要度に応じた重み付けを行うこと
により、装置側でユーザが指定した基準画像間における
各種類の特徴量の重要度を判断し、判断した重要度を画
像間の類似度に反映させるため、ユーザの意図に合った
画像の分類結果を返すことが可能となる。したがって、
ユーザが望む通りの分類処理を実現することができ、ユ
ーザが望む分類結果を得ることができる。

【０４６４】なお、特徴量の種類は、色，構造およびテ
クスチャの３種類に限定するものではなく、いかなる種
類の特徴量の組み合わせであっても良い。

【０４６５】〔実施の形態２１〕実施の形態２１に係る
画像分類装置は、ユーザの意図を分類条件として正確に
表現するための一つの手法として、実施の形態８で説明
したＯＲ検索を応用した画像分類処理を行うものであ
る。

【０４６６】実施の形態２１に係る画像分類装置による
画像の分類処理は、実施の形態１７で説明に用いた図４
１の分類条件設定ウインドウ３６０ｄにおいて、ＡＮＤ
指定ボタン３６４ではなく、ＯＲ指定ボタン３６５が選
択された場合に実行される。そこで、実施の形態１７に
おける「（１）分類項目設定処理」の説明において、Ｏ
Ｒ指定ボタン３６５が選択されたものとして、以下にＯ
Ｒ条件による画像分類処理を説明する。

【０４６７】なお、ＯＲ条件の指定と共に、図４１に示
したフォルダ３５２には、実施の形態１７の場合と同様
に基準画像Ａ，ＢおよびＣ，ならびに閾値が分類条件と
して設定されたものとする。

【０４６８】図４４は、実施の形態２１の画像分類処理
を示すフローチャートである。ユーザが分類処理の開始
を指示すると、図３４のマッチング・エンジン１５３
は、フォルダ３５２〜３５８毎に、所定の特徴量を用い
て各基準画像および分類対象の画像の類似度を求めると
共に、求めた類似度の中から最も高い類似性を示す類似
度を選択して分類対象の画像の総合類似度を求める処理
を実行する（Ｓ２１０１）。

【０４６９】このステップＳ２１０１における処理につ
いてフォルダ３５２を例にとって具体的に説明する。マ
ッチング・エンジン１５３は、分類木ＤＢ３０２のフォ
ルダ情報を参照し、フォルダ３５２に設定された基準画
像Ａ（図４１の分類条件設定ウインドウ３６０ｄを参
照）および分類対象の画像の類似度を所定の特徴量を用
いて求める。すなわち、マッチング・エンジン１５３
は、所定の特徴量に基づいて図４に示した特徴量空間中
にプロットされた分類対象の画像と基準画像Ａとの距離
を例えばユークリッド距離などのベクトルの距離定義式
を用いて求める。マッチング・エンジン１５３は、同様
に、所定の特徴量に基づいて分類対象の画像と基準画像
Ｂとの距離を求めると共に、分類対象の画像と基準画像
Ｃとの距離を求める。

【０４７０】その後、マッチング・エンジン１５３は、
分類対象の画像と各基準画像Ａ，ＢおよびＣとの距離の
中から最も短い距離を選択して総合類似度を求める（数
８を参照）。マッチング・エンジン１５３は、このよう
にしてフォルダ３５２〜３５８毎に最も高い類似性を示
す類似度を選択して総合類似度を求める。

【０４７１】続いて、マッチング・エンジン１５３は、
フォルダ３５２〜３５８毎に、ステップＳ２１０１で選
択した類似度が閾値を超えるか否かを判定する（Ｓ２１
０２）。ただし、ここでは類似度として距離を用いてお
り、距離が短い（距離の値が小さい）ほど類似性が高い
ことになるため、実際には、総合類似度が閾値以下（ま
たは未満）であるか否かを判定することになる。

【０４７２】そして、マッチング・エンジン１５３は、
選択した類似度が閾値を超えるフォルダに分類対象の画
像を分類する（Ｓ２１０３）。すなわち、マッチング・
エンジン１５３は、選択した類似度が閾値を超えるフォ
ルダを分類対象の画像の分類先として決定し、分類木Ｄ
Ｂ３０２中に登録された該当するフォルダのフォルダ情
報に関連付けて分類対象の画像のＩＤ（予め設定されて
いるものとする）を分類木ＤＢ３０２に登録する。

【０４７３】以上説明したステップＳ２１０１〜Ｓ２１
０３の処理を画像ＤＢ１０８中に登録されている各画像
に対して実行することにより、画像ＤＢ１０８中の画像
を分類することができる。また、マッチング・エンジン
１５３は、各フォルダ３５２〜３５８それぞれに分類さ
れた画像の中から、最も高い類似度（ステップＳ２１０
１で選択された類似度のことであり、距離で表現すれば
最も小さい類似度）を持つ画像を代表画像として選択
し、該当するフォルダ情報に関連付けて分類木ＤＢ３０
２に登録する。画像の分類処理が実行されると、図４１
の画像分類ウインドウ３５０ｄの各フォルダ３５２〜３
５８には、図３７に示すように代表画像が表示される。

【０４７４】なお、実施の形態２１の画像分類処理にお
いては、分類対象の画像が、あるフォルダに設定された
各基準画像のいずれかに対して閾値以上の類似度が得ら
れる程類似していればそのフォルダに分類されることに
なる。したがって、実施の形態２１の画像分類処理にＯ
Ｒ検索が応用されていることがわかる。

【０４７５】このように、実施の形態２１に係る画像分
類装置によれば、フォルダを設定し、設定したフォルダ
毎に、基準画像を複数設定し、フォルダ毎に、設定され
た各基準画像および分類対象の画像の類似度を求めると
共に、求めた類似度の中から最も高い類似性を示す類似
度を選択し、各フォルダ毎に選択した類似度および予め
設定された分類先決定基準に基づいて分類対象の画像の
分類先となるフォルダを決定するため、ＯＲ検索処理を
応用した画像分類処理を行うことが可能となる。したが
って、新たな分類方法で画像を分類可能な画像分類装置
を提供することができる。

【０４７６】なお、詳細な説明については省略するが、
画像ＤＢ１０８に新たに画像が登録された場合、その画
像についても分類処理を行うことにより、画像ＤＢ１０
８中の画像を常に分類した状態に保つことができる。例
えば、Ｕ／Ｉ部１５１が画像ＤＢ１０８の状態を監視す
ることにすれば、人手を要することなく、画像ＤＢ１０
８中の画像を常に分類した状態に保つことができる。

【０４７７】〔実施の形態２２〕実施の形態２２に係る
画像分類装置は、実施の形態２１の画像分類装置におい
て、実施の形態９で説明した画像検索処理を応用するこ
とにより、分類に対するユーザの意図を正確に表現でき
るようにしたものである。

【０４７８】実施の形態２２に係る画像分類装置による
画像の分類処理は、実施の形態１８で説明に用いた図４
２の分類条件設定ウインドウ３６０ｅにおいて、ＡＮＤ
指定ボタン３６４ではなく、ＯＲ指定ボタン３６５が選
択された場合に実行される。そこで、実施の形態１８に
おける「（１）分類項目設定処理」の説明において、Ｏ
Ｒ指定ボタン３６５が選択されたものとして、以下にＯ
Ｒ条件による画像分類処理を説明する。

【０４７９】なお、ＯＲ条件の指定と共に、図４２に示
したフォルダ３５２には、実施の形態１８の場合と同様
に基準画像Ａ，ＢおよびＣ，各基準画像の重要度ならび
に閾値が分類条件として設定されたものとする。

【０４８０】図４５は、実施の形態２２の画像分類処理
を示すフローチャートである。ユーザが分類処理の開始
を指示すると、図３４のマッチング・エンジン１５３
は、フォルダ３５２〜３５８毎に、所定の特徴量を用い
て各基準画像および分類対象の画像との類似度を求め、
求めた各類似度に対して重要度に応じた重み付けを行
い、各類似度の中から最も高い類似性を示す類似度を選
択して分類対象の画像の総合類似度を求める処理を実行
する（Ｓ２２０１）。

【０４８１】このステップＳ２２０１における処理につ
いてフォルダ３５２を例にとって具体的に説明する。マ
ッチング・エンジン１５３は、分類木ＤＢ３０２のフォ
ルダ情報を参照し、フォルダ３５２に設定された基準画
像Ａ（図４２の分類条件設定ウインドウ３６０ｅを参
照）および分類対象の画像の類似度を所定の特徴量を用
いて求める。すなわち、マッチング・エンジン１５３
は、所定の特徴量に基づいて図４に示した特徴量空間中
にプロットされた分類対象の画像と基準画像Ａとの距離
を例えばユークリッド距離などのベクトルの距離定義式
を用いて求める。続いて、マッチング・エンジン１５３
は、求めた距離に対し、ユーザが指定した基準画像Ａの
重要度に応じて重み付けを行う。マッチング・エンジン
１５３は、同様に、所定の特徴量に基づいて分類対象の
画像と基準画像Ｂとの距離を求め、求めた距離に対して
基準画像Ｂの重要度に応じた重み付けを行うと共に、所
定の特徴量に基づいて分類対象の画像と基準画像Ｃとの
距離を求め、求めた距離に対して基準画像Ｃの重要度に
応じた重み付けを行う。

【０４８２】その後、マッチング・エンジン１５３は、
分類対象の画像と各基準画像Ａ，ＢおよびＣとの距離の
中から最も短い距離を選択して総合類似度を求める（数
９を参照）。マッチング・エンジン１５３は、このよう
にしてフォルダ３５２〜３５８毎に総合類似度を求め
る。

【０４８３】続いて、マッチング・エンジン１５３は、
フォルダ３５２〜３５８毎に、ステップＳ２２０１で求
めた総合類似度が閾値を超えるか否かを判定する（Ｓ２
２０２）。ただし、ここでは類似度として距離を用いて
おり、距離が短い（距離の値が小さい）ほど類似性が高
いことになるため、実際には、総合類似度が閾値以下
（または未満）であるか否かを判定することになる。

【０４８４】そして、マッチング・エンジン１５３は、
求めた総合類似度が閾値を超えるフォルダに分類対象の
画像を分類する（Ｓ２２０３）。すなわち、マッチング
・エンジン１５３は、求めた総合類似度が閾値を超える
フォルダを分類対象の画像の分類先として決定し、分類
木ＤＢ３０２中に登録された該当するフォルダのフォル
ダ情報に関連付けて分類対象の画像のＩＤ（予め設定さ
れているものとする）を分類木ＤＢ３０２に登録する。

【０４８５】以上説明したステップＳ２２０１〜Ｓ２２
０３の処理を画像ＤＢ１０８中に登録されている各画像
に対して実行することにより、画像ＤＢ１０８中の画像
を分類することができる。また、マッチング・エンジン
１５３は、各フォルダ３５２〜３５８それぞれに分類さ
れた画像の中から、最も高い総合類似度（距離で表現す
れば最も小さい総合類似度）を持つ画像を代表画像とし
て選択し、該当するフォルダ情報に関連付けて分類木Ｄ
Ｂ３０２に登録する。画像の分類処理が実行されると、
図４２の画像分類ウインドウ３５０ｅの各フォルダ３５
２〜３５８には、図３７に示すように代表画像が表示さ
れる。

【０４８６】このように、実施の形態２２に係る画像分
類装置によれば、求めた類似度に対し、基準画像の種類
に応じて任意の重み付けを行うことができるように、各
基準画像毎に重要度を設定することが可能であり、フォ
ルダ毎に、各基準画像および分類対象の画像の類似度を
求め、求めた類似度に対し、設定された重要度に応じた
重み付けを行うことにより、ユーザの意図を分類条件と
して正確に表現できるため、ユーザの意図を正確に装置
に伝えることが可能となると共に、重要度は類似度に対
する重み付けとして反映されるため、ユーザの意図が反
映された画像の分類結果を得ることが可能となる。

【０４８７】〔実施の形態２３〕実施の形態２３に係る
画像分類装置は、実施の形態２１の画像分類装置におい
て、実施の形態１０で説明した画像検索処理を応用する
ことにより、分類に対するユーザの意図を正確に表現で
きるようにしたものである。

【０４８８】実施の形態２３に係る画像分類装置による
画像の分類処理は、実施の形態１９で説明に用いた図４
３の分類条件設定ウインドウ３６０ｆにおいて、ＡＮＤ
指定ボタン３６４ではなく、ＯＲ指定ボタン３６５が選
択された場合に実行される。そこで、実施の形態１９に
おける「（１）分類項目設定処理」の説明において、Ｏ
Ｒ指定ボタン３６５が選択されたものとして、以下にＯ
Ｒ条件による画像分類処理を説明する。

【０４８９】なお、ＯＲ条件の指定と共に、図４３に示
したフォルダ３５２には、実施の形態１９の場合と同様
に基準画像Ａ，ＢおよびＣ，各基準画像について特徴量
の種類毎に指定された重要度ならびに閾値が分類条件と
して設定されたものとする。

【０４９０】つぎに、実施の形態２３に係る画像分類処
理について図４５を参照しつつ説明する。ユーザが画像
分類処理の開始を指定すると、図３４のマッチング・エ
ンジン１５３は、フォルダ３５２〜３５８毎に、３種類
の特徴量を用いて各基準画像および分類対象の画像の類
似度を求め、求めた各類似度に対して重要度に応じた重
み付けを行い、各類似度の中から最も高い類似性を示す
類似度を選択して分類対象の画像の総合類似度を求める
処理を実行する（Ｓ２２０１）。

【０４９１】このステップＳ２２０１における処理につ
いてフォルダ３５２を例にとって具体的に説明する。マ
ッチング・エンジン１５３は、分類木ＤＢ３０２のフォ
ルダ情報を参照し、フォルダ３５２に設定された基準画
像Ａ（図４３の分類条件設定ウインドウ３６０ｆを参
照）および分類対象の画像の類似度を色の特徴量を用い
て求める。すなわち、マッチング・エンジン１５３は、
色の特徴量に基づいて図４に示した特徴量空間中にプロ
ットされた分類対象の画像と基準画像Ａとの距離を例え
ばユークリッド距離などのベクトルの距離定義式を用い
て求める。続いて、マッチング・エンジン１５３は、求
めた距離に対し、ユーザが基準画像Ａに対して指定した
色の特徴量の重要度に応じて重み付けを行う。さらに、
マッチング・エンジン１５３は、分類対象の画像と基準
画像Ａとの距離を構造の特徴量およびテクスチャの特徴
量を用いて求め、求めた各距離に対し、ユーザが基準画
像Ａに対して指定した構造の特徴量の重要度およびテク
スチャの特徴量の重要度に応じて重み付けを行う。

【０４９２】マッチング・エンジン１５３は、同様に、
分類対象の画像と基準画像Ｂとの距離を３種類の特徴量
毎に求め、求めた各距離に対し、基準画像Ｂに対して指
定された各特徴量毎の重要度に応じた重み付けを行う。
また、分類対象の画像と基準画像Ｃとの距離を３種類の
特徴量毎に求め、求めた各距離に対し、基準画像Ｃに対
して指定された各特徴量毎の重要度に応じた重み付けを
行う。

【０４９３】その後、マッチング・エンジン１５３は、
３種類の特徴量毎に求めた分類対象の画像と各基準画像
Ａ，ＢおよびＣとの距離の中から最も短い距離を選択し
て総合類似度とする（数１０を参照）。マッチング・エ
ンジン１５３は、このようにしてフォルダ３５２〜３５
８毎に総合類似度を求める。

【０４９４】続いて、マッチング・エンジン１５３は、
分類木ＤＢ３０２を参照して、フォルダ３５２〜３５８
毎に、ステップＳ２２０１で求めた総合類似度が閾値を
超えるか否かを判定する（Ｓ２２０２）。ただし、ここ
では類似度として距離を用いており、距離が短い（距離
の値が小さい）ほど類似性が高いことになるため、実際
には、総合類似度が閾値以下（または未満）であるか否
かを判定することになる。

【０４９５】そして、マッチング・エンジン１５３は、
求めた総合類似度が閾値を超えるフォルダに分類対象の
画像を分類する（Ｓ２２０３）。すなわち、マッチング
・エンジン１５３は、求めた総合類似度が閾値を超える
フォルダを分類対象の画像の分類先として決定し、分類
木ＤＢ３０２中に登録された該当するフォルダのフォル
ダ情報に関連付けて分類対象の画像のＩＤ（予め設定さ
れているものとする）を分類木ＤＢ３０２に登録する。

【０４９６】以上説明したステップＳ２２０１〜Ｓ２２
０３の処理を画像ＤＢ１０８中に登録されている各画像
に対して実行することにより、画像ＤＢ１０８中の画像
を分類することができる。また、マッチング・エンジン
１５３は、各フォルダ３５２〜３５８それぞれに分類さ
れた画像の中から、最も高い総合類似度（距離で表現す
れば最も小さい総合類似度）を持つ画像を代表画像とし
て選択し、該当するフォルダ情報に関連付けて分類木Ｄ
Ｂ３０２に登録する。画像の分類処理が実行されると、
図４３の画像分類ウインドウ３５０ｆの各フォルダ３５
２〜３５８には、図３７に示すように代表画像が表示さ
れる。

【０４９７】このように、実施の形態２３に係る画像分
類装置によれば、複数種類の特徴量を用いて基準画像お
よび検索対象の画像の類似度を求める場合に、求めた類
似度に対し、基準画像および特徴量の種類に応じて任意
の重み付けを行うことができるように、各種類の特徴量
毎の重要度を各基準画像毎に設定することが可能であ
り、フォルダそれぞれについて、各種類の特徴量毎に各
基準画像および分類対象の画像の類似度を求め、各種類
の特徴量毎に求めた類似度に対し、設定された重要度に
応じた重み付けを行うことにより、ユーザの意図を分類
条件として正確に表現できるため、ユーザの意図を正確
に装置に伝えることが可能となると共に、重要度は類似
度に対する重み付けとして反映されるため、ユーザの意
図が反映された画像の分類結果を得ることが可能とな
る。

【０４９８】〔実施の形態２４〕実施の形態２４に係る
画像分類装置は、実施の形態２１の画像分類装置におい
て、実施の形態１１で説明した画像検索処理を応用する
ことにより、分類に対するユーザの意図を装置側が汲み
取ることができるようにしたものである。

【０４９９】実施の形態２４に係る画像分類装置による
画像の分類処理は、実施の形態２０で説明に用いた図４
１の分類条件設定ウインドウ３６０ｄにおいて、ＡＮＤ
指定ボタン３６４ではなく、ＯＲ指定ボタン３６５が選
択された場合に実行される。そこで、実施の形態２０に
おける「（１）分類項目設定処理」の説明において、Ｏ
Ｒ指定ボタン３６５が選択されたものとして、以下にＯ
Ｒ条件による画像分類処理を説明する。

【０５００】なお、ＯＲ条件の指定と共に、図４１に示
したフォルダ３５２には、実施の形態２０の場合と同様
に基準画像Ａ，ＢおよびＣ，特徴量の種類毎に特徴抽出
エンジン１５２で決定された重要度ならびに閾値が分類
条件として設定されたものとする。

【０５０１】つぎに、実施の形態２４の画像分類処理に
ついて図４５を参照しつつ説明する。ユーザが画像分類
処理の開始を指定すると、図３４のマッチング・エンジ
ン１５３は、フォルダ３５２〜３５８毎に、３種類の特
徴量を用いて各基準画像および分類対象の画像の類似度
を求め、求めた各類似度に対して重要度に応じた重み付
けを行い、各類似度の中から最も高い類似性を示す類似
度を選択して分類対象の画像の総合類似度を求める処理
を実行する（Ｓ２２０１）。

【０５０２】このステップＳ２２０１における処理につ
いてフォルダ３５２を例にとって具体的に説明する。マ
ッチング・エンジン１５３は、分類木ＤＢ３０２のフォ
ルダ情報を参照し、フォルダ３５２に設定された基準画
像Ａ（図４１の分類条件設定ウインドウ３６０ｄを参
照）および分類対象の画像の類似度を色の特徴量を用い
て求める。すなわち、マッチング・エンジン１５３は、
色の特徴量に基づいて図４に示した特徴量空間中にプロ
ットされた分類対象の画像と基準画像Ａとの距離を例え
ばユークリッド距離などのベクトルの距離定義式を用い
て求める。続いて、マッチング・エンジン１５３は、求
めた距離に対し、特徴抽出エンジン１５２で色の特徴量
について決定した重要度に応じて重み付けを行う。さら
に、マッチング・エンジン１５３は、分類対象の画像と
基準画像Ａについて、構造の特徴量およびテクスチャの
特徴量を用いた距離を求め、求めた各距離に対し、特徴
抽出エンジン１５２で決定した構造の特徴量の重要度お
よびテクスチャの特徴量の重要度に応じて重み付けを行
う。

【０５０３】マッチング・エンジン１５３は、同様に、
分類対象の画像と基準画像Ｂとの距離を３種類の特徴量
毎に求め、求めた各距離に対し、各種類の特徴量毎に決
定された重要度に応じた重み付けを行う。また、分類対
象の画像と基準画像Ｃとの距離を３種類の特徴量毎に求
め、求めた各距離に対し、各種類の特徴量毎に決定され
た重要度に応じた重み付けを行う。

【０５０４】その後、マッチング・エンジン１５３は、
３種類の特徴量毎に求めた分類対象の画像と各基準画像
Ａ，ＢおよびＣとの距離の中から最も短い距離を選択し
て総合類似度を求める。マッチング・エンジン１５３
は、このようにしてフォルダ３５２〜３５８毎に総合類
似度を求める。

【０５０５】続いて、マッチング・エンジン１５３は、
分類木ＤＢ３０２を参照して、フォルダ３５２〜３５８
毎に、ステップＳ２２０１で求めた総合類似度が閾値を
超えるか否かを判定する（Ｓ２２０２）。ただし、ここ
では類似度として距離を用いており、距離が短い（距離
の値が小さい）ほど類似性が高いことになるため、実際
には、総合類似度が閾値以下（または未満）であるか否
かを判定することになる。

【０５０６】そして、マッチング・エンジン１５３は、
求めた総合類似度が閾値を超えるフォルダに分類対象の
画像を分類する（Ｓ２２０３）。すなわち、マッチング
・エンジン１５３は、求めた総合類似度が閾値を超える
フォルダを分類対象の画像の分類先として決定し、分類
木ＤＢ３０２中に登録された該当するフォルダのフォル
ダ情報に関連付けて分類対象の画像のＩＤ（予め設定さ
れているものとする）を分類木ＤＢ３０２に登録する。

【０５０７】以上説明したステップＳ２２０１〜Ｓ２２
０３の処理を画像ＤＢ１０８中に登録されている各画像
に対して実行することにより、画像ＤＢ１０８中の画像
を分類することができる。また、マッチング・エンジン
１５３は、各フォルダ３５２〜３５８それぞれに分類さ
れた画像の中から、最も高い総合類似度（距離で表現す
れば最も小さい総合類似度）を持つ画像を代表画像とし
て選択し、該当するフォルダ情報に関連付けて分類木Ｄ
Ｂ３０２に登録する。画像の分類処理が実行されると、
図４１の画像分類ウインドウ３５０ｄの各フォルダ３５
２〜３５８には、図３７に示すように代表画像が表示さ
れる。

【０５０８】このように、実施の形態２４に係る画像分
類装置によれば、複数種類の特徴量を用いて基準画像お
よび検索対象の画像の類似度を求める場合に、求めた類
似度に対し、特徴量の種類に応じて任意の重み付けを行
うことができるように、分類項目毎に、設定された各基
準画像間の類似度を各種類の特徴量毎に求め、各種類の
特徴量毎に求めた類似度に基づいて各基準画像間におけ
る各特徴量毎の重要度を決定し、分類項目それぞれにつ
いて、各種類の特徴量毎に各基準画像および分類対象の
画像の類似度を求め、各種類の特徴量毎に求めた類似度
に対し、決定された重要度に応じた重み付けを行うこと
により、装置側でユーザが指定した基準画像間における
各種類の特徴量の重要度を判断し、判断した重要度を画
像間の類似度に反映させるため、ユーザが望む通りの画
像分類処理を実現することができ、ユーザが望む画像の
分類結果を得ることができる。

【０５０９】〔実施の形態２５〕つぎに、実施の形態２
５に係る画像分類装置について説明する。実施の形態２
５に係る画像分類装置は、ユーザが希望する基準で画像
を動的に分類していき、所望の画像を探し出すことがで
きるようにするものである。

【０５１０】なお、実施の形態２５に係る画像分類装置
の構成および画像分類ソフトの構成は図３３および図３
４の通りであるため、ここではこれらについての説明を
省略し、画像分類処理についてのみ説明することにす
る。また、分類対象となる画像は、ここでは画像ＤＢ１
０８に登録されている画像であるものとし、これらの画
像からは色，構造およびテクスチャの特徴量が抽出され
て画像特徴ＤＢ１０９に登録されているものとする。

【０５１１】図４６〜図４８は、実施の形態２５におけ
る画像分類処理の説明図である。ユーザが図示しないメ
ニューから「画像分類処理」を選択すると、図３４のＵ
／Ｉ部１５１は、図４６に示す画像分類ウインドウ４０
０を画面表示する。

【０５１２】図４６に示す画像分類ウインドウ４００に
は、初期状態として、画像ＤＢ１０８中の全ての画像を
対象とした分類項目４０１と、画像ＤＢ１０８中に登録
された画像を動的に分類していく際に使用する特徴量の
種類を表す分類項目４０２ａ，４０３ａおよび４０４ａ
とが示されている。ユーザが分類項目４０２ａ，４０３
ａおよび４０４ａのいずれかを選択することにより、画
像ＤＢ１０８中の画像が動的に分類されることになる。

【０５１３】ここで、分類項目４０２ａは、色の特徴量
を用いて画像を分類する際に使用する項目であり、分類
項目４０３ａは、構造の特徴量を用いて画像を分類する
際に使用する項目であり、分類項目４０４ａは、テクス
チャの特徴量を用いて画像を分類するための項目であ
る。

【０５１４】図４６において、ユーザが分類項目４０２
ａを指定したものとすると、Ｕ／Ｉ部１５１は、色の特
徴量が指定されたことをマッチング・エンジン１５３に
通知する。マッチング・エンジン１５３は、色の特徴空
間（図４参照）において画像ＤＢ１０８中の画像をNear
est Neighbor法やＫ−平均アルゴリズム等の一般的なク
ラスタリング手法を用いてクラスタリングする（類似す
る画像同士のグループに分類する）と共に、個々のクラ
スタから代表画像を選択する。なお、代表画像について
は、例えばクラスタの中心の画像を代表画像として選択
する等、代表画像同士が非類似であれば選択方法はいか
なるものであっても良い。

【０５１５】そして、Ｕ／Ｉ部１５１は、マッチング・
エンジン１５３からクラスタリングの結果を入力し、図
４７に示すように、ユーザによって選択された分類項目
４０２ａに関連付けて代表画像４０５〜４０８を表示す
る。図４７においては、代表画像が４枚表示されている
ため、画像ＤＢ１０８の画像が色の特徴量により４つの
クラスタに分類されたことが示されている。つまり、実
施の形態２５においては、特徴量の種類を指定すること
によって生成されるクラスタが実質的な分類項目という
ことになる。ユーザは必要に応じて代表画像以外の各ク
ラスタに属する画像を表示して見ることができる。

【０５１６】図４８は、代表画像４０７のクラスタを色
の特徴空間でさらにクラスタリングして分類した結果を
示している。このように、段階的に特徴量の種類を指定
していくことにより、ユーザは目的の画像にたどり着く
ことができる。

【０５１７】なお、色以外の特徴量については詳細な説
明を省略するが、構造やテクスチャの特徴量が選択され
た場合であっても、同様に特徴空間でクラスタリングが
行われ、画像が分類されていくことになる。

【０５１８】このように、実施の形態２５に係る画像分
類装置によれば、特徴量の種類が指定されると、指定さ
れた種類の特徴量を用いて分類対象の各画像間の類似度
を求め、求めた分類対象の各画像間の類似度に基づい
て、分類対象の各画像を類似する画像同士のグループに
分類し、分類された各グループからそれぞれグループを
代表する代表画像を選択して画面表示し、さらに、表示
された代表画像の一つが指定されるとと共に、特徴量の
種類が指定されると、指定された種類の特徴量を用いて
代表画像の属するグループに分類された各画像を類似す
る画像同士のグループに分類し、分類された各グループ
からそれぞれグループを代表する代表画像を選択して画
面表示することにより、画像を分類したい時にユーザが
希望する基準で画像を動的に分類していくことが可能と
なるため、画像の分類を利用して所望の画像を探し出す
ことが可能となる。したがって、新たな分類方法で画像
を分類可能な画像分類装置を提供することができる。

【０５１９】また、特徴量の種類を分類項目４０２，４
０３および４０４として画面表示し、指定された分類項
目に関連付けて、分類された各グループの代表画像を画
面表示することにより、図４８に示すように画像ＤＢ１
０８中の画像を分類した結果を木構造で画面表示できる
ため、ユーザが画像分類処理の様子を一目で認識でき、
動的な画像分類処理の利便性の向上を図ることができ
る。

【０５２０】なお、実施の形態２５の画像分類処理によ
って画像を分類した結果を、例えば分類履歴として分類
木ＤＢ３０２に登録しておくことにより、再利用するこ
とができる。

【０５２１】また、分類対象の画像は画像ＤＢ１０８中
の画像に限定されるものではなく、例えば実施の形態１
〜１３の画像検索装置で検索した結果の複数の画像を分
類対象の画像として用いることもできる。

【０５２２】〔実施の形態２６〕つぎに、実施の形態２
６の画像分類装置について説明する。実施の形態２６に
係る画像分類装置は、実施の形態１４〜２５で説明した
画像分類装置の一部または全てを一つの画像分類装置と
して統合したものである。すなわち、実施の形態１４〜
２５における説明から明らかなように、これらの装置は
図３３および図３４に示したような共通の構成で実現可
能なものであるため、容易に統合することができる。

【０５２３】実施の形態１４〜２５で説明した画像分類
装置を一つに統合することにより、各フォルダ毎に異な
る方法で分類条件を設定することができる。例えば、図
３５において、フォルダ３５２には実施の形態１４で説
明した分類条件を、フォルダ３５３には実施の形態１７
で説明した分類条件を、フォルダ３５８には実施の形態
２１で説明した分類条件をそれぞれ設定することができ
る。

【０５２４】なお、分類条件の設定処理や画像の分類処
理については各実施の形態の項で説明した通りであるた
め、ここでは説明を省略する。

【０５２５】このように、実施の形態１４〜２５で説明
した画像分類装置を一つに統合することにより、さまざ
まな視点で分類条件を設定することができ、分類条件の
設定に関する自由度を増すことができる。

【０５２６】なお、画像分類装置の場合と同様の理由
で、実施の形態１〜１３で説明した画像検索装置を一つ
の装置として統合することも可能である。これにより、
異なる検索方法を組み合わせて所望の画像を検索するこ
とが可能となる。

【０５２７】〔実施の形態２７〕さらに、実施の形態１
〜２５で説明した画像検索装置および画像分類装置の一
部または全てを一つの装置として統合することもできる
（画像検索装置または画像分類装置のマッチング・エン
ジン１５３に画像検索処理および画像分類処理の両方の
機能を持たせるということ）。つまり、本発明の実施の
形態で説明した画像検索処理および画像分類処理におい
ては、図２および図３４に示したマッチング・エンジン
１５３が画像から抽出した特徴量を用いて画像間の類似
度を求めることが基本となっていることから、実施の形
態１〜２５で説明した画像検索装置および画像分類装置
を一つの装置に容易に統合することが可能である。

【０５２８】詳細な説明については省略するが、実施の
形態１〜２５で説明した画像検索装置および画像分類装
置を一つの装置に統合することによって以下のような処
理を行うことが可能となる。

【０５２９】（１）実施の形態１４〜２５で説明したい
ずれかの画像分類処理で各フォルダ（分類項目）に分類
した画像の中から選択した画像を問合せ画像として指定
して、実施の形態１〜１３で説明したいずれかの画像検
索処理で画像検索を行うことができる。 （２）実施の形態１〜１３で説明したいずれかの画像検
索処理で検索された検索結果の画像を分類対象とし、実
施の形態１４〜２５（または２６）で説明したいずれか
の画像分類処理で分類することができる。 （３）実施の形態１４〜２５で説明したいずれかの画像
分類処理で特定のフォルダ（分類項目）に分類された複
数の画像を検索対象とし、実施の形態１〜１３で説明し
たいずれかの画像検索処理で所望の画像を検索すること
ができる。

【０５３０】このように、実施の形態１〜２５で説明し
た画像検索装置および画像分類装置の一部または全てを
一つの装置に統合することにより、自由に画像検索処理
や画像分類処理を実行することが可能となる。

【０５３１】以上説明したように、本発明に係る画像処
理装置および画像分類装置は、各フローチャートに基づ
く手順に従って、予め用意されたプログラムをコンピュ
ータで実行することによって実現される。このプログラ
ムは、前述した各実施の形態毎、または任意に組み合わ
せて提供することが可能である。

【０５３２】このプログラムは、ハードディスク，フロ
ッピーディスク，ＣＤ−ＲＯＭ，ＭＯ，ＤＶＤ等のコン
ピュータで読み取り可能な記録媒体に記録されて提供さ
れる。そして、図４９（ａ）に示すように、プログラム
は、記録媒体４５０からＣＰＵ１０１（コンピュータ１
００）によって読み出され、ＣＰＵ１０１がプログラム
に基づく処理を実行することによって本発明に係る画像
検索装置および／または画像分類装置が実現される。

【０５３３】また、このプログラムは、図４９（ｂ）に
示すように、サーバ４５１の記録媒体からインターネッ
トやＬＡＮのようなネットワークを介してダウンロード
し、ＣＰＵ１０１に読み込むという形態においても実行
可能なものである。また、ネットワークではなく、例え
ば放送波でプログラムを配信することによってもダウン
ロードして実行することができる。

【０５３４】また、前述した各実施の形態においては特
に言及しなかったが、本発明の画像検索装置および画像
分類装置は、静止画に限らず、動画像にも適用すること
ができる。これは、動画像は連続する静止画からなるも
のであるからである。

【０５３５】また、実施の形態１〜３で説明した画像検
索処理は実施の形態４〜７で説明したＡＮＤ検索と同様
の手法を用いたものであるといえ、それらに対して実施
の形態８〜１１で説明したＯＲ検索を適用することも可
能であることから、検索ウインドウ２００ａ，２００ｂ
および２００ｃ（図５，図７および図９）において、Ａ
ＮＤ条件およびＯＲ条件を指定できるようにしても良
い。実施の形態１４〜１６で説明した画像分類装置にお
いても、同様に、分類条件の一つしてＡＮＤ条件および
ＯＲ条件を指定できるようにしても良い。

【０５３６】また、実施の形態４〜７で説明した画像検
索装置，実施の形態８〜１１で説明した画像検索装置，
実施の形態１７〜２０で説明した画像分類装置，および
実施の形態２１〜２４で説明した画像分類装置において
は、それぞれＡＮＤ条件またはＯＲ条件を指定すること
にしているが、ＡＮＤ条件またはＯＲ条件の指定は必須
のものではない。換言すれば、ＡＮＤ条件またはＯＲ条
件を指定しなくても、各実施の形態で説明した処理を実
行するように装置を構成することができる。

【０５３７】また、詳細な説明については省略するが、
実施の形態１４〜２４で説明した画像分類装置におい
て、例えば図３５に示したフォルダ３５４に画像を分類
する処理を実行するタイミングは、フォルダ３５３に画
像が分類された後となる。なぜなら、フォルダ３５４は
フォルダ３５３に分類された画像をさらに分類するため
のものであるからである。加えて、画像を分類するため
のフォルダの追加・削除や、フォルダに設定した分類条
件の変更等の処理を自由に行うこともできる。

【０５３８】さらに、詳細な説明については省略する
が、例えばクライアント・サーバシステムにおいて、サ
ーバに各実施の形態で説明した画像検索装置または画像
分類装置の機能を持たせるようにして、クライアントか
ら検索条件を指定したり、分類された画像をクライアン
トの画面に表示させたりすることが可能であることは明
らかである。

【０５３９】

【発明の効果】以上説明したように、本発明の画像検索
装置（請求項１）によれば、問合せ画像および検索対象
の画像の類似度を求める際に使用される各種類の特徴量
毎にそれぞれ一つの問合せ画像を指定し、検索対象の画
像毎に、指定された各問合せ画像との類似度を対応する
種類の特徴量を用いて求めると共に、求めた各問合せ画
像との類似度を合計して検索対象の画像の総合類似度を
求め、検索対象の画像毎に求めた総合類似度に基づいて
検索結果を出力することにより、ユーザの意図を検索条
件として正確に表現できるため、ユーザの意図を正確に
装置に伝えることができると共に、検索に対するユーザ
の意図を確実に装置に伝えることができるため、検索に
対するユーザの意図を正確に反映した検索結果を得るこ
とができ、ユーザが望む通りの精度の高い画像検索処理
を行うことができる。具体的には、例えば、問合せ画像
として適切な画像が存在しない場合であっても、検索結
果として望む画像に色の雰囲気が似た画像やオブジェク
トの形状の雰囲気が似た画像を問合せ画像として指定
し、これらの画像を合わせたものを一つの問合せとして
使用することができる。

【０５４０】また、本発明の画像検索装置（請求項２）
によれば、問合せ画像を複数指定すると共に、指定した
各問合せ画像毎に検索対象の画像との類似度を求める際
に使用する特徴量の種類を指定し、検索対象の画像毎
に、指定された種類の特徴量を用いて各問合せ画像との
類似度を求めると共に、求めた各問合せ画像との類似度
を合計して検索対象の画像の総合類似度を求め、検索対
象の画像毎に求めた総合類似度に基づいて検索結果を出
力することにより、ユーザの意図を検索条件として正確
に表現できるため、ユーザの意図を正確に装置に伝える
ことができると共に、検索に対するユーザの意図を確実
に装置に伝えることができるため、検索に対するユーザ
の意図を正確に反映した検索結果を得ることができ、ユ
ーザが望む通りの精度の高い画像検索処理を行うことが
できる。具体的には、例えば、問合せ画像として適切な
画像が存在しない場合であっても、検索結果として望む
画像に色の雰囲気が似た画像やオブジェクトの形状の雰
囲気が似た画像を問合せ画像として指定し、これらの画
像を合わせたものを一つの問合せとして使用することが
できる。

【０５４１】また、本発明の画像検索装置（請求項３）
によれば、問合せ画像を複数指定し、検索対象の画像毎
に、指定された各問合せ画像との類似度を求めると共
に、求めた各問合せ画像との類似度を合計して検索対象
の画像の総合類似度を求め、検索対象の画像毎に求めた
総合類似度に基づいて、検索結果を出力することによ
り、ＡＮＤ検索を行うことが可能となるため、ユーザの
意図を検索条件として正確に表現するための一つの手法
を提供することができる。

【０５４２】また、本発明の画像検索装置（請求項４）
によれば、問合せ画像を複数指定し、検索対象の画像毎
に、指定された各問合せ画像との類似度を求めると共
に、求めた各問合せ画像との類似度の中から最も高い類
似性を示す類似度を選択して検索対象の画像の総合類似
度を求め、検索対象の画像毎に求めた総合類似度に基づ
いて、検索結果を出力することにより、ＯＲ検索を行う
ことが可能となるため、ユーザの意図を検索条件として
正確に表現するための一つの手法を提供することができ
る。

【０５４３】また、本発明の画像検索装置（請求項５）
によれば、請求項２，３または４に記載の画像検索装置
において、求めた類似度に対し、問合せ画像の種類に応
じて任意の重み付けを行うことができるように、各問合
せ画像毎に重要度を指定することが可能であり、検索対
象の画像毎に、各問合せ画像との類似度を求め、求めた
各問合せ画像との類似度に対し、指定された重要度に応
じた重み付けを行った後、総合類似度を求めることによ
り、ユーザの意図を検索条件として正確に表現できるた
め、ユーザの意図を正確に装置に伝えることが可能とな
ると共に、重要度は類似度に対する重み付けとして反映
されるため、ユーザの意図が反映された検索結果の画像
を得ることが可能となる。

【０５４４】また、本発明の画像検索装置（請求項６）
によれば、請求項３または４に記載の画像検索装置にお
いて、複数種類の特徴量を用いて問合せ画像および検索
対象の画像の類似度を求める場合に、求めた類似度に対
し、問合せ画像および特徴量の種類に応じて任意の重み
付けを行うことができるように、各種類の特徴量毎の重
要度を各問合せ画像毎に指定することが可能であり、検
索対象の画像それぞれについて、各種類の特徴量毎に各
問合せ画像との類似度を求め、各種類の特徴量毎に求め
た各問合せ画像との類似度に対し、指定された重要度に
応じた重み付けを行った後、総合類似度を求めることに
より、ユーザの意図を検索条件として正確に表現できる
ため、ユーザの意図を正確に装置に伝えることが可能と
なると共に、重要度は類似度に対する重み付けとして反
映されるため、ユーザの意図が反映された検索結果の画
像を得ることが可能となる。

【０５４５】また、本発明の画像検索装置（請求項７）
によれば、請求項３または４に記載の画像検索装置にお
いて、複数種類の特徴量を用いて問合せ画像および検索
対象の画像の類似度を求める場合に、求めた類似度に対
し、特徴量の種類に応じて任意の重み付けを行うことが
できるように、各種類の特徴量毎に、指定された各問合
せ画像間の類似度を求め、求めた各種類の特徴量毎の類
似度に基づいて各問合せ画像間における各種類の特徴量
毎の重要度を決定し、検索対象の画像それぞれについ
て、各種類の特徴量毎に各問合せ画像との類似度を求
め、各種類の特徴量毎に求めた各問合せ画像との類似度
に対し、決定した各種類の特徴量毎の重要度に応じた重
み付けを行った後、総合類似度を求めることにより、装
置側でユーザが指定した問合せ画像間における各種類の
特徴量の重要度を判断し、判断した重要度を画像間の類
似度に反映させるため、ユーザの意図に合った検索結果
を返すことが可能となる。したがって、ユーザが望む通
りの検索処理を実現することができ、ユーザが望む検索
結果を得ることができる。

【０５４６】また、本発明の画像検索装置（請求項８）
によれば、問合せ画像を少なくとも一つ指定すると共
に、画像から抽出する特徴量の粗さのレベルを粗から細
に向かって段階的に定義した抽出基準に基づいて、検索
に利用する特徴量の粗さのレベルを少なくとも一つ指定
し、抽出基準に基づいて、問合せ画像および複数の検索
対象の画像から少なくとも指定された粗さのレベルに該
当する特徴量を所定のタイミングで抽出し、検索対象の
画像毎に、指定された粗さのレベルに応じた特徴量を用
いて問合せ画像との類似度を求め、検索対象の画像毎に
求めた類似度に基づいて検索結果を出力するため、検索
精度の異なる複数種類の検索処理を実行することが可能
となる。すなわち、ユーザが検索に使用する特徴量の粗
さのレベルを少なくとも一つ指定することができるた
め、検索に対するユーザの視点の細かさを検索条件とし
て表現でき、ユーザの意図を検索条件として正確に表現
することができる。したがって、ユーザが望む通りの画
像検索処理を行うことが可能となる。

【０５４７】また、本発明の画像検索装置（請求項９）
によれば、請求項８に記載の画像検索装置において、抽
出基準が、少なくとも画像を何分割するかを表す分割数
を粗さのレベルとして段階的に定義しており、段階的に
定義された粗さのレベルのいずれか一つに応じて特徴量
を抽出する場合、該当する分割数に基づいて画像を分割
して複数の分割画像を生成し、生成した各分割画像から
特徴量をそれぞれ抽出することにより、問合せ画像およ
び検索対象の画像から分割画像単位の特徴量からなる特
徴量群を抽出し、特徴量群を利用して問合せ画像および
検索対象の画像の類似度を求める場合、問合せ画像およ
び検索対象の画像の対応する分割画像毎の類似度を該当
する特徴量を用いてそれぞれ求めることにより、問合せ
画像および検索対象の画像の類似度を求めるようにした
ため、画像の分割数で特徴量の粗さのレベルを容易に定
義することができ、各分割画像毎に類似度を求めること
によって画像検索に画像特徴の位置関係という概念を導
入することが可能となる。したがって、精度の高い画像
検索処理を実行することが可能となる。

【０５４８】また、本発明の画像検索装置（請求項１
０）によれば、抽出基準が、段階的に定義された粗さの
レベル中の最も粗い特徴量を示すレベルとして、画像を
分割することなく、画像全体を特徴量の抽出対象とする
レベルを含み、画像全体を特徴量の抽出対象とするレベ
ルに応じて特徴量を抽出する場合、問合せ画像および検
索対象の画像から画像全体を対象として特徴量を抽出す
るため、画像特徴の位置関係を無視した単純なレベルで
の検索処理を含めることが可能となる。

【０５４９】また、本発明の画像検索装置（請求項１
１）によれば、請求項８，９または１０のいずれか一つ
に記載の画像検索装置において、抽出基準が、画像中に
存在するオブジェクトを特徴量の抽出対象とする場合
に、オブジェクトから抽出する特徴量の粗さのレベルの
定義を含むため、さらに異なる視点で検索条件を指定す
ることが可能となり、ユーザの意図を検索条件として正
確に表現することができる。

【０５５０】また、本発明の画像検索装置（請求項１
２）によれば、請求項８〜１１のいずれか一つに記載の
画像検索装置において、複数の検索対象の画像について
は抽出基準で定義された全ての粗さのレベルに応じた特
徴量を予め抽出しておき、指定された問合せ画像のう
ち、特徴量が抽出されていない問合せ画像については類
似度を求める処理を実行する前に指定された粗さのレベ
ルに応じた特徴量を抽出するようにしたため、画像検索
処理の高速化を図ることができる。

【０５５１】また、本発明の画像検索装置（請求項１
３）によれば、問合せ画像を少なくとも一つ指定し、検
索対象の画像毎に、検索対象の画像中の所定のサイズの
領域と指定された問合せ画像との類似度を予め抽出した
所定の特徴量を用いて求める処理を検索対象の画像全体
にわたって繰り返し実行し、検索対象の画像毎に求めた
類似度に基づいて検索結果を出力するため、検索対象の
画像の中から、問合せ画像を含む画像を探し出すことが
できる。したがって、ユーザの意図するような画像検索
を実現する一つの手法を提供することができる。

【０５５２】また、本発明の画像検索装置（請求項１
４）によれば、請求項１〜１３のいずれか一つに記載の
画像検索装置において、検索結果の画像を問合せ画像と
して指定できるため、さらに詳細な絞込み検索を行うこ
とができ、ユーザが望む通りの検索処理を実現すること
ができる。

【０５５３】また、本発明のコンピュータ読み取り可能
な記録媒体（請求項１５）によれば、請求項１〜１４の
いずれか１つに記載の画像検索装置の各手段としてコン
ピュータを機能させるためのプログラムを記録したた
め、このプログラムをコンピュータに実行させることに
より、検索条件を指定する際にユーザの視点を確実に装
置に伝えることを可能とすると共に、ユーザの視点に合
った検索結果を返すことを可能とする画像検索装置を実
現することが可能となる。すなわち、ユーザが望む通り
の検索処理を実現することができる画像検索装置を実現
することが可能となる。

【０５５４】また、本発明の画像分類装置（請求項１
６）によれば、分類項目を設定し、設定した分類項目そ
れぞれに対し、基準画像および分類対象の画像の類似度
を求める際に使用される各種類の特徴量毎にそれぞれ一
つの基準画像を設定し、分類項目毎に、設定された各基
準画像および分類対象の画像の類似度を対応する種類の
特徴量を用いて求めると共に、求めた類似度を合計して
分類対象の画像の総合類似度を求め、分類項目毎に求め
た分類対象の画像の総合類似度および予め設定された分
類先決定基準に基づいて、分類対象の画像の分類先とな
る分類項目を決定することにより、ユーザの意図を分類
条件として正確に表現できるため、ユーザの意図を正確
に装置に伝えることができると共に、分類に対するユー
ザの意図を確実に装置に伝えることができるため、分類
に対するユーザの意図を正確に反映した分類結果を得る
ことができ、ユーザが望む通りの分類処理を実現するこ
とができる。すなわち、基準画像として適切な画像が存
在しない場合であっても、例えば分類結果として望む画
像に色の雰囲気が似た画像やオブジェクトの形状の雰囲
気が似た画像を基準画像として指定し、これらの画像を
合わせたものを一つの基準画像として使用するため、分
類条件を指定する際にユーザの視点を確実に装置に伝え
ることができると共に、このような基準画像を使用して
分類処理を実行するため、ユーザの望む分類先に画像を
適切に分類することが可能となる。

【０５５５】また、本発明の画像分類装置（請求項１
７）によれば、分類項目を設定し、設定した分類項目毎
に、基準画像を複数設定すると共に、設定した各基準画
像毎に分類対象の画像との類似度を求める際に使用する
特徴量の種類を設定し、分類項目毎に、設定された種類
の特徴量を用いて各基準画像および分類対象の画像の類
似度を求めると共に、求めた類似度を合計して分類対象
の画像の総合類似度を求め、分類項目毎に求めた分類対
象の画像の総合類似度および予め設定された分類先決定
基準に基づいて、分類対象の画像の分類先となる分類項
目を決定することにより、ユーザの意図を分類条件とし
て正確に表現できるため、ユーザの意図を正確に装置に
伝えることができると共に、分類に対するユーザの意図
を確実に装置に伝えることができるため、分類に対する
ユーザの意図を正確に反映した分類結果を得ることがで
き、ユーザが望む通りの分類処理を実現することができ
る。すなわち、基準画像として適切な画像が存在しない
場合であっても、例えば分類結果として望む画像に色の
雰囲気が似た画像やオブジェクトの形状の雰囲気が似た
画像を基準画像として指定し、これらの画像を合わせた
ものを一つの基準画像として使用するため、分類条件を
指定する際にユーザの視点を確実に装置に伝えることが
できると共に、このような基準画像を使用して分類処理
を実行するため、ユーザの望む分類先に画像を適切に分
類することが可能となる。

【０５５６】また、本発明の画像分類装置（請求項１
８）によれば、分類項目を設定し、設定した分類項目毎
に、基準画像を複数設定し、分類項目毎に、設定された
各基準画像および分類対象の画像の類似度を求めると共
に、求めた類似度を合計して分類対象の画像の総合類似
度を求め、分類項目毎に求めた分類対象の画像の総合類
似度および予め設定された分類先決定基準に基づいて、
分類対象の画像の分類先となる分類項目を決定するた
め、ＡＮＤ検索処理を応用した画像分類処理を行うこと
が可能となる。したがって、新たな分類方法で画像を分
類可能な画像分類装置を提供することができる。

【０５５７】また、本発明の画像分類装置（請求項１
９）によれば、分類項目を設定し、設定した分類項目毎
に、基準画像を複数設定し、分類項目毎に、設定された
各基準画像および分類対象の画像の類似度を求めると共
に、求めた類似度の中から最も高い類似性を示す類似度
を選択して分類対象の画像の総合類似度を求め、分類項
目毎に求めた分類対象の画像の総合類似度および予め設
定された分類先決定基準に基づいて、分類対象の画像の
分類先となる分類項目を決定するため、ＯＲ検索処理を
応用した画像分類処理を行うことが可能となる。したが
って、新たな分類方法で画像を分類可能な画像分類装置
を提供することができる。

【０５５８】また、本発明の画像分類装置（請求項２
０）によれば、請求項１７，１８または１９に記載の画
像分類装置において、求めた類似度に対し、基準画像の
種類に応じて任意の重み付けを行うことができるよう
に、各基準画像毎に重要度を設定することが可能であ
り、分類項目毎に、各基準画像および分類対象の画像の
類似度を求め、求めた類似度に対し、設定された重要度
に応じた重み付けを行った後、総合類似度を求めること
により、ユーザの意図を分類条件として正確に表現でき
るため、ユーザの意図を正確に装置に伝えることが可能
となると共に、重要度は類似度に対する重み付けとして
反映されるため、ユーザの意図が反映された画像の分類
結果を得ることが可能となる。

【０５５９】また、本発明の画像分類装置（請求項２
１）によれば、請求項１８または１９に記載の画像分類
装置において、複数種類の特徴量を用いて基準画像およ
び分類対象の画像の類似度を求める場合に、求めた類似
度に対し、基準画像および特徴量の種類に応じて任意の
重み付けを行うことができるように、各種類の特徴量毎
の重要度を各基準画像毎に設定することが可能であり、
分類項目それぞれについて、各種類の特徴量毎に各基準
画像および分類対象の画像の類似度を求め、各種類の特
徴量毎に求めた類似度に対し、設定された重要度に応じ
た重み付けを行った後、総合類似度を求めることによ
り、ユーザの意図を分類条件として正確に表現できるた
め、ユーザの意図を正確に装置に伝えることが可能とな
ると共に、重要度は類似度に対する重み付けとして反映
されるため、ユーザの意図が反映された画像の分類結果
を得ることが可能となる。

【０５６０】また、本発明の画像分類装置（請求項２
２）によれば、請求項１８または１９に記載の画像分類
装置において、さらに、複数種類の特徴量を用いて基準
画像および分類対象の画像の類似度を求める場合に、求
めた類似度に対し、特徴量の種類に応じて任意の重み付
けを行うことができるように、分類項目毎に、設定され
た各基準画像間の類似度を各種類の特徴量毎に求め、各
種類の特徴量毎に求めた類似度に基づいて各基準画像間
における各特徴量毎の重要度を決定し、分類項目それぞ
れについて、各種類の特徴量毎に各基準画像および分類
対象の画像の類似度を求め、各種類の特徴量毎に求めた
類似度に対し、決定された重要度に応じた重み付けを行
った後、総合類似度を求めることにより、装置側でユー
ザが指定した基準画像間における各種類の特徴量の重要
度を判断し、判断した重要度を画像間の類似度に反映さ
せるため、ユーザの意図に合った画像の分類結果を返す
ことが可能となる。したがって、ユーザが望む通りの分
類処理を実現することができ、ユーザが望む分類結果を
得ることができる。

【０５６１】また、本発明の画像分類装置（請求項２
３）によれば、請求項１６〜２２のいずれか一つに記載
の画像分類装置において、分類項目毎に分類された画像
をさらに分類するための分類項目を設定できるため、詳
細な画像の分類処理を実行することが可能となる。

【０５６２】また、本発明の画像分類装置（請求項２
４）によれば、特徴量の種類が指定されると、指定され
た種類の特徴量を用いて分類対象の各画像間の類似度を
求め、求めた分類対象の各画像間の類似度に基づいて、
分類対象の各画像を類似する画像同士のグループに分類
し、分類された各グループからそれぞれグループを代表
する代表画像を選択して画面表示し、さらに、表示され
た代表画像の一つを指定すると共に、特徴量の種類を指
定すると、指定された種類の特徴量を用いて代表画像の
属するグループに分類された各画像を類似する画像同士
のグループに分類し、分類された各グループからそれぞ
れグループを代表する代表画像を選択して画面表示する
ことにより、画像を分類したい時にユーザが希望する基
準で画像を動的に分類していくことが可能となるため、
画像の分類を利用して所望の画像を探し出すことが可能
となる。したがって、新たな分類方法で画像を分類可能
な画像分類装置を提供することができる。

【０５６３】また、本発明の画像分類装置（請求項２
５）によれば、請求項２４に記載の画像分類装置におい
て、指定可能な特徴量の種類を画面表示し、指定された
特徴量の種類に関連付けて各グループの代表画像を画面
表示し、分類対象の複数の画像を分類した結果を木構造
で画面表示するため、ユーザが画像分類処理の様子を一
目で認識でき、動的な画像分類処理の利便性の向上を図
ることができる。

【０５６４】また、本発明の画像分類装置（請求項２
６）によれば、請求項１６〜２５のいずれか一つに記載
の画像分類装置において、さらに、分類項目毎に分類さ
れた任意の画像を問合せ画像として用いて、問合せ画像
と同一または類似の画像を検索するため、装置の利便性
の向上を図ることができる。

【０５６５】また、本発明の画像分類装置（請求項２
７）によれば、請求項２６に記載の画像分類装置におい
て、請求項１〜１４のいずれか一つに記載の画像検索装
置を用いて検索を行うため、検索条件を指定する際にユ
ーザの視点を確実に装置に伝えることが可能となると共
に、ユーザの視点に合った検索結果を返すことが可能と
なり、装置の利便性の向上を図ることができる。

【０５６６】また、本発明の画像分類装置（請求項２
８）によれば、請求項１６〜２５のいずれか一つに記載
の画像分類装置において、分類対象の画像が検索結果の
画像であるため、例えば、画像の分類を検索結果の絞込
みに応用することが可能となる。

【０５６７】さらに、本発明のコンピュータ読み取り可
能な記録媒体（請求項２９）によれば、請求項１６〜２
８のいずれか一つに記載の画像分類装置の各手段として
コンピュータを機能させるためのプログラムを記録した
ため、このプログラムを実行することにより、分類条件
を指定する際にユーザの視点を確実に装置に伝えること
を可能とすると共に、ユーザの視点に合った分類項目に
画像を分類することを可能とする画像分類装置を実現す
ることが可能となる。すなわち、ユーザの望む分類先に
画像を適切に分類することが可能となる画像分類装置を
実現することができる。

【図面の簡単な説明】

【図１】本発明の実施の形態１に係る画像検索装置のブ
ロック構成図である。

【図２】本発明の実施の形態１に係る画像検索装置にお
いて実行される処理を示すブロック図である。

【図３】本発明の実施の形態１に係る画像検索装置にお
いて実行される画像登録処理の概略を示すフローチャー
トである。

【図４】本発明に係る画像検索装置において、画像から
抽出した特徴量に応じて各画像を特徴空間にマップした
様子を示す説明図である。

【図５】本発明の実施の形態１に係る画像検索装置にお
いて検索時に使用される検索ウインドウを示す説明図で
ある。

【図６】本発明の実施の形態１に係る画像検索装置にお
いて実行される画像検索処理を示すフローチャートであ
る。

【図７】本発明の実施の形態２に係る画像検索装置にお
いて検索時に使用される検索ウインドウを示す説明図で
ある。

【図８】本発明の実施の形態２に係る画像検索装置にお
いて実行される画像検索処理を示すフローチャートであ
る。

【図９】本発明の実施の形態３に係る画像検索装置にお
いて検索時に使用される検索ウインドウを示す説明図で
ある。

【図１０】本発明の実施の形態３に係る画像検索装置に
おいて実行される画像検索処理を示すフローチャートで
ある。

【図１１】本発明の実施の形態４に係る画像検索装置に
おいて検索時に使用される検索ウインドウを示す説明図
である。

【図１２】本発明の実施の形態４に係る画像検索装置に
おいて実行される画像検索処理を示すフローチャートで
ある。

【図１３】本発明の実施の形態５に係る画像検索装置に
おいて検索時に使用される検索ウインドウを示す説明図
である。

【図１４】本発明の実施の形態５に係る画像検索装置に
おいて実行される画像検索処理を示すフローチャートで
ある。

【図１５】本発明の実施の形態６に係る画像検索装置に
おいて検索時に使用される検索ウインドウを示す説明図
である。

【図１６】本発明の実施の形態６に係る画像検索装置に
おいて実行される画像検索処理を示すフローチャートで
ある。

【図１７】本発明の実施の形態７に係る画像検索装置に
おいて実行される画像検索処理を示すフローチャートで
ある。

【図１８】本発明の実施の形態８に係る画像検索装置に
おいて実行される画像検索処理を示すフローチャートで
ある。

【図１９】本発明の実施の形態９に係る画像検索装置に
おいて実行される画像検索処理を示すフローチャートで
ある。

【図２０】本発明の実施の形態１０に係る画像検索装置
において実行される画像検索処理を示すフローチャート
である。

【図２１】本発明の実施の形態１１に係る画像検索装置
において実行される画像検索処理を示すフローチャート
である。

【図２２】本発明の実施の形態１２に係る画像検索装置
において、問合せ画像および検索対象の画像から抽出す
る特徴量の粗さのレベルを説明する説明図である。

【図２３】本発明の実施の形態１２に係る画像検索装置
における特徴量抽出処理（エッジ特徴の抽出）を説明す
る説明図である。

【図２４】本発明の実施の形態１２に係る画像検索装置
における特徴量抽出処理（エッジ特徴の抽出）を説明す
る説明図である。

【図２５】本発明の実施の形態１２に係る画像検索装置
において検索時に使用される検索ウインドウを示す説明
図である。

【図２６】本発明の実施の形態１２に係る画像検索装置
において実行される画像検索処理を示すフローチャート
である。

【図２７】本発明の実施の形態１２に係る画像検索装置
において実行される画像検索処理の変形例１を示す説明
図である。

【図２８】本発明の実施の形態１２に係る画像検索装置
において実行される画像検索処理の変形例２を示す説明
図である。

【図２９】本発明の実施の形態１３に係る画像検索装置
において実行される画像検索処理の概略を説明するため
の説明図である。

【図３０】本発明の実施の形態１３に係る画像検索装置
において実行される画像検索処理の概略を説明するため
の説明図である。

【図３１】本発明の実施の形態１３に係る画像検索装置
において実行される画像検索処理を示すフローチャート
である。

【図３２】本発明の実施の形態１３に係る画像検索装置
において検索時に使用される検索ウインドウを示す説明
図である。

【図３３】本発明の実施の形態１４に係る画像分類装置
のブロック構成図である。

【図３４】本発明の実施の形態１４に係る画像分類装置
において実行される処理を示すブロック図である。

【図３５】本発明の実施の形態１４に係る画像分類装置
において、画像の分類項目の設定処理や分類後の画像の
表示を行うための画像分類ウインドウの一例を示す説明
図である。

【図３６】本発明の実施の形態１４に係る画像分類装置
において実行される画像分類処理を示すフローチャート
である。

【図３７】本発明の実施の形態１４に係る画像分類装置
において、画像が分類された後の画像分類ウインドウの
様子を示す説明図である。

【図３８】本発明の実施の形態１５に係る画像分類装置
において、画像の分類項目の設定処理や分類後の画像の
表示を行うための画像分類ウインドウの一例を示す説明
図である。

【図３９】本発明の実施の形態１６に係る画像分類装置
において、画像の分類項目の設定処理や分類後の画像の
表示を行うための画像分類ウインドウの一例を示す説明
図である。

【図４０】本発明の実施の形態１６に係る画像分類装置
において実行される画像分類処理を示すフローチャート
である。

【図４１】本発明の実施の形態１７に係る画像分類装置
において、画像の分類項目の設定処理や分類後の画像の
表示を行うための画像分類ウインドウの一例を示す説明
図である。

【図４２】本発明の実施の形態１８に係る画像分類装置
において、画像の分類項目の設定処理や分類後の画像の
表示を行うための画像分類ウインドウの一例を示す説明
図である。

【図４３】本発明の実施の形態１９に係る画像分類装置
において、画像の分類項目の設定処理や分類後の画像の
表示を行うための画像分類ウインドウの一例を示す説明
図である。

【図４４】本発明の実施の形態２１に係る画像分類装置
において実行される画像分類処理を示すフローチャート
である。

【図４５】本発明の実施の形態２２に係る画像分類装置
において実行される画像分類処理を示すフローチャート
である。

【図４６】本発明の実施の形態２５に係る画像分類装置
において実行される画像分類処理を示す説明図である。

【図４７】本発明の実施の形態２５に係る画像分類装置
において実行される画像分類処理を示す説明図である。

【図４８】本発明の実施の形態２５に係る画像分類装置
において実行される画像分類処理を示す説明図である。

【図４９】本発明に係る画像検索装置および／または画
像分類装置を実現するプログラムを記録した記録媒体お
よびプログラムの配布形態を示す説明図である。

【符号の説明】

１００ コンピュータ １０７ 画像検索ソフト １０８ 画像ＤＢ １０９ 画像特徴ＤＢ １５１ Ｕ／Ｉ部 １５２ 特徴抽出エンジン １５３ マッチング・エンジン ２００ａ〜２００ｈ 検索ウインドウ ２０１ 検索ボタン ２０２ 画像表示欄 ２０３，３６２ 特徴量指定ボタン ２０４，２０７，２０８，３６３，３６６，３６７
重要度指定バー ２０５，３６４ ＡＮＤ指定ボタン ２０６，３６５ ＯＲ指定ボタン ２０９ 特徴指定欄 ２１０ 粗さレベル指定欄 ３０１ 画像分類ソフト ３０２ 分類木ＤＢ ３５０ａ〜３５０ｆ 画像分類ウインドウ ３５１〜３５８ フォルダ ３６０ａ〜３６０ｆ 分類条件設定ウィンドウ ３６１ 設定ボタン ４００ 画像分類ウインドウ ４０１，４０２ａ〜４０４ａ，４０２ｂ〜４０４ｂ
分類項目 ４０５〜４１２ 代表画像 ４５０ 記録媒体 ４５１ サーバ

Claims (29)

【特許請求の範囲】
1. 【請求項１】 問合せ画像および複数の検索対象の画像
   から画像の特徴を表す特徴量を少なくとも一種類抽出
   し、抽出した少なくとも一種類の特徴量を用いて前記問
   合せ画像および検索対象の画像の類似度を求めることに
   より、前記複数の検索対象の画像から前記問合せ画像と
   同一または類似の画像を検索する画像検索装置におい
   て、 前記問合せ画像および検索対象の画像の類似度を求める
   際に使用される各種類の特徴量毎にそれぞれ一つの問合
   せ画像を指定する指定手段と、 前記検索対象の画像毎に、前記指定手段で指定された各
   問合せ画像との類似度を対応する種類の特徴量を用いて
   求めると共に、求めた各問合せ画像との類似度を合計し
   て前記検索対象の画像の総合類似度を求める検索手段
   と、 前記検索手段で前記検索対象の画像毎に求めた総合類似
   度に基づいて、検索結果を出力する出力手段と、 を備えたことを特徴とする画像検索装置。
2. 【請求項２】 問合せ画像および複数の検索対象の画像
   から画像の特徴を表す特徴量を少なくとも一種類抽出
   し、抽出した少なくとも一種類の特徴量を用いて前記問
   合せ画像および検索対象の画像の類似度を求めることに
   より、前記複数の検索対象の画像から前記問合せ画像と
   同一または類似の画像を検索する画像検索装置におい
   て、 前記問合せ画像を複数指定すると共に、指定した各問合
   せ画像毎に前記検索対象の画像との類似度を求める際に
   使用する特徴量の種類を指定する指定手段と、 前記検索対象の画像毎に、前記指定手段で指定された種
   類の特徴量を用いて各問合せ画像との類似度を求めると
   共に、求めた各問合せ画像との類似度を合計して前記検
   索対象の画像の総合類似度を求める検索手段と、 前記検索手段で前記検索対象の画像毎に求めた総合類似
   度に基づいて、検索結果を出力する出力手段と、 を備えたことを特徴とする画像検索装置。
3. 【請求項３】 問合せ画像および複数の検索対象の画像
   から画像の特徴を表す特徴量を少なくとも一種類抽出
   し、抽出した少なくとも一種類の特徴量を用いて前記問
   合せ画像および検索対象の画像の類似度を求めることに
   より、前記複数の検索対象の画像から前記問合せ画像と
   同一または類似の画像を検索する画像検索装置におい
   て、 前記問合せ画像を複数指定する指定手段と、 前記検索対象の画像毎に、前記指定手段で指定された各
   問合せ画像との類似度を求めると共に、求めた各問合せ
   画像との類似度を合計して前記検索対象の画像の総合類
   似度を求める検索手段と、 前記検索手段で前記検索対象の画像毎に求めた総合類似
   度に基づいて、検索結果を出力する出力手段と、 を備えたことを特徴とする画像検索装置。
4. 【請求項４】 問合せ画像および複数の検索対象の画像
   から画像の特徴を表す特徴量を少なくとも一種類抽出
   し、抽出した少なくとも一種類の特徴量を用いて前記問
   合せ画像および検索対象の画像の類似度を求めることに
   より、前記複数の検索対象の画像から前記問合せ画像と
   同一または類似の画像を検索する画像検索装置におい
   て、 前記問合せ画像を複数指定する指定手段と、 前記検索対象の画像毎に、前記指定手段で指定された各
   問合せ画像との類似度を求めると共に、求めた各問合せ
   画像との類似度の中から最も高い類似性を示す類似度を
   選択して前記検索対象の画像の総合類似度を求める検索
   手段と、 前記検索手段で前記検索対象の画像毎に求めた総合類似
   度に基づいて、検索結果を出力する出力手段と、 を備えたことを特徴とする画像検索装置。
5. 【請求項５】 前記指定手段は、前記検索手段で求める
   類似度に対し、前記問合せ画像の種類に応じて任意の重
   み付けを行うことができるように、前記各問合せ画像毎
   に重要度を指定することが可能であり、 前記検索手段は、前記検索対象の画像毎に、前記各問合
   せ画像との類似度を求め、求めた各問合せ画像との類似
   度に対して前記指定手段で指定された重要度に応じた重
   み付けを行った後、前記総合類似度を求めることを特徴
   とする請求項２，３または４に記載の画像検索装置。
6. 【請求項６】 前記指定手段は、複数種類の特徴量を用
   いて前記問合せ画像および検索対象の画像の類似度を求
   める場合に、前記検索手段で求める類似度に対し、前記
   問合せ画像および特徴量の種類に応じて任意の重み付け
   を行うことができるように、各種類の特徴量毎の重要度
   を各問合せ画像毎に指定することが可能であり、 前記検索手段は、前記検索対象の画像それぞれについ
   て、前記各種類の特徴量毎に前記各問合せ画像との類似
   度を求め、前記各種類の特徴量毎に求めた各問合せ画像
   との類似度に対して前記指定手段で指定された重要度に
   応じた重み付けを行った後、前記総合類似度を求めるこ
   とを特徴とする請求項３または４に記載の画像検索装
   置。
7. 【請求項７】 さらに、複数種類の特徴量を用いて前記
   問合せ画像および検索対象の画像の類似度を求める場合
   に、前記検索手段で求める類似度に対し、前記特徴量の
   種類に応じて任意の重み付けを行うことができるよう
   に、前記指定手段で指定された各問合せ画像間の類似度
   を各種類の特徴量毎に求め、求めた各種類の特徴量毎の
   類似度に基づいて前記各問合せ画像間における各種類の
   特徴量毎の重要度を決定する重要度決定手段を備え、 前記検索手段は、前記検索対象の画像それぞれについ
   て、前記各種類の特徴量毎に各問合せ画像との類似度を
   求め、前記各種類の特徴量毎に求めた各問合せ画像との
   類似度に対して前記重要度決定手段で決定した各種類の
   特徴量毎の重要度に応じた重み付けを行った後、前記総
   合類似度を求めることを特徴とする請求項３または４に
   記載の画像検索装置。
8. 【請求項８】 問合せ画像および複数の検索対象の画像
   から画像の特徴を表す特徴量を少なくとも一種類抽出
   し、抽出した少なくとも一種類の特徴量を用いて前記問
   合せ画像および検索対象の画像の類似度を求めることに
   より、前記複数の検索対象の画像から前記問合せ画像と
   同一または類似の画像を検索する画像検索装置におい
   て、 前記問合せ画像を少なくとも一つ指定すると共に、画像
   から抽出する特徴量の粗さのレベルを粗から細に向かっ
   て段階的に定義した抽出基準に基づいて、検索に利用す
   る特徴量の粗さのレベルを少なくとも一つ指定する指定
   手段と、 前記抽出基準に基づいて、前記問合せ画像および複数の
   検索対象の画像から少なくとも前記指定手段で指定され
   た粗さのレベルに該当する特徴量を所定のタイミングで
   抽出する特徴抽出手段と、 前記検索対象の画像毎に、前記指定手段で指定された粗
   さのレベルに応じた特徴量を用いて前記問合せ画像との
   類似度を求める検索手段と、 前記検索手段で前記検索対象の画像毎に求めた類似度に
   基づいて、検索結果を出力する出力手段と、 を備えたことを特徴とする画像検索装置。
9. 【請求項９】 前記抽出基準は、少なくとも画像を何分
   割するかを表す分割数を前記粗さのレベルとして段階的
   に定義しており、 前記特徴抽出手段は、前記段階的に定義された粗さのレ
   ベルのいずれか一つに応じて前記特徴量を抽出する場
   合、該当する分割数に基づいて画像を分割して複数の分
   割画像を生成し、生成した各分割画像から前記特徴量を
   それぞれ抽出することにより、前記問合せ画像および検
   索対象の画像から分割画像単位の特徴量からなる特徴量
   群を抽出し、 前記検索手段は、前記特徴量群を利用して前記問合せ画
   像および検索対象の画像の類似度を求める場合、前記問
   合せ画像および検索対象の画像の対応する分割画像毎の
   類似度を該当する特徴量を用いてそれぞれ求めることに
   より、前記問合せ画像および検索対象の画像の類似度を
   求めることを特徴とする請求項８に記載の画像検索装
   置。
10. 【請求項１０】 前記抽出基準は、前記段階的に定義さ
    れた粗さのレベル中の最も粗い特徴量を示すレベルとし
    て、画像を分割することなく、画像全体を特徴量の抽出
    対象とするレベルを含み、 前記特徴抽出手段は、前記画像全体を特徴量の抽出対象
    とするレベルに応じて特徴量を抽出する場合、前記問合
    せ画像および検索対象の画像から画像全体を対象として
    特徴量を抽出することを特徴とする請求項９に記載の画
    像検索装置。
11. 【請求項１１】 前記抽出基準は、画像中に存在するオ
    ブジェクトを特徴量の抽出対象とする場合に、前記オブ
    ジェクトから抽出する特徴量の粗さのレベルの定義を含
    むことを特徴とする請求項８，９または１０のいずれか
    一つに記載の画像検索装置。
12. 【請求項１２】 前記特徴抽出手段は、前記複数の検索
    対象の画像については前記抽出基準で定義された全ての
    粗さのレベルに応じた特徴量を予め抽出しておき、前記
    指定手段で指定された問合せ画像のうち、前記特徴量が
    抽出されていない問合せ画像については前記検索手段が
    類似度を求める処理を実行する前に前記指定手段で指定
    された粗さのレベルに応じた特徴量を抽出することを特
    徴とする請求項８〜１１のいずれか一つに記載の画像検
    索装置。
13. 【請求項１３】 問合せ画像および複数の検索対象の画
    像から画像の特徴を表す特徴量を少なくとも一種類抽出
    し、抽出した少なくとも一種類の特徴量を用いて前記問
    合せ画像および検索対象の画像の類似度を求めることに
    より、前記複数の検索対象の画像から前記問合せ画像と
    同一または類似の画像を検索する画像検索装置におい
    て、 前記問合せ画像を少なくとも一つ指定する指定手段と、 前記検索対象の画像毎に、前記検索対象の画像中の所定
    のサイズの領域と前記指定手段で指定された問合せ画像
    との類似度を予め抽出した所定の特徴量を用いて求める
    処理を前記検索対象の画像全体にわたって繰り返し実行
    する検索手段と、 前記検索手段で前記検索対象の画像毎に求めた類似度に
    基づいて、検索結果を出力する出力手段と、 を備えたことを特徴とする画像検索装置。
14. 【請求項１４】 前記指定手段は、検索結果の画像を前
    記問合せ画像として指定可能であることを特徴とする請
    求項１〜１３のいずれか一つに記載の画像検索装置。
15. 【請求項１５】 前記請求項１〜１４のいずれか一つに
    記載の画像検索装置の各手段としてコンピュータを機能
    させるためのプログラムを記録したことを特徴とするコ
    ンピュータ読み取り可能な記録媒体。
16. 【請求項１６】 分類対象の画像の分類先となる分類項
    目毎に前記分類対象の画像の分類基準となる基準画像を
    設定し、前記各分類項目毎に設定された基準画像および
    前記分類対象の画像からそれぞれ抽出した画像の特徴を
    表す少なくとも一種類の特徴量を用いることにより、前
    記各分類項目毎に前記基準画像および分類対象の画像の
    類似度を求め、求めた類似度に基づいて前記分類対象の
    画像を前記分類項目のいずれかに分類する画像分類装置
    であって、 前記分類項目を設定し、設定した分類項目それぞれに対
    し、前記基準画像および分類対象の画像の類似度を求め
    る際に使用される各種類の特徴量毎にそれぞれ一つの基
    準画像を設定する設定手段と、 前記分類項目毎に、前記設定手段で設定された各基準画
    像および分類対象の画像の類似度を対応する種類の特徴
    量を用いて求めると共に、求めた類似度を合計して前記
    分類対象の画像の総合類似度を求める演算手段と、 前記演算手段で前記分類項目毎に求めた前記分類対象の
    画像の総合類似度および予め設定された分類先決定基準
    に基づいて、前記分類対象の画像の分類先となる分類項
    目を決定する決定手段と、 を備えたことを特徴とする画像分類装置。
17. 【請求項１７】 分類対象の画像の分類先となる分類項
    目毎に前記分類対象の画像の分類基準となる基準画像を
    設定し、前記各分類項目毎に設定された基準画像および
    前記分類対象の画像からそれぞれ抽出した画像の特徴を
    表す少なくとも一種類の特徴量を用いることにより、前
    記各分類項目毎に前記基準画像および分類対象の画像の
    類似度を求め、求めた類似度に基づいて前記分類対象の
    画像を前記分類項目のいずれかに分類する画像分類装置
    であって、 前記分類項目を設定し、設定した分類項目毎に、前記基
    準画像を複数設定すると共に、設定した各基準画像毎に
    前記分類対象の画像との類似度を求める際に使用する特
    徴量の種類を設定する設定手段と、 前記分類項目毎に、前記設定手段で設定された種類の特
    徴量を用いて各基準画像および分類対象の画像の類似度
    を求めると共に、求めた類似度を合計して前記分類対象
    の画像の総合類似度を求める演算手段と、 前記演算手段で前記分類項目毎に求めた前記分類対象の
    画像の総合類似度および予め設定された分類先決定基準
    に基づいて、前記分類対象の画像の分類先となる分類項
    目を決定する決定手段と、 を備えたことを特徴とする画像分類装置。
18. 【請求項１８】 分類対象の画像の分類先となる分類項
    目毎に前記分類対象の画像の分類基準となる基準画像を
    設定し、前記各分類項目毎に設定された基準画像および
    前記分類対象の画像からそれぞれ抽出した画像の特徴を
    表す少なくとも一種類の特徴量を用いることにより、前
    記各分類項目毎に前記基準画像および分類対象の画像の
    類似度を求め、求めた類似度に基づいて前記分類対象の
    画像を前記分類項目のいずれかに分類する画像分類装置
    であって、 前記分類項目を設定し、設定した分類項目毎に、前記基
    準画像を複数設定する設定手段と、 前記分類項目毎に、前記設定手段で設定された各基準画
    像および前記分類対象の画像の類似度を求めると共に、
    求めた類似度を合計して前記分類対象の画像の総合類似
    度を求める演算手段と、 前記演算手段で前記分類項目毎に求めた前記分類対象の
    画像の総合類似度および予め設定された分類先決定基準
    に基づいて、前記分類対象の画像の分類先となる分類項
    目を決定する決定手段と、 を備えたことを特徴とする画像分類装置。
19. 【請求項１９】 分類対象の画像の分類先となる分類項
    目毎に前記分類対象の画像の分類基準となる基準画像を
    設定し、前記各分類項目毎に設定された基準画像および
    前記分類対象の画像からそれぞれ抽出した画像の特徴を
    表す少なくとも一種類の特徴量を用いることにより、前
    記各分類項目毎に前記基準画像および分類対象の画像の
    類似度を求め、求めた類似度に基づいて前記分類対象の
    画像を前記分類項目のいずれかに分類する画像分類装置
    であって、 前記分類項目を設定し、設定した分類項目毎に、前記基
    準画像を複数設定する設定手段と、 前記分類項目毎に、前記設定手段で設定された各基準画
    像および前記分類対象の画像の類似度を求めると共に、
    求めた類似度の中から最も高い類似性を示す類似度を選
    択して前記分類対象の画像の総合類似度を求める演算手
    段と、 前記演算手段で前記分類項目毎に求めた前記分類対象の
    画像の総合類似度および予め設定された分類先決定基準
    に基づいて、前記分類対象の画像の分類先となる分類項
    目を決定する決定手段と、 を備えたことを特徴とする画像分類装置。
20. 【請求項２０】 前記設定手段は、前記演算手段で求め
    る類似度に対し、前記基準画像の種類に応じて任意の重
    み付けを行うことができるように、前記各基準画像毎に
    重要度を設定することが可能であり、 前記演算手段は、前記分類項目毎に、前記各基準画像お
    よび分類対象の画像の類似度を求め、求めた類似度に対
    して前記設定手段で設定された重要度に応じた重み付け
    を行った後、前記総合類似度を求めることを特徴とする
    請求項１７，１８または１９に記載の画像分類装置。
21. 【請求項２１】 前記設定手段は、複数種類の特徴量を
    用いて前記基準画像および分類対象の画像の類似度を求
    める場合に、前記演算手段で求める類似度に対し、前記
    基準画像および特徴量の種類に応じて任意の重み付けを
    行うことができるように、各種類の特徴量毎の重要度を
    各基準画像毎に設定することが可能であり、 前記演算手段は、前記分類項目それぞれについて、前記
    各種類の特徴量毎に前記各基準画像および分類対象の画
    像の類似度を求め、前記各種類の特徴量毎に求めた類似
    度に対して前記設定手段で設定された重要度に応じた重
    み付けを行った後、前記総合類似度を求めることを特徴
    とする請求項１８または１９に記載の画像分類装置。
22. 【請求項２２】 さらに、複数種類の特徴量を用いて前
    記基準画像および分類対象の画像の類似度を求める場合
    に、前記演算手段で求める類似度に対し、前記特徴量の
    種類に応じて任意の重み付けを行うことができるよう
    に、前記分類項目毎に、前記設定手段で設定された各基
    準画像間の類似度を各種類の特徴量毎に求め、前記各種
    類の特徴量毎に求めた類似度に基づいて前記各基準画像
    間における各特徴量毎の重要度を決定する重要度決定手
    段を備え、 前記演算手段は、前記分類項目それぞれについて、前記
    各種類の特徴量毎に前記各基準画像および分類対象の画
    像の類似度を求め、前記各種類の特徴量毎に求めた類似
    度に対して前記重要度決定手段で決定された重要度に応
    じた重み付けを行った後、前記総合類似度を求めること
    を特徴とする請求項１８または１９に記載の画像分類装
    置。
23. 【請求項２３】 前記設定手段は、前記分類項目毎に分
    類された画像をさらに分類するための分類項目を設定可
    能であることを特徴とする請求項１６〜２２のいずれか
    一つに記載の画像分類装置。
24. 【請求項２４】 分類対象の複数の画像から画像の特徴
    を表す少なくとも一種類の特徴量を抽出し、抽出した特
    徴量を用いて前記分類対象の各画像を類似する画像同士
    のグループに分類する画像分類装置であって、 前記特徴量の種類を指定する指定手段と、 前記指定手段で特徴量の種類が指定された場合に、指定
    された種類の特徴量を用いて前記分類対象の各画像間の
    類似度を求め、求めた分類対象の各画像間の類似度に基
    づいて、前記分類対象の各画像を類似する画像同士のグ
    ループに分類する分類手段と、 前記分類手段で分類された各グループからそれぞれグル
    ープを代表する代表画像を選択して画面表示する表示手
    段と、を備え、 前記指定手段は、さらに、前記表示手段によって表示さ
    れた代表画像の一つを指定すると共に、前記特徴量の種
    類を指定可能であり、 前記分類手段は、前記指定手段で前記代表画像および前
    記特徴量の種類が指定された場合に、指定された種類の
    特徴量を用いて前記代表画像の属するグループに分類さ
    れた各画像を類似する画像同士のグループに分類し、 前記表示手段は、前記分類手段で分類された各グループ
    からそれぞれグループを代表する代表画像を選択して画
    面表示することを特徴とする画像分類装置。
25. 【請求項２５】 前記表示手段は、前記指定手段で指定
    可能な特徴量の種類を画面表示し、前記指定手段で指定
    された特徴量の種類に関連付けて前記分類手段で分類さ
    れた各グループの代表画像を画面表示して、前記分類対
    象の複数の画像を分類した結果を木構造で画面表示する
    ことを特徴とする請求項２４に記載の画像分類装置。
26. 【請求項２６】 さらに、前記分類項目毎に分類された
    任意の画像を問合せ画像として用いることにより、前記
    問合せ画像と同一または類似の画像を検索する検索手段
    を備えたことを特徴とする請求項１６〜２５のいずれか
    一つに記載の画像分類装置。
27. 【請求項２７】 前記検索手段は、前記請求項１〜１４
    のいずれか一つに記載の画像検索装置であることを特徴
    とする請求項２６に記載の画像分類装置。
28. 【請求項２８】 前記分類対象の画像は、前記請求項２
    ６に記載の検索手段または前記請求項１〜１４のいずれ
    か一つに記載の画像検索装置で検索された画像であるこ
    とを特徴とする請求項１６〜２５のいずれか一つに記載
    の画像分類装置。
29. 【請求項２９】 前記請求項１６〜２８のいずれか一つ
    に記載の画像分類装置の各手段としてコンピュータを機
    能させるためのプログラムを記録したことを特徴とする
    コンピュータ読み取り可能な記録媒体。