JP2004361987A - 画像検索システム、画像分類システム、画像検索プログラム及び画像分類プログラム、並びに画像検索方法及び画像分類方法 - Google Patents

Abstract

【課題】利用者の希望に添う検索結果または分類結果を得るのに好適な画像検索システムを提供する。
【解決手段】検索キー画像および各検索対象画像について、その画像から注目領域を抽出し、抽出した注目領域に基づいてその画像の特徴ベクトルＶを生成する。そして、生成した特徴ベクトルＶに基づいて検索対象画像登録ＤＢ１０のなかから検索キー画像に類似する画像を検索する。
【選択図】 図１

Description

【０００１】
【発明の属する技術分野】
本発明は、複数の画像のなかから検索キー画像に適合する画像を検索しまたは複数の画像を分類するシステムおよびプログラム、並びに方法に係り、特に、利用者の希望に添う検索結果または分類結果を得るのに好適な画像検索システム、画像分類システム、画像検索プログラムおよび画像分類プログラム、並びに画像検索方法および画像分類方法に関する。
【０００２】
【従来の技術】
従来、与えられた検索キー画像をもとに、複数の検索対象画像のなかから検索キー画像に類似する画像を検索する技術としては、例えば、特許文献１に開示されている画像検索装置があった。
特許文献１記載の画像検索装置は、獲得された対象画像データまたは参照画像データより、複数の特徴量を抽出して特徴べクトルを生成する特徴ベクトル抽出部と、獲得された複数の参照画像データに対して、各参照画像データごとに特徴ベクトル抽出部で抽出された特徴べクトルとこの参照画像のアドレス情報を統合して参照ベクトルをつくり、参照べクトル群を生成する参照ベクトル群処理部と、獲得された対象画像データより特徴ベクトル抽出部で抽出された特徴べクトルと、参照ベクトル群より選択された参照画像データの特徴べクトルとの類似度を計算する類似度計算部と、計算された類似度を所定の基準と比較する類似度判定部と、類似していると判断された画像のアドレス情報を、参照ベクトル群より取出部とを備える。
【０００３】
ここで、画像の特徴量としては、色、テクスチャー、構造的特徴、時間的特徴を用いている。テクスチャーに関しては、濃度ヒストグラム、同時生起行列、差分統計量等の計算により、またエッジや線、輪郭等の構造的特徴に関しては、ラプラシアンフィルターのコンボルーションやハフ変換等により、さらに色に関しては、ＲＧＢ空間やＨＳＶ空間、あるいはスペクトルへの変換等により、時間的特徴に関してはオプティカルフローの計算やウェーブレットへの変換により、それぞれ、特徴量が求められている。
【０００４】
【特許文献１】
特開２００１−５２１７５号公報
【０００５】
【発明が解決しようとする課題】
類似の概念は、人の主観に依存するところが大きいので、ある人にとっては類似していると感じる画像でも、他の人にとっては類似していないと感じる場合がある。そのため、画像の類似検索を行う場合、類似の概念をどのように定義するかが重要である。
【０００６】
画像の全体および部分について検討すれば、検索キー画像に対して、例えば、全体的に類似しているが特徴的な部分については類似していない画像や、逆に特徴的な部分については類似しているが全体的に類似していない画像が存在するが、それらの画像についてはそれぞれ類似度を適切に評価する必要がある。利用者が画像を見る場合、利用者は、画像のなかで特徴的な部分（花が主体的に写っている画像であれば花の部分）に注目している。そのため、全体的に類似しているが特徴的な部分については類似していない画像よりは、特徴的な部分については類似しているが全体的に類似していない画像の方が類似していると感じるはずである。したがって、画像全体をとらえて類似度を評価するよりは、画像のうち特徴的な部分については類似度を重視し、そうでない部分については類似度を軽視するようにして画像の類似度を評価する方が実情に沿うことになる。
【０００７】
しかしながら、特許文献１記載の画像検索装置にあっては、画像データ全体から複数の特徴量を抽出して特徴ベクトルを生成し、生成した特徴ベクトルに基づいて画像の類似検索を行うようになっているため、利用者が注目する箇所を考慮して画像の類似度を評価してない。したがって、検索結果に利用者の主観を十分に反映できず、利用者の希望に添う検索結果を得にくいという問題があった。
【０００８】
このことは、画像の類似検索を行う場合に限らず、複数の画像をその類似度に応じて分類する場合についても同様の問題が想定される。
そこで、本発明は、このような従来の技術の有する未解決の課題に着目してなされたものであって、利用者の希望に添う検索結果または分類結果を得るのに好適な画像検索システム、画像分類システム、画像検索プログラムおよび画像分類プログラム、並びに画像検索方法および画像分類方法を提供することを目的としている。
【０００９】
【課題を解決するための手段】
〔発明１〕
上記目的を達成するために、発明１の画像検索システムは、
与えられた検索キー画像をもとに、複数の検索対象画像のなかから前記検索キー画像に適合する画像を検索するシステムであって、
前記検索キー画像および前記各検索対象画像について、当該画像から注目領域を抽出し、抽出した注目領域に基づいて当該画像の特徴を示す特徴ベクトルを生成し、
生成した特徴ベクトルに基づいて、前記複数の検索対象画像のなかから前記検索キー画像に適合する画像を検索するようになっていることを特徴とする。
【００１０】
このような構成であれば、検索キー画像が与えられると、検索キー画像から注目領域が抽出され、抽出された注目領域に基づいて検索キー画像の特徴を示す特徴ベクトルが生成される。また同様に、各検索対象画像ごとに、その検索対象画像から注目領域が抽出され、抽出された注目領域に基づいてその検索対象画像の特徴を示す特徴ベクトルが生成される。そして、生成された特徴ベクトルに基づいて、複数の検索対象画像のなかから検索キー画像に適合する画像が検索される。
【００１１】
これにより、利用者が注目する箇所を考慮して検索が行われるので、利用者の主観が検索結果に反映しやすくなる。したがって、従来に比して、利用者の希望に比較的添った検索結果を得ることができるという効果が得られる。
ここで、注目領域とは、検索キー画像または検索対象画像のなかで利用者が注目すると思われる領域をいう。以下、発明２の画像検索システム、発明８および９の画像分類システム、発明１４の画像検索プログラム、発明１５の画像分類プログラム、発明１６の画像検索方法、並びに発明１７の画像分類方法において同じである。
【００１２】
また、本システムは、単一の装置、端末その他の機器として実現するようにしてもよいし、複数の装置、端末その他の機器を通信可能に接続したネットワークシステムとして実現するようにしてもよい。後者の場合、各構成要素は、それぞれ通信可能に接続されていれば、複数の機器等のうちいずれに属していてもよい。以下、発明２の画像検索システム、並びに発明８および９の画像分類システムにおいて同じである。
〔発明２〕
さらに、発明２の画像検索システムは、
与えられた検索キー画像をもとに、複数の検索対象画像のなかから前記検索キー画像に適合する画像を検索するシステムであって、
前記複数の検索対象画像を記憶するための検索対象画像記憶手段と、前記検索キー画像を入力する検索キー画像入力手段と、前記検索キー画像入力手段で入力した検索キー画像および前記検索対象画像記憶手段の各検索対象画像について当該画像から注目領域を抽出する注目領域抽出手段と、前記検索キー画像および前記各検索対象画像について前記注目領域抽出手段で抽出した注目領域に基づいて当該画像の特徴を示す特徴ベクトルを生成する特徴ベクトル生成手段と、前記特徴ベクトル生成手段で生成した特徴ベクトルに基づいて前記検索対象画像記憶手段のなかから前記検索キー画像に適合する画像を検索する画像検索手段とを備えることを特徴とする。
【００１３】
このような構成であれば、検索キー画像入力手段から検索キー画像が入力されると、注目領域抽出手段により、入力された検索キー画像から注目領域が抽出され、特徴ベクトル生成手段により、抽出された注目領域に基づいて検索キー画像の特徴を示す特徴ベクトルが生成される。また同様に、検索対象画像記憶手段の各検索対象画像ごとに、注目領域抽出手段により、その検索対象画像から注目領域が抽出され、特徴ベクトル生成手段により、抽出された注目領域に基づいてその検索対象画像の特徴を示す特徴ベクトルが生成される。そして、画像検索手段により、生成された特徴ベクトルに基づいて、検索対象画像記憶手段のなかから検索キー画像に適合する画像が検索される。
【００１４】
これにより、利用者が注目する箇所を考慮して検索が行われるので、利用者の主観が検索結果に反映しやすくなる。したがって、従来に比して、利用者の希望に比較的添った検索結果を得ることができるという効果が得られる。
ここで、注目領域抽出手段は、検索キー画像および各検索対象画像についてその画像から注目領域を抽出するようになっていればよい。例えば、検索キー画像または検索対象画像に基づいて誘目度を算出し、算出した誘目度に基づいて注目領域を抽出することができる。以下、発明９の画像分類システム、発明１４の画像検索プログラム、および発明１５の画像分類プログラムにおいて同じである。
【００１５】
また、検索キー画像入力手段は、検索キー画像を入力するようになっていればどのような構成であってもよく、例えば、検索対象画像記憶手段のなかから選択した検索対象画像を検索キー画像として入力するようになっていてもよいし、画像記憶媒体、ネットワークまたは他の画像記憶手段から検索キー画像を入力するようになっていてもよい。以下、発明９の画像分類システム、発明１４の画像検索プログラム、および発明１５の画像分類プログラムにおいて同じである。
【００１６】
また、検索対象画像記憶手段は、検索対象画像をあらゆる手段でかつあらゆる時期に記憶するものであり、検索対象画像をあらかじめ記憶してあるものであってもよいし、検索対象画像をあらかじめ記憶することなく、本システムの動作時に外部からの入力等によって検索対象画像を記憶するようになっていてもよい。〔発明３〕
さらに、発明３の画像検索システムは、発明２の画像検索システムにおいて、さらに、前記検索キー画像および前記各検索対象画像について当該画像に含まれる人物画像の顔情報を判定する顔情報判定手段を備え、
前記特徴ベクトル生成手段は、前記検索キー画像および前記各検索対象画像について、前記顔情報判定手段で判定した顔情報に基づいて、当該画像の特徴を示す特徴ベクトルを生成するようになっていることを特徴とする。
【００１７】
このような構成であれば、顔情報判定手段により、検索キー画像に含まれる人物画像の顔情報が判定され、特徴ベクトル生成手段により、判定された顔情報に基づいて、検索キー画像の特徴を示す特徴ベクトルが生成される。また同様に、各検索対象画像ごとに、顔情報判定手段により、その検索対象画像に含まれる人物画像の顔情報が判定され、特徴ベクトル生成手段により、判定された顔情報に基づいて、その検索対象画像の特徴を示す特徴ベクトルが生成される。
【００１８】
これにより、人物画像の顔情報を考慮して検索が行われるので、検索キー画像に含まれる人物画像の顔に適合する検索結果を得ることができるという効果も得られる。
〔発明４〕
さらに、発明４の画像検索システムは、発明２および３のいずれかの画像検索システムにおいて、
さらに、前記各検索対象画像ごとに当該検索対象画像に含まれる人物画像の顔と前記検索キー画像に含まれる人物画像の顔との類似度を判定する類似度判定手段を備え、
前記特徴ベクトル生成手段は、前記検索キー画像および前記各検索対象画像について、前記類似度判定手段の判定結果に基づいて、当該画像の特徴を示す特徴ベクトルを生成するようになっていることを特徴とする。
【００１９】
このような構成であれば、類似度判定手段により、各検索対象画像ごとに、その検索対象画像に含まれる人物画像の顔と検索キー画像に含まれる人物画像の顔との類似度が判定され、特徴ベクトル生成手段により、その判定結果に基づいて、検索キー画像の特徴を示す特徴ベクトルおよび各検索対象画像の特徴を示す特徴ベクトルが生成される。
【００２０】
これにより、人物画像の顔同士の類似度を考慮して検索が行われるので、検索キー画像に含まれる人物画像の顔に類似する検索結果を得ることができるという効果も得られる。
〔発明５〕
さらに、発明５の画像検索システムは、発明２ないし４のいずれかの画像検索システムにおいて、
前記画像検索手段は、前記検索キー画像の特徴ベクトルとのベクトル間距離が最も小さい特徴ベクトルに対応する検索対象画像を前記検索対象画像記憶手段のなかから索出するようになっていることを特徴とする。
【００２１】
このような構成であれば、画像検索手段により、検索キー画像の特徴ベクトルとのベクトル間距離が最も小さい特徴ベクトルに対応する検索対象画像が検索対象画像記憶手段のなかから索出される。
これにより、利用者の希望に最も添うと思われる検索結果を得ることができるという効果も得られる。
〔発明６〕
さらに、発明６の画像検索システムは、発明２ないし４のいずれかの画像検索システムにおいて、
前記画像検索手段は、前記検索対象画像の特徴ベクトル同士のベクトル間距離に基づいて前記各検索対象画像を複数のグループに分類し、前記複数のグループのうち前記検索キー画像が属するもののすべての検索対象画像を前記検索対象画像記憶手段のなかから索出するようになっていることを特徴とする。
【００２２】
このような構成であれば、画像検索手段により、検索対象画像の特徴ベクトル同士のベクトル間距離に基づいて各検索対象画像が複数のグループに分類され、複数のグループのうち検索キー画像が属するもののすべての検索対象画像が検索対象画像記憶手段のなかから索出される。
これにより、利用者の希望に添うと思われるいくつかの検索結果を得ることができるという効果が得られる。
〔発明７〕
さらに、発明７の画像検索システムは、発明２ないし６のいずれかの画像検索システムにおいて、
前記特徴ベクトル生成手段は、前記検索キー画像と前記検索対象画像とのアスペクト比、または前記検索対象画像同士のアスペクト比が異なるときは、アスペクト比が異なる第１画像および第２画像を重ね合わせ、前記第１画像のうち重複領域について前記第１画像の特徴ベクトルを生成し、前記第２画像のうち重複領域について前記第２画像の特徴ベクトルを生成するようになっていることを特徴とする。
【００２３】
このような構成であれば、検索キー画像と検索対象画像とのアスペクト比、または検索対象画像同士のアスペクト比が異なると、特徴ベクトル生成手段により、アスペクト比が異なる第１画像および第２画像を重ね合わせ、第１画像のうち重複領域について第１画像の特徴ベクトルが生成され、第２画像のうち重複領域について第２画像の特徴ベクトルが生成される。
【００２４】
これにより、アスペクト比が異なる画像同士であっても、比較的正確に類否を判定することができるので、利用者の希望にさらに添った検索結果を得ることができるという効果も得られる。
〔発明８〕
一方、上記目的を達成するために、発明８の画像分類システムは、
複数の分類対象画像を分類するシステムであって、
前記各分類対象画像ごとに、当該分類対象画像から注目領域を抽出し、抽出した注目領域に基づいて当該分類対象画像の特徴を示す特徴ベクトルを生成し、
生成した特徴ベクトルに基づいて、前記各分類対象画像を複数のグループに分類するようになっていることを特徴とする。
【００２５】
このような構成であれば、各分類対象画像ごとに、その分類対象画像から注目領域が抽出され、抽出された注目領域に基づいてその分類対象画像の特徴を示す特徴ベクトルが生成される。そして、生成された特徴ベクトルに基づいて、各分類対象画像が複数のグループに分類される。
これにより、利用者が注目する箇所を考慮して分類が行われるので、利用者の主観が分類結果に反映しやすくなる。したがって、従来に比して、利用者の希望に比較的添った分類結果を得ることができるという効果が得られる。
〔発明９〕
さらに、発明９の画像分類システムは、
複数の分類対象画像を分類するシステムであって、
前記複数の分類対象画像を記憶するための分類対象画像記憶手段と、前記分類対象画像記憶手段の各分類対象画像ごとに当該分類対象画像から注目領域を抽出する注目領域抽出手段と、前記注目領域抽出手段で抽出した注目領域に基づいて前記各分類対象画像ごとに当該分類対象画像の特徴を示す特徴ベクトルを生成する特徴ベクトル生成手段と、前記特徴ベクトル生成手段で生成した特徴ベクトルに基づいて前記各分類対象画像を複数のグループに分類する画像分類手段とを備えることを特徴とする。
【００２６】
このような構成であれば、分類対象画像記憶手段の各分類対象画像ごとに、注目領域抽出手段により、その分類対象画像から注目領域が抽出され、特徴ベクトル生成手段により、抽出された注目領域に基づいてその分類対象画像の特徴を示す特徴ベクトルが生成される。そして、画像分類手段により、生成された特徴ベクトルに基づいて各分類対象画像が複数のグループに分類される。
【００２７】
これにより、利用者が注目する箇所を考慮して分類が行われるので、利用者の主観が分類結果に反映しやすくなる。したがって、従来に比して、利用者の希望に比較的添った分類結果を得ることができるという効果が得られる。
ここで、分類対象画像記憶手段は、分類対象画像をあらゆる手段でかつあらゆる時期に記憶するものであり、分類対象画像をあらかじめ記憶してあるものであってもよいし、分類対象画像をあらかじめ記憶することなく、本システムの動作時に外部からの入力等によって分類対象画像を記憶するようになっていてもよい。
〔発明１０〕
さらに、発明１０の画像分類システムは、発明９の画像分類システムにおいて、
さらに、前記各分類対象画像ごとに当該分類対象画像に含まれる人物画像の顔情報を判定する顔情報判定手段を備え、
前記特徴ベクトル生成手段は、前記顔情報判定手段で判定した顔情報に基づいて、前記各分類対象画像ごとに、当該分類対象画像の特徴を示す特徴ベクトルを生成するようになっていることを特徴とする。
【００２８】
このような構成であれば、各分類対象画像ごとに、顔情報判定手段により、その分類対象画像に含まれる人物画像の顔情報が判定され、特徴ベクトル生成手段により、判定された顔情報に基づいて、その分類対象画像の特徴を示す特徴ベクトルが生成される。
これにより、人物画像の顔情報を考慮して分類が行われるので、人物画像の顔が適合する画像同士が同一グループに属するような分類結果を得ることができるという効果も得られる。
〔発明１１〕
さらに、発明１１の画像分類システムは、発明９および１０のいずれかの画像分類システムにおいて、
さらに、前記各分類対象画像ごとに当該分類対象画像に含まれる人物画像の顔と特定画像に含まれる人物画像の顔との類似度を判定する類似度判定手段を備え、
前記特徴ベクトル生成手段は、前記類似度判定手段の判定結果に基づいて、前記各分類対象画像ごとに、当該分類対象画像の特徴を示す特徴ベクトルを生成するようになっていることを特徴とする。
【００２９】
このような構成であれば、各分類対象画像ごとに、類似度判定手段により、その分類対象画像に含まれる人物画像の顔と特定画像に含まれる人物画像の顔との類似度が判定され、特徴ベクトル生成手段により、その判定結果に基づいて、その分類対象画像の特徴を示す特徴ベクトルが生成される。
これにより、人物画像の顔同士の類似度を考慮して分類が行われるので、人物画像の顔が類似する画像同士が同一グループに属するような分類結果を得ることができるという効果も得られる。
〔発明１２〕
さらに、発明１２の画像分類システムは、発明９ないし１１のいずれかの画像分類システムにおいて、
前記画像分類手段は、前記分類対象画像の特徴ベクトル同士のベクトル間距離に基づいて前記各分類対象画像を複数のグループに分類し、前記各グループごとに所定数の分類対象画像を前記分類対象画像記憶手段のなかから索出するようになっていることを特徴とする。
【００３０】
このような構成であれば、画像分類手段により、分類対象画像の特徴ベクトル同士のベクトル間距離に基づいて各分類対象画像が複数のグループに分類され、各グループごとに所定数の分類対象画像が分類対象画像記憶手段のなかから索出される。
これにより、異なるグループから所定数の分類対象画像が索出されるので、多様な検索結果を得ることができるという効果も得られる。
〔発明１３〕
さらに、発明１３の画像分類システムは、発明９ないし１２のいずれかの画像分類システムにおいて、
前記特徴ベクトル生成手段は、前記分類対象画像同士のアスペクト比が異なるときは、アスペクト比が異なる第１画像および第２画像を重ね合わせ、前記第１画像のうち重複領域について前記第１画像の特徴ベクトルを生成し、前記第２画像のうち重複領域について前記第２画像の特徴ベクトルを生成するようになっていることを特徴とする。
【００３１】
このような構成であれば、分類対象画像同士のアスペクト比が異なると、特徴ベクトル生成手段により、アスペクト比が異なる第１画像および第２画像を重ね合わせ、第１画像のうち重複領域について第１画像の特徴ベクトルが生成され、第２画像のうち重複領域について第２画像の特徴ベクトルが生成される。
これにより、アスペクト比が異なる画像同士であっても、比較的正確に類否を判定することができるので、利用者の希望にさらに添った分類結果を得ることができるという効果も得られる。
〔発明１４〕
一方、上記目的を達成するために、発明１４の画像検索プログラムは、
与えられた検索キー画像をもとに、複数の検索対象画像のなかから前記検索キー画像に適合する画像を検索するプログラムであって、
前記複数の検索対象画像を記憶するための検索対象画像記憶手段と、前記検索キー画像を入力する検索キー画像入力手段とを利用可能なコンピュータに対して、
前記検索キー画像入力手段で入力した検索キー画像および前記検索対象画像記憶手段の各検索対象画像について当該画像から注目領域を抽出する注目領域抽出手段、前記検索キー画像および前記各検索対象画像について前記注目領域抽出手段で抽出した注目領域に基づいて当該画像の特徴を示す特徴ベクトルを生成する特徴ベクトル生成手段、並びに前記特徴ベクトル生成手段で生成した特徴ベクトルに基づいて前記検索対象画像記憶手段のなかから前記検索キー画像に適合する画像を検索する画像検索手段として実現される処理を実行させるためのプログラムであることを特徴とする。
【００３２】
このような構成であれば、コンピュータによってプログラムが読み取られ、読み取られたプログラムに従ってコンピュータが処理を実行すると、発明２の画像検索システムと同等の作用および効果が得られる。
〔発明１５〕
一方、上記目的を達成するために、発明１５の画像分類プログラムは、
複数の分類対象画像を分類するプログラムであって、
前記複数の分類対象画像を記憶するための分類対象画像記憶手段を利用可能なコンピュータに対して、
前記分類対象画像記憶手段の各分類対象画像ごとに当該分類対象画像から注目領域を抽出する注目領域抽出手段、前記注目領域抽出手段で抽出した注目領域に基づいて前記各分類対象画像ごとに当該分類対象画像の特徴を示す特徴ベクトルを生成する特徴ベクトル生成手段、および前記特徴ベクトル生成手段で生成した特徴ベクトルに基づいて前記各分類対象画像を複数のグループに分類する画像分類手段として実現される処理を実行させるためのプログラムであることを特徴とする。
【００３３】
このような構成であれば、コンピュータによってプログラムが読み取られ、読み取られたプログラムに従ってコンピュータが処理を実行すると、発明９の画像分類システムと同等の作用および効果が得られる。
〔発明１６〕
一方、上記目的を達成するために、発明１６の画像検索方法は、
与えられた検索キー画像をもとに、複数の検索対象画像を記憶した検索対象画像記憶手段のなかから前記検索キー画像に適合する画像を検索する方法であって、
前記検索キー画像を入力する検索キー画像入力ステップと、
前記検索キー画像入力ステップで入力した検索キー画像から注目領域を抽出する第１注目領域抽出ステップと、
前記第１注目領域抽出ステップで抽出した注目領域に基づいて前記検索キー画像の特徴を示す特徴ベクトルを生成する第１特徴ベクトル生成ステップと、
前記検索対象画像から注目領域を抽出する第２注目領域抽出ステップと、
前記第２注目領域抽出ステップで抽出した注目領域に基づいて前記検索対象画像の特徴を示す特徴ベクトルを生成する第２特徴ベクトル生成ステップと、
前記第２注目領域抽出ステップおよび前記第２特徴ベクトル生成ステップを前記検索対象画像記憶手段の各検索対象画像ごとに繰り返し行う繰返ステップと、前記第１特徴ベクトル生成ステップおよび前記第２特徴ベクトル生成ステップで生成した特徴ベクトルに基づいて前記検索対象画像記憶手段のなかから前記検索キー画像に適合する画像を検索する画像検索ステップとを含むことを特徴とする。
【００３４】
これにより、発明２の画像検索システムと同等の効果が得られる。
ここで、注目領域抽出ステップは、検索キー画像および各検索対象画像についてその画像から注目領域を抽出すればよい。例えば、検索キー画像または検索対象画像に基づいて誘目度を算出し、算出した誘目度に基づいて注目領域を抽出することができる。以下、発明１７の画像分類方法において同じである。
【００３５】
また、検索キー画像入力ステップは、検索キー画像を入力すればどのような方法であってもよく、例えば、検索対象画像記憶手段のなかから選択した検索対象画像を検索キー画像として入力してもよいし、画像記憶媒体、ネットワークまたは他の画像記憶手段から検索キー画像を入力してもよい。
〔発明１７〕
一方、上記目的を達成するために、発明１７の画像分類方法は、
複数の分類対象画像を分類する方法であって、
前記分類対象画像から注目領域を抽出する注目領域抽出ステップと、
前記注目領域抽出ステップで抽出した注目領域に基づいて前記分類対象画像の特徴を示す特徴ベクトルを生成する特徴ベクトル生成ステップと、
前記注目領域抽出ステップおよび前記特徴ベクトル生成ステップを前記各分類対象画像ごとに繰り返し行う繰返ステップと、
前記特徴ベクトル生成ステップで生成した特徴ベクトルに基づいて前記各分類対象画像を複数のグループに分類する画像分類ステップとを含むことを特徴とする。
【００３６】
これにより、発明９の画像分類システムと同等の効果が得られる。
【００３７】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照しながら説明する。図１ないし図７は、本発明に係る画像検索システム、画像分類システム、画像検索プログラムおよび画像分類プログラム、並びに画像検索方法および画像分類方法の実施の形態を示す図である。
【００３８】
本実施の形態は、本発明に係る画像検索システム、画像分類システム、画像検索プログラムおよび画像分類プログラム、並びに画像検索方法および画像分類方法を、利用者が注目する箇所を考慮して画像の類似検索を行う場合について適用したものである。
本実施の形態では、画像のなかで利用者が注目すると思われる箇所（以下、注目領域という。）の抽出基準として「誘目度」という概念を用いる。誘目度の算出方法は、例えば、「特開２００１−１２６０７０号公報（注目領域抽出装置およびそれを用いた自動構図決定装置）に詳細に開示されている。
【００３９】
誘目度について簡単に説明する。
注目領域の抽出のために、原画像の物理的特徴に従って誘目度を評価する。ここで、誘目度とは、人間の主観に合ったパラメータをいう。注目領域の抽出は、評価結果から一番目立つ領域を注目領域として抽出する。つまり、注目領域の評価の際は、物理的特徴に従って人間の主観に合った評価をするので、人間の主観に適合した注目領域を抽出することができる。
【００４０】
例えば、物理的特徴が色の異質度を含む場合、各領域の色の違いに基づいて誘目度を評価することができる。
また、物理的特徴が、色の異質度に加えて、形の異質度、面積の異質度およびテクスチャ（模様）の異質度をさらに含むので、この４つの異質度の少なくとも１つの異質度に基づいて誘目度を評価すれば、原画像の特徴に応じて的確に誘目度を評価することができる。
【００４１】
また、色の３要素（色相、彩度、明度）についても評価する場合であれば、人間の主観による目立つ色（赤色）に近い領域を最も目立つ領域と評価することができる。
さらに、空間周波数や原画像における各領域の面積についても評価すれば、最も目立つ領域の評価をさらに的確に判定することができる。
【００４２】
また、誘目度の評価は、以下の手順により行う。
（１）最初に原画像を領域分割する。この場合、原画像を図領域と絵領域に分割する。領域分割の方法には、１９９７ＩＥＥＥにおいてＷ．Ｙ．ＭａやＢ．Ｓ．Ｍａｎｊｕｎａｔｈらが「Ｅｄｇｅ Ｆｌｏｗ：Ａ Ｆｒａｍｅｗｏｒｋ ｏｆ Ｂｏｕｎｄａｒｙ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｉｍａｇｅ Ｓｅｇｍｅｎｔａｔｉｏｎ」に記載した”ｅｄｇｅ ｆｌｏｗ”に基づく境界検出方法が適用される。
（２）次に、分割した図領域を抽出し、領域の誘目度を評価する。
【００４３】
誘目度の評価は、概略以下のようにして行う。
最初に、各領域の異質性誘目度を求める。この場合、色の異質度、テクスチャの異質度、形の異質度および面積の異質度を各々求め、それぞれに重み係数を付与して線形結合し、各領域の異質性誘目度を求める。
次に、各領域における特徴誘目度を求める。この場合、色の誘目度、空間周波数の誘目度、面積の誘目度を求め、それぞれに重み係数を付与して線形結合し、各領域の特徴誘目度を求める。
【００４４】
次に、各領域の異質性誘目度と特徴誘目度を加算し、特徴量統合値を求め、特徴量統合値を所定のベータ関数により評価して、誘目度を算出する。
（３）また、原画像から誘目度を評価したパターン図を生成する。
次に、本発明に係る画像検索装置１００の構成を図１を参照しながら説明する。
【００４５】
図１は、本発明に係る画像検索装置１００の構成を示す機能ブロック図である。
画像検索装置１００は、図１に示すように、複数の検索対象画像を登録した検索対象画像登録データベース（以下、データベースのことを単にＤＢと略記する。）１０と、検索キー画像を指定する検索キー画像指定部１２と、検索キー画像指定部１２で指定された検索対象画像を検索キー画像として検索対象画像登録ＤＢ１０から読み出す検索キー画像読出部１４とを有して構成されている。さらに、検索キー画像読出部１４で読み出した検索キー画像および検索対象画像登録ＤＢ１０の各検索対象画像についてその画像から注目領域を抽出する注目領域抽出部１６と、検索キー画像読出部１４で読み出した検索キー画像および検索対象画像登録ＤＢ１０の各検索対象画像について顔情報および類似度を判定する顔画像処理部１８と、注目領域抽出部１６で抽出した注目領域および顔画像処理部１８の判定結果に基づいて画像の特徴を示す特徴ベクトルを生成する特徴ベクトル生成部２０とを有して構成されている。さらに、検索条件を指定する検索条件指定部２２と、検索条件指定部２２で指定された検索条件および特徴ベクトル生成部２０で生成した特徴ベクトルに基づいて検索対象画像登録ＤＢ１０のなかから画像を検索する画像検索部２４と、検索結果の表示形態を指定する表示形態指定部２６と、表示形態指定部２６で指定された表示形態で検索結果の画像を表示する画像表示部２８とを有している。
【００４６】
顔画像処理部１８は、検索キー画像読出部１４で読み出した検索キー画像および検索対象画像登録ＤＢ１０の各検索対象画像についてその画像に人物画像の顔に相当する領域（以下、顔領域という。）が含まれているか否かを判定する顔領域判定部３４と、顔領域判定部３４の判定結果に基づいて画像に含まれる人物画像の顔の向き、大きさおよび重心位置を判定する顔情報判定部３６と、顔領域判定部３４の判定結果に基づいて各検索対象画像ごとにその検索対象画像に含まれる人物画像の顔と検索キー画像に含まれる人物画像の顔との類似度を判定する類似度判定部３８とを有して構成されている。
【００４７】
具体的に、画像検索装置１００は、図２に示すように、コンピュータ２００およびこれに実行させるプログラムとして実現することができる。コンピュータ２００の構成を図２を参照しながら説明する。
図２は、コンピュータ２００の構成を示すブロック図である。
コンピュータ２００は、図２に示すように、制御プログラムに基づいて演算およびシステム全体を制御するＣＰＵ５０と、所定領域にあらかじめＣＰＵ５０の制御プログラム等を格納しているＲＯＭ５２と、ＲＯＭ５２等から読み出したデータやＣＰＵ５０の演算過程で必要な演算結果を格納するためのＲＡＭ５４と、外部装置に対してデータの入出力を媒介するＩ／Ｆ５８とで構成されており、これらは、データを転送するための信号線であるバス５９で相互にかつデータ授受可能に接続されている。
【００４８】
Ｉ／Ｆ５８には、外部装置として、検索対象画像登録ＤＢ１０と、ヒューマンインターフェースとしてデータの入力が可能なキーボードやマウス等からなる入力装置６０と、画像信号に基づいて画面を表示する表示装置６４とが接続されている。
ＣＰＵ５０は、マイクロプロセッシングユニット（ＭＰＵ）等からなり、ＲＯＭ５２の所定領域に格納されている所定のプログラムを起動させ、そのプログラムに従って、図３のフローチャートに示す画像検索処理を実行するようになっている。
【００４９】
図３は、画像検索処理を示すフローチャートである。
画像検索処理は、入力装置６０から検索要求の入力を受けて実行される処理であって、ＣＰＵ５０において実行されると、図３に示すように、まず、ステップＳ１００に移行するようになっている。
ステップＳ１００では、検索条件の指定を入力する。検索条件としては、検索対象画像登録ＤＢ１０のなかから検索キー画像に最も類似する画像を検索する類似画像検索モード、検索対象画像登録ＤＢ１０のなかから検索キー画像に類似する複数の画像を検索する類似画像群検索モード、および検索対象画像登録ＤＢ１０のなかから性質の異なる複数の画像を検索するバラエティ検索モードを指定することができる。
【００５０】
次いで、ステップＳ１０２に移行して、表示形態の指定を入力する。表示形態としては、検索条件に合致する画像を大きく表示し検索条件に合致しない画像を小さく表示する拡大表示モード、および検索条件に合致する画像を鮮明に表示し検索条件に合致しない画像をぼかして表示する鮮明表示モードを指定することができる。
【００５１】
次いで、ステップＳ１０４に移行して、検索対象画像登録ＤＢ１０のなかから検索キー画像を指定する。なお、検索条件としてバラエティ検索モードを指定した場合は、検索キー画像の指定は不要となる。以下、ステップＳ１０６〜Ｓ１２６およびステップＳ１３４の処理は、検索キー画像を含むすべての検索対象画像について行う。
【００５２】
次いで、ステップＳ１０６に移行して、検索対象画像登録ＤＢ１０のなかから先頭の検索対象画像を読み出し、ステップＳ１０８に移行する。
ステップＳ１０８では、読み出した検索対象画像に基づいて誘目度を算出し、算出した誘目度に基づいて注目領域を抽出する。注目領域の抽出は、上記方法により行う。誘目度の絶対値は、検索対象画像に影響を受けることがあるので、すべての検索対象画像を等しく評価するためには、誘目度を正規化して注目領域の注目度合いを所定段階（例えば、１０段階）に区分する。以下、検索対象画像を構成する各画素について算出した誘目度をｅ’_ｘｙとする。ｘ，ｙは、検索対象画像における画素のＸ座標およびＹ座標を示す。
【００５３】
図４は、縦向きの検索対象画像の一例を示す図である。
図４（ａ）の例では、撮影向きが縦方向となっており、右下に花の画像が配置されている。この場合、注目領域を算出すると、例えば、図４（ｂ）に示すように、花の画像のうち花の部分およびその近傍に相当する領域が最も注目度合いの高い注目領域Ａとして抽出され、花の画像のうち茎および葉の部分並びにその近傍に相当する領域が２番目に注目度合いの高い注目領域Ｂとして抽出される。その他の領域は、注目度合いの低い領域Ｃとして抽出される。
【００５４】
図５は、横向きの検索対象画像の一例を示す図である。
図５（ａ）の例では、撮影向きが横方向となっており、右下に花の画像が配置されている。この場合、注目領域を算出すると、例えば、図５（ｂ）に示すように、花の画像のうち花の部分およびその近傍に相当する領域が最も注目度合いの高い注目領域Ａとして抽出され、花の画像のうち茎および葉の部分並びにその近傍に相当する領域が２番目に注目度合いの高い注目領域Ｂとして抽出される。その他の領域は、注目度合いの低い領域Ｃとして抽出される。このように、図４の検索対象画像とほぼ同様の領域が同様の注目の度合いで抽出されることが分かる。
【００５５】
次いで、ステップＳ１１０に移行して、読み出した検索対象画像に顔領域が含まれているか否かを判定し、ステップＳ１１８に移行する。
ステップＳ１１８では、ステップＳ１１０の判定結果に基づいて、検索対象画像に含まれる人物画像の顔の向き、大きさおよび重心位置を判定する。具体的には、検索対象画像内に複数の顔領域が含まれていることを想定し、それらを検出顔領域群とすると、検出顔領域群の検索対象画像内に占める面積の総和ｆ１、検出顔領域群の検索対象画像内に占める面積の平均値ｆ２、検出顔領域群の検索対象画像内に占める面積の分散ｆ３、検出顔領域群の各顔が水平方向どれぐらい正面を向いているかの水平方向正面向度合の平均値ｆ４（−π／２〜π／２）、検出顔領域群の各顔の水平方向正面向度合の分散ｆ５、検出顔領域群の各顔が垂直方向どれぐらい正面を向いているかの垂直方向正面向度合の平均値ｆ６（−π／２〜π／２）、検出顔領域群の各顔の垂直向方向正面度合の分散ｆ７、検出顔領域群の各重心位置の平均値ｆ８、および検出顔領域群の各重心位置の分散ｆ９をそれぞれ算出する。検索対象画像内に１つの顔領域しか含まれていない場合は、ｆ１およびｆ２は、その顔領域の面積を、ｆ４およびｆ６は、その顔領域の水平方向正面向度合および垂直方向正面向度合をそれぞれ算出する。なお、水平方向正面向度合は、検出顔領域の顔が正面を基準として水平方向に傾いているほど小さい値となり、垂直方向正面度合は、検出顔領域の顔が正面を基準として垂直方向に傾いているほど小さい値となる。以下、特に区別する場合を除き、水平方向正面向度合および垂直方向正面向度合を総称して正面向度合という。また、顔領域の面積は、検索対象画像の大きさで正規化して算出する。
【００５６】
次いで、ステップＳ１２０に移行して、検索対象画像に含まれる人物画像の顔と検索キー画像に含まれる人物画像の顔との類似度を判定する。例えば、検索キー画像に被写体Ａ，Ｂ，Ｃの人物画像が含まれている場合、検索対象画像に含まれる各顔領域ごとに、被写体Ａの顔領域の顔との類似度、被写体Ｂの顔領域の顔との類似度、および被写体Ｃの顔領域の顔との類似度をそれぞれ判定する。なお、検索条件としてバラエティ検索モードを指定した場合は、検索キー画像が存在しないので、検索対象画像に含まれる人物画像の顔と、あらかじめ設定した特定画像に含まれる人物画像の顔との類似度を判定する。
【００５７】
次いで、ステップＳ１２４に移行して、ステップＳ１０８で抽出した注目領域、およびステップＳ１１８，Ｓ１２０の判定結果に基づいて検索対象画像の特徴ベクトルＶを生成する。特徴ベクトルＶは、大別して、注目領域の誘目度に応じた第１要素群と、顔情報ｆ１〜ｆ９に応じた第２要素群と、類似度に応じた第３要素群とからなる。
【００５８】
特徴ベクトルＶの第１要素群は、検索対象画像を複数の領域（例えば、水平方向Ｎ個および垂直方向Ｍ個の矩形領域）に区分し、下式（１）により、各区分領域ごとにその区分領域（ｉ，ｊ）の誘目度の平均値ｅ_ｉｊを算出し、誘目度の平均値ｅ_ｉｊに基づいて決定する。区分領域（ｉ，ｊ）は、検索対象画像において水平方向ｉ（ｉ＝１〜Ｎ）番目でかつ垂直方向ｊ（ｊ＝１〜Ｍ）番目の領域を示す。
【００５９】
【数１】

【００６０】
上式（１）は、各区分領域を２ｓ×２ｓの画素からなる正方形の領域とした場合に、区分領域（ｉ，ｊ）の誘目度の平均値ｅ_ｉｊを算出している。上式（１）において、ｘｉは、区分領域（ｉ，ｊ）の中心点のｘ座標であり、ｘｊは、区分領域（ｉ，ｊ）の中心点のｙ座標である。
したがって、特徴ベクトルＶの第１要素群は、下式（２）により、各区分領域の誘目度の平均値ｅ_ｉｊにそれぞれ独立の係数Ｅ_ｉｊを乗算し、それらを各要素として羅列したものとなる。検索対象画像を水平方向Ｎ個および垂直方向Ｍ個の領域に区分した場合、特徴ベクトルＶの第１要素群は、Ｎ×Ｍ個の要素から構成される。
【００６１】
【数２】

【００６２】
特徴ベクトルＶの第２要素群は、下式（３）により、ステップＳ１１８で判定した顔情報ｆ１〜ｆ９にそれぞれ独立の係数Ｆ_１〜Ｆ_９を乗算し、それらを各要素として羅列したものとなる。
【００６３】
【数３】

【００６４】
特徴ベクトルＶの第３要素群は、下式（４）により、ステップＳ１２０で判定した類似度ｐ_ｋにそれぞれ独立の係数Ｐ_ｋを乗算し、それらを各要素として羅列したものとなる。例えば、検索キー画像にＫ個の人物画像が含まれている場合、検索対象画像に含まれる各顔領域ごとに、検索キー画像に含まれる顔領域ｋ（ｋ＝１〜Ｋ）の顔との類似度を算出する。このとき、顔領域ｋの顔と類似しているとき（類似度が所定値以上であるとき）は、ｐ_ｋ＝１とし、顔領域ｋの顔と類似していないとき（類似度が所定値未満であるとき）は、ｐ_ｋ＝０とする。
【００６５】
【数４】

【００６６】
以上により、特徴ベクトルＶは、下式（５）により、第１要素群、第２要素群および第３要素群の各要素を羅列したものして表される。
【００６７】
【数５】

【００６８】
次いで、ステップＳ１２６に移行して、検索対象画像登録ＤＢ１０のすべての検索対象画像についてステップＳ１０８〜Ｓ１２４の処理が終了したか否かを判定し、すべての検索対象画像について処理が終了したと判定したとき（Ｙｅｓ）は、ステップＳ１２８に移行する。
ステップＳ１２８では、検索対象画像の特徴ベクトルＶ同士のベクトル間距離に基づいて各検索対象画像を複数のクラスタにクラスタリングする。クラスタリングは、例えば、従来のＫ−平均法に基づいて行うことができる。Ｋ−平均法では、第１の処理として、Ｋ個の特徴ベクトルＶを適当に選択し、選択した特徴ベクトルＶ_ｋ（ｋ＝１〜Ｋ）をそれぞれクラスタｋの中心位置とする。クラスタｋの中心位置をｍ_ｋとする。次いで、第２の処理として、下式（６）により、特徴ベクトルＶ_ｉ（ｉ＝１〜Ｎ、Ｎは検索対象画像の総数）とクラスタｋの中心位置ｍ_ｋとのベクトル間距離を算出し、算出したベクトル間距離が最小となるクラスタｋに特徴ベクトルＶ_ｉを属させる。下式（６）は、特徴ベクトルＶ_Ａと特徴ベクトルＶ_Ｂとのベクトル間距離を算出している。
Ｓ＝｜Ｖ_Ａ−Ｖ_Ｂ｜ …（６）
次いで、第３の処理として、クラスタｋの中心位置ｍ_ｋをクラスタｋに属している特徴ベクトルＶ_ｉの平均値で置き換える。次いで、第４の処理として、ｉ＜Ｎの場合、ｉに「１」を加算して第２の処理および第３の処理を行う。そして、第５の処理として、第３の処理で変更前後のｍ_ｋに変化があるときは、ｉ＝１として第２の処理および第３の処理を行う。第３の処理で変更前後のｍ_ｋに変化がないとき、または一定回数以上繰り返し処理を行ったときは、処理を終了し、クラスタｋの中心位置ｍ_ｋおよびこれに属する特徴ベクトルＶ_ｉが決定する。
【００６９】
図６は、ｎ個の特徴ベクトルＶを２つのクラスタにクラスタリングした場合を示す図である。
図６の例では、特徴ベクトルＶ_１，Ｖ_２，Ｖ_３，Ｖ_ｎは、中心位置ｍ_１のクラスタに属し、特徴ベクトルＶ_４，Ｖ_５，Ｖ_６，Ｖ_ｎ−１は、中心位置ｍ_２のクラスタに属している。
【００７０】
次いで、ステップＳ１３０に移行して、指定された検索条件に基づいて検索対象画像登録ＤＢ１０のなかから画像を検索する。検索条件として類似画像検索モードを指定した場合は、検索キー画像の特徴ベクトルＶとのベクトル間距離が最も小さい特徴ベクトルＶに対応する検索対象画像を検索対象画像登録ＤＢ１０のなかから索出する。検索条件として類似画像群検索モードを指定した場合は、複数のクラスタのうち検索キー画像が属するもののすべての検索対象画像を検索対象画像登録ＤＢ１０のなかから索出する。検索条件としてバラエティ検索モードを指定した場合は、各クラスタごとに所定数の検索対象画像を検索対象画像登録ＤＢ１０のなかから索出する。
【００７１】
次いで、ステップＳ１３２に移行して、索出した検索対象画像を指定の表示形態で表示装置６４に表示し、一連の処理を終了して元の処理に復帰させる。
図７は、検索結果を表示した表示画面を示す図である。
図７の例では、検索対象画像１〜ｎを拡大表示モードおよび鮮明表示モードで表示した場合であり、画像１、２、３、ｎは、検索結果として索出された画像であるので、大きくかつ鮮明に表示されているのに対して、その他の画像４、５、６、ｎ−１は、小さくかつぼかして表示されている。
【００７２】
一方、ステップＳ１２６で、検索対象画像登録ＤＢ１０のすべての検索対象画像についてステップＳ１０８〜Ｓ１２４の処理が終了していないと判定したとき（Ｎｏ）は、ステップＳ１３４に移行して、検索対象画像登録ＤＢ１０のなかから次の検索対象画像を読み込み、ステップＳ１０８に移行する。
次に、本実施の形態の動作を説明する。
【００７３】
まず、類似画像検索モードにより画像の類似検索を行う場合を説明する。
類似画像検索モードにより画像の類似検索を行う場合、利用者は、検索要求を入力し、検索モードとして類似画像検索モードを指定するとともに検索キー画像を指定する。また、併せて表示形態も指定する。
画像検索装置１００では、類似画像検索モードおよび検索キー画像が指定されると、ステップＳ１０６〜Ｓ１１０を経て、検索対象画像登録ＤＢ１０のなかから先頭の検索対象画像が読み出され、読み出された検索対象画像から注目領域が抽出されるととともに検索対象画像に顔領域が含まれているか否かが判定される。次いで、ステップＳ１１８，Ｓ１２０を経て、ステップＳ１１０の判定結果に基づいて、検索対象画像に含まれる人物画像の顔の向き、大きさおよび重心位置が判定され、検索対象画像に含まれる人物画像の顔と検索キー画像に含まれる人物画像の顔との類似度が判定される。検索対象画像に複数の被写体の人物画像が含まれている場合は、ステップＳ１１０〜Ｓ１２０を繰り返し経て、各顔領域ごとに顔情報および類似度が判定される。
【００７４】
次いで、検索対象画像のすべての顔領域について顔情報および類似度が判定されると、ステップＳ１２４を経て、抽出された注目領域、並びに判定された顔情報および類似度に基づいて検索対象画像の特徴ベクトルＶが生成される。
このような処理が検索対象画像登録ＤＢ１０のすべての検索対象画像について行われると、ステップＳ１２８，Ｓ１３０を経て、検索対象画像の特徴ベクトルＶ同士のベクトル間距離に基づいて各検索対象画像が複数のクラスタにクラスタリングされ、類似画像検索モードが指定されていることから、検索キー画像の特徴ベクトルＶとのベクトル間距離が最も小さい特徴ベクトルＶに対応する検索対象画像が検索対象画像登録ＤＢ１０のなかから索出される。そして、ステップＳ１３２を経て、索出された検索対象画像が指定の表示形態で表示される。
【００７５】
次に、類似画像群検索モードにより画像の類似検索を行う場合を説明する。
類似画像群検索モードにより画像の類似検索を行う場合、利用者は、検索要求を入力し、検索モードとして類似画像群検索モードを指定するとともに検索キー画像を指定する。また、併せて表示形態も指定する。
各検索対象画像をクラスタリングするまでは、類似画像検索モードで類似検索する場合と同様である。画像検索装置１００では、各検索対象画像がクラスタリングされると、ステップＳ１３０を経て、類似画像群検索モードが指定されていることから、複数のクラスタのうち検索キー画像が属するもののすべての検索対象画像が検索対象画像登録ＤＢ１０のなかから索出される。そして、ステップＳ１３２を経て、索出された検索対象画像が指定の表示形態で表示される。
【００７６】
次に、バラエティ検索モードにより画像の類似検索を行う場合を説明する。
バラエティ検索モードにより画像の類似検索を行う場合、利用者は、検索要求を入力し、検索モードとしてバラエティ検索モードを指定する。また、併せて表示形態も指定する。
各検索対象画像をクラスタリングするまでは、類似画像検索モードで類似検索する場合と同様である。画像検索装置１００では、各検索対象画像がクラスタリングされると、ステップＳ１３０を経て、バラエティ検索モードが指定されていることから、各クラスタごとに所定数の検索対象画像が検索対象画像登録ＤＢ１０のなかから索出される。そして、ステップＳ１３２を経て、索出された検索対象画像が指定の表示形態で表示される。
【００７７】
このようにして、本実施の形態では、検索キー画像および各検索対象画像についてその画像から注目領域を抽出し、検索キー画像および各検索対象画像について抽出した注目領域に基づいてその画像の特徴ベクトルＶを生成し、生成した特徴ベクトルＶに基づいて検索対象画像登録ＤＢ１０のなかから検索キー画像に適合する画像を検索するようになっている。
【００７８】
これにより、利用者が注目する箇所を考慮して検索が行われるので、利用者の主観が検索結果に反映しやすくなる。したがって、従来に比して、利用者の希望に比較的添った検索結果を得ることができる。
さらに、本実施の形態では、検索キー画像および各検索対象画像についてその画像に含まれる人物画像の顔の向き、大きさまたは重心位置を判定し、検索キー画像および各検索対象画像について、判定した顔の向き、大きさまたは重心位置に基づいて、その画像の特徴ベクトルＶを生成するようになっている。
【００７９】
これにより、人物画像の顔の向き、大きさまたは重心位置を考慮して検索が行われるので、検索キー画像に含まれる人物画像の顔に適合する検索結果を得ることができる。
さらに、本実施の形態では、各検索対象画像ごとに、その検索対象画像に含まれる人物画像の顔と検索キー画像に含まれる人物画像の顔との類似度を判定し、検索キー画像および各検索対象画像について、判定した類似度に基づいて、その画像の特徴ベクトルＶを生成するようになっている。
【００８０】
これにより、人物画像の顔同士の類似度を考慮して検索が行われるので、検索キー画像に含まれる人物画像の顔に類似する検索結果を得ることができる。
さらに、本実施の形態では、検索キー画像の特徴ベクトルＶとのベクトル間距離が最も小さい特徴ベクトルＶに対応する検索対象画像を検索対象画像登録ＤＢ１０のなかから索出するようになっている。
【００８１】
これにより、利用者の希望に最も添うと思われる検索結果を得ることができる。
さらに、本実施の形態では、検索対象画像の特徴ベクトルＶ同士のベクトル間距離に基づいて各検索対象画像を複数のクラスタに分類し、複数のクラスタのうち検索キー画像が属するもののすべての検索対象画像を検索対象画像登録ＤＢ１０のなかから索出するようになっている。
【００８２】
これにより、利用者の希望に添うと思われるいくつかの検索結果を得ることができる。
さらに、本実施の形態では、検索対象画像の特徴ベクトルＶ同士のベクトル間距離に基づいて各検索対象画像を複数のクラスタに分類し、各クラスタごとに所定数の検索対象画像を検索対象画像登録ＤＢ１０のなかから索出するようになっている。
【００８３】
これにより、異なるクラスタから所定数の検索対象画像が索出されるので、多様な検索結果を得ることができる。
上記実施の形態において、検索対象画像は、発明８ないし１２、１５または１７の分類対象画像に対応し、検索対象画像登録ＤＢ１０は、発明２、５、６、１４若しくは１６の検索対象画像記憶手段、または発明９、１２若しくは１５の分類対象画像記憶手段に対応している。また、ステップＳ１０４および検索キー画像指定部１２は、発明２若しくは１４の検索キー画像入力手段、または発明１６の検索キー画像入力ステップに対応し、ステップＳ１０８および注目領域抽出部１６は、発明２、９、１４若しくは１５の注目領域抽出手段、発明１７の注目領域抽出ステップ、発明１６の第１注目領域抽出ステップ、または発明１６の第２注目領域抽出ステップに対応している。
【００８４】
また、上記実施の形態において、ステップＳ１１８および顔情報判定部３６は、発明３または１０の顔情報判定手段に対応し、ステップＳ１２０および類似度判定部３８は、発明４または１１の類似度判定手段に対応し、ステップＳ１２４および特徴ベクトル生成部２０は、発明２ないし４、９ないし１１、１４若しくは１５の特徴ベクトル生成手段、発明１６の第２特徴ベクトル生成ステップ、または発明１６の第１特徴ベクトル生成ステップに対応している。また、ステップＳ１２８，Ｓ１３０および画像検索部２４は、発明２、５、６若しくは１４の画像検索手段、発明９、１２若しくは１５の画像分類手段、発明１６の画像検索ステップ、または発明１７の画像分類ステップに対応している。
【００８５】
なお、上記実施の形態においては、検索対象画像のアスペクト比について特に説明しなかったが、検索対象画像のアスペクト比が異なる場合は、次のように画像の類否を判定する。
図８は、アスペクト比が異なる検索対象画像Ａ，Ｂを重ね合わせた場合を示す図である。
【００８６】
アスペクト比が異なる検索対象画像Ａ，Ｂの類否を判定する場合は、図８に示すように、検索対象画像Ａ，Ｂとを重ね合わせ、検索対象画像Ａのうち重複領域について検索対象画像Ａの特徴ベクトルＶ_Ａを生成し、検索対象画像Ｂのうち重複領域について検索対象画像Ｂの特徴ベクトルＶ_Ｂを生成し、生成した特徴ベクトルＶ_Ａ，Ｖ_Ｂに基づいて検索対象画像Ａ，Ｂの類否を判定する。
【００８７】
この場合、さらに、重複領域が異なるように検索対象画像Ａ，Ｂの重ね合わせ方を変えて検索対象画像Ａ，Ｂを重ね合わせ、各組み合わせごとに算出した検索対象画像Ａの特徴ベクトルＶ_Ａｉ（ｉ＝１〜Ｎ、Ｎは組み合わせ総数）の平均値を検索対象画像Ａの特徴ベクトルＶ_Ａとして生成し、各組み合わせごとに算出した検索対象画像Ｂの特徴ベクトルＶ_Ｂｉの平均値を検索対象画像Ｂの特徴ベクトルＶ_Ｂとして生成してもよい。
【００８８】
これにより、アスペクト比が異なる検索対象画像同士であっても、比較的正確に類否を判定することができるので、利用者の希望にさらに添った検索結果を得ることができる。
この場合において、ステップＳ１２４および特徴ベクトル生成部２０は、発明７または１３の特徴ベクトル生成手段に対応している。
【００８９】
また、上記実施の形態においては、特徴ベクトルＶの第１要素群を、上式（２）により、各区分領域の誘目度の平均値ｅ_ｉｊにそれぞれ独立の係数Ｅ_ｉｊを乗算し、それらを各要素として羅列したものとして生成するように構成したが、これに限らず、注目領域の算出に誘目度を用いる場合、分割された領域では誘目度は一定になるのでステップＳ１０８では、次のように生成することもできる。まず、検索対象画像のなかから誘目度の高い順にＨ個の注目領域を選択する。次いで、下式（７）により、注目領域ｈ（ｈ＝１〜Ｈ）の水平方向の中心座標ｘ_ｈに係数Ｘを乗算し、注目領域ｈの垂直方向の中心座標ｙ_ｈに係数Ｙ_ｈを乗算する。また、注目領域ｈの誘目度ｅ_ｈに係数Ｅを乗算し、注目領域ｈの面積ｓ_ｈに係数Ｓを乗算する。そして、それらＸｘ_ｈ、Ｙｙ_ｈ、Ｅｅ_ｈ、Ｓｓ_ｈを各要素として羅列したものを特徴ベクトルＶの第１要素群として生成する。
【００９０】
【数６】

【００９１】
この場合、抽出した注目領域の個数ｈが所定数（例えば、１０個）に満たない場合は、特徴ベクトルＶの第１要素群をすべて「０」とする。
また、上記実施の形態において、図３のフローチャートに示す処理を実行するにあたっては、ＲＯＭ５２にあらかじめ格納されている制御プログラムを実行する場合について説明したが、これに限らず、これらの手順を示したプログラムが記憶された記憶媒体から、そのプログラムをＲＡＭ５４に読み込んで実行するようにしてもよい。
【００９２】
ここで、記憶媒体とは、ＲＡＭ、ＲＯＭ等の半導体記憶媒体、ＦＤ、ＨＤ等の磁気記憶型記憶媒体、ＣＤ、ＣＤＶ、ＬＤ、ＤＶＤ等の光学的読取方式記憶媒体、ＭＯ等の磁気記憶型／光学的読取方式記憶媒体であって、電子的、磁気的、光学的等の読み取り方法のいかんにかかわらず、コンピュータで読み取り可能な記憶媒体であれば、あらゆる記憶媒体を含むものである。
【００９３】
また、上記実施の形態においては、本発明に係る画像検索システム、画像分類システム、画像検索プログラムおよび画像分類プログラム、並びに画像検索方法および画像分類方法を、利用者が注目する箇所を考慮して画像の類似検索を行う場合について適用したが、これに限らず、本発明の主旨を逸脱しない範囲で他の場合にも適用可能である。例えば、画像を分類する場合について適用することができる。
【図面の簡単な説明】
【図１】本発明に係る画像検索装置１００の構成を示す機能ブロック図である。
【図２】コンピュータ２００の構成を示すブロック図である。
【図３】画像検索処理を示すフローチャートである。
【図４】縦向きの検索対象画像の一例を示す図である。
【図５】横向きの検索対象画像の一例を示す図である。
【図６】ｎ個の特徴ベクトルＶを２つのクラスタにクラスタリングした場合を示す図である。
【図７】検索結果を表示した表示画面を示す図である。
【図８】アスペクト比が異なる検索対象画像Ａ，Ｂを重ね合わせた場合を示す図である。
【符号の説明】
１００…画像検索装置，２００…コンピュータ，１０…検索対象画像登録ＤＢ，１２…検索キー画像指定部，１４…検索キー画像読出部，１６…注目領域抽出部，１８…顔画像処理部，２０…特徴ベクトル生成部，２２…検索条件指定部，２４…画像検索部，２６…表示形態指定部，２８…画像表示部，３４…顔領域判定部，３６…顔情報判定部，３８…類似度判定部，５０…ＣＰＵ，５２…ＲＯＭ，５４…ＲＡＭ，５８…Ｉ／Ｆ，６０…入力装置，６４…表示装置

Claims (17)

1. 与えられた検索キー画像をもとに、複数の検索対象画像のなかから前記検索キー画像に適合する画像を検索するシステムであって、
   前記検索キー画像及び前記各検索対象画像について、当該画像から注目領域を抽出し、抽出した注目領域に基づいて当該画像の特徴を示す特徴ベクトルを生成し、
   生成した特徴ベクトルに基づいて、前記複数の検索対象画像のなかから前記検索キー画像に適合する画像を検索するようになっていることを特徴とする画像検索システム。
2. 与えられた検索キー画像をもとに、複数の検索対象画像のなかから前記検索キー画像に適合する画像を検索するシステムであって、
   前記複数の検索対象画像を記憶するための検索対象画像記憶手段と、前記検索キー画像を入力する検索キー画像入力手段と、前記検索キー画像入力手段で入力した検索キー画像及び前記検索対象画像記憶手段の各検索対象画像について当該画像から注目領域を抽出する注目領域抽出手段と、前記検索キー画像及び前記各検索対象画像について前記注目領域抽出手段で抽出した注目領域に基づいて当該画像の特徴を示す特徴ベクトルを生成する特徴ベクトル生成手段と、前記特徴ベクトル生成手段で生成した特徴ベクトルに基づいて前記検索対象画像記憶手段のなかから前記検索キー画像に適合する画像を検索する画像検索手段とを備えることを特徴とする画像検索システム。
3. 請求項２において、
   さらに、前記検索キー画像及び前記各検索対象画像について当該画像に含まれる人物画像の顔情報を判定する顔情報判定手段を備え、
   前記特徴ベクトル生成手段は、前記検索キー画像及び前記各検索対象画像について、前記顔情報判定手段で判定した顔情報に基づいて、当該画像の特徴を示す特徴ベクトルを生成するようになっていることを特徴とする画像検索システム。
4. 請求項２及び３のいずれかにおいて、
   さらに、前記各検索対象画像ごとに当該検索対象画像に含まれる人物画像の顔と前記検索キー画像に含まれる人物画像の顔との類似度を判定する類似度判定手段を備え、
   前記特徴ベクトル生成手段は、前記検索キー画像及び前記各検索対象画像について、前記類似度判定手段の判定結果に基づいて、当該画像の特徴を示す特徴ベクトルを生成するようになっていることを特徴とする画像検索システム。
5. 請求項２乃至４のいずれかにおいて、
   前記画像検索手段は、前記検索キー画像の特徴ベクトルとのベクトル間距離が最も小さい特徴ベクトルに対応する検索対象画像を前記検索対象画像記憶手段のなかから索出するようになっていることを特徴とする画像検索システム。
6. 請求項２乃至４のいずれかにおいて、
   前記画像検索手段は、前記検索対象画像の特徴ベクトル同士のベクトル間距離に基づいて前記各検索対象画像を複数のグループに分類し、前記複数のグループのうち前記検索キー画像が属するもののすべての検索対象画像を前記検索対象画像記憶手段のなかから索出するようになっていることを特徴とする画像検索システム。
7. 請求項２乃至６のいずれかにおいて、
   前記特徴ベクトル生成手段は、前記検索キー画像と前記検索対象画像とのアスペクト比、又は前記検索対象画像同士のアスペクト比が異なるときは、アスペクト比が異なる第１画像及び第２画像を重ね合わせ、前記第１画像のうち重複領域について前記第１画像の特徴ベクトルを生成し、前記第２画像のうち重複領域について前記第２画像の特徴ベクトルを生成するようになっていることを特徴とする画像検索システム。
8. 複数の分類対象画像を分類するシステムであって、
   前記各分類対象画像ごとに、当該分類対象画像から注目領域を抽出し、抽出した注目領域に基づいて当該分類対象画像の特徴を示す特徴ベクトルを生成し、
   生成した特徴ベクトルに基づいて、前記各分類対象画像を複数のグループに分類するようになっていることを特徴とする画像分類システム。
9. 複数の分類対象画像を分類するシステムであって、
   前記複数の分類対象画像を記憶するための分類対象画像記憶手段と、前記分類対象画像記憶手段の各分類対象画像ごとに当該分類対象画像から注目領域を抽出する注目領域抽出手段と、前記注目領域抽出手段で抽出した注目領域に基づいて前記各分類対象画像ごとに当該分類対象画像の特徴を示す特徴ベクトルを生成する特徴ベクトル生成手段と、前記特徴ベクトル生成手段で生成した特徴ベクトルに基づいて前記各分類対象画像を複数のグループに分類する画像分類手段とを備えることを特徴とする画像分類システム。
10. 請求項９において、
    さらに、前記各分類対象画像ごとに当該分類対象画像に含まれる人物画像の顔情報を判定する顔情報判定手段を備え、
    前記特徴ベクトル生成手段は、前記顔情報判定手段で判定した顔情報に基づいて、前記各分類対象画像ごとに、当該分類対象画像の特徴を示す特徴ベクトルを生成するようになっていることを特徴とする画像分類システム。
11. 請求項９及び１０のいずれかにおいて、
    さらに、前記各分類対象画像ごとに当該分類対象画像に含まれる人物画像の顔と特定画像に含まれる人物画像の顔との類似度を判定する類似度判定手段を備え、
    前記特徴ベクトル生成手段は、前記類似度判定手段の判定結果に基づいて、前記各分類対象画像ごとに、当該分類対象画像の特徴を示す特徴ベクトルを生成するようになっていることを特徴とする画像分類システム。
12. 請求項９乃至１１のいずれかにおいて、
    前記画像分類手段は、前記分類対象画像の特徴ベクトル同士のベクトル間距離に基づいて前記各分類対象画像を複数のグループに分類し、前記各グループごとに所定数の分類対象画像を前記分類対象画像記憶手段のなかから索出するようになっていることを特徴とする画像分類システム。
13. 請求項９乃至１２のいずれかにおいて、
    前記特徴ベクトル生成手段は、前記分類対象画像同士のアスペクト比が異なるときは、アスペクト比が異なる第１画像及び第２画像を重ね合わせ、前記第１画像のうち重複領域について前記第１画像の特徴ベクトルを生成し、前記第２画像のうち重複領域について前記第２画像の特徴ベクトルを生成するようになっていることを特徴とする画像分類システム。
14. 与えられた検索キー画像をもとに、複数の検索対象画像のなかから前記検索キー画像に適合する画像を検索するプログラムであって、
    前記複数の検索対象画像を記憶するための検索対象画像記憶手段と、前記検索キー画像を入力する検索キー画像入力手段とを利用可能なコンピュータに対して、
    前記検索キー画像入力手段で入力した検索キー画像及び前記検索対象画像記憶手段の各検索対象画像について当該画像から注目領域を抽出する注目領域抽出手段、前記検索キー画像及び前記各検索対象画像について前記注目領域抽出手段で抽出した注目領域に基づいて当該画像の特徴を示す特徴ベクトルを生成する特徴ベクトル生成手段、並びに前記特徴ベクトル生成手段で生成した特徴ベクトルに基づいて前記検索対象画像記憶手段のなかから前記検索キー画像に適合する画像を検索する画像検索手段として実現される処理を実行させるためのプログラムであることを特徴とする画像検索プログラム。
15. 複数の分類対象画像を分類するプログラムであって、
    前記複数の分類対象画像を記憶するための分類対象画像記憶手段を利用可能なコンピュータに対して、
    前記分類対象画像記憶手段の各分類対象画像ごとに当該分類対象画像から注目領域を抽出する注目領域抽出手段、前記注目領域抽出手段で抽出した注目領域に基づいて前記各分類対象画像ごとに当該分類対象画像の特徴を示す特徴ベクトルを生成する特徴ベクトル生成手段、及び前記特徴ベクトル生成手段で生成した特徴ベクトルに基づいて前記各分類対象画像を複数のグループに分類する画像分類手段として実現される処理を実行させるためのプログラムであることを特徴とする画像分類プログラム。
16. 与えられた検索キー画像をもとに、複数の検索対象画像を記憶した検索対象画像記憶手段のなかから前記検索キー画像に適合する画像を検索する方法であって、
    前記検索キー画像を入力する検索キー画像入力ステップと、
    前記検索キー画像入力ステップで入力した検索キー画像から注目領域を抽出する第１注目領域抽出ステップと、
    前記第１注目領域抽出ステップで抽出した注目領域に基づいて前記検索キー画像の特徴を示す特徴ベクトルを生成する第１特徴ベクトル生成ステップと、
    前記検索対象画像から注目領域を抽出する第２注目領域抽出ステップと、
    前記第２注目領域抽出ステップで抽出した注目領域に基づいて前記検索対象画像の特徴を示す特徴ベクトルを生成する第２特徴ベクトル生成ステップと、
    前記第２注目領域抽出ステップ及び前記第２特徴ベクトル生成ステップを前記検索対象画像記憶手段の各検索対象画像ごとに繰り返し行う繰返ステップと、
    前記第１特徴ベクトル生成ステップ及び前記第２特徴ベクトル生成ステップで生成した特徴ベクトルに基づいて前記検索対象画像記憶手段のなかから前記検索キー画像に適合する画像を検索する画像検索ステップとを含むことを特徴とする画像検索方法。
17. 複数の分類対象画像を分類する方法であって、
    前記分類対象画像から注目領域を抽出する注目領域抽出ステップと、
    前記注目領域抽出ステップで抽出した注目領域に基づいて前記分類対象画像の特徴を示す特徴ベクトルを生成する特徴ベクトル生成ステップと、
    前記注目領域抽出ステップ及び前記特徴ベクトル生成ステップを前記各分類対象画像ごとに繰り返し行う繰返ステップと、
    前記特徴ベクトル生成ステップで生成した特徴ベクトルに基づいて前記各分類対象画像を複数のグループに分類する画像分類ステップとを含むことを特徴とする画像分類方法。

Images