JP2004164331A - 画像検索方法、画像検索装置、および画像検索プログラム - Google Patents
画像検索方法、画像検索装置、および画像検索プログラム Download PDFInfo
- Publication number
- JP2004164331A JP2004164331A JP2002329965A JP2002329965A JP2004164331A JP 2004164331 A JP2004164331 A JP 2004164331A JP 2002329965 A JP2002329965 A JP 2002329965A JP 2002329965 A JP2002329965 A JP 2002329965A JP 2004164331 A JP2004164331 A JP 2004164331A
- Authority
- JP
- Japan
- Prior art keywords
- image
- search
- icon
- information
- searched
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
【課題】大量の画像データの中から利用者が所望する情報を効率的に検索できるようにすることを目的としている。
【解決手段】本発明の画像検索プログラムは利用者によって入力された検索条件に基づき、検索対象の画像グループを決定し、検索対象の画像を視覚的に表現するアイコンに変換し、検索対象の画像または前記アイコンを、表示画面上のどの位置に配置するかを決定するための特徴量を元画像の画像情報から抽出し、前記特徴量に基づき、検索対象の画像または前記アイコンを表示画面上のどのシートのどの位置に配置するかを決定し、画像の特徴量に応じて検索対象の画像またはアイコンを並べたシートを、表示装置の仮想３次元空間内に重ねて配置することにより大量の画像データの中から利用者が所望する情報を効率的に検索することが可能となる。
【選択図】 図１
【解決手段】本発明の画像検索プログラムは利用者によって入力された検索条件に基づき、検索対象の画像グループを決定し、検索対象の画像を視覚的に表現するアイコンに変換し、検索対象の画像または前記アイコンを、表示画面上のどの位置に配置するかを決定するための特徴量を元画像の画像情報から抽出し、前記特徴量に基づき、検索対象の画像または前記アイコンを表示画面上のどのシートのどの位置に配置するかを決定し、画像の特徴量に応じて検索対象の画像またはアイコンを並べたシートを、表示装置の仮想３次元空間内に重ねて配置することにより大量の画像データの中から利用者が所望する情報を効率的に検索することが可能となる。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は，画像検索に関し、特にオンラインショッピングにおける商品画像検索やコンテンツ作成用素材画像検索など、大量の画像データの中から利用者が所望する情報を効率的に検索できるようにする技術に関する。
【０００２】
【従来の技術】
従来の情報検索サービスでは、テキスト情報を対象とする全文検索技術を用いて、利用者が入力するキーワードに合致する情報を検索し、その情報のタイトルや要約を合致度順にリストアップして利用者に提示するようにしたものが一般的であった。この場合、キーワードが適切なものであり、かつ合致する情報が少なければ、リストアップされる情報は少なく、容易に情報を見つけ出すことは可能である。しかしながら、キーワードが不適切であったり、キーワードが適切であっても、そのキーワードに合致する情報が大量に存在する場合には提示される情報のリストは膨大なものとなり、表示される情報の順番も利用者の意図と合致するとは限らなくなる。また、テキスト情報が付与されていない情報については、検索の対象とすることができなかった。
【０００３】
近年では、例えばアパレル関連のオークションなど、限られた分野においては、利用者がキーとなる画像を指定することにより、画像検索システムはその画像に類似した画像を検索し、類似度順に一覧表示するようにした類似画像検索技術（例えば、非特許文献１参照。）も利用され始めている。しかしながら、一般の利用者が適切なキー画像を指定することは困難な場合が多く、また、画像間の類似度として利用できるものは、画像の色合い等の画像特徴に限られているため、必ずしも利用者の検索意図と合致するキー画像とすることができるとは限らないのが現状である。
【０００４】
上記のような従来の検索方式に共通する問題点として、「情報を絞り込むための適切なキー指定の難しさ」が挙げられる。この問題を解決する手法として、なるべくたくさんの情報を利用者に提示し，その中から利用者の所望する情報を探してもらうというアプローチがある（例えば、非特許文献２参照。）。そして、人間にとって画像は一覧性に優れているため、検索対象を画像とすることにより、利用者は表示された大量の画像の中から所望の情報を比較的容易に探し出すことが可能となる。
【０００５】
しかしながら、類似画像検索技術において、類似画像提示、選択、検索の繰り返しでは利用者が意図している画像に近づいているかどうかは判断できない。そのため、画像データベース中の各画像から、色分布、エッジ分布等の各種特徴量を用いて統計処理を行い、画像の特徴量の成分を３つの特徴量に変換し、それらを３次元座標とみなして、画像アイコンを対応する３次元位置に配置したコンピュータグラフィックスを生成する技術が開示されている（例えば、特許文献１参照。）。
【０００６】
また、関連する技術に、画像情報から特徴量を抽出する方法として、画像情報に含まれる名称や説明文書のようなテキスト属性データを利用する場合には、あらかじめテキストを特徴づけるために有効だと思われる単語セットを選んでおき、ｔｆ−ｉｄｆ法（ｔｅｒｍ ｆｒｅｑｕｅｎｃｙ − ｉｎｖｅｒｓｅ ｄｏｃｕｍｅｎｔ ｆｒｅｑｕｅｎｃｙ ）を用いて各単語の相対的重要度を測り、それを列挙することで各テキストから単語のｔｆ−ｉｄｆ値を要素として持つ特徴ベクトルを抽出する方法（例えば、非特許文献３参照。）、色特徴、テクスチャ特徴、周波数特徴（フーリエ特徴やＤＣＴ 特徴）、形状特徴等に基づき画像の特徴量を抽出する方法（例えば、非特許文献４参照。）、画像情報内の画像データからは、画像から写っている物体と背景とを分離し、物体から色に関する特徴を抽出する方法（例えば、非特許文献５参照。）がある。なお、テキスト特徴や画像特徴の場合には、一般的に次元が高いため、ＫＬ展開などによって特徴ベクトルの次元を減らしてから特徴量を抽出することが行われている（例えば、非特許文献６参照。）。
【０００７】
【特許文献１】
特開平１１−１７５５３４号公報 （第２−３頁）
【０００８】
【非特許文献１】
“類似画像検索”、［ｏｎｌｉｎｅ］ 、富士通）知的システム研究部、［ 平成１４年１０月２５日検索］、インターネット ＜ ＵＲＬ ： ｈｔｔｐ：／／ｖｅｎｕｓ．ｎｅｔｌａｂｏｒａｔｏｒｙ．ｃｏｍ／ｓａｌｏｎ／ｃｈｉｔｅｋｉ／ｍｕｒ／ｉｍｇｓｅａｒｃｈ．ｈｔｍｌ ＞
【０００９】
【非特許文献２】
長田 茂美、他４名、“マルチメディア情報検索システム“ＭＩＲＡＣＬＥＳ””、情報処理学会 人文科学とコンピュータシンポジウム２００１論文集ｐ．２６７−２７４（２００１ ）
【００１０】
【非特許文献３】
西尾 章治郎、他５名、「岩波講座マルチメディア情報学（第８巻）情報の構造化と検索」、岩波書店、２０００年発行、ｐ．１１３−１１９
【００１１】
【非特許文献４ 】
Ｖｉｔｔｏｒｉｏ Ｃａｓｔｅｌｌｉ ａｎｄ Ｌａｗｒｅｎｃｅ Ｄ． Ｂｅｒｇｍａｎ 、“Ｉｍａｇｅ Ｄａｔａｂａｓｅｓ ”、 Ｊｏｈｎ， Ｗｉｌｅｙ ＆ Ｓｏｎｓ 、２００２年発行、 ｐ．２８５ − ３７２
【００１２】
【非特許文献５】
椎谷 秀一、他４名、“画像の色特徴を用いた商品検索サービス”、情報処理学会 第４２回グループウェアとネットワークサービス研究会 ｐ．２６７−２７４（２００１ ）
【００１３】
【非特許文献６】
石井 健一郎、他３名、「わかりやすいパターン認識」、オーム社、１９９８年発行、ｐ．１０６−１１４
【００１４】
【発明が解決しようとする課題】
上記のように「なるべくたくさんの画像を利用者に提示し，その中から利用者が所望する画像を探してもらうというアプローチ」は大量の画像から所望の画像を視覚的に検索させるために、詳細なキー情報の設定は不要となり非常に効果的な手法である。しかしながら、大量の画像を１画面に表示することにより、以下のような問題がある。
（ａ） 大量の画像を１画面に表示しようとすると、個々の画像が小さくなってしまい判別しづらくなる。それを避けるために画面スクロールをしたり，一画面で収まる範囲でページ分けをする方法があるが、それらの方法だと，名前順，日付順など１つの軸（ 特徴量） で並べることしかできないし，全体としてどのような画像がどのくらいあるかというような分布を把握することは困難である。
（ｂ） 大量の画像をランダムに１画面に表示すると、その中から所望の画像を探すのが困難である。
（ｃ） 検索処理をサーバで実行し、処理結果を通信ネットワークを介してクライアントの表示装置に表示する場合には、大量の画像情報の転送による長時間の転送待ちが発生する。また、クライアントでは、表示装置に画像データを表示するために、画像データを縮小するなど画像毎の加工処理が必要となりＣＰＵ負荷が大幅に増加する。
【００１５】
本発明は、上記のような事情に鑑みて提案されたものであり、大量の画像データの中から利用者が所望する情報を効率的に検索できるようにすることを目的としている。
【００１６】
【課題を解決するための手段】
図１は、本発明をコンピュータ単体で実現させた実施の形態１の全体構成図を示すものである。本発明の画像検索プログラム１０は画像検索装置１としてのコンピュータ上で実行するプログラムであり、例えば画像データベース２１のディレクトリ、利用者が所望する情報に対するキーワードやキー画面など利用者によって入力された検索条件に基づき、検索対象の画像グループを決定する検索要求受付手段１１と、前記検索対象の画像をディスプレイ装置３上のどの位置に配置するかを決定するための特徴量を、前記検索対象の画像の画像情報から抽出する特徴抽出手段１３と、前記特徴量に基づき、前記検索対象の画像をディスプレイ装置３上のどのシートのどの位置に配置するかを示す配置情報を生成する配置手段１４と、前記配置情報に従って、前記検索対象の画像をディスプレイ装置３上の仮想３次元空間内に重ねて表示する仮想空間表示手段１５として機能するものであり、図７で示すように複数の検索対象の画像を特徴量に応じて並べたシートを、ディスプレイ装置３上の仮想３次元空間内に重ねて配置することにより大量の画像データの中から利用者が所望する情報を効率的に検索することが可能となる。
【００１７】
また、画像検索プログラム１０に検索要求受付手段１１が決定した検索対象の画像を色、形状、またはその組み合わせなどのみで表現するアイコンに変換するアイコン化手段１２を備え、前記特徴抽出手段は、前記検索対象の画像または前記アイコンを、表示画面上のどの位置に配置するかを決定するための特徴量を、前記検索対象の画像または前記アイコンの元画像の画像情報から抽出し、前記配置手段は、前記特徴量に基づき、前記検索対象の画像またはアイコンを表示画面上のどのシートのどの位置に配置するかを示す配置情報を生成し、前記仮想空間表示手段は、前記配置情報に従って、前記検索対象の画像または前記アイコンを並べたシートを、表示装置上の仮想３次元空間内に重ねて表示することにより、図８で示すように、利用者が閲覧中のシート以外のシートには、画像の代りに画像の内容を視覚的に表現したアイコンを表示しておくことが可能となる。更に、図９で示すように、利用者が次に閲覧する確率の高い、現在閲覧中のシートの前後のものを優先してアイコンを順次画像に置き換えていくことにより大量の画像データの中から利用者が所望する情報を高速に検索することが可能となる。
【００１８】
なお、前記の「検索要求受付手段１１が決定した検索対象の画像を色、形状、またはその組み合わせなどのみで表現するアイコンに変換する」とは、予め、標準的な画像を色、形状、またはその組み合わせなどのみで表現するアイコンを生成し、生成したアイコンを識別情報と対応付けて記憶しておき、アイコンに変換するのではなく、検索対象の画像に対応するアイコンの識別情報に変換することを含むものとする。
【００１９】
図４は、本発明をクライアント４と画像検索サーバ８とを連携させて実現させた実施の形態２の全体構成図を示すものである。クライアント４の検索要求手段４１は利用者が入力する検索条件に基づき、通信ネットワーク７を介して画像検索サーバ８に検索要求を行い、画像検索サーバ８は、実施の形態１の画像検索装置１が行っていたと同様の画像検索処理を行い、検索結果を結果出力手段８５が通信ネットワーク７を介してクライアント４に送信し、クライアント４の結果取得手段４２は画像検索サーバ８から検索結果を受信し、受信した検索結果に基づき仮想空間表示手段４３が画像検索用の画面をディスプレイ装置６に表示するようにしたものである。
【００２０】
実施の形態２では、画像情報が通信ネットワーク７を介して転送されるため、利用者の閲覧中のシート以外のシートには情報量の少ないアイコンを配置することにより、クライアント４のディスプレイ装置６に検索処理結果を表示する際に発生する画像情報の転送による長時間の転送待ちは回避できる。また、このように画像検索機能を大量データの記憶が可能で、かつ処理スピードの速いサーバ側に持たすことにより、クライアントでは記憶させることが困難な非常に大量の画像情報を記憶させたり、サーバが有する他の関連する様々な情報を横断的に検索することにより画像データの表示や画像データの説明だけではなく、百科事典的な補足説明や様々な付加価値的情報の提供も可能となる。
【００２１】
【発明の実施の形態】
図１は本発明の実施の形態１の全体構成図が示してある。本発明の画像検索プログラム１０は画像検索装置１として振る舞うコンピュータ上で実行するプログラムである。検索要求受付手段１１は、画像データベース２１から検索対象の画像グループを設定するため、例えばディレクトリ、利用者が所望する情報に対するキーワードやキー画面などの利用者によって入力された検索条件に基づき、検索対象の画像グループを決定する。アイコン化手段１２は、前記検索対象の画像の画像情報を視覚的に表現するアイコンに変換し、変換したアイコンをアイコンの識別情報と対応付けてアイコンファイル２２に格納するとともに、変換したアイコンの識別情報を元画像の画像ＩＤに対応付けて管理ファイル２３に記憶させる。
【００２２】
特徴抽出手段１３は、前記検索対象の画像または前記アイコンをディスプレイ装置３上のどの位置に配置するかを決定するための特徴量を、前記検索対象の画像または前記アイコンの元画像の画像情報から抽出し、抽出した特徴量を元画像の画像ＩＤに対応付けて管理ファイル２３に記憶させる。配置手段１４は、前記特徴量に基づき、前記検索対象の画像または前記アイコンをディスプレイ装置３上のどのシートのどの位置に配置するかを示す配置情報を生成し、配置情報をシートＩＤ、シート内相対位置として元画像の画像ＩＤに対応付けて管理ファイル２３に記憶させる。仮想空間表示手段１５は、前記配置手段１４が決定した配置情報に従って、図７で示すように複数の検索対象の画像およびアイコンを特徴量に応じて並べたシートを、ディスプレイ装置３上の仮想３次元空間内に重ねて配置する。
【００２３】
外部記憶装置２には、様々な画像情報を記憶させた画像データベース２１、検索対象となった画像を視覚的に表現するアイコンの画像情報を識別情報と対応付けて格納するアイコンファイル２２、検索対象となった画像の画像ＩＤに対応付けて、特徴量、位置情報、アイコンの識別情報を記憶させた管理ファイル２３が格納されており、ディスプレイ装置３は、利用者が検索条件を指定したり、画像検索プログラムの検索結果をなどを表示するために使用される。
【００２４】
図２は、画像検索プログラム１０が表示する検索画面を制御するための管理ファイルの例である。実施の形態１では、外部記憶装置２上に置いているが画像検索装置１のメモリ上に展開してもよい。画像ＩＤは、検索対象となった画像データベースに格納されている画像情報を識別するための情報である。この例では、検索対象画像が携帯端末装置、画像ＩＤが１の画像は、黒の折り畳みタイプの携帯電話、画像ＩＤが２のものは灰色のストレートタイプの携帯電話、画像ＩＤが３のものは、灰色のＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｃｅ ）と仮定している。
【００２５】
この例では、特徴量１はアイコン生成に用いるものであって、色を数値化したものである。０は黒を、８は灰色を示している。特徴量２〜ｎは、テキスト属性データから抽出した特徴ベクトル値や、形状特徴から抽出した特徴ベクトル値などであり、検索対象の画像またはアイコンをディスプレイ装置３に表示するときの配置を決定するために用いる数値化した情報である。シートＩＤ、相対位置は、検索対象の画像またはアイコンをディスプレイ装置３に表示するための配置情報である。シートＩＤは、どのシートに表示するか、相対位置は、シート内のどの位置に表示するかを表す位置情報である。アイコン情報は、例えばアイコン情報が０の場合は、１ｃｍ四方の黒の正方形を表すなど視覚的に表現したアイコンの識別情報である。
【００２６】
図３は、実施の形態１における画像検索装置１上で実行する画像検索プログラム１０の処理の流れを示すフローチャートである。本発明では、先ず利用者がディスプレイ装置３から入力する検索条件を受け付け（Ｓ３０１）、画像データベース２１から検索条件に合致した、検索対象となる画像データと画像の属性データとから構成される画像グループを決定し、検索対象画像の画像ＩＤの一覧を管理ファイル２３に出力する（Ｓ３０２）。この例では、処理の詳細については従来技術を利用するため省略するが、検索条件を指定する方法は２つあり、１つは，これらの画像情報グループが格納されているディレクトリを指定する方法であり、他の１つは，既存の情報検索ツール（例えば，キーワード検索エンジン）などによって検索された結果得られる画像情報グループを指定する方法である。
【００２７】
この他、例えば画像データベースの中からランダムに抽出された複数個の画像の中から利用者が探しているものに最も近いもの（キー画像）を指定させ、類似画像検索技術を用いて、例えばキー画像から抽出した色特徴に近い色特徴を持つ画像を検索し、指定されたキー画像と何らかの関連を持つ画像ファイル名一覧を表示したり、利用者が例えば描画ツールを利用して自分が探している画像を描画するなどして、キー画像を入力し、類似画像検索技術を用いて、例えば，キー画像から抽出した色特徴に近い色特徴を持つ画像を検索し，描画されたキー画像と何らかの関連を持つ画像ＩＤ一覧を表示して画像グループを指定方法もある。
【００２８】
検索対象の画像グループが決定すると、次にその画像グループに属する画像のアイコンを生成し、生成したアイコンを識別情報と対応付けてアイコンファイル２２に格納するとともに、管理ファイル２３に画像ＩＤと対応付けて生成したアイコンの識別情報をアイコン情報に格納する（Ｓ３０３）。アイコンを生成するためには、従来の技術を利用し、先ず画像情報の内容の解析を行う。画像情報内に数値属性データがある場合には、その数値をその属性名とペアにして取り出す。画像情報内にテキスト属性データがあれば、その中から本画像情報を特徴づける単語（重要語）を抽出する。
【００２９】
具体的には、検索対象となっている全画像情報中のテキストデータを参照しながら、相互情報量を用いる方法、あるいは，カイ二乗値を用いる方法、あるいは，ｔｆ−ｉｄｆ値を用いて必要に応じて専門語辞書、ルールを用いることによって重要語を取り出す。また、画像情報内の画像データからは，画像から写っている物体と背景とを分離し、物体から色に関する特徴を抽出し、それらの情報に基づきアイコンの画像情報を生成する。
【００３０】
従来は検索対象の縮小画像をすべて生成しなければ画像検索用の画面の表示はできなかったが、本発明を適用すると、利用者の閲覧中のシート（最初に表示する場合は、先頭のシート）以外のシートについてはアイコンを配置するだけで済むため、画像の縮小処理に伴うＣＰＵ処理時間、画像データのアクセス時間を大幅に削減し、高速に画像検索用の画面表示が可能となる。
【００３１】
なお、本実施例ではステップＳ３０３でアイコンを生成するようにしているが、予め、標準的な画像を色、形状、またはその組み合わせなどのみで表現するアイコンを生成し、生成したアイコンを識別情報と対応付けてアイコンファイル２２に記憶しておき、登録済のアイコンの中から最適なアイコンを選択するようにしてもよい。
【００３２】
次に、検索対象の各画像情報から画像またはアイコンの配置位置を決定するための特徴量を抽出し、抽出した特徴量を管理ファイル２３に画像ＩＤに対応付けて格納する（Ｓ３０４）。この処理も従来技術を用いて、画像情報内に数値属性データがある場合には、その数値をそのまま特徴として利用し、テキストデータの場合には，予めテキストを特徴づけるのに有効だと思われる単語セットを選んでおき、ｔｆ−ｉｄｆ法を用いて、各単語の相対的重要度を測り、それを列挙することで各テキストから単語のｔｆ−ｉｄｆ値を要素として持つ特徴ベクトルを抽出する。画像データについては、色特徴、テクスチャ特徴、周波数特徴（フーリエ特徴やＤＣＴ 特徴）、形状特徴を抽出する。
【００３３】
次に、抽出した特徴に基づき、画像またはアイコンの表示画面上の配置を決定し、配置情報を管理ファイル２３に画像ＩＤと対応付けてシートＩＤ、シート内相対位置として格納する（Ｓ３０５）。この処理についても従来技術を利用して、数値属性データの場合には、その値の順序関係を利用して平面の左上から行優先でアイコンを配置したり、あるいは奥行き方向に順序通り並べたりすることが可能である。また、テキスト特徴や画像特徴の場合には、一般に次元が高いため先ず、ＫＬ展開等により特徴ベクトルの次元を減らし、得られる低次元ベクトルを用いて自己組織化マップによりアイコンを二次元上に配置すると、類似した画像情報が近くに集まるように配置することが可能となる。
【００３４】
次に、管理ファイル２３を介してＳ３０５で求めた検索対象の画像またはアイコンの配置情報に基づき、画像は画像データベース２１からアイコンはアイコンファイル２２から画像データを取り出し、画像検索用の画面をディスプレイ装置３に出力する（Ｓ３０６）。以上により、利用者は、詳細なキー情報を設定することなく、一覧性に優れた仮想３次元空間の検索画面をブラウジングすることで、大量の画像の中から、高速に効率よく所望する画像を検索することが可能となる。
【００３５】
図４は、本発明をクライアント４と画像検索サーバ８とを連携させて実現させた実施の形態２の全体構成図を示すものである。クライアント４の検索要求手段４１は利用者が入力する検索条件に基づき、通信ネットワーク７を介して画像検索サーバ８に検索要求を行い、画像検索サーバ８は、実施の形態１の画像検索装置１が行っていたと同様の画像検索処理を行い、検索結果を結果出力手段８５が通信ネットワーク７を介してクライアント４に送信し、クライアント４の結果取得手段４２は画像検索サーバ８から検索結果を受信し、受信した検索結果に基づき仮想空間表示手段４３が画像検索用の画面をディスプレイ装置６に表示するようにしたものである。なお、管理ファイル５３、９２は、実施の形態１の場合と同様に、外部記憶装置５、９上に置くのではなく、それぞれクライアント４、または画像検索サーバ８のメモリ上に展開してもよい。
【００３６】
図５は、実施の形態２におけるクライアント４の画像検索要求プログラムの処理の流れを示すフローチャートである。クライアント４の画像検索要求プログラム４０は、利用者から検索条件を受け付けると（Ｓ５０１）、受け付けた検索条件に従って画像検索サーバ１に検索要求を行い（Ｓ５０２）、ＷＡＩＴし、画像検索サーバ８から検索結果（ここでは、利用者が画像検索を行うための画面を表示するために必要な情報の総称であり、管理ファイル９２に格納された各情報、および検索対象の画像の画像データを指す。）を受信すると（Ｓ５０３）、検索結果に基づき画像検索用の画面をディスプレイ装置６に出力する（Ｓ５０４）。
【００３７】
図６は、実施の形態２における画像検索サーバ８の画像検索プログラム８０の処理の流れを示すフローチャートである。画像検索サーバ８は、クライアント４から検索条件を指定した検索要求を受信すると実施の形態１における画像検索プログラムと同様の画像検索用の画面出力のための検索処理を行う。Ｓ６０１からＳ６０５の処理については図３のＳ３０１からＳ３０５に対応し、処理内容についても同様であるため説明は省略する。Ｓ６０６は検索結果の送信処理である。送信する検索結果の内容は、検索対象の画像の画像ＩＤと画像データを対応付けた画像情報、管理ファイル９２に格納した検索対象の画像の画像ＩＤと対応付けたシートＩＤとシート内相対位置から構成される位置情報、アイコンの識別情報を含む画像管理情報である。
【００３８】
本実施例では、画像検索サーバ８は、クライアント４からの検索要求に対して、検索対象の元画像の画像データを検索結果を送信するようにしているが、画像検索サーバ８が検索対象の画像の縮小画像データを生成し、検索結果として元画像の画像データではなく元画像の縮小画像データを送信し、クライアント４から元画像データの要求があって初めて、元画像データをクライアント４に送信するようにしてもよい。また、画像検索プログラムに持たせた、アイコン化手段８２、特徴抽出手段８３、配置手段８４については画像検索サーバ８の負荷やクライアント４、通信ネットワーク７の能力に応じて画像検索サーバ８、クライアント４の何れの側に持たせるように実装しても、利用者に対して相当機能の提供は可能である。
【００３９】
図７は、本発明を適用して、実施の形態１におけるディスプレイ装置３、または実施の形態２におけるディスプレイ装置６に出力される画像検索画面の表示例である。この例では、１枚に１０×１０個の検索対象の縮小画像がならべられたシートが４枚重ねて表示されており、限られたサイズの表示画面内に大量の検索対象の画像が判別可能な適切な大きさで表示を可能としている。そのため、画面をスクロールしたり、切り替えたりすることなく、視点を斜めにずらして複数のシートを同時に概観することで検索対象の画像の全体の分布の把握が可能となる。
【００４０】
また、本発明を適用すると、画像の特徴量に応じた縮小画像の配置が可能であるため、手前のシートから大分類、中分類、小分類というように階層的に配置することで、例えば動物や植物などの分類に適した検索を可能としたり、シート上のある画像の直下にその画像に類似した画像を置くことで、利用者が連続的に探索を可能としたり、画像から色の特徴を抽出し類似した色の画像が近くに集まるように配置することを可能となり、利用者の検索効率を向上させることができるようになる。
【００４１】
図８は、本発明を適用して、実施の形態１におけるディスプレイ装置３、または実施の形態２におけるディスプレイ装置６に出力される画像検索画面の表示例である。この例では、利用者が閲覧しているシートのみ、検索対象の画像の縮小画像を表示し、それ以外のシートには検索対象の画像を色で視覚的に表現するアイコンで表示した例である。実施の形態２のように、画像データベース９１が画像検索サーバ８側にあり、情報量の大きな画像データを通信ネットワーク７を介してクライアント４に送信する場合、クライアント４が検索画面を表示するために検索対象の画像データをすべて受信してから表示していたのでは長時間の転送待ち時間が発生する。
【００４２】
この例のように、画像検索サーバ８は、利用者が閲覧するシートのみ画像データを送信し、利用者が閲覧中に、次に利用者が閲覧する確率の高い、前後のシートを優先的にクライアント４に送信し、クライアント４は、図９に示すようにアイコンを受信した画像データの縮小画像に順次置き換えていくことで、画像データの転送待ち時間を抑え、画像を縮小画像に変換するなどのＣＰＵ負荷を抑え、利用者にとって高速な画像検索が可能となる。
【００４３】
なお、利用者が閲覧中のシート以外のシートにも、元画像に写っているものの色や形状に関する特徴はアイコンによって表示されているため、全体としてどのような画像がどのくらいあるかを把握したり、次にどのシートを閲覧すべきかを判断することもでき効率的な画像検索が可能となる。
図９は、本発明を適用して、実施の形態１におけるディスプレイ装置３、または実施の形態２におけるディスプレイ装置６に出力される画像検索画面の表示例である。利用者が先頭のシートを閲覧中に、画像検索サーバ８は、利用者が次に閲覧する確率の高い次のシートに表示する画像データを通信ネットワーク７を介してクライアント４に送信し、クライアントは利用者が先頭のシートを閲覧中に受信した次のシートの画像ータを縮小画像データに変換し、順次アイコンを縮小画像に置き換えている例である。なお、表示方法の他の例として、シート上の縮小画像を一定時間毎に切り替えて別の画像を順次表示したり、シート自体を移動させて画像を順次表示するように実装しても同様な効果が得られる。
【００４４】
（付記１） 利用者が入力する所定の検索条件に基づき、検索対象の画像の集合である画像グループを決定するステップと、
前記検索対象の画像を視覚的に表現するアイコンに変換するステップと、
前記検索対象の画像または前記アイコンを、表示画面上のどの位置に配置するかを決定するための特徴量を、前記検索対象の画像または前記アイコンの元画像の画像情報から抽出するステップと、
前記特徴量に基づき、前記検索対象の画像またはアイコンを表示画面上のどのシートのどの位置に配置するかを示す配置情報を生成するステップと、
前記配置情報に従って、前記検索対象の画像または前記アイコンを並べたシートを、表示装置上の仮想３次元空間内に重ねて表示するステップと
を有することを特徴とする画像検索方法。
【００４５】
（付記２） 利用者が入力する所定の検索条件に基づき、検索対象の画像の集合である画像グループを決定する検索要求受付手段と、
前記検索対象の画像を、表示画面上のどの位置に配置するかを決定するための特徴量を、前記検索対象の画像の元画像の画像情報から抽出する特徴抽出手段と、
前記特徴量に基づき、前記検索対象の画像を表示画面上のどのシートのどの位置に配置するかを示す配置情報を生成する配置手段と、
前記配置情報に従って、前記検索対象の画像を並べたシートを、表示装置上の仮想３次元空間内に重ねて表示する仮想空間表示手段と
を有することを特徴とする画像検索装置。
【００４６】
（付記３） 前記画像検索装置は、更に、前記検索対象の画像を視覚的に表現するアイコンに変換するアイコン化手段を備え、前記特徴抽出手段は、前記検索対象の画像または前記アイコンを、表示画面上のどの位置に配置するかを決定するための特徴量を、前記検索対象の画像または前記アイコンの元画像の画像情報から抽出し、前記配置手段は、前記特徴量に基づき、前記検索対象の画像またはアイコンを表示画面上のどのシートのどの位置に配置するかを示す配置情報を生成し、前記仮想空間表示手段は、前記配置情報に従って、前記検索対象の画像または前記アイコンを並べたシートを、表示装置上の仮想３次元空間内に重ねて表示するようにした、付記２記載の画像検索装置。
【００４７】
（付記４） 利用者が入力する所定の検索条件に基づき、検索対象の画像の集合である画像グループを決定する検索要求受付手段と、
前記検索対象の画像を、表示画面上のどの位置に配置するかを決定するための特徴量を、前記検索対象の画像の元画像の画像情報から抽出する特徴抽出手段と、
前記特徴量に基づき、前記検索対象の画像を表示画面上のどのシートのどの位置に配置するかを示す配置情報を生成する配置手段と、
前記配置情報に従って、前記検索対象の画像を並べたシートを、表示装置上の仮想３次元空間内に重ねて表示する仮想空間表示手段と
してコンピュータを機能させる画像検索プログラム。
【００４８】
（付記５） 前記画像検索装置は、更に、前記検索対象の画像を視覚的に表現するアイコンに変換するアイコン化手段を備え、前記特徴抽出手段は、前記検索対象の画像または前記アイコンを、表示画面上のどの位置に配置するかを決定するための特徴量を、前記検索対象の画像または前記アイコンの元画像の画像情報から抽出し、配置手段は、前記特徴量に基づき、前記検索対象の画像またはアイコンを表示画面上のどのシートのどの位置に配置するかを示す配置情報を生成し、前記仮想空間表示手段は、前記配置情報に従って、前記検索対象の画像または前記アイコンを並べたシートを、表示装置上の仮想３次元空間内に重ねて表示するようにした、付記４記載の画像検索プログラム。
【００４９】
（付記６） クライアントから受信する所定の検索条件に基づき、検索対象の画像の集合である画像グループを決定する検索要求受付手段と、
前記検索対象の画像を、表示画面上のどの位置に配置するかを決定するための特徴量を、前記検索対象の画像の元画像の画像情報から抽出する特徴抽出手段と、
前記特徴量に基づき、前記検索対象の画像を表示画面上のどのシートのどの位置に配置するかを示す配置情報を生成する配置手段と、
前記検索対象の画像の画像識別情報、および前記画像識別情報に対応付けた画像データ、配置情報を含む検索結果をクライアントに送信する結果出力手段と
を有することを特徴とする画像検索サーバ。
【００５０】
（付記７） 前記画像検索サーバは、更に、前記検索対象の画像を視覚的に表現するアイコンに変換するアイコン化手段を備え、前記特徴抽出手段は、前記検索対象の画像または前記アイコンを、表示画面上のどの位置に配置するかを決定するための特徴量を、前記検索対象の画像または前記アイコンの元画像の画像情報から抽出し、前記配置手段は、前記特徴量に基づき、前記検索対象の画像またはアイコンを表示画面上のどのシートのどの位置に配置するかを決定し、前記結果出力手段は、前記検索対象の画像の画像識別情報、および前記画像識別情報に対応付けた画像データ、前記アイコンの画像識別情報、配置情報を含む検索結果をクライアントに送信するようにした、付記６記載の画像検索サーバ。
【００５１】
（付記８） クライアントから受信する所定の検索条件に基づき、検索対象の画像の集合である画像グループを決定する検索要求受付手段と、
前記検索対象の画像を、表示画面上のどの位置に配置するかを決定するための特徴量を、前記検索対象の画像の元画像の画像情報から抽出する特徴抽出手段と、
前記特徴量に基づき、前記検索対象の画像を表示画面上のどのシートのどの位置に配置するかを示す配置情報を生成する配置手段と、
前記検索対象の画像の画像識別情報、および前記画像識別情報に対応付けた画像データ、配置情報を含む検索結果をクライアントに送信する結果出力手段と
してコンピュータを機能させる画像検索プログラム。
【００５２】
（付記９） 前記画像検索プログラムは、更に、前記検索対象の画像を視覚的に表現するアイコンに変換するアイコン化手段を備え、前記特徴抽出手段は、前記検索対象の画像または前記アイコンを、表示画面上のどの位置に配置するかを決定するための特徴量を、前記検索対象の画像または前記アイコンの元画像の画像情報から抽出し、前記配置手段は、前記特徴量に基づき、前記検索対象の画像またはアイコンを表示画面上のどのシートのどの位置に配置するかを決定し、前記結果出力手段は、前記画像グループの画像識別情報、および前記検索対象の画像の画像識別情報に対応付けた画像データ、前記アイコンの画像識別情報、配置情報を含む検索結果をクライアントに送信するようにした、付記８記載の画像検索プログラム。
【００５３】
（付記１０） 利用者が入力する所定の検索条件に基づき、検索対象の画像の集合である画像グループの検索要求情報を画像検索サーバに送信する検索要求手段と、
画像検索サーバから、前記検索対象の画像の画像識別情報、および前記画像識別情報に対応付けた画像データ、配置情報を含む検索結果を受信する結果取得手段と、
前記配置情報に従って、前記検索対象の画像を並べたシートを、表示装置上の仮想３次元空間内に重ねて表示する仮想空間表示手段と
を有することを特徴とするクライアント。
【００５４】
（付記１１） 前記結果取得手段は、画像検索サーバから、前記検索対象の画像の画像識別情報、および前記画像識別情報に対応付けた画像データ、アイコン識別情報、配置情報を含む検索結果を受信し、前記配置情報に従って、前記検索対象の画像および前記アイコンを並べたシートを、表示装置上の仮想３次元空間内に重ねて表示するようにした付記９記載のクライアント。
【００５５】
（付記１２） 利用者が入力する所定の検索条件に基づき、検索対象の画像の集合である画像グループの検索要求情報を画像検索サーバに送信する検索要求手段と、
画像検索サーバから、前記検索対象の画像の画像識別情報、および前記画像識別情報に対応付けた画像データ、配置情報を含む検索結果を受信する結果取得手段と、
前記配置情報に従って、前記検索対象の画像を並べたシートを、表示装置上の仮想３次元空間内に重ねて表示する仮想空間表示手段と
してコンピュータを機能させる画像検索要求プログラム。
【００５６】
（付記１３） 前記結果取得手段は、画像検索サーバから、前記検索対象の画像の画像識別情報、および前記画像識別情報に対応付けた画像データ、アイコン識別情報、配置情報を含む検索結果を受信し、前記配置情報に従って、前記検索対象の画像および前記アイコンを並べたシートを、表示装置上の仮想３次元空間内に重ねて表示するようにした付記１１記載の画像検索要求プログラム。
【００５７】
【発明の効果】
大量の画像データの中から利用者が所望する情報を効率的に検索することが可能となる。
【図面の簡単な説明】
【図１】実施の形態１の全体構成図
【図２】管理ファイルのデータ形式例
【図３】実施の形態１における画像検索装置の画像検索プログラムの処理
【図４】実施の形態２の全体構成図
【図５】実施の形態２におけるクライアントの画像検索要求プログラムの処理
【図６】実施の形態２における画像検索サーバの画像検索プログラムの処理
【図７】仮想３次元空間にシートを重ねて配置した例
【図８】閲覧中のシート以外のシート上にアイコンを配置した例
【図９】アイコンを転送が完了したものから画像に置き換えていく例
【符号の説明】
１ 画像検索装置
２ 外部記憶装置
３ ディスプレイ装置
４ クライアント
５ 外部記憶装置
６ ディスプレイ装置
７ 通信ネットワーク
８ 画像検索サーバ
９ 外部記憶装置
１０ 画像検索プログラム
１１ 検索要求受付手段
１２ アイコン化手段
１３ 特徴抽出手段
１４ 配置手段
１５ 仮想空間表示手段
２１ 画像データベース
２２ アイコンファイル
２３ 管理ファイル
４０ 画像検索要求プログラム
４１ 検索要求手段
４２ 結果取得手段
４３ 仮想空間表示手段
５１ 画像ファイル
５２ アイコンファイル
５３ 管理ファイル
８０ 画像検索プログラム
８１ 検索要求受付手段
８２ アイコン化手段
８３ 特徴抽出手段
８４ 配置手段
８５ 結果出力手段
９１ 画像データベース
９２ 管理ファイル
【発明の属する技術分野】
本発明は，画像検索に関し、特にオンラインショッピングにおける商品画像検索やコンテンツ作成用素材画像検索など、大量の画像データの中から利用者が所望する情報を効率的に検索できるようにする技術に関する。
【０００２】
【従来の技術】
従来の情報検索サービスでは、テキスト情報を対象とする全文検索技術を用いて、利用者が入力するキーワードに合致する情報を検索し、その情報のタイトルや要約を合致度順にリストアップして利用者に提示するようにしたものが一般的であった。この場合、キーワードが適切なものであり、かつ合致する情報が少なければ、リストアップされる情報は少なく、容易に情報を見つけ出すことは可能である。しかしながら、キーワードが不適切であったり、キーワードが適切であっても、そのキーワードに合致する情報が大量に存在する場合には提示される情報のリストは膨大なものとなり、表示される情報の順番も利用者の意図と合致するとは限らなくなる。また、テキスト情報が付与されていない情報については、検索の対象とすることができなかった。
【０００３】
近年では、例えばアパレル関連のオークションなど、限られた分野においては、利用者がキーとなる画像を指定することにより、画像検索システムはその画像に類似した画像を検索し、類似度順に一覧表示するようにした類似画像検索技術（例えば、非特許文献１参照。）も利用され始めている。しかしながら、一般の利用者が適切なキー画像を指定することは困難な場合が多く、また、画像間の類似度として利用できるものは、画像の色合い等の画像特徴に限られているため、必ずしも利用者の検索意図と合致するキー画像とすることができるとは限らないのが現状である。
【０００４】
上記のような従来の検索方式に共通する問題点として、「情報を絞り込むための適切なキー指定の難しさ」が挙げられる。この問題を解決する手法として、なるべくたくさんの情報を利用者に提示し，その中から利用者の所望する情報を探してもらうというアプローチがある（例えば、非特許文献２参照。）。そして、人間にとって画像は一覧性に優れているため、検索対象を画像とすることにより、利用者は表示された大量の画像の中から所望の情報を比較的容易に探し出すことが可能となる。
【０００５】
しかしながら、類似画像検索技術において、類似画像提示、選択、検索の繰り返しでは利用者が意図している画像に近づいているかどうかは判断できない。そのため、画像データベース中の各画像から、色分布、エッジ分布等の各種特徴量を用いて統計処理を行い、画像の特徴量の成分を３つの特徴量に変換し、それらを３次元座標とみなして、画像アイコンを対応する３次元位置に配置したコンピュータグラフィックスを生成する技術が開示されている（例えば、特許文献１参照。）。
【０００６】
また、関連する技術に、画像情報から特徴量を抽出する方法として、画像情報に含まれる名称や説明文書のようなテキスト属性データを利用する場合には、あらかじめテキストを特徴づけるために有効だと思われる単語セットを選んでおき、ｔｆ−ｉｄｆ法（ｔｅｒｍ ｆｒｅｑｕｅｎｃｙ − ｉｎｖｅｒｓｅ ｄｏｃｕｍｅｎｔ ｆｒｅｑｕｅｎｃｙ ）を用いて各単語の相対的重要度を測り、それを列挙することで各テキストから単語のｔｆ−ｉｄｆ値を要素として持つ特徴ベクトルを抽出する方法（例えば、非特許文献３参照。）、色特徴、テクスチャ特徴、周波数特徴（フーリエ特徴やＤＣＴ 特徴）、形状特徴等に基づき画像の特徴量を抽出する方法（例えば、非特許文献４参照。）、画像情報内の画像データからは、画像から写っている物体と背景とを分離し、物体から色に関する特徴を抽出する方法（例えば、非特許文献５参照。）がある。なお、テキスト特徴や画像特徴の場合には、一般的に次元が高いため、ＫＬ展開などによって特徴ベクトルの次元を減らしてから特徴量を抽出することが行われている（例えば、非特許文献６参照。）。
【０００７】
【特許文献１】
特開平１１−１７５５３４号公報 （第２−３頁）
【０００８】
【非特許文献１】
“類似画像検索”、［ｏｎｌｉｎｅ］ 、富士通）知的システム研究部、［ 平成１４年１０月２５日検索］、インターネット ＜ ＵＲＬ ： ｈｔｔｐ：／／ｖｅｎｕｓ．ｎｅｔｌａｂｏｒａｔｏｒｙ．ｃｏｍ／ｓａｌｏｎ／ｃｈｉｔｅｋｉ／ｍｕｒ／ｉｍｇｓｅａｒｃｈ．ｈｔｍｌ ＞
【０００９】
【非特許文献２】
長田 茂美、他４名、“マルチメディア情報検索システム“ＭＩＲＡＣＬＥＳ””、情報処理学会 人文科学とコンピュータシンポジウム２００１論文集ｐ．２６７−２７４（２００１ ）
【００１０】
【非特許文献３】
西尾 章治郎、他５名、「岩波講座マルチメディア情報学（第８巻）情報の構造化と検索」、岩波書店、２０００年発行、ｐ．１１３−１１９
【００１１】
【非特許文献４ 】
Ｖｉｔｔｏｒｉｏ Ｃａｓｔｅｌｌｉ ａｎｄ Ｌａｗｒｅｎｃｅ Ｄ． Ｂｅｒｇｍａｎ 、“Ｉｍａｇｅ Ｄａｔａｂａｓｅｓ ”、 Ｊｏｈｎ， Ｗｉｌｅｙ ＆ Ｓｏｎｓ 、２００２年発行、 ｐ．２８５ − ３７２
【００１２】
【非特許文献５】
椎谷 秀一、他４名、“画像の色特徴を用いた商品検索サービス”、情報処理学会 第４２回グループウェアとネットワークサービス研究会 ｐ．２６７−２７４（２００１ ）
【００１３】
【非特許文献６】
石井 健一郎、他３名、「わかりやすいパターン認識」、オーム社、１９９８年発行、ｐ．１０６−１１４
【００１４】
【発明が解決しようとする課題】
上記のように「なるべくたくさんの画像を利用者に提示し，その中から利用者が所望する画像を探してもらうというアプローチ」は大量の画像から所望の画像を視覚的に検索させるために、詳細なキー情報の設定は不要となり非常に効果的な手法である。しかしながら、大量の画像を１画面に表示することにより、以下のような問題がある。
（ａ） 大量の画像を１画面に表示しようとすると、個々の画像が小さくなってしまい判別しづらくなる。それを避けるために画面スクロールをしたり，一画面で収まる範囲でページ分けをする方法があるが、それらの方法だと，名前順，日付順など１つの軸（ 特徴量） で並べることしかできないし，全体としてどのような画像がどのくらいあるかというような分布を把握することは困難である。
（ｂ） 大量の画像をランダムに１画面に表示すると、その中から所望の画像を探すのが困難である。
（ｃ） 検索処理をサーバで実行し、処理結果を通信ネットワークを介してクライアントの表示装置に表示する場合には、大量の画像情報の転送による長時間の転送待ちが発生する。また、クライアントでは、表示装置に画像データを表示するために、画像データを縮小するなど画像毎の加工処理が必要となりＣＰＵ負荷が大幅に増加する。
【００１５】
本発明は、上記のような事情に鑑みて提案されたものであり、大量の画像データの中から利用者が所望する情報を効率的に検索できるようにすることを目的としている。
【００１６】
【課題を解決するための手段】
図１は、本発明をコンピュータ単体で実現させた実施の形態１の全体構成図を示すものである。本発明の画像検索プログラム１０は画像検索装置１としてのコンピュータ上で実行するプログラムであり、例えば画像データベース２１のディレクトリ、利用者が所望する情報に対するキーワードやキー画面など利用者によって入力された検索条件に基づき、検索対象の画像グループを決定する検索要求受付手段１１と、前記検索対象の画像をディスプレイ装置３上のどの位置に配置するかを決定するための特徴量を、前記検索対象の画像の画像情報から抽出する特徴抽出手段１３と、前記特徴量に基づき、前記検索対象の画像をディスプレイ装置３上のどのシートのどの位置に配置するかを示す配置情報を生成する配置手段１４と、前記配置情報に従って、前記検索対象の画像をディスプレイ装置３上の仮想３次元空間内に重ねて表示する仮想空間表示手段１５として機能するものであり、図７で示すように複数の検索対象の画像を特徴量に応じて並べたシートを、ディスプレイ装置３上の仮想３次元空間内に重ねて配置することにより大量の画像データの中から利用者が所望する情報を効率的に検索することが可能となる。
【００１７】
また、画像検索プログラム１０に検索要求受付手段１１が決定した検索対象の画像を色、形状、またはその組み合わせなどのみで表現するアイコンに変換するアイコン化手段１２を備え、前記特徴抽出手段は、前記検索対象の画像または前記アイコンを、表示画面上のどの位置に配置するかを決定するための特徴量を、前記検索対象の画像または前記アイコンの元画像の画像情報から抽出し、前記配置手段は、前記特徴量に基づき、前記検索対象の画像またはアイコンを表示画面上のどのシートのどの位置に配置するかを示す配置情報を生成し、前記仮想空間表示手段は、前記配置情報に従って、前記検索対象の画像または前記アイコンを並べたシートを、表示装置上の仮想３次元空間内に重ねて表示することにより、図８で示すように、利用者が閲覧中のシート以外のシートには、画像の代りに画像の内容を視覚的に表現したアイコンを表示しておくことが可能となる。更に、図９で示すように、利用者が次に閲覧する確率の高い、現在閲覧中のシートの前後のものを優先してアイコンを順次画像に置き換えていくことにより大量の画像データの中から利用者が所望する情報を高速に検索することが可能となる。
【００１８】
なお、前記の「検索要求受付手段１１が決定した検索対象の画像を色、形状、またはその組み合わせなどのみで表現するアイコンに変換する」とは、予め、標準的な画像を色、形状、またはその組み合わせなどのみで表現するアイコンを生成し、生成したアイコンを識別情報と対応付けて記憶しておき、アイコンに変換するのではなく、検索対象の画像に対応するアイコンの識別情報に変換することを含むものとする。
【００１９】
図４は、本発明をクライアント４と画像検索サーバ８とを連携させて実現させた実施の形態２の全体構成図を示すものである。クライアント４の検索要求手段４１は利用者が入力する検索条件に基づき、通信ネットワーク７を介して画像検索サーバ８に検索要求を行い、画像検索サーバ８は、実施の形態１の画像検索装置１が行っていたと同様の画像検索処理を行い、検索結果を結果出力手段８５が通信ネットワーク７を介してクライアント４に送信し、クライアント４の結果取得手段４２は画像検索サーバ８から検索結果を受信し、受信した検索結果に基づき仮想空間表示手段４３が画像検索用の画面をディスプレイ装置６に表示するようにしたものである。
【００２０】
実施の形態２では、画像情報が通信ネットワーク７を介して転送されるため、利用者の閲覧中のシート以外のシートには情報量の少ないアイコンを配置することにより、クライアント４のディスプレイ装置６に検索処理結果を表示する際に発生する画像情報の転送による長時間の転送待ちは回避できる。また、このように画像検索機能を大量データの記憶が可能で、かつ処理スピードの速いサーバ側に持たすことにより、クライアントでは記憶させることが困難な非常に大量の画像情報を記憶させたり、サーバが有する他の関連する様々な情報を横断的に検索することにより画像データの表示や画像データの説明だけではなく、百科事典的な補足説明や様々な付加価値的情報の提供も可能となる。
【００２１】
【発明の実施の形態】
図１は本発明の実施の形態１の全体構成図が示してある。本発明の画像検索プログラム１０は画像検索装置１として振る舞うコンピュータ上で実行するプログラムである。検索要求受付手段１１は、画像データベース２１から検索対象の画像グループを設定するため、例えばディレクトリ、利用者が所望する情報に対するキーワードやキー画面などの利用者によって入力された検索条件に基づき、検索対象の画像グループを決定する。アイコン化手段１２は、前記検索対象の画像の画像情報を視覚的に表現するアイコンに変換し、変換したアイコンをアイコンの識別情報と対応付けてアイコンファイル２２に格納するとともに、変換したアイコンの識別情報を元画像の画像ＩＤに対応付けて管理ファイル２３に記憶させる。
【００２２】
特徴抽出手段１３は、前記検索対象の画像または前記アイコンをディスプレイ装置３上のどの位置に配置するかを決定するための特徴量を、前記検索対象の画像または前記アイコンの元画像の画像情報から抽出し、抽出した特徴量を元画像の画像ＩＤに対応付けて管理ファイル２３に記憶させる。配置手段１４は、前記特徴量に基づき、前記検索対象の画像または前記アイコンをディスプレイ装置３上のどのシートのどの位置に配置するかを示す配置情報を生成し、配置情報をシートＩＤ、シート内相対位置として元画像の画像ＩＤに対応付けて管理ファイル２３に記憶させる。仮想空間表示手段１５は、前記配置手段１４が決定した配置情報に従って、図７で示すように複数の検索対象の画像およびアイコンを特徴量に応じて並べたシートを、ディスプレイ装置３上の仮想３次元空間内に重ねて配置する。
【００２３】
外部記憶装置２には、様々な画像情報を記憶させた画像データベース２１、検索対象となった画像を視覚的に表現するアイコンの画像情報を識別情報と対応付けて格納するアイコンファイル２２、検索対象となった画像の画像ＩＤに対応付けて、特徴量、位置情報、アイコンの識別情報を記憶させた管理ファイル２３が格納されており、ディスプレイ装置３は、利用者が検索条件を指定したり、画像検索プログラムの検索結果をなどを表示するために使用される。
【００２４】
図２は、画像検索プログラム１０が表示する検索画面を制御するための管理ファイルの例である。実施の形態１では、外部記憶装置２上に置いているが画像検索装置１のメモリ上に展開してもよい。画像ＩＤは、検索対象となった画像データベースに格納されている画像情報を識別するための情報である。この例では、検索対象画像が携帯端末装置、画像ＩＤが１の画像は、黒の折り畳みタイプの携帯電話、画像ＩＤが２のものは灰色のストレートタイプの携帯電話、画像ＩＤが３のものは、灰色のＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｃｅ ）と仮定している。
【００２５】
この例では、特徴量１はアイコン生成に用いるものであって、色を数値化したものである。０は黒を、８は灰色を示している。特徴量２〜ｎは、テキスト属性データから抽出した特徴ベクトル値や、形状特徴から抽出した特徴ベクトル値などであり、検索対象の画像またはアイコンをディスプレイ装置３に表示するときの配置を決定するために用いる数値化した情報である。シートＩＤ、相対位置は、検索対象の画像またはアイコンをディスプレイ装置３に表示するための配置情報である。シートＩＤは、どのシートに表示するか、相対位置は、シート内のどの位置に表示するかを表す位置情報である。アイコン情報は、例えばアイコン情報が０の場合は、１ｃｍ四方の黒の正方形を表すなど視覚的に表現したアイコンの識別情報である。
【００２６】
図３は、実施の形態１における画像検索装置１上で実行する画像検索プログラム１０の処理の流れを示すフローチャートである。本発明では、先ず利用者がディスプレイ装置３から入力する検索条件を受け付け（Ｓ３０１）、画像データベース２１から検索条件に合致した、検索対象となる画像データと画像の属性データとから構成される画像グループを決定し、検索対象画像の画像ＩＤの一覧を管理ファイル２３に出力する（Ｓ３０２）。この例では、処理の詳細については従来技術を利用するため省略するが、検索条件を指定する方法は２つあり、１つは，これらの画像情報グループが格納されているディレクトリを指定する方法であり、他の１つは，既存の情報検索ツール（例えば，キーワード検索エンジン）などによって検索された結果得られる画像情報グループを指定する方法である。
【００２７】
この他、例えば画像データベースの中からランダムに抽出された複数個の画像の中から利用者が探しているものに最も近いもの（キー画像）を指定させ、類似画像検索技術を用いて、例えばキー画像から抽出した色特徴に近い色特徴を持つ画像を検索し、指定されたキー画像と何らかの関連を持つ画像ファイル名一覧を表示したり、利用者が例えば描画ツールを利用して自分が探している画像を描画するなどして、キー画像を入力し、類似画像検索技術を用いて、例えば，キー画像から抽出した色特徴に近い色特徴を持つ画像を検索し，描画されたキー画像と何らかの関連を持つ画像ＩＤ一覧を表示して画像グループを指定方法もある。
【００２８】
検索対象の画像グループが決定すると、次にその画像グループに属する画像のアイコンを生成し、生成したアイコンを識別情報と対応付けてアイコンファイル２２に格納するとともに、管理ファイル２３に画像ＩＤと対応付けて生成したアイコンの識別情報をアイコン情報に格納する（Ｓ３０３）。アイコンを生成するためには、従来の技術を利用し、先ず画像情報の内容の解析を行う。画像情報内に数値属性データがある場合には、その数値をその属性名とペアにして取り出す。画像情報内にテキスト属性データがあれば、その中から本画像情報を特徴づける単語（重要語）を抽出する。
【００２９】
具体的には、検索対象となっている全画像情報中のテキストデータを参照しながら、相互情報量を用いる方法、あるいは，カイ二乗値を用いる方法、あるいは，ｔｆ−ｉｄｆ値を用いて必要に応じて専門語辞書、ルールを用いることによって重要語を取り出す。また、画像情報内の画像データからは，画像から写っている物体と背景とを分離し、物体から色に関する特徴を抽出し、それらの情報に基づきアイコンの画像情報を生成する。
【００３０】
従来は検索対象の縮小画像をすべて生成しなければ画像検索用の画面の表示はできなかったが、本発明を適用すると、利用者の閲覧中のシート（最初に表示する場合は、先頭のシート）以外のシートについてはアイコンを配置するだけで済むため、画像の縮小処理に伴うＣＰＵ処理時間、画像データのアクセス時間を大幅に削減し、高速に画像検索用の画面表示が可能となる。
【００３１】
なお、本実施例ではステップＳ３０３でアイコンを生成するようにしているが、予め、標準的な画像を色、形状、またはその組み合わせなどのみで表現するアイコンを生成し、生成したアイコンを識別情報と対応付けてアイコンファイル２２に記憶しておき、登録済のアイコンの中から最適なアイコンを選択するようにしてもよい。
【００３２】
次に、検索対象の各画像情報から画像またはアイコンの配置位置を決定するための特徴量を抽出し、抽出した特徴量を管理ファイル２３に画像ＩＤに対応付けて格納する（Ｓ３０４）。この処理も従来技術を用いて、画像情報内に数値属性データがある場合には、その数値をそのまま特徴として利用し、テキストデータの場合には，予めテキストを特徴づけるのに有効だと思われる単語セットを選んでおき、ｔｆ−ｉｄｆ法を用いて、各単語の相対的重要度を測り、それを列挙することで各テキストから単語のｔｆ−ｉｄｆ値を要素として持つ特徴ベクトルを抽出する。画像データについては、色特徴、テクスチャ特徴、周波数特徴（フーリエ特徴やＤＣＴ 特徴）、形状特徴を抽出する。
【００３３】
次に、抽出した特徴に基づき、画像またはアイコンの表示画面上の配置を決定し、配置情報を管理ファイル２３に画像ＩＤと対応付けてシートＩＤ、シート内相対位置として格納する（Ｓ３０５）。この処理についても従来技術を利用して、数値属性データの場合には、その値の順序関係を利用して平面の左上から行優先でアイコンを配置したり、あるいは奥行き方向に順序通り並べたりすることが可能である。また、テキスト特徴や画像特徴の場合には、一般に次元が高いため先ず、ＫＬ展開等により特徴ベクトルの次元を減らし、得られる低次元ベクトルを用いて自己組織化マップによりアイコンを二次元上に配置すると、類似した画像情報が近くに集まるように配置することが可能となる。
【００３４】
次に、管理ファイル２３を介してＳ３０５で求めた検索対象の画像またはアイコンの配置情報に基づき、画像は画像データベース２１からアイコンはアイコンファイル２２から画像データを取り出し、画像検索用の画面をディスプレイ装置３に出力する（Ｓ３０６）。以上により、利用者は、詳細なキー情報を設定することなく、一覧性に優れた仮想３次元空間の検索画面をブラウジングすることで、大量の画像の中から、高速に効率よく所望する画像を検索することが可能となる。
【００３５】
図４は、本発明をクライアント４と画像検索サーバ８とを連携させて実現させた実施の形態２の全体構成図を示すものである。クライアント４の検索要求手段４１は利用者が入力する検索条件に基づき、通信ネットワーク７を介して画像検索サーバ８に検索要求を行い、画像検索サーバ８は、実施の形態１の画像検索装置１が行っていたと同様の画像検索処理を行い、検索結果を結果出力手段８５が通信ネットワーク７を介してクライアント４に送信し、クライアント４の結果取得手段４２は画像検索サーバ８から検索結果を受信し、受信した検索結果に基づき仮想空間表示手段４３が画像検索用の画面をディスプレイ装置６に表示するようにしたものである。なお、管理ファイル５３、９２は、実施の形態１の場合と同様に、外部記憶装置５、９上に置くのではなく、それぞれクライアント４、または画像検索サーバ８のメモリ上に展開してもよい。
【００３６】
図５は、実施の形態２におけるクライアント４の画像検索要求プログラムの処理の流れを示すフローチャートである。クライアント４の画像検索要求プログラム４０は、利用者から検索条件を受け付けると（Ｓ５０１）、受け付けた検索条件に従って画像検索サーバ１に検索要求を行い（Ｓ５０２）、ＷＡＩＴし、画像検索サーバ８から検索結果（ここでは、利用者が画像検索を行うための画面を表示するために必要な情報の総称であり、管理ファイル９２に格納された各情報、および検索対象の画像の画像データを指す。）を受信すると（Ｓ５０３）、検索結果に基づき画像検索用の画面をディスプレイ装置６に出力する（Ｓ５０４）。
【００３７】
図６は、実施の形態２における画像検索サーバ８の画像検索プログラム８０の処理の流れを示すフローチャートである。画像検索サーバ８は、クライアント４から検索条件を指定した検索要求を受信すると実施の形態１における画像検索プログラムと同様の画像検索用の画面出力のための検索処理を行う。Ｓ６０１からＳ６０５の処理については図３のＳ３０１からＳ３０５に対応し、処理内容についても同様であるため説明は省略する。Ｓ６０６は検索結果の送信処理である。送信する検索結果の内容は、検索対象の画像の画像ＩＤと画像データを対応付けた画像情報、管理ファイル９２に格納した検索対象の画像の画像ＩＤと対応付けたシートＩＤとシート内相対位置から構成される位置情報、アイコンの識別情報を含む画像管理情報である。
【００３８】
本実施例では、画像検索サーバ８は、クライアント４からの検索要求に対して、検索対象の元画像の画像データを検索結果を送信するようにしているが、画像検索サーバ８が検索対象の画像の縮小画像データを生成し、検索結果として元画像の画像データではなく元画像の縮小画像データを送信し、クライアント４から元画像データの要求があって初めて、元画像データをクライアント４に送信するようにしてもよい。また、画像検索プログラムに持たせた、アイコン化手段８２、特徴抽出手段８３、配置手段８４については画像検索サーバ８の負荷やクライアント４、通信ネットワーク７の能力に応じて画像検索サーバ８、クライアント４の何れの側に持たせるように実装しても、利用者に対して相当機能の提供は可能である。
【００３９】
図７は、本発明を適用して、実施の形態１におけるディスプレイ装置３、または実施の形態２におけるディスプレイ装置６に出力される画像検索画面の表示例である。この例では、１枚に１０×１０個の検索対象の縮小画像がならべられたシートが４枚重ねて表示されており、限られたサイズの表示画面内に大量の検索対象の画像が判別可能な適切な大きさで表示を可能としている。そのため、画面をスクロールしたり、切り替えたりすることなく、視点を斜めにずらして複数のシートを同時に概観することで検索対象の画像の全体の分布の把握が可能となる。
【００４０】
また、本発明を適用すると、画像の特徴量に応じた縮小画像の配置が可能であるため、手前のシートから大分類、中分類、小分類というように階層的に配置することで、例えば動物や植物などの分類に適した検索を可能としたり、シート上のある画像の直下にその画像に類似した画像を置くことで、利用者が連続的に探索を可能としたり、画像から色の特徴を抽出し類似した色の画像が近くに集まるように配置することを可能となり、利用者の検索効率を向上させることができるようになる。
【００４１】
図８は、本発明を適用して、実施の形態１におけるディスプレイ装置３、または実施の形態２におけるディスプレイ装置６に出力される画像検索画面の表示例である。この例では、利用者が閲覧しているシートのみ、検索対象の画像の縮小画像を表示し、それ以外のシートには検索対象の画像を色で視覚的に表現するアイコンで表示した例である。実施の形態２のように、画像データベース９１が画像検索サーバ８側にあり、情報量の大きな画像データを通信ネットワーク７を介してクライアント４に送信する場合、クライアント４が検索画面を表示するために検索対象の画像データをすべて受信してから表示していたのでは長時間の転送待ち時間が発生する。
【００４２】
この例のように、画像検索サーバ８は、利用者が閲覧するシートのみ画像データを送信し、利用者が閲覧中に、次に利用者が閲覧する確率の高い、前後のシートを優先的にクライアント４に送信し、クライアント４は、図９に示すようにアイコンを受信した画像データの縮小画像に順次置き換えていくことで、画像データの転送待ち時間を抑え、画像を縮小画像に変換するなどのＣＰＵ負荷を抑え、利用者にとって高速な画像検索が可能となる。
【００４３】
なお、利用者が閲覧中のシート以外のシートにも、元画像に写っているものの色や形状に関する特徴はアイコンによって表示されているため、全体としてどのような画像がどのくらいあるかを把握したり、次にどのシートを閲覧すべきかを判断することもでき効率的な画像検索が可能となる。
図９は、本発明を適用して、実施の形態１におけるディスプレイ装置３、または実施の形態２におけるディスプレイ装置６に出力される画像検索画面の表示例である。利用者が先頭のシートを閲覧中に、画像検索サーバ８は、利用者が次に閲覧する確率の高い次のシートに表示する画像データを通信ネットワーク７を介してクライアント４に送信し、クライアントは利用者が先頭のシートを閲覧中に受信した次のシートの画像ータを縮小画像データに変換し、順次アイコンを縮小画像に置き換えている例である。なお、表示方法の他の例として、シート上の縮小画像を一定時間毎に切り替えて別の画像を順次表示したり、シート自体を移動させて画像を順次表示するように実装しても同様な効果が得られる。
【００４４】
（付記１） 利用者が入力する所定の検索条件に基づき、検索対象の画像の集合である画像グループを決定するステップと、
前記検索対象の画像を視覚的に表現するアイコンに変換するステップと、
前記検索対象の画像または前記アイコンを、表示画面上のどの位置に配置するかを決定するための特徴量を、前記検索対象の画像または前記アイコンの元画像の画像情報から抽出するステップと、
前記特徴量に基づき、前記検索対象の画像またはアイコンを表示画面上のどのシートのどの位置に配置するかを示す配置情報を生成するステップと、
前記配置情報に従って、前記検索対象の画像または前記アイコンを並べたシートを、表示装置上の仮想３次元空間内に重ねて表示するステップと
を有することを特徴とする画像検索方法。
【００４５】
（付記２） 利用者が入力する所定の検索条件に基づき、検索対象の画像の集合である画像グループを決定する検索要求受付手段と、
前記検索対象の画像を、表示画面上のどの位置に配置するかを決定するための特徴量を、前記検索対象の画像の元画像の画像情報から抽出する特徴抽出手段と、
前記特徴量に基づき、前記検索対象の画像を表示画面上のどのシートのどの位置に配置するかを示す配置情報を生成する配置手段と、
前記配置情報に従って、前記検索対象の画像を並べたシートを、表示装置上の仮想３次元空間内に重ねて表示する仮想空間表示手段と
を有することを特徴とする画像検索装置。
【００４６】
（付記３） 前記画像検索装置は、更に、前記検索対象の画像を視覚的に表現するアイコンに変換するアイコン化手段を備え、前記特徴抽出手段は、前記検索対象の画像または前記アイコンを、表示画面上のどの位置に配置するかを決定するための特徴量を、前記検索対象の画像または前記アイコンの元画像の画像情報から抽出し、前記配置手段は、前記特徴量に基づき、前記検索対象の画像またはアイコンを表示画面上のどのシートのどの位置に配置するかを示す配置情報を生成し、前記仮想空間表示手段は、前記配置情報に従って、前記検索対象の画像または前記アイコンを並べたシートを、表示装置上の仮想３次元空間内に重ねて表示するようにした、付記２記載の画像検索装置。
【００４７】
（付記４） 利用者が入力する所定の検索条件に基づき、検索対象の画像の集合である画像グループを決定する検索要求受付手段と、
前記検索対象の画像を、表示画面上のどの位置に配置するかを決定するための特徴量を、前記検索対象の画像の元画像の画像情報から抽出する特徴抽出手段と、
前記特徴量に基づき、前記検索対象の画像を表示画面上のどのシートのどの位置に配置するかを示す配置情報を生成する配置手段と、
前記配置情報に従って、前記検索対象の画像を並べたシートを、表示装置上の仮想３次元空間内に重ねて表示する仮想空間表示手段と
してコンピュータを機能させる画像検索プログラム。
【００４８】
（付記５） 前記画像検索装置は、更に、前記検索対象の画像を視覚的に表現するアイコンに変換するアイコン化手段を備え、前記特徴抽出手段は、前記検索対象の画像または前記アイコンを、表示画面上のどの位置に配置するかを決定するための特徴量を、前記検索対象の画像または前記アイコンの元画像の画像情報から抽出し、配置手段は、前記特徴量に基づき、前記検索対象の画像またはアイコンを表示画面上のどのシートのどの位置に配置するかを示す配置情報を生成し、前記仮想空間表示手段は、前記配置情報に従って、前記検索対象の画像または前記アイコンを並べたシートを、表示装置上の仮想３次元空間内に重ねて表示するようにした、付記４記載の画像検索プログラム。
【００４９】
（付記６） クライアントから受信する所定の検索条件に基づき、検索対象の画像の集合である画像グループを決定する検索要求受付手段と、
前記検索対象の画像を、表示画面上のどの位置に配置するかを決定するための特徴量を、前記検索対象の画像の元画像の画像情報から抽出する特徴抽出手段と、
前記特徴量に基づき、前記検索対象の画像を表示画面上のどのシートのどの位置に配置するかを示す配置情報を生成する配置手段と、
前記検索対象の画像の画像識別情報、および前記画像識別情報に対応付けた画像データ、配置情報を含む検索結果をクライアントに送信する結果出力手段と
を有することを特徴とする画像検索サーバ。
【００５０】
（付記７） 前記画像検索サーバは、更に、前記検索対象の画像を視覚的に表現するアイコンに変換するアイコン化手段を備え、前記特徴抽出手段は、前記検索対象の画像または前記アイコンを、表示画面上のどの位置に配置するかを決定するための特徴量を、前記検索対象の画像または前記アイコンの元画像の画像情報から抽出し、前記配置手段は、前記特徴量に基づき、前記検索対象の画像またはアイコンを表示画面上のどのシートのどの位置に配置するかを決定し、前記結果出力手段は、前記検索対象の画像の画像識別情報、および前記画像識別情報に対応付けた画像データ、前記アイコンの画像識別情報、配置情報を含む検索結果をクライアントに送信するようにした、付記６記載の画像検索サーバ。
【００５１】
（付記８） クライアントから受信する所定の検索条件に基づき、検索対象の画像の集合である画像グループを決定する検索要求受付手段と、
前記検索対象の画像を、表示画面上のどの位置に配置するかを決定するための特徴量を、前記検索対象の画像の元画像の画像情報から抽出する特徴抽出手段と、
前記特徴量に基づき、前記検索対象の画像を表示画面上のどのシートのどの位置に配置するかを示す配置情報を生成する配置手段と、
前記検索対象の画像の画像識別情報、および前記画像識別情報に対応付けた画像データ、配置情報を含む検索結果をクライアントに送信する結果出力手段と
してコンピュータを機能させる画像検索プログラム。
【００５２】
（付記９） 前記画像検索プログラムは、更に、前記検索対象の画像を視覚的に表現するアイコンに変換するアイコン化手段を備え、前記特徴抽出手段は、前記検索対象の画像または前記アイコンを、表示画面上のどの位置に配置するかを決定するための特徴量を、前記検索対象の画像または前記アイコンの元画像の画像情報から抽出し、前記配置手段は、前記特徴量に基づき、前記検索対象の画像またはアイコンを表示画面上のどのシートのどの位置に配置するかを決定し、前記結果出力手段は、前記画像グループの画像識別情報、および前記検索対象の画像の画像識別情報に対応付けた画像データ、前記アイコンの画像識別情報、配置情報を含む検索結果をクライアントに送信するようにした、付記８記載の画像検索プログラム。
【００５３】
（付記１０） 利用者が入力する所定の検索条件に基づき、検索対象の画像の集合である画像グループの検索要求情報を画像検索サーバに送信する検索要求手段と、
画像検索サーバから、前記検索対象の画像の画像識別情報、および前記画像識別情報に対応付けた画像データ、配置情報を含む検索結果を受信する結果取得手段と、
前記配置情報に従って、前記検索対象の画像を並べたシートを、表示装置上の仮想３次元空間内に重ねて表示する仮想空間表示手段と
を有することを特徴とするクライアント。
【００５４】
（付記１１） 前記結果取得手段は、画像検索サーバから、前記検索対象の画像の画像識別情報、および前記画像識別情報に対応付けた画像データ、アイコン識別情報、配置情報を含む検索結果を受信し、前記配置情報に従って、前記検索対象の画像および前記アイコンを並べたシートを、表示装置上の仮想３次元空間内に重ねて表示するようにした付記９記載のクライアント。
【００５５】
（付記１２） 利用者が入力する所定の検索条件に基づき、検索対象の画像の集合である画像グループの検索要求情報を画像検索サーバに送信する検索要求手段と、
画像検索サーバから、前記検索対象の画像の画像識別情報、および前記画像識別情報に対応付けた画像データ、配置情報を含む検索結果を受信する結果取得手段と、
前記配置情報に従って、前記検索対象の画像を並べたシートを、表示装置上の仮想３次元空間内に重ねて表示する仮想空間表示手段と
してコンピュータを機能させる画像検索要求プログラム。
【００５６】
（付記１３） 前記結果取得手段は、画像検索サーバから、前記検索対象の画像の画像識別情報、および前記画像識別情報に対応付けた画像データ、アイコン識別情報、配置情報を含む検索結果を受信し、前記配置情報に従って、前記検索対象の画像および前記アイコンを並べたシートを、表示装置上の仮想３次元空間内に重ねて表示するようにした付記１１記載の画像検索要求プログラム。
【００５７】
【発明の効果】
大量の画像データの中から利用者が所望する情報を効率的に検索することが可能となる。
【図面の簡単な説明】
【図１】実施の形態１の全体構成図
【図２】管理ファイルのデータ形式例
【図３】実施の形態１における画像検索装置の画像検索プログラムの処理
【図４】実施の形態２の全体構成図
【図５】実施の形態２におけるクライアントの画像検索要求プログラムの処理
【図６】実施の形態２における画像検索サーバの画像検索プログラムの処理
【図７】仮想３次元空間にシートを重ねて配置した例
【図８】閲覧中のシート以外のシート上にアイコンを配置した例
【図９】アイコンを転送が完了したものから画像に置き換えていく例
【符号の説明】
１ 画像検索装置
２ 外部記憶装置
３ ディスプレイ装置
４ クライアント
５ 外部記憶装置
６ ディスプレイ装置
７ 通信ネットワーク
８ 画像検索サーバ
９ 外部記憶装置
１０ 画像検索プログラム
１１ 検索要求受付手段
１２ アイコン化手段
１３ 特徴抽出手段
１４ 配置手段
１５ 仮想空間表示手段
２１ 画像データベース
２２ アイコンファイル
２３ 管理ファイル
４０ 画像検索要求プログラム
４１ 検索要求手段
４２ 結果取得手段
４３ 仮想空間表示手段
５１ 画像ファイル
５２ アイコンファイル
５３ 管理ファイル
８０ 画像検索プログラム
８１ 検索要求受付手段
８２ アイコン化手段
８３ 特徴抽出手段
８４ 配置手段
８５ 結果出力手段
９１ 画像データベース
９２ 管理ファイル
Claims (5)
- 利用者が入力する所定の検索条件に基づき、検索対象の画像の集合である画像グループを決定するステップと、
前記検索対象の画像を視覚的に表現するアイコンに変換するステップと、
前記検索対象の画像または前記アイコンを、表示画面上のどの位置に配置するかを決定するための特徴量を、前記検索対象の画像または前記アイコンの元画像の画像情報から抽出するステップと、
前記特徴量に基づき、前記検索対象の画像またはアイコンを表示画面上のどのシートのどの位置に配置するかを示す配置情報を生成するステップと、
前記配置情報に従って、前記検索対象の画像または前記アイコンを並べたシートを、表示装置上の仮想３次元空間内に重ねて表示するステップと
を有することを特徴とする画像検索方法。 - 利用者が入力する所定の検索条件に基づき、検索対象の画像の集合である画像グループを決定する検索要求受付手段と、
前記検索対象の画像を、表示画面上のどの位置に配置するかを決定するための特徴量を、前記検索対象の画像の元画像の画像情報から抽出する特徴抽出手段と、
前記特徴量に基づき、前記検索対象の画像を表示画面上のどのシートのどの位置に配置するかを示す配置情報を生成する配置手段と、
前記配置情報に従って、前記検索対象の画像を並べたシートを、表示装置上の仮想３次元空間内に重ねて表示する仮想空間表示手段と
を有することを特徴とする画像検索装置。 - 前記画像検索装置は、更に、前記検索対象の画像を視覚的に表現するアイコンに変換するアイコン化手段を備え、前記特徴抽出手段は、前記検索対象の画像または前記アイコンを、表示画面上のどの位置に配置するかを決定するための特徴量を、前記検索対象の画像または前記アイコンの元画像の画像情報から抽出し、前記配置手段は、前記特徴量に基づき、前記検索対象の画像またはアイコンを表示画面上のどのシートのどの位置に配置するかを示す配置情報を生成し、前記仮想空間表示手段は、前記配置情報に従って、前記検索対象の画像または前記アイコンを並べたシートを、表示装置上の仮想３次元空間内に重ねて表示するようにした、請求項２記載の画像検索装置。
- 利用者が入力する所定の検索条件に基づき、検索対象の画像の集合である画像グループを決定する検索要求受付手段と、
前記検索対象の画像を、表示画面上のどの位置に配置するかを決定するための特徴量を、前記検索対象の画像の元画像の画像情報から抽出する特徴抽出手段と、
前記特徴量に基づき、前記検索対象の画像を表示画面上のどのシートのどの位置に配置するかを示す配置情報を生成する配置手段と、
前記配置情報に従って、前記検索対象の画像を並べたシートを、表示装置上の仮想３次元空間内に重ねて表示する仮想空間表示手段と
してコンピュータを機能させる画像検索プログラム。 - 前記画像検索装置は、更に、前記検索対象の画像を視覚的に表現するアイコンに変換するアイコン化手段を備え、前記特徴抽出手段は、前記検索対象の画像または前記アイコンを、表示画面上のどの位置に配置するかを決定するための特徴量を、前記検索対象の画像または前記アイコンの元画像の画像情報から抽出し、配置手段は、前記特徴量に基づき、前記検索対象の画像またはアイコンを表示画面上のどのシートのどの位置に配置するかを示す配置情報を生成し、前記仮想空間表示手段は、前記配置情報に従って、前記検索対象の画像または前記アイコンを並べたシートを、表示装置上の仮想３次元空間内に重ねて表示するようにした、請求項４記載の画像検索プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002329965A JP2004164331A (ja) | 2002-11-13 | 2002-11-13 | 画像検索方法、画像検索装置、および画像検索プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002329965A JP2004164331A (ja) | 2002-11-13 | 2002-11-13 | 画像検索方法、画像検索装置、および画像検索プログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004164331A true JP2004164331A (ja) | 2004-06-10 |
Family
ID=32807810
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002329965A Pending JP2004164331A (ja) | 2002-11-13 | 2002-11-13 | 画像検索方法、画像検索装置、および画像検索プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004164331A (ja) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006344155A (ja) * | 2005-06-10 | 2006-12-21 | Hokkaido Univ | 画像表示位置決定装置、画像表示位置決定方法、画像表示位置決定プログラム、及びこれを記録したコンピュータ読取可能な記録媒体 |
| JP2007304684A (ja) * | 2006-05-09 | 2007-11-22 | Matsushita Electric Ind Co Ltd | 検索補助装置 |
| WO2008026302A1 (fr) * | 2006-08-28 | 2008-03-06 | Sony Computer Entertainment Inc. | Dispositif d'affichage de contenus et procédé d'affichage de contenus |
| US7583265B2 (en) | 2005-08-02 | 2009-09-01 | Seiko Epson Corporation | Image display method and device, image display system, server, program, and recording medium |
| JP2009230502A (ja) * | 2008-03-24 | 2009-10-08 | Ricoh Co Ltd | 画像情報配置装置 |
| JP5237385B2 (ja) * | 2008-10-30 | 2013-07-17 | シャープ株式会社 | 携帯情報端末 |
| JP2014067409A (ja) * | 2012-09-10 | 2014-04-17 | Canon Marketing Japan Inc | 情報処理装置、情報処理システム、その制御方法およびプログラム |
| US8782559B2 (en) | 2007-02-13 | 2014-07-15 | Sony Corporation | Apparatus and method for displaying a three dimensional GUI menu of thumbnails navigable via linked metadata |
| US9779523B2 (en) | 2007-02-13 | 2017-10-03 | Sony Corporation | Display control apparatus, display method, and computer program |
-
2002
- 2002-11-13 JP JP2002329965A patent/JP2004164331A/ja active Pending
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006344155A (ja) * | 2005-06-10 | 2006-12-21 | Hokkaido Univ | 画像表示位置決定装置、画像表示位置決定方法、画像表示位置決定プログラム、及びこれを記録したコンピュータ読取可能な記録媒体 |
| US7583265B2 (en) | 2005-08-02 | 2009-09-01 | Seiko Epson Corporation | Image display method and device, image display system, server, program, and recording medium |
| JP2007304684A (ja) * | 2006-05-09 | 2007-11-22 | Matsushita Electric Ind Co Ltd | 検索補助装置 |
| WO2008026302A1 (fr) * | 2006-08-28 | 2008-03-06 | Sony Computer Entertainment Inc. | Dispositif d'affichage de contenus et procédé d'affichage de contenus |
| US8782559B2 (en) | 2007-02-13 | 2014-07-15 | Sony Corporation | Apparatus and method for displaying a three dimensional GUI menu of thumbnails navigable via linked metadata |
| US9779523B2 (en) | 2007-02-13 | 2017-10-03 | Sony Corporation | Display control apparatus, display method, and computer program |
| JP2009230502A (ja) * | 2008-03-24 | 2009-10-08 | Ricoh Co Ltd | 画像情報配置装置 |
| JP5237385B2 (ja) * | 2008-10-30 | 2013-07-17 | シャープ株式会社 | 携帯情報端末 |
| JP2014067409A (ja) * | 2012-09-10 | 2014-04-17 | Canon Marketing Japan Inc | 情報処理装置、情報処理システム、その制御方法およびプログラム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7702681B2 (en) | Query-by-image search and retrieval system | |
| CN101404019B (zh) | 实现扩展搜索和提供扩展搜索结果 | |
| JP5309155B2 (ja) | イメージ検索における対話型概念学習 | |
| CN100410928C (zh) | 图面搜索支持设备 | |
| US20090070321A1 (en) | User search interface | |
| US9652558B2 (en) | Lexicon based systems and methods for intelligent media search | |
| CN110020185A (zh) | 智能搜索方法、终端及服务器 | |
| US20020091678A1 (en) | Multi-query data visualization processes, data visualization apparatus, computer-readable media and computer data signals embodied in a transmission medium | |
| CN101404018A (zh) | 实现扩展搜索和提供扩展搜索结果 | |
| CN101479728A (zh) | 视觉以及多维搜索 | |
| US20100114854A1 (en) | Map-based websites searching method and apparatus therefor | |
| JP2009301536A (ja) | ファイルを表示する方法、装置およびプログラム | |
| US20160117391A1 (en) | Presentation of ranked image query results to a client | |
| EP2798541A1 (en) | Presenting interactive images with search results | |
| AU2005201771A1 (en) | Method and system for identifying image relatedness using link and page layout analysis | |
| JP2004152110A (ja) | 検索条件設定方法及び検索条件設定装置 | |
| JP5197680B2 (ja) | 特徴情報作成装置、方法及びプログラム | |
| US7734622B1 (en) | Media-driven browsing | |
| JP2004164331A (ja) | 画像検索方法、画像検索装置、および画像検索プログラム | |
| JP5010624B2 (ja) | 検索装置 | |
| JP6140835B2 (ja) | 情報検索システムおよび情報検索方法 | |
| JP2012226492A (ja) | 文書情報提供装置、文書閲覧端末、方法、及びコンピュータプログラム、 | |
| JP7304221B2 (ja) | 検索クエリ生成装置、検索クエリ生成方法、プログラム、素材検索システム、および素材検索方法 | |
| JP2023019209A (ja) | 情報処理装置及びプログラム | |
| Li et al. | Intuitive and effective interfaces for www image search engines |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20040610 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20040610 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050606 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080710 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080729 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20081209 |