JP2003281153A - 情報検索システム用サーバ及び端末装置 - Google Patents

Abstract

(57)【要約】 【課題】 画像に基づく情報検索を可能とすることによ
り、その画像が何を撮影したものであるかを正確に回答
し、かつユーザの負担を低減すること。 【解決手段】 端末装置３は、不明な対象物が写ってい
る画像とその画像に関する付属情報とを含む検索情報を
サーバ２に送信する。サーバ２では検索情報を入力する
と、情報検索装置選択部２５が付属情報に基づいて参照
情報２５１を参照することで複数の情報検索装置４のう
ちから検索情報の送信対象となる情報検索装置４を選択
する。参照情報には各情報検索装置４の専門性等に関す
る情報が格納されており、情報検索装置２５は各情報検
索装置４の専門性等を考慮した上で情報検索装置４の選
択を行うのである。そして検索情報を選択した情報検索
装置４に送信することにより、情報検索が依頼された情
報検索装置４は画像による情報検索（その画像には何が
写っているのかを回答するための検索）を行う。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、画像による情報
検索を行うための、情報検索システム用サーバ及び端末
装置に関する。

【０００２】

【従来の技術】デジタルカメラは撮影したその場で画像
を確認することができる。このため、デジタルカメラの
ユーザが外出先等で不知の物体（対象物）を撮影して、
自宅等において、その画像を確認しつつ、図鑑を開いた
り、インターネット検索を行うことで撮影した対象物が
どんなものであるのかを判断することも可能である。例
えば、きれいな鳥を撮影した場合に、その画像を確認し
つつ図鑑等を調べることで、その鳥の名前等を知ること
ができる。

【０００３】

【発明が解決しようとする課題】ところが、ユーザが撮
影した対象物が何であるかを自ら判断すると正確性に欠
けるという問題がある。例えば、鳥を撮影した場合に、
鳥に関する詳しい知識のないユーザが名前を特定したと
してもその名前が正確であるかどうかは疑わしい。

【０００４】また、自宅等においてデジタルカメラのユ
ーザ自らが画像に基づいた検索を行わなければならない
のは、不便である。

【０００５】そこで、この発明は、画像に基づく情報検
索を可能とすることにより、その画像が何を撮影したも
のであるかを正確に回答し、かつユーザの負担を低減す
ることの可能な、情報検索システム用サーバ及び端末装
置を提供することを目的とする。

【０００６】

【課題を解決するための手段】上記目的を達成するため
に、請求項１に記載の発明は、複数の端末装置と第１の
通信手段を介してデータ通信可能なように構成され、か
つ、複数の情報検索装置と第２の通信手段を介してデー
タ通信可能なように構成された情報検索システム用サー
バであって、前記複数の端末装置のうちの少なくとも１
つから前記第１の通信手段を介して入力する、画像を含
む検索情報に基づいて、前記複数の情報検索装置のうち
から前記検索情報の送信対象となる情報検索装置を少な
くとも１つ選択する選択手段と、前記選択手段によって
選択された前記情報検索装置に対して、前記検索情報を
送信し、前記検索情報を送信した前記情報検索装置から
回答情報を受信した場合に、前記検索情報を発信した前
記端末装置に対して前記回答情報を送信する制御手段
と、を備えて構成される。

【０００７】請求項２に記載の発明は、請求項１に記載
の情報検索システム用サーバにおいて、前記制御手段
が、前記選択手段によって選択された前記情報検索装置
に対して前記検索情報を送信した後、所定条件を満たし
た場合に、前記検索情報を送信した前記情報検索装置に
対して回答不要を通知するための制御信号を送信するこ
とを特徴としている。

【０００８】請求項３に記載の発明は、請求項１又は２
に記載の情報検索システム用サーバにおいて、前記検索
情報に含まれる前記画像の特徴量を抽出する画像特徴量
抽出手段と、前記特徴量に応じて、前記複数の情報検索
装置のそれぞれが対応付けられた参照情報を記憶する記
憶手段と、をさらに備え、前記選択手段が、前記特徴量
と前記参照情報とに基づいて前記検索情報の送信対象と
なる前記情報検索装置を選択することを特徴としてい
る。

【０００９】請求項４に記載の発明は、ネットワークを
介して情報検索システム用サーバとデータ通信可能なよ
うに構成される端末装置であって、前記情報検索システ
ム用サーバに対して送信するための画像を入力する画像
入力手段と、前記画像の特徴量を抽出する画像特徴量抽
出手段と、前記画像と前記特徴量とを含む検索情報を生
成して、前記検索情報を出力する出力手段と、を備えて
構成される。この構成には、ネットワークを介して情報
検索システム用サーバとデータ通信可能な状態とするた
めに、別に通信装置を必要とするものも含まれる。

【００１０】請求項５に記載の発明は、ネットワークを
介して情報検索システム用サーバとデータ通信可能なよ
うに構成される端末装置であって、撮影動作を行うこと
によって前記情報検索システム用サーバに対して送信す
るための画像を生成する撮像手段と、前記撮影動作時に
おける前記撮像手段の撮影倍率を求める撮影倍率算出手
段と、前記画像と前記撮影倍率とを含む検索情報を生成
して、前記検索情報を出力する出力手段と、を備えて構
成される。この構成には、ネットワークを介して情報検
索システム用サーバとデータ通信可能な状態とするため
に、別に通信装置を必要とするものも含まれる。

【００１１】

【発明の実施の形態】以下、この発明の実施の形態につ
いて図面を参照しつつ詳細に説明する。

【００１２】＜１．情報検索システムの全体構成＞図１
はこの発明の実施の形態にかかる情報検索システム１の
構成図である。図１に示すように情報検索システム１
は、情報検索システム用サーバ（以下、単にサーバとい
う。）２と、複数の端末装置３（３ａ，３ｂ，３ｃ，３
ｄ，…）と、複数の情報検索装置４（４ａ，４ｂ，４
ｃ，…）とを備え、サーバ２と複数の端末装置３とがネ
ットワーク５を介して互いにデータ通信可能なように接
続され、かつ、サーバ２と複数の情報検索装置４とがネ
ットワーク６を介して互いにデータ通信可能なように接
続された構成となっている。

【００１３】各端末装置３は、パーソナルコンピュータ
３ａ，３ｄ、デジタルカメラ３ｂ、又は情報検索システ
ム用の専用端末装置３ｃ等によって構成され、有線又は
無線でネットワーク５に接続され、個別にサーバ２との
データ通信を行う。

【００１４】また、各情報検索装置４は特定の画像分野
について画像による情報検索サービス（その画像には何
が写っているのかを回答するための検索サービス）を提
供するための機能を備えて構成され、有線又は無線でネ
ットワーク６に接続され、サーバ２とのデータ通信を行
う。

【００１５】なお、ネットワーク５，６はインターネッ
ト等のネットワークであってもよいし、サーバ２と専用
線等で接続されたネットワークであってもよい。

【００１６】上記のように構成される情報検索システム
１では、端末装置３のユーザが不明の対象物が写ってい
る画像を取得した場合、端末装置３からその画像を含む
検索情報を生成してサーバ２に送信する。サーバ２には
各情報検索装置４が情報検索サービスについて専門性を
示す画像分野が定められた参照情報が予め格納されてお
り、サーバ２は端末装置３から検索情報を入力すると、
その検索情報に基づいて、複数の情報検索装置４のうち
から検索を実行させる情報検索装置を特定する。そして
サーバ２は、特定された情報検索装置に対して検索情報
を送信することで情報検索装置４において画像による情
報検索を実行させ、その画像には何が写っているのか等
を示す回答情報を得る。その回答情報は、サーバ２から
端末装置３に送信され、端末装置３のユーザは不明であ
った画像が何であるのかを容易に把握することが可能に
なる。

【００１７】つまり、情報検索システム１は、端末装置
３から少なくとも画像を含む検索情報を送信するだけ
で、その画像には何が写っているのかを示すことのでき
るシステムである。

【００１８】＜２．端末装置の構成＞図２乃至図４は端
末装置３の一例を示す図であり、図２は端末装置３がパ
ーソナルコンピュータ３ａ，３ｄで構成される例を、図
３は端末装置３がデジタルカメラ３ｂで構成される例
を、図４は端末装置３が専用端末装置３ｃで構成される
例をそれぞれ示している。

【００１９】まず図２に示すように、端末装置３がパー
ソナルコンピュータによって構成される場合について説
明する。この場合、端末装置３は制御部３０、画像入力
部３１、表示部３２及び操作部３３を備えて構成され
る。

【００２０】画像入力部３１は、メモリカードやＣＤ−
ＲＯＭ等の記録媒体から画像データを入力する入力部で
あり、画像入力部３１から入力する画像データは制御部
３０に与えられる。また、表示部３２はＣＲＴや液晶表
示器等によって構成される表示部であり、制御部３０に
よって表示内容が制御される。操作部３３はキーボード
やマウス等を含み、ユーザによって操作入力される情報
が制御部３０に与えられる。

【００２１】制御部３０はＣＰＵが所定のプログラムを
実行することによって実現されるものであり、画像によ
る情報検索を行うために、制御部３０は、画像メモリ３
０１、画像特徴量抽出部３０２、キーワードメモリ３０
３、付属情報生成部３０４、検索情報生成部３０５、表
示制御部３０６及び通信部３０７として機能する。

【００２２】画像メモリ３０１は画像入力部３１から入
力する画像データを一時的に記憶するメモリであり、画
像メモリ３０１は画像特徴量抽出部３０２及び検索情報
生成部３０５に対して画像データを出力する。

【００２３】画像特徴量抽出部３０２は画像の特徴量
（例えば画像に含まれる対象物の外形又は色等）を抽出
する。具体的には、画像メモリ３０１から得られる画像
データに対して輪郭抽出処理を施すことにより対象物の
外形を抽出し、かつ、その外形の内側部分の色分布を求
め、それらを画像の特徴量とする。そして画像特徴量抽
出部３０２において抽出される画像の特徴量は付属情報
生成部３０４に与えられる。

【００２４】キーワードメモリ３０３は多数の用語が格
納されたメモリであり、キーワードメモリ３０３に格納
された用語が制御部３０によって表示部３２に一覧表示
される。ユーザは表示部３２に一覧表示される多数の用
語の中から、画像に含まれる対象物について推定される
用語を選択する。このユーザによる選択操作は操作部３
３に対して行われる。その結果、ユーザによって選択さ
れた用語は画像に対するキーワードとして付属情報生成
部３０４に与えられる。

【００２５】なお、キーワードメモリ３０３からキーワ
ードを選択するだけでなく、ユーザが操作部３３に対し
て任意のキーワードを入力することによって、付属情報
生成部３０４に対してキーワードを設定するようにして
もよい。

【００２６】付属情報生成部３０４は、画像特徴量抽出
部３０２から得られる画像の特徴量、及び、ユーザの選
択操作等によって設定されるキーワードを入力すると、
それらの情報を統合化した付属情報を生成する。そして
付属情報生成部３０４は付属情報を検索情報生成部３０
５に与える。

【００２７】検索情報生成部３０５はサーバ２に送信す
るための検索情報を生成するものであり、画像メモリ３
０１から得られる画像及びその画像に関する付属情報を
互いに対応付けて検索情報を生成する。検索情報は、情
報検索装置４において検索が実行される際の検索条件を
示す情報であり、情報検索装置４においては画像だけで
なく、画像の特徴量やキーワードに基づいて検索を行う
ことが可能になり、その画像に写っている対象物が何で
あるのかを比較的容易に判定することが可能になる。

【００２８】検索情報はまず表示制御部３０６に与えら
れ、表示制御部３０６の機能によって表示部３２に検索
情報の内容が表示される。このとき表示部３２には、検
索情報として送信される画像、その画像に含まれる対象
物の外形及び色、並びにユーザによって設定されたキー
ワードが表示され、ユーザはどのような検索情報がサー
バに送信されるかを確認することが可能になる。

【００２９】そしてユーザが操作部３３に対して所定の
送信操作を行った場合には、検索情報生成部３０５は検
索情報を通信部３０７に対して出力する。

【００３０】通信部３０７はネットワーク５を介してサ
ーバ２とデータ通信を行う機能を備えており、検索情報
生成部３０５から得られる検索情報をサーバ２に対して
送信する。その後、通信部３０７はサーバ２からデータ
を受信した場合にはそのデータを表示制御部３０６に与
えることにより、受信データに基づく情報を表示部３２
に表示させる。例えば、サーバ２から検索情報の受信確
認通知を受信した場合には表示部３２に受信確認画面が
表示され、また、サーバ２から検索情報に対する回答情
報を受信した場合には表示部３２に回答情報表示画面が
表示される。

【００３１】次に図３に示すように、端末装置３がデジ
タルカメラによって構成される場合について説明する。
この場合、端末装置３は撮影部４０、画像処理部４１、
画像メモリ４２、撮影制御部４３、位置検出部４４、制
御部４５、表示部４６、操作部４７及び通信部４８を備
えて構成される。

【００３２】撮影部４０は被写体（対象物）を撮影する
ことによってサーバ２に送信するための画像を入力する
画像入力手段として機能するものであり、撮影倍率を変
更可能な撮影レンズ４０１と、画像信号を生成するＣＣ
Ｄ撮像素子４０２とを備えて構成される。ＣＣＤ撮像素
子４０２で得られる画像信号は画像処理部４１に出力さ
れ、画像処理部４１において所定の画像処理が施された
後、撮影画像が画像メモリ４２に格納される。

【００３３】撮影制御部４３は撮影部４０を制御するも
のであり、ユーザが操作部４７を操作した場合、その操
作内容に応じて、撮影レンズ４０１を駆動して焦点距離
を変更したり、ＣＣＤ撮像素子４０２における撮影動作
を制御する。撮影制御部４３には撮影倍率検出部４３１
が設けられており、撮影部４０において撮影動作が行わ
れる時点での撮影倍率βを検知し、それを制御部４５に
与えるように構成される。なお、撮影倍率βは撮影レン
ズ４０１の焦点距離と合焦レンズ位置とから求めること
ができる。

【００３４】位置検出部４４は例えばＧＰＳ（Global P
ositioning System）等によって構成され、例えば、撮
影部４０において撮影動作が行われる際に端末装置３の
現在位置を検出し、位置情報を生成する。したがって、
位置検出部４４において生成される位置情報によれば、
撮影によって得られる画像がどの場所で撮影されたのか
を特定することができる。そして撮影時に生成される位
置情報は制御部４５に与えられる。

【００３５】表示部４６はデジタルカメラの背面側等に
設けられる小型液晶表示器等によって構成され、その表
示内容は制御部４５によって制御される。操作部４７は
撮影操作を行うためのシャッタボタンや撮影レンズ４０
１の焦点距離を変更するための拡大／縮小ボタンを含む
操作部であり、ユーザによって操作入力される情報は制
御部４５に与えられる。

【００３６】制御部４５はＣＰＵが所定のプログラムを
実行することによって実現されるものであり、画像によ
る情報検索を行うために、制御部４５は、付属情報生成
部４５１及び検索情報生成部４５２として機能する。

【００３７】付属情報生成部４５１は、撮影倍率βと位
置情報とを入力すると、それらの情報を統合化した付属
情報を生成する。そして付属情報生成部４５１は付属情
報を検索情報生成部４５２に与える。

【００３８】検索情報生成部４５２はサーバ２に送信す
るための検索情報を生成するものであり、画像メモリ４
２から得られる撮影画像と、付属情報生成部４５１から
得られる撮影画像に関する付属情報とを互いに対応付け
て検索情報を生成する。検索情報を生成することによっ
て、情報検索装置４においては画像だけでなく、画像の
撮影倍率βや撮影場所に基づいて検索を行うことがで
き、その画像に写っている対象物が何であるのかを比較
的容易に判定することが可能になる。この検索情報は通
信部４８に与えられ、通信部４８の機能によってサーバ
２に送信される。またその際、表示部４６に対して検索
情報の確認画面を表示するようにしてもよい。

【００３９】通信部４８はネットワーク５を介してサー
バ２とデータ通信を行う機能を備えており、検索情報生
成部４５２から得られる検索情報をサーバ２に対して送
信する。その後、通信部４８はサーバ２からデータを受
信した場合にはそのデータを制御部４５に与えることに
より、受信データに基づく情報を表示部４６に表示させ
る。例えば、サーバ２から検索情報の受信確認通知を受
信した場合には表示部４６に受信確認画面が表示され、
また、サーバ２から検索情報に対する回答情報を受信し
た場合には表示部４６に回答情報表示画面が表示され
る。

【００４０】次に図４に示すように、端末装置３が専用
端末装置によって構成される場合について説明する。こ
の場合、端末装置３は撮影部５０、画像処理部５１、画
像メモリ５２、撮影制御部５３、位置検出部５４、制御
部５５、表示部５６、操作部５７、通信部５８及びキー
ワードメモリ５９を備えて構成される。つまり、専用端
末装置の場合は、デジタルカメラで端末装置３が構成さ
れる場合と比較すると、キーワードメモリ５９がさらに
設けられ、制御部５５の機能が異なる構成となってい
る。

【００４１】撮影部５０は、デジタルカメラの場合と同
様に、画像入力手段として機能するものであり、撮影倍
率を変更可能な撮影レンズ５０１と、画像信号を生成す
るＣＣＤ撮像素子５０２とを備えて構成される。ＣＣＤ
撮像素子５０２で得られる画像信号は画像処理部５１に
出力され、画像処理部５１において所定の画像処理が施
された後、撮影画像が画像メモリ５２に格納される。

【００４２】撮影制御部５３は撮影部５０を制御するも
のであり、ユーザが操作部５７を操作した場合、その操
作内容に応じて、撮影レンズ５０１を駆動して焦点距離
を変更したり、ＣＣＤ撮像素子５０２における撮影動作
を制御する。撮影制御部５３には撮影倍率検出部５３１
が設けられており、撮影部５０において撮影動作が行わ
れる時点での撮影倍率βを検知し、それを制御部５５内
の付属情報生成部５５２に与えるように構成される。

【００４３】位置検出部５４は撮影時の現在位置を検出
し、位置情報を生成して制御部５５内の付属情報生成部
５５２に与えるように構成される。

【００４４】表示部５６は小型液晶表示器等によって構
成され、その表示内容は制御部５５によって制御され
る。操作部５７は撮影操作を行うためのシャッタボタン
や撮影レンズ５０１の焦点距離を変更するための拡大／
縮小ボタンを含む操作部であり、ユーザによって操作入
力される情報は制御部５５に与えられる。また、操作部
５７には画像に対してキーワードを操作設定するための
機能も備えられる。

【００４５】キーワードメモリ５９は多数の用語が格納
されたメモリであり、キーワードメモリ５９に格納され
た用語が制御部５５によって表示部５６に一覧表示され
る。ユーザは表示部５６に一覧表示される多数の用語の
中から、画像に含まれる対象物について推定される用語
を選択する。このユーザによる選択操作は操作部３３に
対して行われる。その結果、ユーザによって選択された
用語は画像に対するキーワードとして制御部５５内の付
属情報生成部５５２に与えられる。

【００４６】なお、キーワードメモリ５９からキーワー
ドを選択するだけでなく、ユーザが操作部５７に対して
任意のキーワードを入力することによって、付属情報生
成部５５２に対して任意のキーワードを設定するように
してもよい。

【００４７】制御部５５はＣＰＵが所定のプログラムを
実行することによって実現されるものであり、画像によ
る情報検索を行うために、制御部５５は、画像特徴量抽
出部５５１、付属情報生成部５５２及び検索情報生成部
５５３として機能する。

【００４８】画像特徴量抽出部５５１は撮影によって得
られる画像の特徴量（例えば画像に含まれる対象物の外
形又は色等）を抽出する。具体的には、画像メモリ５２
から得られる画像データに対して輪郭抽出処理を施すこ
とにより対象物の外形を抽出し、かつ、その外形の内側
部分の色分布を求め、それらを画像の特徴量とする。そ
して画像特徴量抽出部５５１において抽出される画像の
特徴量は付属情報生成部５５２に与えられる。

【００４９】付属情報生成部５５２は、撮影倍率検出部
５３１からの撮影倍率β、位置検出部５４からの位置情
報、ユーザによって設定されるキーワード、及び画像特
徴量抽出部５５１からの画像特徴量を入力すると、それ
らの情報を統合化した付属情報を生成する。そして付属
情報生成部５５２は付属情報を検索情報生成部５５３に
与える。

【００５０】検索情報生成部５５３はサーバ２に送信す
るための検索情報を生成するものであり、画像メモリ５
２から得られる撮影画像と、付属情報生成部５５２から
得られる撮影画像に関する付属情報とを互いに対応付け
て検索情報を生成する。検索情報を生成することによっ
て、情報検索装置４においては画像だけでなく、画像の
撮影倍率βや撮影場所等の付属情報に基づいて検索を行
うことが可能になり、その画像に写っている対象物が何
であるのかを比較的容易に判定することができる。この
検索情報は通信部５８に与えられ、通信部５８の機能に
よってサーバ２に送信される。またその際、表示部５６
に対して検索情報の確認画面を表示するようにしてもよ
い。

【００５１】通信部５８はネットワーク５を介してサー
バ２とデータ通信を行う機能を備えており、検索情報生
成部５５３から得られる検索情報をサーバ２に対して送
信する。その後、通信部５８はサーバ２からデータを受
信した場合にはそのデータを制御部５５に与えることに
より、受信データに基づく情報を表示部５６に表示させ
る。例えば、サーバ２から検索情報の受信確認通知を受
信した場合には表示部５６に受信確認画面が表示され、
また、サーバ２から検索情報に対する回答情報を受信し
た場合には表示部５６に回答情報表示画面が表示され
る。

【００５２】上記のように端末装置３がパーソナルコン
ピュータ、デジタルカメラ、専用端末装置で構成される
場合について説明したが、この実施の形態において端末
装置３に必要な機能は、検索対象となる画像をサーバ２
に対して送信する機能であり、上述した各端末装置３の
ように付属情報を生成する機能が存在しない場合には、
画像のみを検索情報に含めてサーバ２に対して送信する
ように構成すればよい。

【００５３】また、上述した検索情報にはサーバ２に対
して画像による情報検索を要求するための検索要求コマ
ンドが含まれる。

【００５４】＜３．情報検索システム用サーバの構成＞
次にサーバ２の構成について説明する。図５はサーバ２
の構成を示すブロック図である。サーバ２は一般的なコ
ンピュータの構成によって実現されるものであり、その
コンピュータ内部のＣＰＵが所定のプログラムを実行す
ることによって、サーバ２は、端末通信部２１、入力情
報処理部２２、画像特徴量抽出部２３、記憶部２４、情
報検索装置選択部２５、回答情報処理部２６及び情報検
索装置通信部２７としての機能を備える。

【００５５】端末通信部２１は、ネットワーク５を介し
て複数の端末装置３と個別にデータ通信可能なように構
成された通信部（第１の通信手段）である。端末通信部
２１は端末装置３から情報を入力すると、その入力情報
を入力情報処理部２２に与える。

【００５６】入力情報処理部２２は端末装置３から入力
する入力情報を受信すると、端末装置３に対して受信確
認通知を送信するとともに、その入力情報の解析を行
う。そして入力情報が検索情報である場合には、その検
索情報に付属情報が含まれているか否かを判断し、付属
情報が含まれている場合にはその付属情報に画像の特徴
量が含まれているか否かを判断する。その結果、付属情
報に画像の特徴量が含まれている場合には、入力情報処
理部２２は検索情報を情報検索装置選択部２５に与え
る。これに対し、付属情報に画像の特徴量が含まれてい
ない場合には、検索情報に含まれる画像を画像特徴量抽
出部２３に与えるとともに、検索情報を情報検索装置選
択部２５に与える。

【００５７】また、入力情報処理部２２は、端末装置３
から検索情報を入力した場合に、記憶部２４に対してユ
ーザエリア２４ａ，２４ｂ，…を設定する。記憶部２４
はメモリや磁気ディスク装置等によって構成され、サー
バ２が端末装置３から検索情報を入力するたびに１個の
ユーザエリアが設定される。つまり、記憶部２４に設定
されるユーザエリア２４ａ，２４ｂは検索ジョブに対応
する記憶領域であり、情報検索装置４から回答情報が得
られた場合に、その回答情報を一定時間記憶しておくた
めの領域である。

【００５８】画像特徴量抽出部２３は、端末装置３にお
いて画像の特徴量の抽出が行われていない場合に、サー
バ２において画像の特徴量抽出を行うためのものであ
り、画像特徴量抽出部２３は検索情報に含まれる画像の
特徴量（例えば画像に含まれる対象物の外形又は色等）
を抽出する。具体的には、入力情報処理部２２から与え
られる画像データに対して輪郭抽出処理を施すことによ
り対象物の外形を抽出し、かつ、その外形の内側部分の
色分布を求め、それらを画像の特徴量とする。そして画
像特徴量抽出部２３において抽出される画像の特徴量は
情報検索装置選択部２５に与えられる。

【００５９】情報検索装置選択部２５は、端末装置３か
ら送信されてくる検索情報を、複数の情報検索装置４か
ら情報検索を実行させるべき情報検索装置を選択する。
情報検索装置選択部２５は、検索情報に含まれる付属情
報と、画像特徴量抽出部２３から得られる画像の特徴量
とに基づいて、参照情報２５１を参照することで情報検
索を実行させるべき情報検索装置４を選択する。

【００６０】例えば、情報検索装置選択部２５は、検索
情報の付属情報に撮影倍率βに関する情報が含まれてい
る場合には、撮影倍率βから画像に含まれる対象物の大
きさを推定し、対象物の大きさに基づいて情報検索を行
うべき情報検索装置４を選択する。

【００６１】より具体的には、情報検索装置４ａが鳥に
関する情報検索を専門的に行うための装置であり、情報
検索装置４ｂが飛行機に関する情報検索を専門的に行う
ための装置である場合、撮影倍率βから対象物の大きさ
を推定すると、対象物の大きさによって情報検索装置４
ａと４ｂとのいずれに情報検索を行わせるのが適当であ
るかを容易に特定することができる。そのため、この実
施の形態では、付属情報から情報検索を実行させるべき
情報検索装置４の絞り込みを行うことができるように構
成されているのである。

【００６２】情報検索装置選択部２５に格納される参照
情報２５１には、各情報検索装置４が情報検索可能な画
像分類（専門性）が規定された情報が複数のルックアッ
プテーブル等として格納される。各ルックアップテーブ
ルは付属情報に含まれる情報に対応して設けられてお
り、例えば、対象物の大きさによって情報検索装置を選
択するためのルックアップテーブル、撮影場所によって
情報検索装置を選択するためのルックアップテーブル、
キーワードによって情報検索装置を選択するためのルッ
クアップテーブル、及び画像の特徴量によって情報検索
装置を選択するためのルックアップテーブルがある。

【００６３】このため、例えば「空」というキーワード
に基づいて参照情報２５１を参照し、情報検索装置４の
選択を行った場合、鳥に関する情報検索を専門的に行う
ための情報検索装置４ａと、飛行機に関する情報検索を
専門的に行うための情報検索装置４ｂとの双方が検索実
行対象となる。これに対してさらに、撮影倍率βに基づ
く対象物の大きさに応じて情報検索装置の選択処理を行
うと、検索実行対象となる情報検索装置の絞り込みを行
うことが可能である。

【００６４】したがって、この実施の形態では、情報検
索装置選択部２５は検索情報に含まれる全ての付属情報
に基づいて情報検索装置４の選択処理を行うことで、複
数の情報検索装置４のうちから検索を実行させるべき情
報検索装置４の数を絞り込むことが可能になる。また、
その際、各情報検索装置４の専門性を考慮した絞り込み
が行われるので、効率的な検索を行うことができるとと
もに、信頼性の高い回答情報を得ることが可能になる。

【００６５】そして情報検索装置選択部２５は、情報検
索装置通信部２７に対して検索情報を出力するととも
に、送信すべき情報検索装置４を指示する。また、情報
検索装置選択部２５は回答情報処理部２６に対して回答
条件の判別処理を開始させる。

【００６６】情報検索装置通信部２７はネットワーク６
を介して各情報検索装置４と個別にデータ通信可能なよ
うに構成された通信部（第２の通信手段）であり、情報
検索装置選択部２５から指定された情報検索装置４に対
して検索情報を送信する。

【００６７】また、情報検索装置通信部２７は各情報検
索装置４から検索情報に対する回答情報を受信すると、
それを回答情報処理部２６に与える。

【００６８】回答情報処理部２６は情報検索装置通信部
２７を介して、検索情報を送信した情報検索装置４から
回答情報を受信した場合に、その回答情報を端末通信部
２１に出力することによって検索情報の送信元である端
末装置３に対して送信する機能を有するとともに、その
回答情報を記憶部２４内の対応するユーザエリア２４
ａ，２４ｂに記録する機能を有する。このため、検索情
報に応答して複数の回答情報が得られる場合には、記憶
部２４のユーザエリア２４ａ，２４ｂ内にそれら複数の
回答情報が蓄積されていくことになる。

【００６９】また回答情報処理部２６には回答条件判別
部２６１が設けられており、検索条件を情報検索装置４
に対して送信した後、所定の回答条件が満たされたか否
かを判断する。回答条件としては、情報検索装置選択部
２５によって選択された情報検索装置４に対して検索情
報を送信した後、所定時間が経過すること、及び、回答
情報を所定件数受信することがあり、いずれも情報検索
装置４において無制限に検索処理が継続されることを防
止するための条件である。そして回答条件判別部２６１
は、検索情報の送信後、所定時間が経過したり、所定件
数の回答情報を受信することによって所定の回答条件を
満たしたと判断した場合には、検索情報を送信した情報
検索装置４に対して回答不要を通知するための制御信号
を送信するように構成される。

【００７０】さらに回答情報処理部２６は記憶部２４に
おけるユーザエリア２４ａ，２４ｂの設定時刻からのユ
ーザエリア設定時間をカウントし、ユーザエリア設定時
間が所定時間を経過した場合に、そのユーザエリアを削
除する機能を有している。この機能により、サーバ２の
記憶部２４内に多くのユーザエリアが設定されることを
防止することができ、記憶部２４を効率的に活用するこ
とが可能になる。

【００７１】なお、サーバ２が端末装置３より回答情報
参照コマンドを受信した場合には、入力情報処理部２２
がユーザエリアを特定し、そのユーザエリアに蓄積され
た回答情報を取得して端末通信部２１に出力することに
より、ユーザエリアに蓄積された回答情報の全てを端末
装置３に対して一括送信することができるようにも構成
される。この機能により、端末装置３ではユーザエリア
に蓄積された回答情報の閲覧を行うことが可能になる。

【００７２】このように、この実施の形態のサーバ２で
は、端末装置３から画像を含む検索情報を受信した場合
に、情報検索装置４の全てに対して情報検索の実行を依
頼するのではなく、付属情報に基づいて情報検索装置４
の選択を行った後、選択された情報検索装置４に対して
情報検索の実行を依頼するように構成されている。

【００７３】このため、信頼性の高い回答情報を得るこ
とができるとともに、効率的な検索を行うことが可能に
なる。

【００７４】＜４．情報検索装置の構成＞次に、情報検
索装置４の構成例について説明する。図６乃至図８はそ
れぞれ情報検索装置４の一構成例を示すブロック図であ
り、情報検索装置４として図６乃至図８の構成のいずれ
が採用されていてもよく、またこれら以外の構成の情報
検索装置４が採用されていてもよい。

【００７５】まず図６に示す情報検索装置４は、通信部
６１と検索制御部６２とデータベース６３とを備えて構
成される。通信部６１はサーバ２から検索情報を受信す
ると、それを検索制御部６２に与える。そして検索制御
部６２は、検索情報に基づいてデータベース６３を自動
検索し、回答情報の生成を行う。データベース６３には
複数の画像が蓄積されており、検索制御部６２は、検索
情報に含まれる画像とデータベース６３に蓄積された画
像との画像マッチング等を行うことによって、検索情報
に含まれる画像に写っている対象物を特定する。また、
このとき検索情報に含まれる付属情報を検索のための補
助情報として使用してもよい。付属情報を検索のための
補助情報として使用することにより、より信頼性の高い
回答情報を生成することができる。そして検索制御部６
２において生成される回答情報は通信部６１を介してサ
ーバ２に送信される。

【００７６】次に図７に示す情報検索装置４は、通信部
７１と制御部７２と表示部７３と操作部７４とデータベ
ース７５とを備えた一般的なコンピュータの構成によっ
て実現される。通信部７１はサーバ２から検索情報を受
信すると、それを制御部７２に与える。そして制御部７
２は表示部７３に対して検索情報に基づく表示を行う。
また制御部７２はデータベース７５に格納される複数の
画像を操作部７４から入力するユーザの指示に基づいて
表示することもできる。そして情報検索装置４のユーザ
がデータベース７５に格納された画像と、検索情報とを
参照しながら、操作部７４より回答情報を生成するため
の操作を行うことで制御部７２において回答情報が生成
される。このとき検索情報に含まれる付属情報を検索の
ための補助情報とすることにより、より信頼性の高い回
答情報を生成することができる。そして制御部７２にお
いて生成される回答情報は通信部７１を介してサーバ２
に送信される。

【００７７】次に図８に示す情報検索装置４は、通信部
８１と制御部８２と表示部８３と操作部８４とを備えた
一般的なコンピュータの構成によって実現される。通信
部８１はサーバ２から検索情報を受信すると、それを制
御部８２に与える。そして制御部８２は表示部８３に対
して検索情報に基づく表示を行う。そして検索情報に含
まれる画像や付属情報等を参照しながら、操作部８４よ
り回答情報を生成するための入力操作を行うことで制御
部８２において回答情報が生成される。つまり、図８に
示す構成では、専門的知識を有するのは情報検索装置４
のユーザであり、そのユーザの知識に基づいた回答情報
が情報検索装置４において生成されるのである。そして
制御部８２において生成される回答情報は通信部８１を
介してサーバ２に送信される。

【００７８】このように情報検索装置４は検索情報を入
力すると、それに含まれる画像が何を写したものである
かを示す回答情報を生成し、サーバ２に対してその回答
情報を送信するように構成される。

【００７９】なお、情報検索装置４はサーバ２から検索
情報を入力すると、それに応答して検索を開始し、サー
バ２から回答不要を通知する制御信号を受信するまで検
索処理を継続するように構成される。このため、情報検
索装置４は検索情報に含まれる画像に基づいて、最も信
頼性の高い回答情報を１つ生成する場合に限られず、一
定値以上の信頼性を示す回答情報を複数生成するように
構成してもよい。

【００８０】＜５．検索シーケンス＞次に、上記のよう
に構成された情報検索システム１において、画像よる情
報検索を行う場合の検索シーケンスについて説明する。

【００８１】図９乃至図１１は端末装置３が検索情報の
送信を行うための処理シーケンスを示すフローチャート
であり、特に図９は端末装置３がコンピュータで構成さ
れる場合（図２参照）を、図１０は端末装置３がデジタ
ルカメラで構成される場合（図３参照）を、図１１は端
末装置３が専用端末装置で構成される場合（図４参照）
をそれぞれ示している。

【００８２】まず、端末装置３が図２に示すようなコン
ピュータで構成される場合について説明する。図９に示
すように、まず端末装置３は検索対象となる画像を入力
する（ステップＳ１１０）。そして画像の特徴量の抽出
を行い（ステップＳ１１１）、かつキーワードの設定処
理（ステップＳ１１２）を行う。その後、端末装置３に
おいて付属情報が生成され（ステップＳ１１３）、画像
に付属情報を付加して検索情報を生成する（ステップＳ
１１４）。そして端末装置３に対してユーザが検索情報
を送信させるための送信操作を行うと（ステップＳ１１
５）、端末装置３は画像を含む検索情報をサーバ２に対
して送信する（ステップＳ１１６）。そしてサーバ２で
の受信確認が行われると（ステップＳ１１７）、検索情
報の送信処理を終了する。

【００８３】次に、端末装置３が図３に示すようなデジ
タルカメラで構成される場合について説明する。図１０
に示すように、まず端末装置３のユーザは不明な対象物
を撮影するための操作を行う。そして端末装置３はユー
ザの撮影操作に応答して画像撮影を行い（ステップＳ１
２０）、撮影時の撮影倍率βの検出を行う（ステップＳ
１２１）。また位置検出部４４から撮影時の位置情報を
取得する（ステップＳ１２２）。その後、端末装置３に
おいて付属情報が生成され（ステップＳ１２３）、画像
に付属情報を付加して検索情報を生成する（ステップＳ
１２４）。そして端末装置３に対してユーザが検索情報
を送信させるための送信操作を行うと（ステップＳ１２
５）、端末装置３は撮影画像を含む検索情報をサーバ２
に対して送信する（ステップＳ１２６）。そしてサーバ
２での受信確認が行われると（ステップＳ１２７）、検
索情報の送信処理を終了する。

【００８４】次に、端末装置３が図４に示すような専用
端末装置で構成される場合について説明する。図１１に
示すように、まず端末装置３のユーザは不明な対象物を
撮影するための操作を行う。そして端末装置３はユーザ
の撮影操作に応答して画像撮影を行い（ステップＳ１３
０）、撮影時の撮影倍率βの検出を行う（ステップＳ１
３１）。そして撮影画像の特徴量の抽出（ステップＳ１
３２）、撮影時の位置情報の取得（ステップＳ１３
３）、及び、キーワードの設定（ステップＳ１３４）が
順次行われ、その後、端末装置３において付属情報が生
成される（ステップＳ１３５）。そして画像に付属情報
を付加して検索情報を生成する（ステップＳ１３６）。
そして端末装置３に対してユーザが検索情報を送信させ
るための送信操作を行うと（ステップＳ１３７）、端末
装置３は撮影画像を含む検索情報をサーバ２に対して送
信する（ステップＳ１３８）。そしてサーバ２での受信
確認が行われると（ステップＳ１３９）、検索情報の送
信処理を終了する。

【００８５】次に、端末装置３がサーバ２から検索情報
に対する回答情報を受信した場合の処理シーケンスにつ
いて説明する。図１２は端末装置３において回答情報を
受信した場合の処理シーケンスを示すフローチャートで
ある。なお、この処理シーケンスは端末装置３がコンピ
ュータ、デジタルカメラ、専用端末装置のいずれであっ
ても適用可能である。

【００８６】端末装置３はサーバ２から回答情報を受信
したか否かを判断し（ステップＳ１５０）、回答情報を
受信した場合には回答情報の表示を行う（ステップＳ１
５１）。これにより、ユーザは不明であった対象物が何
であるのかを認識することができる。そしてユーザは他
の回答情報を表示するか否かを判断し、他の回答情報を
表示させる場合には、所定の操作を行う（ステップＳ１
５２）。端末装置３では他の回答情報を表示させるため
の操作が行われた場合には、サーバ２にアクセスし（ス
テップＳ１５３）、サーバ２の記憶部２４内に設定され
たユーザエリアに蓄積された回答情報の閲覧表示を行う
（ステップＳ１５４）。これにより、検索情報に対する
複数の回答情報が得られた場合に、ユーザは複数の回答
情報を同時に閲覧することが可能になる。そしてユーザ
によって閲覧終了が指示された指示された場合には処理
を終了させ、閲覧終了が指示されない場合は閲覧処理を
繰り返す（ステップＳ１５５）。

【００８７】次に、サーバ２における処理シーケンスに
ついて説明する。図１３乃至図１５はサーバ２における
処理シーケンスを示すフローチャートである。

【００８８】サーバ２は端末装置３から検索情報を受信
すると（ステップＳ２０１）、記憶部２４内にユーザエ
リアを設定する（ステップＳ２０２）。そして回答情報
処理部２６がユーザエリアの設定時間Ｔ１のカウント動
作を開始させ（ステップＳ２０３）、入力情報処理部２
２が検索情報の送信元である端末装置３に対して受信確
認通知を送信する（ステップＳ２０４）。

【００８９】そして入力情報処理部２２が検索情報の内
容を解析し、画像の特徴量が既に抽出されているか否か
を判断する（ステップＳ２０５）。端末装置３側で既に
画像の特徴量が抽出されている場合にはステップＳ２０
７に進むのに対し、未だ画像の特徴量が抽出されていな
い場合にはステップＳ２０６に進んで、画像特徴量抽出
部２３が機能して画像の特徴量を抽出する。

【００９０】そして入力情報処理部２２は検索情報を情
報検索装置選択部２５に与えるとともに、画像特徴量抽
出部２３において画像の特徴量が抽出された場合にはそ
の画像の特徴量を情報検索装置選択部２５に与える。

【００９１】情報検索装置選択部２５では、検索情報に
含まれる付属情報に撮影倍率βに関する情報があるか否
かを判断し（ステップＳ２０７）、撮影倍率βが含まれ
ている場合にはステップＳ２０８に進み、撮影倍率βが
含まれていない場合にはステップＳ２１０に進む。

【００９２】情報検索装置選択部２５は、付属情報に撮
影倍率が含まれている場合、撮影倍率βから被写体の大
きさを推定し（ステップＳ２０８）、推定された被写体
の大きさと画像の特徴量とに基づいて参照情報２５１を
参照し、複数の情報検索装置４のうちから検索情報の送
信対象となる情報検索装置４を選択する（ステップＳ２
０９）。

【００９３】これに対し、情報検索装置選択部２５は、
付属情報に撮影倍率が含まれていない場合、画像の特徴
量のみに基づいて参照情報２５１を参照し、複数の情報
検索装置４のうちから検索情報の送信対象となる情報検
索装置４を選択する（ステップＳ２１０）。

【００９４】そして図１４に示すステップＳ２１１に進
み、情報検索装置選択部２５は付属情報にキーワード設
定が行われているか否かを判断する（ステップＳ２１
１）。そしてキーワード設定が行われている場合には設
定されたキーワードに基づいて参照情報２５１を参照
し、情報検索装置４の絞り込み処理を行う（ステップＳ
２１２）。

【００９５】またこのとき、情報検索装置選択部２５
は、付属情報に撮影時の位置情報が含まれている場合、
その位置情報に基づいて参照情報２５１を参照し、複数
の情報検索装置４のうちから検索情報の送信対象となる
情報検索装置４の更なる絞り込み処理を行う。

【００９６】このような選択処理及び絞り込み処理によ
って、画像による情報検索を効率的かつ高い信頼性で行
うことができる。なお、情報検索装置選択部２５の選択
処理及び絞り込み処理においては、撮影倍率、画像特徴
量、キーワード、位置情報に基づいてそれらの処理を行
うことになるが、これらの情報をどの順番で用いるかは
任意であり、上述した順番に限られるものではない。

【００９７】そして情報検索装置選択部２５は、最終的
に選択された情報検索装置４を指定して検索情報を情報
検索装置通信部２７に出力することにより、選択された
情報検索装置４に対して検索情報の送信を行う（ステッ
プＳ２１３）。そして回答条件判別部２６１が機能し、
検索情報を送信してからの経過時間Ｔ２のカウント動作
を開始する（ステップＳ２１４）。

【００９８】サーバ２が情報検索装置４を選択して検索
情報の送信を行うと、その後、サーバ２は検索情報を送
信した情報検索装置４からの回答情報を待機する状態と
なる。このため、回答情報処理部２６は回答情報を受信
したか否かを判断し（ステップＳ２１５）、回答情報が
得られていない場合にはステップＳ２１６に進み、回答
条件判別部２６１において経過時間Ｔ２が所定時間を経
過したか否かが判断される（ステップＳ２１６）。ここ
で経過時間Ｔ２が所定時間を経過していない場合にはス
テップＳ２１５に戻り、回答情報の受信を待機する。こ
れに対し、経過時間Ｔ２が所定時間を経過した場合には
ステップＳ２２０に進み、回答情報の待機状態を解除す
る。

【００９９】検索情報を送信してから経過時間Ｔ２が所
定時間を経過するまでに、サーバ２が情報検索装置４か
ら回答情報を受信した場合、回答情報処理部２６は記憶
部２４内の対応するユーザエリアに対して回答情報を格
納し（ステップＳ２１７）、検索情報の送信元である端
末装置３に対して回答情報を送信する（ステップＳ２１
８）。この回答情報の送信によって、端末装置３のユー
ザは不明な画像が何を写したものであるかを認識する。

【０１００】そして回答条件判別部２６１が機能し、所
定件数の回答情報が得られたか否かを判断し（ステップ
Ｓ２１９）、所定件数の回答情報が得られていない場合
にはステップＳ２１５に戻り、次の回答情報の受信を待
機する。また、所定件数の回答情報が得られた場合には
ステップＳ２２０に進む。

【０１０１】そして回答条件判別部２６１が所定の回答
条件を満たしたものと判断した場合には、検索情報の送
信を行った各情報検索装置に対して回答不要信号を送信
する（ステップＳ２２０）。これにより、各情報検索装
置において検索処理が継続されることを防止することが
できる。

【０１０２】そして図１５のステップＳ２２１に進み、
ユーザエリアの設定時間Ｔ１が所定時間を経過したか否
かを判断し（ステップＳ２２１）、所定時間を経過した
場合には、ユーザエリアを削除して終了する（ステップ
Ｓ２２２）。なお、ステップＳ２２１でユーザエリアの
設定時間Ｔ１が所定時間を経過しない場合には、ユーザ
エリアは削除されず、その間は端末装置３からユーザエ
リアに蓄積された回答情報の閲覧を行うことが可能なよ
うに実現される。

【０１０３】以上のように、この実施の形態の情報検索
システム１では、例えばデジタルカメラのユーザが外出
先等で不知の物体を撮影した場合に、その画像を含む検
索情報を生成してサーバ２に送信することで、その画像
に写っている物体が何であるかを容易に知ることができ
る。つまり、ユーザが自ら撮影した物体が何であるかを
判断するのではなく、複数の情報検索装置４の専門性を
考慮し、専門性の高い情報検索装置４に対して検索情報
を送信して情報検索を実行するように構成されているた
め、信頼性の高い回答情報を効率的に得ることが可能に
なる。さらに、ユーザが自ら図鑑等を調べる必要もない
ので、ユーザの負担の軽減することが可能である。

【０１０４】特に、サーバ２は、複数の端末装置３のう
ちの少なくとも１つから入力する、画像を含む検索情報
に基づいて、複数の情報検索装置４のうちから検索情報
の送信対象となる情報検索装置４を少なくとも１つ選択
するように構成され、かつ、それによって選択された情
報検索装置４に対して、検索情報を送信し、検索情報を
送信した情報検索装置から回答情報を受信した場合に、
検索情報を発信した端末装置３に対して回答情報を送信
するように構成されるため、信頼性の高い回答情報を効
率的に得るための情報検索システム１が実現される。ま
た、サーバ２の上記機能により、個々の情報検索装置４
は情報検索に専念することができ、情報検索装置４にお
ける処理効率も向上させることができる。

【０１０５】また、サーバ２には、検索情報に含まれる
画像の特徴量を抽出する機能と、画像の特徴量に応じ
て、複数の情報検索装置のそれぞれが対応付けられた参
照情報を記憶する機能とが設けられており、サーバ２に
おいて、画像の特徴量と参照情報とに基づいて検索情報
の送信対象と前記情報検索装置を選択することで、画像
の特徴を考慮した情報検索装置４の選択を行うことがで
きる。このため画像の特徴によって検索の実行対象とな
る情報検索装置の絞り込みを行うことができ、より効率
的な情報検索システム１が実現される。

【０１０６】また、端末装置３が、画像の特徴量を抽出
する機能を備え、画像とその画像の特徴量とを含む検索
情報を生成して、サーバ２に送信するように構成される
場合、サーバ２において画像の特徴量を抽出するための
処理を行う必要がなくなるので、サーバ２の処理負担が
軽減し、効率的に検索処理を行うことが可能になる。

【０１０７】そしてさらに端末装置３が、撮影動作を行
うことによって撮影画像を生成するように構成され、そ
の撮影動作時の撮影倍率を求める機能が設けられている
場合、被写体の大きさを推定することができるので、情
報検索装置の絞り込み処理を行う際に被写体の大きさに
応じた絞り込み処理を行うことが可能になる。

【０１０８】＜６．課金のための構成及び動作シーケン
ス＞次に、上記のような情報検索システム１において、
課金を行うための構成と、その動作シーケンスについて
説明する。

【０１０９】情報検索システム１において課金を行う形
態として、第１に、画像による情報検索を依頼した端末
装置３のユーザに対して課金する形態が考えられる。ま
た第２に、複数の情報検索装置４のそれぞれが別の企業
に設置される場合に、各情報検索装置４からの回答情報
に宣伝広告用の情報を付加することを認め、そのような
回答情報を端末装置３に送信した際に、情報検索装置４
のユーザに対して課金する形態が考えられる。

【０１１０】まず第１の課金形態を実現するための構成
及び動作シーケンスについて説明する。図１６は第１の
課金形態を実現するための情報検索システム１ａの構成
を示すブロック図である。ただし、図１６では、図５に
示した情報検索システム１の構成部材と同様の構成部材
については同一符号を付しており、ここではそれらにつ
いての詳細な説明は省略する。

【０１１１】情報検索システム１ａのサーバ２ａにおい
て、記憶部２４にはユーザエリア２４ａ，２４ｂの他、
登録情報２４１と課金情報２４２と支払情報２４３とが
格納される。

【０１１２】登録情報２４１は、情報検索システム１ａ
を利用可能な端末装置３のユーザを予め登録しておくた
めの情報であり、サーバ２ａのユーザによって予め設定
される。

【０１１３】課金情報２４２は、端末装置３のユーザに
対して画像による情報検索サービスの利用状況に応じて
課金を行うための情報であり、記憶部２４に設定される
ユーザエリアに応じてユーザごとの課金情報２４２が更
新される。

【０１１４】支払情報２４３は、サーバ２ａのユーザが
情報検索装置４のユーザに対して情報検索の報酬を支払
うために生成される情報であり、サーバ２ａが情報検索
装置４から回答情報を受信した場合に更新される。

【０１１５】そしてサーバ２ａが端末装置３から検索情
報を受信した場合には、入力情報処理部２２が記憶部２
４にアクセスして登録情報２４１を取得し、検索要求を
行った端末装置３のユーザが登録情報２４１に登録され
たユーザであるか否かを判断し、登録されたユーザであ
る場合には、上述した情報検索装置４の選択処理を行っ
て、選択された情報検索装置４に対して検索情報を送信
する。ただし、登録されたユーザでない場合には、サー
バ２ａにおいて受信された検索情報は削除される。

【０１１６】また回答情報処理部２６は情報検索装置４
から受信する回答情報を記憶部２４内の対応するユーザ
エリアに格納するとともに、検索情報の送信元である端
末装置３に対して回答情報を送信する。このとき、回答
情報処理部２６は回答情報の送信元である情報検索装置
４のユーザに対する支払情報を生成し、記憶部２４に記
憶される支払情報２４３を更新する。

【０１１７】回答情報処理部２６の回答条件判別部２６
１において複数件の回答情報を受信するように設定され
ている場合、回答情報処理部２６は、最初の回答情報を
受信した際に生成する支払情報の支払額を最も高額に設
定し、それ以降に回答情報を受信した場合には受信の順
番に応じて次第に低額な支払額が支払情報として生成さ
れる。このように回答情報を早期に送信してきた場合に
はその情報検索装置に対する支払額を高額に設定し、回
答情報の送信が他の情報検索装置よりも遅れた場合には
低額の支払額を設定することで、複数の情報検索装置相
互間の競争を促すことができ、その結果、端末装置３の
ユーザは早期に回答情報を得ることが可能になる。

【０１１８】なお、複数件の回答情報を受信するように
設定されている場合において、回答情報処理部２６が最
初に得られた回答情報と異なる回答情報のみを受信可能
なように構成してもよい。このような構成により、同一
の回答情報に対する支払を排除することができるととも
に、最初の回答情報よりも信頼性の高い回答情報に修正
することができるので情報検索の信頼性向上を実現する
ことも可能になる。

【０１１９】回答情報処理部２６の回答条件判別部２６
１において１件の回答情報を受信するように設定されて
いる場合、回答情報処理部２６は、最初に回答情報を受
信した場合にのみ、その情報検索装置４のユーザに対す
る支払情報を生成し、記憶部２４に記憶される支払情報
２４３を更新する。このように回答情報を最初に送信し
てきた場合にのみ、その情報検索装置に対する支払情報
を設定することでも、複数の情報検索装置相互間の競争
を促すことができ、その結果、端末装置３のユーザは早
期に回答情報を得ることが可能になる。

【０１２０】また、回答情報処理部２６はユーザエリア
の設定時間Ｔ１が所定時間を経過した場合にそのユーザ
エリアを記憶部２４から削除する。そして回答情報処理
部２６はユーザエリアの削除を行う際にそのユーザエリ
アを占有していた端末装置３のユーザに対する課金情報
を生成し、記憶部２４に記憶される課金情報２４２を更
新する。

【０１２１】次に、上記のような情報検索システム１ａ
のサーバ２ａにおける処理シーケンスについて説明す
る。図１７乃至図１９はサーバ２ａにおける処理シーケ
ンスを示すフローチャートである。

【０１２２】サーバ２ａは端末装置３から検索情報を受
信すると（ステップＳ３０１）、記憶部２４に記憶され
る登録情報２４１を参照し、端末装置３のユーザがユー
ザ登録されているか否かを確認する（ステップＳ３０
２）。そして端末装置３のユーザがユーザ登録されてい
ない場合には、検索のための処理シーケンスは終了す
る。これに対し、端末装置３のユーザがユーザ登録され
ている場合には、記憶部２４内にユーザエリアを設定す
る（ステップＳ３０３）。そして回答情報処理部２６が
ユーザエリアの設定時間Ｔ１のカウント動作を開始させ
（ステップＳ３０４）、入力情報処理部２２が検索情報
の送信元である端末装置３に対して受信確認通知を送信
する（ステップＳ３０５）。

【０１２３】そして入力情報処理部２２が検索情報の内
容を解析し、画像の特徴量が既に抽出されているか否か
を判断する（ステップＳ３０６）。端末装置３側で既に
画像の特徴量が抽出されている場合にはステップＳ３０
８に進むのに対し、未だ画像の特徴量が抽出されていな
い場合にはステップＳ３０７に進んで、画像特徴量抽出
部２３が機能して画像の特徴量を抽出する。

【０１２４】そして入力情報処理部２２は検索情報を情
報検索装置選択部２５に与えるとともに、画像特徴量抽
出部２３において画像の特徴量が抽出された場合にはそ
の画像の特徴量を情報検索装置選択部２５に与える。

【０１２５】情報検索装置選択部２５では、検索情報に
含まれる付属情報に撮影倍率βに関する情報があるか否
かを判断し（ステップＳ３０８）、撮影倍率βが含まれ
ている場合にはステップＳ３０９に進み、撮影倍率βが
含まれていない場合にはステップＳ３１１に進む。

【０１２６】情報検索装置選択部２５は、付属情報に撮
影倍率が含まれている場合、撮影倍率βから被写体の大
きさを推定し（ステップＳ３０９）、推定された被写体
の大きさと画像の特徴量とに基づいて参照情報２５１を
参照し、複数の情報検索装置４のうちから検索情報の送
信対象となる情報検索装置４を選択する（ステップＳ３
１０）。

【０１２７】これに対し、情報検索装置選択部２５は、
付属情報に撮影倍率が含まれていない場合、画像の特徴
量のみに基づいて参照情報２５１を参照し、複数の情報
検索装置４のうちから検索情報の送信対象となる情報検
索装置４を選択する（ステップＳ３１１）。

【０１２８】そして図１８に示すステップＳ３１２に進
み、情報検索装置選択部２５は付属情報にキーワード設
定が行われているか否かを判断する（ステップＳ３１
２）。そしてキーワード設定が行われている場合には設
定されたキーワードに基づいて参照情報２５１を参照
し、情報検索装置４の絞り込み処理を行う（ステップＳ
３１３）。

【０１２９】またこのとき、情報検索装置選択部２５
は、付属情報に撮影時の位置情報が含まれている場合、
その位置情報に基づいて参照情報２５１を参照し、複数
の情報検索装置４のうちから検索情報の送信対象となる
情報検索装置４の更なる絞り込み処理を行う。

【０１３０】このような選択処理及び絞り込み処理によ
って、画像による情報検索を効率的かつ高い信頼性で行
うことができる。

【０１３１】そして情報検索装置選択部２５は、最終的
に選択された情報検索装置４を指定して検索情報を情報
検索装置通信部２７に出力することにより、選択された
情報検索装置４に対して検索情報の送信を行う（ステッ
プＳ３１４）。そして回答条件判別部２６１が機能し、
検索情報を送信してからの経過時間Ｔ２のカウント動作
を開始する（ステップＳ３１５）。

【０１３２】サーバ２ａが情報検索装置４を選択して検
索情報の送信を行うと、その後、サーバ２ａは検索情報
を送信した情報検索装置４からの回答情報を待機する状
態となる。このため、回答情報処理部２６は回答情報を
受信したか否かを判断し（ステップＳ３１６）、回答情
報が得られていない場合にはステップＳ３１７に進み、
回答条件判別部２６１において経過時間Ｔ２が所定時間
を経過したか否かが判断される（ステップＳ３１７）。
ここで経過時間Ｔ２が所定時間を経過していない場合に
はステップＳ３１６に戻り、回答情報の受信を待機す
る。これに対し、経過時間Ｔ２が所定時間を経過した場
合にはステップＳ３２２に進み、回答情報の待機状態を
解除する。

【０１３３】検索情報を送信してから経過時間Ｔ２が所
定時間を経過するまでに、サーバ２ａが情報検索装置４
から回答情報を受信した場合、回答情報処理部２６は記
憶部２４内の対応するユーザエリアに対して回答情報を
格納し（ステップＳ３１８）、回答情報の送信元である
情報検索装置４に対する支払情報を生成し、記憶部２４
に格納される支払情報２４３を更新する（ステップＳ３
１９）。そして検索情報の送信元である端末装置３に対
して回答情報を送信する（ステップＳ３２０）。

【０１３４】そして回答条件判別部２６１が機能し、所
定件数の回答情報が得られたか否かを判断し（ステップ
Ｓ３２１）、所定件数の回答情報が得られていない場合
にはステップＳ３１６に戻り、次の回答情報の受信を待
機する。また、所定件数の回答情報が得られた場合には
ステップＳ３２２に進む。

【０１３５】そして回答条件判別部２６１が所定の回答
条件を満たしたものと判断した場合には、検索情報の送
信を行った各情報検索装置に対して回答不要信号を送信
し（ステップＳ３２２）、各情報検索装置において検索
処理が継続されることを防止する。

【０１３６】そして図１９のステップＳ３２３に進み、
ユーザエリアの設定時間Ｔ１が所定時間を経過したか否
かを判断し（ステップＳ３２３）、所定時間を経過した
場合には、ユーザエリアを削除する（ステップＳ３２
４）。そして端末装置３のユーザに対する課金情報を生
成して、記憶部２４に格納される課金情報２４２を更新
する（ステップＳ３２５）。

【０１３７】以上のように、情報検索システム１ａで
は、サーバ２ａが、画像による情報検索を依頼する端末
装置３のユーザに対して課金するとともに、実際に情報
検索を実行する情報検索装置４のユーザに対して情報検
索に対する報酬の支払を行うための課金システムが実現
される。

【０１３８】次に、第２の課金形態を実現するための構
成及び動作シーケンスについて説明する。図２０は第２
の課金形態を実現するための情報検索システム１ｂの構
成を示すブロック図である。ただし、図２０では、図５
に示した情報検索システム１の構成部材と同様の構成部
材については同一符号を付しており、ここではそれらに
ついての詳細な説明は省略する。

【０１３９】情報検索システム１ｂのサーバ２ｂにおい
て、記憶部２４にはユーザエリア２４ａ，２４ｂの他、
課金情報２４４が格納される。

【０１４０】課金情報２４４は、情報検索装置４のユー
ザに対して課金を行うための情報であり、広告付き回答
情報を端末装置３に対して送信する度に更新される。

【０１４１】すなわち、サーバ２ｂが端末装置３から検
索情報を受信し、情報検索装置４を選択して検索情報を
送信した場合、検索依頼を受けた情報検索装置４では回
答情報を生成する際に自社製品等の広告情報を回答情報
に付加する。そしてサーバ２ｂは広告付き回答情報を端
末装置３に対して送信する際に、広告宣伝料として情報
検索装置４のユーザに対応する課金情報を生成するので
ある。

【０１４２】例えば端末装置３のユーザが外出した際に
他人が所持しているバッグに興味をもち、そのバッグを
購入したいと思うことがある。その場合、端末装置３を
使ってそのバッグを撮影し、撮影画像を含む検索情報を
サーバ２ｂに送信する。そしてサーバ２ｂでは上述した
ように情報検索装置４を選択して検索情報を送信する。
情報検索装置４では検索情報に含まれるバッグの画像が
自社のバッグを写したものであると判断する場合、その
バッグに関する詳細な情報を回答情報として生成すると
ともに、そのバッグの販売価格や販売店等に関する広告
情報を回答情報に付加する。そしてサーバ２ｂにおいて
はそのような広告情報の付加された回答情報を端末装置
３に対して送信する際に、課金情報を生成して記憶部２
４に格納される課金情報２４４を更新するのである。

【０１４３】このような情報検索システム１ｂのサーバ
２ｂにおける処理シーケンスは図１３乃至図１５に示し
たフローチャートとほぼ同様であるが、図１４のフロー
チャートにおいてサーバ２ｂが端末装置３に対して広告
付きの回答情報を送信する際（ステップＳ２１８）、情
報検索装置４に対する課金情報を生成して記憶部２４に
含まれる課金情報２４４を更新する処理が行われる。

【０１４４】以上のように、情報検索システム１ｂで
は、画像による情報検索を依頼する端末装置３のユーザ
に対しては課金せず、広告情報を付加した回答情報を生
成する情報検索装置４のユーザに対して課金を行うため
の課金システムが実現される。

【０１４５】＜７．変形例＞以上、この発明の実施の形
態について説明したが、この発明は上記説明した内容の
ものに限定されるものではない。

【０１４６】例えば、上記説明においては、画像に含ま
れる対象物の外形や色を画像の特徴量として抽出する場
合を例示したが、これに限定されるものではなく、例え
ば画像の周波数成分等を特徴量として抽出し、サーバ
２，２ａ，２ｂにおいて、画像の周波数成分に基づいて
情報検索装置４の絞り込み処理を行うようにしてもよ
い。

【０１４７】また、上記説明においては、サーバ２，２
ａ，２ｂと複数の情報検索装置４とが別構成である場合
を例示したが、これらの構成が１台のコンピュータにお
いて実現されてもよい。その場合、各情報検索装置４
は、自動的に情報検索を行うデータベース等によって構
成される。

【０１４８】また、上記においては、端末装置３がデジ
タルカメラで構成される場合（図３参照）、デジタルカ
メラ３ｂがサーバ２，２ａ，２ｂと直接データ通信を行
うことができるように通信部４８を備える構成例につい
て説明した。しかし、デジタルカメラ３ｂと通信機能を
備えた装置とが別体として構成されてもよい。

【０１４９】図２１はデジタルカメラ３ｂと、サーバ
２，２ａ，２ｂと通信を行う通信機能とが別体として構
成される場合の一構成例を示す図である。図２１に示す
ように、端末装置３ｂは出力部４９に対して通信装置９
０を接続することが可能なように構成され、端末装置３
ｂにおいて検索情報が生成されると、その検索情報が出
力部４９に与えられ、出力部４９は検索情報を、携帯電
話器等で構成される通信装置９０に出力する。通信装置
９０においては、接続部９１が検索情報を受信すると、
それを通信部９３に与える。そして通信部９３がアンテ
ナ９４を介してサーバ２，２ａ，２ｂに検索情報の送信
を行う。

【０１５０】このような構成にすることで、端末装置３
ｂに対して、サーバ２，２ａ，２ｂと直接データ通信を
行うための通信手段を設ける必要がなくなる。なお、図
２１に示すように、近年の携帯電話器等ではＧＰＳ等の
位置検出部９２を備えたものも実現されつつあるため、
通信装置９０に位置検出部９２を設け、通信装置９０が
位置情報を端末装置３ｂに与えることで、端末装置３ｂ
において位置情報を付属情報に含めるように構成しても
よい。

【０１５１】上記のような図２１に示す構成は、端末装
置３がデジタルカメラで構成される場合に限られるもの
ではなく、他の構成であってもサーバとの通信機能を別
装置に設ける場合に適用することが可能である。また、
通信装置９０としては、携帯電話器に限定されるもので
もなく、通信機能を備えたカード状の通信装置をデジタ
ルカメラのメモリカードスロット等に装着することで同
様の機能を実現するものであっても構わない。

【０１５２】なお、上述した内容には、以下の発明概念
が含まれる。

【０１５３】（１） 請求項２に記載の情報検索システ
ム用サーバにおいて、前記所定条件は、前記選択手段に
よって選択された前記情報検索装置に対して前記検索情
報を送信した後、所定時間が経過することである、情報
検索システム用サーバ。

【０１５４】これにより、所定時間を経過後も情報検索
装置において情報検索処理が永続的に行われることを防
止することができる。

【０１５５】（２） 請求項２に記載の情報検索システ
ム用サーバにおいて、前記所定条件は、前記選択手段に
よって選択された前記情報検索装置に対して前記検索情
報を送信した後、前記回答情報を所定件数受信すること
である、情報検索システム用サーバ。

【０１５６】これにより、必要件数の回答情報が得られ
た場合にも情報検索装置において情報検索処理が永続的
に行われることを防止することができる。

【０１５７】（３） 請求項４又は５に記載の端末装置
において、前記画像に関するキーワードを設定するキー
ワード設定手段、をさらに備え、前記出力手段は、前記
キーワードをさらに含めた前記検索情報を出力すること
を特徴とする端末装置。

【０１５８】これにより、キーワードを含めた情報検索
が可能になり、信頼性の高い回答情報を得ることが可能
になる。

【０１５９】

【発明の効果】以上説明したように、請求項１に記載の
発明によれば、画像を含む検索情報に基づいて、複数の
情報検索装置のうちから検索情報の送信対象となる情報
検索装置を少なくとも１つ選択し、その選択された情報
検索装置に対して検索情報を送信し、検索情報を送信し
た情報検索装置から回答情報を受信した場合に、検索情
報を発信した端末装置に対して回答情報を送信するよう
に構成されるため、端末装置のユーザに負担をかけるこ
となく、画像に基づく情報検索サービスを提供すること
ができる。そして信頼性の高い回答情報を得ることが可
能であるとともに、効率的な検索を行うことも可能であ
る。

【０１６０】請求項２に記載の発明によれば、情報検索
装置に対して検索情報を送信した後、所定条件を満たし
た場合に、検索情報を送信した情報検索装置に対して回
答不要を通知するため、情報検索装置において情報検索
処理が永続的に行われることを防止することができる。

【０１６１】請求項３に記載の発明によれば、検索情報
に含まれる画像の特徴量を抽出し、その画像の特徴量
と、記憶手段に記憶される参照情報とに基づいて検索情
報の送信対象となる情報検索装置を選択するため、画像
の特徴を考慮して各情報検索装置の専門性等に基づいた
選択を行うことができるので、信頼性の高い回答情報を
得ることが可能になるとともに、効率的な検索を行うこ
とが可能である。

【０１６２】請求項４に記載の発明によれば、画像を入
力して画像の特徴量を抽出し、画像と画像の特徴量とを
含む検索情報を生成して、出力するように構成されるた
め、効率的に検索処理を実行させることができるととも
に、画像だけでなく、画像の特徴量にも基づいた検索結
果を得ることができ、信頼性の高い回答情報を得ること
ができる。

【０１６３】請求項５に記載の発明によれば、撮影動作
を行うことによって画像を生成するとともに、撮影動作
時における撮影倍率を求め、その撮影倍率を含めて検索
情報を生成するように構成されるため、撮影倍率から被
写体の大きさを推定することが可能になり、信頼性の高
い回答情報を得ることが可能になる。

【図面の簡単な説明】

【図１】この発明の実施の形態にかかる情報検索システ
ムの構成図である。

【図２】端末装置がコンピュータで構成される場合の構
成図である。

【図３】端末装置がデジタルカメラで構成される場合の
構成図である。

【図４】端末装置が専用端末装置で構成される場合の構
成図である。

【図５】サーバの構成を示すブロック図である。

【図６】情報検索装置の一構成例を示すブロック図であ
る。

【図７】情報検索装置の一構成例を示すブロック図であ
る。

【図８】情報検索装置の一構成例を示すブロック図であ
る。

【図９】端末装置（コンピュータ）が検索情報の送信を
行うための処理シーケンスを示すフローチャートであ
る。

【図１０】端末装置（デジタルカメラ）が検索情報の送
信を行うための処理シーケンスを示すフローチャートで
ある。

【図１１】端末装置（専用端末装置）が検索情報の送信
を行うための処理シーケンスを示すフローチャートであ
る。

【図１２】端末装置において回答情報を受信した場合の
処理シーケンスを示すフローチャートである。

【図１３】サーバにおける検索のための処理シーケンス
を示すフローチャートである。

【図１４】サーバにおける検索のための処理シーケンス
を示すフローチャートである。

【図１５】サーバにおける検索のための処理シーケンス
を示すフローチャートである。

【図１６】第１の課金形態を実現する情報検索システム
の構成を示すブロック図である。

【図１７】サーバにおいて第１の課金形態を実現するた
めの処理シーケンスを示すフローチャートである。

【図１８】サーバにおいて第１の課金形態を実現するた
めの処理シーケンスを示すフローチャートである。

【図１９】サーバにおいて第１の課金形態を実現するた
めの処理シーケンスを示すフローチャートである。

【図２０】第２の課金形態を実現する情報検索システム
の構成を示すブロック図である。

【図２１】端末装置がデジタルカメラで構成される場合
の変形例を示す図である。

【符号の説明】

１，１ａ，１ｂ 情報検索システム ２，２ａ，２ｂ 情報検索システム用サーバ（サーバ） ３（３ａ，３ｂ，…） 端末装置 ４（４ａ，４ｂ，…） 情報検索装置 ５，６ ネットワーク ２１ 端末通信部（第１の通信手段） ２２ 入力情報処理部 ２３，３０２，５５１ 画像特徴量抽出部 ２４ 記憶部 ２５ 情報検索装置選択部（選択手段） ２６ 回答情報処理部（制御手段） ２７ 情報検索装置通信部（第２の通信手段） ３０，４５，５５ 制御部 ３１ 画像入力部 ４０，５０ 撮影部（撮影手段） ４３，５３ 撮影制御部 ４４，５４ 位置検出部 ５９，３０３ キーワードメモリ ２５１ 参照情報 ２６１ 回答条件判別部 ３０４，４５１，５５２ 付属情報生成部 ３０５，４５２，５５３ 検索情報生成部

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5B050 AA09 BA15 CA05 CA07 CA08 EA04 FA19 GA08 5B075 KK02 NK06 PP10 PP28 PP30 PQ02 PQ48 PQ49 PR06 QM08 5L096 BA20 HA09 JA11 KA09

Claims (5)

【特許請求の範囲】
1. 【請求項１】 複数の端末装置と第１の通信手段を介し
   てデータ通信可能なように構成され、かつ、複数の情報
   検索装置と第２の通信手段を介してデータ通信可能なよ
   うに構成された情報検索システム用サーバであって、 前記複数の端末装置のうちの少なくとも１つから前記第
   １の通信手段を介して入力する、画像を含む検索情報に
   基づいて、前記複数の情報検索装置のうちから前記検索
   情報の送信対象となる情報検索装置を少なくとも１つ選
   択する選択手段と、 前記選択手段によって選択された前記情報検索装置に対
   して、前記検索情報を送信し、前記検索情報を送信した
   前記情報検索装置から回答情報を受信した場合に、前記
   検索情報を発信した前記端末装置に対して前記回答情報
   を送信する制御手段と、を備える情報検索システム用サ
   ーバ。
2. 【請求項２】 請求項１に記載の情報検索システム用サ
   ーバにおいて、 前記制御手段は、前記選択手段によって選択された前記
   情報検索装置に対して前記検索情報を送信した後、所定
   条件を満たした場合に、前記検索情報を送信した前記情
   報検索装置に対して回答不要を通知するための制御信号
   を送信することを特徴とする情報検索システム用サー
   バ。
3. 【請求項３】 請求項１又は２に記載の情報検索システ
   ム用サーバにおいて、 前記検索情報に含まれる前記画像の特徴量を抽出する画
   像特徴量抽出手段と、 前記特徴量に応じて、前記複数の情報検索装置のそれぞ
   れが対応付けられた参照情報を記憶する記憶手段と、を
   さらに備え、 前記選択手段は、前記特徴量と前記参照情報とに基づい
   て前記検索情報の送信対象となる前記情報検索装置を選
   択することを特徴とする情報検索システム用サーバ。
4. 【請求項４】 ネットワークを介して情報検索システム
   用サーバとデータ通信可能なように構成される端末装置
   であって、 前記情報検索システム用サーバに対して送信するための
   画像を入力する画像入力手段と、 前記画像の特徴量を抽出する画像特徴量抽出手段と、 前記画像と前記特徴量とを含む検索情報を生成して、前
   記検索情報を出力する出力手段と、を備える端末装置。
5. 【請求項５】 ネットワークを介して情報検索システム
   用サーバとデータ通信可能なように構成される端末装置
   であって、 撮影動作を行うことによって前記情報検索システム用サ
   ーバに対して送信するための画像を生成する撮像手段
   と、 前記撮影動作時における前記撮像手段の撮影倍率を求め
   る撮影倍率算出手段と、 前記画像と前記撮影倍率とを含む検索情報を生成して、
   前記検索情報を出力する出力手段と、を備える端末装
   置。