JP2000242649A - 画像検索装置および画像検索方法ならびにこの方法を記録した記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 利用者が入力した画像情報と類似した画像デ
ータをデータベースから選択して利用者へ提供するに
は、画像情報をシステムへ入力するのに手間取る。 【解決手段】 映像表示手段１１はビデオカメラ１７が
捕える外界の様子を端末に表示し、画像情報選択手段１
２は利用者が選択操作した画像を映像表示手段から読み
出して特徴量抽出手段１３へ送る。特徴量抽出手段は入
力画像情報に対して特徴量を抽出して画像データ選択手
段１４へ送る。画像データ選択手段は特徴量が検索条件
となるように、検索対象とするデータベース１６の種別
に応じて形成した検索コマンドによりデータベースを検
索すると共に、検索結果として受け取った画像データを
画像データ表示手段１５へ送る。画像データ表示手段は
送られた画像データを端末に表示して、検索結果を利用
者へ提示する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、利用者が入力した
画像情報と類似した画像データをデータベースから選択
して利用者へ提供する画像検索方法および装置に関し、
特に、利用者がビデオカメラ等を利用して映した任意の
物体の画像を入力として該画像と類似した画像データを
データベースから選択する画像検索方法および装置に関
する。

【０００２】

【従来の技術】利用者の入力した画像情報から抽出でき
る色や輝度、被写体の形状や大きさといった特徴量に基
づき、類似の特徴量を有する画像データをデータベース
から検索する従来の画像検索方法が、例えば、アドバン
スト・データベースシステムシンポジウム’９７論文集
（（社）情報処理学会発行、１９９７年）掲載の論文
「画像の内容検索技術の動向」に示されている。

【０００３】この方法では、利用者はシステムが提示す
るサンプル画像を選択する、あるいは利用者自身がグラ
フィックエディタのようなツールを使って画像をスケッ
チすることで、利用者がデータベースから選択したい画
像データの内容に関する情報をシステムへ入力する。

【０００４】システムは、利用者が入力したサンプル画
像あるいはスケッチ画像から特徴量を抽出し、該特徴量
とデータベースに格納されている画像データから抽出し
た特徴量とを比較することで、利用者が入力した前記画
像と類似した特徴を有する画像データをデータベースか
ら選択する。

【０００５】上述のように、特徴量は画像の色や輝度、
それに含まれる被写体の形状や大きさを表わすので、こ
の方法によれば、利用者が入力した画像と類似した色や
輝度、あるいは被写体を含む画像データをデータベース
から検索可能になる。

【０００６】

【発明が解決しようとする課題】しかしながら、上述し
た従来の画像検索方法では、利用者が検索条件として入
力できる画像情報はシステムに予め登録されているサン
プル画像あるいは利用者がコンピュータの画面上に描い
たスケッチ画像に限られる。

【０００７】このため、例えば、利用者が手元にある物
体に類似したものが写っている画像データをデータベー
スから検索したいという要求があっても、該物体に関す
る画像情報を的確にシステムへ入力することができず、
所望の画像データをデータベースから取り出せないとい
う問題があった。

【０００８】本発明の目的は、上述した従来の画像検索
方法が抱える問題の解決を図り、利用者が検索対象とし
たい物体をビデオカメラ等で映すことで該物体の画像情
報をシステムへ入力可能とし、外界の任意の物体に関す
る画像情報を的確にシステムへ入力して所望の画像デー
タをデータベースから検索できる画像検索装置および方
法ならびにこの方法を記録した記録媒体を提供すること
にある。

【０００９】

【課題を解決するための手段】上記目的を達成するため
に、本発明の画像検索装置は、利用者が入力した画像情
報から抽出できる特徴量と、データベースに格納された
画像データから抽出できる特徴量とを比較し、利用者が
入力した画像情報と類似した特徴を有する画像データを
データベースから選択して利用者へ提供する画像検索装
置において、映像または画像の情報取得手段から入力さ
れる映像または画像を端末に表示する映像・画像表示手
段と、利用者による画像選択操作を検知し、検知した時
点で前記映像表示手段が端末に表示している画像を前記
映像・画像表示手段から読み出す画像情報選択手段と、
該画像情報選択手段から画像を受け取り、受け取った画
像から特徴量を抽出する特徴量抽出手段と、該特徴量抽
出手段で抽出した特徴量に基づきデータベースを検索
し、該特徴量と類似する特徴量を有する画像データをデ
ータベースから選択する画像データ選択手段と、該画像
データ選択手段がデータベースから選択した画像データ
を表示する画像データ表示手段とを具備することを特徴
とする。

【００１０】一方、上記目的を達成するために、本発明
の画像検索方法は、利用者が入力した画像情報から抽出
できる特徴量と、データベースに格納された画像データ
から抽出できる特徴量とを比較し、利用者が入力した画
像情報と類似した特徴を有する画像データをデータベー
スから選択して利用者へ提供する画像検索方法におい
て、映像または画像の情報取得手段から入力される映像
または画像を端末に表示しておき、前記端末に表示され
る映像または画像に対して、利用者が画像情報として入
力したい物体を選択操作したとき、該操作時点で表示さ
れている前記映像または画像の選択画像を利用者が入力
した画像情報として選択し、前記選択した前記画像情報
から抽出できる特徴量に基づきデータベースを検索し、
前記物体の画像と類似した特徴を有する画像データを該
データベースから選択することを特徴とする。

【００１１】また、上記目的を達成するために、本発明
の画像検索方法を記録した記録媒体は、前記画像検索方
法における処理手順をコンピュータに実行させるための
プログラムを、該コンピュータが読み取り可能な記録媒
体に記録したことを特徴とする。

【００１２】

【作用】映像表示手段は、ビデオカメラ等の映像・画像
取得手段から挙られてくる映像・画像を一時的に保持す
る共に、それを端末に表示する。ビデオカメラ等から新
しい画像が送られてくる度に現在保持している画像を新
しい画像に書き換えることで、端末にビデオカメラ等が
捕えた外界の様子を動画像として表示する。

【００１３】画像情報選択手段は、利用者による端末操
作を監視し、利用者が画像選択操作を要求したことを検
知すると、映像表示手段がその時点で保持している画像
を映像表示手段から読み出し、該画像を特徴量抽出手段
へ送る。

【００１４】特徴量抽出手段は、画像情報選択手段から
送られた画像に対して、予め定義された特徴量抽出処理
を施し、抽出した特徴量を画像データ選択手段へ送る。

【００１５】画像データ選択手段は、特徴量抽出手段か
ら送られた特徴量が検索条件となるように、検索対象と
するデータベースの種別に応じた検索コマンドを形成
し、該検索コマンドによりデータベースを検索すると共
に、検索結果として受け取った画像データを画像データ
表示手段へ送る。

【００１６】画像データ表示手段は、画像データ選択手
段から送られた画像データを端末に表示して、検索結果
を利用者へ提示する。

【００１７】

【発明の実施の形態】以下、本発明の実施形態について
図面を参照して説明する。図１は本発明の画像検索装置
の一実施形態のブロック図である。

【００１８】図１において、１１は映像表示手段、１２
は画像情報選択手段、１３は特徴量抽出手段、１４は画
像データ選択手段、１５は画像データ表示手段、１６は
データベース、１７はビデオカメラ、１８は利用者、１
９は被写体である。

【００１９】本実施形態では、利用者１８の手元にある
例えばリンゴのような被写体１９が写っている画像デー
タを利用者１８がデータベース１６から検索する場合を
例に本発明の画像検索装置及び方法を説明する。

【００２０】映像表示手段１１は、ビデオカメラ１７か
ら入力される映像を利用者端末の画面上に表示する。ビ
デオカメラ１７からは例えばＮＴＳＣ方式のカメラであ
れば１／３０秒毎に新しい画像が送られてくるので、映
像表示手段１１はビデオカメラ１７から新しい画像が送
られてくる度にそれまで保持していた画像を新しく送ら
れてきた画像に書き換え、それを画面上に次々と表示す
ることでビデオカメラ１７が捕える外界の様子を動画像
により利用者１８へ伝える。

【００２１】利用者１８は、ビデオカメラ１７を検索に
利用したい被写体１９に向け、画面上で該被写体１９の
画像を確認する。利用者１８は、被写体１９が好みの見
え方になるようビデオカメラ１７のアングル等を調整
し、調整が完了した時点で画像選択操作を実行する。画
像選択操作は、例えば端末に接続されたキーボードから
のキー入力やマウスのクリックといった操作として定義
しておけばよい。

【００２２】画像情報選択手段１２は、利用者１８によ
る端末操作を監視しており、利用者１８が画像選択操作
を実行したことを検知すると、映像表示手段１１がその
時点で保持している画像を映像表示手段１１から読み出
し、該画像を特徴量抽出手段１３へ送る。

【００２３】画像情報選択手段１２が選択した画像には
利用者１８が注目している被写体１９のほか、その背景
にある様々な物体が同時に写っているのが一般的であ
る。被写体１９の画像だけでなく背景の余分な画像も含
めて特徴量を抽出してしまうと、該被写体１９に類似し
た物体が写っている画像データだけでなく、背景の余分
な画像に関連した不要な画像データもデータベース１６
から検索してしまう恐れがあり望ましくない。

【００２４】そこで、本実施形態のように特定の被写体
１９のみに着目して検索を行う場合、画像情報選択手段
１２において、例えば動的輪郭モデルのような手法を用
いて映像表示手段１１から読み出した画像の中から被写
体１９の写っている領域のみを切り出し、それ以外の領
域はすべて黒く塗りつぶして被写体１９のみが含まれる
画像情報を生成し、該画像情報を特徴量抽出手段１３へ
送る。

【００２５】特徴量抽出手段１３は、画像情報選択手段
１２から送られた画像情報から特徴量を抽出し、抽出し
た該特徴量を画像データ選択手段１４へ送る。

【００２６】本実施形態では、被写体１９の領域のみを
切り出した画像情報が画像情報選択手段１２から送られ
てくるので、特徴量抽出手段１３は例えば被写体１９の
形状を表わす輪郭ベクトル、被写体１９の大きさを表わ
す画素数、被写体１９の色構成を表わす画素値のヒスト
グラムといった情報を被写体１９の特徴量として抽出す
る。

【００２７】特徴量抽出手段１３により抽出する特徴量
は、データベース１６に格納されている画像データから
抽出した特徴量と比較可能な形式でなければならないの
で、特徴量抽出手段１３にはデータベース１６に格納さ
れている画像データから特徴量を抽出する際に使用した
特徴量抽出処理ルーチンを予め定義しておくのが望まし
い。

【００２８】画像データ選択手段１４は、特徴量抽出手
段１３から送られた特徴量がデータベース１６の検索条
件となるように検索コマンドを生成し、生成した該検索
コマーンドをデータベース１６に発行する。

【００２９】本発明の画像検索装置および方法は、画像
データを蓄えるデータベース１６として任意のシステム
を使用可能であり、画像データ選択手段１４には使用す
るデータベース１６の検索インタフェースに合わせて適
切な検索コマンドを生成するルーチンを予め定義してお
く。

【００３０】画像データ選択手段１４は、発行した前記
検索コマンドに対する検索結果の画像データをデータベ
ース１６から受け取る。受け取った該画像データは、検
索条件として指定した被写体１９の特徴量と類似した特
徴量を有する画像データなので、該画像データには被写
体１９と類似した形状や色の物体が写っていると考えら
れる。

【００３１】画像データ選択手段１４は、データベース
１６から受け取った画像データを画像データ表示手段１
５へ送る。画像データ表示手段１５は、画像データ選択
手段１４から送られた画像データを、例えばサムネイル
形式の一覧表として端末の画面上に表示し、被写体１９
と類似した物体が写っている画像データを利用者１８へ
提示する。

【００３２】本実施形態では、利用者１８が注目する被
写体１９と類似した物体が写っている画像データをデー
タベース１６から検索する場合について説明したが、本
発明の画像検索装置および方法は、例えばビデオカメラ
１７で捕えた風景と類似した雰囲気の画像データをデー
タベース１６から検索するというような、画像全体の類
似性に基づく検索にも同様に適用可能である。このよう
な場合、画像情報選択手段１２において被写体１９の切
り出し操作を行う必要はなく、また、特徴量抽出手段１
３では画像全体の色分布や輝度分布といった特徴量のみ
を抽出すれば十分である。

【００３３】利用者１８の利便性を高める上では、利用
者１８が画像全体に着目しているのか、あるいは特定の
被写体１９のみに着目しているのかを端末からインタラ
クティブに選択可能とし、該選択に応じて画像情報選択
手段１２および特徴量抽出手段１３のアルゴリズムを切
り替えられるようにするのが好ましい。

【００３４】尚、本発明の画像検索装置は、すべての機
能を１つのコンピュータ上に実現する構成をとることも
できれば、例えばデータベース１６の機能のみをネット
ワークに接続されたサーバ上に実現し、その他の機能を
携帯型のコンピュータ上に実現して、該サーバと携帯型
コンピュータとを無線通信で接続するといった構成をと
ることも可能である。

【００３５】また、本実施形態では被写体１９の画像取
得手段としてビデオカメラ１７を用いる場合を示した
が、ビデオカメラ１７の代わりに例えばデジタルカメラ
を使用し、デジタルカメラで撮影した画像をシャッター
に同期して映像表示手段１１へ送るようにし、また、利
用者１８の画像選択操作をシャッターの押下げに対応付
けておけば、デジタルカメラで被写体１９を撮影すると
同時にデータベース１６を検索するといった応用も可能
である。

【００３６】更に、本実施形態のように被写体１９の様
子をビデオカメラ１７で撮影した生映像を入力としてデ
ータベース１６を検索するのではなく、例えば被写体１
９の様子をビデオテープに録画しておき、該ビデオテー
プをビデオデッキ等の機器により再生して得られる再生
映像を映像表示手段１１への入力としてデータベース１
６を検索するといった応用も本発明の範囲である。

【００３７】また、図１に示した装置の一部又は全部を
コンピュータを用いて機能させることができる。また、
図１で示した処理の手順をコンピュータプログラムで記
載してそれを実行できるようにし、それをコンピュータ
が読み取り可能な記録媒体、例えば、ＦＤ（フロッピー
ディスク）や、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、Ｄ
ＶＤ、リムーバブルディスクなどに記録して提供し、配
布することが可能である。

【００３８】

【発明の効果】以上述べたように、本発明は、利用者が
検索対象としたい物体をビデオカメラ等により映すこと
で該物体の画像情報をシステムへ入力可能としたので、
外界の任意の物体に関する画像情報を的確にシステムへ
入力して所望の画像データをデータベースから検索でき
るという効果を有する。

【００３９】これにより、利用者は検索対象としたい物
体の画像情報を自分でスケッチして作成することなく、
単に該物体をビデオカメラ等で撮影するだけでシステム
へ入力できるようになるため、利用者の利便性を大幅に
向上できる。また、例えば携帯型コンピュータのような
自由に持ち運べる機器を用いて本発明を実施すれば、利
用者は携帯型コンピュータを持って被写体としたい物体
のところへ自由に移動できるようになり、利用者の利便
性を更に向上させられる。

【図面の簡単な説明】

【図１】本発明の画像検索装置の一実施形態のブロック
図。

【符号の説明】

１１…映像表示手段 １２…画像情報選択手段 １３…特徴量抽出手段 １４…画像データ選択手段 １５…画像データ表示手段 １６…データベース １７…ビデオカメラ １８…利用者 １９…被写体

Claims (3)

【特許請求の範囲】
1. 【請求項１】 利用者が入力した画像情報から抽出でき
   る特徴量と、データベースに格納された画像データから
   抽出できる特徴量とを比較し、利用者が入力した画像情
   報と類似した特徴を有する画像データをデータベースか
   ら選択して利用者へ提供する画像検索装置において、 映像または画像の情報取得手段から入力される映像また
   は画像を端末に表示する映像・画像表示手段と、 利用者による画像選択操作を検知し、検知した時点で前
   記映像表示手段が端末に表示している画像を前記映像・
   画像表示手段から読み出す画像情報選択手段と、 該画像情報選択手段から画像を受け取り、受け取った画
   像から特徴量を抽出する特徴量抽出手段と、 該特徴量抽出手段で抽出した特徴量に基づきデータベー
   スを検索し、該特徴量と類似する特徴量を有する画像デ
   ータをデータベースから選択する画像データ選択手段
   と、 該画像データ選択手段がデータベースから選択した画像
   データを表示する画像データ表示手段と、を具備するこ
   とを特徴とする画像検索装置。
2. 【請求項２】 利用者が入力した画像情報から抽出でき
   る特徴量と、データベースに格納された画像データから
   抽出できる特徴量とを比較し、利用者が入力した画像情
   報と類似した特徴を有する画像データをデータベースか
   ら選択して利用者へ提供する画像検索方法において、 映像または画像の情報取得手段から入力される映像また
   は画像を端末に表示しておき、 前記端末に表示される映像または画像に対して、利用者
   が画像情報として入力したい物体を選択操作したとき、
   該操作時点で表示されている前記映像または画像の選択
   画像を利用者が入力した画像情報として選択し、 前記選択した前記画像情報から抽出できる特徴量に基づ
   きデータベースを検索し、前記物体の画像と類似した特
   徴を有する画像データを該データベースから選択するこ
   とを特徴とする画像検索方法。
3. 【請求項３】 請求項２に記載の画像検索方法における
   処理手順をコンピュータに実行させるためのプログラム
   を、該コンピュータが読み取り可能な記録媒体に記録し
   たことを特徴とする画像検索方法を記録した記録媒体。