JPH10254904A - 画像検索方法および装置 - Google Patents

Abstract

(57)【要約】 【課題】 適切な入力画像を容易に得ることができ、こ
れにより高精度な検索を可能にする画像検索方法および
装置を提供する。 【解決手段】 未知の対象をカメラ部（１）で撮影し、
この撮像画像の輪郭をテンプレートで指定して取り込
み、この取り込んだ検索対象画像に基づき画像データベ
ース（１１）を検索することによりに未知の対象に関す
る情報を取得する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、画像検索方法お
よび装置に関し、特に、未知の対象を撮影することで
その画像から対象に関する情報を自動的に得ることがで
きる画像検索方法および装置に関する。

【０００２】

【従来の技術】従来、所望の画像を画像データベースか
ら検索する場合、入力した画像と画像データベース中の
画像という２つの画像データの一致度により、所望の画
像を得るという方法が知られている。

【０００３】また、対象を撮影して、その画像を検索の
ための入力画像とする方法は従来から行われている。

【０００４】

【発明が解決しようとする課題】しかしながら、入力し
た画像と画像データベース中の画像の構図が違っていた
場合、検索の精度が低下するという問題点があった。

【０００５】そこで、この発明は、適切な入力画像を容
易に得ることができ、これにより高精度な検索を可能に
する画像検索方法および装置を提供することを目的とす
る。

【０００６】

【課題を解決するための手段】上記目的を達成するた
め、請求項１の発明は、検索対象画像に基づき画像デー
タベースを検索して該検索対象画像に関する情報を取得
する画像検索方法において、上記検索対象画像の取り込
みに際して予め設定された該検索対象画像の構図を指示
する構図指示情報を参照することを特徴とする。

【０００７】また、請求項２の発明は、請求項１の発明
において、上記検索対象画像は、撮像手段により撮像さ
れた撮像画像であることを特徴とする。

【０００８】また、請求項３の発明は、請求項２の発明
において、上記構図指示情報は、上記検索対象画像に対
応する所望の形状を示すテンプレートであり、上記テン
プレートを上記撮像手段により撮像された撮像画像に重
ねて表示することにより適切な構図の検索対象画像を取
り込むことを特徴とする。

【０００９】また、請求項４の発明は、請求項３の発明
において、上記テンプレートと上記撮像手段により撮像
された撮像画像とを比較し、その一致度に基づき上記撮
像画像を自動的に取り込むことを特徴とする。

【００１０】また、請求項５の発明は、検索対象画像に
基づき画像データベースを検索して該検索対象画像に関
する情報を得る画像検索方法において、撮像手段により
撮像された撮像画像の取込条件を予め設定し、該取込条
件を満足した時上記撮像手段により撮像された撮像画像
を上記検索対象画像として自動的に取り込むことを特徴
とする。

【００１１】また、請求項６の発明は、請求項５の発明
において、上記取込条件は、上記撮像手段により撮像さ
れた撮像画像と予め設定したテンプレートとの一致度が
所定の値より高くなったであることを特徴とする。

【００１２】また、請求項７の発明は、請求項５の発明
において、上記取込条件は、周囲の音の検出音量が所定
の値を越えたことであることを特徴とする。

【００１３】また、請求項８の発明は、請求項５の発明
において、上記取込条件は、上記撮像手段により撮像さ
れた撮像画像が所定量を越えて変化したことであること
を特徴とする。

【００１４】また、請求項９の発明は、請求項５の発明
において、上記撮像手段は、撮像対象を連続的に撮像し
て複数の撮像画面を入力し、上記複数の撮像画面の内で
上記取込条件を満足する撮像画面を選択的に取り込むこ
とを特徴とする。

【００１５】また、請求項１０の発明は、検索対象画像
に基づき画像データベースを検索して該検索対象画像に
関する情報を取得する画像検索装置において、検索対象
物を撮像する撮像手段と、上記撮像手段により撮像され
る撮像画像の構図を指示する構図指示情報を予め設定す
る構図指示情報設定手段と、上記撮像手段による撮像画
像を上記構図指示情報設定手段により設定された構図指
示情報を参照して上記検索対象画像として取り込む画像
取込手段と、を具備することを特徴とする。

【００１６】また、請求項１１の発明は、請求項１０の
発明において、上記構図指示情報設定手段は、上記検索
対象物の種別に対応して上記構図指示情報をそれぞれ設
定することを特徴とする。

【００１７】また、請求項１２の発明は、請求項１０の
発明において、上記構図指示情報は、上記検索対象物に
対応する形状を指示するテンプレートであることを特徴
とする。

【００１８】また、請求項１３の発明は、請求項１２の
発明において、上記画像取込手段は、上記テンプレート
と上記撮像手段により撮像された撮像画像とを比較し、
その一致度に基づき上記撮像画像を自動的に取り込むこ
とを特徴とする。

【００１９】また、請求項１４の発明は、請求項１２の
発明において、上記画像取込手段は、上記テンプレート
と比較する上記撮像画像の構図を変更する構図変更手
段、を具備することを特徴とする。

【００２０】また、請求項１５の発明は、検索対象画像
に基づき画像データベースを検索して該検索対象画像に
関する情報を取得する画像検索装置において、検索対象
物を撮像する撮像手段と、上記撮像手段により撮像され
た撮像画像の取込条件を設定する取込条件設定手段と、
上記取込条件設定手段により設定された取込条件を満足
した時上記撮像手段により撮像された撮像画像を上記検
索対象画像として自動的に取り込む画像取込手段と、を
具備することを特徴とする。

【００２１】また、請求項１６の発明は、請求項１５の
発明において、上記取込条件設定手段により設定される
取込条件は、上記撮像手段により撮像された撮像画像と
予め設定したテンプレートとの一致度が所定の値より高
くなったことであることを特徴とする。

【００２２】また、請求項１７の発明は、請求項１５の
発明において、周囲の音を検出する音検出手段、を更に
具備し、上記取込条件設定手段により設定される取込条
件は、上記音検出手段により検出された周囲の音の検出
音量が所定の値を越えたことであることを特徴とする。

【００２３】また、請求項１８の発明は、請求項１５の
発明において、上記撮像手段により撮像された撮像画像
の変化量を検出する画像変化検出手段、を更に具備し、
上記取込条件設定手段により設定される取込条件は、上
記画像変化検出手段の検出出力が所定値を越えたことで
あることを特徴とする。

【００２４】また、請求項１９の発明は、請求項１５の
発明において、上記撮像手段は、撮像対象を連続的に撮
像して複数の撮像画面を入力し、上記画像取込手段は、
上記複数の撮像画面の内で上記取込条件を満足する撮像
画面を選択的に取り込む選択的取込手段、を具備するこ
とを特徴とする。

【００２５】

【発明の実施の形態】以下、この発明の実施の形態につ
いて添付図面を参照して詳細に説明する。

【００２６】図１は、この発明に係わる画像検索装置の
一実施の形態を概略ブロック図で示したものである。

【００２７】図１において、カメラ部１は、例えばＣＣ
Ｄを用いた小型カメラ部で、使用者が情報を知りたい対
象を含む画像を撮影する。

【００２８】画像蓄積部２は、画像データを蓄積するメ
モリである。カメラ部１は使用者の指示に応じて撮影を
開始し、使用者が撮影方向及び撮影範囲を調整し、操作
することで対象を含む画像を撮影画像として画像蓄積部
２に取り込む。

【００２９】表示部１４は、例えば、ＬＣＤを用いた表
示装置から構成され、画像蓄積部２に蓄積された画像デ
ータや付加情報を表示することで、使用者に対し各種情
報を提供する。

【００３０】構図指示格納部３０は、適切な構図を示す
一般的あるいは対象種別に応じた情報を格納する。具体
的には、構図指示格納部３０には適切な構図を示す一般
的な情報と種別毎に異なる最も適した構図を示す情報が
格納されており、この構図を示す情報は、文字情報と構
図のおおまかな外形を示すテンプレートとして格納され
ており、それらのいずれかまたは両方が使用者の指示に
応じて選択表示される。

【００３１】移動物体センサ３１は、超音波ドラップ効
果を用いて移動する物体を検出するもので、マイク３２
は、周辺の音を取り込むものである。

【００３２】自動取り込み制御部３３は、移動物体セン
サ３１またはマイク３２の出力に応じてカメラ部１から
画像蓄積部２への画像の自動取り込みを制御する。

【００３３】画像変化検出部３４は、カメラ１が出力す
る画像を常時取り込みかつ監視し、あらかじめ設定され
た一定時間前の画像またはあらかじめ設定された参照画
像と比較し、両画像の差異の量を出力する。

【００３４】テンプレート一致検出部３５は、構図指示
情報格納部３０に格納し使用者の指示により選択した最
適構図を示すテンプレートとカメラ１の出力する画像と
の比較を行い、テンプレート一致度を計算し出力する。

【００３５】構図変更部３は、カメラ部１が取り込んだ
画像蓄積部２内の撮影画像から対象の構図を判断し、対
象の画像を拡大・移動・回転し、画像データベース１１
上の画像データと最も比較しやすい構図となる最適構図
画像に変換する。

【００３６】ペン入力部４は、表示部の表示画面上に装
着したタッチパネル及びペン型のポインティングデバイ
スから構成する。

【００３７】画像抽出部５は、構図変更部３で変換した
最適構図画像とペン入力部４で指定した画像上の座標を
用いて対象の画像の注目する部分を切り出し、背景を取
り除いた対象画像を抽出する。

【００３８】対象画像変換部６は、対象画像データを２
値化することにより対象２値画像を生成する。

【００３９】画像データベース１１は、対象を検索する
ために必要な複数のデータ画像を蓄積している。蓄積す
る画像は自然画像であり、それぞれの画像に関連する付
加情報も同時に蓄積する。

【００４０】データ画像変換部１２は、画像データベー
ス１１に蓄積した画像を対象画像変換部６と同様の手法
でデータ２値画像に変換する。

【００４１】画像比較部１０は、使用者が対象を撮影し
た画像から生成した対象２値画像と画像データベース１
１中の画像を変換したデータ２値画像とを比較し、類似
度を算出する。

【００４２】結果表示制御部１３は、検索結果に対応す
る画像データベース１１上の付加情報を引き出し、表示
部１４に出力する。

【００４３】制御部１００は、この画像検索装置の各部
を接続し、データを転送したり処理の連携をとる。

【００４４】次に、図１に示した画像検索装置の動作を
図２を用いて説明する。

【００４５】図２は、図１に示した画像検索装置の処理
の流れを示す流れ図である。

【００４６】図２において、まず、使用者の操作でカメ
ラ部１が撮影を開始し、画像取り込み処理を行なう（ス
テップ１０１）。この画像取り込み処理で取り込まれた
画像は表示部１４に表示される。これにより、使用者は
知りたいと思う対象が撮影範囲に入っているか否かを容
易に判断することができる。

【００４７】すなわち、上記カメラ部１による撮影の
際、必要に応じて使用者の指示により構図指示格納部３
０に格納された適切な構図を示す一般的な情報を表示す
る。これにより使用者は適切な構図での撮影を容易に行
う事が出来る。また使用者が対象のおおまかな種別を入
力した場合、その対象に最も適した構図を表示する。

【００４８】構図指示格納部３０には、上述したよう
に、適切な構図を示す一般的な情報と種別毎に異なる最
も適した構図を示す情報が格納されており、また、構図
を示す情報は文字情報と構図のおおまかな外形を示すテ
ンプレートが格納されている。そして、それらのいずれ
かまたは両方が使用者の指示に応じて表示部１４に選択
表示される。

【００４９】ここで、おおまかな外形を示すテンプレー
トにより構図指示を表示する場合には、テンプレートは
カメラ部１で撮影され、表示部１４に表示されている画
像の上に重ねて表示され、使用者はこのテンプレートの
形と対象ができるだけ一致するようにカメラ部１で撮影
を行うことにより最適な構図で撮影を容易に行うことが
できる。

【００５０】使用者は対象が撮影範囲または適切な構図
位置にあると判断したとき、ボタンを押すなどの操作手
法により表示部１４に表示していた静止画像を画像蓄積
部２内に取り込むか、あるいは自動取り込み制御部３３
に自動的な取り込みを指示することにより、この表示部
１４に表示していた静止画像を画像蓄積部２内に自動的
に取り込む。このようにして画像蓄積部２内に取り込ま
れた静止画像の一例を図３に示す。

【００５１】次に、画像蓄積部２上の撮影画像から構図
変更部３が構図を判断し、その変更を行う構図変更処理
が行われる（ステップ１０２）。

【００５２】すなわち、カメラ部１で撮像された対象の
画像であるオブジェクトが画面中央にない場合は、その
オブジェクトを画面中央に移動させる構図変更を行な
う。

【００５３】また、カメラ部１で撮像された対象の画像
であるオブジェクトが画面全体の大きさと比較して小さ
い場合は、画面の大きさに収まるようにオブジェクトを
拡大し、オブジェクトの回転位置が適当でないときは、
適当な回転位置になるようオブジェクト画像に対して回
転処理および左右反転ないし上下反転を行う。

【００５４】また、使用者と対象の位置関係から、デー
タベース画像と比較し易い位置からの撮影が困難な場合
は、撮影された画像に対し台形変形などの変形変換を施
し、擬似的に正面からの画像を生成する。このような処
理を画像蓄積部２内の画像に対して行う。この構図変更
部３で生成された最適構図画像の一例を図４に示す。

【００５５】構図変更処理により変更された最適構図画
像は表示部１４に表示される。使用者はこの表示部１４
に表示された最適構図画像を見ながら自分が知りたい対
象の座標をテンキー等を用いて入力し指定する。

【００５６】ここで、ペン入力部４が、ペン型入力デバ
イスである場合は、このペン型入力デバイスは、表示部
１４の表示画面（ＬＣＤ）の上に装着されたタッチパネ
ルを具備して構成され、このペン型入力デバイスによっ
てタッチパネルに圧力を加えることで注目する部分の位
置情報を入力するペン入力処理を行なうことができる
（ステップ１０３）。このとき、ペンが通過した軌跡は
表示部１４の画面上にインポーズされ、使用者に分かり
易く表示される。

【００５７】ここで、対象を囲む線は連続していなくて
もよく、途切れている場合は最も近い端点をつなげた線
を仮想的に設定する。

【００５８】画像抽出部５では、ペン入力部４によって
入力した対象の輪郭情報を利用し、背景となる部分の画
像を排除した対象のみの画像を抽出する画像抽出処理を
実行する（ステップ１０４）。この画像抽出処理は画像
蓄積部２上で行い、得られる画像が対象画像となる。こ
のペン入力部４によって指定された画像の一例を図５に
示し、画像抽出処理で抽出された対象画像の一例を図６
に示す。

【００５９】対象画像変換部６では、画像抽出部５で抽
出された対象画像を明度による基準値を設けて２値画像
に変換する対象画像変換処理を実行する（ステップ１０
５）。この対象画像変換処理により変換された２値画像
を対象２値画像と呼び、この対象２値画像の一例を図７
に示す。

【００６０】ところで、この画像検索装置においてはこ
の対象２値画像を検索のキーとして利用する。すなわ
ち、画像データベース１１は、対象となる植物や動物の
自然画像及びその名前や特徴などの関連情報を蓄積す
る。画像データベース１１に蓄積されたデータ画像の一
例を図８に示す。

【００６１】画像比較部１０に入力される対象の画像は
２値画像である。そこで、画像比較部１０による画像比
較を行うために画像データベース１１上のデータ画像を
２値画像に変更する必要がある。

【００６２】画像データベース１１上のデータ画像の２
値画像への変換はデータ画像変換部１２によるデータ画
像変換処理により行われる（ステップ１０８）。

【００６３】データ画像変換部１２は、対象画像変換部
６が行う対象画像変換処理と同様の画像処理をデータ画
像に対して行い、データ２値画像を得る。データ画像変
換部１２で変換されたデータ２値画像の一例を図９に示
す。

【００６４】データ画像変換部１２で変換されたデータ
２値画像は、順次、画像比較部１０に送られ、対象画像
変換部６で変換された対象２値画像と比較する画像比較
処理が行われる（ステップ１０６）。

【００６５】この画像比較部１０における画像比較処理
は、例えば、２つの２値画像を重ねて、データに一致す
る割合で判定し、ここで、データの一致する割合が多い
時は、２つの画像の類似度が高いと判断するが、比較精
度と処理に要する時間やコストとの兼ね合いから他の方
法を採用することもできる。

【００６６】この画像比較処理は、画像データベース１
１上の検索対象となる画像に対して順次同様に行われ、
その結果に基づき求める画像を決定する。すなわち、最
終的には最も類似度の高い画像を選択する。

【００６７】結果表示制御部１３は、類似度の高かった
データ２値画像の元となる自然画像（データ画像）及び
関連情報を画像データベース１１から引き出し、表示部
１４に表示する結果表示処理を実行する（ステップ１０
７）。

【００６８】このようにして、使用者は未知の対象を撮
影することで、自動的に図鑑を調べるように、対象に対
する情報を容易にまた瞬時に検索することができる。

【００６９】図１０は、図２のステップ１０１の画像取
り込み処理の詳細を示したものである。図２のステップ
１０１の画像取り込み処理においては、 １）使用者の直接操作２０１ ２）画像の変化２０２ ３）移動体の検出２０３ ４）周囲の音２０４ ５）テンプレート内外の画像のＲＧＢ平均値差２０５ ６）テンプレート内外の画像の明度平均値差２０６ ７）テンプレート内外の画像の色相平均値差２０７ ８）テンプレート境界付近の輪郭画素数２０８ のいずれか、またはそれらの組み合わせの条件が成立し
たときに行われる。

【００７０】ここで、使用者の直接操作２０１とは、使
用者の指示により起動され、あらかじめ設定された動作
指示に従って使用者により取り込み操作が行われたとき
であり、画像の変化２０２とは、画像変化検出部３４か
らの信号があらかじめ設定された動き基準値より大きい
ときであり、移動体の検出２０３とは、移動物体センサ
０３１からの信号出力があらかじめ設定された基準値よ
り大きな動きの移動物体検出を示したときであり、周囲
の音２０４とは、マイク３２からの信号があらかじめ設
定された基準音量より大きいときである。

【００７１】また、５）から８）の条件は、テンプレー
ト一致検出部３５からの信号があらかじめ設定された一
致度より大きいときであり、テンプレート一致検出部３
５では、カメラ部１からの画像の画素を構図指示格納部
３０に格納されたテンプレート境界の外部に属する画素
群と内部に属する画素群に分別し、両群の各画素の赤
色、緑色、青色の各色成分の平均値の差（２０５）また
は明度の平均値の差（２０６）または色相の平均値の差
（２０７）を一致度とするか、またはカメラ部１からの
画像に対し輪郭検出を施した輪郭画像の画素のうち上記
テンプレート境界から一定の距離範囲内にある画素の数
（２０８）を一致度とする。

【００７２】条件選択処理２０９では、上記１）から
８）の条件のいずれかまたはそれらの組み合わせの条件
の選択処理が行われ、条件選択処理２０９で選択された
条件が成立すると、自動取り込み制御部３３からカメラ
部１で撮影された画像を画像蓄積部２に取り込むように
指示する制御信号が出力され、これによりカメラ部１で
撮影された画像は画像蓄積部２に取り込まれる。

【００７３】このように、自動的に画像取り込みを行う
ことにより、使用者が直接操作し適切な画像取り込みを
行うことが困難な場合でも適切な取り込みを行うことが
できる。

【００７４】また、上記構成において、使用者の指示に
よって複数の画像をあらかじめ設定した時間間隔または
あらかじめ設定された取り込み条件が満たされる毎に、
あらかじめ設定された枚数分画像蓄積部２に取り込むこ
とができる。その場合、前記の単一の画像取り込みの場
合と同様の条件が連続取り込み開始の条件として設定さ
れ使用される。

【００７５】図１１は、上記複数の画像の選択処理の流
れを示す図である。

【００７６】図１１において、複数の画像の選択処理
は、 １）使用者の直接操作３０１ ２）テンプレート内外の画像のＲＧＢ平均値差３０２ ３）テンプレート内外の画像の明度平均値差３０３ ４）テンプレート内外の画像の色相平均値差３０４ ５）テンプレート境界付近の輪郭画素数３０５ のいずれか、またはそれらの組み合わせの条件が成立し
たときに行われる。

【００７７】ここで、使用者の直接操作３０１とは、使
用者の指示により起動され、あらかじめ設定された動作
指示に従って使用者により取り込み操作が行われたとき
である。

【００７８】また、２）から５）の条件は、テンプレー
ト一致検出部３５からの信号があらかじめ設定された一
致度より大きいときであり、テンプレート一致検出部３
５では、カメラ部１からの画像の画素を構図指示格納部
３０に格納されたテンプレート境界の外部に属する画素
群と内部に属する画素群に分別し、両群の各画素の赤
色、緑色、青色の各色成分の平均値の差（３０２）また
は明度の平均値の差（３０３）または色相の平均値の差
（３０４）を一致度とするか、またはカメラ部１からの
画像に対し輪郭検出を施した輪郭画像の画素のうち上記
テンプレート境界から一定の距離範囲内にある画素の数
（３０５）を一致度とする。

【００７９】条件選択処理３０６では、上記１）から
５）の条件のいずれかまたはそれらの組み合わせを条件
とする選択処理が行われ、条件選択処理２０９で選択さ
れた条件が成立すると、自動取り込み制御部３３からカ
メラ部１で撮影された画像を画像蓄積部２に取り込むよ
うに指示する制御信号が出力され、これによりカメラ部
１で撮影された複数の画像３０７の内の所望の画像が撮
影画像３０９として取り込まれる。

【００８０】この取り込まれた複数画像は画像蓄積部２
に格納され、使用者の操作に応じて表示部１４に順次ま
たは複数枚同時に表示され、その中から一枚または複数
枚を使用者が選択するか、または自動取り込み制御部３
３により選択される。

【００８１】自動取り込み制御部３３は、上記テンプレ
ート一致検出部３５を使用して使用者により指定された
テンプレートと各画像とのテンプレート一致度を求め、
それらの画像のうちテンプレート一致度が最も高い１枚
のデータ画像または高い順に複数枚を自動的に選択す
る。

【００８２】このように、連続画像を取り込むことによ
り使用者が直接適切なタイミングで取り込み操作を行う
ことが困難な場合でも適切なタイミングでの画像取り込
みを行うことができる。

【００８３】なお、テンプレート一致度検出部３５の出
力するテンプレート一致度は、カメラ１からの画像の画
素をテンプレート境界の外部に属する画素群と内部に属
する画素群に分別し、両群の各画素の赤色、緑色、青色
の各色成分の平均値の差または明度の平均値の差または
色相の平均値の差を一致度とするか、またはカメラ１か
らの画像に対し輪郭検出を施した輪郭画像の画素のう
ち、テンプレート境界から一定の距離範囲内にある画素
の数を一致度とするかのいずれかにより算出する方法を
取る事が出来る。

【００８４】図１２は、図１０に示した画像取り込み処
理の詳細をフローチャートで示したものである。

【００８５】図１２において、この画像取り込み処理が
開始されると（ステップ６０１）、まず、条件選択を行
なう（ステップ６０２）。この条件選択は、上述した画
像取り込み処理の条件、すなわち、 １）使用者の直接操作 ２）画像の変化 ３）移動体の検出 ４）周囲の音 ５）テンプレート内外の画像のＲＧＢ平均値差 ６）テンプレート内外の画像の明度平均値差 ７）テンプレート内外の画像の色相平均値差 ８）テンプレート境界付近の輪郭画素数 のいずれか、またはそれらの組み合わせを選択すること
により行われる。

【００８６】次に、開始指示がなされ（ステップ６０
３）、ステップ６０２で選択した条件が成立したか否か
が調べられる（ステップ６０４）。ここで、条件が成立
しないとステップ６０４に戻り、条件が成立するまで待
機し、ステップ６０４で条件が成立すると、画像取り込
みが実行され（ステップ６０５）、この画像取り込みの
完了によりこの処理を終了する（ステップ６０６）。

【００８７】図１３は、図１１に示した画像選択処理の
詳細をフローチャートで示したものである。

【００８８】図１３において、この画像選択処理が開始
されると（ステップ７０１）、まず、選択対象となる複
数画像の取り込みが行われ（ステップ７０２）、次に、
この画像選択が自動選択か否かが調べられる（ステップ
７０３）。

【００８９】ここで、この画像選択が自動選択でないと
判断された場合は、ステップ７０２で取り込まれた複数
画像を表示部１４に一覧表示し（ステップ７０４）、使
用者により所望の画像の選択操作がなされると（ステッ
プ７０５）、この画像選択処理が終了する（ステップ７
０９）。

【００９０】また、ステップ７０３で、自動選択である
と判断されると、テンプレート一致度検出部３５による
一致度の計算が行われる（ステップ７０６）。

【００９１】このテンプレート一致度検出部３５による
一致度の計算は、 １）テンプレート内外の画像のＲＧＢ平均値差 ２）テンプレート内外の画像の明度平均値差 ３）テンプレート内外の画像の色相平均値差 ４）テンプレート境界付近の輪郭画素数 のいずれかを用いることにより行われる。

【００９２】次に、ステップ７０６で計算された一致度
による並べ替えが行われ（ステップ７０７）、この並べ
替えにより最も一致度が高い画像が選択され（ステップ
７０８）、この画像選択処理を終了する（ステップ７０
９）。

【００９３】図１４は、図１に示した構図指示格納部３
０に格納されている構図指示情報の構造の一例を示した
ものである。

【００９４】図１４から明らかなように、構図指示格納
部３０に格納されている構図指示情報の構造は、対象の
種別毎に、構図指示文字情報とテンプレートＩＤが対応
付けられており、テンプレートＩＤはテンプレートの形
を示す画像情報の格納位置を示している。

【００９５】図１５は、図１に示した画像データベース
１１に格納されるデータのデータ構造を示したものであ
る。

【００９６】図１５から明らかなように、画像データベ
ース１１に格納されるデータのデータ構造は、対象の名
称毎に、複数の付加情報と画像ＩＤが対応付けられてお
り、画像ＩＤは各画像データの格納位置を示している。

【００９７】図１６は、この発明に係わる画像検索装置
の他の実施の形態を概略ブロック図で示したものであ
る。なお、図１６において、図１に示した画像検索装置
と同一の機能を果たす部分には図１で用いた符号と同一
の符号を付しその詳細説明を省略する。

【００９８】図１６において、この画像検索装置は、カ
メラ部１、画像蓄積部２、構図変更部３、ペン入力部
４、属性データベース４０、指定輪郭制御部４１、色情
報抽出部４２、線画情報抽出部４３、画像統合抽出部４
４、対象画像変換部６、画像比較部１０、画像データベ
ース１１、データ画像変換部１２、結果表示制御部１
３、表示部１４、テンプレートデータベース４６、制御
部１００を具備して構成される。

【００９９】ここで、属性データベース４０は、対象画
像の抽出に必要な各部品の属性名を蓄積しているもので
ある。

【０１００】また、指定輪郭制御部４１は、ペン入力部
４で指定した輪郭を拡大・移動・回転し、対象画像にも
っとも適した輪郭に変更するものである。

【０１０１】また、色情報抽出部４２は、構図変更部３
で生成された最適構図画像とペン入力部４で指定した画
像上の座標から、対象の色情報を用いて画像を切り出
し、背景を取り除い対象画像を抽出するものである。

【０１０２】線画情報抽出部４３は、色情報抽出部４２
と同様に線画情報を用いて画像の切り出しを行うもので
ある。

【０１０３】また、画像統合抽出部４４は、ペン入力部
４と属性データベース４０から選ばれた属性情報および
色情報抽出部４２と線画情報抽出部４３とから得られた
情報を統合し、より確度の高い画像の切り出しを行うも
のである。

【０１０４】また、テンプレートデータベース４６は、
対象の種別ごとに輪郭のテンプレートを用意し、これを
複数格納するものである。

【０１０５】次に、この実施の形態の画像検索装置の動
作について説明する。

【０１０６】図１７は、図１６に示した画像検索装置の
処理の流れを示す流れ図である。

【０１０７】図１７において、まず、使用者の操作でカ
メラ部１が撮影を開始し、画像取り込み処理を行なう
（ステップ４０１）。この画像取り込み処理で取り込ま
れた画像は表示部１４に表示される。

【０１０８】ここで、使用者は対象が撮影範囲または適
切な構図位置にあると判断したとき、ボタンを押すなど
の操作手法により表示部１４に表示していた静止画像を
画像蓄積部２内に取り込む。

【０１０９】次に、画像蓄積部２上の撮影画像から構図
変更部３が構図を判断し、その変更を行い最適構図画像
を生成する構図変更処理が実行される（ステップ４０
２）。ここまでの処理は図１に示した画像検索装置の動
作と同様である。

【０１１０】ところで、この実施の形態の画像検索装置
においては、表示部１４に表示された最適構図画像から
の対象画像切り出しの際に、使用者は表示部１４に表示
された最適構図画像のうち、各部分の属性を指定するこ
とができるように構成されている。

【０１１１】すなわち、自分が指定したい対象部分の輪
郭をペン型入力デバイスで囲み、同時に属性データベー
ス４０から表示部１４に表示される属性名にもとづい
て、各部分の属性を指定するペン入力処理が行われる
（ステップ３０３）。この属性指定時の表示例を図１９
に示す。

【０１１２】色情報抽出部４２は、ペン入力部４によっ
て入力した対象輪郭と輪郭内の色情報を用いて、背景と
なる部分の画像を排除した対象のみの画像を抽出する色
情報抽出処理を実行する（ステップ４０６）。この色情
報抽出処理によって得られる対象画像の一例を図２０に
示す。

【０１１３】同様に、線画情報抽出部４３では、色情報
抽出処理と同様に線画情報を用いて情報の切り出しを行
う線画情報抽出処理を実行する（ステップ４０７）。こ
の線画情報抽出処理により得られる対象画像の一例を図
２１に示す。

【０１１４】画像統合抽出部４４では、ペン型入力デバ
イスで指定した、各部分ごとの属性情報および色情報抽
出処理によって得られる対象画像および線画情報抽出処
理により得られる対象画像それぞれから選ばれた情報を
統合し、より確度の高い画像の切り出しを行う画像統合
抽出処理を行なう（ステップ４０８）。

【０１１５】ここで得た対象画像が不適切な場合、指定
輪郭制御部４１では、ペン型入力デバイスで指定した対
象画像の輪郭を拡大・移動・回転し、対象画像にもっと
も適した輪郭に変更する指定輪郭制御処理を実行する
（ステップ４０５）。その上で新たに属性指定や画像抽
出が行われ、適切な画像切り出しができるまでこれを繰
り返す。すなわち、この場合、指定輪郭制御部４１で
は、指定した画像輪郭の数ドット内側に新たな画像輪郭
を作成し、適切な画像切り出しができるまではこれを繰
り返す。この指定輪郭処理により得られる画像の一例を
図２２に示す。

【０１１６】対象画像変換部６では、画像統合抽出部４
４の画像統合抽出処理で抽出された対象画像を明度によ
る基準値を設けて対象２値画像に変換する対象画像変換
処理を実行する（ステップ４０９）。

【０１１７】画像データベース１１上のデータ画像のデ
ータ２値画像への変換はデータ画像変換部１２によるデ
ータ画像変換処理により行われる（ステップ４１２）。

【０１１８】データ画像変換部１２で変換されたデータ
２値画像は、順次、画像比較部１０に送られ、対象画像
変換部６で変換された対象２値画像と比較する画像比較
処理が行われる（ステップ４１０）。

【０１１９】この画像比較処理は、画像データベース１
１上の検索対象となる画像に対して順次同様に行われ、
その結果に基づき求める画像を決定する。すなわち、最
終的には最も類似度の高い画像を選択する。

【０１２０】結果表示制御部１３は、類似度の高かった
データ２値画像の元となる自然画像（データ画像）及び
関連情報を画像データベース１１から引き出し、表示部
１４に表示する結果表示処理を実行する（ステップ４１
１）。

【０１２１】ところで、ステップ４０３のペン入力処理
における入力方法はペン型入力部でなくとも良く、マウ
スや、キーボード等の入力手段を用いても良い。また、
テンキー等を用いて画像上の座標を直接指定しても良
い。

【０１２２】また、対象画像の輪郭指定の際には、種別
ごとに輪郭のテンプレートを用意し、これを収めた輪郭
テンプレートデータベース４６から輪郭を指定するよう
にしても良い。

【０１２３】図１８は、テンプレートを使った処理の流
れを示す流れ図である。

【０１２４】この図１８に示す流れ図は、対象画像の輪
郭指定の際にテンプレートデータベース４６に格納され
た種別ごとに輪郭のテンプレートを使用する点を除けば
図１７の流れ図と同様である。なお、図１８において
は、各ステップに図１７で用いた符号と同一の符号を付
してその詳細説明は省略する。

【０１２５】図１８に示した流れ図において、テンプレ
ートを使用した撮影例を図２３に示す。図２３におい
て、中央部の菱形と下に延びる線がテンプレートで、使
用者はこの位置に花と茎が来るように撮影位置を調整し
撮影する。なお他の処理は図１７に示した処理と同一で
ある。

【０１２６】なお、上記実施の形態においては、入力対
象画像が主に植物の場合について示したが、この発明は
これに限定されず、検索を必要とする他の画像を対象に
する場合においても同様に適用することができるのは勿
論である。

【０１２７】

【発明の効果】以上説明したようにこの発明によれば、
以下に示すような効果がある。

【０１２８】１）装置の内部に適切な構図の指示を内蔵
し、撮影に際し使用者に対し適切な構図指示を与えるこ
とにより、適切な構図での撮影を可能にし、高い精度で
検索を行うことができる。

【０１２９】２）装置の内部に対象の種別に応じた適切
な構図の指示を内蔵し、撮影に際し使用者が撮影しよう
とする対象の種別を入力することにより対象の種別に応
じた指示を表示し使用者に対し適切な構図指示を与える
ことにより、適切な構図での撮影を可能にし、高い精度
で検索を行うことができる。

【０１３０】３）装置の内部の適切な構図を示すテンプ
レートの情報を内蔵し、撮影の際にモニタ画像に重ねて
テンプレートを表示し、使用者がそのテンプレートに極
力重なるよう対象を撮影することにより適切な構図での
撮影を可能にし、高い精度で検索を行うことができる。

【０１３１】４）テンプレートを表示するとき、あらか
じめ使用者の対象のおおまかな種別を入力させ、それに
応じてその種別に適切なテンプレートを表示することに
より、対象の種別に応じた適切な構図での撮影を可能に
し、高い精度で検索を行うことができる。

【０１３２】５）周囲の音を検出し自動的に撮影を行う
ことにより、使用者の操作負担を軽減し、また未熟練な
操作者による適切な構図での撮影を可能にし、高い精度
で検索を行うことができる。

【０１３３】６）画像の変化を検出し自動的に撮影を行
うことにより、使用者の操作負担を軽減しまた未熟練な
操作者による適切な構図での撮影を可能にし、高い精度
で検索を行うことができる。

【０１３４】７）画像を常時監視し、適切な構図を示す
テンプレートとの一致が高いとき自動的に撮影を行うこ
とにより、使用者の操作負担を軽減し、また未熟練な操
作者による適切な構図での撮影を可能にし、高い精度で
検索を行うことができる。

【０１３５】８）撮影された画像が適切な構図でないと
き、画像に対し変形変換を施すことにより、適切な構図
の画像を得ることができ、高い精度で検索を行うことが
できる。

【０１３６】９）撮影された画像から対象物件を抽出す
る際、使用者が対象の種別毎に用意された輪郭テンプレ
ートを撮影画像中の対象物体に当てはめることにより、
撮影された構図があまり適切でなくとも高い精度で対象
物体を抽出でき、高い精度で検索を行うことができる。

【図面の簡単な説明】

【図１】この発明に係わる画像検索装置の一実施の形態
を示す概略ブロック図。

【図２】図１に示した画像検索装置の処理の流れを示す
流れ図。

【図３】図１に示した画像蓄積部内に取り込まれた静止
画像の一例を示す図。

【図４】図１に示した構図変更部で生成された最適構図
画像の一例を示す図。

【図５】図１に示したペン入力部によって指定された画
像の一例を示す図。

【図６】図２に示した画像抽出処理で抽出された対象画
像の一例を示す図。

【図７】図２に示した対象画像変換処理により変換され
た対象２値画像の一例を示す図。

【図８】図１に示した画像データベースに蓄積されたデ
ータ画像の一例を示す図。

【図９】図１に示したデータ画像変換部で変換されたデ
ータ２値画像の一例を示す図。

【図１０】図２に示した画像取り込み処理の詳細を示し
た流れ図。

【図１１】複数の画像の選択処理の流れを示す流れ図。

【図１２】図１０に示した画像取り込み処理の詳細を示
すフローチャート。

【図１３】図１１に示した画像選択処理の詳細を示すフ
ローチャート。

【図１４】図１に示した構図指示格納部に格納されてい
る構図指示情報の構造の一例を示した図。

【図１５】図１に示した画像データベースに格納される
データのデータ構造を示した図。

【図１６】この発明に係わる画像検索装置の他の実施の
形態を示す概略ブロック図。

【図１７】図１６に示した画像検索装置の処理の流れを
示す流れ図。

【図１８】図１６に示した画像検索装置の処理の他の流
れを示す流れ図。

【図１９】図１７に示したペン入力処理における属性指
定時の表示例を示す図。

【図２０】図１７に示した色情報抽出処理によって得ら
れる対象画像の一例を示す図。

【図２１】図１７に示した線画情報抽出処理により得ら
れる対象画像の一例を示す図。

【図２２】図１７に示した指定輪郭処理により得られる
画像の一例を示す図。

【図２３】図１８に示した流れ図において採用されるテ
ンプレートを使用した撮影例を示す図。

【符号の説明】

１ カメラ部 ２ 画像蓄積部 ３ 構図変更部 ４ ペン入力部 ５ 画像抽出部 ６ 対象画像変換部 １０ 画像比較部 １１ 画像データベース １２ データ画像変換部 １３ 結果表示制御部 １４ 表示部 ３０ 構図指示格納部 ３１ 移動物体センサ ３２ マイク ３３ 自動取込み制御部 ３４ 画像変化検出部 ３５ テンプレート一致検出部 ４０ 属性データベース ４１ 指定輪郭制御部 ４２ 色情報抽出部 ４３ 線画情報抽出部 ４４ 画像統合抽出部 ４６ テンプレートデータベース １００ 制御部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 岩岡 俊行 京都府京都市右京区花園土堂町10番地 オ ムロン株式会社内

Claims (19)

【特許請求の範囲】
1. 【請求項１】 検索対象画像に基づき画像データベース
   を検索して該検索対象画像に関する情報を取得する画像
   検索方法において、 上記検索対象画像の取り込みに際して予め設定された該
   検索対象画像の構図を指示する構図指示情報を参照する
   ことを特徴とする画像検索方法。
2. 【請求項２】 上記検索対象画像は、 撮像手段により撮像された撮像画像であることを特徴と
   する請求項１記載の画像検索方法。
3. 【請求項３】 上記構図指示情報は、 上記検索対象画像に対応する所望の形状を示すテンプレ
   ートであり、 上記テンプレートを上記撮像手段により撮像された撮像
   画像に重ねて表示することにより適切な構図の検索対象
   画像を取り込むことを特徴とする請求項２記載の画像検
   索方法。
4. 【請求項４】 上記テンプレートと上記撮像手段により
   撮像された撮像画像とを比較し、その一致度に基づき上
   記撮像画像を自動的に取り込むことを特徴とする請求項
   ３記載の画像検索方法。
5. 【請求項５】 検索対象画像に基づき画像データベース
   を検索して該検索対象画像に関する情報を得る画像検索
   方法において、 撮像手段により撮像された撮像画像の取込条件を予め設
   定し、該取込条件を満足した時上記撮像手段により撮像
   された撮像画像を上記検索対象画像として自動的に取り
   込むことを特徴とする画像検索方法。
6. 【請求項６】 上記取込条件は、 上記撮像手段により撮像された撮像画像と予め設定した
   テンプレートとの一致度が所定の値より高くなったこと
   であることを特徴とする請求項５記載の画像検索方法。
7. 【請求項７】 上記取込条件は、 周囲の音の検出音量が所定の値を越えたことであること
   を特徴とする請求項５記載の画像検索方法。
8. 【請求項８】 上記取込条件は、 上記撮像手段により撮像された撮像画像が所定量を越え
   て変化したことであることを特徴とする請求項５記載の
   画像検索方法。
9. 【請求項９】 上記撮像手段は、 撮像対象を連続的に撮像して複数の撮像画面を入力し、 上記複数の撮像画面の内で上記取込条件を満足する撮像
   画面を選択的に取り込むことを特徴とする請求項５記載
   の画像検索方法。
10. 【請求項１０】 検索対象画像に基づき画像データベー
    スを検索して該検索対象画像に関する情報を取得する画
    像検索装置において、 検索対象物を撮像する撮像手段と、 上記撮像手段により撮像される撮像画像の構図を指示す
    る構図指示情報を予め設定する構図指示情報設定手段
    と、 上記撮像手段による撮像画像を上記構図指示情報設定手
    段により設定された構図指示情報を参照して上記検索対
    象画像として取り込む画像取込手段と、 を具備することを特徴とする画像検索装置。
11. 【請求項１１】 上記構図指示情報設定手段は、 上記検索対象物の種別に対応して上記構図指示情報をそ
    れぞれ設定することを特徴とする請求項１０記載の画像
    検索装置。
12. 【請求項１２】 上記構図指示情報は、 上記検索対象物に対応する形状を指示するテンプレート
    であることを特徴とする請求項１０記載の画像検索装
    置。
13. 【請求項１３】 上記画像取込手段は、 上記テンプレートと上記撮像手段により撮像された撮像
    画像とを比較し、その一致度に基づき上記撮像画像を自
    動的に取り込むことを特徴とする請求項１２記載の画像
    検索装置。
14. 【請求項１４】 上記画像取込手段は、 上記テンプレートと比較する上記撮像画像の構図を変更
    する構図変更手段、 を具備することを特徴とする請求項１２記載の画像検索
    装置。
15. 【請求項１５】 検索対象画像に基づき画像データベー
    スを検索して該検索対象画像に関する情報を取得する画
    像検索装置において、 検索対象物を撮像する撮像手段と、 上記撮像手段により撮像された撮像画像の取込条件を設
    定する取込条件設定手段と、 上記取込条件設定手段により設定された取込条件を満足
    した時上記撮像手段により撮像された撮像画像を上記検
    索対象画像として自動的に取り込む画像取込手段と、 を具備することを特徴とする画像検索装置。
16. 【請求項１６】 上記取込条件設定手段により設定され
    る取込条件は、 上記撮像手段により撮像された撮像画像と予め設定した
    テンプレートとの一致度が所定の値より高くなったこと
    であることを特徴とする請求項１５記載の画像検索装
    置。
17. 【請求項１７】 周囲の音を検出する音検出手段、 を更に具備し、 上記取込条件設定手段により設定される取込条件は、 上記音検出手段により検出された周囲の音の検出音量が
    所定の値を越えたことであることを特徴とする請求項１
    ５記載の画像検索装置。
18. 【請求項１８】 上記撮像手段により撮像された撮像画
    像の変化量を検出する画像変化検出手段、 を更に具備し、 上記取込条件設定手段により設定される取込条件は、 上記画像変化検出手段の検出出力が所定値を越えたこと
    であることを特徴とする請求項１５記載の画像検索装
    置。
19. 【請求項１９】 上記撮像手段は、 撮像対象を連続的に撮像して複数の撮像画面を入力し、 上記画像取込手段は、 上記複数の撮像画面の内で上記取込条件を満足する撮像
    画面を選択的に取り込む選択的取込手段、 を具備することを特徴とする請求項１５記載の画像検索
    装置。