JP4569663B2

JP4569663B2 - 情報処理装置、情報処理方法、及びプログラム

Info

Publication number: JP4569663B2
Application number: JP2008115520A
Authority: JP
Inventors: 啓介山岡
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2008-04-25
Filing date: 2008-04-25
Publication date: 2010-10-27
Anticipated expiration: 2028-04-25
Also published as: JP2009265990A; US20090267763A1

Description

本発明は、情報処理装置、情報処理方法、及びプログラムに関し、特に、例えば、住居内で紛失した物品を容易に発見できるようにした情報処理装置、情報処理方法、及びプログラムに関する。

住居としての一般的な家屋には、テレビジョン受像機に代表される各種の電子機器が備えられている。そして、各種の電子機器には、それを操作するためのリモートコントローラが存在する。

住居内において、リモートコントローラは、ユーザにより操作された後、不特定な場所（領域）に乱雑に配置されることが多い。

また、住居内において、ユーザが所有する各種の鍵、財布、及び眼鏡等についても同様に、帰宅したユーザによって、不特定な場所に乱雑に配置されることが多い。

リモートコントローラ、鍵、財布、及び眼鏡等の物品は、比較的、小型であるため、ユーザが、物品を配置した場所を失念してしまった場合、その物品を容易に探し出すことは困難である。

このような事態の対処として、例えば、特許文献１には、探索信号送信機で、紛失した物品に付加した探索信号受信表示付き受信機が固有する信号を送信すると、探索信号受信表示付き受信機が灯り、及び音によりその所在を表現する技術が記載されている。

また、例えば、特許文献２には、物品に電子タグを取り付け、部屋の出入り口に設置した探知機によって、物品の出入りを管理する技術が記載されている。

特開平１０−１７３５５０号公報特開２００４−０６９３３１号公報

しかしながら、特許文献１及び２に記載の技術では、物品に対して、探索信号受信表示付き受信機や電子タグ等を取り付ける必要がある。

従って、例えば、物品の移動や使用を行う場合には、物品に取り付けられた電子タグ等により、思うように物品の移動や使用を行うことができず、非常に煩わしい。また、物品が存在する個数だけ、電子タグ等を用意しなければならない。

本発明は、このような状況に鑑みてなされたものであり、物品に電子タグ等を取り付けることなく、紛失した物品を容易に発見できるようにするものである。

本発明の一側面の情報処理装置、又はプログラムは、ユーザに関するユーザ情報を検出するユーザ情報検出手段と、前記ユーザ情報に基づいて、所定の空間内に予め設定された複数の設定領域毎に、前記ユーザにより指定された物品である指定物品が存在する度合いを表すスコアを算出するスコア算出手段と、複数の前記設定領域毎に算出された前記指定物品の前記スコアに対応する画像を表示させる表示制御手段とを備える情報処理装置、又は情報処理装置として、コンピュータを機能させるためのプログラムであり、前記ユーザ情報検出手段は、前記ユーザ情報として、所定の期間内に、複数の前記設定領域毎に前記ユーザが立ち寄った回数を検出し、
前記スコア算出手段は、複数の前記設定領域毎に、前記ユーザが立ち寄った回数に応じた前記スコアを算出する。

前記スコア算出手段では、複数の前記設定領域毎に、前記指定物品にも応じた前記スコアを算出することができる。

前記ユーザ情報検出手段では、前記ユーザ情報として、前記ユーザの動作も検出し、前記スコア算出手段では、複数の前記設定領域毎に、前記ユーザの動作にも応じた前記スコアを算出することができる。
前記ユーザ情報検出手段では、前記ユーザ情報として、前記ユーザの姿勢も検出し、前記スコア算出手段では、複数の前記設定領域毎に、前記ユーザの姿勢にも応じた前記スコアを算出することができる。

前記ユーザ情報検出手段では、前記所定の空間を撮像する撮像手段により得られた撮像画像に基づいて、前記ユーザ情報を検出することができる。

本発明の一側面の情報処理方法は、所定の空間内に予め設定された複数の設定領域毎に、ユーザにより指定された物品である指定物品が存在する度合いを表すスコアを算出し、前記スコアに対応する画像を表示させる情報処理装置が、ユーザ情報検出手段と、スコア算出手段と、表示制御手段とを備え、前記ユーザ情報検出手段が、ユーザに関するユーザ情報を検出し、前記スコア算出手段が、前記ユーザ情報に基づいて、所定の空間内に予め設定された複数の設定領域毎に、前記ユーザにより指定された物品である指定物品が存在する度合いを表すスコアを算出し、前記表示制御手段が、複数の前記設定領域毎に算出された前記指定物品の前記スコアに対応する画像を表示させるステップを含む情報処理方法であり、前記ユーザ情報検出手段は、前記ユーザ情報として、所定の期間内に、複数の前記設定領域毎に前記ユーザが立ち寄った回数を検出し、前記スコア算出手段は、複数の前記設定領域毎に、前記ユーザが立ち寄った回数に応じた前記スコアを算出する。

本発明の一側面においては、ユーザに関するユーザ情報が検出され、前記ユーザ情報に基づいて、所定の空間内に予め設定された複数の設定領域毎に、前記ユーザにより指定された物品である指定物品が存在する度合いを表すスコアが算出され、複数の前記設定領域毎に算出された前記指定物品の前記スコアに対応する画像が表示される。

本発明によれば、紛失した物品を容易に発見することができる。

以下、図面を参照して本実施の形態について説明する。

図１は、本発明を適用した情報処理装置を含む住居等の居住空間の一例を示している。

この居住空間１には、レーザレンジファインダ３１aを有するカメラ３１、情報処理装置３２、テレビジョン受像機等のモニタ３３、居住空間１に居住するユーザ３４が所有する椅子３５、及びベッド３６が配置されている。

カメラ３１は、例えば、居住空間１の天井付近に配置されている。そして、カメラ３１は、天井付近から居住空間１を撮像し、その撮像により得られた撮像画像として、例えばユーザ３４が撮像された画像を、情報処理装置３２に供給する。

レーザレンジファインダ３１aは、レーザを撮像対象（例えば、ユーザ３４）に照射し、撮像対象に照射されたレーザが反射して得られる反射光を検出する。そして、レーザを撮像対象に照射したときから、反射光を検出するまでの時間を計測し、計測した時間とレーザの速さとに基づいて、カメラ３１（レーザレンジファインダ３１a）から撮像対象までの距離を表す撮像対象距離を算出し、情報処理装置３２に供給する。

情報処理装置３２は、カメラ３１からの撮像画像、及びレーザレンジファインダ３１aからの撮像対象距離に基づいて、ユーザ３４に関するユーザ情報を検出し、検出したユーザ情報を記憶するユーザ情報記憶処理を行う。ここで、ユーザ情報とは、例えば、居住空間１内におけるユーザ３４の３次元位置をいう。

また、情報処理装置３２は、ユーザ情報記憶処理により記憶されたユーザ情報に基づいて、居住空間１内に予め設定された複数の設定領域毎に、ユーザ３４により指定された物品（指定物品）が存在する度合いを表す総合スコアを算出し、算出した総合スコアに対応する画像をモニタ３３に表示させるスコア表示処理を行う。

なお、設定領域としては、例えば、ユーザ３４等が統計的に物品を置き忘れ易い領域が、ユーザ３４等により設定される。具体的には、例えば、モニタ３３、椅子３５、ベッド３６、テーブル、タンス、食器棚、及び出窓等が位置する領域が、設定領域として設定される。

次に、図２は、モニタ３３の表示画面の一例を示している。

図２の表示画面には、居住空間１を真上（天井）から見下ろしたときに得られる、居住空間１の全体を表す全体画像が表示されている。

この表示画面には、モニタ３３、椅子３５、及びベッド３６が表示されているとともに、モニタ３３、椅子３５、及びベッド３６それぞれが位置する複数の設定領域毎に算出された総合スコアを表すマーカ５１ないし５３（丸で示す）が表示されている。

なお、マーカ５１ないし５３は、グレースケールにより表示されており、例えば、指定物品の総合スコアが大きい程に黒色で表示され、小さい程に白色で表示される。

例えば、モニタ３３が位置する設定領域（モニタ３３の設定領域）が、複数の設定領域のうち、指定物品の総合スコアが最も大きい設定領域である場合、モニタ３３の設定領域には、指定物品の総合スコアが最も大きいことを表す黒色のマーカ５１が表示される。

また、例えば、椅子３５が位置する設定領域（椅子３５の設定領域）が、複数の設定領域のうち、指定物品の総合スコアが最も小さい設定領域である場合、椅子３５の設定領域には、指定物品の総合スコアが最も小さいことを表す白色のマーカ５２が表示される。

さらに、例えば、ベッド３６が位置する設定領域（ベッド３６の設定領域）が、複数の設定領域のうち、指定物品の総合スコアが、モニタ３３の設定領域よりも小さく、椅子３５の設定領域よりも大きい設定領域である場合、ベッド３６の設定領域には、指定物品の総合スコアが、モニタ３３の設定領域よりも小さく、椅子３５の設定領域よりも大きいことを表す灰色のマーカ５３が表示される。

次に、図３は、図１の情報処理装置３２の詳細な構成例を示している。

情報処理装置３２は、ユーザ情報検出部６１、ユーザ情報記憶部６２、操作部６３、算出用データ記憶部６４、スコア算出部６５、表示用データ記憶部６６及び表示制御部６７により構成される。

ユーザ情報検出部６１には、カメラ３１から撮像画像が供給されるとともに、レーザレンジファインダ３１aから撮像対象距離が供給される。

ユーザ情報検出部６１は、カメラ３１からの撮像画像、及びレーザレンジファインダ３１aからの撮像対象距離に基づいて、ユーザ情報として、例えば、ユーザ３４が立ち寄った設定領域を検出する。

すなわち、例えば、ユーザ情報検出部６１は、カメラ３１からの撮像画像に基づいて、撮像画像内のユーザ３４を検出する。具体的には、例えば、ユーザ情報検出部６１は、予め撮像されて保持されている、居住空間１内の背景が撮像された背景画像（例えば、ユーザ３４が存在しない居住空間１の画像）と、カメラ３１からの撮像画像との差分をとることにより、撮像画像内のユーザ３４を検出する。

なお、ユーザ情報検出部６１では、Graph Cutとステレオビジョンを用いる方法（"Bi-Layer segmentation of binocular stereo video" V.Kolmogorov, A.Blake et al. Microsoft Research Ltd., Cambridge, UK）を用れば、より精度良く撮像画像内のユーザ３４を検出することが可能である。

また、ユーザ情報検出部６１は、レーザレンジファインダ３１aからの撮像対象距離に基づいて、撮像画像から検出したユーザ３４の３次元位置を算出する。

なお、ユーザ３４の３次元位置は、レーザレンジファインダ３１aの位置を原点(0,0,0)とし、１つの軸が他の２つの軸と直交するＸ軸、Ｙ軸、及びＺ軸により定義される３次元のXYZ座標で表され、レーザがユーザ３４に照射される方向と、ユーザ３４の撮像対象距離から検出される。

さらに、ユーザ情報検出部６１は、内蔵するメモリ（図示せず）に、レーザレンジファインダ３１a等により予め算出しておいたモニタ３３、椅子３５、及びベッド３６等の３次元位置を記憶している。

ユーザ情報検出部６１は、算出したユーザ３４の３次元位置と、内蔵するメモリに記憶されているモニタ３３、椅子３５、及びベッド３６等の３次元位置とを比較することにより、ユーザ３４が設定領域に立ち寄ったか否かを判定する。そして、ユーザ３４が設定領域に立ち寄ったと判定した場合のみ、ユーザ３４が立ち寄った設定領域を、ユーザ情報として、ユーザ情報記憶部６２に供給して記憶させる。

ユーザ情報記憶部６２は、ユーザ情報検出部６１からのユーザ情報を記憶する。

操作部６３は、ユーザ３４が、紛失した物品を指定するための指定操作に用いられる指定ボタン等からなる。操作部６３は、例えば、ユーザ３４による指定操作に対応して、ユーザ３４により指定された指定物品を表す物品信号を、スコア算出部６５に供給する。

算出用データ記憶部６４は、予め設定された複数の設定領域毎に、ユーザ３４の指定操作により指定された指定物品の総合スコアを算出するための算出用データとして、例えば、位置スコアや関連スコア等を記憶している。

ここで、位置スコアとは、指定物品に関係なく、所定の設定領域にユーザ３４が立ち寄ったときに、所定の設定領域における指定物品の総合スコアに新たに加算される値をいう。また、関連スコアとは、指定物品と関連性がある設定領域にユーザ３４が立ち寄ったときに、指定物品と関連性がある設定領域における指定物品の総合スコアに新たに加算される値をいう。

なお、指定物品と関連性がある設定領域とは、統計的に指定物品を頻繁に紛失する設定領域のことをいう。

スコア算出部６５は、操作部６３から、指定物品を表す物品信号が供給されたことに対応し、ユーザ情報記憶部６２に記憶されたユーザ情報と、算出用データ記憶部６４に記憶されている算出用データとに基づいて、複数の設定領域毎に、指定物品の総合スコアを算出する。

すなわち、例えば、スコア算出部６５は、次式（１）及び（２）を用いて、複数の設定領域毎に指定物品の総合スコアを算出する。

なお、nは指定物品を表し、fは設定領域を表している。また、P_t(n,f)は、所定の期間において、設定領域fにユーザ３４が立ち寄った回数がt回であるときの、指定物品nの総合スコアを表している。総合スコアの初期値P₀(n,f)は値０とする。

さらに、Cは、定数である位置スコアを表しており、A(n,f)は、関連スコアを表している。関連スコアA(n,f)は、設定領域fが指定物品nと関連性がある設定領域である場合に、例えば値Cとされ、関連領域でない場合に、値０とされる。

なお、h_t(f)は、ユーザ３４が設定領域fに立ち寄ったときに値１とされ、ユーザ３４が設定領域fに立ち寄っていないときに値０とされる。

ここで、例えば、ユーザ３４の指定操作により財布が指定物品として指定された場合、所定の期間（例えば、指定操作をする１時間前の時刻から、指定操作をした時刻までの１時間）において、モニタ３３の設定領域にユーザ３４が立ち寄った回数が２回であり、椅子３５の設定領域にユーザ３４が立ち寄った回数が１回であるとともに、ベッド３６の設定領域にユーザ３４が立ち寄った回数が２回であるときに、スコア算出部６５が行う、財布の総合スコアを算出する総合スコア算出方法を説明する。なお、ベッド３６の設定領域は、財布と関連性がある設定領域であるものとする。

スコア算出部６５は、所定の期間において、ユーザ３４がモニタ３３の設定領域に２回立ち寄ったときの財布のスコアP₂(財布,モニタ)=P₁(財布,モニタ)+h₂(モニタ){C+A(財布,モニタ)}を算出する。

ここで、P₁(財布,モニタ)は、P₀(財布，モニタ)+h₁(モニタ){C+A(財布,モニタ)}であり、P₀(財布，モニタ)は０、h₁(モニタ)及びh₂(モニタ)は１であるとともに、モニタ３３の設定領域は、財布と関連性がない領域であるため、A(財布,モニタ)は０となる。

従って、スコア算出部６５は、モニタ３３の設定領域の総合スコアP₂(財布,モニタ)として、２Cを算出する。

また、スコア算出部６５は、所定の期間において、ユーザ３４が椅子３５の設定領域に１回立ち寄ったときの財布の総合スコアP₁(財布,椅子)=P₀(財布,椅子)+h₁(椅子){C+A(財布,椅子)}を算出する。

ここで、P₀(財布，椅子)は０であり、h₁(椅子)は１であるとともに、椅子３５の設定領域は、財布と関連性がない領域であるため、A(財布,椅子)は０となる。

従って、スコア算出部６５は、椅子３５の設定領域の総合スコアP₁(財布,椅子)として、Cを算出する。

さらに、スコア算出部６５は、所定の期間において、ユーザ３４がベッド３６の設定領域に２回立ち寄ったときの財布の総合スコアP₂(財布,ベッド)=P₁(財布,ベッド)+h₂(ベッド){C+A(財布,ベッド)}を算出する。

ここで、P₁(財布,ベッド)は、P₀(財布，ベッド)+h₁(ベッド){C+A(財布,ベッド)}であり、P₀(財布，ベッド)は０、h₁(ベッド)及びh₂(ベッド)は１であるとともに、ベッド３６の設定領域は、財布と関連性がある領域であるため、A(財布,ベッド)はCとなる。

従って、スコア算出部６５は、ベッド３６の設定領域の総合スコアP₂(財布,ベッド)として、４Cを算出する。

スコア算出部６５は、算出した複数の設定領域毎の総合スコアを、表示制御部６７に供給する。

表示用データ記憶部６６は、居住空間１を真上から見たときに得られる、居住空間１の全体を表す全体画像、及びマーカ（図２）を記憶している。

表示制御部６７は、スコア算出部６５からの複数の設定領域毎の総合スコアに基づいて、表示用データ記憶部６６に記憶されている全体画像、及びマーカから、図２に示したような表示画面の画像を生成し、モニタ３３に供給して表示させる。

次に、図４のフローチャートを参照して、図３の情報処理装置３２が行うユーザ情報記憶処理の詳細を説明する。

ステップＳ３１において、カメラ３１は、天井付近から居住空間１を撮像し、その撮像により得られた撮像画像として、例えばユーザ３４が撮像された画像を、情報処理装置３２のユーザ情報検出部６１に供給する。

ステップＳ３２において、レーザレンジファインダ３１aは、レーザを撮像対象に照射し、撮像対象に照射されたレーザが反射して得られる反射光を検出する。そして、レーザを撮像対象に照射したときから、反射光を検出するまでの時間を計測し、計測した時間とレーザの速さとに基づいて、カメラ３１（レーザレンジファインダ３１a）から撮像対象までの距離を表す撮像対象距離を算出し、情報処理装置３２のユーザ情報検出部６１に供給する。

ステップＳ３３において、ユーザ情報検出部６１は、カメラ３１からの撮像画像に基づいて、撮像画像内のユーザ３４を検出する。

ステップＳ３４において、ユーザ情報検出部６１は、算出したユーザ３４の３次元位置と、内蔵するメモリに記憶されているモニタ３３、椅子３５、及びベッド３６等の３次元位置とを比較することにより、ユーザ３４が設定領域に立ち寄ったか否かを判定する。

ステップＳ３４において、ユーザ３４が設定領域に立ち寄ったと判定された場合、処理は、ステップＳ３５に進められ、ユーザ情報検出部６１は、ユーザ３４が立ち寄った設定領域を、ユーザ情報として、ユーザ情報記憶部６２に供給して記憶させる。そして、処理は、ステップＳ３１に進められ、以下、同様の処理が繰り返される。

一方、ステップＳ３４において、ユーザ３４が設定領域に立ち寄ったと判定されなかった場合、処理は、ステップＳ３１に進められ、以下、同様の処理が繰り返される。

なお、ユーザ情報記憶処理は、例えば、ユーザ３４による、情報処理装置３２の電源をオフするオフ操作に対応して、終了される。

図４のユーザ情報記憶処理では、指定物品の総合スコアを算出するためのユーザ情報を、カメラ３１により撮像された撮像画像から検出することとしたので、例えば、ユーザ情報を検出するために、ユーザ情報を検出するために用いる検出用装置等を物品に取り付ける必要がない。また、ユーザ情報記憶処理では、物品に検出用装置等が取り付けられていないため、物品を使用するユーザ３４に煩わしさを感じさせることがない。

次に、図５のフローチャートを参照して、図３の情報処理装置３２が行うスコア表示処理の詳細を説明する。

このスコア表示処理は、例えば、ユーザ３４による操作部６３の指定操作に対応して、開始される。このとき、操作部６３は、ユーザ３４による指定操作に対応して、ユーザ３４により指定された指定物品を表す物品信号を、スコア算出部６５に供給する。

ステップＳ６１において、スコア算出部６５は、操作部６３から、指定物品を表す物品信号が供給されたことに対応し、ユーザ情報記憶部６２に記憶されたユーザ情報と、算出用データ記憶部６４に記憶されている算出用データとに基づいて、複数の設定領域毎に、指定物品の総合スコアを算出し、表示制御部６７に供給する。

ステップＳ６２において、表示制御部６７は、スコア算出部６５からの複数の設定領域毎の総合スコアに基づいて、表示用データ記憶部６６に記憶されている全体画像、及びマーカから、図２に示したような表示画面の画像を生成し、モニタ３３に供給して表示させ、スコア表示処理は終了される。

図５のスコア表示処理では、複数の設定領域毎に、指定物品の総合スコアを算出し、複数の設定領域毎の指定物品の総合スコアを表すマーカを、モニタ３３に表示させる。

従って、ユーザ３４は、モニタ３３に表示される表示画面を確認することにより、指定物品が配置されている可能性が高い設定領域から順番に、指定物品を探すことができるため、ユーザ３４の記憶を頼りに指定物品を探す場合と比較して、より迅速に指定物品を発見することができる。

上記実施の形態において、位置スコアは定数Cであることとしたが、これに限定されるものではない。

すなわち、例えば、位置スコアは、ユーザ３４が所定の設定領域fに立ち寄っていた時間（例えばx（秒））に応じて、変化するようにしてもよい。具体的には、例えば、式（１）の位置スコアCを、xCに置き換えるようにしてもよい。

この場合、所定の設定領域fに立ち寄っていた時間が長い程に、位置スコアxCが大きくなるため、所定の設定領域fに立ち寄っていた時間が長い程、所定の設定領域fに指定物品が配置されている可能性が高い場合には、図５のスコア表示処理において算出される総合スコアと比較して、より適切な総合スコアを算出することが可能となり、より迅速に指定物品を発見することができる。

また、上記実施の形態では、複数の設定領域のうちのいずれの領域においても、位置スコアとして定数Cを加算することとしたが、例えば、ユーザ３４が統計的に指定物品を紛失する可能性が高い設定領域ほど、設定領域の位置スコアを大きな値にするとともに、ユーザ３４が統計的に指定物品を紛失する可能性が低い設定領域ほど、設定領域の位置スコアを小さな値にすることが可能である。

さらに、上記実施の形態において、スコア算出部６５は、ユーザ３４が指定物品と関連性がある設定領域に立ち寄った場合、位置スコアの他に、関連スコアA(n,f)を加算することとしたが、これに限定されるものではない。

すなわち、例えば、情報処理装置３２において、ユーザ情報検出部６１が、ユーザ情報として、ユーザ３４の姿勢を検出（推定）し、スコア算出部６５は、ユーザ情報検出部６１により検出されたユーザ３４の姿勢が所定の姿勢である場合、所定の姿勢に対応する、予め決定された姿勢スコアを加算するようにしてもよい。

具体的には、例えば、指定物品nが眼鏡であるとともに、ユーザ情報検出部６１により、所定の設定領域fにおいて、眼鏡を外すユーザ３４の姿勢が検出された場合、所定の設定領域fに眼鏡が存在する可能性が高いといえる。従って、この場合、スコア算出部６５は、所定の設定領域fにおける前回の眼鏡の総合スコアP_t-1(眼鏡,f)に対して、位置スコアや、関連スコアA(n,f)の他に、眼鏡を外すユーザ３４の姿勢に対応する姿勢スコアを加算して、今回の眼鏡の総合スコアP_t(眼鏡,f)を算出するようにしてもよい。

この場合、ユーザ３４の姿勢をも考慮に入れて、複数の設定領域毎の総合スコアを算出するようにしたので、図５のスコア表示処理において算出される総合スコアと比較して、より適切な総合スコアを算出することが可能となり、より迅速に指定物品を発見することができる。

なお、ユーザ情報検出部６１は、例えば、カメラ３１からの撮像画像から、撮像画像内のユーザ３４のシルエットを生成し、そのシルエットからユーザ３４の姿勢を推定する。シルエットからユーザの姿勢を推定する方法については、例えば、「"3D Human Pose from Silhouette by Relevance Vector Regression" A.Agarwal & B.Triggs, INRIA, CVPR'04」に記載されている。

また、例えば、情報処理装置３２において、ユーザ情報検出部６１が、ユーザ情報として、ユーザ３４の動作（動き）を検出し、スコア算出部６５は、ユーザ情報検出部６１により検出されたユーザ３４の動作が所定の動作である場合、所定の動作に対応する、予め決定された動作スコアを加算するようにしてもよい。

具体的には、例えば、指定物品nが眼鏡であるとともに、ユーザ情報検出部６１により、所定の設定領域fにおいて、眼鏡を外すユーザ３４の動作が検出された場合、所定の設定領域fに眼鏡が存在する可能性が高いといえる。従って、この場合、スコア算出部６５は、所定の設定領域fにおける前回の眼鏡の総合スコアP_t-1(眼鏡,f)に対して、位置スコアや、関連スコアA(n,f)の他に、眼鏡を外すユーザ３４の動作に対応する動作スコアを加算して、今回の眼鏡の総合スコアP_t(眼鏡,f)を算出するようにしてもよい。

この場合、ユーザ３４の動作をも考慮に入れて、複数の設定領域毎の総合スコアを算出するようにしたので、図５のスコア表示処理において算出される総合スコアと比較して、より適切な総合スコアを算出することが可能となり、より迅速に指定物品を発見することができる。

なお、ユーザ情報検出部６１は、例えば、色やテクスチャにより、カメラ３１からの撮像画像から複数の長方形モジュールを取得し、取得した複数の長方形モジュールの中からキネマティクス拘束を用いて、撮像画像内のユーザ３４を把握することにより、ユーザ３４の動作を検出する。ユーザの動作を検出する方法については、例えば、「"Finding and Tracking People from the Bottom Up" D.Ramanan & D.A.forsyth, UC Berkely, CVPR'03」に記載されている。また、ユーザ情報検出部６１では、ユーザ３４に、ユーザ３４の動作を検出するために用いる器具を付加することなく、ユーザ３４の動作を検出することができる。

上述した、指定物品の総合スコアを算出する総合スコア算出方法の他、位置スコア、関連スコア、姿勢スコア、及び動作スコアのうちのどのような組合せによっても、総合スコア算出方法を行うことが可能である。

上記実施の形態では、ユーザ情報検出部６１は、カメラ３１からの撮像画像に基づいて、ユーザ情報として、例えば、ユーザ３４が立ち寄った設定領域を検出することとしたが、これに限定されない。すなわち、例えば、居住空間１内に設定された複数の設定領域毎に、設定領域内の温度変化からユーザ３４を検知する人感センサ等をユーザ情報検出部６１として配置することで、ユーザ情報検出部６１が、ユーザ３４が立ち寄った設定領域を検出することが可能である。

上記実施の形態では、表示制御部６７が、指定物品の総合スコアをマーカにより表示させることとしたが、これに限定されない。すなわち、例えば、表示制御部６７は、指定物品の総合スコアを数値として表示させるようにしてもよいし、棒グラフとして表示させるようにしてもよい。

また、上記実施の形態では、表示制御部６７が、複数の設定領域毎の、指定物品の総合スコアを表示させることとしたが、これに限定されない。すなわち、例えば、表示制御部６７は、複数の設定領域のうちの１の設定領域における、各物品の総合スコアを表示させるようにしてもよい。

上記実施の形態では、居住空間１内の領域を、複数の設定領域として設定することとしたが、その他、例えば、居住空間１、及び居住空間１とは異なる居住空間内の領域を、複数の設定領域として設定することが可能である。

すなわち、例えば、ユーザ３４の住居において、所定の部屋、及び所定の部屋とは異なる他の部屋が存在する場合、所定の部屋の天井付近にカメラを配置するとともに、他の部屋の天井付近にもカメラを配置することにより、所定の部屋及び他の部屋の領域を、複数の設定領域として設定することが可能である。

また、例えば、居住空間１の他、工場や会社等の、物品を紛失する可能性がある空間内の領域を、複数の設定領域として設定してもよい。

上記実施の形態では、図４のユーザ情報記憶処理において、ユーザ情報をユーザ情報記憶部６２に記憶させておき、ユーザ３４による指定操作に対応して、図５のスコア表示処理において、ユーザ情報記憶部６２に記憶されたユーザ情報に基づいて、指定物品の総合スコアを算出して表示させることとしたが、これに限定されない。

すなわち、例えば、図４のユーザ情報記憶処理において、ユーザ情報を、ユーザ情報記憶部６２を介してスコア算出部６５に供給させるようにして、図５のスコア表示処理において、ユーザ情報が供給される毎に、予め指定しておいた指定物品の総合スコアを算出して表示させるようにしてもよい。

上記実施の形態では、レーザレンジファインダ３１aにより、カメラ３１から撮像対象までの距離を表す撮像対象距離を算出することとしたが、その他、例えば、カメラ３１と、カメラ３１とは異なる他のカメラを設け、カメラ３１と他のカメラとの視差により、撮像対象距離を算出するステレオ処理により、撮像対象距離を算出することが可能である。

なお、本発明の情報処理装置としては、例えば、パーソナルコンピュータ等を採用することができる。

ところで、上述した一連の処理は、専用のハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、いわゆる組み込み型のコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。

図６は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータの構成例を示している。

CPU（Central Processing Unit）２０１は、ROM（Read Only Memory）２０２、または記憶部２０８に記憶されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）２０３には、CPU２０１が実行するプログラムやデータなどが適宜記憶される。これらのCPU２０１、ROM２０２、およびRAM２０３は、バス２０４により相互に接続されている。

CPU２０１にはまた、バス２０４を介して入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、キーボード、マウス、マイクロホンなどよりなる入力部２０６、ディスプレイ、スピーカなどよりなる出力部２０７が接続されている。CPU２０１は、入力部２０６から入力される指令に対応して各種の処理を実行する。そして、CPU２０１は、処理の結果を出力部２０７に出力する。

入出力インタフェース２０５に接続されている記憶部２０８は、例えばハードディスクからなり、CPU２０１が実行するプログラムや各種のデータを記憶する。通信部２０９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。

また、通信部２０９を介してプログラムを取得し、記憶部２０８に記憶してもよい。

入出力インタフェース２０５に接続されているドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア２１１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部２０８に転送され、記憶される。

コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを記録（記憶）する記録媒体は、図６に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ（Mini-Disc）を含む）、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア２１１、または、プログラムが一時的もしくは永続的に格納されるROM２０２や、記憶部２０８を構成するハードディスクなどにより構成される。記録媒体へのプログラムの記録は、必要に応じてルータ、モデムなどのインタフェースである通信部２０９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

本発明を適用した情報処理装置を含む居住空間内の一例を示す図である。モニタの表示画面の一例を示す図である。情報処理装置の詳細な構成例を示すブロック図である。ユーザ情報記憶処理を説明するフローチャートである。スコア表示処理を説明するフローチャートである。パーソナルコンピュータの構成例を示すブロック図である。

符号の説明

３１カメラ，３１a レーザレンジファインダ，３２情報処理装置，３３モニタ，６１ユーザ情報検出部，６２ユーザ情報記憶部，６３操作部，６４算出用データ記憶部，６５スコア算出部，６６表示用データ記憶部，６７表示制御部

Claims

ユーザに関するユーザ情報を検出するユーザ情報検出手段と、
前記ユーザ情報に基づいて、所定の空間内に予め設定された複数の設定領域毎に、前記ユーザにより指定された物品である指定物品が存在する度合いを表すスコアを算出するスコア算出手段と、
複数の前記設定領域毎に算出された前記指定物品の前記スコアに対応する画像を表示させる表示制御手段と
を備え、
前記ユーザ情報検出手段は、前記ユーザ情報として、所定の期間内に、複数の前記設定領域毎に前記ユーザが立ち寄った回数を検出し、
前記スコア算出手段は、複数の前記設定領域毎に、前記ユーザが立ち寄った回数に応じた前記スコアを算出する
情報処理装置。
前記スコア算出手段は、複数の前記設定領域毎に、前記指定物品にも応じた前記スコアを算出する
請求項１に記載の情報処理装置。
前記ユーザ情報検出手段は、前記ユーザ情報として、前記ユーザの動作も検出し、
前記スコア算出手段は、複数の前記設定領域毎に、前記ユーザの動作にも応じた前記スコアを算出する
請求項１に記載の情報処理装置。
前記ユーザ情報検出手段は、前記ユーザ情報として、前記ユーザの姿勢も検出し、
前記スコア算出手段は、複数の前記設定領域毎に、前記ユーザの姿勢にも応じた前記スコアを算出する
請求項１に記載の情報処理装置。
前記ユーザ情報検出手段は、前記所定の空間を撮像する撮像手段により得られた撮像画像に基づいて、前記ユーザ情報を検出する
請求項１に記載の情報処理装置。
所定の空間内に予め設定された複数の設定領域毎に、ユーザにより指定された物品である指定物品が存在する度合いを表すスコアを算出し、前記スコアに対応する画像を表示させる情報処理装置は、
ユーザ情報検出手段と、
スコア算出手段と、
表示制御手段と
を備え、
前記ユーザ情報検出手段が、ユーザに関するユーザ情報を検出し、
前記スコア算出手段が、前記ユーザ情報に基づいて、所定の空間内に予め設定された複数の設定領域毎に、前記ユーザにより指定された物品である指定物品が存在する度合いを表すスコアを算出し、
前記表示制御手段が、複数の前記設定領域毎に算出された前記指定物品の前記スコアに対応する画像を表示させる
ステップを含み、
前記ユーザ情報検出手段は、前記ユーザ情報として、所定の期間内に、複数の前記設定領域毎に前記ユーザが立ち寄った回数を検出し、
前記スコア算出手段は、複数の前記設定領域毎に、前記ユーザが立ち寄った回数に応じた前記スコアを算出する
情報処理方法。
コンピュータを、
ユーザに関するユーザ情報を検出するユーザ情報検出手段と、
前記ユーザ情報に基づいて、所定の空間内に予め設定された複数の設定領域毎に、前記ユーザにより指定された物品である指定物品が存在する度合いを表すスコアを算出するスコア算出手段と、
複数の前記設定領域毎に算出された前記指定物品の前記スコアに対応する画像を表示させる表示制御手段と
して、機能させ、
前記ユーザ情報検出手段は、前記ユーザ情報として、所定の期間内に、複数の前記設定領域毎に前記ユーザが立ち寄った回数を検出し、
前記スコア算出手段は、複数の前記設定領域毎に、前記ユーザが立ち寄った回数に応じた前記スコアを算出する
プログラム。