JP2006113254A - 情報提示装置、及び調理支援システム - Google Patents

情報提示装置、及び調理支援システム Download PDF

Info

Publication number
JP2006113254A
JP2006113254A JP2004299943A JP2004299943A JP2006113254A JP 2006113254 A JP2006113254 A JP 2006113254A JP 2004299943 A JP2004299943 A JP 2004299943A JP 2004299943 A JP2004299943 A JP 2004299943A JP 2006113254 A JP2006113254 A JP 2006113254A
Authority
JP
Japan
Prior art keywords
article
information
presentation
unit
weight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2004299943A
Other languages
English (en)
Inventor
Yoshihiko Matsukawa
善彦 松川
Osamu Yamada
修 山田
Shusaku Okamoto
修作 岡本
Tomonobu Naruoka
知宣 成岡
Toru Tanigawa
徹 谷川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP2004299943A priority Critical patent/JP2006113254A/ja
Publication of JP2006113254A publication Critical patent/JP2006113254A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)

Abstract

【課題】 実世界の物品の情報を参照するためだけに物品を移動させたり、HMD等の特殊な装置の使用を強要することなく人間の作業を妨げず情報提示を行う情報提示装置、及びそれを利用する調理支援システムを提供する。
【解決手段】 複数の物品の位置を検出する位置検出部102と、前記物品の属性情報を取得する物品情報取得手段103と、前記物品の属性情報を提示する提示部104と、前記物品が存在する位置に応じて前記物品の属性情報を提示する実空間位置を制御する提示位置制御手段105と、を備える。
【選択図】図1A

Description

本発明は、人に特別な機器の装着や操作を強いることなく、物品の属性や状態などの情報(特に見えない情報)を物品の位置付近に直接提示する情報提示装置、及びそれを調理に利用して調理動作を支援する調理支援システムに関する。
情報世界(コンピュータネットワークの世界)に閉じたところでは、その情報をいかに人にわかりやすく提示するか?という課題に多くの取り組みがなされてきた。たとえば、現在普及しているWWWブラウザは、映像を見たり、音楽を聴いたり、文字が読めたり、と統一したインターフェースであらゆる情報にアクセスができる環境を提供している。一方、実世界にも情報はいろんな物に埋め込まれた形で存在し、これらの情報をストレスなく参照できれば便利なことも多い。たとえば、見ただけではわからない、食品の温度や正味期限、物品の所有者、物品が何に使われる物か、等の情報が何らかの方法で参照できると、非常に便利である。
このような、実世界に埋め込まれた情報を参照するには、センシング技術で対象物品の所望の属性を計測し、画面や音などの手段によって提示すればよい。その一つの例としては「秤」があり、対象物品の重量を「秤」で計測し、計測結果を「秤」のLCDに表示するという方法で、実世界に埋め込まれた情報の提示を実現している。また、このような対象物品を移動させずに、HMD(ヘッドマウントディプレー)を用いて、対象物品が存在する場所と人の位置に応じてHMD上に対象物品の情報を重畳表示するというAR(Augmented Reality)という技術も盛んに研究されている。
例えば、特許文献1にAR技術を用いた巡回点検支援システムが開示されている。この特許文献1には、点検者に装着可能なHMDと、複数の点検対象に関する情報を記憶する手段と、その記憶された点検対象に関する情報に対応する画像信号を出力する手段とを備え、その頭部装着型表示装置であるHMDにより、その画像信号に対応する点検対象に関する情報を点検者の視野内に表示するものである。
特開平10−214038号公報
しかしながら、「秤」は、計測したい対象物品をその秤の場所まで移動させたり、対象物品の個数を限定(1個)するなど、それを使用する人にいくつかの制約を課する。
また、AR技術で用いるHMDを通常の生活シーンで装着するというのは、人に過剰な負担を強いることになるのは明らかである。具体的には、例えば、調理の手順情報を調理人にわかりやすく提示するような調理支援システムを構築しようとした場合、調理人がHMDを装着して調理作業を行うことは非常に煩わしいものであり、危険を伴うものである。
以上のように、実世界の物品の情報を参照するためだけに物品を移動させたり、HMD等の特殊な装置の使用を強要するようなシステムは人間中心に考えられたシステムではなく、使いやすいものとは言えない。
従って、本発明の目的は、前記問題を解決することにあって、実世界の物品の情報を参照するためだけに物品を移動させたり、HMD等の特殊な装置の使用を強要することなく、人間の作業を妨げず情報提示を行うことができる情報提示装置、及びそれを利用する調理支援システムを提供することにある。
前記目的を達成するために、本発明は以下のように構成する。
本発明の1つの態様によれば、複数の物品の位置を検出する位置検出部と、
前記物品の属性情報を取得する物品情報取得手段と、
前記物品情報取得手段で取得された前記物品の前記属性情報を提示する提示部と、
前記位置検出部により検出された前記物品の前記位置に応じて、前記提示部による前記物品の前記属性情報を提示する実空間位置を制御する提示位置制御手段と、を備えることを特徴とする情報提示装置を提供する。
本発明の別の態様によれば、複数の物品の位置を検出する位置検出部と、
前記物品の状態情報を取得するセンシング装置と、
前記センシング装置で取得された前記物品の前記状態情報を提示する提示部と、
前記位置検出部により検出された前記物品の前記位置に応じて、前記提示部による前記物品の前記状態情報を提示する実空間位置を制御する提示位置制御手段と、を備えることを特徴とする情報提示装置を提供する。
以上説明したように、本発明による情報提示装置によれば、前記位置検出部により検出された前記物品の前記位置に応じて、前記提示部による前記物品の前記属性情報を提示する実空間位置を提示位置制御手段により制御することができるので、物品が置かれた、まさにその場所付近に物品の属性を検出して表示することができる。よって、見た目では見えない対象物品の情報(重量や温度など)を人が知りたい場合、対象物品をその計測機器(重量であれば秤など)の場所まで移動させたり、作業に妨げとなる動作を強いることがなくなる。また、AR技術で用いるHMDを装着するという煩わしさがなく、人に過剰な負担を強いることもなく、人の動作を妨げない、人中心の情報提示を行うことが可能となる。
本発明の実施の形態について説明する前に、本発明の種々の態様について説明する。
本発明の第1態様によれば、複数の物品の位置を検出する位置検出部と、
前記物品の属性情報を取得する物品情報取得手段と、
前記物品情報取得手段で取得された前記物品の前記属性情報を提示する提示部と、
前記位置検出部により検出された前記物品の前記位置に応じて、前記提示部による前記物品の前記属性情報を提示する実空間位置を制御する提示位置制御手段と、を備えることを特徴とする情報提示装置を提供する。
本発明の第2態様によれば、複数の物品の位置を検出する位置検出部と、
前記物品の状態情報を取得するセンシング装置と、
前記センシング装置で取得された前記物品の前記状態情報を提示する提示部と、
前記位置検出部により検出された前記物品の前記位置に応じて、前記提示部による前記物品の前記状態情報を提示する実空間位置を制御する提示位置制御手段と、を備えることを特徴とする情報提示装置を提供する。
本発明の第3態様によれば、前記センシング装置は、前記物品の前記状態情報として重量及び温度のいずれか少なく一方を検出することを特徴とする第2の態様に記載の情報提示装置を提供する。
本発明の第4態様によれば、前記物品の前記属性情報は形状情報を有し、前記提示位置制御手段は、前記物品あるいは前記物品以外の物品により隠蔽されない位置に、前記物品の前記属性情報を提示することを特徴とする第1の態様に記載の情報提示装置を提供する。
本発明の第5態様によれば、人の位置を検出する人位置検出部をさらに有し、
前記提示位置制御手段は、前記物品の前記位置及び前記人の前記位置に応じて前記物品の前記属性情報を提示する実空間位置を制御することを特徴とする第1の態様に記載の情報提示装置を提供する。
本発明の第6態様によれば、前記物品の前記属性情報は前記物品の形状情報を有し、前記提示位置制御手段は、前記物品により隠蔽されない位置でかつ前記人が存在する方向に前記物品の前記属性情報を提示することを特徴とする第5の態様に記載の情報提示装置を提供する。
本発明の第7態様によれば、人を認証する認証手段と、
前記認証手段により認証された前記人に応じて、前記物品の前記属性情報を提示する提示方法を制御する前記提示方法制御手段を有することを特徴とする第1の態様に記載の情報提示装置を提供する。
本発明の第8態様によれば、調理を行うために料理の調理手順を提示する調理支援システムにおいて、
前記調理手順で使用する物品が存在する位置に応じて前記物品の属性情報を前記物品が存在する実空間に提示する少なくとも一つの、第1〜7のいずれか1つの態様に記載の情報提示装置と、
前記調理手順を示すレシピ情報を記憶するレシピデータベースと、
前記情報提示装置により提示された情報と、前記レシピデータベースに記憶されたレシピ情報とに基づいて、前記調理手順の呼び出し指示を行うためのインタフェースとを備えることを特徴とする調理支援システムを提供する。
以下、本発明の実施の形態について、図面を参照しながら説明する。
以下、本発明のそれぞれの実施形態において、実現するために必要な、本発明に係る対象物品位置検出部の構成及び動作についても説明する。
(第1実施形態)
図1Aは本発明の第1実施形態における情報提示装置の構成図を示している。
本発明の第1実施形態による情報提示装置101は、提示したい情報を有する対象となる物品すなわち対象物品の位置を検出する位置検出部102と、前記対象物品の属性情報を対象物品から直接的に又は間接的に取得するタグリーダなどの物品情報取得手段103と、前記物品情報取得手段103により取得した対象物品の属性情報を提示する提示部104と、前記対象物品の属性情報及び位置に基づき前記提示部に提示する位置を制御する提示位置制御手段105と、位置検出部102からの出力が入力されて対象物品の位置及び重量を記憶する対象物品情報記憶手段106と、対象物品の属性情報の変化をセンシングして検出するセンシング装置108と、外部の装置との通信を行う通信手段109と、情報提示装置101の動作を制御する制御手段107とを有する。
制御手段107には、位置検出部102と物品情報取得手段103と提示部104と提示位置制御手段105と対象物品情報記憶手段106とセンシング装置108と通信手段109とが接続されて、位置検出部102と物品情報取得手段103とセンシング装置108と通信手段109とからの情報が対象物品情報記憶手段106に記憶されるように制御するとともに、前記情報に基づき、提示部104と提示位置制御手段105と通信手段109とを適宜独立して動作制御して情報提示装置101の動作を制御するようにしている。
図1B及び図1C及び図1Dは情報提示装置101の一実現例を示している。図1A及び図1B及び図1C及び図1Dの情報提示装置101は、テーブルなどの設置面115上に置かれかつ対象物品が上面に載置される矩形板状構造体110と、板状構造体110の下部に配置されて板状構造体110に載置された対象物品の重量をそれぞれ検出する少なくとも3個(図1Bでは矩形の各隅に配置された4個)の重量センサ111と、少なくとも3個(図1Bでは4個)の前記重量センサ111からの出力が入力されて前記重量センサ111の出力に基づき前記板状構造体110上の対象物品の位置を計算する位置計算手段112と、前記重量センサ111と位置計算手段112とに接続されて対象物品の位置及び重量を記憶する対象物品情報記憶手段106と、位置計算手段112での位置計算動作と対象物品情報記憶手段106への記憶動作などを制御する制御手段107とを備える。
図1Aの位置検出部102は、図1B及び図1Cの前記重量センサ111及び前記重量センサ111からの出力が入力される位置計算手段102aより構成される。より具体的には、情報提示装置101は、図1Dに示すように、CPU101A、主記憶装置101B、二次記憶装置101C、提示部104の一例としてのディスプレー、物品情報取得手段103の一例としてのタグリーダ、通信手段109、及び重量センサ111などから構成され、位置計算手段112、提示位置制御手段105、及び制御手段107は、二次記憶装置(ハードディスク等)101Cにプログラムとして記憶され、このプログラムを主記憶装置101BにロードしてCPU101Aが実行するように構成してもよい。
本第1実施形態における情報提示装置101の各構成要素について詳細に説明する。まず、板状構造体110の下部に取り付ける少なくとも3個の重量センサ111は、なるべく板状構造体110の外周に近い部分に離して取り付ける。重量センサ111の個数は3個もしくは4個が望ましい。例えば3個の場合は、図2(a)のように二等辺三角形の各頂点に、4個の場合は図2(b)のように長方形の各頂点に配置する。ここで、重量センサ111の数が3個であれば、情報提示装置101を平面(例えば机や床の上)に設置したときに、必ず3個の重量センサ111が設置面115に接触させることができる。また、重量センサ111が4個の場合は、前記板状構造体110自身の重量及び柔軟性も加味することで、4個の重量センサ111を同時に設置面115に接触させることが容易である。重量センサ111が4個より多くなるにつれ、全ての重量センサ111を設置面115に同時に接触させることが困難になる。
なお、重量センサ111と板状構造体110の間に柔軟性のある物質(ゲルやゴムなど)を挟むことで、設置面115により着実に全ての重量センサ111を接触させることが可能となる。
また、板状構造体110に重量センサ111を取り付ける理由は、そのように取り付けることで前記情報提示装置101に可搬性を持たせることができる。
次に、位置計算手段(位置検出部102の内部)112についてその位置計算動作を説明する。まず、第1〜第3(第4)重量センサ111からの出力をn、n,n(、n)とする。通常、重量センサ111の出力は重量に比例した物理量(例えば重量センサ111が歪みセンサの場合は歪み量)であるので、その出力値に係数をかけて補正及び重量に換算する。この係数は、既定の重量の対象物品を既定の位置に置き、そのときの重量センサ111の出力を求めることを係数の数だけ行い、係数に関する連立方程式を解くことで求めることができる。その係数を重量センサ111毎に、c,c,c(,c)とすると、各重量センサ111にかかる重量(m,m,m(,m))は、c×n,c×n,c×n(,c×n)となる。以降では、重量センサ111の出力は重量に換算されているとし、その出力の値を(m,m,m(,m))とする。
次に、重量センサ111の配置に応じて対象物品の位置を計算する。
<重量センサ111が3個の場合>
図2(a)のように、3つの重量センサ111を2等辺3角形の各頂点に配置し、板状構造体110の上の座標系を、例えば、板状構造体110の長手方向をx軸とし短手方向をy軸と定義する。すると、対象物品の重量mは、
(数1)
m=m+m+m
となり、対象物品の座標位置(x,y)は簡単な計算により、
(数2)
(x,y)=(b・m/m,a(m−m)/m)
となる。
<重量センサ111が4個の場合>
図2(b)のように、4つの重量センサ111を長方形の各頂点に配置し、板状構造体110の上の座標系を定義する。すると、対象物品の重量mは、
(数3)
m=m+m+m+m
となり、対象物品の座標位置(x,y)は簡単な計算により、
(数4)
(x,y)=(b・(m+m)/m,a・(m+m)/m)
となる。
なお、2等辺3角形(3個の場合)や長方形(4個の場合)の外部に対象物品が存在する場合は、出力が負となる重量センサ111が現れるが、板状構造体110が柔軟性を持つことで板状構造体110自体の重量が依然としてその重量センサ111へ過重してしまい、本来の出力より小さくなる可能性がある。そのため、可能な限り重量センサ111に囲まれた領域(2等辺3角形及び長方形の領域)に対象物品を設置することが望ましい。あるいはなるべく硬度の高い材質(ガラスなど)で前記板状構造体110を使用するのがよい。
また、前記では重量センサ111の配置を2等辺3角形及び長方形としたが、これに限るものではなく、任意の3角形、4角形に配置し、その配置に応じた位置計算を位置計算手段112により行うことが可能であることは言うまでもない。
あるいは、予め重量が既知の対象物品(分銅など)を位置がわかった点に置き、そのときの重量センサ111の出力を求める。この作業を複数の点について求め、そのときの重量センサ111の出力比をテーブルにして位置計算手段112内のメモリに記憶させておき、実際に計測する対象物品が置かれた場合には、重量センサ111の出力比を位置計算手段112により求め、位置計算手段112により前記テーブルを参照することでその位置を知ることができる。
物品情報取得手段103は、対象物品固有の属性情報を取得する。例えば、物品情報取得手段103は、板状構造体110の周囲に三重程度に巻かれて配置されたアンテナなどより構成されるRFIDタグ(Radio Frequency Identificationタグ)(物品の識別に利用される微小な無線ICチップ。物品自体の識別コードなどの情報が記録されており、電波を使って情報を送受信する能力を持つもの。)のリーダである。対象物品に予め取り付けたRFIDタグ(これには対象物品のIDや、メモリが十分ある場合にはその他の対象物品の物品属性(例えば、名称、重量、温度など)が書き込まれている。)から、対象物品IDをRFIDタグのリーダにより読み取り、インターネット150を利用することで前記対象物品IDに紐づけられた物品固有の情報(製造者が記録する、形状、重量、重心位置、製造者情報、食料であれば単位重量あたりのカロリーや賞味期限など)を取得することができる。図3(a)は、このような物品の属性情報であり、対象物品IDを物品情報取得手段103が取得すると、取得した対象物品IDに基づき、物品情報取得手段103が、制御手段107と通信手段109とを介して、インターネット150上のサーバー151に接続して、サーバー151(サーバー151に接続されてた記憶手段)から通信手段109を介して、対象物品IDの物品情報を取得したり、対象物品IDを予想して予め以下で述べる対象物品情報記憶手段106に記憶しておいてもよい。
対象物品情報記憶手段106(対象物品の重量、座標位置を記録)は、検出した対象物品の重量(m)と座標位置(x,y)を対にして、対象物品IDに関連付けて記憶しておく。図3(b)は、対象物品情報記憶手段106に記録されかつ対象物品IDに関連付けられた、対象物品の重量と座標位置(図3(b)では局所位置として表示。)の対を示している。この対象物品情報記憶手段106に記憶された情報は、前記情報提示装置101の板状構造体110上に複数の対象物品を一つずつ置いてゆく場合に、検出された対象物品の重量と座標位置を、対象物品情報記憶手段106に逐次記録し、載せた順とは無関係に対象物品を下ろしてゆく場合に、どの対象物品が下ろされたか、減少した重量とその座標位置から制御手段107が判断するために使用する。対象物品を載せる場合と取り去る場合の処理手順に関しては、後で詳しく述べる。なお、図3(b)の「茶碗」は食器としての「茶碗」と食材としての「ご飯」を合わせた情報となる。
対象物品に関する情報としては、このように物品の製造時に確定する物品固有の情報の他に、使用中に様々に変化する情報があり得る。例えば、食料品であれば使用されることにより重量が減少し、調理されることにより温度が変化する。このような情報を取得するセンシング装置108(例えば、重量センサや温度センサなど)を設け、通常は、対象物品の外観からは見えないこれらの情報を、前記情報提示装置101で対象物品が存在する実空間上に明示的に提示することで、ユーザーに利便性や安全性を与えることが可能となる。例えば、センシング装置108が重量センサ111であれば、現在の重量を計測し提示したり、さらにその物品が食料品であれば、前記物品情報取得手段103で得られた単位重量あたりのカロリーに前記重量(食器自体の重量を差し引いたもの)を乗ずることで、カロリーを表示させたりすることが可能となる。そして、第1実施形態では重量センサ111は対象物品の位置検出と重量計測とを兼ね備えているので、センシング装置108を有する場合の実施形態をも同時に示している。
図4Aに示したように、重量以外にも、前記板状構造体110Aに格子状に多数の温度センサ(熱電対)108Aを付けることで、板状構造体110Aの上面の熱分布を計測することができ、前記位置検出部102で得られた対象物品の位置に基づいて該対象物品の温度を対象物品情報として物品情報取得手段103で取得することが可能となる。そして、図4Bのように、対象物品が載置されるお盆の部分に、温度により色が変わるような液晶表示部などの提示部104を備えることにより、温度センサ(熱電対)108Aより検出された対象物品の温度に基づき、対象物品が載置された部分の提示部104の色により、対象物品の現在温度を表示することで、対象物品(加熱した鍋など)が熱いのかどうかを目視しただけで知ることができ、安全性を確保できたり、調理した料理が冷めているかを目視で判断できるので、再度暖めるなどの判断に用いることができる。
提示位置制御手段105は、位置検出部102で検出された対象物品の位置、及び物品情報取得手段103で得られた対象物品の形状・重心位置等を用いて、前記提示部104に対象物品の情報(たとえば、名称、現重量、食料品であればカロリーなど)を提示する位置を求め、提示部104に表示する。
図6は提示位置制御手段105の動作を説明するためのフローチャートである。図5Aは提示位置制御手段105で物品情報を表示する位置を決定する方法を説明する図である。ここでは、人と情報提示装置101の位置関係は常に一定であり、人が常に情報提示装置101の手前(図5Aでは下の方向)に居るものとする。なお、ステップF01〜F05までは、情報提示装置101の提示部104とほぼ同じ大きさの画像を用意して、文字表示位置や文字の大きさを判断する。
ステップF01:まず、対象物品A1の位置(位置検出部102で得られた位置)から人900が居る方向(図では下方向)へ直線(人方向線)L10を引く。
ステップF02:次に、対象物品A1の位置から対象物品A1の形状及び重心位置G1を中心とし対象物品A1の形状を内包する外接円C1を描く。ここで、対象物品情報記憶手段106に記憶された対象物品A1の形状は、なるべく細かく記述されてるほうがよく、例えば、図3(a)のように概形状とそのサイズという方法で対象物品の上から見た大まかな外接形状を記述することができる。概形状が円ならば、その半径(サイズ1)を、概形状が長方形ならば、その縦(サイズ1)・横(サイズ2)の長さを記憶しておく。このような情報は、前にも述べたように、食器の電子タグの対象物品A1のIDなどを用いて、ネットワーク150を介して食器の製造者から取得することが可能である。
ステップF03:そして、前記直線(人方向線)L10と外接円C1が交わる点より手前側(人900の側)に、文字の基準線L1が前記直線(人方向線)L10と直交するように表示位置を仮決めする。なお、前述したが、ここでは説明の為に、人方向線L10、外接円C1、文字基準線L1を図示したが、実際には提示部104に表示されるのは文字のみである。
ステップF04:さらに、対象物品A1以外に他の物品も存在することを考慮して、対象物品A1の情報を他の物品に遮られないような場所に表示するため、対象物品A1の表示位置が他の物品に遮られるか否かを判断する。具体的には、対象物品A1の表示位置が手前の物品に重なって遮られるか否かを判断する。ステップF04で、対象物品A1の表示位置が手前の物品に重なって遮られると判断した場合には、ステップF05に進む。ステップF04で、対象物品A1の表示位置が手前の物品に重なって遮られないと判断した場合には、ステップF06に進む。
ステップF05:図5Bは、一例として、注目する物品A1の手前に他の物品A2が存在する状況を示した図である。物品A1の(手前の人900から見て)手前左に物品A2が存在する。この場合も図5Bと同様の方法で文字の基準線L1を求めるところまでは同様であるが、物品A2に対象物品A1の表示が隠れないように、文字の基準線L1沿いの左右方向(図5Bの場合は右方向)へ対象物品A1の表示位置をシフトする。
ステップF06:またさらに、シフトした表示位置に文字を表示した場合、さらにまた別の物品に遮られるか否かを判断する。別の物品に遮られると判断した場合には、ステップF07に進む。別の物品に遮られないと判断した場合には、ステップF08に進む。
ステップF07:別の物品に遮られると判断した場合には、文字の大きさを小さくして、別の物品に隠れないようにする。ただし、文字の最小の大きさは決めておき、それ以上小さくならないようにするのが望ましい。最小の文字の大きさでも別の物品に遮られると判断した場合には、人方向線L10と提示部104の外周が交わる点を中心に文字の基準線L1を前記提示部104の外周線に一致させて表示する。このときの文字の大きさは予め定めた大きさとする。なお、いずれの場合においても、人の方向に近い物品から情報を提示する処理を行い、文字同士も重ならないようにするのが望ましい。あるいは文字が重なる場合は色を変えて提示するのが望ましい。
ステップF08:以上のようにして決められた表示位置及び文字の大きさで文字を表示することにより、情報提示を行う。この情報提示の詳細については次に説明する。
以上のような手順で、制御手段107により提示位置制御手段105などの各手段の動作を制御しながら、提示位置制御手段105の動作を行わせる。より具体的には、制御手段107は、二次記憶装置(ハードディスク等)101Cに記憶されたプログラムをロードし実行することで、情報提示装置101の動作を制御手段107により制御する。
図7Aは、本第1実施形態の動作を説明するフローチャートである。図7Aのフローチャートを用いて、制御手段107による制御の下で行われる情報提示装置101の情報提示動作を説明する。
ステップA01:対象物品情報記憶手段106に記憶された物品情報に基づき、提示位置制御手段105を用いて提示位置を求める。ここで、対象物品情報記憶手段106に物品情報が一つも記憶されていない場合は、何もしない。
ステップA02:対象物品情報記憶手段106に記憶された各物品情報に対して求めた提示位置に基づき、提示部104の情報提示を更新する。ステップA01で対象物品情報記憶手段106に物品情報が一つも記憶されていないために何もしなかった場合は、ここでも情報提示の更新はしない。なお、対象物品の追加又は削除を検出する前に、情報提示を更新するのは、以下の理由からである。図7Aのフローチャートは本情報提示装置が動作している間、常に処理を行っている場合について示したものである。電源ON時、初期状態では本情報提示装置の上には何も載せられていないので、情報提示は何も行われない。つまり、何も表示しない状態にリセットされる。あるいは、対象物品情報記憶手段106に情報が記憶されたまま、しかもその情報が本情報提示装置の上の物品の状態と一致していた場合は、その状態で電源をONしたら、物品が新たに追加・削除されなくても対象物品情報記憶手段106の情報が提示されることになる。ただ、単に「終了」としてしまうと、常に変化する状態を検知して提示するという処理ができなくなるので、無限ループ(電源OFFまで同じ処理を繰り返す)になっている。
ステップA03:板状構造体110に対して対象物品の追加又は削除があったか否かを位置検出部102により検出する。ステップA01で対象物品情報記憶手段106に物品情報が一つも記憶されていないために何もしなかった場合でも、対象物品の追加又は削除があったか否かを検出して、以下のステップに進む。
ステップA04:もし、物品が追加又は削除された(物品の増減も含めた追加又は削除された)と位置検出部102で検出された場合には、ステップA05へ進み、物品が追加又は削除されたことが位置検出部102で検出されなかった場合はステップA03に処理を戻す。すなわち、物品が追加又は削除されたと位置検出部102で検出されるまで、次のステップA05へは進まない。
ステップA05:ステップA04において、物品が追加又は削除されたと位置検出部102で検出された場合は、位置検出部102で得られた物品の位置などの物品情報、センシング装置108で得られた物品の重量や温度などの物品情報、及び物品情報取得手段103で得られた物品の属性情報などの物品情報をそれぞれ検出し、対象物品情報記憶手段106の対応する物品の情報を書き換えて終了する。
なお、カロリーのように、その重量と食品の単位重量あたりのカロリーから計算するような場合、図AのステップA05の後に、そのような計算動作、すなわち総カロリー及び/又は料金計算をして所定の位置に提示する(ステップA06)が入る。このとき、対象物品情報記憶手段106に記憶されている食品毎に決められた単位重量あたりのカロリーに、その食品の重量を制御手段107により乗じたものをその食品のカロリーとし、全ての食品のカロリーを制御手段107により合計することにより総カロリー計算を行うことができる。また、対象物品情報記憶手段106に記憶されている食品毎に決められた金額を制御手段107により合計することにより料金計算を行うことができる。
以上の動作を繰り返し行うことで、常に情報提示装置101の上に置かれた物品の最新情報を提示部104に表示することが可能である。
制御手段107の制御に基づく、前記ステップA03〜A05(図7Aの点線の内部)の動作について図9のフローチャートを用いて詳しく説明する。既に、図1Cに示されるように、情報提示装置101の板状構造体110には複数の物品A1,A5が載せられているとする。この時の状況として、4個の各重量センサ111の出力m1(n),m2(n),m3(n),m4(n)が対象物品情報記憶手段106に記憶されている。そこへ、ある物品A20を板状構造体110に載せるような状況を考える。ここで、nは、物品が載置、あるいは取り去られた回数を示し、例えば、m(n)は出力mの時系列を表している。
ステップ601で、周期的に重量センサ111の出力値を読み取る。すなわち、所定時間毎に重量センサ111の出力値が制御手段107に入力される。ここで、周期的に重量センサ111の出力値を読み取る、とは、数秒、又は数十秒単位に、制御手段107に重量センサ111の出力値が入力されて、以下のステップを行うようにすることを意味する。
ステップ602で、読み取られた重量センサ111の出力値が、対象物品情報記憶手段106に記憶されている重量センサ111の出力値と制御手段107により比較して、重量センサ111の出力が増加するかどうかを制御手段107が判断することで、物品が板状構造体110に載せられたか否かを制御手段107が判断する。もし、重量センサ111の出力が増加したと制御手段107が判断すれば、その値が安定した頃を見計らって(例えば、数秒程度の所定時間経過後に)重量センサ111の出力(m1(n+1),m2(n+1),m3(n+1),m4(n+1))を再度読み取る。そして、位置計算手段112で、再度読み取られた重量すなわち新たに置かれた対象物品A20の重量と位置を計算する。この時、
(数5)
=m1(n+1)−m1(n)
=m2(n+1)−m2(n)
=m3(n+1)−m3(n)
=m4(n+1)−m4(n)
として、前に示したように重量m(正値)は、
(数6)
m=m+m+m+m
となり、新たに置かれた対象物品A20の座標位置(x,y)は、
(数7)
(x,y)=(b・(m+m)/m,a・(m+m)/m)
となる。
次に、ステップ603で、物品情報取得手段103の一例としてのタグリーダを制御手段107により動作させ、板状構造体110上の、すべての対象物品(新たに置かれた対象物品A20を含むすべての対象物品)A1,A5,A20のタグを読み取って、すべての対象物品A1,A5,A20のIDを物品情報取得手段103で取得する。
そして、ステップ604では、板状構造体110上に載置されていた物品A1,A5のIDは対象物品情報記憶手段105にすべて蓄積されているので、制御手段107により、新たに対象物品A20が置かれた後に読み取られて物品情報取得手段103で取得された物品A1,A5,A20のIDと対象物品情報記憶手段105に蓄積されている物品A1,A5のIDとを制御手段107により比較して、対象物品情報記憶手段106に存在しない物品A20のIDを制御手段107により特定する。ここで、もし、追加された物品のIDが複数検出された場合には、それらの物品のIDをまとめて対象物品情報記憶手段106に記憶しておく。
そして、ステップ605で、取得された、重量m、座標位置(x,y)及び物品情報(少なくとも追加された物品A20のID)とを組にして、前記対象物品情報記憶手段106に蓄積する。
逆に、物品が情報提示装置101から取り除かれた場合について説明する。図9には物品を取り去るときのフローチャートも含まれている。物品を板状構造体110に載せる時と同様に、情報提示装置101の板状構造体110には複数の物品A1,A5が載せられているとする。この時の状況として、4個の各重量センサ111の出力m1(n),m2(n),m3(n),m4(n)が対象物品情報記憶手段106に記憶されている。そこから、ある物品A5を板状構造体110から取り去るような状況を考える。
ステップ601及びステップ602で重量が増加していないと制御手段107が判断すれば、ステップ606で、重量センサ111の出力が減るかどうかを制御手段107が判断し、重量センサ111の出力が減ったと制御手段107が判断することで物品A5が取り去られたことを知る。もし、重量センサ111の出力が減少したと制御手段107が判断すれば、その値が安定した頃を見計らって(例えば、数秒程度の所定時間経過後に)重量センサ111の出力(m1(n+1),m2(n+1),m3(n+1),m4(n+1))を再度読み取る。そして、位置計算手段112で、再度読み取られた重量すなわち取り去られた物品A5の重量と位置を計算する。この時、
(数8)
=m1(n+1)−m1(n)
=m2(n+1)−m2(n)
=m3(n+1)−m3(n)
=m4(n+1)−m4(n)
として、前に示したように重量m(負値)は、
(数9)
m=m+m+m+m
となり、取り去られた対象物品A5の座標位置(x,y)は、
(数10)
(x,y)=(b・(m+m)/m,a・(m+m)/m)
となる。
次に、ステップ607で物品情報取得手段103の一例としてのタグリーダを制御手段107により動作させ、板状構造体110上の、すべての対象物品(取り去られた対象物品A5を除くすべての対象物品)A1のタグを読み取って、対象物品A20のIDを物品情報取得手段103で取得する。
そして、ステップ608では、取り去る前の板状構造体110上の物品A5のIDは対象物品情報記憶手段105に蓄積されているので、物品A5が取り去られた後に読み取られて物品情報取得手段103で取得された物品A1のIDと対象物品情報記憶手段105に蓄積されている物品A1,A5のIDとを制御手段107により比較して、対象物品情報記憶手段106にしか存在しない物品A5のIDを制御手段107により特定する。ここで、もし、取り去られた物品のIDが複数検出された場合には、それらの物品のIDをまとめて対象物品情報記憶手段106に記憶しておく。
そして、ステップ609で、取得された、重量(−m)、座標位置(x,、y)及び物品情報(少なくとも取り去られた物品A5のID)に対応する、前記対象物品情報記憶手段106内のエントリ(物品A5の記憶)を抹消する。この時、物品が追加されたときは複数の物品が同時に追加され、複数の物品の一部の物品を取り去る場合は、対象物品情報記憶手段106の複数の物品が組になっているエントリのうち、消滅した物品のIDのみを消し、重量(複数物品の合計)から消滅した物品の重量を差し引いておく。
なお、重量センサ111の出力の増加・減少が安定するのを見計らうとしたが、具体的には一定時間(1秒など)待つ、と決めておくことで実現できる。計時機能は、通常、CPU101Aの動作クロックを計数することで得ることができる。
さらに、物品が追加されたか又は物品が取り去られたかの判断は、重量センサ111の出力の和(m)が正か負かで制御手段107により判断する。また、物品が取り去られたことを重量が減少したタイミングで制御手段107により判断してもよい。また、物品が取り去られた場合は、重量や座標位置を計測するまでもなく、物品情報取得手段103の一例としてのタグリーダで検出された物品と前記対象物品情報記憶手段106内に記憶されている物品との間で、前記対象物品情報記憶手段106内にしかない物品が取り去られたとしてもよい。
また、これまでは物品が追加・削除された場合について述べたが、物品が、料理を載せた食器である場合のように、ユーザーが料理を食したり、コップに追加の飲み物を注いだ場合にも重量が増減するが、ステップ603やステップ607で物品情報取得手段103の一例としてのタグリーダを動作させても、物品の数は変化しない。この場合は、重量が増減した物品の位置情報に基づき、制御手段107により、対象物品情報記憶手段106内に記憶されている物品を特定し、どの物品の重量が増減したかを知ることができる。例えば、増減が発生した位置と、対象物品情報記憶手段106内の各物品の位置との距離を制御手段107により求め、その距離が所定の値(料理皿であれば、皿の半径の1/2等)以下であれば、同一物品の重量が増減したと制御手段107により判断できる。
図4Bはこのような情報提示装置101を食卓、キッチン、トレー等に設置し、その上に置かれた食品の名称、重量、カロリー、温度を表示している例である。図4Bにおいて、A1はご飯、A2はみそ汁、A3はビール、A4は焼き魚、P1はお盆である。温度は、図4Bに示したようにその温度に応じた表示色を用いて提示してもよい。なお、カロリーのように、その重量と食品の単位重量あたりのカロリーから計算するような場合、図7AのステップA05の後にそのような計算動作(ステップA06)が入る。
図4Bのような情報提示装置101は、飲食店でのトレーとして用いることができる。図7Aのフローチャートにあるように、トレーの上の料理の重量を逐次計測し、料理の総カロリー・摂取カロリー・残カロリー及び料金を所定の場所に提示することができる。
図3(b)にも示したように、総カロリーを計算するために、各料理(食器毎に管理)の最大重量も求めて対象物品情報記憶手段106に記憶しておく。この最大重量を求める方法は、対象物品情報記憶手段106に記憶された対象物品のID毎に逐次重量を計測し(現重量)、対象物品の重量が増加した場合、その増加量を対象物品情報記憶手段106に記憶された最大重量に加算する。なお、各対象物品のIDの最大重量は、最初にその物品が置かれた時(対象物品情報記憶手段106に前記物品が登録された時)の重量が、制御手段107により設定されるものとする。同じ食器でお変わり(ご飯やビール)をした場合でも、総カロリーや料金を正しく計算できるようにする必要がある。
図7Bは図7AのフローチャートのステップA06をさらに詳細にしたフローチャートである。なお、図7AのステップA04では物品の増減も含めた追加又は削除(つまり、状態が変化したということ)を検出するため、図7Bのフローチャートに示す処理は、すでに、物品が増加又は減少も含めた追加又は削除された場合にのみ行われることになる。そして、物品が増加又は追加した場合にのみ、ステップA08が実行される。これは、上記したように最大重量を求めるためである。
ステップA07:ステップA05で取得した、位置検出部102で得られた物品の位置などの物品情報、センシング装置108で得られた物品の重量や温度などの物品情報、及び物品情報取得手段103で得られた物品の属性情報などの物品情報に基づき、物品の重量が増えたか否か、又は、物品が追加されたか否かを制御手段107により判断する。物品の重量が増えた場合か、又は、物品が追加された場合にはステップA08に進む。物品の重量が増えず、かつ、物品が追加されていない場合にはステップA09に進む。
ステップA08:重量が増加した物品毎に、対象物品情報記憶手段106の現重量(対象物品情報記憶手段106に記憶されていた重量)からの増加量を制御手段107により求め、前記対象物品情報記憶手段106の対応する対象物品IDの最大重量にその増加量を制御手段107により加算して、対象物品情報記憶手段106に記憶更新させる。
ステップA09:各物品(料理)毎に対象物品情報記憶手段106に記憶更新された最大重量から、その物品に用いてる食器の重量を制御手段107により減じることで、料理単体の重量を得る。そして、対象物品情報記憶手段106に記憶されている各料理の単位重量あたりのカロリーを料理単体の重量に制御手段107により乗じる。この計算を全ての料理に対して制御手段107により求め、制御手段107により合計することで、総カロリーを計算できる。
ステップA10:料金は、対象物品情報記憶手段106に記憶されている料理毎に決められた金額を制御手段107により合計することで求める。お変わりをした場合は、重量が増加した量に応じて制御手段107により加算する。
ステップA11:摂取カロリーは、各物品(料理)毎に対象物品情報記憶手段106に記憶された最大重量から現重量を制御手段107により減じることで、摂取した重量が求められ、各料理の単位重量あたりのカロリーを制御手段107により乗じる。この計算を全ての料理に対して制御手段107により求め、制御手段107により合計することで、摂取カロリーを計算できる。
ステップA12:残カロリーは、総カロリーから摂取カロリーを制御手段107により減じることで得られる。
ステップA13:そして、制御手段107により提示位置制御手段105を制御して、情報提示装置101に載せられた料理の総カロリー、摂取カロリー、残カロリー、及び料金を所定の場所に提示する。
図8は、本情報提示装置101Eを飲食店のお盆に用いて、料理の総カロリー・摂取カロリー・残カロリー及び料金を提示している例である。さらに、認証部(ICカードリーダ、指紋又は虹彩認証部など)130、及び操作ボタン131,132を具備し、使用者がそのICカードを、お盆である情報提示装置101Eの認証部130にかざすと、精算をしていいかの確認メッセージが提示部104に提示される。もし、精算をしてよければ、「OK」の操作ボタン131を使用者が押すことで、通信手段109及びを介してつながっているクレジット会社のサーバー151Aから料金が飲食店に支払われる。もし、誤りがあれば「NG」の操作ボタン132を使用者が押して、店内の精算場所で精算をするといったことができる。
このように構成すれば、健康を管理している人がカロリーの取り過ぎを管理することを支援したり、飲食店での精算を簡素化することが可能となるシステムを提供することが可能となる。
以上のように、物品の位置及びその形状に応じて物品の情報(名称、現重量、カロリー等)を他の物品で隠れないよう考慮しながら、その物品が存在する場所付近に提示できるので、人は特別な装置を装着したり、物品情報を見るために別の場所(たとえば秤)に移動しなくてもよい。また、秤などとは異なり、複数の物品の情報を一度に視認可能である。
(第2実施形態)
本発明の第2実施形態にかかる情報提示装置701は、第1実施形態の情報提示装置101にさらに人位置検出部702を設け、提示位置制御手段703が、人位置検出部702で検出された人の位置に応じて提示位置を制御する例を示す。人位置検出部702及び提示位置制御手段703以外の構成に関しては第1実施形態と同等である。
図10A,図10Bは、人位置検出部702を含む情報提示装置701の一実現例を示している。この例では、長方形板状の情報提示装置701のすべての周囲すなわちすべての側面に、人位置検出部702の一例として焦電センサ等が複数(より具体的には、それぞれ、長辺側の側面には3個、短辺側の側面には2個)設置されており、人の近くにある焦電センサの電気的出力が最も大きく変化するため、電気的出力が最も大きく変化する焦電センサが配置されている側面の近くに人が居ることになり、人の位置(方向)を知ることができる。図10Bの場合には、情報提示装置701の右側の側面に配置されている2つの焦電センサの電気的出力がそれぞれ、他の側面の焦電センサの電気的出力よりも、最も大きく変化するため、情報提示装置701の右側の側面に人が居ることを検出することができる。すなわち、図11A,図11Bは、本第2実施形態における情報提示装置701を上から見た図である。人900が右の方に立っていると、情報提示装置701の右側の側面に取り付けられた焦電センサ702の出力分布が得られ、人900が立っている方向に対応する部分に焦電センサ702の出力のピークが現れる。人位置検出部702の一例である焦電センサ702の出力ピーク位置を制御手段107により検出することで、人900の位置(方向)を制御手段107により検出することができる。
なお、人位置検出部702としては、この例では焦電センサを用いたが、その他にも超音波センサ又は光電センサなどの障害物センサを用いても構わない。この場合は、障害物までの距離分布が求められるため、距離が変化する(短くなった)所に人がいると判断することで、人位置検出部を実現することができる。
この他にも、人位置検出部702としては、情報提示装置701の設置環境内(天井や壁など)にカメラを設置し、人の位置を検出する方法も数多く提案されている。この場合、情報提示装置701に対する、人の相対位置を計測するために、情報提示装置701の位置が既知とするか、又は、情報提示装置701自体の位置・姿勢を前記カメラで認識する必要がある。後者の情報提示装置701の位置・姿勢をカメラで認識する場合、認識しやすくするために、提示部104に特殊な非当方性の画像パターン(矢印など)を表示する方法が適している。
さらに、第1実施形態では、前述では物品形状を得るために、物品情報取得手段(物品に取り付けられたRFIDタグ利用)などから直接得るとしていたが、カメラがあればその形状を計測したり、その際形状の計測がやりやすいように、提示部104に、ある色(青など)を表示する等の工夫が可能となる。
提示位置制御手段703は、位置検出部102で得られた対象物品の位置、物品情報取得手段103で得られた物品の形状及び重心位置、前記人位置検出部702で得られた人900がいる方向に基づき、物品の情報を提示する位置及び姿勢(文字列の傾き)を決定し、提示部104に表示する。図11Aは提示位置制御手段703で物品情報を表示する位置及び姿勢を決定する方法を説明する図である。まず、対象物品の位置から人900がいる方向へ直線L10を引く。次に、物品の位置801から対象物品の形状及び重心位置G1を中心とし対象物品の形状を内包する外接(楕)円C1を描く。そして、直線L10と外接(楕)円C1が交わる点より人側に、人900から見て読めるように文字の基準線L2を人の方向線L10と直交するように表示する。
さらに、他の物品も存在することを考慮して、他の物品に遮られないような場所に表示する。図11Bは、注目する物品の手前に他の物品が存在する状況を示した図である。物品A1の(人900から見て)手前左に物品A11が存在する。この場合も図11Aと同様の方法で文字の基準線L2を求めるところまでは同様であるが、物品A11に表示が隠れないように図11Bの上方向へ表示位置をシフトする。
以上のような各手段を用いて、制御手段107は、先の実施形態と同様に、二次記憶装置(ハードディスク等)101Cに記憶されたプログラムをロードし実行することで、情報提示装置701の動作を制御する。
図12は本第2実施形態の動作を説明するフローチャートである。図12のフローチャートを用いて、制御手段107による制御の下で行われる情報提示装置701の動作を説明する。
ステップB01:人位置検出部702で人900の位置を求める。
ステップB02:対象物品情報記憶手段106に記憶された物品情報及び人位置検出部702で得られた人位置情報に基づき、提示位置制御手段703を用いて提示位置を求める。ここで、対象物品情報記憶手段106に物品情報が一つも記憶されていない場合は、何もしない。
ステップB03:対象物品情報記憶手段106に記憶された各物品情報に対して、求めた提示位置に基づき、提示部104の情報提示を更新する。ステップB02で対象物品情報記憶手段106に物品情報が一つも記憶されていないために何もしなかった場合は、ここでも情報提示の更新はしない。
ステップB04:板状構造体110に対して対象物品の追加又は削除があったか否かを位置検出部102により検出する。ステップB02で対象物品情報記憶手段106に物品情報が一つも記憶されていないために何もしなかった場合でも、対象物品の追加又は削除があったか否かを検出して、以下のステップに進む。
ステップB05:もし、物品が追加又は削除されたと位置検出部102で検出された場合には、ステップB06へ進み、物品が追加又は削除されたことが位置検出部102で検出されなかった場合はステップB01に処理を戻す。すなわち、物品が追加又は削除されたと位置検出部102で検出されるまで、次のステップB06へは進まない。
ステップB06:ステップB05において、物品が追加又は削除されたと位置検出部102で検出された場合は、位置検出部102で得られた物品の位置などの物品情報、センシング装置108で得られた物品の重量や温度などの物品情報、及び物品情報取得手段103で得られた物品の属性情報などの物品情報をそれぞれ検出し、対象物品情報記憶手段106の対応する物品の情報を書き換えて終了する。
以上の動作を繰り返し行うことで、常に情報提示装置701の上に置かれた物品の最新情報を人の位置も加味しながら提示部104に表示することが可能である。
以上のような構成によれば、人の立っている場所や、その他の物品の位置に応じて対象物品の情報を、その人が認識しやすいように前記対象物品の位置付近に表示することが可能となる。
(第3実施形態)
本発明の第3実施形態にかかる情報提示装置901は、第2実施形態にかかる情報提示装置701に、さらに認証部902、提示方法制御手段903を設け、その人が誰かに応じて提示する方法を制御するものである。認証部902及び提示方法制御手段903以外の構成に関しては第2実施形態と同等である。
図13A及び図13Bは、認証部902を有する情報提示装置901の一実現例を示している。この例では、情報提示装置901に認証部902として指紋認識技術が用いられており、人がそこに指で触れることでその人が誰であるかを認識し、その人に応じた表示の仕方を行うことができる。例えば、その人が子供であれば、表示する文字を平仮名でかつ大きな文字にするとか、老人であれば文字を大きくするとか、色盲の人であれば見やすい色で表示する等、である。
認証部902として、指紋認識技術を用いる場合、家庭内であれば家族全員の指紋を認証部902内の記憶部にあらかじめ登録しておき、使用時に指を置くことにより、認証部902により認証する。指紋認識技術はすでに実用化されており、詳細については省略する。また、家庭であれば、家族用にボタン(例えば6個のボタン)を認証部902として具備し、各ボタンに家族のそれぞれの人を割り当てておくことで、使用する前に、自身に割り当てられたボタンを押すことで利用者を特定することができる。さらに、年齢毎に割り当てられたボタンを用意することも可能である。例えば、「4〜8歳」用ボタン(ひらがなで20ポイント)、「9歳〜40歳」用ボタン(漢字で12ポイント)、「41歳〜」用ボタン(漢字で24ポイント)等である。利用者は自分に合ったボタンを押すことが可能である。もちろん、大きな字を見たい利用者は、「41歳〜」用ボタンを押すことも可能である。
提示方法制御手段903は、位置検出部102で得られた対象物品の位置、物品情報取得手段103で得られた形状及び重心位置、前記認証部902で得られた結果に基づき、物品の情報を提示する方法を図13Cに示したようなテーブル例に基づき決定し、提示部104に表示する。例えば、祖父が情報提示装置901を使用する場合、物品の情報は通常の文字種類(漢字仮名交じり文)で文字の大きさを24ポイントと大きめに表示する。
以上のような各手段を用いて、制御手段904は、先の実施形態と同様に、二次記憶装置(ハードディスク等)101Cに記憶されたプログラムをロードし実行することで、情報提示装置901の動作を制御する。
図14は本第3実施形態の動作を説明するフローチャートである。図14のフローチャートを用いて、制御手段904による制御の下で行われる情報提示装置901の動作を説明する。
ステップC01:対象物品情報記憶手段106に記憶された物品情報及び人位置検出部702で得られた人位置情報に基づき、提示位置制御手段703を用いて提示位置を求める。ここで、対象物品情報記憶手段に物品情報が一つも記憶されていない場合は、何もしない。
ステップC02:認証部902でユーザーを特定する。
ステップC03:特定されたユーザー情報に基づき提示方法制御手段903で提示方法を求める。
ステップC04:対象物品情報記憶手段106に記憶された各物品情報に対して、求めた提示位置に基づき、提示部104の情報提示を更新する。ステップC01で対象物品情報記憶手段106に物品情報が一つも記憶されていないために何もしなかった場合は、ここでも情報提示の更新はしない。
ステップC05:板状構造体110に対して対象物品の追加又は削除があったか否かを位置検出部102により検出する。ステップC01で対象物品情報記憶手段106に物品情報が一つも記憶されていないために何もしなかった場合でも、対象物品の追加又は削除があったか否かを検出して、以下のステップに進む。
ステップC06:もし、物品が追加又は削除されたと位置検出部102で検出された場合には、ステップC07へ進み、物品が追加又は削除されたことが位置検出部102で検出されなかった場合はステップC01に処理を戻す。すなわち、物品が追加又は削除されたと位置検出部102で検出されるまで、次のステップC07へは進まない。
ステップC07:ステップC06において、物品が追加又は削除されたと位置検出部102で検出された場合は、位置検出部102で得られた物品の位置などの物品情報、センシング装置108で得られた物品の重量や温度などの物品情報、及び物品情報取得手段103で得られた物品の属性情報などの物品情報をそれぞれ検出し、対象物品情報記憶手段106の対応する物品の情報を書き換えて終了する。
以上の動作を繰り返し行うことで、常に情報提示装置901の上に置かれた物品の情報を人が誰であるかに応じて提示部104に表示することが可能である。
以上のように、その人が誰であるかや、その他の物品の位置に応じて対象物品の情報を、その人が認識しやすいように前記対象物品の位置付近に表示することが可能となる。
(第4実施形態)
本発明の第4実施形態は、第1実施形態〜第3実施形態のいずれかの情報提示装置を用いて、家庭内での作業支援の一例として調理支援を行うシステムに関するものである。ここでは、食材、食器、調理器具等の物品にはすべてRFIDタグが付されており、物品のIDより、食材、食器、調理器具等の使用の有無や位置を情報提示装置の位置検出部により検出できるとする。
図15は、本情報提示装置を用いた調理支援システム1000の構成を示している。それぞれ第1〜第3実施形態のいずれか1つの情報提示装置である、一つ以上の情報提示装置1001及び1002を用いて、レシピの手順の提示及び管理を行うものであり、使用しようとする物品のIDが異なることにより調味料の使用間違いを制御手段107により指摘したり、重量センサ111からの出力により元々の重量から残量を引いて使用量を制御手段107により算出してその使用量の間違いを制御手段107により指摘したり、実際に使用したレシピを作業として第2制御手段1006によりレシピデータベース1003に記録することが可能である。そのため、情報提示装置1001及び1002には、それぞれ、さらに、インターネット150などを通じて外部の装置との通信を行う為の通信手段109と、外部からの提示指示に応じて所望の物品の情報表示を強調する強調提示制御手段1007を備えている。調理支援システム1000には、情報提示装置1001及び1002の他に、情報提示装置1001及び1002などと通信を行うための通信手段1009と、調理手順を示すレシピ情報を蓄えたレシピデータベース1003と、外部から制御できるコンロや電子レンジなどの調理機器1004と、マイク及びスピーカといった音声I/F1005と、そして、通信手段1009とレシピデータベース1003と調理機器1004と音声I/F1005とを動作制御する第2制御手段1006とを備えている。調理支援システム1000も、又、例えばコンピュータシステムを用いて実現できる。この場合、レシピデータベース1003は第2制御手段1006の記憶手段の中に構成したり、インターネット150を介してダウンロード可能である。また、指定した、あるレシピデータを用いて、情報提示装置1001及び1002、音声I/F1005、調理器具1004を制御し調理支援するプログラムも記憶装置に格納され、動作時にメモリ上に読み込まれ、CPUで実行される。
図16は、前記調理支援システム1000が実際のキッチンに配置した図である。
以上のような構成において、第2制御手段1006が、先の実施形態の制御手段107と同様に、二次記憶装置(ハードディスク等)(図1Dの101C参照)に調理支援プログラムとして記憶されるように構成し、二次記憶装置(ハードディスク等)(図1Dの101C参照)に記憶された調理支援プログラムを主記憶装置(図1Dの101B参照)にロードしてCPU(図1Dの101A参照)が実行することで、調理支援システム1000の動作を制御するように構成している。図17は本第4実施形態の動作を説明するフローチャートである。図17のフローチャートを用いて調理支援システム1000の動作を説明する。
まず、ステップ1101で、ユーザーが音声I/F1005等の入力部を用いて、今から作ろうとするメニュー(例えば「チャーハン」)を入力する。すると、レシピデータベース1003から料理「チャーハン」のレシピが主記憶装置(図1Dの101B参照)上に読み込まれる。レシピは、調理の手順が記述されており、具体的には、「肉を刻む:50g/人」、「ご飯を準備する:150g/人」、「ネギを刻む:30g/人」、・・・「中華鍋を用意する」、「油を熱する」、「卵を炒める:1個/人」、「ご飯を鍋に入れて炒める」、「塩を鍋に入れる:2g/人」・・・等の調理の手順が記述されている。レシピデータとしては、XMLベースの記述言語に基づいたものがいくつか提案されている。ステップ1102〜ステップ1106の間で、一つずつの手順を調理人に提示・作業待ち・作業記録を第2制御手段1006により行う。
まず、ステップ1103において、今、対象物品とする調理手順に関し、その作業内容を音声I/F1005から音声などで知らせる。また、作業内容に用いられる食材が置かれている場所も音声I/F1005から報知する。この際、調味料などは料理の味を大きく左右するものであるので、特に本情報提示装置1002の上に置いておき、使用する調味料及びその使用量を提示する。この場合、使用する調味料の情報のみを点滅表示など目立つように表示するのが望ましい。
ステップ1104では、その作業が終了したことを調理支援システム1000にユーザーが知らせるため、音声I/F1005等の入力部で、次に進む旨をユーザーが入力する。例えば、「つぎ」とユーザーが発声する等である。
ステップ1105では、ユーザーである調理人が何の食材をどれだけどのように調理したかを、第2制御手段1006によりレシピデータベース1003に記録する。これは、レシピと少し異なった食材・分量を使用したときの記録のためであり、今後、家庭なりの味を出すために記録するものである。従って、このステップはなくても動作は可能である。
ステップ1106では、次の手順を呼び出す。
以上の動作を繰り返し、調理を進めてゆく。
以上のように、本情報提示装置を用い、実世界の物品の付近にその情報(例えば、調理に使用する調味料の分量)を表示することで、レシピ本やパソコンを見ながら調理をするのではなく、いつもと変わらない使い勝手のキッチンでより自然に情報(レシピの手順など)を提示でき、調理の手を休めることなく作業が可能となる。
なお、前記様々な実施形態のうちの任意の実施形態を適宜組み合わせることにより、それぞれの有する効果を奏するようにすることができる。
以上説明したように、本発明は、人に特別な装置を装着させるといった負担を負わせることなく、物品の情報を見やすく提示する情報提示装置について有用である。特に、本情報提示装置を用いて調理といった一連の作業手順を提示する調理支援システムに有用である。
本発明の第1実施形態における情報提示装置の構成例を示すブロック図である。 本発明の第1実施形態における前記情報提示装置の一実現例の斜視図である。 本発明の第1実施形態における前記情報提示装置の前記実現例の側面図である。 本発明の第1実施形態における前記情報提示装置のより具体的な構成の図である。 (a),(b)はそれぞれ前記第1実施形態の前記情報提示装置において位置計算手段の動作を具体的に説明するための補助図である。 (a),(b)はそれぞれ前記第1実施形態の前記情報提示装置において対象物品情報記憶手段に記憶されたデータの一例を示す図である。 前記第1実施形態の前記情報提示装置においてセンシング装置として温度センサを用いる場合の情報提示装置の実現例を示す図である。 前記第1実施形態の前記情報提示装置においてセンシング装置として温度センサを用いる場合の情報提示装置の応用例を示す図である。 前記第1実施形態の前記情報提示装置において提示位置制御手段の動作を説明するための図である。 前記第1実施形態の前記情報提示装置において前記提示位置制御手段の動作を説明するための図である。 前記第1実施形態の前記情報提示装置において提示位置制御手段の動作を示すフローチャートである。 本発明の第1実施形態における前記情報提示装置の動作を示すフローチャートである。 本発明の第1実施形態における前記情報提示装置の動作を示すフローチャートである。 本発明の第1実施形態における前記情報提示装置を料理を載せるお盆に適用した場合の図である。 本発明の第1実施形態における前記情報提示装置において、位置、物品情報の取得の動作を示すフローチャートである。 本発明の第2実施形態において、人位置検出部を有する情報提示装置の構成例を示す概略ブロック図である。 本発明の第2実施形態において、前記人位置検出部を有する前記情報提示装置の斜視図である。 本発明の第2実施形態において、前記人位置検出部を有する前記情報提示装置の提示位置制御手段の動作を説明するための図である。 本発明の第2実施形態において、前記人位置検出部を有する前記情報提示装置の前記提示位置制御手段の動作を説明するための図である。 本発明の第2実施形態の前記情報提示装置の動作を示すフローチャートである。 本発明の第3実施形態において、認証手段を有する情報提示装置の構成例を示す概略ブロック図である。 本発明の第3実施形態において、前記認証手段を有する前記情報提示装置の斜視図である。 本発明の第3実施形態において、前記認証手段を有する前記情報提示装置の対象物品情報記憶手段に記憶されたデータの一例を示す図である。 本発明の第3実施形態の前記情報提示装置の動作を示すフローチャートである。 本発明の第4実施形態による情報提示装置を用いた調理支援システムの構成例を示す概略ブロック図である。 本発明の第4実施形態による前記情報提示装置を用いた前記調理支援システムを備えるキッチンを示した図である。 本発明の第4実施形態における前記調理支援システムの動作を示すフローチャートである。
符号の説明
101・・・情報提示装置
102・・・位置検出部
103・・・物品情報取得手段
104・・・提示部
105・・・提示位置制御手段
106・・・対象物品情報記憶手段
107・・・制御手段
108・・・センシング装置
109・・・通信手段
110・・・板状構造体
111・・・重量センサ
112・・・位置計算手段
130・・・認証部
131,132・・・操作ボタン
150・・・インターネット
151,151A・・・サーバー
701・・・情報提示装置
702・・・人位置検出部
703・・・提示位置制御手段
900・・・人
901・・・情報提示装置
902・・・認証部
903・・・提示方法制御手段
1000・・・調理支援システム
1001,1002・・・情報提示装置
1003・・・レシピデータベース
1004・・・調理機器
1005・・・音声I/F
1006・・・第2制御手段
1007・・・強調提示制御手段

Claims (8)

  1. 複数の物品の位置を検出する位置検出部と、
    前記物品の属性情報を取得する物品情報取得手段と、
    前記物品情報取得手段で取得された前記物品の前記属性情報を提示する提示部と、
    前記位置検出部により検出された前記物品の前記位置に応じて、前記提示部による前記物品の前記属性情報を提示する実空間位置を制御する提示位置制御手段と、を備えることを特徴とする情報提示装置。
  2. 複数の物品の位置を検出する位置検出部と、
    前記物品の状態情報を取得するセンシング装置と、
    前記センシング装置で取得された前記物品の前記状態情報を提示する提示部と、
    前記位置検出部により検出された前記物品の前記位置に応じて、前記提示部による前記物品の前記状態情報を提示する実空間位置を制御する提示位置制御手段と、を備えることを特徴とする情報提示装置。
  3. 前記センシング装置は、前記物品の前記状態情報として重量及び温度のいずれか少なく一方を検出することを特徴とする請求項2に記載の情報提示装置。
  4. 前記物品の前記属性情報は形状情報を有し、前記提示位置制御手段は、前記物品あるいは前記物品以外の物品により隠蔽されない位置に、前記物品の前記属性情報を提示することを特徴とする請求項1に記載の情報提示装置。
  5. 人の位置を検出する人位置検出部をさらに有し、
    前記提示位置制御手段は、前記物品の前記位置及び前記人の前記位置に応じて前記物品の前記属性情報を提示する実空間位置を制御することを特徴とする請求項1に記載の情報提示装置。
  6. 前記物品の前記属性情報は前記物品の形状情報を有し、前記提示位置制御手段は、前記物品により隠蔽されない位置でかつ前記人が存在する方向に前記物品の前記属性情報を提示することを特徴とする請求項5に記載の情報提示装置。
  7. 人を認証する認証手段と、
    前記認証手段により認証された前記人に応じて、前記物品の前記属性情報を提示する提示方法を制御する前記提示方法制御手段を有することを特徴とする請求項1に記載の情報提示装置。
  8. 調理を行うために料理の調理手順を提示する調理支援システムにおいて、
    前記調理手順で使用する物品が存在する位置に応じて前記物品の属性情報を前記物品が存在する実空間に提示する少なくとも一つの、請求項1〜7のいずれか1つに記載の情報提示装置と、
    前記調理手順を示すレシピ情報を記憶するレシピデータベースと、
    前記情報提示装置により提示された情報と、前記レシピデータベースに記憶されたレシピ情報とに基づいて、前記調理手順の呼び出し指示を行うためのインタフェースとを備えることを特徴とする調理支援システム。
JP2004299943A 2004-10-14 2004-10-14 情報提示装置、及び調理支援システム Pending JP2006113254A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004299943A JP2006113254A (ja) 2004-10-14 2004-10-14 情報提示装置、及び調理支援システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004299943A JP2006113254A (ja) 2004-10-14 2004-10-14 情報提示装置、及び調理支援システム

Publications (1)

Publication Number Publication Date
JP2006113254A true JP2006113254A (ja) 2006-04-27

Family

ID=36381830

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004299943A Pending JP2006113254A (ja) 2004-10-14 2004-10-14 情報提示装置、及び調理支援システム

Country Status (1)

Country Link
JP (1) JP2006113254A (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009169951A (ja) * 2008-01-10 2009-07-30 Internatl Business Mach Corp <Ibm> 方法、コンピュータ・プログラム、システム(センサを使用して表面上に配置された物体を識別するシステムおよび方法)
JP2011215669A (ja) * 2010-03-31 2011-10-27 Dainippon Printing Co Ltd 食事摂取量計算システム
CN103617577A (zh) * 2013-12-11 2014-03-05 邵俊松 一种智能健康厨房系统
JP2017181975A (ja) * 2016-03-31 2017-10-05 シャープ株式会社 表示装置
CN110613314A (zh) * 2018-06-20 2019-12-27 佛山市顺德区美的电热电器制造有限公司 一种烹饪提示方法及设备、存储介质
JPWO2020196445A1 (ja) * 2019-03-27 2020-10-01
CN113924562A (zh) * 2019-03-27 2022-01-11 日本烟草产业株式会社 信息处理装置、程序和信息提供系统

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009169951A (ja) * 2008-01-10 2009-07-30 Internatl Business Mach Corp <Ibm> 方法、コンピュータ・プログラム、システム(センサを使用して表面上に配置された物体を識別するシステムおよび方法)
JP2011215669A (ja) * 2010-03-31 2011-10-27 Dainippon Printing Co Ltd 食事摂取量計算システム
CN103617577A (zh) * 2013-12-11 2014-03-05 邵俊松 一种智能健康厨房系统
CN103617577B (zh) * 2013-12-11 2016-08-17 邵俊松 一种智能健康厨房系统
JP2017181975A (ja) * 2016-03-31 2017-10-05 シャープ株式会社 表示装置
CN110613314A (zh) * 2018-06-20 2019-12-27 佛山市顺德区美的电热电器制造有限公司 一种烹饪提示方法及设备、存储介质
JPWO2020196445A1 (ja) * 2019-03-27 2020-10-01
WO2020196445A1 (ja) * 2019-03-27 2020-10-01 日本たばこ産業株式会社 情報処理装置、プログラム及び情報提供システム
CN113906415A (zh) * 2019-03-27 2022-01-07 日本烟草产业株式会社 信息处理装置、程序及信息提供系统
CN113924562A (zh) * 2019-03-27 2022-01-11 日本烟草产业株式会社 信息处理装置、程序和信息提供系统
US20220218263A1 (en) * 2019-03-27 2022-07-14 Japan Tobacco Inc. Information processing device, program, and information providing system
EP3951619A4 (en) * 2019-03-27 2022-12-14 Japan Tobacco Inc. INFORMATION PROCESSING DEVICE, PROGRAM AND INFORMATION PROVIDING SYSTEM
JP7483685B2 (ja) 2019-03-27 2024-05-15 日本たばこ産業株式会社 情報処理装置、プログラム及び情報提供システム
US12093594B2 (en) 2019-03-27 2024-09-17 Japan Tobacco Inc. Information processing device, program, and information providing system
CN113924562B (zh) * 2019-03-27 2025-07-08 日本烟草产业株式会社 信息处理装置、程序和信息提供系统

Similar Documents

Publication Publication Date Title
US10417825B2 (en) Interactive cubicle and method for determining a body shape
US20060085265A1 (en) System and method for restaurant electronic menu
JP4928592B2 (ja) 画像処理装置及びプログラム
JP7065333B2 (ja) 制御方法、情報端末、プログラム、及び記録媒体
CN105580045B (zh) 展示装置(互联网共享连接)
JP2022016671A (ja) 制御方法、情報端末、プログラム、及び記録媒体
WO2017199389A1 (ja) 情報提供システム、情報提供方法および情報提供プログラム
JP2006113254A (ja) 情報提示装置、及び調理支援システム
WO2022254958A1 (ja) 無人店舗の商品を管理する管理システム、管理方法及びプログラム
TWI529674B (zh) 展示裝置
JP2022060349A (ja) 情報提供方法
JP2014123214A (ja) 電子機器
JP6277582B2 (ja) 電子機器
JP6554257B2 (ja) 注文料理の提供支援システム
JP7054811B1 (ja) 情報提供方法
JP6590005B2 (ja) 電子機器及びプログラム
JP6660276B2 (ja) 情報処理装置、情報処理システム、情報処理方法、及びプログラム
JP2014123215A (ja) 電子機器
JP2011170797A (ja) 注文支援システム、注文支援方法
US10032292B2 (en) Interpreting texture in support of mobile commerce and mobility
JP7038337B1 (ja) 情報提供方法、制御方法、通信端末、プログラム、及び記録媒体
US11983762B2 (en) Information providing method, control method, communication terminal, and recording medium
JP2005284504A (ja) 情報配信装置、そのシステム、その方法、そのプログラム、および、そのプログラムを記録した記録媒体
JP2021033809A (ja) 個人健康管理システム及び管理装置
WO2014097671A1 (ja) 電子機器

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20061206