JP2012190073A - 家事計画作成支援装置および家事計画作成支援方法 - Google Patents

家事計画作成支援装置および家事計画作成支援方法 Download PDF

Info

Publication number
JP2012190073A
JP2012190073A JP2011050607A JP2011050607A JP2012190073A JP 2012190073 A JP2012190073 A JP 2012190073A JP 2011050607 A JP2011050607 A JP 2011050607A JP 2011050607 A JP2011050607 A JP 2011050607A JP 2012190073 A JP2012190073 A JP 2012190073A
Authority
JP
Japan
Prior art keywords
housework
task
input
place
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011050607A
Other languages
English (en)
Other versions
JP5488930B2 (ja
Inventor
Daisuke Sakamoto
大介 坂本
Ku-Shih Liu
クシ リュウ
Masahiko Inami
昌彦 稲見
Takeo Igarashi
健夫 五十嵐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Science and Technology Agency
Original Assignee
Japan Science and Technology Agency
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Japan Science and Technology Agency filed Critical Japan Science and Technology Agency
Priority to JP2011050607A priority Critical patent/JP5488930B2/ja
Publication of JP2012190073A publication Critical patent/JP2012190073A/ja
Application granted granted Critical
Publication of JP5488930B2 publication Critical patent/JP5488930B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

【課題】複数の家事タスクを含む家事計画を、簡単かつ理解しやすい方法で作成可能とする。
【解決手段】家事計画作成支援装置は、家事を行う対象となる場所の画像を表示する画像表示手段と、実行すべき家事タスクの種類を、ユーザが入力可能な種類入力手段と、家事タスクが行われる場所を、画像上でユーザが入力可能な場所入力手段と、家事タスクが行われる時刻を、ユーザが入力可能な時刻入力手段と、入力された家事タスクについての情報を記憶する家事タスク記憶手段と、家事タスク毎に、該家事タスクの実行領域を、画像レイヤーとして、家事を行う対象となる場所の画像に重ね合わせて表示可能な家事タスク表示手段と、を備える。家事実行領域は、家事タスクに応じた色で表示する。
【選択図】図4

Description

本発明は、家事計画の作成を支援する技術に関する。
近年、種々の家庭用ロボットが研究・開発されている。例えば、掃除、炊事、皿洗い、洗濯、物の移動、監視などを行う家庭用ロボットが精力的に研究されている。これらの家庭用ロボットが普及するためには、家事を遂行するための機能が充実するだけでなく、ロボットに対する指示を分かりやすい方法で入力可能なインタフェースを搭載することが必要となる。
家庭用ロボットに対する指示を入力するためのインタフェースも種々検討されている。分かりやすさの観点からは、GUI(グラフィカルユーザーインターフェース)によって指示を入力できることが好ましい。非特許文献1では、PDA(Personal Digital Assistant)上でルートを描くと、それに沿ってロボットが移動するというインタフェースが開示されている。特許文献1では、ロボットを撮影した俯瞰画像をディスプレイに表示し、そのディスプレイ上でジェスチャ入力(マウス等による軌跡の入力)を行うことで、実在する空間の俯瞰画面に対して絵を描くようにロボットを操作できるインタフェースが開示されている。
特開2010−198064号公報
Chronis, G., and Skubic, M., "Robot navigation using qualitative landmark states from sketched route maps", Proc. ICRA '04, IEEE(2004), 1530-1535 Sakamoto, D., Honda, K., Inami, M., and Igarashi, T., "Sketch and run: a stroke-based interface for home robots", Proc. CHI '09, ACM(2009), 197-200
しかしながら、これらのインタフェースは個々のロボットを独立に操作するためのものである。家庭用のロボットが普及するにつれて、多くの家庭用ロボットが家庭内で使われ、種々の家事タスクをロボットに指示することが想定される。そうすると、各ロボットに対して個別に家事タスクを指示することはユーザにとって煩雑なものとなる。
そこで、本発明は、複数の家事タスクを含む家事計画を、簡単かつ理解しやすい方法で作成できるようにすることを目的とする。
上記の課題を解決するために本発明に係る家事計画作成支援装置は、ユーザに対して個々のロボットを意識させることなく、行われるべき家事の種類・時刻・場所を指定することで家事計画を作成できる手法を採用した。本発明に係る家事計画作成支援装置は、画像表示手段と、種類入力手段と、場所入力手段と、時刻入力手段と、家事タスク記憶手段と、家事タスク表示手段とを備える。
画像表示手段は、家事を行う対象となる場所の画像(部屋画像)を表示する。たとえば、部屋についての俯瞰画像を表示したり、3次元画像を表示したりする。表示される画像は、カメラによって撮影された画像であっても良いし、撮影画像に基づく画像等であってもかまわない。
種類入力手段は、実行すべき家事タスクの種類をユーザが入力可能な手段である。家事タスクの種類は、例えば、モップ掛け、掃除機掛け、物の移動、洗濯、料理、部屋の監視などを例としてあげることができる。家事タスクは、ユーザにとっての利便性の観点から適当な単位で定義することが好ましい。たとえば、モップ掛けと掃除機掛けを合わせて1つの掃除タスクとしても良いし、洗濯タスクを洗い・乾燥・畳みの複数のタスクとしても良い。
場所入力手段は、家事タスクが行われる場所を、部屋画像上でユーザが入力可能な手段である。部屋画像上で領域選択をすることで、家事タスクが行われる場所を指定可能とする。領域選択は、例えば、矩形選択・フリーハンドでの選択などとしても良いし、部屋画像において物体の認識が行われているときには境界の自動認識による選択を行っても良い。
時刻入力手段は、家事タスクが行われる時刻を入力可能な手段である。ユーザは、家事タスクが開始される時刻を入力できることが好ましい。開始時刻と合わせて、終了時刻または家事実行時間(継続時間)を入力できるようにしても良い。また、入力可能な時刻は開始時刻だけとして、終了時刻は家事タスクの種類に応じて自動的に定まるようにしても良い。なお、家事タスクの開始時刻を入力せずに、直ちにタスクを開始することができるようにしても良い。
種類入力手段・場所入力手段・時刻入力手段によってユーザは家事タスクの入力が可能となる。家事タスク記憶手段には、入力された家事タスクについての情報が記憶される。
家事タスク表示手段は、入力された家事タスク毎に、各家事タスクが行われる場所を、画像レイヤーとして、上記の部屋画像に重ね合わせて表示する。ここで、画像レイヤーとは、個々のタスクについて家事実行領域の表示・非表示を選択可能であることを意味する。
このように本発明によれば、複数の家事タスクについて、家事タスクの種類・場所・時刻を入力するだけで、統一的に入力することができる。すなわち、ユーザは実際に家事を行うロボットを意識することなく家事タスクの入力が可能である。したがって、本発明による家事計画作成支援装置は、操作が簡単でユーザにとって直感的に理解しやすいものとなる。
本発明において、種類入力手段・場所入力手段・時刻入力手段によって、家事タスク記憶手段に記憶されている家事タスクの種類・場所・時刻を編集可能とすることが好ましい。ここで、編集の対象となる家事タスクは、選択されている画像レイヤーに対応する家事タスクとすることが好ましい。表示・非表示の選択と、編集対象の選択は一般に異なるものとすることができる。ただし、同時に表示可能な画像レイヤーを1つのみとして、その画像レイヤーに対応する家事タスクを編集対象としてもかまわない。
また、本発明において、家事タスク表示手段は、家事タスクが行われる場所を、家事タスクの種類に応じた色で表示することが好ましい。家事タスクの種類を色によって識別することがユーザにとっても最も直感的であると考えられる。ただし、色以外に、家事タス
クに応じた文字やアイコンを表示したり、家事タスクに応じて選択領域の境界線(線の太さや種類など)を変更して表示したりしてもかまわない。
また、本発明において、家事タスク表示手段が、記憶されている複数の家事タスクについて、家事が行われる時刻をグラフィカルに表示することが好ましい。例えば、各家事タスクの開始時刻と終了時刻を、タイムチャートとして表示することができる。
また、本発明において、種類入力手段は、さらに、入力されるタスクに応じて定められる付加情報も入力可能であることが好ましい。付加情報とは、たとえば、どのように家事タスクを実行するかという情報である。例としては、注意深く実行する、急いで実行する、入念に実行する、割り当てるリソース(ロボット数)を増やす・減らすなどがあり得る。また、部屋監視(カメラ撮影)における俯角・仰角を設定する場合に、付加情報としてこれらの情報を入力可能としても良い。
また、本発明において、家事タスク記憶手段に記憶されている家事タスクの間で、コンフリクトが生じていないかを検証する検証手段を更に備えることも好ましい。例えば、同一時刻に同一領域で、同時実行不可能な家事タスクが入力されている場合に、コンフリクトが発生していると判断することができる。また、同一時刻に入力されている家事タスクが複数ある場合に、入力された家事タスクが家事実行のためのリソース(家事ロボット数)を超過する場合に、コンフリクトが発生していると判断することができる。さらに、家事タスクについて制約が課されている場合に、その制約に違反するか否かを検証してコンフリクトの有無を判断しても良い。制約の例としては、家事タスクの実行可能領域・実行可能時刻、複数の家事タスク間における実行順序などが挙げられる。
また、本発明において、制約として、複数の家事タスクが実行されるべき時間的な前後関係を記憶する制約記憶手段を有し、時刻入力手段はこの制約を満たすような入力のみを可能としても良い。すなわち、ユーザが種類入力手段によって入力した家事タスクが、制約記憶手段に記憶されている家事タスクの1つであり、この制約に対応する家事タスクが家事タスク記憶手段に既に記憶されている場合には、時刻入力手段は、入力済みの家事タスクが行われる時刻と、制約記憶手段に記憶されている制約(前後関係)とに基づいて、この制約を満たす範囲内でユーザに入力された家事タスクが行われる時刻を入力可能とする、ことが好ましい。ここで、制約に違反する入力を全て入力禁止にする必要はなく、制約を満たすように入力することを促すものの、制約に違反する入力を許容するにようにしてもかまわない。
また、本発明において、家事タスク記憶手段に記憶された家事タスクを、家事を実行する家事実行装置(家事ロボット)に対するコマンドに変換して、家事実行装置へ送信する送信手段を更に備えることが好ましい。ここで、1つの家事タスクが1つの家事実行装置によって実行される必要はなく、複数の家事実行装置によって実行されてもかまわない。その場合は、送信手段は、1つの家事タスクを複数の家事実行装置に対するコマンドに変換して、それぞれの家事実行装置へ送信する。
また、本発明において、家事計画作成支援装置を1つのコンピュータに実装する必要はない。たとえば、ユーザが家事計画の入力を行う装置と、家事タスクを記憶し家事実行装置へコマンドを送信する装置とを異なるコンピュータで実行することができる。典型的には家事タスクの記憶手段とコマンドを送信する手段を含むコンピュータが自宅にあり、ネットワークを介して別のコンピュータから家事計画を入力する形態が考えられる。もちろん、分散処理の方法はこれに限られず、任意の形態での変形が考えられる。
本発明は、上記手段の少なくとも一部を含む家事計画作成支援装置または家事計画作成
支援システムとして捉えることができる。また、これらの処理を行う家事計画作成支援方法および、この方法をコンピュータで実行するためのプログラムとして捉えることもできる。
本発明によれば、複数の家事タスクを含む家事計画を、簡単かつ理解しやすい方法で作成できる。
家事システムの概要を示す図である。 家事計画作成支援装置の概要構成を示す図である。 家事計画作成支援装置の機能ブロック図である。 家事計画作成支援装置のインタフェースの例である。 モップ掛けタスクの入力方法を説明する図である。 モップ掛けタスクの入力におけるプロパティ指定を説明する図である。 物体移動タスクの入力方法を説明する図である。 カメラ撮影タスクの入力方法を説明する図である。 時刻入力における入力制限を説明する図である。 入力された家事計画から家事ロボットに対するコマンドへの変換を説明する図である。
<システム概要>
図1は、家事ロボットによって家事を実行する家事システムの概要を示す図である。コンピュータ(家事計画作成支援装置)1によって家事計画が作成され、その家事計画にしたがって、家事ロボット(家事実行装置)2が家事を実行する。家事計画を作成するためのコンピュータ1は図では1台のみを示しているが、ユーザが家事計画を入力可能であり、入力された家事計画が家事ロボット2へ伝達可能であれば、任意の形態のシステムを採用可能である。ユーザが任意の場所から家事計画を入力できるように、家庭内に設けられたコンピュータにネットワークを介してアクセスしたり、モバイル端末などにおいて入力された家事計画が家庭内に設けられたコンピュータにネットワークを介して伝達されたりするようにすることができる。
カメラ3は、天井等に設けられており、部屋全体の俯瞰画像を撮影できる。また、部屋内の物体を検出できるように複数のカメラを設けて種々の方向から撮影することも好ましい。なお、家事ロボット2が家事を行う場所が複数の部屋にわたる場合には、部屋毎にカメラ3を設けることが好ましい。
図2には、家事計画作成支援装置1のハードウェア的な構成を示す図である。家事計画作成支援装置1は通常のコンピュータと同様の構成であり、CPU(中央演算処理装置)10、RAMなどのメインメモリ11、家事ロボット2や他のコンピュータと通信を行うための通信処理部12、記憶部13、入力部14、出力部15を備えている。通信処理部12は、ネットワークやケーブル等の回線あるいは無線リンクを介して他のコンピュータや家事ロボット2と通信を行う。記憶部13はオペレーティングシステム(OS)やアプリケーションプログラム(家事計画作成支援プログラム)を記憶している。入力部14はCPU10へ情報を入力する手段であり、キーボードやマウス、タッチパネルなどのデバイス、メモリカードやDVD−ROM等の記憶媒体から情報を読み取るデバイスを有する。また、出力部15は、処理結果を出力する手段であり、処理結果等を表示する表示装置や、データを印刷するプリンタ等を有する。CPU10は、記憶部13からOSやアプリケーションプログラムをメインメモリ11に読み出し、読み出したOSやアプリケーショ
ンプログラムを実行することで、以下で説明する各機能部として機能する。
家事ロボット2は、家事計画作成支援装置1から指示を受信可能であり、その指示にしたがって動作可能なロボットであればどのような物であってもかまわない。たとえば、市販されている製品であれば、iRobot社のiRobot Roomba(登録商標)やiRobot Create(登録商標)、あるいはWowWee社のRovio(登録商標)を使用することができる。本実施形態
では、これらの家事ロボットを採用している。Roombaは、障害物を含む部屋の中を移動して掃除(吸引)を行うロボットである。CreateはRoombaから掃除機の機能を外したロボットであり、オプションとして、アームやカメラなどを取り付けることができる。RoombaおよびCreateはBluetooth(登録商標)を介してコンピュータと通信可能であり、API(Application Programming Interface)により制御可能である。また、Rovioはカメラを有
する、移動可能なロボットであり、HTTPベースの遠隔制御APIを介して制御可能である。
本実施形態では、iRobot Roombaを掃除機タスクの実行に用い、iRobot Createをモップ掛け・物体移動のタスク実行に用い、WowWee Rovioをカメラ撮影の実行に用いる。なお、家事タスクを実行する家事ロボットは、これらに限られず任意のものを採用してかまわない。
<家事計画作成支援装置の構成>
図3は、家事計画作成支援装置1の詳細な機能ブロックを示す図である。図4は家事計画作成支援装置におけるユーザインタフェース(画面表示)を示す図である。部屋画像表示画面40に部屋画像が表示されている。ユーザは、ツール選択画面50の中から家事タスクの種類を選択し、部屋画像表示画面40においてその家事タスクが実行される領域を入力する。また、スケジューラ画面70において家事タスクが実行される時刻を入力する。なお、必要に応じて、家事タスクを実行する際の付加的な情報をプロパティ選択画面60から入力することができる。このように、1つの家事タスクの入力は、種類・場所・時刻を入力することによって行われる。各家事タスクは、実行領域が部屋画像に重畳して表示されるが、レイヤー機構を採用することで、各タスク毎に表示・非表示を切り替え可能とする。
以下、図3に示す家事計画作成支援装置1の各機能部を、図4に示す画面表示を参照しながら説明する。
[部屋画像取得部]
部屋画像取得部101は、カメラ3が撮影した部屋画像を取得する。部屋画像取得部101が取得した画像は、家事計画入力インタフェース部103が表示する(図4の部屋画像表示画面40)。ユーザはこの部屋画像表示画面40上で、家事タスクを実行する領域を入力する。ユーザが家事タスクを入力する際の部屋画像は俯瞰画像であることが好ましいので、天井に設けられたカメラ3から俯瞰画像を取得することが好ましい。
[物体検知部]
物体検知部102は、部屋内の物体や家事ロボット2などを検出する機能部であり、カメラ3の撮影画像から物体を検出する。物体検知部3によって物体を検知するために、カメラ3を天井に複数(例えば8個)設けて物体を3次元的に撮影する。なお、ユーザに提示するための部屋画像はカメラによって撮影し、物体検出のための情報は電波や超音波などを用いたセンサによって取得するようにしても良い。物体を検出するためには、あらかじめ物体の形状を登録しておく必要がある。この際、その情報に関連づけて、各物体の属性(移動可能であるか否かなど)を登録しておくことができる。また、これは自動的に認識することもできる。そして、部屋画像表示画面40に俯瞰画像を表示する際に、必要に応じて、検出された物体に対応したアイコンを表示する。
[家事計画入力インタフェース]
家事計画入力インタフェース部103は、家事計画をユーザに入力させたり、入力済みの家事計画をユーザに提示したりするためのGUIである。入力された家事タスクは、家事タスク記憶部104に格納される。家事計画入力インタフェース部103は、家事計画を入力する対象の部屋の俯瞰画像を表示する機能、家事タスクの種類・実行領域・実行時刻を入力および表示する機能、入力レイヤーを切り替える機能、表示レイヤーを切り替える機能を有する。GUIの具体例を図4〜図9に示す。
1.部屋画像表示画面
部屋画像表示画面40には、家事タスクを入力する対象の部屋の俯瞰画像が表示される。ここで、表示される画像は、カメラ3が撮影したそのままの画像であっても良いし、物体検知結果などに基づいて物体(家具など)をアイコン化して表示しても良い。なお、複数の部屋に対して家事計画を作成する場合には、家事タスクを入力する部屋を切り替えることで、部屋画像表示画面40に表示される画像が切り替えられる。
また、部屋画像表示画面40は、ユーザが家事タスクを入力する際に、家事が実行される場所を入力するためにも用いられる。つまり、部屋画像上でスケッチを描くようにして家事タスクが実行される場所が入力される。このように、部屋画像表示画面40は、家事タスク実行領域入力部としての機能も有する。なお、家事が実行される場所というのは、入力されている家事タスクに応じて異なる概念であり、したがって、家事計画入力インタフェース部103が受け取る情報も家事タスクに応じて異なるものとなる。たとえば、モップ掛けや掃除機掛けのタスクの場合には、モップ掛けや掃除機掛けを行うべき領域の入力を受ける(図5)。物を移動させるタスクの場合には、移動させる物体の元の位置、移動させる目標の位置を少なくとも入力として受け付け、さらに移動経路に関する情報も入力として受け付けることも好ましい(図7)。また、部屋内のカメラ撮影をするタスクの場合には、カメラ撮影を行う場所と方向を入力として受け付ける(図8)。このように、家事が実行される場所の入力方法は、家事タスクの種類に応じて適宜変更可能である。
2.ツール選択画面
ツール選択画面50は、入力する家事タスクの種類を指定するために用いられる。家事タスクの種類は、ユーザの利便性を考慮して適当な単位を1つの種類として定義する。図4では、モップ掛け51、掃除機掛け52、物を掴んで移動53、物を押して移動54、カメラ撮影55が家事タスクの種類として定義され表示されている。家事タスクとして、これら以外にも、洗濯・料理など、家事ロボットで実行可能なタスクを定義可能である。ユーザは、ツール選択画面50において、家事タスクに対応したアイコンを選択することで、入力する家事タスクの種類を指定可能である。
ユーザは、ツール選択画面50で入力する家事タスクの種類を指定した後、部屋画像表示画面40にてスケッチを描くような入力をして、指定された家事タスクが実行される場所についての入力を行う。
3.プロパティ選択画面
プロパティ選択画面60は、家事タスクをどのように行うかを表す付加情報(プロパティ)を入力するために用いられる。プロパティ選択画面60に表示されたアイコンを選択することでプロパティが選択可能である。ここでは、注意深く実行する、至急実行する、カメラの仰角を0度、30度、60度に設定する、特定の物体や領域を回避して行動する、家事タスクに割り当てるリソース(ロボット数)を増やす・減らすといった付加情報を選択可能としている。なお、家事タスクの種類によって、指定可能なプロパティは異なる。そこで、入力している家事タスクの種類に応じて、表示されるプロパティあるいは選択
可能なプロパティの種類を変える。
4.スケジューラ画面
スケジューラ画面70は家事タスクが実行される時刻を入力するために用いられる。スケジューラ画面70は、時刻入力画面71と日付入力画面72から構成される。ユーザは、日付入力画面72で家事タスクが実行される日付を指定し、時刻入力画面で家事タスクが実行される時刻を指定する。家事タスクが実行される時刻の指定においては、開始時刻のみを入力するようにして、終了時刻は家事計画作成支援装置1が算出するようにしても良い。また、ユーザが開始時刻と終了時刻の両方を入力するようにしても良い。また、家事タスクが定期的に(例えば、毎日、毎週、指定曜日)などに行われるという設定をユーザに入力させても良い。また、スケジューラ画面70で家事タスクが実行される時刻を入力しないで、直ちに実行するという指示を入力可能としても良い。
5.レイヤーダイアログ
本実施形態においては、入力された家事タスクについての一部の情報(家事タスクの種類、実行領域、プロパティなど)が部屋画像表示画面40において部屋画像と重ね合わせて表示される。そして、1つの家事タスクを1つのレイヤーとして扱っている。レイヤーダイアログ80は、これらのレイヤー(家事タスク)を管理するための画面である。
図4の例では5つの家事タスクが既に入力されており、それぞれに対応するレイヤーに関する情報がレイヤーダイアログ上で示されている。レイヤーダイアログ80には、ユーザが任意に設定可能な家事タスクの名称81と、部屋画像および実行領域を重ね合わせた画像のサムネイル画像82が表示される。
また、レイヤーダイアログ80で表示レイヤーとして選択されている家事タスクについては、その家事タスクの実行領域が部屋画像表示画面40において部屋画像と重ね合わせて表示される。この際、実行領域は境界線とその内部を塗りつぶした画像41として表示される。また、この実行領域の画像41は、家事タスクに応じて異なる色で表示される。この色はレイヤーダイアログ80のサムネイル画像82にも反映される。したがって、ユーザは視覚的に容易にどのような家事タスクが既に入力されているかを識別することができる。
また、レイヤーダイアログ80を用いて、入力の対象とする家事タスクを切り替え可能である。レイヤーダイアログ80上で一つのレイヤーを指定することにより、そのレイヤーに対応する家事タスクが編集の対象となる。なお、新しい家事タスクを追加する場合には、新規レイヤー(家事タスク)を追加して、追加されたレイヤーを選択することで、新規の家事タスクを入力できる。
また、レイヤーダイアログ80を用いて、表示するレイヤー(家事タスク)をユーザに選択させることができる。表示レイヤーとして指定されている家事タスクは、部屋画像表示画面40に重ね合わせて表示される。本実施形態では、レイヤーの表示・非表示と、入力対象とするレイヤーは個別に設定可能としているが、入力対象のレイヤーのみが表示されその他のレイヤーは非表示とするようにしてもかまわない。
6.家事タスク入力方法の具体例
以下、図4〜図8を参照して具体的な家事タスクの入力方法を説明する。
・モップ掛け/掃除機掛けタスクの入力方法
まず初めにモップ掛けや掃除機掛けのような、実行される領域を指定する必要のある家事タスクを入力する場合を、図5を参照して説明する。モップ掛けや掃除機掛けのように
部屋画像表示画面40において領域を指定する場合には、図5に示すように、ユーザがマウスを移動させて領域の境界42を指定する方法、いわゆる、なげなわツール(あるいは自由選択)の手法によって領域を入力することができる。また、たとえば、入力開始位置と入力終了位置を対角頂点とした矩形領域として指定しても良い(矩形領域選択)。また、既に領域が選択されている状態で、さらに領域を追加したり、除外する領域を指定したりするようにしても良い。また、物体検知部102によって物体の形状が認識されている場合には、ある点を選択するだけでその位置にある物体全体を入力とするような方法(自動選択)を採用しても良い。
本実施形態においては、モップ掛けや掃除機掛けのタスクに対して、「注意」「至急」「回避」「+」「−」のプロパティを指定可能である。「注意」プロパティは、家具などを傷つけたり壊したりしないように注意深く行うという指示である。「至急」プロパティは、急いで行うという指示である。「+」と「−」プロパティは、それぞれタスクに割り当てるリソースを多くするまたは少なくするという指示であり、典型的にはタスクを実行する家事ロボットの台数を増減することを意味する。プロパティの解釈(家事ロボット用コマンドへの変換)は適宜設計可能である。たとえば、「+」「−」プロパティを、タスクに割り当てる家事ロボットの種類を変更し、リソースを増やす場合にはより強力な家事ロボットを家事タスクに割り当てるようにしても良い。
図6の例では、プロパティ「回避」を指定することが表示されており、回避の対象が物体43であることが示されている。この入力は、プロパティ選択画面60で「回避」プロパティ66を選択した後に、部屋画像表示画面40上で物体43を選択することにより行われる。プロパティ「回避」が指定されていることは、プロパティ選択画面上で「回避」66がハイライト表示されていることと、部屋画像表示画面40上でプロパティ「回避」に対応するアイコン44が表示されることでユーザに提示される。なお、部屋画像表示画面40上では、回避の対象領域も表示される。
・物体移動タスクの入力方法
物体を移動させるタスクの場合には、図7に示すように、部屋画像における移動可能物体をマウスでドラッグすることにより、移動させる物体の元の位置、移動後の目標位置、および移動経路を指定可能である。物体検知部102が部屋の内部にある移動可能な物体を検知するので、物体移動タスクが選択されている場合に、その物体を画面上で移動可能なアイコンとして表示する。こうすることで、マウスのドラッグによる入力が可能となる。物体の元の位置、目標位置、移動経路は、部屋画像表示画面40上で軌跡45として表示される。
本実施形態においては、物体移動タスクに対して「注意」「至急」「+」「−」のプロパティを指定可能である。図7の例では、プロパティ「注意」が指定されている。この入力は、プロパティ選択画面60上で「注意」プロパティ61を選択することにより行われる。また、この家事タスクに「注意」プロパティが指定されていることは、プロパティ選択画面上で「注意」61がハイライト表示されていることと、部屋画像表示画面40上でプロパティ「注意」に対応するアイコン46が表示されることでユーザに提示される。
・カメラ撮影タスクの入力方法
カメラ撮影タスクの場合には、図8に示すように、どの地点から撮影を行うかと、どの方向に向かって撮影を行うかという情報を入力する。図8では、直線47をマウスのドラッグにより入力することでカメラ撮影タスクの場所に関する情報を入力する。ただし、カメラの画角を指定できるように撮影を行う地点と画角を撮影地点で折れ曲がった直線として入力しても良いし、撮影地点を要とする扇形として入力しても良い。
本実施形態においては、カメラ撮影タスクに対して「0°」「30°」「60°」のプロパティを指定可能である。これらは、カメラ撮影における仰角を指定するためのプロパティである。図8に示す例では、プロパティ「30°」が指定されている。この入力は、プロパティ選択画面60上で「30°」プロパティ64を選択することにより行われる。また、この家事タスクに「30°」プロパティが指定されていることは、プロパティ選択画面60上でプロパティ「30°」がハイライト表示されていることと、部屋画像表示画面40上でプロパティ「30°」に対応するアイコン48が表示されることでユーザに提示される。
7.家事計画入力インタフェースのその他の機能
家事計画入力インタフェース部103は、家事タスクが実行される時刻として入力可能な値の範囲を限定するようにしても良い。たとえば、複数の家事タスクの実行順序(前後関係)を制約として記憶しており、このような制約に沿った入力のみを許可するようにしても良い。すなわち、現在入力中の家事タスクが制約が課せられている家事タスクの1つであり、制約に対応する他の家事タスクが既に家事タスク記憶部104に記憶されている場合には、この入力済みの家事タスクとの間で制約を満たすような家事実行時刻の入力を許可する。
たとえば、掃除機掛けタスクとモップ掛けタスクの間で、モップ掛けタスクは掃除機掛けタスクの後に行うという制約が家事計画作成支援装置1に記憶されているとする。そして、掃除機掛けタスクが11時〜12時に行われることが指定されている状態で、モップ掛けタスクを入力する状況を考える。この場合、モップ掛けタスクは、掃除機掛けタスクが終了する12時以降に行われるべきことが制約から分かるので、図9に示すようにスケジューラ画面70では、12時以前の時刻が選択できないように表示される。もちろん、12時以前の時刻を選択可能としても良いが、その場合、図に示すように12時以前の時刻を選択しないようにユーザに注意を促したり、ユーザが12時以前の時刻を選択した場合に確認をおこなう等の手法を採用することが好ましい。
以上では、個々の家事タスクを編集することについて説明したが、複数の家事タスクをまとめてタスクセットとして家事タスク記憶部104に記憶しても良い。このようなタスクセットを読み込むことで、1つのタスクセットを繰り返し使用することができる。ここでは、1つのタスクセットを構成する家事タスクのそれぞれについて、タスクの種類・実行場所・実行時刻が格納される。なお、実行時刻については、日付を省略して時刻のみを記憶するようにしている。
[コマンド作成部]
コマンド作成部105は、家事タスク記憶部104に記憶されている家事タスクから、家事ロボット2に対して与えるコマンドを作成する機能部である。図10にはコマンド作成部105が備える、家事タスクの種類と、家事ロボット2に伝達するコマンド(スクリプト)を対応付けて記憶する記憶部を示す。図10(a)は、1つの家事タスク種類が、1つのロボットによって行われる場合の例である。タスクの種類毎にコマンドが用意されており、実行領域や実行時刻などをパラメータとして与えることで、ユーザに入力されたとおりの動作を実現する。
図10(b)は、1つの家事タスクを複数のロボットによって実現する場合の、家事タスクの種類と、家事ロボット2への伝達コマンドを記憶した記憶部の例である。この例では「洗濯」タスクが、4つの子タスクとして実現される。各タスクについて、どの家事ロボットに、どのコマンドを、どのような条件(開始条件)の下に与えるかが記憶される。1つのタスクを複数の子タスクとして実現する場合、1つの子タスクの実行は他の子タスクの終了が条件となる場合がある。そこで、開始条件を設けて、その条件が満たされた場
合に子タスクを実行することとする。図10(b)の例では、子タスク1,2については即座に開始されるが、子タスク3は子タスク1,2が終了した時点で開始され、子タスク4は子タスク3が終了した時点で開始される。
[整合性検証部]
なお、コマンド作成部105が家事計画をコマンドに変換する前に、整合性検証部106が、入力された家事計画において家事タスクの間でコンフリクトが生じていないかを検証する。ここで、コンフリクトというのは入力された家事計画に沿って家事ロボット2を操作すると不都合が生じる場合や、家事計画に沿って家事ロボット2を操作することができない場合のことである。例えば、整合性検証部106が同時実行不可能な家事タスクを記憶しておき、この家事タスクが同一時刻に同一領域で実行するように家事計画が作成している場合に、コンフリクトが生じていると判断することができる。また、同一時刻に実行するように指定されている家事タスクが複数ある場合に、これらの家事タスクを全て実行するためのリソース、すなわち家事ロボット2が十分でない場合も、コンフリクトが生じていると判断することができる。また、家事タスクについて制約が課されている場合に、その制約を満足するか否か検証してコンフリクトの有無を判断しても良い。制約の例としては、家事タスクの実行可能領域・実行可能時刻、複数の家事タスク間における実行順序などが挙げられる。
[コマンド送信部]
コマンド送信部107は、コマンド作成部105によって作成されたコマンドを対象とする家事ロボット2へ送信する。コマンド送信部107は、コマンドを送信する対象の家事ロボット2に合わせて適切な通信方式で送信する。
<本実施形態の作用/効果>
本実施形態では、また、家事タスクは、家事タスクの種類を選択した上で、部屋画像上でスケッチを描くようにして入力する手法を採用している。このような入力方法は直感的に理解しやすい。また、個々の家事タスクをレイヤーとして管理し、家事タスク毎に編集や表示の設定可能としているため、ユーザは家事タスクの管理を容易に行える。また、家事タスクの表示においては、部屋画像に重ね合わせて家事の実行領域等を表す画像を表示している。ここで実行領域等を表す画像をタスクの種類毎に異なる色で表示しているため、それぞれの家事タスクを容易に把握することができる。さらに、レイヤーダイアログにおいても、レイヤー(家事タスク)ごとに、部屋画像と実行領域とを重ね合わせた画像のサムネイルを表示しており、この実行領域の画像もタスク種類に応じた色としているので、レイヤーダイアログを見てどのような家事タスクが既に入力されているのかを、ユーザは容易に判断することができる。
また本実施形態では個々の家事タスクをレイヤーとして管理し、複数の家事タスクを入力することができる。ここで、複数の家事タスクを統一されたインタフェースで入力することができるので、ユーザにとって分かりやすいものとなる。
また、家事タスク入力の際にユーザが意識する必要があるのは家事タスクという論理的な単位であり個々のロボットを意識する必要がないので、家事ロボットに詳しくないユーザであっても不便を感じることはない。
<その他>
上記の説明は本発明を説明する上での例示であり、上記の説明のみに本発明を限定して解釈するべきではない。上記の実施例は、本発明の技術的思想の範囲内で種々の変形が可能である。たとえば、図面等で示したグラフィカルユーザインタフェースは、種々の変形が可能であることは容易に把握できるであろう。また、家事タスクの種類も、上記で例示
した分類に限られず種々の分類が可能である。また、家事ロボットも上記で例示した物に限られない。特に、上記の説明では車輪によって走行可能なロボットのみを紹介しているが、無限軌道や二足・多足によって移動するロボットや、移動手段を持たないロボットなどを家事実行のための装置として採用しても良い。近年、ホームオートメーションやインテリジェントハウスなどと呼ばれる、住宅の各種設備(照明、空調装置、扉、窓、セキュリティシステム等)を制御可能とするコンピュータシステムが研究されている。このようなシステムを家事ロボット(家事実行装置)と捉えることもできる。また、物体検知に専用のセンサを使用可能であることも容易に把握できるであろう。カメラだけではなく近距離電波通信を用いたRTLS(リアルタイムロケーションシステム)による物体位置認識などを利用することもできる。
1 家事計画作成支援装置
2 家事ロボット
3 カメラ
40 部屋画像表示画面
50 ツール(家事タスク種類)選択画面
60 プロパティ選択画面
70 スケジューラ
80 レイヤーダイアログ

Claims (12)

  1. 家事を行う対象となる場所の画像を表示する画像表示手段と、
    実行すべき家事タスクの種類を、ユーザが入力可能な種類入力手段と、
    前記家事タスクが行われる場所を、前記画像上でユーザが入力可能な場所入力手段と、
    前記家事タスクが行われる時刻を、ユーザが入力可能な時刻入力手段と、
    前記種類入力手段、前記場所入力手段、および前記時刻入力手段によって入力された家事タスクについての情報を記憶する家事タスク記憶手段と、
    前記家事タスク記憶手段に記憶されている家事タスク毎に、該家事タスクが行われる場所を、画像レイヤーとして、前記家事を行う対象となる場所の画像に重ね合わせて表示可能な家事タスク表示手段と、
    を備える家事計画作成支援装置。
  2. 前記家事タスク記憶手段に記憶されている家事タスク毎に、該家事タスクの画像レイヤーを前記家事タスク表示手段によって表示するか否か選択可能である、
    請求項1に記載の家事計画作成支援装置。
  3. 前記種類入力手段、前記場所入力手段、および前記時刻入力手段は、前記家事タスク記憶手段に記憶されている家事タスクの種類、場所および時刻を編集可能であり、
    前記家事タスク記憶手段に複数の家事タスクが記憶されている場合に、いずれの家事タスクを編集するかを、前記画像レイヤーの選択によってユーザが指定可能である、
    請求項1または2に記載の家事計画作成支援装置。
  4. 前記家事タスク表示手段は、家事タスクの種類に応じた色で、前記家事タスクが行われる場所を表示する、
    請求項1〜3のいずれかに記載の家事計画作成支援装置。
  5. 前記家事タスク表示手段は、前記家事タスク記憶手段に記憶されている家事タスクについて、各家事タスクが行われる時刻をグラフィカルに表示する
    請求項1〜4のいずれかに記載の家事計画作成支援装置。
  6. 前記種類入力手段は、さらに、入力されるタスクに応じて定められる付加情報も入力可能である、
    請求項1〜5のいずれかに記載の家事計画作成支援装置。
  7. 前記家事タスク記憶手段に記憶されている家事タスクの間でのコンフリクトの有無を判断する検証手段を、更に備える、
    請求項1〜6のいずれかに記載の家事計画作成支援装置。
  8. 複数の家事タスクが実行されるべき時間的な前後関係を記憶する制約記憶手段を有し、
    前記種類入力手段によってユーザに入力された家事タスクの種類が、前記制約記憶手段に記憶されている家事タスクの1つであり、前後関係が定められた他の家事タスクが前記家事タスク記憶手段に記憶されている場合には、前記時刻入力手段は、前記他の家事タスクが行われる時刻と前記制約記憶手段に記憶された前後関係とに基づいて、当該制約を満たす範囲内でユーザに入力された家事タスクが行われる時刻を入力可能とする、
    請求項1〜7のいずれかに記載の家事計画作成支援装置。
  9. 前記家事タスク記憶手段に記憶された家事タスクを、家事を実行する家事実行装置に対するコマンドに変換して、家事実行装置へ送信する送信手段を、更に備える、
    請求項1〜8のいずれかに記載の家事計画作成支援装置。
  10. 前記家事タスクは、複数の家事実行装置によって実行されるものであり、
    前記送信手段は、家事タスクを複数の家事実行装置に対するコマンドに変換して、複数の家事実行装置へ送信する、
    請求項9に記載の家事計画作成支援装置。
  11. コンピュータが、
    家事を行う対象となる場所の画像を表示する画像表示ステップと、
    実行すべき家事タスクの種類の入力をユーザから受け付ける種類入力ステップと、
    前記家事タスクが行われる場所の入力を、前記画像上でユーザから受け付ける場所入力ステップと、
    前記家事タスクが行われる時刻の入力を、ユーザから受け付ける時刻入力ステップと、
    前記種類入力ステップ、前記場所入力ステップ、および前記時刻入力ステップによって入力された家事タスクについての情報を記憶手段に記憶する家事タスク記憶ステップと、
    前記記憶手段に記憶されている家事タスク毎に、該家事タスクが行われる場所を、画像レイヤーとして、前記家事を行う対象となる場所の画像に重ね合わせて表示する家事タスク表示ステップと、
    を行う、家事計画作成支援方法。
  12. コンピュータに、
    家事を行う対象となる場所の画像を表示する画像表示ステップと、
    実行すべき家事タスクの種類の入力をユーザから受け付ける種類入力ステップと、
    前記家事タスクが行われる場所の入力を、前記画像上でユーザから受け付ける場所入力ステップと、
    前記家事タスクが行われる時刻の入力を、ユーザから受け付ける時刻入力ステップと、
    前記種類入力ステップ、前記場所入力ステップ、および前記時刻入力ステップによって入力された家事タスクについての情報を記憶手段に記憶する家事タスク記憶ステップと、
    前記記憶手段に記憶されている家事タスク毎に、該家事タスクが行われる場所を、画像レイヤーとして、前記家事を行う対象となる場所の画像に重ね合わせて表示する家事タスク表示ステップと、
    を行わせる、家事計画作成支援プログラム。
JP2011050607A 2011-03-08 2011-03-08 家事計画作成支援装置および家事計画作成支援方法 Expired - Fee Related JP5488930B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011050607A JP5488930B2 (ja) 2011-03-08 2011-03-08 家事計画作成支援装置および家事計画作成支援方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011050607A JP5488930B2 (ja) 2011-03-08 2011-03-08 家事計画作成支援装置および家事計画作成支援方法

Publications (2)

Publication Number Publication Date
JP2012190073A true JP2012190073A (ja) 2012-10-04
JP5488930B2 JP5488930B2 (ja) 2014-05-14

Family

ID=47083195

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011050607A Expired - Fee Related JP5488930B2 (ja) 2011-03-08 2011-03-08 家事計画作成支援装置および家事計画作成支援方法

Country Status (1)

Country Link
JP (1) JP5488930B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014148215A1 (ja) * 2013-03-21 2014-09-25 株式会社Nttドコモ 端末装置及びオブジェクト選択方法
JP2016515311A (ja) * 2013-01-18 2016-05-26 アイロボット コーポレイション 移動ロボットを備える環境管理システム及び移動ロボットを用いる方法
US9874873B2 (en) 2013-01-18 2018-01-23 Irobot Corporation Environmental management systems including mobile robots and methods using same
US10391638B2 (en) 2013-01-18 2019-08-27 Irobot Corporation Mobile robot providing environmental mapping for household environmental control
JP2024020582A (ja) * 2018-06-13 2024-02-14 Groove X株式会社 ロボットおよびその制御方法、ならびにプログラム
JPWO2025074651A1 (ja) * 2023-10-03 2025-04-10

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05225144A (ja) * 1991-11-15 1993-09-03 Internatl Business Mach Corp <Ibm> カレンダ表示方法及びカレンダを表示する装置
JPH064541A (ja) * 1992-06-19 1994-01-14 Matsushita Electric Ind Co Ltd プロジェクト計画支援装置
JPH11267074A (ja) * 1998-03-25 1999-10-05 Sharp Corp 掃除ロボット
JP2002041736A (ja) * 2000-07-31 2002-02-08 Casio Comput Co Ltd スケジュール表示装置及びスケジュール表示処理プログラムを記憶した記憶媒体
JP2002085305A (ja) * 2000-09-12 2002-03-26 Toshiba Tec Corp ロボットクリーナ及びロボットクリーナシステム
JP2004148090A (ja) * 2002-10-31 2004-05-27 Samsung Kwangju Electronics Co Ltd ロボット掃除機とそのシステム及び制御方法
JP2004216528A (ja) * 2003-01-16 2004-08-05 Matsushita Electric Works Ltd 対人サービスロボット及び対人サービスロボットの作業計画作成方法
JP2004259116A (ja) * 2003-02-27 2004-09-16 Matsushita Electric Ind Co Ltd 情報処理装置および生活提案方法
JP2005324278A (ja) * 2004-05-13 2005-11-24 Honda Motor Co Ltd ロボット制御装置
JP2007111854A (ja) * 2003-06-02 2007-05-10 Matsushita Electric Ind Co Ltd 物品取扱いシステムおよび物品取扱いサーバ
JP2008217741A (ja) * 2007-03-08 2008-09-18 Kenwood Corp 移動機器の移動設定方法および移動設定システム
JP2010198064A (ja) * 2009-02-23 2010-09-09 Japan Science & Technology Agency ロボット制御システム及びロボット制御方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05225144A (ja) * 1991-11-15 1993-09-03 Internatl Business Mach Corp <Ibm> カレンダ表示方法及びカレンダを表示する装置
JPH064541A (ja) * 1992-06-19 1994-01-14 Matsushita Electric Ind Co Ltd プロジェクト計画支援装置
JPH11267074A (ja) * 1998-03-25 1999-10-05 Sharp Corp 掃除ロボット
JP2002041736A (ja) * 2000-07-31 2002-02-08 Casio Comput Co Ltd スケジュール表示装置及びスケジュール表示処理プログラムを記憶した記憶媒体
JP2002085305A (ja) * 2000-09-12 2002-03-26 Toshiba Tec Corp ロボットクリーナ及びロボットクリーナシステム
JP2004148090A (ja) * 2002-10-31 2004-05-27 Samsung Kwangju Electronics Co Ltd ロボット掃除機とそのシステム及び制御方法
JP2004216528A (ja) * 2003-01-16 2004-08-05 Matsushita Electric Works Ltd 対人サービスロボット及び対人サービスロボットの作業計画作成方法
JP2004259116A (ja) * 2003-02-27 2004-09-16 Matsushita Electric Ind Co Ltd 情報処理装置および生活提案方法
JP2007111854A (ja) * 2003-06-02 2007-05-10 Matsushita Electric Ind Co Ltd 物品取扱いシステムおよび物品取扱いサーバ
JP2005324278A (ja) * 2004-05-13 2005-11-24 Honda Motor Co Ltd ロボット制御装置
JP2008217741A (ja) * 2007-03-08 2008-09-18 Kenwood Corp 移動機器の移動設定方法および移動設定システム
JP2010198064A (ja) * 2009-02-23 2010-09-09 Japan Science & Technology Agency ロボット制御システム及びロボット制御方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
五十嵐 健夫: "ロボットを進化させる最先端IT技術", 日本ロボット学会誌, vol. 第28巻 第3号, JPN6013024867, 15 April 2010 (2010-04-15), JP, pages 6 - 8, ISSN: 0002719162 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016515311A (ja) * 2013-01-18 2016-05-26 アイロボット コーポレイション 移動ロボットを備える環境管理システム及び移動ロボットを用いる方法
US9874873B2 (en) 2013-01-18 2018-01-23 Irobot Corporation Environmental management systems including mobile robots and methods using same
US10391638B2 (en) 2013-01-18 2019-08-27 Irobot Corporation Mobile robot providing environmental mapping for household environmental control
US10488857B2 (en) 2013-01-18 2019-11-26 Irobot Corporation Environmental management systems including mobile robots and methods using same
US11648685B2 (en) 2013-01-18 2023-05-16 Irobot Corporation Mobile robot providing environmental mapping for household environmental control
US12496727B2 (en) 2013-01-18 2025-12-16 Irobot Corporation Mobile robot providing environmental mapping for household environmental control
WO2014148215A1 (ja) * 2013-03-21 2014-09-25 株式会社Nttドコモ 端末装置及びオブジェクト選択方法
JP2024020582A (ja) * 2018-06-13 2024-02-14 Groove X株式会社 ロボットおよびその制御方法、ならびにプログラム
JPWO2025074651A1 (ja) * 2023-10-03 2025-04-10
WO2025074650A1 (ja) 2023-10-03 2025-04-10 パナソニックIpマネジメント株式会社 タスク管理方法、プログラム、及びタスク管理システム
WO2025074651A1 (ja) 2023-10-03 2025-04-10 パナソニックIpマネジメント株式会社 タスク管理方法、プログラム、及びタスク管理システム
WO2025074652A1 (ja) 2023-10-03 2025-04-10 パナソニックIpマネジメント株式会社 タスク管理方法、プログラム、及びタスク管理システム

Also Published As

Publication number Publication date
JP5488930B2 (ja) 2014-05-14

Similar Documents

Publication Publication Date Title
JP5488930B2 (ja) 家事計画作成支援装置および家事計画作成支援方法
JP5807686B2 (ja) 画像処理装置、画像処理方法及びプログラム
US11175741B2 (en) Frameworks, devices and methods configured for enabling gesture-based interaction between a touch/gesture controlled display and other networked devices
JP6469706B2 (ja) 深度センサを用いた構造のモデル化
JP6271960B2 (ja) 情報処理システム
Ishii et al. Designing laser gesture interface for robot control
US20210283773A1 (en) Robot cleaner, terminal device and control method therefor
US20180018826A1 (en) Method for controlling an object
JP2021186670A (ja) コンテキストおよびユーザエクスペリエンスベースの移動ロボットスケジューリングおよび制御
CN108209745B (zh) 清洁设备的控制方法、装置、计算机设备和存储介质
US20150227285A1 (en) Electronic device configured to display three dimensional (3d) virtual space and method of controlling the electronic device
KR20140126539A (ko) 이동로봇, 사용자단말장치 및 그들의 제어방법
CN110955421A (zh) 用于机器人编程的方法、系统、电子设备、存储介质
CN112041803A (zh) 电子设备及其操作方法
JP2014502755A5 (ja)
KR102557736B1 (ko) 드로잉을 통한 이동 로봇 제어 장치 및 그것의 동작 방법
JP2019087284A (ja) ユーザインタフェースのための対話方法
US8836802B2 (en) Method of defining camera scan movements using gestures
WO2014203459A1 (ja) 入力装置及び動作要求を入力する方法
KR101845046B1 (ko) 요소 선택 장치, 요소 선택 방법 및 프로그램
CN104301661A (zh) 一种智能家居监控方法、客户端及相应装置
US20220350626A1 (en) Device navigational maps for connected devices
JP7213924B2 (ja) ロボット遠隔制御方法及びシステム
CN104142736B (zh) 视频监控设备控制方法和装置
EP3352421B1 (en) Device location management for automated electrical installation

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130516

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130528

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130729

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140114

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140212

R150 Certificate of patent or registration of utility model

Ref document number: 5488930

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees