JP2017205324A - ロボット - Google Patents

ロボット Download PDF

Info

Publication number
JP2017205324A
JP2017205324A JP2016100222A JP2016100222A JP2017205324A JP 2017205324 A JP2017205324 A JP 2017205324A JP 2016100222 A JP2016100222 A JP 2016100222A JP 2016100222 A JP2016100222 A JP 2016100222A JP 2017205324 A JP2017205324 A JP 2017205324A
Authority
JP
Japan
Prior art keywords
robot
user
image
recognition
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2016100222A
Other languages
English (en)
Inventor
志奇 黄
zhi-qi Huang
志奇 黄
亮太 宮崎
Ryota Miyazaki
亮太 宮崎
雅博 石井
Masahiro Ishii
雅博 石井
兼人 小川
Kaneto Ogawa
兼人 小川
勇次 國武
Yuji Kunitake
勇次 國武
聖弥 樋口
Seiya Higuchi
聖弥 樋口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2016100222A priority Critical patent/JP2017205324A/ja
Priority to CN201780001183.0A priority patent/CN107847807A/zh
Priority to PCT/JP2017/017438 priority patent/WO2017199782A1/ja
Priority to EP17799207.0A priority patent/EP3459607A4/en
Priority to CA2995671A priority patent/CA2995671A1/en
Publication of JP2017205324A publication Critical patent/JP2017205324A/ja
Priority to US15/888,171 priority patent/US20180154513A1/en
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00Manipulators mounted on wheels or on carriages
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63HTOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
    • A63H11/00Self-movable toy figures
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63HTOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
    • A63H33/00Other toys
    • A63H33/005Motorised rolling toys
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/0005Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • B25J11/0015Face robots, animated artificial faces for imitating human expressions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/003Controls for manipulators by means of an audio-responsive input
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Program-controlled manipulators
    • B25J9/16Program controls
    • B25J9/1694Program controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/02Casings; Cabinets ; Supports therefor; Mountings therein
    • H04R1/028Casings; Cabinets ; Supports therefor; Mountings therein associated with devices performing functions other than acoustics, e.g. electric candles
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63HTOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
    • A63H2200/00Computerized interactive toys, e.g. dolls
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223Execution procedure of a spoken command
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00Robots
    • Y10S901/01Mobile robot
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00Robots
    • Y10S901/46Sensing device
    • Y10S901/47Optical

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Manipulator (AREA)
  • Toys (AREA)

Abstract

【課題】内部処理の進行状況を前記ユーザに伝える。【解決手段】ロボットは、外部サーバによる認識対象物の画像の認識結果が必要な場合、一組の駆動輪をそれぞれ逆方向に回転させて球体状の筐体を回転させ、前記外部サーバから前記認識対象物の画像の認識結果を受信すると、ユーザに対して表示部を向けて前記球体状の筐体の回転を停止させる。【選択図】図5

Description

本開示は、ユーザと対話するロボットに関する。
従来から種々のロボットが提案されている。
特許文献1は、コミュニケーションロボットを開示する。特許文献1では、前記ロボットは、入力音声について音声認識部が算出した信頼度に基づいて前記入力音声に対して回答できないことを示す回答不能行動を行うか否かを判定し、前記回答不能行動を行うと判定した場合、前記コミュニケーションロボットが可能な所定の応答行動から、例えば、首をかしげるなど前記回答不能行動を選択する。これにより、独り言、未知語または音声以外の残音を音声と認識して誤って発話することを防止する(例えば、段落[0004]から[0007]、[0113])。
特許文献2は、ロボット制御装置に関する。特許文献2では、ロボットは、マイクから入力された音声を音声認識部で認識し、その音声認識が失敗したり、その信頼性が低い場合、例えば、ロボットに首をかしげたり、耳に手を当てるなどの所定の行動を行う(例えば、段落[0003]から[0005])。
特開2011−227237号公報 特開2002−116792号公報
上記の従来技術では、更なる改善が必要とされていた。
上記課題を解決するために、本開示の一態様のロボットは、
球体状の筐体と、
前記筐体の内側部に配置されたフレームと、
前記フレームに備え付けられた入力装置と、
前記フレームに備え付けられた出力装置と、
前記フレームに備え付けられ、外部ネットワークに接続される通信回路と、
前記フレームに備え付けられ、前記筐体の内周面に接して前記筐体を回転させる一組の駆動輪と、
前記入力装置を介して入力したユーザの入力指示に対して、所定時間以上を要する所定の処理に基づいて応答する場合、前記一組の駆動輪をそれぞれ逆方向に回転させて前記球体状の筐体を回転させ、
前記出力装置を介して前記所定の処理に基づく応答を出力させるとき、前記一組の駆動輪による前進方向を前記ユーザに向けて前記球体状の筐体の回転を停止させる制御回路と、を備えたものである。
上記態様により、更なる改善を実現できた。
本開示の第1の実施の形態に係るロボットの外観斜視図である。 本開示の第1の実施の形態に係るロボットの内部斜視図である。 図2のA視における、本開示の第1の実施の形態に係るロボットの内部側面図である。 図2のA視における、本開示の第1の実施の形態に係るロボットの直進動作を表す側面図である。 図2のB視における、本開示の第1の実施の形態に係るロボットの回転動作を表す平面図である。 本開示の第1の実施の形態に係るロボットの回転動作を表す斜視図である。 図3の側面図においてカウンターウェイトの駆動機構を示した図である。 カウンターウェイトを所定の直線方向に駆動する際のカウンターウェイトの駆動機構の動作を示す斜視図である。 カウンターウェイトを所定の直線方向に駆動する際のカウンターウェイトの駆動機構の動作を示す側面図である。 図3の側面図においてカウンターウェイトが所定の直線方向に往復移動する状態を示す側面図である。 スイングアームを回転させる際のカウンターウェイトの駆動機構の動作を示す斜視図である。 スイングアームを回転させる際のカウンターウェイトの駆動機構の動作を示す側面図である。 図2のB視における、本開示の第1の実施の形態に係るロボットのスイングアームが回転する状態を示す平面図である。 図2のA視における、カウンターウェイトが前方寄りに位置しているときのロボットの姿勢を示す側面図である。 図2のA視における、カウンターウェイトが後方寄りに位置しているときのロボットの姿勢を示す側面図である。 図2のC視における、カウンターウェイトが右方寄りに位置しているときのロボットの姿勢を示す正面図である。 図2のC視における、カウンターウェイトが左方寄りに位置しているときのロボットの姿勢を示す正面図である。 本開示の第1の実施の形態に係るロボットのユースケースの一例を示す図である。 本開示の第1の実施の形態に係るロボットが適用されたロボットシステムの全体構成の一例を示す図である。 本開示の第1の実施の形態に係るロボット及びロボットに接続されるクラウドサーバを示すブロック図である。 本開示の第1の実施の形態に係るロボットにおける画像認識処理を示すフローチャートである。 本開示の第1の実施の形態において、図17のS1709に示す画像認識処理の詳細を示すフローチャートである。 本開示の第1の実施の形態において、図17のS1707に示す進捗表現処理の詳細を示すフローチャートである。 本開示の第2の実施の形態において、図17のS1709に示す画像認識処理の詳細を示すフローチャートである。 ロボット1の回転速度と画像認識処理のステージ番号が示すステージとの関係を示す図である。 本開示の第2の実施の形態において、図17のS1707に示す進捗表現処理の詳細を示すフローチャートである。
(本開示に係る一態様を発明するに至った経緯)
まず、本開示に係る一態様をするに至った着眼点について説明する。
特許文献1は、2足歩行の人型ロボットを開示するものである。そして、このロボットは、頭部、腕部、脚部、胴部などを備えている。そのため、前記ロボットは、入力した音声の認識結果に基づいて、頭部、腕部、脚部、胴部を動作させて、ユーザの音声に対して応答させることができる。
特許文献2は、犬型のペットロボットに関するものである。そして、前記ペットロボットは、胴体部分に、頭部、4つの脚部、尻尾などを備えている。そのため、前記ペットロボットは、入力した音声の認識結果に基づいて、頭部、4つの脚部、尻尾を動作させて、ユーザの音声に対して応答させることができる。
このように、各種のロボットは、ユーザからの問いに対して応答する機能を備えている。上記特許文献1又は2のように、音声認識を用いてユーザからの問いに対して応答する場合、ユーザの発話からロボットの応答までの時間間隔を、前記ユーザと前記ロボットとの間の会話が途切れたと前記ユーザに思わせない程度に短く設定する必要がある。そのため、音声の認識結果の信頼度が高い又は低いに関わらず、前記ユーザの発話から比較的短時間で前記ロボットは応答するように設計されていると考えられる。
これに対して、ユーザの発話からロボットの応答までの時間間隔が比較的長くなる場合がある。一例として、ユーザが持っている対象物が何であるのかをロボットに問い合わせ、前記ロボットが画像認識機能を用いて応答する場合が考えられる。
ユーザの問いに対して前記ロボットが画像認識機能を用いて応答する場合、前記対象物を撮像し、その後、例えば、前記撮像された画像を、画像認識用の機能を有するクラウドサーバに送信し、前記クラウドサーバにおいて前記画像を認識し、前記認識された認識結果を前記クラウドサーバから受信し、前記受信した認識結果に基づいて前記対象物が何であるかを回答させることが考えられる。この場合、前記ユーザが前記ロボットに問い合わせをしてから、前記ロボットが前記ユーザに回答するまでの時間が、例えば15秒程度要すると、前記ロボットは回答するのに前記ユーザを待たせることになる。
このように、前記ロボットが前記ユーザの問いに応答できない時間が所定秒以上続くと、前記ユーザは、前記ロボットの外観だけからは、前記ロボットが処理中なのか又は故障により動かないのか判断できないという課題がある。
また、上記特許文献1又は2とは異なり、手、足、首などを有しない球体状のロボットを想定した場合、手足を動かしたり、首をかしげたりして前記ロボットが処理中であることを前記ユーザに対して伝えることはできない。また、処理中であることを示す表示を前記球体状のロボットの表面にすることが考えられるが、手、足、首などを有しない球体状のロボットの表面にその旨の表示をすると、前記球体状のロボットの顔に、顔と要素とは異なる表示がされることになって、前記ロボットの顔としては不自然になる。
このように、手、足、首などを有しない球体状のロボットの場合、前記ユーザに対して内部処理の進行状況を前記ユーザに伝えるのに制約があるという課題がある。
以上の考察により、本発明者は、以下の本開示に係る各態様を想到するに至った。
本開示の一態様のロボットは、
球体状の筐体と、
前記筐体の内側部に配置されたフレームと、
前記フレームに備え付けられた入力装置と、
前記フレームに備え付けられた出力装置と、
前記フレームに備え付けられ、外部ネットワークに接続される通信回路と、
前記フレームに備え付けられ、前記筐体の内周面に接して前記筐体を回転させる一組の駆動輪と、
前記入力装置を介して入力したユーザの入力指示に対して、所定時間以上を要する所定の処理に基づいて応答する場合、前記一組の駆動輪をそれぞれ逆方向に回転させて前記球体状の筐体を回転させ、
前記出力装置を介して前記所定の処理に基づく応答を出力させるとき、前記一組の駆動輪による前進方向を前記ユーザに向けて前記球体状の筐体の回転を停止させる制御回路と、を備えたものである。
本態様によると、前記入力装置を介して入力したユーザの入力指示に対して、所定時間以上を要する所定の処理に基づいて応答する場合、前記一組の駆動輪をそれぞれ逆方向に回転させて前記球体状の筐体を回転させる。これにより、前記球体状のロボットの形状を利用して、前記ユーザとの対話中に前記筐体の回転により前記ロボットが処理中であることを前記ユーザに伝えることができる。
また、前記認識結果を受信した場合、単に前記球体状の筐体の回転を停止させるだけであると、前記ロボットの前進方向が正面であるとすると、前記ロボットが正面を前記ユーザに向けていない状態で前記ロボットが停止することがある。
本態様によると、前記出力装置を介して前記所定の処理に基づく応答を出力させるとき、前記一組の駆動輪による前進方向を前記ユーザに向けて前記球体状の筐体の回転を停止させる。これにより、前記所定の処理の結果に基づく応答を前記ユーザに向けて出力させることができる。そのため、前記ロボットの正面が前記ユーザの向けられていない状態で、前記所定の処理の結果に基づく応答を出力する不都合を防止できる。
(実施の形態)
以下、本発明の各実施の形態について、図面を参照しながら説明する。尚、各図面において、同じ構成要素については同じ符号が用いられている。
(第1の実施の形態)
(全体構成)
図1は、本開示の第1の実施の形態に係るロボット1の外観斜視図である。ロボット1は、図1に示すように、球体状の筐体101を備える。筐体101は例えば、透明な部材或いは半透明の部材で構成される。
図2は、本開示の第1の実施の形態に係るロボット1の内部斜視図である。
図2において、フレーム102が筐体101の内側部に配置されている。フレーム102は、第1回転板103及び第2回転板104を備える。第1回転板103は、第2回転板104に対して上方に位置している。
図2に示すように、第1表示部105及び第2表示部106は、第1回転板103の上面に備え付けられている。また、第3表示部107は第2回転板104の上面に備え付けられている。第1表示部105、第2表示部106及び第3表示部107は、例えば、複数の発光ダイオードにより構成される。第1表示部105、第2表示部106及び第3表示部107は、ロボットの表情の表示情報を表示する。具体的には、第1表示部105、第2表示部106及び第3表示部107は、前記複数の発光ダイオードの点灯を個別に制御することにより、図1に示すように、ロボット1の顔の一部、例えば、目や口を表示する。図1の例では、第1表示部105が左目の画像を表示し、第2表示部106が右目の画像を表示し、第3表示部107が口の画像を表示している。そして、左目、右目、口の画像は、透明又は半透明の部材からなる筐体101を透過し、外部に放射されている。
カメラ108は、図2に示すように、第1回転板103の上面に備え付けられている。カメラ108は、ロボット1の周辺環境の映像を取得する。カメラ108は、図1に示すように、ロボット1の顔の一部、例えば、鼻を構成する。したがって、カメラ108の光軸はロボット1の前方に向かうことになる。これにより、カメラ108は正面に差し出された認識対象物を撮影できる。
制御回路109は、図2に示すように、第1回転板103の上面に備え付けられている。制御回路109は、ロボット1の各種動作を制御する。制御回路109の詳細は、図16を参照しながら後述する。
第1駆動輪110及び第2駆動輪111は、それぞれ、第2回転板104の下面に備え付けられており、筐体101の内周面に接している。また、第1駆動輪110は、第1駆動輪110を駆動させる第1モータ112を有する。同様に、第2駆動輪111は、第2駆動輪111を駆動させる第2モータ113を有する。即ち、第1駆動輪110及び第2駆動輪111は、それぞれ独立した個別のモータによって駆動される。第1駆動輪110及び第2駆動輪111の駆動によるロボット1の動作の詳細は後述する。第1駆動輪110及び第2駆動輪111は、一組の駆動輪を構成する。
図3は、図2のA視における、本開示の第1の実施の形態に係るロボット1の内部側面図である。図3において、カウンターウェイト114(重りの一例)は、第1回転板103と第2回転板104との間に設けられている。カウンターウェイト114は、筐体101の中心からやや下方に位置する。このため、ロボット1の重心は、筐体101の中心から下方に位置する。これにより、ロボット1の動作を安定させることができる。
図3に示すように、ロボット1は、カウンターウェイト114を駆動する機構として、カウンターウェイト114の移動方向を規定するガイドシャフト115、カウンターウェイト114の回転方向の位置を規定するスイングアーム116、スイングアーム116を回転させる回転用モータ117、スイングアーム116及び回転用モータ117の間を接続する回転シャフト118、カウンターウェイト114の駆動に用いられるベルト119(図8A及び図8B)、ベルト119に接するモータプーリ120(図8A及び図8B)、及び、モータプーリ120を回転させる、図示しない重り駆動用モータを備える。尚、本態様においては、前記駆動用モータはカウンターウェイト114に内蔵されている。カウンターウェイト114の駆動によるロボット1の動作の詳細は後述する。
回転シャフト118は、第1駆動輪110と第2駆動輪111との駆動軸に対して垂直方向に延びる。回転シャフト118は、フレーム102に備え付けられたシャフトの一例に相当する。第1駆動輪110及び第2駆動輪111は正面視において、地面に向けて距離が離れるように取り付けられている。この場合、第1駆動輪110と第2駆動輪111との駆動軸は、例えば、第1駆動輪110と第2駆動輪111との中心同士を結ぶ仮想的な軸線である。なお、第1駆動輪110と第2駆動輪111とが正面視において平行に取り付けられていれば、実際の駆動軸が第1駆動輪110と第2駆動輪111との駆動軸となる。
ロボット1は、図略の電源及びマイク217(図16)をさらに備える。ロボット1は、図略の充電器により充電される。マイク217は、ロボット1の周辺環境の音声を取得する。
次に、第1駆動輪110及び第2駆動輪111を用いたロボット1の動作を図4から図6を参照して説明する。
図4は、図2のA視における、本開示の第1の実施の形態に係るロボット1の直進動作を表す側面図である。図5は、図2のB視における、本開示の第1の実施の形態に係るロボット1の回転動作を表す平面図である。図6は、本開示の第1の実施の形態に係るロボット1の回転動作を表す斜視図である。
図4に示すように、第1駆動輪110及び第2駆動輪111を前方方向に回転させると、その動力によって筐体101は前方方向に回転する。これにより、ロボット1は前進する。逆に、第1駆動輪110及び第2駆動輪111を後方方向に回転させると、ロボット1は後進する。
また、図5及び図6に示すように、第1駆動輪110及び第2駆動輪111を互いに逆方向に回転させると、その動力によって筐体101は、その中心を通過する鉛直軸回りの回転動作を行う。即ち、ロボット1は、その場で左回り又は右回りに回転する。ロボット1は、このような前進、後進又は回転動作によって移動する。
次に、カウンターウェイト114を用いたロボット1の基本動作を図7から図9Cを参照して説明する。
図7は、図3の側面図において重り駆動機構を示した図である。図8Aは、カウンターウェイト114を所定の直線方向に駆動する際のカウンターウェイト114の駆動機構の動作を示す斜視図である。図8Bは、カウンターウェイト114を所定の直線方向に駆動する際のカウンターウェイト114の駆動機構の動作を示す側面図である。図8Cは、図3の側面図においてカウンターウェイト114が所定の直線方向に往復移動する状態を示す側面図である。図9Aは、スイングアーム116を回転させる際のカウンターウェイト114の駆動機構の動作を示す斜視図である。図9Bは、スイングアーム116を回転させる際の重り駆動機構の動作を示す側面図である。図9Cは、図2のB視における、本開示の第1の実施の形態に係るロボット1のスイングアーム116が回転する状態を示す平面図である。
図7に示すように、例えば、スイングアーム116の中央位置がカウンターウェイト114のデフォルト位置である。カウンターウェイト114がスイングアーム116の中央に位置しているとき、第1回転板103及び第2回転板104は走行面とほぼ平行になり、ロボット1の顔を構成する、例えば、目、鼻、口がデフォルト方向に向いた状態になる。
図8A及び図8Bに示すように、カウンターウェイト114に内蔵された、図示しない重り駆動用モータは、前記重り駆動用モータに連結されたモータプーリ120を回転させる。回転されたモータプーリ120がベルト119上を転がることにより、カウンターウェイト114はスイングアーム116内を移動する。モータプーリ120の回転方向、即ち、前記重り駆動用モータの駆動方向を変化させることにより、スイングアーム116内において、カウンターウェイト114は直線方向に往復移動する。
図8Cに示すように、カウンターウェイト114は、ガイドシャフト115に沿って、スイングアーム116内を直線方向に往復移動する。
図9A及び図9Bに示すように、回転用モータ117は、回転シャフト118を回転させることにより、回転シャフト118(図3)に接続されたスイングアーム116を回転させる。
図9Cに示すように、スイングアーム116は時計回り、反時計回りのいずれの方向にも回転させることができる。
さらに、カウンターウェイト114を用いたロボット1の動作の詳細を図10から図13を参照して説明する。図10は、図2のA視における、カウンターウェイト114が前方寄りに位置しているときのロボット1の姿勢を示す側面図である。図11は、図2のA視における、カウンターウェイト114が後方寄りに位置しているときのロボット1の姿勢を示す側面図である。図12は、図2のC視における、カウンターウェイト114が右方寄りに位置しているときのロボット1の姿勢を示す正面図である。図13は、図2のC視における、カウンターウェイト114が左方寄りに位置しているときのロボット1の姿勢を示す正面図である。
図10に示すように、スイングアーム116がロボット1の正面に対して垂直な状態で、カウンターウェイト114を、デフォルト位置からスイングアーム116の一端(図10では左端)、即ち、前方寄りに移動させると、ロボット1は、矢印121が示すように前方に傾く。また、図11に示すように、スイングアーム116がロボット1の正面に対して垂直な状態で、カウンターウェイト114を、デフォルト位置からスイングアーム116の他端(図11では右端)、即ち、後方寄りに移動させると、ロボット1は、矢印122が示すように後方に傾く。従って、スイングアーム116がロボット1の正面に対して垂直な状態で、カウンターウェイト114をスイングアーム116内の前記一端から前記他端まで往復動作させると、ロボット1は、矢印121が示す前方または矢印122が示す後方に傾く往復動作を行う。即ち、ロボット1は所定の角度において上下方向に回転する。
上述のように、第1表示部105、第2表示部106及び第3表示部107は、ロボット1の顔の一部、例えば、目や口を表す。従って、カウンターウェイト114を用いてロボット1に前方または後方に傾く往復動作をさせることにより、例えば、ロボット1が息切れしている状態又は眠い状態を表現することができる。この制御を、例えば、電源の電力残量が所定値以下になった場合に行えば、ロボット1は、第1表示部105、第2表示部106、及び第3表示部107に前記顔とは無関係な電力残量に関する情報を表示することなく、電源の電力残量が少なくなっていることをユーザに違和感なく伝えることができる。
図12に示すように、スイングアーム116がロボット1の正面に対して平行な状態で、カウンターウェイト114を、デフォルト位置からスイングアーム116の一端(図12の右端)、即ち、右方寄りに移動させると、ロボット1は、矢印123が示す右側に傾く。また、図13に示すように、スイングアーム116がロボット1の正面に対して平行な状態で、カウンターウェイト114を、デフォルト位置からスイングアーム116の他端(図13の左端)、即ち、左方寄りに移動させると、ロボット1は、矢印124が示す左側に傾く。従って、スイングアーム116をロボット1の正面に対して平行な状態で、カウンターウェイト114をスイングアーム116内の前記一端から前記他端まで往復動作させると、ロボット1は、矢印123が示す右側または矢印124が示す左側に傾く往復動作を行う。即ち、ロボット1は所定の角度において左右方向に回転する。
上述のように、第1表示部105、第2表示部106、及び第3表示部107は、ロボット1の顔の一部、例えば、目や口を表す。従って、カウンターウェイト114を用いてロボット1に右方または左方に傾く往復運動をさせることにより、例えば、ロボット1の機嫌がよい状態を表現し又はロボット1が考え中であることを表現できる。
図14は、本開示の第1の実施の形態に係るロボット1のユースケースの一例を示す図である。図14に示すように、ロボット1はクラウドサーバ3に接続されている。ユーザ1401は、女の子の人形1402をロボット1の正面に差し出し、「これ何?」と発話する。すると、ロボット1は、ユーザ1401の発話内容から、ユーザ1401が認識対象物の認識要求を行ったと判断し、認識対象物の画像を撮影する(ステップST1)。
次に、ロボット1は、撮影した認識対象物の画像をクラウドサーバ3に送信する(ステップST2)。次に、クラウドサーバ3は、画像認識処理を行い、送信された画像に含まれている認識対象物が人形1402であると認識する(ステップST3)。次に、クラウドサーバ3は、画像認識結果をロボット1に送信し、ロボット1は、画像認識結果を受信する(ステップST4)。次に、ロボット1は、画像認識結果が「人形」であるので、「人形」と発話する(ステップST5)。
このような画像認識処理は、画像が送信されてから認識結果が受信されるまでに15秒〜30秒程度かかるため、その間、ロボット1が何も動作を行わなければ、ユーザ1401は、ロボット1が本当に画像認識処理の要求を受け付けてくれたのか、或いは、ロボット1が故障しているのではないかと不安を感じてしまう。そこで、本開示は以下の態様を採用する。
図15は、本開示の第1の実施の形態に係るロボット1が適用されたロボットシステム1500の全体構成の一例を示す図である。ロボットシステム1500は、クラウドサーバ3、携帯端末4、及びロボット1を備える。ロボット1は例えばWifi(登録商標)の通信を介してインターネットと接続し、クラウドサーバ3と接続する。また、ロボット1は例えばWifi(登録商標)の通信を介して携帯端末4と接続する。ユーザ1501は例えば、子供であり、ユーザ1502,1503は、例えば、その子供の両親である。
携帯端末4は、例えば、ロボット1と連携するアプリケーションがインストールされている。携帯端末4は、アプリケーションを通じてロボット1に種々の指示を行ったり、図14で説明した画像認識結果を表示したりすることができる。
ロボット1は、例えば、携帯端末4からある絵本を子供に読み聞かせる要求があったとすると、その絵本の朗読を開始し、子供に読み聞かせる。ロボット1は、例えば、絵本の読み聞かせ中に子供から何らかの質問を受け付けると、その質問をクラウドサーバ3に送り、その質問に対する回答をクラウドサーバ3から受信し、回答を示す音声を発話する。
このように、ユーザ1501は、ロボット1をペットのように取り扱い、ロボット1との触れ合いを通じて、言語学習をすることができる。
次に、図16を参照しつつ、本開示の第1の実施の形態に係るロボット1の内部回路の詳細について説明する。図16は、本開示の第1の実施の形態に係るロボット1及びロボット1に接続されるクラウドサーバ3を示すブロック図である。クラウドサーバ3は外部サーバの一例に相当する。
図16に示すように、ロボット1は、制御回路109、通信部210、表示部211、回転シャフト118、筐体駆動輪212、シャフト制御部213、筐体駆動輪制御部214、重り駆動機構制御部215、スピーカ216、カメラ108、マイク217、重り駆動機構218を備える。
制御回路109は、主制御部201、音声情報出力制御部202、顔認識処理部203、音声認識処理部204、表示情報出力制御部205、及びメモリ206を備える。制御回路109は、CPU等のプロセッサを含むコンピュータで構成されている。
主制御部201は、ユーザの音声の認識結果を音声認識処理部204から取得する。主制御部201は、ユーザの顔の認識結果を顔認識処理部203から取得する。
主制御部201は、音声認識処理部204及び顔認識処理部203から取得した情報を基にコマンドを生成し、音声情報出力制御部202、表示情報出力制御部205、シャフト制御部213、筐体駆動輪制御部214、及び重り駆動機構制御部215等に送信する。前記コマンドの詳細は後述する。
音声情報出力制御部202は、主制御部201から送信されるコマンドに応じた音声をスピーカ216から出力することで、ロボット1に発話させる。
スピーカ216は、出力面が正面を向くようにフレーム102に備え付けられ、音声の電気信号を物理振動に変換する。スピーカ216は、出力装置の一例に相当する。
音声認識処理部204は、マイク217での取得音声からユーザの音声の有無を認識し、音声認識結果をメモリ206に蓄積することで、音声認識結果を管理する。音声認識処理部204は、メモリ206に格納された音声認識用データと、取得音声とを照合し、発話内容を認識する。
マイク217は、フレーム102に備え付けられ、音を電気信号に変換し、音声認識処理部204に出力する。マイク217は、例えば、第1回転板103の上面に取り付けられても良いし、第2回転板104の上面に取り付けられても良い。マイク217は、入力装置の一例に相当する。
顔認識処理部203は、カメラ108での取得映像からユーザの顔の有無、位置、及び大きさを認識し、顔認識結果をメモリ206に蓄積することで、顔認識結果を管理する。
表示情報出力制御部205は、主制御部201から送信されるコマンドに応じたロボット1の表情の表示情報を表示部211に表示する。表示部211は、図2において説明した第1表示部105、第2表示部106、及び第3表示部107により構成される。
メモリ206は、例えば、不揮発性の書き換え可能な記憶装置で構成され、ロボット1の制御プログラムなどを記憶する。
筐体駆動輪制御部214は、主制御部201から送信されるコマンドに応じて、ロボット1の筐体駆動輪212を動作させる。筐体駆動輪制御部214は、図2において説明した、第1モータ112及び第2モータ113で構成される。筐体駆動輪212は、図2において説明した第1駆動輪110及び第2駆動輪111により構成される。筐体駆動輪212は、一組の駆動輪の一例に相当する。
重り駆動機構制御部215は、主制御部201から送信されるコマンドに応じて、ロボット1の重り駆動機構218を動作させる。重り駆動機構制御部215は、カウンターウェイト114に内蔵された、図示しない重り駆動用モータで構成される。重り駆動機構218は、図3、図8A及び図8Bにおいて説明したガイドシャフト115、スイングアーム116、回転用モータ117、ベルト119、モータプーリ120、及び、図示しない重り駆動用モータにより構成される。
シャフト制御部213は、主制御部201から送信されるコマンドに応じて、図9A及び図9Bで説明した回転シャフト118を回転させる。シャフト制御部213は、図9A及び図9Bで説明した回転用モータ117により構成される。回転シャフト118及びシャフト制御部213は回転機構の一例に相当する。
通信部210は、ロボット1をクラウドサーバ3に接続させるための通信装置で構成される。通信部210としては、例えば、Wifi(登録商標)等の無線LANの通信装置が採用できるがこれは一例である。
クラウドサーバ3は、インターネット(外部ネットワークの一例)を介してロボット1と接続されている。クラウドサーバ3は、通信部301及び処理部302を備える。通信部301は、クラウドサーバ3をインターネットに接続するための通信装置で構成される。処理部302は、ロボット1からの要求に従って、種々の処理を実行し、処理結果を通信部301を介してロボット1に送信する。
次に、図17を参照しつつ、本開示の第1の実施の形態に係るロボット1における画像認識処理について説明する。図17は、本開示の第1の実施の形態に係るロボット1における画像認識処理を示すフローチャートである。ここでは、ロボット1がクラウドサーバ3に画像認識処理を依頼してから、画像認識結果を受信するまでの期間、ロボット1が回転し、ロボット1処理中であることを表現する処理をする。
まず、ユーザはロボット1に発話する(S1701)。例えば、ユーザは、図14で説明したように人形1402をロボット1に差し出し、「これ何?」といった発話を行う。
次に、ロボット1の音声認識処理部204は、発話への回答に画像認識処理が必要か否かを判断する(S1703)。ここで、メモリ206には、回答に画像認識処理が必要な発話の特徴量を示す1以上の発話参照データが事前に記憶されている。したがって、音声認識処理部204は、ユーザが発話した音声の特徴量とメモリ206に記憶されたいずれかの発話参照データとの類似度が閾値以上であれば、画像認識処理が必要と判断すればよい。
例えば、画像認識処理が必要な発話としては、上述した「これ何?」といった認識対象物を問い合わせる発話や「画像認識処理を実行」といったコマンド形式の発話が採用できる。また、ユーザが人差し指と中指との2本の指を立てて、「これいくつ?」というような数の問い合わせに応えるために、「これいくつ?」が画像認識処理が必要な発話として採用されてもよい。
S1703において、回答に画像認識処理の必要があると判定された場合(S1703でYES)、処理はS1704に進められ、回答に画像認識処理の必要がないと判定された場合(S1703でNO)、処理はS1708に進められる。
次に、カメラ108は、認識対象物を含む1枚の画像を撮影する(S1702,S1704)。ここで、音声認識処理部204は、主制御部201に画像認識処理が必要である旨の通知を行い、この通知を受けた主制御部201は、顔認識処理部203に撮影コマンドを送信することで、カメラ108に認識対象物を撮影させればよい。
なお、主制御部201は、音声認識処理部204により画像認識処理が必要であると判断された場合、音声情報出力制御部202に「知りたい物をロボットの正面に向けて下さい。」といったメッセージを通知し、スピーカ216からそのメッセージを出力させてもよい。これにより、ロボット1は、ユーザに対して認識対象物をロボット1の正面に差し出させることができ、カメラ108の撮影範囲に認識対象物が含まれない事態を回避できる。
次に、主制御部201は、S1704で撮影した画像がクラウドサーバ3に対して画像認識処理を要求する必要があるか否かを判定する(S1705)。画像認識処理の要求をする必要があると主制御部201が判定した場合(S1705でYES)、通信部210は、S1704で撮影した画像をクラウドサーバ3に送信する(S1706)。一方、画像認識処理を要求する必要がないと主制御部201が判定した場合(S1705でNO)、処理はS1708に進められる。
ここで、メモリ206には、画像認識処理の要求が不必要な参照画像の特徴量である認識不要参照データが事前に記憶されている。したがって、主制御部201は、S1704で撮影した画像の特徴量と認識不要参照データとの類似度が閾値以上であれば、画像認識処理の要求が不必要であると判定し、S1704で撮影した画像の特徴量と認識不要参照データとの類似度が閾値未満であれば、画像認識処理の要求が必要と判定すればよい。
参照画像としては、例えば、ユーザの顔画像が含まれる。ユーザの顔画像としては、例えば、ロボット1を主に取り扱う子供の顔画像や、その子供の家族の顔画像が含まれていてもよい。これは、ユーザの顔を認識するというような頻度の高い処理に、いちいちクラウドサーバ3に画像認識処理の要求をしてしまうと、ユーザの待ち時間が大きくなり、ユーザのストレスが過大になる点を考慮したものである。また、参照画像としては、ユーザが1本、2本というように1本以上の指を立てた画像が採用されてもよい。
次に、ロボット1は、画像認識結果が得られるまで、進捗表現処理を行う(S1707)。進捗表現処理の詳細については後ほど説明する。
クラウドサーバ3に画像認識処理の要求が必要である場合、画像認識結果が得られるまでに所定時間以上かかってしまう。この場合、ロボット1が何も動作を行わなければ、ユーザはロボット1が故障したのではないかと判断する虞がある。そこで、本態様では、クラウドサーバ3に画像認識処理の要求が必要である場合、後述する進捗表現処理(S1707)を行う。
次に、クラウドサーバ3は、画像認識処理を行う(S1709)。画像認識処理の詳細については後ほど説明する。
画像認識結果が得られると、ロボット1は進捗表現処理を終了する。
次に、音声情報出力制御部202は、画像認識結果をスピーカ216から出力し、発話により画像認識結果の回答を行う(S1708)。この場合、音声情報出力制御部202は、例えば認識対象物の名称を示す音声をスピーカ216から出力する。例えば、図14に示すように人形1402が認識されたとすると、スピーカ216から「人形」の音声が出力される。
尚、S1703でNO、S1705でNOと判定された場合のS1708の処理は例えば下記のようになる。発話への回答に画像認識処理が必要でないと判定された場合として(S1703でNO)、例えば、ロボット1とユーザとが対話をするようなケースが該当したとする。この場合、S1708では、音声情報出力制御部202は、ユーザとの対話に応答する音声をスピーカ216から出力すればよい。
また、S1704で撮影した画像がクラウドサーバ3に対して画像認識処理を要求する必要がない場合として(S1705でNO)、ユーザの名前をロボット1に問い合わせたり、ユーザが指を立てて「これいくつ?」というような問い合わせを行うケースが該当したとする。この場合、S1708では、音声情報出力制御部202は、ユーザの名前や「2本です。」というような音声をスピーカ216から出力すればよい。
図18は、本開示の第1の実施の形態において、図17のS1709に示す画像認識処理の詳細を示すフローチャートである。まず、通信部301は、ロボット1から送信された画像を受信する(S1801)。
次に、処理部302は、画像認識処理を実行する(S1802)。例えば、図14に示すユースケースでは、人形1402を含む画像が画像認識処理の対象となる。処理部302は、例えば、機械学習により得られた、物体の画像の特徴量と物体の名称とが対応付けて登録された物体モデルデータベースを備えている。処理部302は、ロボット1から送信された画像から特徴量を抽出し、抽出した特徴量と物体モデルデータベースに登録された各物体の特徴量とを照合し、類似度が最も高い物体を認識対象物と判定すればよい。図14の例では、「人形」が画像認識結果となる。
次に、通信部301は、処理部302による画像認識結果をロボット1に送信する(S1803)。
図19は、本開示の第1の実施の形態において、図17のS1707に示す進捗表現処理の詳細を示すフローチャートである。
まず、主制御部201は、第1回転速度V1と、第1回転速度V1よりも遅い第2回転速度V2と、現在の回転速度を設定するための変数である回転速度Vとを準備する(S1901)。S1901では、回転速度Vはデフォルト値として0が設定される。
ここで、第1回転速度V1は、ロボット1が処理中であることをユーザに伝えるときのロボット1の回転速度である。第2回転速度V2は、ユーザの位置を検出するためにカメラ108が周囲環境を連続撮影するときのロボット1の回転速度である。第2回転速度V2が過大であれば、周囲環境の画像がぶれてしまい、ユーザをうまく検知できない可能性がある。一方、第2回転速度V2が過小であれば、ユーザの位置を検出する時間が過大となり、ユーザにストレスを与えてしまう。そこで、第2回転速度V2としては、周囲環境を正確に撮影できる速度が採用できる。ここでは、第2回転速度V2は第1回転速度V1よりも低いとしたが、高くてもよい。
次に、主制御部201は、回転速度Vを第1回転速度V1に設定する(S1902)。
次に、筐体駆動輪制御部214は、主制御部201から回転速度Vを第1回転速度V1に設定するコマンドを受け付け、ロボット1を第1回転速度V1で回転させる(S1903)。詳細には、筐体駆動輪制御部214は、筐体駆動輪212を構成する第1駆動輪110と第2駆動輪111とが、それぞれ、第1回転速度V1で逆方向に回転するように第1モータ112と第2モータ113とを駆動すればよい。
次に、主制御部201は、通信部210が画像認識結果を受信していなければ(S1904でNO)、処理をS1903に戻し、S1903〜S1904の処理を行う。これにより、画像認識結果が受信されるまで、ロボット1は回転動作を繰り返し、ユーザに画像認識処理中であることを伝えることができる。
一方、通信部210が画像認識結果を受信すると(S1904でYES)、主制御部201は、回転速度Vを第2回転速度V2に設定する(S1905)。
次に、筐体駆動輪制御部214は、主制御部201から回転速度Vを第2回転速度V2に設定するコマンドを受け付け、ロボット1を第2回転速度V2で回転させる(S1906)。詳細には、筐体駆動輪制御部214は、筐体駆動輪212を構成する第1駆動輪110と第2駆動輪111とが、それぞれ、第2回転速度V2で逆方向に回転するように第1モータ112と第2モータ113とを駆動すればよい。これにより、ユーザの位置を検出するためのロボット1の回転動作が行われる。
次に、顔認識処理部203は、主制御部201から連続撮影を実行するための撮影コマンドを受け付け、カメラ108に周囲環境の画像を連続撮影させる(S1907)。
次に、顔認識処理部203は、ユーザの顔を認識できたのであれば(S1908でYES)、そのことを主制御部201に通知し、カメラ108の連続撮影を停止させる(S1909)。一方、顔認識処理部203は、ユーザの顔を認識できていなければ(S1908でNO)、処理をS1906に戻す。以上により、ユーザの顔が認識できるまで、ロボット1は回転しながら、周囲環境の画像を撮影することになる。
ここで、顔認識処理部203は、メモリ206に記憶されたユーザの顔の画像の特徴量に対する類似度が閾値以上である物体を含む、周囲環境の画像を検出できたとき、その周囲環境の画像にユーザが存在すると判定すればよい。そして、顔認識処理部203は、検出した周囲環境の画像内におけるユーザの顔の位置及びサイズから、現実空間でのユーザの位置を検出すればよい。ここで、検出されるユーザの位置は、例えば、該当する周囲環境の画像を撮影した時点でのロボット1の基準方向及びユーザの位置のなす角度と、ロボット1からユーザの位置までの距離とによって特定されればよい。基準方向としては、ロボット1の進行方向(ロボット1の正面に直行する方向)が採用できる。更に、顔認識処理部203は、該当する周囲環境の画像に含まれるユーザの顔の形状等からユーザの顔の方位を検出してもよい。
尚、メモリ206に複数のユーザの顔の画像の特徴量が記憶されており、且つ、ロボット1の周囲にメモリ206に特徴量が記憶された複数のユーザが含まれていれば、認識対象物を差し出したユーザとは別のユーザの位置が検出される可能性がある。
これを防止するために、顔認識処理部203は画像認識処理の開始時時に認識対象物を差し出したユーザの顔を撮影してユーザの顔の特徴量を抽出し、メモリ206に記憶させておく。そして、顔認識処理部203は、メモリ206に記憶された特徴量との類似度が閾値以上の物体を含む周囲環境の画像を検出できたとき、その周囲環境の画像にユーザが存在すると判定してもよい。例えば、図17のS1704において、顔認識処理部203は認識対象物を差し出したユーザの顔が含まれるように認識対象物の画像を撮影し、得られた画像からユーザの顔の特徴量を抽出してメモリ206に記憶させておけばよい。
S1910では、筐体駆動輪制御部214は、主制御部201からロボット1の回転を停止させるコマンドを受け付け、第1モータ112と第2モータ113との駆動を停止させることで、ロボット1の回転を停止させる。
S1911では、筐体駆動輪制御部214は、主制御部201からロボット1を、S1908で検出したユーザの位置付近まで移動させるコマンドを取得し、その位置付近までロボット1が移動するように、第1駆動輪110と第2駆動輪111とを駆動させる。このとき、主制御部201は、ロボット1の表示部211が、ユーザの正面と対面するように筐体駆動輪制御部214にコマンドを出力すればよい。
詳細には、主制御部201は、まず、該当するユーザの位置付近までロボット1を移動させるコマンドを筐体駆動輪制御部214に出力する。そして、該当するユーザの位置付近までロボットが移動すると、主制御部201は、S1908で検出されたユーザの顔の方位が、表示部211と直行するように、ロボット1を回転させるコマンドを筐体駆動輪制御部214に出力すればよい。
このように本態様によれば、ユーザの問いに応答するために所定時間以上を要する場合、第1駆動輪110と第2駆動輪111とをそれぞれ逆方向に回転させて球体状の筐体101を回転させて、ロボット1を回転させる。これにより、球体状のロボット1の形状を利用して、ユーザとの対話中にロボット1の回転によりロボット1が処理中であることをユーザに伝えることができる。
また、本態様によると、ロボット1の正面をユーザに向けて画像認識処理の結果をユーザに出力する。そのため、ロボット1の正面がユーザに向けられていない状態で、画像認識処理の結果を出力する不都合を防止できる。
(第2の実施の形態)
第2の実施の形態は、画像認識処理の進捗状況が進むにつれて、ロボット1の回転速度を減速させることを特徴とする。なお、第2の実施の形態において第1の実施の形態と同一構成のものは同一の符号を付し、説明を省く。
第2の実施の形態では、全体的な処理は、図17と同じであるが、S1709とS1707とが相違する。
図20は、本開示の第2の実施の形態において、図17のS1709に示す画像認識処理の詳細を示すフローチャートである。S2001、S2008は図18のS1801、S1803と同じであるため、説明を省く。
S2002では、処理部302は、画像認識処理に要するステージ数Mを規定するパラメータを準備する。ここで、ステージ数Mはクラウドサーバ3が採用する画像認識処理の内容に応じて事前に定められた値が採用される。例えば、クラウドサーバ3が3つのステージ数からなる画像認識処理を採用するのであれば、M=3が設定される。
S2003では、処理部302は、ステージ番号Nを初期値「0」に設定する。ここで、ステージ番号Nは処理中のステージを特定するための番号である。
S2004では、処理部302は、ステージ番号Nを1インクリメントする。
S2005では、処理部302は、ステージ番号Nの画像認識処理を実行する。
S2006では、処理部302は、ステージ番号Nがステージ数Mに到達したか否かを判定する。ステージ番号Nがステージ数Mに到達していれば(S2006でYES)、処理部302は、画像認識結果が得られたので、処理をS2008に進める。
ステージ番号Nがステージ数Mに到達していなければ(S2006でNO)、処理部302は、通信部210を用いて、画像認識結果の一部が完了した旨の通知をロボット1に行う(S2007)。このとき、処理部302は、処理が終了したステージ番号Nとステージ数Mとをロボット1に送信する。
S2007の処理が終了すると、処理はS2004に戻される。これにより、次のステージ番号Nの画像認識処理が実行される。
次に、画像認識処理のステージについて説明する。図21は、ロボット1の回転速度と画像認識処理のステージ番号Nが示すステージ「N」との関係を示す図である。図21の例では、画像認識処理はステージ番号N=1,2,3で示される3つのステージ「1」,「2」,「3」で構成される。
ステージ「1」は認識対象物の色を認識するステージであり、ステージ「2」は認識対象物のブランドを認識するステージであり、ステージ「3」は認識対象物が最終的に何であるかを認識するステージである。
例えば、認識対象物が市販の清涼飲料水であるとすると、ステージ「1」では、清涼飲料水を構成する色が認識される。例えば、水の清涼飲料水であれば、認識結果は「透明」となる。処理部302は、例えば、ロボット1から送信された画像から認識対象物を抽出し、抽出した認識対象物の色を解析する処理を行うことで、認識対象物の色を認識すればよい。認識対象物が複数の色で構成される場合もある。この場合、処理部302は、一定の割合以上を占める上位数色の色を認識結果としてもよい。
ステージ「2」では、処理部302は、例えば、清涼飲料水のボトルのラベルに記載された文字を認識することで、ブランド名を認識する。清涼飲料水のボトルのラベルに商品名「XXX」と記載されていれば、認識結果は、例えば、「XXX」となる。
ステージ「3」では、処理部302は、例えば、上述の物体モデルデータベースを用いて、認識対象物が最終的に何であるかを認識する。例えば、清涼飲料水が認識されたのであれば、認識結果は「清涼飲料水」となる。ここで、清涼飲料水の種類まで認識できたのであれば、認識結果は、例えば、「清涼飲料水:水」となる。
図22は、本開示の第2の実施の形態において、図17のS1707に示す進捗表現処理の詳細を示すフローチャートである。
図22において、S2101、S2102、S2103、S2104、S2107、S2108、S2109、S2110、S2111、S2112、S2113は、図19のS1901、S1902、S1903、S1904、S1905、S1906、S1907、S1908、S1909、S1910、S1911と同じであるので、説明を省く。
S2105は、図20のS2007において、クラウドサーバ3が送信した画像認識処理の一部が完了した旨の通知をロボット1が受信する処理である。主制御部201は、画像認識処理の一部が完了した旨の通知を通信部210がクラウドサーバ3から受信していなければ(S2105でNO)、処理をS2103に戻す。一方、主制御部201は、画像認識処理の一部が完了した旨の通知を通信部210がクラウドサーバ3から受信していれば(S2105でYES)、処理をS2106に進める。S2105では、ロボット1は、処理が終了したステージ番号Nとステージ数Mとを受信する。
S2106では、主制御部201は、S2105で受信した処理が終了したステージ番号Nとステージ数Mとを用いて、回転速度VをV=V1×(1−N/M)に設定し、回転速度Vを減速させる。例えば、ステージ「1」が終了すると、S2105にて、ロボット1はN=1を受信するので、ステージ「2」の処理中では、回転速度Vは、V=V1×(1−1/M)に設定される。
これにより、主制御部201は、画像認識処理のステージが1段階進む毎に回転速度Vを1段階低く設定する。
図21の例では、ステージ「1」の処理中においては、主制御部201は、回転速度VをV1に設定する。これにより、第1駆動輪110、第2駆動輪111は、回転速度V1で互いに逆方向に回転され、ロボット1は回転速度V1で回転する。
ステージ「1」の処理が終了すると、主制御部201は、回転速度VをV=V1×2/3に設定する。これにより、ステージ「2」の処理中においては、第1駆動輪110、第2駆動輪111は、回転速度V1×2/3で互いに逆方向に回転し、ロボット1は回転速度V1×2/3で回転する。
ステージ「2」の処理が終了すると、主制御部201は、回転速度VをV=V1×1/3に設定する。これにより、ステージ「3」の処理中においては、第1駆動輪110、第2駆動輪111は、回転速度V1×1/3で互いに逆方向に回転し、ロボット1は回転速度V1×1/3で回転する。
このように、本態様によれば、画像認識処理のステージが進むにつれて、カウンターウェイト114の振幅が減少されるので、ロボット1の動作を通じて、画像認識処理の進捗状況をユーザに通知できる。
図22のS2104で、ステージ「M」の画像認識処理の結果が受信されると(S2104でYES)、処理はS2107に進められる。S2107以降の処理は図19のS1905以降の処理と同じである。ここで、S2107で設定される回転速度V2は、画像認識処理の最終のステージ「M」でのロボット1の回転速度よりも遅い値が採用されればよい。これにより、最終のステージ「M」の終了後にロボット1の回転速度Vが増大し、ユーザに違和感を与えることを防止できる。
このように、第2の実施の形態によれば、画像認識処理のステージが進むにつれて、ロボット1の回転速度が減速されるので、ロボット1の動作を通じて、画像認識処理の進捗状況をユーザに通知できる。
(変形例1)
実施の形態1、2では、画像認識処理をクラウドサーバ3に要求する場合に、ロボット1を回転させた。本開示はこれに限定されず、画像認識処理以外の処理(例えば、音声認識処理)をクラウドサーバ3に要求する場合に、ロボット1を回転させてもよい。画像認識処理以外の処理であっても、クラウドサーバ3に処理を要求した場合、処理結果が得られるまでに所定時間以上要することもある。この場合、処理結果が得られるまでにロボット1を回転させることで、ロボット1が故障したとユーザが判断することを防止できる。
(変形例2)
実施の形態1、2では、表示部211を備えていたが、これは一例であり、表示部211は省かれても良い。表示部211はロボットの顔の一部を表示するので、表示部211が有る方が、ロボット1が処理中であることをうまく表現できる。しかし、表示部211が無くても、処理結果が得られるまでロボット1を回転させれば、ロボット1が処理中であることを十分にユーザに伝えることができる。
(変形例3)
第2の実施の形態では、画像認識処理のステージが進むにつれて、V1×「N/M」ずつ回転速度Vが減速されたが、これは一例であり、ステージが進むにつれて回転速度Vの減速量が大きくなる或いは小さくなるように回転速度Vは減速されてもよい。
(変形例4)
第1、第2の実施の形態では、画像認識処理の終了後、カメラ108を用いてユーザを発見したが、本開示はこれに限定されない。例えば、ユーザが画像認識処理を要求する発話を行ったとき、音声認識処理部204は、その発話の音声をマイク217を用いて取得し、取得した音声の方向及び強度からユーザの位置を特定し、メモリ206に記憶する。そして、画像認識処理の終了時に、主制御部201は、メモリ206に記憶されたユーザの位置にロボット1を移動させるコマンドを、筐体駆動輪制御部214に出力すればよい。ここで、画像認識処理を要求する発話を行ってから画像認識処理が終了するまでの間にユーザが別の場所に移動することもある。この場合、音声認識処理部204は、画像認識処理を要求する発話の音声を取得したときに、音声の特徴量を抽出し、メモリ206に記憶する。そして、音声認識処理部204は、画像認識処理が終了するまで、メモリ206に記憶した特徴量を用いて、該当するユーザが発話する音声をモニタし、ユーザの位置を追跡してもよい。
(本開示の実施の形態の概要)
本開示の一態様に係るロボットは、
球体状の筐体と、
前記筐体の内側部に配置されたフレームと、
前記フレームに備え付けられた入力装置と、
前記フレームに備え付けられた出力装置と、
前記フレームに備え付けられ、外部ネットワークに接続される通信回路と、
前記フレームに備え付けられ、前記筐体の内周面に接して前記筐体を回転させる一組の駆動輪と、
前記入力装置を介して入力したユーザの入力指示に対して、所定時間以上を要する所定の処理に基づいて応答する場合、前記一組の駆動輪をそれぞれ逆方向に回転させて前記球体状の筐体を回転させ、
前記出力装置を介して前記所定の処理に基づく応答を出力させるとき、前記一組の駆動輪による前進方向を前記ユーザに向けて前記球体状の筐体の回転を停止させる制御回路と、を備えたものである。
本態様によると、前記入力装置を介して入力したユーザの入力指示に対して、所定時間以上を要する所定の処理に基づいて応答する場合、前記一組の駆動輪をそれぞれ逆方向に回転させて前記球体状の筐体を回転させる。これにより、前記球体状のロボットの形状を利用して、前記ユーザとの対話中に前記筐体の回転により前記ロボットが処理中であることを前記ユーザに伝えることができる。
また、前記所定の処理に基づく応答を受信した場合、単に前記球体状の筐体の回転を停止させるだけであると、前記ロボットの前進方向が正面であるとすると、前記ロボットが正面を前記ユーザに向けていない状態で前記ロボットが停止することがある。
本態様によると、前記出力装置を介して前記所定の処理に基づく応答を出力させるとき、前記一組の駆動輪による前進方向を前記ユーザに向けて前記球体状の筐体の回転を停止させる。これにより、前記所定の処理の結果に基づく応答を前記ユーザに向けて出力させることができる。そのため、前記ロボットの正面が前記ユーザに向けられていない状態で、前記所定の処理の結果に基づく応答を出力する不都合を防止できる。
また、上記態様において、例えば、
撮像方向が前記前進方向に向くように、前記フレームに備え付けられたカメラを更に備えてもよい。
この場合、前記カメラは、前記ロボットの顔の一部、例えば、口、又は鼻を構成する。これにより、前記出力装置を介して前記所定の処理に基づく応答を出力させるとき、前記カメラを前記ユーザに向けて前記球体状の筐体の回転を停止させる。これにより、前記所定の処理の結果に基づく応答を前記ユーザに向けて出力させることができる。そのため、前記ロボットの顔が前記ユーザに向けられていない状態で、前記所定の処理の結果に基づく応答を出力する不都合を防止できる。
また、上記態様において、例えば、
前記制御回路は、
前記球体状の筐体が回転している間、前記カメラを用いた撮像を行い、
前記出力装置を介して前記所定の処理の結果に基づく応答を出力するまでに、前記カメラによって撮像された画像に基づき前記ユーザの位置を認識し、前記認識されたユーザの位置に前記表示部を向けた状態で前記球体状の筐体の回転を停止させてもよい。
本態様によれば、カメラによって撮像された画像に基づきユーザの位置が認識されているので、ユーザの位置を正確に認識できる。
また、上記態様において、例えば、
前記前進方向に向かうように前記フレームに備え付けられ、少なくとも前記ロボットの顔の一部を表示する表示部を更に備えてもよい。
この場合、前記表示部に表示される前記ロボットの顔の一部は、例えば、口、又は鼻を構成する。これにより、前記出力装置を介して前記所定の処理に基づく応答を出力させるとき、前記少なくとも顔の一部を表示する表示部を前記ユーザに向けて前記球体状の筐体の回転を停止させる。これにより、前記所定の処理の結果に基づく応答を前記ユーザに向けて出力させることができる。そのため、前記ロボットの顔が前記ユーザに向けられていない状態で、前記所定の処理の結果に基づく応答を出力する不都合を防止できる。
また、上記態様において、例えば、
前記制御回路は、
前記球体状の筐体の回転を停止させた後、前記認識されたユーザの位置に前記表示部を向けた状態で、前記出力装置を介して前記所定の処理の結果に基づく応答を出力させてもよい。
本態様によれば、筐体の回転停止後にユーザの位置に表示部が向けられて、所定の処理の結果に基づく応答が出力されることになる。
また、上記態様において、例えば、
前記所定の処理は、2以上の工程からなり、
前記制御回路は、
前記2以上の工程の各々が終わる毎に、前記一組の駆動輪の回転速度を制御して前記球体状の筐体を回転させる速度を減速させてもよい。
本態様によれば、前記所定の処理の工程が進むにつれて、前記一組の駆動輪の回転速度が減少されるので、ロボットの動作を通じて、所定の処理の進捗状況をユーザに通知できる。
また、上記態様において、例えば、
前記所定の処理は、前記外部ネットワークを介して接続された外部サーバにおける画像認識処理であってもよい。
画像認識処理は処理負荷が過大なので、外部サーバで実行されることが多い。この場合、処理結果が得られるまで、所定時間以上かかってしまう。本態様では、所定の処理が外部サーバで実行される場合であっても、処理結果が得られるまで、ロボットは、回転する動作を行う。そのため、ユーザに対して内部処理が実行中であることを伝えることができる。
また、上記態様において、例えば、
前記制御回路は、前記画像認識処理において、
前記カメラを用いて認識対象物を撮像させ、
前記通信回路を用いて前記外部ネットワークを経由して前記撮像された認識対象物の画像を前記外部サーバに送信させ、
前記通信回路を用いて前記外部サーバから前記認識対象物の画像の認識結果を受信させ、
前記出力装置を介して前記受信した認識結果を出力させてもよい。
本態様によれば、処理負荷が過大な画像認識処理が外部サーバで実行されるので、ロボットは認識対象物の撮像と、認識結果を外部サーバからの受信とを行えばよく、ロボットの処理負荷を軽減できる。
また、上記態様において、例えば、
前記入力装置は、マイクであり、
前記入力装置を介して入力したユーザの入力指示は音声の指示であってもよい。
本態様によれば、ユーザは、手入力で入力指示を入力しなくとも、入力指示の音声を発話するだけで、ロボットに所定の処理を指示できる。そのため、入力指示を入力する際のユーザの負担が軽減される。特に、幼児のように、手入力が困難なユーザにとってこの態様は有用となる。
また、上記態様において、例えば、
前記出力装置は、スピーカであってもよい。
本態様では、スピーカを通じて処理結果が出力されるので、ユーザはロボットに注視しなくても処理結果を知ることができる。
本開示の別の一態様に係るロボットは、
球体状の筐体と、
前記筐体の内側部に配置されたフレームと、
前記フレームに備え付けられた、少なくともロボットの顔の一部を表示する表示部と、
前記フレームに備え付けられた入力装置と、
前記フレームに備え付けられた出力装置と、
前記フレームに備え付けられ、外部ネットワークに接続される通信回路と、
前記フレームに備え付けられ、前記筐体の内周面に接して前記筐体を回転させる一組の駆動輪と、
前記入力装置を介して入力したユーザの入力指示に対して、所定時間以上を要する所定の処理に基づいて応答する場合、前記一組の駆動輪をそれぞれ逆方向に回転させて前記球体状の筐体を回転させ、
前記出力装置を介して前記所定の処理に基づく応答を出力させるとき、前記ユーザに対して前記表示部を向けて前記球体状の筐体の回転を停止させる制御回路と、を備えたものである。
本態様によると、前記入力装置を介して入力したユーザの入力指示に対して、所定時間以上を要する所定の処理に基づいて応答する場合、前記一組の駆動輪をそれぞれ逆方向に回転させて前記球体状の筐体を回転させる。これにより、前記球体状のロボットの形状を利用して、前記ユーザとの対話中に前記筐体の回転により前記ロボットが処理中であることを前記ユーザに伝えることができる。
また、前記表示部は、前記ロボットの顔の一部、例えば、口、又は鼻を構成する。前記所定の処理に基づく応答を受信した場合、単に前記球体状の筐体の回転を停止させるだけであると、前記ロボットの顔が前記ユーザの向いていない状態で前記ロボットが停止することがある。
本態様によると、前記出力装置を介して前記所定の処理に基づく応答を出力させるとき、前記ユーザに対して前記表示部を向けて前記球体状の筐体の回転を停止させる。これにより、前記所定の処理の結果に基づく応答を前記ユーザに向けて出力させることができる。そのため、前記ロボットの顔が前記ユーザの向けられていない状態で、前記所定の処理の結果に基づく応答を出力する不都合を防止できる。
上記態様において、例えば、
前記フレームに備え付けられたカメラを更に備え、
前記制御回路は、
前記球体状の筐体が回転している間、前記カメラを用いた撮像を行い、
前記出力装置を介して前記所定の処理の結果に基づく応答を出力するまでに、前記カメラによって撮像された画像に基づき前記ユーザの位置を認識し、前記認識されたユーザの位置に前記表示部を向けた状態で前記球体状の筐体の回転を停止させてもよい。
本態様によれば、カメラによって撮像された画像に基づきユーザの位置が認識されているので、ユーザの位置を正確に認識できる。
上記態様において、例えば、
前記制御回路は、
前記球体状の筐体の回転を停止させた後、前記認識されたユーザの位置に前記表示部を向けた状態で、前記出力装置を介して前記所定の処理の結果に基づく応答を出力させてもよい。
本態様によれば、筐体の回転停止後にユーザの位置に表示部が向けられて、所定の処理の結果に基づく応答が出力されることになる。
上記態様において、例えば、
前記所定の処理は、2以上の工程からなり、
前記制御回路は、
前記2以上の工程の各々が終わる毎に、前記一組の駆動輪の回転速度を制御して前記球体状の筐体を回転させる速度を減速させてもよい。
本態様によれば、前記所定の処理の工程が進むにつれて、前記一組の駆動輪の回転速度が減少されるので、ロボットの動作を通じて、所定の処理の進捗状況をユーザに通知できる。
上記態様において、例えば、
前記フレームに備え付けられたカメラを設け、
前記所定の処理は、前記外部ネットワークを介して接続された外部サーバにおける画像認識処理であってもよい。
画像認識処理は処理負荷が過大なので、外部サーバで実行されることが多い。この場合、処理結果が得られるまで、所定時間以上かかってしまう。本態様では、所定の処理が外部サーバで実行される場合であっても、処理結果が得られるまで、ロボットは、回転する動作を行う。そのため、ユーザに対して内部処理が実行中であることを伝えることができる。
上記態様において、例えば、
前記制御回路は、前記画像認識処理において、
前記カメラを用いて認識対象物を撮像させ、
前記通信回路を用いて前記外部ネットワークを経由して前記撮像された認識対象物の画像を前記外部サーバに送信させ、
前記通信回路を用いて前記外部サーバから前記認識対象物の画像の認識結果を受信させ、
前記出力装置を介して前記受信した認識結果を出力させてもよい。
本態様によれば、処理負荷が過大な画像認識処理が外部サーバで実行されるので、ロボットは認識対象物の撮像と、認識結果を外部サーバからの受信とを行えばよく、ロボットの処理負荷を軽減できる。
本開示の更に別の一態様に係るロボットは、
球体状の筐体と、
前記筐体の内側部に配置されたフレームと、
前記フレームに備え付けられた、少なくともロボットの顔の一部を表示する表示部と、
前記フレームに備え付けられたカメラと、
前記フレームに備え付けられた入力装置と、
前記フレームに備え付けられた出力装置と、
前記フレームに備え付けられ、外部ネットワークに接続される通信回路と、
前記フレームに備え付けられ、前記筐体の内周面に接して前記筐体を回転させる一組の駆動輪と、
前記入力装置を介して入力したユーザの音声指示が画像認識を必要とすると判断した場合に前記カメラを用いて認識対象物を撮像させ、前記外部ネットワークを経由して前記撮像された認識対象物の画像を外部サーバに送信させ、前記外部サーバから前記認識対象物の画像の認識結果を受信させ、前記出力装置を介して前記受信した認識結果を出力させる制御回路と、を備え、
前記制御回路は、
前記外部サーバによる前記認識対象物の画像の認識結果が必要な場合、前記一組の駆動輪をそれぞれ逆方向に回転させて前記球体状の筐体を回転させ、
前記外部サーバから前記認識対象物の画像の認識結果を受信すると、前記ユーザに対して前記表示部を向けて前記球体状の筐体の回転を停止させる、ものである。
本態様によると、前記ロボットが前記ユーザの問いに応答するために前記外部サーバによる前記認識対象物の画像の認識結果が必要な場合、前記一組の駆動輪をそれぞれ逆方向に回転させて前記球体状の筐体を回転させる。これにより、前記画像認識が必要な場合、前記球体状のロボットの形状を利用して、前記ユーザとの対話中に前記筐体の回転により前記ロボットが処理中であることを前記ユーザに伝える。
また、前記表示部は、前記ロボットの顔の一部、例えば、口、又は鼻を構成する。前記認識結果を受信した場合、単に前記球体状の筐体の回転を停止させるだけであると、前記ロボットの顔が前記ユーザの向いていない状態で前記ロボットが停止することがある。
本態様によると、前記外部サーバから前記認識対象物の画像の認識結果を受信すると、前記ユーザに対して前記表示部を向けて前記球体状の筐体の回転を停止させる。これにより、前記認識結果を前記ユーザに向けて出力させることができる。そのため、前記ロボットの顔が前記ユーザの向けられていない状態で、前記認識結果を出力する不都合を防止できる。
上記態様において、例えば、
前記制御回路は、
前記球体状の筐体が回転している間、前記カメラを用いた撮像を行い、
前記スピーカを介して前記認識結果に基づく応答を出力するまでに、前記カメラによって撮像された画像に基づき前記ユーザの位置を認識し、前記認識されたユーザの位置に前記表示部を向けた状態で前記球体状の筐体の回転を停止させてもよい。
本態様によれば、カメラによって撮像された画像に基づきユーザの位置が認識されているので、ユーザの位置を正確に認識できる。
上記態様において、例えば、
画像認識用の参照データを格納するメモリを設け、
前記制御回路は、
前記ユーザの音声指示に対して応答するために前記外部サーバによる前記認識対象物の画像の認識結果は必要でなく、前記メモリに格納された前記画像認識用の参照データに基づく前記認識対象物の画像認識で前記応答が可能であると判断した場合、前記一組の駆動輪の回転により前記球体状の筐体を回転させる制御を行うことなく、前記スピーカを介して前記参照データに基づく認識結果を出力させてもよい。
例えば、ユーザの顔認識などは、前記ロボットの内部にメモリを設けて、前記メモリに格納された画像認識用の参照データを用いて行うことが可能である。
ユーザが前記ロボットに対して、例えば、「私は誰?」と問う場合、前記外部サーバによる前記認識対象物の画像の認識結果は必要でなく、前記ロボットの内部にメモリに格納された画像認識用の参照データを参照すれば足りる。また、ユーザが人差し指と中指との2本の指を立てて「これいくつ?」と、前記ユーザが前記ロボットに対して問う場合も、前記クラウドサーバによる前記認識対象物の画像の認識結果は必要でなく、前記ロボットの内部にメモリに格納された画像認識用の参照データを参照すれば足りる。このような場合、前記ユーザを待たせることはほんどない。
そのため、このような場合には、前記一組の駆動輪の回転により前記球体状の筐体を回転させる制御を行うことなく、前記スピーカを介して前記参照データに基づく認識結果を出力させるようにした。
上記態様において、例えば、
前記制御回路は、
前記球体状の筐体の回転を停止させた後、前記認識されたユーザの位置に前記表示部を向けた状態で、前記出力装置を介して前記所定の処理の結果に基づく応答を出力させてもよい。
本態様によれば、筐体の回転停止後にユーザの位置に表示部が向けられて、所定の処理の結果に基づく応答が出力されることになる。
上記態様において、例えば、
前記画像認識は、2以上の工程からなり、
前記制御回路は、
前記2以上の工程の各々が終わる毎に、前記一組の駆動輪の回転速度を制御して前記球体状の筐体を回転させる速度を減速させてもよい。
本態様によれば、前記所定の処理の工程が進むにつれて、前記一組の駆動輪の回転速度が減少されるので、ロボットの動作を通じて、所定の処理の進捗状況をユーザに通知できる。
本開示の例示的な実施の形態にかかるロボットによれば、内部処理の進行状況をユーザに伝えるために有用である。
M ステージ数
N ステージ番号
1 ロボット
3 クラウドサーバ
4 携帯端末
9 制御回路
101 筐体
102 フレーム
103 第1回転板
104 第2回転板
105 第1表示部
106 第2表示部
107 第3表示部
108 カメラ
109 制御回路
110 第1駆動輪
111 第2駆動輪
112 第1モータ
113 第2モータ
114 カウンターウェイト
115 ガイドシャフト
116 スイングアーム
117 回転用モータ
118 回転シャフト
119 ベルト
120 モータプーリ
201 主制御部
202 音声情報出力制御部
203 顔認識処理部
204 音声認識処理部
205 表示情報出力制御部
206 メモリ
210 通信部
211 表示部
212 筐体駆動輪
213 シャフト制御部
214 筐体駆動輪制御部
215 重り駆動機構制御部
216 スピーカ
217 マイク
218 重り駆動機構
301 通信部
302 処理部
1500 ロボットシステム

Claims (21)

  1. 球体状の筐体と、
    前記筐体の内側部に配置されたフレームと、
    前記フレームに備え付けられた入力装置と、
    前記フレームに備え付けられた出力装置と、
    前記フレームに備え付けられ、外部ネットワークに接続される通信回路と、
    前記フレームに備え付けられ、前記筐体の内周面に接して前記筐体を回転させる一組の駆動輪と、
    前記入力装置を介して入力したユーザの入力指示に対して、所定時間以上を要する所定の処理に基づいて応答する場合、前記一組の駆動輪をそれぞれ逆方向に回転させて前記球体状の筐体を回転させ、
    前記出力装置を介して前記所定の処理に基づく応答を出力させるとき、前記一組の駆動輪による前進方向を前記ユーザに向けて前記球体状の筐体の回転を停止させる制御回路と、を備えた
    ロボット。
  2. 撮像方向が前記前進方向に向くように、前記フレームに備え付けられたカメラを更に備える、
    請求項1記載のロボット。
  3. 前記制御回路は、
    前記球体状の筐体が回転している間、前記カメラを用いた撮像を行い、
    前記出力装置を介して前記所定の処理の結果に基づく応答を出力するまでに、前記カメラによって撮像された画像に基づき前記ユーザの位置を認識し、前記認識されたユーザの位置に前記表示部を向けた状態で前記球体状の筐体の回転を停止させる、
    請求項2記載のロボット。
  4. 前記前進方向に向かうように前記フレームに備え付けられ、少なくとも前記ロボットの顔の一部を表示する表示部を更に備える、
    請求項3記載のロボット。
  5. 前記制御回路は、
    前記球体状の筐体の回転を停止させた後、前記認識されたユーザの位置に前記表示部を向けた状態で、前記出力装置を介して前記所定の処理の結果に基づく応答を出力させる、
    請求項4記載のロボット。
  6. 前記所定の処理は、2以上の工程からなり、
    前記制御回路は、
    前記2以上の工程の各々が終わる毎に、前記一組の駆動輪の回転速度を制御して前記球体状の筐体を回転させる速度を減速させる、
    請求項1記載のロボット。
  7. 前記所定の処理は、前記外部ネットワークを介して接続された外部サーバにおける画像認識処理である、
    請求項2記載のロボット。
  8. 前記制御回路は、前記画像認識処理において、
    前記カメラを用いて認識対象物を撮像させ、
    前記通信回路を用いて前記外部ネットワークを経由して前記撮像された認識対象物の画像を前記外部サーバに送信させ、
    前記通信回路を用いて前記外部サーバから前記認識対象物の画像の認識結果を受信させ、
    前記出力装置を介して前記受信した認識結果を出力させる、
    請求項7記載のロボット。
  9. 前記入力装置は、マイクであり、
    前記入力装置を介して入力したユーザの入力指示は音声の指示である、
    請求項1から8のいずれか1項に記載のロボット。
  10. 前記出力装置は、スピーカである、
    請求項9記載のロボット。
  11. 球体状の筐体と、
    前記筐体の内側部に配置されたフレームと、
    前記フレームに備え付けられた、少なくともロボットの顔の一部を表示する表示部と、
    前記フレームに備え付けられた入力装置と、
    前記フレームに備え付けられた出力装置と、
    前記フレームに備え付けられ、外部ネットワークに接続される通信回路と、
    前記フレームに備え付けられ、前記筐体の内周面に接して前記筐体を回転させる一組の駆動輪と、
    前記入力装置を介して入力したユーザの入力指示に対して、所定時間以上を要する所定の処理に基づいて応答する場合、前記一組の駆動輪をそれぞれ逆方向に回転させて前記球体状の筐体を回転させ、
    前記出力装置を介して前記所定の処理に基づく応答を出力させるとき、前記ユーザに対して前記表示部を向けて前記球体状の筐体の回転を停止させる制御回路と、を備えた
    ロボット。
  12. 前記フレームに備え付けられたカメラを更に備え、
    前記制御回路は、
    前記球体状の筐体が回転している間、前記カメラを用いた撮像を行い、
    前記出力装置を介して前記所定の処理の結果に基づく応答を出力するまでに、前記カメラによって撮像された画像に基づき前記ユーザの位置を認識し、前記認識されたユーザの位置に前記表示部を向けた状態で前記球体状の筐体の回転を停止させる、
    請求項11記載のロボット。
  13. 前記制御回路は、
    前記球体状の筐体の回転を停止させた後、前記認識されたユーザの位置に前記表示部を向けた状態で、前記出力装置を介して前記所定の処理の結果に基づく応答を出力させる、
    請求項11又は12のいずれか1項に記載のロボット。
  14. 前記所定の処理は、2以上の工程からなり、
    前記制御回路は、
    前記2以上の工程の各々が終わる毎に、前記一組の駆動輪の回転速度を制御して前記球体状の筐体を回転させる速度を減速させる、
    請求項11記載のロボット。
  15. 前記フレームに備え付けられたカメラを設け、
    前記所定の処理は、前記外部ネットワークを介して接続された外部サーバにおける画像認識処理である、
    請求項11記載のロボット。
  16. 前記制御回路は、前記画像認識処理において、
    前記カメラを用いて認識対象物を撮像させ、
    前記通信回路を用いて前記外部ネットワークを経由して前記撮像された認識対象物の画像を前記外部サーバに送信させ、
    前記通信回路を用いて前記外部サーバから前記認識対象物の画像の認識結果を受信させ、
    前記出力装置を介して前記受信した認識結果を出力させる、
    請求項15記載のロボット。
  17. 球体状の筐体と、
    前記筐体の内側部に配置されたフレームと、
    前記フレームに備え付けられた、少なくともロボットの顔の一部を表示する表示部と、
    前記フレームに備え付けられたカメラと、
    前記フレームに備え付けられた入力装置と、
    前記フレームに備え付けられた出力装置と、
    前記フレームに備え付けられ、外部ネットワークに接続される通信回路と、
    前記フレームに備え付けられ、前記筐体の内周面に接して前記筐体を回転させる一組の駆動輪と、
    前記入力装置を介して入力したユーザの音声指示が画像認識を必要とすると判断した場合に前記カメラを用いて認識対象物を撮像させ、前記外部ネットワークを経由して前記撮像された認識対象物の画像を外部サーバに送信させ、前記外部サーバから前記認識対象物の画像の認識結果を受信させ、前記出力装置を介して前記受信した認識結果を出力させる制御回路と、を備え、
    前記制御回路は、
    前記外部サーバによる前記認識対象物の画像の認識結果が必要な場合、前記一組の駆動輪をそれぞれ逆方向に回転させて前記球体状の筐体を回転させ、
    前記外部サーバから前記認識対象物の画像の認識結果を受信すると、前記ユーザに対して前記表示部を向けて前記球体状の筐体の回転を停止させる、
    ロボット。
  18. 前記制御回路は、
    前記球体状の筐体が回転している間、前記カメラを用いた撮像を行い、
    前記スピーカを介して前記認識結果に基づく応答を出力するまでに、前記カメラによって撮像された画像に基づき前記ユーザの位置を認識し、前記認識されたユーザの位置に前記表示部を向けた状態で前記球体状の筐体の回転を停止させる、
    請求項17記載のロボット。
  19. 画像認識用の参照データを格納するメモリを設け、
    前記制御回路は、
    前記ユーザの音声指示に対して応答するために前記外部サーバによる前記認識対象物の画像の認識結果は必要でなく、前記メモリに格納された前記画像認識用の参照データに基づく前記認識対象物の画像認識で前記応答が可能であると判断した場合、前記一組の駆動輪の回転により前記球体状の筐体を回転させる制御を行うことなく、前記スピーカを介して前記参照データに基づく認識結果を出力させる、
    請求項17記載のロボット。
  20. 前記制御回路は、
    前記球体状の筐体の回転を停止させた後、前記認識されたユーザの位置に前記表示部を向けた状態で、前記出力装置を介して前記所定の処理の結果に基づく応答を出力させる、
    請求項17から19のいずれか1項に記載のロボット。
  21. 前記画像認識は、2以上の工程からなり、
    前記制御回路は、
    前記2以上の工程の各々が終わる毎に、前記一組の駆動輪の回転速度を制御して前記球体状の筐体を回転させる速度を減速させる、
    請求項17から19のいずれか1項に記載のロボット。
JP2016100222A 2016-05-19 2016-05-19 ロボット Withdrawn JP2017205324A (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2016100222A JP2017205324A (ja) 2016-05-19 2016-05-19 ロボット
CN201780001183.0A CN107847807A (zh) 2016-05-19 2017-05-09 机器人
PCT/JP2017/017438 WO2017199782A1 (ja) 2016-05-19 2017-05-09 ロボット
EP17799207.0A EP3459607A4 (en) 2016-05-19 2017-05-09 ROBOT
CA2995671A CA2995671A1 (en) 2016-05-19 2017-05-09 Robot
US15/888,171 US20180154513A1 (en) 2016-05-19 2018-02-05 Robot

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016100222A JP2017205324A (ja) 2016-05-19 2016-05-19 ロボット

Publications (1)

Publication Number Publication Date
JP2017205324A true JP2017205324A (ja) 2017-11-24

Family

ID=60325061

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016100222A Withdrawn JP2017205324A (ja) 2016-05-19 2016-05-19 ロボット

Country Status (6)

Country Link
US (1) US20180154513A1 (ja)
EP (1) EP3459607A4 (ja)
JP (1) JP2017205324A (ja)
CN (1) CN107847807A (ja)
CA (1) CA2995671A1 (ja)
WO (1) WO2017199782A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019197471A (ja) * 2018-05-11 2019-11-14 トヨタ自動車株式会社 自律移動システム、自律移動体、充電ドック、制御方法、及びプログラム

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017205313A (ja) * 2016-05-19 2017-11-24 パナソニックIpマネジメント株式会社 ロボット
USD903559S1 (en) 2017-03-16 2020-12-01 Nio Nextev Limited Voice assistant
WO2019237147A1 (en) * 2018-06-12 2019-12-19 The Trailer Buddy Pty Ltd A vehicle camera telemetry system
CN108594669A (zh) * 2018-06-15 2018-09-28 河池学院 一种智能家居机器人控制系统
CN113168826A (zh) * 2018-12-03 2021-07-23 Groove X 株式会社 机器人、语音合成程序以及语音输出方法
WO2021096144A1 (en) * 2019-11-12 2021-05-20 Samsung Electronics Co., Ltd. Mistakenly ingested object identifying robot cleaner and controlling method thereof
CN111127998A (zh) * 2020-01-07 2020-05-08 北京小米移动软件有限公司 智能地球仪、及智能地球仪的控制方法及存储介质
IT202000007240A1 (it) * 2020-04-06 2021-10-06 Aixcellence Srl Dispositivo di mantenimento della traiettoria di un veicolo
DE102020127019B4 (de) 2020-10-14 2022-06-09 Deutsches Zentrum für Luft- und Raumfahrt e.V. Sphärischer Roboter
EP4115779B1 (de) * 2021-07-06 2025-09-03 Vorwerk & Co. Interholding GmbH Haushaltsgerät mit multifunktionaler anzeige

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000274509A (ja) * 1999-03-26 2000-10-03 Recruit Co Ltd 球状駆動装置
CA2274770A1 (fr) * 1999-06-15 2000-12-15 Serge Caron Robot-boule
US20100131078A1 (en) * 1999-10-27 2010-05-27 Brown David W Event driven motion systems
KR20020061961A (ko) * 2001-01-19 2002-07-25 사성동 지능형 애완로봇
JP2004148439A (ja) * 2002-10-30 2004-05-27 Sony Corp 球形ロボット及び球形ロボットの制御方法
SE0402672D0 (sv) * 2004-11-02 2004-11-02 Viktor Kaznov Ball robot
ATE522330T1 (de) * 2005-09-30 2011-09-15 Irobot Corp Robotersystem mit kabelloser kommunikation mittels tcp/ip übertragung
JP5751610B2 (ja) * 2010-09-30 2015-07-22 学校法人早稲田大学 会話ロボット
US10281915B2 (en) * 2011-01-05 2019-05-07 Sphero, Inc. Multi-purposed self-propelled device
US9429940B2 (en) * 2011-01-05 2016-08-30 Sphero, Inc. Self propelled device with magnetic coupling
US9218316B2 (en) * 2011-01-05 2015-12-22 Sphero, Inc. Remotely controlling a self-propelled device in a virtualized environment
US9114838B2 (en) * 2011-01-05 2015-08-25 Sphero, Inc. Self-propelled device for interpreting input from a controller device
US9090214B2 (en) * 2011-01-05 2015-07-28 Orbotix, Inc. Magnetically coupled accessory for a self-propelled device
US20120244969A1 (en) * 2011-03-25 2012-09-27 May Patents Ltd. System and Method for a Motion Sensing Device
US8894465B2 (en) * 2011-04-28 2014-11-25 Kids Ii, Inc. Eccentric motion toy
US8672062B2 (en) * 2011-05-26 2014-03-18 Gregory C Schroll Internal means for rotating an object between gravitationally stable states
US9259842B2 (en) * 2011-06-10 2016-02-16 Microsoft Technology Licensing, Llc Interactive robot initialization
JP5172049B2 (ja) * 2011-06-14 2013-03-27 パナソニック株式会社 ロボット装置、ロボット制御方法、及びロボット制御プログラム
US20130095725A1 (en) * 2011-10-06 2013-04-18 Paul J. von Mohr Figurine toy in combination with a portable, removable wireless computer device having a visual display screen
CN202438152U (zh) * 2012-01-09 2012-09-19 南宁卓蓝电子科技有限公司 一种对唱舞蹈机器人
US9428019B1 (en) * 2013-07-09 2016-08-30 Guardbot Inc. Drive and stabilizaton system for amphibious robotic ball
FR3011375B1 (fr) * 2013-10-01 2017-01-27 Aldebaran Robotics Procede de dialogue entre une machine, telle qu'un robot humanoide, et un interlocuteur humain, produit programme d'ordinateur et robot humanoide pour la mise en œuvre d'un tel procede
US20150317511A1 (en) * 2013-11-07 2015-11-05 Orbeus, Inc. System, method and apparatus for performing facial recognition
US9829882B2 (en) * 2013-12-20 2017-11-28 Sphero, Inc. Self-propelled device with center of mass drive system
JP2015138147A (ja) * 2014-01-22 2015-07-30 シャープ株式会社 サーバ、対話装置、対話システム、対話方法および対話プログラム
CA2949822A1 (en) * 2014-05-23 2015-11-26 Sphero, Inc. Causing gesture responses on connected devices
JPWO2016068262A1 (ja) * 2014-10-29 2017-08-10 京セラ株式会社 コミュニケーションロボット
US9390847B1 (en) * 2015-02-19 2016-07-12 The United States Of America As Represented By The Secretary Of The Navy System and method for electromagnetic-based propulsion
CN105459126A (zh) * 2015-12-30 2016-04-06 深圳亿家智宝电子科技有限公司 一种机器人交流装置及其实现方法
US9939913B2 (en) * 2016-01-04 2018-04-10 Sphero, Inc. Smart home control using modular sensing device
US20180089699A1 (en) * 2016-09-23 2018-03-29 Sphero, Inc. Systems and methods for managing a user experience for consumer products

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019197471A (ja) * 2018-05-11 2019-11-14 トヨタ自動車株式会社 自律移動システム、自律移動体、充電ドック、制御方法、及びプログラム
JP7052546B2 (ja) 2018-05-11 2022-04-12 トヨタ自動車株式会社 自律移動システム、自律移動体、充電ドック、制御方法、及びプログラム

Also Published As

Publication number Publication date
EP3459607A4 (en) 2019-05-08
US20180154513A1 (en) 2018-06-07
EP3459607A1 (en) 2019-03-27
CN107847807A (zh) 2018-03-27
WO2017199782A1 (ja) 2017-11-23
CA2995671A1 (en) 2017-11-23

Similar Documents

Publication Publication Date Title
CN107847806B (zh) 机器人
JP2017205324A (ja) ロボット
WO2017199783A1 (ja) ロボット
JP7747032B2 (ja) 情報処理装置及び情報処理方法
CN111736585B (zh) 机器人以及机器人的控制方法
JP2011000681A (ja) コミュニケーションロボット
US10799806B2 (en) Robot
US12220805B2 (en) Information processing device and information processing method
CN113168835B (zh) 信息处理设备、信息处理方法和程序
JP2025044986A (ja) システム
JP2025048280A (ja) システム
JP2025048057A (ja) システム
JP2026062294A (ja) システム
JP2026039525A (ja) システム
JP2025052311A (ja) システム
JP2025055231A (ja) システム
JP2024154394A (ja) 電子機器
JP2025055244A (ja) システム
JP2026036313A (ja) システム
JP2025045553A (ja) システム
JP2025053484A (ja) システム
JP2025055452A (ja) システム
JP2026033325A (ja) システム
JP2025057653A (ja) システム
JP2026023439A (ja) システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181129

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20190612

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190710