JP7747032B2 - 情報処理装置及び情報処理方法 - Google Patents
情報処理装置及び情報処理方法Info
- Publication number
- JP7747032B2 JP7747032B2 JP2023184256A JP2023184256A JP7747032B2 JP 7747032 B2 JP7747032 B2 JP 7747032B2 JP 2023184256 A JP2023184256 A JP 2023184256A JP 2023184256 A JP2023184256 A JP 2023184256A JP 7747032 B2 JP7747032 B2 JP 7747032B2
- Authority
- JP
- Japan
- Prior art keywords
- response
- action
- information processing
- recognition
- control unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Program-controlled manipulators
- B25J9/16—Program controls
- B25J9/1656—Program controls characterised by programming, planning systems for manipulators
- B25J9/1664—Program controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63H—TOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
- A63H11/00—Self-movable toy figures
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Program-controlled manipulators
- B25J9/16—Program controls
- B25J9/1694—Program controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/542—Event management; Broadcasting; Multicasting; Notifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/223—Execution procedure of a spoken command
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/225—Feedback of the input speech
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
- G10L2015/227—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of the speaker; Human-factor methodology
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Acoustics & Sound (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Signal Processing (AREA)
- General Health & Medical Sciences (AREA)
- Manipulator (AREA)
- Toys (AREA)
- User Interface Of Digital Computer (AREA)
Description
1.自律移動体10の概要
2.自律移動体10のハードウェア構成例
3.第1の実施形態
3.1.概要
3.2.機能構成例
3.3.動作制御の具体例
3.4.制御の流れ
4.動作制御装置のハードウェア構成例
5.まとめ
まず、本開示の一実施形態に係る自律移動体10の概要について説明する。本開示の一実施形態に係る自律移動体10は、収集したセンサ情報に基づく状況推定を実行し、状況に応じた種々の動作を自律的に選択し実行する情報処理装置である。自律移動体10は、単にユーザの指示コマンドに従った動作を行うロボットとは異なり、状況ごとに最適であると推測した動作を自律的に実行することを特徴の一つとする。
次に、本開示の一実施形態に係る自律移動体10のハードウェア構成例について説明する。なお、以下では、自律移動体10がイヌ型の四足歩行ロボットである場合を例に説明する。
マイクロフォン515は、周囲の音を収集する機能を有する。上記の音には、例えば、ユーザの発話や、周囲の環境音が含まれる。自律移動体10は、例えば、頭部に4つのマイクロフォンを備えてもよい。複数のマイクロフォン515を備えることで、周囲で発生する音を感度高く収集すると共に、音源の定位を実現することが可能となる。
カメラ520は、ユーザや周囲環境を撮像する機能を有する。自律移動体10は、例えば、鼻先と腰部に2つの広角カメラを備えてもよい。この場合、鼻先に配置される広角カメラは、自律移動体の前方視野(すなわち、イヌの視野)に対応した画像を撮像し、腰部の広角カメラは、上方を中心とする周囲領域の画像を撮像する。自律移動体10は、例えば、腰部に配置される広角カメラにより撮像された画像に基づいて、天井の特徴点などを抽出し、SLAM(Simultaneous Localization and Mapping)を実現することができる。
ToFセンサ525は、頭部前方に存在する物体との距離を検出する機能を有する。ToFセンサ525は、頭部の鼻先に備えられる。ToFセンサ525によれば、種々の物体との距離を精度高く検出することができ、ユーザを含む対象物や障害物などとの相対位置に応じた動作を実現することが可能となる。
人感センサ530は、ユーザやユーザが飼育するペットなどの所在を検知する機能を有する。人感センサ530は、例えば、胸部に配置される。人感センサ530によれば、前方に存在する動物体を検知することで、当該動物体に対する種々の動作、例えば、興味、恐怖、驚きなどの感情に応じた動作を実現することが可能となる。
測距センサ535は、自律移動体10の前方床面の状況を取得する機能を有する。測距センサ535は、例えば、胸部に配置される。測距センサ535によれば、自律移動体10の前方床面に存在する物体との距離を精度高く検出することができ、当該物体との相対位置に応じた動作を実現することができる。
タッチセンサ540は、ユーザによる接触を検知する機能を有する。タッチセンサ540は、例えば、頭頂、あご下、背中など、ユーザが自律移動体10に対し触れる可能性が高い部位に配置される。タッチセンサ540は、例えば、静電容量式や感圧式のタッチセンサであってよい。タッチセンサ540によれば、ユーザによる触れる、撫でる、叩く、押すなどの接触行為を検知することができ、当該接触行為に応じた動作を行うことが可能となる。
照度センサ545は、自律移動体10が位置する空間の照度を検出する。照度センサ545は、例えば、頭部背面において尾部の付け根などに配置されてもよい。照度センサ545によれば、周囲の明るさを検出し、当該明るさに応じた動作を実行することが可能となる。
足裏ボタン550は、自律移動体10の脚部底面が床と接触しているか否かを検知する機能を有する。このために、足裏ボタン550は、4つの脚部の肉球に該当する部位にそれぞれ配置される。足裏ボタン550によれば、自律移動体10と床面との接触または非接触を検知することができ、例えば、自律移動体10がユーザにより抱き上げられたことなどを把握することが可能となる。
慣性センサ555は、頭部や胴部の速度や加速度、回転などの物理量を検出する6軸センサである。すなわち、慣性センサ555は、X軸、Y軸、Z軸の加速度および角速度を検出する。慣性センサ555は、頭部および胴部にそれぞれ配置される。慣性センサ555によれば、自律移動体10の頭部および胴部の運動を精度高く検出し、状況に応じた動作制御を実現することが可能となる。
ディスプレイ510は、自律移動体10の目の動きや感情を視覚的に表現する機能を有する。図5に示すように、ディスプレイ510は、感情や動作に応じた眼球、瞳孔、瞼の動作を表現することができる。ディスプレイ510は、文字や記号、また眼球運動とは関連しない画像などを敢えて表示しないことで、実在するイヌなどの動物に近い自然な動作を演出する。
<<3.1.概要>>
次に、本開示の第1の実施形態について説明する。上述したように、本開示の一実施形態に係る自律移動体10(動作体、とも称する)は、イヌ型の情報処理装置であってよい。本開示の一実施形態に係る自律移動体10は、眼球運動による感情表現を除いた視覚情報の出力手段や、音声による言語伝達手段を有しないことを特徴の一つとする。当該特徴によれば、実際のイヌに近いより自然な動作を実現するとともに、自律移動体10が有する機能や外装に対するユーザの違和感を低減することが可能となる。
まず、本実施形態に係る自律移動体10の機能構成例について説明する。図7は、本実施形態に係る自律移動体10の機能構成例を示す機能ブロック図である。図7を参照すると、本実施形態に係る自律移動体10は、入力部110、認識部120、学習部130、行動計画部140、動作制御部150、駆動部160、および出力部170を備える。
(入力部110)
入力部110は、ユーザや周囲環境に係る種々の情報を収集する機能を有する。入力部110は、例えば、ユーザの発話や周囲で発生する環境音、ユーザや周囲環境に係る画像情報、および種々のセンサ情報を収集する。このために、入力部110は、図1に示す各種のセンサを備える。
認識部120は、入力部110が収集した種々の情報に基づいて、ユーザや周囲環境、また自律移動体10の状態に係る種々の認識を行う機能を有する。一例としては、認識部120は、人識別、表情や視線の認識、物体認識、色認識、形認識、マーカー認識、障害物認識、段差認識、明るさ認識などを行ってよい。
学習部130は、環境(状況)と行動、また当該行動による環境への作用を学習する機能を有する。学習部130は、例えば、深層学習(Deep Learning)などの機械学習アルゴリズムを用いて、上記の学習を実現する。なお、学習部130が採用する学習アルゴリズムは、上記の例に限定されず、適宜設計可能である。
行動計画部140は、認識部120が推定した状況と学習部130が学習した知識に基づいて、自律移動体10が行う行動を計画する機能を有する。本実施形態に係る行動計画部140は、例えば、認識部120が認識したユーザの発話に基づいて、ユーザの発話意図に応じた行動や、ユーザの発話意図に敢えて従わない行動を実行することを決定する。
動作制御部150は、認識部120による認識処理および行動計画部140による行動計画に基づいて、駆動部160および出力部170の動作を制御する機能を有する。動作制御部150は、例えば、上記の行動計画に基づいて、アクチュエータ570の回転制御や、ディスプレイ510の表示制御、スピーカによる音声出力制御などを行う。
駆動部160は、動作制御部150による制御に基づいて、自律移動体10が有する複数の関節部を屈伸させる機能を有する。より具体的には、駆動部160は、動作制御部150による制御に基づき、各関節部が備えるアクチュエータ570を駆動させる。
出力部170は、動作制御部150による制御に基づいて、視覚情報や音情報の出力を行う機能を有する。このために、出力部170は、ディスプレイ510やスピーカを備える。なお、本実施形態に係る出力部170は、上述したように、明示的な言語伝達情報を出力しないことを特徴の一つとする。
続いて、本実施形態に係る動作制御の具体例について詳細に説明する。上述したように、本実施形態に係る動作制御部150は、認識対象情報の入力に基づいて、認識処理の実行に係る暗示的なフィードバックである応答動作の実行を制御すること、を特徴の一つとする。当該特徴によれば、自律移動体10による認識処理の進捗をユーザが直観的に把握することが可能となる。
次に、本実施形態に係る動作制御の流れについて詳細に説明する。図18は、本実施形態に係る動作制御の流れを示すフローチャートである。
次に、本開示の一実施形態に係る動作制御部150の機能が自律移動体10とは別途の動作制御装置として実現される場合のハードウェア構成例について説明する。図19は、本開示の一実施形態に係る動作制御装置20のハードウェア構成例を示すブロック図である。図19を参照すると、動作制御装置20は、例えば、CPU871と、ROM872と、RAM873と、ホストバス874と、ブリッジ875と、外部バス876と、インターフェース877と、入力装置878と、出力装置879と、ストレージ880と、ドライブ881と、接続ポート882と、通信装置883と、を有する。なお、ここで示すハードウェア構成は一例であり、構成要素の一部が省略されてもよい。また、ここで示される構成要素以外の構成要素をさらに含んでもよい。
CPU871は、例えば、演算処理装置又は制御装置として機能し、ROM872、RAM873、ストレージ880、又はリムーバブル記録媒体901に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。
ROM872は、CPU871に読み込まれるプログラムや演算に用いるデータ等を格納する手段である。RAM873には、例えば、CPU871に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等が一時的又は永続的に格納される。
CPU871、ROM872、RAM873は、例えば、高速なデータ伝送が可能なホストバス874を介して相互に接続される。一方、ホストバス874は、例えば、ブリッジ875を介して比較的データ伝送速度が低速な外部バス876に接続される。また、外部バス876は、インターフェース877を介して種々の構成要素と接続される。
入力装置878には、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、及びレバー等が用いられる。さらに、入力装置878としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラ(以下、リモコン)が用いられることもある。また、入力装置878には、マイクロフォンなどの音声入力装置が含まれる。
出力装置879は、例えば、CRT(Cathode Ray Tube)、LCD、又は有機EL等のディスプレイ装置、スピーカ、ヘッドホン等のオーディオ出力装置、プリンタ、携帯電話、又はファクシミリ等、取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。また、本開示に係る出力装置879は、触覚刺激を出力することが可能な種々の振動デバイスを含む。
ストレージ880は、各種のデータを格納するための装置である。ストレージ880としては、例えば、ハードディスクドライブ(HDD)等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等が用いられる。
ドライブ881は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体901に記録された情報を読み出し、又はリムーバブル記録媒体901に情報を書き込む装置である。
リムーバブル記録媒体901は、例えば、DVDメディア、Blu-ray(登録商標)メディア、HD DVDメディア、各種の半導体記憶メディア等である。もちろん、リムーバブル記録媒体901は、例えば、非接触型ICチップを搭載したICカード、又は電子機器等であってもよい。
接続ポート882は、例えば、USB(Universal Serial Bus)ポート、IEEE1394ポート、SCSI(Small Computer System Interface)、RS-232Cポート、又は光オーディオ端子等のような外部接続機器902を接続するためのポートである。
外部接続機器902は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はICレコーダ等である。
通信装置883は、ネットワークに接続するための通信デバイスであり、例えば、有線又は無線LAN、Bluetooth(登録商標)、又はWUSB(Wireless USB)用の通信カード、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ、又は各種通信用のモデム等である。
以上説明したように、本開示の一実施系形態に係る情報処理方法を実現する自律移動体10は、認識対象情報の入力に基づいて、認識処理の実行に係る暗示的なフィードバックである応答動作を実行すること、を特徴の一つとする。係る構成によれば、認識処理の実行に係るフィードバックをより自然な動作で実現することが可能となる。
(1)
認識処理に基づいて行動を行う動作体の動作制御を行う動作制御部、
を備え、
前記動作制御部は、認識対象情報の入力に基づいて前記動作体に応答動作を実行させ、
前記応答動作は、前記認識処理の実行に係る暗示的なフィードバックである、
情報処理装置。
(2)
前記動作制御部は、認識対象情報の入力開始が検知されたことに基づいて前記動作体に第1応答を実行させ、認識対象情報の入力完了が検知されたことに基づいて前記動作体に第2応答を実行させ、
前記第1応答および前記第2応答は、前記認識処理の実行に係る暗示的なフィードバックである、
前記(1)に記載の情報処理装置。
(3)
前記動作制御部は、前記認識処理が完了したことに基づいて、前記動作体に前記認識処理の実行に係るフィードバックである第3応答を実行させる、
前記(2)に記載の情報処理装置。
(4)
前記動作制御部は、前記第3応答の実行後、前記動作体に前記認識処理に基づく行動を実行させる、
前記(3)に記載の情報処理装置。
(5)
前記動作体は、生物を模した形態および能力を有し、
前記第1応答、前記第2応答、および前記第3応答は、身体動作、眼球動作、または音を用いた情動表出動作のいずれかを含む、
前記(3)または(4)に記載の情報処理装置。
(6)
前記動作制御部は、センサ情報から推定される状況に基づいて、前記第1応答、前記第2応答、および前記第3応答に係る動作種別を動的に決定する、
前記(3)~(5)のいずれかに記載の情報処理装置。
(7)
前記動作制御部は、ユーザ状態に基づいて、前記第1応答、前記第2応答、および前記第3応答に係る動作種別を動的に決定する、
前記(3)~(6)のいずれかに記載の情報処理装置。
(8)
前記動作制御部は、前記認識処理に係る信頼度に基づいて、前記第3応答の動作を動的に決定する、
前記(3)~(7)のいずれかに記載の情報処理装置。
(9)
前記認識処理は、音声認識処理である、
前記(3)~(8)のいずれかに記載の情報処理装置。
(10)
前記第1応答は、眼球動作である、
前記(9)に記載の情報処理装置。
(11)
前記動作体は、駆動部を有する装置である、
前記(9)または(10)に記載の情報処理装置。
(12)
前記動作制御部は、ユーザの発話対象が前記動作体ではないと判定されたことに基づいて、前記動作体に前記第1応答、前記第2応答、または第3応答のうち少なくともいずれかを実行させない、
前記(9)~(11)のいずれかに記載の情報処理装置。
(13)
前記動作制御部は、前記動作体の行動中にユーザの発話開始が検出された場合、前記行動を緩やかに停止させる、
前記(9)~(12)のいずれかに記載の情報処理装置。
(14)
前記動作制御部は、前記行動の停止後、前記動作体が音を発生しないよう制御する、
前記(13)に記載の情報処理装置。
(15)
前記動作制御部は、前記音声認識処理に係る信頼度が低い場合、前記動作体にユーザの再発話を促す前記第3応答を実行させる、
前記(9)~(14)のいずれかに記載の情報処理装置。
(16)
前記動作制御部は、前記再発話を促す前記第3応答の完了後、前記動作体が音を発生しないよう制御する、
前記(15)に記載の情報処理装置。
(17)
前記動作体は、言語伝達手段を持たない自律移動体である、
前記(1)~(6)のいずれかに記載の情報処理装置。
(18)
前記動作体である、
前記(1)~(17)のいずれかに記載の情報処理装置。
(19)
プロセッサが、認識処理に基づいて行動を行う動作体の動作制御を行うこと、
を含み、
前記動作制御を行うことは、認識対象情報の入力に基づいて前記動作体に応答動作を実行させること、
をさらに含み、
前記応答動作は、前記認識処理の実行に係る暗示的なフィードバックである、
情報処理方法。
(20)
コンピュータを、
認識処理に基づいて行動を行う動作体の動作制御を行う動作制御部、
を備え、
前記動作制御部は、認識対象情報の入力に基づいて前記動作体に応答動作を実行させ、
前記応答動作は、前記認識処理の実行に係る暗示的なフィードバックである、
情報処理装置、
として機能させるためのプログラム。
110 入力部
120 認識部
130 学習部
140 行動計画部
150 動作制御部
160 駆動部
170 出力部
510 ディスプレイ
570 アクチュエータ
Claims (20)
- 認識処理に基づいて動作体の動作制御を行う動作制御部、
を備え、
前記動作体は、胴体と、眼球動作を表示するディスプレイが設けられ前記胴体に接続される頭部と、前記胴体の前記頭部と反対側に接続される尾部と、を有し、
前記動作制御部は、
認識対象情報の入力開始が検知されたことに基づいて第1応答を無音で実行し、前記認識対象情報の入力完了が検知されたことに基づいて第2応答を実行し、
センサ情報から推定される状況に基づいて、前記第1応答、および前記第2応答に係る動作種別を動的に決定し、
前記動作体が他の欲求もしくは周囲の環境情報を優先する場合は、前記第1応答及び前記第2応答を実行せず、
前記第1応答を、前記眼球動作および前記尾部の動作のうちセンサ情報から推定されるユーザ位置に応じた動作により実行する、
情報処理装置。 - 前記周囲の環境情報を優先する場合は、前記周囲の環境の安全性が損なわれる場合を含む
請求項1に記載の情報処理装置。 - 前記他の欲求を優先する場合は、前記動作体の充電処理を含む
請求項1に記載の情報処理装置。 - 前記他の欲求を優先する場合は、前記動作体がユーザに愛されたいという欲求を含む
請求項1に記載の情報処理装置。 - 前記動作体が他の欲求もしくは周囲の環境情報を優先するかは、前記他の欲求及び前記周囲の環境情報を総合的に判断して決定する
請求項1に記載の情報処理装置。 - 前記動作制御部は、前記認識対象情報の入力に基づいて前記動作体に応答動作を実行させ、
前記第1応答に係る前記応答動作は、前記認識処理の実行に係る暗示的なフィードバックである、
請求項1に記載の情報処理装置。 - 前記動作制御部は、認識対象情報の入力開始が検知されたことに基づいて前記動作体に前記第1応答を実行させ、認識対象情報の入力完了が検知されたことに基づいて前記動作体に前記第2応答を実行させ、
前記第1応答に係る動作および前記第2応答に係る動作は、前記認識処理の実行に係る暗示的なフィードバックである、
請求項1に記載の情報処理装置。 - 前記動作制御部は、前記認識処理が完了したことに基づいて、前記動作体に前記認識処理の実行に係るフィードバックである第3応答を実行させる、
請求項1に記載の情報処理装置。 - 前記動作制御部は、前記第3応答の実行後、前記動作体に前記認識処理に基づく行動を実行させる、
請求項8に記載の情報処理装置。 - 前記動作体は、生物を模した形態および能力を有し、
前記第2応答に係る動作、および前記第3応答に係る動作は、身体動作、眼球動作、または音を用いた情動表出動作のいずれかを含む、
請求項8に記載の情報処理装置。 - 前記動作制御部は、センサ情報から推定される状況に基づいて、前記第1応答、前記第2応答、および前記第3応答に係る動作種別を動的に決定する、
請求項8に記載の情報処理装置。 - 前記動作制御部は、ユーザ状態に基づいて、前記第1応答、前記第2応答、および前記第3応答に係る動作種別を動的に決定する、
請求項8に記載の情報処理装置。 - 前記動作制御部は、前記認識処理に係る信頼度に基づいて、前記第3応答に係る動作を動的に決定する、
請求項8に記載の情報処理装置。 - 前記認識処理は、音声認識処理である、
請求項8に記載の情報処理装置。 - 前記第1応答に係る動作は、眼球動作である、
請求項1に記載の情報処理装置。 - 前記動作体は、駆動部を有する装置である、
請求項1に記載の情報処理装置。 - 前記動作制御部は、ユーザの発話対象が前記動作体ではないと判定されたことに基づいて、前記動作体に前記第1応答、前記第2応答、または前記第3応答に係る動作のうち少なくともいずれかを実行させない、
請求項8に記載の情報処理装置。 - 前記動作制御部は、前記動作体の行動中にユーザの発話開始が検出された場合、前記行動を緩やかに停止させる、
請求項1に記載の情報処理装置。 - 前記動作制御部は、前記行動の停止後、前記動作体が音を発生しないよう制御する、
請求項9に記載の情報処理装置。 - コンピュータが、
認識処理に基づいて動作体の動作制御を行う動作制御部
を含み、
前記動作体は、胴体と、眼球動作を表示するディスプレイが設けられ前記胴体に接続される頭部と、前記胴体の前記頭部と反対側に接続される尾部と、を有し、
前記動作制御部は、
認識対象情報の入力開始が検知されたことに基づいて第1応答を無音で実行し、前記認識対象情報の入力完了が検知されたことに基づいて第2応答を実行し、
センサ情報から推定される状況に基づいて、前記第1応答、および前記第2応答に係る動作種別を動的に決定し、
前記動作体が他の欲求もしくは周囲の環境情報を優先する場合は、前記第1応答及び前記第2応答を実行せず、
前記第1応答を、前記眼球動作および前記尾部の動作のうちセンサ情報から推定されるユーザ位置に応じた動作により実行する、
情報処理方法。
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017209311 | 2017-10-30 | ||
| JP2017209311 | 2017-10-30 | ||
| JP2019549861A JPWO2019087495A1 (ja) | 2017-10-30 | 2018-08-01 | 情報処理装置、情報処理方法、およびプログラム |
| PCT/JP2018/028920 WO2019087495A1 (ja) | 2017-10-30 | 2018-08-01 | 情報処理装置、情報処理方法、およびプログラム |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019549861A Division JPWO2019087495A1 (ja) | 2017-10-30 | 2018-08-01 | 情報処理装置、情報処理方法、およびプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2024023193A JP2024023193A (ja) | 2024-02-21 |
| JP7747032B2 true JP7747032B2 (ja) | 2025-10-01 |
Family
ID=66331728
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019549861A Pending JPWO2019087495A1 (ja) | 2017-10-30 | 2018-08-01 | 情報処理装置、情報処理方法、およびプログラム |
| JP2023184256A Active JP7747032B2 (ja) | 2017-10-30 | 2023-10-26 | 情報処理装置及び情報処理方法 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019549861A Pending JPWO2019087495A1 (ja) | 2017-10-30 | 2018-08-01 | 情報処理装置、情報処理方法、およびプログラム |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20200269421A1 (ja) |
| JP (2) | JPWO2019087495A1 (ja) |
| CN (1) | CN111108463A (ja) |
| WO (1) | WO2019087495A1 (ja) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP1622874S (ja) * | 2017-12-29 | 2019-01-28 | ロボット | |
| JP2021097765A (ja) * | 2019-12-20 | 2021-07-01 | 株式会社東海理化電機製作所 | 制御装置およびプログラム |
| CN112530256A (zh) * | 2020-12-17 | 2021-03-19 | 潍坊医学院附属医院 | 一种急救训练与考核用的电子标准化人体模型系统 |
| USD985645S1 (en) * | 2021-04-16 | 2023-05-09 | Macroact Inc. | Companion robot |
| US12564794B2 (en) * | 2021-09-10 | 2026-03-03 | Sony Group Corporation | Autonomous mobile body and information processing method |
| CN115026817B (zh) * | 2022-06-08 | 2025-11-18 | 北京哈崎机器人科技有限公司 | 机器人交互方法、装置、电子设备以及存储介质 |
| USD1030917S1 (en) * | 2022-07-15 | 2024-06-11 | Shenzhen Tbz Technology Co., Ltd. | Artificial intelligence robot dog |
| CN115816480A (zh) * | 2022-08-01 | 2023-03-21 | 北京可以科技有限公司 | 一种机器人及机器人的情感表达方法 |
| WO2024163484A1 (en) * | 2023-01-31 | 2024-08-08 | Universal City Studios Llc | Interaction system for animated figures |
| JP1786622S (ja) * | 2023-06-21 | 2024-12-10 | インテリジェントサービスロボット | |
| USD1038280S1 (en) * | 2023-12-08 | 2024-08-06 | Muying Du | Toy |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003205489A (ja) | 2002-01-08 | 2003-07-22 | Matsushita Electric Ind Co Ltd | 人工目およびそれを用いたロボット |
| JP2004283927A (ja) | 2003-03-20 | 2004-10-14 | Sony Corp | ロボット制御装置および方法、記録媒体、並びにプログラム |
| JP3714268B2 (ja) | 2002-03-18 | 2005-11-09 | ソニー株式会社 | ロボット装置 |
| JP2006149805A (ja) | 2004-11-30 | 2006-06-15 | Asahi Kasei Corp | Nam音対応玩具装置、nam音対応玩具システム |
| JP3886074B2 (ja) | 1997-02-28 | 2007-02-28 | 株式会社東芝 | マルチモーダルインタフェース装置 |
| JP2007155985A (ja) | 2005-12-02 | 2007-06-21 | Mitsubishi Heavy Ind Ltd | ロボットおよび音声認識装置ならびにその方法 |
| JP4239635B2 (ja) | 2003-03-20 | 2009-03-18 | ソニー株式会社 | ロボット装置、その動作制御方法、及びプログラム |
| JP4677585B2 (ja) | 2005-03-31 | 2011-04-27 | 株式会社国際電気通信基礎技術研究所 | コミュニケーションロボット |
| JP4757979B2 (ja) | 1999-11-02 | 2011-08-24 | 株式会社セガ トイズ | 電子玩具 |
| JP5526942B2 (ja) | 2010-03-31 | 2014-06-18 | ソニー株式会社 | ロボット装置、ロボット装置の制御方法およびプログラム |
| JP5751610B2 (ja) | 2010-09-30 | 2015-07-22 | 学校法人早稲田大学 | 会話ロボット |
| JP5905488B2 (ja) | 2011-01-13 | 2016-04-20 | マイクロソフト テクノロジー ライセンシング,エルエルシー | ロボットとユーザーの相互作用のためのマルチ状態モデル |
| WO2016068262A1 (ja) | 2014-10-29 | 2016-05-06 | 京セラ株式会社 | コミュニケーションロボット |
| JP6150429B2 (ja) | 2013-09-27 | 2017-06-21 | 株式会社国際電気通信基礎技術研究所 | ロボット制御システム、ロボット、出力制御プログラムおよび出力制御方法 |
Family Cites Families (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB9623336D0 (en) * | 1996-11-08 | 1997-01-08 | Philips Electronics Nv | Autonomous compound agents |
| JP2004192653A (ja) * | 1997-02-28 | 2004-07-08 | Toshiba Corp | マルチモーダルインタフェース装置およびマルチモーダルインタフェース方法 |
| JPH11179061A (ja) * | 1997-12-01 | 1999-07-06 | Chin Kyo | Lcdの目を持つぬいぐるみ人形 |
| JP2001345906A (ja) * | 2000-05-31 | 2001-12-14 | Sanyo Electric Co Ltd | 電話対応型ロボット |
| JP2002018146A (ja) * | 2000-07-04 | 2002-01-22 | Tomy Co Ltd | 対話型玩具、反応行動パターン生成装置および反応行動パターン生成方法 |
| EP1262844A1 (en) * | 2001-06-01 | 2002-12-04 | Sony International (Europe) GmbH | Method for controlling a man-machine-interface unit |
| JP2003071763A (ja) * | 2001-09-04 | 2003-03-12 | Sony Corp | 脚式移動ロボット |
| US20060122837A1 (en) * | 2004-12-08 | 2006-06-08 | Electronics And Telecommunications Research Institute | Voice interface system and speech recognition method |
| JP4204541B2 (ja) * | 2004-12-24 | 2009-01-07 | 株式会社東芝 | 対話型ロボット、対話型ロボットの音声認識方法および対話型ロボットの音声認識プログラム |
| JP2007069302A (ja) * | 2005-09-07 | 2007-03-22 | Hitachi Ltd | 動作表出装置 |
| JP2007098555A (ja) * | 2005-10-07 | 2007-04-19 | Nippon Telegr & Teleph Corp <Ntt> | 位置指示方法とこの方法を実現するための指示装置及びプログラム |
| JP2007156561A (ja) * | 2005-11-30 | 2007-06-21 | Canon Inc | 複合現実感提示方法および複合現実感提示システム |
| CN101653662A (zh) * | 2008-08-21 | 2010-02-24 | 鸿富锦精密工业(深圳)有限公司 | 机器人 |
| WO2010061286A1 (en) * | 2008-11-27 | 2010-06-03 | Stellenbosch University | A toy exhibiting bonding behaviour |
| CN101590323B (zh) * | 2009-07-08 | 2012-10-31 | 北京工业大学 | 独轮机器人系统及其控制方法 |
| CN101786272A (zh) * | 2010-01-05 | 2010-07-28 | 深圳先进技术研究院 | 一种用于家庭智能监控服务的多感知机器人 |
| JP2015038525A (ja) * | 2011-03-31 | 2015-02-26 | 株式会社東芝 | 音声認識装置及び音声認識方法 |
| KR101262700B1 (ko) * | 2011-08-05 | 2013-05-08 | 삼성전자주식회사 | 음성 인식 및 모션 인식을 이용하는 전자 장치의 제어 방법 및 이를 적용한 전자 장치 |
| KR101311972B1 (ko) * | 2011-08-05 | 2013-09-30 | 삼성전자주식회사 | 모션 인식을 이용한 전자 장치의 제어 방법 및 이를 적용한 전자 장치 |
| WO2013022218A2 (en) * | 2011-08-05 | 2013-02-14 | Samsung Electronics Co., Ltd. | Electronic apparatus and method for providing user interface thereof |
| JP2013086226A (ja) * | 2011-10-20 | 2013-05-13 | Kyoto Sangyo Univ | コミュニケーションロボット |
| JP2014203208A (ja) * | 2013-04-03 | 2014-10-27 | ソニー株式会社 | 情報処理装置、情報処理方法及びコンピュータプログラム |
| JP6221535B2 (ja) * | 2013-09-11 | 2017-11-01 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
| KR20160051020A (ko) * | 2014-10-31 | 2016-05-11 | 얄리주식회사 | 사용자와의 상호작용이 가능한 완구 및 그 완구의 사용자와의 상호작용 수행 방법 |
| US9558734B2 (en) * | 2015-06-29 | 2017-01-31 | Vocalid, Inc. | Aging a text-to-speech voice |
| JP6768283B2 (ja) * | 2015-10-29 | 2020-10-14 | シャープ株式会社 | 電子機器およびその制御方法 |
| CN106779047B (zh) * | 2016-12-30 | 2019-06-18 | 纳恩博(北京)科技有限公司 | 一种信息处理方法和装置 |
-
2018
- 2018-08-01 US US16/755,617 patent/US20200269421A1/en not_active Abandoned
- 2018-08-01 JP JP2019549861A patent/JPWO2019087495A1/ja active Pending
- 2018-08-01 CN CN201880061649.0A patent/CN111108463A/zh active Pending
- 2018-08-01 WO PCT/JP2018/028920 patent/WO2019087495A1/ja not_active Ceased
-
2023
- 2023-10-26 JP JP2023184256A patent/JP7747032B2/ja active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3886074B2 (ja) | 1997-02-28 | 2007-02-28 | 株式会社東芝 | マルチモーダルインタフェース装置 |
| JP4757979B2 (ja) | 1999-11-02 | 2011-08-24 | 株式会社セガ トイズ | 電子玩具 |
| JP2003205489A (ja) | 2002-01-08 | 2003-07-22 | Matsushita Electric Ind Co Ltd | 人工目およびそれを用いたロボット |
| JP3714268B2 (ja) | 2002-03-18 | 2005-11-09 | ソニー株式会社 | ロボット装置 |
| JP4239635B2 (ja) | 2003-03-20 | 2009-03-18 | ソニー株式会社 | ロボット装置、その動作制御方法、及びプログラム |
| JP2004283927A (ja) | 2003-03-20 | 2004-10-14 | Sony Corp | ロボット制御装置および方法、記録媒体、並びにプログラム |
| JP2006149805A (ja) | 2004-11-30 | 2006-06-15 | Asahi Kasei Corp | Nam音対応玩具装置、nam音対応玩具システム |
| JP4677585B2 (ja) | 2005-03-31 | 2011-04-27 | 株式会社国際電気通信基礎技術研究所 | コミュニケーションロボット |
| JP2007155985A (ja) | 2005-12-02 | 2007-06-21 | Mitsubishi Heavy Ind Ltd | ロボットおよび音声認識装置ならびにその方法 |
| JP5526942B2 (ja) | 2010-03-31 | 2014-06-18 | ソニー株式会社 | ロボット装置、ロボット装置の制御方法およびプログラム |
| JP5751610B2 (ja) | 2010-09-30 | 2015-07-22 | 学校法人早稲田大学 | 会話ロボット |
| JP5905488B2 (ja) | 2011-01-13 | 2016-04-20 | マイクロソフト テクノロジー ライセンシング,エルエルシー | ロボットとユーザーの相互作用のためのマルチ状態モデル |
| JP6150429B2 (ja) | 2013-09-27 | 2017-06-21 | 株式会社国際電気通信基礎技術研究所 | ロボット制御システム、ロボット、出力制御プログラムおよび出力制御方法 |
| WO2016068262A1 (ja) | 2014-10-29 | 2016-05-06 | 京セラ株式会社 | コミュニケーションロボット |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2019087495A1 (ja) | 2019-05-09 |
| CN111108463A (zh) | 2020-05-05 |
| US20200269421A1 (en) | 2020-08-27 |
| JPWO2019087495A1 (ja) | 2020-12-10 |
| JP2024023193A (ja) | 2024-02-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7747032B2 (ja) | 情報処理装置及び情報処理方法 | |
| JP7400923B2 (ja) | 情報処理装置および情報処理方法 | |
| JP7559900B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| JP7351383B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| US12204338B2 (en) | Information processing apparatus, information processing method, and program | |
| US20250026020A1 (en) | Information processing device and information processing method | |
| US11938625B2 (en) | Information processing apparatus, information processing method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231115 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20241105 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20241226 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20250311 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20250507 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20250819 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20250901 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7747032 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |