JP2012178092A - ロボット装置 - Google Patents

ロボット装置 Download PDF

Info

Publication number
JP2012178092A
JP2012178092A JP2011041234A JP2011041234A JP2012178092A JP 2012178092 A JP2012178092 A JP 2012178092A JP 2011041234 A JP2011041234 A JP 2011041234A JP 2011041234 A JP2011041234 A JP 2011041234A JP 2012178092 A JP2012178092 A JP 2012178092A
Authority
JP
Japan
Prior art keywords
robot
emotion
emotional state
user
expression
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011041234A
Other languages
English (en)
Other versions
JP5729692B2 (ja
Inventor
Minoru Hashimoto
稔 橋本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shinshu University NUC
Original Assignee
Shinshu University NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shinshu University NUC filed Critical Shinshu University NUC
Priority to JP2011041234A priority Critical patent/JP5729692B2/ja
Publication of JP2012178092A publication Critical patent/JP2012178092A/ja
Application granted granted Critical
Publication of JP5729692B2 publication Critical patent/JP5729692B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Manipulator (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

【課題】 人の表情から人の情動を認識し、情動同調の手法を利用して制御するロボット装置を提供する。
【解決手段】 ユーザに視認させる表情を表出する表出部12aと、ユーザの表情に基づいてユーザの情動状態を解析する情動認識部20と、ロボットの情動状態を、情動認識部20によって認識されたユーザの情動状態に誘導するようにロボットの情動状態を生成する情動生成部22と、情動生成部22により生成されたロボットの情動状態に基づいて、ロボットから表出させる表情を生成する情動表出部24とを備える。
【選択図】 図4

Description

本出願はロボット装置に関し、より詳細には情動同調によるコミュニケーション手法を利用したロボット装置に関する。
エンターテインメントロボットをはじめとする、人間とインタラクションを行うロボットへのニーズは、超高齢化社会の進行の中で高まりつつある。このためロボットの研究開発がさかんに行われており、人間とコミュニケーションができるロボットの制御方法が検討されている。人間との親和性を高め、快適にコミュニケーションできるようにロボットを制御する方法として種々の方法が考えられている。しかしながら、人間同士のような自然なインタラクションを可能にする段階にまでは至っていない。
人間同士のインタラクションにおいては、「同調」がコミュニケーションスキルの一つとされている。ロボットと人間とのインタラクションにおいても、人間の動作や音声と同調させるようにロボットを制御することにより、人間とロボットとの親和性を高め、ユーザを飽きさせないようにする制御方法が考えられている。
特開2005−342873号公報
H.Yamada,"Models of perceptual judgment of emotion from facial expressions",Japanese Psychological Review, Vol.43, No.2, pp.245-255,2000. H.Yamada,T.matsuda,C.Watari and T.Suenaga,"Dimensions ofvisual information for categorizing facial expressions of emotion",Japanese Psychological Research, Vol.35,No.4, pp.172-181, 1993. J.A.Russell,"A circumplex model of affect", Journalof Personality and Society Psychology, Vol.39, pp.1161-1178, 1980. HAIシンポジウム2008 情動同調に基づく人間とロボットのインタラクション手法の提案 Masafumi Okada,Koji Tatani and Yoshihiko Nakamura, "PolynomialDesign of the Nonlinear Dynamics for the Brain-Like Information Processing ofwhole Body Motion", Proceedings of the 2002 IEEE International Conferenceon Robotics and Automation,Washington,DC,May,pp.1410-1415,2002.
人間同士あるいは人間とロボットとのインタラクションにおける「同調」には、相手の「行為」に同調する場合と、相手の「情動」に対して同調する場合とがある。行為の同調とは、話し手と聞き手との間で、うなずきや身振りといった身体のリズムを同調させるといった作用であり、相手との間で親しみやすさやポジティブな印象を持つと考えられる。一方、情動の同調とは、相手の情動に合わせた表情の表出を行うと相手の幸福表情が促進されるといったように、相手の心理状態に合った反応を返す作用であり、相手の心理状態をより快適な状態に変化させると考えられる。
本願発明者は、人の音声から情動を認識し、情動同調の手法に基づいてロボットを制御する方法について検討してきた。本願は、人の表情から人の情動を認識して情動同調の手法を利用して制御するロボット装置を提供することを目的とする。
本出願に係るロボット装置は、ユーザに視認させる表情を表出する表出部と、ユーザの表情に基づいてユーザの情動状態を解析する情動認識部と、ロボットの情動状態を、前記情動認識部によって認識されたユーザの情動状態に誘導するようにロボットの情動状態を生成する情動生成部と、情動生成部により生成されたロボットの情動状態に基づいて、ロボットから表出させる表情を生成する情動表出部とを備えることを特徴とする。
また、前記情動認識部においては、ユーザの表情から抽出された目、眉、口のそれぞれについて傾斜度と湾曲度とを検知し、前記傾斜度と湾曲度とを指標とする情動認識空間を用いてユーザの情動状態を規定することにより、ユーザの情動状態を的確に判断することができ、ユーザの情動状態に基づいてロボットを的確に制御することが可能となる。
なお、前記傾斜度は、目、眉、口の両端点を結ぶ線と水平線とのなす角によって規定され、前記湾曲度は、目、眉、口の長さと高さとの比によって規定することができる。
また、前記情動生成部においては、横軸を快−不快、縦軸を覚醒−眠気とする情動生成空間内に、前記情動認識部により認識されたユーザの情動状態を入力し、ユーザの情動状態に同調するようにロボットの情動状態を生成することにより、ユーザの情動状態に同調した情動状態を的確に生成することができる。
また、前記情動生成空間を、ユーザの情動状態をアトラクタとするベクトル場として規定することにより、ユーザの情動状態に同調するロボットの情動状態を容易に生成することができる。
また、前記情動表出部においては、目、眉、口の傾斜度と、目、眉、口の湾曲度とを指標とする情動表出空間を用いてロボットから表出させる表情を規定することにより、ロボットの情動状態に対応する表情を的確に表出することができる。
また、前記情動表出空間は、前記情動生成空間と連続的な記号空間を介して非線形写像する方法を利用して前記情動生成空間と動的に関連づけることにより、ユーザの表情に動的に同調する表情をロボットから表出させることができる。
また、前記表出部は、目、眉、口に類似する形象を、それぞれの傾斜度および湾曲度を任意に可変として表出するものとして構成されていることにより、ロボットの情動に応じて的確に表情を表出することができる。
本発明に係るロボット装置は、ユーザの表情に基づいてユーザの情動状態を認識し、この認識結果に同調するようにロボットの情動状態を生成することにより、ユーザの情動の変化に同調するようにロボットから表出される表情が制御され、自然で親和性の高いコミュニケーションが可能なロボット装置として提供される。
ロボット装置の頭部ロボットの正面図である。 頭部ロボットの側面図である。 スクリーンに表出させる像の例である。 ユーザとロボットとのインタラクションシステムのブロック図である。 顔の表情のデータから抽出した眉と目と口の形である。 顔の表情のデータから抽出した眉と目を拡大して示す図である。 傾斜度を横軸、湾曲度を縦軸として示した顔の表情の例を示す図である。 目、眉、口の傾斜度と湾曲度を示す図である。 目、眉、口の傾斜度と湾曲度の標準順状態、”+”状態、”−”状態を示す図である。 顔の表情を認識した結果に基づいて、傾斜度を横軸、湾曲度を縦軸とする2次元空間内に、happy、surprise、fear、angry、disgust、sadの顔の表情の位置を示した図である。 被検者がhappy、surprise、fear、angry、disgust、sadの表情をした場合の傾斜度と湾曲度をプロットした図である。 情動状態を二次元空間で表現するRussellの円環モデルの図である。 ユーザの情動状態をアトラクタとしたベクトル場の例を示す図である。 情動認識空間と情動生成空間との関係を示す図である。 傾斜度を横軸、湾曲度を縦軸として、ロボットから表出させる表情の例を示す図である。 記号空間と情動表出空間との関係を示す図である。 情動生成空間と記号空間との関係を示す図である。 情動生成空間における人の情動とロボットの情動とを示す図である。 記号空間内において各情動状態における状態を示す図である。 情動表出空間における各情動状態を示す図である。 図20のa〜kの各情動状態に対応してロボットから表出させる表情を示す図である。 情動認識空間、情動生成空間、記号空間、情動表出空間の各空間の関係を示す図である。 ロボットの情動をユーザの情動に同調させる制御を行う場合の情動生成空間と情動表出空間を示す図である。 図23の情動表出空間におけるロボットの表情の例を示す図である。 ロボットの情動をユーザの情動と正反対となるように制御する場合の情動生成空間と情動表出空間を示す図である。 図25の情動表出空間におけるロボットの表情の例を示す図である。 ロボットとコミュニケーションする実験の前後における快適さについて調べた結果を示すグラフである。 ロボットとコミュニケーションする実験の前後における覚醒度について調べた結果を示すグラフである。 被検者とロボットとの平均コミュニケーション時間を示すグラフである。 SD法によるロボットとコミュニケーションした印象を調査した結果を示すグラフである。
(ロボット装置)
本発明に係るロボット装置は、人(ユーザ)の表情からユーザの情動を認識し、その情動に基づいてロボットに表出させる表情を制御するように構成されている。
図1は、ロボット装置の頭部ロボットを正面方向から見た状態、図2は頭部ロボットを側面方向から見た状態を示す。この頭部ロボットは、ネック部10と頭部12とから構成される。ネック部10は、頭部12を高さ調節可能に支持する支持部を備える。頭部12は、前方が凸となるドーム形のスクリーン12aと、プロジェクタ12bと、プロジェクタ12bの前側に設置された魚眼レンズ12cとを備える。スクリーン12aがロボットの表情の表出部である。
スクリーン12aには、魚眼レンズ12cを介してプロジェクタ12bにより、人の表情が投影される。スクリーン12aに投影される像は、人の目、眉、口、鼻に類似する像であり、これらの像はコンピュータによりアニメ的にデザインされて投影される。
図3は、スクリーン12aに表出する像を示す。スクリーン12aに表出する顔の像は、目、眉、口のそれぞれ傾斜度と湾曲度とを独立にかつ連続的に変えて表出できるように制御される(鼻の画像は無変化)。図3に、目、眉、口について、傾斜度を制御する位置(円形の点)と湾曲度を制御する位置(ひし形の点)を示す。
たとえば、眉の左右の円形の点の位置を上下に動かすことにより、眉の傾斜度が変えられる。また、ひし形の点の位置を上下に動かすことにより湾曲度の小さな眉としたり、湾曲度の大きな眉としたりすることができる。同様に、目についても、円形の点の位置を動かすことにより傾斜度を変化させ、目じりが下がった状態としたり、目じりが上がった状態にしたりすることができる。また、ひし形の位置を上下させることにより、目の大きさを変えることができる。また、口の円形の点とひし形の点の位置を動かすことにより、口の大きさを変えたり口の表情を変えたりすることができる。
本実施形態のロボット装置では、上述した頭部ロボットをテーブル上に配置し、頭部ロボットの手前に人(ユーザ)の顔を視認するカメラを配置し、カメラ越しに頭部ロボットのスクリーンをユーザが視認できる配置とした。カメラ等のユーザの表情を検知する視認装置は頭部ロボットと別体に設けることもできるし、頭部ロボットに一体に組み込むこともできる。
カメラによって視認したユーザの表情に基づいてコンピュータ解析によりユーザの情動状態が認識され、認識されたユーザの情動状態に基づいて頭部ロボットのスクリーンに表出する表情が制御される。
スクリーン12aはユーザにロボットの表情を視認させるためのものであり、本実施形態ではスクリーン12aをドーム形としたことにより、表情が立体的に表出できるようになっている。スクリーン12aはロボットの表情を表出させる表出部の一つの例であり、スクリーン以外に液晶による表示方法や、各種のディスプレイ方法を利用することができる。
(インタラクションシステム)
図4は、ユーザとロボットとのインタラクションシステムをブロック図として示したものである。
ロボット装置は、カメラ等の視認装置により視認して得られた人(ユーザ)の表情からユーザの情動状態を解析する情動認識部20と、ロボットに表出させる表情を生成させるために、情動認識部20によって解析されたユーザの情動状態に同調させる情動を生成させる情動生成部22と、情動生成部22によって生成した情動に基づいてロボットから表出させる表情を生成するための情動表出部24とを備える。以下、これら各部の構成について説明する。
(情動認識部)
情動認識部では人(ユーザ)の表情に基づいて人の情動状態を認識する。人の表情から情動を認識する方法には、心理学的方法等のさまざまなアプローチがある。
本実施形態では、AdaBoostアルゴリズムを利用し、目、眉、口について表情を検知した。実施形態のロボット装置は、1秒間に25フレームの速度で顔の表情を検知することが可能である。顔の表情を認識するには、目の領域と口の領域を別々に検知し、目の領域では、眉と目とを分離し、左右の眉、目についてそれぞれ分離して解析した。人の表情は必ずしも左右対称ではないからである。口については、皮膚の色と唇の色が類似していることから、RGBによる分析方法にかえてHSVによる分析方法を利用して解析した。
図5は、カメラによって検知した顔の表情のデータを加工して、眉と目と口の形を抽出した例である。図6は、眉と目について抽出した例を示す。
人の顔の表情から情動状態を認識する方法として、本実施形態においては、顔の表情に表れる湾曲度(bending)と傾斜度(inclination)を指標として認識する方法を利用した。この顔の表情に表れる湾曲度と傾斜度が人の情動に関連するという考え方は、Yamadaの理論に基づく(非特許文献1、2)。顔の表情に表れる湾曲度は、眉と目の曲がり具合、口の開き具合に関係し、傾斜度は、目と眉の傾き具合、口のV形あるいは逆V形の形状に関係する。図7に、傾斜度を横軸、湾曲度を縦軸とした場合の顔の表情の例を示す。
図8は表情のデータから傾斜度(inclination)と湾曲度(bending)を決める方法を示す。
目、眉、口の両端点を結ぶ線と水平線とのなす角、θe、θb、θmが、目、眉、口の傾斜度(傾斜角)を示し、目の長さLeと高さHeとの比、眉の長さLbと高さHbとの比、口の長さLmと高さHmの比によって湾曲度が定義される。
顔の表情は刻々変化するが、各表情における顔全体の傾斜度を目、眉、口の傾斜度をすべて加え合わせたものとして定義し、湾曲度を目、眉、口の湾曲度をすべて加え合わせたものと定義する。なお、傾斜度と湾曲度については、図9に示すように、目、眉、口について標準の傾斜度と湾曲度を設定し、この標準状態を基準状態として、”+”状態と、”−”状態を定義した。
図10は、43人の被検者について顔の表情を認識した結果に基づき、傾斜度(inclination)を横軸、湾曲度(bending)を縦軸とする2次元空間内に、典型的な6つの顔の表情happy、surprise、fear、angry、disgust、sadの位置を示したものである。
図10では、happyとangryの状態で顔の表情の傾斜度が最大と最小になることから、happyとangryの状態の傾斜度を1、−1とし、surpriseとsadの状態で顔の表情の湾曲度が最大と最小になることから、surpriseとsadの状態の湾曲度を1、−1となるように規格化している。
図10はユーザの顔の表情に基づいてユーザの情動状態を認識した結果を、2次元空間で表した情動認識空間である。
図11は、12人の被検者に、happy、surprise、fear、angry、disgust、sadの表情をするように依頼し、そのときの表情をカメラで視認して、上述した傾斜度と湾曲度を指標とする2次元空間内にプロットしたものである。実験によるプロット位置と、図10に示した6つの顔の表情に対応する位置とのずれを計測したところ、77%の確率で顔の表情からhappy、surprise、fear、angry、disgust、sadの情動状態が認識されるという結果が得られた。すなわち、前述した顔の表情を解析して得られた傾斜度及び湾曲度に基づいて人の情動状態を認識することが可能であり、この手法が人(ユーザ)の情動状態を認識する方法として有効であることを示す。
(情動生成部)
本発明に係るロボット装置では情動認識部により認識された人(ユーザ)の情動に基づいてスクリーン12aに表出させる表情を制御する。このスクリーンに表出させる表情を制御する手法として、本発明においては、ユーザの情動状態に基づいてロボットの情動状態を制御し、この情動状態に基づいてロボットから表出させる表情を制御するという手法をとる。
この人とロボットの情動に基づいて制御する方法は、単に、人とロボットとの行為を同調させるといった制御方法と比較して、人とロボットとの自然なコミュニケーションを可能とし、人とロボットとの親和性を高めることができ、人とロボットとのコミュニケーションを制御する方法として汎用的な利用を可能にするという利点がある。
人の情動状態に基づいてロボットから発現させる情動状態を生成する方法として、本実施形態においては、情動状態を二次元空間で表現するRussellの円環モデル(非特許文献3)を利用する(図12)。この円環モデルは、横軸に快−不快、縦軸に覚醒−眠気をとることによって、種々の情動状態を表現するように考えられたものである。
情動生成部は、この円環モデルに基づく情動空間に、前述した情動認識部により得られた人(ユーザ)の情動状態の値を入力し、この値にしたがってロボットの情動状態を決める。
本発明においては、ロボットの情動をユーザの情動に同調させるように制御する。このような制御を行うため、ユーザとロボットの情動状態を表現する情動空間を、ユーザの情動状態(入力値)をアトラクタとする力学系のベクトル場として規定し、ユーザの情動状態にロボットの情動状態が徐々に引き込まれる(誘導される)ように制御する手法を用いた。
図13は、情動空間内に入力されたユーザの情動状態(入力値)に、ロボットの情動状態が同調される作用を矢印によって示している。ユーザの情動状態は刻々と変化するが、図13に示すようなベクトル場を考慮することにより、ロボットの情動状態は徐々にユーザの情動状態に引き込まれてユーザの情動状態に同調していく。
図13に示すベクトル場として構築した情動空間は、人の情動状態に基づいてロボットの情動状態を生成するという意味で情動生成空間ということができる。
図12に示すRussellの円環モデルによる情動空間と、図10に示した、ユーザの情動状態を示す空間(情動認識空間)とは類似しているが、一致はしていない。図14に、先に取り上げた6つの情動、happy、surprise、fear、angry、disgust、sadについて、情動認識空間と情動生成空間とがどのような関係にあるかを示した。
(情動表出部)
情動表出部では、ユーザの情動状態に同調させて生成したロボットの情動状態に基いてロボットから表出させる表情を生成する。図15にロボットから表出させる表情の例を示す。ロボットから表出させる表情は、図15に示すような傾斜度を横軸、湾曲度を縦軸とする2次元空間内の各点に対応して決められる。この2次元空間の傾斜度は、目と眉の傾斜角、口のV形あるいは逆V形の角度に関係し、湾曲度は、眉の曲がり具合、目と口の大きさに関係する。図15は、例として、normal、happy、angry、sad、surpriseの各情動状態に対応する5つの表情を示したものである。したがって、ロボットの情動状態をロボットの表情を規定する目、眉、口についての傾斜度と湾曲度に結びつけることにより、ロボットから表出させる表情を決めることができる。
人とコミュニケーションするロボットは人と類似したさまざまな情動状態を取り得る。この情動状態は刻々と変化する動的なものであり、同じ情動状態であっても表出される表情は動的に変化する。このように、ロボットから表出させる表情を動的に変化させるようにするため、本実施形態においては、ロボットの情動状態を表す情動生成空間とロボットにより表出させる表情を生成するための情動表出空間とを関連づける、連続空間としての記号空間を想定し、記号空間を介して情動生成空間と情動表出空間とを関連づけるようにしている(非特許文献5)。
図16は記号空間と情動表出空間との関係を示している。記号空間内の各点は情動表出空間における動的な動き(サイクリックな動き)に対応する。情動生成部によって生成されたロボットの情動状態は、記号空間を介して動的な表情を表出させる情動表出空間に結び付けられている。このように、情動生成空間と情動表出空間とを動的に関連づけすることにより、ユーザの情動状態に同調してロボットによる動的で自然な表情の表出が可能になる。
図17は情動生成空間(図13)と記号空間との関係を概念的に示した図である。情動生成空間と記号空間は異次元空間であり、記号空間と情動表出空間も異次元空間である。本実施形態では非線形写像による手法を利用して異次元空間を結びつけるようにした。
(情動同調のシミュレーション)
上述した情動同調の方法を利用して、情動状態がどのように連関するかをシミュレーションした例を以下に示す。この計算は、人の情動が、normal→happy→surprise→angry→sad→normalの順に変化したと想定して行ったものである。図18は情動生成空間における人の情動とロボットの情動とを示したものである。人の情動状態に同調してロボットの情動状態が移動していく様子がわかる。図19は記号空間内における動きである。記号空間においては、情動状態がλ1、λ2、λ3の3個の指標によって規定されている。図20は情動表出空間における情動状態を示す。情動表出空間では各情動状態に応じて、動的に情動状態が変化している。図21は実際にロボットから表出される表情を示す。a〜kは、図20のa〜kの各情動状態に対応する。
図18、19、20、21に示すシミュレーション結果は、上述した情動生成空間、記号空間、情動表出空間を利用する情報処理方法が、人とロボットとを情動同調に基づく手法によって動的に制御する方法として有効に利用することができ、情報処理方法としても効率的で、人とロボットとの自然なコミュニケーションを可能にすることを示している。 図22は、上述した情動認識空間、情動生成空間、記号空間、情動表出空間の各空間の関係を示したものである。ユーザの表情に基づいて認識された情動状態が情動表出空間にまで連関して、ロボットから表出される表情が規定されていることを示す。
(コミュニケーション実験)
本発明に係る人とロボットとのコミュニケーションを制御する手法として情動同調の考え方を利用することによる効果を確かめるため、情動同調の制御を行った場合と情動同調させないように制御した場合とで、人とロボットとのコミュニケーションがどのようになるかを実験した結果について説明する。
図23、24はロボットの情動をユーザの情動に同調させるコミュニケーションを行う場合の例である。このコミュニケーションによる場合は、ロボットのスタート時の情動がユーザの情動状態に徐々に引き込まれて同調されていく。図25、26は、ロボットの情動をユーザの情動状態から正反対の方向へ引き込む(非同調)ように制御する場合の例である。
40人の被検者を20人ずつの2グループに分け、一方のグループの被検者にはロボットと同調するようにコミュニケーションすることを求め、他方のグループの被検者にはロボットと同調しないようにコミュニケーションすることを求めて実験を行った。被検者は前述したロボット装置のドーム形のスクリーン12aに表出される表情を見ながら、先の条件下において自由にロボットとコミュニケートした。
コミュニケーションによる作用を調べるため、実験の前後において、被検者の情動状態を、快−不快と覚醒−眠気の二つのパラメータに基づいて調査した。そして、実験終了後に心理学のSD法(Semantic Differential)により実験の印象を調査した。
実際に、ユーザの表情の変化にともなってロボットから表出される表情がどのように変化するかを観察したところ、情動同調によるコミュニケーションでは、ユーザが快−不快と感じると、ロボットも同じように快−不快と感じる表情を表出し、覚醒度についてもユーザとロボットが同調する表情となることを確かめた。一方、情動非同調によるコミュニケーションでは、ロボットの表情はユーザの表情とまったく逆の情動状態を表出することが確かめられた。
この実験結果は、本実施形態において使用したロボット装置が、ユーザの表情に基づいてユーザの情動状態を正確に認識できること、ロボット装置がユーザの情動状態に基づいて的確に対応できることを示している。
図27、28は、実験後に、40人の被験者について情動状態を、快適さと覚醒度のパラメータとして示した平均値である。この結果は、情動同調によるコミュニケーションによる場合は、有意差1%以内において、実験の前後で被検者の快適度と覚醒度が顕著に向上すること、すなわち、情動同調によるコミュニケーションを行った場合は、被検者がロボットに関心を寄せ、興味を持つようになることを示している。
一方、情動非同調によるコミュニケーションによる場合は、有意差1%以内において、被検者の覚醒度は実験後に向上したものの、快適さの感情については実験前よりも実験後は低下する結果となっている。この結果は、情動非同調によるコミュニケーションは被検者を不快にするように作用することを示している。
以上の実験結果は、情動同調による人とロボットとのコミュニケーションは、人の情動状態にポジティブな影響を及ぼすということができる。事実、情動同調によるコミュニケーションを行った被検者のコミュニケーション時間は、情動非同調によるコミュニケーションを行った被検者のコミュニケーション時間のおよそ2倍であった。図29は、被検者の平均コミュニケーション時間を示す。
図30は、SD法によるロボットの印象を調査した結果を示す。図のように、情動同調によるコミュニケーションを行った被検者は、情動非同調によるコミュニケーションを行った被検者と比較して、ロボットに対してはるかに強い好印象を持つことがわかる。このことは、人の情動と同調できるロボットは人に受け入れられやすく、人に好ましい印象を与えることを示している。
以上説明したように、本発明に係るロボット装置は、人とロボットとの情動に基づいて相互にコミュニケーションするように制御したことにより、人とロボットとの親和性を高めることができ、ロボットとコミュニケーションについて快適な感情を人に与え、ロボットを受け入れやすくすることができるという作用効果を有する。
本実施形態においては、人の表情に基づいて人の情動を認識した。人の情動は顔の表情に限らず、音声や、ことば、身振りにも表れる。本発明に係る情動同調に基づいて人とロボットとのコミュニケーションを考える方法は、顔の表情に限らず、人の心理状態に基づいてロボットを制御する方法として汎用的にかつ効果的に利用することができる。
10 ネック部
10a 支持板
10b 支持脚部
12 頭部
12a スクリーン
12b プロジェクタ
12c 魚眼レンズ
20 情動認識部
22 情動生成部
24 情動表出部





Claims (8)

  1. ユーザに視認させる表情を表出する表出部と、
    ユーザの表情に基づいてユーザの情動状態を解析する情動認識部と、
    ロボットの情動状態を、前記情動認識部によって認識されたユーザの情動状態に誘導するようにロボットの情動状態を生成する情動生成部と、
    情動生成部により生成されたロボットの情動状態に基づいて、ロボットから表出させる表情を生成する情動表出部とを備えることを特徴とするロボット装置。
  2. 前記情動認識部においては、
    ユーザの表情から抽出された目、眉、口のそれぞれについて傾斜度と湾曲度とを検知し、前記傾斜度と湾曲度とを指標とする情動認識空間を用いてユーザの情動状態を規定することを特徴とする請求項1記載のロボット装置。
  3. 前記傾斜度は、目、眉、口の両端点を結ぶ線と水平線とのなす角によって規定され、
    前記湾曲度は、目、眉、口の長さと高さとの比によって規定されることを特徴とする請求項2記載のロボット装置。
  4. 前記情動生成部においては、
    横軸を快−不快、縦軸を覚醒−眠気とする情動生成空間内に、前記情動認識部により認識されたユーザの情動状態を入力し、
    ユーザの情動状態に同調するようにロボットの情動状態を生成することを特徴とする請求項1〜3のいずれか一項記載のロボット装置。
  5. 前記情動生成空間を、ユーザの情動状態をアトラクタとするベクトル場として規定することにより、ユーザの情動状態に同調するロボットの情動状態を生成することを特徴とする請求項4記載のロボット装置。
  6. 前記情動表出部においては、
    目、眉、口の傾斜度と、目、眉、口の湾曲度とを指標とする情動表出空間を用いてロボットから表出させる表情を規定することを特徴とする請求項1〜5のいずれか一項記載のロボット装置。
  7. 前記情動表出空間は、前記情動生成空間と連続的な記号空間を介して非線形写像する方法を利用して前記情動生成空間と動的に関連づけることにより、ロボットから表出する表情を規定することを特徴とする請求項6記載のロボット装置。
  8. 前記表出部は、目、眉、口に類似する形象を、それぞれの傾斜度および湾曲度を任意に可変として表出するものであることを特徴とする請求項1〜7のいずれか一項記載のロボット装置。






JP2011041234A 2011-02-28 2011-02-28 ロボット装置 Active JP5729692B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011041234A JP5729692B2 (ja) 2011-02-28 2011-02-28 ロボット装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011041234A JP5729692B2 (ja) 2011-02-28 2011-02-28 ロボット装置

Publications (2)

Publication Number Publication Date
JP2012178092A true JP2012178092A (ja) 2012-09-13
JP5729692B2 JP5729692B2 (ja) 2015-06-03

Family

ID=46979884

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011041234A Active JP5729692B2 (ja) 2011-02-28 2011-02-28 ロボット装置

Country Status (1)

Country Link
JP (1) JP5729692B2 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015148701A (ja) * 2014-02-06 2015-08-20 日本電信電話株式会社 ロボット制御装置、ロボット制御方法及びロボット制御プログラム
JP2015210059A (ja) * 2014-04-30 2015-11-24 株式会社東芝 冷蔵庫
JP2016036883A (ja) * 2014-08-08 2016-03-22 日本電信電話株式会社 ロボット制御装置、ロボット制御方法及びロボット制御プログラム
JP2016215292A (ja) * 2015-05-15 2016-12-22 Kddi株式会社 ロボット動作生成装置およびプログラム
WO2017183319A1 (ja) * 2016-04-20 2017-10-26 株式会社ソニー・インタラクティブエンタテインメント ロボットおよび筐体
CN108568806A (zh) * 2018-06-14 2018-09-25 深圳埃米电子科技有限公司 一种机器人的头部结构
US20190163961A1 (en) * 2016-06-27 2019-05-30 Sony Corporation Information processing system, storage medium, and information processing method
US10808879B2 (en) 2016-04-20 2020-10-20 Sony Interactive Entertainment Inc. Actuator apparatus
DE112018005034B4 (de) 2017-09-11 2022-05-12 Groove X, Inc. Autonom handelnder Roboter, der den Begleiter anblickt

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019101492A (ja) * 2017-11-28 2019-06-24 トヨタ自動車株式会社 コミュニケーション装置
WO2023199256A2 (en) * 2022-04-13 2023-10-19 Soul Machines Limited Affective response modulation in embodied agents

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005293539A (ja) * 2004-03-08 2005-10-20 Matsushita Electric Works Ltd 表情認識装置
JP2005342873A (ja) * 2004-06-07 2005-12-15 Sony Corp ロボット装置及びその動作制御方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005293539A (ja) * 2004-03-08 2005-10-20 Matsushita Electric Works Ltd 表情認識装置
JP2005342873A (ja) * 2004-06-07 2005-12-15 Sony Corp ロボット装置及びその動作制御方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
CSNG200301525004; 徐光哲, 外2名: '"固有空間を利用した計算機による似顔絵の生成"' 電子情報通信学会論文誌 第J84-D-II巻, 第7号, 20010701, p.1279-1288, 社団法人電子情報通信学会 *
JPN6014053161; 徐光哲, 外2名: '"固有空間を利用した計算機による似顔絵の生成"' 電子情報通信学会論文誌 第J84-D-II巻, 第7号, 20010701, p.1279-1288, 社団法人電子情報通信学会 *
JPN7014003591; 橋本稔, 外1名: '"力学的情報処理を用いたヒューマノイドロボットの感性コミュニケーション"' 平成22年度電気関連学会東海支部連合大会, [online] , 201008 *
JPN7014003592; 橋本稔: '"感性ロボットを用いた直感的で分かり易いヒューマンインタフェースの実現を目指して"' 第25回日本ロボット学会学術講演会, [online] , 200709 *
JPN7014003593; 薄井達也, 外2名: '"同調性に基づくロボットのコミュニケーションシステムの構築"' Proceedings of the 2008 JSME Conference on Robotics and Mechatronics, [online] , 200806 *
JPN7014003594; 山野美咲, 外2名: '"情動同調に基づく人間とロボットのインタラクション手法の提案"' HAIシンポジウム2008, [online] , 2008 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015148701A (ja) * 2014-02-06 2015-08-20 日本電信電話株式会社 ロボット制御装置、ロボット制御方法及びロボット制御プログラム
JP2015210059A (ja) * 2014-04-30 2015-11-24 株式会社東芝 冷蔵庫
JP2016036883A (ja) * 2014-08-08 2016-03-22 日本電信電話株式会社 ロボット制御装置、ロボット制御方法及びロボット制御プログラム
JP2016215292A (ja) * 2015-05-15 2016-12-22 Kddi株式会社 ロボット動作生成装置およびプログラム
US11052547B2 (en) 2016-04-20 2021-07-06 Sony Interactive Entertainment Inc. Robot and housing
US10808879B2 (en) 2016-04-20 2020-10-20 Sony Interactive Entertainment Inc. Actuator apparatus
WO2017183319A1 (ja) * 2016-04-20 2017-10-26 株式会社ソニー・インタラクティブエンタテインメント ロボットおよび筐体
US20190163961A1 (en) * 2016-06-27 2019-05-30 Sony Corporation Information processing system, storage medium, and information processing method
US11003894B2 (en) * 2016-06-27 2021-05-11 Sony Corporation Information processing system, storage medium, and information processing method to make a response to a user on a basis of an episode constructed from an interaction with a user
US20210232807A1 (en) * 2016-06-27 2021-07-29 Sony Group Corporation Information processing system, storage medium, and information processing method
US12073653B2 (en) 2016-06-27 2024-08-27 Sony Group Corporation Information processing system, storage medium, and information processing method
DE112018005034B4 (de) 2017-09-11 2022-05-12 Groove X, Inc. Autonom handelnder Roboter, der den Begleiter anblickt
US11498222B2 (en) 2017-09-11 2022-11-15 Groove X, Inc. Autonomously acting robot that stares at companion
CN108568806A (zh) * 2018-06-14 2018-09-25 深圳埃米电子科技有限公司 一种机器人的头部结构
CN108568806B (zh) * 2018-06-14 2024-02-13 深圳埃米电子科技有限公司 一种机器人的头部结构

Also Published As

Publication number Publication date
JP5729692B2 (ja) 2015-06-03

Similar Documents

Publication Publication Date Title
JP5729692B2 (ja) ロボット装置
US11598957B2 (en) Facial expressions from eye-tracking cameras
US12474588B2 (en) Face model capture by a wearable device
US11636652B2 (en) Periocular and audio synthesis of a full face image
US11783524B2 (en) Producing realistic talking face with expression using images text and voice
US20220124140A1 (en) Communication assistance system, communication assistance method, and image control program
Vinola et al. A survey on human emotion recognition approaches, databases and applications
KR102196380B1 (ko) 사용자의 감정 상태들을 사용하여 가상 이미지 생성 시스템을 제어하기 위한 기술
Jaques et al. Understanding and predicting bonding in conversations using thin slices of facial expressions and body language
US11328187B2 (en) Information processing apparatus and information processing method
US20190082211A1 (en) Producing realistic body movement using body Images
CN110531853B (zh) 一种基于人眼注视点检测的电子书阅读器控制方法及系统
KR20220004156A (ko) 디지털 휴먼에 기반한 자동차 캐빈 인터랙션 방법, 장치 및 차량
Kim et al. LMA based emotional motion representation using RGB-D camera
EP4443275A1 (en) Input methods performed at wearable devices, and systems and methods of use thereof
Ma et al. Multimodal fusion with LLMs for engagement prediction in natural conversation
CN113835375A (zh) 一种辅助治疗焦虑障碍的人工智能系统
Jindal et al. A comparative analysis of established techniques and their applications in the field of gesture detection
Takegawa et al. Digital full-face mask display with expression recognition using embedded photo reflective sensor arrays
Zaghbani et al. Facial emotion recognition for adaptive interfaces using wrinkles and wavelet network
WO2021106552A1 (ja) 情報処理装置、情報処理方法、及びプログラム
Rivera et al. Development of an automatic expression recognition system based on facial action coding system
アブシャララ,エルサイド Prediction of Fatigue Using Deep Learning Models
KR20190136652A (ko) 스마트 미러 디스플레이 장치
Li et al. EMOTIONAL SYNCHRONIZATION-BASED HUMAN–ROBOT COMMUNICATION AND ITS EFFECTS

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140207

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20141209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141219

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150217

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150317

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150330

R150 Certificate of patent or registration of utility model

Ref document number: 5729692

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250