JP7400968B2 - メッセージ生成装置、メッセージ提示装置、メッセージ生成方法及びメッセージ生成プログラム - Google Patents

Description

この発明の実施形態は、メッセージ生成装置、メッセージ提示装置、メッセージ生成方法及びメッセージ生成プログラムに関する。

発信者の感情に基づいてメッセージを提示するための技術が各種提案されている。

例えば、特許文献１は、犬の鳴き声の特徴から犬の感情を推定する感情推定技術を開示している。また、この感情推定技術を適用して、ペットとのコミュニケーションツールを提供する製品も販売されている。この製品では、ペットの感情毎に複数のメッセージが用意されており、推定された感情に紐づけられたメッセージがランダムに提示されるようになっている。

国際公開第２００３／０１５０７６号公報

発信者の実行したい行動が主張されたとき、コミュニケーション相手である受け手の感情によって、その主張が叶えられるかは左右されることが多い。例えば、発信者が楽しい気持ちで「散歩したい！」と思った場合、受け手の感情が発信者の感情である「楽しい」と近ければ、その行動を実行してくれる可能性が高い。これに対して、受け手の感情が例えば「悲しい」などといった、発信者の感情（楽しい）と遠い場合は、その行動を実行してもらえない可能性が高い。

特許文献１は、コミュニケーション相手である受け手の感情を考慮する構成について全く開示していない。

この発明は、発信者の感情に加えて、コミュニケーション相手である受け手の感情も考慮して、提示するメッセージを生成できるようにする技術を提供しようとするものである。

上記課題を解決するために、この発明の一態様に係るメッセージ生成装置は、発信者の感情を推定するための発信者情報を取得する発信者情報取得部と、前記発信者からのメッセージを受け取る受け手の感情を推定するための受け手情報を取得する受け手情報取得部と、前記発信者情報取得部で取得した前記発信者情報に基づいて推定される前記発信者の感情に対応する行動を表すメッセージを生成するメッセージ生成部と、を備え、前記メッセージ生成部は、前記行動を表すメッセージとして、前記発信者情報取得部で取得した前記発信者情報に基づいて推定される前記発信者の感情と、前記受け手情報取得部で取得した前記受け手情報に基づいて推定される前記受け手の感情とが、近いときには、前記行動を具体化したメッセージを生成し、前記推定した前記発信者の感情と前記受け手の感情とが遠いときには、前記行動を概念化したメッセージを生成する。

この発明の一態様によれば、発信者とコミュニケーション相手である受け手との感情の近さに応じたメッセージを生成するので、発信者の感情に加えて受け手の感情も考慮して、提示するメッセージを生成可能とする技術を提供することができる。

図１Ａは、この発明の第１実施形態に係るメッセージ生成装置を備えるメッセージ提示装置の構成の一例を示すブロック図である。 図１Ｂは、メッセージ提示装置を構成する情報処理装置のハードウェア構成の一例を示す図である。 図２は、行動データベースが保持する情報の一例を示す図である。 図３は、情報処理装置における処理動作の一例を示すフローチャートである。 図４は、行動メッセージ「あそぶの？じゅんびＯＫ！」が示す各感情成分をラッセルの感情円環モデル上にモデル化した図である。 図５は、図４の各感情ベクトルに基づいて取得される発信者感情の感情ベクトルを示す図である。 図６は、受け手感情の感情ベクトルを示す図である。 図７は、発信者感情の感情ベクトルと受け手感情の感情ベクトルとの関係を示す図である。 図８は、この発明の第２実施形態に係るメッセージ生成装置を備えるメッセージ提示装置の構成の一例を示すブロック図である。 図９は、図８のメッセージ提示装置における発信者装置を構成する情報処理装置のハードウェア構成の一例を示す図である。 図１０Ａは、図９の情報処理装置における処理動作の一例を示すフローチャートである。 図１０Ｂは、図８のメッセージ提示装置における受け手装置を構成する情報処理装置における処理動作の一例を示すフローチャートである。 図１１は、この発明の第３実施形態に係るメッセージ生成装置を備えるメッセージ提示装置の構成の一例を示すブロック図である。 図１２は、第３実施形態に係るメッセージ生成装置を備えるメッセージ提示装置の構成の別の例における受け手装置の構成を示すブロック図である。 図１３は、第３実施形態に係るメッセージ生成装置におけるメッセージデータベースが保持する情報の一例を示す図である。

以下、図面を参照して、この発明に係わる実施形態を説明する。

［第１実施形態］
図１Ａは、この発明の第１実施形態に係るメッセージ生成装置を備えるメッセージ提示装置の構成の一例を示すブロック図である。メッセージ生成装置は、行動データベース１０、発信者情報取得部２０、受け手情報取得部３０、及びメッセージ生成部４０を備える。メッセージ提示装置は、メッセージ生成装置とメッセージ提示部５０とを備える。なお、図１Ａでは、「行動データベース」を「行動ＤＢ」と記載している。

ここで、行動データベース１０は、発信者の感情に対応する、発信者がやりたい行動を示す行動メッセージを保持する。

発信者情報取得部２０は、発信者の感情を推定するための発信者情報を取得する。発信者は、例えば、犬、猫、鳥などの感情に応じて様々な鳴き声や呻き声を発するペットを含む。また、発信者は、未だ言語を操れず感情を鳴き声や呻き声で表す人間の乳幼児を含み得る。発信者情報は、少なくとも、発信者が発した音声に関する音声情報を含む。発信者情報は、それ以外にも、発信者の外見を撮像した画像情報、発信者の体温や心拍数等の生体の状態を示す生体情報、等の、発信者の感情を推定するのに利用可能な様々な情報を含むことができる。

受け手情報取得部３０は、発信者からのメッセージを受け取る受け手の感情を推定するための受け手情報を取得する。受け手は、例えば、ペットの飼い主や人間の乳幼児の親等を含む。受け手情報は、例えば、受け手の発言に関する音声情報、受け手の外見を撮像した画像情報、受け手生体情報、等の、受け手の感情を推定するのに利用可能な様々な情報を含み得る。

メッセージ生成部４０は、発信者情報取得部２０で取得した発信者情報に基づいて推定される発信者の感情に対応する行動を表すメッセージを生成する。メッセージ生成部４０は、行動を表すメッセージとして、発信者情報取得部２０で取得した発信者情報に基づいて推定される発信者の感情と、受け手情報取得部３０で取得した受け手情報に基づいて推定される受け手の感情とが、近いときには、行動を具体化したメッセージを生成する。また、メッセージ生成部４０は、それら推定した発信者の感情と受け手の感情とが遠いときには、行動を概念化したメッセージを生成する。

このメッセージ生成部４０は、より詳細には、行動取得部４１、抽象度算出部４２、及び生成部４３を含む。

行動取得部４１は、発信者情報取得部２０で取得した発信者情報に基づいて発信者の感情を推定し、推定した発信者の感情に対応する行動の行動メッセージを行動データベース１０から取得する。

抽象度算出部４２は、受け手情報取得部３０で取得した受け手情報に基づいて受け手の感情を推定し、推定した受け手の感情と行動取得部４１で推定した発信者の感情との近さに応じて、生成するメッセージの抽象度を算出する。

生成部４３は、抽象度算出部４２が生成した抽象度に基づいてメッセージを生成する。

また、メッセージ提示部５０は、メッセージ生成部４０によって生成されたメッセージを受け手に提示する。

図１Ｂは、図１Ａのメッセージ提示装置を構成する情報処理装置のハードウェア構成の一例を示す図である。情報処理装置は、専用の筐体を備えるコミュニケーション装置として提供されても良いし、スマートフォンやパーソナルコンピュータなどの汎用のコンピュータによって実現されても良い。

情報処理装置は、図１Ｂに示すように、ＣＰＵ（Central Processing Unit）等のハードウェアプロセッサ１０１を有する。そして、情報処理装置では、このプロセッサ１０１に対し、プログラムメモリ１０２と、データメモリ１０３と、通信インタフェース１０４と、入出力インタフェース１０５とが、バス１０６を介して接続される。なお、図１Ｂでは、「入出力インタフェース」を「入出力ＩＦ」と略記している。

ここで、プログラムメモリ１０２は、非一時的な有形のコンピュータ可読記憶媒体として、例えば、ＨＤＤ（Hard Disk Drive）又はＳＳＤ（Solid State Drive）等の随時書込み及び読出しが可能な不揮発性メモリと、ＲＯＭ（Read Only Memory）等の不揮発性メモリとが組合せて使用されたものである。このプログラムメモリ１０２には、プロセッサ１０１が第１実施形態に係る各種制御処理を実行するために必要なプログラムが格納されている。すなわち、上記の発信者情報取得部２０、受け手情報取得部３０、メッセージ生成部４０、及びメッセージ提示部５０の各部における処理機能部は、何れも、プログラムメモリ１０２に格納されたプログラムを上記プロセッサ１０１により読み出させて実行させることにより実現され得る。なお、これらの処理機能部の一部又は全部は、特定用途向け集積回路（ＡＳＩＣ：Application Specific Integrated Circuit）、ＤＳＰ（Digital Signal Processor）、又はＦＰＧＡ（Field-Programmable Gate Array）などの集積回路を含む、他の多様な形式によって実現されても良い。

また、データメモリ１０３は、有形のコンピュータ可読記憶媒体として、例えば、上記の不揮発性メモリと、ＲＡＭ（Random Access Memory）等の揮発性メモリとが組合せて使用されたものである。このデータメモリ１０３は、各種処理が行われる過程で取得及び作成された各種データが記憶されるために用いられる。すなわち、データメモリ１０３には、各種処理が行われる過程で、適宜、各種データを記憶するための領域が確保される。そのような領域として、データメモリ１０３には、例えば、行動データベース記憶部１０３１、一時記憶部１０３２、及び提示情報記憶部１０３３を設けることができる。なお、図１Ｂでは、「行動データベース記憶部」を「行動ＤＢ記憶部」と記載している。

行動データベース記憶部１０３１は、発信者の感情に対応する、発信者がやりたい行動を示す行動メッセージを記憶する。すなわち、上記行動データベース１０が、この行動データベース記憶部１０３１に構成されることができる。

一時記憶部１０３２は、プロセッサ１０１が、上記発信者情報取得部２０、受け手情報取得部３０、及びメッセージ生成部４０としての動作を実施した際に取得又は生成する、発信者情報、受け手情報、やりたい行動の行動メッセージ、感情、等のデータを記憶する。

提示情報記憶部１０３３は、プロセッサ１０１が上記メッセージ生成部４０としての動作を実施した際に生成され、メッセージ提示部５０としての動作を実施した際に受け手に提示されるメッセージを記憶する。

通信インタフェース１０４は、一つ以上の有線又は無線の通信モジュールを含むことができる。

例えば、通信インタフェース１０４は、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線技術を利用した無線通信モジュールを含む。この無線通信モジュールは、プロセッサ１０１の制御の下、ワイヤレスマイクロフォン２００からの音声信号、センサ群３００のセンサからのセンサ信号、等を受信する。なお、図１Ｂでは、「ワイヤレスマイクロフォン」を「ＭＩＣ」と記している。そして、無線通信モジュールは、それら受信した信号をプロセッサ１０１が処理可能な情報に変換して、データメモリ１０３の一時記憶部１０３２に記憶することができる。例えば、ワイヤレスマイクロフォン２００を発信者に装着する又は発信者の近傍に配置することで、情報処理装置は、発信者の音声情報を取得することができる。また、センサ群３００のセンサ、例えばカメラ等のイメージセンサを発信者を撮影するように設置したり、体温センサや心拍センサ等の生体センサを発信者に装着したりすることで、情報処理装置は、発信者の画像情報や生体情報を取得することができる。すなわち、プロセッサ１０１及び通信インタフェース１０４は、発信者情報取得部２０として機能することができる。また、センサ群３００のセンサ、例えば体温センサや心拍センサ等の生体センサを受け手に装着することで、情報処理装置は、受け手の生体情報を取得することができる。すなわち、プロセッサ１０１及び通信インタフェース１０４は、受け手情報取得部３０としても機能することができる。

更に、通信インタフェース１０４は、例えば、Ｗｉ－Ｆｉアクセスポイントや携帯電話基地局と無線接続する無線通信モジュールを含んでも良い。この無線通信モジュールは、プロセッサ１０１の制御の下、Ｗｉ－Ｆｉアクセスポイントや携帯電話基地局を介してネットワーク４００上の他の情報処理装置やサーバ装置との間で通信を行い、各種情報を送受信することができる。なお、図１Ｂでは、「ネットワーク」を「ＮＷ」と記載している。ネットワーク４００は、インターネットを含むＩＰ網と、このＩＰ網にアクセスするためのアクセス網とから構成される。アクセス網としては、例えば公衆有線網や携帯電話網、有線ＬＡＮ（Local Area Network）、無線ＬＡＮ、ＣＡＴＶ（Cable Television）等が用いられる。

また、入出力インタフェース１０５には、キー入力部１０７、スピーカ１０８、表示部１０９、マイクロフォン１１０、及びカメラ１１１が接続されている。なお、図１Ｂでは、「マイクロフォン」を「マイク」と記載している。

キー入力部１０７は、情報処理装置のユーザである受け手がプロセッサ１０１に動作指示を与えるための操作キーやボタンを含む。入出力インタフェース１０５は、キー入力部１０７の操作に応じて、その操作信号をプロセッサ１０１に入力する。

スピーカ１０８は、入出力インタフェース１０５から入力された信号に応じた音を発生する。例えば、プロセッサ１０１により、提示情報記憶部１０３３に記憶されたメッセージを音声情報に変換し、該音声情報を入出力インタフェース１０５により音声信号としてスピーカ１０８に入力することで、メッセージを音声として受け手に提示することができる。すなわち、プロセッサ１０１、入出力インタフェース１０５、及びスピーカ１０８は、メッセージ提示部５０として機能することができる。

表示部１０９は、例えば液晶、有機ＥＬ（Electro Luminescence）、等を使用した表示デバイスであり、入出力インタフェース１０５から入力された信号に応じた画像を表示する。例えば、プロセッサ１０１により、提示情報記憶部１０３３に記憶されたメッセージを画像情報に変換し、該画像情報を入出力インタフェース１０５により画像信号として表示部１０９に入力することで、メッセージを画像として受け手に提示することができる。すなわち、プロセッサ１０１、入出力インタフェース１０５、及び表示部１０９は、メッセージ提示部５０として機能することができる。なお、キー入力部１０７及び表示部１０９は、一体的なデバイスとして構成されても良い。すなわち、表示デバイスの表示画面上に、静電方式又は圧力方式を採用した入力検知シートを配置した、いわゆるタブレット型の入力・表示デバイスとしても良い。

マイクロフォン１１０は、近傍の音を集音して音声信号として入出力インタフェース１０５に入力する。入出力インタフェース１０５は、プロセッサ１０１の制御の下、入力された音声信号を音声情報に変換し、それを一時記憶部１０３２に記憶する。情報処理装置が、例えばスマートフォン等の受け手近傍に存在するものである場合、マイクロフォン１１０は、受け手の発した音声を集音する。よって、プロセッサ１０１及び入出力インタフェース１０５は、受け手情報取得部３０として機能することができる。また、受け手と発信者との距離が近く、マイクロフォン１１０が受け手と発信者との両者の音声を集音できるのであれば、プロセッサ１０１及び入出力インタフェース１０５は、発信者情報取得部２０として機能することができる。プロセッサ１０１は、例えば、音声情報の周波数等の特徴量によって、或いは、音声情報を文章として或る程度意味が通じるよう音声認識できるか、等の条件により、音声情報が受け手情報と発信者情報との何れであるのかを判定することが可能である。

カメラ１１１は、視野内を撮像して撮像信号を入出力インタフェース１０５に入力する。入出力インタフェース１０５は、プロセッサ１０１の制御の下、入力された撮像信号を画像情報に変換し、それを一時記憶部１０３２に記憶する。カメラ１１１の視野に受け手が入っていれば、プロセッサ１０１及び入出力インタフェース１０５は、受け手の画像情報を取得する受け手情報取得部３０として機能することができる。また、カメラ１１１の視野に発信者が入っていれば、プロセッサ１０１及び入出力インタフェース１０５は、発信者の画像情報を取得する発信者情報取得部２０として機能することができる。プロセッサ１０１は、例えば、画像情報の特徴量によって、画像情報が受け手情報と発信者情報との何れであるのかを判定することが可能である。

なお、入出力インタフェース１０５は、フラッシュメモリなどの半導体メモリといった記録媒体のリード／ライト機能を有しても良いし、或いは、そのような記録媒体のリード／ライト機能を持ったリーダライタとの接続機能を有しても良い。これにより、情報処理装置に対して着脱自在な記録媒体を、やりたい行動の行動メッセージを記憶する行動データベース記憶部とすることができる。入出力インタフェース１０５は、更に、他の機器との接続機能を有して良い。

図２は、行動データベース記憶部１０３１に構成された行動データベース１０が保持する情報の一例を示す図である。この例は、発信者を犬、受け手を人間とした場合の例である。図２に示すように、行動データベース１０は、発信者である犬の感情である「たのしい」、「かなしい」、「要求」、…のそれぞれついて、その感情に対応する犬のやりたい行動を示す行動メッセージを記憶している。例えば、行動データベース１０は、「たのしい」という感情に対し「あそぶの？じゅんびＯＫ！」、「かなしい」という感情に対し「もっとかまってほしいのになぁ」、…等の感情と行動メッセージを対応付けて記憶している。

次に、メッセージ生成装置を備えるメッセージ提示装置の動作を説明する。ここでは、発信者を犬、受け手を人間とした場合を例に説明する。

図３は、メッセージ提示装置における処理動作の一例を示すフローチャートである。このフローチャートは、メッセージ提示装置の、発信者情報取得部２０、受け手情報取得部３０、メッセージ生成部４０、及びメッセージ提示部５０として機能する情報処理装置のプロセッサ１０１における処理動作を示している。例えば、ワイヤレスマイクロフォン２００を発信者である犬に装着する又は犬の近傍に配置した後、入出力インタフェース１０５を介してキー入力部１０７からメッセージ提示の開始が指示されると、プロセッサ１０１は、このフローチャートに示す動作を開始する。なお、ワイヤレスマイクロフォン２００だけでなく、更に、イメージセンサや生体センサ等のセンサ群３００を利用しても良いが、ここでは、発信者情報としての犬の鳴き声のみから、犬の感情を推測するものとする。

先ず、プロセッサ１０１は、発信者情報取得部２０として機能して、通信インタフェース１０４により、ワイヤレスマイクロフォン２００が集音した発信者音声、つまり犬の鳴き声を取得したか否か判断する（ステップＳ１）。ここで、発信者音声を取得していないと判断した場合（ステップＳ１のＮＯ）には、プロセッサ１０１は、このステップＳ１の処理を繰り返す。

これに対して、発信者音声を取得したと判断した場合（ステップＳ１のＹＥＳ）には、プロセッサ１０１は、取得した発信者音声を一時記憶部１０３２に記憶して、メッセージ生成部４０の行動取得部４１としての動作を実施する。

すなわち、先ず、プロセッサ１０１は、一時記憶部１０３２に記憶した発信者音声に基づいて、発信者感情つまり犬の感情を取得する（ステップＳ２）。発信者感情の取得手法は、本実施形態では特に限定しない。例えば、犬の感情は、特許文献１に開示されているような手法によって取得することができる。

そして、プロセッサ１０１は、行動データベース記憶部１０３１に記憶した行動データベース１０より、取得した発信者感情に対応する犬のやりたい行動を示す行動メッセージを取得して、一時記憶部１０３２に記憶する（ステップＳ３）。

その後、プロセッサ１０１は、抽象度算出部４２としての動作を実施する。

すなわち、先ず、プロセッサ１０１は、一時記憶部１０３２に記憶した行動メッセージに基づいて、発信者感情の感情ベクトルを算出する（ステップＳ４）。感情ベクトルとは、ラッセルの感情円環モデル上におけるベクトルのことを言う。ラッセルの感情円環モデルとは、感情価と覚醒価を軸とした２次元空間にて感情をマッピングしたモデルのことである。ラッセルの感情円環モデルは、例えば、「J. A. Russell, "A circumplex model of affect." Journal of personality and social psychology, vol.39, no.6, p.1161, 1980.」に開示されている。

この感情ベクトルの算出処理においては、プロセッサ１０１は、先ず、やりたい行動の行動メッセージが示す発信者感情の感情成分の割合を算出する。感情成分の割合の算出手法は、本実施形態では特に限定しない。例えば、プログラムメモリ１０２又はデータメモリ１０３に記憶した感情成分の割合の算出アルゴリズムにより感情成分の割合を算出することができる。また、インターネットには、既存技術として、テキスト感情認識ＡＩ（例えば、ｈｔｔｐｓ：／／ｅｍｏｔｉｏｎ－ａｉ．ｕｓｅｒｌｏｃａｌ．ｊｐ／）も提供されている。インターネット上の何れかのサイトに提供されているテキストから感情成分の割合を算出する感情認識リソースを利用する場合には、プロセッサ１０１は、そのリソースを提供するネットワーク４００上の特定サイトに、通信インタフェース１０４を介して、メッセージのテキストを送信する。これにより、プロセッサ１０１は、当該特定サイトから、送信したテキストに対応する感情成分の割合データを受信することができる。

例えば、プロセッサ１０１は、図２に示す「たのしい」という感情に対応する行動メッセージ「あそぶの？じゅんびＯＫ！」の感情成分の割合として、喜び＝０．６８、好意＝０．７２、恐れ＝０．１０、悲しみ＝０．１７、怒り＝０．５８を算出する。

次に、プロセッサ１０１は、各メッセージについて、算出した各感情成分を感情ベクトル化する。図４は、行動メッセージ「あそぶの？じゅんびＯＫ！」が示す各感情成分をラッセルの感情円環モデル上にモデル化した図である。ラッセルの感情円環モデルにおいて、感情価軸は、右へ行くに従って「快」の度合いが高まり、左へ行くに従って「不快」の度合いが高まる。覚醒価軸は、上へ行くに従って「覚醒」の度合いが高まり、下へ行くに従って「沈静」の度合いが高まる。感情の各成分は、このラッセルの感情円環モデル上に、原点からの向きとして表される。プロセッサ１０１は、算出した感情の割合を、ベクトルの大きさ（ｍｉｎ０～ＭＡＸ１）、感情がマッピングされている原点からの方向をベクトルの向き、として、ラッセルの感情円環モデル上においてベクトル化する。

そして、プロセッサ１０１は、感情成分の感情ベクトルを足し合わせすることで、発信者感情の感情ベクトルを取得する。ラッセルの感情円環モデル上での感情ベクトル及び合力の考え方については、例えば、「有賀玲子，渡邊淳司，布引純史，「図形の伸縮によるエージェントの感情表現に関する印象評価」，ヒューマンインタフェースシンポジウム 2017 論文集 (2017).」に開示されている。図５は、図４の各感情ベクトルに基づいて取得される、発信者である犬の感情に対応するやりたい行動の行動メッセージ「あそぶの？じゅんびＯＫ！」の感情ベクトルＴＶを示す図である。

こうして、発信者感情の感情ベクトルが算出されたならば、次に、プロセッサ１０１は、受け手である人間の感情についても、感情ベクトルを算出する。

そのために、プロセッサ１０１は、受け手情報取得部３０として、受け手情報を取得する（ステップＳ５）。例えば、プロセッサ１０１は、入出力インタフェース１０５を介して、マイクロフォン１１０により集音された受け手の音声及び／又はカメラ１１１により撮像された受け手の人間の顔画像を、受け手情報として一時記憶部１０３２に記憶する。

そして、プロセッサ１０１は、再び抽象度算出部４２としての動作に戻り、受け手の感情の感情ベクトルを算出する（ステップＳ６）。以下、受け手である人間の感情を受け手感情と記載する。

すなわち、先ず、プロセッサ１０１は、一時記憶部１０３２に記憶した音声及び／又は顔画像から、受け手である人間の感情成分の割合を算出する。受け手の感情成分の割合の算出手法についても、本実施形態では特に限定しない。例えば、音声と顔画像に基づく感情成分の割合の算出手法については、「Panagiotis Tzirakis, George Trigeorgis, Mihalis A. Nicolaou, Bjorn W. Schuller, Stefanos Zafeiriou, "End-to-End Multimodal Emotion Recognition Using Deep Neural Networks," IEEE Journal of Selected Topics in Signal Processing, vol.11, No.8, pp.1301-1309, 2017.」に開示されている。プロセッサ１０１は、プログラムメモリ１０２又はデータメモリ１０３に記憶した感情成分の割合の算出アルゴリズムにより感情成分の割合を算出することができる。また、インターネットには、既存技術として、表情感情認識ＡＩ（例えば、ｈｔｔｐｓ：／／ｅｍｏｔｉｏｎ－ａｉ．ｕｓｅｒｌｏｃａｌ．ｊｐ／ｆａｃｅ）も提供されている。インターネット上の何れかのサイトに提供されている表情から感情成分の割合を算出する感情認識リソースを利用する場合には、プロセッサ１０１は、そのリソースを提供するネットワーク４００上の特定サイトに、通信インタフェース１０４を介して、顔画像を送信する。これにより、プロセッサ１０１は、当該特定サイトから、送信した顔画像に対応する感情成分の割合データを受信することができる。

次に、プロセッサ１０１は、算出した受け手の各感情成分を感情ベクトル化する。そして、プロセッサ１０１は、感情成分の感情ベクトルを足し合わせすることで、受け手感情の感情ベクトルを取得する。図６は、この受け手感情の感情ベクトルＲＶの一例を示す図である。

こうして、発信者感情の感情ベクトルＴＶと受け手感情の感情ベクトルＲＶとを算出したならば、プロセッサ１０１は、発信者感情の感情ベクトルＴＶと受け手感情の感情ベクトルＲＶの距離を算出する（ステップＳ７）。例えば、プロセッサ１０１は、発信者感情ベクトルＴＶと受け手感情ベクトルＲＶとの内積を算出することで、この距離を求めることができる。

そして、プロセッサ１０１は、この算出した距離に基づいて、発信者である犬のやりたい行動の抽象度を算出する（ステップＳ８）。例えば、距離を内積により求めた場合、プロセッサ１０１は、内積が「－１」以上「０」未満であれば、発信者感情と受け手感情とが遠いと判定して、抽象度を１段階上げる。また、内積が「０」以上「１」以下であれば、プロセッサ１０１は、発信者感情と受け手感情とが近いと判定して、抽象度を１段階下げる。図７は、図５の発信者感情の感情ベクトルＴＶと図６の受け手感情の感情ベクトルＲＶとの関係を示す図である。この例では、両ベクトルのなす角度が９０度以上あり、内積は「－１」以上「０」未満となるので、プロセッサ１０１は、発信者感情と受け手感情とが遠いと判定して、抽象度を１段階上げることとなる。プロセッサ１０１は、この算出した抽象度を一時記憶部１０３２に記憶する。

次に、プロセッサ１０１は、生成部４３として機能して、算出した抽象度に基づいて、やりたい行動を示すメッセージを生成する（ステップＳ９）。メッセージの生成手法は、本実施形態では特に限定しない。また、インターネットには、既存技術として、ＷｏｒｄＮｅｔ（ｈｔｔｐｓ：／／ｗｏｒｄｎｅｔ．ｐｒｉｎｃｅｔｏｎ．ｅｄｕ／）という概念辞書（辞書＋シソーラス）において、入力単語のｈｙｐｏ／ｈｙｐｅｒｎｙｍを選択することで下位／上位概念を検索できる技術も提供されている。インターネット上の何れかのサイトに提供されている入力文を抽象度に応じて変換する概念辞書リソースを利用する場合には、プロセッサ１０１は、そのリソースを提供するネットワーク４００上の特定サイトに、通信インタフェース１０４を介して、一時記憶部１０３２に記憶してある発信者である犬のやりたい行動を示す行動メッセージと、発信者感情と受け手感情の近さに応じた抽象度とを送信する。これにより、プロセッサ１０１は、当該特定サイトから、それら送信した情報に対応するメッセージを受信することができる。例えば、やりたい行動の行動メッセージ「あそぶの？じゅんびＯＫ！」と、抽象度１段階上げを示す抽象度「＋１」とを送信すると、「あそぶの？じゅんびＯＫ！」を上位概念化した「動きたいな」というメッセージを受信することができる。プロセッサ１０１は、この受信したメッセージを、生成メッセージとして提示情報記憶部１０３３に記憶する。

こうして、メッセージが生成できたならば、プロセッサ１０１は、メッセージ提示部５０として機能して、生成されたメッセージを提示する（ステップＳ１０）。すなわち、プロセッサ１０１は、提示情報記憶部１０３３に記憶したメッセージを、入出力インタフェース１０５を介してスピーカ１０８により音声として、或いは、表示部１０９に画像として、出力することで、メッセージを提示する。

その後は、プロセッサ１０１は、上記ステップＳ１から処理を繰り返す。

以上に説明した第１実施形態に係るメッセージ生成装置は、発信者の感情を推定するための発信者情報を取得する発信者情報取得部２０と、発信者からのメッセージを受け取る受け手の感情を推定するための受け手情報を取得する受け手情報取得部３０と、発信者情報取得部２０で取得した発信者情報に基づいて推定される発信者の感情に対応する行動を表すメッセージを生成するメッセージ生成部４０と、を備え、メッセージ生成部４０は、行動を表すメッセージとして、発信者情報取得部２０で取得した発信者情報に基づいて推定される発信者の感情と、受け手情報取得部３０で取得した受け手情報に基づいて推定される受け手の感情とが、近いときには、行動を具体化したメッセージを生成し、推定した発信者の感情と受け手の感情とが遠いときには、行動を概念化したメッセージを生成する。よって、発信者とコミュニケーション相手である受け手との感情の近さに応じたメッセージを生成するので、発信者の感情に加えて受け手の感情も考慮して、提示するメッセージを生成することが可能となる。

また、第１実施形態に係るメッセージ生成装置は、発信者の感情に対応する、発信者がやりたい行動を示す行動メッセージを保持する行動データベース１０を更に備え、メッセージ生成部４０は、発信者情報取得部２０で取得した発信者情報に基づいて発信者の感情を推定し、推定した発信者の感情に対応する行動の行動メッセージを行動データベース１０から取得する行動取得部４１と、受け手情報取得部３０で取得した受け手情報に基づいて受け手の感情を推定し、推定した受け手の感情と行動取得部４１で推定した発信者の感情との近さに応じて、生成するメッセージの抽象度を算出する抽象度算出部４２と、抽象度算出部４２が生成した抽象度に基づいて、行動取得部４１で取得した行動メッセージに対応するメッセージを生成する生成部４３と、を備えるようにしている。このように、第１実施形態に係るメッセージ生成装置は、発信者の感情と受け手の感情を推定し、感情の近さ／遠さに応じて発信者のやりたい行動の抽象度を調整した上で、提示するメッセージを生成する。例えば、互いの感情が近い場合には、やりたい行動の抽象度を下げてメッセージを生成し、感情が遠い場合には、やりたい行動の抽象度を上げたメッセージを生成する。これにより、受け手の感情が発信者の感情に遠い場合でも、やりたい行動の抽象度を上げて行動の選択肢の幅を広げることで、受け手に行動を実行してもらえる可能性を高めることができる。例えば、発信者が、楽しくて「遊びたい」と思った時に、「あそぶの？じゅんびＯＫ！」という行動メッセージではなくて、遊びの上位概念である「動きたい」を提示することが可能となり、受け手は、今の気分に合わせた動き、例えば、一緒に遊ぶまでいかなくとも、おもちゃを投げて運動をさせる等、を選択することができる。そうすることで、お互いにウィンウィンなコミュニケーションが実現でき、コミュニケーションの促進が見込まれる。

また、第１実施形態に係るメッセージ生成装置では、抽象度算出部４２は、行動取得部４１で推定した発信者の感情を発信者感情ベクトルに変換すると共に、受け手情報に基づいて推定した受け手の感情を受け手感情ベクトルに変換し、発信者感情ベクトルと受け手感情ベクトルとの近さを、発信者の感情と受け手の感情との近さとする。このように、発信者と受け手の感情を共に感情ベクトル化することで、両者の感情の比較が可能となり、メッセージの選択を容易化することができる。

また、第１実施形態に係るメッセージ生成装置では、抽象度算出部４２は、発信者感情ベクトルと受け手感情ベクトルとの内積を算出し、内積が－１以上０未満であれば、発信者の感情と受け手の感情が遠いと判定して、抽象度を１段階上げ、内積が０以上１以下であれば、発信者の感情と受け手の感情が近いと判定して、抽象度を１段階下げる。よって、発信者と受け手両者の感情の近さに応じて容易に抽象度を求めることができる。

また、第１実施形態に係るメッセージ生成装置では、生成部４３は、行動取得部４１で取得した行動メッセージと、抽象度算出部４２が算出した抽象度とに基づいて、具体化したメッセージとしての、行動メッセージを下位概念化したメッセージ、又は、行動を概念化したメッセージとしての、行動メッセージを上位概念化したメッセージを生成する。よって、発信者がやりたい行動と抽象度に応じたメッセージを生成することができる。

なお、第１実施形態に係るメッセージ生成装置において、感情ベクトルは、感情価と覚醒価を軸とした２次元空間にて感情をマッピングしたラッセルの感情円環モデル上におけるベクトルとすることができる。

また、第１実施形態に係るメッセージ提示装置は、第１実施形態に係るメッセージ生成装置と、メッセージ生成装置のメッセージ生成部４０によって選択されたメッセージを受け手に提示するメッセージ提示部５０と、を備える。よって、発信者の感情に加えて受け手の感情も考慮したメッセージを提示することが可能となり、受け手の感情が発信者の感情と遠い場合でも、発信者のやりたい行動に近い行動を受け手に実行してもらえる可能性を高めることができる。

［第２実施形態］
前記第１実施形態では、メッセージ生成装置を備えるメッセージ提示装置を、受け手が操作する一つの装置として構成している。しかしながら、メッセージ生成装置又はメッセージ提示装置は、複数の装置に分割されたシステムとして提供されても良い。

図８は、この発明の第２実施形態に係るメッセージ生成装置を備えるメッセージ提示装置の構成の一例を示すブロック図である。図８に示すように、メッセージ提示装置は、発信者が有する発信者装置６０と、受け手が有する受け手装置７０と、の二つの装置から構成される。

発信者装置６０は、第１実施形態で説明したような、行動データベース１０と、発信者情報取得部２０と、受け手情報取得部３０と、メッセージ生成部４０の行動取得部４１と、メッセージ提示部５０と、を備える。更に、発信者装置６０は、受け手装置７０との間でデータの送受信を行う発信者通信部６１を備える。本第２実施形態では、発信者装置６０は、犬等のペットの首輪に装着されるコミュニケーション装置を想定する。

受け手装置７０は、第１実施形態で説明したような、メッセージ生成部４０の抽象度算出部４２及び生成部４３を含む。更に、受け手装置７０は、発信者装置６０との間でデータの送受信を行う受け手通信部７１を備える。本第２実施形態では、受け手装置７０は、犬等のペットの飼い主である人間が有するスマートフォンやパーソナルコンピュータを想定する。

図９は、図８のメッセージ提示装置における発信者装置６０を構成する情報処理装置のハードウェア構成の一例を示す図である。情報処理装置は、図９に示すように、ハードウェアプロセッサ６０１を有し、このプロセッサ６０１に対し、プログラムメモリ６０２と、データメモリ６０３と、通信インタフェース６０４と、入出力インタフェース６０５とが、バス６０６を介して接続される。なお、図９では、「入出力インタフェース」を「入出力ＩＦ」と略記している。

ここで、プログラムメモリ６０２は、非一時的な有形のコンピュータ可読記憶媒体として、例えば、ＨＤＤ又はＳＳＤ等の随時書込み及び読出しが可能な不揮発性メモリと、ＲＯＭ等の不揮発性メモリとが組合せて使用されたものである。このプログラムメモリ６０２には、プロセッサ６０１が第２実施形態に係る各種制御処理を実行するために必要なプログラムが格納されている。すなわち、上記の発信者情報取得部２０、受け手情報取得部３０、行動取得部４１、メッセージ提示部５０、及び発信者通信部６１の各部における処理機能部は、何れも、プログラムメモリ６０２に格納されたプログラムを上記プロセッサ６０１により読み出させて実行させることにより実現され得る。なお、これらの処理機能部の一部又は全部は、ＡＳＩＣ、ＤＳＰ、又はＦＰＧＡなどの集積回路を含む、他の多様な形式によって実現されても良い。

また、データメモリ６０３は、有形のコンピュータ可読記憶媒体として、例えば、上記の不揮発性メモリと、ＲＡＭ等の揮発性メモリとが組合せて使用されたものである。このデータメモリ６０３は、各種処理が行われる過程で取得及び作成された各種データが記憶されるために用いられる。すなわち、データメモリ６０３には、各種処理が行われる過程で、適宜、各種データを記憶するための領域が確保される。そのような領域として、データメモリ６０３には、例えば、行動データベース記憶部６０３１、一時記憶部６０３２、及び提示情報記憶部６０３３を設けることができる。なお、図９では、「行動データベース記憶部」を「行動ＤＢ記憶部」と記載している。

行動データベース記憶部６０３１は、発信者の感情に対応する、発信者がやりたい行動を示す行動メッセージを記憶する。すなわち、上記行動データベース１０が、この行動データベース記憶部６０３１に構成されることができる。

一時記憶部６０３２は、プロセッサ６０１が、上記発信者情報取得部２０、受け手情報取得部３０、及び行動取得部４１としての動作を実施した際に取得又は生成する、発信者情報、受け手情報、やりたい行動の行動メッセージ、等のデータを記憶する。

提示情報記憶部６０３３は、プロセッサ６０１が、上記メッセージ提示部５０としての動作を実施した際に受け手に提示されるメッセージを記憶する。

通信インタフェース６０４は、例えば、Ｂｌｕｅｔｏｏｔｈ等の近距離無線技術を利用した無線通信モジュールを含む。この無線通信モジュールは、プロセッサ６０１の制御の下、受け手装置７０との間で、無線によりデータ通信を行う。すなわち、プロセッサ６０１及び通信インタフェース６０４は、発信者通信部６１として機能することができる。

入出力インタフェース６０５には、キー入力部６０７、スピーカ６０８、表示部６０９、マイクロフォン６１０、及びカメラ６１１が接続されている。なお、図９では、「マイクロフォン」を「マイク」と記載している。

キー入力部６０７は、発信者装置６０の動作を開始させるための電源キー等の操作キーやボタンを含む。入出力インタフェース６０５は、キー入力部６０７の操作に応じて、その操作信号をプロセッサ６０１に入力する。

スピーカ６０８は、入出力インタフェース６０５から入力された信号に応じた音を発生する。例えば、プロセッサ６０１により、提示情報記憶部６０３３に記憶されたメッセージを音声情報に変換し、該音声情報を入出力インタフェース６０５により音声信号としてスピーカ６０８に入力することで、メッセージを音声として受け手に提示することができる。すなわち、プロセッサ６０１、入出力インタフェース６０５、及びスピーカ６０８は、メッセージ提示部５０として機能することができる。

表示部６０９は、例えば液晶、有機ＥＬ、等を使用した表示デバイスであり、入出力インタフェース６０５から入力された信号に応じた画像を表示する。例えば、プロセッサ６０１により、提示情報記憶部６０３３に記憶されたメッセージを画像情報に変換し、該画像情報を入出力インタフェース６０５により画像信号として表示部６０９に入力することで、メッセージを画像として受け手に提示することができる。すなわち、プロセッサ６０１、入出力インタフェース６０５、及び表示部６０９は、メッセージ提示部５０として機能することができる。

マイクロフォン６１０は、近傍の音を集音して音声信号として入出力インタフェース６０５に入力する。入出力インタフェース６０５は、プロセッサ６０１の制御の下、入力された音声信号を音声情報に変換し、それを一時記憶部６０３２に記憶する。マイクロフォン６１０は、発信者及び受け手の発した音声を集音する。よって、プロセッサ６０１及び入出力インタフェース６０５は、発信者情報取得部２０及び受け手情報取得部３０として機能することができる。

カメラ６１１は、視野内を撮像して撮像信号を入出力インタフェース６０５に入力する。入出力インタフェース６０５は、プロセッサ６０１の制御の下、入力された撮像信号を画像情報に変換し、それを一時記憶部６０３２に記憶する。発信者装置６０を発信者に装着した際に、カメラ６１１が発信者の前方を撮像するように取り付けられることで、カメラ６１１は、受け手を撮像することができる。よって、プロセッサ６０１及び入出力インタフェース６０５は、受け手の画像情報を取得する受け手情報取得部３０として機能することができる。

なお、入出力インタフェース６０５は、フラッシュメモリなどの半導体メモリといった記録媒体のリード／ライト機能を有しても良いし、或いは、そのような記録媒体のリード／ライト機能を持ったリーダライタとの接続機能を有しても良い。これにより、情報処理装置に対して着脱自在な記録媒体を、発信者の感情に対応する、発信者がやりたい行動を示す行動メッセージを記憶する行動データベース記憶部とすることができる。入出力インタフェース６０５は、更に、発信者の生体情報を検出する生体センサ等、他の機器との接続機能を有して良い。

また、受け手装置７０を構成する情報処理装置は、第１実施形態で説明した図１Ｂに示すようなハードウェア構成であって良い。但し、データメモリ１０３に行動データベース記憶部１０３１は不要である。プログラムメモリ１０２には、プロセッサ１０１が第２実施形態に係る各種制御処理を実行するために必要なプログラムが格納されている。すなわち、上記の抽象度算出部４２、生成部４３、及び受け手通信部７１の各部における処理機能部は、何れも、プログラムメモリ１０２に格納されたプログラムを上記プロセッサ１０１により読み出させて実行させることにより実現され得る。

次に、本実施形態に係るメッセージ生成装置を備えるメッセージ提示装置の動作を説明する。

図１０Ａは、メッセージ提示装置における発信者装置６０を構成する情報処理装置における処理動作の一例を示すフローチャートである。このフローチャートは、発信者装置６０の、発信者情報取得部２０、受け手情報取得部３０、行動取得部４１、メッセージ提示部５０、及び発信者通信部６１として機能する情報処理装置のプロセッサ６０１における処理動作を示している。例えば、発信者装置６０を発信者に装着、例えば犬の首輪等に装着した後、キー入力部６０７の電源キーのオン操作により入出力インタフェース６０５を介してメッセージ提示の開始が指示されると、プロセッサ６０１は、このフローチャートに示す動作を開始する。

先ず、プロセッサ６０１は、発信者情報取得部２０として機能して、入出力インタフェース６０５により、マイクロフォン６１０が集音した発信者音声、例えば犬の鳴き声を取得したか否か判断する（ステップＳ６１）。ここで、発信者音声を取得していないと判断した場合（ステップＳ６１のＮＯ）には、プロセッサ６０１は、このステップＳ６１の処理を繰り返す。

これに対して、発信者音声を取得したと判断した場合（ステップＳ６１のＹＥＳ）には、プロセッサ６０１は、取得した発信者音声を一時記憶部６０３２に記憶して、行動取得部４１としての動作を実施する。

すなわち、先ず、プロセッサ６０１は、一時記憶部６０３２に記憶した発信者音声に基づいて、発信者感情、例えば犬の感情を取得する（ステップＳ６２）。発信者感情の取得手法は、本実施形態では特に限定しない。

そして、プロセッサ６０１は、行動データベース記憶部６０３１に記憶した行動データベース１０より、取得した発信者感情に対応する犬のやりたい行動を示す行動メッセージを取得して、一時記憶部６０３２に記憶する（ステップＳ６３）。

次に、プロセッサ６０１は、受け手情報取得部３０として機能して、受け手情報を取得する（ステップＳ６４）。例えば、プロセッサ６０１は、入出力インタフェース６０５を介して、マイクロフォン６１０により集音された受け手の音声及び／又はカメラ６１１により撮像された受け手の人間の顔画像を、受け手情報として一時記憶部６０３２に記憶する。

その後、プロセッサ６０１は、発信者通信部６１としての動作を実施する。

すなわち、先ず、プロセッサ６０１は、一時記憶部６０３２に記憶した行動メッセージと受け手情報とを、通信インタフェース６０４により受け手装置７０へ送信する（ステップＳ６５）。

そして、プロセッサ６０１は、通信インタフェース６０４により受け手装置７０から生成メッセージを受信したか否か判断する（ステップＳ６６）。ここで、生成メッセージを受信していないと判断した場合（ステップＳ６６のＮＯ）には、プロセッサ６０１は、タイムアウトとなったか否か、つまり予め設定された時間が経過したか否か判断する（ステップＳ６７）。未だタイムアウトとなっていない場合（ステップＳ６７のＮＯ）には、プロセッサ６０１は、上記ステップＳ６６から処理を繰り返す。なお、上記の予め設定された時間は、受け手装置７０においてメッセージを生成する処理に要する時間に基づいて決定されている。

図１０Ｂは、メッセージ提示装置における受け手装置７０を構成する情報処理装置における処理動作の一例を示すフローチャートである。このフローチャートは、受け手装置７０の、抽象度算出部４２、生成部４３、及び受け手通信部７１として機能する情報処理装置のプロセッサ１０１における処理動作を示している。例えば、入出力インタフェース１０５を介してキー入力部１０７よりメッセージ提示の開始が指示されると、プロセッサ１０１は、プログラムメモリ６０２に格納されたプログラムを読み出して、このフローチャートに示す動作を開始する。

先ず、プロセッサ１０１は、受け手通信部７１として機能して、通信インタフェース１０４により、発信者装置６０から行動メッセージ及び受け手情報を受信したか否か判断する（ステップＳ７１）。ここで、行動メッセージ及び受け手情報を受信していないと判断した場合（ステップＳ７１のＮＯ）には、プロセッサ１０１は、このステップＳ７１の処理を繰り返す。

これに対して、行動メッセージ及び受け手情報を受信したと判断した場合（ステップＳ７１のＹＥＳ）には、プロセッサ１０１は、受信した行動メッセージ及び受け手情報を一時記憶部１０３２に記憶して、抽象度算出部４２としての動作を実施する。

すなわち、先ず、プロセッサ１０１は、一時記憶部１０３２に記憶した行動メッセージに基づいて、発信者感情の感情ベクトルを算出する（ステップＳ７２）。

また、プロセッサ１０１は、一時記憶部１０３２に記憶した受け手情報である音声情報及び／又は顔画像から、受け手感情の感情ベクトルを算出する（ステップＳ７３）。

こうして、発信者感情の感情ベクトルと受け手感情の感情ベクトルとを算出したならば、プロセッサ１０１は、生成部４３としての動作を実施する。

すなわち、先ず、プロセッサ１０１は、発信者感情の感情ベクトルと受け手感情の感情ベクトルの距離を算出する（ステップＳ７４）。

そして、プロセッサ１０１は、この算出した距離に基づいて、発信者である犬のやりたい行動の抽象度を算出する（ステップＳ７５）。

次に、プロセッサ１０１は、生成部４３として機能して、算出した抽象度に基づいて、やりたい行動を示すメッセージを生成する（ステップＳ７６）。メッセージの生成手法は、本実施形態では特に限定しない。プロセッサ１０１は、生成したメッセージを、提示情報記憶部１０３３に記憶する。

こうして、発信者である犬のやりたい行動を示すメッセージを生成できたならば、プロセッサ１０１は、再び受け手通信部７１として機能して、提示情報記憶部１０３３に記憶したメッセージを、生成メッセージとして発信者装置６０に送信する（ステップＳ７７）。

その後は、プロセッサ１０１は、上記ステップＳ７１から処理を繰り返す。

発信者装置６０は、通信インタフェース６０４により、この受け手装置７０から送信された生成メッセージを受信し、提示情報記憶部６０３３に記憶する。これにより、プロセッサ６０１は、選択メッセージを受信したと判断する（ステップＳ６６のＹＥＳ）。そして、プロセッサ６０１は、メッセージ提示部５０として機能して、提示情報記憶部６０３３に記憶した生成メッセージを、入出力インタフェース６０５を介してスピーカ６０８により音声として、或いは、表示部６０９に画像として、出力することで、メッセージを提示する。

その後は、プロセッサ６０１は、上記ステップＳ６１から処理を繰り返す。

一方、受け手装置７０から生成メッセージを受信することなくタイムアウトとなった場合（ステップＳ６７のＹＥＳ）には、プロセッサ６０１は、一時記憶部６０３２に記憶している行動メッセージを生成メッセージとして、提示情報記憶部６０３３に記憶する（ステップＳ６９）。その後は、プロセッサ６０１は、上記ステップＳ６８の処理に進んで、上記行動メッセージである生成メッセージを提示する。

以上に説明した第２実施形態に係るメッセージ生成装置は、発信者が有する発信者装置６０と、受け手が有する受け手装置７０と、を含み、受け手装置７０は、少なくとも、メッセージ生成部４０の抽象度算出部４２及び生成部４３を含むものとしている。このように、高性能で高速な処理機能が必要とされる部分を、高機能なプロセッサ１０１を有するスマートフォンやパーソナルコンピュータに実施させることで、発信者装置６０のプロセッサ６０１としては低機能のものが利用でき、発信者装置６０を安価に提供することができる。

また、発信者装置６０は、受け手装置７０から選択メッセージを受信しない場合には、行動取得部４１で取得した行動メッセージを生成メッセージとして提示するので、受け手装置７０を有しない受け手に対しては、発信者の感情のみに基づく従来と同様のメッセージ提示を行うことができる。

［第３実施形態］
前記第１及び第２実施形態では、生成部４３において、行動メッセージと抽象度とに基づいて、発信者がやりたい行動の行動メッセージを生成するものとしている。しかしながら、行動データベース１０に登録されている各行動メッセージについて抽象度に応じたメッセージを予め用意しておき、その中から発信者がやりたい行動の行動メッセージを選択するようにしても良い。

図１１は、この発明の第３実施形態に係るメッセージ生成装置を備えるメッセージ提示装置の構成の一例を示すブロック図である。第１実施形態のメッセージ提示装置の構成において、更に、メッセージデータベース８０を追加している。また、生成部４３は、選択部４４を有している。

また、図１２は、第３実施形態に係るメッセージ生成装置を備えるメッセージ提示装置の構成の別の例における受け手装置７０の構成を示すブロック図である。第２実施形態の受け手装置７０の構成において、更に、メッセージデータベース８０を追加している。また、生成部４３は、選択部４４を有している。

なお、図１１及び図１２では、「メッセージデータベース」を「メッセージＤＢ」と記載している。

図１３は、メッセージデータベース８０が保持する情報の一例を示す図である。図１３に示すように、メッセージデータベース８０は、行動データベース１０に登録されている各行動メッセージについて、抽象度毎のメッセージを保持している。

生成部４３が有する選択部４４は、行動取得部４１が取得した行動メッセージと、抽象度算出部４２が算出した抽象度とにより、メッセージデータベース８０からメッセージを選択する。生成部４３は、この選択部４４が選択したメッセージを、発信者がやりたい行動を示すメッセージとして生成する。

以上に説明した第３実施形態に係るメッセージ生成装置は、行動データベース１０が保持する行動メッセージそれぞれについて、抽象度算出部４２が算出した抽象度に応じた複数段階の抽象度のメッセージを保持するメッセージデータベース８０を更に備え、生成部４３は、行動取得部４１で取得した行動メッセージに対応し且つ抽象度算出部４２が算出した抽象度に対応する抽象度のメッセージを、メッセージデータベース８０から選択する選択部４４を有する。よって、発信者のやりたい行動と、発信者感情と受け手感情との近さに応じた抽象度とに基づいてメッセージを算出する必要がないので、処理の高速化が図れる。

［他の実施形態］
上記第１乃至第３実施形態では、受け手である人間の感情を音声情報や顔画像から推定する例を説明したが、それに限らない。例えば、日本国特開２０１４－１８６４５号公報や日本国特開２０１６－１０６６８９号公報等、マイクロフォンで取得した受け手の発言内容や生体センサで取得した心拍数等の生体情報等の様々な情報に基づいて、人間の感情を推定する技術が各種提案されている。

また、上記第１乃至第３実施形態の動作説明では、犬と人間とのコミュニケーションを例に説明したが、この用途に限定するものではない。猫や鳥等の他のペットと人間とのコミュニケーション、人間の乳幼児と親等のコミュニケーション、といった、感情を言葉として表せない発信者を対象としたコミュニケーションにおいても、各実施形態は適用可能である。

更に、互いに感情を言葉として表せる発信者と受け手との間のコミュニケーションにおいても、上記実施形態を適用することも可能である。メッセージ生成装置は、発信者のメッセージと受け手の感情とを入力とし、発信者のメッセージの意図は変えずに、受け手の感情に応じて、生成する言いまわしを変えることができる。例えば、「ご飯いこ！」という発信者のメッセージに対して、「悲しい」という受け手の感情が入力された場合には「ご飯いこ！」を「元気出して！ご飯いこ！」としたり、「怒り」という受け手の感情が入力された場合には「ご飯いこ！」を「ご飯にいきませんか？」にしたりする、等のメッセージを生成することができる。

また、上記第１乃至第３実施形態では、抽象度を２段階としたが、それに限定されない。発信者感情の感情ベクトルと受け手感情の感情ベクトルの距離を近い／遠いの２つではなく、より細分化して判断することで、３段階以上の抽象度を算出でき、それに応じて、生成及び提示されるメッセージも、各行動メッセージについて３種以上とすることができる。

また、上記第１乃至第３実施形態の動作説明では、感情ベクトルを用いて、発信者と受け手の感情の近さを算出するものとしたが、二者の感情の近さは、別の指標で算出しても良い。

更に、感情ベクトルは、ラッセルの感情円環モデル上にて定義したが、他の感情モデルを用いて感情ベクトルを定義しても良い。

また、上記第１乃至第３実施形態では、両者の感情の近さに応じて抽象度を上げ下げしたが、発信者のやりたい行動を超越しない範囲で、選択肢を増やすことができれば、抽象度を上げ下げするという手法とは異なる手法を採用しても良い。

また、上記第１乃至第３実施形態では、行動メッセージから発信者感情の感情ベクトルを算出するものとした。しかしながら、行動データベース１０に登録されている各メッセージについて、感情ベクトルを予め算出して、行動データベース１０に各メッセージに対応付けて記憶しておいても良い。

また、図３、図１０Ａ、及び図１０Ｂのフローチャートに示した処理ステップの順序は一例であり、この順に限定するものではない。例えば、図３において、受け手情報を取得するステップＳ５は、ステップＳ１とステップＳ６の間の何れで実施しても構わない。また、ステップＳ５の処理は、プロセッサ１０１が並行処理能力を備える場合には、ステップＳ２乃至ステップＳ４の処理とは並行して実行しても構わない。このように、各処理ステップは、先行の又は後続する処理ステップと齟齬が生じない限り、処理順序を変更して構わない。

また、メッセージ生成装置又はメッセージ提示装置を構成する情報処理装置は、その機能の一部を、ネットワーク４００上のサーバ装置によって構成しても良い。例えば、行動データベース１０やメッセージ生成部４０をサーバ装置に設けることができる。

また、メッセージ生成装置又はメッセージ提示装置の機能の全てをサーバ装置に設けても良い。この場合、スキルとして、発信者情報及び受け手情報の収集機能と、生成メッセージの出力機能を提供することで、受け手に、ネットワーク４００に接続されたスマートスピーカを、あたかもメッセージ提示装置であるかのように見せることができる。例えば、ユーザインタフェースとしてマイクロフォンとスピーカのみを有するスマートスピーカは、発信者と受け手の音声情報をネットワーク４００を介してサーバ装置に送信し、生成メッセージを、サーバ装置からネットワーク４００を介して受信してスピーカにより音声出力することができる。また、例えば、ユーザインタフェースとして更にカメラとディスプレイを有するスマートスピーカは、受け手の音声情報と顔画像情報とをネットワーク４００を介してサーバ装置に送信し、生成メッセージを、サーバ装置からネットワーク４００を介して受信してスピーカにより音声出力したり、ディスプレイにより表示出力したりすることができる。

また、前記実施形態に記載した手法は、計算機（コンピュータ）に実行させることができるプログラム（ソフトウェア手段）として、例えば磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ－ＲＯＭ、ＤＶＤ、ＭＯ等）、半導体メモリ（ＲＯＭ、ＲＡＭ、フラッシュメモリ等）等の記録媒体に格納し、また通信媒体により伝送して頒布することもできる。なお、媒体側に格納されるプログラムには、計算機に実行させるソフトウェア手段（実行プログラムのみならずテーブル、データ構造も含む）を計算機内に構成させる設定プログラムをも含む。本装置を実現する計算機は、記録媒体に記録されたプログラムを読み込み、また場合により設定プログラムによりソフトウェア手段を構築し、このソフトウェア手段によって動作が制御されることにより上述した処理を実行する。なお、本明細書で言う記録媒体は、頒布用に限らず、計算機内部或いはネットワークを介して接続される機器に設けられた磁気ディスク、半導体メモリ等の記憶媒体を含むものである。

要するに、この発明は上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は可能な限り適宜組合せて実施してもよく、その場合組合せた効果が得られる。更に、上記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適当な組み合わせにより種々の発明が抽出され得る。

１０…行動データベース（行動ＤＢ）
２０…発信者情報取得部
３０…受け手情報取得部
４０…メッセージ生成部
４１…行動取得部
４２…抽象度算出部
４３…生成部
４４…選択部
５０…メッセージ提示部
６０…発信者装置
６１…発信者通信部
７０…受け手装置
７１…受け手通信部
８０…メッセージデータベース（メッセージＤＢ）
１０１，６０１…プロセッサ
１０２，６０２…プログラムメモリ
１０３…データメモリ
１０３１，６０３１…行動データベース記憶部（行動ＤＢ記憶部）
１０３２，６０３２…一時記憶部
１０３３，６０３３…提示情報記憶部
１０４，６０４…通信インタフェース
１０５，６０５…入出力インタフェース（入出力ＩＦ）
１０６，６０６…バス
１０７，６０７…キー入力部
１０８，６０８…スピーカ
１０９，６０９…表示部
１１０，６１０…マイクロフォン（マイク）
１１１，６１１…カメラ
２００…ワイヤレスマイクロフォン（ＭＩＣ）
３００…センサ群
４００…ネットワーク（ＮＷ）

Claims (11)

1. 発信者の感情を推定するための発信者情報を取得する発信者情報取得部と、
   前記発信者からのメッセージを受け取る受け手の感情を推定するための受け手情報を取得する受け手情報取得部と、
   前記発信者情報取得部で取得した前記発信者情報に基づいて推定される前記発信者の感情に対応する行動を表すメッセージを生成するメッセージ生成部と、
   を備え、
   前記メッセージ生成部は、前記行動を表すメッセージとして、
   前記発信者情報取得部で取得した前記発信者情報に基づいて推定される前記発信者の感情と、前記受け手情報取得部で取得した前記受け手情報に基づいて推定される前記受け手の感情とが、近いときには、前記行動を具体化したメッセージを生成し、
   前記推定した前記発信者の感情と前記受け手の感情とが遠いときには、前記行動を概念化したメッセージを生成する、
   メッセージ生成装置。
2. 前記発信者の感情に対応する、発信者がやりたい行動を示す行動メッセージを保持する行動データベースを更に備え、
   前記メッセージ生成部は、
   前記発信者情報取得部で取得した前記発信者情報に基づいて前記発信者の感情を推定し、前記推定した前記発信者の感情に対応する行動の行動メッセージを前記行動データベースから取得する行動取得部と、
   前記受け手情報取得部で取得した前記受け手情報に基づいて前記受け手の感情を推定し、推定した前記受け手の感情と前記行動取得部で推定した前記発信者の感情との近さに応じて、生成するメッセージの抽象度を算出する抽象度算出部と、
   前記抽象度算出部が生成した前記抽象度に基づいて、前記行動取得部で取得した前記行動メッセージに対応するメッセージを生成する生成部と、
   を備える、
   請求項１に記載のメッセージ生成装置。
3. 前記抽象度算出部は、
   前記行動取得部で推定した前記発信者の感情を発信者感情ベクトルに変換すると共に、前記受け手情報に基づいて推定した前記受け手の感情を受け手感情ベクトルに変換し、
   前記発信者感情ベクトルと前記受け手感情ベクトルとの近さを、前記発信者の感情と前記受け手の感情との前記近さとする、
   請求項２に記載のメッセージ生成装置。
4. 前記抽象度算出部は、
   前記発信者感情ベクトルと前記受け手感情ベクトルとの内積を算出し、
   前記内積が－１以上０未満であれば、前記発信者の感情と前記受け手の感情が遠いと判定して、前記抽象度を１段階上げ、
   前記内積が０以上１以下であれば、前記発信者の感情と前記受け手の感情が近いと判定して、前記抽象度を１段階下げる、
   請求項３に記載のメッセージ生成装置。
5. 前記生成部は、前記行動取得部で取得した前記行動メッセージと、前記抽象度算出部が算出した前記抽象度とに基づいて、前記具体化したメッセージとしての、前記行動メッセージを下位概念化したメッセージ、又は、前記行動を概念化したメッセージとしての、前記行動メッセージを上位概念化したメッセージを生成する、
   請求項４に記載のメッセージ生成装置。
6. 前記行動データベースが保持する行動メッセージそれぞれについて、前記抽象度算出部が算出した前記抽象度に応じた複数段階の抽象度のメッセージを保持するメッセージデータベースを更に備え、
   前記生成部は、前記行動取得部で取得した前記行動メッセージに対応し且つ前記抽象度算出部が算出した前記抽象度に対応する抽象度のメッセージを、前記メッセージデータベースから選択する選択部を有する、
   請求項４に記載のメッセージ生成装置。
7. 前記発信者感情ベクトル及び前記受け手感情ベクトルは、感情価と覚醒価を軸とした２次元空間にて感情をマッピングしたラッセルの感情円環モデル上におけるベクトルである、
   請求項３乃至６の何れかに記載のメッセージ生成装置。
8. 前記メッセージ生成装置は、前記発信者が有する発信者装置と、前記受け手が有する受け手装置と、を含み、
   前記受け手装置は、少なくとも、前記メッセージ生成部の前記抽象度算出部及び前記生成部を含む、
   請求項２に記載のメッセージ生成装置。
9. 請求項１乃至８の何れかに記載のメッセージ生成装置と、
   前記メッセージ生成装置の前記メッセージ生成部によって生成された前記メッセージを前記受け手に提示するメッセージ提示部と、
   を備える、メッセージ提示装置。
10. プロセッサを備え、発信者の感情に対応する行動を表すメッセージを生成するメッセージ生成装置におけるメッセージ生成方法であって、
    前記プロセッサにより、前記発信者の感情を推定するための発信者情報を取得し、
    前記プロセッサにより、前記取得した前記発信者情報に基づいて前記発信者の感情を推定し、
    前記プロセッサにより、前記発信者からのメッセージを受け取る受け手の感情を推定するための受け手情報を取得し、
    前記プロセッサにより、前記取得した前記受け手情報に基づいて前記受け手の感情をすいていし、
    前記プロセッサにより、前記推定した前記発信者の感情と前記受け手の感情とが近いときには、前記発信者の感情に対応する前記行動を具体化したメッセージを生成し、
    前記プロセッサにより、前記推定した前記発信者の感情と前記受け手の感情とが遠いときには、前記発信者の感情に対応する前記行動を概念化したメッセージを生成する、
    メッセージ生成方法。
11. 請求項１乃至８の何れかに記載のメッセージ生成装置の前記各部としてプロセッサを機能させるメッセージ生成プログラム。

Images