[実施形態]
本出願に係る仮想イベントシステム等を実施するための複数の実施形態を、図面を参照しつつ詳細に説明する。なお、以下の説明により本発明が限定されるものではない。また、以下の説明における構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。以下の説明において、同様の構成要素について同一の符号を付すことがある。さらに、重複する説明は省略することがある。
図1は、実施形態に係る仮想イベントシステムのシステム構成の一例を示す図である。図1に示す仮想イベントシステム1は、例えば、複数の電子機器100を用いて、仮想空間での仮想イベントを実現するシステム構成の一例を示している。仮想イベントは、例えば、遠隔地の電子機器100を用いたリモート会議を含む。仮想イベントは、例えば、仮想空間におけるコンパニー(コンパ)、飲み会、会議、会合、儀式、集会、歓送迎会等を含んでもよい。
図1に示す一例では、仮想イベントシステム1は、ユーザU-1、・・・、ユーザU-8の仮想イベントを、電子機器100を用いて実現する。以下の説明では、ユーザU-1、・・・、ユーザU-8を特に区別しない場合、ユーザU-1、・・・、ユーザU-8は、「ユーザU」と記載する。なお、仮想イベントシステム1に参加可能なユーザUの数は、8人に限定するものではない。
仮想イベントシステム1は、複数の電子機器100と、情報処理装置200と、を備える。複数の電子機器100の各々と情報処理装置200とは、ネットワーク400を介して、相互に通信可能なように構成されている。
ネットワーク400は、例えば、LAN(Local Area Network)、WAN(Wide Area Network)、電話網(携帯電話網、固定電話網等)、地域IP(Internet Protocol)網、インターネット等を含む。ネットワーク400の接続形態は、無線であるか、有線であるか、又は有線と無線との組合せであるかを問わない。
電子機器100は、例えば、ユーザU-1、・・・、ユーザU-8の各々が仮想イベントで使用する個人向けの機器である。電子機器100は、例えば、パーソナル・コンピュータ、ヘッドマウントディスプレイ、スマートフォン、タブレット端末、テレビジョン受信機、ゲーム機等を含む。電子機器100は、例えば、ユーザUの音声等を集音するマイクと、ユーザUを撮像可能なカメラと、音声を出力可能なスピーカと、を備える。スピーカは、例えば、複数のチャンネルの音声を出力可能なステレオスピーカ、サラウンドスピーカ等を含む。
電子機器100は、ユーザUの音声、ユーザUを撮像した画像等を示す取得情報300を取得する機能、取得した取得情報300を情報処理装置200に提供(送信)する機能、情報処理装置200から受信した情報を出力する機能等を有する。取得情報300は、例えば、ユーザUが発した音声、当該音声の音量、ユーザUを撮像した画像等の情報を含む。画像は、例えば、動画、静止画等を含む。電子機器100は、例えば、マイクロフォン、カメラ等を用いて、ユーザUに関する音声、画像等を識別可能な取得情報300を取得する。
情報処理装置200は、例えば、クラウドサーバである。情報処理装置200は、複数の電子機器100と連携して、仮想イベントに関する処理を実行する。情報処理装置200は、ネットワーク400を介してアクセスされた複数の電子機器100に、仮想イベントの機能を提供できる。情報処理装置200は、電子機器100で取得した取得情報300を、他の電子機器100で出力させることで、仮想イベントを実現できる。
情報処理装置200は、仮想イベントに参加する複数のユーザUの属性情報320に基づいて、仮想テーブルにおけるユーザUの席次を決定する機能を提供できる。属性情報320は、例えば、役職、年齢、職務、性別等の情報を含む。情報処理装置200は、仮想イベントに参加する複数のユーザUの属性と仮想テーブルの配置アルゴリズムとに基づいて、仮想テーブルにおける複数のユーザUの席次を決定する機能を提供できる。配置アルゴリズムは、例えば、仮想テーブルに割り当てられた席順と参加する複数のユーザUの属性、上下関係、性別等とに基づいて席次を決定するアルゴリズムを含む。情報処理装置200は、仮想イベントの種類に応じて異なる配置アルゴリズムを用いることができる。例えば、仮想イベントがビジネスに関する会議である場合、情報処理装置200は、役職、上下関係等に特化した配置アルゴリズムを用いる。情報処理装置200は、仮想イベントに参加する複数のユーザUの仮想テーブルにおける配置情報を記憶部に記憶する。
情報処理装置200は、仮想テーブルに配置したユーザUの電子機器100が提供した取得情報300の音声、画像等の情報を、出力情報310として仮想テーブルに配置した他のユーザUの電子機器100に出力させる機能を提供できる。例えば、情報処理装置200は、出力対象の第2ユーザごとに、電子機器100のスペック等に応じた出力情報310を生成し、電子機器100に出力させる。
情報処理装置200は、仮想イベントに参加する複数のユーザUの電子機器100が提供した取得情報300と配置情報とに基づいて、仮想テーブルにおける盛り上がり状態を分析する機能を提供できる。情報処理装置200は、分析した盛り上がり状態を示す状態情報を作成する機能を提供できる。情報処理装置200は、作成した状態情報を電子機器100に提供する機能を提供できる。情報処理装置200は、電子機器100が提供した取得情報300が示す発話の情報を、公知である自然言語理解、自然言語処理等を用いて解析する機能を提供できる。情報処理装置200は、ユーザUの発話内容から話題を推定する機能を提供できる。本開示での盛り上がりとは、イベントに参加した参加者がイベントを楽しんでいる状態、興奮している状態、集中している状態及び発言している割合が高い状態のうちの少なくともいずれか1つを含むとしてよい。
図1に示す一例では、仮想イベントシステム1は、ユーザU-1からユーザU-8の電子機器100の各々が提供した取得情報300を収集し、仮想テーブルにおける盛り上がり状態を分析する。仮想イベントシステム1は、分析した盛り上がり状態を示す状態情報500を、ユーザU-1からユーザU-8の少なくとも1つの電子機器100に提供できる。例えば、仮想イベントシステム1は、予め設定された仮想イベントの主催者、幹事、管理者等の属性を有するユーザUの電子機器100に、状態情報500を提供できる。
図2から図5を参照しながら、仮想イベントシステム1の処理概要の一例について説明する。図2は、実施形態に係る仮想イベントシステム1が用いる仮想テーブルの一例を示す図である。図3は、実施形態に係る参加者のリストと属性の一例を示す図である。図4は、実施形態に係る情報処理装置200が分析した仮想テーブルにおける盛り上がり状態の分析例を説明するための図である。図5は、実施形態に係る仮想イベントシステム1の処理概要の一例を説明するための図である。
図2に示すように、仮想イベントシステム1は、仮想テーブル1000における座席1100に対するユーザUの席次を決定するアルゴリズム情報330を用いて、複数のユーザUの席次を情報処理装置200が決定する。アルゴリズム情報330は、例えば、8つの座席1100を配置可能な仮想テーブル1000に対して席次を決定するアルゴリズムを含む。
図2に示す一例では、アルゴリズム情報330は、例えば、仮想テーブル1000における左上の座席1100から横方向に座席番号が大きくなるように割り振り、続いて、仮想テーブル1000における左下の座席1100から横方向に座席番号が大きくなるように割り振るアルゴリズムを含んでいる。アルゴリズム情報330は、例えば、ビジネスマナーに基づいたアルゴリズム、管理者が規定したアルゴリズム等を含んでもよい。アルゴリズム情報330は、4つのテーブルによって仮想テーブル1000を構成している場合について説明するが、これに限定されない。アルゴリズム情報330は、例えば、長方形、円形等の1つのテーブルで仮想テーブル1000に対応したアルゴリズムを含んでもよい。アルゴリズム情報330は、仮想テーブル1000の種類、構成等に対応するように設けてもよい。
仮想イベントシステム1は、仮想イベントに参加するユーザUを識別可能な参加者情報340とアルゴリズム情報330とに基づいて、仮想テーブル1000におけるユーザUの席次を情報処理装置200が決定する。図3に示すように、参加者情報340は、例えば、仮想イベントに参加するユーザUの識別情報、名前等を識別可能なリストを示す情報を含む。参加者情報340は、ユーザUを示す情報に、属性情報320の情報が関連付けられている。図3に示す一例では、参加者情報340の「U-1」を示す情報に、「事業部長」の役職を示す属性情報320が関連付けられている。すなわち、参加者情報340は、仮想イベントに参加する8人のユーザUを、役職の高い順に並べたリストを示している。参加者情報340は、例えば、仮想イベントの幹事、主催者等を識別可能な情報を含んでもよい。
図4に示すステップST1では、情報処理装置200は、仮想イベントに参加するユーザU-1からユーザU-8を参加者情報340によって特定し、仮想イベントで用いる仮想テーブル1000を決定する。情報処理装置200は、属性情報320と配置アルゴリズムとに基づいて、仮想テーブル1000におけるユーザU-1からユーザU-8の席次を決定する。例えば、情報処理装置200は、参加するユーザUの役職の高い順に並べる配置アルゴリズムで、仮想テーブル1000における席次を決定する。情報処理装置200は、仮想イベントに用いる仮想テーブル1000の配置と決定したユーザUの席次との関係を示す席次情報350に基づいて、状態情報500を作成する。ステップST1に示す一例では、状態情報500は、仮想イベントの開始直後のため、盛り上がっていない状態を示している。
その後、情報処理装置200は、ユーザU-1からユーザU-8の複数の電子機器100の各々から所定時間ごとに取得情報300を受信する。情報処理装置200は、電子機器100から取得情報300を受信すると、取得情報300に対応したユーザUと仮想テーブル1000の席次を特定する。情報処理装置200は、取得情報300が示す音量に基づいて、ユーザUの盛り上がり状態を分析すると、分析結果をユーザUに関連付けて記憶する。情報処理装置200は、例えば、取得情報300が示すユーザUの顔を示す画像からユーザUの表情を認識し、当該表情に基づいて盛り上がり状態を分析してもよい。
情報処理装置200は、例えば、所定時間ごとに、分析した複数のユーザUの分析結果と席次情報350とに基づいて、状態情報500を作成する。情報処理装置200は、取得情報300が示す発話の情報に基づいて発話内容を解析し、解析結果からユーザUの話題を推定する。情報処理装置200は、推定した話題を示す話題情報510をユーザUに関連付けて記憶する。
ステップST2では、情報処理装置200は、ユーザU-3、ユーザU-4及びユーザU-8の取得情報が示す音量が第1閾値を超えているため、第1盛り上がり状態であると分析している。情報処理装置200は、ユーザU-2、ユーザU-6及びユーザU-7の取得情報が示す音量が第1閾値以下かつ第2閾値を超えているため、第2盛り上がり状態であると分析している。第2盛り上がり状態は、第1盛り上がり状態よりも盛り上がり状態が低い状態を示している。情報処理装置200は、ユーザU-1及びユーザU-5の取得情報が示す音量が第2閾値以下であるため、第3盛り上がり状態であると分析している。第3盛り上がり状態は、第2盛り上がり状態よりも盛り上がり状態が低い状態を示している。情報処理装置200は、各盛り上がり状態を数値と対応付けてもよい。例えば、情報処理装置200は、盛り上がり状態が高いほど高い数値とし、第1盛り上がり状態を数値3、第2盛り上がり状態を数値2、第3盛り上がり状態を数値1と対応付けてよい。情報処理装置200が行う各盛り上がり状態と数値との対応付けは、その他任意の方法でもよい。情報処理装置200は、各盛り上がり状態を数値と対応付けることにより、各盛り上がり状態を数値的に取り扱うことができる。
ステップST2に示す一例では、情報処理装置200は、席次情報350と盛り上がり度の分析結果とに基づいて、第1盛り上がり状態から第3盛り上がり状態を識別可能な状態情報500を作成する。情報処理装置200は、状態情報500の第1盛り上がり状態から第3盛り上がり状態の各々に、話題情報510を関連付けている。例えば、状態情報500は、第1盛り上がり状態に、「サッカーの話題」を示す話題情報510が関連付けられている。例えば、状態情報500は、第2盛り上がり状態に、「好きなタレントの話題」を示す話題情報510が関連付けられている。情報処理装置200は、状態情報500を電子機器100に表示させることで、仮想テーブル1000における第3盛り上がり状態の領域が盛り上がっていないことをユーザUに認識させることができる。
ステップST3では、情報処理装置200は、ユーザUに提供する話題を提示するための提示情報520を、第3盛り上がり状態であると分析したユーザU-1及びユーザU-5の電子機器100に出力させる。例えば、情報処理装置200は、予め用意されたお題を示す提示情報520の中からランダムに取得したり、第1盛り上がり状態の話題に類似した提示情報520を取得したりする。提示情報520は、例えば、自己紹介タイム、好きな食べ物を質問、仕事に関する質問等を促すための情報を含む。提示情報520は、例えば、表示、音声等を出力するための情報を含む。電子機器100は、情報処理装置200の制御によって、提示情報520を出力することで、ユーザUの発話を促す。これにより、仮想イベントシステム1は、第1盛り上がり状態と分析したユーザUとの発話を促すことで、仮想テーブル1000に配置された複数のユーザUの全体を盛り上げる支援を行うことができる。
図5に示すステップST11では、ユーザU-2の電子機器100は、ユーザU-2の音声、画像等を取得情報300として取得すると、当該取得情報300を情報処理装置200に提供する。この場合、取得情報300は、例えば、「U-1さん こんにちは」の音声を示す情報を含む。なお、図5では、説明を簡単化するため、情報処理装置200がユーザU-1の電子機器100に出力させる処理概要を説明し、他のユーザUの電子機器100に出力させる処理概要を省略する。
情報処理装置200は、ユーザU-2の電子機器100が提供した取得情報300に基づいて、仮想テーブル1000に配置したユーザU-1、ユーザU-3からユーザU-8の各々の出力情報310を作成する。例えば、情報処理装置200は、席次情報350に基づいてユーザ同士の配置関係に応じた音量及び電子機器100において出力に用いるチャンネル、表示領域等を識別可能な出力情報310を作成してもよい。
例えば、配置関係に応じた音量は、ユーザU-2から近い位置のユーザUに対する音量を100%、ユーザU-2から遠い位置のユーザUに対する音量を50%とする。例えば、電子機器100が左右2つのスピーカを有するステレオを用いる場合、情報処理装置200は、左右2つのチャンネルのうち出力に用いるチャンネルを決定する。例えば、電子機器100が3つ以上のスピーカを有するサラウンドを用いる場合、情報処理装置200は、3つ以上のチャンネルのうち出力に用いるチャンネルを決定する。
例えば、電子機器100が左右2つのチャンネルであり、ユーザU-2がユーザU-1の左側に位置していることを席次情報350が示しているとする。この場合、情報処理装置200は、電子機器100の右側のチャンネルからユーザU-1に対して取得情報300の音声を100%の音量で出力するための出力情報310を作成する。情報処理装置200は、取得情報300の画像を、ユーザU-2の第1表示領域110Aに表示するための出力情報310を作成する。情報処理装置200は、作成した出力情報310を出力するように、ユーザU-1の電子機器100を制御する。
ステップST12に示すように、ユーザU-1の電子機器100は、情報処理装置200が指示した取得情報300の出力を行う。電子機器100は、例えば、取得情報300を配置関係に基づいて定められたユーザU-2の表示領域に画像を表示するとともに、ユーザU-2の音声をスピーカ等から出力する。
図6は、実施形態に係る電子機器100の構成の一例を示す図である。図6に示すように、電子機器100は、表示部110と、操作部120と、スピーカ部130と、センサ部140と、通信部150と、記憶部160と、制御部170と、を備える。制御部170は、表示部110、操作部120、スピーカ部130、センサ部140、通信部150、記憶部160等と電気的に接続されている。
表示部110は、例えば、液晶ディスプレイ(Liquid Crystal Display)、有機ELディスプレイ(Organic Electro-Luminescence Display)等の表示パネルを有する。表示部110は、制御部170から入力される信号に応じて、文字、図形、画像等の情報を表示できる。表示部110が表示する情報には、上述した出力情報310が示す画像、ボタンや状態情報500等の情報が含まれる。
操作部120は、ユーザUの操作を受け付けるための1ないし複数のデバイスを有する。ユーザUの操作を受け付けるためのデバイスは、例えば、キー、ボタン、タッチスクリーン等を含む。操作部120は、受け付けた操作に応じた情報を制御部170へ供給できる。操作部120は、ユーザUの操作、指示等に応じた情報を制御部170へ供給できる。
スピーカ部130は、例えば、ステレオスピーカ、サラウンドスピーカ等を有する。本実施形態では、スピーカ部130は、左スピーカ131と、右スピーカ132と、を有する。スピーカ部130は、制御部170から入力されたモノラル信号、ステレオ信号、サラウンド信号等を出力する。スピーカ部130は、左右の2つのチャンネルで独立した音声を出力することで、単一の音声を出力するよりも、臨場感を表現可能な構成になっている。
センサ部140は、ユーザUや周囲に係る音、画像等の種々の取得情報300を取得できる。本実施形態に係るセンサ部140は、例えば、カメラ、マイクロフォン等を含む。センサ部140は、例えば、地磁気センサ、タッチセンサ、赤外線センサ、温度センサ、湿度センサなどの様々なセンサを含んでもよい。センサ部140は、取得した取得情報300を制御部170に供給できる。センサ部140は、マイクロフォンによって取得したユーザUの音声等を示す取得情報300を制御部170に供給できる。センサ部140は、カメラで取得したユーザUの画像、映像等を示す取得情報300を制御部170に供給できる。
通信部150は、例えば、情報処理装置200、他の電子機器100等と通信できる。通信部150は、各種通信規格をサポートできる。通信部150は、例えば、有線又は無線ネットワーク等を介して各種情報を送受信できる。通信部150は、受信した情報を制御部170に供給できる。通信部150は、制御部170が指示した送信先に情報を送信できる。
記憶部160は、プログラム及びデータを記憶できる。記憶部160は、制御部170の処理結果を一時的に記憶する作業領域としても利用される。記憶部160は、半導体記憶媒体、及び磁気記憶媒体等の任意の非一過的(non-transitory)な記憶媒体を含んでよい。記憶部160は、複数の種類の記憶媒体を含んでよい。記憶部160は、メモリカード、光ディスク、又は光磁気ディスク等の可搬の記憶媒体と、記憶媒体の読み取り装置との組み合わせを含んでよい。記憶部160は、RAM(Random Access Memory)等の一時的な記憶領域として利用される記憶デバイスを含んでよい。
記憶部160は、例えば、プログラム161、取得情報300、出力情報310、状態情報500等を記憶できる。プログラム161は、情報処理装置200と連携して仮想イベントを実現するための各種制御に関する機能を提供できる。取得情報300は、例えば、センサ部140で取得した情報である。出力情報310及び状態情報500は、例えば、情報処理装置200から受信した情報である。記憶部160は、取得情報300、出力情報310及び状態情報500を時系列順に記憶できる。
制御部170は、演算処理装置である。演算処理装置は、例えば、CPU(Central Processing Unit)、SoC(System-on-a-Chip)、MCU(Micro Control Unit)、FPGA(Field-Programmable Gate Array)、及びコプロセッサを含むが、これらに限定されない。制御部170は、電子機器100の動作を統括的に制御して各種の機能を実現する。
具体的には、制御部170は、記憶部160に記憶されている情報を必要に応じて参照しつつ、記憶部160に記憶されているプログラム161に含まれる命令を実行する。そして、制御部170は、データ及び命令に応じて機能部を制御し、それによって各種機能を実現する。機能部は、例えば、表示部110、操作部120、スピーカ部130、センサ部140、及び通信部150を含むが、これらに限定されない。
制御部170は、センサ部140によってユーザUの音声、音量等を識別可能な取得情報300を取得した場合、通信部150を介して、取得情報300を情報処理装置200に送信する制御を行う。制御部170は、通信部150を介して、情報処理装置200から出力情報310の出力が指示されると、出力情報310が示す画像を表示部110に表示させ、出力情報310が示す音声をスピーカ部130から出力させる。制御部170は、通信部150を介して、情報処理装置200から状態情報500の出力が指示されると、状態情報500の画像を表示部110に表示させたり、状態情報500が示す音声をスピーカ部130から出力させたりする。
以上、本実施形態に係る電子機器100の機能構成例について説明した。なお、図6を用いて説明した上記の構成はあくまで一例であり、本実施形態に係る電子機器100の機能構成は係る例に限定されない。本実施形態に係る電子機器100の機能構成は、仕様や運用に応じて柔軟に変形可能である。
本実施形態では、電子機器100は、表示部110及びスピーカ部130を、出力情報310、状態情報500等を出力する出力部として機能させる場合について説明するが、これに限定されない。例えば、電子機器100は、電気的に接続された外部の出力装置に出力情報310を出力させるように構成してもよい。
図7は、実施形態に係る情報処理装置200の構成の一例を示す図である。図7に示すように、情報処理装置200は、表示部210と、操作部220と、通信部230と、記憶部240と、制御部250と、を備える。制御部250は、表示部210、操作部220、通信部230、記憶部240等と電気的に接続されている。
表示部210は、制御部250の制御によって各種情報を表示可能なように構成されている。表示部210は、例えば、液晶ディスプレイ、有機ELディスプレイ等の表示パネルを有する。表示部210は、制御部250から入力される信号に応じて、文字、図形、画像等の情報を表示する。
操作部220は、ユーザの操作を受け付けるための1ないし複数のデバイスを有する。ユーザの操作を受け付けるためのデバイスは、例えば、キー、ボタン、タッチスクリーン等を含む。操作部220は、受け付けた操作に応じた信号を制御部250へ供給できる。
通信部230は、例えば、電子機器100、他の通信機器等と通信できる。通信部230は、各種通信規格をサポートできる。通信部230は、例えば、有線又は無線ネットワーク等を介して各種情報を送受信できる。通信部230は、受信した情報を制御部250に供給できる。通信部230は、制御部250が指示した送信先に情報を送信できる。
記憶部240は、プログラム及びデータを記憶できる。記憶部240は、制御部250の処理結果を一時的に記憶する作業領域としても利用される。記憶部240は、半導体記憶媒体、及び磁気記憶媒体等の任意の非一過的な記憶媒体を含んでよい。記憶部240は、複数の種類の記憶媒体を含んでよい。記憶部240は、メモリカード、光ディスク、又は光磁気ディスク等の可搬の記憶媒体と、記憶媒体の読み取り装置との組み合わせを含んでよい。記憶部240は、RAM等の一時的な記憶領域として利用される記憶デバイスを含んでよい。
記憶部240は、例えば、プログラム241、取得情報300、出力情報310、属性情報320、アルゴリズム情報330、参加者情報340、席次情報350、状態情報500、話題情報510、提示情報520等を記憶できる。プログラム241は、複数の電子機器100と連携して仮想イベントを実現するための各種制御に関する機能を提供できる。取得情報300は、例えば、電子機器100が提供した情報である。出力情報310は、例えば、複数の電子機器100ごとに、取得情報300に基づいて作成した情報である。属性情報320は、例えば、仮想イベントに参加する複数のユーザUの属性を示す情報である。アルゴリズム情報330は、例えば、仮想テーブル1000に対する席次を決定するアルゴリズムを含む。参加者情報340は、例えば、仮想イベントに参加するユーザUを識別可能な情報を含む。席次情報350は、例えば、仮想テーブル1000における座席1100の配置とユーザUの席次との関係を示す情報を含む。状態情報500は、例えば、分析した盛り上がり状態を識別可能な情報を含む。話題情報510は、例えば、ユーザUの発話内容を分析した話題を示す情報を含む。提示情報520は、例えば、ユーザUの発話を促すための情報を含む。提示情報520は、例えば、お題、質問文等を提示するための情報を含む。
本実施形態では、情報処理装置200は、属性情報320、アルゴリズム情報330、参加者情報340、席次情報350、状態情報500、話題情報510、提示情報520等を記憶部240に記憶する場合について説明するが、これに限定されない。情報処理装置200は、属性情報320、アルゴリズム情報330、参加者情報340、席次情報350、状態情報500、話題情報510、提示情報520等の情報を、アクセス可能な外部の記憶装置、サーバ等から取得する構成としてもよい。
制御部250は、演算処理装置である。演算処理装置は、例えば、CPU、SoC、MCU、FPGA、及びコプロセッサを含むが、これらに限定されない。制御部250は、情報処理装置200の動作を統括的に制御して各種の機能を実現できる。
具体的には、制御部250は、記憶部240に記憶されている情報を必要に応じて参照しつつ、記憶部240に記憶されているプログラム241に含まれる命令を実行できる。そして、制御部250は、データ及び命令に応じて機能部を制御し、それによって各種機能を実現できる。機能部は、例えば、表示部210及び通信部230を含むが、これらに限定されない。
制御部250は、決定部251、分析部252、推定部253、作成部254、出力制御部255等の機能部を有する。制御部250は、プログラム241を実行することによって、決定部251、分析部252、推定部253、作成部254、出力制御部255等の機能を実現する。プログラム241は、情報処理装置200の制御部250に、決定部251、分析部252、推定部253、作成部254及び出力制御部255を機能させるためのプログラムである。
決定部251は、仮想イベントに参加する複数のユーザUの属性情報320に基づいて、仮想テーブル1000におけるユーザUの席次を決定する。決定部251は、例えば、仮想イベントに参加するユーザUの属性と仮想テーブル1000の配置アルゴリズムとに基づいて、仮想テーブル1000におけるユーザUの席次を決定する。
分析部252は、電子機器100が提供した取得情報300と席次情報350とに基づいて、仮想テーブル1000における盛り上がり状態を分析する。分析部252は、例えば、仮想テーブル1000における複数のユーザUごと、または対話しているユーザUのグループごとに、取得情報300が示す音量に基づいて盛り上がり状態を分析する。対話しているか否かは、取得情報300の発話内容から判別することができる。分析部252は、例えば、所定時間における音量の平均値に基づいて盛り上がり状態を分析する。所定時間は、例えば、10分間等の設定された時間を含む。分析部252は、取得情報300が示すユーザの顔画像に基づいて、盛り上がり状態を分析する。分析部252は、例えば、所定時間における笑顔の割合等に基づいて盛り上がり状態を分析する。
推定部253は、取得情報300が示すユーザUの発話情報に基づいて、盛り上がり状態に関連する話題情報510を推定する。推定部253は、例えば、取得情報300が示す発話情報を、公知である自然言語理解、自然言語処理等を用いて解析する。推定部253は、例えば、所定時間における発話情報が示すキーワード、複数のユーザUが発した共通のキーワード等に基づいて話題情報510を推定する。推定部253は、キーワードと話題との対応関係を示すデータベース、機械学習等を用いて、キーワードに基づく話題情報510を推定する。推定部253は、推定した話題情報510を盛り上がり状態、ユーザU等に関連付けて記憶部240に記憶できる。
作成部254は、分析した仮想テーブル1000における盛り上がり状態のマップを示す状態情報500を作成する。作成部254は、複数のユーザごとに分析した盛り上がり状態をユーザUに関連付けて記憶しておき、席次情報350に基づいて仮想テーブル1000を模式的に示すマップに、分析した盛り上がり状態を割り当てた状態情報500を作成する。作成部254は、分析結果に基づいて盛り上がり状態をグルーピングした状態情報500を作成してもよい。
出力制御部255は、出力情報310、状態情報500、話題情報510、提示情報520等を出力するように、電子機器100を制御する。出力制御部255は、例えば、出力対象のユーザUの電子機器100に、通信部230を介して、情報の出力を指示する。出力制御部255は、ユーザUの発話を促すための提示情報520を出力するように、電子機器100を制御する。出力制御部255は、例えば、複数の提示情報520の中から抽出条件に基づいて抽出した提示情報520を出力するように、電子機器100を制御する。抽出条件は、例えば、複数の提示情報520の中から、提示情報520をランダムに抽出する条件、出力対象のユーザUの属性に適した提示情報を抽出する条件等を含む。出力制御部255は、提示情報520を出力するように、分析部252が盛り上がっていないと分析したユーザUの電子機器100を制御する。
以上、本実施形態に係る情報処理装置200の機能構成例について説明した。なお、図8を用いて説明した上記の構成はあくまで一例であり、本実施形態に係る情報処理装置200の機能構成は係る例に限定されない。本実施形態に係る情報処理装置200の機能構成は、仕様や運用に応じて柔軟に変形可能である。
図8は、実施形態に係る電子機器100が実行する処理手順の一例を示すフローチャートである。図8に示す処理手順は、電子機器100の制御部170がプログラム161を実行することによって実現される。図8に示す処理手順は、制御部170によって繰り返し実行される。
図8に示すように、電子機器100の制御部170は、センサ部140から取得情報300を取得したか否かを判定する(ステップS101)。例えば、制御部170は、センサ部140が取得情報300を供給した場合に、取得情報300を取得したと判定する。制御部170は、センサ部140から取得情報300を取得したと判定した場合(ステップS101でYes)、処理をステップS102に進める。
制御部170は、取得情報300を情報処理装置200に送信する(ステップS102)。例えば、制御部170は、電子機器100を識別可能な情報を付加した取得情報300を圧縮し、通信部150を介して情報処理装置200に送信する。制御部170は、ステップS102の処理が終了すると、処理を後述するステップS107に進める。
また、制御部170は、センサ部140から取得情報300を取得していないと判定した場合(ステップS101でNo)、処理をステップS103に進める。制御部170は、出力情報310を受信したか否かを判定する(ステップS103)。例えば、制御部170は、通信部150を介して、情報処理装置200から出力情報310を受信している場合に、出力情報310を受信したと判定する。制御部170は、出力情報310を受信していると判定した場合(ステップS103でYes)、処理をステップS104に進める。
制御部170は、出力情報310の出力処理を実行する(ステップS104)。例えば、制御部170は、出力処理を実行することで、出力情報310の音声をスピーカ部130から出力させる。例えば、制御部170は、出力処理を実行することで、出力情報310の画像を該当する表示部110の表示領域に表示させる。制御部170は、ステップS104の処理が終了すると、処理を後述するステップS107に進める。
また、制御部170は、出力情報310を受信していないと判定した場合(ステップS103でNo)、処理を後述するステップS105に進める。制御部170は、状態情報500または提示情報520を受信したか否かを判定する(ステップS105)。例えば、制御部170は、通信部150を介して、情報処理装置200から状態情報500または提示情報520を受信している場合に、受信したと判定する。制御部170は、状態情報500または提示情報520を受信していないと判定した場合(ステップS105でNo)、処理を後述するステップS107に進める。
また、制御部170は、状態情報500または提示情報520を受信したと判定した場合(ステップS105でYes)、処理をステップS106に進める。制御部170は、状態情報500または提示情報520の出力処理を実行する(ステップS106)。例えば、制御部170は、出力処理を実行することで、受信した状態情報500を、表示部110に表示させる。例えば、制御部170は、出力処理を実行することで、受信した提示情報520の画像を表示部110に表示させたり、受信した提示情報520の音声をスピーカ部130から出力させたりする。制御部170は、ステップS106の処理が終了すると、処理をステップS107に進める。
制御部170は、終了するか否かを判定する(ステップS107)。例えば、制御部170は、仮想イベントの終了、ユーザUからの終了指示等を受け付けている場合に、終了すると判定する。制御部170は、終了しないと判定した場合(ステップS107でNo)、処理を既に説明したステップS101に戻し、処理を継続する。また、制御部170は、終了すると判定した場合(ステップS107でYes)、処理をステップS108に進める。
制御部170は、出力終了処理を実行する(ステップS108)。例えば、制御部170は、出力終了処理を実行することで、出力を指示した表示部110、スピーカ部130等の出力を終了させる。制御部170は、ステップS108の処理が終了すると、図8に示す処理手順を終了させる。
図9は、実施形態に係る情報処理装置200が実行する出力制御の処理手順の一例を示すフローチャートである。図9に示す処理手順は、情報処理装置200の制御部250がプログラム241を実行することによって実現される。図9に示す処理手順は、仮想イベントに参加するユーザUの席次が決定した状態で、制御部250によって実行される。
図9に示すように、情報処理装置200の制御部250は、電子機器100から取得情報300を受信したか否かを判定する(ステップS201)。例えば、制御部250は、通信部230を介して、取得情報300を受信している場合に、取得情報300を受信したと判定する。制御部250は、電子機器100から取得情報300を受信していないと判定した場合(ステップS201でNo)、処理を後述するステップS204に進める。また、制御部250は、電子機器100から取得情報300を受信したと判定した場合(ステップS201でYes)、処理をステップS202に進める。
制御部250は、取得情報300と席次情報350とに基づいて、仮想テーブル1000における盛り上がり状態を分析する(ステップS202)。例えば、制御部250は、分析部252として機能することで、仮想テーブル1000で対話をしているユーザU、グループごとに、取得情報300が示す所定時間における音量に基づいて盛り上がり状態を分析する。例えば、制御部250は、所定時間における音量の平均音量、最大音量等に基づいて盛り上がり状態を分析する。例えば、制御部250は、音量に基づいて盛り上がり状態を判別する機械学習プログラム等を用いてもよい。
例えば、制御部250は、音量が第1閾値を超えている場合、第1盛り上がり状態であると分析する。例えば、制御部250は、音量が第1閾値以下かつ第2閾値を超えている場合、第2盛り上がり状態であると分析する。例えば、制御部250は、第2閾値以下である場合、第3盛り上がり状態であると分析する。制御部250は、ステップS202の処理が終了すると、処理をステップS203に進める。
制御部250は、取得情報300が示す発話情報に基づいて、ユーザの話題情報510を推定する(ステップS203)例えば、制御部250は、推定部253として機能することで、取得情報300が示す発話情報を解析し、所定時間における発話情報が示すキーワード、複数のユーザUが発した共通のキーワード等に基づいて話題情報510を推定する。制御部250は、推定した話題情報510をユーザU、仮想テーブル1000の領域等に関連付けて記憶部240に記憶すると、処理をステップS204に進める。
制御部250は、所定時間であるか否かを判定する(ステップS204)。例えば、制御部250は、盛り上がり状態を作成してから所定時間が経過した場合に、所定時間であると判定する。制御部250は、所定時間ではないと判定した場合(ステップS204でNo)、処理を後述するステップS207に進める。また、制御部250は、所定時間であると判定した場合(ステップS204でYes)、処理をステップS205に進める。
制御部250は、仮想テーブル1000における盛り上がり状態の状態情報500を作成する(ステップS205)。例えば、制御部250は、作成部254と機能することで、所定時間が経過する間に分析した仮想テーブル1000の盛り上がり状態と席次情報350とに基づいて、仮想テーブル1000を模式的に示すマップに、分析した盛り上がり状態を割り当てた状態情報500を作成する。制御部250は、ステップS205の処理が終了すると、処理をステップS206に進める。
制御部250は、状態情報500の出力処理を実行する(ステップS206)。出力処理は、例えば、状態情報500を出力させる電子機器100を特定する処理、特定した電子機器100に状態情報500の出力を指示する処理等を含む。制御部250は、状態情報500を電子機器100に出力させると、処理をステップS207に進める。
制御部250は、提示タイミングであるか否かを判定する(ステップS207)。提示タイミングは、例えば、盛り上がっていない状態を分析したタイミング、予め設定された時間が経過したタイミング、ユーザUからの提示指示を受け付けたタイミング等を含む。制御部250は、提示タイミングではないと判定した場合(ステップS207でNo)、処理を後述するステップS209に進める。また、制御部250は、提示タイミングであると判定した場合(ステップS207でYes)、処理をステップS208に進める。
制御部250は、提示情報520の出力処理を実行する(ステップS208)。出力処理は、例えば、提示情報520をデータベース等から抽出する処理、提示情報520を出力させる電子機器100を特定する処理、特定した電子機器100に提示情報520の出力を指示する処理等を含む。制御部250は、提示情報520を電子機器100に出力させると、処理をステップS209に進める。
制御部250は、終了するか否かを判定する(ステップS209)。例えば、制御部250は、仮想イベントの終了等を受け付けている場合に、終了すると判定する。制御部250は、終了しないと判定した場合(ステップS209でNo)、処理を既に説明したステップS201に戻し、処理を継続する。また、制御部250は、終了すると判定した場合(ステップS209でYes)、処理をステップS210に進める。
制御部250は、出力終了を電子機器100に指示させる(ステップS210)。例えば、制御部250は、通信部230を介して、出力を指示した電子機器100に対し、出力終了を指示する。制御部250は、ステップS210の処理が終了すると、図9に示す処理手順を終了させる。
図10は、実施形態に係る仮想イベントシステム1における電子機器100の表示例を説明するための図である。図10に示す一例では、仮想イベントは、ユーザU-6が主催者であることを前提とする。
図10に示すステップST11では、情報処理装置200は、仮想テーブル1000において、ユーザU-3、ユーザU-4及びユーザU-8が第1盛り上がり状態であると分析し、第1グループを形成していると分析する。情報処理装置200は、仮想テーブル1000において、ユーザU-2、ユーザU-6及びユーザU-7が第2盛り上がり状態であると分析し、第2グループを形成していると分析する。情報処理装置200は、仮想テーブル1000において、ユーザU-1及びユーザU-5が盛り上がっていない状態であると分析している。情報処理装置200は、これらの盛り上がり状態のマップを示す状態情報500を、ユーザU-6の電子機器100の表示部110に表示させている。情報処理装置200は、推定した第1グループの「サッカーの話題」及び「オリンピックの話題」を示す話題情報510を状態情報500に関連付けて表示させている。情報処理装置200は、推定した第2グループの「好きなタレントの話題」を示す話題情報510を状態情報500に関連付けて表示させている。情報処理装置200は、これらの盛り上がり状態のマップにおいて、各盛り上がりの状態を、仮想テーブル1000における領域の濃淡で表現するとしてよい。また、情報処理装置200は、これらの盛り上がり状態のマップにおいて、各盛り上がりの状態を、仮想テーブル1000における領域の色を変えて表示するとしてもよい。例えば、情報処理装置200は、ユーザU-3、ユーザU-4及びユーザU-8が第1盛り上がり状態である場合これらグループの領域を赤色で表示し、ユーザU-2、ユーザU-6及びユーザU-7が第2盛り上がり状態である場合これらグループの領域を黄色で表示し、ユーザU-1及びユーザU-5が盛り上がっていない状態の場合これらグループの領域を灰色で表示するとしてもよい。情報処理装置200が表示する上記色の組み合わせは任意に変更することができる。
ステップST12では、情報処理装置200は、第1グループの話題情報510に基づいて、「サッカーに興味ある?」の提示情報520をデータベース等から抽出し、当該提示情報520をユーザU-1及びユーザU-5の電子機器100に出力させている。ユーザU-1及びユーザU-5は、提示情報520を参照することで、提示情報520に関する対話を開始し、盛り上がっているとする。
情報処理装置200は、ユーザU-1及びユーザU-5の電子機器100が提供した取得情報300に基づいて、盛り上がり状態を分析する。この場合、情報処理装置200は、ユーザU-1及びユーザU-5の各々の音量に基づいて、第1盛り上がり状態であると分析する。情報処理装置200は、ユーザU-1及びユーザU-5の各々の発話情報に基づいて、話題情報510を推定する。ステップST12に示す一例では、情報処理装置200は、「サッカーの話題」を示す話題情報510を推定している。
ステップST13では、情報処理装置200は、ユーザU-1及びユーザU-5が第1盛り上がり状態に遷移したので、ユーザU-1、ユーザU-3、ユーザU-4、ユーザ-5及びユーザU-8が第1盛り上がり状態、ユーザU-2、ユーザU-6及びユーザU-7が第2盛り上がり状態であることを示す状態情報500を作成する。情報処理装置200は、作成した状態情報500を表示するように、電子機器100を制御する。主催者であるユーザU-6は、電子機器100の表示部110に表示された状態情報500を参照することで、ユーザU-1及びユーザU-5が提示情報520によって盛り上がっていることを確認することができる。
また、ユーザU-6は、提示情報520によってもユーザU-1及びユーザU-5が盛り上がらないことを確認した場合は、ユーザU-1及びユーザU-5に対して発話を行う。電子機器100は、当該発話を示す取得情報300を情報処理装置200に提供する。情報処理装置200は、取得情報300に基づく出力情報310を電子機器100に出力させる。これにより、仮想イベントシステム1は、主催者がユーザU-1及びユーザU-5の対話を促すことができるので、仮想テーブル1000が全体的に盛り上げることを支援することができる。
以上により、仮想イベントシステム1は、仮想イベントに参加するユーザUの属性に応じて、仮想テーブル1000におけるユーザUの席次を決定することができる。そして、仮想イベントシステム1は、電子機器100が提供した取得情報300と、仮想テーブル1000におけるユーザUの席次情報350とに基づいて、仮想テーブル1000における持ち上がり状態を分析できる。仮想イベントシステム1は、分析した持ち上がり状態のマップを示す状態情報500を作成すると、当該状態情報500を電子機器100に出力させる。これにより、仮想イベントシステム1は、仮想テーブル1000にユーザUの席次を決定すると、状態情報500によって仮想テーブル1000における持ち上がり状態を電子機器100で確認させることができる。その結果、仮想イベントシステム1は、状態情報500を電子機器100に出力させることで、仮想イベントに参加する複数のユーザの全てが盛り上げるように支援することができる。さらに、仮想イベントシステム1は、仮想イベントに適した一体感をユーザUに提供できるとともに、ユーザ同士の信頼関係の向上に貢献することができる。
仮想イベントシステム1は、状態情報500を、分析した仮想テーブル1000における盛り上がり状態のマップを示す情報とすることができる、これにより、仮想イベントシステム1は、情報処理装置200が仮想テーブル1000における盛り上がり状態のマップを示す状態情報500を電子機器100に出力させるで、仮想テーブル1000における持ち上がり状態をユーザUに目視させることができる。その結果、仮想イベントシステム1は、盛り上がりに欠ける仮想テーブル1000をユーザUに把握させるで、主催者等による盛り上げを図ることができる。
仮想イベントシステム1は、所定時間における取得情報300が示すユーザUの音量に基づいて、仮想テーブル1000における盛り上がり状態を分析できる。これにより、仮想イベントシステム1は、仮想テーブル1000におけるユーザUの音量に着目することで、仮想テーブル1000の席次と音量との関係に基づいて盛り上がり状態を分析することができる。その結果、仮想イベントシステム1は、音量を計測するだけで、仮想イベントに参加する複数のユーザの全てが盛り上げるように支援することができる。
仮想イベントシステム1は、取得情報300が示すユーザUの発話情報に基づいて、盛り上がり状態に関連する話題情報510を推定し、話題情報510を盛り上がり状態に関連付けた状態情報500を作成できる。これにより、仮想イベントシステム1は、情報処理装置200が仮想テーブル1000における盛り上がり状態と話題とを電子機器100で確認させることができる。その結果、仮想イベントシステム1は、仮想テーブル1000における盛り上がり状態と話題とを認識させることで、盛り上がっていないユーザUに対するきっかけを提供することができる。
仮想イベントシステム1は、情報処理装置200がユーザの発話を促すための提示情報520を、電子機器100を出力させることができる。これにより、仮想イベントシステム1は、提示情報520を電子機器100に出力させることで、仮想テーブル1000のユーザUの発話を促進させることができる。その結果、仮想イベントシステム1は、提示情報520を出力することで、仮想イベントに参加する複数のユーザの全てが盛り上げるように支援することができる。
仮想イベントシステム1は、情報処理装置200が提示情報520を出力するように、盛り上がっていないと分析したユーザUの電子機器100を制御できる。これにより、仮想イベントシステム1は、提示情報520を盛り上がっていないユーザUの電子機器100に出力させることで、仮想テーブル1000のユーザUの発話を促進させることができる。その結果、仮想イベントシステム1は、提示情報520を出力することで、仮想イベントで盛り上がっていないユーザが盛り上がるように支援することができる。
情報処理装置200は、仮想イベントに参加するユーザUの属性に応じて、仮想テーブル1000におけるユーザUの席次を決定することができる。情報処理装置200は、電子機器100が提供した取得情報300と、仮想テーブル1000におけるユーザUの席次情報350とに基づいて、仮想テーブル1000における持ち上がり状態を分析できる。情報処理装置200は、分析した持ち上がり状態のマップを示す状態情報500を作成すると、当該状態情報500を電子機器100に出力させる。これにより、情報処理装置200は、仮想テーブル1000にユーザUの席次を決定すると、状態情報500によって仮想テーブル1000における持ち上がり状態を電子機器100で確認させることができる。その結果、情報処理装置200は、状態情報500を電子機器100に出力させることで、仮想イベントに参加する複数のユーザの全てが盛り上げるように支援することができる。
図11は、実施形態に係る仮想イベントシステム1における他の表示例を説明するための図である。図11に示すように、上述した仮想イベントシステム1は、仮想テーブル1000の座席位置にユーザUのキャラクタ情報310Aを移動が可能なように、電子機器100に出力させることができる。キャラクタ情報310Aは、例えば、アバターを含む。情報処理装置200は、複数の仮想テーブル1000ごとの盛り上がり状態を分析すると、分析した盛り上がり状態を示す状態情報500Aを仮想テーブル1000の近傍に表示するように、電子機器100を制御する。状態情報500Aは、例えば、アイコン、キャラクタ、文字等を含む。電子機器100は、情報処理装置200の指示に応じて、状態情報500Aを表示部110に表示する。
図11に示す一例では、情報処理装置200は、第1盛り上がり状態を示す「盛り上がり状態:大」と、第2盛り上がり状態を示す「盛り上がり状態:中」とを関連付けた状態情報500Aを電子機器100に表示させている。情報処理装置200は、仮想テーブル1000に対して推定した話題情報510を、仮想テーブル1000を介して状態情報500Aに関連付けて電子機器100に表示させている。情報処理装置200は、各盛り上がり状態を、文字列、数値、色、文字の太さなどを任意に組み合わせて表示してもよい。
上述した実施形態では、仮想イベントシステム1は、情報処理装置200が仮想テーブル1000における領域の濃淡によって盛り上がり状態を示す状態情報500を電子機器100に出力させる場合について説明したが、これに限定されない。仮想イベントシステム1は、仮想テーブル1000における領域ごとの棒グラフ等盛り上がり状態を示す状態情報500を電子機器100に出力させてもよい。
上述の実施形態では、仮想イベントシステム1は、情報処理装置200が吹き出しの提示情報520を電子機器100に出力させる場合について説明したが、これに限定されない。仮想イベントシステム1は、提示情報520をテロップ、音声等で電子機器100に表示させる構成としてもよい。
上述した実施形態では、仮想イベントシステム1では、情報処理装置200をクラウドサーバとした場合について説明したが、これに限定されない。例えば、仮想イベントシステム1は、情報処理装置200の機能をユーザUの電子機器100で実現してもよい。また、本開示に含まれるシステムの構成として、複数の電子機器100でやりとりを行うPeer to Peerのシステムで実施してもよい。本開示に含まれるシステムの構成として、サーバを持たずに複数の電子機器100でやりとりを行う方式としてもよい。また、情報処理装置200の機能、構成が電子機器100に含まれるとしてもよい。
添付の請求項に係る技術を完全かつ明瞭に開示するために特徴的な実施形態に関し記載してきた。しかし、添付の請求項は、上記実施形態に限定されるべきものでなく、本明細書に示した基礎的事項の範囲内で当該技術分野の当業者が創作しうるすべての変形例及び代替可能な構成を具現化するように構成されるべきである。