JP7367632B2 - レッスンシステム、レッスン方法、及びプログラム - Google Patents

Description

本発明は、レッスンシステム、レッスン方法、及びプログラムに関する。

特許文献１には、受講者がネットワークを通じてレッスンを受講することができる語学レッスンシステムを開示している。特許文献１では、投稿者端末が投稿した語学体験の再現を含む記事を閲覧することができる。

特開２０１９－９５５８６号公報

このようなシステムでは、学習効果をより高めたいという要望がある。

本発明は、以上の背景に鑑みなされたものであり、学習効果の高いレッスンシステム、レッスン方法、及びプログラムを提供することを目的とする。

本発明の一実施態様に係るレッスンシステムは、体験者の体験に基づく体験映像、及び疑似的に生成された体験映像、の少なくとも何れかの体験映像を記憶した記憶部から前記少なくとも何れかの体験映像を取得する映像取得部と、受講者の動作に関するセンシング情報を取得する動作情報取得部と、前記受講者の音声に関するセンシング情報を取得する音声情報取得部と、前記体験映像に講師の講師画像を合成したレッスン映像を生成する再現処理部と、映像を表示する表示部に前記受講者に対する前記レッスン映像を表示させる出力信号を出力する映像出力部と、音声を出力するスピーカに前記レッスン映像に対応する音声を出力させる出力信号を出力する音声出力部と、前記動作情報取得部及び前記音声情報取得部の少なくとも一方のセンシング情報に応じて、前記映像出力部及び前記音声出力部のそれぞれの出力を制御することによって、前記表示部に表示されるレッスン映像の進行を制御する進行制御部と、を備えている。

上記のレッスンシステムは、前記受講者の遠隔地にいる前記講師を撮像する講師用カメラをさらに備え、前記表示部は前記講師用カメラで撮像された前記講師画像を前記体験映像に重畳したレッスン映像を表示してもよい。

上記のレッスンシステムにおいて、前記講師画像が前記講師のアバター画像であってもよい。

上記のレッスンシステムにおいて、前記表示部が、受講者がいる受講室の壁面にレッスン映像を投影するプロジェクタを有していていてもよい。

上記のレッスンシステムは、前記講師の音声を検出する講師用マイクを備え、前記スピーカが、前記レッスン映像の映像音声とともに、前記講師の音声を出力するようにしてもよい。

本実施形態に係るレッスン方法は、 体験者の体験に基づく体験映像、及び疑似的に生成された体験映像、の少なくとも何れかの体験映像を記憶した映像記憶部から前記少なくとも何れかの体験映像を取得するステップと、
受講者の動作に関するセンシング情報を取得するステップと、前記受講者の音声に関するセンシング情報を取得するステップと、前記体験映像に講師の講師画像を合成したレッスン映像を生成するステップと、映像を表示する表示部に前記受講者に対する前記レッスン映像を表示させる出力信号を出力するステップと、音声を出力するスピーカに前記レッスン映像に対応する音声を出力させる出力信号を出力するステップと、前記動作に関するセンシング情報及び前記音声に関するセンシング情報の少なくとも一方に応じて、前記映像の出力信号及び前記音声の出力信号の出力を制御することによって、前記表示部に表示されるレッスン映像の進行を制御するステップと、を備えている。

上記のレッスンシステムでは、前記受講者の遠隔地にいる前記講師を撮像する講師用カメラが設けられており、前記表示部は前記講師用カメラで撮像された前記講師画像を前記体験映像に重畳したレッスン映像を表示するようにしてもよい。

上記のレッスンシステムでは、前記講師画像が前記講師のアバター画像であってもよい。

上記のレッスンシステムでは、前記表示部が、受講者がいる受講室の壁面にレッスン映像を投影するプロジェクタを有していていてもよい。

上記のレッスンシステムでは、前記講師の音声を検出する講師用マイクが設けられており、前記スピーカが、前記レッスン映像の映像音声とともに、前記講師の音声を出力するようにしてもよい。

本実施形態に係るプログラムは、レッスン方法をコンピュータに対して実行させるプログラムであって、前記レッスン方法は、体験者の体験に基づく体験映像、及び疑似的に生成された体験映像、の少なくとも何れかの体験映像を記憶した体験映像記憶部から前記少なくとも何れかの体験映像を取得するステップと、受講者の動作に関するセンシング情報を取得するステップと、前記受講者の音声に関するセンシング情報を取得するステップと、前記体験映像に講師の講師画像を合成したレッスン映像を生成するステップと、映像を表示する表示部に前記受講者に対する前記レッスン映像を表示させる出力信号を出力するステップと、音声を出力するスピーカに前記レッスン映像に対応する音声を出力させる出力信号を出力するステップと、前記動作に関するセンシング情報及び前記音声に関するセンシング情報の少なくとも一方に応じて、前記映像の出力信号及び前記音声の出力信号の出力を制御することによって、前記表示部に表示されるレッスン映像の進行を制御するステップを備えた、を備えている。

上記のレッスンシステムでは、前記受講者の遠隔地にいる前記講師を撮像する講師用カメラが設けられており、前記表示部は前記講師用カメラで撮像された前記講師画像を前記体験映像に重畳したレッスン映像を表示するようにしてもよい。

上記のレッスンシステムでは、前記講師画像が前記講師のアバター画像であってもよい。

上記のレッスンシステムでは、前記表示部が、受講者がいる受講室の壁面にレッスン映像を投影するプロジェクタを有していていてもよい。

上記のレッスンシステムでは、前記講師の音声を検出する講師用マイクが設けられており、前記レッスン映像の映像音声とともに、前記講師の音声を出力するようにしてもよい。

本開示によれば、学習効果の高いレッスンシステム、レッスン方法、及びプログラムを提供することを目的とする。

実施の形態に係るレッスンシステムを示す制御ブロック図である。 レッスン映像の一例を示す図である。 レッスン映像の一例を示す図である。 レッスン映像の一例を示す図である。 レッスン映像の一例を示す図である。 レッスン方法を示すフローチャートである。 レッスンシステムのハードウェア構成を示す図である。

以下、発明の実施の形態を通じて本発明を説明するが、特許請求の範囲に係る発明を以下の実施形態に限定するものではない。また、実施形態で説明する構成の全てが課題を解決するための手段として必須であるとは限らない。説明の明確化のため、以下の記載及び図面は、適宜、省略、及び簡略化がなされている。各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。

本実施の形態にかかるレッスンシステムは、受講者に語学レッスン等を提供するためのものである。図１は、レッスンシステム１０００を示す制御ブロック図である。レッスンシステム１０００は、遠隔地にいる受講者に対してレッスンを提供するためのシステムである。例えば、レッスンシステム１０００では、受講者がいる第１の部屋１００と、講師がいる第２の部屋２００との間で通信可能となっている。第２の部屋２００は、第１の部屋１００の遠隔地にあり、インターネットなどのネットワークを介して接続されている。

第１の部屋１００には、再現処理部１１０と、確認制御部１２０と、カメラ１３１と，マイク１３２と、におい受容器１３３と、プロジェクタ１４１と、スピーカ１４２と、におい生成器１４３と、が設けられている。第２の部屋２００には、映像記憶部２１０と、データ送信部２２０と、カメラ２３１と、マイク２３２と、におい受容器２３３と、が設けられている。

まず、受講者がレッスンを受講する受講室となる第１の部屋１００について説明する。カメラ１３１は、第１の部屋１００にいる受講者の動作を検出するために設けられたセンサである。もちろん、カメラ１３１以外のセンサが、受講者の動作を検出してもよい。例えば、Ｋｉｎｅｃｔ等のモーションセンサが受講者の動作を検出してもよい。さらには、２つ以上のセンサを組み合わせて、受講者の動作を検出してもよい。カメラ１３１は、受講者の動作をセンシングする。動作情報取得部１３５は、受講者の動作に関するセンシング情報を取得する。カメラ１３１は受講者の動作に関するセンシング情報を取得する動作情報取得部として機能してもよい。例えば、動作情報取得部１３５、及びカメラ１３１は一体となっていてもよく、別々となっていても良い。動作情報取得部１３５、又はカメラ１３１はスマートフォンなどのユーザ端末に実装されていてもよい。

マイク１３２は、受講者の音声を検出する。なお、カメラ１３１、及びマイク１３２は、スマートフォン、パーソナルコンピュータ、タブレット端末などのユーザ端末に設けられたものであってもよい。におい受容器１３３は、第１の部屋１００でのにおいを検出するセンサである。マイク１３２は、受講者の音声に関するセンシング情報を取得する音声情報取得部として機能してもよい。例えば、音声情報取得部１３６、及びマイク１３２は一体となっていてもよく、別々となっていても良い。音声情報取得部１３６、及びマイク１３２はスマートフォンなどのユーザ端末に実装されていてもよい。

プロジェクタ１４１は、受講者に対してレッスン映像を表示する表示部である。スピーカ１４２はレッスン映像に対応する音声を受講者に対して出力する。スピーカ１４２は体験映像に含まれる映像音声ともに、講師が発した講師音声を出力する。におい生成器１４３は、体験映像に紐付いているにおいや、におい受容器２３３が検出したにおいを生成する。

再現処理部１１０は、体験者の過去の体験を再現するための処理を行う。データ送信部２２０から送信されたレッスンデータに応じて、プロジェクタ１４１，スピーカ１４２，におい生成器１４３を制御する。レッスンデータは、レッスン映像、音声データ、においデータ等を含んでいる。

再現処理部１１０は、レッスン映像を生成して、プロジェクタ１４１に表示させる。再現処理部１１０は、音声データをスピーカ１４２に出力させる。音声データは、レッスン映像に含まれる映像音声や、講師音声が含まれている。例えば、映像出力部１４５は、映像を表示する表示部（プロジェクタ１４１）に受講者に対するレッスン映像を表示させる出力信号（表示出力信号）を出力する。音声出力部１４６は、音声を出力するスピーカ１４２にレッスン映像に対応する音声を出力させる出力信号（音声出力信号）を出力する。映像出力部１４５、及び音声出力部１４６は、ユーザ端末に組み込まれていても良い。

におい生成器１４３は、においデータに基づいてにおいを生成する。においデータは、におい受容器２３３で検出した検出データや体験映像の撮像時に検出された検出データを含んでいる。これにより、体験者の過去の体験を再現することができる。つまり、バーチャル空間で、他の体験者の体験を再現することができる。

確認制御部１２０は、受講者の動作や音声を確認するための制御を行う。例えば、確認制御部１２０は、受講者の動作や音声の検出結果を解析して、受講者が望む処理を確認する。そして、確認制御部１２０は、確認結果を進行制御部３００に送信する。確認制御部１２０，及び再現処理部１１０は、パーソナルコンピュータやスマートフォンなどのユーザ端末で実現することができる。また、ユーザ端末のスピーカは表示デバイスを用いてもよい。

レッスンデータに含まれる質問に対して、受講者は発話やジェスチャで回答することができる。カメラ１３１、及びマイク１３２が受講者のジェスチャや発話を検出する。確認制御部１２０は、カメラ１３１、及びマイク１３２の検出結果に応じて、回答が行われたことを確認する。つまり、カメラ１３１、マイク１３２の検出結果に基づいて、確認制御部１２０は、次のシーンに進めるための動作や発話があったことを確認する。これにより、進行制御部３００がレッスン映像を次のシーンに進行させる。

次に、講師がレッスンを提供する第２の部屋２００について説明する。カメラ２３１は、講師画像を撮像する。カメラ２３１によって講師の動作が検出される。もちろん、カメラ２３１以外のセンサが、講師の動作を検出してもよい。例えば、Ｋｉｎｅｃｔ等のモーションセンサが講師の動作を検出してもよい。さらには、２つ以上のセンサを組み合わせて、講師の動作を検出してもよい。

マイク２３２は、講師が発した講師音声を検出する。なお、カメラ２３１、及びマイク２３２は、スマートフォン、パーソナルコンピュータ、タブレット端末などのユーザ端末に設けられたものであってもよい。におい受容器２３３は、第２の部屋２００でのにおいを検出するセンサである。また、第２の部屋２００には、講師が受講者の動作や音声を出力する表示デバイスやスピーカが設けられていてもよい。このようにすることで、講師と受講者が遠隔で会話するようにレッスンを行うことができる。

映像記憶部２１０は、過去に体験者の体験に関する体験データが格納されている。映像記憶部２１０は、体験者の体験に基づく記憶する体験映像記憶部となる。体験映像としては、例えば、飲食店での注文を行う映像、店舗での買い物の映像、空港で飛行機に搭乗するまでの映像、駅で列車に搭乗するまでの映像、駅や空港で乗り換えをする時の映像が挙げられる。映像記憶部２１０は、体験者が体験した複数の体験映像をデータベースとして格納している。映像記憶部２１０は、体験者の体験に基づく体験映像、及び疑似的に生成された体験映像、の少なくとも何れかの体験映像を記憶した体験映像記憶部として機能する。

映像取得部２２１は体験映像を記憶した体験映像記憶部から前記少なくとも何れかの体験映像を取得するとして機能する。なお体験映像は、体験者の体験に基づく体験映像、及び疑似的に生成された体験映像、の少なくとも何れかであってもよい。擬似的に生成された体験映像は、仮想空間上で生成された映像でも良い。あるいは、擬似的に生成された体験映像は、実際の体験映像に各種の情報や画像を付加した映像であってもよい。擬似的に生成された体験映像は、誰も体験したことがない映像であってもよい。映像取得部２２１は、受講者が選択した体験映像を取得する。

具体的には、受講者以外の体験者がカメラ、マイクなどを装着する。カメラを装着した体験者がカフェ、レストラン、バーなどの飲食店に行くことで、体験映像を撮像することができる。映像記憶部２１０には、複数の体験映像が収録されている。体験映像は動画像でもよく、１つ以上の静止画像でもよい。なお、体験者は、受講者自身であってもよい。つまり、受講者が過去に体験した内容に関する体験映像が映像記憶部２１０に格納されていてもよい。また、体験者はロボットなどであってもよい。複数の体験映像がレッスンコンテンツとして登録されている。また、体験映像は、受講者や講師が選択することができる分岐点を含んでいても良い。

映像記憶部２１０は、体験映像以外の体験データを記憶していても良い。たとえば、に限らず、体験時に取得された音声やにおいを体験データとして記憶する。体験に取得された音声やにおいは体験映像に紐付けられて、映像記憶部２１０に記憶されている。さらに、第１の部屋１００や第２の部屋２００には、体験映像に応じた道具やツールなどが設けられていても良い。例えば、飲食店での体験映像の場合、飲食物、容器、食材、調理器具などがあってもよい。

進行制御部３００は、ネットワークを介して、第１の部屋１００及び第２の部屋２００と相互に通信可能に接続されている。進行制御部３００は，例えば、プロジェクタ１４１やスピーカ１４２などを遠隔制御する遠隔サーバ装置とすることができる。ここでは、進行制御部３００は、第１の部屋１００，及び第２の部屋２００の遠隔地に設置されているとして説明するが、その一部又は全部が第１の部屋１００又は第２の部屋２００に設けられていても良い。つまり、進行制御部３００による処理の一部は講師や受講者の端末で実施されていてもよい。進行制御部３００は、動作情報取得部１３５及び音声情報取得部１３６の少なくとも一方のセンシング情報に応じて、映像出力部１４５及び音声出力部１４６のそれぞれの出力を制御することによって、表示部（プロジェクタ１４１）に表示されるレッスン映像の進行を制御する。

進行制御部３００は、確認制御部１２０から受講者の動作や音声の確認結果を受信する。進行制御部３００は、確認結果に応じて、レッスンデータを生成する。データ送信部２２０は、レッスンデータを再現処理部１１０に送信する。レッスンデータはインターネットなどのネットワークを通じて、第１の部屋１００の再現処理部１１０に送信される。

レッスンデータはレッスン映像、音声データ、及びにおいデータを含んでいる。進行制御部３００は、映像記憶部２１０の体験映像にカメラ２３１で撮像された講師画像を合成したレッスン映像を生成する。例えば、進行制御部３００は体型映像に講師画像を貼り付けることで、レッスン映像を生成しても良い。あるいは、進行制御部３００は体験映像の外側に講師画像を付加することで、レッスン映像を生成しても良い。

進行制御部３００は、確認結果に応じて、体験映像のシーンを制御することができる。進行制御部３００は、カメラ１３１、及びマイク１３２の少なくとも一方の検出結果に応じて、進行制御する。つまり、受講者の動作や音声に応じて、進行制御部３００は、体験映像のシーンを進めたり、シーンを切替えたりする。具体的には、体験映像が動画の場合、進行制御部３００は、動画の時間を進めたり、遅らせたりして、シーンを変更する。また、体験映像が複数の静止画を含む場合、確認結果に応じて表示する静止画を切替える。さらに、進行制御部３００は、確認結果に応じて、体験映像の角度や位置等を変えてもよい。

進行制御部３００は、確認結果に応じて、講師画像を体験映像に重畳するためのデータを生成する。例えば、体験映像には講師画像の重畳位置が決められている。また、進行制御部３００はシーンの進行に応じて、講師画像の重畳位置を変更しても良い。あるいは、講師や講師以外の管理者が、重畳位置を決めてもよい。さらに、進行制御部３００は、体験映像中における講師画像の大きさ、向き、角度などを制御しても良い。

図２は、プロジェクタ１４１で表示されたレッスン映像を示す図である。受講者Ｓが入る第１の部屋１００には、レッスン映像１５０が表示される。レッスン映像１５０では、体験映像１５１を背景として、講師の講師画像Ｔが重畳されている。

体験映像１５１は、サンドウィッチ店での注文時の体験を再現する映像である。体験映像１５１は、体験者がサンドウィッチ店で注文しているときに撮像された映像である。体験映像１５１は、サンドイッチ店の注文カウンタとなっている。例えば、受講者Ｓが複数の体験映像から希望の体験映像１５１を選択することができるようになっている。受講者Ｓは体験者の体験を疑似体験することができる。

ここでは、第１の部屋１００の壁面１０１にレッスン映像が投影されている。レッスン映像１５０は壁面１０１に限らず、天井、床などに投影されていても良い。

図３～図５を用いて、レッスン映像の進行制御について説明する。まず、図３では、受講者Ｓが第１の部屋１００に入室したタイミングを示している。ここでは、体験映像１５１として、サンドウィッチ店の注文カウンタが表示されている。講師が店員として、レッスンを行っている。体験映像１５１には、講師の講師画像Ｔが重畳されている。講師画像Ｔが重畳されたレッスン映像１５０が、第１の部屋１００の壁面１０１に投影表示されている。したがって、第１の部屋１００は、受講者Ｓが実際の店内にいるかのように再現されたＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）空間となっている。

ここでは、注文時の英会話レッスンが行われる。例えば，受講者Ｓがトッピングなどを選択して、オリジナルサンドウィッチを注文するために発話する。マイク１３２が受講者Ｓの発話を検出する。さらに，カメラ１３１が受講者Ｓの動作を検出する。また、第２の部屋２００では、講師が注文を取る店員として振る舞う。マイク２３２が講師の発話を検出し、カメラ２３１が講師の動作を検出する。このようにすることで、受講者Ｓが遠隔地にいる講師から英会話レッスンを受けることができる。

マイク１３２，及びカメラ１３１の検出結果に応じて，確認制御部１２０又は進行制御部３００は、注文が終了したことを検知する。あるいは、カメラ２３１，マイク２３２での検出結果により、注文の終了を検知しても良い。例えば、受講者Ｓ又は講師の特定の動作をシーン切替のトリガ動作として登録していても良い。また、シーンを進行する特定の言葉を予め決めておいてもよい。受講者Ｓ又は講師が特定の言葉を発話することで、進行制御部３００がシーンを進行しても良い。つまり、マイク１３２，２３２の検出結果に応じて、進行制御部３００がレッスン映像の進行を制御する。受講者Ｓや講師が端末のボタンを押すことで。シーン切替を行うようにしても良い。

注文が終了すると、次のシーンに進む（図４）。図４では、体験映像１５１がレジ前の映像が表示されている。ここでは、代金を支払うときの英会話が行われる。受講者Ｓが代金を支払うと、次のシーンに進む（図５）。ここでは、注文に成功したことが、音響効果、視覚効果、におい、風などで分かるようになっている。例えば、におい生成器１４３が注文したサンドウィッチのにおいを再現する。あるいは、スピーカ１４２が成功したことを示す音などを出力してもよい。また，プロジェクタ１４１が成功したことを示す強調表示を行ってもよい。

再現処理部１１０は、体験映像に講師画像Ｔを重畳したレッスン映像を生成している。そして、プロジェクタ１４１が受講者Ｓに対して、レッスン映像を表示している。受講者Ｓは、体験者の過去の体験を再現した空間内でレッスン受けることができる。受講者Ｓがレッスン映像を視認しながら英会話レッスンを受けることができる。受講者Ｓは、疑似体験映像を通じた学習を行うことができる。よって、学習効果を高めることができる。さらに、カメラ１３１，２３１やマイク１３２，２３２などの検出結果に応じて、進行制御部３００がレッスンの進行を制御している。よって、適切にレッスン映像の進行を管理することができる。

なお、講師画像Ｔは実際の講師を撮像した映像に限らず、アバター画像であってもよい。例えば、再現処理部１１０が講師画像に基づいて，アバター画像を生成する。また、講師は実在する人に限らず、ソフトウェアで生成されていてもよい。例えば、講師は、対話型ロボットのように、ＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）を搭載するソフトウェアで実現することが可能である。この場合、講師のいる第２の部屋にカメラ２３１、マイク２３２，におい受容器２３３等が不要となる。さらに、ＡＩ講師が進行を制御しても良い。

受講者Ｓに対して体験映像や講師画像を表示する表示デバイスは、プロジェクタ１４１に限られるものでない。例えば、表示部は、ＶＲ表示が可能なヘッドマウントディスプレイなどであってもよい。また、第２の部屋２００には、受講者Ｓをアバター画像として表示するディスプレイを設けてもよい。

また、ヘルプ画面をオーバレイ操作で表示できるようにしても良い。上記の説明では、受講者が一人であったが、二人以上であってもよい。例えば、第１の部屋１００に二人以上の受講者がしてもよい。あるいは第１の部屋１００、及び第２の部屋２００とは異なる第３の部屋に別の受講者がいても良い。二人の受講者が店員と客の役を担当し、講師が異なる部屋から各々の部屋のレッスン映像の進捗を制御するようにしてもよい。

上記の説明では、講師が一人であったが、講師が二人以上いてもよい。また、講師や受講者以外の参加者がいてもよい。講師、受講者、参加者の一部はソフトウェアで生成されていてもよい。

講師は，受講者Ｓに対してレッスンのフィードバックを行ってもよい。そして、フィードバック結果を蓄積することで、より効率良くレッスンを行うことができる。さらに、受講者Ｓの発話や動作に応じて，レッスンを評価しても良い。そして、複数の受講者の評価結果を蓄積することで、より効率的なレッスンを提供することができる。また、受講者Ｓが講師の評価を行ってもよい。これにより、講師のレッスンスキル向上に資することができる。

また、レッスンの進行制御は、受講者及び講師以外の第三者が行ってもよい。例えば、レッスンシステム１０００の管理者が進行を制御してもよい。あるいは、コンピュータが自動でレッスン映像の進行を制御してもよい。例えば、ＡＩによる進行制御も可能である。受講者、講師、第三者、及びコンピュータプログラムの少なくとも一つが進行制御を行うことができる。

第１の部屋１００をバーチャル空間にするためのレッスン映像を表示する表示部は、種々の形態をとることができる。例えば部屋の一面に配置されるモニタを用いて、バーチャル空間を生成しても良い。つまり、壁面のモニタやスクリーンがレッスン映像を表示する。あるいは、ヘッドマントディスプレイがバーチャル空間にレッスン映像を表示してもよい。スマートグラスやカメラ付きモバイル端末画面を介して視認する実空間上に、レッスン映像を表示しても良い。表示部は、講師、受講者などのアバターの画像を表示してもよい。さらには、表示部は、講師画像やレッスン映像を立体映像（３次元画像）として表示してもよい。第１の部屋１００に拡張現実（ＡＲ：Ａｕｇｕｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）によるバーチャル空間を生成することができる。

次に、レッスンの受講方法について、図６を用いて説明する。図６は、レッスンの受講方法を示すフローチャートである。

まず、進行制御部３００が、事前に受講者Ｓによるレッスン及び講師の選択があったか否かを判定する（Ｓ２０１）。例えば、受講者Ｓがレッスンを予約する際に、携帯端末などを操作することで、体験映像及び講師を指定することができる。体験映像及び講師の事前の選択がある場合（Ｓ２０１のＹＥＳ）、進行制御部３００が選択された内容でレッスンを開始する（Ｓ２０３）。体験映像及び講師の選択がない場合（Ｓ２０１のＮＯ）、受講者が体験映像及び講師を選択する（Ｓ２０２）。進行制御部３００は、選択された体験映像及び講師によるレッスンを開始する（Ｓ２０３）。

レッスンが開始すると、進行制御部３００は、選択された体験映像を再生する。再現処理部１１０が体験映像に講師画像Ｔを重畳したレッスン映像を生成する。これにより、レッスンが進行していく。進行制御部３００は、受講者によるヘルプ又は分岐点があったか否かを判定する（Ｓ２０４）。

受講者によるヘルプ又は分岐点がない場合（Ｓ２０４のＮＯ）、進行制御部３００が自動でレッスンを進行する（Ｓ２０６）。例えば、カメラ１３１やマイク１３２が検出した受講者Ｓの動作や発話に基づいて、確認制御部１２０が受講者Ｓの望む処理を確認する。進行制御部３００が、確認結果に応じてシーンを進めていく。

受講者によるヘルプ又は分岐点がある場合（Ｓ２０４のＹＥＳ），講師が手動でレッスンを進行する（Ｓ２０５）。また、ここでは、講師以外の人、例えば、システムの管理者などがレッスンを進行してもよい。そして、進行制御部３００が自動でレッスンを進行する（Ｓ２０６）。

進行制御部３００は、体験映像のエンドポイントであるか否かを判定する（Ｓ２０７）。体験映像がエンドポイントに到達してない場合（Ｓ２０７のＮＯ）、Ｓ２０４に戻り，レッスンを継続する。体験映像がエンドポイントに到達した場合（Ｓ２０７のＹＥＳ）、講師が受講者に対してレッスンについてのフィードバックを行う（Ｓ２０８）。講師のフィードバック結果は採点結果を示す採点データベースに登録されてもよい。

受講者Ｓが次のレッスンを行うか否かを判定する（Ｓ２０９）。次のレッスンを行う場合（Ｓ２０９のＹＥＳ）、ステップＳ２０２に戻り、受講者Ｓがレッスン及び講師の選択を行う。受講者Ｓが次のレッスンを選択していない場合（Ｓ２０９のＮＯ）、受講者Ｓが第１の部屋１００を退室して、終了する。このようにすることで、学習効率の高いレッスンを提供することができる。

映像記憶部２１０は、本システムが有するサーバや端末が備える記憶部であってもよい。その場合、映像取得部２２１は、映像記憶部２１０から記憶された情報を取り出すことによって取得し、取得情報に基づく制御を行うための演算を行うECU（electronic control unit）等のデバイス等であっても良い。また、映像記憶部２１０は、本システムの外の（国外又は国内の）サーバや端末が備える記憶部であってもよい。その場合は、映像取得部２２１は、映像記憶部２１０から記憶された情報を、通信等を介して取り出すことによって取得し、取得情報に基づく制御を行うための演算を行うECU等のデバイスやサーバや端末等であっても良い。

動作情報取得部１３５は、動作をセンシングするセンサ（例：カメラ、点群計測センサ、など）であっても良い。また、そのようなセンサから、有線又は無線の通信を介して、センシングされたデータを受信によって取得する（システムのサーバや表示部等に設けられた）受信部（受信用デバイス等）であっても良い。動作情報取得部１３５は、ユーザ端末に組み込まれていても良い。

音声情報取得部１３６は、音声をセンシングするセンサ（例：マイク）であっても良い。また、そのようなセンサから、有線又は無線の通信を介して、センシングされたデータを受信によって取得する（システムのサーバや表示部等に設けられた）受信部（受信用デバイス等）であっても良い。音声情報取得部１３６は、ユーザ端末に組み込まれていても良い。

誰も体験していない空間を疑似的に体験映像として作成してもよい。例えば、一部看板には宣伝広告が掲示されていたり、カートの食べ物の種類を入れ替えて別店舗として使用したりしてもよい。これは、図２で例えると、看板、カートの中身を入れ替えてサンドイッチショップからアイスクリームショップやほかの店に置き換えることができる。

なお、レッスンは語学レッスンにかぎられるものではない。レッスンは、技能習得のための技能レッスンで良い。例えば、レッスンは、リハビリのためのレッスンであっても良い。リハビリを補助する医師、医療関係者、介護スタッフ、PT（physical therapist）等のためのレッスンであってもよい。

上記のレッスンシステム１０００は、コンピュータプログラムにより実現可能である。例えば、受講者Ｓのユーザ端末、講師のユーザ端末、及びサーバ装置の少なくとも一つのプロセッサが上記の処理を実施することができる。

次に、実施の形態にかかるレッスンシステム１０００のハードウェア構成について説明する。図７は、レッスンシステム７００のハードウェア構成の一例を示すブロック図である。図７に示すように、レッスンシステム７００は例えば、少なくとも一つのメモリ７０１、少なくとも一つのプロセッサ７０２，及びネットワークインタフェース７０３を含む。

ネットワークインタフェース７０３は、有線又は無線のネットワークを介して他の装置と通信するために使用される。ネットワークインタフェース７０３は、例えば、ネットワークインタフェースカード（ＮＩＣ）を含んでもよい。レッスンシステム７００は、ネットワークインタフェース７０３を介して、体験画像、講師画像を取得する。

メモリ７０１は、揮発性メモリ及び不揮発性メモリの組み合わせによって構成される。メモリ７０１は、プロセッサ７０２から離れて配置されたストレージを含んでもよい。この場合、プロセッサ７０２は、図示されていない入出力インタフェースを介してメモリ７０１にアクセスしてもよい。

メモリ７０１は、プロセッサ７０２により実行される、１以上の命令を含むソフトウェア（コンピュータプログラム）などを格納するために使用される。上記のレッスン方法を実行するためのプログラムを格納してもよい。

さらに、上記実施の形態では、本開示をハードウェアの構成として説明したが、本開示は、これに限定されるものではない。本開示は、レッスンシステムの制御処理を、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）にコンピュータプログラムを実行させることにより実現することが可能である。

また、上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（ｔａｎｇｉｂｌｅ ｓｔｏｒａｇｅ ｍｅｄｉｕｍ）を含む。非一時的なコンピュータ可読媒体は、例えば、磁気記録媒体、光磁気記録媒体、ＣＤ－ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリを含む。磁気記録媒体は、例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブなどである。光磁気記録媒体は、例えば光磁気ディスクなどである。半導体メモリは、例えば、マスクＲＯＭ、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ ＰＲＯＭ）、フラッシュＲＯＭ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などである。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

１００ 第１の部屋
１０１ 壁面
１１０ 再現処理部
１２０ 確認制御部
１３１ カメラ
１３２ マイク
１３３ におい受容器
１４１ プロジェクタ
１４２ スピーカ
１４３ におい生成器
１５０ レッスン映像
１５１ 体験映像
２００ 第２の部屋
２１０ 映像記憶部
２２０ データ送信部
２２１ 映像取得部
２３１ カメラ
２３２ マイク
２３３ におい受容器
３００ 進行制御部
Ｓ 受講者
Ｔ 講師画像

Claims (12)

1. 体験者の体験に基づく体験映像、及び疑似的に生成された体験映像、の少なくとも何れかの体験映像を記憶した記憶部から前記少なくとも何れかの体験映像を取得する映像取得部と、
   受講者の動作に関するセンシング情報を取得する動作情報取得部と、
   前記受講者の音声に関するセンシング情報を取得する音声情報取得部と、
   前記体験映像に講師の講師画像を合成したレッスン映像を生成する再現処理部と、
   映像を表示する表示部に前記受講者に対する前記レッスン映像を表示させる出力信号を出力する映像出力部と、
   音声を出力するスピーカに前記レッスン映像に対応する音声を出力させる出力信号を出力する音声出力部と、
   前記動作情報取得部及び前記音声情報取得部の少なくとも一方のセンシング情報に応じて、前記映像出力部及び前記音声出力部のそれぞれの出力を制御することによって、前記表示部に表示されるレッスン映像の進行を制御する進行制御部と、
   前記受講者の遠隔地にいる前記講師を撮像する講師用カメラと、
   前記講師の音声を検出する講師用マイクと、を備え、
   前記表示部は前記講師用カメラで撮像された前記講師画像を前記体験映像に重畳したレッスン映像を表示し、
   特定の動作が、前記レッスン映像のシーン切替のトリガ動作として登録されており、
   前記講師用カメラで撮像された前記講師の動作が前記特定の動作である場合に、前記シーン切替が行われ、
   前記スピーカが、前記レッスン映像の映像音声とともに、前記講師の音声を出力し、
   前記レッスン映像のシーンを進行する特定の言葉が予め登録されており、
   前記音声情報取得部で取得された前記受講者の音声、又は前記講師用マイクで取得された前記講師の音声が前記特定の言葉に該当する場合、前記シーンを進行するレッスンシステム。
2. 前記体験映像には、分岐点が含まれている請求項１に記載のレッスンシステム。
3. 前記講師画像が前記講師のアバター画像である請求項１、又は２に記載のレッスンシステム。
4. 前記表示部が、受講者がいる受講室の壁面にレッスン映像を投影するプロジェクタを有している請求項１～３のいずれか１項に記載のレッスンシステム。
5. コンピュータが、
   体験者の体験に基づく体験映像、及び疑似的に生成された体験映像、の少なくとも何れかの体験映像を記憶した映像記憶部から前記少なくとも何れかの体験映像を取得するステップと、
   受講者の動作に関するセンシング情報を取得するステップと、
   前記受講者の音声に関するセンシング情報を取得するステップと、
   講師用カメラによって前記受講者の遠隔地にいる講師を撮像するステップと、
   前記体験映像に前記講師用カメラで撮像された講師の講師画像を重畳したレッスン映像を生成するステップと、
   映像を表示する表示部に前記受講者に対する前記レッスン映像を表示させる出力信号を出力するステップと、
   音声を出力するスピーカに前記レッスン映像に対応する音声を出力させる出力信号を出力するステップと、
   前記動作に関するセンシング情報及び前記音声に関するセンシング情報の少なくとも一方に応じて、前記映像の出力信号及び前記音声の出力信号の出力を制御することによって、前記表示部に表示されるレッスン映像の進行を制御するステップを備え、
   特定の動作が、前記レッスン映像のシーン切替のトリガ動作として登録されており、
   前記講師用カメラで撮像された前記講師の動作が前記特定の動作である場合に、前記シーン切替が行われ、
   前記講師の音声を検出する講師用マイクが設けられており、
   前記スピーカが、前記レッスン映像の映像音声とともに、前記講師の音声を出力し、
   前記レッスン映像のシーンを進行する特定の言葉が予め登録されており、
   前記受講者の音声、又は前記講師の音声が前記特定の言葉に該当する場合、前記シーンを進行するレッスン方法。
6. 前記体験映像には、分岐点が含まれている請求項５に記載のレッスン方法。
7. 前記講師画像が前記講師のアバター画像である請求項５、又は６に記載のレッスン方法。
8. 前記表示部が、受講者がいる受講室の壁面にレッスン映像を投影するプロジェクタを有している請求項５～７のいずれか１項に記載のレッスン方法。
9. レッスン方法をコンピュータに対して実行させるプログラムであって、
   前記レッスン方法は、
   体験者の体験に基づく体験映像、及び疑似的に生成された体験映像、の少なくとも何れかの体験映像を記憶した体験映像記憶部から前記少なくとも何れかの体験映像を取得するステップと、
   受講者の動作に関するセンシング情報を取得するステップと、
   前記受講者の音声に関するセンシング情報を取得するステップと、
   講師用カメラによって、前記受講者の遠隔地にいる講師を撮像するステップと、
   前記体験映像に前記講師用カメラで撮像された講師の講師画像を重畳したレッスン映像を生成するステップと、
   映像を表示する表示部に前記受講者に対する前記レッスン映像を表示させる出力信号を出力するステップと、
   音声を出力するスピーカに前記レッスン映像に対応する音声を出力させる出力信号を出力するステップと、
   前記動作に関するセンシング情報及び前記音声に関するセンシング情報の少なくとも一方に応じて、前記映像の出力信号及び前記音声の出力信号の出力を制御することによって、前記表示部に表示されるレッスン映像の進行を制御するステップを備え、
   特定の動作が、前記レッスン映像のシーン切替のトリガ動作として登録されており、
   前記講師用カメラで撮像された前記講師の動作が前記特定の動作である場合に、前記シーン切替が行われ、
   前記講師の音声を検出する講師用マイクが設けられており、
   前記スピーカが、前記レッスン映像の映像音声とともに、前記講師の音声を出力し、
   前記レッスン映像のシーンを進行する特定の言葉が予め登録されており、
   前記受講者の音声、又は前記講師の音声が前記特定の言葉に該当する場合、前記シーンを進行するプログラム。
10. 前記体験映像には、分岐点が含まれている請求項９に記載のプログラム。
11. 前記講師画像が前記講師のアバター画像である請求項９、又は１０に記載のプログラム。
12. 前記表示部が、受講者がいる受講室の壁面にレッスン映像を投影するプロジェクタを有している請求項９～１１のいずれか１項に記載のプログラム。

Images