JP2020003624A

JP2020003624A - 遠隔教育向け仮想現実教室のための映像と音声最適化・仮想化システム

Info

Publication number: JP2020003624A
Application number: JP2018122553A
Authority: JP
Inventors: 泰宏飯箸; Yasuhiro Iihashi
Original assignee: Hiroshi Nakamoto
Current assignee: Hiroshi Nakamoto
Priority date: 2018-06-27
Filing date: 2018-06-27
Publication date: 2020-01-09

Abstract

【課題】ICT教育システムにおいて遠隔地を結んだ映像と音声では一斉に発話されると参加者個人の発話を選択して聞くことが出来ず、また生々しい講師と学習者のやり取りにおいても通常ならば聞き手が得ることができるはずの「発話者の位置から個人を特定する」ことが困難で、また必ず伝送の遅延が発生し、特に講師と学習者の意思疎通の問題が深刻であった。【解決手段】ICT機器とインターネットによる映像と音声の伝達では遅延を完全にゼロにする事は不可能であると仮定し、映像と音声の伝達に遅延があっても、対応できる機能として、学習者を個別に録画する機能の実現、講師と学習者間の映像と音声の遅延状態の可視化、各地に点在する学習者を一つの教室の座席に配置したイメージに近付ける、仮想教室を音声遅延の制御により実現した。【選択図】図１

Description

本発明は、ICT遠隔教育において、教師や学習者の個別の録画・録音も保存再生でき、個別に確認できるようにするものである。また、教場の講師と学習者の立体的な位置関係を仮想的に実現して、教場の臨場感に講師も学習者も引き込むことを可能にする。さらに避けられない通信遅延については視覚化によって本人の反応遅れなのかネットによる通信遅延なのかの識別を可能にする。

ICT教育の映像と音声は遠隔地とインターネット回線を通じて利用され、特に講師が不足する地域や海外の学習者に対して語学教育を行う場合にはメリットが高いとされ広く普及している。しかし、インターネット回線を介する学習者の音声は、多数の声の混成でありその中の特定話者の発音が適正であったどうかを選択的に聞くことが出来なかった。また、通常の教場でのように学習者の座った位置から聞こえてくることがないので、講師は学習者の声の音質や発話上の癖以外に学習者の位置や方向を頼りに声の主を特定することが出来ない。実際、講師は声の主の特定を誤ったり判断に迷ったりするため、実技指導が不完全不十分になりがちであった。また、インターネット回線とICT機器やカメラシステムの技術的な問題から映像と音声には遅延が発生し講師の発音に対して学習者が躊躇なく反応しているのか迷いや不安がないのかなどを判断する事が困難であったため、教育効果には大きな制約が存在していた。

多数の発話者の混然音声の中から特定個人の発話を選択的に聞くこと、既存のシステムにない仮想現実の教室を立体音響によって実現すること、およびインターネットの回線速度の向上、、ICT機器の性能向上は進んではいるが、全ての学習者に最高性能のICT機器の性能向上は進んではいても、全ての学習者に最高性能のICT機器が用意される事は難しく、インターネット環境やICT機器による遅延の改善だけには頼らない問題解決、が必要であった。

現在広く普及しているICT機器を利用した授業形態では、多数の学習者ら（講師を含む）が一斉に発話すると音声は混成され、特定個人の声を事後においても選択的に聞くことが出来ない欠陥があった。また、複数の学習者が同時に発話する際に講師が学習者の所在方向を頼りに瞬時に声の主を特定することが出来ないので本人の声の質や答え方の癖など以外には頼しかなく、通常の教場ように講師は的確にして素早い反応が出来ず、講師による指導に支障が生じていた。
さらに、現在広く普及しているICT機器を利用した授業形態は一人の講師に対してICT機器で映像を撮影し音声はモノラルかステレオ音源として配信し、複数の学習者側では生徒が買える程度のスマートフォン、タブレット、コンピュータのビデオカメラとモノラルマイクで受け答えするのが一般的である。回線は一般的なインターネット回線で、海外においては品質の低い回線も少なくない。学習者側のICT機器は一般の市販品である。映像と音声は共に0.2秒から最大１秒程度あるいはそれ以上の遅延を発生し、講師と学習者側のコミュニケーションに支障が起こっていた。

そのため、図１のように授業中の学習者の映像と音声を個別に分離取得して録音録画がされると同時に個別に加工されて通信先に適切に再現される方式を考案し発明した。このことによって、最大で30人程度になる学習者個々の特定が可能となり講師に対する学習者の応答状態を個別に確認出来るようになる。次に図２では講師と学習者の発話の位置関係を仮想的に教室内に配置してのように立体的な音響効果を実現できる機能を発明した。この音響効果により講師は学習者からの発話について位置関係をイメージする事が出来るようになり、教室で講義をしている状態に近付くことができる。さらに、図３のような授業中の映像と音声の遅延を相対的に視覚化する技術を発明した。講師が発話し、個々の学習者が反応し発話し講師に届く予想時間が視覚化される事で学習者が講師に対して適切な反応をしているかを把握する事が出来る。

特開２０１５−０８０２５５号公報特開２０１２−２３９１８４号公報特表２００９−５１８９９６号公報

この仕組が解決しようとしている問題点は、ICT教育で利用されるビデオ会議では参加する講師や学習者たちの発話が混成音声となって分離できないこと、また教場のような相互の位置関係が失われていること、および通信遅延の問題の解決である。しかし、遅延そのものがゼロになる事は無く、数十ミリ秒〜1秒程度の遅延は発生してしまう。

本発明は、講師と学習者それぞれの映像と音声を個別に取得してそれぞれを録画・録音すること、音に対して遅延や反響等の加工を加えて講師と学習者の位置関係を教室のイメージに近づけること、講師と学習者に届く音声の遅延を可視化すること、以上により、これまでICT遠隔教育に内在していた問題が解決して講師と学習者の意志疎通が緊密化される仕組みとした。

本発明のICT遠隔教育向け仮想現実教室は、映像と音声を学習者別に取得し、仮想現実の立体音響効果を実現して教室で講義する仮想的な状態を実現し、インターネットを通じた音声と映像の遅延状態を分析して、その状態を可視化する事により、学習者の発話を適正認識するタイミングが明確にな学習者との意思疎通が緊密化され、映像と音声が必要に応じて再生可能となり、講師の判断を適正にする。

図１は映像と音声を学習者別録画する説明図である。（実施例１）図２は講師と学習者の位置関係を仮想化する説明図である。（実施例２）図3は音声と映像の遅延を可視化する説明図である。（実施例３）

ICT教育システムの映像と音声の最適化・仮想化をインターネットの仮想環境における各種プログラミング技術で可能とした。

図１は、本発明の実施例の1001は講師側のコンピュータ、1002はマイクを内蔵したWEBカメラ、1003は学習者別にインターネット仮想環境で映像と音声を記録する機能、1004はカメラとマイクを内蔵する学習者側のスマートフォン、タブレットPC、パーソナル・コンピュータである。

1003のインターネット仮想環境の映像と音声の記録機能は講習を行う側の管理者が受講者を指定して任意で映像と音声を記録する事が可能となっている。

録画と録音は講師、学習者を個別に記録する事が可能で、講習への参加者全員を同時に記録する事も可能となっている。再生も個別と複数の記録を同時に再生する事ができる。

図２は2001遠隔地域に点在する学習者と講師の関係を仮想教室として再現する発明を示している。2003
仮想教室には学習者が遠隔地からログインした順序で席に配置される。

それぞれの学習者がどの席に配置されたかを講師は2004自分のPCで視覚的に確認する事が可能になる。

次に席に配置された2003学習者がそれぞれの席の位置で発話しているという音響効果を演出する。

この仕組は講師に届く音の遅延を2004講師側の左右のスピーカーに対して制御する事で可能としている。以上から最大で30人程度の教室を想定して学習者が教室内の指定した座席に配置された仮想教室が実現する。

図３はITC講習を行う講師の側の画面イメージであり、学習者に講師の声が届き学習者がそれに反応し講師に学習者の発話が届く時間を可視化できるようにしている。

プログラムがインターネットによる現在の遅延状態を分析し、同時に講師側のICT機器の遅延と学習者側の遅延を分析して、学習者までの遅延と学習者からの遅延をグラフによって講師の画面に示す。この表示は講師が必要に応じて任意に行い、学習者の反応を判断する基準として利用する。

図３では最初に講師側の3002PCから音波を発信し発信時刻をマイクロセカンドまで記録する。生徒側の3003端末は音波を受信し、3004受信した音波を反射して3005反射した音波が講師側に届く時刻を同様にマイクロセカンドまで計測する。3006で講師側と受講者側の二点間の差分時間をマイクロセカンドまで判断する。3002講師のPCには二点間の3007差分時間を映像で可視化して体感遅延時間を感じるように表示する。

特に仮想教室の実現はICT学習だけでなく、企業、組織で頻繁に行われるWEB会議に於いても参加者の発話の位置がイメージされると会議がスムーズになり、幅広く普及しする事が予想される。

１００１講師側コンピュータ
１００２ WEBカメラ
１００３インターネット環境の個別録音録画
１００４受講者側端末
２００１各地学習者の端末
２００２インターネット上のシステム
２００３仮想化教室の学習者と音声遅延による配置
２００４講師側コンピュータ
３００１プログラムの開始
３００２講師側コンピュータ
３００３学習者端末
３００４学習者端末による音波反射
３００５音波到達時間の計測
３００６音波送出受信時間比較
３００７音波遅延時間の可視化

Claims

インターネットを利用したICT学習システムにおいて学習者別にインターネットサーバー及び各学習者の端末で音声と映像を個別に録音し再生する機能。
インターネットを利用したICT学習システムにおいて講師から送出した音波が学習者別に届き音波が学習者から戻ってくる実際の時間を計測し、その時間を可視化することで講師が遅延を体感的に認識出来る機能。
インターネットを利用したICT学習システムにおいて遠隔地に点在した学習者がログインするタイミングで仮想教室の座席に割り振られ、それぞれが発話した声が割り振られた座席の位置から講師に到達するようにステレオ音声の調整を行い、二次元仮想教室を実現する機能。