JP7701192B2 - コミュニケーション支援装置、プログラムおよび記憶媒体 - Google Patents

Description

本発明は、情報受信者を含む対象に対して、何らかの情報を伝達するためのコミュニケーションの支援技術に関する。その中でも特に、遠隔地での非対面コミュニケーションの支援に関する。

省人化、高率化、感染症予防などの観点で、会社や作業場などで集まる人数を制限し、遠隔で業務を行う需要が高まっている。この結果、文字、音声、または音声と映像を用いた非対面コミュニケーションシステムを用いた業務指示および報告の機会や、遠隔で業務に関する技術を伝達する機会が増加している。

しかし、非対面コミュニケーションでは、非言語的なコミュニケーション要素(しぐさ、表情、声色など)が欠落、または正確に伝わりづらくなり、対面コミュニケーションよりも、心情などの伝達効率が低下する。その結果、情報を得る側(以下情報受信者とする)の提示されている情報への興味関心の低下に気づかず、一方的に情報を発信してしまうリスクがある。

これに対し、生体情報を用いて情報受信者の状態を取得し、情報受信者の状態に応じて、伝達するコンテンツを変更する技術が開示されている。例えば特許文献１では、生体情報から覚醒度を測定し、覚醒度が低い場合に、提示情報を趣向状態の表示様式で提示する情報を変更する方法が示されている。

特開平１０－７８７４３号公報

ここで、特許文献１に記載される構成では、予め趣向状態の異なる表示方法を規定したコンテンツを用意しておく必要がある。このため、特許文献１は、学習塾など、同じコンテンツを多人数で学ぶ場合に、適用することはできる。

しかしながら、業務の説明など少人数や個別向けのコミュニケーションでは、情報受信者（対象者）の趣向状態が多岐に渡ることになる。このような場合、予め趣向状態の異なる表示方法を多数用意することが必要になる。しかし、このようにコンテンツを用意することは、手間や時間の制約が大きく困難である。

以上の状況を鑑み、本発明では、情報受信者に対して、より適切に提示情報を提供することで、コミュニケーションを支援することを課題とする。

上記課題を解決するため、本発明では、情報受信者に対してコンテンツを提示するためのコミュニケーション支援装置において、前記情報受信者から生じる情報受信者情報を取得する情報受信者情報取得部と、前記情報受信者情報の時系列変化に基づいて、前記情報受信者における興味集中度を推定する興味集中度推定部と、前記情報受信者に対して提示しているコンテンツの提示仕様を特定する提示仕様特定部と、前記興味集中度の変化に応じて、前記コンテンツの提示仕様を変更するための変更指示を作成する提示情報変更指示部を有し、前記提示仕様特定部は、前記コンテンツのコンテンツ分類を推定するコンテンツ分類推定部と、前記コンテンツの情報量を算出する情報量算出部と、前記情報量に基づいて、前記コンテンツの提示速度を算出する提示速度算出部を有し、前記提示情報変更指示部は、前記コンテンツ分類および前記提示速度のうち少なくとも１つを変更する変更指示を作成するコミュニケーション支援装置も含まれる。

なお、本発明には、コンピュータであるコミュニケーション支援装置を機能させるためのプログラムやこれを格納した記憶媒体、プログラム製品も含まれる。

さらに、コミュニケーション支援装置を含むシステムやこれらを用いたコミュニケーション支援方法も、本発明に含まれる。

本発明によれば、情報受信者に対してより適切に提示情報を提供でき、興味や集中の低下を抑止することができる。

実施例１における非対面コミュニケーション支援システムの概略構成図。 実施例１における提示仕様の変更に関するフローチャート。 実施例１における提示仕様の変更の変形例に関するフローチャート。 実施例２における提示仕様の変更に関するフローチャート。 実施例３における非対面コミュニケーション支援システムの概略構成図。 実施例３における提示仕様の変更に関するフローチャート。 実施例１で用いられる興味集中度関係データを示す図。 各実施例を遠隔教育システムへ実装した実装例を説明する図。

以下、図面を用いて、実施例１および２について説明する。実施例１および２では、遠隔地に存在する情報発信者である講師からの情報受信者である生徒への講義を、非対面コミュニケーションの例として説明する。但し、これらはあくまでも例であり、eラーニングなどの機械的な情報提示も含まれる。

図１は、本実施例における非対面コミュニケーション支援システムの概略構成図である。本システムを構成する主な装置は、コミュニケーション支援装置１００、情報提示装置２００および情報受信装置（図示を省略）である。これら、各装置はネットワーク等を介して、接続されている。なお、本実施例では、コミュニケーション支援装置１００、情報提示装置２００および情報受信装置をそれぞれ独立した装置として記載するが、この形態に限定されない。つまり、コミュニケーション支援装置１００と情報提示装置２００は、１つの装置で構成してもよい。また、コミュニケーション支援装置１００と情報受信装置を１つの装置で構成してもよい。

ここで、本実施例では、遠隔地の講師２０１から生徒３０３に対して、講義を行っている。このために、本実施例では、講師２０１の操作に従って、情報提示装置２００から情報受信装置に、講義内容が送信される。この講義内容が、本発明のコンテンツ（提示情報）の一例である。なお、本発明におけるコンテンツとは、何らかの情報であればよく、その表現は問わない。

そして、情報受信装置は、自身に接続されるか、その一部である画面３０１とスピーカー３０２を介して、講義内容が出力される。この結果、生徒３０３がこの内容を確認できることになる。

また、コミュニケーション支援装置１００は、生徒３０３の動作など情報受信者情報に基づき、興味集中度を推定する。そして、コミュニケーション支援装置１００は、興味集中度とこれに対応する講義内容の提示仕様に基づいて、提示仕様を変更するための変更指示を作成する。より具体的な例としては、コミュニケーション支援装置１００は、興味集中度が所定の基準より低下した場合に、提示仕様を変更する。この結果、情報提示装置２００から情報受信装置に対して、提示仕様が変更された講義内容が送信される。

次に、このような処理を行うための構成の詳細を説明する。まず、情報受信者情報を検知するために、生体情報検知装置３０４および動作検知装置３０５が用いられる。これらは、生徒３０３の受講場所に設置されるいわゆるセンサやカメラで実現できる。なお、本実施例では、情報受信者情報として、生体情報や動作を用いるが、これらに限定されず、また、これらの一方を用いてもよい。

そして、コミュニケーション支援装置１００は、生体情報検知装置３０４、動作検知装置３０５や画面３０１、スピーカー３０２からの情報を用いて、提示仕様の変更を行う。このために、コミュニケーション支援装置１００は、生体情報取得部１０１、提示情報取得部１０２、興味集中度推定部１０３、コンテンツ分類推定部１０４、情報量解析部１０５、提示速度算出部１０６、興味集中度データベース１０７、提示情報変更指示部１０８、動作情報取得部１０９を有する。

生体情報取得部１０１は、生体情報検知装置３０４で検知された生体情報の入力を受け付ける。ここで、生体情報検知装置３０４は、生体センサで実現できる。生体センサには、例えば、脳波計、脳血流計、心拍計、脈拍計、視線計、筋電計、発汗計、サーモセンサ、モーションセンサが含まれる。また、これらの他、生徒３０３を撮影するカメラ、音声を収集するマイク、などを用いてもよい。この生体情報とは、生徒３０３が発する種々の生理学的・解剖学的情報である。この例としては、生体情報検知装置３０４から得られる脳波、脳血流、心拍、脈拍、視線の位置、眼球の動き、瞳孔径、瞼の開き具合、筋肉の硬直度、発汗量、体温、体の動き、姿勢、表情、声の高さ、話す速さ、呼吸の速さ、などが含まれる。なお、生体情報検知装置３０４は、生徒３０３に装着させる形でもよいし、周辺に設置して、生体情報を非接触で測定しても良い。

次に、動作情報取得部１０９は、動作検知装置３０５で検知された動作の入力を受け付ける。ここで、動作検知装置３０５は、生徒３０３の動作を検知するカメラやセンサが含まれる。なお、生体情報検知装置３０４と動作検知装置３０５は、１つの装置で実現してもよい。この場合、動作情報取得部１０９の機能を、生体情報取得部１０１に設けてもよい。この動作は、腕や頭部など体の動作の動きを示す情報である。

また、提示情報取得部１０２は、画面３０１やスピーカー３０２から、提示情報を受け付ける。提示情報取得部１０２は、提示情報（講義内容）として、画面３０１からは当該画面に表示された表示内容およびスピーカー３０２で発声された音声を受け付ける。なお、本実施例では、画面３０１とスピーカー３０２は分けているが、画面とスピーカーが一体となった機器でもよい。また、講義内容は、表示内容および音声の一方のみででもよい。

また、興味集中度推定部１０３は、生体情報取得部１０１や動作情報取得部１０９で取得された生体情報や動作情報を用いて、生徒３０３の講義内容に対する興味集中度を推定する。ここで、興味集中度とは、生徒３０３の講義内容に対する興味の度合いを示す指標である。例えば、生体情報から推定した副交感神経の働きが優位な場合に、脳の活性が高いほど、興味集中度が高いとする。

また、副交感神経の働きの強さは、例えば心拍の変動を時間領域で解析したpNNx指標や、周波数領域で解析したLF/HFなどの指標により推定できる。その他、心拍によらず、交換神経と副交感神経の働きを反映する生体指標を用いてもよい。各指標で副交感神経の働きが優位であると判断する閾値は、個人ごとに予めアンケートと生体情報の評価結果などを用いて算出する。脳の活性は、脳の活動を計測した脳波や脳血流の値が大きいことから推定してもよいし、あるいは思考の活発さの影響を受ける、視線や体の動きの頻度又は速さを脳の活性の代替指標としてもよい。副交感神経の働きが優位であるが脳の活性が低いほど、興味集中度は低いと判断する。交感神経の働きが優位である場合は、脳の活性の高さによらず、興味集中度は低いと判断する。

さらに、興味集中度推定部１０３は、動作により、生徒３０３に落ち着きがない場合に、興味集中度が低下したと判断する。この場合、基準と比較して動作が多い場合や所定の動作を検知した場合に、興味集中度が低下したと判断できる。なお、興味集中度推定部１０３は、生体情報と動作の少なくとも一方を用いてもよいし、他の情報を用いてもよい。

また、コンテンツ分類推定部１０４は、提示情報取得部１０２で取得した提示情報である講義内容を用いて、提示されているコンテンツ分類を推定する。ここで、コンテンツ分類とは、講義内容の提示仕様の一種であり、その分類を示す。この分類とは、提示している情報について、その講義内容における特性を示すものである。コンテンツ分類には、例えば「目標・目的」「背景」「手段・実施内容」「結果」「スケジュール」などが含まれる。

ここで、それぞれのコンテンツ分類は、予め複数の単語と紐付けて用意されており、提示される情報内の単語を分析し、分類を推定する。例えば「目標・目的」に紐づく単語として「目標」「目的」「狙い」「意図」「めざす」「ビジョン」などの単語を用意しておき、１０２で取得した提示情報内にこれらの単語が含まれる場合、現在のコンテンツ分類は「目標・目的」であると判断する。なお、画面中に複数のコンテンツ分類に関係する単語が含まれる場合がある。その場合、最も含まれる単語数の多いコンテンツ分類を画面で提示されている情報のコンテンツ分類の代表として設定する。音声情報がある場合は一定時間当たりの音声情報内の単語の分析結果を現在のコンテンツ分類として設定する。視線情報が取得できる場合は、視線の近傍の単語の分析結果を現在のコンテンツ分類として設定する。また、コンテンツ分類には、章、節などとして扱ってもよい。このため、コンテンツ分類を変更する場合、任意の講義内容（提示情報）における提示が変更されることになる。

また、情報量解析部１０５は、提示情報取得部１０２で取得した提示情報の情報量を解析する。ここで、情報量とは、提示される画面または音声内に含まれる単語の数、または提示される画面内の図形や記号の数とする。つまり、情報量解析部１０５は、このような情報量を特定する。

また、提示速度算出部１０６は、情報量解析部１０５で特定された情報量から、一定時間ごとの提示情報量である提示情報の提示速度を算出する。ここで、提示速度とは、提示される画面のスクロール速度や音声の再生速度であってもよい。

また、興味集中度データベース１０７は、情報受信者毎に、興味集中度の値および変化量と、その際のコンテンツ分類と提示速度が格納されている。つまり、興味集中度データベース１０７は、情報受信者ごとの、興味集中度の時系列変化と提示仕様の関係を示す興味集中度関係データを格納している。ここで、興味集中度関係データの一例を図７に示す。

図７は、生徒３０３の一人である〇〇太郎の講義Ａについての興味集中度関係データを示す。図７（ａ）において、講義内容が提示される「時間」ごとに、〇〇太郎の「興味集中度」、「コンテンツ分類」「提示速度」が記録されている。これらは、それぞれ興味集中度推定部１０３、コンテンツ分類推定部１０４および提示速度算出部１０６での処理結果を示している。図７（ａ）の例では、１０：２０－１０：３０の間に興味集中度が低下していることを示している
また、図７（ｂ）は、生徒３０３の一人である〇〇太郎における、提示仕様と興味集中度の対応関係を示す。本例では、提示仕様として、コンテンツ分類と提示速度が用いられている。そして、これらと興味集中度を示す数値が対応付けられている。図７（ｂ）の例では、コンテンツ分類が「目的」の興味集中度が「３０」で最大値を示す。また、提示速度が「２０－３０」である場合に、興味集中度が「８０」で最大値を示す。なお、図７では、生徒３０３として、〇〇太郎の例を示しているが、他の生徒３０３の興味集中度関係データが、興味集中度データベース１０７に格納されている。

ここで、興味集中度データベース１０７の興味集中度関係データの作成にあたっては、情報提示前にキャリブレーション用コンテンツを用いてもよい。また、後段の提示情報変更指示部１０８の機能を無効化した状態で提示情報と興味集中度のデータを一定期間収集して構築してもよい。この興味集中度関係データを参照、解析することで、以下の組合せを抽出できる。
・興味集中度が増加した際のコンテンツ分類と提示速度
・興味集中度が高く維持されている際のコンテンツ分類と提示速度
・興味集中度が低下した際のコンテンツ分類と提示速度
・興味集中度が低く維持されている際のコンテンツ分類と提示速度
これらの情報を用いることで、コンテンツ分類の寄与が大きい情報受信者（生徒３０３）に対しては、興味集中度を維持するためにコンテンツ分類を変更する制御を選択することができる。このため、提示速度の寄与が大きい生徒３０３に対しては、興味集中度を維持するために提示速度を変更する制御を選択することができる。

あるいは、興味集中度の増加、維持、低下に対するコンテンツ分類と提示速度の重みを算出し、重みに沿ってそれぞれを変更しても良い。興味集中度の増加、維持、低下に対するコンテンツ分類と提示速度の寄与、あるいは重みは、興味集中が低下した回数の割合から算出しても良いし、あるいは興味集中度の低下量から算出しても良い。

また、提示情報変更指示部１０８は、興味集中度推定部１０３の興味集中度と、コンテンツ分類推定部１０４のコンテンツ分類と、提示速度算出部１０６の提示速度と、興味集中度関係データとに基づいて、提示仕様の変更の必要性を判断する。具体的には、提示仕様として、提示情報のコンテンツ分類または提示速度のいずれか１つ以上を変更する必要があるかを判断する。そして、提示情報変更指示部１０８は、必要と判断した場合に提示情報である講義内容の提示仕様を変更する変更指示を作成する。この結果、提示情報変更指示部１０８は、情報提示装置２００に、変更指示を出力する。この結果、情報提示装置２００から講義内容の提示仕様が変更される。このために、情報提示装置２００が主体的に提示仕様を変更してもよいし、講師２０１が提示仕様を変更してもよい。そして、情報提示装置２００から情報受信装置へ、提示仕様が変更された講義内容が送信される。

ここで、コミュニケーション支援装置１００、情報提示装置２００や情報受信装置は、いわゆるコンピュータで実現できる。この例としては、ＰＣ、スマートフォン、タブレットが含まれる。また、いわゆるサーバとして実現してもよい。

次に、図２は、本実施例における提示仕様の変更に関するフローチャートである。なお、本フローチャートの各ステップは、所定時間Δｔ１ごとに繰り返し行う。Δｔ１は、人によらず固定としてもよいし、あるいは提示速度算出部１０６で算出した提示速度に反比例する値としてもよい。提示速度に反比例する値とすることで、例えば説明の速度が速い場合に、コンテンツの切り替わりに追随しやすくなる。

まず、ステップＳ１０１にて、提示情報取得部１０２が、画面３０１およびスピーカー３０２から、それぞれ提示される講義内容の画面および音声情報を取得する。なお、取得される画面および音声情報は、いずれか一方でもよい。また、これらは、情報受信装置から取得されてもよい。

次に、ステップＳ１０２にて、コンテンツ分類推定部１０４、情報量解析部１０５および提示速度算出部１０６が、取得された画面および音声情報に基づき、提示されている講義内容の提示仕様を特定する。このように、コンテンツ分類推定部１０４、情報量解析部１０５および提示速度算出部１０６が、講義内容の提示仕様を特定する提示仕様特定部として機能する。

具体的には、コンテンツ分類推定部１０４が、講義内容のコンテンツ分類を推定する。また、情報量解析部１０５が、講義内容の情報量を解析し、提示速度算出部１０６がその情報量を用いて、講義内容の提示速度を算出する。

また、ステップＳ１０３にて、生体情報取得部１０１および動作情報取得部１０９が、生徒３０３の生体情報およびその動作を示す動作情報を取得する。つまり、生体情報取得部１０１および動作情報取得部１０９が、生体情報や動作情報を含む情報受信者情報を取得する情報受信者情報取得部として機能する。なお、本実施例では、生体情報および動作情報は、その一方を取得する構成としてもよい。

次に、ステップＳ１０４において、興味集中度推定部１０３が、生体情報や動作情報、つまり、情報受信者情報を用いて、生徒３０３の興味集中度を推定する。

次に、ステップＳ１０５において、興味集中度推定部１０３が、生徒３０３の興味集中度の時間変化（時系列変化）を算出する。このために、興味集中度推定部１０３は、今回のループにて推定した生徒３０３の興味集中度と、前回のループにて推定した生徒３０３の興味集中度の差を算出する。つまり、Δｔ１ごとの興味集中度の差分が算出される。

次に、ステップＳ１０６にて、提示情報変更指示部１０８は、ステップＳ１０５で算出した差分と予め記憶している所定値Th1を比較する。そして、提示情報変更指示部１０８は、興味集中度が許容値以上に低下しているかを判断する。

この結果、前回のループ(Δｔ１前)よりも今回のループにおける興味集中度が所定値Th1以上低下している場合（Ｙ）、ステップＳ１０７に遷移する。また、興味集中度が所定値Th1以上低下していない場合（Ｎ）、本フローを終了する。

次に、ステップＳ１０７にて、提示情報変更指示部１０８は、興味集中度データベース１０７を参照して、該当の生徒３０３の興味集中度関係データを特定する。そして、提示情報変更指示部１０８は、興味集中度関係データ（図７（ｂ））から、現在の興味集中度よりも増加するコンテンツ分類、提示速度、あるいはその組み合わせを取得する。つまり、現在の興味集中度より大きな値の興味集中度のコンテンツ分類や提示速度が特定される。

次に、ステップＳ１０８にて、提示情報変更指示部１０８は、生徒３０３の興味集中度の回復ないし向上に寄与するよう、コンテンツ分類または提示速度のいずれか１つ以上を変更する変更指示を作成する。つまり、本ステップでは、提示情報変更指示部１０８は、ステップＳ１０７で特定されたコンテンツ分類や提示速度へ、提示仕様を変更する変更指示を作成する。そして、提示情報変更指示部１０８は、この変更指示を、情報提示装置２００へ送信する。この結果、情報提示装置２００が、講義内容の提示仕様を、変更指示に従って変更することができる。この場合、情報提示装置２００は、変更指示の内容を表示し、これに応じた変更要求を講師２０１から受け付けてもよい。このように、提示情報変更指示部１０８は、変更要求を講師２０１に対して出力し、これに応じて講師２０１が仕様変更の操作を行うことができる。

以上のフローにより、非対面コミュニケーションシステムにおけるコミュニケーションにおいて、非言語的なコミュニケーション要素の欠落又は正確さの低下により情報受信者の興味集中度の低下に気づきにくくなることを防止できる。さらに情報受信者毎の興味集中度の変化傾向に合わせて説明を修正することで、興味集中度を効率よく回復させることができる。この結果、円滑な業務指示、報告、あるいは技術指導を行うことができる。

なお、コンテンツ分類または提示速度を変更するフローは、興味集中度とコンテンツ分類、提示速度を分析する時間単位Δｔ１毎に実施しなくても良く、Δｔ１より大きいΔｔ２毎に実施しても良い。図３は、本実施例における提示仕様の変更の変形例に関するフローチャートである。図３において、ステップＳ１０１からステップＳ１０５は、図２で示したフローと同一であるので説明を省略する。なお、これらのフローは所定時間Δｔ１毎に実施する。

そして、Δｔ１より大きいΔｔ２毎に、ステップＳ１０９の判断を行なう。ステップＳ１０９にて、提示情報変更指示部１０８は、以下のいずれかを満たすかを判断する。
・Δｔ１毎に算出した興味集中度の低下(Δｔ１前の興味集中度との差が所定値Ｔｈ１以上)回数が所定回数以上
・興味集中度が所定値Ｔｈ２を下回っている回数が所定回数以上
この結果、提示情報変更指示部１０８は、いずれかを満たす場合に、生徒３０３の興味集中度が低下していると判断する。そして、低下していると判断した場合（Ｙ）、ステップＳ１０７に遷移する。また、低下していないと判断した場合（Ｎ）、本フローを終了する。なお、ステップＳ１０７、Ｓ１０８の処理は、図２のフローと同一であるので説明を省略する。

以上のフローにより、コンテンツ分類または提示速度の変更頻度を低減させることができ、高頻度に説明方法を変更させてかえって分かりにくい説明をしてしまうことを防止できる。以上で、実施例１の説明を終了する。

次に、実施例２として、実施例１の非対面コミュニケーション支援システムの応用例を説明する。本実施例では、提示情報である講義内容に対する理解が低下した際に、補足説明を行う。本実施例では、この補足説明を、情報受信者である生徒３０３の興味集中度を維持ないし向上させる方法で行う。なお、本実施例のシステム構成は、実施例１と同様である。

図４は、実施例２における提示仕様の変更に関するフローチャートである。まず、ステップＳ１０１からステップＳ１０３の処理は、図２で示したフローと同一であるので説明を省略する。

次に、ステップＳ１１０において、興味集中度推定部１０３が、生徒３０３の混乱度を推定する。このために、興味集中度推定部１０３は、生体情報取得部１０１や動作情報取得部１０９の生体情報や動作情報に基づいて推定する。

ここで、混乱度とは、生体情報や動作情報などの情報受信者情報から推定した交感神経の働きが優位な場合に、脳の活性が高いほど、混乱度が高いとする。交感神経の働きの強さは、例えば心拍の変動を時間領域で解析したpNNx指標や、周波数領域で解析したLF/HFなどの指標の低さにより推定できる。

その他、心拍によらず、交換神経と副交感神経の働きを反映する生体指標を用いてもよい。各指標で交感神経の働きが優位であると判断する閾値は、個人ごとに予めアンケートと生体情報の評価結果などを用いて算出する。脳の活性は、脳の活動を計測した脳波や脳血流の値が大きいことから推定してもよいし、あるいは思考の活発さの影響を受ける、視線や体の動きの頻度又は速さを脳の活性の代替指標としてもよい。交感神経の働きが優位であり脳の活性が低いほど、混乱度は低いと判断する。副交感神経の働きが優位である場合は、脳の活性の高さによらず、混乱度は低いと判断する。

次に、ステップＳ１１２にて、提示情報変更指示部１０８は、今回のループにて推定した情報受信者の混乱度と、前回のループにて推定した情報受信者の混乱度の差を算出する。そして、ステップＳ１１３にて、提示情報変更指示部１０８は、ステップＳ１１２で算出した差分が所定値Th3以上であり、前回のループ(Δｔ１前)よりも今回のループにおける混乱度が所定値Th3以上増加しているかを判断する。

この結果、いずれも満たす場合（Ｙ）、混乱度が許容値以上に低下していると判断し、ステップＳ１０７に遷移する。また、満たさない場合（Ｎ）、本フローを終了する。次に、ステップＳ１０７では、図２や図３と同様の処理を行う。

次に、ステップＳ１１４にて、提示情報変更指示部１０８は、提示仕様を変更し、補足説明を行うための補足指示を作成する。このために、提示情報変更指示部１０８は、自身に記憶された補足説明を読出し、実施例１と同様の変更指示を作成する。

このことにより、補足説明が必要な場合に情報受信者である生徒３０３の聞きやすい説明方法で補足説明を行なうことができ、生徒３０３の理解をより助けることができる。

なお、本実施例を実施する場合には、情報提示者を人に限る必要はなく、予め定めされた教育コンテンツを提示する教育システムが情報提示者であってもよい。

また、本制御は実施例１の図２で示したように、コンテンツ分類または提示速度を変更するフローを、Δｔ１より大きいΔｔ２毎に実施しても良い。

次に、実施例３として、実施例１の非対面コミュニケーション支援システムの別の応用例を説明する。本実施例では、生徒３０３の興味集中度が低下または混乱度が増加した際に、提示仕様として、新規情報量を変更する。

まず、本実施例の構成について、説明する。図５は、実施例３における非対面コミュニケーション支援システムの概略構成図である。ここで、実施例３では、新たに新規単語抽出部１１０が、コンテンツ分類推定部１０４、情報量解析部１０５および提示速度算出部１０６に代わって、もしくはさらに追加される。つまり、本実施例では、新規単語抽出部１１０が、提示仕様特定部として用いられる。なお、図５では、図１と共通する一部の要素の説明は省略し、相違点を中心に説明する。特に、図５では、生体情報取得部１０１を記載しているが、他に動作情報取得部１０９を設けることが望ましい。

新規単語抽出部１１０は、提示情報取得部１０２が取得した講義内容のうち、新規に出現した単語を抽出する。

なお、本実施例では、興味集中度関係データとして、コンテンツ分類や提示速度の代わりに、もしくはこれらに追加して新規単語の数または割合と興味集中度が対応付けられている。つまり、実施例１～３では、興味集中度関係データとして、興味集中度と提示仕様の対応関係を示す情報が用いられる。また、ここでの興味集中度については、その値や時系列の変化量を用いることが可能である。

提示情報変更指示部１０８は、興味集中度推定部１０３で推定した興味集中度と、新規単語抽出部１１０で抽出した新規単語の数または割合と、興味集中度関係データとに基づいて、講義内容の新規単語の数または割合を変更する必要があるかを判断する。必要と判断した場合には、提示情報変更指示部１０８は、提示仕様として、新規単語の数もしくは割合を変更する変更指示を作成する。

次に、本実施例の処理フローについて説明する。図６は、実施例３における提示仕様の変更に関するフローチャートである。

まず、ステップＳ１１５にて、新規単語抽出部１１０が、講義内容に含まれ、提示された単語を格納するための配列を準備する。また、ステップＳ１０１にて、実施例１や２と同様の処理を行う。

次に、ステップＳ１１６にて、新規単語抽出部１１０が、ステップＳ１０１で取得された情報から、所定時間Δｔ１内に新規に出現した単語を抽出する。新規の単語とは、ステップ１１５にて準備した配列内に格納されていない単語(名詞、動詞、形容詞、形容動詞、副詞など)を指す。つまり、新規に出現した単語とは、該当講義内容において、そのループで初めて出現する単語を示す。また、ステップＳ１０３にて、実施例１や２と同様の処理を実行する。

次に、ステップＳ１１７にて、興味集中度推定部１０３が、生体情報や動作情報に基づき、生徒３０３の興味集中度または混乱度を推定する。

次に、ステップＳ１１８にて、提示情報変更指示部１０８が、今回のループにて推定した情報受信者の興味集中度または混乱度と、前回のループにて推定した情報受信者の興味集中度または混乱度の差を算出する。

次に、ステップＳ１１９にて、提示情報変更指示部１０８が、ステップＳ１１８で算出した差分が所定値Th1以上であり、前回のループ(Δｔ１前)よりも今回のループにおける興味集中度が所定値Th1以上低下しているかを判断する。この結果、低下している場合（Ｙ）、興味集中度が許容値以上に低下していると判断し、ステップＳ１０７に遷移する。または、ステップＳ１１８で算出した差分が所定値Th3以上であり、前回のループ(Δｔ１前)よりも今回のループにおける混乱度が所定値Th3以上増加しているかを判断する。この結果、増加している場合も（Ｙ）、混乱度が許容値以上に増加していると判断し、ステップＳ１０７に遷移する。

また、ステップＳ１１９において、興味集中度が許容値以上に低下していない、もしくは、混乱度が許容値以上に増加していない場合（Ｎ）、ステップＳ１２１に遷移する。

次に、ステップＳ１０７にて、実施例１や２と同様に、提示情報変更指示部１０８が、興味集中度データベース１０７を参照する。本実施例では、提示情報変更指示部１０８は、興味集中度関係データから、生徒３０３の興味集中度が増加する新規単語の数または割合を取得する。

次に、ステップＳ１２０にて、提示情報変更指示部１０８が、情報受信者の興味集中度の回復または混乱度の低減に寄与する変更指示を作成する。つまり、新規単語の数または割合の指定を含む変更指示が作成される。

また、ステップＳ１２１にて、提示情報変更指示部１０８は、Δｔ１内に抽出した新規単語を、ステップＳ１１５で作成した単語格納配列に格納する。興味集中度の高さまたは混乱度の低さが維持されている間に提示された新規単語のみを格納することで、理解不十分な単語を既出単語として処理することを防ぐことができる。

以上の処理フローにより、情報受信者の興味集中度の低下または混乱度の増加の原因が新規情報量によるものである場合、情報受信者が興味集中を保ち理解しやすい新規情報量の説明に変更することができる。この結果、円滑な業務指示、報告、あるいは技術指導を行うことができる。

また、単語格納配列の作成および利用に関して、情報受信者ごとに一つ作成し、当該情報受信者が得た全ての情報提示を通して単語を追加する方法が望ましい。もしくは、情報提示者と情報受信者の組合せごとに一つ作成し、情報提示者と情報受信者の組合せが同じ限り単語を追加して利用する方法が望ましい。これにより、情報受信者の理解している単語を新規単語と識別しないようにできる。また、完全に一致する単語以外を新規単語と判断せず、言い換えの有無を識別し、言い換えで用いられた単語を、元の単語と同じ意味であり情報受信者がすでに理解している情報として処理することが望ましい。

なお、本実施例を実施する場合には、情報提示者を人に限る必要はなく、予め定めされた教育コンテンツを提示する教育システムが情報提示者であってもよい。

また、本制御は実施例１の図２で示したように、新規単語数を変更するフローを、Δｔ１より大きいΔｔ２毎に実施しても良い。さらに、本明細書中で示した所定値は、あらかじめ決めておいても良いし、あるいは情報受信者毎に、興味集中度あるいは混乱度の低下持続時間を取得し、持続時間が長い情報受信者ほど小さい値としても良い。これは、軽微な興味集中度の低下や混乱度の増加であれば説明を聞くうちに解消される可能性があるためである。説明を聞き続けても解消されない興味集中度の低下や混乱度の増加の閾値を取得し利用することで、説明の変更の必要性の判断をより正確に行うことができる。

最後に、各実施例を、遠隔教育システムへ実装した実装例について、説明する。図８は、実装例を示すシステム構成図である。本システムでは、教育機関の本部に設けられたコミュニケーション支援装置１００が、講師２０１が利用する情報提示装置２００－１や２００―２と接続されている。また、コミュニケーション支援装置１００は、インターネットのような広域ネットワーク３０を介して、生徒３０３が用いる情報受信装置２１～２６と接続されている。

ここで、情報受信装置２１～２６は、教育機関の教室Ａや教室Ｂに設けられる情報受信装置２１～２４や、自宅等で利用できる情報受信装置２５、２６からなる。ここで、教室Ａや教室Ｂは、教育機関の直営拠点であってもよいし、フランチャイズ拠点のような提携先でもよい。

また、情報受信装置２５は、いわゆるスマートフォンなどのモバイル端末で実現できる。さらに、情報受信装置２６は、デスクトップＰＣなどで実現できる。なお、本図では、生体情報検知装置３０４、動作検知装置３０５や画面３０１やスピーカー３０２については省略する。また、生体情報検知装置３０４、動作検知装置３０５や画面３０１は、情報受信装置と一体で構成してもよい。またさらに、情報提示装置２００－１や２００―２は、教室ＡやＢや講師の自宅などその設置場所は、様々な選択肢が想定できる。

また、コミュニケーション支援装置１００は、いわゆるサーバ装置で実現できる。このため、処理装置１１、ネットワークＩ／Ｆ１２、メモリ１３やストレージ１４を有し、これらは互いにバスなどで接続される。

まず、処理装置１１は、ＣＰＵのようなプロセッサで実現でき、メモリ１３に展開されたコミュニケーション支援プログラム１５に従って、上述のフローチャートで説明した処理を実行する。ネットワークＩ／Ｆ１２は、広域ネットワーク３０と接続する機能を有する。

メモリ１３は、コミュニケーション支援プログラム１５や上述の処理に必要なデータ、情報を展開する。また、コミュニケーション支援プログラム１５などは、ストレージ１４のような記憶媒体に格納されており、これが必要に応じてメモリ１３に展開されることになる。

ストレージ１４は、情報、データやプログラムを記憶する機能を有する。そして、各実施例では、興味集中度データベース１０７や講義内容であるコンテンツ１６が記憶される。また、図示していないが、コミュニケーション支援プログラム１５を記憶することが望ましい。またさらに、ストレージ１４は、コミュニケーション支援プログラム１５とは別筐体で実現してもよい。ストレージ１４は、例えば、ファイルサーバで実現できる。

以上の構成により、講師２０１は、情報提示装置２００－１、２００－２を利用して、情報受信装置２１～２６に対して講義内容を提示できる。そして、この際、コミュニケーション支援装置１００により、講義内容の提示仕様を適宜変更することが可能になる。このため、生徒３０３に代表される情報受信者に対して、より適切な講義が可能となる。

また、情報提示装置２００－１、２００－２を省略ないし、コミュニケーション支援装置１００と一体構成としてもよい。この場合、講師２０１ではなく、コミュニケーション支援装置１００自体が、講義内容を情報受信装置２１～２６に提示することが望ましい。このために、コミュニケーション支援装置１００は、人工知能などを用いて、機械的な情報提供を行うことになる。但し、情報提示装置２００－１、２００－２が個別装置で実現される際も、人工知能を利用できることは言うまでもない。

なお、同時に複数人、つまり、複数の情報受信者に同じ講義内容を提供する場合には、個々人の興味集中度あるいは混乱度が異なることが考えられる。この場合、コンテンツ分類や提示速度、新規単語の数あるいは割合の変更を判断するための興味集中度や混乱度は、情報受信者内の最低値あるいは最大値を用いてもよいし、最頻値や平均値等の代表値を用いてもよい。ここで、「同時に」講義内容を提供するとは、通信能力などの関係で、受信タイミングがずれる場合も含まれる。

なお、本シスステムは、教育機関以外の業務上の教育、ノウハウ伝授、技術継承、業務支援などにも適用できる。

１００…コミュニケーション支援装置、１０１…生体情報取得部、１０２…提示情報取得部、１０３…興味集中度推定部、１０４…コンテンツ分類推定部、１０５…情報量解析部、１０６…提示速度算出部、１０７…興味集中度データベース、１０８…提示情報変更指示部、１０９…動作情報取得部、２００…情報提示装置、２０１…講師、３０１…画面、３０２…スピーカー、３０３…生徒、３０４…生体情報検知装置、３０５…動作検知装置

Claims (6)

1. 情報受信者に対してコンテンツを提示するためのコミュニケーション支援装置において、
   前記情報受信者から生じる情報受信者情報を取得する情報受信者情報取得部と、
   前記情報受信者情報の時系列変化に基づいて、前記情報受信者における興味集中度を推定する興味集中度推定部と、
   前記情報受信者に対して提示しているコンテンツの提示仕様を特定する提示仕様特定部と、
   前記興味集中度の変化に応じて、前記コンテンツの提示仕様を変更するための変更指示を作成する提示情報変更指示部を有し、
   前記提示仕様特定部は、
   前記コンテンツのコンテンツ分類を推定するコンテンツ分類推定部と、
   前記コンテンツの情報量を算出する情報量算出部と、
   前記情報量に基づいて、前記コンテンツの提示速度を算出する提示速度算出部を有し、
   前記提示情報変更指示部は、前記コンテンツ分類および前記提示速度のうち少なくとも１つを変更する変更指示を作成するコミュニケーション支援装置。
2. 請求項１に記載のコミュニケーション支援装置において、
   前記提示仕様特定部は、前記コンテンツに含まれる単位期間内の新規単語を抽出する新規単語抽出部を有し、
   前記提示情報変更指示部は、前記コンテンツ分類、前記提示速度および前記新規単語の少なくとも１つを変更する変更指示を作成するコミュニケーション支援装置。
3. コンピュータである情報受信者に対してコンテンツを提示するためのコミュニケーション支援装置を、
   前記情報受信者から生じる情報受信者情報を取得する情報受信者情報取得部と、
   前記情報受信者情報の時系列変化に基づいて、前記情報受信者における興味集中度を推定する興味集中度推定部と、
   前記情報受信者に対して提示しているコンテンツの提示仕様を特定する提示仕様特定部と、
   前記興味集中度の変化に応じて、前記コンテンツの提示仕様を変更するための変更指示を作成する提示情報変更指示部として機能させるためのコミュニケーション支援プログラムであって、
   前記提示仕様特定部は、
   前記コンテンツのコンテンツ分類を推定するコンテンツ分類推定部と、
   前記コンテンツの情報量を算出する情報量算出部と、
   前記情報量に基づいて、前記コンテンツの提示速度を算出する提示速度算出部として機能し、
   前記提示情報変更指示部は、前記コンテンツ分類および前記提示速度のうち少なくとも１つを変更する変更指示を作成するコミュニケーション支援プログラム。
4. 請求項３に記載のコミュニケーション支援プログラムにおいて、
   前記提示仕様特定部は、前記コンテンツに含まれる単位期間内の新規単語を抽出する新規単語抽出部として機能し、
   前記提示情報変更指示部は、前記コンテンツ分類、前記提示速度および前記新規単語の少なくとも１つを変更する変更指示を作成するコミュニケーション支援プログラム。
5. コンピュータである情報受信者に対してコンテンツを提示するためのコミュニケーション支援装置を、
   前記情報受信者から生じる情報受信者情報を取得する情報受信者情報取得部と、
   前記情報受信者情報の時系列変化に基づいて、前記情報受信者における興味集中度を推定する興味集中度推定部と、
   前記情報受信者に対して提示しているコンテンツの提示仕様を特定する提示仕様特定部と、
   前記興味集中度の変化に応じて、前記コンテンツの提示仕様を変更するための変更指示を作成する提示情報変更指示部として機能させるためのコミュニケーション支援プログラムを格納した記憶媒体であって、
   前記提示仕様特定部は、
   前記コンテンツのコンテンツ分類を推定するコンテンツ分類推定部と、
   前記コンテンツの情報量を算出する情報量算出部と、
   前記情報量に基づいて、前記コンテンツの提示速度を算出する提示速度算出部として機能し、
   前記提示情報変更指示部は、前記コンテンツ分類および前記提示速度のうち少なくとも１つを変更する変更指示を作成する記憶媒体。
6. 請求項５に記載の記憶媒体において、
   前記提示仕様特定部は、前記コンテンツに含まれる単位期間内の新規単語を抽出する新規単語抽出部として機能し、
   前記提示情報変更指示部は、前記コンテンツ分類、前記提示速度および前記新規単語の少なくとも１つを変更する変更指示を作成する記憶媒体。

Images