JP2017103801A

JP2017103801A - 通信端末、通信端末の制御方法、通信端末の制御プログラム

Info

Publication number: JP2017103801A
Application number: JP2017007512A
Authority: JP
Inventors: さゆり柚木▲崎▼; Sayuri Yuzukizaki
Original assignee: JVCKenwood Corp
Current assignee: JVCKenwood Corp
Priority date: 2017-01-19
Filing date: 2017-01-19
Publication date: 2017-06-08

Abstract

【課題】通信システムを利用した、複数の相手との同時通話をしやすくするための、通信端末、通信端末の出力制御方法、通信端末の出力制御用プログラムを提供する。【解決手段】第１の通信端末および第２の通信端末を少なくとも含む他の通信端末と通信する自通信端末１０Ｘの制御部１５において、取得部は、前記第１の通信端末の表示部１２に表示される前記第２の通信端末のユーザに係る表示情報に対する、前記第１の通信端末のユーザの注視度合いを示す情報を取得する。出力制御部は、少なくとも前記取得部が取得した前記情報に基づいて、前記自通信端末から前記自通信端末のユーザへと出力される、前記他の通信端末に係る出力を調整する。【選択図】図２

Description

本発明は、複数の相手と同時に通話可能な通信端末、通信端末の制御方法、通信端末の
制御プログラムに関する。

従来、遠隔地にいる複数の相手と同時にコミュニケーションをとるための手段として、
会議システムやビデオチャットシステムなどがある。これらのシステムでは、通信ネット
ワーク上に構築された仮想空間を複数の通信端末で共有し、各通信端末の利用者に対応す
る画像情報をそれぞれの通信端末に表示させつつ、相互に通話を可能にしている。

このように、通話中の複数の相手に対応する画像情報をそれぞれの通信端末に表示させ
ることで、臨場感のあるコミュニケーション空間を提供することができる。

特開平１１−２３４６４０号公報

これらのシステムを用いて複数の相手と通話を行う場合、複数の人の音声が同時に発生
すると、会話の内容が聞き取りづらくなる。

そこで、通信端末を利用するユーザが注視している特定の相手の音声を大きくすること
で、注視度合いの高い相手の発言の内容を聞き取り易くする技術がある。

しかしこの技術を用いた場合、通信端末を利用するユーザが注視している相手の音声の
みを大きくするため、この相手が他の誰かと会話をしているときに、この会話の相手（ユ
ーザが注視している相手と会話している人）の音声は聞こえにくくなる。そのため、自然
な会話に聞こえなくなるという問題があった。

また、通信端末を利用するユーザが、この会話の相手の音声も聞き取り易くするために
は、当該ユーザが注視している人とその会話の相手とを、会話に合わせて交互に注視しな
くてはならないという問題があった。

よって本発明は、通信システムを利用した、複数の相手との同時通話をしやすくするた
めの、通信端末、通信端末の出力制御方法、通信端末の出力制御用プログラムを提供する
ことを目的とする。

上記目的を達成するための本発明の第１の通信端末は、第２の通信端末および第３の通
信端末を少なくとも含む他の通信端末と通信する通信端末であって、前記第１の通信端末
は、前記第２の通信端末のユーザの前記第３の通信端末に対する関心度合いを検知した結
果に基づいて、前記第３の通信端末に係る表示情報の表示状態を調整することを特徴とす
る。

また本発明の通信端末の制御方法は、第１の通信端末は、第２の通信端末および第３の
通信端末を少なくとも含む他の通信端末と通信し、前記第１の通信端末を、前記第２の通
信端末のユーザの前記第３の通信端末に対する関心度合いを検知した結果に基づいて、前
記第３の通信端末に係る表示情報の表示状態を調整することを特徴とする。

また本発明の通信端末の制御プログラムは、第１の通信端末は、第２の通信端末および
第３の通信端末を少なくとも含む他の通信端末と通信し、前記第１の通信端末のコンピュ
ータを、前記第２の通信端末のユーザの前記第３の通信端末に対する関心度合いを検知し
た結果に基づいて、前記第３の通信端末に係る表示情報の表示状態を調整するステップを
実行させることを特徴とする。

本発明の通信端末、通信端末の出力制御方法、通信端末の出力制御用プログラムによれ
ば、通信システムを利用した、複数の相手との同時通話をしやすくすることができる。

本発明の第１実施形態および第２実施形態による通信端末を利用した通信システムの構成を示す全体図である。本発明の第１実施形態および第２実施形態による通信端末の構成を示すブロック図である。本発明の第１実施形態および第２実施形態による通信端末に接続されたサービス管理サーバの構成を示すブロック図である。本発明の第１実施形態および第２実施形態による通信端末の動作を示すフローチャートである。本発明の第１実施形態および第２実施形態による通信端末の表示部に、複数の通話相手に対応する画像情報が表示された状態を示す画面構成図である。本発明の第１実施形態および第２実施形態による通信端末の音声制御部で注視点の検出期間および注視評価情報の生成タイミングを示すグラフである。本発明の第１実施形態による通信端末を利用するユーザ間の注視状態および発声状態を示す説明図（上段）、および、各通信端末における音声出力状態を示す説明図（下段）である。本発明の第２実施形態による通信端末を利用するユーザ間の注視状態および発声状態を示す説明図（上段）、および、各通信端末における音声出力状態を示す説明図（下段）である。

本発明の実施形態として、ユーザＸと、ユーザＡと、ユーザＢと、ユーザＣと、ユーザ
Ｄとが、自身が所持する通信端末を用い、サービス管理サーバにより提供される同時通話
サービスを利用して、ネットワーク上の仮想空間で会話を行う場合について説明する。な
お、これは一例であり、通信方法は、インターネットを介した通信であってもよいし、電
話回線を介した通信であってもよい。また、各通信端末間で直接通信してもよい。

《第１実施形態》
〈第１実施形態による通信端末を利用した通信システムの構成〉
本発明の第１実施形態による通信端末を利用した通信システムに構成について、図１を
参照して説明する。

本実施形態による通信システム１は、ユーザＸが利用する通信端末１０Ｘ、ユーザＡが
利用する通信端末１０Ａ、ユーザＢが利用する通信端末１０Ｂ、ユーザＣが利用する通信
端末１０Ｃ、およびユーザＤが利用する通信端末１０Ｄと、サービス管理サーバ２０とが
、ネットワーク３０を介して接続されている。

各通信端末１０Ｘ、１０Ａ〜１０Ｄの構成を、図２に示す。通信端末１０Ｘ、１０Ａ〜
１０Ｄはそれぞれ、操作入力部１１と、表示部１２と、音声入力部１３と、注視点検知部
１４と、音声制御部１５と、音声出力部１６とを有する。なお、各通信端末１０Ｘ、１０
Ａ〜１０Ｄは、少なくとも、注視点検知部、注視評価情報生成部、及び注視評価情報補正
部などを有していればよく、必ずしも全く同じ通信端末でなくてもよい。

操作入力部１１は操作ボタンやキーボード等の入力インタフェースで構成され、ユーザ
による操作内容を入力する。

表示部１２はモニタで構成され、ネットワーク３０を介して他の通信端末を利用するユ
ーザ（以降、「他端末ユーザ」と称する。）を示す画像情報（表示情報）を表示する。こ
の画像情報はアイコンであってもよいし、ユーザの画像であってもよいし、ユーザを撮影
した動画であってもよい。

音声入力部１３は例えばマイクで構成され、自通信端末を利用するユーザ（以降、「自
端末ユーザ」と称する。）が発した音声を電気信号へと変換し、その音声信号をデータ化
して音声情報として、サービス管理サーバ２０に送信する。

注視点検知部１４は撮像装置等を用いて構成され、自端末ユーザの視線を検知すること
で、自端末ユーザが注視している表示部１２内の位置を示す座標情報（以下、「注視点」
と称する。）を検知する。なお、ユーザの注視している位置を検出する方法については公
知の種々の方法を用いることができる。

音声制御部１５はＣＰＵやメモリ等で構成され、注視評価情報生成部１５１と、注視評
価情報補正部１５２と、出力制御部としての音量決定部１５３とを有する。

注視評価情報生成部１５１は、注視点検知部１４で検知された自端末ユーザの注視点か
ら注視評価情報を生成し、サービス管理サーバ２０に送信する。注視評価情報は、他端末
ユーザごとの、自端末ユーザの注視度合いを評価した値で示される。

注視評価情報補正部１５２は、複数の他端末ユーザの注視評価情報をサービス管理サー
バ２０から取得し、これらに基づいて、注視評価情報生成部１５１で生成された注視評価
情報を補正する。このように、注視評価情報補正部１５２は、他の通信端末における注視
度合いを示す情報を取得する取得部としての機能も有する。

音量決定部１５３は、注視評価情報補正部１５２で補正された後の注視評価情報に基づ
いて他端末ユーザごとの音声の音量を決定する。

音声出力部１６はスピーカで構成され、サービス管理サーバ２０から他端末ユーザの音
声情報を受信し、音量決定部１５３で決定された音量に調整して出力する。

サービス管理サーバ２０は同時通話サービスを提供し、図３に示すように、通信制御部
２１と、画像管理部２２と、音声管理部２３と、注視評価情報管理部２４とを有する。

通信制御部２１は、同時通話サービスを利用する通信端末間の通信を確立させる。

画像管理部２２は、当該同時通話サービスのユーザにより予め登録された、ユーザ自身
を示す画像情報を記憶する。また、通信制御部２１により複数の通信端末間で通信が確立
されたときに、それぞれの通信端末に、通信先となる通信端末のユーザを示す画像情報を
送信する。

音声管理部２３は、通信制御部２１により複数の通信端末間で通信が確立されたときに
、それぞれの通信端末で入力された音声情報を受信し、通信先の通信端末に送信する。

注視評価情報管理部２４は、通信制御部２１により複数の通信端末間で通信が確立され
たときに、それぞれの通信端末で入力された注視評価情報を受信し、通信先の通信端末に
送信する。

〈第１実施形態による通信システムの動作〉
次に、本実施形態による通信システム１において、通信端末１０Ｘ、１０Ａ〜１０Ｄが
同時通話サービスを利用して同時通話を行う際に、各通信端末で実行される処理について
図４のフローチャートを参照して説明する。以下、通信端末１０Ｘ、１０Ａ〜１０Ｄのい
ずれかを、「通信端末１０」と称して説明する。

まず、通信端末１０の操作入力部１１から、自端末ユーザの操作により同時通話サービ
スの利用要求が入力されると、ネットワーク３０を介してサービス管理サーバ２０にアク
セスされる。そして、サービス管理サーバ２０の通信制御部２１により、通話先となる複
数の通信端末１０との通信が確立される（ステップＳ１）。本実施形態においては、通信
端末１０Ｘ、１０Ａ〜１０Ｄの５台が、同時通話可能な状態で相互に通信が確立されたも
のとする。

通信端末１０Ｘ、１０Ａ〜１０Ｄ間で通信が確立されると、画像管理部２２からそれぞ
れの通信端末１０に、通信先となる他の通信端末１０のユーザを示す画像情報が送信され
る。例えば、通信端末１０Ｘには、通信先となる他の通信端末１０Ａ〜１０ＤのユーザＡ
〜Ｄを示す画像情報が送信される。

各通信端末１０では、サービス管理サーバ２０から送信された他の通信端末１０のユー
ザを示す画像情報が受信され（ステップＳ２）、表示部１２で同一画面上に表示される（
ステップＳ３）。

一例として、通信端末１０Ｘの表示部１２に他の通信端末１０Ａ〜１０Ｄのユーザを示
す画像情報が表示されたときの画面表示図を、図５に示す。

図５の画面表示図には、ユーザＡを示す画像情報１２１Ａと、ユーザＢを示す画像情報
１２１Ｂと、ユーザＣを示す画像情報１２１Ｃと、ユーザＤを示す画像情報１２１Ｄと、
各ユーザの氏名情報を一覧表示した氏名情報欄１２２とが表示されている。

また通信端末１０Ｘ、１０Ａ〜１０Ｄ間で通信が確立されると、これらの通信端末間で
の音声情報の送受信が開始され（ステップＳ４）、各通信端末１０の音声入力部１３から
入力された自端末ユーザの音声情報がサービス管理サーバ２０に送信される。サービス管
理サーバ２０で受信された音声情報は、他の通信端末１０に送信される。

次に注視点検知部１４において、自端末ユーザの視線を検出することで、自端末ユーザ
の注視点が検知される（ステップＳ５）。注視点の検知には既知の技術が利用され、例え
ば通信端末１０に設置された撮像装置（図示せず）で撮影されたユーザの顔の映像情報か
ら角膜(黒目)と強膜(白目)の光に対する反射率の差を利用して眼球運動を測定することに
より行われる。

次に注視評価情報生成部１５１において、注視点検知部１４で検知された注視点の情報
に基づいて、自端末ユーザによる各他端末ユーザに対する注視度合いを評価した注視評価
情報が生成される。この注視評価情報は、自端末ユーザが、表示部１２内に表示された画
像情報のうち、どの他端末ユーザの画像情報をどの程度注視しているかを評価することに
より生成される。生成された注視評価情報はサービス管理サーバ２０に送信され、注視評
価情報管理部２４で取得される（ステップＳ６）。

本実施形態においては、各通信端末１０において、図６に示すように最新の５秒間に検
知された注視点の情報に基づいて、１秒ごとに注視評価情報が生成され、サービス管理サ
ーバ２０に送信される。

図６において、各太線で示す期間（t0〜t5、t1〜t6、t2〜t7・・・）が注視点の検知対
象期間であり、各期間の終点（t5、t6、t7・・・）が注視評価情報の生成およびサービス
管理サーバ２０への送信タイミングである。

サービス管理サーバ２０では、注視評価情報管理部２４において各通信端末１０で生成
された注視評価情報が取得されると、それぞれの通信端末に対し、他の通信端末１０の注
視評価情報が送信される。

つまり、通信端末１０Ｘに対しては通信端末１０Ａ〜１０Ｄの注視評価情報が送信され
、通信端末１０Ａに対しては通信端末１０Ｘおよび１０Ｂ〜Ｄの注視評価情報が送信され
、通信端末１０Ｂに対しては通信端末１０Ｘおよび１０Ａ、１０Ｃ、１０Ｄの注視評価情
報が送信され、通信端末１０Ｃに対しては通信端末１０Ｘおよび１０Ａ、１０Ｂ、１０Ｄ
の注視評価情報が送信され、通信端末１０Ｄに対しては通信端末１０Ｄおよび１０Ａ〜１
０Ｃの注視評価情報が送信される。

各通信端末１０では、サービス管理サーバ２０から送信された他の通信端末１０の注視
評価情報が、注視評価情報補正部１５２で取得される（ステップＳ７）。そして注視評価
情報補正部１５２により、取得された他の通信端末１０の注視評価情報に基づいて、注視
評価情報生成部１５１で生成された自端末ユーザの注視評価情報が補正される（ステップ
Ｓ８）。

次に、音量決定部１５３において、注視評価情報の値が高い程、音量が大きくなるよう
に、他端末ユーザごとの音声の音量が決定される（ステップＳ９）。

そして音声出力部１６により、サービス管理サーバ２０から受信された他端末ユーザの
音声情報が、それぞれ決定された音量に調整されて出力される（ステップＳ１０）。

上述したステップＳ５〜Ｓ１０の処理は、通話接続が切断されるまで繰り返される（ス
テップＳ１１）。

上述したステップＳ６〜Ｓ９で実行される注視評価情報の生成処理、補正処理、および
音量決定処理について、図７に示す具体例を参照して説明する。

本例では、図７の上段に示すように、ユーザＡとユーザＢとが会話をしているときに、
注視点の検知対象とした５秒間のうち、ユーザＸがユーザＡの画像情報を４秒間注視し、
ユーザＡがユーザＢの画像情報を４秒間注視し、ユーザＢがユーザＡの画像情報を５秒間
注視し、ユーザＣがユーザＸの画像情報を５秒間注視した場合を示している。

この場合に、通信端末１０Ｘでは、自端末ユーザＸが他端末ユーザＡを５秒中４秒注視
していることから、他端末ユーザＡに対する注視評価情報は「８０％」として生成され、
自端末ユーザＡが他端末ユーザＢ、Ｃ、およびＤを５秒中全く注視していない（０秒）こ
とから、他端末ユーザＢ、Ｃ、およびＤに対する注視評価情報が「０％」として生成され
る。

同様に通信端末１０Ａでは、他端末ユーザＢに対する注視評価情報が「８０％」として
生成され、他端末ユーザＸ、Ｃ、およびＤに対する注視評価情報が「０％」として生成さ
れる
同様に通信端末１０Ｂでは、他端末ユーザＡに対する注視評価情報が「１００％」とし
て生成され、他端末ユーザＸ、Ｃ、およびＤに対する注視評価情報が「０％」として生成
される。

同様に通信端末１０Ｃでは、他端末ユーザＣに対する注視評価情報が「１００％」とし
て生成され、他端末ユーザＡ、Ｂ、およびＤに対する注視評価情報が「０％」として生成
される。

同様に通信端末１０Ｄでは、他端末ユーザＸ、およびＡ〜Ｃのすべてに対する注視評価
情報が、「０％」として生成される。

これらの注視評価情報はサービス管理サーバ２０に送信され、それぞれ他の通信端末１
０に送信される。

サービス管理サーバ２０から各通信端末１０の注視評価情報が送信されることにより、
通信端末１０Ｘでは、通信端末１０Ａ〜１０Ｄで生成された注視評価情報が取得され、通
信端末１０Ａでは、通信端末１０Ｘおよび１０Ｂ〜１０Ｄで生成された注視評価情報が取
得され、通信端末１０Ｂでは、通信端末１０Ｘ、１０Ａ、１０Ｃ、および１０Ｄで生成さ
れた注視評価情報が取得され、通信端末１０Ｃでは、通信端末１０Ｘ、１０Ａ、１０Ｂ、
および１０Ｄで生成された注視評価情報が取得され、通信端末１０Ｄでは、通信端末１０
Ｘ、１０Ａ〜１０Ｃで生成された注視評価情報が取得される。

このとき、各通信端末１０から見て自端末ユーザの注視評価情報の値が最も高いユーザ
の通信端末１０を第１の通信端末とし、当該第１の通信端末のユーザの注視評価情報の値
が最も高いユーザが利用する通信端末１０を第２の通信端末とする。

そして、各通信端末１０において、第２の通信端末のユーザに対する第１の通信端末の
ユーザの注視評価情報の値に、第１の通信端末のユーザに対する自端末ユーザの注視評価
情報の値を掛け合わせた値が算出され、算出された値で第２の通信端末のユーザに対する
自端末ユーザの注視評価情報が補正される。

例えば、通信端末１０Ｘでは、通信端末１０Ｂ（第２の通信端末）のユーザＢに対する
通信端末１０Ａ（第１の通信端末）のユーザＡの注視評価情報「８０％」に、通信端末１
０Ａ（第１の通信端末）のユーザＡに対する自端末ユーザＸの注視評価情報「８０％」を
掛け合わせた値「６４％」が算出され、他端末ユーザＢに対する自端末ユーザＸの注視評
価情報が、「０％」から算出された値「６４％」に補正される。

同様にして、通信端末１０Ｃでは、通信端末１０Ａ（第２の通信端末）のユーザＡに対
する通信端末１０Ｘ（第１の通信端末）のユーザＸの注視評価情報「８０％」に、通信端
末１０Ｘ（第１の通信端末）のユーザＸに対する自端末ユーザＣの注視評価情報「１００
％」を掛け合わせた値「８０％」が算出され、他端末ユーザＡに対する自端末ユーザＣの
注視評価情報が、「０％」から算出された値「８０％」に補正される。

ここでさらに、第２の通信端末のユーザの注視評価情報の値が最も高いユーザが利用す
る通信端末１０を第３の通信端末とし、第３の通信端末のユーザに対する第２の通信端末
のユーザの注視評価情報の値に、第２の通信端末のユーザに対する第１の通信端末のユー
ザの注視評価情報の値、および第１の通信端末のユーザに対する自端末ユーザの注視評価
情報の値が掛け合わせた値が算出され、算出された値で第３の通信端末のユーザに対する
自端末ユーザの注視評価情報を補正するようにしてもよい。

例えば、通信端末１０Ｃにおいて、通信端末１０Ｂ（第３の通信端末）のユーザＢに対
する通信端末１０Ａ（第２の通信端末）のユーザＡの注視評価情報「８０％」に、通信端
末１０Ａ（第２の通信端末）のユーザＡに対する通信端末１０Ｘ（第１の通信端末）のユ
ーザＸの注視評価情報「８０％」および通信端末１０Ｘ（第１の通信端末）のユーザＸに
対する自端末ユーザＣの注視評価情報「１００％」を掛け合わせた値「６４％」が算出さ
れ、他端末ユーザＢに対する自端末ユーザＣの注視評価情報が、「０％」から算出された
値「６４％」に補正される。

次に、各通信端末１０の音量決定部１５３において、補正処理後の注視評価情報が高い
程、音量が大きくなるように、他端末ユーザごとの音声の音量が決定される。

本実施例においては、注視評価情報が０％〜１０％の他端末ユーザからの入力音声情報
を、自通信端末１０の最大増幅率の１０％の増幅率で増幅することが決定され、注視評価
情報が１０％以上の他端末ユーザからの入力音声情報を、注視評価情報と同値の増幅率で
増幅するように決定される。

例えば、通信端末１０Ｘでは、他端末ユーザＡからの入力音声情報を自通信端末１０Ｘ
の最大増幅率の８０％の増幅率で増幅することが決定され、他端末ユーザＢからの入力音
声情報を６４％の増幅率で増幅することが決定され、他端末ユーザＣおよびＤからの入力
音声情報を１０％の増幅率で増幅することが決定される。

同様に通信端末１０Ａでは、他端末ユーザＢからの入力音声情報を自通信端末１０Ａの
最大増幅率の８０％の増幅率で増幅することが決定され、他端末ユーザＸ、Ｃ、およびＤ
からの入力音声情報を１０％で増幅することが決定される。

同様に通信端末１０Ｂでは、他端末ユーザＡからの入力音声情報を自通信端末１０Ｂの
最大増幅率の１００％の増幅率で増幅することが決定され、他端末ユーザＸ、Ｃ、および
Ｄからの入力音声情報を１０％で増幅することが決定される。

同様に通信端末１０Ｃでは、他端末ユーザＸからの入力音声情報を自通信端末１０Ｃの
最大増幅率の１００％の増幅率で増幅することが決定され、他端末ユーザＡからの入力音
声情報を８０％で増幅することが決定され、他端末ユーザＢからの入力音声情報を６４％
で増幅することが決定され、他端末ユーザＤからの入力音声情報を１０％で増幅すること
が決定される。

同様に通信端末１０Ｄでは、他端末ユーザＸ、およびＡ〜Ｃからの入力音声情報を自通
信端末１０Ｄの最大増幅率の１０％で増幅することが決定される。

図７の下段に示した棒グラフは、各通信端末１０で決定された、他端末ユーザごとの入
力音声情報の増幅率を示したものである。

各通信端末１０では、サービス管理サーバ２０から受信された他端末ユーザの入力音声
情報が、それぞれ決定された増幅率で増幅されて音声出力部１６から出力される。

以上の本実施形態によれば、通信システムを利用して複数の相手との同時通話を行う際
に、自端末ユーザが高い関心を示し注視している相手の音声だけではなく、自端末ユーザ
が注視している相手と会話をしている相手の音声をも音量を大きくし、聞き取り易くする
ことができる。

上述した第１実施形態において、第２の通信端末のユーザに対する第１の通信端末のユ
ーザの注視評価情報や、第３の通信端末のユーザに対する第２の通信端末のユーザの注視
評価情報を考慮して、他端末ユーザに対する自通信端末の注視評価情報を補正する場合に
ついて説明したが、さらに第４の通信端末のユーザに対する第３の通信端末のユーザの注
視評価情報、第５の通信端末のユーザに対する第４の通信端末のユーザの注視評価情報・
・・のように連鎖して取得される他端末ユーザの注視評価情報を考慮して、他端末ユーザ
に対する自端末ユーザの注視評価情報を補正するようにしてもよい。

このとき、連鎖により自通信端末からの距離（何台の通信端末を経由しているか）が離れ
る程、強制的に音量が低くなるようにしてもよい。このように構成することにより、自通
信端末に関連が強い程、注視評価情報の値が大きくなるように音量を調整することができ
、より自然で臨場感のある仮想空間を提供することができる。なお、少なくとも、他の通
信端末における注視度合いを示す情報に基づいて、自通信端末から自通信端末のユーザへ
と出力される、他の通信端末に係る出力を調整すれば、複数の相手との同時通話をしやす
くすることができるが、自通信端末の視線位置も用いると、更に、同時通話をしやすくす
ることができる。

《第２実施形態》
本発明の第２実施形態による通信端末として、第１実施形態で説明した処理に加え、自
端末ユーザに対して高い関心を示す他端末ユーザの音声をも聞き取り易くするように処理
を行う通信端末について説明する。

本実施形態による通信端末を利用した通信システムの構成は、第１実施形態で説明した
通信システム１の構成と同様であるため、詳細な説明は省略する。

本実施形態による通信システム１において、各通信端末１０で実行される処理のうち、
図４のステップＳ１〜Ｓ７に該当する処理は第１実施形態で説明した場合と同様であるた
め、詳細な説明は省略する。

本実施形態において、ステップＳ８の注視評価情報が補正されるときの処理について、
図８の具体例を用いて説明する。

本例では、図８の上段に示すように、ユーザＡとユーザＢとが会話をしているときに、
注視点の検知対象とした５秒間のうち、ユーザＸがユーザＡの画像情報を４秒間注視し、
ユーザＡがユーザＢの画像情報を４秒間注視し、ユーザＢがユーザＡの画像情報を５秒間
注視し、ユーザＣがユーザＸの画像情報を５秒間注視し、さらに、ユーザＸが発声してい
る場合を示している。

この場合に、各通信端末１０では、第１実施形態と同様に注視評価情報の生成処理およ
び補正処理が行われ、さらに、自端末ユーザからの注視評価情報は高くないが、自端末ユ
ーザに対する注視評価情報が高く、且つ、発声している他端末ユーザに対する注視評価情
報を高くするように補正される。

例えば図８の例では、ユーザＡに対するユーザＸの注視評価情報は「８０％」と最も高
く、且つ、ユーザＸが発声していことからユーザＸがユーザＡに声掛けをしていると判断
される。この場合、ユーザＡはユーザＸの画像情報を注視していないが、ユーザＸからの
声掛けにユーザＡが気付き易くするために、通信端末１０Ａで生成されたユーザＸに対す
る注視評価情報が「０％」から、ユーザＡに対するユーザＸの注視評価情報と同値の「８
０％」に補正される。

そして、各通信端末１０の音量決定部１５３において、補正処理後の注視評価情報が高
い程、音量が大きくなるように他端末ユーザごとの音声の音量が決定され、これに基づい
て他端末ユーザの音声情報が音声出力部１６から出力される。

以上の本実施形態によれば、通信システムを利用して複数の相手との同時通話を行う際
に、自端末ユーザが高い関心を示し注視している相手の音声、および自端末ユーザが注視
している相手と会話をしている相手の音声の音量を大きくして聞き取り易くするとともに
、自端末ユーザに対して声掛けをしている相手の音声の音量も大きくし、聞き取り易くす
ることができる。

上述した第１実施形態および第２実施形態においては、複数の他端末ユーザの音声の音
量を調整する際に、自通信端末の最大増幅率に対する各他端末ユーザの入力音声情報の増
幅率を変更させる場合について説明したが、自通信端末の最大音声レベルに対する各他端
末ユーザの音声情報の音声レベルの割合を変更させることで調整してもよい。

また、上述した第１実施形態および第２実施形態において、いずれかのユーザが注視し
ていた他端末ユーザから視線を外したときに、これに伴って直ちに音量が調整されてしま
うと、数秒間余所見をしただけでも会話中の相手の音声がぶつ切りになってしまい、会話
が聞き取りづらくなる可能性がある。

そのため各通信端末において、いずれかの他端末ユーザの入力音声情報を所定値以上の
大きい音量から所定以下の小さい音量に変更する際は、所定時間（例えば１０秒間）をか
けて段階的にフェードアウトするように音量を低下させてもよい。このように調整するこ
とにより、より自然で臨場感のある仮想空間を提供することができる。

さらに各通信端末において、一連の会話中に所定回数以上、注視した特定の他端末ユー
ザがいることが検知された場合には、当該他端末ユーザに対する関心が高いと判断し、当
該他端末ユーザの入力音声情報を所定値以上の音量から小さい音量の調整する際は、より
長い時間（例えば２０秒）を掛けて徐々にフェードアウトするように音量を低下させるよ
うにしてもよい。

また上述した第１実施形態および第２実施形態においては、予めサービス管理サーバに
登録された他端末ユーザを示す画像情報を取得して、自通信端末の表示部に表示する場合
について説明したが、各通信端末に搭載された撮像装置で撮影されたユーザの画像情報を
、サービス管理サーバを介して受信し、表示するようにしてもよい。

また上述した第１実施形態および第２実施形態においては、各通信端末で生成された注
視評価情報がサービス管理サーバに送信される場合について説明したが、各通信端末で検
知された注視点（自端末ユーザが注視している表示部内の位置を示す座標情報）をサービ
ス管理サーバに送信し、サービス管理サーバで注視評価情報を生成して他の通信端末に送
信するようにしてもよい。

また上述した第１実施形態および第２実施形態においては、注視評価情報に基づいて他
の通信端末から受信した音声の音量を調整する場合について説明したが、当該注視評価情
報に基づいて、表示部に表示された各ユーザを示す表示情報の表示状態（大きさ、輝度、
色彩、鮮明度等）を調整するようにしてもよい。

１…通信システム
１０、１０Ａ、１０Ｂ、１０Ｃ、１０Ｄ、１０Ｘ…通信端末
１１…操作入力部
１２…表示部
１３…音声入力部
１４…注視点検知部
１５…音声制御部
１６…音声出力部
２０…サービス管理サーバ
２１…通信制御部
２２…画像管理部
２３…音声管理部
２４…注視評価情報管理部
３０…ネットワーク
１２１Ａ、１２１Ｂ、１２１Ｃ、１２１Ｄ…画像情報
１２２…氏名情報欄
１５１…注視評価情報生成部
１５２…注視評価情報補正部
１５３…音量決定部

Claims

第１の通信端末は、第２の通信端末および第３の通信端末を少なくとも含む他の通信端
末と通信する通信端末であって、
前記第１の通信端末は、前記第２の通信端末のユーザの前記第３の通信端末に対する関
心度合いを検知した結果に基づいて、前記第３の通信端末に係る表示情報の表示状態を調
整することを特徴とする通信端末。
第１の通信端末は、第２の通信端末および第３の通信端末を少なくとも含む他の通信端
末と通信する通信端末であって、
前記第１の通信端末は、前記第２の通信端末のユーザの前記第３の通信端末に対する注
視度合いに基づいて、前記第３の通信端末に係る表示情報の表示状態を調整することを特
徴とする通信端末。
第１の通信端末は、第２の通信端末および第３の通信端末を少なくとも含む他の通信端
末と通信し、
前記第１の通信端末を、前記第２の通信端末のユーザの前記第３の通信端末に対する関
心度合いを検知した結果に基づいて、前記第３の通信端末に係る表示情報の表示状態を調
整することを特徴とする通信端末の制御方法。
第１の通信端末は、第２の通信端末および第３の通信端末を少なくとも含む他の通信端
末と通信し、
前記第１の通信端末のコンピュータを、前記第２の通信端末のユーザの前記第３の通信
端末に対する関心度合いを検知した結果に基づいて、前記第３の通信端末に係る表示情報
の表示状態を調整するステップを実行させることを特徴とする通信端末の制御プログラム
。