JP2002158984A - マルチキャストテレビ会議端末装置、テレビ会議システム及びテレビ会議システムの制御方法 - Google Patents
マルチキャストテレビ会議端末装置、テレビ会議システム及びテレビ会議システムの制御方法Info
- Publication number
- JP2002158984A JP2002158984A JP2000352954A JP2000352954A JP2002158984A JP 2002158984 A JP2002158984 A JP 2002158984A JP 2000352954 A JP2000352954 A JP 2000352954A JP 2000352954 A JP2000352954 A JP 2000352954A JP 2002158984 A JP2002158984 A JP 2002158984A
- Authority
- JP
- Japan
- Prior art keywords
- video conference
- terminal device
- information
- voice
- token
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Telephone Function (AREA)
- Telephonic Communication Services (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
(57)【要約】
【課題】マルチキャストを使用する場合にも、音声のぶ
つかりを避けることができるテレビ会議端末装置を提供
する。 【解決手段】音声信号100は、音声入力部1でデジタ
ル化され、音声符号化部2で符号化され、符号化音声デ
ータ103として送信される。発声情報処理部3は、音
声入力部1からの音声レベルデータ102と、唇動き判
別部7からの唇動き情報107と、発言権トークン処理
部13からの発言権情報112に基づいて、発声情報1
13を送信する。他の端末装置からの符号化音声データ
116は、音声復号部8、ミキサー部9音声出力部10
を介してスピーカに送られる。ミキサー部9は、発声情
報受信部14からの発声情報115が指示する端末装置
から送信された音声データのみを選択的に合成する。
つかりを避けることができるテレビ会議端末装置を提供
する。 【解決手段】音声信号100は、音声入力部1でデジタ
ル化され、音声符号化部2で符号化され、符号化音声デ
ータ103として送信される。発声情報処理部3は、音
声入力部1からの音声レベルデータ102と、唇動き判
別部7からの唇動き情報107と、発言権トークン処理
部13からの発言権情報112に基づいて、発声情報1
13を送信する。他の端末装置からの符号化音声データ
116は、音声復号部8、ミキサー部9音声出力部10
を介してスピーカに送られる。ミキサー部9は、発声情
報受信部14からの発声情報115が指示する端末装置
から送信された音声データのみを選択的に合成する。
Description
【0001】
【発明の属する技術分野】本発明は、テレビ会議端末装
置、テレビ会議システム及びテレビ会議システムの制御
方法に関し、特に、会議における発言者の発言がシステ
ム上でぶつかることを防止するテレビ会議端末装置、テ
レビ会議システム及びテレビ会議システムの制御方法に
関する。
置、テレビ会議システム及びテレビ会議システムの制御
方法に関し、特に、会議における発言者の発言がシステ
ム上でぶつかることを防止するテレビ会議端末装置、テ
レビ会議システム及びテレビ会議システムの制御方法に
関する。
【0002】
【従来の技術】映像及び音声を用いた多地点テレビ会議
システムの代表的な構成例としては、多地点制御装置
(Multipint Control Unit、以下、単に「MCU」と記
述する場合もある。)を用いるものと、マルチキャスト
と呼ばれるグループ内同報機能を用いるものがある。
システムの代表的な構成例としては、多地点制御装置
(Multipint Control Unit、以下、単に「MCU」と記
述する場合もある。)を用いるものと、マルチキャスト
と呼ばれるグループ内同報機能を用いるものがある。
【0003】MCUを使用する場合、図5に示すよう
に、複数地点に設置されたテレビ会議端末装置32−1
〜32−nすべてがMCU31に接続され、MCU31
は、各端末装置32−1〜32−nからの音声及び映像
を受信し、それらを合成して各端末装置32−1〜32
−nに送信することにより、テレビ会議を実現可能とし
ている。なお、MCU31と端末装置32−1〜32−
nとは、ネットワークを介して接続されてもよい。
に、複数地点に設置されたテレビ会議端末装置32−1
〜32−nすべてがMCU31に接続され、MCU31
は、各端末装置32−1〜32−nからの音声及び映像
を受信し、それらを合成して各端末装置32−1〜32
−nに送信することにより、テレビ会議を実現可能とし
ている。なお、MCU31と端末装置32−1〜32−
nとは、ネットワークを介して接続されてもよい。
【0004】また、マルチキャストを使用する場合、図
6に示すように、各端末装置41−1〜41−nからの
音声及び映像は、他のすべての端末装置41−1〜41
−nにネットワーク42を介して同報送信され、各端末
装置41−1〜41−nは、受信した音声及び映像を個
別あるいは合成して再生することにより、テレビ会議を
実現可能としている。
6に示すように、各端末装置41−1〜41−nからの
音声及び映像は、他のすべての端末装置41−1〜41
−nにネットワーク42を介して同報送信され、各端末
装置41−1〜41−nは、受信した音声及び映像を個
別あるいは合成して再生することにより、テレビ会議を
実現可能としている。
【0005】多地点テレビ会議システムは、通信容量の
制限があるため、音声及び映像の遅延が避けられない。
この遅延による影響は、音声において顕著であり、複数
の端末からの発言がぶつかるという不都合を生じる。す
なわち、1つの端末装置で発言を開始しても、音声が他
の端末装置で再生されるまでに一定の遅延が生じるた
め、他の端末装置での発言者は他の発言者がいないもの
として発言を開始する場合がある。その結果、音声がぶ
つかって聞き取りにくくなると共に、両端末装置の発言
者が発言を停止してしまい、会議が円滑に進まなくなる
ことがある。MCUを使用するシステムでは、MCU
が、各端末装置の発言タイミングを制御することによ
り、このような不都合を避けている。
制限があるため、音声及び映像の遅延が避けられない。
この遅延による影響は、音声において顕著であり、複数
の端末からの発言がぶつかるという不都合を生じる。す
なわち、1つの端末装置で発言を開始しても、音声が他
の端末装置で再生されるまでに一定の遅延が生じるた
め、他の端末装置での発言者は他の発言者がいないもの
として発言を開始する場合がある。その結果、音声がぶ
つかって聞き取りにくくなると共に、両端末装置の発言
者が発言を停止してしまい、会議が円滑に進まなくなる
ことがある。MCUを使用するシステムでは、MCU
が、各端末装置の発言タイミングを制御することによ
り、このような不都合を避けている。
【0006】
【発明が解決しようとする課題】しかし、マルチキャス
トを使用する場合、各端末装置が独立に送信するもので
あるため、上記不都合を避けることができない。本発明
は、マルチキャストを使用する場合にも、音声のぶつか
り、特に話し始めのぶつかりを避けることができるテレ
ビ会議端末装置、そのようなテレビ会議端末装置を利用
するテレビ会議システム、及びテレビ会議システムの制
御方法を提供することを目的とする。
トを使用する場合、各端末装置が独立に送信するもので
あるため、上記不都合を避けることができない。本発明
は、マルチキャストを使用する場合にも、音声のぶつか
り、特に話し始めのぶつかりを避けることができるテレ
ビ会議端末装置、そのようなテレビ会議端末装置を利用
するテレビ会議システム、及びテレビ会議システムの制
御方法を提供することを目的とする。
【0007】
【課題を解決するための手段】本発明のマルチキャスト
テレビ会議端末装置は、多地点間で音声情報及び映像情
報の送受信を行う多地点テレビ会議システムに利用され
るものであって、送信される音声情報が有効であること
を示す発声情報を送信する発声情報処理部と、他のマル
チキャストテレビ会議端末装置からの前記発声情報に基
づいて受信した音声情報の選択再生を行う音声情報再生
処理部と、テレビ会議に参加する複数のマルチキャスト
テレビ会議端末装置間で巡回される発言権トークンの送
受信処理を行う発言権トークン処理部とを有し、前記発
声情報処理部は、前記発言権トークンの保持時に前記端
末装置利用者の発言音声入力があった場合に、前記発声
情報を出力するものであり、前記発言権トークン処理部
は、前記発声情報処理部が前記発声情報を送信したとき
に、前記発言権トークンの巡回を停止させると共に、他
のマルチキャストテレビ会議端末装置からの前記発声情
報を受信中であって、前記発言権トークンの巡回の停止
が一定期間継続したときに、前記発声情報を送信中のマ
ルチキャストテレビ会議端末装置を除く他のマルチキャ
ストテレビ会議端末装置間で、前記発言権トークンの巡
回を再開させるものである。
テレビ会議端末装置は、多地点間で音声情報及び映像情
報の送受信を行う多地点テレビ会議システムに利用され
るものであって、送信される音声情報が有効であること
を示す発声情報を送信する発声情報処理部と、他のマル
チキャストテレビ会議端末装置からの前記発声情報に基
づいて受信した音声情報の選択再生を行う音声情報再生
処理部と、テレビ会議に参加する複数のマルチキャスト
テレビ会議端末装置間で巡回される発言権トークンの送
受信処理を行う発言権トークン処理部とを有し、前記発
声情報処理部は、前記発言権トークンの保持時に前記端
末装置利用者の発言音声入力があった場合に、前記発声
情報を出力するものであり、前記発言権トークン処理部
は、前記発声情報処理部が前記発声情報を送信したとき
に、前記発言権トークンの巡回を停止させると共に、他
のマルチキャストテレビ会議端末装置からの前記発声情
報を受信中であって、前記発言権トークンの巡回の停止
が一定期間継続したときに、前記発声情報を送信中のマ
ルチキャストテレビ会議端末装置を除く他のマルチキャ
ストテレビ会議端末装置間で、前記発言権トークンの巡
回を再開させるものである。
【0008】また、前記端末装置利用者の発言音声入力
があった場合であって、前記発声情報が出力されないと
きは、発言が有効でないことを示す警告を出力するもの
である。
があった場合であって、前記発声情報が出力されないと
きは、発言が有効でないことを示す警告を出力するもの
である。
【0009】また、前記送信される音声情報が有効であ
ることを示す発声情報は、前記端末装置利用者の発言音
声入力が一定時間なくなったときに、送信が停止される
ものである。
ることを示す発声情報は、前記端末装置利用者の発言音
声入力が一定時間なくなったときに、送信が停止される
ものである。
【0010】本発明の他のマルチキャストテレビ会議端
末装置は、多地点間で音声情報及び映像情報の送受信を
行う多地点テレビ会議システムに利用されるものであっ
て、音声情報を送信中であることを示す発声情報を送信
する発声情報処理部と、前記発声情報送信中にのみ、音
声情報を送信する音声情報送信制御部と、テレビ会議に
参加する複数のマルチキャストテレビ会議端末装置間で
巡回される発言権トークンの送受信処理を行う発言権ト
ークン処理部とを有し、前記発声情報処理部は、前記発
言権トークンの保持時に前記端末装置利用者の発言音声
入力があった場合に、前記発声情報を出力するものであ
り、前記発言権トークン処理部は、前記発声情報処理部
が前記発声情報を送信したときに、前記発言権トークン
の巡回を停止させると共に、他のマルチキャストテレビ
会議端末装置からの前記発声情報を受信中であって、前
記発言権トークンの巡回の停止が一定期間継続したとき
に、前記発声情報を送信中のマルチキャストテレビ会議
端末装置を除く他のマルチキャストテレビ会議端末装置
間で、前記発言権トークンの巡回を再開させるものであ
る。
末装置は、多地点間で音声情報及び映像情報の送受信を
行う多地点テレビ会議システムに利用されるものであっ
て、音声情報を送信中であることを示す発声情報を送信
する発声情報処理部と、前記発声情報送信中にのみ、音
声情報を送信する音声情報送信制御部と、テレビ会議に
参加する複数のマルチキャストテレビ会議端末装置間で
巡回される発言権トークンの送受信処理を行う発言権ト
ークン処理部とを有し、前記発声情報処理部は、前記発
言権トークンの保持時に前記端末装置利用者の発言音声
入力があった場合に、前記発声情報を出力するものであ
り、前記発言権トークン処理部は、前記発声情報処理部
が前記発声情報を送信したときに、前記発言権トークン
の巡回を停止させると共に、他のマルチキャストテレビ
会議端末装置からの前記発声情報を受信中であって、前
記発言権トークンの巡回の停止が一定期間継続したとき
に、前記発声情報を送信中のマルチキャストテレビ会議
端末装置を除く他のマルチキャストテレビ会議端末装置
間で、前記発言権トークンの巡回を再開させるものであ
る。
【0011】また、前記端末装置利用者の発言音声入力
があった場合であって、前記発声情報が出力されないと
きは、音声情報が送信されなかったことを示す警告を出
力するものである。
があった場合であって、前記発声情報が出力されないと
きは、音声情報が送信されなかったことを示す警告を出
力するものである。
【0012】また、前記音声情報を送信中であることを
示す発声情報は、前記端末装置利用者の発言音声入力が
一定時間なくなったときに、送信が停止されるものであ
る。
示す発声情報は、前記端末装置利用者の発言音声入力が
一定時間なくなったときに、送信が停止されるものであ
る。
【0013】さらに、前記警告は、発言者の視野内へ表
示することによって行われるものである。
示することによって行われるものである。
【0014】本発明のマルチキャストテレビ会議端末装
置はまた、前記端末装置利用者の発言音声入力の有無の
判断を、前記端末装置への入力音声信号の入力レベル
と、入力映像信号から得た前記利用者の唇動き情報とに
基づいて行なうものである。
置はまた、前記端末装置利用者の発言音声入力の有無の
判断を、前記端末装置への入力音声信号の入力レベル
と、入力映像信号から得た前記利用者の唇動き情報とに
基づいて行なうものである。
【0015】また、前記発言権トークンの巡回は、ユニ
キャスト又はマルチキャストにより、行われるものであ
る。
キャスト又はマルチキャストにより、行われるものであ
る。
【0016】また、前記発言権トークンの巡回の再開ま
での一定期間を、少なくとも音声入力時点から他のマル
チキャストテレビ会議端末装置での再生時点までの最大
遅延時間又は前記最大遅延時間に発言者の発言内容が把
握できる程度の時間を加算した時間としたものである。
での一定期間を、少なくとも音声入力時点から他のマル
チキャストテレビ会議端末装置での再生時点までの最大
遅延時間又は前記最大遅延時間に発言者の発言内容が把
握できる程度の時間を加算した時間としたものである。
【0017】本発明のテレビ会議システムは、上記した
マルチキャストテレビ会議端末装置を、複数個相互に接
続したものである。
マルチキャストテレビ会議端末装置を、複数個相互に接
続したものである。
【0018】また、前記相互接続は、ネットワークを利
用するものである。
用するものである。
【0019】本発明のテレビ会議システムの制御方法
は、複数のマルチキャストテレビ会議端末装置を利用す
るものであって、前記複数のマルチキャストテレビ会議
端末装置の発言権を制御する発言権トークンを、前記端
末装置間で巡回させ、前記発言権トークンを有する前記
端末装置からの発言によって、一定期間前記発言権トー
クンの巡回を停止させ、前記一定期間経過後、前記発言
があった端末装置以外の端末装置間で、前記発言権トー
クンの巡回を再開させるものである。
は、複数のマルチキャストテレビ会議端末装置を利用す
るものであって、前記複数のマルチキャストテレビ会議
端末装置の発言権を制御する発言権トークンを、前記端
末装置間で巡回させ、前記発言権トークンを有する前記
端末装置からの発言によって、一定期間前記発言権トー
クンの巡回を停止させ、前記一定期間経過後、前記発言
があった端末装置以外の端末装置間で、前記発言権トー
クンの巡回を再開させるものである。
【0020】
【発明の実施の形態】以下、本発明の実施の形態につい
て、図1から図4を用いて説明する。
て、図1から図4を用いて説明する。
【0021】(第1の実施の形態)図1は、本発明のマ
ルチキャストテレビ会議端末装置(以下、単に「端末装
置」と記述する場合もある。)の第1の実施の形態の概
略機能ブロック図である。この端末装置は、図6に示す
システムと同様、ネットワークに接続されて、使用され
るものであり、マイクからの音声信号100、カメラか
らの映像信号104を入力し、符号化した音声データ1
03及び映像データ108を、ネットワークを介して他
の端末装置に送信する。また、ネットワークを介して他
の端末装置から符号化された音声データ116及び映像
データ120を受信し、受信した符号化音声データ11
6に基づく音声信号119をスピーカに、映像データ1
20に基づく映像信号122をディスプレイモニタに出
力する。さらに、発言権トークン110、111の送受
信を行うと共に、自端末装置が発言権を保持して音声情
報を出力していることを示す発声情報113を他の端末
装置に送信し、他の端末から同様の発声情報114を受
信する。
ルチキャストテレビ会議端末装置(以下、単に「端末装
置」と記述する場合もある。)の第1の実施の形態の概
略機能ブロック図である。この端末装置は、図6に示す
システムと同様、ネットワークに接続されて、使用され
るものであり、マイクからの音声信号100、カメラか
らの映像信号104を入力し、符号化した音声データ1
03及び映像データ108を、ネットワークを介して他
の端末装置に送信する。また、ネットワークを介して他
の端末装置から符号化された音声データ116及び映像
データ120を受信し、受信した符号化音声データ11
6に基づく音声信号119をスピーカに、映像データ1
20に基づく映像信号122をディスプレイモニタに出
力する。さらに、発言権トークン110、111の送受
信を行うと共に、自端末装置が発言権を保持して音声情
報を出力していることを示す発声情報113を他の端末
装置に送信し、他の端末から同様の発声情報114を受
信する。
【0022】マイクから入力した音声信号100は、音
声入力部1でデジタル化され、デジタル化された音声デ
ータ101が音声符号化部2に送られる。音声符号化部
2では、音声データ101を所定の符号化方法により符
号化し、符号化音声データ103として送信する。ま
た、音声入力部1は、マイクからの音声信号の音声レベ
ルを示す音声レベルデータ102を発声情報処理部3に
送る。
声入力部1でデジタル化され、デジタル化された音声デ
ータ101が音声符号化部2に送られる。音声符号化部
2では、音声データ101を所定の符号化方法により符
号化し、符号化音声データ103として送信する。ま
た、音声入力部1は、マイクからの音声信号の音声レベ
ルを示す音声レベルデータ102を発声情報処理部3に
送る。
【0023】カメラから入力した映像信号104は、映
像入力部4でデジタル化され、デジタル化された映像デ
ータ105は、映像符号化部5で所定の符号化方法で符
号化される。そして、符号化映像データ108として送
信される。映像データ105は、唇部分抜出し部6にも
送られ、唇部分が抜出される。抜出された唇映像データ
106は、唇動き判別部7に送られ、唇動き判別部7
は、所定の大きさの動きが検出すると、唇動き情報10
7を発声情報処理部3に送る。唇の動きは、複数の唇画
像フレームの変化を検出することにより行う。
像入力部4でデジタル化され、デジタル化された映像デ
ータ105は、映像符号化部5で所定の符号化方法で符
号化される。そして、符号化映像データ108として送
信される。映像データ105は、唇部分抜出し部6にも
送られ、唇部分が抜出される。抜出された唇映像データ
106は、唇動き判別部7に送られ、唇動き判別部7
は、所定の大きさの動きが検出すると、唇動き情報10
7を発声情報処理部3に送る。唇の動きは、複数の唇画
像フレームの変化を検出することにより行う。
【0024】発声情報処理部3は、音声入力部1からの
音声レベルデータ102と、唇動き判別部7からの唇動
き情報107と、後述する発言権トークン処理部13か
らの発言権情報112に基づいて、発声情報113を送
信する。発声情報113は、音声符号化部2から送信さ
れる符号化音声データ103が有効であって、発言者が
発言権を保持して発言中の音声情報を含んでいることを
他の端末装置に示すものである。
音声レベルデータ102と、唇動き判別部7からの唇動
き情報107と、後述する発言権トークン処理部13か
らの発言権情報112に基づいて、発声情報113を送
信する。発声情報113は、音声符号化部2から送信さ
れる符号化音声データ103が有効であって、発言者が
発言権を保持して発言中の音声情報を含んでいることを
他の端末装置に示すものである。
【0025】この発声情報113は、発言権トークン処
理部13にも送られ、発言権トークンの巡回を停止させ
る。また、発声情報113は、映像符号化部5にも送ら
れ、映像符号化処理を変更させる。映像符号化処理の変
更は、符号化部分の変更、例えば発言者をズームさせた
画像とする、非発言時よりフレームレートを上げた画像
とする等により行う。映像符号化処理を変更する理由
は、発言中の端末装置の映像と非発言中の端末装置の映
像との区別を容易にし、発言者の識別を簡単に行うため
である。
理部13にも送られ、発言権トークンの巡回を停止させ
る。また、発声情報113は、映像符号化部5にも送ら
れ、映像符号化処理を変更させる。映像符号化処理の変
更は、符号化部分の変更、例えば発言者をズームさせた
画像とする、非発言時よりフレームレートを上げた画像
とする等により行う。映像符号化処理を変更する理由
は、発言中の端末装置の映像と非発言中の端末装置の映
像との区別を容易にし、発言者の識別を簡単に行うため
である。
【0026】なお、ネットワークを介して他の端末装置
に転送される符号化音声データ103、発声情報11
3、及び符号化映像データ108には、端末装置のID
が付加される。
に転送される符号化音声データ103、発声情報11
3、及び符号化映像データ108には、端末装置のID
が付加される。
【0027】発言権トークン処理部13は、所定タイミ
ングでテレビ会議に参加している複数の端末装置を巡回
するトークン110を受信し、トークン111を送信す
る。そして、トークンを取得している間は、発声情報処
理部3に発言権情報112を出力するものである。トー
クン取得中に発言音声が検出され、発声情報113が送
信されると、発言権トークン処理部は、トークン111
の送信を停止する。したがって、後述するように、少な
くとも一定期間は他の端末が発言権を得ることができな
くなり、発言音声が符号化音声データとして他の端末装
置に送られ、音声のぶつかり及びノイズが少ない音声情
報が再生される。
ングでテレビ会議に参加している複数の端末装置を巡回
するトークン110を受信し、トークン111を送信す
る。そして、トークンを取得している間は、発声情報処
理部3に発言権情報112を出力するものである。トー
クン取得中に発言音声が検出され、発声情報113が送
信されると、発言権トークン処理部は、トークン111
の送信を停止する。したがって、後述するように、少な
くとも一定期間は他の端末が発言権を得ることができな
くなり、発言音声が符号化音声データとして他の端末装
置に送られ、音声のぶつかり及びノイズが少ない音声情
報が再生される。
【0028】発言権トークンの巡回方法は、図2(a)に
示すようなユニキャストによる方法又は図2(b)に示す
ようなマルチキャストによる方法がある。ユニキャスト
による方法は、予め定めれた端末装置から発言権トーク
ンを受信し、予め定めた端末装置へ発言権トークンを送
信するものである。例えば、図1の端末装置がユニキャ
ストによって巡回する端末装置Cであるとすると、端末
装置Bから発言権トークン110を受信し、端末装置D
発言権トークン111を送信することになる。ユニキャ
ストでの送信は、通信量が少なく、構成も簡単である
が、1つの端末装置が正常に動かない時は、トークンが
まったく送信されなくなり、完全にシステムが停止する
という欠点がある。これに対して、マルチキャストによ
る方法は、トークンをすべての端末装置に回すもので、
図2(b)の例は、端末装置Bが「トークンをBからCに
回した」ということを他のすべての端末装置に送信する
状態を示している。この方法はネットワークの障害に強
く、すべての端末装置がシステムの現在の状態を把握で
きるため、より複雑な制御にも対応できる。
示すようなユニキャストによる方法又は図2(b)に示す
ようなマルチキャストによる方法がある。ユニキャスト
による方法は、予め定めれた端末装置から発言権トーク
ンを受信し、予め定めた端末装置へ発言権トークンを送
信するものである。例えば、図1の端末装置がユニキャ
ストによって巡回する端末装置Cであるとすると、端末
装置Bから発言権トークン110を受信し、端末装置D
発言権トークン111を送信することになる。ユニキャ
ストでの送信は、通信量が少なく、構成も簡単である
が、1つの端末装置が正常に動かない時は、トークンが
まったく送信されなくなり、完全にシステムが停止する
という欠点がある。これに対して、マルチキャストによ
る方法は、トークンをすべての端末装置に回すもので、
図2(b)の例は、端末装置Bが「トークンをBからCに
回した」ということを他のすべての端末装置に送信する
状態を示している。この方法はネットワークの障害に強
く、すべての端末装置がシステムの現在の状態を把握で
きるため、より複雑な制御にも対応できる。
【0029】他の端末装置からの符号化音声データ11
6は、音声復号部8、ミキサー部9音声出力部10を介
してスピーカに送られる。また、発声情報受信部14
で、他の端末装置が送信する発声情報114を受信され
る。符号化音声データ116は、音声復号部8で復号さ
れ、ミキサー部9に送られて複数端末装置からの音声信
号が合成されるが、ミキサー部9は、発声情報受信部1
4からの発声情報115が指示する端末装置から送信さ
れた音声データのみを選択的に合成する。したがって、
したがって、発言者の有効な符号化音声データから得ら
れた音声信号のみが、音声出力部10を介してスピーカ
を駆動するため、ノイズが効果的に削減され、テレビ会
議端末の性能が向上する。
6は、音声復号部8、ミキサー部9音声出力部10を介
してスピーカに送られる。また、発声情報受信部14
で、他の端末装置が送信する発声情報114を受信され
る。符号化音声データ116は、音声復号部8で復号さ
れ、ミキサー部9に送られて複数端末装置からの音声信
号が合成されるが、ミキサー部9は、発声情報受信部1
4からの発声情報115が指示する端末装置から送信さ
れた音声データのみを選択的に合成する。したがって、
したがって、発言者の有効な符号化音声データから得ら
れた音声信号のみが、音声出力部10を介してスピーカ
を駆動するため、ノイズが効果的に削減され、テレビ会
議端末の性能が向上する。
【0030】このような構成にすると、音声のぶつかり
をなくすることができるが、発言権トークンが巡回しな
くなり、他の発言者が発言できなくなるので、発言トー
クン処理部は、一定の基準で発言権トークンの巡回を再
開する。
をなくすることができるが、発言権トークンが巡回しな
くなり、他の発言者が発言できなくなるので、発言トー
クン処理部は、一定の基準で発言権トークンの巡回を再
開する。
【0031】図3を用いて発言権トークンの巡回につい
て、より詳細に説明する。図は、ユニキャストにより巡
回している例である。図3(a)は、誰も発言していない
ときであり、発言権トークンは、一定のタイミングで
A、B、C、D、E、A、…の順に巡回している。図3
(b)は、Cが発言権トークンを取得した状態で発言をし
た場合である。このとき発言権トークンの巡回は停止さ
れるとともに、Cから発声信号が他の端末装置に送信さ
れる。図3(c)は、発言権トークンの巡回が再開された
様子を示している。この場合、Aが発言権を保持して発
言を継続したまま、他の端末装置間で、D、E、A、
B、D、…の順で巡回させる。巡回の再開は、発言権ト
ークンを停止させた端末装置の次に発明権トークンを取
得する予定の端末装置、この図の場合はDの発言権トー
クン処理部13が行う。Dの発言権トークン処理部は、
Cからの発言権トークンが巡回されないことと、Cから
の発声情報が送信されていることにより、発言権トーク
ンがCで停止されていることを認識できる。そして、こ
の状態が一定時間継続された場合、発言権トークンをE
に送信して巡回を再開させる。この巡回において、B
は、通常の発言権トークンの送信先であるCで先の発言
権トークンが停止されていることを認識できるので、発
言権トークンをDに送信する。
て、より詳細に説明する。図は、ユニキャストにより巡
回している例である。図3(a)は、誰も発言していない
ときであり、発言権トークンは、一定のタイミングで
A、B、C、D、E、A、…の順に巡回している。図3
(b)は、Cが発言権トークンを取得した状態で発言をし
た場合である。このとき発言権トークンの巡回は停止さ
れるとともに、Cから発声信号が他の端末装置に送信さ
れる。図3(c)は、発言権トークンの巡回が再開された
様子を示している。この場合、Aが発言権を保持して発
言を継続したまま、他の端末装置間で、D、E、A、
B、D、…の順で巡回させる。巡回の再開は、発言権ト
ークンを停止させた端末装置の次に発明権トークンを取
得する予定の端末装置、この図の場合はDの発言権トー
クン処理部13が行う。Dの発言権トークン処理部は、
Cからの発言権トークンが巡回されないことと、Cから
の発声情報が送信されていることにより、発言権トーク
ンがCで停止されていることを認識できる。そして、こ
の状態が一定時間継続された場合、発言権トークンをE
に送信して巡回を再開させる。この巡回において、B
は、通常の発言権トークンの送信先であるCで先の発言
権トークンが停止されていることを認識できるので、発
言権トークンをDに送信する。
【0032】発言権トークンの巡回再開までの一定期間
は、発言のぶつかりの防止を考慮すると、少なくとも音
声入力時点から他のマルチキャストテレビ会議端末装置
での再生時点までの最大遅延時間以上である必要があ
る。好適には、この最大遅延時間に発言者の発言内容が
把握できる程度の時間を加算した時間であるのが望まし
い。
は、発言のぶつかりの防止を考慮すると、少なくとも音
声入力時点から他のマルチキャストテレビ会議端末装置
での再生時点までの最大遅延時間以上である必要があ
る。好適には、この最大遅延時間に発言者の発言内容が
把握できる程度の時間を加算した時間であるのが望まし
い。
【0033】このような方法で発言権トークンの巡回を
再開させると、複数の端末装置からの音声情報がぶつか
ることがあるが、発言当初のぶつかりと異なり、会議が
円滑に進まなくなるということはない。
再開させると、複数の端末装置からの音声情報がぶつか
ることがあるが、発言当初のぶつかりと異なり、会議が
円滑に進まなくなるということはない。
【0034】(第2の実施の形態)本発明のマルチキャ
ストテレビ会議端末装置(以下、単に「端末装置」と記
述する場合もある。)の第2の実施の形態は、第1の実
施の形態と符号化音声データの送信処理、及び受信した
符号化音声データに基づく音声信号の合成処理が異な
る。図4に、第2の実施の形態の概略機能ブロック図の
要部を示す。図4の端末装置は、音声符号化部2からの
符号化音声データが、音声情報送信制御部15を介して
送信される。音声情報送信制御部15は、発声情報11
3が送信中のみ、音声符号化部2からの符号化音声デー
タを送信するものである。このように構成すると、発声
情報を送信中の端末装置からの符号化音声データのみが
音声復号部8に入力されるので、ミキサー部9が、受信
した発声情報115に基づいた選択合成を行う必要がな
くなる。
ストテレビ会議端末装置(以下、単に「端末装置」と記
述する場合もある。)の第2の実施の形態は、第1の実
施の形態と符号化音声データの送信処理、及び受信した
符号化音声データに基づく音声信号の合成処理が異な
る。図4に、第2の実施の形態の概略機能ブロック図の
要部を示す。図4の端末装置は、音声符号化部2からの
符号化音声データが、音声情報送信制御部15を介して
送信される。音声情報送信制御部15は、発声情報11
3が送信中のみ、音声符号化部2からの符号化音声デー
タを送信するものである。このように構成すると、発声
情報を送信中の端末装置からの符号化音声データのみが
音声復号部8に入力されるので、ミキサー部9が、受信
した発声情報115に基づいた選択合成を行う必要がな
くなる。
【0035】なお、本発明では、発言権トークンの取得
時のみ発言した音声情報他の端末で再生可能とするた
め、発言者が発言したにもかかわらず、他の端末装置で
は認識されていないという事態が生じる。このような事
態が頻発すると会議の円滑な進行が妨げられるので、他
の端末装置では認識されていないということを、発言者
に対して警告することが有効である。この警告は、音声
レベルデータ102が一定以上でかつ唇動き情報107
が検出されているにもかかわらず、発声情報113が送
信されていない場合に行われる。警告は、各種手段によ
り行うことができる画、発言者の視野内例えばディスプ
レイモニタへの表示によるものが好適である。
時のみ発言した音声情報他の端末で再生可能とするた
め、発言者が発言したにもかかわらず、他の端末装置で
は認識されていないという事態が生じる。このような事
態が頻発すると会議の円滑な進行が妨げられるので、他
の端末装置では認識されていないということを、発言者
に対して警告することが有効である。この警告は、音声
レベルデータ102が一定以上でかつ唇動き情報107
が検出されているにもかかわらず、発声情報113が送
信されていない場合に行われる。警告は、各種手段によ
り行うことができる画、発言者の視野内例えばディスプ
レイモニタへの表示によるものが好適である。
【0036】
【発明の効果】以上の説明から明らかなように、本発明
によれば、マルチキャストを使用する場合でも、簡単な
構成で発言開始時の発言のぶつかりを防止でき、円滑な
多地点テレビ会議を開催することができる。
によれば、マルチキャストを使用する場合でも、簡単な
構成で発言開始時の発言のぶつかりを防止でき、円滑な
多地点テレビ会議を開催することができる。
【図1】本発明の第1の実施の形態の概略機能ブロック
図
図
【図2】トークンの巡回方法を説明する図
【図3】発言権トークンの巡回方法を説明する図
【図4】本発明の第2の実施の形態の要部機能ブロック
図
図
【図5】MCUを使用した多地点テレビ会議システムの
構成例
構成例
【図6】マルチキャスト端末装置を使用した多地点テレ
ビ会議システムの構成例
ビ会議システムの構成例
1・・・音声入力部 2・・・音声符号化部 3・・・発声情報処理部 4・・・映像入力部 5・・・映像符号化部 6・・・唇部分抜出し部 7・・・唇動き判別部 8・・・音声復号部 9・・・ミキサー部 10・・・音声出力部 11・・・映像復号部 12・・・映像出力部 13・・・発言権トークン処理部 14・・・発声情報受信部 15・・・音声情報送信制御部
フロントページの続き (72)発明者 岡 敏夫 大阪府門真市大字門真1006番地 松下電器 産業株式会社内 (72)発明者 佐藤 正樹 大阪府門真市大字門真1006番地 松下電器 産業株式会社内 (72)発明者 千賀 諭 大阪府門真市大字門真1006番地 松下電器 産業株式会社内 Fターム(参考) 5C064 AA02 AB04 AC04 AC06 AC09 AC16 AD08 5D015 AA03 BB01 KK01 LL05 5K015 JA01 5K027 AA07 BB01 5K101 KK04
Claims (15)
- 【請求項1】 多地点間で音声情報及び映像情報の送受
信を行う多地点テレビ会議システムに利用されるマルチ
キャストテレビ会議端末装置であって、 送信される音声情報が有効であることを示す発声情報を
送信する発声情報処理部と、 他のマルチキャストテレビ会議端末装置からの前記発声
情報に基づいて受信した音声情報の選択再生を行う音声
情報再生処理部と、 テレビ会議に参加する複数のマルチキャストテレビ会議
端末装置間で巡回される発言権トークンの送受信処理を
行う発言権トークン処理部とを有し、 前記発声情報処理部は、前記発言権トークンの保持時に
前記端末装置利用者の発言音声入力があった場合に、前
記発声情報を出力するものであり、 前記発言権トークン処理部は、前記発声情報処理部が前
記発声情報を送信したときに、前記発言権トークンの巡
回を停止させると共に、他のマルチキャストテレビ会議
端末装置からの前記発声情報を受信中であって、前記発
言権トークンの巡回の停止が一定期間継続したときに、
前記発声情報を送信中のマルチキャストテレビ会議端末
装置を除く他のマルチキャストテレビ会議端末装置間
で、前記発言権トークンの巡回を再開させるものである
マルチキャストテレビ会議端末装置。 - 【請求項2】 請求項1記載のマルチキャストテレビ会
議端末装置であって、 前記端末装置利用者の発言音声入力があった場合であっ
て、前記発声情報が出力されないときは、発言が有効で
ないことを示す警告を出力するマルチキャストテレビ会
議端末装置。 - 【請求項3】 請求項1又は2記載のマルチキャストテ
レビ会議端末装置であって、 前記送信される音声情報が有効であることを示す発声情
報は、前記端末装置利用者の発言音声入力が一定時間な
くなったときに、送信が停止されるものであるマルチキ
ャストテレビ会議端末装置。 - 【請求項4】 多地点間で音声情報及び映像情報の送受
信を行う多地点テレビ会議システムに利用されるマルチ
キャストテレビ会議端末装置であって、 音声情報を送信中であることを示す発声情報を送信する
発声情報処理部と、 前記発声情報送信中にのみ、音声情報を送信する音声情
報送信制御部と、 テレビ会議に参加する複数のマルチキャストテレビ会議
端末装置間で巡回される発言権トークンの送受信処理を
行う発言権トークン処理部とを有し、 前記発声情報処理部は、前記発言権トークンの保持時に
前記端末装置利用者の発言音声入力があった場合に、前
記発声情報を出力するものであり、 前記発言権トークン処理部は、前記発声情報処理部が前
記発声情報を送信したときに、前記発言権トークンの巡
回を停止させると共に、他のマルチキャストテレビ会議
端末装置からの前記発声情報を受信中であって、前記発
言権トークンの巡回の停止が一定期間継続したときに、
前記発声情報を送信中のマルチキャストテレビ会議端末
装置を除く他のマルチキャストテレビ会議端末装置間
で、前記発言権トークンの巡回を再開させるものである
マルチキャストテレビ会議端末装置。 - 【請求項5】 請求項4記載のマルチキャストテレビ会
議端末装置であって、 前記端末装置利用者の発言音声入力があった場合であっ
て、前記発声情報が出力されないときは、音声情報が送
信されなかったことを示す警告を出力するマルチキャス
トテレビ会議端末装置。 - 【請求項6】 請求項4又は5記載のマルチキャストテ
レビ会議端末装置であって、 前記音声情報を送信中であることを示す発声情報は、前
記端末装置利用者の発言音声入力が一定時間なくなった
ときに、送信が停止されるものであるマルチキャストテ
レビ会議端末装置。 - 【請求項7】 請求項2又は5記載のマルチキャストテ
レビ会議端末装置であって、 前記警告は、発言者の視野内への表示によるものである
マルチキャストテレビ会議端末装置。 - 【請求項8】 請求項1ないし7のいずれか1項記載の
マルチキャストテレビ会議端末装置であって、 前記端末装置利用者の発言音声入力の有無の判断は、前
記端末装置への入力音声信号の入力レベルと、入力映像
信号から得た前記利用者の唇動き情報とに基づいて行な
われるマルチキャストテレビ会議端末装置。 - 【請求項9】 請求項1ないし8のいずれか1項記載の
マルチキャストテレビ会議端末装置であって、 前記発言権トークンは、ユニキャストにより、前記複数
のマルチキャストテレビ会議端末装置間で巡回されるマ
ルチキャストテレビ会議端末装置。 - 【請求項10】 請求項1ないし8のいずれか1項記載
のマルチキャストテレビ会議端末装置であって、 前記発言権トークンは、マルチキャストにより、前記複
数のマルチキャストテレビ会議端末装置間で巡回される
マルチキャストテレビ会議端末装置。 - 【請求項11】 請求項1ないし10のいずれか1項記
載のマルチキャストテレビ会議端末装置であって、 前記発言権トークンの巡回の再開までの一定期間は、少
なくとも音声入力時点から他のマルチキャストテレビ会
議端末装置での再生時点までの最大遅延時間であるマル
チキャストテレビ会議端末装置。 - 【請求項12】 請求項11記載のマルチキャストテレ
ビ会議端末装置であって、 前記発言権トークンの巡回の再開までの一定期間は、前
記最大遅延時間に発言者の発言内容が把握できる程度の
時間を加算した時間であるマルチキャストテレビ会議端
末装置。 - 【請求項13】 請求項1ないし12のいずれか1項記
載のマルチキャストテレビ会議端末装置を、複数個相互
に接続したテレビ会議システム。 - 【請求項14】 請求項13記載のテレビ会議システム
であって、 前記相互接続は、ネットワークを利用するテレビ会議シ
ステム。 - 【請求項15】 複数のマルチキャストテレビ会議端末
装置を利用するテレビ会議システムの制御方法であっ
て、 前記複数のマルチキャストテレビ会議端末装置の発言権
を制御する発言権トークンを、前記端末装置間で巡回さ
せ、 前記発言権トークンを有する前記端末装置からの発言に
よって、一定期間前記発言権トークンの巡回を停止さ
せ、 前記一定期間経過後、前記発言があった端末装置以外の
端末装置間で、前記発言権トークンの巡回を再開させる
テレビ会議システムの制御方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000352954A JP2002158984A (ja) | 2000-11-20 | 2000-11-20 | マルチキャストテレビ会議端末装置、テレビ会議システム及びテレビ会議システムの制御方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000352954A JP2002158984A (ja) | 2000-11-20 | 2000-11-20 | マルチキャストテレビ会議端末装置、テレビ会議システム及びテレビ会議システムの制御方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2002158984A true JP2002158984A (ja) | 2002-05-31 |
Family
ID=18825783
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000352954A Pending JP2002158984A (ja) | 2000-11-20 | 2000-11-20 | マルチキャストテレビ会議端末装置、テレビ会議システム及びテレビ会議システムの制御方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2002158984A (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7688344B2 (en) | 2004-12-17 | 2010-03-30 | Fuji Xerox Co., Ltd. | Systems and methods for mediating teleconferences |
| CN112601045A (zh) * | 2020-12-10 | 2021-04-02 | 广州虎牙科技有限公司 | 视频会议的发言控制方法、装置、设备及存储介质 |
-
2000
- 2000-11-20 JP JP2000352954A patent/JP2002158984A/ja active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7688344B2 (en) | 2004-12-17 | 2010-03-30 | Fuji Xerox Co., Ltd. | Systems and methods for mediating teleconferences |
| CN112601045A (zh) * | 2020-12-10 | 2021-04-02 | 广州虎牙科技有限公司 | 视频会议的发言控制方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5818514A (en) | Video conferencing system and method for providing enhanced interactive communication | |
| CN102177734B (zh) | 基于公共场景的会议系统 | |
| US7012901B2 (en) | Devices, software and methods for generating aggregate comfort noise in teleconferencing over VoIP networks | |
| EP1449369B1 (en) | A system and method for providing an awareness of remote people in the room during a videoconference | |
| US7420935B2 (en) | Teleconferencing arrangement | |
| US7688344B2 (en) | Systems and methods for mediating teleconferences | |
| JP2000175170A (ja) | 多地点テレビ会議システム及びその通信方法 | |
| JP3818054B2 (ja) | 多地点ビデオ会議制御装置、音声切替え方法、およびそのプログラムを記録した記録媒体 | |
| JP2002158983A (ja) | マルチキャストテレビ会議端末装置、及びテレビ会議システム | |
| JPH11177953A (ja) | 会議端末装置 | |
| JP2002158984A (ja) | マルチキャストテレビ会議端末装置、テレビ会議システム及びテレビ会議システムの制御方法 | |
| JP2011087074A (ja) | 遠隔会話システムの出力制御装置、その方法、およびコンピュータが実行可能なプログラム | |
| JPH06261316A (ja) | 多地点間通信会議システム | |
| JP2000333150A (ja) | テレビ会議システム | |
| JP6289178B2 (ja) | 通話会議システム | |
| JP5391175B2 (ja) | 遠隔会議方法、遠隔会議システム及び遠隔会議プログラム | |
| JP2008227693A (ja) | 話者映像表示制御システム、話者映像表示制御方法、話者映像表示制御プログラム、通信端末及び多地点テレビ会議システム | |
| JP3829485B2 (ja) | 音声通話装置、音声通話システム、および音声通話方法 | |
| JPH1188513A (ja) | 多地点間通信制御装置の音声処理装置 | |
| JPH04207287A (ja) | テレビ電話会議システム | |
| JP4531013B2 (ja) | 映像音声会議システムおよび端末装置 | |
| JP2588970B2 (ja) | 多地点会議方式 | |
| KR100194977B1 (ko) | 유닉스상의 소켓기반 다자간 화상회의 시스템 | |
| JPH0746565A (ja) | 通信システム | |
| JPH07226930A (ja) | 通信会議システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060324 |