JP2006254166A - ビデオ会議システム、会議端末および映像サーバ - Google Patents

ビデオ会議システム、会議端末および映像サーバ Download PDF

Info

Publication number
JP2006254166A
JP2006254166A JP2005068917A JP2005068917A JP2006254166A JP 2006254166 A JP2006254166 A JP 2006254166A JP 2005068917 A JP2005068917 A JP 2005068917A JP 2005068917 A JP2005068917 A JP 2005068917A JP 2006254166 A JP2006254166 A JP 2006254166A
Authority
JP
Japan
Prior art keywords
user
conference
video
video data
conference terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005068917A
Other languages
English (en)
Other versions
JP4741261B2 (ja
Inventor
Yasushi Kaneda
泰 金田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2005068917A priority Critical patent/JP4741261B2/ja
Priority to US11/356,172 priority patent/US7835764B2/en
Publication of JP2006254166A publication Critical patent/JP2006254166A/ja
Application granted granted Critical
Publication of JP4741261B2 publication Critical patent/JP4741261B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1069—Session establishment or de-establishment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L61/00—Network arrangements, protocols or services for addressing or naming
    • H04L61/45—Network directories; Name-to-address mapping
    • H04L61/4535—Network directories; Name-to-address mapping using an address exchange platform which sets up a session between two nodes, e.g. rendezvous servers, session initiation protocols [SIP] registrars or H.323 gatekeepers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1101—Session protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1101—Session protocols
    • H04L65/1104—Session initiation protocol [SIP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/403—Arrangements for multi-party communication, e.g. for conferences
    • H04L65/4038—Arrangements for multi-party communication, e.g. for conferences with floor control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L61/00—Network arrangements, protocols or services for addressing or naming
    • H04L61/45—Network directories; Name-to-address mapping
    • H04L61/4557—Directories for hybrid networks, e.g. including telephone numbers

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

【課題】ビデオ会議システムにおいて、必要な帯域を低く抑えることができ、且つ、その会議のキーパーソン等の様子を容易に確認できるようにする。
【解決手段】プレゼンスサーバ１は、各会議端末２のユーザの仮想空間における位置情報を管理する。会議端末２は、他の会議端末２の要求に従い自ユーザの映像データを要求元に送信する。また、仮想空間における自ユーザの位置情報を受付けてプレゼンスサーバ１に送信すると共に、プレゼンスサーバ１から他のユーザの位置情報を受信する。そして、自ユーザおよび他ユーザ各々の位置情報を基に自ユーザの前方に位置する前方ユーザを検出し、前方ユーザ各々の会議端末２から映像データを受信する。
【選択図】図１

Description

本発明は、立体音響処理された音声を会議参加者の映像と共に会議端末から出力することのできるビデオ会議システムの技術に関する。
特許文献１には全員表示型ビデオ会議システムが開示されている。この全員表示型ビデオ会議システムでは、各参加者のビデオ会議端末に、会議参加者数分の表示装置を設け、各表示装置に会議参加者の映像を表示して会議参加者全員の映像を常時表示する。
また、特許文献２にはフロア制御型ビデオ会議システムが開示されている。このフロア制御型ビデオ会議システムでは、発話者を検出し、発話者の映像を選択して各参加者のビデオ会議端末に表示する。
また、特許文献３には３Ｄオーディオ技術を用いた音声会議システムが開示されている。この音声会議システムでは、音声会議に参加する各参加者の会議端末から、３Ｄオーディオ処理（立体音響処理）された各参加者の音声データを出力する。
米国特許第４４００７２４号明細書 米国特許第６３３００２２号明細書 米国特許第６３２７５６７号明細書
特許文献１に記載の全員表示型ビデオ会議システムでは、参加者一人あたりの映像表示に必要な帯域をＢとし、会議参加者数をｎとすると、（ｎ-１）×Ｂの帯域が必要となる。会議の加者数が多くなると必要な帯域も大きくなり、それに伴いシステムのコストが増加してしまう。
一方、特許文献２に記載のフロア制御型ビデオ会議システムでは、参加者一人あたりの映像表示に必要な帯域をＢとし、同時発話者数をｃ（＜ｎ＝会議参加者数）とすると、必要な帯域はｃ×Ｂで済む。全員表示型ビデオ会議システムに比べて必要な帯域を小さくできる。しかし、発話者しか表示されないので、その会議のキーパーソン（例えば会議の議長）の様子を確認できない。
また、特許文献３に記載の３Ｄオーディオ技術を用いた音声会議システムでは、映像を使用しないので、会議の参加者は当該会議に参加する他の参加者の様子を確認し難い。
本発明は上記事情に鑑みてなされたものであり、本発明の目的は、ビデオ会議システムにおいて、必要な帯域を低く抑えることができ、且つ、その会議のキーパーソン等の様子を容易に確認できるようにすることにある。
上記課題を解決するために、本発明では、ビデオ会議に参加する複数の会議端末各々のユーザの仮想空間上における位置を管理するプレゼンスサーバを設ける。そして、会議端末毎に、プレゼンスサーバを用いて、当該会議端末のユーザが指定した当該ユーザの前記仮想空間における位置および向き対して前方に位置するユーザ各々を特定し、特定したユーザ各々の映像データを含む会議画面を当該会議端末に表示させる。
例えば、本発明のビデオ会議システムは、複数の会議端末と、前記複数の会議端末各々のユーザの仮想空間上における位置を管理するプレゼンスサーバと、を有し、
前記複数の会議端末各々は、
他の会議端末からの映像送信要求に従い、自会議端末のユーザである自ユーザの映像データを要求元の会議端末に送信する映像データ送信手段と、
前記自ユーザの前記仮想空間上における位置および向きを受け付ける位置受付手段と、
前記位置受付手段で受け付けた位置および向きを含む自ユーザの仮想位置情報を前記プレゼンスサーバに送信する端末側位置情報送信手段と、
前記プレゼンスサーバから自会議端末以外の会議端末のユーザである他ユーザ各々の仮想位置情報を受信する端末側位置情報受信手段と、
前記自ユーザの仮想位置情報および前記他ユーザ各々の仮想位置情報に基づいて、前記仮想空間において前記自ユーザの前方に位置する少なくともひとりの他ユーザを、前方ユーザとして検出する前方ユーザ検出手段と、
前記前方ユーザ検出手段で検出した前方ユーザ各々の会議端末に映像送信要求を送信して、前記前方ユーザ各々の会議端末からの前方ユーザの映像データを受信する映像データ受信手段と、
前記映像データ受信手段で受信した前方ユーザの映像データ各々を含む会議画面をディスプレイに表示する表示制御手段と、を有し、
前記プレゼンスサーバは、
前記複数の会議端末各々から送られてきたユーザの仮想位置情報を管理する管理手段と、
前記複数の会議端末の各々に対して、前記管理手段で管理されている当該会議端末以外の各会議端末のユーザの位置情報を当該会議端末に送信するサーバ側位置情報送信手段と、を有する。
また、本発明の他のビデオ会議システムは、複数の会議端末と、前記複数の会議端末各々のユーザの仮想空間上における位置を管理するプレゼンスサーバと、前記複数の会議端末各々に映像データを送信する映像サーバと、を有し、
前記複数の会議端末各々は、
自会議端末のユーザである自ユーザの映像データを前記映像サーバに送信する端末側映像データ送信手段と、
前記自ユーザの前記仮想空間上における位置および向きを受け付ける位置受付手段と、
前記位置受付手段で受け付けた位置および向きを含む自ユーザの仮想位置情報を前記プレゼンスサーバに送信する端末側位置情報送信手段と、
前記映像サーバから会議画面データを受信する端末側映像データ受信手段と、
前記端末側映像データ受信手段で受信した会議画面データをディスプレイに表示する表示制御手段と、を有し、
前記映像サーバは、
前記複数の会議端末各々から当該会議端末のユーザの映像データを受信する映像サーバ側映像データ受信手段と、
前記プレゼンスサーバから前記複数の会議端末各々の仮想位置情報を受信する映像サーバ側位置情報受信手段と、
前記複数の会議端末の各々について、当該会議端末の自ユーザの仮想位置情報および他ユーザ各々の仮想位置情報に基づいて、前記仮想空間において当該自ユーザの前方に位置する少なくともひとりの他ユーザを、前方ユーザとして検出する前方ユーザ検出手段と、
前記複数の会議端末の各々に対して、前記映像サーバ側映像データ受信手段で受信した前記複数の会議端末各々のユーザの映像データのうち、前記前方ユーザ検出手段で検出した当該会議端末の前方ユーザ各々の映像データを含む会議画面データを、当該会議端末へ送信する映像サーバ側映像データ送信手段と、を有し、
前記プレゼンスサーバは、
前記複数の会議端末各々から送られてきたユーザの仮想位置情報を受信するプレゼンスサーバ側位置情報受信手段と、
前記複数の会議端末の各々について、当該会議端末から送られてきたユーザの仮想位置情報を管理する管理手段と、
前記管理手段で管理されている前記複数の会議端末各々のユーザの仮想位置情報を前記映像サーバに送信するプレゼンスサーバ側位置情報送信手段と、を有する。
本発明では、会議端末のユーザが指定した当該ユーザの仮想空間における位置および向き対して前方に位置するユーザ各々の映像データを当該会議端末に表示するので、ユーザ全員の映像データを会議端末に表示する場合に比べて必要な帯域を小さくできる。また、会議端末のユーザが、仮想空間において所望のユーザが自身の前方に位置するように自身の仮想空間における位置および向きを指定することにより、発話の有無に関わらずに、所望のユーザの様子を確認できる。したがって、本発明によれば、必要な帯域を低く抑えることができ、且つ、その会議のキーパーソン等の様子を容易に確認できる。
以下に、本発明の実施の形態を説明する。
<<第１実施形態>>
図１は本発明の第１実施形態が適用されたビデオ会議システムの概略構成図である。図示するように、本実施形態のビデオ会議システムは、プレゼンスサーバ１および複数の会議端末２がＩＰ（Internet Protocol）網３を介して相互接続されて構成されている。
プレゼンスサーバ１は、各会議端末２のユーザの仮想空間上における位置情報を管理する。ここで、仮想空間とは各会議端末２のユーザが会議を行うために仮想的に作り出した空間である。仮想空間の属性には、例えば、空間の大きさ、天井の高さ、壁および天井の反射率・色彩・質感、残響特性、空間内の空気による音の吸収率などがある。
図２はプレゼンスサーバ１の概略構成図である。
図示するように、プレゼンスサーバ１は、ＩＰ網３に接続するためのＩＰ網インターフェース部１０１と、位置情報管理部１０２と、ＳＩＰ(Session Initiation Protocol)サーバ処理部１０３と、位置情報記憶部１０４と、を有する。
図３は位置情報記憶部１０４の登録内容を模式的に示した図である。図示するように、位置情報記憶部１０４には、会議端末２のユーザ毎に、レコード１０４０が記憶されている。レコード１０４０は、会議端末２のユーザを一意に識別するためのユーザＩＤを登録するフィールド１０４１と、当該会議端末２が映像交信に利用するＳＩＰ-ＵＲＩ（Uniform Resource Identifier）である映像交信用ＳＩＰ-ＵＲＩを登録するフィールド１０４２と、映像交信用ＳＩＰ-ＵＲＩに対応するＩＰアドレスである映像交信用ＩＰアドレスを登録するフィールド１０４３と、当該会議端末２が音声交信に利用するＳＩＰ-ＵＲＩである音声交信用ＳＩＰ-ＵＲＩを登録するフィールド１０４４と、音声交信用ＳＩＰ-ＵＲＩに対応する音声交信用ＩＰアドレスを登録するフィールド１０４５と、当該会議端末２のユーザの仮想空間における位置情報である仮想位置情報を登録するフィールド１０４０と、を有する。ここで、仮想位置情報は、仮想空間におけるユーザの現在位置の座標情報と当該ユーザの視線方向の方位情報とを含む。
位置情報管理部１０２は、位置情報記憶部１０４に登録されているレコード１０４０の検索・更新を行う。ＳＩＰサーバ処理部１０３は、位置情報記憶部１０４に登録されているＳＩＰ-ＵＲＩとＩＰアドレスとの対応関係を用いて、発側の会議端末２から受信したＩＮＶＩＴＥメッセージを着側の会議端末２へ送信する。
図４はプレゼンスサーバ１の動作フローを説明する図である。
位置情報管理部１０２は、ＩＰ網インターフェース部１０１を介して会議端末２からユーザＩＤと共に仮想位置情報を受信すると（Ｓ１００１）、当該ユーザＩＤがフィールド１０４１に登録されているレコード１０４０を位置情報記憶部１０４から検索し（Ｓ１００２）、検索したレコード１０４０のフィールド１０４６に登録されている仮想位置情報を該受信した仮想位置情報に更新する（Ｓ１００３）。
また、位置情報管理部１０２は、ＩＰ網インターフェース部１０１を介して会議端末２からユーザＩＤを伴う位置情報送信要求を受信すると（Ｓ１００４）、位置情報記憶部１０４から当該ユーザＩＤがフィールド１０４１に登録されているレコード１０４０以外の全てのレコード１０４０を読出し（Ｓ１００５）、該要求の送信元の会議端末２に返信する（Ｓ１００６）。
また、ＳＩＰサーバ処理部１０３は、ＩＰ網インターフェース部１０１を介して会議端末２から、宛先のＳＩＰ-ＵＲＩの指定を伴うＩＮＶＩＴＥメッセージを受信すると（Ｓ１００７）、該ＳＩＰ-ＵＲＩがフィールド１０４２あるいは１０４４に登録されているレコード１０４０を位置情報記憶部１０４から検索する（Ｓ１００８）。そして、該ＳＩＰ-ＵＲＩがフィールド１０４２に登録されているならば、検索したレコード１０４０のフィールド１０４３に登録されているＩＰアドレスを宛先として該ＩＮＶＩＴＥメッセージを転送する。一方、該ＳＩＰ-ＵＲＩがフィールド１０４４に登録されているならば、検索したレコード１０４０のフィールド１０４５に登録されているＩＰアドレスを宛先として該ＩＮＶＩＴＥメッセージを転送する（Ｓ１００９）。
会議端末２は、仮想空間においてユーザが指定した当該ユーザの位置および向き対して前方に位置するユーザ各々を特定し、特定したユーザ各々の映像データを含む会議画面を表示する。図５は会議端末３の概略構成図である。
図示するように、会議端末２は、音声入力部２０１と、映像入力部２０２と、音声出力部２０３と、映像出力部２０４と、操作受付部２０５と、オーディオエンコーダ２０６と、ビデオエンコーダ２０７と、オーディオレンダラ２０８と、会議画面生成部２０９と、プレゼンスプロバイダ２１０と、空間モデラ２１１と、ＩＰ網３に接続するためのＩＰ網インターフェース部２１２と、ＲＴＰ（Real-time Transport Protocol）処理部２１３と、ＳＩＰ制御部２１４と、発話検出部２１５と、前方ユーザ検出部２１６と、着席情報作成部２１７と、を有する。
音声入力部２１０は、マイク２２１で収音した音声信号の入力端子である。映像入力部２０２は、ビデオカメラ２２２で撮像した映像信号の入力端子である。音声出力部２０３は、３Ｄオーディオ対応（例えば擬似５．１チャンネル対応）のヘッドフォン（あるいはスピーカ）２２３に接続される音声出力端子である。そして、操作受付部２０５はユーザのポインティングデバイス２２５に対する操作を受け付ける。
映像出力部２０４は、ディスプレイ２２４に接続される映像出力端子であり、操作受付部２０５に接続されたポインティングデバイス２２５を介してユーザより受け付けた指示に従い、後述する会議画面生成部２０９および着席情報生成部２１７のいずれかを選択し、選択した生成部から出力される映像をディスプレイ２２４に表示する。
オーディオエンコーダ２０６は、音声入力部２０１に入力された音声信号をエンコードして音声データを出力する。ビデオエンコーダ２０７は、映像入力部２０２に入力された映像信号をエンコードして映像データを出力する。
ＲＴＰ処理部２１３は、オーディオエンコーダ２０６より出力された音声データをＲＴＰパケットに格納し、該ＲＴＰパケットをＩＰ網インターフェース部２１２を介して、ＳＩＰ処理部２１４より通知された宛先のＩＰアドレスへ送信する。また、ＲＴＰパケット処理部２１４は、ビデオエンコーダ２０７より出力された映像データをＲＴＰパケットに格納し、該ＲＴＰパケットをＩＰ網インターフェース部２１２を介して、ＳＩＰ処理部２１４より通知された宛先のＩＰアドレスへ送信する。また、ＲＴＰ処理部２１３は、ＩＰ網インターフェース部２１２を介して他の会議端末２より受信したＲＴＰパケットから音声データを取り出して、該ＲＴＰパケットの送信元アドレスと共にオーディオレンダラ２０８に出力する。さらに、ＲＴＰ処理部２１３は、ＩＰ網インターフェース部２１２を介して他の会議端末２より受信したＲＴＰパケットから映像データを取り出して、該ＲＴＰパケットの送信元アドレスと共に会議画面生成部２０９に出力する。
発話検出部２１５は、音声入力部２０１に入力する音声信号からユーザの発話の有無をモニタする。そして、発話（有音状態）を検出した場合に、発話検出信号をＳＩＰ制御部２１４に出力し、所定期間（例えば１０秒）の無音状態を検出した場合に、発話停止信号をＳＩＰ制御部２１４に出力する。
空間モデラ２１１は、予め設定されている仮想空間の属性に従い、操作受付部２０５で受け付けた自ユーザのポインティングデバイス２２５に対する操作に応じて当該仮想空間における自ユーザの位置（座標）および視線方向（方位）を決定し、決定した位置および視線方向を含む自ユーザの仮想位置情報を保持すると共に、プレゼンスプロバイダ２１０、前方ユーザ検出部２１６、着席情報生成部２１７およびオーディオレンダラ２０８に出力する。また、空間モデラ２１１は、プレゼンスプロバイダ２１０から他ユーザ各々の仮想位置情報を受け取って保持すると共に、前方ユーザ検出部２１６、着席情報生成部２１７およびオーディオレンダラ２０８に出力する。
プレゼンスプロバイダ２１０は、空間モデラ２１１から受け取った自ユーザの仮想位置情報を、ＩＰ網インターフェース部２１０を介してプレゼンスサーバ１に定期的に送信する。また、プレゼンスプロバイダ２１０は、ＩＰ網インターフェース部２１２を介してプレゼンスサーバ１に位置情報送信要求を定期的に送信し、その応答としてプレゼンスサーバ１から他ユーザ各々のレコード１０４０を受信する。そして、受信した他ユーザ各々のレコード１０４０を空間モデラ２１１に通知する。
前方ユーザ検出部２１６は、空間モデラ２１１から受け取った自ユーザの仮想位置情報および他ユーザ各々のレコード１０４０の仮想位置情報に基づいて、仮想空間において自ユーザの前方に位置する他ユーザを前方ユーザとして検出する。また、検出した前方ユーザ各々の後述する会議画面における配置位置を決定する。そして、検出した前方ユーザ各々をＳＩＰ処理部２１４に通知すると共に、検出した前方ユーザ各々とその配置位置を会議画面生成部２０９に通知する。
具体的には、図６（Ａ）に示すように、先ず、前方ユーザ検出部２１６は、仮想空間における自ユーザの位置２１６１および他ユーザ各々の位置２１６２を、それぞれの仮想位置情報に含まれている座標上に決定する。次に、前方ユーザ検出部２１６は、自ユーザの視線方向２１６３を自ユーザの仮想位置情報に含まれている方位に決定する。それから、前方ユーザ検出部２１６は、視線方向２１６３に最も近い前方ユーザの会議画面における配置位置を画面中央とする。また、画面中央とした前方ユーザの右側ｎ番目に位置する前方ユーザの会議画面における配置位置を画面中央から右側ｎ番目とし、画面中央とした前方ユーザの左側ｎ番目に位置する前方ユーザの会議画面における配置位置を画面中央から左側ｎ番目とする。この処理をｎが予め定められた数（後述する会議画面に設けられた前方ユーザ用の映像表示枠の数に応じて定められた数）となるまで繰り返す。次に、前方ユーザ検出部２１６は、前方ユーザ各々のレコード１０４０に含まれているユーザＩＤをＳＩＰ制御部２１４に通知する。また、前方ユーザ毎に、当該前方ユーザのレコード１０４０に含まれているユーザＩＤおよび映像交信用ＩＰアドレスと当該前方ユーザの会議画面における配置位置とを含む前方ユーザ情報を生成し、会議画面生成部２０９に送信する。
また、前方ユーザ検出部２１６は、会議画面生成部２１７から受け取った送信元ＩＰアドレスを映像交信用ＩＰアドレスとする他ユーザのレコード１０４０を、発話ユーザのレコード１０４０とし、発話ユーザの後述する会議画面における配置位置を決定する。そして、発話ユーザの配置位置を会議画面生成部２０９に通知する。
具体的には、図６（Ｂ）に示すように、先ず、前方ユーザ検出部２１６は、仮想空間における自ユーザの位置２１６１および発話ユーザ各々の位置２１６４を、それぞれの仮想位置情報に含まれている座標上に決定する。次に、前方ユーザ検出部２１６は、自ユーザの視線方向２１６３を自ユーザの仮想位置情報に含まれている方位に決定する。それから、前方ユーザ検出部２１６は、発話ユーザ各々の会議画面における配置位置を、視線方向２１６に対して自ユーザから右および左のいずれに位置するか否か、および、右および左の何番目に位置するかに従って決定する。例えば、視線方向２１６３の右側２番目に位置する発話ユーザの会議画面における配置位置を、前方ユーザの配置位置より右側であって画面中央側から２番目とする。そして、発話ユーザ毎に、当該発話ユーザのレコード１０４０に含まれているユーザＩＤおよび映像交信用ＩＰアドレスと当該前方ユーザの会議画面における配置位置とを含む発話ユーザ情報を生成し会議画面生成部２０９に送信する。
会議画面生成部２０９は、会議画面雛形データを保持している。図７は、会議画面雛形データ２０９０の表示例を示す図である。この例において、会議画面雛形データ２０９０は、ユーザ映像表示枠２０９１およびユーザＩＤ表示欄２０９２の組を複数備えて構成される。複数の組のうち、画面の中央部分に配置される複数（図７では３つ）の組２０９３は、前方ユーザの映像データおよびユーザＩＤを表示するための組である。また、複数の組２０９３の右側および左側に配置される少なくとも１つ（図７では１つ）の組２０９４は、前方ユーザ以外の発話ユーザの映像データおよびユーザＩＤを表示するための組である。会議画面生成部２０９は、映像出力部２０４を介してディスプレイ２２４に会議画面雛形データ２０９０を表示する。また、ＲＴＰ処理部２１３から送信元アドレスと共に受け取った各映像データを、前方ユーザの映像データについては複数の組２０９３のいずれかに当該前方ユーザのユーザＩＤと共に表示し、前方ユーザ以外の発話ユーザの映像データについては少なくとも１つの組２０９４のいずれかに当該発話ユーザのユーザＩＤと共に表示する。
図８および図９は、会議画面生成部２０９の動作フローを説明する図である。
先ず、会議画面生成部２０９は、前方ユーザ検出部２１６から受信した前方ユーザ情報の中から会議画面の配置位置が画面中央である前方ユーザ情報を抽出する（Ｓ２００１）。次に、抽出した前方ユーザ情報の映像交信用ＩＰアドレスを送信元アドレスとする映像データを、ＲＴＰ処理部２１３から送信元アドレスと共に受信した映像データの中から検索する（Ｓ２００２）。そして、Ｓ２００１で抽出した前方ユーザ情報のユーザＩＤおよびＳ２００３で検索した映像データの配置位置を、会議画面雛形データ２０９０中の複数の組２０９３のうち中央に位置する組のユーザＩＤ表示欄２０９２およびユーザ映像表示枠２０９１に決定する（Ｓ２００３）。
次に、会議画面生成部２０９は、注目の組が画面中央に対して右および左のいずれに位置するかを示す設定値Ｈを右（あるいは左）に設定する（Ｓ２００４）。また、カウンタ値ｎを１に設定する（Ｓ２００５）。次に、会議画面雛形データ２０９０中の複数の組２０９３のうち、中央に位置する組から設定値Ｈへｎ番目の組があるか否かを調べる（Ｓ２００６）。ない場合はＳ２０１１へ進む。一方、ある場合は、前方ユーザ検出部２１６から受信した前方ユーザ情報の中から、会議画面の配置位置が画面中央から設定値Ｈへｎ番目の位置である前方ユーザ情報を抽出する（Ｓ２００７）。そのような前方ユーザ情報を抽出できなかった場合はＳ２０１１へ進む。一方、そのような前方ユーザ情報を抽出できた場合は、抽出した前方ユーザ情報の映像交信用ＩＰアドレスを送信元アドレスとする映像データを、ＲＴＰ処理部２１３から送信元アドレスと共に受信した映像データの中から検索する（Ｓ２００８）。そして、Ｓ２００７で抽出した前方ユーザ情報のユーザＩＤおよびＳ２００８で検索した映像データの配置位置を、会議画面雛形データ２０９０中の複数の組２０９３のうち中央に位置する組から設定値Ｈへｎ番目の組のユーザＩＤ表示欄２０９２およびユーザ映像表示枠２０９１に決定する（Ｓ２００９）。それから、カウンタ値ｎを１つインクリメントし（Ｓ２０１０）、Ｓ２００５に戻る。
Ｓ２０１１では、設定値Ｈが右（あるいは左）であるか否かを調べ、そうであるならば設定値Ｈを左（あるいは右）に変更し（Ｓ２０１２）、それから、Ｓ２００５に戻る。一方、そうでないならば、つまり、設定値Ｈを右および左のそれぞれに設定して上述のＳ２００５〜Ｓ２０１０を実行したならば、Ｓ２０１３に進む。
Ｓ２０１３において、会議画面生成部２０９は、注目の組が画面中央に対して右および左のいずれに位置するかを示す設定値Ｊを右（あるいは左）に設定する。また、カウンタ値ｍを１に設定する（Ｓ２０１４）。次に、会議画面雛形データ２０９０中の設定値Ｊ側に位置する少なくとも１つの組２０９４のうち、画面中央側から設定値Ｊへｍ番目の組があるか否かを調べる（Ｓ２０１５）。ない場合はＳ２０１９へ進む。一方、ある場合は、前方ユーザ以外の発話ユーザの映像データであって、配置位置が前方ユーザの配置位置より設定値Ｊ側で画面中央からｍ番目である映像データを、ＲＴＰ処理部２１３から送信元アドレスと共に受信した映像データの中から検索する（Ｓ２０１６）。
具体的には、ＲＴＰ処理部２１３から送信元アドレスと共に受信した映像データの中から、前方ユーザ検出部２１６から受信した前方ユーザ情報の映像交信用ＩＰアドレス以外の送信元アドレスを持つ映像データを検索する。次に、検索した映像データの各送信元アドレスを前方ユーザ検出部２１６に通知して、各送信元アドレスに対応する発話ユーザ情報を入手する。そして、入手した発話ユーザ情報の中から配置位置が前方ユーザの配置位置より設定値Ｊ側で画面中央からｍ番目の発話ユーザ情報を特定し、該特定した発話ユーザ情報の映像交信用ＩＰアドレスを送信元アドレスとする映像データを、前方ユーザ以外の発話ユーザの映像データであって、配置位置が前方ユーザの配置位置より設定値Ｊ側で画面中央からｍ番目の映像データとする。
次に、会議画面生成部２０９は、Ｓ２０１６で特定した映像データと、該映像データの送信元アドレスを映像交信用ＩＰアドレスとする発話ユーザ情報のユーザＩＤとの配置位置を、会議画面雛形データ２０９０中の設定値Ｊ側に位置する少なくとも１つの組２０９４のうち、画面中央側から設定値Ｊへｍ番目の組のユーザ映像表示枠２０９１およびユーザＩＤ表示欄２０９２に決定する（Ｓ２０１７）。それから、カウンタ値ｍを１つインクリメントし（Ｓ２０１８）、Ｓ２０１４に戻る。
Ｓ２０１９では、設定値Ｊが右（あるいは左）であるか否かを調べ、そうであるならば設定値Ｊを左（あるいは右）に変更し（Ｓ２０２０）、それから、Ｓ２０１４に戻る。一方、そうでないならば、つまり、設定値Ｊを右および左のそれぞれに設定して上述のＳ２０１４〜Ｓ２０１８を実行したならば、会議画面生成部２０９は、会議画面雛形データ２０９０のユーザ映像表示枠２０９１およびユーザＩＤ表示欄２０９２のそれぞれに、Ｓ２００９およびＳ２０１７で決定したユーザＩＤ、映像データを配置して、図１０に示すような会議画面データを生成し、映像出力部２０４を介してディスプレイ２２４に出力する（Ｓ２０２１）。なお、図１０に示す会議画面データの例では、３人の前方ユーザ（jiro,taro,hanako）の映像データが表示され、仮想空間において自ユーザに対して右側の１番目に位置する発話ユーザ（ichiro）の映像データが表示されている例を示している。仮想空間において自ユーザに対して左側に位置する発話ユーザは存在せず、このため、画面左側の組２０９４にはユーザＩＤおよび映像データが表示されていない。
図５に戻って説明を続ける。着席室情報作成部２１７は、空間モデラ２１１から受け取った自ユーザの仮想位置情報および他ユーザ各々のレコード１０４０の仮想位置情報に基づいて、例えば図１１に示すような、仮想空間における自ユーザの配置位置２１６１および他ユーザ各々の配置位置２１６２を示す着席情報表示データを生成する。そして、着席情報表示データを映像出力部２０４を介してディスプレイ２２４に表示する。
オーディオレンダラ２０８は、ＲＴＰ処理部２１３から各音声データを送信元アドレスと共に受信する。そして、受信した各音声データをバッファリングすることによって、各音声データ間で同期させる（対応付ける）。このバッファリング（プレイアウト・バッファリング）の方法については、例えば文献「Colin Perkins著： RTP: Audio and Video for the Internet, Addison-Wesley Pub Co; 1st edition (June 11, 2003)」に記載されている。また、オーディオレンダラ２０８は、同期させた各音声データを、空間モデラ２１１より受け取った他ユーザ各々のレコード１０４０の仮想位置情報および自ユーザの仮想位置情報により特定される、仮想空間における他ユーザ各々と自ユーザとの相対位置に基づいて立体化する。そして、オーディオレンダラ２０８は、２チャンネル（左チャンネルと右チャンネル）の信号データ（信号列）を、音声出力部２０３に接続された３Ｄオーディオ対応ヘッドフォン２２３に出力する。
オーディオレンダラ２０８をより詳細に説明する。３次元オーディオ技術では、主に人の頭（以下、「人頭」）のまわりでの音響の変化の仕方（インパルス応答）を表すＨＲＩＲ（Head Related Impulse Response）と、部屋などの仮想環境によって生成される擬似的な残響とによって音の方向および距離を表現する。ＨＲＩＲは、音源と人頭との距離、および、人頭と音源との角度（水平角度および垂直角度）によって決定される。なお、オーディオレンダラ２０８には、予めダミーへッドを使用して各距離および各角度毎に測定したＨＲＩＲの数値が記憶されているものとする。また、ＨＲＩＲの数値には、左チャネル用（ダミーヘッドの左耳で測定したもの）と、右チャネル用（ダミーヘッドの右耳で測定したもの）とで異なる数値を使用することによって、左右、前後または上下の方向感を表現する。
図１２はオーディオレンダ２０８の処理を説明する図である。オーディオレンダラ２０８は、ＲＴＰ処理部２１３から送信元アドレスと共に送られてくる音声データ各々に関して、送信元アドレス毎に下記の計算を行う。
まず、オーディオレンダラ２０８は、送信元アドレス毎に、ＲＴＰ処理部２１３から当該送信元アドレスに対応付けられている音声データの信号列ｓｉ[ｔ](ｔ＝１，...）を受け付ける。また、送信元アドレス毎に、空間モデラ２１１から受け付けた他ユーザ各々のレコード１０４０の中から当該送信元アドレスを音声交信用ＩＰアドレスとするレコード１０４０を検索する。そして、検索したレコード１０４０の仮想位置情報と、空間モデラ２１１から受け付けた自ユーザの仮想位置情報とを、当該送信元アドレスに対応付けられている音声データの信号列ｓｉ[ｔ](ｔ＝１，...）を３Ｄオーディオ処理に用いるパラメータに設定する（Ｓ３００１）。
次に、オーディオレンダラ２０８は、送信元アドレス毎に、音声データの直接音と、残響である反射音とを計算する。直接音については、パラメータ設定された位置情報を用いて、自ユーザと当該送信元アドレスを持つ他ユーザとの仮想空間における距離および角度（azimuth）を計算する（Ｓ３００２）。それから、オーディオレンダラ２０８は、自ユーザとの距離および角度に対応するＨＲＩＲを、予め記憶しておいたＨＲＩＲの数値の中から特定する（Ｓ３００３）。なお、オーディオレンダラ２０８は、予め記憶しておいたＨＲＩＲの数値を補間することによって算出したＨＲＩＲの数値を使用してもよい。
次に、オーディオレンダラ２０８は、Ｓ３００１で入力した信号列と、Ｓ３００３で特定したＨＲＩＲの左チャネル用ＨＲＩＲとを使用して、畳み込み（convolution）計算を行い、左チャネル信号を生成する（Ｓ３００４）。同様に、Ｓ３００１で入力した信号列と、Ｓ３００３で特定したＨＲＩＲの右チャネル用ＨＲＩＲとを使用して、畳み込み計算を行い、右チャネル信号を生成する（Ｓ３００５）。
また、反響音については、Ｓ３００１でパラメータ設定された位置情報を用いて、付加すべき残響を計算する（Ｓ３００６、Ｓ３００７）。すなわち、オーディオレンダラ２０８は、仮想空間の属性による音響の変化の仕方（インパルス応答）に基づいて残響を計算する。以下、残響の計算について説明する。
残響は初期反射（early reflection）および後期残響（late reverberation）により構成される。そして、初期反射の方が後期残響より、他ユーザとの距離や部屋（仮想空間）の大きさなどに関する感覚の形成（認知）において、重要であると一般的に考えられている。実空間上の室内では、音源から直接発せられた音（直接音）が聞こえた後、数ｍｓから１００ｍｓくらいの間に、条件によっては、壁、天井、床などからの数１０個の初期反射を聞くことができるといわれている。部屋の形状が直方体であれば、１回の初期反射は６個だけである。しかしながら、より複雑な形状または家具などがある部屋においては、反射音の数が増え、また、壁などで複数回反射した音も聞こえる。
初期反射の計算法としてimage source methodがあり、例えば文献「Allen, J.B. and Berkley, A., "Image Method for efficiently Simulating Small-Room Acoustics", J.Acoustical Society of America， Vol.65, No.4, pp.943-950, April 1979.」に記載されている。単純なimage source methodでは、部屋の壁、天井、床を鏡面とみなし、反射音を鏡面の反対側にある音源の像からの音として計算する。
図１３は説明を簡単にするために、天井と床を省略した２次元のimage source methodを模式的に表した図である。すなわち、中央に本来の会議室（仮想空間）２０８１があり、当該会議室２０８１には会議の参加者である自ユーザおよび他ユーザが存在する。そして、音室２０８１の周囲には部屋の壁２０８２を含む１２個の鏡像が描かれている。なお、鏡像は１２個である必然性はなく、これより多くすることも少なくすることもできる。
オーディオレンダラ２０８は、鏡像各々の中に存在する他ユーザの各像からの音が、自ユーザ（聴取者）に直進するものとして、他ユーザの各像から自ユーザまでの距離と方向を算出する（Ｓ３００６）。音の強さは距離に反比例するため、オーディオレンダラ２０８は、距離に従って各音量を減衰させる。ただし、壁の反射率をα（０≦α≦１）とすると、壁でｎ回反射される音の標本には、αnを乗じて音量をさらに減衰させる。
なお、反射率αの値は０．６程度の値を使用する。０．６程度の値にする理由は、自ユーザが他ユーザとの距離を認識するのに充分な残響（すなわち、直接音と反射音との比）を取得するためである。また、もう１つの理由としては、αの値を過大にした場合、自ユーザの方向感覚をにぶらせるからである。
次に、オーディオレンダラ２０８は、他ユーザの像毎に、自ユーザとの距離および角度に対応するＨＲＩＲを、予め記憶しておいたＨＲＩＲの数値の中から特定する（Ｓ３００７）。反射音はそれぞれ異なる方向から人頭に達するため、Ｓ３００３で特定した直接音のＨＲＩＲとは異なるＨＲＩＲを適用する必要がある。
なお、多数の反射音各々に、異なるＨＲＩＲを用いて後述するたたみこみ計算（Ｓ３００７、Ｓ３００８）を行うと、膨大な計算が必要になる。計算量の増加を防止するため、反射音の計算には、実際の音源の方向にかかわらず正面に音源があるときのＨＲＩＲを適用してもよい。そして、音が左右の耳に達する際の時間差（ITD:interaural time difference）と強度差（IID:interaural intensity difference）だけを計算することで、少ない計算量でＨＲＩＲの計算を代替できる。
次に、オーディオレンダラ２０８は、Ｓ３００１で入力した信号列と、Ｓ３００７で特定したＨＲＩＲの左チャネル用ＨＲＩＲとを使用して、畳み込み計算を行い、左チャネル信号の残響を生成する（Ｓ３００８）。同様に、Ｓ３００１で入力した信号列と、Ｓ３００７で特定したＨＲＩＲの右チャネル用ＨＲＩＲとを使用して、畳み込み計算を行い、右チャネル信号の残響を生成する（Ｓ３００９）。
さて、オーディオレンダラ２０８は、以上のようにして全ての他ユーザ（送信元アドレス）の左チャネル信号を計算したならば、これらを全て加算する（Ｓ３０１０）。なお、左チャネル信号は、Ｓ３００４で算出した直接音と、Ｓ３００８で算出した反射音とが含まれる。
同様に、オーディオレンダラ２０８は、以上のようにして全ての他ユーザ（送信元アドレス）の右チャネル信号を計算したならば、これらを全て加算する（Ｓ３０１１）。なお、右チャネル信号は、Ｓ３００５で算出した直接音と、Ｓ３００９で算出した反射音とが含まれる。
ＨＲＩＲ計算（Ｓ３００３、Ｓ３００７）は、ＲＴＰパケットの１パケット分の音声データ毎に行う。しかし、畳み込み計算（Ｓ３００４、Ｓ３００５、Ｓ３００８、Ｓ３００９）では、次の１パケット分の音声データに繰り越すべき部分が生じる。このため、特定したＨＲＩＲまたは入力された信号列を次の１パケット分の音声データに対する処理まで保持する必要がある。
このように、オーディオレンダラ２０８は、ＲＴＰ処理部２１３から送られてきた他ユーザ各々の音声データに対して、上述の計算による音量の調節、残響や反響音の重ね合わせ、および、フィルタリング等の処理を行い、自ユーザの仮想空間内の位置において聞こえるべき音に音響効果を施す。すなわち、オーディオレンダラ２０８は、仮想空間の属性と他ユーザとの相対的な位置から帰結する処理によって音声を定位させた立体音響を生成する。
図５に戻って説明を続ける。ＳＩＰ制御部２１４は、他の会議端末２各々のユーザＩＤ、音声交信用ＳＩＰ-ＵＲＩおよび映像交信用ＳＩＰ-ＵＲＩが登録されたテーブルを保持しており、必要に応じてこのテーブルを用いて、他の会議端末２との間に、音声交信用のコネクションおよび映像交信用のコネクションを確立する。
図１４はＳＩＰ制御部２１４の動作フローを説明する図である。
会議端末２の起動時に、ＳＩＰ処理部２１４は、会議に参加している各会議端末２と音声交信用コネクションを確立する。先ず、ＳＩＰ処理部２１４は、自身のテーブルに登録されている音声交信用ＳＩＰ-ＵＲＩの中から未抽出の音声交信用ＳＩＰ-ＵＲＩを抽出する（Ｓ４００１）。次に、ＳＩＰ処理部２１４は、抽出した音声交信用ＳＩＰ-ＵＲＩを宛先とするＩＮＶＩＴＥメッセージを、ＩＰ網インターフェース部２１２を介してプレゼンスサーバ２に送信し、音声交信用ＳＩＰ-ＵＲＩを持つ会議端末２に対して、音声交信用コネクションの確立を試みる（Ｓ４００２）。次に、ＳＩＰ処理部２１４は、自身のテーブルに登録されている全ての音声交信用ＳＩＰ-ＵＲＩを抽出したか否かを調べ（Ｓ４００３）、抽出していない場合はＳ４００１に戻り、抽出した場合は、起動時の音声交信用コネクションを確立処理を終了し、各種イベントの待ち状態に移行する。
さて、ＳＩＰ処理部２１４は、ＩＰ網インターフェース部２１２を介してＩＰ網３からＩＮＶＩＴＥメッセージを受信すると（Ｓ４１０１）、該ＩＮＶＩＴＥメッセージの送信元（発側）の会議端末２との間でＳＩＰに従った呼制御シーケンスを実行し、当該会議端末２との間にコネクションを確立する（Ｓ４１０２）。また、ＳＩＰ制御部２１４は、該ＩＮＶＩＴＥメッセージで宛先に指定されている自会議端末２のＳＩＰ-ＵＲＩが映像交信用ＳＩＰ-ＵＲＩであるか、それとも音声交信用ＳＩＰ-ＵＲＩであるかを調べ（Ｓ４１０３）、映像交信用ＳＩＰ-ＵＲＩである場合は映像交信用コネクションの確立を、当該コネクションによる通話相手の会議端末２のＩＰアドレスと共にＲＴＰ処理部２１３に通知する。一方、音声交信用ＳＩＰ-ＵＲＩである場合は音声交信用コネクションの確立を、当該コネクションによる通話相手の会議端末２のＩＰアドレスと共にＲＴＰ処理部２１３に通知する（Ｓ４１０４）。
また、ＳＩＰ処理部２１４は、ＩＰ網インターフェース部２１２を介してコネクションを確立している通話相手の会議端末２からＢＹＥメッセージを受信すると（Ｓ４２０１）、該通話相手の会議端末２との間でＳＩＰに従った呼制御シーケンスを実行し、当該会議端末２との間のコネクションを解放する（Ｓ４２０２）。また、ＳＩＰ制御部２１４は、解放したコネクションの種別（映像交信用コネクションおよび音声交信用コネクションのいずれか）と、該コネクションを用いた通話相手の会議端末２のＩＰアドレスとを、ＲＴＰ処理部２１３に通知して、ＲＴＰ処理部２１３に、該ＩＰアドレスを持つ通話相手の会議端末２と指定された種別のデータを格納したＲＴＰパケットを送受することを終了させる（Ｓ４２０３）。
また、ＳＩＰ制御部２１４は、前方ユーザ検出部２１６より前方ユーザのユーザＩＤを通知されると（Ｓ４３０１）、該ユーザＩＤに対応付けられて自身のテーブルに登録されている映像交信用ＳＩＰ−ＵＲＩを特定する。そして、特定した映像交信用ＳＩＰ-ＵＲＩを宛先とするＩＮＶＩＴＥメッセージを、ＩＰ網インターフェース部２１２を介してプレゼンスサーバ２に送信し、映像交信用ＳＩＰ-ＵＲＩを持つ会議端末２（前方ユーザの会議端末２）に対して、映像交信用コネクションの確立を試みる（Ｓ４３０２）。
また、ＳＩＰ制御部２１４は、発話検出部２１５より発話検出信号を通知されると（Ｓ４４０１）、自身のテーブルに登録されている映像交信用ＳＩＰ−ＵＲＩの中から映像交信用コネクションが確立していない映像交信用ＳＩＰ−ＵＲＩを特定する。そして、特定した映像交信用ＳＩＰ-ＵＲＩ各々を宛先とするＩＮＶＩＴＥメッセージを、ＩＰ網インターフェース部２１２を介してプレゼンスサーバ２に送信し、該映像交信用ＳＩＰ-ＵＲＩを持つ会議端末２（前方ユーザ以外の他ユーザの会議端末２）に対して、映像交信用コネクションの確立を試みる（Ｓ４４０２）。
また、ＳＩＰ制御部２１４は、発話検出部２１５より発話停止信号を通知されると（Ｓ４５０１）、自身のテーブルに登録されている映像交信用ＳＩＰ−ＵＲＩの中から前方ユーザ以外の他ユーザの映像交信用ＳＩＰ−ＵＲＩであって、映像交信用コネクションが確立中の映像交信用ＳＩＰ−ＵＲＩを特定する。そして、特定した映像交信用ＳＩＰ-ＵＲＩ各々を宛先とするＢＹＥメッセージを、ＩＰ網インターフェース部２１２を介して該映像交信用ＳＩＰ−ＵＲＩを持つ会議端末２に送信し、該映像交信用ＳＩＰ-ＵＲＩを持つ会議端末２（前方ユーザ以外の他ユーザの会議端末２）との映像交信用コネクションを解放する（Ｓ４５０２）。
上記構成のプレゼンスサーバ１には、図１５に示すような、プログラムに従ってデータの加工・演算を行なうＣＰＵ３０１と、ＣＰＵ３０１が直接読み書き可能なメモリ３０２と、ハードディスク等の外部記憶装置３０３と、ＩＰ網３を介して外部システムとデータ通信をするための通信装置３０４と、を有する一般的なコンピュータシステムを利用することができる。具体的には、サーバ、ホストコンピュータなどである。
また、上記構成の会議端末２も、図１５に示すような、プログラムに従ってデータの加工・演算を行なうＣＰＵ３０１と、ＣＰＵ３０１が直接読み書き可能なメモリ３０２と、ハードディスク等の外部記憶装置３０３と、ＩＰ網３を介して外部システムとデータ通信をするための通信装置３０４と、入力装置３０５と、出力装置３０６とを有する一般的なコンピュータシステムを利用することができる。例えば、ＰＤＡ（Personal Digital Assistant）、ＰＣ（Personal Computer）などのコンピュータシステムである。
上記各装置の各機能は、メモリ３０２にロードまたは記憶された所定のプログラム（プレセンスサーバ１の場合はプレゼンスサーバ用のプログラム、そして、会議端末２の場合は会議端末用のプログラム）を、ＣＰＵ３０１が実行することにより実現される。
次に、上記構成のビデオ会議システムの概略動作を説明する。
図１６は、図１に示すビデオ会議システムの概略動作を説明するための図である。ここでは、他ユーザＡ〜Ｄの会議端末２が既に会議に参加中であり、後から自ユーザの会議端末２が会議に参加する場合を例にとり説明する。
先ず、自ユーザの会議端末２は、他ユーザＡ〜Ｄの会議端末２の音声交信用ＳＩＰ−ＵＲＩを宛先とするＩＮＶＩＴＥメッセージをプレゼンスサーバ１に送信する。プレゼンスサーバ１は、これらのＩＮＶＩＴＥメッセージを他ユーザＡ〜Ｄの会議端末２に送信する（Ｓ５００１）。これにより、自ユーザの会議端末２は、他ユーザＡ〜Ｄの会議端末２各々との間に音声交信用コネクションを確立する（Ｓ５００２）。
次に、自ユーザの会議端末２は、自ユーザの仮想位置情報をプレゼンスサーバ１に送信する。これを受けて、プレゼンスサーバ１は自ユーザの仮想位置情報を管理する（Ｓ５００３）。また、自ユーザの会議端末２は、位置情報送信要求をプレゼンスサーバ１に送信する（Ｓ５００４）。これを受けて、プレゼンスサーバ１は他ユーザＡ〜Ｄの仮想位置情報を自ユーザの会議端末２に送信する（Ｓ５００５）。
次に、自ユーザの会議端末２は、前方ユーザの検出を行う（Ｓ５００６）。ここでは、前方ユーザとして他ユーザＡ〜Ｃが検出されたものとする。この場合、自ユーザの会議端末２は、前方ユーザＡ〜Ｃの会議端末２各々の映像交信用ＳＩＰ−ＵＲＩを宛先とするＩＮＶＩＴＥメッセージをプレゼンスサーバ１に送信する。プレゼンスサーバ１は、これらのＩＮＶＩＴＥメッセージを前方ユーザＡ〜Ｃの会議端末２各々に送信する（Ｓ５００７）。これにより、自ユーザの会議端末２は、前方ユーザＡ〜Ｃの会議端末２各々との間に映像交信用コネクションを確立する（Ｓ５００８）。
さて、自ユーザの会議端末２は、自ユーザの発話を検出すると（Ｓ５００９）、前方ユーザ以外の他ユーザであって、映像交信用コネクションが未確立である他ユーザＤの会議端末２の映像交信用ＳＩＰ−ＵＲＩを宛先とするＩＮＶＩＴＥメッセージをプレゼンスサーバ１に送信する。プレゼンスサーバ１は、このＩＮＶＩＴＥメッセージを他ユーザＤの会議端末２に送信する（Ｓ５０１０）。これにより、自ユーザの会議端末２は、他ユーザＤの会議端末２との間に映像交信用コネクションを確立する（Ｓ５０１１）。
また、自ユーザの会議端末２は、自ユーザの発話停止を検出すると（Ｓ５０１２）、前方ユーザ以外の他ユーザであって、映像交信用コネクションが確立中である他ユーザＤの会議端末２にＢＹＥメッセージを送信して、該映像交信用コネクションを解放する（Ｓ５０１３）。
以上、本発明の第１実施形態を説明した。本実施形態では、会議端末２のユーザが指定した当該ユーザの仮想空間における位置および向き対して前方に位置するユーザ各々の映像データを当該会議端末２に表示する。このため、ユーザ全員の映像データを会議端末２に表示する場合に比べて必要な帯域を小さくできる。また、会議端末２のユーザが、仮想空間において所望のユーザが自身の前方に位置するように自身の仮想空間における位置および向きを指定することにより、発話の有無に関わらずに、所望のユーザの様子を確認できる。したがって、本実施形態によれば、必要な帯域を低く抑えることができ、且つ、その会議のキーパーソン等の様子を容易に確認できる。
<<第２実施形態>>
図１７は本発明の第２実施形態が適用されたビデオ会議システムの概略構成図である。図示するように、本実施形態のビデオ会議システムは、プレゼンスサーバ１´、映像サーバ４、音声サーバ５および複数の会議端末２´がＩＰ網３を介して相互接続されて構成されている。
プレゼンスサーバ１´は、各会議端末２´からユーザの仮想位置情報を受信して管理する。また、映像サーバ４または音声サーバ５からの位置情報送信要求に応答して、各会議端末２´のユーザの仮想位置情報を映像サーバ４または音声サーバ５に送信する。なお、本実施形態のプレゼンスサーバ１´は、図２に示す第１実施形態のプレゼンスサーバ１からＳＩＰ処理部１０３を省略したものである。本実施形態のプレゼンスサーバ１´の処理フローは、図４に示す第１実施形態のプレゼンスサーバ１の処理フローからＳＩＰ処理（Ｓ１００７〜Ｓ１００９）を省略したものと同じになる。
映像サーバ４は、会議端末２´毎に、当該会議端末２´のユーザの映像データを受信する。また、会議端末２´毎に、当該会議端末２´のユーザ向けの会議画面データを生成し、当該会議端末２´に送信する。図１８は映像サーバ４の概略図である。
図示するように、映像サーバ４は、ＩＰ網３に接続するためのＩＰ網インターフェース部４０１と、ＲＴＰ処理部４０２と、ＳＩＰ処理部４０３と、プレゼンスプロバイダ４０４と、空間モデラ４０５と、前方ユーザ検出部４０６と、発話通知受信部４０７と、映像分配部４０８と、会議端末２´毎に設けられた会議画面生成部４０９と、を有する。
ＳＩＰ制御部４０３は、ＩＰ網インターフェース部４０１を介して各会議端末２´との間に映像交信用コネクションを確立する。
ＲＴＰ処理部４０２は、会議端末２´毎に、当該会議端末２´との間で確立されている映像交信用コネクションを介して当該会議端末２´からユーザの映像データを受信し、受信した映像データを、該映像データの送信元アドレスと共に、映像分配部４０８に出力する。また、ＲＴＰ処理部４０２は、会議端末２´毎に、当該会議端末２´に対応付けられた会議画面生成部４０９から出力された会議画面データを、当該会議端末２´との間で確立されている映像交信用コネクションを介して当該会議端末２´に送信する。
プレゼンスプロバイダ４０４は、ＩＰ網インターフェース部４０１を介してプレゼンスサーバ１に位置情報送信要求を定期的に送信し、その応答としてプレゼンスサーバ１から各会議端末２´のユーザのレコード（仮想位置情報）１０４０を受信する。そして、受信した各ユーザのレコード１０４０を空間モデラ４０５に通知する。
空間モデラ４０５は、プレゼンスプロバイダ４０４から各会議端末２´のユーザのレコード１０４０を受け取って保持すると共に、前方ユーザ検出部４０６に出力する。
発話通知受信部４０７は、ＩＰ網インターフェース部４０４を介していずれかの会議端末２´から発話通知を受信すると、該発話通知を該発話通知の送信元アドレスと共に前方ユーザ検出部４０６に通知する。また、発話停止通知を受信すると、該発話停止通知を該発話停止通知の送信元アドレスと共に前方ユーザ検出部４０６に通知する。
前方ユーザ検出部４０６は、会議端末２´毎に、空間モデラ２１１から受信した各ユーザのレコード１０４０の仮想位置情報に基づいて、仮想空間において当該会議端末２´のユーザの前方に位置する他ユーザを前方ユーザとして検出する。また、検出した前方ユーザ各々の会議画面における配置位置を決定する。そして、検出した前方ユーザ毎に、当該前方ユーザのレコード１０４０に含まれているユーザＩＤおよび映像交信用ＩＰアドレスと当該前方ユーザの会議画面における配置位置とを含む前方ユーザ情報を生成し、該前方ユーザ情報を対象となる会議端末２´のユーザＩＤに対応付けて映像分配部４０８に送信する。なお、前方ユーザの具体的な検出方法および配置位置決定方法は、第１実施形態の前方ユーザ検出部２１６と基本的に同様である（図６（Ａ）参照）。
また、前方ユーザ検出部４０６は、発話通知受信部４０７から発話通知を該発話通知の送信元アドレスと共に受け取ると、会議端末２´毎に、当該送信元アドレスが、当該会議端末２´のユーザに対する前方ユーザとして検出した何れかのユーザの映像交信用ＩＰアドレスと一致するか否かを調べる。そして、一致しない場合に、当該送信元アドレスを持つユーザを、当該会議端末２´のユーザに対する発話ユーザとして検出し、検出した発話ユーザの会議画面における配置位置を決定する。そして、検出した発話ユーザのレコード１０４０に含まれているユーザＩＤおよび映像交信用ＩＰアドレス（発話通知の送信元アドレス）と当該発話ユーザの会議画面における配置位置とを含む発話ユーザ情報を生成し、該発話ユーザ情報を対象となる会議端末２´のユーザＩＤに対応付けて映像分配部４０８に送信する。なお、発話ユーザの具体的な配置位置決定方法は、第１実施形態の前方ユーザ検出部２１６と基本的に同様である（図６（Ｂ）参照）。
また、前方ユーザ検出部４０６は、発話通知受信部４０７から発話停止通知を該発話通知の送信元アドレスと共に受け取ると、映像分配部４０８に出力している前方ユーザ情報のうち、当該発話停止通知の送信元アドレスを映像交信用ＩＰアドレスとする前方ユーザ情報の生成および出力を停止する。
映像分配部４０８は、会議端末２´毎に、ＲＴＰ処理部４０２から受け取った各ユーザの映像データの中から、当該会議端末２´に送信する会議画面に利用する映像データを抽出する。具体的には、会議端末２´毎に次の処理を行う。すわわち、前方ユーザ検出部４０６から受信した前方ユーザ情報および発話ユーザ情報のうち、当該会議端末２´のユーザＩＤに対応付けられている前方ユーザ情報および発話ユーザ情報を、当該会議端末２´の前方ユーザ情報および発話ユーザ情報として検出する。また、ＲＴＰ処理部４０２から受け取った各ユーザの映像データのうち、当該会議端末２´の前方ユーザ情報あるいは発話ユーザ情報の映像交信用ＩＰアドレスを送信元アドレスとする映像データを検出する。そして、検出した映像データを、当該映像データの送信元アドレスを映像交信用ＩＰアドレスとする当該会議端末２の前方ユーザ情報あるいは発話ユーザ情報と共に、当該会議端末２´に対応付けられた会議画面生成部４０９に出力する。
会議画面生成部４０９は、図７に示すような会議画面雛形データ２０９０を保持している。会議画面生成部４０９は、この会議画面雛形データ２０９０を用いて、映像分配部４０８から受け取った各映像データを、前方ユーザの映像データについては複数の組２０９３のいずれかに当該前方ユーザのユーザＩＤと共に表示し、前方ユーザ以外の発話ユーザの映像データについては少なくとも１つの組２０９４のいずれかに当該発話ユーザのユーザＩＤと共に表示する会議画面データを生成し、ＲＴＰ処理部４０２に出力する。
なお、各会議画面生成部４０９の動作フローは、図８および図９に示す第１実施形態の会議画面生成部２０９の動作フローと基本的に同様である。但し、次の点で異なる。
すなわち、映像データは、前方ユーザ情報あるいは発話ユーザ情報に対応付けられて映像分配部４０８から送られてくる。したがって、図８のＳ２００１、Ｓ２００２において、会議画面生成部２０９は、映像分配部４０８から受信した前方ユーザ情報の中から会議画面の配置位置が画面中央である前方ユーザ情報を抽出し、映像分配部４０８から受信した映像データの中から前記抽出した前方ユーザ情報に対応付けられている映像データを検索する。また、図８のＳ２００７、Ｓ２００８において、会議画面生成部２０９は、映像分配部４０８から受信した前方ユーザ情報の中から、会議画面の配置位置が画面中央から設定値Ｈへｎ番目の位置である前方ユーザ情報を抽出し、映像分配部４０８から受信した映像データの中から前記抽出した前方ユーザ情報に対応付けられている映像データを検索する。また、図９のＳ２０１６において、会議画面生成部２０９は、映像分配部４０８から受信した発話ユーザ情報の中から、会議画面雛形データ２０９０中の設定値Ｊ側に位置する少なくとも１つの組２０９４のうち、画面中央側から設定値Ｊへｍ番目の組を配置位置とする発ユーザ情報を抽出する。また、映像分配部４０８から受信した映像データの中から前記抽出した発話ユーザ情報に対応付けられている映像データを検索する。そして、図９のＳ２０２１において、生成した会議画面データ（図１０参照）をＲＴＰ処理部４０２に出力する。
音声サーバ５は、会議端末２´毎に、当該会議端末２´のユーザの音声データを受信する。また、音声サーバ５は、会議端末２´毎に、当該会議端末２´のユーザ向けの会議音声データ（３Ｄオーディオデータ）を生成し、当該会議端末２´に送信する。図１９は音声サーバ５の概略図である。
図示するように、音声サーバ５は、ＩＰ網３に接続するためのＩＰ網インターフェース部５０１と、ＲＴＰ処理部５０２と、ＳＩＰ処理部５０３と、プレゼンスプロバイダ５０４と、空間モデラ５０５と、ユーザ情報生成部５０６と、音声分配部５０８と、会議端末２´毎に設けられたオーディオレンダラ５０９と、を有する。
ＳＩＰ制御部５０３は、ＩＰ網インターフェース部５０１を介して各会議端末２´との間に音声交信用コネクションを確立する。
ＲＴＰ処理部５０２は、会議端末２´毎に、当該会議端末２´との間で確立されている音声交信用コネクションを介して当該会議端末２´からユーザの音声データを受信し、受信した音声データを、該音声データの送信元アドレスと共に、音声分配部５０８に出力する。また、ＲＴＰ処理部５０２は、会議端末２´毎に、当該会議端末２´に対応付けられたオーディオレンダラ５０９から出力された会議音声データを、当該会議端末２´との間で確立されている音声交信用コネクションを介して当該会議端末２´に送信する。
プレゼンスプロバイダ５０４は、ＩＰ網インターフェース部５０１を介してプレゼンスサーバ１に位置情報送信要求を定期的に送信し、その応答としてプレゼンスサーバ１から各会議端末２´のユーザのレコード（仮想位置情報）１０４０を受信する。そして、受信した各ユーザのレコード１０４０を空間モデラ５０５に通知する。
空間モデラ５０５は、プレゼンスプロバイダ５０４から各会議端末２´のユーザのレコード１０４０を受け取って保持すると共に、ユーザ情報生成部５０６に出力する。
ユーザ情報生成部５０６は、会議端末２´毎に、空間モデラ２１１から受信した各ユーザのレコード１０４０の中から当該会議端末２´のユーザＩＤを含むレコード１０４０を特定する。そして、特定したレコード１０４０に含まれているユーザＩＤ、音声交信用ＩＰアドレスおよび仮想位置情報を含む自ユーザ情報を生成し、音声分配部５０８に送信する。また、ユーザ情報生成部５０６は、前記特定したレコード１０４０以外のレコード１０４０毎に、当該レコード１０４０に含まれているユーザＩＤ、音声交信用ＩＰアドレスおよび仮想位置情報を含む他ユーザ情報を生成し、前記特定したレコード１０４０に含まれている自ユーザのユーザＩＤに対応付けて音声分配部５０８に送信する。
音声分配部５０８は、会議端末２´毎に、ＲＴＰ処理部５０２から受け取った各ユーザの音声データの中から、当該会議端末２´に送信する会議音声データに利用する音声データを抽出する。具体的には、会議端末２´毎に次の処理を行う。すわわち、ユーザ情報生成部５０６から受信した自ユーザ情報のうち、当該会議端末２´のユーザＩＤを含む自ユーザ情報を検出し、これを当該会議端末２´の自ユーザ情報として、当該会議端末２´に対応付けられたディオレンダラ５０９に出力する。また、ユーザ情報生成部５０６から受信した他ユーザ情報のうち、当該会議端末２´のユーザＩＤに対応付けられている他ユーザ情報を、当該会議端末２´の他ユーザ情報として検出する。また、ＲＴＰ処理部５０２から受け取った各ユーザの音声データのうち、当該会議端末２´の他ユーザ情報の音声交信用ＩＰアドレスを送信元アドレスとする音声データを検出する。そして、検出した音声データを、当該音声データの送信元アドレスを音声交信用ＩＰアドレスとする当該会議端末２の他ユーザ情報と共に、当該会議端末２´に対応付けられたオーディオレンダラ５０９に出力する。
オーディオレンダラ５０９は、音声分配部５０８から各音声データを他ユーザ情報と共に受信する。また、音声分配部５０８から自ユーザ情報を受信する。そして、受信した各音声データをバッファリングすることによって、各音声データ間で同期させる（対応付ける）。また、オーディオレンダラ５０９は、同期させた各音声データを、各音声データに付与された他ユーザ情報の仮想位置情報と自ユーザ情報の仮想位置情報とにより特定される、仮想空間における各他ユーザと自ユーザとの相対位置に基づいて立体化する。そして、オーディオレンダラ５０９は、２チャンネル（左チャンネルと右チャンネル）の信号データ（信号列）を含む会議音声データをＲＴＰ処理部５０２に出力する。なお、音声データの立体化の方法は、第１実施形態のオーディオレンダラ２０８のそれと基本的に同様である（図１２および図１３参照）。
会議端末２´は、映像サーバ４との間に映像交信用コネクションを確立し、該コネクションを介して自ユーザの映像データを映像サーバ４に送信する。また、該コネクションを介して映像サーバ４より会議画面データを受信して表示する。図２０は会議端末２´の概略構成図である。
図示するように、会議端末２´は、音声入力部２０１と、映像入力部２０２と、音声出力部２０３と、映像出力部２０４と、操作受付部２０５と、オーディオエンコーダ２０６と、ビデオエンコーダ２０７と、オーディオデコーダ２３８と、ビデオデコーダ２３９と、プレゼンスプロバイダ２１０と、空間モデラ２１１と、ＩＰ網インターフェース部２１２と、ＲＴＰ処理部２３３と、ＳＩＰ制御部２３４と、発話通知部２３５と、着席情報作成部２１７と、を有する。ここで、図５に示す第１実施形態の会議端末２と同じ機能を有するものには同じ符号を付している。
ＳＩＰ制御部２３４は、ＩＰ網インターフェース部２１２を介して映像サーバ４との間に映像交信用コネクションを確立する。また、ＩＰ網インターフェース部２１２を介して音声サーバ５との間に音声交信用コネクションを確立する。
ＲＴＰ処理部２３３は、映像サーバ４との間で確立されている映像交信用コネクションを介してビデオエンコーダ２０７から出力された映像データを映像サーバ４に送信すると共に、該映像交信用コネクションを介して映像サーバ４から会議画面データを受信し、受信した会議画面データをビデオデコーダ２３９に送信する。また、音声サーバ５の間で確立されている音声交信用コネクションを介してオーディオエンコーダ２０６から出力された音声データを音声サーバ５に送信すると共に、該音声交信用コネクションを介して音声サーバ５から会議音声データを受信し、受信した会議音声データをオーディオデコーダ２３８に送信する。
ビデオデコーダ２３９は、ＲＴＰ処理部２３３から受け取った会議画面データをデコードして映像信号を映像出力部２０４に出力する。オーディオデコーダ２３８は、ＲＴＰ処理部２３３から受け取った会議音声データをデコードして音声信号を音声出力部２０４に出力する。
発話検出部２３５は、音声入力部２０１に入力する音声信号からユーザの発話の有無をモニタする。そして、発話（有音状態）を検出した場合に、ＩＰ網インターフェース部２１２を介して映像サーバ４に発話通知を送信する。また、所定期間（例えば１０秒）の無音状態を検出した場合に、発話停止通知を映像サーバ４に送信する。
上記構成のプレゼンスサーバ１´、映像サーバ４および音声サーバ５も、第１実施形態のプレゼンスサーバ１と同様に、図１５に示すような、プログラムに従ってデータの加工・演算を行なうＣＰＵ３０１と、ＣＰＵ３０１が直接読み書き可能なメモリ３０２と、ハードディスク等の外部記憶装置３０３と、ＩＰ網３を介して外部システムとデータ通信をするための通信装置３０４と、を有する一般的なコンピュータシステムを利用することができる。具体的には、サーバ、ホストコンピュータなどである。
また、上記構成の会議端末２´も、第１実施形態の会議端末２と同様に、図１５に示すような、プログラムに従ってデータの加工・演算を行なうＣＰＵ３０１と、ＣＰＵ３０１が直接読み書き可能なメモリ３０２と、ハードディスク等の外部記憶装置３０３と、ＩＰ網３を介して外部システムとデータ通信をするための通信装置３０４と、入力装置３０５と、出力装置３０６とを有する一般的なコンピュータシステムを利用することができる。例えば、ＰＤＡ、ＰＣなどのコンピュータシステムである。
次に、上記構成のビデオ会議システムの概略動作を説明する。
図２１は図１７に示すビデオ会議システムの概略動作を説明するための図である。ここで、ユーザＥ〜Ｇの会議端末２´各々は、音声サーバ５および映像サーバ４のそれぞれとの間に音声交信用コネクション、映像交信用コネクションを確立しているものとする。
さて、ユーザＥ〜Ｇの会議端末２´各々は、定期的に、自ユーザの仮想位置情報をプレゼンスサーバ１´に送信する（Ｓ６００１）。これを受けて、プレゼンスサーバ１´はユーザＥ〜Ｇ各々の仮想位置情報を管理する。
また、音声サーバ５は、定期的に、位置情報送信要求をプレゼンスサーバ１´に送信し（Ｓ６００２）、その応答として、プレゼンスサーバ１´から全てのユーザＥ〜Ｇの仮想位置情報を入手する（Ｓ６００３）。
また、映像サーバ４は、定期的に、位置情報送信要求をプレゼンスサーバ１´に送信し（Ｓ６００４）、その応答として、プレゼンスサーバ１´から全てのユーザＥ〜Ｇの仮想位置情報を入手する（Ｓ６００５）。
また、ユーザＥ〜Ｇの会議端末２´各々は、音声サーバ５との間に確立されている音声交信用コネクションを介して自ユーザの音声データを音声サーバ５に送信する（Ｓ６００６）。音声サーバ５は、ユーザＥ〜Ｇの会議端末２´から送られてきた音声データを用いて、会議端末２´毎に、当該会議端末２のユーザＥ〜Ｇ向けの会議音声データを生成し、当該会議端末２との間に確立されている音声交信用コネクションを用いて当該会議端末に生成した会議音声データを送信する（Ｓ６００７）。
また、ユーザＥ〜Ｇの会議端末２´各々は、映像サーバ４との間に確立されている映像交信用コネクションを介して自ユーザの映像データを映像サーバ４に送信する（Ｓ６００８）。映像サーバ４は、ユーザＥ〜Ｇの会議端末２´から送られてきた映像データを用いて、会議端末２´毎に、当該会議端末２のユーザＥ〜Ｇ向けの会議画面データを生成し、当該会議端末２との間に確立されている映像交信用コネクションを用いて当該会議端末に生成した会議画面データを送信する（Ｓ６００９）。
また、ユーザＥ〜Ｇの会議端末２´各々は、自ユーザの発話を検出すると（Ｓ６０１０）、発話検出通知を映像サーバ４に送信する（Ｓ６０１１）。これを受けて、映像サーバ４は、発話検出通知の送信元の映像データを必要に応じて会議画面データに含める。
以上、本発明の第２実施形態を説明した。本実施形態では、各会議端末２´は映像サーバ４との間にのみ映像交信用コネクションを確立すればよいので、ＩＰ網３のネットワークトラフィックを低減できる。また、会議端末２´のユーザが、仮想空間において所望のユーザが自身の前方に位置するように自身の仮想空間における位置および向きを指定することにより、発話の有無に関わらずに、所望のユーザの様子を確認できる。したがって、本実施形態によれば、必要な帯域を低く抑えることができ、且つ、その会議のキーパーソン等の様子を容易に確認できる。
なお、本発明は、上記の各実施形態に限定されるものではなく、その要旨の範囲内で数々の変形が可能である。
例えば、上記の各実施形態では、コネクションの確立にＳＩＰを利用する場合を例にとり説明した。しかし、本発明はこれに限定されない。例えばＨ.３２３等のＳＩＰ以外の呼制御プロトコルを利用してもよい。なお、上記の第２実施形態のように、会議端末２´と映像サーバ４、音声サーバ５との間で常時通信を行なうことを前提する場合は、呼制御プロトコルに従った呼制御シーケンスを省略できる。
また、上記の第１実施形態に上記の第２実施形態の音声サーバ５を導入し、各会議端末２と音声サーバ５との間に音声交信用コネクションを確立して、会議端末２のオーディオレンダラ２０８による会議音声データ生成処理を省略してもよい。あるいは、上記の第１実施形態に上記の第２実施形態の映像サーバ４を導入し、各会議端末２と映像サーバ４との間に映像交信用コネクションを確立して、会議端末２の会議画面生成部２０９による会議画面データ生成処理を省略してもよい。
図１は本発明の第１実施形態が適用されたビデオ会議システムの概略構成図である。 図２はプレゼンスサーバ１の概略構成図である。 図３は位置情報記憶部１０４の登録内容を模式的に示した図である。 図４はプレゼンスサーバ１の動作フローを説明する図である。 図５は会議端末３の概略構成図である。 図６（Ａ）は前方ユーザ検出部２１６による前方ユーザの検出および配置位置決定を説明するための図であり、図６（Ｂ）は前方ユーザ検出部２１６による発話ユーザの配置位置決定を説明するための図である。 図７は会議画面雛形データ２０９０の表示例を示す図である。 図８は会議画面生成部２０９の動作フローを説明する図である。 図９は会議画面生成部２０９の動作フローを説明する図である。 図１０は会議画面データの表示例を示す図である。 図１１は着席情報表示データの表示例を示す図である。 図１２はオーディオレンダ２０８の処理を説明する図である。 図１３は天井と床を省略した２次元のimage source methodを模式的に表した図である。 図１４はＳＩＰ制御部２１４の動作フローを説明する図である。 図１５はビデオ会議システムを構成する各装置のハードウエア構成例を示す図である。 図１６は図１に示すビデオ会議システムの概略動作を説明するための図である。 図１７は本発明の第２実施形態が適用されたビデオ会議システムの概略構成図である。 図１８は映像サーバ４の概略図である。 図１９は音声サーバ５の概略図である。 図２０は会議端末２´の概略構成図である。 図２１は図１７に示すビデオ会議システムの概略動作を説明するための図である。
符号の説明
１、１´…プレゼンスサーバ、２、２´…会議端末、３…ＩＰ網、４…映像サーバ、５…音声サーバ、１０１…ＩＰ網インターフェース部、１０２…位置情報管理部、１０３…ＳＩＰサーバ処理部、１０４…位置情報記憶部、２０１…音声入力部、２０２…映像入力部、２０３…音声出力部、２０４…映像出力部、２０５…操作受付部、２０６…オーディオエンコーダ、２０７…ビデオエンコーダ、２０８…オーディオレンダラ、２０９…会議画面生成部、２１０…プレゼンスプロバイダ、２１１…空間モデラ、２１２…ＩＰ網インターフェース部、２１３…ＲＴＰ処理部、２１４…ＳＩＰ制御部、２１５…発話検出部、２１６…前方ユーザ検出部、２１７…着席情報生成部、２３３…ＲＴＰ処理部、２３４…ＳＩＰ制御部、２３８…オーディオデコーダ、２３９…ビデオデコーダ、４０１…ＩＰ網インターフェース部、４０２…ＲＴＰ処理部、４０３…ＳＩＰ制御部、４０４…プレゼンスプロバイダ、４０５…空間モデラ、４０６…前方ユーザ検出部、４０８…映像分配部、４０９…会議画面生成部、５０１…ＩＰ網インターフェース部、５０２…ＲＴＰ処理部、５０３…ＳＩＰ制御部、５０４…プレゼンスプロバイダ、５０５…空間モデラ、５０６…ユーザ情報生成部、５０８…音声分配部、５０９…オーディオレンダラ

Claims (12)

  1. ビデオ会議システムであって、
    複数の会議端末と、前記複数の会議端末各々のユーザの仮想空間上における位置を管理するプレゼンスサーバと、を有し、
    前記複数の会議端末各々は、
    他の会議端末からの映像送信要求に従い、自会議端末のユーザである自ユーザの映像データを要求元の会議端末に送信する映像データ送信手段と、
    前記自ユーザの前記仮想空間上における位置および向きを受け付ける位置受付手段と、
    前記位置受付手段で受け付けた位置および向きを含む自ユーザの仮想位置情報を前記プレゼンスサーバに送信する端末側位置情報送信手段と、
    前記プレゼンスサーバから自会議端末以外の会議端末のユーザである他ユーザ各々の仮想位置情報を受信する端末側位置情報受信手段と、
    前記自ユーザの仮想位置情報および前記他ユーザ各々の仮想位置情報に基づいて、前記仮想空間において前記自ユーザの前方に位置する少なくともひとりの他ユーザを、前方ユーザとして検出する前方ユーザ検出手段と、
    前記前方ユーザ検出手段で検出した前方ユーザ各々の会議端末に映像送信要求を送信して、前記前方ユーザ各々の会議端末からの前方ユーザの映像データを受信する映像データ受信手段と、
    前記映像データ受信手段で受信した前方ユーザの映像データ各々を含む会議画面をディスプレイに表示する表示制御手段と、を有し、
    前記プレゼンスサーバは、
    前記複数の会議端末各々から送られてきたユーザの仮想位置情報を管理する管理手段と、
    前記複数の会議端末の各々に対して、前記管理手段で管理されている当該会議端末以外の各会議端末のユーザの位置情報を当該会議端末に送信するサーバ側位置情報送信手段と、を有すること
    を特徴とするビデオ会議システム。
  2. 請求項１に記載のビデオ会議システムであって、
    前記複数の会議端末各々の表示制御手段は、
    前記前方ユーザ各々の仮想位置情報および前記自ユーザの仮想位置情報により特定される、前記仮想空間上における前記前方ユーザ各々と前記自ユーザとの相対位置に従って、前記前方ユーザ各々の映像データを前記会議画面に複数設けられた表示枠に順番に配置すること
    を特徴とするビデオ会議システム。
  3. 請求項１又は２に記載のビデオ会議システムであって、
    前記複数の会議端末各々は、
    前記自ユーザの音声データを、自会議端末以外の会議端末各々に送信する音声データ送信手段と、
    自会議端末以外の会議端末各々から他ユーザの音声データを受信する音声データ受信手段と、
    前記音声データ受信手段で受信した他ユーザの音声データ各々に対して、前記他ユーザ各々の仮想位置情報および前記自ユーザの仮想位置情報により特定される、前記仮想空間における前記他ユーザ各々と前記自ユーザとの相対位置に応じた立体音響処理を施し、立体音響処理された他ユーザの音声データ各々を合成して、立体合成音声データを生成する音声合成手段と、
    前記音声合成手段により生成された立体合成音声データをスピーカから出力する音声制御手段と、
    前記自ユーザの発話を検出する発話検出手段と、をさらに有し、
    前記複数の会議端末各々の映像データ送信手段は、
    前記発話検出手段が前記自ユーザの発話を検出した場合に、自会議端末以外の会議端末各々に前記自ユーザの映像データを、発話ユーザの映像データとして送信し、
    前記複数の会議端末各々の映像データ受信手段は、
    前記発話ユーザの映像データを受信し、
    前記複数の会議端末各々の表示制御手段は、
    前記映像データ受信手段で受信した発話ユーザの映像データが前記前方ユーザ以外の他ユーザの映像データである場合に、当該発話ユーザの映像データを前記会議画面に含めてディスプレイに表示すること
    を特徴とするビデオ会議システム。
  4. 請求項３に記載のビデオ会議システムであって、
    前記複数の会議端末各々の表示制御手段は、
    前記映像データ受信手段で受信した発話ユーザの映像データが前記前方ユーザ以外の他ユーザの映像データである場合に、前記発話ユーザの映像データを、前記自ユーザの位置情報および前記発話ユーザの位置情報により特定される、前記仮想空間上における前記発話ユーザと前記自ユーザとの相対位置に従って、前記会議画面中の前記前方ユーザ各々の映像データが配置された表示枠の右側あるいは左側にある表示枠に配置すること
    を特徴とするビデオ会議システム。
  5. ビデオ会議システムであって、
    複数の会議端末と、前記複数の会議端末各々のユーザの仮想空間上における位置を管理するプレゼンスサーバと、前記複数の会議端末各々に映像データを送信する映像サーバと、を有し、
    前記複数の会議端末各々は、
    自会議端末のユーザである自ユーザの映像データを前記映像サーバに送信する端末側映像データ送信手段と、
    前記自ユーザの前記仮想空間上における位置および向きを受け付ける位置受付手段と、
    前記位置受付手段で受け付けた位置および向きを含む自ユーザの仮想位置情報を前記プレゼンスサーバに送信する端末側位置情報送信手段と、
    前記映像サーバから会議画面データを受信する端末側映像データ受信手段と、
    前記端末側映像データ受信手段で受信した会議画面データをディスプレイに表示する表示制御手段と、を有し、
    前記映像サーバは、
    前記複数の会議端末各々から当該会議端末のユーザの映像データを受信する映像サーバ側映像データ受信手段と、
    前記プレゼンスサーバから前記複数の会議端末各々の仮想位置情報を受信する映像サーバ側位置情報受信手段と、
    前記複数の会議端末の各々について、当該会議端末の自ユーザの仮想位置情報および他ユーザ各々の仮想位置情報に基づいて、前記仮想空間において当該自ユーザの前方に位置する少なくともひとりの他ユーザを、前方ユーザとして検出する前方ユーザ検出手段と、
    前記複数の会議端末の各々に対して、前記映像サーバ側映像データ受信手段で受信した前記複数の会議端末各々のユーザの映像データのうち、前記前方ユーザ検出手段で検出した当該会議端末の前方ユーザ各々の映像データを含む会議画面データを、当該会議端末へ送信する映像サーバ側映像データ送信手段と、を有し、
    前記プレゼンスサーバは、
    前記複数の会議端末各々から送られてきたユーザの仮想位置情報を受信するプレゼンスサーバ側位置情報受信手段と、
    前記複数の会議端末の各々について、当該会議端末から送られてきたユーザの仮想位置情報を管理する管理手段と、
    前記管理手段で管理されている前記複数の会議端末各々のユーザの仮想位置情報を前記映像サーバに送信するプレゼンスサーバ側位置情報送信手段と、を有すること
    を特徴とするビデオ会議システム。
  6. 請求項５に記載のビデオ会議システムであって、
    前記映像サーバの映像サーバ側映像データ送信手段は、
    前記複数の会議端末の各々に対して、前記前方ユーザ検出手段で検出した当該会議端末の前方ユーザ各々と当該会議端末の自ユーザとの前記仮想空間上における相対位置に従って、当該前方ユーザ各々の映像データの前記会議画面における配置位置を決定し、当該前方ユーザ各々の映像データ各々が、前記決定された配置位置に従って、前記会議画面に複数設けられた表示枠に順番に配置された会議画面データを、当該会議端末に送信すること
    を特徴とするビデオ会議システム。
  7. 請求項５又は６に記載のビデオ会議システムであって、
    前記複数の会議端末各々に音声データを送信する音声サーバをさらに有し、
    前記複数の会議端末各々は、
    自会議端末のユーザである自ユーザの音声データを前記音声サーバに送信する音声データ送信手段と、
    前記音声サーバから立体合成音声データを受信する立体合成音声データ受信手段と、
    前記立体合成音声データ受信手段で受信した立体合成音声データをスピーカから出力する音声制御手段と、
    前記自ユーザの発話を検出して、発話検出信号を前記映像サーバに送信する発話検出手段と、をさらに有し、
    前記音声サーバは、
    前記複数の会議端末各々から当該会議端末のユーザの音声データを受信する音声データ受信手段と、
    前記プレゼンスサーバから前記複数の会議端末各々の仮想位置情報を受信する音声サーバ側位置情報受信手段と、
    前記複数の会議端末の各々について、前記音声データ受信手段で受信した音声データのうち、当該会議端末以外の会議端末のユーザである他ユーザの音声データ各々に対して、前記他ユーザ各々の仮想位置情報および当該会議端末のユーザである自ユーザの仮想位置情報により特定される、前記仮想空間における前記他ユーザ各々と前記自ユーザとの相対位置に応じた立体音響処理を施し、立体音響処理された他ユーザの音声データ各々を合成して、立体合成音声データを生成する音声合成手段と、
    前記複数の会議端末各々に対して、前記音声合成手段により生成された当該会議端末に対する立体合成音声データを当該会議端末に送信する立体合成音声データ送信手段と、を有し、
    前記映像サーバは、
    前記会議端末から発話検出信号を受信する発話検出信号受信手段をさらに有し、
    前記映像サーバの映像サーバ側映像データ送信手段は、
    前記発話検出信号受信手段が発話検出信号を受信した場合に、前記複数の会議端末の各々について、当該発話検出信号の送信元のユーザが前記前方ユーザ検出手段で検出した当該会議端末の前方ユーザ以外のユーザである場合に、当該ユーザの映像データを、発話ユーザの映像データとして会議画面データに含めて、当該会議端末へ送信すること
    を特徴とするビデオ会議システム。
  8. 請求項７に記載のビデオ会議システムであって、
    前記映像サーバの映像サーバ側映像データ送信手段は、
    前記複数の会議端末の各々に対して、当該会議端末に送信する発話ユーザの映像データの前記会議画面中における配置位置を、前記仮想空間上における前記発話ユーザと当該会議端末の自ユーザとの相対位置に従って決定し、前記発話ユーザの映像データが、前記決定された配置位置に従って、前記会議画面中の前記前方ユーザ各々の映像データが配置された表示枠の右側あるいは左側にある表示枠に配置された会議画面データを、当該会議端末に送信すること
    を特徴とするビデオ会議システム。
  9. 会議端末であって、
    他の会議端末からの映像送信要求に従い、自会議端末のユーザである自ユーザの映像データを要求元の会議端末に送信する映像データ送信手段と、
    前記自ユーザの仮想空間上における位置および向きを受け付ける位置受付手段と、
    前記位置受付手段で受け付けた位置および向きを含む自ユーザの仮想位置情報を、ビデオ会議に参加する複数の会議端末各々のユーザの前記仮想空間上における位置を管理するプレゼンスサーバに送信する端末側位置情報送信手段と、
    前記プレゼンスサーバから自会議端末以外の会議端末のユーザである他ユーザ各々の仮想位置情報を受信する端末側位置情報受信手段と、
    前記自ユーザの仮想位置情報および前記他ユーザ各々の仮想位置情報に基づいて、前記仮想空間において前記自ユーザの前方に位置する少なくともひとりの他ユーザを、前方ユーザとして検出する前方ユーザ検出手段と、
    前記前方ユーザ検出手段で検出した前方ユーザ各々の会議端末に映像送信要求を送信して、前記前方ユーザ各々の会議端末からの前方ユーザの映像データを受信する映像データ受信手段と、
    前記映像データ受信手段で受信した前方ユーザの映像データ各々を含む会議画面をディスプレイに表示する表示制御手段と、を有すること
    を特徴とする会議端末。
  10. コンピュータ読み取り可能なプログラムであって、
    前記プログラムは、コンピュータを、
    他の会議端末からの映像送信要求に従い、自会議端末のユーザである自ユーザの映像データを要求元の会議端末に送信する映像データ送信手段と、
    前記自ユーザの仮想空間上における位置および向きを受け付ける位置受付手段、
    前記位置受付手段で受け付けた位置および向きを含む自ユーザの仮想位置情報を、複数の会議端末各々のユーザの前記仮想空間上における位置を管理するプレゼンスサーバに送信する端末側位置情報送信手段と、
    前記プレゼンスサーバから自会議端末以外の会議端末のユーザである他ユーザ各々の位置情報を受信する端末側位置情報受信手段と、
    前記自ユーザの仮想位置情報および前記他ユーザ各々の仮想位置情報に基づいて、前記仮想空間において前記自ユーザの前方に位置する少なくともひとりの他ユーザを、前方ユーザとして検出する前方ユーザ検出手段と、
    前記前方ユーザ検出手段で検出した前方ユーザ各々の会議端末に映像送信要求を送信して、前記前方ユーザ各々の会議端末からの前方ユーザの映像データを受信する映像データ受信手段と、
    前記映像データ受信手段で受信した前方ユーザの映像データ各々を含む会議画面をディスプレイに表示する表示制御手段と、を有する会議端末として、機能させること
    を特徴とするコンピュータ読み取り可能なプログラム。
  11. 複数の会議端末各々に映像データを送信する映像サーバであって、
    前記複数の会議端末各々から当該会議端末のユーザの映像データを受信する映像サーバ側映像データ受信手段と、
    前記複数の会議端末各々のユーザの仮想空間上における位置を管理するプレゼンスサーバから前記複数の会議端末各々の仮想位置情報を受信する映像サーバ側位置情報受信手段と、
    前記複数の会議端末の各々について、当該会議端末の自ユーザの仮想位置情報および他ユーザ各々の仮想位置情報に基づいて、前記仮想空間において当該自ユーザの前方に位置する少なくともひとりの他ユーザを、前方ユーザとして検出する前方ユーザ検出手段と、
    前記複数の会議端末の各々に対して、前記映像サーバ側映像データ受信手段で受信した前記複数の会議端末各々のユーザの映像データのうち、前記前方ユーザ検出手段で検出した当該会議端末の前方ユーザ各々の映像データを含む会議画面データを、当該会議端末へ送信する映像サーバ側映像データ送信手段と、を有すること
    を特徴とする映像サーバ。
  12. コンピュータ読み取り可能なプログラムであって、
    前記プログラムは、コンピュータを、
    前記複数の会議端末各々から当該会議端末のユーザの映像データを受信する映像サーバ側映像データ受信手段と、
    前記複数の会議端末各々のユーザの仮想空間上における位置を管理するプレゼンスサーバから前記複数の会議端末各々の仮想位置情報を受信する映像サーバ側位置情報受信手段と、
    前記複数の会議端末の各々について、当該会議端末の自ユーザの仮想位置情報および他ユーザ各々の仮想位置情報に基づいて、前記仮想空間において当該自ユーザの前方に位置する少なくともひとりの他ユーザを、前方ユーザとして検出する前方ユーザ検出手段と、
    前記複数の会議端末の各々に対して、前記映像サーバ側映像データ受信手段で受信した前記複数の会議端末各々のユーザの映像データのうち、前記前方ユーザ検出手段で検出した当該会議端末の前方ユーザ各々の映像データを含む会議画面データを、当該会議端末へ送信する映像サーバ側映像データ送信手段と、を有する映像サーバとして、機能させること
    を特徴とするコンピュータ読み取り可能なプログラム。
JP2005068917A 2005-03-11 2005-03-11 ビデオ会議システム、プログラムおよび会議端末 Expired - Fee Related JP4741261B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2005068917A JP4741261B2 (ja) 2005-03-11 2005-03-11 ビデオ会議システム、プログラムおよび会議端末
US11/356,172 US7835764B2 (en) 2005-03-11 2006-02-17 Video conferencing system, conference terminal and image server

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005068917A JP4741261B2 (ja) 2005-03-11 2005-03-11 ビデオ会議システム、プログラムおよび会議端末

Publications (2)

Publication Number Publication Date
JP2006254166A true JP2006254166A (ja) 2006-09-21
JP4741261B2 JP4741261B2 (ja) 2011-08-03

Family

ID=36972308

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005068917A Expired - Fee Related JP4741261B2 (ja) 2005-03-11 2005-03-11 ビデオ会議システム、プログラムおよび会議端末

Country Status (2)

Country Link
US (1) US7835764B2 (ja)
JP (1) JP4741261B2 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008227693A (ja) * 2007-03-09 2008-09-25 Oki Electric Ind Co Ltd 話者映像表示制御システム、話者映像表示制御方法、話者映像表示制御プログラム、通信端末及び多地点テレビ会議システム
WO2009081550A1 (ja) * 2007-12-20 2009-07-02 Panasonic Corporation 接続装置、その接続方法、及びプログラム
JP2010232860A (ja) * 2009-03-26 2010-10-14 Sony Corp 情報処理装置、コンテンツ処理方法及びプログラム
WO2013115541A1 (ko) * 2012-02-03 2013-08-08 삼성에스디에스 주식회사 단말기, 영상 통화 제어 서버, 및 이를 이용한 영상 통화 시스템 및 방법
JP2014207568A (ja) * 2013-04-12 2014-10-30 富士通株式会社 情報処理装置、音声処理方法、及び音声処理プログラム
WO2016031549A1 (ja) * 2014-08-26 2016-03-03 株式会社リコー セッション制御システム、通信端末、通信システム、セッション制御方法、及びプログラム
WO2017098772A1 (ja) * 2015-12-11 2017-06-15 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP2019165845A (ja) * 2018-03-22 2019-10-03 株式会社コーエーテクモゲームス プログラム、画像処理方法、及び情報処理装置
JPWO2023042671A1 (ja) * 2021-09-17 2023-03-23
JP2024160220A (ja) * 2010-04-07 2024-11-13 アップル インコーポレイテッド 通話中のテレビ会議の確立

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7603413B1 (en) 2005-04-07 2009-10-13 Aol Llc Using automated agents to facilitate chat communications
US20100165069A1 (en) * 2006-03-29 2010-07-01 Shinya Kadono Image codec apparatus
WO2007129943A1 (en) * 2006-05-05 2007-11-15 Telefonaktiebolaget Lm Ericsson (Publ) Method and arrangement for management of virtual meetings
US8773494B2 (en) * 2006-08-29 2014-07-08 Microsoft Corporation Techniques for managing visual compositions for a multimedia conference call
US8990305B2 (en) * 2006-10-18 2015-03-24 Microsoft Corporation Techniques for virtual conferencing servers
US20080100694A1 (en) * 2006-10-27 2008-05-01 Microsoft Corporation Distributed caching for multimedia conference calls
WO2008064450A1 (en) * 2006-11-30 2008-06-05 Bce Inc. Method, system and apparatus for logging into a communication client
US8392503B2 (en) * 2007-06-19 2013-03-05 Cisco Technology, Inc. Reporting participant attention level to presenter during a web-based rich-media conference
US8208005B2 (en) * 2007-07-31 2012-06-26 Hewlett-Packard Development Company, L.P. System and method of determining the identity of a caller in a videoconferencing system
US8281003B2 (en) 2008-01-03 2012-10-02 International Business Machines Corporation Remote active window sensing and reporting feature
US8345664B2 (en) * 2008-01-11 2013-01-01 Panasonic Corporation IP communication apparatus
WO2009091026A1 (ja) * 2008-01-18 2009-07-23 Nec Corporation 利用者情報提供装置、利用者情報提示システム、及び利用者情報提示方法
US20090210802A1 (en) * 2008-02-19 2009-08-20 Microsoft Corporation Location information in presence
KR101545873B1 (ko) * 2008-09-26 2015-08-21 삼성전자주식회사 프리젠스 서비스 제공 시스템 및 방법
US20110158340A1 (en) * 2009-12-28 2011-06-30 Qualcomm Incorporated Virtual antenna array for wireless devices
US8731152B2 (en) 2010-06-18 2014-05-20 Microsoft Corporation Reducing use of periodic key frames in video conferencing
JP4945675B2 (ja) * 2010-11-12 2012-06-06 株式会社東芝 音響信号処理装置、テレビジョン装置及びプログラム
US20130028443A1 (en) * 2011-07-28 2013-01-31 Apple Inc. Devices with enhanced audio
US8879761B2 (en) 2011-11-22 2014-11-04 Apple Inc. Orientation-based audio
US9191619B2 (en) * 2012-08-01 2015-11-17 Google Inc. Using an avatar in a videoconferencing system
TWI477108B (zh) * 2013-02-22 2015-03-11 Quanta Comp Inc 視訊會議建立方法
US10142755B2 (en) * 2016-02-18 2018-11-27 Google Llc Signal processing methods and systems for rendering audio on virtual loudspeaker arrays
JP6306765B1 (ja) * 2017-02-27 2018-04-04 株式会社コロプラ 仮想空間を移動するためにコンピュータで実行される方法、当該方法をコンピュータに実行させるプログラムおよび情報処理装置
US11765320B2 (en) 2021-08-11 2023-09-19 Google Llc Avatar animation in virtual conferencing

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07147673A (ja) * 1993-11-22 1995-06-06 Nippon Telegr & Teleph Corp <Ntt> 人物映像表示システム
JPH07184180A (ja) * 1993-12-24 1995-07-21 Nec Corp 会議環境制御装置
JPH07236128A (ja) * 1994-02-25 1995-09-05 Sharp Corp 多地点会議制御装置
JPH10164539A (ja) * 1996-11-29 1998-06-19 Nec Corp 多画面伝送式多地点テレビ会議システム
JP2004007284A (ja) * 2002-05-31 2004-01-08 Ricoh Co Ltd 映像記録システム、プログラム及び記録媒体

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4400724A (en) * 1981-06-08 1983-08-23 The United States Of America As Represented By The Secretary Of The Army Virtual space teleconference system
US6330022B1 (en) * 1998-11-05 2001-12-11 Lucent Technologies Inc. Digital processing apparatus and method to support video conferencing in variable contexts
JP2000165831A (ja) * 1998-11-30 2000-06-16 Nec Corp 多地点テレビ会議システム
US6327567B1 (en) * 1999-02-10 2001-12-04 Telefonaktiebolaget L M Ericsson (Publ) Method and system for providing spatialized audio in conference calls
US7590231B2 (en) * 2003-08-18 2009-09-15 Cisco Technology, Inc. Supporting enhanced media communications in communications conferences
US7596102B2 (en) * 2004-12-06 2009-09-29 Sony Ericsson Mobile Communications Ab Image exchange for image-based push-to-talk user interface

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07147673A (ja) * 1993-11-22 1995-06-06 Nippon Telegr & Teleph Corp <Ntt> 人物映像表示システム
JPH07184180A (ja) * 1993-12-24 1995-07-21 Nec Corp 会議環境制御装置
JPH07236128A (ja) * 1994-02-25 1995-09-05 Sharp Corp 多地点会議制御装置
JPH10164539A (ja) * 1996-11-29 1998-06-19 Nec Corp 多画面伝送式多地点テレビ会議システム
JP2004007284A (ja) * 2002-05-31 2004-01-08 Ricoh Co Ltd 映像記録システム、プログラム及び記録媒体

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008227693A (ja) * 2007-03-09 2008-09-25 Oki Electric Ind Co Ltd 話者映像表示制御システム、話者映像表示制御方法、話者映像表示制御プログラム、通信端末及び多地点テレビ会議システム
WO2009081550A1 (ja) * 2007-12-20 2009-07-02 Panasonic Corporation 接続装置、その接続方法、及びプログラム
JP2009152906A (ja) * 2007-12-20 2009-07-09 Panasonic Corp 接続装置、その接続方法、及びプログラム
US8676889B2 (en) 2007-12-20 2014-03-18 Panasonic Corporation Connection device, connection method for the same, and program
JP2010232860A (ja) * 2009-03-26 2010-10-14 Sony Corp 情報処理装置、コンテンツ処理方法及びプログラム
JP2024160220A (ja) * 2010-04-07 2024-11-13 アップル インコーポレイテッド 通話中のテレビ会議の確立
US9307194B2 (en) 2012-02-03 2016-04-05 Samsung Sds Co., Ltd. System and method for video call
WO2013115541A1 (ko) * 2012-02-03 2013-08-08 삼성에스디에스 주식회사 단말기, 영상 통화 제어 서버, 및 이를 이용한 영상 통화 시스템 및 방법
JP2014207568A (ja) * 2013-04-12 2014-10-30 富士通株式会社 情報処理装置、音声処理方法、及び音声処理プログラム
WO2016031549A1 (ja) * 2014-08-26 2016-03-03 株式会社リコー セッション制御システム、通信端末、通信システム、セッション制御方法、及びプログラム
JPWO2016031549A1 (ja) * 2014-08-26 2017-07-13 株式会社リコー セッション制御システム、通信端末、通信システム、セッション制御方法、及びプログラム
WO2017098772A1 (ja) * 2015-12-11 2017-06-15 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JPWO2017098772A1 (ja) * 2015-12-11 2018-09-27 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US10511807B2 (en) 2015-12-11 2019-12-17 Sony Corporation Information processing apparatus, information processing method, and program
US10834359B2 (en) 2015-12-11 2020-11-10 Sony Corporation Information processing apparatus, information processing method, and program
JP2019165845A (ja) * 2018-03-22 2019-10-03 株式会社コーエーテクモゲームス プログラム、画像処理方法、及び情報処理装置
JP7157537B2 (ja) 2018-03-22 2022-10-20 株式会社コーエーテクモゲームス プログラム、画像処理方法、及び情報処理装置
JPWO2023042671A1 (ja) * 2021-09-17 2023-03-23
JP7845371B2 (ja) 2021-09-17 2026-04-14 ヤマハ株式会社 音信号処理方法、端末、音信号処理システム、管理装置

Also Published As

Publication number Publication date
JP4741261B2 (ja) 2011-08-03
US20060206560A1 (en) 2006-09-14
US7835764B2 (en) 2010-11-16

Similar Documents

Publication Publication Date Title
JP4741261B2 (ja) ビデオ会議システム、プログラムおよび会議端末
JP4426484B2 (ja) 音声会議システム、会議端末および音声サーバ
US11991315B2 (en) Audio conferencing using a distributed array of smartphones
US9049339B2 (en) Method for operating a conference system and device for a conference system
AU2003266592B2 (en) Video telephone interpretation system and video telephone interpretation method
US7533346B2 (en) Interactive spatalized audiovisual system
US9253572B2 (en) Methods and systems for synthetic audio placement
CA2304900C (en) Virtual meeting rooms with spatial audio
JP2975687B2 (ja) 第１局・第２局間に音声信号とビデオ信号とを送信する方法、局、テレビ会議システム、第１局・第２局間に音声信号を伝送する方法
US7899171B2 (en) Voice call system and method of providing contents during a voice call
US20060008117A1 (en) Information source selection system and method
EP2352290B1 (en) Method and apparatus for matching audio and video signals during a videoconference
WO2023042671A1 (ja) 音信号処理方法、端末、音信号処理システム、管理装置
JP7191146B2 (ja) 配信サーバ、配信方法、及びプログラム
US8411598B2 (en) Telephony user interface to specify spatial audio direction and gain levels
JP2023043497A (ja) リモート会議システム
JP2020036225A (ja) 情報処理装置、情報処理方法及び情報処理プログラム
CN116057928A (zh) 信息处理装置、信息处理终端、信息处理方法和程序
JP2008118235A (ja) テレビ会議システム、及び、テレビ会議システムにおける制御方法
Kanada Multi-Context Voice Communication
Albrecht et al. Continuous Mobile Communication with Acoustic Co-Location Detection
JP2005122023A (ja) 高臨場感音響信号出力装置、高臨場感音響信号出力プログラムおよび高臨場感音響信号出力方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071114

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110131

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110406

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110426

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110506

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140513

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees