JP2014503877A - グループ通信セッションの間のメディアの選択的なフォーマット - Google Patents

グループ通信セッションの間のメディアの選択的なフォーマット Download PDF

Info

Publication number
JP2014503877A
JP2014503877A JP2013540084A JP2013540084A JP2014503877A JP 2014503877 A JP2014503877 A JP 2014503877A JP 2013540084 A JP2013540084 A JP 2013540084A JP 2013540084 A JP2013540084 A JP 2013540084A JP 2014503877 A JP2014503877 A JP 2014503877A
Authority
JP
Japan
Prior art keywords
media
access terminals
communication session
application server
group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013540084A
Other languages
English (en)
Other versions
JP5819976B2 (ja
Inventor
ビレン・アール・パテル
マーク・リンドナー
Original Assignee
クアルコム，インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by クアルコム，インコーポレイテッド filed Critical クアルコム，インコーポレイテッド
Publication of JP2014503877A publication Critical patent/JP2014503877A/ja
Application granted granted Critical
Publication of JP5819976B2 publication Critical patent/JP5819976B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/764—Media network packet handling at the destination 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/18—Information format or content conversion, e.g. adaptation by the network of the transmitted or received information for the purpose of wireless delivery to users or terminals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/403—Arrangements for multi-party communication, e.g. for conferences
    • H04L65/4038—Arrangements for multi-party communication, e.g. for conferences with floor control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/765—Media network packet handling intermediate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/52—Network services specially adapted for the location of the user terminal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4781—Games
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/023—Services making use of location information using mutual or relative location information between multiple location based services [LBS] targets or of distance thresholds
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/025—Services making use of location information using location based information parameters
    • H04W4/026—Services making use of location information using location based information parameters using orientation information, e.g. compass
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/06—Selective distribution of broadcast services, e.g. multimedia broadcast multicast service [MBMS]; Services to user groups; One-way selective calling services
    • H04W4/08—User group management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/06—Selective distribution of broadcast services, e.g. multimedia broadcast multicast service [MBMS]; Services to user groups; One-way selective calling services
    • H04W4/10—Push-to-Talk [PTT] or Push-On-Call services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/18—Information format or content conversion, e.g. adaptation by the network of the transmitted or received information for the purpose of wireless delivery to users or terminals
    • H04W4/185—Information format or content conversion, e.g. adaptation by the network of the transmitted or received information for the purpose of wireless delivery to users or terminals by embedding added-value information into content, e.g. geo-tagging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W76/00—Connection management
    • H04W76/40—Connection management for selective distribution or broadcast
    • H04W76/45—Connection management for selective distribution or broadcast for Push-to-Talk [PTT] or Push-to-Talk over cellular [PoC] services

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)

Abstract

ある実施形態では、グループ通信セッションの間に、メディアが、通信グループに属するアクセス端末の第1のセットから受信され、受信されたメディアは、通信グループに属するアクセス端末の第2のセットへ提示する内容に対応する。ある例では、メディアは、グループ通信セッションを調停するアプリケーションサーバにおいて、または代替的には、アクセス端末の第2のセットに属する、受信されたメディアのターゲットアクセス端末において、受信され得る。アクセス端末の第1のセットまたは第2のセットのうちのあるアクセス端末と関連付けられる位置情報が求められ、受信されたメディアは、求められた位置情報に基づいて選択的に再フォーマットされる。

Description

本発明の実施形態は、グループ通信セッションの間にメディアを選択的にフォーマットすることを対象とする。
ワイヤレス通信システムは、第1世代アナログワイヤレス電話サービス(1G)、第2世代(2G)デジタルワイヤレス電話サービス(暫定の2.5Gおよび2.75Gネットワークを含む)、ならびに第3世代(3G)高速データ/インターネット対応ワイヤレスサービスを含む、様々な世代を通じて発展してきた。現在、セルラーシステムとパーソナルコミュニケーションズサービス(PCS)システムとを含む、多くの様々なタイプのワイヤレス通信システムが使用されている。知られているセルラーシステムの例には、セルラーAnalog Advanced Mobile Phone System(AMPS)、および、符号分割多元接続(CDMA)、周波数分割多元接続(FDMA)、時分割多元接続(TDMA)、TDMAのGlobal System for Mobile接続(GSM(登録商標))変形に基づくデジタルセルラーシステム、および、TDMA技術とCDMA技術の両方を使用するより新しいハイブリッドデジタル通信システムがある。
CDMAモバイル通信を提供するための方法は、本明細書ではIS-95と呼ぶ、「Mobile Station-Base Station Compatibility Standard for Dual-Mode Wideband Spread Spectrum Cellular System」と題するTIA/EIA/IS-95-Aにおいて、米国電気通信工業会/米国電子工業会によって米国で規格化された。複合AMPS&CDMAシステムは、TIA/EIA規格IS-98に記載されている。他の通信システムは、広帯域CDMA(WCDMA(登録商標))、CDMA2000(たとえば、CDMA2000 1xEV-DO規格など)、またはTD-SCDMAと呼ばれるものをカバーする規格である、IMT-2000/UM、すなわちInternational Mobile Telecommunications System 2000/Universal Mobile Telecommunications Systemに記載されている。
ワイヤレス通信システムでは、移動局、ハンドセット、またはアクセス端末(AT)が、基地局に隣接するかまたはこれを囲む特定の地理的領域内での通信リンクまたはサービスをサポートする、固定位置の基地局(セルサイトまたはセルとも呼ばれる)からの信号を受信する。基地局は、一般に、サービス品質(QoS)要件に基づいてトラフィックを区別するための方法をサポートする標準Internet Engineering Task Force(IETF)ベースのプロトコルを使用するパケットデータネットワークである、アクセスネットワーク(AN)/無線アクセスネットワーク(RAN)にエントリポイントを与える。したがって、基地局は、一般に、無線インターフェースによってATと対話し、インターネットプロトコル(IP)ネットワークデータパケットによってANと対話する。
ワイヤレス電気通信システムでは、プッシュツートーク(PTT)機能がサービスセクタおよび消費者に普及している。PTTは、CDMA、FDMA、TDMA、GSM（登録商標）など、標準の商用ワイヤレスインフラストラクチャ上で動作する「ディスパッチ」音声サービスをサポートすることができる。ディスパッチモデルでは、エンドポイント(AT)間の通信が仮想グループ内で行われ、そこでは1人の「送話者(talker)」の音声が1人または複数の「受話者(listener)」に送信される。このタイプの通信の単一のインスタンスは、通常、ディスパッチ呼(dispatch call)、または単にPTT呼と呼ばれる。PTT呼は、呼の特徴を定義するグループのインスタンス化である。グループは、基本的に、メンバーリスト、および、グループ名またはグループ識別情報のような関連する情報によって定義される。
従来、ワイヤレス通信ネットワーク内のデータパケットは、単一の宛先またはアクセス端末に送られるように構成されてきた。単一の宛先へのデータの送信は「ユニキャスト」と呼ばれる。モバイル通信が増加するにつれて、所与のデータを複数のアクセス端末に同時に送信する能力がより重要になった。したがって、複数の宛先またはターゲットアクセス端末への同じパケットまたはメッセージの同時データ送信をサポートするための、プロトコルが採用されてきた。「ブロードキャスト」は、(たとえば、所与のセル内にある、所与のサービスプロバイダによってサービスされるものなど)すべての宛先またはアクセス端末へのデータパケットの送信を指し、「マルチキャスト」は、宛先またはアクセス端末の所与のグループへのデータパケットの送信を指す。一例では、宛先の所与のグループまたは「マルチキャストグループ」は、(たとえば、所与のセル内にある、所与のサービスプロバイダによってサービスされるものなど)可能な宛先またはアクセス端末のうちの2つ以上、かつすべてよりも少ない数の宛先またはアクセス端末を含み得る。ただし、少なくともいくつかの状況においては、マルチキャストグループが、ユニキャストと同様に、ただ1つのアクセス端末を含むこと、または代替的に、マルチキャストグループが、ブロードキャストと同様に、(たとえば、セルまたはセクタ内などの)すべてのアクセス端末を含むことが可能である。
ブロードキャストおよび/またはマルチキャストは、マルチキャストグループに対応するために複数の連続ユニキャスト動作を実行する、複数のデータ送信を同時に処理するための一意のブロードキャスト/マルチキャストチャネル(BCH)を割り当てるなど、いくつかの方法でワイヤレス通信システム内で実行できる。プッシュツートーク通信のためのブロードキャストチャネルを使用する従来のシステムが、その内容の全体が参照により本明細書に組み込まれる、「Push-To-Talk Group Call System Using CDMA 1x-EVDO Cellular Network」と題する、2007年3月1日付けの米国特許出願公開第2007/0049314号に記載されている。公開第2007/0049314号に記載されているように、従来のシグナリング技法を使用するプッシュツートーク呼のためにブロードキャストチャネルを使用することができる。ブロードキャストチャネルの使用は従来のユニキャスト技法よりも帯域幅要件を改善することができるが、ブロードキャストチャネルの従来のシグナリングは、依然として追加のオーバーヘッドおよび/または遅延を生じる可能性があり、システムパフォーマンスを劣化させることがある。
第3世代パートナーシッププロジェクト2(「3GPP2」)は、CDMA2000ネットワークにおけるマルチキャスト通信をサポートするためのブロードキャストマルチキャストサービス(BCMCS)規格を定義する。したがって、「CDMA2000 High Rate Broadcast-Multicast Packet Data Air Interface Specification」と題する、2006年2月14日付けの3GPP2のBCMCS規格のバージョンである、バージョン1.0 C.S0054-Aは、その全体が参照により本明細書に組み込まれる。
米国特許出願公開第2007/0049314号
CDMA2000 High Rate Broadcast-Multicast Packet Data Air Interface Specification
ある実施形態では、グループ通信セッションの間に、メディアが、通信グループに属するアクセス端末の第1のセットから受信され、受信されたメディアは、通信グループに属するアクセス端末の第2のセットへ提示する内容に対応する。ある例では、メディアは、グループ通信セッションを調停するアプリケーションサーバにおいて、または代替的には、アクセス端末の第2のセットに属する、受信されたメディアのターゲットアクセス端末において、受信され得る。アクセス端末の第1のセットまたは第2のセットのうちのあるアクセス端末と関連付けられる位置情報が求められ、受信されたメディアは、求められた位置情報に基づいて選択的に再フォーマットされる。
本発明の実施形態およびその付随する利点の多くのより完全な理解は、以下の詳細な説明を参照し、本発明を限定するためではなく単に例示するために提示する添付の図面とともに考察することによってよりよく理解されれば、容易に得られるであろう。
本発明の少なくとも1つの実施形態による、アクセス端末とアクセスネットワークとをサポートするワイヤレスネットワークアーキテクチャの図である。 本発明の一実施形態によるキャリアネットワークを示す図である。 本発明の少なくとも1つの実施形態による、図1のワイヤレス通信の例をより詳しく示す図である。 本発明の少なくとも1つの実施形態によるアクセス端末の図である。 従来の半二重グループ通信セッションのプロセスを示す図である。 従来の全二重グループ通信セッションのプロセスを示す図である。 図4Aおよび図4Bの間にアプリケーションサーバにおいて行われるプロセスをより詳しく示す図である。 図4Cのプロセスの実装例を示す図である。 図4Cのプロセスの実装例を示す図である。 従来の全二重グループビデオ通信セッションのプロセスを示す図である。 図5Aの間に行われるミキシングの実装例を示す図である。 図5Bに示されるようにビデオストリームがミキシングされる時にアクセス端末において実現される、ビデオ再生の例を示す図である。 本発明の少なくとも1つの実施形態による、アプリケーションサーバにおいて実施される高水準のメディアの再フォーマットプロセスまたはミキシングプロセスを示す図である。 図6Aのプロセスの実装例を示す図である。 本発明のある実施形態による、グループオーディオ通信セッションに適用される図6Aのプロセスの、より詳しい実装例を示す図である。 本発明のある実施形態による、所与のアクセス端末に関する仮想的な発生点または方向を示す図である。 本発明のある実施形態による、別の所与のアクセス端末に関する仮想的な発生点または方向を示す図である。 本発明のある実施形態による、オンラインポーカーゲームにおける仮想のポーカーテーブルの周囲のポーカープレイヤーの配置を示す図である。 本発明のある実施形態による、仮想的なポーカーテーブルの周りのポーカープレイヤーの相対的な位置をアクセス端末に伝えるために、仮想的な発生点または方向がどのように使われ得るかの例を示す図である。 本発明のある実施形態による、半二重グループ通信セッションのプロセス内の図7Aのプロセスの実装を示す図である。 本発明のある実施形態による、全二重グループ通信セッションのプロセス内の図7Aのプロセスの実装を示す図である。 本発明のある実施形態による、グループビデオ通信セッションに適用される図6Aのプロセスの、より詳しい実装例を示す図である。 本発明のある実施形態による、図7Dおよび図7Eに示されるようなオンラインポーカーゲームのためのビデオメディアの仮想的な配置の例を示す図である。 本発明の別の実施形態による、図7Dおよび図7Eに示されるようなオンラインポーカーゲームのためのビデオメディアの仮想的な配置の例を示す図である。 本発明のある実施形態による、全二重グループビデオ通信セッションのプロセス内の図6Aのプロセスの実装を示す図である。 本発明の少なくとも1つの実施形態による、グループ通信セッションの間の高水準のメディアの再フォーマットプロセスまたはミキシングプロセスを示す図である。 本発明の少なくとも1つの実施形態による、グループ通信セッションの間の高水準のメディアの再フォーマットプロセスまたはミキシングプロセスを示す図である。 本発明のある実施形態による、半二重グループオーディオ通信セッションのプロセス内の図9Aおよび図9Bのプロセスの実装を示す図である。 本発明のある実施形態による、全二重グループオーディオ通信セッションのプロセス内の図9Aのプロセスの実装例を示す図である。 本発明のある実施形態による、全二重グループビデオ通信セッションのプロセス内の図9Aのプロセスの実装を示す図である。
本発明の特定の実施形態を対象とする以下の説明および関連する図面で、本発明の態様を開示する。本発明の範囲から逸脱することなく、代替的な実施形態を考案することができる。さらに、本発明の関連する詳細を不明瞭にしないように、本発明のよく知られている要素については詳細に説明しないか、または省略する。
「例示的」および/または「例」という用語は、本明細書では「例、事例、または例示として機能すること」を意味するために使用される。本明細書で「例示的」および/または「例」として説明するいかなる実施形態も、必ずしも他の実施形態よりも好ましいまたは有利であると解釈されるべきではない。同様に、「本発明の実施形態」という用語は、本発明のすべての実施形態が、論じられた特徴、利点または動作モードを含むことを必要としない。
さらに、多くの実施形態が、たとえば、コンピューティングデバイスの要素によって実行されるべき一連のアクションに関して説明される。本明細書で説明する様々なアクションは、特定の回路(たとえば、特定用途向け集積回路(ASIC))によって、1つもしくは複数のプロセッサによって実行されるプログラム命令によって、または両方の組合せによって実行できることが認識されよう。さらに、本明細書で説明するこれらの一連のアクションは、実行時に、関連するプロセッサに本明細書で説明する機能を実行させるコンピュータ命令の対応するセットを記憶した、任意の形式のコンピュータ可読記憶媒体内で全体として具現化されるものと見なすことができる。したがって、本発明の様々な態様は、すべてが請求する主題の範囲内に入ることが企図されているいくつかの異なる形式で具現化され得る。さらに、本明細書で説明する実施形態ごとに、任意のそのような実施形態の対応する形式を、たとえば、記載の動作を実行する「ように構成された論理」として本明細書で説明することがある。
本明細書でアクセス端末(AT)と呼ぶ高データレート(HDR)加入者局は、移動でも固定でもよく、本明細書でモデムプールトランシーバ(MPT)または基地局(BS)と呼ぶ1つまたは複数のHDR基地局と通信することができる。アクセス端末は、1つまたは複数のモデムプールトランシーバを介して、モデムプールコントローラ(MPC)、基地局コントローラ(BSC)および/またはパケット制御機能(PCF)と呼ばれるHDR基地局コントローラとの間で、データパケットを送信および受信する。モデムプールトランシーバおよびモデムプールコントローラは、アクセスネットワークと呼ばれるネットワークの一部である。アクセスネットワークは、複数のアクセス端末間でデータパケットをトランスポートする。
アクセスネットワークは、企業イントラネットまたはインターネットのような、アクセスネットワークの外部の追加のネットワークにさらに接続されてよく、各アクセス端末とそのような外部のネットワークとの間でデータパケットをトランスポートすることができる。1つまたは複数のモデムプールトランシーバとのアクティブトラフィックチャネル接続を確立したアクセス端末は、アクティブアクセス端末と呼ばれ、トラフィック状態にあると言われる。1つまたは複数のモデムプールトランシーバとのアクティブトラフィックチャネル接続を確立中であるアクセス端末は、接続セットアップ状態にあると言われる。アクセス端末は、ワイヤレスチャネルを介して、または、たとえば光ファイバーもしくは同軸ケーブルを使用する有線チャネルを介して通信する、任意のデータデバイスであってもよい。アクセス端末はさらに、限定はされないが、PCカード、コンパクトフラッシュ（登録商標）、外部もしくは内部モデム、またはワイヤレス電話もしくは有線電話を含む、いくつかのタイプのデバイスのうちの任意のものであってもよい。アクセス端末がモデムプールトランシーバに信号を送信する通信リンクは、逆方向リンクまたは逆方向トラフィックチャネルと呼ばれる。モデムプールトランシーバがアクセス端末に信号を送信する通信リンクは、順方向リンクまたは順方向トラフィックチャネルと呼ばれる。本明細書で使用するトラフィックチャネルという用語は、順方向トラフィックチャネルと逆方向トラフィックチャネルのいずれを指してもよい。
図1は、本発明の少なくとも1つの実施形態によるワイヤレスシステム100の1つの例示的な実施形態のブロック図を示す。システム100は、アクセス端末102をネットワーク機器に接続して、パケット交換データネットワーク(たとえば、イントラネット、インターネット、および/またはキャリアネットワーク126)とアクセス端末102、108、110、112との間にデータ接続性を与えることができるエアインターフェース104を介してアクセスネットワークまたは無線アクセスネットワーク(RAN)120と通信している、セルラー電話102などのアクセス端末を含むことができる。本明細書に示すように、アクセス端末は、セルラー電話102、携帯情報端末108、本明細書に双方向テキストページャとして示すページャ110、さらにはワイヤレス通信ポータルを有する別個のコンピュータプラットフォーム112であり得る。したがって、本発明の実施形態は、ワイヤレスモデム、PCMCIAカード、パーソナルコンピュータ、電話、またはそれらの任意の組合せもしくは部分的な組合せを限定なしに含む、ワイヤレス通信ポータルを含むまたはワイヤレス通信機能を有する任意の形態のアクセス端末上で実現され得る。さらに、本明細書で使用する「アクセス端末」、「ワイヤレスデバイス」、「クライアントデバイス」、「モバイル端末」という用語およびそれらの変形体は、互換的に使用され得る。
再び図1を参照すると、ワイヤレスネットワーク100の構成要素および本発明の例示的な実施形態の要素の相互関係は、図示の構成に限定されない。システム100は、例示的なものにすぎず、ワイヤレスクライアントコンピューティングデバイス102、108、110、112などのリモートアクセス端末が、互いに、かつ/または、限定はされないが、キャリアネットワーク126、インターネット、および/または他のリモートサーバを含む、エアインターフェース104およびRAN120を介して接続された構成要素との間で、無線で通信することを可能にする任意のシステムを含み得る。
RAN120は、基地局コントローラ/パケット制御機能(BSC/PCF)122に送信される(一般に、データパケットとして送信される)メッセージを制御する。BSC/PCF122は、パケットデータサービスノード(図2Aの160「PDSN」を参照)とアクセス端末102/108/110/112との間のベアラチャネル(すなわちデータチャネル)のシグナリング、確立および切断を担う。リンクレイヤの暗号化が可能である場合、BSC/PCF122はまた、エアインターフェース104を介してコンテンツを転送する前にそのコンテンツを暗号化する。BSC/PCF122の機能は当技術分野でよく知られており、簡潔のためにさらに論じない。キャリアネットワーク126は、ネットワーク、インターネットおよび/または公衆交換電話網(PSTN)によってBSC/PCF122と通信することができる。代替的に、BSC/PCF122は、インターネットまたは外部ネットワークに直接接続することができる。一般に、キャリアネットワーク126とBSC/PCF122との間のネットワークまたはインターネット接続はデータを転送し、PSTNは音声情報を転送する。BSC/PCF122は複数の基地局(BS)またはモデムプールトランシーバ(MPT)124に接続され得る。キャリアネットワークと同様の方法で、BSC/PCF122は一般に、データ転送および/または音声情報のために、ネットワーク、インターネットおよび/またはPSTNによってMPT/BS124に接続される。MPT/BS124は、セルラー電話102などのアクセス端末にデータメッセージをワイヤレスにブロードキャストすることができる。MPT/BS124、BSC/PCF122および他の構成要素は、当技術分野で知られているように、RAN120を形成することができる。ただし、代替構成も使用でき、本発明は、図示の構成に限定されない。たとえば、別の実施形態では、BSC/PCF122の機能とMPT/BS124の1つまたは複数の機能とを、BSC/PCF122とMPT/BS124の両方の機能を有する単一の「ハイブリッド」モジュールに縮小することができる。
図2Aに、本発明の一実施形態によるキャリアネットワーク126を示す。図2Aの実施形態では、キャリアネットワーク126は、パケットデータサービングノード(PDSN)160と、ブロードキャストサービングノード(BSN)165と、アプリケーションサーバ170と、インターネット175とを含む。ただし、代替的な実施形態では、アプリケーションサーバ170および他の構成要素はキャリアネットワークの外部に位置することがある。PDSN160は、たとえば、cdma2000の無線アクセスネットワーク(RAN)(たとえば、図1のRAN120)を利用して、インターネット175、イントラネットおよび/またはリモートサーバ(たとえば、アプリケーションサーバ170)へのアクセスを移動局(たとえば、図1の102、108、110、112などのアクセス端末)に与える。アクセスゲートウェイとして働くので、PDSN160は、単純IPおよびモバイルIPアクセス、外部エージェントのサポート、およびパケットのトランスポートを提供することができる。PDSN160は、認証、認可、および課金(AAA)サーバおよび他のサポートインフラストラクチャのクライアントとして働くことができ、当技術分野で知られているように、IPネットワークへのゲートウェイを移動局に与える。図2Aに示すように、PDSN160は、従来のA10接続を介してRAN120(たとえば、BSC/PCF122)と通信し得る。A10接続は当技術分野でよく知られており、簡潔のためにさらに説明しない。
図2Aを参照すると、ブロードキャストサービングノード(BSN)165は、マルチキャストサービスおよびブロードキャストサービスをサポートするように構成され得る。BSN165は、以下でより詳細に説明される。BSN165は、ブロードキャスト(BC)A10接続を介してRAN120(たとえば、BSC/PCF122)と通信し、インターネット175を介してアプリケーションサーバ170と通信する。BCA10接続は、マルチキャストおよび/またはブロードキャストメッセージングを転送するために使用される。したがって、アプリケーションサーバ170は、インターネット175を介してユニキャストメッセージングをPDSN160に送り、またインターネット175を介してマルチキャストメッセージングをBSN165に送る。
一般に、以下でより詳細に説明するように、RAN120は、BCA10接続を介してBSN165から受信されたマルチキャストメッセージを、エアインターフェース104のブロードキャストチャネル(BCH)を介して1つまたは複数のアクセス端末200に送信する。
図2Bは、図1のワイヤレス通信100の一例をより詳細に示す。具体的には、図2Bを参照すると、AT1〜Nは、異なるパケットデータネットワークのエンドポイントによってサービスされる場所でRAN120に接続するものとして示されている。したがって、AT1およびAT3は、(たとえば、PDSN160、BSN165、ホームエージェント(HA)、外部エージェント(FA)などに対応し得る)第1のパケットデータネットワークエンドポイント162によってサービスされる部分においてRAN120に接続する。第1のパケットデータネットワークエンドポイント162は、次に、ルーティングユニット188を介して、インターネット175、ならびに/または、認証、認可および課金(AAA)サーバ182、プロビジョニングサーバ184、インターネットプロトコル(IP)マルチメディアサブシステム(IMS)/セッション開始プロトコル(SIP)登録サーバ186、および/もしくはアプリケーションサーバ170のうちの1つもしくは複数に接続する。AT2およびAT5〜Nは、(たとえば、PDSN160、BSN165、FA、HAなどに対応し得る)第2のパケットデータネットワークのエンドポイント164によってサービスされる部分においてRAN120に接続する。第1のパケットデータネットワークエンドポイント162と同様に、第2のパケットデータネットワークエンドポイント164は、次に、ルーティングユニット188を介して、インターネット175、ならびに/またはAAAサーバ182、プロビジョニングサーバ184、IMS/SIP登録サーバ186、および/もしくはアプリケーションサーバ170のうちの1つまたは複数に接続する。AT4は、インターネット175に直接接続し、次いで、インターネット175を通して、上記で説明したシステム構成要素のうちのいずれかに接続することができる。
図2Bを参照すると、AT1、AT3およびAT5〜Nはワイヤレス携帯電話として示され、AT2はワイヤレスタブレットPCとして示され、AT4は有線のデスクトップ局として示されている。ただし、他の実施形態では、ワイヤレス通信システム100は任意のタイプのATに接続することができ、図2Bに示す例は、システム内に実装され得るATのタイプを限定するものではないことが理解されよう。また、AAA182、プロビジョニングサーバ184、IMS/SIP登録サーバ186およびアプリケーションサーバ170は、それぞれ構造的に個別のサーバとして示されているが、これらのサーバのうちの1つまたは複数は、本発明の少なくとも1つの実施形態では統合されてよい。
さらに、図2Bを参照すると、アプリケーションサーバ170は、複数のメディア制御コンプレックス(MCC)1...N 170Bと複数の地域ディスパッチャ1...N 170Aとを含むものとして示されている。集合的に、地域ディスパッチャ170AおよびMCC170Bは、少なくとも1つの実施形態では、ワイヤレス通信システム100内の通信セッション(たとえば、IPユニキャストプロトコルおよび/またはIPマルチキャストプロトコルを介した半二重グループ通信セッション)を調停するように集合的に機能するサーバの分散型ネットワークに対応し得る、アプリケーションサーバ170内に含まれる。たとえば、アプリケーションサーバ170によって調停される通信セッションは、理論的には、システム100内のどこかに位置するAT間で行われ得るので、調停される通信セッションのレイテンシを低減するように(たとえば、北米のMCCが、中国にいるセッション参加者間でメディアをあちこちに中継していないように)複数の地域ディスパッチャ170AおよびMCCが分布する。したがって、アプリケーションサーバ170に言及する場合、関連する機能が、地域ディスパッチャ170Aのうちの1つまたは複数、ならびに/または、MCC170Bのうちの1つもしくは複数によって実行され得ることが理解されよう。地域ディスパッチャ170Aは、概して、(たとえば、AT間のシグナリングメッセージを処理すること、告知メッセージをスケジューリングおよび/または送信することなどの)通信セッションを確立することに関係する任意の機能を担当し、MCC170Bは、調停された通信セッション中に呼中シグナリングおよびメディアの実際の交換を行うことを含む、呼インスタンスの持続時間の間に通信セッションをホスティングすることを担う。
図3を参照すると、セルラー電話などのアクセス端末200(本明細書ではワイヤレスデバイス)は、キャリアネットワーク126、インターネットおよび/または他のリモートサーバおよびネットワークから最終的に発生することがある、RAN120から送信されたソフトウェアアプリケーション、データおよび/またはコマンドを受信し実行することができる、プラットフォーム202を有する。プラットフォーム202は、特定用途向け集積回路(「ASIC」208)または他のプロセッサ、マイクロプロセッサ、論理回路、または他のデータ処理デバイスに動作可能に結合された送受信機206を含み得る。ASIC208または他のプロセッサは、ワイヤレスデバイスのメモリ212中の任意の常駐プログラムとインターフェースするアプリケーションプログラミングインターフェース(「API」)210レイヤを実行する。メモリ212は、読取り専用メモリまたはランダムアクセスメモリ(RAMおよびROM)、EEPROM、フラッシュカード、またはコンピュータプラットフォームに共通の任意のメモリから構成され得る。プラットフォーム202は、メモリ212中でアクティブに使用されないアプリケーションを保持することができるローカルデータベース214も含み得る。ローカルデータベース214は、一般にフラッシュメモリセルであるが、磁気媒体、EEPROM、光学媒体、テープ、ソフトまたはハードディスクなど、当技術分野で知られている任意の二次記憶デバイスであってもよい。内部プラットフォーム202の構成要素はまた、当技術分野で知られていているように、構成要素の中でもとりわけ、アンテナ222、ディスプレイ224、プッシュツートークボタン228およびキーパッド226のような外部デバイスに動作可能に結合され得る。
したがって、本発明のある実施形態は、本明細書で説明する機能を実行するための能力を含むアクセス端末を含み得る。当業者が理解するように、本明細書で開示する機能を達成するために、様々な論理要素を、個別要素、プロセッサ上で実行されるソフトウェアモジュール、またはソフトウェアとハードウェアとの任意の組合せで実施することができる。たとえば、ASIC208、メモリ212、API210およびローカルデータベース214をすべて協働的に使用して、本明細書で開示する様々な機能をロード、記憶および実行することができ、したがってこれらの機能を実行するための論理回路は様々な要素に分散していてよい。代替的に、機能は、1つの個別構成要素に組み込まれてよい。したがって、図3中のアクセス端末の特徴は例示的なものにすぎないと見なすべきであり、本発明は図示の特徴または構成に限定されない。
アクセス端末102とRAN120との間のワイヤレス通信は、符号分割多元接続(CDMA)、WCDMA（登録商標）、時分割多元接続(TDMA)、周波数分割多元接続(FDMA)、直交周波数分割多重(OFDM)、Global System for Mobile Communications(GSM(登録商標))、またはワイヤレス通信ネットワークまたはデータ通信ネットワークにおいて使用できる他のプロトコルなど、様々な技術に基づき得る。データ通信は、一般に、クライアントデバイス102とMPT/BS124とBSC/PCF122との間で行われる。BSC/PCF122は、キャリアネットワーク126、PSTN、インターネット、仮想プライベートネットワークなどの複数のデータネットワークに接続でき、したがって、アクセス端末102はより広範囲の通信ネットワークにアクセスできるようになる。前述のように、かつ当技術分野で知られているように、様々なネットワークおよび構成を使用して、音声送信および/またはデータをRANからアクセス端末に送信することができる。したがって、本明細書で提供する例は、本発明の実施形態を限定するものではなく、本発明の実施形態の態様の説明を助けるものにすぎない。
図4Aは、従来の半二重グループ通信セッション(たとえば、呼、トランスポートセッションなど)のプロセスを示す。図4Aのグループ通信セッションは、IPマルチキャスティングプロトコルまたはIPユニキャスティングプロトコルによってサポートされるグループ通信セッションに対応し得る。IPマルチキャスティングでは、ダウンリンクブロードキャストチャネル(BCH)は、各々の「聴取している」マルチキャストグループメンバーに到達するように、1つまたは複数のセクタ内で単一のマルチキャストフローを搬送する一方、マルチキャストグループメンバーがどのようにダウンリンクBCHに対して調整できるかを示す別個のスケジューリングメッセージ(たとえば、ブロードキャストオーバーヘッドメッセージ(BOM))が、ダウンリンク制御チャネルで送信される。IPユニキャスティングでは、各グループメッセージは、各グループメンバーに個々に宛てられた別個のユニキャストメッセージとして、各グループ通信セッション参加者またはマルチキャストグループメンバーに送信される。さらに、図4Aは、音声フレームがグループオーディオ通信セッションのグループメンバー間で共有される場合の説明を対象とする。しかし、ビデオフレームがグループビデオ通信セッションのグループメンバー間で共有される例が、図5A〜図5Cに関して後で説明される。
図4Aを参照すると、400において、所与のAT(「AT A」)が、RAN120を介して要求をアプリケーションサーバ170に送信して、グループ通信セッションを開始する。たとえば、グループ通信セッションは、プッシュツートーク(PTT)またはプッシュツートランスファー(PTX)セッションに対応してよく、400における要求の送信は、AT A上のPTTボタンまたはPTXボタンをAT Aのユーザが押すことに基づいて促され得る。アプリケーションサーバ170は、AT Aからグループ通信セッション要求を受信し、ワイヤレス通信システム100の1つまたは複数のセクタにおいて告知メッセージを送信する(405)。少なくともAT B...Eが告知メッセージを受信し、告知されたグループ通信セッションに参加することを決定する。したがって、AT B...Eは、呼受入メッセージをアプリケーションサーバ170に送信し、登録メッセージ(たとえば、BCMCSFlowRegistrationメッセージ)もRAN120に送信して、グループ通信セッションに登録する(410および415)。AT B...Eの各々からの呼受入メッセージおよび登録メッセージは、逆方向リンクアクセスチャネル上の別個のメッセージ内で送信されてよく、または代替的には、同じメッセージ内にまとめられてもよい。
AT B...EのうちのATからの告知メッセージに対する、第1の応答者からの呼受入メッセージを受信した後で、アプリケーションサーバ170は、グループ通信セッションに対する発言権をAT Aに付与する(420)。したがって、発言権付与メッセージを受信した後で、AT Aは、AT Aのユーザが会話を開始できるということをユーザに示すために音を再生し、AT Aは、逆方向リンクチャネルでオーディオメディアをRAN120へ送信し始め、このオーディオメディアは次いで、アプリケーションサーバ170に転送される(425)。425におけるオーディオメディアの送信は、実際に音声データを含むデータフレーム、および/または、音声データを含まない無音フレーム(たとえば、AT Aのユーザが会話を中断した時のような)を含み得る。
ある例では、425において送信されるオーディオメディアのストリーム中の各フレームは、リアルタイムトランスポートプロトコル(RTP)パケットもしくはダイアグラム、または代替的には、RTCP(RTP制御プロトコル)パケットに対応し得る。40オクテットのオーバーヘッドRTPパケットのヘッダ部分は、以下のように構成され得る。
Table 1(表1)を参照すると、RTPパケットヘッダ部分のフィールドは当技術分野ではよく知られており、簡潔のためにさらに説明はされない。RTPヘッダ部分の後に、RTPパケットはデータペイロード部分を含む。データペイロード部分は、デジタル化された音声および/またはビデオのサンプルを含み得る。
図4Aの425に戻ると、AT Aから425において送信されたオーディオメディアは、「1Dオーディオ」として分類され得る。1Dオーディオは、オーディオ出力デバイスによって再生される時に空間的な配向性をもたらさないように構成されるオーディオに対応する。対照的に、3Dオーディオは、ある音に対する空間的な配向性をもたらすように構成され得る。たとえば、映画の視聴体験を向上させるために音をサポートするように、3Dオーディオを符号化することが映画では一般的である。したがって、映画の視聴者は、適切なスピーカシステムによって再生されると、映画において示されるように音の相対的な位置から音が来ているかのように、映画の音を聞くことになる(たとえば、映画のスクリーン上のある物体と関連する音が、その物体のスクリーン上の位置、たとえば、視聴者の右側、視聴者の下側、視聴者の後側などと一致する位置から発せられているものとして、視聴者には聞こえる)。
アプリケーションサーバ170は、発言権保持者からのメディアストリームの受信と、グループ通信セッションの1人または複数の「聴取している」グループメンバーに対する出力ストリームのトランスコーディングとを処理する、メディア制御コンプレックス(MCC)170Bモジュールを含む。言い換えると、MCC170Bは、フレームを複製して、AT B...Eの各々へのAT AからのRTPパケット内で再ブロードキャストする。出力ストリームがMCC170Bによって生成されるにしたがって、アプリケーションサーバ170は、出力ストリームからの出力フレームを含むRTPパケットを、一連のグループメッセージとしてAT B...Eに送信し(430)、AT B...Eは、グループ通信セッションのためのグループメッセージを監視する(435および440)。AT B...Eは、グループメッセージを受信し、関連するオーディオ出力デバイス(たとえば、電話に組み込まれたスピーカ、ヘッドセット、ヘッドフォンなど)を介して、1Dオーディオとして受信されたオーディオメディアを出力する(436および441)。理解されるように、436および441における1Dオーディオの出力は、AT Aからのオーディオメディアが、1Dオーディオの源(すなわち、この場合はAT Aのユーザ)がどこに位置するかについての感覚的な認識を伴わずに、AT B...Eのユーザに出力されることを意味する。むしろ、1Dオーディオにおいては典型的であるが、1Dオーディオの源は、単にオーディオ出力デバイス自体から発せられているものとして、あらゆる聴取者に聞こえるであろう。
次いで、グループ通信セッションは、AT Aのユーザが発言権を返上すると決定するまで、ある期間継続する(445)。445は、発言権を返上するというAT Aからの明示的な指示に対応してよく、または、ある期間AT Aからの活動がないこと(すなわち、無音フレームが多すぎること)に基づいてよい。AT Aがグループ通信セッションに対する発言権を返上したと判定した後で、アプリケーションサーバ170は、AT B...Eへ発言権解放メッセージを送信する(450)。AT BおよびAT C...Eの少なくとも1つのユーザが、発言権の制御を得るのを試みることを決定し、発言権要求メッセージをアプリケーションサーバ170に送信する(455および460)と、仮定する。こうして、アプリケーションサーバ170は、複数の発言権要求メッセージを受信し、発言権を要求しているATの優先レベルを評価して、次に発言権を付与されるATを決定する。たとえば、グループ通信セッションのタイプに基づいて、RAN120は、RAN120において管理される1つまたは複数の優先順位表を評価することができ、発言権を要求しているATのうち優先順位が最高のATに、発言権を付与することができる。たとえば、優先順位表は、以下のように構成され得る。
465において、グループ通信セッションの呼のタイプに関して、要求しているATの中でAT Bの優先レベルが最高であると、アプリケーションサーバ170が判定し、アプリケーションサーバ170が発言権付与メッセージをAT Bに送信すると、仮定する。次に、AT Bは、AT Bが現在発言権を有していることをAT Bのユーザに通知するための音を再生し、AT Bは、1つまたは複数RTPパケット内で、1Dオーディオメディア(たとえば、データフレーム、無音フレームなど)をアプリケーションサーバ170に送信し始め(470)、1Dオーディオメディアは次いで、MCC170Bによって出力ストリームへと変換され、AT AおよびAT C...Eへと再送信される(475)。
AT AおよびAT C...Eは、グループ通信セッションのためのグループメッセージを監視する(480および485)。AT AおよびAT C...Eは、グループメッセージを受信し、関連するオーディオ出力デバイス(たとえば、電話に組み込まれたスピーカ、ヘッドセット、ヘッドフォンなど)を介して、1Dオーディオとして受信されたオーディオメディアを出力する(490および495)。理解されるように、490および495における1Dオーディオの出力は、AT Bからのオーディオメディアが、1Dオーディオの源(すなわち、この場合はAT Bのユーザ)がどこに位置するかについての感覚的な認識を伴わずに、AT AおよびAT C...Eのユーザに出力されることを意味する。むしろ、1Dオーディオにおいては典型的であるが、1Dオーディオの源は、単にオーディオ出力デバイス自体から発せられているものとして、あらゆる聴取者に聞こえるであろう。
半二重セッションの特徴であるが、図4Aのグループ通信セッション中のいくつかのATは、フレームを(たとえばRTPパケット内で)送信するだけである一方、グループ通信セッション中の他のATは、フレームを(たとえばRTPパケット内で)受信するだけである。図4Aのプロセスの代替形態は、図4Bに関して以下で説明される、全二重グループ通信セッションである。全二重セッションでは、セッションへの各参加者は、フレームの送信と受信を(たとえばRTPパケット内で)両方行うことができる。
図4Bは、従来の全二重グループ通信セッションのプロセスを示す。図4Aにおけるように、図4Bのグループ通信セッションは、IPマルチキャスティングプロトコルまたはIPユニキャスティングプロトコルによってサポートされるグループ通信セッションに対応し得る。図4Bを参照すると、400Bから415Bは、図4Aの400から415に対応しており、したがって、簡潔のためにさらに論じられることはない。
420Bにおいて、セッション開始者(すなわちAT A)に対して発言権を付与する代わりに、アプリケーションサーバ170は、セッションが開始できることを示すメッセージを、グループ通信セッションに参加した各ATに送信する(420B)。メッセージ420Bを受信すると、AT A...Eのいずれもが、会話を開始することができ、したがってオーディオメディア(たとえば、データフレームまたは無音フレーム)を送信することができる(425B、430B、435B)。図4Aにおけるように、425B、430Bおよび435Bで送信されるオーディオメディアは、1Dオーディオに対応する。
図4Bに戻ると、440Bにおいて、アプリケーションサーバ170のMCC170Bは、AT A...Eからオーディオメディアを受信し、統合されたメディアストリームのジッタを除去し、次いで、特定の時間間隔におけるAT A...Eの各々からのメディアコンテンツのすべてを含む、出力ストリームを生成する。アプリケーションサーバ170は次いで、得られた1Dオーディオメディアストリームを、一連の統合されたフレームとして、AT A...Eの各々に1つまたは複数のRTPパケット内で送信する(440B)。しかし、AT A...Eの各々は、フィードバック問題を回避するために、自身を除くすべてのセッション参加者からのフレームを含む統合されたメディアストリームを受信することを、理解されたい。したがって、AT Aは、AT B...Eからの統合されたメディアで構成される出力ストリームを受信し、AT Bは、AT AおよびAT C...Eからの統合されたメディアで構成される出力ストリームを受信し、以下同様である。AT A...Eは各々、アプリケーションサーバ170から、それぞれのオーディオフレームを受信する(445B、450Bおよび455B)。AT A...Eは次いで、それぞれのオーディオフレームからユーザへと、1Dオーディオを出力する(460B、465Bおよび470B)。
図4Cは、図4Aの430、図4Aの475、および/または図4Bの440Bという送信するステップの間にアプリケーションサーバ170において行われるプロセスを、より詳しく示す。図4Cを参照すると、アプリケーションサーバ170は、ATのグループへ送信するための、1つまたは複数のフレームを受信する(400C)。たとえば、図4Aの430において、アプリケーションサーバ170は、図4Aの425において送信されるAT Aからのフレームを受信し、図4Aの475において、アプリケーションサーバ170は、図4Aの470において送信されるAT Bからのフレームを受信する。さらなる例では、図4Bの440Bにおいて、アプリケーションサーバ170は、図4Bの425Bと435Bとの間に送信されるAT A...Eの各々からのフレームを受信する。
400Cにおいてフレームの各々を受信すると、サーバ調停型のグループ通信セッションのためのメディア交換を処理している特定のMCC170Bのコントローラは、400Cからの各々の受信されたフレームを、関連するATのジッタ除去バッファ中の対応するキューに加える(405C)。MCC170Bのミキサの準備ができている場合、ミキサは、特定のタイムスロットに対して、ジッタ除去バッファのそれぞれのキューから1つまたは複数のフレームを除去し、その1つまたは複数のフレームに対してミキシング動作を実行する(410C)。半二重の場合、通常、1つのAT(すなわち、現在の発言権保持者)のみからのフレームが存在するので、メディアの実際のミキシングは実行されなくてもよく、ジッタ除去バッファは使われなくてもよく、フレームは単に、ヘッダ調整なしで、受信された通りにMCC170Bから転送されてよい。したがって、図4Cは主に、全二重セッションのために実行されるプロセスを対象とする。全二重の場合には、通常、2つ以上のATからのフレームが存在する(たとえば、タイムスロットごとに各ATからのフレームは必ずしも存在はしないが)ので、ミキサは、当技術分野において知られているように、ある特定のタイムスロットのための各フレーム内で、実際のメディアまたはペイロード部分をミキシングする。理解されるように、全二重において、半二重の場合のように、たとえば1人のセッション参加者がセッション中の会話の大半を行っている場合に、ある期間において、1つのみのATから受信されたフレームを有する可能性もある。しかし、単一のフレームが全二重セッションの間に受信される時、ジッタ除去バッファは、複数のフレームが受信される時のように依然として使用されるので、ジッタ除去バッファに関連する遅延を依然として被る。410Cにおいてフレームをミキシングした後、コントローラは、ミキシングされたフレームを、グループへ送信されるように向ける。
図4Dおよび図4Eは、図4Cのプロセスの実装例を示す。具体的には、図4Dは、AT A...Eの各々が図4Bにおけるように各タイムスロットの間にフレームを送信する全二重セッションの実装例を示し、図4EはAT1のみが、ある期間の各タイムスロットの間にフレームを送信する(たとえば、AT Aがその期間に会話のすべてを偶然行っている全二重セッションにおける)実装例を示す。
図4Dを参照すると、データストリーム(たとえば、一連のフレーム)が、グループ通信セッションの調停を処理しているアプリケーションサーバ170のMCC170Bにおいて、AT A...Eの各々から受信される(400C)。MCC170Bのコントローラは、400Cからの各々の受信されたフレームを、関連するATのためのジッタ除去バッファ中のキューに加える(405C)。図4Dに示されるように、AT A...Eの各々のためのキューは、ミキサによって処理またはミキシングされるのを待機しているフレームの番号(たとえば、フレームの受信元の対応するATの文字によって示される)を示す。所与のタイムスロットのためのフレームがフレームのそれぞれのキューの最上部に到達すると、コントローラは、ジッタ除去バッファ中のキューからそうしたフレームを除去し、ミキシングのためにそうしたフレームをミキサに送信する(410C)。したがって、ミキサは、410Cにおいて、所与のタイムスロットの間、AT A...Eの各々からのそうしたフレームをミキシングする。このミキシングが図4Dにおいて実施される方式は、1Dオーディオが生成されるような方式である。言い換えると、ターゲットATにおいて再生される場合、オーディオメディアの源は、各スピーカと同一であるものとして知覚される。
次いで、コントローラは、グループ通信セッションの各セッション参加者へと送信されるように、ミキシングされたフレームを向ける(415C)。図4Dに示されるように、各ATに送信されるミキシングされたフレームは、各々の他のATからのメディアを含むので、AT Aに送信されるミキシングされたフレームは、AT B+C+D+Eからのフレームを含み、AT Bに送信されるミキシングされたフレームは、AT A+C+D+Eからのフレームを含み、AT Cに送信されるミキシングされたフレームは、AT A+B+D+Eからのフレームを含み、AT Dに送信されるミキシングされたフレームは、AT A+B+C+Eからのフレームを含み、AT Eに送信されるミキシングされたフレームは、AT A+B+C+Dからのフレームを含む。
図4Eを参照すると、データストリーム(たとえば、一連の音声フレームまたは一連の高データレートフレーム)が、グループ通信セッションの調停を処理しているアプリケーションサーバ170のMCC170Bにおいて、AT Aのみから受信される(400C)。1つのAT(たとえば、この場合AT A)のみから受信されているフレームは、半二重セッションの間に、またはさらには、1つのみのATがグループへの送信のために音声メディアを送信している半二重セッションの間のある期間に、発生し得る。理解されるように、他のフレームは、AT B...Eのうちの1つまたは複数の他のATからMCC170Bにおいて受信されてよいが、これらのフレームは、図4Eでは、ノイズフレームまたは無音フレーム(たとえば、低データレートフレームなど)に対応すると想定され、コントローラ170Aは、そのようなフレームを切断し、そのようなフレームをジッタ除去バッファにおけるキューに追加するのを控えるように構成される。コントローラは、400Cからの各々の受信されたフレーム(たとえば、各々の受信された音声フレームまたは高データレートフレームを意味し、ノイズフレームおよび/または無音フレームを除く)を、関連するAT(すなわちAT A)のジッタ除去バッファ中のキューに追加する(405C)。
図4Eに示されるように、AT Aの各々のためのキューは、ミキサによって処理またはミキシングされるのを待機しているフレームの番号(たとえば、AT Aのキューの中の文字「A」によって示される)を示し、一方AT B...Eのキューは、音声パケットがある期間AT B...Eから受信されていないと想定されるので、各々空である。所与のタイムスロットにおけるAT Aのためのフレームがフレームのキューの最上部に到達すると、コントローラは、ジッタ除去バッファ中のキューからそのフレームを除去し、ミキシングのためにそのフレームをミキサに送信する(410C)。したがって、ミキサは、410Cにおいて、所与のタイムスロットの間、AT Aからのそのフレームに対してミキシング動作を実行する。この場合、ミキサによって実行されるミキシング動作は、出力フレームのRTPヘッダが出力ストリームに対して適切になるように、入力フレーム中のメディアをフォーマットすることに対応する(たとえば、AT Aの入力ストリームからのシーケンス番号が、出力ストリーム中の次のフレームの正しいシーケンス番号に対応するように修正されるなど)。次いで、コントローラは、グループ通信セッションの1人または複数のセッション参加者へと送信されるように、ミキシングされた(または、この場合はフォーマットされた)フレームを向ける(415C)。
図4Eに示されるように、各ATに送信されるミキシングされたフレームは、タイムスロットのためのフレームを送信している各々の他のATからのメディアを含む。この場合、AT Aのみが現在のタイムスロットのためのフレームを送信しているので、AT B...Eの各々に送信されるフォーマットされたフレームは、AT Aのフレームのみを含み、AT Aは、NULLフレーム(たとえば、メディアを含まないフレーム)を送信され得る。あるいは、図4Eには示されないが、NULLフレームを送信される代わりに、415CにおいてはフレームがAT Aに送信されなくてもよい。
当業者が理解するように、関連するオーディオコンテンツを搬送するには、1Dオーディオをグループ通信セッションに参加しているターゲットATに提供すれば十分であるが、1Dオーディオは、オーディオメディアの位置に基づく3D表現を提供できない。
図5Aは、従来の全二重グループビデオ通信セッションのプロセスを示す。図5Aのグループビデオ通信セッションは、IPマルチキャスティングプロトコルまたはIPユニキャスティングプロトコルによってサポートされるグループ通信セッションに対応し得る。
図5Aを参照すると、500において、所与のAT(「AT A」)が、RAN120を介して要求をアプリケーションサーバ170に送信して、グループビデオ通信セッション(たとえば、ビデオ、および任意選択でオーディオをも交換するように構成されるセッション)を開始する。アプリケーションサーバ170は、AT Aからグループビデオ通信セッションの要求を受信し、ワイヤレス通信システム100の1つまたは複数のセクタで告知メッセージを送信する(505)。少なくともAT B...Eが告知メッセージを受信し、告知されたグループ通信セッションに参加することを決定する。したがって、AT B...Eは、呼受入メッセージをアプリケーションサーバ170に送信し、登録メッセージ(たとえば、BCMCSFlowRegistrationメッセージ)もRAN120に送信して、グループビデオ通信セッションに登録する(510および515)。AT B...Eの各々からの呼受入メッセージおよび登録メッセージは、逆方向リンクアクセスチャネル上の別個のメッセージ内で送信されてよく、または代替的には、同じメッセージ内にまとめられてもよい。
呼受入メッセージを受信した後で、アプリケーションサーバ170は、セッションが開始できることを示すメッセージを、グループ通信セッションに参加した各ATに送信する(520)。メッセージ520を受信すると、AT A...Eのいずれもが、ビデオメディア(たとえば、任意選択でオーディオメディアも)の送信を開始できる(525、530および535)。
図5Aに戻ると、540において、アプリケーションサーバ170のMCC170Bは、AT A...Eからビデオメディアを受信し、統合されたメディアストリームのジッタを除去し、次いで、デフォルトのミキシングルールに従って、特定の時間間隔におけるAT A...Eの各々からのメディアコンテンツのすべてを含む出力ストリームを生成する。デフォルトのミキシングルールは、図5Bおよび図5Cに関して以下でさらに詳しく説明されるが、一般に、各ターゲットATへビデオ出力フレームを提供するためにそれぞれのATからのビデオメディアが組み合わされる方式に対応する。
アプリケーションサーバ170は次いで、得られたミキシングされたビデオメディアのストリームを、一連の統合されたフレームとして、AT A...Eの各々に1つまたは複数のRTPパケット内で送信する(545)。しかし、AT A...Eの各々が、フィードバック問題を回避するために、自身を除くすべてのセッション参加者からのフレームを含む統合されたメディアストリームを受信できることが理解される(たとえば、ある例では、ユーザが自身のビデオメディアのストリームを見るのを望んだとしても、これは、アプリケーションサーバ170が関わることなく、個々のATにおいて内部的に実現され得る)。したがって、AT Aは、AT B...Eからの統合されたメディアで構成される出力ストリームを受信し、AT Bは、AT AおよびAT C...Eからの統合されたメディアで構成される出力ストリームを受信し、以下同様である。
AT A...Eの各々は、アプリケーションサーバ170からのグループメッセージ(すなわち、ビデオメディアのストリーム)の受信について、ダウンリンクチャネルを監視する(550、555および560)。こうして、AT A...Eの各々は、ビデオメディアのストリームを受信し、それぞれのATに関連するディスプレイデバイスを介して出力する(565、570および575)。
図5Bは、図5Aの540において行われるミキシングの実装例を示す。図5Bは、図4Cの一般的なミキシングプロセスに関して説明されるが、図4Cは、主にオーディオフレームに関して説明され、一方図5Bはビデオフレームのミキシングを対象とすることが理解されよう。
図5Bを参照すると、ビデオフレームのストリームが、グループ通信セッションの調停を処理しているアプリケーションサーバ170のMCC170Bにおいて、AT A...Eの各々から受信される(400C)。MCC170Bのコントローラは、400Cからの各々の受信されたフレームを、関連するATのためのジッタ除去バッファ中のキューに加える(405C)。図5Bに示されるように、AT A...Eの各々に対するキューは、ミキサによって処理またはミキシングされるのを待機しているフレームの番号(たとえば、フレームの受信元の対応するATの文字によって示される)を示す。所与のタイムスロットのフレームがフレームのそれぞれのキューの最上部に到達すると、コントローラは、ジッタ除去バッファ中のキューからそうしたフレームを除去し、ビデオフレームに対するデフォルトのミキシングルールに従って、ミキシングのためにそうしたフレームをミキサに送信する(410C)。したがって、ミキサは、410Cにおいて、所与のタイムスロットの間、AT A...Eの各々からのそうしたフレームをミキシングする。
図5Bを参照すると、コントローラは、グループビデオ通信セッションの各セッション参加者へと送信されるように、ミキシングされたフレームを向ける(415C)。図5Bに示されるように、各ATに送信されるミキシングされたフレームは、各々の他のATからのメディアを含むので、AT Aに送信されるミキシングされたフレームは、AT B+C+D+Eからのフレームを含み、AT Bに送信されるミキシングされたフレームは、AT A+C+D+Eからのフレームを含み、AT Cに送信されるミキシングされたフレームは、AT A+B+D+Eからのフレームを含み、AT Dに送信されるミキシングされたフレームは、AT A+B+C+Eからのフレームを含み、AT Eに送信されるミキシングされたフレームは、AT A+B+C+Dからのフレームを含む。
より具体的には、図5Bにおいて、デフォルトのミキシングルールは、時計回りにかつA...Eの順序で(ターゲットATを除き)、それぞれのATからのビデオメディアを組み合わせることである。したがって、ビデオメディアを提供する5個のATがあるので、各ATは、出力ビデオストリーム(すなわち、ターゲットAT自身のビデオストリームを伴わない、4個の他のATのビデオストリーム)において、全体で4個の組み合わされたビデオフレームを一度に与えられる。図5Bの例は、各々のそれぞれのATからのビデオフレームを示すのに利用可能な4個のスロットを有するグリッドを示す。したがって、AT Aに宛てられるグリッド(またはビデオ出力フレーム)は、左上の部分にAT Bのビデオフレームを有し、右上の部分にAT Cのビデオフレームを有し、左下の部分にAT Dのビデオフレームを有し、右下の部分にAT Eのビデオフレームを有する。出力ビデオフレームまたはストリームの中の残りのビデオフレームの配置は、図5Bの検討から理解されるだろう。
図5Cは、図5Bに示されるようにAT B...Eからのビデオストリームがミキシングされる時にAT Aにおいて実現される、ビデオ再生の例を示す。したがって、AT B...Eのユーザは各々自身を録画しており、デフォルトのミキシングルールに従ってアプリケーションサーバ170によってミキシングされAT Aのユーザへの提示のためにAT Aへ送信される、ビデオフレームを提供している。図5Bに関して上で述べられたように、このことは、AT BのビデオフレームがAT Aのディスプレイの左上部分に示され、AT CのビデオフレームがAT Aのディスプレイの右上部分に示され、AT DのビデオフレームがAT Aのディスプレイの左下部分に示され、AT EのビデオフレームがAT Aのディスプレイの右下部分に示されることを意味する。
当業者が理解するように、図4A〜図4Eに関して説明されたグループ通信セッションの1Dオーディオ再生は、それぞれの呼の参加者の仮想的なまたは物理的な位置を考慮しない。したがって、各々の呼の参加者が、異なる国、建物の異なる階、または異なるオンラインチャットルームもしくはポーカーゲームの座席位置に位置している場合、オーディオは、ターゲットATのユーザから見て、呼の参加者が同じ源または発生点または方向から発せられているものとして知覚するような方式で、ミキシングされる。また、図5A〜図5Cに関して説明されたグループビデオ通信のAT固有のビデオ部分の配置の構成は、呼の参加者のそれぞれの位置に基づかず、むしろ、デフォルトのミキシングアルゴリズムの結果である。
したがって、本発明の実施形態は、グループ通信セッションの間にアクセス端末のユーザへ提示するためにメディアをフォーマットする時に、位置情報を考慮することを対象とする。実施形態は、グループオーディオ通信セッション(たとえば、図7A〜図7Gに示されるような)、またはグループビデオ通信セッション(たとえば、図8A〜図8Cに示されるような)を対象とし得る。実施形態は、アプリケーションサーバ170において(たとえば、図6〜図8Cに示されるように)、または代替的にはAT自体において(たとえば、図9A〜図9Eに示されるように)実施され得る。グループ通信セッション自体は、半二重、ハイブリッド二重(たとえば、2人以上の全員ではないセッション参加者が発言権を保持できる)、または全二重(たとえば、各セッション参加者がグループにメディアを送信でき、または発言権を保持できる)であってよい。
図6Aは、本発明の少なくとも1つの実施形態による、アプリケーションサーバ170において実施される高水準のメディアの再フォーマットプロセスまたはミキシングプロセスを示す。図6Aを参照すると、アプリケーションサーバ170は、AT A...Eの間のグループ通信セッション(たとえば、オーディオおよび/またはビデオグループ通信セッション)を調停しており、アプリケーションサーバ170は、通信グループへの送信のために、AT A...EのうちのATの第1のセットからメディアを受信する(600)。メディアの受信元であるATの第1のセットは、単一のAT、通信セッションに参加しているすべてのAT、またはその中間の数のATに対応し得る。次に、アプリケーションサーバ170は、AT A...Eの1つまたは複数と関連付けられる位置情報を求める(605)。
ある例では、位置情報は、1つまたは複数のATの地理的な場所または位置に対応し得る。たとえば、AT A...Eは、それぞれの地理的な場所(たとえば、GPSまたは何らかの他の位置測定機構を介して計算された)を、アプリケーションサーバ170に報告することができる。これらの報告は、周期的であってよく、通信セッションのセットアップにおいてトリガされてよく、または何らかの他の基準を介して提供されてよい。代替的な例では、位置情報は代わりに、それぞれのATのサービングエリアに対応し得る。たとえば、どの基地局が現在ATをサービスしているかという知識は、アプリケーションサーバ170に、ATの位置の粗い位置推定を与えることができる。
別の例では、位置情報は仮想的であり、地理的な場所に全く基づかなくてよい。たとえば、グループ通信セッションがオンラインポーカーゲームと関連付けられると仮定する。通常、オンラインポーカーゲームは、プレイヤーが実際のポーカーテーブルの周りに座っているかのように、プレイヤー(または観客)に視覚的に提示される。しかし、ポーカーテーブルの周りのプレイヤーの「仮想的な」位置は、必ずしも、現実世界でのプレイヤーの物理的な位置と関連があるとは限らない。世界中からのプレイヤーが、オンラインアバターおよび/またはビデオフィードを介して、単一のテーブルに一緒に座っているものとして示され得る。この場合、仮想的なテーブルの周りのそれぞれのポーカープレイヤーの仮想的な位置が、位置情報として、アプリケーションサーバ170によって解釈され得る。このタイプの位置情報は、ポーカーゲームをホストしているサーバ(アプリケーションサーバ170に対応することもあり対応しないこともある)からアプリケーションサーバ170によって取得されてよく、または代替的には、それぞれのポーカープレイヤーのゲームへの到着の順序に基づいて推測されてよい。
605における1つまたは複数のATの位置情報を取得した後で、アプリケーションサーバ170は、求められた位置情報に基づいて、600からの受信されたメディアを選択的に再フォーマットする。受信されたメディアがどのように再フォーマットされ得るかという多くの異なる例が、以下で与えられる。610においてメディアを再フォーマットした後で、アプリケーションサーバ170は、再フォーマットされたメディアを、AT A...Eの第2のセットへ送信する(615)。ある例では、たとえば、全二重セッションへの各参加者が他のセッション参加者からメディアを受信する時には、第1のセットおよび第2のセットは同じであってよい。しかし、たとえば、第1のセットが話者または発言権保持者に対応し第2のセットが聴取者または発言権非保持者に対応する半二重セッションでは、第1のセットおよび第2のセットは異なっていてもよい。理解されるように、本発明の少なくとも1つの実施形態では、各々の参加しているATが、他のATからのみメディアを受信できるように、メディアは、メディアを提供したATに戻されなくてもよい。しかし、ある特定のATのユーザが、自身のビデオストリームを、アプリケーションサーバ170から自身のATへと戻すのを望み得ることは、少なくとも理論的に可能なので、上記は単なる例示的な実装形態である。
図6Bは、図6Aのプロセスの実装例を示す。図6Aでは、受信されたメディアは、605で求められた位置情報に基づいて、アプリケーションサーバ170によって再フォーマットされたものとして説明される。図6Bは、ターゲットATの少なくとも1つに対してアプリケーションサーバ170がメディアを再フォーマットする方式が、ターゲットATによって行われる選択に基づく、ある例示的な実装形態に注目する。たとえば、メディアがオーディオに関連する例では、選択されたメディア再フォーマットプロトコルは、ターゲットユーザの「前」に女性の話者を配置し、ターゲットユーザの「左」または「右」に男性の話者を配置することに対応し得る。別の例では、ある特定のユーザは、左耳が聞こえないことがあり、選択されたメディア再フォーマットプロトコルは、ユーザの「右側」の異なる地点に話者を配置することに対応し得る。理解されるように、任意の数のユーザによって、メディア再フォーマットプロトコルの選択肢の所定のセットから、またはユーザによってカスタマイズされる方式で選択され得る、多数のメディア再フォーマットプロトコルが存在する。したがって、いくつかの実装形態では、アプリケーションサーバ170は、1つまたは複数の選択に従って、ユーザごとまたはターゲットごとに、受信されたメディアを再フォーマットすることができる。
したがって、図6Bを参照すると、アプリケーションサーバ170は、AT A...Eの第2のセットの少なくとも1つから、選択されたメディア再フォーマットプロトコルの指示を受信する(600B)。上で述べられたように、選択されたメディア再フォーマットプロトコルは、アプリケーションサーバ170が、1つまたは複数の特定のターゲットATに対してどのようにメディア(たとえば、オーディオメディア、ビデオメディアなど)を再フォーマットすべきかに関する、指示に対応し得る。次に、アプリケーションサーバ170は、通信グループへの送信のために、AT A...Eの中のATの第1のセットからメディアを受信し(600)、アプリケーションサーバ170は、AT A...Eの1つまたは複数と関連付けられる位置情報を求める(605)。
605において1つまたは複数のATの位置情報を取得した後で、アプリケーションサーバ170は、求められた位置情報に少なくとも一部基づいて、610において600からの受信されたメディアを選択的に再フォーマットする。具体的には、図6Bの実施形態では、610の選択的に再フォーマットするステップは、それぞれの選択されたメディア再フォーマットプロトコルに従って、600において指示を提供したATのために受信されたメディアを選択的に再フォーマットするステップを含む(605B)。600Bにおいてメディア再フォーマットプロトコルセッションを提供しなかった任意の残りのATがATの第2のセットの中にある場合には、アプリケーションサーバ170はまた、残りのATのために、ATの第1のセットからの受信されたメディアを選択的に再フォーマットする(610B)。ある例では、610Bの選択的な再フォーマットは、メディア配置についての所与のユーザの選好に関連する知識がない状態で選択された、何らかのタイプのデフォルトのメディア再フォーマットプロトコルを介して、求められた位置情報に基づいて行われ得る。610においてメディアを再フォーマットした後で、アプリケーションサーバ170は、再フォーマットされたメディアを、AT A...Eの第2のセットへ送信する(615)。
図7Aは、本発明のある実施形態による、グループオーディオ通信セッションに適用される図6Aのプロセスの、より詳しい実装例を示す。
図7Aを参照すると、アプリケーションサーバ170は、AT A...Eの間のオーディオメディアの交換を含むグループ通信セッションを調停しており、アプリケーションサーバ170は、通信グループへの送信のために、AT A...EのうちのATのあるセットからオーディオメディアを受信する(700A)。図7Aの700Aは、700Aがより具体的にオーディオメディアを対象としていることを除き、図6Aの600と同様である。ある例では、700Aにおいて受信されたオーディオメディアは、1Dオーディオのフォーマットで、アプリケーションサーバ170に到達し得る。次に、図6Aの605のように、アプリケーションサーバ170は、AT A...Eの1つまたは複数と関連付けられる位置情報を求める(705A)。
次に、アプリケーションサーバ170は、受信されたメディアのターゲットであるAT A...Eの第2のセットの各々のために、求められた位置情報に基づいて、そのセットの各ATの受信されたオーディオメディアの仮想的な発生点または方向を決定する(710A)。仮想的な発生点または方向の例は、AT Aの観点から、図7Bから図7Eに関して後で説明される。710Aにおいて仮想的な発生点または方向を決定した後で、アプリケーションサーバ170は、ATの第2のセットの各々のために、ターゲットATに対して対応する仮想的な発生点または方向に配置されている受信されるオーディオメディアを含む、3Dオーディオ出力フレームを生成する(715A)。理解されるように、ATの第2のセットは、AT A...Eの各々が3Dオーディオフレームを受信することになる場合には、AT A...Eの各々を含み得る。別の例では、1つの特定のATのみがオーディオメディアを提供している場合には、送信するATに対するフィードバックを減らすために、オーディオメディアを提供するATを除く各ATが、3Dオーディオを受信するためのターゲットATであってよい。この場合、第2のセットは、オーディオメディアを提供するATを除く、AT A...Eの中からの各ATを含む。
715Aにおいて3Dオーディオ出力を生成した後で、アプリケーションサーバ170は、3Dオーディオフレームを対応するターゲットATに送信する(720A)。上で述べられたように、AT A...Eの各々は、ソースATの異なるセットで構成されるオーディオフレームを受信することができる(たとえば、AT Aは、AT B...Eからのオーディオメディアで構成されるオーディオフレームを送信され、以下同様)。また、ATのセットの位置情報は、特定のオーディオフレームのための、ターゲットATの位置情報に関連すると考えられ得ることが、理解されるだろう。したがって、少なくとも1つの実施形態では、同じATの仮想的な発生点または方向は、ターゲットATによって変化する。この態様は、図7Bから図7Eに関して以下でより詳細に説明される。
図7Bを参照すると、オーディオ出力デバイス700B(たとえば、この実施形態では、ヘッドフォンのセットとして示される)は、AT Aに関連して示されている。ヘッドフォンのセットとして示されているオーディオ出力デバイス700Bは、AT Aに接続され得るオーディオ出力デバイスのタイプの非限定的な例を表すことが意図される。AT Aは、オーディオ出力デバイス700Bの中心にあるものとして示され、これは、AT A(またはAT Aのユーザ)の位置が、図7Bを説明する目的で、ヘッドフォンの中心にあると仮定されることを示すものである。AT Aのオーディオ出力デバイス700Bを囲んでいるのは、AT B...Eの各々の仮想的な発生点または方向の例である。たとえば、AT Eは、AT Aの左側に位置し、AT Eからのオーディオが左耳または左のヘッドフォンに到達するものとして示され、AT BおよびCは、AT Aの上側かつ左側にあり、AT BおよびCからのオーディオが左耳またはAT Aの左のヘッドフォンに到達するものとして示され、AT Dは、AT Aの右側にあり、AT Dからのオーディオが右耳またはAT Aの右のヘッドフォンに到達するものとして示される。オーディオがAT Aにおいて「右」の耳に到達するか「左」の耳に到達するかとは別の、AT Aのユーザに伝えられる方向の感覚もある。この感覚では、AT Aのユーザに対するオーディオ出力は、3次元(3D)であると考えられる。それは、AT Aのユーザが、ある特定のATのためのオーディオの発生元の3Dの位置または方向を、関連付けると期待されるからである。AT B、CおよびEからのオーディオは各々、左の「耳」またはヘッドフォンから実質的に外れてAT Aのユーザに出力されるが、3Dオーディオ出力は、AT Aのユーザがオーディオストリームの仮想的な源を突き止めようとする時にAT EのオーディオがAT Bおよび/またはCのオーディオとは異なる源の位置から発せられているように聞こえるように、構成される(たとえば、図6および図7Aの実施形態ではアプリケーションサーバ170によって)。
図7Cは、図7BがAT Bから見たAT AおよびAT C...Eの仮想的な発生点または方向の例を示すことを除いて、図7Bと同様である。したがって、図7Bを参照すると、オーディオ出力デバイス700B(たとえば、この実施形態ではヘッドフォンのセットとして示される)は、AT Bに関連して説明される。たとえば、図7Cでは、AT Cは、AT Bの左側に位置し、AT Cからのオーディオが左耳または左のヘッドフォンに到達するものとして示され、AT EおよびAは、AT Bの上側かつ左側にあり、AT EおよびAからのオーディオが左耳またはAT Bの左のヘッドフォンに到達するものとして示され、AT Dは、AT Bの右側に位置し、AT Dからのオーディオが右耳またはAT Bの右のヘッドフォンに到達するものとして示される。オーディオがAT Bにおいて「右」の耳に到達するか「左」の耳に到達するかとは別の、AT Bのユーザに伝えられる方向の感覚もある。図7Bと同様に、AT A、CおよびEからのオーディオは各々、左の「耳」またはヘッドフォンからは実質的に外れて、AT Bのユーザに出力されるが、3Dオーディオは、AT Bのユーザがオーディオストリームの仮想的な源を突き止めようとする時にAT CのオーディオがAT Aおよび/またはEのオーディオとは異なる源の位置(または異なる方向)から発せられているように聞こえるように、構成される(たとえば、図6および図7Aの実施形態ではアプリケーションサーバ170によって)。
図7Bおよび図7Cを参照すると、少なくとも1つの実施形態では、AT A...Eに割り当てられる異なる仮想的な発生点または方向は、それぞれの位置情報に基づき得る。たとえば、図7Bでは、仮想的な発生点または方向がAT Aの「左側」であるAT B、CおよびEは、AT Aのユーザに、AT B、CおよびEがAT Aの西側に位置していることを伝えるために使われ得る。同様に、仮想的な発生点または方向がAT Aの「右側」であるAT Dは、AT Aのユーザに、AT DがAT Aの東側に位置していることを伝えるために使われ得る。AT Eよりも「高く」もあるAT BおよびCの仮想的な発生点または方向はさらに、関連する高度を伝えるために使われてよく(たとえば、AT BおよびCはAT Eよりも高い土地にある)、または、AT BおよびCがAT Eよりも北にあることを伝えてもよい。また、AT BとCの仮想的な発生点または方向の類似性は、AT BおよびCが位置に関して比較的接近している(たとえば、AT BおよびCが、同じ部屋、同じ州、同じ国、互いに閾値以内の距離などにある)ことを、AT Aのユーザに伝えるために使われてよい。理解されるように、グループ通信セッションの間にグループへメディアを送信しているATのための仮想的な発生点または方向の構成を介して伝えられ得る、多くの異なるタイプの物理的な位置情報および/または地理的な位置情報が存在する。
図7Dは、本発明のある実施形態による、オンラインポーカーゲームにおける仮想的なポーカーテーブル700Dの周囲のポーカープレイヤーの配置を示す。したがって、時計回りの順序でAT Aから始まり、ATは、AT A、AT D、AT E、AT BおよびAT Cと表される。従来は、プレイヤーが互いに会話できるグループ通信セッションに関して、ポーカーゲームがサポートされるように構成される場合、ポーカープレイヤーの相対的な位置は、グループ通信セッションをサポートするのに使われる1Dオーディオを介しては、互いに伝えられない。
図7Eは、本発明のある実施形態による、仮想的なポーカーテーブル700Dの周りのポーカープレイヤーの相対的な位置をAT Aに伝えるために、AT B...Eの仮想的な発生点または方向がどのように使われ得るかの例を示す。図7Eの実施形態では、AT Aから見て、他のポーカープレイヤーが実際のテーブルの周りに座っているかのように、他のポーカープレイヤーが話しているのをAT Aが聞くように、AT B...Eの仮想的な発生点または方向が設定される。言い換えると、AT Dは、仮想的にAT Aの左側に座っているので、AT Dのオーディオメディアは、AT Aの左側から(かつ、ことによると前側からも)来たものとして、AT Aのユーザには聞こえ、以下同様である。したがって、AT B...Dの位置の人工的な感覚を提供する3Dオーディオは、オンラインポーカーゲームにおいて、AT Aに対してより臨場感のある体験を提供できる。
図7Fは、本発明のある実施形態による、半二重グループ通信セッションのプロセス内の図7Aのプロセスの実装を示す。図7Fの700Fから725Fは、実質的にそれぞれ図4Aの400から425に対応するので、簡潔のためにさらに説明はされない。
730Fにおいて、アプリケーションサーバ170がAT Aからオーディオメディアの受信を開始した(たとえば、図7Aの700Aと同様)後で、アプリケーションサーバ170は、AT A...Eの位置情報を求める(たとえば、図7Aの705Aと同様)。上で説明されたように、位置情報は、AT A...Eの物理的な位置、たとえば、地理的な座標および/もしくはサービングエリア、または、AT A...Eの仮想的な位置、たとえば、仮想的なポーカーテーブルの周りのAT A...Eのユーザの座席位置に対応し得る。
次に、AT B...Eの各々について、アプリケーションサーバ170は、求められた位置情報に基づいて、AT Aのための仮想的な発生点または方向を決定する(たとえば、図7Aの710Aと同様)(735F)。たとえば、アプリケーションサーバ170は、AT Aの位置情報を、AT B...EのうちのターゲットATの位置情報と比較して、AT Aのための仮想的な発生点または方向を決定することができる。したがって、ある例では、AT Aの位置がターゲットATの位置の西側にある場合、アプリケーションサーバ170は、3Dオーディオに関してターゲットATの左側となるように、仮想的な発生点または方向を設定することができる。やはり、735Fの決定は、各ターゲットATに関して相対的であってよい。したがって、AT Aの仮想的なポーカーの座席がAT BとCとの間にある場合、たとえば、AT BおよびCに送信される3Dオーディオは、AT Bの左側かつAT Cの右側にAT Aが座っていることに基づいて、異なる方向から来ているようにAT Aを見せる。
あるいは、735Fの決定において、AT Aの位置を任意の他の位置と比較する必要はない。むしろ、少なくとも1つの実施形態では、AT Aの位置は、各ターゲットATのための仮想的な発生点または方向を決定する際に、AT A自身によって使われ得る。たとえば、アプリケーションサーバ170は、少なくとも1つのターゲットATについて、国内の呼の参加者のために第1の所定の仮想的な発生点または方向を、国外の呼の参加者のために第2の所定の仮想的な発生点または方向を確立することができる。したがって、AT B...Eの位置に関係なく、AT Aの位置は、話者(この場合、AT A)が国内にいるか国外にいるかをターゲットATに伝えると想定される仮想的な発生点または方向を選択するために、アプリケーションサーバ170によって使われ得る。
各々のターゲットATに関して、AT Aの仮想的な発生点または方向を決定した後で、アプリケーションサーバ170は、それぞれのターゲットATのための対応する仮想的な発生点または方向に位置しているAT Aのオーディオメディアを含む、AT B...Eの各々のための3Dオーディオ出力フレームを生成する(たとえば、図7Aの715Aと同様)(740F)。アプリケーションサーバ170は、745Fにおいて、AT B...Eに3Dオーディオ出力フレームを送信する(たとえば、図7Aの720Aと同様)。AT B...Eの各々は、グループ通信セッション750Fおよび755Fと関連するグループメッセージを監視する。こうして、AT B...Eは各々、アプリケーションサーバ170からそれぞれの3Dオーディオ出力フレームを受信し、3Dオーディオ出力フレームに含まれる3Dオーディオを、オーディオ出力デバイスを介して出力する(760Fおよび765F)。
図7Gは、本発明のある実施形態による、全二重グループ通信セッションのプロセス内の図7Aのプロセスの実装を示す。図7Gの700Gから735Gは、実質的にそれぞれ図4Bの400Bから435Bに対応するので、簡潔のためにさらに説明はされない。
740Gにおいて、アプリケーションサーバ170がAT A...Eからオーディオメディアの受信を開始した(たとえば、図7Aの700Aと同様)後で、アプリケーションサーバ170は、AT A...Eの位置情報を求める(たとえば、図7Aの705Aと同様)。上で説明されたように、位置情報は、AT A...Eの物理的な位置、たとえば、地理的な座標および/もしくはサービングエリア、または、AT A...Eの仮想的な位置、たとえば、仮想的なポーカーテーブルの周りのAT A...Eのユーザの座席位置に対応し得る。
次に、AT A...Eの各々について、アプリケーションサーバ170は、求められた位置情報に基づいて、各々の他のATのための仮想的な発生点または方向を決定する(たとえば、図7Aの710Aと同様)(745G)。たとえば、アプリケーションサーバ170は、各ATの位置情報を各々の他のATの位置情報と比較して、仮想的な発生点または方向を決定することができる。したがって、AT AがターゲットATである場合、AT Aの位置は、AT B...Eの各々の位置と比較され得る。これらの比較の各々によって、特定のATのための特定の仮想的な発生点または方向が得られる。あるいは、ATの少なくとも1つに対しては、比較は省略されてよく、ATの位置情報は単に、仮想的な発生点または方向を確立するために使われ得る。たとえば、少なくとも1つの実施形態では、米国の外に位置するATは常に、ターゲットATにおける3Dオーディオ出力の観点から、左耳または左側にあるものとして出力される。この場合、国外のATは、ターゲットATに対する相対的な位置とは関係なく、その位置に一部基づいて、仮想的な発生点または方向を割り当てられ得る。
各々のターゲットATのための、仮想的な発生点または方向のセットを決定した後で、アプリケーションサーバ170は、それぞれのターゲットATのための対応する仮想的な発生点または方向に位置しているそれぞれのATのオーディオメディアを含む、AT A...Eの各々のための3Dオーディオ出力フレームを生成する(たとえば、図7Aの715Aと同様)(750G)。アプリケーションサーバ170は、755Gにおいて、AT A...Eに3Dオーディオ出力フレームを送信する(たとえば、図7Aの720Aと同様)。AT A...Eの各々は、グループ通信セッション760G、765Gおよび770Gと関連するグループメッセージを監視する。こうして、AT A...Eは各々、アプリケーションサーバ170からそれぞれの3Dオーディオ出力フレームを受信し、3Dオーディオ出力フレームに含まれる3Dオーディオを、オーディオ出力デバイスを介して出力する(775G、780Gおよび785G)。
図7A〜図7Gの実施形態は全般に、グループ通信セッションがグループオーディオ通信に対応する図6Aのプロセスの実装例を説明するが、本発明の他の実施形態は、図8Aから図8Cに関してここで説明されるように、グループビデオ通信セッションに関して図6Aのプロセスを実施することを対象とする。
したがって、図8Aは、本発明のある実施形態による、グループビデオ通信セッションに適用される図6Aのプロセスの、より詳しい実装例を示す。
図8Aを参照すると、アプリケーションサーバ170は、AT A...Eの間のビデオメディアの交換を含むグループ通信セッションを調停しており、アプリケーションサーバ170は、通信グループへの送信のために、AT A...EのうちのATの第1のセットからビデオメディアを受信する(800A)。図8Aの800Aは、800Aがより具体的にビデオメディアを対象としていることを除き、図6Aの600と同様である。次に、図6Aの605のように、アプリケーションサーバ170は、AT A...Eの1つまたは複数と関連付けられる位置情報を求める(805A)。
AT A...Eのうちの1つまたは複数のATの位置情報を求めた後で、アプリケーションサーバ170は、AT A...Eの各々のために、求められた位置情報に基づいて、セットの各ATの受信されたビデオメディアの視覚的な配置を決定する(810A)。受信されたビデオメディアの視覚的な配置の例が、以下でより詳しく説明される。受信されたビデオメディアの視覚的な配置を810Aにおいて決定した後で、アプリケーションサーバ170は、AT A...Eの第2のセット(たとえば、全二重セッションでは第1のセットと同一であり得るが、半二重セッションの場合は異なり得る)の各々のために、815Aにおいて、決定された視覚的な配置に従って配置されている受信されたビデオメディアを含む、ビデオ出力フレームを生成する。ある例では、1つの特定のATのみがビデオメディアを提供している場合には、送信するATに対するフィードバックを減らすために、ビデオメディアを提供するATを除く各ATが、ビデオ出力フレームを受信するためのターゲットATであり得る。
815Aにおいてビデオ出力フレームを生成した後で、アプリケーションサーバ170は、ビデオ出力フレームを対応するターゲットATに送信する(820A)。上で述べられたように、AT A...Eの各々は、ソースATの異なるセットで構成されるビデオ出力フレームを受信することができる(たとえば、AT Aは、AT B...Eからのビデオメディアで構成されるビデオ出力フレームを送信され、以下同様)。また、ATのセットの位置情報は、特定のオーディオフレームのための、ターゲットATの位置情報に関連すると考えられ得ることが、理解されるだろう。したがって、少なくとも1つの実施形態では、仮想的な配置における各ATの位置は、ターゲットATによって変化し得る。この態様は、図8Bおよび図8Cに関して以下でより詳細に説明される。
図8Bは、図7Dおよび図7Eにおいて示されるような、オンラインポーカーゲームにおける、ターゲットAT AのためのAT B...Eからのビデオメディアの視覚的な配置の例を示す。図8Bに示されるように、図5Bおよび図5Cとは異なり、ビデオ出力フレーム内のAT B...Eの位置が仮想的なポーカーテーブルにおけるAT Aに対するそれぞれの位置に対応するように、視覚的な配置が確立される。したがって、AT Aのユーザは、図8Bに示されるビデオ出力フレームを見ることができ、AT Dが仮想的なポーカーテーブルにおいてAT Aの左側に仮想的に表示されること、AT Cが仮想的なポーカーテーブルにおいてAT Aの右側に仮想的に表示されることなどを、理解することができる。
図8Cは、図7Dおよび図7Eにおいて示されるような、オンラインポーカーゲームにおける、ターゲットAT BのためのAT AおよびAT C...Eからのビデオメディアの視覚的な配置の例を示す。図8Cに示されるように、図8Bと同様に、かつ図5Bおよび図5Cとは異なり、ビデオ出力フレーム内のAT AおよびAT C...Eの位置が仮想的なポーカーテーブルにおけるAT Bに対するそれぞれの位置に対応するように、視覚的な配置が確立される。したがって、AT Bのユーザは、図8Cに示されるビデオ出力フレームを見ることができ、AT Cが仮想的なポーカーテーブルにおいてAT Bの左側に仮想的に表示されること、AT Eが仮想的なポーカーテーブルにおいてAT Bの右側に仮想的に表示されることなどを、理解することができる。
図8Dは、本発明のある実施形態による、全二重グループビデオ通信セッションのプロセス内の図6Aのプロセスの実装を示す。図8Dの800Dから835Dは、実質的にそれぞれ図5Aの500から535に対応するので、簡潔のためにさらに説明はされない。
840Dにおいて、アプリケーションサーバ170がAT A...Eからビデオメディアの受信を開始した(たとえば、図8Aの800Aと同様)後で、アプリケーションサーバ170は、AT A...Eの位置情報を求める(たとえば、図8Aの805Aと同様)。上で説明されたように、位置情報は、AT A...Eの物理的な位置、たとえば、地理的な座標および/もしくはサービングエリア、または、AT A...Eの仮想的な位置、たとえば、仮想的なポーカーテーブルの周りのAT A...Eのユーザの座席位置に対応し得る。
次に、AT A...Eの各々について、アプリケーションサーバ170は、求められた位置情報に基づいて、各々の他のATのためのビデオメディアの視覚的な配置を決定する(たとえば、図8Aの810Aと同様)(845D)。たとえば、アプリケーションサーバ170は、各ATの位置情報を各々の他のATの位置情報と比較して、仮想的な発生点または方向を決定することができる。したがって、AT AがターゲットATである場合、AT Aの位置は、AT B...Eの各々の位置と比較され得る。これらの比較の各々によって、ターゲットATへ提示するための特定の視覚的な配置が得られる。
各々のターゲットATに提示されるべき仮想的な配置を決定した後で、アプリケーションサーバ170は、それぞれのターゲットATのための視覚的な配置に従って位置しているそれぞれのATのビデオメディアを含む、AT A...Eの各々のためのビデオ出力フレームを生成する(たとえば、図8Aの815Aと同様)(850D)。アプリケーションサーバ170は、855Dにおいて、AT A...Eにビデオ出力フレームを送信する(たとえば、図8Aの820Aと同様)。AT A...Eの各々は、グループ通信セッション860D、865Dおよび870Dと関連するグループメッセージを監視する。こうして、AT A...Eは各々、アプリケーションサーバ170からそれぞれのビデオ出力フレームを受信し、ビデオ出力フレームに含まれる空間的に配置されたビデオメディアを、ディスプレイを介して出力する(875D、880D、および885D)。
図6Aから図8Dは、アプリケーションサーバ170が、グループ通信セッションに参加している多数のターゲットATへの送信のために、アプリケーションサーバ170において取得されたその参加しているATの1つまたは複数の位置情報に基づいて、メディアを選択的にフォーマットすることを担う、実施形態を対象とするものとして説明されてきたことが、理解されよう。本発明の別の実施形態では、「生の」またはフォーマットされていないメディア(たとえば、位置に基づく仮想的な配置ではない1Dオーディオおよび/またはビデオ出力フレーム)が、アプリケーションサーバ170によってターゲットATに送信されてよく、位置に基づく再フォーマットは、(それぞれのユーザの裁量で)ターゲットAT自体によって実施される。そのような実施形態は、より多くの帯域幅および/またはシステムリソースを消費する可能性があるが、メディアが出力される方式を通じて、より多くの制御性および柔軟性をユーザに与えることもできることが、理解されよう。
図9Aおよび図9Bは、本発明の少なくとも1つの実施形態による、グループ通信セッションの間の高水準のメディアの再フォーマットプロセスまたはミキシングプロセスを示す。図9Aを参照すると、アプリケーションサーバ170は、AT A...Eの間のグループ通信セッション(たとえば、オーディオおよび/またはビデオグループ通信セッション)を調停しており、アプリケーションサーバ170は、AT A...EのうちのATの第2のセットへの送信のために、AT A...EのうちのATの第1のセットからメディアを受信する(900A)。メディアの受信元であるATの第1のセットは、単一のAT、通信セッションに参加しているすべてのAT、またはその中間の数のATに対応し得る。同様に、ATの第2のセットは、通信セッションに参加しているすべてのATに対応してよく、または代替的には、第1のセットの間のメディアを提供しているATを除く、通信セッションに参加しているすべてのATに対応してよい。次に、アプリケーションサーバ170は、AT A...Eの1つまたは複数と関連付けられる位置情報を求める(905A)。図9Aの900Aおよび905Aは、それぞれ、図6Aの600および605と同様である。
905Aにおいて1つまたは複数のATの位置情報を取得した後で、図6Aの610のようにアプリケーションサーバ170においてメディアを再フォーマットする代わりに、アプリケーションサーバ170は、求められた位置情報とともに、各々のそれぞれのターゲットATへフォーマットされていないメディアを送信する(910A)。理解されるように、これによって、各々のターゲットATは、メディアをどのように再フォーマットするかに関して、固有の独立した決定を行えるようになる。ある例では、910Aで行われるメディアの転送は、メディアの別個のミキシングされていないストリームを、各々のターゲットATに送信することに対応する。したがって、AT A...Eが関わる全二重オーディオセッションでは、910Aにおいて、AT Aが、AT B...Eからの4個の別個のオーディオストリームを送信され、以下同様である。ある例では、910Aの送信は、IPユニキャスティングプロトコルおよび/またはIPマルチキャスティングプロトコルに従って実行され得る。
図9Bは、本発明のある実施形態による、メディアのターゲットATの1つにおける図9Aのプロセスの続きを示す。図9Bを参照すると、ターゲットATは、求められた位置情報とともに、アプリケーションサーバ170からフォーマットされていないメディアを受信する(900B)。次いで、求められた位置情報に基づいて、ターゲットATは、900Bから受信されたメディアを選択的に再フォーマットする。少なくとも1つの実施形態では、910Aおよび900Bにおいてアプリケーションサーバ170からターゲットATに伝えられる、求められた位置情報は、ターゲットAT以外の1つまたは複数のATの位置情報を含んでよく、ターゲットATは、(たとえばGPSまたは何らかの他の機構を介して)固有の位置情報を解明できると予想される。したがって、この代替的な実施形態では、905Bの選択的な再フォーマット動作において使用するために905Bの前に固有の位置を求めるための、追加の動作(図9Bには示されない)がターゲットATのために存在してよい。ある例では、905Bの選択的な再フォーマット動作は、アプリケーションサーバ170の代わりにターゲットATにおいて実行されることを除いて、図6Aの610と同様である。また、図6Aの610の選択的な再フォーマット動作は、各ターゲットATのために実行され、905Bの選択的な再フォーマット動作は、(このプロセスは各ターゲットATにおいて同時に実行され得るが)図9Bのプロセスを実行しているターゲットATのためのみに実行される。ある例では、905Bの選択的な再フォーマットステップは、メディアを受信する各ターゲットATに固有の方式で実行され得る。たとえば、ターゲットATのユーザは、メディア配置に関するユーザの選好を示すことができ、ターゲットATは次いで、ユーザの好みのメディア配置に従って、905Bの選択的な再フォーマットステップを実行することができる。異なるターゲットATのユーザは、メディア配置に関連する異なる選好を有し得る。図6Bでは、この態様は、ターゲットATに、ユーザのメディア配置の選好をアプリケーションサーバ170と関連付けさせることによって、または、メディア再フォーマットプロトコルを選択させることによって、実施される。図9Bでは、ターゲットAT自体がメディアの再フォーマットを担うので、選択されたメディア再フォーマットプロトコルは、図6Bの600Bのようにアプリケーションサーバ170に伝えられなくてもよいが、905Bにおいて、それぞれのターゲットATによって依然として実装されてよい。
905Bにおいてメディアを再フォーマットした後で、ターゲットATは、ターゲットATのユーザに対して、選択的に再フォーマットされたメディアを出力する(910B)。選択的に再フォーマットされたメディアがオーディオを含む場合、910Bの出力するステップは、ターゲットATに接続されたスピーカを介して3Dオーディオを出力するステップを含み得る。選択的に再フォーマットされたメディアがビデオを含む場合、910Bの出力するステップは、ターゲットATに接続されたディスプレイを介して、位置に基づく視覚的な配置に従って配置されたビデオ出力フレームを出力するステップを含み得る。
図9Cは、本発明のある実施形態による、半二重グループオーディオ通信セッションプロセス内の図9Aおよび図9Bのプロセスの実装を示す。図9Cの900Cから925Cは、実質的にそれぞれ図7Fの700Fから725Fに対応するので、簡潔のためにさらに説明はされない。
930Cにおいて、アプリケーションがAT Aからのメディアの受信を開始した後で、アプリケーションサーバ170は、少なくともAT Aに関連する位置情報を求める(930C)。アプリケーションサーバ170がAT Aの位置情報を求めた後で、アプリケーションサーバ170は、AT Aのオーディオメディアを、求められた位置情報とともに、1Dオーディオとして各々のそれぞれのターゲットAT(すなわち、AT B...E)に送信する(935A)。AT B...Eは各々、アプリケーションサーバ170からオーディオメディアを受信し、AT B...Eの各々は、アプリケーションサーバ170から伝えられたAT Aの求められた位置情報に一部基づいて、AT Aの受信されたオーディオメディアの仮想的な発生点または方向を決定する(940Cおよび945C)。理解されるように、940Cおよび945Cの決定は、ある例では、各ターゲットATの固有の位置にも一部基づいてよく、この固有の位置は、各ターゲットATにおいて独立に求められてよく、または、アプリケーションサーバ170において求められてよく、次いで、AT Aの固有の位置情報とともに各ターゲットATに送信され得る。
AT B...Eの各々において、AT Aの仮想的な発生点または方向を決定した後で、AT B...Eは、(たとえば、図7Aの715Aと同様に、ただしアプリケーションサーバ170ではなくターゲットATにおいて実行されるが)それぞれの仮想的な発生点または方向に基づいて、AT Aの受信されたオーディオメディアを3Dオーディオとして再フォーマットする(950Cおよび955C)。オーディオメディアを3Dオーディオフォーマットへと再フォーマットした後で、AT B...Eは、再フォーマットされた3Dオーディオメディアを、オーディオ出力デバイスを介してそれぞれのユーザに出力する(960Cおよび965C)。
図9Dは、本発明のある実施形態による、全二重グループオーディオ通信セッションプロセス内の図9Aのプロセスの実装を示す。図9Dの900Dから935Dは、実質的にそれぞれ図4Bの400Bから435Bに対応するので、簡潔のためにさらに説明はされない。
940Dにおいて、アプリケーションサーバ170がAT A...Eからオーディオメディアの受信を開始した(たとえば、図9Aの900Aと同様)後で、アプリケーションサーバ170は、AT A...Eの位置情報を求める(たとえば、図9Aの905Aと同様)。アプリケーションサーバ170がAT A...Eの位置情報を求めた後で、アプリケーションサーバ170は、AT A...Eのオーディオメディアを、求められた位置情報とともに、1Dオーディオとして各々のそれぞれのターゲットAT(すなわち、AT A...E)に送信する(945D)。ある例では、アプリケーションサーバ170は、各ATからAT A...Eの各々へ、各オーディオストリームを送信することができる。別の例では、アプリケーションサーバ170は、AT AがAT B...Eのメディアを受信するなどするように、ターゲットATの固有のオーディオメディアを除いて、各オーディオストリームをAT A...Eの各々に送信できる。同様に、位置情報に関して、アプリケーションサーバ170は、AT A...Eの各々に対して求められた位置情報を、各ターゲットATに送信することができる。あるいは、アプリケーションサーバ170は、AT AがAT B...Eに関する位置情報を受信するがAT A自身に関する位置情報(これは、少なくとも1つの実施形態では、恐らくAT Aが自身で求めることができる)を受信しないように、それぞれのターゲットATを除く、AT A...Eの中の各ATの位置情報を送信できる。
AT A...Eは各々、アプリケーションサーバ170からオーディオメディアを受信し、AT A...Eの各々は、アプリケーションサーバ170から伝えられたATの求められた位置情報に一部基づいて、受信されたオーディオメディアの各提供者の仮想的な発生点または方向を決定する(950D、955Dおよび960D)。理解されるように、950D、955Dおよび960Dの決定は、ある例では、各ターゲットATの固有の位置にも一部基づいてよく、この固有の位置は、各ターゲットATにおいて独立に求められてよく、または、アプリケーションサーバ170において求められてよく、次いで、他のATの位置情報とともに各ターゲットATに送信され得る。
AT A...Eの各々においてメディア提供者(すなわち、ターゲットAT以外のAT)の仮想的な発生点または方向を決定した後で、AT A...Eは、それぞれの仮想的な発生点または方向に基づいて、受信されたオーディオメディアを3Dオーディオとして再フォーマットする(たとえば、図9Bの905Bと同様に)(965D、970D、および975D)。オーディオメディアを3Dオーディオフォーマットへと再フォーマットした後で、AT A...Eは、再フォーマットされた3Dオーディオメディアを、オーディオ出力デバイスを介してそれぞれのユーザに出力する(980D、985Dおよび990D)。
図9Cおよび図9Dの実施形態は、グループ通信セッションがグループオーディオ通信に対応する図9Aのプロセスの実装例について説明するが、本発明の他の実施形態は、図9Eに関してここで説明されるように、グループビデオ通信セッションに関して図9Aのプロセスを実施することを対象とする。
したがって、図9Eは、本発明のある実施形態による、全二重グループビデオ通信セッションのプロセス内の図9Aのプロセスの実装を示す。図9Eの900Eから935Eは、実質的にそれぞれ図5Aの500から535に対応するので、簡潔のためにさらに説明はされない。
940Eにおいて、アプリケーションサーバ170がAT A...Eからビデオメディアの受信を開始した(たとえば、図9Aの900Aと同様)後で、アプリケーションサーバ170は、AT A...Eの位置情報を求める(たとえば、図9Aの905Aと同様)。アプリケーションサーバ170がAT A...Eの位置情報を求めた後で、アプリケーションサーバ170は、AT A...Eのビデオメディアを、求められた位置情報とともに、1Dオーディオとして各々のそれぞれのターゲットAT(すなわち、AT A...E)に送信する(945E)。ある例では、アプリケーションサーバ170は、各ATからAT A...Eの各々へ、各ビデオストリームを送信することができる。別の例では、アプリケーションサーバ170は、AT AがAT B...Eのメディアを受信するなどするように、ターゲットATの固有のビデオメディアを除いて、各ビデオストリームをAT A...Eの各々に送信できる。同様に、位置情報に関して、アプリケーションサーバ170は、AT A...Eの各々に対して求められた位置情報を、各ターゲットATに送信することができる。あるいは、アプリケーションサーバ170は、AT AがAT B...Eに関する位置情報を受信するがAT A自身に関する位置情報(これは、少なくとも1つの実施形態では、恐らくAT Aが自身で求めることができる)を受信しないように、それぞれのターゲットATを除く、AT A...Eの中の各ATの位置情報を送信できる。
AT A...Eは各々、アプリケーションサーバ170からビデオメディアを受信し、AT A...Eの各々は、求められた位置情報に基づいて、各々の他のATのためのビデオメディアの視覚的な配置を決定する(たとえば、図8Aの810Aのように、ただし、図9Eにおけるこの動作は、アプリケーションサーバ170の代わりにそれぞれのターゲットATにおいて実行される)(950E、955Eおよび960E)。理解されるように、950E、955Eおよび960Eの決定は、ある例では、各ターゲットATの固有の位置にも一部基づいてよく、この固有の位置は、各ターゲットATにおいて独立に求められてよく、または、アプリケーションサーバ170において求められてよく、次いで、他のATの位置情報とともに各ターゲットATに送信されてよい。
AT A...Eの各々においてそれぞれのメディア提供者(すなわち、ターゲットAT以外のAT)からのビデオメディアの視覚的な配置を決定した後で、AT A...Eは、求められた視覚的な配置に従って、受信されたビデオメディアを再フォーマットする(965E、970Eおよび975E)。それぞれの視覚的な配置に従ってビデオメディアを再フォーマットした後で、AT A...Eは、ディスプレイを介して、再フォーマットされたビデオメディアをそれぞれのユーザに出力する(980E、985Eおよび990E)。
本発明の上で説明された実施形態は全般に、全二重セッションの間の選択的なフレームのミキシングを対象としてきたが、同一の全般的な教示が、ハイブリッド全二重の実装形態においてどのように適用され得るかは、理解されるだろう。ハイブリッド全二重セッションにおいて、2人以上の参加者が同時に話せる一方、他の参加者は聴取のみである。したがって、閾値よりも少ない数(たとえば1人)の話者が所与の期間話している、ハイブリッド全二重セッションにおいては、ハイブリッド全二重セッションを調停しているMCC170Bにおいてリソースを節減するために、ジッタバッファバイパス手順が呼び出され得る。
情報および信号は、多種多様な技術および技法のいずれかを使用して表せることを、当業者は理解されよう。たとえば、上記の説明全体にわたって言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、およびチップは、電圧、電流、電磁波、磁界もしくは磁性粒子、光場もしくは光子、またはそれらの任意の組合せによって表され得る。
さらに、本明細書で開示した実施形態に関連して説明した様々な例示的な論理ブロック、モジュール、回路、およびアルゴリズムステップは、電子ハードウェア、コンピュータソフトウェア、または両方の組合せとして実装できることを、当業者は理解されよう。ハードウェアとソフトウェアのこの互換性を明確に示すために、様々な例示的な構成要素、ブロック、モジュール、回路、およびステップを、上記では概してそれらの機能に関して説明した。そのような機能をハードウェアとして実装するか、ソフトウェアとして実装するかは、具体的な適用例および全体的なシステムに課される設計制約に依存する。当業者は、説明した機能を具体的な適用例ごとに様々な方法で実装することができるが、そのような実装の決定は、本発明の範囲からの逸脱を生じるものと解釈すべきではない。
本明細書で開示する実施形態に関して説明する様々な例示的な論理ブロック、モジュール、および回路は、汎用プロセッサ、デジタルシグナルプロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)もしくは他のプログラマブル論理デバイス、個別ゲート回路もしくはトランジスタ論理回路、個別ハードウェア構成要素、または、本明細書で説明する機能を実行するように設計されたそれらの任意の組合せで、実装または実行することができる。汎用プロセッサはマイクロプロセッサであり得るが、代替として、プロセッサは、任意の従来のプロセッサ、コントローラ、マイクロコントローラ、または状態機械であり得る。プロセッサはまた、コンピューティングデバイスの組合せ、たとえば、DSPとマイクロプロセッサとの組合せ、複数のマイクロプロセッサ、DSPコアと連携する1つまたは複数のマイクロプロセッサ、または任意の他のそのような構成として実装され得る。
本明細書で開示した実施形態と関連して説明した方法、シーケンス、および/またはアルゴリズムは、ハードウェアで、プロセッサによって実行されるソフトウェアモジュールで、またはその2つの組合せで直接実施され得る。ソフトウェアモジュールは、RAMメモリ、フラッシュメモリ、ROMメモリ、EPROMメモリ、EEPROMメモリ、レジスタ、ハードディスク、リムーバブルディスク、CD-ROM、または当技術分野で知られている任意の他の形態の記憶媒体中に存在し得る。例示的な記憶媒体は、プロセッサが記憶媒体から情報を読み取り、記憶媒体に情報を書き込むことができるように、プロセッサに結合される。代替として、記憶媒体はプロセッサと一体であり得る。プロセッサおよび記憶媒体は、ASIC中に存在し得る。ASICはユーザ端末(たとえば、アクセス端末)中に存在し得る。代替として、プロセッサおよび記憶媒体は、ユーザ端末中に個別構成要素として存在し得る。
1つまたは複数の例示的な実施形態では、説明した機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。ソフトウェアで実装した場合、機能は、1つまたは複数の命令またはコードとしてコンピュータ可読媒体上に記憶されるか、またはコンピュータ可読媒体を介して送信され得る。コンピュータ可読媒体は、ある場所から別の場所へのコンピュータプログラムの転送を可能にする任意の媒体を含む、コンピュータ記憶媒体とコンピュータ通信媒体の両方を含む。記憶媒体は、コンピュータによってアクセスされ得る任意の利用可能な媒体であり得る。限定ではなく例として、そのようなコンピュータ可読媒体は、RAM、ROM、EEPROM、CD-ROMもしくは他の光ディスクストレージ、磁気ディスクストレージもしくは他の磁気ストレージデバイス、または、命令もしくはデータ構造の形態の所望のプログラムコードを搬送または記憶するために使用でき、コンピュータによってアクセスできる、任意の他の媒体を含み得る。また、いかなる接続もコンピュータ可読媒体と適切に呼ばれる。たとえば、ソフトウェアが、同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線(DSL)、またはワイヤレス技術、たとえば赤外線、無線、およびマイクロ波を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバケーブル、ツイストペア、DSL、または、赤外線、無線、およびマイクロ波などのワイヤレス技術は、媒体の定義内に含まれる。本明細書で使用する場合、ディスク(disk)およびディスク(disc)は、コンパクトディスク(CD)、レーザーディスク（登録商標）、光ディスク、デジタル多用途ディスク(DVD)、フロッピー（登録商標）ディスク、およびブルーレイディスクを含み、ディスク(disk)は、通常、磁気的にデータを再生し、ディスク(disc)は、レーザーで光学的にデータを再生する。上記の組合せも、コンピュータ可読媒体の範囲内に含めるべきである。
上記の開示は本発明の例示的な実施形態を示すが、添付の特許請求の範囲によって規定される本発明の範囲から逸脱することなく、本明細書において様々な変更および修正を行えることに留意されたい。本明細書で説明した本発明の実施形態による方法クレームの機能、ステップおよび/またはアクションは、特定の順序で実行されなくてもよい。さらに、本発明の要素は、単数形で説明または請求されていることがあるが、単数形に限定することが明示的に述べられていない限り、複数形が企図される。
104 エアインターフェース
120 RAN
122 RNC
124 Node B
126 キャリア
127 フェムトゲートウェイ
170 アプリケーションサーバ
175 インターネット

Claims (26)

  1. グループ通信セッションの間にメディアをフォーマットする方法であって、
    前記グループ通信セッションの間に、通信グループに属するアクセス端末の第1のセットからメディアを受信するステップであって、前記受信されたメディアが、前記通信グループに属するアクセス端末の第2のセットへ提示する内容に対応する、ステップと、
    アクセス端末の前記第1または第2のセットのうちの少なくとも1つのアクセス端末と関連付けられる位置情報を求めるステップと、
    前記求められた位置情報に基づいて、前記受信されたメディアを選択的に再フォーマットするステップと
    を含む、方法。
  2. 前記受信するステップ、前記求めるステップ、および前記選択的に再フォーマットするステップが、前記グループ通信セッションを調停しているアプリケーションサーバによって実行される、請求項1に記載の方法。
  3. 前記選択的に再フォーマットされたメディアをアクセス端末の前記第2のセットに送信するステップ
    をさらに含む、請求項2に記載の方法。
  4. 前記受信するステップ、前記求めるステップ、および前記選択的に再フォーマットするステップが、アクセス端末の前記第2のセットに属する、前記受信されたメディアのターゲットアクセス端末によって実行される、請求項1に記載の方法。
  5. 前記選択的に再フォーマットされたメディアを、前記ターゲットアクセス端末のユーザに提示するステップ
    をさらに含む、請求項4に記載の方法。
  6. 前記求められた位置情報が、アクセス端末の前記第1のセットまたは前記第2のセットのうちの前記少なくとも1つのアクセス端末の、物理的なまたは地理的な位置に対応する、請求項1に記載の方法。
  7. 前記求められた位置情報が、アクセス端末の前記第1のセットまたは前記第2のセットのうちの前記少なくとも1つのアクセス端末の仮想的な位置に対応する、請求項1に記載の方法。
  8. 前記仮想的な位置が、オンラインポーカーゲームの仮想的なポーカーテーブルにおける、前記少なくとも1つのアクセス端末の相対的な位置に対応する、請求項7に記載の方法。
  9. 前記グループ通信セッションがグループオーディオ通信セッションに対応し、前記受信されたメディアがオーディオメディアに対応する、請求項1に記載の方法。
  10. 前記受信されたメディアが1次元(1D)オーディオメディアに対応し、前記選択的に再フォーマットするステップが前記1Dオーディオメディアを3次元(3D)オーディオメディアに変換する、請求項9に記載の方法。
  11. 前記選択的に再フォーマットするステップが、
    アクセス端末の前記第2のセットのうちの所与のアクセス端末のために、アクセス端末の前記第1のセットのうちの少なくとも1つのアクセス端末の仮想的な発生点または方向を選択するステップと、
    アクセス端末の前記第2のセットのうちの前記所与のアクセス端末のために、前記選択された仮想的な発生点または方向に位置しているアクセス端末の前記第1のセットのうちの、前記少なくとも1つのアクセス端末の前記オーディオメディアを含むように、少なくとも1つの3次元(3D)オーディオ出力フレームを構成するステップと
    を含む、請求項9に記載の方法。
  12. 前記選択的に再フォーマットするステップが、前記グループ通信セッションを調停するアプリケーションサーバによって実行され、
    前記アプリケーションサーバがアクセス端末の前記第2のセットの中の各アクセス端末のために異なる3Dオーディオ出力フレームを構成するように、前記選択的に再フォーマットするステップがアクセス端末の前記第2のセットの中の各アクセス端末に対して独立に実行される、請求項11に記載の方法。
  13. 前記グループ通信セッションがグループビデオ通信セッションに対応し、前記受信されたメディアがビデオメディアに対応する、請求項1に記載の方法。
  14. 前記選択的に再フォーマットするステップが、
    アクセス端末の前記第2のセットのうちの所与のアクセス端末のために、アクセス端末の前記第1のセットの少なくとも1つから受信された前記ビデオメディアの視覚的な配置を選択するステップと、
    アクセス端末の前記第2のセットのうちの前記所与のアクセス端末のために、前記選択された視覚的な配置に従って、アクセス端末の前記第1のセットのうちの前記少なくとも1つのアクセス端末の前記ビデオメディアを含むように少なくとも1つのビデオ出力フレームを構成するステップと
    を含む、請求項13に記載の方法。
  15. 前記選択的に再フォーマットするステップが、前記グループ通信セッションを調停するアプリケーションサーバによって実行され、
    前記アプリケーションサーバがアクセス端末の前記第2のセットの中の各アクセス端末のために異なるビデオ出力フレームを構成するように、前記選択的に再フォーマットするステップがアクセス端末の前記第2のセットの中の各アクセス端末に対して独立に実行される、請求項14に記載の方法。
  16. アクセス端末の前記第2のセットの少なくとも1つから、選択されたメディア再フォーマットプロトコルの指示を受信するステップ
    をさらに含み、
    前記選択的に再フォーマットするステップが、前記選択されたメディア再フォーマットプロトコルに従って、アクセス端末の前記第2のセットの前記少なくとも1つのために実行される、請求項1に記載の方法。
  17. 前記選択的に再フォーマットするステップが、前記受信された指示を提供しない、アクセス端末の前記第2のセットのうちの任意の残りのアクセス端末のために、デフォルトのメディア再フォーマットプロトコルに基づいて実行される、請求項16に記載の方法。
  18. グループ通信セッションの間にメディアをフォーマットするように構成される装置であって、
    前記グループ通信セッションの間に、通信グループに属するアクセス端末の第1のセットからメディアを受信するための手段であって、前記受信されたメディアが、前記通信グループに属するアクセス端末の第2のセットへ提示する内容に対応する、手段と、
    アクセス端末の前記第1または第2のセットのうちの少なくとも1つのアクセス端末と関連付けられる位置情報を求めるための手段と、
    前記求められた位置情報に基づいて、前記受信されたメディアを選択的に再フォーマットするための手段と
    を含む、装置。
  19. 前記装置が、前記グループ通信セッションを調停するアプリケーションサーバに対応する、請求項18に記載の装置。
  20. 前記装置が、アクセス端末の前記第2のセットに属する、前記受信されたメディアのターゲットアクセス端末に対応する、請求項18に記載の装置。
  21. グループ通信セッションの間にメディアをフォーマットするように構成される装置であって、
    前記グループ通信セッションの間に、通信グループに属するアクセス端末の第1のセットからメディアを受信するように構成される論理回路であって、前記受信されたメディアが、前記通信グループに属するアクセス端末の第2のセットへ提示する内容に対応する、論理回路と、
    アクセス端末の前記第1または第2のセットのうちの少なくとも1つのアクセス端末と関連付けられる位置情報を求めるように構成される論理回路と、
    前記求められた位置情報に基づいて、前記受信されたメディアを選択的に再フォーマットするように構成される論理回路と
    を含む、装置。
  22. 前記装置が、前記グループ通信セッションを調停するアプリケーションサーバに対応する、請求項21に記載の装置。
  23. 前記装置が、アクセス端末の前記第2のセットに属する、前記受信されたメディアのターゲットアクセス端末に対応する、請求項21に記載の装置。
  24. グループ通信セッションの間にメディアをフォーマットするように構成される装置によって実行されると、前記装置に動作を実行させる命令を記憶した非一時的コンピュータ可読記憶媒体であって、前記命令が、
    前記グループ通信セッションの間に、通信グループに属するアクセス端末の第1のセットからメディアを受信するためのプログラムコードであって、前記受信されたメディアが、前記通信グループに属するアクセス端末の第2のセットへ提示する内容に対応する、プログラムコードと、
    アクセス端末の前記第1または第2のセットのうちの少なくとも1つのアクセス端末と関連付けられる位置情報を求めるためのプログラムコードと、
    前記求められた位置情報に基づいて、前記受信されたメディアを選択的に再フォーマットするためのプログラムコードと
    を含む、非一時的コンピュータ可読記憶媒体。
  25. 前記装置が、前記グループ通信セッションを調停するアプリケーションサーバに対応する、請求項24に記載の非一時的コンピュータ可読記憶媒体。
  26. 前記装置が、アクセス端末の前記第2のセットに属する、前記受信されたメディアのターゲットアクセス端末に対応する、請求項24に記載の非一時的コンピュータ可読記憶媒体。
JP2013540084A 2010-11-19 2011-11-18 グループ通信セッションの間のメディアの選択的なフォーマット Expired - Fee Related JP5819976B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/949,780 US9084079B2 (en) 2010-11-19 2010-11-19 Selectively formatting media during a group communication session
US12/949,780 2010-11-19
PCT/US2011/061513 WO2012068533A1 (en) 2010-11-19 2011-11-18 Selectively formatting media during a group communication session

Publications (2)

Publication Number Publication Date
JP2014503877A true JP2014503877A (ja) 2014-02-13
JP5819976B2 JP5819976B2 (ja) 2015-11-24

Family

ID=45316065

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013540084A Expired - Fee Related JP5819976B2 (ja) 2010-11-19 2011-11-18 グループ通信セッションの間のメディアの選択的なフォーマット

Country Status (6)

Country Link
US (1) US9084079B2 (ja)
EP (1) EP2641408B1 (ja)
JP (1) JP5819976B2 (ja)
KR (1) KR101500600B1 (ja)
CN (1) CN103329579B (ja)
WO (1) WO2012068533A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017069860A (ja) * 2015-10-01 2017-04-06 Ｎｅｃエンジニアリング株式会社 配信装置及び配信プログラム
JP2017175534A (ja) * 2016-03-25 2017-09-28 株式会社Ｍｓｄ 情報共有システムおよびプログラム
JP2018110423A (ja) * 2018-02-09 2018-07-12 株式会社Ｍｓｄ 情報共有システムおよびプログラム

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8314736B2 (en) 2008-03-31 2012-11-20 Golba Llc Determining the position of a mobile device using the characteristics of received signals and a reference database
US9829560B2 (en) 2008-03-31 2017-11-28 Golba Llc Determining the position of a mobile device using the characteristics of received signals and a reference database
US7800541B2 (en) 2008-03-31 2010-09-21 Golba Llc Methods and systems for determining the location of an electronic device
US8639270B2 (en) 2010-08-06 2014-01-28 Golba Llc Method and system for device positioning utilizing distributed transceivers with array processing
WO2012140525A1 (en) * 2011-04-12 2012-10-18 International Business Machines Corporation Translating user interface sounds into 3d audio space
US9780928B2 (en) 2011-10-17 2017-10-03 Golba Llc Method and system for providing diversity in a network that utilizes distributed transceivers and array processing
US9197982B2 (en) 2012-08-08 2015-11-24 Golba Llc Method and system for distributed transceivers for distributed access points connectivity
GB2505900B (en) * 2012-09-13 2015-03-04 Broadcom Corp Methods, apparatus and computer programs for operating a wireless communications device
DE102013211283B4 (de) * 2013-06-17 2018-01-11 Deutsche Telekom Ag Wiedergabe von Audiodaten mittels verteilter elektroakustischer Wandler in vernetzten mobilen Endgeräten
EP3113489A4 (en) * 2014-02-28 2017-04-26 Ricoh Company, Ltd. Transfer control system, transfer system, transfer control method, and recording medium
US9288617B1 (en) 2014-10-30 2016-03-15 Deep Rock Ventures, Inc. Mobile media communications system
US9998862B1 (en) 2016-01-14 2018-06-12 Deep Rock Ventures, Inc. Mobile media communications system
US10321332B2 (en) 2017-05-30 2019-06-11 Movandi Corporation Non-line-of-sight (NLOS) coverage for millimeter wave communication
US10484078B2 (en) 2017-07-11 2019-11-19 Movandi Corporation Reconfigurable and modular active repeater device
US10348371B2 (en) 2017-12-07 2019-07-09 Movandi Corporation Optimized multi-beam antenna array network with an extended radio frequency range
US10862559B2 (en) 2017-12-08 2020-12-08 Movandi Corporation Signal cancellation in radio frequency (RF) device network
US10637159B2 (en) 2018-02-26 2020-04-28 Movandi Corporation Waveguide antenna element-based beam forming phased array antenna system for millimeter wave communication
US11088457B2 (en) 2018-02-26 2021-08-10 Silicon Valley Bank Waveguide antenna element based beam forming phased array antenna system for millimeter wave communication
US10911210B2 (en) * 2019-01-25 2021-02-02 Cisco Technology, Inc. Time division duplex (TDD) full duplex (FDX) with a remote duty cycle (DS) framer
US12301748B2 (en) * 2021-02-08 2025-05-13 Samsung Electronics Co., Ltd. System and method for simultaneous multi-call support capability on compatible audio devices

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03183288A (ja) * 1989-12-12 1991-08-09 Nec Corp テレビ会議装置
JPH0646418A (ja) * 1992-07-24 1994-02-18 Toshiba Corp 電子会議システム
JPH1056626A (ja) * 1996-08-13 1998-02-24 Hitachi Software Eng Co Ltd テレビ会議システム
US20040022202A1 (en) * 2002-08-05 2004-02-05 Chih-Lung Yang Method and apparatus for continuously receiving images from a plurality of video channels and for alternately continuously transmitting to each of a plurality of participants in a video conference individual images containing information concerning each of said video channels
US20050181872A1 (en) * 2004-02-17 2005-08-18 Arup Acharya SIP based VoIP multiplayer network games
JP2005341092A (ja) * 2004-05-26 2005-12-08 Hitachi Ltd 音声コミュニケーション・システム
US20070047479A1 (en) * 2005-08-29 2007-03-01 Cisco Technology, Inc. Method and system for conveying media source location information
US20080160976A1 (en) * 2006-12-27 2008-07-03 Nokia Corporation Teleconferencing configuration based on proximity information
JP2009033348A (ja) * 2007-07-25 2009-02-12 Toshiba Corp ビデオ会議アプリケーションサーバ、ビデオ会議方法およびプログラム
WO2009025747A1 (en) * 2007-08-21 2009-02-26 Packetvideo Corp. Mobile media router and method for using same

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100314661B1 (ko) * 1999-02-05 2001-12-28 김형태 휴대용 원격제어 무선 영상 및 음성 통신시스템
GB2372923B (en) * 2001-01-29 2005-05-25 Hewlett Packard Co Audio user interface with selective audio field expansion
JP2004348647A (ja) * 2003-05-26 2004-12-09 Hitachi Ltd ヒューマン・コミュニケーション・システム
DE502004003541D1 (de) * 2004-02-05 2007-05-31 Siemens Ag Verfahren zum verwalten von kommunikationssitzungen
EP1908255A1 (en) * 2005-06-23 2008-04-09 Vidiator Enterprises Inc. Apparatus, system, method, and article of manufacture for automatic context-based media transformation and generation
US7970425B2 (en) 2005-08-30 2011-06-28 Alcatel-Lucent Usa Inc. Push-to-talk group call system using CDMA 1x-EVDO cellular network
US8085290B2 (en) 2006-12-06 2011-12-27 Cisco Technology, Inc. System and method for displaying a videoconference
US8191005B2 (en) * 2007-09-27 2012-05-29 Rockwell Automation Technologies, Inc. Dynamically generating visualizations in industrial automation environment as a function of context and state information
US8160606B2 (en) * 2007-12-28 2012-04-17 Telenav, Inc. Mobile location sharing system
CN101656863A (zh) * 2009-08-07 2010-02-24 深圳华为通信技术有限公司 一种会议控制的方法、装置和系统
US8355703B2 (en) * 2010-06-08 2013-01-15 At&T Intellectual Property I, L.P. Intelligent text message-to-speech system and method for visual voice mail
US8272956B2 (en) * 2010-11-16 2012-09-25 Zynga Inc. Social supply harvest mechanic for interactive social games

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03183288A (ja) * 1989-12-12 1991-08-09 Nec Corp テレビ会議装置
JPH0646418A (ja) * 1992-07-24 1994-02-18 Toshiba Corp 電子会議システム
JPH1056626A (ja) * 1996-08-13 1998-02-24 Hitachi Software Eng Co Ltd テレビ会議システム
US20040022202A1 (en) * 2002-08-05 2004-02-05 Chih-Lung Yang Method and apparatus for continuously receiving images from a plurality of video channels and for alternately continuously transmitting to each of a plurality of participants in a video conference individual images containing information concerning each of said video channels
US20050181872A1 (en) * 2004-02-17 2005-08-18 Arup Acharya SIP based VoIP multiplayer network games
JP2005341092A (ja) * 2004-05-26 2005-12-08 Hitachi Ltd 音声コミュニケーション・システム
US20070047479A1 (en) * 2005-08-29 2007-03-01 Cisco Technology, Inc. Method and system for conveying media source location information
US20080160976A1 (en) * 2006-12-27 2008-07-03 Nokia Corporation Teleconferencing configuration based on proximity information
JP2009033348A (ja) * 2007-07-25 2009-02-12 Toshiba Corp ビデオ会議アプリケーションサーバ、ビデオ会議方法およびプログラム
WO2009025747A1 (en) * 2007-08-21 2009-02-26 Packetvideo Corp. Mobile media router and method for using same

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017069860A (ja) * 2015-10-01 2017-04-06 Ｎｅｃエンジニアリング株式会社 配信装置及び配信プログラム
JP2017175534A (ja) * 2016-03-25 2017-09-28 株式会社Ｍｓｄ 情報共有システムおよびプログラム
JP2018110423A (ja) * 2018-02-09 2018-07-12 株式会社Ｍｓｄ 情報共有システムおよびプログラム

Also Published As

Publication number Publication date
CN103329579B (zh) 2017-08-22
US9084079B2 (en) 2015-07-14
KR20130119454A (ko) 2013-10-31
CN103329579A (zh) 2013-09-25
US20120129543A1 (en) 2012-05-24
EP2641408A1 (en) 2013-09-25
WO2012068533A1 (en) 2012-05-24
EP2641408B1 (en) 2018-02-21
KR101500600B1 (ko) 2015-03-09
JP5819976B2 (ja) 2015-11-24

Similar Documents

Publication Publication Date Title
JP5819976B2 (ja) グループ通信セッションの間のメディアの選択的なフォーマット
KR101322490B1 (ko) 무선 통신 시스템 내의 고-우선순위 통신 세션들
US9730031B2 (en) Uninterruptable group communication sessions within a wireless communications system
US9088630B2 (en) Selectively mixing media during a group communication session within a wireless communications system
CN102474511B (zh) 用于无线通信系统中的群组通信会话的媒体转发
JP6012590B2 (ja) ワイヤレス通信システム内での高優先度通信セッション
US8731535B2 (en) Group communication sessions in a wireless communications system
JP5283781B2 (ja) ワイヤレス通信システム内の高優先度通信セッション

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140423

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140602

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140828

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20150209

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150609

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20150728

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150907

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151001

R150 Certificate of patent or registration of utility model

Ref document number: 5819976

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees