JP7743533B2 - 拡張現実通信方法、装置、およびシステム - Google Patents

Description

関連出願の相互参照
本出願は、参照によってその全体が本明細書に組み込まれる、2021年3月27日に中国国家知識産権局に出願された、「拡張現実通信方法、装置、およびシステム」と題される中国特許出願第202110329267．5号の優先権を主張する。

本出願の実施形態は、通信技術分野に関し、特に、拡張現実通信方法、装置、およびシステムに関する。

第4世代（the 4th generation、4G）ネットワークで構築された、ボイス・オーバ・ロング・ターム・エボリューション（voice over long term evolution、VoLTE）は、全IP条件下でのエンドツーエンド音声ソリューションである。ユーザ間の通信中、VoLTEは、より短い通話接続時間およびより高い音声およびビデオ通話品質を提供する。拡張現実（Augmented Reality、AR）は、仮想情報を現実世界と上手に統合する技術である。コンピュータによって生成されたテキスト、画像、3次元モデル、音楽、ビデオなどの仮想情報をシミュレートするために、マルチメディア、3次元モデリング、リアルタイム追跡および登録、インテリジェント対話、ならびにセンシングなどの複数の技術的手段が広く使用されている。そして、シミュレートされた情報が現実世界に適用され、2つのタイプの情報を互いに補完することで、現実世界の「拡張」を実装する。拡張現実技術は、現実世界のコンテンツを効果的に反映するだけでなく、仮想情報コンテンツのコンテンツを表示することもできる。現在、ARを音声通話およびビデオ通話に統合する効果的な方法はない。

第1の態様によれば、本出願の一実施形態は拡張現実AR通信方法を提供し、ARメディア処理ネットワーク要素が、第1の端末デバイスと第2の端末デバイスとの間のAR通信のプロセスにおいて補助データチャネルを通して第1の端末デバイスから第1のAR補助データを受信するステップであって、第1のAR補助データが、AR通信で使用される必要があるターゲットオブジェクトに関する情報を含む、ステップを含む。ARメディア処理ネットワーク要素は、第1のAR補助データに基づいてサードパーティサーバからターゲットオブジェクトを取得し、ターゲットオブジェクトは、第1の端末デバイスと第2の端末デバイスとの間のAR通信のメディアストリームを拡張するためのものである。

前述の解決策によれば、補助データチャネルは、端末デバイスとARメディア処理ネットワーク要素との間に確立され、ターゲットオブジェクトは、ARを音声通話およびビデオ通話に効果的に統合するために、第1の端末デバイスと第2の端末デバイスとの間のAR通信のメディアストリームを拡張するために、補助データチャネルを通して端末デバイスに提供される。サードパーティサーバは、端末デバイス間のAR通信のために、ターゲットオブジェクトの素材を提供し得る。本出願では、ターゲットオブジェクトは、補助データチャネルを通してサードパーティサーバから取得される。これは簡単で効果的である。

1つの可能な設計では、ARメディア処理ネットワーク要素は、AR処理能力を有するインターネット・プロトコル・マルチメディア・サブシステムIMSアクセスゲートウェイまたはメディアリソース機能MRFである。

1つの可能な設計では、ターゲットオブジェクトは仮想オブジェクトまたは仮想オブジェクトの識別子である。本方法は、ARメディア処理ネットワーク要素が、補助データチャネルを通して第1の端末デバイスに仮想オブジェクトまたは仮想オブジェクトの識別子を送信することをさらに含む。

仮想オブジェクトは複数のシナリオで必要とされるので、仮想オブジェクトは、前述の設計に基づいて補助データチャネルを通してサードパーティサーバから取得される。

1つの可能な設計では、ターゲットオブジェクト情報は、第1の端末デバイスによって要求された仮想オブジェクトタイプを含み、ARメディア処理ネットワーク要素は、補助データチャネルを通して第1の端末デバイスに仮想オブジェクトタイプの複数の仮想オブジェクト識別子を送信する。

1つの可能な設計では、仮想オブジェクトに対応する複数の仮想オブジェクト識別子を受信した後、ARメディア処理ネットワーク要素は、仮想オブジェクトタイプと複数の仮想オブジェクト識別子との間の対応関係を記憶する。

1つの可能な設計では、補助データチャネルを通して仮想オブジェクトタイプを受信すると、ARメディア処理ネットワーク要素は、ARメディア処理ネットワーク要素が仮想オブジェクトタイプに対応する仮想オブジェクト識別子を記憶しているかどうかを最初に決定し得る。仮想オブジェクトタイプに対応する仮想オブジェクト識別子が記憶されている場合、ARメディア処理ネットワーク要素は、サードパーティサーバから仮想オブジェクトタイプに対応する仮想オブジェクト識別子をそれ以上取得しなくてもよい。仮想オブジェクトタイプに対応する仮想オブジェクト識別子が記憶されていない場合、ARメディア処理ネットワーク要素は、サードパーティサーバから仮想オブジェクトタイプに対応する仮想オブジェクト識別子を取得する。このようにして、取得によって生じさせる不要なリソースの浪費が低減されることができる。

1つの可能な設計では、ARメディア処理ネットワーク要素は、補助データチャネルを通して第1の端末デバイスから第1の仮想オブジェクト識別子を受信し、第1の仮想オブジェクト識別子は、複数の仮想オブジェクトから第1の端末デバイスのユーザによって選択された第1の仮想オブジェクトを識別するためのものである。ARメディア処理ネットワーク要素は、第1の仮想オブジェクト識別子に対応する第1の仮想オブジェクトをサードパーティサーバから取得し、第1の仮想オブジェクトを補助データチャネルを通して第1の端末デバイスに送信する。

1つの可能な設計では、ターゲットオブジェクトは現実の背景オブジェクトであり、ARメディア処理ネットワーク要素は、メディアストリームチャネルを通して、AR通信中に生成され、第1の端末デバイスによって送信された第2のメディアストリームを受信するようにさらに構成される。

ARメディア処理ネットワーク要素は、第2のARメディアストリームを取得するために、現実の背景オブジェクトおよび第2のメディアストリームをレンダリングして合成し、第2のARメディアストリームを、メディアストリームチャネルを通して第1の端末デバイスに送信する、ようにさらに構成される。いくつかのアプリケーションシナリオでは、前景オブジェクトに対応する背景ピクチャは固定される。このシナリオでは、メディアストリームと背景ピクチャとの間のレンダリング動作がARメディア処理ネットワーク要素によって実行され、その結果、端末デバイスのアップリンク帯域幅に対する圧力が低減されることができる。

1つの可能な設計では、第1のAR補助データは、背景オブジェクト識別子または背景オブジェクトの地理的位置を含む。

1つの可能な設計では、ARメディア処理ネットワーク要素がサードパーティサーバからターゲットオブジェクトを取得することは、以下のステップを含む：

ARメディア処理ネットワーク要素は、アプリケーションサーバを通してサードパーティサーバに第1の要求メッセージを送信し、第1の要求メッセージは、ターゲットオブジェクトを要求するためのものである。

ARメディア処理ネットワーク要素は、アプリケーションサーバを通してサードパーティサーバによって転送された第1の応答メッセージを受信し、第1の応答メッセージは、ターゲットオブジェクトを含む。

1つの可能な設計では、本方法は、第1の端末デバイスとARメディア処理ネットワーク要素との間に補助データチャネルを確立する手順において、サードパーティサーバのアドレスを取得するステップをさらに含む。ARメディア処理ネットワーク要素が第1の要求メッセージをサードパーティサーバに送信することは、ARメディア処理ネットワーク要素が、サードパーティサーバのアドレスに基づいて第1の要求メッセージをサードパーティサーバに送信することを含む。

1つの可能な設計では、ARメディア処理ネットワーク要素は、第1の端末デバイスが属する（または第1の端末デバイスが位置される）IMSネットワーク内に位置されるか、または第2の端末デバイスが属する（または第2の端末デバイスが位置される）IMSネットワークに位置される。

第2の態様によれば、本出願の一実施形態は、以下のステップを含む拡張現実ARベースの通信方法を提供する：

アプリケーションサーバは、第1の端末デバイスと第2の端末デバイスとの間のAR通信のプロセスにおいてARメディア処理ネットワーク要素から第1の要求メッセージを受信し、第1の要求メッセージは、第1の端末デバイスのユーザによって選択されたターゲットオブジェクトを要求するためのものである。アプリケーションサーバは、第1の要求メッセージをサードパーティサーバに転送する。アプリケーションサーバは、サードパーティサーバによって送信された第1の応答メッセージを受信し、第1の応答メッセージはターゲットオブジェクトを含む。アプリケーションサーバは、第1の応答メッセージをARメディア処理ネットワーク要素に転送する。

1つの可能な設計では、第1の要求メッセージは第1の端末デバイスの識別子を含み、第1の端末デバイスと第2の端末デバイスとの間のAR通信のセッション識別子は第1の端末デバイスの識別子に基づいて決定され、セッション識別子に基づいてサードパーティサーバへの通信接続、例えばhttp接続が確立される。このようにして、第1の要求メッセージは、通信接続を通してサードパーティサーバに転送される。

1つの可能な設計では、第1の端末デバイスと第2の端末デバイスとの間のAR通信を確立するプロセスにおいて、AR通信のセッション識別子および第1の端末デバイスの識別子が取得され、セッション識別子と第1の端末デバイスの識別子との間の関連付け関係が記憶される。例えば、セッション識別子はARセッションとしてマークされる。

1つの可能な設計では、ARメディア処理ネットワーク要素は、AR処理能力を有するインターネット・プロトコル・マルチメディア・サブシステムIMSアクセスゲートウェイまたはメディアリソース機能MRFネットワーク要素である。

1つの可能な設計では、ターゲットオブジェクトは仮想オブジェクトまたは現実の背景オブジェクトである。

1つの可能な設計では、アプリケーションサーバは、サードパーティサーバのアドレスを用いて構成される。

アプリケーションサーバが第1の要求メッセージをサードパーティサーバに転送することは、以下のステップを含む：

アプリケーションサーバは、サードパーティサーバによって提供されたアドレスに基づいて第1の要求メッセージをサードパーティサーバに転送する。

1つの可能な設計では、本方法は、
第1の端末デバイスとARメディア処理ネットワーク要素との間に補助データチャネルを確立する手順において、サードパーティサーバのアドレスをARメディア処理ネットワーク要素に送信するステップ
をさらに含む。

1つの可能な設計では、ARメディア処理ネットワーク要素は、第1の端末デバイスが属する（または第1の端末デバイスが位置される）IMSネットワーク内に位置されるか、または第2の端末デバイスが属する（または第2の端末デバイスが位置される）IMSネットワークに位置される。

第3の態様によれば、本出願の一実施形態は、インターネット・プロトコル・マルチメディア・サブシステムIMSコアネットワーク要素および第1のARメディア処理ネットワーク要素を含む、拡張現実ARベースの通信システムを提供する。IMSコアネットワーク要素は、第1のARメディア処理ネットワーク要素と第1の端末デバイスとの間のメディアストリームチャネルおよび補助データチャネルの確立を制御するように構成される。第1のARメディア処理ネットワーク要素は、確立された補助データチャネルを通して第1の端末デバイスから第1のAR補助データを受信し、確立されたメディアストリームチャネルを通して第1の端末デバイスと第2の端末デバイスとの間のAR通信の第1のメディアストリームを受信するように構成される。第1のARメディア処理ネットワーク要素は、第1のAR補助データに基づいて第1のメディアストリームに対して拡張処理を行って第1のARメディアストリームを取得し、第1のARメディアストリームを、メディアストリームチャネルを通して第1の端末デバイスに送信する、ようにさらに構成される。前述の解決策によれば、補助データチャネルおよびメディアストリームチャネルは、端末デバイスとARメディア処理ネットワーク要素との間に確立され、その結果、ARは音声およびビデオ通話に効果的に統合される。加えて、AR補助データおよびメディアストリームは、同一のパスに沿って伝送される。これにより、レイテンシを低減することができる。

1つの可能な設計では、第1のARメディア処理ネットワーク要素は、AR処理能力を有するIMSアクセスゲートウェイまたはメディアリソース機能MRFとし得る。例えば、端末デバイス間でポイントツーポイント通信が行われるとき、第1のARメディア処理ネットワーク要素はIMSアクセスゲートウェイであり得る。別の例として、AR会議が端末デバイス間で行われるとき、第1のARメディア処理ネットワーク要素はMRFであってもよい。

1つの可能な設計では、第1のARメディア処理ネットワーク要素は、第1の端末デバイスが属する（または第1の端末デバイスが位置される）IMSネットワークに位置される。第1の端末デバイスが位置されるIMSネットワークにおけるARメディア処理ネットワーク要素がAR処理能力を有するとき、第1の端末デバイスが位置されるIMSネットワークにおけるARメディア処理ネットワーク要素は、近接原理に基づいて拡張処理を実行し、その結果、レイテンシがさらに低減されることができる。

1つの可能な設計では、本システムは、第2の端末デバイスが属する（または第2の端末デバイスが位置される）IMSネットワークに位置される第2のARメディア処理ネットワーク要素をさらに含む。第1のARメディア処理ネットワーク要素は、第1のARメディアストリームを第2のARメディア処理ネットワーク要素に送信するようにさらに構成される。第2のARメディア処理ネットワーク要素は、第1のARメディア処理ネットワーク要素によって送信されたARメディアストリームを受信し、第1のARメディアストリームを第2の端末デバイスに送信する、ように構成される。

1つの可能な設計では、第1のARメディア処理ネットワーク要素は、第2の端末デバイスが属する（または第2の端末デバイスが位置される）IMSネットワークに位置される。本システムは、第1の端末デバイスが属する（または第1の端末デバイスが位置される）IMSネットワークに位置される第3のARメディア処理ネットワーク要素をさらに含み、第3のARメディア処理ネットワーク要素はAR処理能力を有さず、第1のARメディア処理ネットワーク要素と第1の端末デバイスとの間のメディアストリームチャネルは、第1のARメディア処理ネットワーク要素と第3のARメディア処理ネットワーク要素との間の第1のメディアストリームチャネル、および第3のARメディア処理ネットワーク要素と第1の端末デバイスとの間の第2のメディアストリームチャネルを含む。

第3のARメディア処理ネットワーク要素は、第2のメディアストリームチャネルを通して第1の端末デバイスから第1のメディアストリームを受信して、第1のメディアストリームチャネルを通して第1のARメディア処理ネットワーク要素にメディアストリームを転送し、第1のメディアストリームチャネルを通して第1のARメディア処理ネットワーク要素からARメディアストリームを受信して、第2のメディアストリームチャネルを通して第1の端末デバイスに第1のARメディアストリームを送信するように構成される。

前述の設計では、第1の端末デバイスが位置されるIMSネットワークにおけるARメディア処理ネットワーク要素がAR処理能力を有していないとき、第2の端末デバイスが位置されるIMSネットワークにおけるARメディア処理ネットワーク要素は、第1の端末デバイスに拡張処理機能を提供する。ARを音声通話およびビデオ通話に統合するための実現可能な解決策が提供される。

1つの可能な設計では、第1のARメディア処理ネットワーク要素は、補助データチャネルを通して第1の端末デバイスからターゲットオブジェクト情報を受信するようにさらに構成される。ARメディア処理ネットワーク要素は、サードパーティサーバからターゲットオブジェクト情報に対応するターゲットオブジェクトを取得するようにさらに構成される。

前述の設計では、サードパーティサーバは、端末デバイス間のAR通信のために、ターゲットオブジェクトの素材を提供し得る。本出願では、ターゲットオブジェクトは、補助データチャネルを通してサードパーティサーバから取得される。

1つの可能な設計では、ターゲットオブジェクトは仮想オブジェクトまたは仮想オブジェクトの識別子である。第1のARメディア処理ネットワーク要素は、補助データチャネルを通して第1の端末デバイスに仮想オブジェクトまたは仮想オブジェクトの識別子を送信するようにさらに構成される。仮想オブジェクトは複数のシナリオで必要とされるので、仮想オブジェクトは、前述の設計に基づいて補助データチャネルを通してサードパーティサーバから取得される。

1つの可能な設計では、ターゲットオブジェクト情報は、第1の端末デバイスによって要求された仮想オブジェクトタイプを含み、第1のARメディア処理ネットワーク要素は、補助データチャネルを通して第1の端末デバイスに仮想オブジェクトタイプの複数の仮想オブジェクト識別子を送信する。

1つの可能な設計では、仮想オブジェクトに対応する複数の仮想オブジェクト識別子を受信した後、第1のARメディア処理ネットワーク要素は、仮想オブジェクトタイプと複数の仮想オブジェクト識別子との間の対応関係を記憶する。

1つの可能な設計では、補助データチャネルを通して仮想オブジェクトタイプを受信すると、第1のARメディア処理ネットワーク要素は、第1のARメディア処理ネットワーク要素が仮想オブジェクトタイプに対応する仮想オブジェクト識別子を記憶しているかどうかを最初に決定し得る。仮想オブジェクトタイプに対応する仮想オブジェクト識別子が記憶されている場合、第1のARメディア処理ネットワーク要素は、サードパーティサーバから仮想オブジェクトタイプに対応する仮想オブジェクト識別子をそれ以上取得しなくてもよい。仮想オブジェクトタイプに対応する仮想オブジェクト識別子が記憶されていない場合、第1のARメディア処理ネットワーク要素は、サードパーティサーバから仮想オブジェクトタイプに対応する仮想オブジェクト識別子を取得する。このようにして、取得によって生じさせる不要なリソースの浪費が低減されることができる。

1つの可能な設計では、本方法は、以下をさらに含む、すなわち、

第1のARメディア処理ネットワーク要素は、補助データチャネルを通して第1の端末デバイスから第1の仮想オブジェクト識別子を受信し、第1の仮想オブジェクト識別子は、複数の仮想オブジェクトから第1の端末デバイスのユーザによって選択された第1の仮想オブジェクトを識別するためのものである。第1のARメディア処理ネットワーク要素は、第1の仮想オブジェクト識別子に対応する第1の仮想オブジェクトをサードパーティサーバから取得し、第1の仮想オブジェクトを補助データチャネルを通して第1の端末デバイスに送信する。

1つの可能な設計では、ターゲットオブジェクトは現実の背景オブジェクトであり、第1のARメディア処理ネットワーク要素は、メディアストリームチャネルを通して、AR通信中に生成され、第1の端末デバイスによって送信された第2のメディアストリームを受信するようにさらに構成される。

第1のARメディア処理ネットワーク要素は、第2のARメディアストリームを取得するために、現実の背景オブジェクトおよび第2のメディアストリームをレンダリングして合成し、第2のARメディアストリームを、メディアストリームチャネルを通して第1の端末デバイスに送信する、ようにさらに構成される。いくつかのアプリケーションシナリオでは、前景オブジェクトに対応する背景ピクチャは固定される。このシナリオでは、メディアストリームと背景ピクチャとの間のレンダリング動作がARメディア処理ネットワーク要素によって実行され、その結果、端末デバイスのアップリンク帯域幅に対する圧力が低減されることができる。

1つの可能な設計では、本システムはアプリケーションサーバをさらに含む。

アプリケーションサーバは、第1のARメディア処理ネットワーク要素から第1の要求メッセージを受信して、第1の要求メッセージをサードパーティサーバに転送し、サードパーティサーバから第1の応答メッセージを受信して、第1の応答メッセージを第1のARメディア処理ネットワーク要素に転送するように構成される。

1つの可能な設計では、アプリケーションサーバは、サードパーティサーバのアドレスを用いて構成される。アプリケーションサーバは、サードパーティサーバのアドレスに基づいて第1の要求メッセージをサードパーティサーバに転送し、第1の応答メッセージを第1のARメディア処理ネットワーク要素に転送するように特に構成される。

1つの可能な設計では、アプリケーションサーバは、第1の端末デバイスと第1のARメディア処理ネットワーク要素との間に補助データチャネルを確立する手順において、第1のARメディア処理ネットワーク要素にサードパーティサーバのアドレスを送信するようにさらに構成される。

第4の態様によると、本出願の一実施形態は装置を提供する。本装置は、ARメディア処理ネットワーク要素で使用される。有益な効果については、第1の態様の説明を参照されたい。本明細書では詳細は再び説明されない。本装置は、第1の態様の方法例におけるアクションを実装する機能を有する。本機能は、ハードウェアによって実装されてもよいし、または対応するソフトウェアを実行するハードウェアによって実装されてもよい。ハードウェアまたはソフトウェアは、前述の機能に対応する1つまたは複数のモジュールを含む。1つの可能な設計では、本装置の構造は送信ユニット、受信ユニット、および処理ユニットを含んでもよい。これらのユニットは、第1の態様の方法例における対応する機能を実行し得る。詳細については、方法例における詳細な説明を参照されたい。本明細書では詳細は再び説明されない。

第5の態様によると、本出願の一実施形態は装置を提供する。本装置は、アプリケーションサーバで使用される。有益な効果については、第2の態様の説明を参照されたい。本明細書では詳細は再び説明されない。本装置は、第2の態様の方法例におけるアクションを実装する機能を有する。本機能は、ハードウェアによって実装されてもよいし、または対応するソフトウェアを実行するハードウェアによって実装されてもよい。ハードウェアまたはソフトウェアは、前述の機能に対応する1つまたは複数のモジュールを含む。1つの可能な設計では、本装置の構造は送信ユニット、受信ユニット、および処理ユニットを含んでもよい。これらのユニットは、第2の態様の方法例における対応する機能を実行し得る。詳細については、方法例における詳細な説明を参照されたい。本明細書では詳細は再び説明されない。

第6の態様によれば、本出願の一実施形態は、装置をさらに提供する。本装置は、端末デバイスで使用され、前述の態様で第1の端末デバイスによって行われる方法手順を行うように構成される。

第7の態様によれば、本出願の実施形態は、装置をさらに提供する。本装置は、ARメディア処理ネットワーク要素で使用される。有益な効果については、第1の態様の説明を参照されたい。本明細書では詳細は再び説明されない。本装置の構造は、プロセッサおよび通信インターフェースを含み、メモリをさらに含み得る。プロセッサは、通信インターフェースを通して第1の態様の方法における対応する機能を実行する際にARメディア処理ネットワーク要素をサポートするように構成される。本メモリは、プロセッサに結合され、本装置に必要なプログラム命令およびデータを記憶する。

第8の態様によれば、本出願の一実施形態は装置をさらに提供する。本装置は、アプリケーションサーバで使用される。有益な効果については、第2の態様の説明を参照されたい。本明細書では詳細は再び説明されない。本装置の構造は、プロセッサおよび通信インターフェースを含み、メモリをさらに含み得る。プロセッサは、通信インターフェースを通して第2の態様の方法における対応する機能を実行する際にアプリケーションサーバをサポートするように構成される。本メモリは、プロセッサに結合され、本装置に必要なプログラム命令およびデータを記憶する。

第9の態様によれば、本出願の一実施形態は、装置をさらに提供する。本装置は、端末デバイスで使用される。本装置の構造は、プロセッサおよび通信インターフェースを含み、メモリをさらに含み得る。プロセッサは、通信インターフェースを通して前述の第1の端末デバイスの対応する機能を実行する際に端末デバイスをサポートするように構成される。本メモリは、プロセッサに結合され、本装置に必要なプログラム命令およびデータを記憶する。

第10の態様によれば、本出願はコンピュータ可読記憶媒体をさらに提供する。本コンピュータ可読記憶媒体は、命令を記憶する。本命令がコンピュータ上で実行されると、コンピュータは、前述の態様による方法を実行することを可能にされる。

第11の態様によれば、本出願は、命令を含むコンピュータプログラム製品をさらに提供する。本コンピュータプログラム製品がコンピュータ上で動作すると、コンピュータは、前述の態様による方法を実行することを可能にされる。

第12の態様によれば、本出願はコンピュータチップをさらに提供する。本チップはメモリに接続され、本チップは前述の態様による方法を実行するために、メモリに記憶されたソフトウェアプログラムを読み取り、実行するように構成される。

本出願の一実施形態による可能なAR通信システムのアーキテクチャの概略図である。 本出願の一実施形態による別の可能なAR通信システムのアーキテクチャの概略図である。 本出願の一実施形態によるさらに別の可能なAR通信システムのアーキテクチャの概略図である。 本出願の一実施形態によるまたさらに別の可能なAR通信システムのアーキテクチャの概略図である。 本出願の一実施形態による別の可能なAR通信システムのアーキテクチャの概略図である。 本出願の一実施形態による別の可能なAR通信システムのアーキテクチャの概略図である。 本出願の一実施形態による別の可能なAR通信システムのアーキテクチャの概略図である。 本出願の一実施形態によるAR通信方法の概略フローチャートである。 本出願の一実施形態による別のAR通信方法の概略フローチャートである。 本出願の一実施形態によるさらに別のAR通信方法の概略フローチャートである。 本出願の一実施形態による別のAR通信方法の概略フローチャートである。 本出願の一実施形態による別のAR通信方法の概略フローチャートである。 本出願の一実施形態によるIMS AGW上の終端T1および終端T2の概略図である。 本出願の一実施形態による別のAR通信方法の概略フローチャートである。 本出願の一実施形態による別のAR通信方法の概略フローチャートである。 本出願の一実施形態による別のAR通信方法の概略フローチャートである。 本出願の一実施形態による別のAR通信方法の概略フローチャートである。 本出願の一実施形態による別のAR通信方法の概略フローチャートである。 本出願の一実施形態によるさらに別のAR通信方法の概略フローチャートである。 本出願の一実施形態によるまたさらに別のAR通信方法の概略フローチャートである。 本出願の一実施形態による別のAR通信方法の概略フローチャートである。 本出願の一実施形態による別のAR通信方法の概略フローチャートである。 本出願の一実施形態による別のAR通信方法の概略フローチャートである。 本出願の一実施形態による別のAR通信方法の概略フローチャートである。 本出願の一実施形態による別のAR通信方法の概略フローチャートである。 本出願の一実施形態による別のAR通信方法の概略フローチャートである。 本出願の一実施形態による別のAR通信方法の概略フローチャートである。 本出願の一実施形態による装置の構造の概略図である。 本出願の一実施形態による別の装置の構造の概略図である。 本出願の一実施形態によるさらに別の装置の構造の概略図である。

本出願は、ARが音声通話およびビデオ通話に統合される実装形態を提供するため、AR通信方法および装置を提供し、それによってユーザ体験を改善する。音声通話およびビデオ通話は、VoLTEであってもよいが、これに限定されず、将来の技術によって提供される音声通話およびビデオ通話にも適用可能であり得る。ARは、仮想現実統合、リアルタイム対話、および3次元登録の3つの特性を有する。仮想現実統合は、仮想オブジェクトおよびコンピュータによって生成された情報を現実世界シーンに重ね合わせて、現実世界シーンのより直感的で綿密な理解を達成することである。拡張情報は、現実オブジェクト、例えばビデオおよびテキストに関連される非幾何学的情報であってもよく、または幾何学的情報、例えば仮想3次元オブジェクトおよびシーンであってもよい。リアルタイム対話は、拡張現実システムにおいて対話インターフェースデバイスを通した自然な方法での人々と拡張現実環境との間のリアルタイム対話である。3次元登録における「登録」は、追跡および位置特定として解釈され得る。3次元登録は、コンピュータによって生成された仮想オブジェクトが現実環境と1対1に対応し、ユーザが現実環境において移動するときに正しい位置合わせ関係が継続的に維持されることである。

本出願における「および／または」という用語は、関連付けられるオブジェクトを記述するための関連付けの関係を記述するにすぎず、3つの関係が存在し得ることを表す。例えば、Aおよび／またはBは、以下の3つの場合を、すなわちAのみが存在する場合と、AおよびBの両方が存在する場合と、Bのみが存在する場合とを、表し得る。加えて、本明細書における記号「／」は、通常、関連付けられるオブジェクト間の「または」関係を示す。本出願における「少なくとも1つ」という用語は、1つまたは複数を意味し、すなわち、1つ、2つ、3つ、またはそれ以上を含み、「複数の」という用語は、2つ以上を意味し、すなわち、2つ、3つ、またはそれ以上を含む。加えて、本出願の説明では、「第1の」および「第2の」などの用語は、単に区別および説明のために使用されるにすぎず、相対的な重要性を示すもしくは暗示するものとして理解されることはできず、または順序を示すもしくは暗示するものとして理解されることはできないことが理解されることができる。「以下の項目（個）うちの少なくとも1つ」という用語またはそれに類似する表現は、単一の項目（個）または複数の項目（個）の任意の組み合わせを含む、これらの項目の任意の組み合わせを示す。例えば、a、b、またはcのうちの少なくとも1つの項目（個）は、a、b、c、aおよびb、aおよびc、bおよびc、またはa、b、およびcを示し得、a、b、およびcは単数であっても複数であってもよい。本出願の実施形態において、「Aに対応するB」は、BがAに関連付けられ、BがAにより決定され得ることを示すことが理解されることができる。しかしながら、Aに基づいてBを決定することは、BがAのみに基づいて決定されることを意味しないことがさらに理解されることができる。Bは、Aおよび／または他の情報に基づいて、代替として決定され得る。加えて、本出願の実施形態、特許請求の範囲、および添付の図面における「含む（include）」および「有する（have）」という用語は排他的ではない。例えば、一連のステップまたはモジュールを含むプロセス、方法、システム、製品、またはデバイスは、列挙されたステップまたはモジュールに限定されず、列挙されていないステップまたはモジュールをさらに含んでもよい。

以下は、添付の図面を参照して、本出願の実施形態で提供される解決策について詳細に説明する。

図1は、本出願の一実施形態によるAR通信システムのアーキテクチャの概略図である。AR通信システムは、ARメディア処理ネットワーク要素およびAR制御ネットワーク要素を含む。ARメディア処理ネットワーク要素は、AR能力を有する端末デバイスにメディア処理サービスを提供する。ARメディア処理ネットワーク要素は、ARユーザプレーン（AR User plane、AR－U）機能を有し、AR－Uネットワーク要素とも呼ばれ得る。AR制御ネットワーク要素は、AR制御プレーン機能を有し、AR制御プレーン（AR Control plane、AR－C）ネットワーク要素と呼ばれ得る。この実施形態では、ネットワーク要素はデバイスと呼ばれ得る。例えば、ARメディア処理ネットワーク要素は、ARメディア処理デバイスと呼ばれ得る。

AR能力を有する端末デバイスは、以下の論理機能のうちの1つまたは複数を有し得る、すなわち、カメラおよび／またはセンサを使用することによる現実のシーンにおけるオーディオおよびビデオデータの取得のサポート、論理演算機能（例えば、ビジュアルエンジンが配備され得る）のサポート、低レイテンシ符号化および軽量画像レンダリングのサポート、クラウドからの仮想オブジェクトの取得のサポートなどである。本出願のこの実施形態における端末デバイスは、カメラで構成され、ビデオ通話機能を有するデバイスであってもよい。例えば、端末デバイスはウェアラブルデバイス（例えば、電子時計）であってもよく、端末デバイスは、例えば、携帯電話またはタブレットコンピュータといったデバイスであってもよい。端末デバイスの特定の形態は、本出願のこの実施形態では特に限定されない。

ARメディア処理ネットワーク要素は、ARメディア処理機能を有する。例えば、ARメディア処理機能は、3次元モデリング、オブジェクト識別、追跡および位置特定、対話知覚、仮想シーンレンダリング、仮想現実統合などのうちの1つまたは複数を含む。3次元モデリングは、端末デバイスによって取得されたデータに基づいて現実環境に対して3次元構築を実行することである。オブジェクト識別は、端末デバイスユーザの関係するオブジェクトに対して識別を行うことである。追跡および位置特定は、端末デバイスユーザの関係するオブジェクトに対して追跡および位置特定を行うことである。対話知覚は、ユーザ対話技術を使用することによって多感覚一貫性を達成することである。仮想シーンレンダリングは、仮想シーンに対してレンダリングを行うことである。仮想現実統合は、仮想オブジェクトと現実オブジェクトとの統合である。

ARメディア処理ネットワーク要素は、端末デバイスとのメディアストリームチャネルおよび補助データチャネルの確立をサポートする。3メディアストリームチャネルは、端末デバイスとARメディア処理ネットワーク要素、例えば、オーディオおよびビデオストリームの間でARコアデータ（またはメディアストリームデータと呼ばれ、これは略してメディアストリームとも呼ばれる場合がある）を伝送するためのものである。補助データチャネルは、端末デバイスとARメディア処理ネットワーク要素との間でAR補助データを伝送するためのものである。AR補助データ（またはAR固有データ）は、端末デバイスとARメディア処理ネットワーク要素との間で伝送される非メディアデータの総称である。

一例では、表1に示されたように、アップリンク方向のAR補助データに含まれ得るデータ型およびARコアデータに含まれるビデオデータ型が一例として説明される。

一例では、表2に示されるように、ダウンリンク方向のAR補助データに含まれ得るデータ型と、オーディオストリームおよびビデオストリームに含まれるビデオデータ型とが一例として説明される。

表1および表2は例として使用されているにすぎず、AR補助データおよびARコアデータに対する特定の限定を構成するものではないことが理解されることができる。

AR制御ネットワーク要素は、セッション関連付け機能およびサービス制御機能を有する。セッション関連付けは、端末デバイスとARメディア処理ネットワーク要素との間のメディアストリームと、ARセッションシナリオにおけるARメディア処理ネットワーク要素とASとの間のシグナリングストリームとの関連付け、または端末デバイスとARメディア処理ネットワーク要素との間のメディアストリームと、ARメディア処理ネットワーク要素とASとの間のシグナリングストリームと、ASとサードパーティサーバとの間のメッセージストリームとの関連付けを含み得る。サードパーティサーバは、AR処理に必要な材料、例えば、仮想オブジェクトおよび現実の背景オブジェクトを提供するように構成される。サービス制御は、サービス特徴などに基づいてARメディア処理を制御することであってもよい。例えば、異なるサービス特徴は異なるARメディア処理方式に対応し、AR制御ネットワーク要素は、端末デバイスの異なるサービス特徴に基づいてARメディア処理ネットワーク要素に異なるARメディア処理方式を指示し得る。

1つの可能な実装形態では、ARメディア処理ネットワーク要素は、IPマルチメディアサブシステム（IP multimedia subsystem、IMS）アクセスゲートウェイ（access gateway、AGW）であってもよく、またはメディアリソース機能（media resource function、MRF）であってもよい。AR制御ネットワーク要素は、アプリケーションサーバであってもよい。

一例では、図2Aに示されるように、ARメディア処理ネットワーク要素がIMS AGWである例が使用され、AR通信システムはIMS AGWおよびIMSコア（core）を含む。IMSコア（core）は、AR処理能力を有するIMS AGWとAR能力を有する端末デバイスとの間の補助データチャネルおよびメディアストリームチャネルの確立を制御する。補助データチャネルは、少なくとも2つの端末デバイス間でAR通信のAR補助データを伝送するためのものである。メディアストリームチャネルは、少なくとも2つの端末デバイス間でAR通信のメディアストリームを伝送するためのものである。IMS AGWは、端末デバイスにメディア処理サービスを提供することができる。例えば、メディアストリームチャネルを通してメディアストリームを受信し、補助データチャネルを通してAR補助データを受信すると、IMS AGWはAR補助データを使用して第1のメディアストリームに対して拡張処理を実行し得る。

AR通信システムは、アプリケーションサーバ（application server、AS）をさらに含み得る。AR通信システムは、少なくとも2つの端末デバイスをさらに含み得る。異なる端末デバイスにそれぞれサービスを提供するIMS AGWは同じであってもよく、または異なるIMS AGWであってもよい。図2Aでは、2つの端末デバイスがそれぞれ第1の端末デバイスおよび第2の端末デバイスである例が使用されている。第1の端末デバイスおよび第2の端末デバイスにサービスを提供するIMS AGWが異なる例が使用され、IMS AGWはそれぞれIMS AGW1およびIMS AGW2である。AR通信している2つの端末デバイスがAR能力を有していてもよいし、または一方の端末デバイスがAR能力を有していてもよく、他方の端末デバイスはAR能力を有していない。図2Aでは、第1の端末デバイスと第2の端末デバイスの両方がAR能力を有する例が使用される。例えば、異なる端末デバイスが異なるIMSネットワークにアクセスするとき、異なる端末デバイスにサービスを提供するIMS AGWは異なる。AR通信中の2つの端末デバイスにサービスを提供する異なるIMS AGWがAR処理能力を有してもよいし、または一方のIMS AGWのみがAR処理能力を有し、他方のIMS AGWはAR処理能力を有していない。図2AのIMS AGW1とIMS AGW2は両方ともAR処理能力を有する。IMS AGW1は第1の端末デバイスにサービスを提供する。言い換えると、IMS AGW1は第1の端末デバイスが属するアクセスゲートウェイであるか、またはIMS AGW1は第1の端末デバイスが属する（または第1の端末デバイスが位置される）IMSネットワークに位置される。IMS AGW2は第2の端末デバイスにサービスを提供する。言い換えると、IMS AGW2は第2の端末デバイスが属するアクセスゲートウェイであるか、またはIMS AGW2は第2の端末デバイスが属するIMSネットワークに位置される。1つのアクセスゲートウェイは、複数の端末デバイスにサービスを提供し得る。例えば、IMS AGW1は第1の端末デバイスにサービスを提供し、第3の端末デバイス（図1には示されていない）にさらにサービスを提供する。IMSコアは、呼セッション制御機能（call session control function、CSCF）および／またはホーム加入者サーバ（home subscriber server、HSS）を含み得る。IMSコアは別のネットワーク要素をさらに含み得る。本出願のこの実施形態では、詳細は説明されない。CSCFはIMSコアの呼制御センタであり、IP伝送プラットフォーム上でユーザアクセス、認証、セッションルーティング、およびサービストリガなどの機能を実装する。CSCFは、サービング呼セッション制御機能（serving－call session control function、S－CSCF）、プロキシCSCF（Proxy CSCF、P－CSCF）、および問い合わせCSCF（Interrogating－CSCF、I－CSCF）のうちの1つまたは複数を含み得る。HSSは、ユーザのサブスクリプションデータ（例えば、ユーザ情報およびサービスデータ）を記録するためのものである。第1の端末デバイスにサービスを提供するIMSコアネットワーク要素と、第2の端末デバイスにサービスを提供するIMSコアネットワーク要素とは異なっていてもよく、これは、例えば、端末デバイスの位置に関連されることに留意されたい。一例では、本出願のこの実施形態で言及されるIMSコアネットワーク要素はCSCFを含み得る。

いくつかの実施形態では、AR通信システムは、サードパーティサーバをさらに含み得る。サードパーティサーバは、サードパーティプロバイダのサーバとして理解されてもよい。サードパーティサーバは、AR通信を実行するために端末デバイスによって必要とされるターゲットオブジェクトを提供するように構成される。例えば、ターゲットオブジェクトは仮想オブジェクトである。別の例では、ターゲットオブジェクトは現実の背景オブジェクトである。サードパーティサーバおよびアプリケーションサーバは、互いにアドレス情報で相互に構成され、例えば、IPアドレスおよびポート番号を含み得る。1つの可能な例では、図2Bに示されるように、サードパーティサーバは、ARメディア処理ネットワーク要素への通信接続、例えば、ハイパーテキスト転送プロトコル（hypertext transfer protocol、http）接続の確立をサポートする。別の可能な例では、サードパーティサーバは、ARメディア処理ネットワーク要素への通信接続の確立をサポートしない。図2Cに示されるように、サードパーティサーバは、アプリケーションサーバへの通信接続、例えばhttp接続を確立する。

別の例では、AR通信している2つの端末デバイスのうちの1つはAR能力を有していない。例えば、図3に示されるように、第1の端末デバイスはAR能力を有し、第2の端末デバイスはAR能力を有していない。図3では、第1の端末デバイスにサービスを提供するIMS AGW1はAR処理能力を有する。

さらに別の例では、AR通信している2つの端末デバイスのうちの1つはAR能力を有していない。例えば、図4に示されるように、第1の端末デバイスはAR能力を有し、第2の端末デバイスはAR能力を有していない。図4では、第2の端末デバイスにサービスを提供するIMS AGW2はAR処理能力を有し、第1の端末デバイスにサービスを提供するIMS AGW1はAR処理能力を有していない。

別の可能な実装形態では、ARメディア処理ネットワーク要素は、メディアリソース機能（media resource function、MRF）であってもよい。一例では、図5に示されるように、ARメディア処理ネットワーク要素がMRFである例が使用され、AR通信システムがMRF、IMSコア（core）、アプリケーションサーバ（application server、AS）、およびサードパーティサーバを含む例が使用される。MRFは、メディアリソース機能コントローラ（media resource function control、MRFC）とメディアリソース機能プロセッサ（media resource function processor、MRFP）とに通常、分類される。会議シナリオでは、1つの端末デバイスがMRFを使用して別の端末デバイスと通信する。MRFは、セッションメッセージおよびメディアストリームの中央ノードである。図5では、第1の端末デバイス、第2の端末デバイス、および第3の端末デバイスが例として使用される。AR会議をしている複数の端末デバイスはAR能力を有していてもよく、または端末デバイスのうちの1つもしくは複数はAR能力を有していてもよく、他の端末デバイスはAR能力を有していない。図5では、第1の端末デバイスおよび第2の端末デバイスがAR能力を有し、第3の端末デバイスがAR能力を有していない例が使用される。複数の端末デバイスにそれぞれサービスを提供するMRFは、同じであってもよいし、異なるMRFであってもよい。図5では、第1の端末デバイスおよび第3の端末デバイスにサービスを提供するMRFは同じで、MRF1であり、第2の端末デバイスにサービスを提供するMRFはMRF2である。AR会議をしている複数の端末デバイスにサービスを提供する異なるMRFは、AR処理能力を有してもよいし、またはMRFのうちの1つまたは複数のみがAR処理能力を有し、他のMRFはAR処理能力を有していない。図5のMRF1とMRF2の両方は、AR処理能力を有する。MRF1は第1の端末デバイスおよび第3の端末デバイスにサービスを提供し、MRF2は第2の端末デバイスにサービスを提供する。

任意選択で、本出願のこの実施形態では、端末デバイスは、伝送されたAR補助データのタイプに基づいて異なる補助データチャネルを確立し得る。例えば、ポーズタイプのデータが伝送される必要があるときに補助データチャネル1が確立され、動作タイプのデータが伝送される必要があるときに補助データチャネル2が確立される。端末デバイスは、1つの補助データチャネルを通して異なるタイプのAR補助データを代替として伝送してもよい。

以下では、一例として、第1の端末デバイスと第2の端末デバイスとの間のAR通信を使用する。第1の端末デバイスおよび第2の端末デバイスがAR通信をトリガした後、第1の端末デバイスとARメディア処理ネットワーク要素との間に補助データチャネルを確立する手順が説明される。図6を参照されたい。

601．第1の端末デバイスがIMSコアネットワーク要素に第1の要求メッセージを送信し、第1の要求メッセージは補助データチャネルを確立するよう要求するためのものである。

第1の要求メッセージは、第1の端末デバイスの第1の記述パラメータを搬送し得る。第1の記述パラメータは、ARメディア処理ネットワーク要素を用いて補助データチャネルを確立するために第1の端末デバイスによって使用される。任意選択で、第1の要求メッセージは、第1の端末デバイスのアドレスをさらに搬送する。

一例では、第1の記述パラメータは、セッション記述プロトコル（session description protocol、SDP）を使用し得る。もちろん、第1の記述パラメータは、別の記述プロトコルを代替として使用してもよい。これは本出願では具体的には限定されない。以下の説明では、第1の記述パラメータがSDPを使用する例が使用される。区別を容易にするために、第1の記述パラメータを搬送するSDP情報は、第1のSDP情報と呼ばれる（略して第1のSDPと呼ばれる場合がある）。具体的には、第1の要求メッセージは、第1の端末デバイスの第1のSDP情報を搬送し、第1のSDP情報は、ARメディア処理ネットワーク要素と補助データチャネルを確立するために第1の端末デバイスによって使用される記述パラメータを含む。例えば、第1のSDP情報は、第1の端末デバイスのものであり、AR補助データを伝送するためのポートの番号、メディアストリームタイプ、およびサポートされるコーデックフォーマットなどのパラメータのうちの1つまたは複数を含み得る。メディアストリームタイプは、video（ビデオストリーム）、audio（オーディオストリーム）、およびdatachannel（AR補助データ）を含み得る。例えば、この場合、第1のSDP情報は、AR補助データを記述するために使用される“m＝”ラインを含んでいてもよい。

一例では、“m＝”ラインは以下のように記述される：
m＝application 10001ユーザデータグラムプロトコル（user datagram protocol、UDP）／データパケットトランスポート層セキュリティ（datagram transport layer security、DTLS）プロトコル／（ストリーム制御伝送プロトコルStream Control Transmission、SCTP）webrtc－datachannel。

“m＝”ラインは、特定のAR補助データストリームの記述を示す。10001は、5タプルのポート番号を示し得る。UDP／DTLS／SCTPは、AR補助データが準拠するトランスポートプロトコルを示す。webrtc－datachannelは、補助データチャネルを確立することを示す。第1のSDP情報は、他の情報、例えば、AR補助データを記述するために使用される“a＝”ラインをさらに含んでもよい。一例では、“a＝”ラインは以下のように記述される：
a＝dcmap：0 subprotocol＝“”；ordered＝true；max－retr＝2；label＝“AR－specific data”。
dcmapは、補助データチャネルの両端によってネゴシエートされる必要があるパラメータセット、例えば、データチャネルが信頼できる伝送をサポートするかどうか、最大再伝送量が設定されているかどうか、およびデータチャネルで伝送されるサブプロトコルのフォーマットを示す。前述の例に示されるように、0はIDが0である補助データチャネルを示し、subprotocolはIDが0である補助データチャネルを通して伝送されるAR補助データのプロトコルタイプを示す。例えば、subprotocol＝“ ”は、両端にプロトコルタイプが指定されていないことを示す。例えば、subprotocol＝“http”は、補助データチャネル内で伝送されるAR補助データがhttpフォーマットであることを示す。Orderedは、信頼できる順序付き伝送が実行されるかどうかを示す。max－retrは、再伝送の最大量を示す。例えば、max－retr＝2は、再伝送の最大量が2であることを示す。labelは、補助データチャネルを通して伝送されるAR補助データの記述を示す。

別の例では、第1のSDP情報は、以下をさらに含み得る：
a＝dcsa：0 accept－types：text／plain。
dcsaは補助データチャネルのSDP属性を示し、0は補助データチャネルの固有IDを示し、accept－typeは補助データチャネルを通して伝送されるAR補助データのフォーマットを示す。accept－types：text／plainは、AR補助データのフォーマットがテキストフォーマットであることを示す。

一例では、第1の端末デバイスは、第2の端末デバイスとのAR通信を確立する手順で第1の要求メッセージをIMSコアネットワーク要素に送信し得る。例えば、第1の要求メッセージは、セッション開始プロトコル（Session Initiation Protocol、SIP）招待（invite）メッセージであってもよい。第1の要求メッセージは、第1の端末デバイスのアドレス情報をさらに搬送し得る。例えば、第1の端末デバイスのアドレス情報は、第1の端末デバイスのIPアドレスおよび／またはポート番号を含み得る。

任意選択で、第1の要求メッセージはさらに、メディアストリームチャネルを確立するよう要求するためのものであり、メディアストリームチャネルは、第1の端末デバイスと第2の端末デバイスとの間でAR通信のメディアストリームを伝送するためのものである。第1の要求メッセージは、ARメディア処理ネットワーク要素を用いてメディアストリームチャネルを確立するために第1の端末デバイスによって使用される記述パラメータをさらに搬送する。例えば、第1のSDP情報は、ARメディア処理ネットワーク要素を用いてメディアストリームチャネルを確立するために第1の端末デバイスによって使用される記述パラメータをさらに含む。

別の例では、第1の端末デバイスは、第2の端末デバイスとのARセッションを再確立する手順で、IMSコアネットワーク要素に第1の要求メッセージを送信し得る。例えば、第1の要求メッセージは、SIP Re－invite（再招待）メッセージであってもよい。

さらに別の例では、第1の端末デバイスは、第2の端末デバイスとのARセッションを更新する手順で、IMSコアネットワーク要素に第1の要求メッセージを送信し得る。例えば、第1の要求メッセージは、SIP update invite（更新要求）メッセージであってもよい。

602．第1の要求メッセージを受信した後、IMSコアネットワーク要素は第2の要求メッセージをARメディア処理ネットワーク要素に送信する。第2の要求メッセージは、ARメディア処理ネットワーク要素と第1の端末デバイスとの間の補助データチャネルの確立を要求するためのものである。例えば、第2の要求メッセージは、第1のSDP情報をさらに搬送する。

この実施形態における第1の端末デバイスと第2の端末デバイスとの間の通信は、第1の端末デバイスと第2の端末デバイスとの間のポイントツーポイント通信であってもよいし、または第1の端末デバイスと第2の端末デバイスとの間で確立される会議通信であってもよい。ARメディア処理ネットワーク要素は、AR処理能力を有するIMS AGWまたはMRFである。例えば、第1の端末デバイスと第2の端末デバイスとの間でポイントツーポイント通信が行われるとき、ARメディア処理ネットワーク要素はIMS AGWとしてもよい。第1の端末デバイスと第2の端末デバイスとの間でAR会議通信が行われるとき、ARメディア処理ネットワーク要素はMRFであってもよい。ARメディア処理ネットワーク要素は、第1の端末デバイスが属する（または第1の端末デバイスが位置される）IMSネットワークに位置されてもよく、ARメディア処理ネットワーク要素は、第1の端末デバイスにサービスを提供するように構成され、または第2の端末デバイスが属する（または第2の端末デバイスが位置される）IMSネットワークに位置されてもよく、第2の端末デバイスにサービスを提供するように構成される。

例えば、ARメディア処理ネットワーク要素がIMS AGWであるとき、第2の要求メッセージは、H248プロトコルメッセージ、例えば、H248 add requestメッセージであってもよい。別の例として、ARメディア処理ネットワーク要素がMRFであるとき、第2の要求メッセージは、SIP inviteメッセージであってもよい。

603．第2の要求メッセージを受信すると、ARメディア処理ネットワーク要素は、IMSコアネットワーク要素に第2の応答メッセージを送信し、第2の応答メッセージは、第2の要求メッセージに対応する応答メッセージである。例えば、第2の応答メッセージは、補助データチャネルを確立する際のARメディア処理ネットワーク要素の肯定応答をIMSコアネットワーク要素に示す。例えば、第2の応答メッセージは、ARメディア処理ネットワーク要素のものであり、補助データチャネルを確立するための第2の記述パラメータを搬送する。ARメディア処理ネットワーク要素は、第1の記述パラメータから、ARメディア処理ネットワーク要素によってサポートされる第2の記述パラメータを決定し得る。第2の記述パラメータは、SDPプロトコルまたは別のプロトコルを使用し得る。区別を容易にするために、ARメディア処理ネットワーク要素のSDP情報は、第2のSDP情報と呼ばれる（略して第2のSDPと呼ばれる場合がある）。第2のSDP情報は、ARメディア処理ネットワーク要素のものであり、第1の端末デバイスと補助データチャネルを確立するための記述パラメータを含む。例えば、第2のSDP情報は、ARメディア処理ネットワーク要素に対応する補助データチャネルのポート、メディアストリームタイプ、およびサポートされるコーデックフォーマットなどのパラメータを含む。メディアストリームタイプは、video（ビデオストリーム）、audio（オーディオストリーム）、およびdatachannel（AR補助データ）を含み得る。例えば、この場合、第2のSDP情報は、ネゴシエーションを通してARメディア処理ネットワーク要素によって取得されたAR補助データを記述するために使用される“m＝”ラインを含み得、“m＝”ラインのメディアストリームタイプはAR補助データである。

604．第2の応答メッセージを受信すると、IMSコアネットワーク要素は第1の端末デバイスに第1の応答メッセージを送信し、第1の応答メッセージはARメディア処理ネットワーク要素のアドレスを搬送する。第1の応答メッセージは、ARメディア処理ネットワーク要素の第2のSDP情報を搬送する。

いくつかの実施形態では、第1の要求メッセージを受信した後、IMSコアネットワーク要素は第1の要求メッセージをアプリケーションサーバに転送する。第1の端末デバイスがARサービスに加入していると決定したときに、アプリケーションサーバは、アプリケーションサーバのアドレス情報を、IMSコアネットワーク要素を通してARメディア処理ネットワーク要素に送信し得る。アプリケーションサーバは、アプリケーションサーバのアドレス情報を第1の要求メッセージに含め、第1の要求メッセージをIMSコアネットワーク要素に送信し得る。このようにして、IMSコアネットワーク要素は、ARメディア処理ネットワーク要素に送信された第2の要求メッセージにアプリケーションサーバのアドレス情報を含め、その結果、サードパーティサーバによって提供されたコンテンツを後で取得する必要があるとき、ARメディア処理ネットワーク要素は、ASを通してサードパーティサーバから必要なコンテンツを取得し得る。

例えば、アプリケーションサーバは、第1の端末デバイスのサブスクリプション情報が加入されたARサービスに関する情報を含むかどうか問い合わせるために、HSSにサブスクリプションクエリ要求を送信し得る。HSSは、サブスクリプションクエリ応答を使用して、第1の端末デバイスのサブスクリプション情報をアプリケーションサーバにフィードバックし得る。サブスクリプションクエリ要求は、直径要求（diameter request）メッセージであってもよい。サブスクリプションクエリ応答は、直径応答（diameter response）メッセージであってもよい。

いくつかの他の実施形態では、第1の要求メッセージを受信した後、IMSコアネットワーク要素は第1の要求メッセージをアプリケーションサーバに転送する。第1の端末デバイスがARサービスに加入していると決定したときに、アプリケーションサーバは、サードパーティサーバの記憶されたアドレス情報を、IMSコアネットワーク要素を通してARメディア処理ネットワーク要素に送信し得る。アプリケーションサーバは、サードパーティサーバのアドレス情報を第1の要求メッセージに含め、第1の要求メッセージをIMSコアネットワーク要素に送信し得る。このようにして、IMSコアネットワーク要素は、ARメディア処理ネットワーク要素に送信された第2の要求メッセージにサードパーティサーバのアドレス情報を含め、その結果、サードパーティサーバによって提供されたコンテンツを後で取得する必要があるとき、ARメディア処理ネットワーク要素は、サードパーティサーバから必要なコンテンツを取得し得る。

1つの可能な実装形態では、端末デバイスは、ARメディア処理ネットワーク要素がAR処理能力を有するかどうかを事前に知り得る。例えば、ネットワーク側に登録する手順において、端末デバイスは、AR処理能力を有するARメディア処理ネットワーク要素が、端末デバイスが位置されるIMSネットワークに存在するかどうかを知る。

別の可能な実装形態では、第2の要求メッセージをARメディア処理ネットワーク要素に送信する前に、IMSコアネットワーク要素は、ARメディア処理ネットワーク要素がAR処理能力を有するかどうかを最初に問い合わせ、例えば、クエリメッセージをARメディア処理ネットワーク要素に送信する。クエリメッセージは、ARメディア処理ネットワーク要素がAR処理能力を有するかどうかを問い合わせるためのものである。クエリメッセージを受信した後に、ARメディア処理ネットワーク要素は、ARメディア処理ネットワーク要素がAR処理能力を有するかどうかを示す指示情報をIMSコアネットワーク要素に送信する。ARメディア処理ネットワーク要素がAR処理能力を有すると決定されると、第2の要求メッセージは、AR処理能力を有するARメディア処理ネットワーク要素に送信される。

ARメディア処理ネットワーク要素は、AR処理能力を有するIMS AGWまたはMRFとすることができる。ARメディア処理ネットワーク要素がIMS AGWである例が使用される。図7Aおよび図7Bに示されるように、区別を容易にするために、第1の端末デバイスにサービスを提供するIMS AGWはIMS AGW1と呼ばれ、第2の端末デバイスにサービスを提供するIMS AGWはIMS AGW2と呼ばれる。

701a．601を参照されたい。本明細書では詳細は再度説明されない。

702a．第1の端末デバイスの第1の要求メッセージを受信すると、IMSコアネットワーク要素がIMS AGW1にクエリメッセージ1を送信し、クエリメッセージ1はIMS AGW1がAR処理能力を有するかどうかを問い合わせるためのものである。

例えば、クエリメッセージ1は、AR処理能力があるかどうかを問い合わせるためのパラメータを含んでもよい。例えば、パラメータは“ifSupportforAR＿flag”であってもよい。

クエリメッセージ1は、H248 add requestとすることができる。パラメータifSupportforAR＿flagが、H248 add requestに追加される。

703a．IMS AGW1がAR処理能力を有すると決定すると、IMS AGW1は第1の指示をIMSコアネットワーク要素に送信し、第1の指示はIMS AGW1がAR処理能力を有することを示す。例えば、第1の指示は“ifSupportforAR＿flag＝true”であってもよい。任意選択で、第1の指示は、クエリ応答1（例えば、H248 add response）で搬送されてもよい。H248 add responseは、“ifSupportforAR＿flag＝true”を含む。

704a．IMSコアネットワーク要素はIMS AGW1に第2の要求メッセージを送信する。602を参照されたい。本明細書では詳細は再び説明されない。

705aおよび706aについては、603および604を参照されたい。本明細書では詳細は再び説明されない。

図7B、701bを参照されたい。601を参照されたい。本明細書では詳細は再び説明されない。

702b．第1の端末デバイスの第1の要求メッセージを受信すると、IMSコアネットワーク要素がIMS AGW1にクエリメッセージ2を送信し、クエリメッセージ2はIMS AGW1がAR処理能力を有するかどうかを問い合わせるためのものである。

例えば、クエリメッセージ2は、AR処理能力があるかどうかを問い合わせるためのパラメータを含んでもよい。例えば、パラメータは“ifSupportforAR＿flag”であってもよい。クエリメッセージ2は、H248 add requestとすることができる。パラメータifSupportforAR＿flagが、H248 add requestに追加される。

703b．IMS AGW1がAR処理能力を有していないと決定すると、IMS AGW1は第2の指示をIMSコアネットワーク要素に送信し、第2の指示はIMS AGW1がAR処理能力を有していないことを示す。例えば、第2の指示は“ifSupportforAR＿flag＝false”であってもよい。任意選択で、第2の指示は、クエリ応答2（例えば、H248 add response）で搬送されてもよい。H248 add responseは、“ifSupportforAR＿flag＝false”を含む。代替として、H248 add responseは、IMS AGW1がAR処理能力を有していないことを示すパラメータifSupportforAR＿flag＝falseを含まない。

704b．IMSコアネットワーク要素はIMS AGW2に第2の要求メッセージを送信する。

705bおよび706bについては、603および604を参照されたい。本明細書では詳細は再び説明されない。

別の可能な実装形態では、IMSコアネットワーク要素は、ARメディア処理ネットワーク要素に送信された第2の要求メッセージで、ARメディア処理ネットワーク要素がAR処理能力を有するかどうかを問い合わせるためのパラメータを搬送する。例えば、第2の要求メッセージは“ifSupportforAR＿flag”を搬送する。ARメディア処理ネットワーク要素が第2の応答メッセージで“ifSupportforAR＿flag＝true”を搬送するとき、ARメディア処理ネットワーク要素はAR処理能力を有すると決定される。代替として、ARメディア処理ネットワーク要素が第2の応答メッセージでパラメータ“ifSupportforAR＿flag”を搬送しないが、第2の記述パラメータを搬送する場合、ARメディア処理ネットワーク要素はAR処理能力を有すると決定される。代替として、ARメディア処理ネットワーク要素が第2の応答メッセージでパラメータ“ifSupportforAR＿flag＝false”を搬送する場合、ARメディア処理ネットワーク要素はAR処理能力を有していないと決定される。

以下では、特定の適用シナリオを参照して、本出願の実施形態で提供される補助データチャネルの確立手順について説明する。

第1の可能な適用シナリオでは、補助データチャネルはARセッション作成プロセスで確立される。このシナリオでは、AR処理能力を有するARメディア処理ネットワーク要素が、第1の端末デバイスが属するIMS AGW1である例が使用される。

図8A－1および図8A－2は、本出願による第1の可能な適用シナリオにおける通信方法の概略フローチャートである。

801．第1の端末デバイスが、IMS coreネットワーク要素（例えば、intermediate IMS1）に第1の要求メッセージを送信する。

この実施形態では、第1の端末デバイスにサービスを提供するように構成されたIMS coreネットワーク要素がintermediate IMS1と呼ばれる例が使用される。図8A－1および図8A－2では、第1の要求メッセージがSIP INVITEメッセージである例が使用される。区別を容易にするために、第1の要求メッセージがSIP INVITE1と呼ばれる例が使用される。SIP INVITE1は、ARセッションを確立することを要求するためのものである。SIP INVITE1は、第1の端末デバイスの第1のSDPを含む。第1のSDPは、補助データチャネルを確立するために第1の端末デバイスによって使用される記述パラメータを含む。第1のSDPは、メディアストリームチャネルを確立するために第1の端末デバイスによって使用される記述パラメータをさらに含む。SIP INVITE1は、第1の端末デバイスのアドレス情報をさらに含み、第1の端末デバイスのIPアドレスおよびポート番号を含む。図8A－1および図8A－2では、IPアドレスはIP1oであり、ポート番号はP1oである。例えば、第1のSDPは、アドレス情報（例えば、ポート番号）、メディアストリームタイプ、サポートされるコーデックフォーマットなどのパラメータを含む。メディアストリームタイプは、video（ビデオストリーム）、audio（オーディオストリーム）、およびdatachannel（AR補助データ）を含み得る。例えば、この場合、第1のSDP情報は、AR補助データを記述するために使用される“m＝”ラインを含み、オーディオデータを記述するために使用される“m＝”ラインおよびビデオデータを記述するために使用される“m＝”ラインをさらに含んでもよい。“m＝”ラインは、1つのメディアストリーム（ビデオストリーム、オーディオストリーム、またはAR補助データを含むストリーム）の記述である。

一例では、ビデオストリームの“m＝”ライン、オーディオストリームの“m＝”ライン、およびAR補助データを含むストリームの“m＝”ラインをそれぞれ示す以下の3つの“m＝”ラインが定義される。

m＝video 49154 RTP／AVPF 101 102。“m＝”ラインの第1のパラメータは、メディア名を示し、サポートされるメディアストリームタイプがビデオ（video）であることを示す。第2のパラメータはポート番号であり、ビデオストリームを送信するために49154ポートが使用されることを示す。第3のパラメータは、トランスポートプロトコルであり、リアルタイム転送プロトコル（real－time transport protocol、RTP）／オーディオビデオプロファイルフィードバック（audio video profile feedback、AVPF）である。第4および第5のパラメータは、サポートされるペイロードタイプ番号を示す。

m＝audio 49152 RTP／AVP 98 97 99。“m＝”ラインの第1のパラメータは、メディア名を示し、サポートされるメディアストリームタイプがオーディオ（audio）であることを示す。第2のパラメータはポート番号であり、オーディオストリームを送信するために49152ポートが使用されることを示す。第3のパラメータは、トランスポートプロトコルであり、リアルタイム転送プロトコル（real－time transport protocol、RTP）／オーディオビデオプロファイル（audio video profile、AVP）である。第4から第6のパラメータは、サポートされるペイロードタイプ番号を示す。

m＝application 10001 UDP／DTLS／SCTP webrtc－datachannel。

“m＝”ラインは、特定のAR補助データストリームの記述を示す。10001は、5タプルのポート番号を示し得る。UDP／DTLS／SCTPは、AR補助データが準拠するトランスポートプロトコルを示す。webrtc－datachannelは、補助データチャネルを確立することを示す。

第1のSDP情報は、他の情報をさらに含んでもよい。第1のSDPの具体的な説明については、図6に対応する実施形態の説明を参照されたい。本明細書では詳細は再び説明されない。

802．intermediate IMS1は、第1の端末デバイスからSIP INVITE1を受信し、SIP INVITE1をASに転送する。

例えば、SIP INVITE1を受信した後、intermediate IMS1は、第1の端末デバイスのサブスクリプションデータに基づいて、第1の端末デバイスがARメディア拡張サービスに加入していると決定し、次いで、SIP INVITE1をASに転送する。ASは、ARメディア拡張サービスのための制御サービスを提供するように構成される。

803．ASは、SIP INVITE2をintermediate IMS1に送信する。

SIP INVITE1を受信した後、ASは、第1の端末デバイスによって加入されたARサービスを決定し、対応するARサービスをトリガする。ASは、intermediate IMS1を通してARセッションの確立をトリガする、すなわち、SIP INVITE2をintermediate IMS1にトリガする。任意選択で、ASによってトリガされるSIP INVITE2と、第1の端末デバイスによって送信されるSIP INVITE1とは、同じメッセージであってもよいし、異なるメッセージであってもよい。

いくつかの実施形態では、ASは、第1の端末デバイスを識別し、ARサービスをトリガし（言い換えれば、ARセッションを開始する）、ASは、ARセッションとしてARセッションのセッション識別子を記録し、セッション識別子と第1の端末デバイスの識別子との間のバインディング関係を確立し得る。バインディング関係が確立された後、ターゲットオブジェクトがASを通してサードパーティサーバから取得されるときに、バインディング関係は後で使用され得る。詳細については後述され、本明細書では再度説明されない。

804．intermediate IMS1はIMS AGW1がAR処理能力を有するかどうか問い合わせるためにIMS AGW1へクエリメッセージを送信する。区別を容易にするために、IMS AGW1がAR処理能力を有するかどうか問い合わせるためのクエリメッセージはクエリメッセージ1と呼ばれる。クエリメッセージ1は、H248 add request 1（req 1）とすることができる。H248 add request 1は、搬送の確立を要求するためのものであってもよい。例えば、H248 add request 1は、IMS AGW1がAR処理能力を有するかどうか問い合わせるためのパラメータを搬送する。例えば、IMS AGW1がAR処理能力を有するかどうかを問い合わせるためのパラメータは“IfSupportforAR＿flag”であってもよい。

任意選択で、H248 add request 1が受信され、発信終端T2（outgoing termination T2）が作成される。具体的には、IMS AGW1の発信終端が作成される。IMS AGW1は、終端T2に対応するアドレス情報およびIMS AGW1がAR処理能力を有するかどうかを示す指示情報をintermediate IMS1にフィードバックする。

805．H248 add request 1を受信した後、IMS AGW1は、クエリ応答1をintermediate IMS1に送信し、クエリ応答1は、IMS AGW1がAR処理能力を有するかどうか示す指示情報を含む。例えば、クエリ応答1は、H248 add response 1であってもよい。IMS AGW1はH248 add response（resp）1を送信し、H248 add response 1は指示情報および終端T2に対応するアドレス情報を含む。例えば、終端T2に対応するアドレス情報は、IPアドレスおよびポート番号を含む。IPアドレスがIP2oであり、ポート番号がP2oである例が使用される。例えば、IMS AGW1がAR処理能力を有する場合、H248 add responseは“IfSupportforAR＿flag＝True”を含む。IMS AGW1がAR処理能力を有していない場合、H248 add responseは“IfSupportforAR＿flag＝False”を搬送するか、またはパラメータを搬送しない。この実施形態では、IMS AGW1がAR処理能力を有する例が使用される。

806．H248 add response 1を受信した後、intermediate IMS1は、IMS AGW1がAR処理能力を有することを識別し、intermediate IMS1はintermediate IMS2へのARセッションの作成をトリガする。SIP INVITE3はintermediate IMS1に送信される。SIP INVITE3は、IMS AGW1の終端T2に対応するアドレス情報を搬送する。

intermediate IMS1が、IMS AGW1がAR処理能力を有することを識別する場合、第1の端末デバイスとIMS AGW1との間に補助データチャネルのみが確立される必要があり、第2の端末デバイスのネットワーク側に送信されるARセッション確立要求は、補助データチャネルの確立を要求するためのSDPを搬送する必要がないことに留意されたい。

807．intermediate IMS2はSIP INVITE3をAS2に送信し、SIP INVITE3はIMS AGW1の終端T2に対応するアドレス情報を搬送する。

808．AS2はSIP INVITE3をintermediate IMS2に送信し、SIP INVITE3はIMS AGW1の終端T2に対応するアドレス情報を搬送する。

809．intermediate IMS2は、発信終端T3を作成するようにIMS AGW2に指示するために、IMS AGW2にH248 add request 2を送信する。例えば、H248 add request 2は、IPアドレスおよびポート番号を含む。IPアドレスがIP3oであり、ポート番号がP3oである例が使用される。

810．IMS AGW2は発信終端T3を作成し、H248 add resp 2をintermediate IMS2に送信し、H248 add resp 2はIMS AGW2の終端T2に対応するアドレス情報を搬送する。

811．IMS AGW2はSIP INVITE4を第2の端末デバイスに送信し、SIP INVITE4はIMS AGW2の終端T2に対応するアドレス情報を含む。

812．第2の端末デバイスはSIP 180をintermediate IMS2に送信し、SIP 180は第2の端末デバイスのアドレス情報（IP1a、P1a）を搬送する。

813．intermediate IMS2はIMS AGW2にH248 mod request 1を送信して、IMS AGW2に発信終端T2を構成するように指示する。例えば、IMS AGW2のT2のアドレス情報と第2の端末デバイスのアドレス情報との間の関連付け関係が確立される。

814．IMS AGW2は発信終端T3を構成し、H248 mod resp 1をintermediate IMS2に送信する。H248 mod resp 1は、IMS AGW2の終端T2に対応するアドレス情報および第2の端末デバイスのアドレス情報を搬送し得る。

815．intermediate IMS2は、着信終端T2を作成するようにIMS AGW2に指示するために、IMS AGW2にH248 add request 3を送信する。例えば、H248 add request 3は、IMS AGW1の終端T2に対応するアドレス情報を含む。

816．IMS AGW2は着信終端T2を作成し、H248 add resp 3をintermediate IMS2に送信し、H248 add resp 3はIMS AGW2の終端T2に対応するアドレス情報（IP4o、P4o）を搬送する。

817．intermediate IMS1は第2の端末デバイスからSIP 180を受信する。例えば、SIP 180は、第2の端末デバイスのアドレス情報を含んでもよい。例えば、第2の端末デバイスのIPアドレスはIP1aであり、第2の端末デバイスのポート番号はP1aである。intermediate IMS1は第2の端末デバイスのIPアドレスおよびポート番号を記録する。

818．intermediate IMS1はIMS AGW1に構成変更要求を送信する。例えば、構成変更要求は、H248 mod req 3であってもよい。H248 Mod req 3は、第2の端末デバイスのIPアドレス（IP1a）およびポート番号（P1a）を含む。H248 mod req 3は、IMS AGW1に、発信終端T2を構成するよう要求するためのものである。

819．IMS AGW1は第2の端末デバイスのアドレス情報に基づいて発信終端T2（outgoing termination T2）を構成し、構成変更応答をintermediate IMS1に送信し、構成変更応答はH248 mod response 3とすることができる。

820．intermediate IMS1はIMS AGW1から構成変更応答を受信し、intermediate IMS1はIMS AGW1に第2の要求メッセージを送信する。第2の要求メッセージは、補助データチャネルを確立するように要求するためのものであり、さらに、着信終端T1を作成するように要求するためのものであり得る。例えば、第2の要求メッセージはH248 add req 4である。H248 add req 4はさらに、補助データチャネルを確立するように要求するためのものである。H248 add req 4は、第1の端末デバイスの第1のSDPおよび第1の端末デバイスのアドレス情報を含む。

H248 add req 4を受信した後、IMS AGW1は、着信終端T1（incoming termination T1）を作成し、補助データチャネルの確立を確認する。

821．IMS AGW1はintermediate IMS1に第2の応答メッセージを送信し、第2の応答メッセージは着信終端T1情報に対する応答を含み、補助データチャネルの確立に対する応答をさらに含み得る。第2の応答メッセージは、H248 add response 4であり得る。H248 add response 4は、IMS AGW1の第2のSDP情報およびIMS AGW1のアドレス情報を含む。例えば、IMS AGW1のアドレス情報は、IMS AGW1のIPアドレス（IP2a）およびポート番号（P2a）を含む。任意選択で、H248 add response 4は、第1の端末デバイスのアドレス情報をさらに含み得る。

例えば、第2のSDP情報は、IMS AGW1のものであり、確立される必要がある補助データチャネルを記述するために使用される“m＝”ラインを含む。一例では、第1の端末デバイスの“m＝”ラインに対するIMS AGW1の応答は以下のように記述することができる：
m＝application 10001 UDP／DTLS／SCTP webrtc－datachannel。

822．intermediate IMS1はIMS AGW1の終端T1のアドレス情報を記録し、補助データチャネルが確立されているという第2のSDP情報を決定し、ASに送信される第1の応答メッセージは第2のSDP情報およびIMS AGW1のアドレス情報を含む。例えば、第1の応答メッセージは、SIP 180であってもよい。SIP 180は、第2のSDP情報およびIMS AGW1のアドレス情報を含む。

823．ASはSIP 180をintermediate IMS1に転送する。

824．intermediate IMS1はSIP 180を第1の端末デバイスに転送する。

いくつかの実施形態では、ステップ803において、ASがSIP INVITE1を受信した後、第1の端末デバイスがARサービスに加入していると決定したときに、ASは、intermediate IMS1を通してIMS AGW1にASのアドレス情報を送信し得る。ASは、SIP INVITE2にASのアドレス情報を含めて、SIP INVITE2をintermediate IMS1に送信してもよい。このようにして、intermediate IMS1はIMS AGW1に送信される第2の要求メッセージ（H248 add request）にASのアドレス情報を含み、その結果、サードパーティサーバによって提供されるコンテンツを後で取得する必要があるとき、IMS AGW1はASを通してサードパーティサーバから必要なコンテンツを取得し得る。

例えば、ASは、第1の端末デバイスのサブスクリプション情報が加入されたARサービスに関する情報を含むかどうか問い合わせるために、HSSにサブスクリプションクエリ要求を送信し得る。HSSは、サブスクリプションクエリ応答を使用して、第1の端末デバイスのサブスクリプション情報をASにフィードバックし得る。サブスクリプションクエリ要求は、直径要求（diameter request）メッセージであってもよい。サブスクリプションクエリ応答は、直径応答（diameter response）メッセージであってもよい。

いくつかの他の実施形態では、SIP INVITE1を受信した後、intermediate IMS1は、SIP INVITE1をASに転送する。第1の端末デバイスがARサービスに加入していると決定したとき、ASは、サードパーティサーバの記憶されているアドレス情報を、intermediate IMS1を通してIMS AGW1に送信し得る。ASは、サードパーティサーバのアドレス情報を第1の要求メッセージに含め、第1の要求メッセージをintermediate IMS1に送信し得る。このようにして、intermediate IMS1はIMS AGW1に送信される第2の要求メッセージ（H248 add request）にサードパーティサーバのアドレス情報を含み、その結果、サードパーティサーバによって提供されるコンテンツを後で取得する必要があるとき、IMS AGW1はサードパーティサーバから必要なコンテンツを取得し得る。

以下で、図8Bを参照して、終端T1および終端T2について説明する。終端T1は、IMS AGW上にあり、アクセスネットワークを通して端末デバイスに接続するための終端である。終端T2は、IMS AGW上にあり、IMSコアネットワークに接続するための終端である。IMS AGWは、IMSコアネットワークを通して通信ピアの端末デバイスとの接続を確立することができる。

第2の可能な適用シナリオでは、補助データチャネルの確立は、ARセッション再確立プロセスをトリガすることによってトリガされる。このシナリオでは、第1の端末デバイスが属するIMS AGW1がAR処理能力を有する例が使用される。

図9は、本出願による第2の可能な適用シナリオにおける通信方法の概略フローチャートである。

901．第1の端末デバイスと第2の端末デバイスとの間でARセッションが確立された後、第1の端末デバイスは、IMS coreネットワーク要素（例えば、intermediate IMS1）に第1の要求メッセージを送信する。図9では、第1の要求メッセージがSIP再確立要求（Re－INVITE1）である例が使用される。SIP Re－INVITE1は、補助データチャネルの作成を要求するためのものである。SIP Re－INVITE1は、第1の端末デバイスの第1のSDPを含む。第1の端末デバイスの第1のSDPの説明については、図6に対応する実施形態の説明を参照されたい。本明細書では詳細は再び説明されない。

902．intermediate IMS1は、第1の端末デバイスからSIP Re－INVITE1を受信し、SIP Re－INVITE1をASに転送する。

903．ASは、SIP Re－INVITE1をintermediate IMS1に送信する。

904．intermediate IMS1はIMS AGW1にクエリメッセージ1を送信する。クエリメッセージ1は、H248 mod reqで搬送され得る。H248 mod reqは、搬送の確立を要求するためのものである。例えば、H248 mod reqは、IMS AGW1がAR処理能力を有するかどうかを問い合わせるためのパラメータをさらに搬送し得る。例えば、IMS AGW1がAR処理能力を有するかどうかを問い合わせるためのパラメータは“IfSupportforAR＿flag”であってもよい。

任意選択で、IMS AGW1はH248 mod reqを受信し、IMS AGW1がAR処理能力を有するかどうかを示す指示情報をintermediate IMS1に送信する。

905．H248 mod requestを受信した後、IMS AGW1は、クエリ応答1をintermediate IMS1に送信し、クエリ応答1は、IMS AGW1がAR処理能力を有するかどうか示す指示情報を含む。例えば、IMS AGW1はH248 mod responseを送信し、H248 mod responseは指示情報を含む。例えば、IMS AGW1がAR処理能力を有する場合、H248 mod responseは“IfSupportforAR＿flag＝True”を含む。IMS AGW1がAR処理能力を有していない場合、H248 mod responseは“IfSupportforAR＿flag＝False”を搬送するか、またはパラメータを搬送しない。この実施形態では、IMS AGW1がAR処理能力を有する例が使用される。

906．H248 mod responseを受信した後、intermediate IMS1はIMS AGW1がAR処理能力を有すること、すなわち、第1の端末デバイスとIMS AGW1との間に補助データチャネルのみが確立される必要があり、第2の端末デバイスに送信されるARセッション確立要求は補助データチャネルを確立することを要求するための要求を搬送する必要がないことを識別する。ARセッション確立要求は、SIP Re－INVITE2であってもよい。

例えば、intermediate IMS1は、第2の端末デバイスが属するintermediate IMS2を通して第2の端末デバイスにSIP Re－INVITE2を送信する。

907．intermediate IMS1は、第2の端末デバイスからSIP応答、例えばSIP 200 OKを受信する。

908．intermediate IMS1はIMS AGW1に第2の要求メッセージを送信し、第2の要求メッセージは補助データチャネルの確立を要求するためのものであってよく、さらに着信終端T1情報を変更するためのものである。例えば、着信終端T1情報を変更するための要求は、H248 add reqを使用してIMS AGW1に送信される。H248 add reqはさらに、補助データチャネルを確立するように要求するためのものである。H248 add reqは、第1の端末デバイスの第1のSDPを含む。

H248 add reqを受信した後、IMS AGW1は、着信終端T1情報（incoming termination T1情報）を変更し、補助データチャネルの確立を確認する。

909．IMS AGW1は、着信終端T1情報を変更する応答をintermediate IMS1に送信する。着信終端T1情報を変更する応答は、H248 add responseであってもよい。H248 add responseは、IMS AGW1の第2のSDP情報を含む。第2のSDPの説明については、図6に対応する実施形態の説明を参照されたい。本明細書では詳細は再び説明されない。

910．intermediate IMS1はIMS AGW1の第2のSDP情報を抽出し、ASに送信されるARセッション確立応答は第2のSDP情報を含む。例えば、ARセッション確立応答は、SIP 200 OKであってもよい。SIP 200 OKは、第2のSDP情報を含む。

911．ASは、SIP 200 OKをintermediate IMS1に転送する。

912．intermediate IMS1はSIP 200 OKを第1の端末デバイスに転送する。

いくつかの実施形態では、ステップ903において、ASがSIP Re－INVITE1を受信した後、第1の端末デバイスがARサービスに加入していると決定したときに、ASは、intermediate IMS1を通してIMS AGW1にASのアドレス情報を送信し得る。ASは、SIP Re－INVITE1にASのアドレス情報を含めて、SIP Re－INVITE1をintermediate IMS1に送信してもよい。このようにして、intermediate IMS1はIMS AGW1に送信される第2の要求メッセージ（H248 add request）にASのアドレス情報を含み、その結果、サードパーティサーバによって提供されるコンテンツを後で取得する必要があるとき、IMS AGW1はASを通してサードパーティサーバから必要なコンテンツを取得し得る。

いくつかの他の実施形態では、SIP Re－INVITE1を受信した後、intermediate IMS1は、SIP Re－INVITE1をASに転送する。第1の端末デバイスがARサービスに加入していると決定したとき、ASは、サードパーティサーバの記憶されているアドレス情報を、intermediate IMS1を通してIMS AGW1に送信し得る。ASは、サードパーティサーバのアドレス情報を第1の要求メッセージに含め、第1の要求メッセージをintermediate IMS1に送信し得る。このようにして、intermediate IMS1はIMS AGW1に送信される第2の要求メッセージ（H248 add request）にサードパーティサーバのアドレス情報を含み、その結果、サードパーティサーバによって提供されるコンテンツを後で取得する必要があるとき、IMS AGW1はサードパーティサーバから必要なコンテンツを取得し得る。

第3の可能な適用シナリオでは、補助データチャネルはARセッション作成プロセスで確立される。このシナリオでは、第1の端末デバイスが属するIMS AGW1はAR処理能力を有していないが、第2の端末デバイスが属するIMS AGW2はAR処理能力を有する例が使用される。

図10Aおよび図10Bは、本出願による第3の可能な適用シナリオにおける通信方法の概略フローチャートである。

1001から1004については、801から804を参照されたい。本明細書では詳細は再び説明されない。

1005．H248 add requestを受信した後、IMS AGW1は、IMS AGW1がAR処理能力を有するかどうかを示すために指示情報をintermediate IMS1に送信する。例えば、IMS AGW1はH248 add responseを送信し、H248 add responseは指示情報および終端T2に対応するアドレス情報を含む。例えば、終端T2に対応するアドレス情報は、IPアドレスおよびポート番号を含む。IPアドレスがIP2oであり、ポート番号がP2oである例が使用される。例えば、IMS AGW1がAR処理能力を有する場合、H248 add responseは“IfSupportforAR＿flag＝True”を含む。IMS AGW1がAR処理能力を有していない場合、H248 add responseは“IfSupportforAR＿flag＝False”を搬送するか、またはパラメータを搬送しない。この実施形態では、IMS AGW1がAR処理能力を有していない例が使用される。

H248 add responseを受信した後、intermediate IMS1はIMS AGW1がAR処理能力を有していないことを識別し、intermediate IMS1は、第2の端末デバイスが属するintermediate IMS2およびASを通してIMS AGW2に第2の要求メッセージ（SIP INVITE2）を送信する。第2の端末デバイスに送信されるSIP INVITE2は、補助データチャネルの確立を要求するための要求を搬送する必要がない。第2の端末デバイスに送信されるSIP INVITE2は、IMS AGW1の終端T2に対応するアドレス情報を搬送する。

1006から1008については、806から808を参照されたい。本明細書では詳細は再び説明されない。

1009．ASからSIP INVITE3を受信した後、intermediate IMS2はIMS AGW2にクエリメッセージ2を送信し得る。

クエリメッセージ2は、H248 add req 2で搬送され得る。例えば、H248 add req 2は、IMS AGW2がAR処理能力を有するかどうかを問い合わせるためのパラメータをさらに搬送し得る。例えば、IMS AGW2がAR処理能力を有するかどうかを問い合わせるためのパラメータは“IfSupportforAR＿flag”であってもよい。H248 add req 2は、発信終端T2を作成することをさらに指示する。詳細については、809を参照されたい。本明細書では詳細は再び説明されない。

任意選択で、IMS AGW2はH248 mod req 2を受信し、IMS AGW2がAR処理能力を有するかどうかを示す指示情報をintermediate IMS2に送信する。

1010．H248 add request 2を受信した後、IMS AGW2は、クエリ応答2をintermediate IMS2に送信し、クエリ応答2は、IMS AGW2がAR処理能力を有するかどうか示す指示情報2を含む。例えば、IMS AGW2はH248 add response 2（すなわち、クエリ応答2）を送信し、H248 add response 2は指示情報2を含む。例えば、IMS AGW2がAR処理能力を有する場合、H248 add response 2は“IfSupportforAR＿flag＝True”を含む。IMS AGW2がAR処理能力を有していない場合、H248 add responseは“IfSupportforAR＿flag＝False”を搬送するか、またはパラメータを搬送しない。この実施形態では、IMS AGW2がAR処理能力を有する例が使用される。H248 add response 2は、T2のアドレス情報をさらに含む。

1011から1014については、811から814を参照されたい。本明細書では詳細は再び説明されない。

1015．intermediate IMS2は、着信終端T2を作成するようにIMS AGW2に指示するために、IMS AGW2にH248 add request 3を送信する。H248 add request 3はさらに、第1の端末デバイスとの補助データチャネルを確立するように要求するためのものである。H248 add request 3は、第1の端末デバイスの第1のSDPを含む。例えば、H248 add request 3は、IMS AGW1の終端T2に対応するアドレス情報をさらに含む。

1016．IMS AGW2は着信終端T2を作成し、H248 add resp 3をintermediate IMS2に送信し、H248 add resp 3は補助データチャネルを作成する肯定応答を含み、例えば、IMS AGW2の第2のSDPを含み、IMS AGW2の終端T2に対応するアドレス情報（IP4o、P4o）をさらに含む。

1017．intermediate IMS2はSIP 180をintermediate IMS1に送信する。

1018．intermediate IMS1はIMS AGW1に構成変更要求を送信する。例えば、構成変更要求は、H248 mod req 3であってもよい。H248 mod req 3は、IMS AGW1に、発信終端T2を構成するよう要求するためのものである。

1019．IMS AGW1は発信終端T2（outgoing termination T2）を構成し、構成変更応答メッセージをintermediate IMS1に送信し、構成変更応答メッセージはH248 mod response 3とすることができる。

1020．intermediate IMS1はIMS AGW1から構成変更応答メッセージを受信し、次いでIMS AGW1への着信終端T1の作成を開始する。例えば、着信終端T1を作成するための要求メッセージは、補助データチャネルを確立するための要求および第1の端末デバイスのアドレス情報を搬送する。着信終端T1を作成するための要求メッセージは、H248 add req 4であってもよい。

1021．IMS AGW1はintermediate IMS1にH248 add response 4を送信する。H248 add response 4はIMS AGW1のアドレス情報を含む。例えば、IMS AGW1のアドレス情報は、IMS AGW1のIPアドレス（IP2a）およびポート番号（P2a）を含む。任意選択で、H248 add response 4は、第1の端末デバイスのアドレス情報をさらに含み得る。

1022．intermediate IMS1はIMS AGW1の終端T1のアドレス情報を記録し、ASに送信されるSIP 180はIMS AGW2の第2のSDP情報およびIMS AGW1のアドレス情報を含む。

1023．ASはSIP 180をintermediate IMS1に転送する。

1024．intermediate IMS1はSIP 180を第1の端末デバイスに転送する。

いくつかの実施形態では、SIP INVITE3を受信した後、AS2は、intermediate IMS2を通してIMS AGW2にAS2のアドレス情報を送信し得る。AS2は、SIP INVITE3にAS2のアドレス情報を含めて、SIP INVITE3をintermediate IMS2に送信してもよい。このようにして、intermediate IMS2はIMS AGW2に送信されるH248 add request 3にAS2のアドレス情報を含み、その結果、サードパーティサーバによって提供されるコンテンツを後で取得する必要があるとき、IMS AGW2はASを通してサードパーティサーバから必要なコンテンツを取得し得る。

いくつかの他の実施形態では、SIP INVITE3を受信した後、intermediate IMS2は、SIP INVITE3をAS2に転送する。AS2は、サードパーティサーバの記憶されたアドレス情報を、intermediate IMS2を通してIMS AGW2に送信し得る。intermediate IMS2は、サードパーティサーバのアドレス情報をH248 add req 3に含め、H248 add req 3をIMS AGW2に送信し得、その結果、サードパーティサーバによって提供されたコンテンツを後で取得する必要があるとき、IMS AGW2はサードパーティサーバから必要なコンテンツを取得し得る。

第4の可能な適用シナリオでは、補助データチャネルはAR会議作成プロセスで確立される。このシナリオでは、第1の端末デバイスが属するMRFがAR処理能力を有する例が使用される。

図11は、本出願による第4の可能な適用シナリオにおける通信方法の概略フローチャートである。

1101から1103については、801から803を参照されたい。本明細書では詳細は再び説明されない。

1104．intermediate IMS1は、第1の端末デバイスがAR会議を開始することを識別し、MRFに第2の要求メッセージを送信し、第2の要求メッセージは第1の端末デバイスの第1のSDPを含む。第2の要求メッセージは、SIP INVITE2であってもよい。

1105．MRFがAR処理能力を有すると決定すると、MRFはintermediate IMS1に第2の応答メッセージを送信し、第2の応答メッセージはMRFの第2のSDPを含む。MRFがAR処理能力を有していないと決定すると、MRFは、補助データチャネルを確立するための第1の端末デバイスの要求を無視する。例えば、第2の応答メッセージは、SIP 180であってもよい。

1106．intermediate IMS1は第1の応答メッセージをASに送信し、第1の応答メッセージはSIP 180であってもよい。第1の応答メッセージは、MRFの第2のSDPを含む。

1107．ASはintermediate IMS1に第1の応答メッセージを送信する。

1108．intermediate IMS1は第1の端末デバイスに第1の応答メッセージを送信する。

いくつかの実施形態では、ステップ1103において、ASがSIP INVITE1を受信した後、第1の端末デバイスがARサービスに加入していると決定したときに、ASは、intermediate IMS1を通してMRFにASのアドレス情報を送信し得る。ASは、SIP INVITE1にASのアドレス情報を含めて、SIP INVITE1をintermediate IMS1に送信してもよい。このようにして、intermediate IMS1はMRFに送信される第2の要求メッセージ（SIP INVITE2）にASのアドレス情報を含み、その結果、サードパーティサーバによって提供されるコンテンツを後で取得する必要があるとき、MRFはASを通してサードパーティサーバから必要なコンテンツを取得し得る。

いくつかの他の実施形態では、SIP INVITE1を受信した後、intermediate IMS1は、SIP INVITE1をASに転送する。第1の端末デバイスがARサービスに加入していると決定したとき、ASは、サードパーティサーバの記憶されているアドレス情報を、intermediate IMS1を通してMRFに送信し得る。ASは、サードパーティサーバのアドレス情報を第1の要求メッセージに含め、第1の要求メッセージをintermediate IMS1に送信し得る。このようにして、intermediate IMS1はMRFに送信される第2の要求メッセージ（SIP INVITE2）にサードパーティサーバのアドレス情報を含み、その結果、サードパーティサーバによって提供されるコンテンツを後で取得する必要があるとき、MRFはサードパーティサーバから必要なコンテンツを取得し得る。

以下では、形態を参照して、本出願の実施形態における確立された補助データチャネルを通してメディアストリーム拡張を実装する手順について説明する。

図12Aに示されるように、第1の端末デバイスと第2の端末デバイスとの間のAR通信のプロセスにおけるメディアストリーム拡張手順が説明される。補助データチャネルは、第1の端末デバイスとARメディア処理ネットワーク要素との間に確立される。第1の端末デバイスと第2の端末デバイスとの間にメディアストリームチャネルがさらに確立される。メディアストリームチャネルは、ARメディア処理ネットワーク要素を通過する。

1201．第1の端末デバイスは、第2の端末デバイスとAR通信を行うプロセスにおいて、補助データチャネルを通してARメディア処理ネットワーク要素にAR補助データを送信する。ARメディア処理ネットワーク要素は、第1の端末デバイスのIMSネットワークまたは第2の端末デバイスのIMSネットワークに位置される。ARメディア処理ネットワーク要素は、IMS AGWまたはMRFであってもよい。

1202．第1の端末デバイスは、メディアストリームチャネルを通してARメディア処理ネットワーク要素にメディアストリームを送信する。メディアストリームは、第1の端末デバイスと第2の端末デバイスとの間のAR通信のプロセスで生成される。

1203．ARメディア処理ネットワーク要素は、AR補助データに基づいてメディアストリームに対してメディア拡張処理を実行して、ARメディアストリームを取得する。

1204．ARメディア処理ネットワーク要素は、ARメディアストリームを第1の端末デバイスに送信する。第1の端末デバイスはARメディアストリームを受信する。

任意選択で、1205において、ARメディア処理ネットワーク要素は、メディアストリームチャネルを通して第2の端末デバイスにARメディアストリームを送信する。第2の端末デバイスはARメディアストリームを受信する。

ARメディア処理ネットワーク要素がIMS AGWである例が使用される。第1の端末デバイスにサービスを提供するIMS AGWはIMS AGW1と呼ばれ、第2の端末デバイスにサービスを提供するIMS AGWはIMS AGW2と呼ばれる。図12Bに示されるように、IMS AGW1とIMS AGW2はどちらもAR処理能力を有する。本出願では、AR補助データの近傍処理の原理が使用される。IMS AGW1によって受信されたAR補助データ（非メディアデータ）が第1の端末デバイスに関連されるデータ、例えば第1の端末デバイスのユーザポーズデータである場合、AR補助データは第1の端末デバイスによって共有されるメディアストリームに対してポーズレンダリングを行うためのものにすぎない。したがって、IMS AGW1は受信した1（元のメディアストリーム）、a（非メディアデータ、例えば、第1の端末デバイスのユーザポーズデータ）、およびb（非メディアデータ、例えば、第1の端末デバイスによって取得されたユーザ注釈データ）を1｛a＋b｝（ARメディアストリーム）に結合してレンダリングし、1｛a＋b｝を第1の端末デバイスに返す。IMS AGW1は1（元のメディアストリーム）およびb（非メディアデータ、例えば、UE1によって取得されたユーザ注釈データ）を1｛b｝（ARメディアストリーム）に、次いでレンダリングし、1｛b｝をIMS AGW2に送信する。IMS AGW2は受信したメディアストリームおよびUE2のc（非メディアデータ）をメディアストリーム1｛b＋c｝（ARメディアストリーム）に、最後にレンダリングし、メディアストリーム1｛b＋c｝をUE2に送信する。図12Cに示されるように、IMS AGW2がAR処理能力を有していない場合、UE2のc（非メディアデータ）はメディア拡張処理のためにIMS AGW1に伝送される。

以下では、特定のアプリケーションシナリオを参照して、補助データチャネルを通してメディアストリームに対して拡張処理を実装するための解決策について説明する。

第1の端末デバイスのユーザが第2の端末デバイスのユーザとビデオを共有する例が使用される。第1の端末デバイスのユーザおよび第2の端末デバイスのユーザは、第1の端末デバイスによって共有されたビデオを同時に視聴することができる。以下の説明では、ARメディア処理ネットワーク要素がIMS AGWである例が使用される。

図13を参照されたい。第1の端末デバイスが属するIMS AGW1と第2の端末デバイスが属するIMS AGW2の両方がAR処理能力を有する例が使用される。第1の端末デバイスと第1の端末デバイスが属するIMS AGW1との間に補助データチャネル1が確立されている。第2の端末デバイスと第2の端末デバイスが属するIMS AGW2との間に補助データチャネル2が確立されている。加えて、第1の端末デバイスと第2の端末デバイスとの間にメディアストリームチャネルが確立される。メディアストリームチャネルは、第1の端末デバイスとIMS AGW1との間のメディアストリームチャネル、IMS AGW1とIMS AGW2との間のメディアストリームチャネル、およびIMS AGW2と第2の端末デバイスとの間のメディアストリームチャネルをそれぞれ含む3つのセグメントに分割されると考えられ得る。第1の端末デバイスはAR能力を有する。例えば、第1の端末デバイスは、共有ピクチャで注釈を行う際にユーザをサポートする。区別を容易にするために、第1の端末デバイスのユーザはユーザ1と呼ばれ、第2の端末デバイスのユーザはユーザ2と呼ばれる。

1301．第1の端末デバイスは、メディアストリームチャネルを通してIMS AGW1にメディアストリームを送信する。

1302．第1の端末デバイスは、メディアストリームに対応する表示インターフェース上でユーザ1によって注釈付けすることによって生成されたポーズデータ1を取得し、ポーズデータ1をAR補助データとして補助データチャネル1を通してIMS AGW1に送信する。

1303．IMS AGW1はポーズデータ1に基づいてメディアストリームをレンダリングしてARメディアストリーム1を取得する。

1304a．IMS AGW1はARメディアストリーム1をIMS AGW2に送信する。

1304b．IMS AGW1は第1の端末デバイスにARメディアストリーム1を送信する。

1305．IMS AGW2は、メディアストリームチャネルを通して第2の端末デバイスにARメディアストリーム1を送信する。

したがって、第1の端末デバイスのユーザ1と第2の端末デバイスのユーザ2の両方が、ユーザ1によって注釈付けされた表示インターフェースを見ることができる。

いくつかの実施形態では、第2の端末デバイスもAR能力を有する。例えば、第2の端末デバイスは、共有ピクチャにおいて注釈付けを行う際にユーザをサポートする。

1306．第2の端末デバイスは、メディアストリームに対応する表示インターフェース上でユーザ2によって注釈付けすることによって生成されたポーズデータ2を取得し、ポーズデータ2をAR補助データとして補助データチャネル2を通してIMS AGW2に送信する。

1307．IMS AGW2はポーズデータ2に基づいてメディアストリームをレンダリングしてARメディアストリーム2を取得する。

1308a．IMS AGW2はARメディアストリーム2をIMS AGW1に送信する。

1308b．IMS AGW2は第2の端末デバイスにARメディアストリーム2を送信する。

1309．IMS AGW1は、メディアストリームチャネルを通して第1の端末デバイスにARメディアストリーム2を送信する。したがって、第1の端末デバイスのユーザ1と第2の端末デバイスのユーザ2の両方が、ユーザ2によって注釈付けされた表示インターフェースを見ることができる。

図14を参照されたい。第1の端末デバイスが属するIMS AGW1はAR処理能力を有していないが、第2の端末デバイスが属するIMS AGW2はAR処理能力を有する例が使用される。第1の端末デバイスと第2の端末デバイスが属するIMS AGW2との間に補助データチャネル1が確立されている。第2の端末デバイスと第2の端末デバイスが属するIMS AGW2との間に補助データチャネル2が確立されている。加えて、第1の端末デバイスと第2の端末デバイスとの間にメディアストリームチャネルが確立される。メディアストリームチャネルは、第1の端末デバイスとIMS AGW1との間のメディアストリームチャネル、IMS AGW1とIMS AGW2との間のメディアストリームチャネル、およびIMS AGW2と第2の端末デバイスとの間のメディアストリームチャネルをそれぞれ含む3つのセグメントに分割されると考えられ得る。第1の端末デバイスはAR能力を有する。例えば、第1の端末デバイスは、共有ピクチャで注釈を行う際にユーザをサポートする。区別を容易にするために、第1の端末デバイスのユーザはユーザ1と呼ばれ、第2の端末デバイスのユーザはユーザ2と呼ばれる。

1401．第1の端末デバイスは、メディアストリームチャネルを通してIMS AGW1にメディアストリームを送信する。

1402．第1の端末デバイスは、メディアストリームに対応する表示インターフェース上でユーザ1によって注釈付けすることによって生成されたポーズデータ1を取得し、ポーズデータ1をAR補助データとして補助データチャネル1を通してIMS AGW2に送信する。

1403．IMS AGW2はポーズデータ1に基づいてメディアストリームをレンダリングしてARメディアストリーム1を取得する。

1404a．IMS AGW2は、ARメディアストリーム1を、メディアストリームチャネルを通してIMS AGW1に送信する。

1405．IMS AGW1は、メディアストリームチャネルを通して第1の端末デバイスにARメディアストリーム1を送信する。

1404b．IMS AGW2は第2の端末デバイスにARメディアストリーム1を送信する。

したがって、第1の端末デバイスのユーザ1と第2の端末デバイスのユーザ2の両方が、ユーザ1によって注釈付けされた表示インターフェースを見ることができる。

いくつかの実施形態では、第2の端末デバイスもAR能力を有する。例えば、第2の端末デバイスは、共有ピクチャにおいて注釈付けを行う際にユーザをサポートする。

1406．第2の端末デバイスは、メディアストリームに対応する表示インターフェース上でユーザ2によって注釈付けすることによって生成されたポーズデータ2を取得し、ポーズデータ2をAR補助データとして補助データチャネル2を通してIMS AGW2に送信する。

1407．IMS AGW2はポーズデータ2に基づいてメディアストリームをレンダリングしてARメディアストリーム2を取得する。

1408a．IMS AGW2はARメディアストリーム2をIMS AGW1に送信する。

1408b．IMS AGW2は第2の端末デバイスにARメディアストリーム2を送信する。

1409．IMS AGW1は、メディアストリームチャネルを通して第1の端末デバイスにARメディアストリーム2を送信する。したがって、第1の端末デバイスのユーザ1と第2の端末デバイスのユーザ2の両方が、ユーザ2によって注釈付けされた表示インターフェースを見ることができる。

以下では、実施形態を参照して、本出願の実施形態におけるターゲットオブジェクトを取得する手順を説明する。

図15は、本出願の一実施形態による可能なターゲットオブジェクトを取得する概略フローチャートである。

1501．第1の端末デバイスは、第1の端末デバイスと第2の端末デバイスとの間のAR通信のプロセスにおいて、補助データチャネルを通してARメディア処理ネットワーク要素に第1のAR補助データを送信する。第1のAR補助データは、AR通信で使用される必要があるターゲットオブジェクトに関する情報を含む。本明細書で言及されるARメディア処理ネットワーク要素は、AR処理能力を有するIMSアクセスゲートウェイまたはMRFである。補助データチャネルは、ARメディア処理ネットワーク要素と第1の端末デバイスとの間に確立されることが理解され得る。ARメディア処理ネットワーク要素は、第1の端末デバイスが属するIMSネットワーク、すなわち、第1の端末デバイスに対応するIMS AGWまたはMRFに位置され得る。ARメディア処理ネットワーク要素は、第2の端末デバイスが属するIMSネットワーク、すなわち、第2の端末デバイスに対応するIMS AGWまたはMRFに位置され得る。

1502．補助データチャネルを通して第1の端末デバイスから第1のAR補助データを受信すると、ARメディア処理ネットワーク要素は、第1のAR補助データに基づいてサードパーティサーバからターゲットオブジェクトを取得する。ターゲットオブジェクトは、第1の端末デバイスと第2の端末デバイスとの間のAR通信のメディアストリームを拡張するためのものであることが理解され得る。

例えば、いくつかのアプリケーションシナリオでは、仮想オブジェクト、例えば2D／3Dオブジェクトが使用される必要がある。端末デバイスは、通常、大量の2D／3Dオブジェクトを記憶する能力を有していない。したがって、前述の方式では、端末デバイスのユーザの要件は、補助データチャネルを通して受信され得、2D／3Dオブジェクトは、サードパーティサーバから取得され得る。

例えば、いくつかのアプリケーションシナリオでは、前景オブジェクトによって必要とされる現実の背景ピクチャが固定されるときに、端末デバイス側のアップリンク帯域幅に対する圧力を低減するために、ARメディア処理ネットワーク要素は、前景および背景ピクチャをレンダリングし得る。この場合、端末デバイスは、補助データチャネルを通してARメディア処理ネットワーク要素に現実の背景画像の要件情報を送信し得、その結果、ARメディア処理ネットワーク要素は要件情報に基づいてサードパーティサーバから現実の背景画像を取得する。このようにして、端末デバイスによって送信された現実の背景画像および前景メディアストリームがレンダリングされ、次いで端末デバイスに送信される。

1つの可能な実装形態では、ARメディア処理ネットワーク要素はASのアドレス情報を事前に取得し、その結果、ターゲットオブジェクトを取得するとき、ARメディア処理ネットワーク要素はASを通してサードパーティサーバからターゲットオブジェクトを取得する。具体的な取得方式については、前述の説明を参照されたい。本明細書では詳細は再び説明されない。

別の可能な実装形態では、ARメディア処理ネットワーク要素は、サードパーティサーバのアドレス情報を事前に取得し、その結果、ターゲットオブジェクトを取得するとき、ARメディア処理ネットワーク要素は、サードパーティサーバのアドレス情報に基づいてサードパーティサーバからターゲットオブジェクトを直接取得し得る。

以下では、特定の実施形態を参照して、仮想オブジェクトを取得する手順を説明する。図16および図17を参照されたい。

図16に示されるように、ARメディア処理ネットワーク要素がASを通してサードパーティサーバから仮想オブジェクトを取得する例が使用される。ARメディア処理ネットワーク要素はIMS AGWまたはMRF（IMS AGW／MRF）である。呼ピアの第1の端末デバイスまたは第2の端末デバイスはIMS AGWに属し得る。呼ピアの第1の端末デバイスまたは第2の端末デバイスはMRFに属し得る。

1601．第1の端末デバイスは、補助データチャネル、例えば仮想オブジェクトの識別子または仮想オブジェクトのタイプを通してIMS AGW／MRFに仮想オブジェクトに関する情報を送信する。

1602．仮想オブジェクトに関する情報を受信すると、IMS AGW／MRFはアプリケーションサーバに要求メッセージ1を送信し、要求メッセージ1は仮想オブジェクトに関する情報を含む。仮想オブジェクトのタイプが一例として使用される。例えば、要求メッセージ1はHTTPメッセージタイプであってもよい。もちろん、要求メッセージ1は、代替として別のメッセージタイプであってもよい。これは本出願では限定されない。例えば、要求メッセージ1は、HTTP要求（request、req）メッセージ1であってもよい。例えば、要求メッセージ1は、端末デバイスの識別子を含む。

1603．アプリケーションサーバは、要求メッセージ1を受信し、第1の端末デバイスが仮想オブジェクトを要求する必要があると決定したとき、要求メッセージ1をサードパーティサーバに転送する。例えば、アプリケーションサーバは、要求メッセージ1から端末デバイスの識別子を抽出し、端末デバイスの識別子に基づいて、端末デバイスによって確立されたセッション識別子を決定し得る。アプリケーションサーバは、サードパーティサーバから仮想オブジェクトを取得するため、セッション識別子に基づいてサードパーティサーバへの通信接続、例えばHTTP接続を確立し、サードパーティサーバに要求メッセージ1を転送し得る。第1の端末デバイスのセッション識別子は、サードパーティサーバに転送された要求メッセージ1に追加され得る。

1604．サードパーティサーバは、要求メッセージ1を受信し、仮想オブジェクトのタイプに基づいて、仮想オブジェクトのタイプを満たす複数の仮想オブジェクト識別子を取得する。仮想オブジェクトリストが複数の仮想オブジェクト識別子を含む例が使用される。もちろん、複数の仮想オブジェクト識別子は、別の形態で代替として送信されてもよい。これは本出願では具体的には限定されない。サードパーティサーバは、応答メッセージ1をアプリケーションサーバに送信する。応答メッセージ1は、仮想オブジェクトリストを含んでもよい。応答メッセージ1は、HTTPメッセージタイプであってもよい。例えば、応答メッセージ1は、HTTP応答（response、resp）メッセージ1であってもよい。例えば、応答メッセージ1は、セッション識別子を含む。

1605．アプリケーションサーバは応答メッセージ1をIMS AGW／MRFに転送する。アプリケーションサーバは、応答メッセージ1におけるセッション識別子に基づいて端末デバイスの識別子を決定し、IMS AGW／MRFに転送された応答メッセージ1に第1の端末デバイスの識別子を追加する。

1606．IMS AGW／MRFはアプリケーションサーバからの応答メッセージ1から仮想オブジェクトリストを取得し、仮想オブジェクトリストを補助データチャネルを通して第1の端末デバイスに送信する。任意選択で、仮想オブジェクトリストを取得した後、IMS AGW／MRFは仮想オブジェクトリストを記憶する。仮想オブジェクトリストに対応する仮想オブジェクトに関する情報が補助データチャネルを通して後で受信されると、仮想オブジェクトリストは、サードパーティサーバからそれ以上取得されなくてもよい。ステップ1602において、IMS AGW／MRFが、IMS AGW／MRFが仮想オブジェクトに関する情報に対応する仮想オブジェクトリストを記憶していると決定したとき、仮想オブジェクトリストを取得する後続のステップはそれ以上実行されなくてよいことが理解され得る。

1607．第1の端末デバイスは、補助データチャネルを通して第1の仮想オブジェクト識別子をIMS AGW／MRFに送信する。第1の仮想オブジェクト識別子は、仮想オブジェクトリストにおける1つである。

1608．第1の仮想オブジェクト識別子を受信すると、IMS AGW／MRFはアプリケーションサーバに要求メッセージ2を送信し、要求メッセージ2は第1の仮想オブジェクト識別子を含む。例えば、要求メッセージ2はHTTPメッセージタイプであってもよい。例えば、要求メッセージ2は、HTTP要求（request、req）メッセージ2であってもよい。

1609．アプリケーションサーバは、要求メッセージ2を受信し、要求メッセージ2をサードパーティサーバに転送する。

1610．サードパーティサーバは、要求メッセージ2を受信し、第1の仮想オブジェクト識別子に対応する第1の仮想オブジェクトを取得する。サードパーティサーバは、応答メッセージ2をアプリケーションサーバに送信する。応答メッセージ2は、第1の仮想オブジェクトを含んでもよい。応答メッセージ2は、HTTPメッセージタイプであってもよい。例えば、応答メッセージ2は、HTTP応答（response、resp）メッセージ2であってもよい。

1611．アプリケーションサーバは応答メッセージ2をIMS AGW／MRFに転送する。

1612．IMS AGW／MRFは応答メッセージ2から第1の仮想オブジェクトを取得し、第1の仮想オブジェクトを補助データチャネルを通して第1の端末デバイスに送信する。

図17に示されるように、ARメディア処理ネットワーク要素がサードパーティサーバから仮想オブジェクトを直接取得する例が使用される。ARメディア処理ネットワーク要素はIMS AGWまたはMRF（IMS AGW／MRF）である。呼ピアの第1の端末デバイスまたは第2の端末デバイスはIMS AGWに属し得る。呼ピアの第1の端末デバイスまたは第2の端末デバイスはMRFに属し得る。

1701．第1の端末デバイスは、補助データチャネル、例えば仮想オブジェクトの識別子または仮想オブジェクトのタイプを通してIMS AGW／MRFに仮想オブジェクトに関する情報を送信する。

1702．仮想オブジェクトに関する情報を受信すると、IMS AGW／MRFはサードパーティサーバに要求メッセージ11を送信する。要求メッセージ11は、仮想オブジェクトに関する情報を含み得る。

1703．サードパーティサーバは、要求メッセージ11を受信し、仮想オブジェクトのタイプに基づいて、仮想オブジェクトのタイプを満たす複数の仮想オブジェクト識別子を取得する。仮想オブジェクトリストが複数の仮想オブジェクト識別子を含む例が使用される。もちろん、複数の仮想オブジェクト識別子は、別の形態で代替として送信されてもよい。これは本出願では具体的には限定されない。サードパーティサーバは、応答メッセージ11をIMS AGW／MRFに送信する。応答メッセージ11は、仮想オブジェクトリストを含んでもよい。応答メッセージ11は、HTTPメッセージタイプであってもよい。例えば、応答メッセージ11は、HTTP応答（response、resp）メッセージ11であってもよい。

1704．IMS AGW／MRFは応答メッセージ11から仮想オブジェクトを取得し、仮想オブジェクトリストを補助データチャネルを通して第1の端末デバイスに送信する。任意選択で、仮想オブジェクトリストを取得した後、IMS AGW／MRFは仮想オブジェクトリストを記憶する。仮想オブジェクトリストに対応する仮想オブジェクトに関する情報が補助データチャネルを通して後で受信されると、仮想オブジェクトリストは、サードパーティサーバからそれ以上取得されなくてもよい。ステップ1702において、IMS AGW／MRFが、IMS AGW／MRFが仮想オブジェクトに関する情報に対応する仮想オブジェクトリストを記憶していると決定したとき、仮想オブジェクトリストを取得する後続のステップはそれ以上実行されなくてよいことが理解され得る。

1705．第1の端末デバイスは、補助データチャネルを通して第1の仮想オブジェクト識別子をIMS AGW／MRFに送信する。第1の仮想オブジェクト識別子は、仮想オブジェクトリストにおける1つである。

1706．第1の仮想オブジェクト識別子を受信すると、IMS AGW／MRFはサードパーティサーバに要求メッセージ12を送信する。

1707 サードパーティサーバは、要求メッセージ12を受信し、第1の仮想オブジェクト識別子に対応する第1の仮想オブジェクトを取得する。サードパーティサーバは、応答メッセージ12をIMS AGW／MRFに送信する。応答メッセージ12は、第1の仮想オブジェクトを含んでもよい。応答メッセージ12は、HTTPメッセージタイプであってもよい。例えば、応答メッセージ12は、HTTP応答（response、resp）メッセージ12であってもよい。

1708．IMS AGW／MRFは応答メッセージ12から第1の仮想オブジェクトを取得し、第1の仮想オブジェクトを補助データチャネルを通して第1の端末デバイスに送信する。

以下では、特定の実施形態を参照して、現実の背景オブジェクトを取得して使用するメディア拡張手順について説明する。図18および図19を参照されたい。

図18に示されるように、ARメディア処理ネットワーク要素がASを通してサードパーティサーバから現実の背景オブジェクトを取得する例が使用される。ARメディア処理ネットワーク要素はIMS AGWまたはMRF（IMS AGW／MRF）である。呼ピアの第1の端末デバイスまたは第2の端末デバイスはIMS AGWに属し得る。呼ピアの第1の端末デバイスまたは第2の端末デバイスはMRFに属し得る。

1801．第1の端末デバイスは、補助データチャネル、例えば現実の背景オブジェクトの識別子または現実の背景オブジェクトの地理的位置を通して、現実の背景オブジェクトに関する情報をIMS AGW／MRFに送信する。

1802．第1の端末デバイスは、第1の端末デバイスによって生成されたメディアストリーム1を、メディアストリームチャネルを通してIMS AGW／MRFに送信する。

1803．現実の背景オブジェクトに関する情報を受信すると、IMS AGW／MRFはアプリケーションサーバに要求メッセージ21を送信し、要求メッセージ21は現実の背景オブジェクトに関する情報を含む。一例として、現実の背景オブジェクトの地理的位置が使用される。例えば、要求メッセージ21はHTTPメッセージタイプであってもよい。もちろん、要求メッセージ21は、代替として別のメッセージタイプであってもよい。これは本出願では限定されない。例えば、要求メッセージ21は、HTTP要求（request、req）メッセージ21であってもよい。

1804．アプリケーションサーバは、要求メッセージ21を受信し、第1の端末デバイスが現実の背景オブジェクトを要求する必要があると決定したとき、要求メッセージ21をサードパーティサーバに転送する。

1805．サードパーティサーバは、要求メッセージ21を受信し、現実の背景オブジェクトの地理的位置に基づいて現実の背景オブジェクトを取得する。サードパーティサーバは、応答メッセージ21をアプリケーションサーバに送信する。応答メッセージ21は、現実の背景オブジェクトリストを含んでもよい。応答メッセージ21は、HTTPメッセージタイプであってもよい。例えば、応答メッセージ21は、HTTP応答（response、resp）メッセージ21であってもよい。

1806．アプリケーションサーバは応答メッセージ21をIMS AGW／MRFに転送する。

1807．IMS AGW／MRFは応答メッセージ21から現実の背景オブジェクトを取得し、現実の背景オブジェクトをメディアストリーム1にレンダリングしてARメディアストリーム2を取得する。

1808．IMS AGW／MRFは、メディアストリームチャネルを通して第1の端末デバイスにARメディアストリーム2を送信する。

図19に示されるように、ARメディア処理ネットワーク要素がサードパーティサーバから現実の背景オブジェクトを直接取得する例が使用される。ARメディア処理ネットワーク要素はIMS AGWまたはMRF（IMS AGW／MRF）である。呼ピアの第1の端末デバイスまたは第2の端末デバイスはIMS AGWに属し得る。呼ピアの第1の端末デバイスまたは第2の端末デバイスはMRFに属し得る。

1901．第1の端末デバイスは、補助データチャネル、例えば現実の背景オブジェクトの識別子または現実の背景オブジェクトの地理的位置を通して、現実の背景オブジェクトに関する情報をIMS AGW／MRFに送信する。

1902．第1の端末デバイスは、第1の端末デバイスによって生成されたメディアストリーム1を、メディアストリームチャネルを通してIMS AGW／MRFに送信する。

1903．現実の背景オブジェクトに関する情報を受信すると、IMS AGW／MRFはサードパーティサーバに要求メッセージ22を送信し、要求メッセージ22は現実の背景オブジェクトに関する情報を含む。一例として、現実の背景オブジェクトの地理的位置が使用される。例えば、要求メッセージ22はHTTPメッセージタイプであってもよい。もちろん、要求メッセージ22は、代替として別のメッセージタイプであってもよい。これは本出願では限定されない。例えば、要求メッセージ22は、HTTP要求（request、req）メッセージ22であってもよい。

1904．サードパーティサーバは、要求メッセージ22を受信し、現実の背景オブジェクトの地理的位置に基づいて現実の背景オブジェクトを取得する。サードパーティサーバは、応答メッセージ22をIMS AGW／MRFに送信する。応答メッセージ22は、現実の背景オブジェクトリストを含んでもよい。応答メッセージ22は、HTTPメッセージタイプであってもよい。例えば、応答メッセージ22は、HTTP応答（response、resp）メッセージ22であってもよい。

1905．IMS AGW／MRFは応答メッセージ22から現実の背景オブジェクトを取得し、現実の背景オブジェクトをメディアストリーム1にレンダリングしてARメディアストリーム2を取得する。

1906．IMS AGW／MRFは、メディアストリームチャネルを通して第1の端末デバイスにARメディアストリーム2を送信する。

方法実施形態と同じ発明概念に基づいて、本出願の一実施形態は、前述の方法実施形態におけるARメディア処理ネットワーク要素によって実行される方法を実装するように特に構成された装置を提供する。装置の構造は図20に示されており、受信ユニット2001、送信ユニット2002、および処理ユニット2003を含む。

受信ユニット2001は、第1の端末デバイスと第2の端末デバイスとの間のAR通信のプロセスにおいて補助データチャネルを通して第1の端末デバイスから第1のAR補助データを受信するように構成され、第1のAR補助データは、AR通信で使用される必要があるターゲットオブジェクトに関する情報を含む。

処理ユニット2003は、第1のAR補助データに基づいてサードパーティサーバからターゲットオブジェクトを取得するように構成され、ターゲットオブジェクトは、第1の端末デバイスと第2の端末デバイスとの間のAR通信のメディアストリームを拡張するためのものである。処理ユニット2003は、受信ユニット2001および送信ユニット2002を使用して、第1のAR補助データに基づいてサードパーティサーバからターゲットオブジェクトを取得し得る。

1つの可能な実装形態では、ARメディア処理ネットワーク要素は、AR処理能力を有するインターネット・プロトコル・マルチメディア・サブシステムIMSアクセスゲートウェイまたはメディアリソース機能MRFである。

1つの可能な実装形態では、ターゲットオブジェクトは仮想オブジェクトまたは仮想オブジェクトの識別子である。送信ユニット2002は、補助データチャネルを通して第1の端末デバイスに仮想オブジェクトまたは仮想オブジェクトの識別子を送信するように構成される。

1つの可能な実装形態では、ターゲットオブジェクトは現実の背景オブジェクトである。受信ユニット2001は、メディアデータチャネルを通して、AR通信中に生成され、第1の端末デバイスによって送信されたメディアストリームを受信する。処理ユニット2003は、現実の背景オブジェクトおよびメディアストリームをレンダリングおよび合成して、ARメディアストリームを取得する。送信ユニット2002は、メディアデータチャネルを通して第1の端末デバイスにARメディアストリームを送信する。

1つの可能な実装形態では、送信ユニット2002は、アプリケーションサーバを通してサードパーティサーバに第1の要求メッセージを送信し、第1の要求メッセージは、ターゲットオブジェクトを要求するためのものである。受信ユニット2001は、アプリケーションサーバを通してサードパーティサーバによって転送された第1の応答メッセージを受信し、第1の応答メッセージは、ターゲットオブジェクトを含む。

1つの可能な実装形態では、受信ユニット2001は、第1の端末デバイスとARメディア処理ネットワーク要素との間に補助データチャネルを確立する手順において、サードパーティサーバのアドレスを取得する。送信ユニット2002は、サードパーティサーバのアドレスに基づいて第1の要求メッセージをサードパーティサーバに送信する。

1つの可能な実装形態では、ARメディア処理ネットワーク要素は、第1の端末デバイスが属する（または第1の端末デバイスが位置される）IMSネットワーク内に位置されるか、または第2の端末デバイスが属する（または第2の端末デバイスが位置される）IMSネットワークに位置される。

方法実施形態と同じ発明概念に基づいて、本出願の一実施形態は、前述の方法実施形態におけるアプリケーションサーバによって実行される方法を実装するように特に構成された装置を提供する。装置の構造は図21に示されており、受信ユニット2101、送信ユニット2102、および処理ユニット2103を含む。

受信ユニット2101は、第1の端末デバイスと第2の端末デバイスとの間のAR通信のプロセスにおいてARメディア処理ネットワーク要素から第1の要求メッセージを受信し、第1の要求メッセージは、第1の端末デバイスのユーザによって選択されたターゲットオブジェクトを要求するためのものである。送信ユニット2102は、第1の要求メッセージをサードパーティサーバに転送する。アプリケーションサーバは、サードパーティサーバによって送信された第1の応答メッセージを受信し、第1の応答メッセージはターゲットオブジェクトを含む。アプリケーションサーバは、第1の応答メッセージをARメディア処理ネットワーク要素に転送する。

1つの可能な設計では、第1の要求メッセージは第1の端末デバイスの識別子を含む。処理ユニット2103は、第1の端末デバイスの識別子に基づいて第1の端末デバイスと第2の端末デバイスとの間のAR通信のセッション識別子を決定し、セッション識別子に基づいてサードパーティサーバへの通信接続、例えばhttp接続を確立する。このようにして、送信ユニット2102は、通信接続を通してサードパーティサーバに第1の要求メッセージを転送する。

1つの可能な設計では、第1の端末デバイスと第2の端末デバイスとの間のAR通信を確立するプロセスにおいて、受信ユニット2101は、AR通信のセッション識別子および第1の端末デバイスの識別子を取得する。記憶ユニット（図示せず）がさらに含まれてもよく、セッション識別子と第1の端末デバイスの識別子との間の関連付け関係を記憶するように構成される。例えば、セッション識別子はARセッションとしてマークされる。

1つの可能な設計では、ARメディア処理ネットワーク要素は、AR処理能力を有するインターネット・プロトコル・マルチメディア・サブシステムIMSアクセスゲートウェイまたはメディアリソース機能MRFネットワーク要素である。

1つの可能な設計では、ターゲットオブジェクトは仮想オブジェクトまたは現実の背景オブジェクトである。

1つの可能な設計では、アプリケーションサーバは、サードパーティサーバのアドレスを用いて構成される。送信ユニット2102は、サードパーティサーバによって提供されたアドレスに基づいて第1の要求メッセージをサードパーティサーバに転送する。

1つの可能な設計では、送信ユニット2102は、第1の端末デバイスとARメディア処理ネットワーク要素との間に補助データチャネルを確立する手順において、サードパーティサーバのアドレスをARメディア処理ネットワーク要素に送信する。

1つの可能な設計では、ARメディア処理ネットワーク要素は、第1の端末デバイスが属する（または第1の端末デバイスが位置される）IMSネットワーク内に位置されるか、または第2の端末デバイスが属する（または第2の端末デバイスが位置される）IMSネットワークに位置される。

本出願の実施形態におけるユニットへの分割は一例であり、単なる論理的な機能分割であり、実際の実装形態時には他の分割であってもよい。加えて、本出願の実施形態における機能ユニットが、1つのプロセッサに組み込まれてもよいし、あるいは、ユニットの各々が、物理的に単独で存在してもよく、または2つ以上のユニットが1つのユニットに組み込まれてもよい。統合ユニットは、ハードウェアの形態で実装されてもよく、またはソフトウェア機能ユニットの形態で実装されてもよい。

統合ユニットがソフトウェア機能ユニットの形態で実装され、独立した製品として販売または使用される場合、統合ユニットはコンピュータ可読記憶媒体に記憶されてよい。かかる理解に基づいて、本出願の技術的解決策は本質的に、または従来技術に寄与する部分は、または技術的解決策の全部もしくは一部は、ソフトウェア製品の形態で実装され得る。コンピュータソフトウェア製品は、記憶媒体に記憶され、本出願の実施形態における方法のステップの全部または一部を実行するように端末デバイス（パーソナルコンピュータ、携帯電話、またはネットワークデバイスであってもよい）またはプロセッサ（processor）に命令するためのいくつかの命令を含む。前述の記憶媒体は、USBフラッシュドライブ、リムーバブルハードディスク、読み出し専用メモリ（read－only memory，ROM）、ランダムアクセスメモリ（random access memory，RAM）、磁気ディスク、または光ディスクなどのプログラムコードを記憶することができる任意の媒体を含む。

本出願の実施形態では、ARメディア処理ネットワーク要素、アプリケーションサーバ、IMSコアネットワーク要素、および端末デバイスは、統合された方式で分割された機能モジュールの形態で提示され得る。本明細書における「モジュール」は、特定のASIC、回路、1つもしくは複数のソフトウェアプログラムもしくはファームウェアプログラムを実行するプロセッサおよびメモリ、論理集積回路、ならびに／または前述の機能を提供できる別の構成要素であり得る。

1つの単純な実施形態では、ARメディア処理ネットワーク要素、アプリケーションサーバ、IMSコアネットワーク要素、および端末デバイスは、図22に示される形態であってもよい。

図22に示される装置2200は、少なくとも1つのプロセッサ2201および通信インターフェース2202を含む。任意選択で、メモリ2203がさらに含まれてもよい。

1つの可能な実装形態では、ARメディア処理ネットワーク要素が図22に示された形態であるとき、図22のプロセッサ2201は、メモリ2203に記憶されたコンピュータ実行可能命令を呼び出し得、その結果、ARメディア処理ネットワーク要素は、前述の方法実施形態のいずれかにおいてARメディア処理ネットワーク要素によって実行される方法を実行し得る。

プロセッサ2201は、通信インターフェース2202を通して別のデバイスと通信してもよい。例えば、プロセッサ2201は、通信インターフェース2202を通して、IMSコアネットワーク要素によって送信された要求メッセージを受信し、応答メッセージをIMSコアネットワーク要素に送信する。

具体的には、メモリ2203は、図20の送信ユニット、受信ユニット、および処理ユニットの機能を実装するためのコンピュータ実行可能命令を記憶する。図20の送信ユニット、受信ユニット、および処理ユニットの機能／実装プロセスは、通信インターフェース2202と組み合わせてメモリ2203に記憶されたコンピュータ実行可能命令を呼び出すことによって、図22のプロセッサ2201によって実装され得る。

別の可能な実装形態では、IMSコアネットワーク要素が図22に示された形態であるとき、図22のプロセッサ2201は、メモリ2203に記憶されたコンピュータ実行可能命令を呼び出し得、その結果、IMSコアネットワーク要素は、前述の方法実施形態のいずれかにおいてIMSコアネットワーク要素（IMS AGW1、IMS AGW2、MRF1、またはMRF2）によって実行される方法を実行し得る。

プロセッサ2201は、通信インターフェース2202を通して別のデバイスと通信してもよい。例えば、プロセッサ2201は、通信インターフェース2202を通して、ARメディア処理ネットワーク要素によって送信されたメッセージを受信し、ARメディア処理ネットワーク要素にメッセージを送信する。

別の可能な実装形態では、端末デバイスが図22に示された形態であるとき、図22のプロセッサ2201は、メモリ2203に記憶されたコンピュータ実行可能命令を呼び出し得、その結果、端末デバイスは、前述の方法実施形態のいずれかにおいて第1の端末デバイスまたは第2の端末デバイスによって実行される方法を実行し得る。

プロセッサ2201は、通信インターフェース2202を通して別のデバイスと通信してもよい。例えば、プロセッサ2201は、通信インターフェース2202を通して、ARメディア処理ネットワーク要素によって送信された拡張メディアストリームなどを受信し、AR補助データ、メディアストリームなどをARメディア処理ネットワーク要素に送信する。

別の可能な実装形態では、アプリケーションサーバが図22に示された形態であるとき、図22のプロセッサ2201は、メモリ2203に記憶されたコンピュータ実行可能命令を呼び出し得、その結果、アプリケーションサーバは、前述の方法実施形態のいずれかにおいてASによって実行される方法を実行し得る。

プロセッサ2201は、通信インターフェース2202を通して別のデバイスと通信してもよい。例えば、プロセッサ2201は、通信インターフェース2202を通して、ARメディア処理ネットワーク要素によって送信されたメッセージなどを受信し、ARメディア処理ネットワーク要素にメッセージなどを送信する。

具体的には、メモリ2203は、図21の送信ユニット、受信ユニット、および処理ユニットの機能を実装するためのコンピュータ実行可能命令を記憶する。図21の送信ユニット、受信ユニット、および処理ユニットの機能／実装プロセスは、通信インターフェース2202と組み合わせてメモリ2203に記憶されたコンピュータ実行可能命令を呼び出すことによって、図22のプロセッサ2201によって実装され得る。

プロセッサ2201とメモリ2203との間の具体的な接続媒体は、本出願のこの実施形態において限定されない。本出願のこの実施形態では、メモリ2203は、図中のバス2204を通してプロセッサ2201に接続される。バス2204は、図中に太線で表されている。他の構成要素間の接続方式は、説明のための例にすぎず、それに限定されない。バス2204は、アドレスバス、データバス、制御バスなどに分類され得る。表現を容易にするため、1本の太線のみが図22の表現のためにあるが、これは、1本のバスしかないことを、または1つのタイプのバスしかないことを、意味しない。

前述の実施形態に基づいて、本出願の一実施形態は、コンピュータ記憶媒体をさらに提供する。記憶媒体は、ソフトウェアプログラムを記憶する。ソフトウェアプログラムが1つまたは複数のプロセッサによって読み出され実行されると、前述の実施形態のいずれか1つまたは複数によって提供されるサービスプラットフォームまたはエッジコンピューティングデバイスによって実行される方法が実装され得る。コンピュータ記憶媒体は、USBフラッシュドライブ、リムーバブルハードディスク、読み出し専用メモリ、ランダムアクセスメモリ、磁気ディスク、または光ディスクなど、プログラムコードを記憶し得る任意の媒体を含み得る。

前述の実施形態に基づいて、本出願の一実施形態は、チップをさらに提供する。チップは、前述の実施形態のいずれか1つまたは複数におけるARメディアサーバの機能または端末デバイスもしくはアプリケーションサーバの機能を実装するように構成された、プロセッサを含む。任意選択で、チップは、メモリをさらに含み、メモリは、プロセッサによって実行される必要なプログラム命令およびデータを記憶するように構成される。チップは、チップを含んでもよく、またはチップと、他の個別デバイスと、を含んでもよい。

本明細書全体で言及されている「一実施形態」、「1つの実装形態」、または「一例」は、実施形態に関連される特定の特徴、構造、または特性が本出願の少なくとも1つの実施形態に含まれることを意味することが理解されることができる。したがって、本明細書全体を通して現れる「一実施形態では」、「1つの実装形態では」、または「一例では」は、必ずしも同じ実施形態を指すとは限らない。加えて、これらの特定の特徴、構造、または特性は、1つまたは複数の実施形態で何らかの適切な方式で組み合わされてもよい。前述のプロセスの順序番号は、本出願の実施形態における実行順序を意味しないことが理解されることができる。プロセスの実行順序は、プロセスの機能と内部ロジックとに基づいて決定されるべきであり、本出願の実施形態の実装プロセスの限定を構成するべきではない。

加えて、「システム」および「ネットワーク」という用語は、この明細書において置き換え可能に、通常、使用される。本明細書における「および／または」という用語は、関連付けられるオブジェクトを説明するための関連関係のみを説明し、3つの関係が存在し得ることを表す。例えば、Aおよび／またはBは、以下の3つの場合を、すなわちAのみが存在する場合と、AおよびBの両方が存在する場合と、Bのみが存在する場合とを、表し得る。加えて、本明細書における記号「／」は、通常、関連付けられるオブジェクト間の「または」関係を示す。本出願における「少なくとも1つ」という用語は、1つまたは複数を意味し、すなわち、1つ、2つ、3つ、またはそれ以上を含み、「複数の」という用語は、2つ以上を意味し、すなわち、2つ、3つ、またはそれ以上を含む。加えて、本出願の説明において、「第1」および「第2」などの用語は単に差別化および説明のために使用され、相対的な重要性を示すまたは暗示するものとして理解されるべきではなく、順序を示すまたは暗示するものとして理解されるべきではない。「以下の項目（個）うちの少なくとも1つ」という用語またはそれに類似する表現は、単一の項目（個）または複数の項目（個）の任意の組み合わせを含む、これらの項目の任意の組み合わせを示す。例えば、a、b、またはcのうちの少なくとも1つの項目（個）は、a、b、c、aおよびb、aおよびc、bおよびc、またはa、b、およびcを示し得、a、b、およびcは単数であっても複数であってもよい。本出願の実施形態において、「Aに対応するB」は、BがAに関連付けられ、BがAにより決定され得ることを示すことが理解されることができる。しかしながら、Aに基づいてBを決定することは、BがAのみに基づいて決定されることを意味しないことがさらに理解されることができる。Bは、Aおよび／または他の情報に基づいて、代替として決定され得る。加えて、本出願の実施形態、特許請求の範囲、および添付の図面における「含む（include）」および「有する（have）」という用語は排他的ではない。例えば、一連のステップまたはモジュールを含むプロセス、方法、システム、製品、またはデバイスは、列挙されたステップまたはモジュールに限定されず、列挙されていないステップまたはモジュールをさらに含んでもよい。

本出願の実施形態におけるプロセッサは、中央処理ユニット（central processing unit、CPU）であってもよく、または別の汎用プロセッサ、デジタル信号プロセッサ（digital signal processor、DSP）、特定用途向け集積回路（application specific integrated circuit、ASIC）、フィールドプログラマブルゲートアレイ（field programmable gate array、FPGA）もしくは別のプログラマブルロジックデバイス、トランジスタ論理デバイス、ハードウェア構成要素、もしくはそれらの任意の組み合わせであってもよいことが理解され得る。汎用プロセッサは、マイクロプロセッサまたは任意の通常のプロセッサであってもよい。

本出願の実施形態における方法ステップは、ハードウェア方式で実装されてもよく、またはプロセッサによってソフトウェア命令を実行する方式で実装されてもよい。ソフトウェア命令は、対応するソフトウェアモジュールを含んでもよい。ソフトウェアモジュールは、ランダムアクセスメモリ（random access memory、RAM）、フラッシュメモリ、読み出し専用メモリ（Read－Only Memory、ROM）、プログラマブル読み出し専用メモリ（programmable ROM、PROM）、消去可能プログラマブル読み出し専用メモリ（erasable PROM、EPROM）、電気的消去可能プログラマブル読み出し専用メモリ（electrically EPROM、EEPROM）、レジスタ、ハードディスク、リムーバブルハードディスク、CD－ROM、または当技術分野で周知の任意の他の形態の記憶媒体に記憶され得る。例えば、プロセッサが記憶媒体から情報を読み出すことができ、記憶媒体に情報を書き込むことができるように、記憶媒体はプロセッサに結合される。もちろん、記憶媒体はプロセッサの構成要素であってもよい。プロセッサおよび記憶媒体はASICに配置されてもよい。加えて、ASICは、ネットワークデバイスまたは端末デバイスに配置されてもよい。もちろん、プロセッサおよび記憶媒体は、ネットワークデバイスまたは端末デバイス内に個別の構成要素として存在してもよい。

前述の実施形態の全部または一部は、ソフトウェア、ハードウェア、ファームウェア、またはこれらの任意の組み合わせによって実装されてもよい。実施形態を実装するためにソフトウェアが使用される場合、実施形態の全部または一部がコンピュータプログラム製品の形態で実装されてもよい。コンピュータプログラム製品は、1つまたは複数のコンピュータプログラムまたは命令を含む。コンピュータプログラムまたは命令がコンピュータにロードされて実行されると、本出願の実施形態による手順または機能が完全にまたは部分的に実行される。コンピュータは、汎用コンピュータ、専用コンピュータ、コンピュータネットワーク、または他のプログラマブル装置であってもよい。コンピュータプログラムまたは命令は、コンピュータ可読記憶媒体に記憶されてもよく、またはコンピュータ可読記憶媒体を使用することによって伝送されてもよい。コンピュータ可読記憶媒体は、コンピュータによってアクセス可能な任意の使用可能な媒体、または1つもしくは複数の使用可能なメディアを統合するサーバなどのデータ記憶デバイスであってもよい。使用可能媒体は、磁気媒体、例えば、フロッピーディスク、ハードディスク、もしくは磁気テープであってよく、光学媒体、例えば、DVDであってよく、または半導体媒体、例えば、ソリッドステートディスク（solid state disk、SSD）であってよい。

本出願の様々な実施形態では、特に明記しない限り、または論理的な矛盾がない限り、異なる実施形態間の用語および／または説明は一貫しており、相互に参照されてもよく、異なる実施形態の技術的特徴は、その内部論理的関係に基づいて組み合わされ、新しい実施形態を形成してもよい。

2001、2101 受信ユニット
2002、2102 送信ユニット
2003、2103 処理ユニット
2200 装置
2201 プロセッサ
2202 通信インターフェース
2203 メモリ
2204 バス

Claims (17)

1. 拡張現実（AR）通信方法であって、
   ARメディア処理ネットワーク要素によって、第1の端末デバイスと第2の端末デバイスとの間のAR通信のプロセスにおいて補助データチャネルを通して前記第1の端末デバイスから第1のAR補助データを受信するステップであって、前記第1のAR補助データが、前記AR通信で使用される必要があるターゲットオブジェクトに関する情報を含む、ステップと、
   前記ARメディア処理ネットワーク要素によって、前記補助データチャネルを通して前記第1の端末デバイスから受信した前記第1のAR補助データに基づいてサードパーティサーバから前記ターゲットオブジェクトを取得するステップであって、前記ターゲットオブジェクトが、前記第1の端末デバイスと前記第2の端末デバイスとの間の前記AR通信のメディアストリームを拡張するためのものである、ステップ
   を含む、拡張現実（AR）通信方法。
2. 前記ARメディア処理ネットワーク要素は、AR処理能力を有するインターネット・プロトコル・マルチメディア・サブシステム（IMS）アクセスゲートウェイまたはメディアリソース機能（MRF）である、請求項1に記載の方法。
3. 前記ターゲットオブジェクトは仮想オブジェクトまたは前記仮想オブジェクトの識別子であり、
   前記方法は、
   前記ARメディア処理ネットワーク要素によって、前記補助データチャネルを通して前記仮想オブジェクトまたは前記仮想オブジェクトの前記識別子を前記第1の端末デバイスに送信するステップ
   をさらに含む、請求項1または2に記載の方法。
4. 前記方法が、
   前記ARメディア処理ネットワーク要素によって、メディアデータチャネルを通して、前記AR通信中に生成され、前記第1の端末デバイスによって送信された前記メディアストリームを受信するステップと、
   前記ARメディア処理ネットワーク要素によって、現実の背景オブジェクトおよび前記メディアストリームをレンダリングおよび合成して、ARメディアストリームを取得するステップと、
   前記ARメディア処理ネットワーク要素によって、前記メディアデータチャネルを通して前記第1の端末デバイスに前記ARメディアストリームを送信するステップと
   をさらに含む、請求項1または2に記載の方法。
5. 前記ARメディア処理ネットワーク要素によって、サードパーティサーバから前記ターゲットオブジェクトを取得する前記ステップは、
   前記ARメディア処理ネットワーク要素によって、アプリケーションサーバを通して前記サードパーティサーバに第1の要求メッセージを送信するステップであって、前記第1の要求メッセージが、前記ターゲットオブジェクトを要求するためのものである、ステップと、
   前記ARメディア処理ネットワーク要素によって、前記アプリケーションサーバを通して前記サードパーティサーバによって転送された第1の応答メッセージを受信するステップであって、前記第1の応答メッセージが前記ターゲットオブジェクトを含む、ステップと
   を含む、請求項1から4のいずれか一項に記載の方法。
6. 前記方法は、
   前記第1の端末デバイスと前記ARメディア処理ネットワーク要素との間に前記補助データチャネルを確立する手順において、前記サードパーティサーバのアドレスを取得するステップ
   をさらに含み、
   前記ARメディア処理ネットワーク要素によって、前記サードパーティサーバに第1の要求メッセージを送信する前記ステップは、
   前記ARメディア処理ネットワーク要素によって、前記サードパーティサーバの前記アドレスに基づいて前記第1の要求メッセージを前記サードパーティサーバに送信するステップ
   を含む、請求項1から5のいずれか一項に記載の方法。
7. 前記ARメディア処理ネットワーク要素は、前記第1の端末デバイスが属するIMSネットワークに位置されるか、または前記第2の端末デバイスが属するIMSネットワークに位置される、請求項1から6のいずれか一項に記載の方法。
8. 前記ターゲットオブジェクトが仮想オブジェクトまたは現実の背景オブジェクトである、請求項1から7のいずれか一項に記載の方法。
9. 拡張現実（AR）通信方法であって、
   請求項1から8のいずれか一項に記載の方法を含み、
   前記第1の端末デバイスによって前記第1のAR補助データを送信するステップ
   をさらに含む、拡張現実（AR）通信方法。
10. コンピュータ上で実行されると、前記コンピュータが請求項1から8のいずれか一項に記載の方法を実行することを可能にされる命令を記憶する、コンピュータ可読記憶媒体。
11. コンピュータ上で実行されると、前記コンピュータが請求項1から8のいずれか一項に記載の方法を実行することを可能にされる命令を含む、コンピュータプログラム。
12. 請求項1から8のいずれか一項に記載の方法を実行するよう構成された、装置。
13. 請求項1から8のいずれか一項に記載の方法を実行するよう構成されたARメディア処理ネットワーク要素と、第1のAR補助データを送信するよう構成された第1の端末デバイスとを含む、システム。
14. ターゲットオブジェクトを前記ARメディア処理ネットワーク要素に送信するよう構成されたサードパーティサーバをさらに含む、請求項13に記載のシステム。
15. 通信装置であって、前記通信装置は、
    少なくとも1つのプロセッサと、
    前記少なくとも1つのプロセッサに結合され、前記通信装置に請求項1から8のいずれか一項に記載の方法を実行させるための前記少なくとも1つのプロセッサによる実行のためのプログラミング命令を記憶する1つまたは複数のメモリと
    を含む、通信装置。
16. 請求項1から8のいずれか一項に記載の方法を含み、第1の端末デバイスによって第1のAR補助データを送信するステップをさらに含む、拡張現実（AR）通信方法。
17. 前記サードパーティサーバによってターゲットオブジェクトを前記ARメディア処理ネットワーク要素に送信するステップをさらに含む、請求項16に記載の方法。