JP2012505569A - 多視点メディアデータ - Google Patents

Abstract

多視点メディアデータは、メディアコンテンツの複数のメディアビューを示す符号化メディアデータを提供することにより生成される。各メディアビュー（２２〜２８）は、少なくとも別のメディアビュー（２４〜２８）のメディアデータに対してメディアデータの符号化相互関係を示す構造優先度識別子（３６）と関連付けられる。コンテンツ優先度識別子（３８）は、各メディアビュー（２２〜２８）毎に判定されるのが好ましい。構造優先度識別子（３６）とは対照的に、コンテンツ優先度識別子（３８）は、メディアビュー（２２〜２８）のメディアデータのレンダリング重要度レベルを示す。コンテンツ優先度識別子（３８）を判定し且つ含むことにより、例えば多視点メディアデータの選択的な枝刈り、レンダリング及び／又は保護アプリケーションと関連して改善されたメディアデータの処理を提供する。

Description

本発明は、一般に多視点メディアデータに関し、特にそのような多視点メディアデータの生成及び処理に関する。

Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ（ＭＰＥＧ）［１］及び電気通信標準化部門（ＩＴＵ−Ｔ）研究委員会１６（ＳＧ１６）による多視点映像符号化（Multi-View Video Coding）（ＭＶＣ）の進行中の標準化は、いくつかのカメラ又はカメラ配列により生成された映像系列を符号化する映像符号化技術である。ＭＶＣは、複数の映像ビュー間の冗長性を効率的に利用してコンパクトな符号化映像ストリームを提供する。ＭＶＣは、ＩＴＵ−Ｔ Ｈ．２６４としても既知である高度映像符号化（ＡＶＣ）規格に基づく。その結果、ＭＶＣビットストリームの構文及びセマンティクスは、ＡＶＣビットストリームの構文及びセマンティクスと同様に維持されている。

ＩＳＯ／ＩＥＣ １４４９６−１５［２］は、ＡＶＣビットストリームの管理を容易にする融通性があり且つ拡張可能な形態でＡＶＣビットストリーム情報を含むように設計された国際標準である。この標準は、ＭＰ４ファイル形式［３］及び３ＧＰＰファイル形式［４］に準拠する。全てのこれらの標準は、ＭＰＥＧにより規定されたＩＳＯ準拠メディアファイル形式［５］から導出される。ＭＶＣ映像ストリームの保存形式はＭＶＣファイル形式と呼ばれる。

ＭＶＣファイル形式において、多視点映像ストリームは、ファイルにおいて１つ以上の映像トラックにより示される。各トラックは、ストリームの１つ以上のビューを示す。ＭＶＣファイル形式は、符号化多視点映像データ自体に加えて、映像データを処理する際に使用されるメタデータを含む。例えば各ビューは、１つのビュー内のＭＶＣネットワーク抽象化層（ＮＡＬ）ユニットがＭＶＣ ＮＡＬヘッダ拡張部において全て同一のビュー識別子、すなわち同一の値のｖｉｅｗ＿ｉｄフィールドを有する。

ＭＶＣ ＮＡＬユニットヘッダ拡張部は、ＮＡＬユニットに対して優先度識別子を特定するｐｒｉｏｒｉｔｙ＿ｉｄフィールドを更に含む。提案された標準草案［６］において、ｐｒｉｏｒｉｔｙ＿ｉｄのより低い値がより高い優先度を特定する。ｐｒｉｏｒｉｔｙ＿ｉｄは、ＮＡＬユニット優先度を規定するために使用され、種々のビューからの映像データのインター符号化の関係を反映するためにビットストリームに依存する。

今日使用されている優先度識別子は、ＭＶＣファイルにおいて提供されたカメラビューからの映像データのインター符号化の関係を特定するだけである。しかし、そのような符号化に関連した優先度は、異なるカメラビューからの映像データのコンテンツに基づく処理を達成するには使用が限られている。

本発明の実施形態は、従来技術の構成のこれらの欠点及び他の欠点を克服する。

そして、より効率的に処理される多視点メディアデータを提供することを一般的な目的とするものである。

簡単に説明すると、本発明の実施形態は、シーンの複数のメディアビューを示す符号化メディアデータを提供することにより、多視点メディアデータを生成すること含む。各メディアビューは、それぞれの構造優先度識別子と関連付けられる。構造優先度識別子は、少なくとも別のメディアビューのメディアデータに対して関連付けられたメディアビューのメディアデータの符号化相互関係を示す。従って、構造優先度識別子は、メディアデータの符号化に関連し且つメディアデータの符号化において使用された階層レベルのビュー間予測の命令を提供する限り、ビットストリームに依存する。

コンテンツ優先度識別子は、複数のメディアビューのうちの少なくとも一部のメディアビュー毎に判定される。構造優先度識別子とは明らかに対照的に、コンテンツ優先度識別子は、関連付けられたメディアビューのメディアデータのレンダリング重要度レベルを示す。判定されたコンテンツ優先度識別子は、例えばメディアビューのメディアデータを搬送する１つ以上のデータパケットに含まれることにより又はメディアビューを示すビュー識別子に接続されることにより、関連するメディアビューと関連付けられる。

符号化メディアデータは、必要に応じてメディアコンテナファイルの１つ以上のメディアトラックとして含まれてもよい。構造優先度識別子及びコンテンツ優先度識別子は、メディアデータの処理中に１つ又は複数のメディアトラックに適用可能なメタデータとして含まれる。

コンテンツ優先度識別子により、データ処理装置において多視点メディアデータの選択的差分コンテンツに基づく処理が可能になる。そのような場合、符号化メディアデータのメディアデータ部分集合は、コンテンツ優先度識別子及び好ましくは更に構造優先度識別子に基づいて選択される。メディアデータの処理は選択されたメディアデータ部分集合にのみ適用され、あるいは別の種類のメディアデータ処理は、残りのメディアデータと比較して選択されたメディアデータ部分集合に対して使用される。

実施形態は、添付の図面と共に以下の説明を参照することにより、本発明の更なる目的及び利点と共に最もよく理解されるだろう。

実施形態に従って多視点メディアデータを生成する方法を示すフローチャートである。 多視点映像データを記録するために使用されるカメラの配列を示す概略図である。 図１のメディアデータ生成方法の更なるステップを示すフローチャートである。 実施形態に係るメディアコンテナファイルを示す概略図である。 実施形態に係るメディア生成装置を示す概略図である。 実施形態に従って多視点メディアデータを処理する方法を示すフローチャートである。 、 、 、 、 図６のメディアデータ処理方法の処理ステップの種々の実施形態を示すフローチャートである。 実施形態に係るデータ処理装置を示す概略図ロック図である。 別の実施形態に係るデータ処理装置を示す概略ブロック図である。 実施形態が実現される通信システムの一例を示す概略図である。

図中、同一の図中符号は、対応する要素又は同様の要素に対して使用される。

本発明の実施形態は、一般にいわゆる多視点メディアデータの生成及び処理に関し、特にメディアデータ処理と関連した優先度情報の提供及びそのような優先度情報の使用法に関する。

多視点メディアデータは、メディアコンテンツの複数のメディアビューが使用可能であることを示す。この場合、そのようなメディアビューの各々は、複数の使用可能なメディアビューのうちの１つからのメディアコンテンツを示すメディアデータを生成する。そのような多視点メディアの代表的な一例は多視点映像（multi-view video）である。そのような場合、複数のカメラ又は他のメディア記録／作成機器、あるいは複数のそのようなカメラの配列は、記録対象のシーンに対して提供される。カメラは、コンテンツに対して種々の位置を有し、且つ／あるいは種々の指向方向及び／又は焦点距離を有するため、コンテンツに対して別のビューを提供する。図２は、サッカーの試合が種々のカメラ１２〜１８により記録されるサッカー競技場等のシーン３０に隣接して位置付けられた複数のカメラ１２〜１８の配列１０により、この概念を概略的に示す。図２では、カメラ１２〜１８のそれぞれのカメラビュー２２〜２８を更に示す。この例示的な例において、カメラ１２〜１８は、サッカー競技場の長さに沿って種々の位置に位置付けられるため、競技場の種々の部分を記録する。これは、カメラ１２〜１８がそれぞれのカメラビュー２２〜２８から見たような種々のメディアコンテンツを取り込むことを意味する。

当技術分野において周知であるように、一般に映像データ符号化は、Ｈ．２６１、Ｈ．２６３、ＭＰＥＧ−４及びＨ．２６４等の相対画素予測に基づく。Ｈ．２６４において、利用された３つの画素予測方法、すなわち、イントラ予測（intra prediction）、インター予測（inter）及び双方向予測（bi-prediction prediction）がある。イントラ予測により、現在のフレームの先に復号された画素から現在の画素ブロックの空間予測が提供される。インター予測により、先に符号化フレームにおいて対応するが移動した画素ブロックを使用して現在の画素ブロックの時間予測が得られる。双方向予測により、２つのインター予測の加重平均が得られる。このように、イントラフレームは、映像ストリームにおいていずれの先行フレームにも依存しない。そして、双方向予測によるそのようなインタフレームを含むインタフレームは、映像ストリームにおいて１つ以上の他の参照フレームからの動き補償を使用する。

多視点映像符号化は、単一のカメラビューからのフレーム間の予測だけではなくビュー間予測も可能にすることにより、この予測に基づく符号化を更に今一歩進めている。従って、参照フレームは、同一の相対時刻のフレームであるが、符号化対象の現在のフレームと比較して別のカメラビューに属するようにできる。ビュー間予測とイントラビュー予測との組合せが更に可能であるため、種々のカメラビューからの複数の参照フレームを有する。

複数のメディアビュー及びメディアビューからのメディアデータのインター符号化を有するこの概念は、必ずしも映像データに限定されない。明らかに対照的に、多視点メディアの概念は、例えばスケーラブルベクターグラフィックス（ＳＶＧ）等のグラフィックスを含む他の種類のメディアに更に適用される。実際に、本発明の実施形態は、複数のメディアビューの形態で示されるあらゆるメディアの種類に適用され、メディア符号化はメディアビュー間で少なくとも部分的に実行される。

当技術分野において及びＭＶＣ標準草案［６］において開示されたように、いわゆるｐｒｉｏｒｉｔｙ＿ｉｄの形態の優先度はＮＡＬユニットヘッダに含まれる。特定の例において、特定のビューに属する全てのＮＡＬユニットは同一のｐｒｉｏｒｉｔｙ＿ｉｄを有してもよいため、ビュー毎に唯一の従来技術の優先度識別子を与える。これらの従来技術の優先度識別子は、優先度識別子が種々のメディアビューからのメディアデータの符号化相互関係を示すため、いわゆる構造優先度識別子であると考えられる。例えば図２を参照して、カメラビュー２６が基本ビューであると仮定する。これは、カメラビュー２６が独立したビューであり、他のカメラビュー２２、２４、２８からのあらゆる予測を使用せずに自身の映像データから符号化され且つ復号化されてもよいことを意味する。次に、２つの隣接したカメラビュー２４、２８は基本ビュー２６に依存してもよく、これらのカメラビュー２４、２８からの映像データが基本ビュー２６からの映像データから予測されてもよいことを示す。最後に、最後のカメラビュー２２は、隣接カメラビュー２４に依存してもよい。これらの依存関係の態様により、以下のような構造優先度が得られる。

提案された標準草案［６］におけるような表Ｉにおいて、構造優先度識別子のより低い値はより高い優先度を特定する。従って、基本ビュー２６は最も低い構造優先度識別子を与えられ、２つのカメラビュー２２、２８は、次に最も低い構造優先度識別子を有する基本ビュー２６に依存して符号化される。従って、２番目に最も低い構造優先度識別子を含むカメラビュー２４、２８のうちの１つに依存して符号化されるカメラビュー２２は、この例において４つのカメラビューの最も高い構造優先度識別子を有する。

従って、構造優先度識別子は、異なるカメラビューから映像データのインター符号化の関係を反映するためビットストリームに依存する。実施形態は、多視点メディアに適用可能であり且つ代わりにコンテンツに依存する別の形態の優先度識別子を提供し且つ使用する。

図１は、一実施形態に従って多視点メディアデータを生成する方法を示すフローチャートである。方法はステップＳ１から開始して、メディアコンテンツの複数のメディアビューを示す符号化データが提供される。上述されたように、これらのマルチメディアビューの各々は、それぞれの構造優先度識別子と関連付けられる。従って、構造優先度識別子は、複数のメディアビューのうちの少なくとも１つの別のメディアビューのメディアデータに対してメディアビューのメディアデータの符号化相互関係を示す。

ステップＳ１における、この多視点メディアデータの提供は、メディアデータが事前に入力されているアクセス可能なメディアメモリからメディアデータを取り出すことにより実現される。あるいは、メディアデータは、メディアデータが格納、記録又は生成されている何らかの他の外部ユニットから受信される。更なる手段は、映像系列を記録するか又はメディアデータを合成的に生成する等メディアデータを実際に作成及び符号化することである。

次のステップＳ２は、複数の使用可能なメディアビューのメディアビューに対していわゆるコンテンツ優先度識別子を判定する。メディアビュー間の符号化相互関係に依存する構造優先度識別子とは明らかに対照的に、ステップＳ２において判定されたコンテンツ優先度識別子は、メディアビューのメディアデータのレンダリング重要度レベルを示す。従って、コンテンツ優先度識別子は、実際のメディアコンテンツにより関連しており、他のメディアビューからのメディアデータに関連したメディアビューのうちの１つから発生するメディアデータの重要度に対してメディアビューに優先度を提供する。

再度図２を参照すると、一般に、サッカー競技場の一方のゴールの周囲の領域に関連する映像データを見るのが観戦者にとってより価値があると考えらえる。従って、カメラビュー１２は、一般にコンテンツ及びレンダリングの観点から最も高い優先度であると考えられるだろう。従って、構造優先度識別子が編成される方法に準拠して、カメラビュー１２のコンテンツ優先度識別子は、最も高い優先度に対応する最も低い優先度の値を有するだろう。これについては、表ＩＩを参照する。

従って、レンダリングの観点から、カメラビューがサッカー競技場の最も関心の高い部分、すなわちゴールに近接するほど、コンテンツ優先度はより高くなり且つカメラビューのコンテンツ優先度識別子はより低くなる。

別の手法において、メディアビューの構造／コンテンツ優先度が高いほど、構造／コンテンツ優先度識別子の値はより高い。

次に、ステップＳ２において判定されたコンテンツ優先度識別子は、ステップＳ３において複数のメディアビューの関連するメディアビューに関連付けられ、且つ割り当てられる。このような関連付けは、メディアビューのビュー識別子と共にコンテンツ優先度識別子を格納することにより実現される。あるいは、コンテンツ優先度識別子は、関連するメディアビューからのメディアデータと共に格納される。

コンテンツ優先度識別子は、線Ｌ１により概略的に示されたように、複数のメディアビューのうちの少なくとも一部に対して判定される。これは、メディアビューのうちの１つのみがコンテンツ優先度識別子を有するように、ステップＳ２及びＳ３により形成されたループが１回実施されることを意味する。ステップＳ２及びＳ３は複数回判定されるのが好ましく、複数のメディアビューのメディアビュー毎に１回判定されるのが更に好ましい。従って、多視点メディアデータがＭ個のメディアビューから記録されている場合、ステップＳ２及びＳ３はＮ回実施される。この場合、１≦Ｎ≦Ｍ及びＭ≧２である。

その後、方法は終了する。

コンテンツ優先度識別子は、コンテンツ優先度識別子が関連付けられるメディアビューからのメディアデータのレンダリング又は再生の重要度レベルを示す。図２と関連して上述されたように、コンテンツ優先度識別子の値は、記録されたシーンに対する複数のメディアビューの記録位置に基づいて判定される。従って、カメラビュー２２〜２８のカメラ１２〜１８の位置、焦点方向及び／又は焦点距離は、カメラビュー２２〜２８のそれぞれのコンテンツ優先度識別子を判定するために使用される。コンテンツ優先度識別子を判定するために使用される更なるパラメータ又は別のパラメータは、種々のカメラ１２〜１８がシーン３０を記録する解像度である。一般に、映像データのより低い解像度バージョンと比較してシーン３０の高解像度映像データを有することは、レンダリングがより高い重要性を持つ。

実施形態のコンテンツ優先度識別子は、多視点メディアデータを記録及び／又は符号化する等処理するコンテンツ提供器により判定される。例えば、手動の操作者は、種々のメディアビューから記録されたメディアデータを検査することにより、メディアレンダリング中に観戦しているユーザにとって他のメディアビューと比較してより重要であると考えられる１つ又は複数のメディアビューに関する意見に基づいてコンテンツ優先度識別子を判定し且つ関連付ける。

コンテンツ優先度識別子の判定は、自動的に、すなわち人為的な操作を全く用いずに更に判定できる。そのような場合、カメラ位置、焦点方向、焦点距離、カメラ解像度等の上述のパラメータのうちのいずれかは、カメラビューを種々のコンテンツ優先度レベルに分類するアルゴリズム又はプロセッサにより使用される。

判定されたコンテンツ優先度識別子は、構造優先度識別子のように、一般に静的であり、記録されたコンテンツのために単一のコンテンツ優先度識別子がカメラビューと関連付けられることを示す。しかし、種々のメディアビューからのメディアデータのレンダリング重要度レベルが実際に経時変化してもよいことが可能であってもよい場合もある。そのような場合、コンテンツ優先度識別子は、いわゆる生存時間値と関連付けられるかあるいは限られた期間又は限られた量のメディアフレームを求めるように設計される。例えば、メディアビューは、最初のｆ個のメディアフレーム又は最初のｍ分（ｍｉｎｕｔｅｓ）のメディアコンテンツに対して第１のコンテンツ優先度識別子を有してもよく、第２の異なるコンテンツ優先度識別子は、後続のメディアフレーム又はそのメディアビューからのメディアデータの残りの部分に対して使用される。当然、これは、メディアビューに対してコンテンツ優先度識別子間で２回以上の変化がある状況にも適用される。

図３は、多視点メディアデータを生成する方法のオプションの更なるステップを示すフローチャートである。方法は図１のステップＳ３から継続する。次のステップＳ１０は、複数のメディアビューの符号化されたメディアデータをメディアコンテナファイルの少なくとも１つのメディアトラックとして編成する。メディアコンテナファイルは、例えばいわゆるＭＶＣファイル又は好ましくはＩＳＯ準拠メディアファイル形式に基づく何らかの他のファイル形式である。

メディアコンテナファイルは、メディアコンテンツを提供し且つメディアデータを送信可能なデータパケットに形成するために、メディアセッション中にメディアサーバにより使用される完全な入力パッケージであると考えられる。従って、コンテナファイルは、本質的にメディアコンテンツに加えて、メディアセッション中に処理を実行し且つメディアコンテンツを送信できるようにするためにメディアサーバにより要求された情報及び命令を含むのが好ましい。

一実施形態において、各メディアビューがコンテナファイルの別個に割り当てられたメディアトラックを有することにより、メディアビューの数とメディアトラックの数との間で一対一の関係を提供する。あるいは、少なくとも２つ、場合によっては全てのメディアデータは、メディアコンテナファイルの単一のメディアトラックに収容される。図４は、符号化多視点メディアデータを搬送する１つ以上のメディアトラック３２を有するメディアコンテナファイル３０の一例を概略的に示す。

複数のメディアビューのそれぞれのメディアデータは、１つ以上のメディアトラックに編成されるかに関係なく、メディアビューと関連付けられたそれぞれのビュー識別子に割り当てられるのが好ましい。

図３の次のステップＳ１１は、ステップＳ１０の少なくとも１つのメディアトラックに対するメディアコンテナファイルに構造優先度識別子を関連付けて編成する。関連付けて編成することは、構造優先度識別子と構造優先度識別子が適用されるメディアビューとを関連付けるような方法で構造優先度識別子がメディアコンテナファイルに含まれることを示す。それに対応して、構造優先度識別子が適用されるメディアビューから発生するメディアデータと構造優先度識別子とを代わりにそのように関連付ける。

関連付けは、メディアコンテナファイル内のメディアビューのメディアデータの記憶位置から構造優先度識別子の記憶位置へのポインタ又はその逆のポインタの形態である。従って、このポインタ又はメタデータにより、所定の特定のメディアデータ又はメディアコンテナファイル内の場所、関連付けられた構造優先度識別子の識別又はファイル内の構造優先度識別子の記憶位置が使用可能になる。ポインタを採用する代わりに、メタデータはメディアデータ／メディアビューのビュー識別子を含む。メタデータは、構造優先度識別子が適用されるメディアデータのうちの１つを識別するために使用される。

図４は、メディアコンテナファイル３０に構造優先度識別子３６を関連付けて編成する一実施形態を概略的に示す。本実施形態において、各構造優先度識別子３６は、構造優先度識別子３６が適用されるメディアデータ及びメディアビューを示すビュー識別子３４と関連付けられる。

図３の次のステップＳ１２は、少なくとも１つのメディアトラックに対するメディアコンテナファイルに１つ又は複数のコンテンツ優先度識別子をそれに対応して関連付けて編成する。構造優先度識別子と同様に、メディアコンテナファイルにおいてメディアデータ／メディアビューとコンテンツ優先度識別子との間を接続するビュー識別子等のメタデータにより関連付けが実現される。これを図４において更に示し、各コンテンツ優先度識別子３８は、コンテンツ優先度識別子３６が適用されるメディアデータ及びメディアビューを示すビュー識別子３４と関連付けられる。

コンテンツ優先度識別子をメディアコンテナファイルに提供する限定しない一例は、メディアコンテナファイルのサンプルグループ記述ボックス(Sample Group Description Box)においてボックス“ｖｉｐｒ”を含む［６］。

Box Types: 'Vipr'
Container: Sample Grpup Description Box('Sgpd')
Mandatory: No
Quality: zero or more

Class ViewPriority extends VisualSampleGroupEntry('vipr'){
unsigned int(16) view_count
for (i=0;i<view_count;i++){
unsigned int(6) reserved=0;
unsigned int(10) view_id;
unsigned int(32) content_priority_id;
}
}

ここで、ｖｉｅｗ＿ｃｏｕｎｔはメディアビューの総数であり、ｖｉｅｗ＿ｉｄは草案［６］のビュー識別子ボックスにおいて示されたようなメディアビューのビュー識別子であり、ｃｏｎｔｅｎｔ＿ｐｒｉｏｒｉｔｙ＿ｉｄはコンテンツ優先度識別子である。

あるいは、ボックス“ｖｉｐｒ”は、メディアコンテナファイルのサンプルエントリ(Sample Entry)において提供されてもよい。

box Types: 'vipr'
Container: Sample Entry('avc1','avc2','mvc1')
Mandatory: No
Quality: Exactly one

class ViewPriorityBox extends Box('vwsc'){
unsigned int(16) view_count
for (i=0;i<view_count;i++){
unsigned int(6) reserved=0;
unsigned int(10) view_id;
unsigned int(32) content_priority_id;
}
}

図３の更なるステップＳ１０〜Ｓ１２は、図３において開示された順序で実施される。あるいは、動作ステップＳ１０〜Ｓ１２の他のあらゆる連続した順序が使用されてもよい。ステップＳ１０〜Ｓ１２は、並列に又は少なくとも部分的に並列に更に実行されてもよい。

メディアトラックに加えてメディアコンテナファイルに含まれた構造優先度識別子及びコンテンツ優先度識別子は、メディアトラックにおいて多視点メディアデータの処理中に使用されるメタデータであると考えられる。従って、本明細書において更に説明されるように、優先度識別子は、形成されたメディアコンテナファイルの処理を容易にする追加のデータに適用可能であり且つ追加のデータとして有用である。

図５は、一実施形態に従って多視点メディアデータを生成するメディア生成装置１００である。メディア生成装置１００は、メディアコンテンツの複数のメディアビューを示す符号化メディアデータを提供するために実現されたメディア提供器（media provider)１２０を備える。各メディアビューは、少なくとも別のメディアビューのメディアデータに対してメディアビューのメディアデータの符号化相互関係を示す構造優先度識別子と関連付けられる。メディア提供器１２０は、複数のメディアビューのメディアデータを記録又は生成する機器１２〜１８と、記録又は生成されたメディアデータを符号化する符号化器１８０とを備える内部又は外部メディアエンジンに接続される。あるいは、メディア提供器１２０は、メディア生成装置１００の接続された受信機１１０から一般に符号化形態で又は符号化されていないメディアデータとしてメディアデータを受信する。その後、受信機１１０は、通信システムにおいて外部端末から有線通信又は無線通信を介してメディアデータを受信する。更に別の方法として、メディア提供器１２０は、メディア生成装置１００の接続されたメディアメモリ１４０から多視点メディアデータを取り出す。

優先度割当器（priority assigner）１３０は、メディア生成装置１００において実現され、コンテンツ優先度識別子を複数のメディアビューのうちの１つ以上に割り当てる。コンテンツ優先度識別子は、複数のメディアビューのメディアデータのレンダリング重要度レベルを示す。優先度割当器１３０は、受信機１１０等を介して外部の供給源からコンテンツ優先度識別子を受信してもよい。あるいは、優先度割当器１３０がユーザ入力部を含むか又はユーザ入力部に接続され且つユーザ入力部からコンテンツ優先度識別子を取り出す場合、コンテンツ優先度識別子はコンテンツ作成者により手動で入力される。

更なる一実施形態において、メディア生成装置１００は、優先度割当器１３０に接続された優先度判定器(priority determiner)１５０を備える。優先度判定器１５０は、複数のメディアビューのうちの少なくとも１つのメディアビューに対してコンテンツ優先度識別子を判定するように構成される。優先度判定器１５０は、多視点メディアデータを記録又は生成するために使用されたカメラ１２〜１８又は機器に関連するメディアエンジン、メディア提供器１２０、受信機１１０又はユーザ入力部等からの入力パラメータを使用するのが好ましい。これらの入力パラメータは、記録されたシーン、焦点方向、焦点距離及びカメラ解像度に対するカメラ位置のうちの少なくとも１つを含む。

判定されたコンテンツ優先度識別子は、優先度判定器１５０からそれらをそれぞれのメディアビューに割り当てる優先度割当器１３０に転送される。従って、他の実施形態ではコンテンツ優先度識別子を複数のメディアビューのうちの少なくとも１つのメディアビューの部分集合に割り当てるだけだが、各メディアビューは、優先度割当器１３０により割り当てられたコンテンツ優先度識別子を受信するのが好ましい。

オプションのトラック編成器(track organizer)１６０は、メディア生成装置１００において提供され、メディア提供器１２０からの多視点メディアデータがメディアコンテナファイルに編成される場合に動作されるようになる。そのような場合、トラック編成器は、メディアコンテナファイルにメディア提供器１２０からの符号化メディアデータを少なくとも１つのメディアトラックとして編成する。

優先度編成器(priority organizer)１７０は、メディア生成装置１００において実現され、メディアコンテナファイルに優先度識別子を編成するのが好ましい。従って、優先度編成器１７０は、１つ以上のメディアトラックに対してメディアコンテナファイルに構造優先度識別子及びコンテンツ優先度識別子を関連付けて編成する。そのような場合、優先度編成器１７０は、構造優先度識別子及びコンテンツ優先度識別子が適用されるメディアビュー及びメディアデータを示すそれぞれのビュー識別子と共に構造優先度識別子及びコンテンツ優先度識別子の各々を格納するのが好ましい。

メディア生成装置１００の一実施形態に従って生成されたメディアコンテナフレームは、メディアコンテナファイルを転送又は処理する外部ユニットに後で送信されるようにメディアメモリ１４０に入力される。あるいは、メディアコンテナファイルは、メディアレンダリング又は再生機能を含むメディアサーバ、トランスコーダ又はユーザ端末等のこのような外部ユニットに直接送信されてもよい。

メディア生成装置１００のユニット１１０〜１３０及び１５０〜１７０は、ハードウェア、ソフトウェア又はハードウェアとソフトウェアとの組合せで提供されてもよい。メディア生成装置１００は、有線又は好ましくは無線、無線ベースの通信システムのネットワークノードにおいて有利に構成されてもよい。メディア生成装置１００は、コンテンツ提供器又はサーバの一部を構成するかあるいはそれらに接続される。

上述のように多視点メディアデータを判定し且つそれに割り当てられたコンテンツ優先度識別子は、単に割り当てられた構造優先度識別子を有する対応する多視点メディアデータと比較して、改善された多視点メディアデータのコンテンツに基づく処理を提供する。

例えば、４つの映像記録カメラを含む図２において説明されたような映像記録構成を仮定する。構造優先度識別子は上述のように割り当てられ、且つ、表Iにおいて示され、コンテンツ優先度識別子は表ＩＩにおいて示されたように割り当てられる。表ＩＩＩは、基本的には表Ｉと表ＩＩのマージであり、図２において示された例に対して構造優先度識別子及びコンテンツ優先度識別子の双方を一覧表示する。

メディアビューのうちの１つに対応するメディアデータが、例えば符号化多視点メディアデータを送信する際に限られた格納機能及び／又は限られた帯域幅のために枝刈り（pruned）され且つ破棄されなければならない状況を仮定する。

従来技術によると、メディアデータは構造優先度識別子のみに基づいて破棄される。これは、サッカー競技場の一方のゴールに最近接して位置付けられるメディアビュー２２及びカメラ１２からのメディアデータが割り当てられた最も高い構造優先度識別子及び従って最も低い構造優先度を有するために破棄されることを意味する。しかし、実際には、このカメラビュー２２は、ゴールに更に近接し且つサッカーの試合中に決められたあらゆるゴールを取り込む４つの示されたカメラビュー２２〜２８のうちの唯一のカメラビューであるため、一般に最も重要なカメラビューであると考えられる。

しかし、この例においてメディア処理、すなわちメディア枝刈りでコンテンツ優先度識別子を更に利用することにより、メディアレンダリングの観点からより適切なメディア処理が実現される。従って、メディア枝刈りでコンテンツ優先度識別子のみ又は実際にはコンテンツ優先度識別子及び構造優先度識別子の双方を使用することにより、メディアビュー２８から発生するメディアデータは、最も高いコンテンツ優先度識別子及び更に最も高い総優先度識別子、すなわちコンテンツ優先度識別子に加えて構造優先度識別子を有するために破棄されるだろう。ゴールに最近接するメディアビュー２２ではなくメディアビュー２８からメディアデータを削除することは、ゴールを決めることがサッカーの試合を見る上で最も興味深い部分として考えられる場合に観戦しているユーザの観点から非常により好まれる。

図６は、一実施形態に従って多視点メディアデータを処理する方法を示すフローチャートである。方法はステップＳ２０から開始し、メディアコンテンツの複数のメディアビューを示す符号化メディアデータが受信される。このようなデータの受信は、メディアサーバ又はコンテンツ提供器から符号化メディアデータのデータパケットを受信する形態であってもよい。あるいは、多数のデータパケットの形態で受信されるメディアデータは、メディアコンテナファイルに含まれてもよい。上述したように、メディアデータに関連する各メディアビューはそれぞれの構造優先度識別子を有し、メディアビューのうちの少なくとも一部はそれぞれのコンテンツ優先度識別子を更に有する。

次のステップＳ２１は、受信した多視点メディアデータのメディアデータ部分集合（subset)を選択する。従って、このステップＳ２１は、多数のメディアビューの部分集合に対応するメディアデータを選択する。その結果、ステップＳ２１は、Ｐ個のメディアビューからメディアデータを選択する。この場合、１≦Ｐ≦Ｍであり、Ｍは本発明の多視点メディアデータのメディアビューの総数を示す。

部分集合は、メディアビューと関連付けられた少なくとも１つのコンテンツ優先度識別子に少なくとも部分的に基づいて更に選択される。ステップＳ２１は、コンテンツ優先度識別子のみに基づいて実施されるが、構造優先度識別子に更に基づくのが好ましい。コンテンツ優先度識別子のみを考える場合に基本ビューからのメディアデータが破棄されることにより残りのメディアデータを復号化不可能にするため、これはメディアデータを枝刈りするか又は破棄する場合に特に有利である。

ステップＳ２１において選択されたメディアデータ部分集合は、ステップＳ２２において更に処理される。従って、実施形態のコンテンツ優先度識別子は、種々のビューからのメディアデータを分類するために使用される。それにより、メディアデータの部分集合のみを処理するか、あるいは必要に応じて処理の少なくとも１つの他の形態を多視点メディアデータの残りのメディアデータに適用することにより、差分メディアデータ処理を実現する。

その後、この方法は終了する。

図７〜図１１は、優先度に基づいたメディアの選択に応答して実施される差分処理の種々の実施形態を示す。

図７において、多視点メディアデータのメディアデータのうちのいくつかは、メディアコンテナファイル等から枝刈りされるかあるいは破棄されなければならない。これは、保存が限られたアプリケーションにおいて符号化多視点メディアデータのビットに関する合計サイズを減少するために必要であってもよい。別の状況であるが関連した状況は、受信機に送信されるデータ量を削減するためにメディアデータのうちのいくつかを減少することが必要であるか又は少なくとも望ましい場合である。そのような帯域幅が限られたアプリケーションは、無線、無線ベースの通信システムにおいて発生することが多い。この場合、例えばタイムスロット、周波数、チャネル又はスペクトル拡散コード等の通信リソースの使用可能な量は限られる。

図７のステップＳ３０は、図６のステップＳ２１において選択されたメディアデータ部分集合を枝刈りし且つ破棄する。従って、破棄対象の符号化多視点データのメディアデータは、コンテンツ優先度識別子に少なくとも部分的に基づき、これらの識別子及び構造優先度識別子に基づくのが好ましい。枝刈り対象のメディアデータを選択する際にコンテンツ優先度識別子に加えて構造優先度識別子を更に使用する代わりに、異なる用途からメディアデータの符号化依存性を説明する他の情報は、コンテンツ優先度識別子と共に使用されてもよい。

図８は、データ処理ステップの別の一実施形態を示す。本実施形態は、帯域幅が限られたアプリケーションにおいて更に適用可能である。しかし、図７とは異なり、メディアデータは必ずしも破棄されない。明らかに対照的に、コンテンツ優先度識別子に基づいて図６において選択されたメディアデータの部分集合は、ステップＳ４０において別の端末、ネットワークノード又は受信機能を有するユニットに有線又は無線で送信される。その後残りのメディアデータは、ユニットに送出されないかあるいは場合によっては後で送出される。

端末がメディアプレイヤ等のレンダリング機能を有するが、全ての多視点メディアデータを復号化及びレンダリングできないか又は復号化及びレンダリングしないことを選択する場合、コンテンツ優先度識別子は、図９のステップＳ５０において復号化及びレンダリングするメディアデータ部分集合を選択するために使用される。例えば、メディアプレイヤが単一メディアビューもしくはメディアビューの或るセットからのみメディアデータをレンダリングできるとき、Ｓ５０が利用できる。復号化及び再生されたメディアが観戦しているユーザに対して可能な限り高いレベルの重要度を有することが重要である。尚、メディアビューの部分集合のメディアデータがステップＳ５０において復号化及びレンダリングされても、メディアデータは、メディアの符号化及び復号化におけるビュー間予測のために、部分集合に含まれない別のメディアビューのメディアデータの復号化を必要としてもよいが、必ずしもレンダリングを必要としなくてもよい。例えば、メディアデータ部分集合に含まれることを選択されない基本ビューは、復号化及びレンダリングされるべきであるメディアビューのうちの１つを復号化することを必要とされてもよい。

データ保護は、フェージング及び干渉の有害な影響をなくすように無線ベースのネットワークを介して送信されたメディアデータ及びデータパケットに適用されることが多い。一般に、データ保護のレベルが高いほど、より多くの余分なデータ又は過負荷データが必要となる。従って、保護レベルと余分な過負荷とのバランスの問題である。コンテンツ優先度識別子は、最も高いレベルのデータ保護を有するべきである多視点構成においてメディアデータを識別するための基準として使用されるのが有利である。従って、低いコンテンツ優先度識別子を有するためにレンダリング重要度が高いと考えられるメディアデータは、図１０のステップＳ６０において第１のレベルのデータ保護を有し、他のメディアビューからのあまり重要でないメディアデータは、第２のより低いレベルのデータ保護を有する。当然、これは、３つ以上の種々のレベルのデータ保護を提供する状況にも適用されてもよい。

本実施形態と関連して使用されるそのようなデータ保護の例は、順方向誤り訂正（Forward Error Correction:ＦＥＣ）、チェックサム、ハミング符号、巡回冗長検査（Cyclic Redundancy Check:ＣＲＣ）等である。これらは、あらゆる誤りが瞬間的に訂正されるためにリアルタイムの送信に適している。

非リアルタイムのアプリケーションの場合、誤りが発生する場合に再送信が必要となるＴＣＰ／ＩＰ（伝送制御プロトコル／インターネットプロトコル）等における自動再送要求（Automatic Repeat Request:ＡＲＱ）は、データ保護を提供するために更に使用される。

暗号化は、本明細書において考慮される別の種類の高いレベルのデータ保護である。そのような場合、コンテンツ優先度識別子は、暗号化保護の強度がどの程度適用されるべきであるかを判定するために使用される。

コンテンツ優先度は、提供されたメディアコンテンツの格差課金を提供するために更に使用される。従って、購入する観戦者にとってレンダリング関連性及び重要度がより高いと考えられるメディアビューからのメディアデータは、異なる方法で課金される。すなわち比較的より高いコンテンツ優先度識別子を有するより重要度の低いメディアデータより高いコストで課金される。この概念を図１１において示し、ステップＳ７０は、コンテンツ優先度識別子に少なくとも部分的に基づいて課金情報を多視点メディアデータに提供する。

図１２は、多視点メディアデータを処理するデータ処理装置２００の一実施形態を示す概略図である。図１２において、データ処理装置２００は、メディア再生機能性を有するユーザ端末の形態で示されているが、これに限定せない。そのようなユーザ端末２００は、例えば移動電話、パーソナルデジタルアシスタンス、通信機器を含むラップトップコンピュータ等の無線通信システムの携帯ユーザ端末であってもよい。本発明から利益を得るユーザ端末の他の例には、コンピュータ、ゲーム機、ＴＶ復号化器及び多視点メディアデータを処理及びレンダリングするように構成された他の機器が含まれる。更にデータ処理装置２００は、必ずしもメディアレンダリング装置でなくてもよい。明らかに対照的に、データ処理装置２００は、他の処理のために本明細書において開示されたようなコンテンツ優先度識別子を使用してもよい。

データ処理装置２００は、メディアコンテンツの複数のメディアビューを示す符号化メディアデータを受信する受信機２１０を備える。多数のデータパケットにおいて搬送されたメディアデータは、少なくとも１つのメディアトラックにおいて符号化メディアデータに加えてメディアデータの処理中に適用可能なメタデータを含むメディアコンテナファイルの形態であってもよい。このメタデータは、特に本明細書において説明された構造優先度識別子及びコンテンツ優先度識別子を含む。多視点メディアデータがメディアコンテナファイルの形態で提供されない場合、各メディアビューからのメディアデータは、データパケットのうちの少なくとも１つにおいて、例えばそのヘッダにおいてそのメディアビューに適用可能な構造優先度識別子及びコンテンツ優先度識別子を含む。

データ処理装置２００は、受信した多視点メディアデータのメディアデータ部分集合を選択するように構成されたメディア選択器２２０を更に備える。メディア選択器２２０は、メディアデータと関連付けられた種々のメディアビューに対するコンテンツ優先度識別子を検索し、構造優先度識別子を更に検索するのが好ましい。メディア選択器２２０は、更なる処理に対して特定のメディアデータ部分集合を識別及び選択するために、検索されたコンテンツ優先度識別子及び好ましくは構造優先度識別子を使用する。

選択されたメディアデータ部分集合のメディアデータの更なる処理は、データ処理装置２００自体により又はそれに接続された別の装置により実施されてもよい。例えばデータ処理装置２００は、多視点メディアデータの全てのメディアビューのうちの１つ又は部分集合に対応するメディアデータを枝刈りし且つ破棄するメディア枝刈り器２５０を備える。メディア枝刈り器２５０は、コンテンツ優先度識別子に少なくとも部分的に基づいてメディア選択器２２０により選択されたメディアデータ部分集合を枝刈りする。

メディアデータの枝刈りは、多視点メディアデータをメディアメモリ２３０に格納する場合又はデータ処理装置２００の送信機２１０により多視点メディアデータを送信する際に帯域幅を削減する場合に多視点メディアデータの合計ビットサイズを減少するために必要とされてもよい。

データ処理装置２００は、受信したメディアデータを復号化するように構成され、含まれた又は接続された表示画面２８０上で、受信したメディアデータをレンダリングする。そのような場合、復号化器２４５は、メディア選択器２２０により選択されたメディアデータ部分集合のみを復号化するように動作してもよい。復号化されたメディアデータは、メディア再生装置２４０によりレンダリングされるため、表示画面２８０上に表示される。別の手法において、復号化器２４５は、選択されたメディアデータ部分集合より多くのメディアデータを復号化してもよい。しかし、メディア再生装置２４０は、メディア選択器２２０により選択されたメディアデータ部分集合に対応するメディアデータのみをレンダリングする。レンダリングされていないが復号化されたあらゆるメディアデータは、あらゆるビュー間予測符号化／復号化のために、選択されたメディアデータ部分集合においてメディアデータのうちの少なくともいくつかを復号化するために必要とされてもよい。

データ処理装置２００のユニット２１０、２２０、２４０及び２５０は、ハードウェア、ソフトウェア又はハードウェアとソフトウェアとの組合せで提供されてもよい。

図１３は、データ処理装置３００の別の実施形態を示す概略ブロック図である。このデータ処理装置３００は、無線通信システム又はネットワークの基地局等のネットワークノードにおいて実現される。図１２において示された実施形態と同様に、図１３のデータ処理装置３００は、データを送受信する送信機／受信機（ＴＸ／ＲＸ）３１０を備える。データ処理装置３００は、メディア選択器３２０と、メディアメモリ３３０と、メディア枝刈り器(media pruner)３５０とを備える。これらのユニットの動作は図１２のデータ処理装置２００の対応するユニットと同様であるため、本明細書において更に説明しない。

保護適用器(media applier)３６０は、必要に応じてデータ処理装置において提供され、多視点メディアデータを搬送するデータパケットに差分レベルのデータ保護を適用する。差分データ保護により、保護適用器は、メディア選択器３２０により選択されたメディアデータ部分集合のメディアデータを搬送するデータパケットに第１のレベルのデータ保護を適用できる。それに対応して、第２の異なるレベル又は複数の異なるレベルのデータ保護が、メディアデータの残りを搬送するデータパケットに適用される。

オプションの課金適用器(charging applier)３７０は、データ処理装置３００に配置され、多視点メディアデータに適用可能な課金情報を提供する。種々のメディアビューからのメディアデータに対して区別されたコストは、コンテンツ優先度識別子を使用する課金適用器３７０により使用されるのが好ましい。従って、課金適用器３７０は、メディア選択器３２０により選択されたメディアデータ部分集合のメディアデータに対する第１の課金コストを判定する。少なくとも第２の異なる課金コストは、残りのメディアデータに対して同様に判定される。

データ処理装置３００のユニット３１０、３２０及び３５０〜３７０は、ハードウェア、ソフトウェア又はハードウェアとソフトウェアとの組合せで提供されてもよい。

図１２及び図１３において、受信及び送信の双方の機能性を含む合成ユニット、すなわちトランシーバが使用されている。あるいは、受信アンテナと送信アンテナ又は合成された受信アンテナと送信アンテナとを分離するように無線の実現例において必要に応じて接続された専用の受信機及び専用の送信機が使用されてもよい。

図１４は、実施形態が実現される無線通信システム６００の一部を示す概略図である。通信システム６００は、通信サービスを接続されたユーザ端末２００に提供する１つ以上のネットワークノード又は基地局５００、５５０を含む。基地局５００のうちの少なくとも１つは、図５において上述され且つ開示されたメディア生成装置１００を含むメディアサーバ又は提供器４００を備えるかあるいはそれに接続される。構造優先度識別子及びコンテンツ優先度識別子を含む多視点メディアデータは、通信システム６００において提供されたユーザ端末２００及び／又は他のデータ処理装置３００に配信される。そのような場合、多視点データは、図６において概略的に説明されたように、ユニキャスト送信であるいはマルチキャスト送信又は同報送信の形態でユーザ端末２００に送信される。

添付の請求の範囲により規定される本発明の範囲から逸脱せずに、種々の変形及び変更が本発明に対して行なわれてもよいことは、当業者には理解されるだろう。

［参考資料］
［１］ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１−Ｃｏｄｉｎｇ ｏｆ Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅｓ ａｎｄ Ａｕｄｉｏ， ＭＰＥＧ−４ Ｏｖｅｒｖｉｅｗ、２０００年７月
［２］ＩＳＯ／ＩＥＣ １４４９６−１５：２００４−Ｉｎｆｏｒｍａｔｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ， Ｃｏｄｉｎｇ ｏｆ Ａｕｄｉｏ−Ｖｉｓｕａｌ Ｏｂｊｅｃｔｓ， Ｐａｒｔ １５：Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ （ＡＶＣ） Ｆｉｌｅ Ｆｏｒｍａｔ
［３］ＩＳＯ／ＩＥＣ １４４９６−１４：２００３−Ｉｎｆｏｒｍａｔｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ， Ｃｏｄｉｎｇ ｏｆ Ａｕｄｉｏ−Ｖｉｓｕａｌ Ｏｂｊｅｃｔｓ， Ｐａｒｔ １４：ＭＰ４ Ｆｉｌｅ Ｆｏｒｍａｔ
［４］３ＧＰＰ ＴＳ ２６．２４４ Ｖ７．３．０−３ｒｄ Ｇｅｎｅｒａｔｉｏｎ Ｐａｒｔｎｅｒｓｈｉｐ Ｐｒｏｊｅｃｔ； Ｔｅｃｈｎｉｃａｌ Ｓｐｅｃｉｆｉｃａｔｉｏｎ Ｇｒｏｕｐ Ｓｅｒｖｉｃｅｓ ａｎｄ Ｓｙｓｔｅｍ Ａｓｐｅｃｔｓ； Ｔｒａｎｓｐａｒｅｎｔ ｅｎｄ−ｔｏ−ｅｎｄ ｐａｃｋｅｔ ｓｗｉｔｃｈｅｄ ｓｔｒｅａｍｉｎｇ ｓｅｒｖｉｃｅ （ＰＳＳ）； ３ＧＰＰ ｆｉｌｅ ｆｏｒｍａｔ、２００７年
［５］ＩＳＯ／ＩＥＣ １４４９６−１２：２００５−Ｉｎｆｏｒｍａｔｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ， Ｃｏｄｉｎｇ ｏｆ Ａｕｄｉｏ−Ｖｉｓｕａｌ Ｏｂｊｅｃｔｓ， Ｐａｒｔ １２：ＩＳＯ Ｂａｓｅ Ｍｅｄｉａ Ｆｉｌｅ Ｆｏｒｍａｔ
［６］ＩＳＯ／ＩＥＣ １４４９６−１５、Ｗｏｒｋｉｎｇ Ｄｒａｆｔ ２．０ ＭＶＣ Ｆｉｌｅ Ｆｏｒｍａｔ、２００８年７月、Ｈａｎｎｏｖｅｒ、Ｇｅｒｍａｎｙ、Ｄｏｃｕｍｅｎｔ Ｎｏ． １００６２

再度図２を参照すると、一般に、サッカー競技場の一方のゴールの周囲の領域に関連する映像データを見るのが観戦者にとってより価値があると考えらえる。従って、カメラビュー２２は、一般にコンテンツ及びレンダリングの観点から最も高い優先度であると考えられるだろう。従って、構造優先度識別子が編成される方法に準拠して、カメラビュー２２のコンテンツ優先度識別子は、最も高い優先度に対応する最も低い優先度の値を有するだろう。これについては、表ＩＩを参照する。

Claims (21)

1. 多視点メディアデータを生成する方法であって、
   メディアコンテンツの複数のメディアビューを示す符号化メディアデータを提供するステップと、ここで、各メディアビューは前記複数のメディアビューのうちの少なくとも別のメディアビューのメディアデータに対して前記メディアビューの前記メディアデータの符号化相互関係を示す構造優先度識別子と関連付けられる；
   前記複数のメディアビューのうちの少なくとも一部のメディアビュー毎に、前記メディアビューのメディアデータのレンダリング重要度レベルを示すコンテンツ優先度識別子を判定するステップと；
   前記コンテンツ優先度識別子を前記メディアビューに関連付けるステップ
   を有することを特徴とする方法。
2. 前記判定するステップは、前記複数のメディアビューのメディアビュー毎に、それぞれのコンテンツ優先度識別子を判定するステップと含むことを特徴とする請求項１に記載の方法。
3. 前記判定するステップは、前記複数のメディアビューのうちの少なくとも一部のメディアビュー毎に、記録されたシーンに対する前記複数のメディアビューの記録位置に基づいて前記コンテンツ優先度識別子を判定するステップを有すること特徴とする請求項１又は２に記載の方法。
4. 前記複数のメディアビューの前記符号化メディアデータをメディアコンテナファイルの少なくとも１つのメディアトラックとして編成するステップと；
   前記少なくとも１つのメディアトラックに対する前記メディアコンテナファイルに前記構造優先度識別子を関連付けて編成するステップと；
   前記少なくとも１つのメディアトラックに対する前記メディアコンテナファイルに前記少なくとも１つのコンテンツ優先度識別子を関連付けて編成するステップと
   を更に有することを特徴とする請求項１乃至３のいずれか１項に記載の方法。
5. 前記少なくとも１つのコンテンツ優先度識別子を前記関連付けて編成するステップは、前記少なくとも１つのコンテンツ優先度識別子のコンテンツ優先度識別子毎に、前記関連付けられたメディアビューに割り当てられたビュー識別子と共に前記メディアコンテナファイルに前記コンテンツ優先度識別子を編成することを含む請求項４記載の方法。
6. 多視点メディアデータを生成するメディア生成装置であって、
   メディアコンテンツの複数のメディアビューを示す符号化メディアデータを提供するメディア提供部と、ここで、各メディアビューが前記複数のメディアビューのうちの少なくとも別のメディアビューのメディアデータに対して前記メディアビューの前記メディアデータの符号化相互関係を示す構造優先度識別子と関連付けられる；
   前記メディアビューのメディアデータのレンダリング重要度レベルを示すコンテンツ優先度識別子を前記複数のメディアビューのうちの少なくとも一部の各メディアビューに割り当てる優先度割当部と
   を備えることを特徴とするメディア生成装置。
7. 前記複数のメディアビューのうちの少なくとも一部のメディアビュー毎に、記録されたシーンに対する前記複数のメディアビューの記録位置に基づいて前記コンテンツ優先度識別子を判定する優先度判定部を更に備えることを特徴とする請求項６に記載の装置。
8. 前記複数のメディアビューの前記符号化メディアデータをメディアコンテナファイルの少なくとも１つのメディアトラックとして編成するトラック編成部と；
   前記少なくとも１つのメディアトラックに対する前記メディアコンテナファイルに前記構造優先度識別子を関連付けて編成し、且つ前記少なくとも１つのメディアトラックに対する前記メディアコンテナファイルに前記少なくとも１つのコンテンツ優先度識別子を関連付けて編成する優先度編成部と
   を更に備えることを特徴とする請求項６又は７に記載の装置。
9. 前記優先度編成部は、前記少なくとも１つのコンテンツ優先度識別子のコンテンツ優先度識別子毎に、前記関連付けられたメディアビューに割り当てられたビュー識別子と共に前記メディアコンテナファイルに前記コンテンツ優先度識別子を編成するように構成されることを特徴とする請求項８に記載の装置。
10. メディアコンテナファイルであって、
    メディアコンテンツの複数のメディアビューを示す符号化メディアデータを含む少なくとも１つのメディアトラックと；
    前記少なくとも１つのメディアトラックに対する前記メディアコンテナファイルに関連付けて編成された複数の構造優先度識別子と、ここで、前記複数のメディアビューの各メディアビューが前記複数のメディアビューのうちの少なくとも別のメディアビューのメディアデータに対して前記メディアビューの前記メディアデータの符号化相互関係を示す構造優先度識別子を有する；
    前記少なくとも１つのメディアトラックに対する前記メディアコンテナファイルに関連付けて編成された少なくとも１つのコンテンツ優先度識別子と、ここで、前記複数のメディアビューのうちの少なくとも一部の各メディアビューが前記メディアビューのメディアデータのレンダリング重要度レベルを示すコンテンツ優先度識別子を有する少なくとも１つのコンテンツ優先度識別子とを含む
    を有することを特徴とするメディアコンテナファイル。
11. 前記複数のメディアビューの各メディアビューは割り当てられたビュー識別子を有し、前記少なくとも１つのコンテンツ優先度識別子の各コンテンツ優先度識別子は、前記関連付けられたメディアビューに割り当てられたビュー識別子と共に前記メディアコンテナファイルに編成されることを特徴とする請求項１０に記載のメディアコンテナファイル。
12. 多視点メディアデータを処理する方法であって、
    メディアコンテンツの複数のメディアビューを示す符号化メディアデータを受信するステップと、ここで、各メディアビューが前記複数のメディアビューのうちの少なくとも別のメディアビューのメディアデータに対して前記メディアビューの前記メディアデータの符号化相互関係を示す構造優先度識別子と関連付けられ、前記複数のメディアビューのうちの少なくとも一部の各メディアビューが前記メディアビューのメディアデータのレンダリング重要度レベルを示すコンテンツ優先度識別子と関連付けられる；
    前記少なくとも１つのコンテンツ優先度識別子に基づいて処理のために前記複数のメディアビューの前記メディアデータのメディアデータ部分集合を選択するステップと
    を有することを特徴とする方法。
13. 前記選択するステップは、前記構造優先度識別子及び前記少なくとも１つのコンテンツ優先度識別子に基づいて処理のために前記メディアデータ部分集合を選択するステップを有すること特徴とする請求項１２に記載の方法。
14. 前記符号化メディアデータから前記選択されたメディアデータ部分集合を枝刈りするステップを更に有することを特徴とする請求項１２又は１３に記載の方法。
15. 前記選択されたメディアデータ部分集合を復号化、及びレンダリングするステップを更に有することを特徴とする請求項１２乃至１４のいずれか１項に記載の方法。
16. 第１のレベルのデータ保護を前記選択されたメディアデータ部分集合に適用するステップと；
    前記選択されたメディアデータ部分集合を含まない残りのメディアデータに、第２の異なるレベルのデータ保護を適用するステップと
    を更に有することを特徴とする請求項１２乃至１５のいずれか１項に記載の方法。
17. 多視点メディアデータを処理するデータ処理装置であって、
    メディアコンテンツの複数のメディアビューを示す符号化メディアデータを受信する受信部と、ここで、各メディアビューが前記メディアビューのメディアデータのレンダリング重要度レベルを示し且つ前記複数のメディアビューのうちの少なくとも別のメディアビューのメディアデータに対して前記メディアビューの前記メディアデータの符号化相互関係を示し、前記複数のメディアビューのうちの少なくとも一部の各メディアビューが前記メディアビューのメディアデータのレンダリング重要度レベルを示すコンテンツ優先度識別子と関連付けられる；
    前記少なくとも１つのコンテンツ優先度識別子に基づいて処理のために前記複数のメディアビューの前記メディアデータのメディアデータ部分集合を選択するメディア選択部と
    を有することを特徴とするデータ処理装置。
18. 前記メディア選択部は、前記構造優先度識別子及び前記少なくとも１つのコンテンツ優先度識別子に基づいて処理のために前記メディアデータ部分集合を選択するように構成されることを特徴とする請求項１７に記載の装置。
19. 前記符号化メディアデータから前記選択されたメディアデータ部分集合を枝刈りするメディア枝刈り部を更に有することを特徴とする請求項１７又は１８に記載の装置。
20. 前記選択されたメディアデータ部分集合を復号化する復号化部と、前記復号化され且つ選択されたメディアデータ部分集合をレンダリングするメディアプレイヤとを更に有することを特徴とする請求項１７乃至１９のいずれか１項に記載の装置。
21. 第１のレベルのデータ保護を前記選択されたメディアデータ部分集合に適用し、且つ第２の異なるレベルのデータ保護を前記選択されたメディアデータ部分集合を含まない残りのメディアデータに適用する保護適用部を更に有することを特徴とする請求項１７乃至２０のいずれか１項に記載の装置。

Images