JP5524193B2 - メディアストリーム処理 - Google Patents

Description

本発明は、一般に、割り当てられたタイムスタンプを有するメディアフレームを含むメディアストリームの処理及び生成に関する。

時間的冗長性及び空間的冗長性は、ビデオ、並びに他の種類のメディア及びマルチメディアを圧縮して示すために予測を使用して活用される。例えば画素予測は、Ｈ．２６１、Ｈ．２６３、ＭＰＥＧ−４及びＨ．２６４等のビデオ符号化規格の重要な部分である。Ｈ．２６４において、３つの画素予測方法、すなわちイントラ予測、インタ予測及び双方向予測が利用される。イントラ予測により、現フレーム中の、以前に復号された画素から現在の画素ブロックの空間予測を提供する。インタ予測により、前に復号されたフレームにおいて対応するが移動した画素ブロックを使用して現在の画素ブロックの時間的予測が得られる。双方向予測により、２つのインタ予測の加重平均が得られる。従って、イントラフレームはビデオストリームにおいていずれの先行フレームにも依存せず、双方向予測でそのようなインタフレームを含むインタフレームは、ビデオストリームにおいて１つ以上の他の参照フレームからの動き補正を使用する。

メディアプレーヤを含むユーザ端末は、イントラフレームにおいてメディアデータの復号及びレンダリングのみを開始する。大幅に遅延することなくビデオストリームに同調できるように、イントラフレームは一般に定期的に送出される。しかし、一般にイントラフレームは、インタフレームと比較してビット数に関してより大きいため、ビデオストリームにおける大きなオーバヘッドの原因となる。

メディアフレーム及びビデオストリームのフレーム搬送データパケットは、一般に、ストリームにおいてグループ化される。例えば、系統的な前方誤り訂正（ＦＥＣ）の場合、フレーム搬送データパケットは、種々のＦＥＣブロックにグループ化され、修復情報と共に送出される。そのようなＦＥＣブロックは、誤りがＦＥＣブロック間に伝播しないように、復号順序でイントラフレームから開始すべきである。これにより、より長い同調時間を更に回避する。すなわち、ＦＥＣ同調及びイントラフレーム同調は調整されるべきである。

図１は、フレーム１６、２２〜２６、３２〜３４をＦＥＣブロック１０、２０、３０に分割することを示す。図中、Ｉ₂２２、Ｉ₃３２は、それぞれ、番号２及び３のＦＥＣブロック２０、３０の初期イントラフレームを示す。Ｐ_ij１６、２４、２６、３４は、ＦＥＣブロック１０、２０、３０の番号ｉと、インタフレーム番号ｊを示す。ＦＥＣブロック２０の各メディアフレーム２２〜２６は、ＦＥＣブロック２０におけるメディアに対するレンダリング又は再生時間スケジュール（play-out time schedule)を規定するそれぞれのタイムスタンプ４０を有する。

現在、従来の符号化シーケンスの平均同調時間は、１．５×ＦＥＣブロックサイズである。最初に、ＦＥＣブロック全体がＦＥＣ復号できるのを待たなければならない。ＦＥＣブロック毎に単一のイントラフレームを使用する場合、通常、更なる半分のＦＥＣブロックがイントラフレームを取得するのを更に待つ必要がある。これは、インタフレームの時間的予測の特性のために、ＦＥＣブロックの開始後の同調により、後続ＦＥＣブロックの次のイントラフレームまで復号部及びメディアプレーヤがメディアデータの復号及びレンダリングを開始するのを防止するためである。

図１の上部において、ユーザ端末は、インタフレームＰ₂₃とＰ₂₄との間のストリーム１に同調する。これは、ユーザ端末が現在のＦＥＣブロック２０のインタフレームＰ₂₄〜Ｐ₂₇のみを受信することを意味する。従って、ユーザ端末は、メディアの再生が開始される前に、次のＦＥＣブロック３０のイントラフレームＩ₃３２を受信するのを待つ必要があり、これを図１の下部において例示する。更にユーザ端末は、パケットが復号される前にＦＥＣブロック全体を待つ必要がある。これは、ＦＥＣブロックにおける後続データパケットが先行パケットを修復するために使用され、且つ修復可能な誤りが発生する度に中断したくないためである。図１は、同調及びＦＥＣブロック全体をバッファリングした後に発生する再生を示すことによりこれを表す。しかし、ユーザ端末がＦＥＣブロック２０の先行フレームＩ₂、Ｐ₂₁〜Ｐ₂₃を正確に受信していないため、受信したインタフレームＰ₂₄〜Ｐ₂₇はユーザ端末に対して使用できない。

今日、現在の実現例の技術を使用してデータパケットをインタリーブできる。そのような場合、ＦＥＣブロック１０、２０の初期イントラフレーム１２、２２は、ＦＥＣブロック１０、２０の最後になる。これを示すのが図２である。図２を図１と比較すると、それぞれのＦＥＣブロック１０、２０、３０内のメディアフレーム１２〜１６、２２〜２６、３２〜３６の順序は入れ替えられている。

伝送順序で図１と同一の時点で同調する場合、ここで、ユーザ端末は、現在のＦＥＣブロック２０のインタフレームＰ₂₁〜Ｐ₂₃及びイントラフレームＩ₂を受信する。従って、ＦＥＣブロック２０の一部は復号可能である。

しかし、このようなインタリービングにより、同調遅延の部分はシーケンスへとわずかな距離移動される。従って、フレームＩ₂、Ｐ₂₁、Ｐ₂₂、Ｐ₂₃は、ＦＥＣブロック２０の最初で同調があったかのように再生され、これを図２の下部において示す。しかし、ＦＥＣブロック２０の次の４つのフレームＰ₂₄〜Ｐ₂₇が受信されないため、フレームＰ₂₃は、この例において、次のＦＥＣブロック３０の９番目のフレームＩ₃３２が再生されるまで表示される。その結果、フレームＰ₂₃のメディアデータが非常に長い時間表示され、これはユーザにとって視覚的に興味のないものとなる。レンダリングを連続するとＦＥＣブロックの全長での遅延が非常に大きくなることを示すＦＥＣブロックの端部に向って同調が実行される場合に、この問題は更に軽減される。

本発明の実施形態は、従来技術の構成のこれらの欠点及び他の欠点を克服する。

一般的な目的は、種々のレンダリング時間スケジュールに従ってメディアフレームをそれぞれ処理できるようにするメディアフレームのストリームを提供することである。

この目的及び他の目的は、添付の特許請求の範囲により規定されるような実施形態により達成される。

簡単に説明すると、一実施形態は、複数のメディアフレームを含むストリームを生成することを含む。これらのメディアフレームの各々は、それぞれ割り当てられたデフォルトタイムスタンプを有する。これらのデフォルトタイムスタンプは、デフォルトレンダリング時間スケジュールに従ってメディアフレームのメディアデータのレンダリング時間を規定する。少なくとも１つのそれぞれの代替タイムスタンプが、ストリームにおいて複数のメディアフレームの少なくとも一部に割り当てられる。これらの代替タイムスタンプは、少なくとも１つの代替レンダリング時間スケジュールに従ってメディアフレームのメディアデータの代替レンダリング時間を規定する。

代替タイムスタンプを使用することは、ストリームにおけるメディアフレームを種々のフレームグループに編成する場合、特にフレームグループにおいて階層フレーム伝送順序でメディアフレームを編成する場合にとりわけ有利である。そのようなフレームグループにおける中間位置においてストリームに同調する場合、すなわちフレームグループの少なくとも１つ以上のメディアフレームが欠落する場合、代替タイムスタンプは、フレームグループの開始時に同調しなかったにもかかわらず、効率的なメディア処理を達成するために使用される。そのような場合、同調されたフレームグループに対して受信されたメディアフレームの代替タイムスタンプは、これらのメディアフレームのメディアデータに対する代替レンダリング時間スケジュールを判定するために使用される。従って、フレームグループの欠落した１つ又は複数のメディアフレームにより発生する可能性があるメディアレンダリングにおけるあらゆる間隔の影響は、従来のデフォルトタイムスタンプではなく代替タイムスタンプに従ってメディアレンダリングすることにより、軽減されるかあるいは無くなる。

更に実施形態は、ストリームのメディアフレームを生成及び処理する装置及びそのようなストリームに関する。

実施形態は、添付の図面と共に以下の説明を参照することにより、本実施形態の更なる目的及び利点と共に最もよく理解されるだろう。

従来技術に従ってメディアフレームのストリームの伝送及びレンダリングを示す概略図である。 インタリーブドメディアフレームを含むメディアフレームのストリームの伝送及びレンダリングを示す概略図である。 一実施形態に従ってメディアフレームのストリームを生成する方法を示すフローチャートである。 一実施形態に従って代替タイムスタンプを含むメディアフレームのストリームの伝送及びレンダリングを示す概略図である。 別の実施形態に従って代替タイムスタンプを含むメディアフレームのストリームの伝送及びレンダリングを示す概略図である。 一実施形態に従ってメディアフレームのストリームを生成する装置を示す概略ブロック図である。 一実施形態に従ってメディアフレームのストリームを処理する方法を示すフローチャートである。 図７のストリーム処理方法の更なるオプションのステップを示すフローチャートである。 図７のストリーム処理方法の更なるオプションのステップを示すフローチャートである。 図７のストリーム処理方法の更なるオプションのステップを示すフローチャートである。 図７のストリーム処理方法の更なるオプションのステップを示すフローチャートである。 一実施形態に従ってメディアフレームのストリームを処理する装置を示す概略ブロック図である。 本実施形態が実現される無線通信システムの一部を示す概略図である。

図中、同一の図中符号は対応する要素又は類似する要素に対して使用される。

実施形態は、メディアフレームを搬送するデータパケットを含むメディアストリームの生成及び使用に関する。従来技術において既知であるように、そのようなメディアフレーム、すなわちより正確にはメディアフレームのメディアデータを搬送するデータパケットは、割り当てられたタイムスタンプを含む。これらのタイムスタンプは、メディアのレンダリング又は再生順序及び時間を規定するために復号及びレンダリング又は再生中に使用される。従来技術の構成において、各メディアフレームは、そのメディアフレームのメディアのレンダリング時間を規定する単一のタイムスタンプを有する。

本発明の実施形態は、メディアストリームにおいて少なくともメディアフレームのいくつかに代替タイムスタンプを割り当てることにより、根本的に異なる方法を採っている。その結果、これらのメディアフレームの各々は、メディアフレームにおけるメディアの種々のレンダリング時間を規定する複数の割り当てられたタイムスタンプを有する。それにより、デフォルトレンダリング時間スケジュールに従ってレンダリング時間を規定するデフォルトタイムスタンプは、代替レンダリング時間スケジュールに従って代替レンダリング時間を規定する少なくとも１つの代替タイムスタンプで補完される。

メディアストリームの代替タイムスタンプは、本明細書において開示されるような種々の目的のために、例えばメディアプレーヤ、トランスコーダ等のメディア処理端末により利用される。

メディアデータ又はマルチメディアデータは、コンテンツプロバイダ又はサーバによりデータをレンダリングするメディアプレーヤに供給されるあらゆるデータを参照する。一般的な好適な例にはビデオデータ及び／又はオーディオデータが含まれる。更にメディアデータは、スケーラブルベクタグラフィクス（ＳＶＧ）を含む種々のシーンを形成するように処理及びレンダリングされるスケーラブルビデオデータ及びリッチメディアの形態であってもよい。

実施形態に係るメディアストリームは、各々がメディアデータを含む複数のメディアフレームを含む。従って、そのようなメディアフレームはビデオデータを搬送するビデオメディアフレームであってもよい。ビデオメディアフレームは、従来、イントラフレーム（Ｉフレーム）又は予測フレーム（Ｐフレーム）及び双方向に予測フレーム（Ｂフレーム）を含むインタフレームとして分類される。更にメディアフレームは、オーディオデータを搬送するオーディオフレームであってもよい。スケーラブルビデオデータの場合、メディアフレームは、スケーラブルビデオデータの基層に対応するか又は基層に適用可能な更なる拡張層のデータを搬送する。リッチメディアは、従来、シーン又はランダムアクセスポイント及びいわゆるシーンの更新を含む。従って、メディアフレームは、そのようなシーンデータ又はシーン更新データを更に搬送する。

図３は、一実施形態に従ってメディアフレームのストリームを生成する方法を示すフローチャートである。方法は、複数のメディアフレームが供給されるステップＳ１において開始する。ステップＳ１のこのようなフレーム供給は、メディアデータが先に入力されたアクセス可能なメディアメモリからフレームのメディアデータを取り出すことにより実現される。あるいは、メディアフレームは、メディアデータが格納、記録又は生成された他の何らかの外付けユニットから受信される。更なる可能性は、ビデオシーケンスを記録すること又はメディアデータを合成的に生成すること等、メディアデータを実際に作成することである。

ステップＳ１において供給されたメディアフレームは、デフォルトレンダリング時間スケジュールに従ってメディアフレームのメディアのレンダリング時間を規定するそれぞれ割り当てられたデフォルトタイムスタンプを有する。これらのデフォルトタイムスタンプは、メディアフレームに割り当てられ、且つメディアの復号及びレンダリング等のメディアの処理中に使用される従来のタイムスタンプである。一般に、メディアフレームは、デフォルトタイムスタンプにより要求される規定のレンダリング順序及び時間を有する。

従来技術において既知であるように、メディアフレームのメディアデータは、伝送順序に関して連続であることが多い１つ以上のデータパケットに収容されてもよい。前者の場合、メディアフレームとデータパケットとの間に１対１の関係があり、メディアフレームに割り当てられたデフォルトタイムスタンプがメディアフレームのデータを搬送するデータパケットに割り当てられるものとして考えられるか又はデータパケットに割り当てられたデフォルトタイムスタンプがデータパケットのデータを搬送するメディアフレームに割り当てられるものとして考えられることを示す。後者の場合、メディアフレームのデータを搬送する全てのデータパケットは、そのメディアフレームのデフォルトタイムスタンプを割り当てられるのが好ましい。従って、単一のメディアフレームと関連付けられた全てのこれらのデータパケットは、同一のデフォルトタイムスタンプの通知を含むのが好ましい。以下において、デフォルトタイムスタンプ又は代替タイムスタンプは、メディアフレームに割り当てられるものとして説明される。しかし、これは、本明細書において前に開示されたように、デフォルトタイムスタンプ及び代替タイムスタンプをメディアフレームのデータを搬送するデータパケットに割り当てることを更に含む。

オプションであるが好適な一実施形態において、デフォルトタイムスタンプに供給されたメディアフレームは、複数のフレームグループに編成される。そのようなフレームグループは、ストリームの複数のメディアフレーム、好ましくはデフォルトタイムスタンプにより規定された複数の連続したメディアフレームを含む。メディアストリーミングに関連して当技術分野において使用されたそのようなフレームグループの非限定的な例は、いわゆる前方誤り訂正（ＦＥＣ）ブロック又はグループである。そのようなＦＥＣブロックは、ビデオデータの場合、デフォルトタイムスタンプにより規定されたようにレンダリング順序で多数のインタフレームが後続するイントラフレームを含む。ＦＥＣはデータを伝送するための誤り制御のシステムである。それにより、冗長性がメディアデータに追加され、且つデータの伝送及び受信中に発生する誤りを訂正する受信部により使用される。

ＦＥＣブロック等のフレームグループに属するメディアフレームは、階層フレーム伝送順序で編成されるのが好ましい。そのような場合、上位階層のフレームは伝送順序の最後に供給されるのが好ましく、下位階層のフレームは伝送順序の最初に供給される。このフレーム伝送順序は、割り当てられたタイムスタンプにより規定されるメディアフレームのレンダリング順序とは異なり且つ多くの場合はそれに関連しない。図１に示された従来技術の構成において、フレームグループ２０のメディアフレーム２２〜２６の伝送順序はフレームレンダリング順序と一致する。しかし、図２において、フレームグループ２０のメディアフレーム２２〜２６の伝送順序は、基本的に、メディアフレーム２２〜２６に割り当てられたデフォルトタイムスタンプ４０により規定されたレンダリング順序と逆である。インタリービングにより実現されたそのような階層フレーム伝送順序により、ＦＥＣブロック２０の開始後のどこかで同調した場合であっても同調メディアプレーヤが少なくともメディアフレーム２２〜２６の一部を復号及びレンダリングできるため、そのような階層フレーム伝送順序は一般に好まれる。

従って、好適な実現例は、フレームグループにおけるメディアフレームの階層フレーム伝送順序を提供し、最も重要なメディアフレームは伝送順序の最後であり、且つ最も重要でないフレームは伝送順序の最初である。ビデオメディアデータ及びＦＥＣブロックをフレームグループとして使用する場合、上位階層のフレーム、すなわちＦＥＣブロックの最も重要なフレームは、一般にイントラフレームである。それに対応して、下位階層のフレーム、すなわちＦＥＣブロックの最も重要でないフレームは、一般に、メディアストリームにおいて他のいかなるインタフレームに対しても参照フレームとして使用されないあらゆるインタフレームである。従って、他のインタフレームは、これらの最も重要でないメディアフレームに基づいて予測できない。その結果、階層フレーム伝送順序は、メディアストリームにおいて少なくとも１つの他のインタフレームに対して参照フレームとして使用されるあらゆるインタフレームにより先行されたイントラフレームを伝送順序の最後に含み、且つメディアストリームにおいて他のいかなるインタフレームに対しても参照フレームとして使用されないあらゆるインタフレームを伝送順序の最初に含むのが好ましい。

スケーラブルビデオメディアの場合、上位階層のフレームは、基層のメディアデータを搬送するメディアフレームであってもよい。階層的にあまり重要でないフレームは、更なる拡張層を保持するメディアフレームであってもよい。従って、そのようなあまり重要でないメディアフレームの各々は、メディアストリームのフレームレートを増加する。

上記で与えられた好適な例は、基本的にデフォルトレンダリング順序の逆であるメディアフレームの伝送順序を有することにより、逆インタリービングを説明する。しかし、実施形態は、そのような逆インタリービングに限定されず、あらゆる種類の伝送順序及びインタリービングが使用されてもよい。例えば、フレームグループ内でシーンが変化する場合、フレームグループにおいて２つ以上のイントラフレームが供給されてもよい。そのような場合、複数のイントラフレームは、フレームグループに対して伝送順序の最後に配置される。あるいは、イントラフレームは、レンダリング順序でシーンの後に配置されてもよい。

図１におけるストリーム生成方法の次のステップＳ３において、ストリームにおいてメディアフレームの少なくとも一部のメディアフレーム毎にそれぞれの代替タイムスタンプを判定する。これらの代替タイムスタンプは、代替レンダリング時間スケジュールに従ってメディアフレームのメディアの代替レンダリング時間を規定する。従って、少なくともメディアストリームの一部は、種々のレンダリング時間スケジュールに従って少なくとも２つのタイムスタンプの集合を有する。

ステップＳ３の一実施形態において、代替タイムスタンプは、メディアフレームに割り当てられたデフォルトタイムスタンプに関連するそれぞれのタイムオフセットとして判定される。あるいは、代替タイムスタンプは、特に同一のフレームグループの別のメディアフレームに対して、別のメディアフレームのレンダリング時間に関連するそれぞれのタイムオフセットとしてステップＳ３において判定される。図４においてこの概念を説明する。図４において、現在のメディアグループ２０の各メディアフレーム２２〜２６は、デフォルトレンダリング時間スケジュールに従ってフレームグループにおいてメディアのレンダリング時間を規定するそれぞれのデフォルトタイムスタンプ４０を含む。メディアフレーム２２〜２６はそれぞれの代替タイムスタンプ５０を更に含む。これらの代替タイムスタンプ５０は、階層フレーム伝送順序に従ってフレームグループ２０の第１のメディアフレーム２６に関連するタイムオフセットとして規定される。

従って、伝送順序で第１のメディアフレーム２６に割り当てられた代替タイムスタンプは、ゼロのオフセット値を有する。伝送順序で次のメディアフレームＰ₂₆は、１のオフセット値、従って１を有する。本明細書において更に説明されるように、これらのオフセット値は、従来技術と関連付けられた欠点を有さずにストリームに効率的に同調するために使用される。

ステップＳ３においてメディアフレームに対して判定された代替タイムスタンプは、メディアフレームのフレーム伝送順序に基づいて有利に規定される。オフセットの値、すなわち代替タイムスタンプ５０がＦＥＣブロック２０の伝送順序でメディアフレーム２２〜２６の相対位置に依存する図４において、これを更に説明する。この図示する例において、オフセット値５０は、ＦＥＣブロック２０の後で伝送されたメディアフレームに対して増加され、最小のオフセット値５０がＦＥＣブロック２０の伝送順序で第１のメディアフレーム２６に割り当てられている。

上記において、１つの代替タイムスタンプはメディアフレーム毎に割り当てられている。しかし、本発明の実施形態はこれに限定されない。明らかに対照的に、複数の代替タイムスタンプは、メディアストリームにおいて少なくともメディアフレームの一部に割り当てられる。これらの複数の代替タイムスタンプは、種々の代替時間スケジュールに従ってメディアフレームにおいてメディアの種々の代替レンダリング時間を規定する。本明細書において更に開示されるように、メディアフレーム毎に複数の代替タイムスタンプを使用する本実施形態は、例えばメディアレンダリングの開始を待つ時間を短縮するために同調する場合に有利である。

図３に戻り、例えば前に開示された実施形態のいずれかに従って代替タイムスタンプが判定されると、代替タイムスタンプはメディアストリームにおいてメディアフレームに割り当てられる。代替タイムスタンプは、メディアストリームにおける全てのメディアフレーム又はその一部にのみ割り当てられ、且つフレームグループの全てのメディアフレーム又はその一部にのみ割り当てられる。同一のフレームグループのメディアフレームに割り当てられた代替スタンプは異なってもよく、あるいは少なくともその一部が同一であってもよい。

方法は生成されたメディアストリームで終了する。ここで、各メディアフレームはそれぞれのデフォルトタイムスタンプを有し、少なくともメディアフレームのいくつかは、少なくとも１つのそれぞれ割り当てられた代替タイムスタンプを有する。

図６は、メディアフレームのストリームを生成するストリーム生成装置１００を示す概略ブロック図である。ストリーム生成装置１００は、各々がそれぞれのデフォルトタイムスタンプを有する複数のメディアフレームを供給するように実現されたフレーム供給部１２０を備える。フレーム供給部１２０は、メディアフレームのメディアを記録又は生成する内蔵型又は外付けメディアエンジン１７０に接続される。あるいは、フレーム供給部１２０は、ストリーム生成装置１００の接続受信部１１０から一般に符号化された形態で又は符号化されていないメディアデータとしてメディアフレームを受信する。次に受信部１１０は、通信システムにおいて、有線通信又は無線通信を通じて外付け端末からメディアデータを受信する。更に別の方法として、フレーム供給部１２０は、ストリーム生成装置１００の接続フレームメモリ１６０からメディアフレームに編成されるメディアフレーム又はメディアデータを取り出す。

ストリーム生成装置１００は、メディアフレームに対して代替タイムスタンプを判定するオプションのタイムスタンプ判定部１４０を備えるのが好ましい。上述したように、このタイムスタンプ判定部１４０は、代替タイムスタンプをメディアフレームに割り当てられたデフォルトタイムスタンプに関連するそれぞれのタイムオフセット又はストリームにおいて別のメディアフレームのレンダリング時間に関連するタイムオフセットであると判定する。タイムスタンプ判定部１４０は、ストリーム生成装置１００の送信部１１０がメディアフレームを１つ以上のユーザ端末に送信するために使用する相対フレーム伝送順序に基づいて代替タイムスタンプを必要に応じて判定してもよい。タイムスタンプ判定部１４０は、代替タイムスタンプを割り当てるべきメディアフレーム毎に１つ以上の代替タイムスタンプを判定してもよい。

タイムスタンプ割当部１３０は、判定された代替タイムスタンプをフレーム供給部１２０により供給されたメディアフレームの少なくとも一部の各メディアフレームに割り当てる。デフォルトタイムスタンプ及び少なくとも１つの代替タイムスタンプを有する形成されたメディアフレームは、送信部１１０により、例えばトランスコーダ、メディアプレーヤを含むユーザ端末等の１つ以上の外付けユニットに直接送出されてもよい。あるいは、形成されたメディアフレームは、後で１つ又は複数の外付けユニットを検索し且つそれらに伝送するためにフレームメモリ１６０に入力される。

オプションのフレーム編成部１５０は、供給され且つ処理されたメディアフレームをＦＥＣブロック等のフレームグループに編成するストリーム生成装置１００において実現される。フレーム編成部１５０は、上述したように、階層フレーム伝送順序でフレームグループにおいてメディアフレームを編成するのが好ましく、上位階層のフレームの伝送順序は最後であり、且つ下位階層のフレームの伝送順序は最初である。

本発明の実施形態に従って生成されたメディアフレームは、例えば送信部１１０によるマルチキャスト伝送又は同報伝送として１つ以上のユーザ端末に伝送されてもよい。あるいは、ストリーム生成装置１００が実現されてもよい有線通信システム又は無線通信システムの他のある装置がメディアフレームをユーザ端末に転送する間に、ストリーム生成装置１００は単にメディアストリームのメディアフレームを生成する。

ストリーム生成装置１００のユニット１１０〜１４０は、ハードウェア、ソフトウェア又はハードウェアとソフトウェアとの組合せで提供されてもよい。ストリーム生成装置１００は、有線通信システム又は好ましくはラジオを用いた無線通信システムのネットワークノードにおいて有利に配置されてもよい。ストリーム生成装置１００は、コンテンツプロバイダ又はサーバの一部を構成するか、あるいはそれらに接続される。

図７は、一実施形態に従ってメディアストリームのメディアフレームを処理する方法を示すフローチャートである。本実施形態において、ストリームは、各々が複数のメディアフレームを含むＦＥＣブロック等の複数のフレームグループを含む。メディアフレームは、デフォルトレンダリング時間に従ってメディアフレームのメディアデータのレンダリング時間を規定するそれぞれのデフォルトタイムスタンプを有する。本明細書において前に開示されたように、少なくともメディアフレームのいくつかは、それぞれ少なくとも１つの代替タイムスタンプを更に含む。

図４及び図７を参照すると、方法はステップＳ１０において開始し、ステップＳ１０は、フレームグループ２０の中間点においてストリーム１に同調することを含む。次のステップＳ１１において、フレームグループ２０の残りのフレームＩ ₂ 、Ｐ₂₁〜Ｐ₂₃を受信する。

従来技術に従ってデフォルトタイムスタンプ４０を使用してメディアフレームを復号及びレンダリングしなければならなかった場合、図２を参照して背景の節で説明した問題が発生する。しかし、ステップＳ１２において、受信したメディアフレームＩ ₂ 、Ｐ₂₁〜Ｐ₂₃の代替タイムスタンプ５０は、代替レンダリング時間スケジュールを判定するために使用される。従って、この場合、メディアフレームのそれぞれのレンダリング時間を規定する場合に使用するレンダリング時間スケジュールは、デフォルトタイムスタンプ４０だけではなく代替タイムスタンプ５０を使用して判定される。

図４の例において、代替タイムスタンプ５０は、後に伝送されたフレームグループ２０のメディアフレームに対して増加し続けるオフセット値を含むタイムオフセットの形態である。従って、フレームグループ２０の受信したメディアフレームＩ ₂ 、Ｐ₂₁〜Ｐ₂₃は、７、６、５及び４の代替タイムスタンプ値を割り当てた。ステップＳ１２において、受信したメディアフレームＩ ₂ 、Ｐ₂₁〜Ｐ₂₃の最小の代替タイムスタンプ値、すなわちこの場合は４が識別される。

次のステップＳ１３において、代替タイムスタンプに基づいてステップＳ１２において判定された代替時間スケジュールに従って受信したメディアフレームＩ ₂ 、Ｐ₂₁〜Ｐ₂₃をレンダリングする。従って、図４のこの例において、メディアフレームのレンダリングは、タイムスタンプ数５＝１＋４から開始されるべきである。この結果、先行のタイムスタンプに対応するあらゆるメディアデータがスキップされる。換言すると、図２の従来技術を図４の実施形態と比較すると、メディアフレームＩ ₂ 、Ｐ₂₁〜Ｐ₂₃のレンダリングは、同一の再生時間において開始されるが、種々の開始タイムスタンプ、すなわち実施形態に係るタイムスタンプ５及び従来技術に係るタイムスタンプ１から開始される。本実施形態において、この代替時間スケジュールは、第１のフレームグループ２０のタイムスタンプ５、６、７、８に従ってメディアデータを途切れることなく連続してレンダリングし、再生中にいかなる中断も長時間表示もなく第２のフレームグループ３０のメディアフレーム３２、３４を引き続き円滑にレンダリングする。

これは、図２のようなレンダリングが開始された後の１つのメディアフレームＰ₂₃のメディアデータの長時間表示が図４の実施形態により解決されることを意味する。メディアレンダリングが開始されるとメディアデータの中断又は不自然な長時間表示は必要ないため、図４の実施形態により、閲覧ユーザにとって視覚的に更により魅力的な解決策を提供する。明らかに対照的に、現在のフレームグループ２０のメディアフレームＩ ₂ 、Ｐ₂₁〜Ｐ₂₃を円滑にレンダリングし、次のフレームグループ３０のメディアフレームＩ₃、Ｐ₃₁を更にレンダリングする。

図８は、図７における処理方法の更なるオプションのステップを示すフローチャートであり、図７のステップＳ１２から継続する。次のステップＳ２０において、現在のフレームグループ２０の受信したメディアフレームＩ ₂ 、Ｐ₂₁〜Ｐ₂₃間で開始フレームを識別する。好適な一実施形態において、フレームグループ２０はメディアフレーム２２〜２６の階層的な編成を有し、復号の観点から最も重要なメディアフレームの伝送順序はフレームグループ２０の最後である。従って、開始フレーム２２は、通常、フレームグループ２０に対して受信された最後のフレームＩ₂として識別される。一般に開始フレーム２２は、ストリーム１において他のいかなるメディアフレームも参照することなく復号が開始されるメディアフレーム２２である。従って、開始フレーム２２は、ビデオストリーム１のイントラフレーム又はスケーラブルビデオストリーム１の基層フレームであってもよい。開始フレーム２２は、メディアフレーム２２〜２６のヘッダ等のメディアフレーム２２〜２６に含まれた情報に基づいて又はフレームグループ２０におけるメディアフレーム２２〜２６の位置から識別される。

図７のステップＳ１３に進むと、メディアフレームのレンダリングは、開始フレームから開始され且つ代替レンダリング時間スケジュールに従って実行される。

図４及び図９を参照すると、図７のステップＳ１３から図９のステップＳ３０に進む。このステップＳ３０において、後続フレームグループ３０のメディアフレームＩ₃、Ｐ₃₁〜Ｐ₃₇を受信する。しかし、一般にこれらのメディアフレームＩ₃、Ｐ₃₁〜Ｐ₃₇は、ステップＳ３１においてデフォルト時間スケジュールに従ってレンダリングされる。従って、代替タイムスタンプは、第１のフレームグループ２０のメディアフレームＩ₂、Ｐ₂₁〜Ｐ₂₃に対して使用され、第１のメディアフレームＰ₂₇の伝送後に同調する。しかし、全てのメディアフレームＩ₃、Ｐ₃₁〜Ｐ₃₇が受信され、且つ復号及びレンダリングされる後続フレームグループ３０の場合、デフォルトタイムスタンプにより規定されたデフォルト時間スケジュールに従ってレンダリングされる。あるいは、第１のフレームグループ２０の代替タイムスタンプに基づいて判定され且つそのフレームグループ２０の全てのメディアフレームＩ₂、Ｐ₂₁〜Ｐ₂₃に適用された同一のタイムオフセットは、後続フレームグループ３０のフレームＩ₃、Ｐ₃₁〜Ｐ₃₇に更に適用される。従って、これらの後続タイムグループ３０に対するレンダリング時間スケジュールは、デフォルトタイムスタンプ及び判定されたタイムオフセットに基づいて規定される。

ステップＳ３０及びＳ３１により規定されたループは、受信した後続フレームグループ毎に実施されるのが好ましく、これを線Ｌ１により概略的に示す。

図１０は、図７における処理方法の更なるオプションのステップを示すフローチャートであり、図７のステップＳ１１から継続する。本実施形態において、受信したメディアフレームの少なくとも一部に対して使用可能な代替タイムスタンプは、図４に関連して上述されたようなタイムオフセットの形態である。次のステップＳ４０において、現在のフレームグループに対して受信されたメディアフレームのタイムオフセットのうちで最小のタイムオフセットを識別する。次に、フレームグループに対する代替レンダリング時間スケジュールは、識別された最小のタイムオフセットに少なくとも部分的に基づいて判定される。一般的な一実現例において、識別されたタイムオフセットは、フレームグループの開始フレームに対してレンダリング開始時間を判定する。従って、識別されたタイムオフセットにより、フレームグループのＩフレーム等の開始フレームのメディアデータのレンダリングがメディアプレーヤにより開始されるべき特定の時間を判定できる。

代替レンダリング時間スケジュールを判定する特定の実施形態は、代替レンダリング時間スケジュールを規定するために代替タイムスタンプ及びデフォルトタイムスタンプの双方を使用する。例えば、図４を参照すると、現在のフレームグループ２０において受信したメディアフレームＩ₂、Ｐ₂₁〜Ｐ₂₃の最小の代替タイムスタンプ５０は４である。この値は、受信したメディアフレームＩ₂、Ｐ₂₁〜Ｐ₂₃のデフォルトタイムスタンプ４０に追加され、メディアフレームＩ₂、Ｐ₂₁〜Ｐ₂₃の実際のレンダリング時間を規定する更新されたタイムスタンプを取得する。この図示する例において、開始フレーム２２は１＋４＝５のタイムスタンプを取得するため、レンダリング順序で他の後続するメディアフレームＰ₂₁〜Ｐ₂₃はタイムスタンプ６〜８を取得する。従って、これらのメディアフレームＩ₂、Ｐ₂₁〜Ｐ₂₃のレンダリングは、タイムスタンプ５から開始される。

図５は、代替タイムスタンプを割り当て且つ使用する別の一実施形態を示す。最初に、本実施形態は、フレームグループ２０の全てのメディアフレーム２２〜２６が必ずしもそれぞれの代替タイムスタンプを有する必要はないことを説明する。メディアストリーム１に効率的に同調するために代替タイムスタンプを使用する場合、メディアフレームのうちの１つのメディアデータを数ミリ秒間表示することが許容されてもよい。これは、フレームグループ２０の開始直後に且つ割り当てられたいかなる代替タイムスタンプも使用せずに同調する場合に起こる。従って、従来技術の問題は、ユーザ端末が同調するフレームグループ２０において後で益々深刻化する。これは、あらゆる代替タイムスタンプがフレームグループ２０の伝送順序で少なくとも最後のいくつかのメディアフレームに割り当てられるのが好ましいことを意味する。しかし、同調と関連した代替タイムスタンプの有益な効果は、フレームグループにおける全てのメディアフレーム又は少なくともその主な部分がそれぞれ割り当てられたか又は関連付けられた代替タイムスタンプを有する場合に最も効率的に利用される。

図５は、図４の実施形態と比較した別の差異を更に示す。図４において、フレームグループ２０の各メディアフレーム２２〜２６は、フレーム伝送順序に従ってフレームグループ２０におけるメディアフレーム２２〜２６の相対位置に基づいて規定された一意の代替タイムスタンプ５０を有する。実際には、メディアフレーム２２〜２６に対して一意の代替タイムスタンプ５０を有する必要はない。明らかに対照的に、フレームグループ２０のメディアフレーム２２〜２６のうちの少なくとも２つは、同一の割り当てられた代替タイムスタンプ５０を有する。

図５において、代替タイムスタンプ５０を有する全てのメディアフレームＩ₂、Ｐ₂₁〜Ｐ₂₄は、同一のタイムスタンプ値を有する。図５の状況を図４と比較すると、フレームＰ₂₄とＰ₂₃との間のメディアストリーム１に同調するユーザ端末は、図４と同一のメディアフレームＩ₂、Ｐ₂₁〜Ｐ₂₃を受信する。しかし、最小の代替タイムスタンプ、すなわちこの例ではオフセット値は、４ではなく３である。従って、開始フレーム２２の算出されたタイムスタンプは１＋３＝４であり、開始タイムスタンプが実際には図４より１ポイント小さいことを示す。図５において、同一の代替タイムスタンプの割り当てのために、メディアフレームＰ₂₃のうちの１つのメディアデータは、後続フレームグループ３０のメディアフレーム３２、３４からのメディアデータでレンダリングが継続される前に２つのレンダリング時刻に対して実際に表示される。従って、これは、図４と比較して多少劣る結果となるが、対応する図２に示された従来技術の例と比較すると依然として著しい改善である。従って、実施形態は、代替タイムスタンプをメディアフレームのうちのいくつかに単に割り当てることにより、同一の代替タイムスタンプを複数のメディアフレームに割り当てる場合に従来技術を更に改善する。

図１１は、図７における処理方法の更なるオプションのステップを示すフローチャートであり、図７のステップＳ１１から継続する。以下の更なるステップＳ５０は、複数の代替タイムスタンプがメディアフレームに割り当てられる場合に適用可能である。そのような場合、ステップＳ５０において、複数の割り当てられた代替タイムスタンプを有する受信したメディアフレーム毎に使用するための代替タイムスタンプを識別する。また、ステップＳ５０において、フレームグループにおけるストリームへの同調位置に少なくとも部分的に基づいて識別されるのが好ましい。従って、フレームグループにおいて非常に早い段階で同調する場合、それぞれの第１の代替タイムスタンプは、ステップＳ５０においてメディアフレームに対して識別される。しかし、フレームグループにおいて後で代わりに同調する場合、種々のそれぞれの第２の代替タイムスタンプは識別されるのが好ましい。これにより、ユーザ端末は、現在の状況に対して最適な代替タイムスタンプの集合を識別できる。その結果、メディアストリームのフレームグループの第１の位置で同調する第１のユーザ端末は、通常、同一のフレームグループの第２の位置で同調する第２のユーザ端末と比較して別の代替タイムスタンプの集合を使用する。

従って、ユーザ端末は、メディアフレームのデフォルトタイムスタンプ等のメディアフレームに含まれた情報又はフレームグループの伝送順序でメディアフレームの位置を判定する他の情報を使用するのが好ましい。例えば、メディアフレームを搬送するデータパケットは、データパケットのそれぞれのパケット番号を識別できるようにするヘッダ情報を含んでもよい。そのように含まれたどの情報も、フレームグループにおける同調位置を判定し且つステップＳ５０において適切な代替タイムスタンプを識別するために使用される。

図７のステップＳ１２に進み、識別された代替タイムスタンプは、受信したメディアデータに対して代替レンダリングスケジュールを判定するために使用される。

図１２は、メディアフレームを処理する装置２００の一実施形態を示す概略図である。図１２において、装置２００は、メディア再生機能性を有するユーザ端末の形態で非限定的に示されている。例えばそのようなユーザ端末２００は、例えば携帯電話、パーソナルデジタルアシスタンス、通信機器を含むラップトップコンピュータ等の無線通信システムの携帯ユーザ端末であってもよい。本発明から利益を得るユーザ端末の他の例には、コンピュータ、ゲームコンソール、ＴＶ復号器及びメディアデータを処理及びレンダリングするように構成された他の機器が含まれる。また、装置２００は、必ずしもメディアレンダリング装置でなくてもよい。明らかに対照的に、装置２００は、他の処理のために本明細書において開示されたような代替タイムスタンプを使用する。例えば、符号化されたメディアフレームを受信、復号及び再び符号化するように構成されたトランスコーダは、代替タイムスタンプを使用する。

装置２００は、メディアストリームのメディアフレームを受信する受信部２１０を備える。一実施形態において、装置２００は、メディアフレームのフレームグループの開始後のどこかでメディアストリームに同調する。従って、装置２００は、フレームグループにおいて現在同調されている全てのメディアフレームを受信しない。

装置２００のスケジュール判定部２２０は、受信したメディアに対する代替レンダリング時間スケジュールを判定するために、フレームグループの少なくとも受信したメディアフレームのいくつかに使用可能な代替タイムスタンプを使用する。

第１の実現例において、スケジュール判定部２２０は、メディアフレームを搬送するデータパケットから代替タイムスタンプを抽出する。これは、メディアフレームを搬送する同一のデータパケットに代替タイムスタンプが含まれることを意味する。別の一実現例において、代替タイムスタンプは別個に信号を伝送される。すなわち、代替タイムスタンプは、データパケットを搬送するメディアフレームに含まれない。例えば、メディアデータを装置２００に転送することを含むメディアセッションに関する制御チャネルは、代替タイムスタンプを別個に伝送するために使用される。これは、メディアフレームの識別部又は代替タイムスタンプが適用されるフレームグループにおけるフレーム位置の識別部のデータパケットと各々の代替タイムスタンプを関連付けることにより実現される。そのような場合、装置２００は代替タイムスタンプを受信するか否かを判断する。これは、例えば既にストリームに同調していることにより代替タイムスタンプを使用する必要がない装置２００が代替タイムスタンプを受信しないことを意味する。従って、伝送したメディアフレームパケットの合計サイズは、そこに代替タイムスタンプが含まれる場合より多少小さく維持される。

更に別の可能性は、メディアフレームを受信する前に装置２００において既に供給された代替タイムスタンプを使用することである。例えば代替タイムスタンプは、装置２００のメモリ２６０においてハードコード化されるか、あるいはメディアセッションの開始時又は設定時等に受信される。フレームグループが、一般に、フレームグループ毎のメディアフレーム数に関して明確なサイズを有する場合及びフレームグループにおいて所定の位置を占有するメディアフレームが別のフレームグループにおいてではあるが同一の位置を占有する別のメディアフレームと同一の代替タイムスタンプを使用する場合、本実施形態は可能である。フレームグループ２０が８個のメディアフレーム２２〜２６を含むものとして非限定的に示された図４を参照する。そのような場合、伝送順序に従う各フレームグループ２０、３０における第１のメディアフレーム２６、３６は同一の代替タイムスタンプを有し、第２のメディアフレームは同一の代替タイムスタンプ等を有する。

そのような場合、装置２００は、受信したメディアデータに対する代替レンダリング時間スケジュールを判定する場合に使用するための少なくとも１つの代替タイムスタンプを識別するタイムスタンプ識別部２５０を備えるのが好ましい。タイムスタンプ識別部２５０は、ストリームに同調するフレームグループにおける位置を識別するのが好ましい。使用するためにハードコード化されたか又は前に供給された複数の代替タイムスタンプの代替タイムスタンプは、この識別された位置に基づいて判定されるのが好ましい。

必ずしも上述されたようにではないが、一般に装置２００は、実際にメディアをレンダリング又は再生するメディアプレーヤ２７０を備える。メディアプレーヤ２７０は、周知の技術に従ってメディアフレーム及びメディアデータを復号する復号部２７５を備えるか又は復号部２７５へのアクセス権を有する。復号されたメディアは、例えば装置２００に含まれた又は装置２００に接続された表示画面２８０上に表示されることにより、メディアプレーヤ２７０によりレンダリングされる。あるいは又は更に、オーディオの形態のメディアは、装置２００に含まれた又は装置２００に接続されたスピーカ２９０により再生される。

オプションのフレーム識別部２３０は、同調されたフレームグループのレンダリング開始フレームを識別するために装置２００において実現されてもよい。一般にこの開始フレームは、デフォルトタイムスタンプ等の受信したデータパケットに含まれた情報、あるいはデータパケットにより搬送されたイントラフレーム又はインタフレーム等のメディアフレームの種類を識別する情報に基づいて識別される。メディアプレーヤ２７０は、識別された開始フレームに含まれたデータでメディアレンダリングを開始し、スケジュール判定部２２０により判定された代替レンダリング時間スケジュールに従ってメディアレンダリングを継続する。

現在のフレームグループの全てのメディアデータがレンダリングされると、メディアプレーヤ２７０は後続フレームグループからのメディアデータを継続する。しかし、受信したメディアフレームに含まれたデフォルトタイムスタンプがこれらの後続メディアフレームに対して使用されるような場合、デフォルトレンダリング時間スケジュールに従ってメディアレンダリングが進行することを示す。

代替タイムスタンプがデフォルトタイムスタンプに関連するタイムオフセットとして判定される場合、スケジュール判定部２２０は、メディアフレームに割り当てられたデフォルトタイムスタンプ及び代替タイムスタンプの双方に基づいて代替レンダリング時間スケジュールを判定するのが好ましい。

受信したメディアのレンダリング開始時間を判定するために使用する１つ又は複数の代替タイムスタンプは、装置２００のオフセット識別部２４０により識別されるのが好ましい。オフセット識別部２４０は、現在のフレームグループに対して正確に受信され且つ装置２００により復号可能なメディアフレームに対して割り当てられた最小のオフセットタイムを識別するのが好ましい。スケジュール判定部２２０は、メディアプレーヤ２７０により使用される代替レンダリング時間スケジュールを判定するために、必要に応じてデフォルトタイムスタンプと共にこの識別された最小のオフセット値を使用する。

受信したメディアフレームの少なくともいくつかが複数の割り当てられた代替タイムスタンプを有する場合、上述のタイムスタンプ識別部２５０は装置２００により更に使用されてもよい。タイムスタンプ識別部２５０は、前に説明されたようなメディアストリームにおける装置２００の同調位置に基づいて、現在の例に適用可能な１つ又は複数の代替タイムスタンプを選択するのが好ましい。

装置２００のユニット２１０〜２５０、２７０、２７５は、ハードウェア、ソフトウェア又はハードウェアとソフトウェアとの組合せで提供されてもよい。

同一のメディアデータを長期間表示又は再生することなく同調及びメディアレンダリングを効率的に実現するために代替タイムスタンプを使用することに関連して、実施形態を主に上述した。しかし、これは、代替タイムスタンプから利益を得る唯一の有利なフレーム処理ではない。上述されたように、代替タイムスタンプは、トランスコーダ装置がフレームグループの全てのメディアフレームを正確に受信しなかった場合、メディアトランスコーディング中に使用される。更にトランスコーダ装置は、メディアに対する代替レンダリング時間スケジュールを判定するために代替タイムスタンプを使用する。

そのような場合、トランスコーダ装置は、本明細書において上述したように基本的に復号部と同じように代替タイムスタンプを使用してもよい。例えばトランスコーダ装置は、代替タイムスタンプを使用してフレームグループが同調する機会に依存してレンダリング時間を選択してもよい。同様に、トランスコーダ装置は、例えばフレームグループの最後の最も重要なフレームでフレームグループにおいてメディアフレームの順序を逆にすることにより、符号部のように動作してもよい。トランスコーダ装置は、フレームグループにおけるメディアフレームの位置からフレームグループの最後までの距離に依存して、各メディアフレームをタイムスタンプオフセット等の代替タイムスタンプに割り当てる。

代替タイムスタンプの更なる使用例は、複数の種類のメディアがビデオメディア及びオーディオメディア等と共に処理される場合である。そのような場合、オーディオフレームを搬送するデータパケットと比較して、ビデオフレームは、場合によっては別個のメディアストリームの別個のデータパケットにおいて送出される。また、一般にビデオフレームは、オーディオフレームに割り当てられたデフォルトタイムスタンプとは別個のデフォルトタイムスタンプを有する。代替タイムスタンプは、他の種類のメディア、すなわちオーディオの既に受信したメディアの量に依存してビデオ等の１つの種類のメディアのメディアレンダリング時間スケジュールを判定するために、ビデオフレーム、オーディオフレーム又はオーディオフレーム及びビデオフレームの双方に関連して使用されるか、あるいはその逆も成り立つ。例えば、ビデオデータの代替レンダリング時間スケジュールは、受信したオーディオデータの量に基づいてビデオフレームに割り当てられた代替タイムスタンプにより判定される。従って、装置が１秒のオーディオを受信し且つオーディオデータが復号順序で送出される場合、装置は、１秒に対応するＦＥＣブロックサイズのタイムオフセットでビデオが前進されると判定する。このオフセット、すなわち代替タイムスタンプは、１秒のビデオが存在するものと考えられるようにビデオを調節するために装置により使用される。別の例は、フレームのタイムスタンプと次のＦＥＣブロックの開始フレーム（表示順序で）のタイムスタンプとの距離を装置が認識するか否かである。この場合、２秒のビデオがＦＥＣブロックの境界上で円滑に遷移させる最後の２秒の現在のＦＥＣブロックであるように、装置は、例えばこれらの２秒のビデオを受信し且つオフセット等の代替タイムスタンプを使用する。

代替タイムスタンプは、例えばストリームのメディアフレームを早送りするために更に使用される。例えば、ストリームのメディアデータは、全てのメディアフレームがデフォルトタイムスタンプに従って順にレンダリングされるデフォルト時間スケジュール中にレンダリングされる。あるいは、ストリームのメディアデータは、代替タイムスタンプにより規定された代替時間スケジュールに従ってレンダリングされる。そのような場合、メディアフレームのうちのいくつかは、ストリームにおいて選択されたメディアフレーム間で「躍進させる」代替タイムスタンプにより規定されたように実際にスキップされてもよく、他のスキップされたメディアフレームにより搬送されたメディアデータを省略する。

本明細書において開示されたようなタイムスタンプの代替集合を使用することは、種々のレンダリング時間スケジュールに従って複数の時点において画像が表示されることを示すものとして解釈されてもよい。早送り時に表示する画像を選択する場合、最長の有効時間を有するメディアフレームが選択される。

代替タイムスタンプの更なる使用例は、メディアストリーム内で効率的なナビゲーションを実現することである。メディアフレームに代替タイムスタンプを与えることにより、メディアフレームは、ある特定の時間通りにナビゲートする場合及び早送り中であってもタイムスタンプにより規定されたこれらの時間ぴったりに取得される必要はない。例えば、時間１０、２０及び３０等を表示するのではなく、メディアフレーム９、１９及び２９等を符号化する方が容易であってもよい。

図１３は、実施形態が実現される無線通信システム５００の一部を示す概略図である。通信システム５００は、１つ以上のネットワークノード又は接続されたユーザ端末２００に通信サービスを供給する基地局４００を備える。特に、基地局４００は、本明細書において開示されたように、割り当てられたデフォルトタイムスタンプ及び代替タイムスタンプを有するメディアフレームを搬送するデータパケットを通信する。基地局４００は、上述され且つ図６において開示されたストリーム生成装置１００を含むメディアサーバ又は供給部３００を備えるか、あるいはそれに接続される。

メディアストリームはユニキャスト伝送で伝送されてもよいが、概略的に図示されたように、通常、マルチキャスト伝送又は同報伝送の形態である。

添付の請求の範囲により規定される本発明の範囲から逸脱せずに、種々の変形及び変更が本発明に対して行なわれてもよいことが当業者には理解されるだろう。

Claims (16)

1. メディアフレーム（１２〜１６、２２〜２６、３２〜３６）のストリーム（１）を生成する方法であって、
   複数のフレームグループで構成される複数のメディアストリームを提供するステップと、
   ここで、１つのフレームグループ内の各メディアフレームは、階層的に上位のフレームが階層的に下位のフレームに後続する階層伝送フレーム順に転送され、
   前記フレームグループ内の各メディアフレームは、デフォルトレンダリング時間スケジュールに従って自身のメディアのレンダリング時間を規定する割り当てられたデフォルトタイムスタンプ（４０）を有する；
   代替レンダリング時間スケジュールに従って前記フレームグループ内の前記メディアフレーム（２２〜２６）の前記メディアの代替レンダリング時間を規定する代替タイムスタンプ（５０）を、前記フレームグループ内の複数のメディアフレーム（２２〜２６）の少なくとも一部である各メディアフレーム（２２、２４）に割り当てるステップと、
   ここで、前記代替タイムスタンプは、前記フレームグループ内の最初のメディアフレームに対するオフセットとして決定される；
   とを有することを特徴とする方法。
2. 前記複数のメディアフレーム（２２〜２６）を、階層フレーム伝送順序でフレームグループ（２０）に編成するステップを更に含み、最上位階層のフレーム（２２）は前記階層フレーム伝送順序の最後に、且つ最下位階層のフレーム（２６）は前記階層フレーム伝送順序の最初に配置し、前記ストリームは複数のフレームグループ（１０、２０、３０）を含むことを特徴とする請求項１記載の方法。
3. 前記編成するステップは、前記階層フレーム伝送順序で前記フレームグループ（２０）において前記複数のメディアフレーム（２２〜２６）を編成するステップを含み、イントラフレーム（２２）は前記複数のフレーム（２２〜２６）のうちの少なくとも１つの他のインタフレームに対して参照フレームとして使用される前記複数のメディアフレームのあらゆるインタフレームが先行する前記階層フレーム伝送順序の前記最後であり、且つ前記複数のフレーム（２２〜２６）のうちの少なくとも１つの他のインタフレームに対して参照フレームとして使用されない前記複数のメディアフレームのあらゆるインタフレーム（２６）は、前記階層フレーム伝送順序の前記最初であることを特徴とする請求項２記載の方法。
4. メディアフレーム（１２〜１６、２２〜２６、３２〜３６）のストリーム（１）を生成する装置（１００）であって、
   複数のフレームグループで構成される複数のメディアストリームを供給するフレーム供給部（１２０）と、
   ここで、１つのフレームグループ内の各メディアフレームは、階層的に上位のフレームが階層的に下位のフレームに後続する階層伝送フレーム順に転送され、
   前記フレームグループ内の各メディアフレームは、デフォルトレンダリング時間スケジュールに従って自身のメディア（２２〜２６）のレンダリング時間を規定する割り当てられたデフォルトタイムスタンプ（４０）を有する；
   代替レンダリング時間スケジュールに従って前記フレームグループ内の前記メディアフレーム（２２、２４）の前記メディアの代替レンダリング時間を規定する代替タイムスタンプ（５０）を、前記フレームグループ内の複数のメディアフレーム（２２〜２６）の少なくとも一部の各メディアフレーム（２２、２４）に割り当てるタイムスタンプ割当部（１３０）と、
   ここで、前記代替タイムスタンプは、前記フレームグループ内の最初のメディアフレームに対するオフセットとして決定される；
   を備えることを特徴とする装置。
5. 前記複数のメディアフレーム（２２〜２６）を、階層フレーム伝送順序でフレームグループ（２０）に編成するステップを更に備え、最上位階層のフレームは前記階層フレーム伝送順序の最後に、且つ最下位階層のフレームは前記階層フレーム伝送順序の最初に配置し、前記ストリーム（１）は複数のフレームグループ（１０、２０、３０）を含むことを特徴とする請求項４記載の装置。
6. 前記複数のメディアフレーム（２２〜２６）の前記少なくとも一部のメディアフレーム（２２、２４）毎に、前記メディアフレーム（２２、２４）に割り当てられた前記デフォルトタイムスタンプ（４０）に関連するタイムオフセットとして前記代替タイムスタンプ（５０）を判定するタイムスタンプ判定部（１４０）を更に備えることを特徴とする請求項４又は５に記載の装置。
7. 前記複数のメディアフレーム（２２〜２６）の前記少なくとも一部のメディアフレーム（２２、２４）毎に、前記複数のメディアフレーム（２２〜２６）の別のメディアフレーム（２６）のレンダリング時間に関連するタイムオフセットとして前記代替タイムスタンプ（５０）を判定するタイムスタンプ判定部（１４０）を更に備えることを特徴とする請求項４又は５に記載の装置。
8. 前記複数のメディアフレーム（２２〜２６）の前記少なくとも一部のメディアフレーム（２２、２４）毎に、前記複数のメディアフレーム（２２〜２６）と関連付けられたフレーム伝送順序に従って前記メディアフレーム（２２、２４）の相対伝送時間に基づいて前記代替タイムスタンプ（５０）を判定するタイムスタンプ判定部（１４０）を更に備えることを特徴とする請求項４乃至７いずれか１項に記載の装置。
9. 複数のメディアフレーム（１２〜１６、２２〜２６、３２〜３６）を含む複数のフレームグループ（１０、２０、３０）のストリーム（１）のメディアフレーム（１２〜１６、２２〜２６、３２〜３６）を処理する方法であって、
   ここで、１つのフレームグループ内の各メディアフレームは、階層的に上位のフレームが階層的に下位のフレームに後続する階層伝送フレーム順に転送され、
   前記フレームグループ内の各メディアフレームは、
   デフォルトレンダリング時間スケジュールに従ってフレームグループ（２０）の複数のメディアフレーム（２２〜２６）のレンダリング時間を規定するデフォルトタイムスタンプ（４０）と、
   代替レンダリング時間スケジュールに従ってフレームグループ内のメディアフレームの代替のレンダリング時間を規定する代替タイムスタンプ（５０）とを有する；
   前記方法は、
   前記複数のフレームグループ（１０、２０、３０）のうちのフレームグループ（２０）の中間点において前記ストリーム（１）に同調するステップと、
   前記中間点に後続する前記フレームグループ（２０）のメディアフレーム（２２、２４）を受信するステップと、
   前記フレームグループ（２０）に対して使用可能な少なくとも１つの代替タイムスタンプ（５０）に基づいて、前記受信したメディアフレーム（２２、２４）に対して代替レンダリング時間スケジュールを判定するステップと、
   ここで、前記代替タイムスタンプは、前記フレームグループ内の最初のメディアフレームに対するオフセットとして決定される；
   を有することを特徴とする方法。
10. 前記受信したメディアフレーム（２２、２４）間で前記フレームグループ（２０）のレンダリング開始フレーム（２２）を識別するステップと、
    前記代替レンダリング時間スケジュールに従って前記レンダリング開始フレーム（２２）から開始する前記受信したメディアフレーム（２２、２４）をレンダリングするステップと
    を更に含むことを特徴とする請求項９記載の方法。
11. 少なくとも１つの後続フレームグループ（３０）のデフォルトレンダリング時間スケジュールに従って前記ストリーム（１）の前記少なくとも１つの後続フレームグループ（３０）の複数のメディアフレーム（３２〜３６）をレンダリングするステップを更に含むことを特徴とする請求項１０記載の方法。
12. 複数のメディアフレーム（１２〜１６、２２〜２６、３２〜３６）を含む複数のフレームグループ（１０、２０、３０）のストリーム（１）のメディアフレーム（１２〜１６、２２〜２６、３２〜３６）を処理する装置（２００）であって、
    ここで、１つのフレームグループ内の各メディアフレームは、階層的に上位のフレームが階層的に下位のフレームに後続する階層伝送フレーム順に転送され、
    前記フレームグループ内の各メディアフレームは、
    デフォルトレンダリング時間スケジュールに従ってフレームグループ（２０）の複数のメディアフレーム（２２〜２６）のレンダリング時間を規定するデフォルトタイムスタンプ（４０）と、
    代替レンダリング時間スケジュールに従ってフレームグループ内のメディアフレームの代替のレンダリング時間を規定する代替タイムスタンプ（５０）とを有する；
    前記装置は、
    前記フレームグループ（２０）の中間同調点に後続する前記複数のフレームグループ（１０、２０、３０）のうちのフレームグループ（２０）のメディアフレームを受信する受信部（２１０）と、
    前記フレームグループ（２０）に対して使用可能な少なくとも１つの代替タイムスタンプ（５０）に基づいて、前記受信したメディアフレーム（２２、２４）に対する代替レンダリング時間スケジュールを判定するスケジュール判定部（２２０）と、
    ここで、前記代替タイムスタンプは、前記フレームグループ内の最初のメディアフレームに対するオフセットとして決定される；
    を備えることを特徴とする装置。
13. 前記受信したメディアフレーム（２２、２４）間で前記フレームグループ（２０）のレンダリング開始フレーム（２２）を識別するフレーム識別部（２３０）と、
    前記代替レンダリング時間スケジュールに従って前記レンダリング開始フレーム（２２）から開始する前記受信したメディアフレーム（２２、２４）をレンダリングするメディアプレーヤ（２７０）と
    を更に備えることを特徴とする請求項１２記載の装置。
14. 前記メディアプレーヤ（２７０）は、少なくとも１つの後続フレームグループ（３０）のデフォルトレンダリング時間スケジュールに従って前記ストリーム（１）の前記少なくとも１つの後続フレームグループ（３０）の複数のメディアフレーム（３２〜３６）をレンダリングするように構成されることを特徴とする請求項１３記載の装置。
15. 前記スケジュール判定部（２２０）は、前記受信したメディアフレーム（２２、２４）に割り当てられた前記少なくとも１つの代替タイムスタンプ（５０）及び前記デフォルトタイムスタンプ（４０）に基づいて前記代替レンダリング時間スケジュールを判定するように構成されることを特徴とする請求項１２乃至１４のいずれか１項に記載の装置。
16. 前記代替タイムスタンプ（５０）はタイムオフセットであり、前記フレームグループ（２０）の前記複数のフレーム（２２、２４）の少なくとも一部はそれぞれ割り当てられたタイムオフセットを有し、前記装置（２００）は、前記受信したメディアフレーム（２２、２４）間で最小のタイムオフセットを識別するオフセット識別部（２４０）を更に備え、前記スケジュール判定部（２２０）は、前記最小のタイムオフセットに基づいて前記代替レンダリング時間スケジュールを判定するように構成されることを特徴とする請求項１２乃至１５のいずれか１項に記載の装置。

Images