JP2017520940A - 階層符号化されたコンテンツを多重化するための方法および装置 - Google Patents

Abstract

階層符号化されたコンテンツが、固定容量ネットワークリンクを介して送信される場合、基底レイヤと増強レイヤにおいて同様の時間インスタンスにおいてビットレートピークが生じる可能性がある。帯域幅をより効率的に使用するのに、本原理は、基底レイヤビットストリームまたは増強レイヤビットストリームに遅延を追加すること、およびビットの「制限を超えた」部分を時間窓によってシフトすることなどの異なる方法を提案する。受信機側で、本原理は、ビットストリームにおいて追加された遅延を所与としてさえ、ユーザがチャネルを迅速に変更することを可能にする異なるチャネル変更機構を提供する。詳細には、復号器が、増強レイヤが利用可能になるのを待つ必要なしに、基底レイヤコンテンツをレンダリングすることを開始することが可能である。１つの実施形態において、基底レイヤコンテンツを復号することは、増強レイヤコンテンツと時間軸上で整合させるために減速される。

Description

本出願は、参照により全体が本明細書に組み込まれている２０１４年１月１４日に出願した以下の欧州特許出願第１４３０５０５２．４号の出願日の利益を主張するものである。

本発明は、多重化するための方法および装置に関し、より詳細には、階層符号化されたコンテンツに対応する複数のビットストリームを多重化するための方法および装置、ならびにそれを処理するための方法および装置に関する。

オーディオビデオ（ＡＶ）ストリームをトランスポートする際、１つの一般的な課題は、各ＡＶサービスの品質が許容閾値を超えたままであることを確実にしながら、固定容量ネットワークリンク（固定帯域幅を有する）内で可能な限り多数のストリーム（チャネル）を送信することである。

固定ビットレート（ＣＢＲ）ストリームを使用している場合、簡単な時分割多重化が、ＡＶサービス間で利用可能な帯域幅を共有するのに、しばしば、使用される。これは、各サービスに対する帯域幅割当ての点で簡単であるが、これは、残念ながら、ＡＶ符号化の点で非効率である。実際、ＣＢＲ符号化を使用している場合、シーケンスは、それらの複雑度にかかわらず同一のビットレートで符号化される。

可変ビットレート（ＶＢＲ）符号化は、より低いビットレートが、より低い複雑度を有するシーケンスに関して使用されることを確実にしながら、より高い複雑度を有するシーケンス（例えば、より多くの詳細、より多くの動きを有するシーケンス）により高いビットレートを費やすことを可能にする。オーディオ／ビデオコンテンツの複雑度は、通常、そのオーディオ／ビデオコンテンツの符号化に所与の場合においてどれだけのビットレートが用いられるかを決定するために計算される。

いくつかのＶＢＲストリームを、固定容量ネットワークリンク内でトランスポートすることができる。例えば、図１Ａが、破線において示されるとおり、固定容量を有するネットワークリンクを介して一緒に送信される例示的なシーケンスＨＤ１、ＨＤ２、ＨＤ３、およびＨＤ４を示す。固定容量ネットワークリンク内でいくつかのＶＢＲストリームをトランスポートする際、我々は、いくつかのＶＢＲストリームの集約からもたらされるストリームが、ネットワークリンク容量を超えないことを確実にし、かつ利用可能な総帯域幅の最大限の活用を望む。この問題のよくあるソリューションは、統計的多重化である。

統計的多重化は、１つのストリームからの統計的に、より高い複雑度のシーンが、同一のネットワークリンクにおける別のストリームからのより低い複雑度のシーンと同時に生じることが可能であるという想定に基づく。したがって、複雑なシーンを符号化するために使用される追加の帯域幅は、それほど複雑でないシーンを同時に符号化することの帯域幅節約に由来することが可能である。統計的多重化は、すべてのＡＶストリームの複雑度を、通常、リアルタイムで評価し、次に、すべてのストリームの複雑度を考慮に入れて、ストリームのそれぞれの間で利用可能な総帯域幅を割り当てる。いくつかのストリームが帯域幅を求めて競合する場合、簡単な優先順位などのさらなる機構を、帯域幅共有に関して決定を行うのに使用することができる。

本発明は、従来技術の欠点のうちのいくつかを改善することを目指す。詳細には、いくつかの実施形態において、本発明は、多重化の後のビットレートピークを低減することを可能にする。本原理は、後段で説明されるとおり、第１のビットストリームおよび第２のビットストリームにアクセスするステップであって、この第１のビットストリームは、階層符号化されたコンテンツの基底レイヤおよびこの階層符号化されたコンテンツの増強レイヤの一方に対応し、この第２のビットストリームは、この階層符号化されたコンテンツのこの基底レイヤおよびこの階層符号化されたコンテンツのこの増強レイヤの他方に対応するステップ、この第２のビットストリームを第１の時間だけ遅延させるステップ、ならびにこの第１のビットストリームとこの遅延された第２のビットストリームを多重化するステップを含む、この第１のビットストリームおよびこの第２のビットストリームを処理する方法を提供する。

実施形態によれば、この方法は、ネットワークリンクの容量を超えるこの多重化されたストリームにおけるビットを決定するステップ、およびこの決定されたビットを第２の時間だけタイムシフトするステップをさらに含む。

実施形態によれば、この方法は、この階層符号化されたコンテンツに関する符号化パラメータに応じてこの第１の時間を決定するステップであって、この符号化パラメータは、ＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅ）長およびＧＯＰ構造の少なくともいずれかを含むステップをさらに含む。変形形態によれば、この第１の時間は、ＧＯＰとともに変化する。

実施形態によれば、この方法は、この多重化されたストリーム、およびこの第１の時間を表す情報を送信するステップをさらに含む。

また、本原理は、これらのステップを実行するための装置も提供する。

実施形態によれば、この装置は、サーバーとビデオマルチプレクサのいずれかの内部に配置される。

実施形態によれば、この装置は、送信アンテナと、送信アンテナに対するインターフェースと、ビデオ符号器と、ビデオメモリと、ビデオサーバーと、ビデオカメラに対するインターフェースと、ビデオカメラとを備える。

また、本原理は、後段で説明されるとおり、第１のビットストリームを復号して、プログラムコンテンツの第１の表現にするステップ、この第１のビットストリームをこの復号するステップから遅延の後、第２のビットストリームを復号して、このプログラムコンテンツの第２の表現にするステップであって、この第１のビットストリームは、階層符号化されたコンテンツの基底レイヤおよびこの階層符号化されたコンテンツの増強レイヤの一方に対応し、この第２のビットストリームは、この階層符号化されたコンテンツのこの基底レイヤおよびこの階層符号化されたコンテンツのこの増強レイヤの他方に対応するステップ、ならびにこの第１の表現およびこの第２の表現に対応する信号を、レンダリングするために出力するステップを含む、この第１のビットストリームおよびこの第２のビットストリームを処理する方法も提供する。

実施形態によれば、この方法は、この第１のビットストリーム、この第２のビットストリーム、およびトランスポートストリームのうちの少なくとも１つの中で指定された速度より遅い速度でこの第１の表現をレンダリングするステップをさらに含む。

実施形態によれば、この方法は、この第１の表現のこのレンダリングとこの第２の表現のこのレンダリングが時間軸上で整合された後、この指定された速度でこの第１の表現をレンダリングするステップをさらに含む。

実施形態によれば、この方法は、この第１のビットストリーム、この第２のビットストリーム、およびトランスポートストリームからのこの遅延を表す情報を逆多重化するステップをさらに含む。

また、本原理は、これらのステップを実行するための装置も提供する。

実施形態によれば、この装置は、以下、すなわち、アンテナまたはアンテナに対するインターフェース、通信インターフェース、ビデオ復号器、ビデオメモリ、およびディスプレイのうちの１つまたは複数を備える。

また、本原理は、前述される方法による、第１のビットストリームおよび第２のビットストリームを処理するための命令が記憶されているコンピュータ可読記憶媒体も提供する。

固定容量ネットワークリンクを介して送信される４つの例示的なシーケンスを例示する図である。 固定容量ネットワークリンクを介して送信される階層符号化からの基底レイヤビットストリームおよび増強レイヤビットストリームを例示する図である。 本原理の実施形態による、基底レイヤビットストリーム（ＨＤ１）との関係で遅延Ｄだけシフトされた増強レイヤビットストリーム（ＵＨＤ１）を例示する図である。 本原理の実施形態による、多重化を実行するための例示的な方法を示す流れ図である。 本原理の実施形態による、チャネル変更を実行するための例示的な方法を示す流れ図である。 本原理の実施形態による、チャネル変更を実行するための別の例示的な方法を示す流れ図である。 「リプレー」モードにおいて、図４に示される方法により、時間とともにユーザに何を提示することができるかを例示する図である。 「待機」モードにおいて、図４に示される方法により、時間とともにユーザに何を提示することができるかを例示する図である。 図５に示される方法により、時間とともにユーザに何を提示することができるかを例示する図である。 図５に示される方法により、基底レイヤレンダリングと増強レイヤレンダリングが整合されることが可能であることを示す図である。 基底レイヤと、増強レイヤとをそれぞれが有する２つのチャネルからのビットストリームを例示する図である。 本原理の実施形態による、ビットの「制限を超えた」部分が時間窓だけシフトされることを例示する図である。 本原理の実施形態による、例示的な送信システムを示すブロック図である。 本原理の実施形態による、例示的な受信システムを示すブロック図である。 本原理の実施形態による、別の例示的な受信システムを示すブロック図である。

同一のコンテンツの２つの表現をトランスポートする際、それらのそれぞれを別々に符号化するのではなく、階層符号化を使用して、それらを同一のネットワークリンク上で同時にトランスポートすることが有利である可能性がある。階層符号化では、基底レイヤ（ＢＬ）が基本品質を提供する一方で、相次ぐ増強レイヤ（ＥＬ）が、その品質をインクリメントに改良する。例えば、同一のコンテンツのＨＤバージョンとＵｌｔｒａＨＤ（ＵＨＤ）バージョンの両方が、基底レイヤがメディアのＨＤバージョンを包含し、増強レイヤがＨＤコンテンツからＵｌｔｒａＨＤコンテンツを再構築するのに必要とされる追加の情報を包含する１つの階層符号化されたコンテンツとして配信されることが可能である。

階層符号化において、基底レイヤおよび増強レイヤは、異なる品質を有する同一のコンテンツを表現するので、それらの符号化複雑度（および、したがって、符号化後の適切な品質のためのそれらのビットレート要求）は、通常は同様の傾向に従い、それらのビットレートは、通常は同様の時間インスタンスにおいてピークおよび低下を示す。そのようなビットレートピークは、異なるストリームからのピークおよび低下が統計的にまれにしか併存しないはずであると想定する統計的多重化に問題をもたらす可能性がある。詳細には、異なるビットストリームからの同時のビットレートピークが、総帯域幅使用の点で全体的なピークを生じさせる可能性があり、基底レイヤと増強レイヤの両方に関するビットレート要求は、このサービスに用いられるネットワークリンク容量を超える可能性がある。

例えば、図１Ｂに示されるとおり、同一のコンテンツのＨＤバージョンおよびＵｌｔｒａＨＤバージョンが、階層符号化を使用して符号化され、もたらされるＢＬビットストリームおよびＥＬビットストリーム（ＨＤ１およびＵＨＤ１）が、破線において示されるとおり、固定容量を有するネットワークリンクを介して一緒に送信される。ＨＤ１とＵＨＤ１は、ほとんど同時にビットレートピークを有し、合計ビットレートは、そのビットレートピークの周辺で利用可能な最大帯域幅を超える。帯域幅オーバフローを回避するのに、より低いビットレートを、したがって、より低いサービス品質を、ＨＤ１ビットストリームまたはＵＨＤ１ビットストリームを再生成するのに使用することができる。

本原理において、我々は、コンテンツを階層符号化するために統計的多重化を採用する異なる方法を提案する。１つの実施形態において、我々は、異なる層からのビットレートピークがもはや同時に生じることなく、かつ全体的なピークの振幅を小さくすることができるように増強レイヤビットストリームまたは基底レイヤビットストリームに遅延を導入する。

以下の例において、我々は、階層符号化において１つだけの増強レイヤが存在し、かつ階層符号化は、ビデオコンテンツに適用されるものと想定することが可能である。本原理は、より多くの増強レイヤが存在する場合に適用することができ、かつ他のタイプの媒体に、例えば、オーディオコンテンツに適用することができる。本出願において、我々は、基底レイヤに対応する元のコンテンツまたは復号されたコンテンツを参照するのに「ＢＬバージョン」または「ＢＬコンテンツ」という用語を使用し、増強レイヤに対応する元のコンテンツまたは復号されたコンテンツを参照するのに「ＥＬバージョン」または「ＥＬコンテンツ」という用語を使用する。ＥＬバージョンを復号するのに、基底レイヤが、通常、必要とされることに留意されたい。

図２は、増強レイヤビットストリーム（ＵＨＤ１）が遅延Ｄだけシフトされる例を示す。遅延を導入することにより、図１Ｂに示される高いピークが、今や、Ｄの期間にわたって間隔を空けられた２つのより低いピークに変換される。

図３は、本原理の実施形態による多重化を実行するための例示的な方法３００を示す。図３は、ステップ３０５において開始する。ステップ３１０において、それは、初期設定を実行し、例えば、遅延Ｄの期間を決定し、また、基底レイヤビットストリームまたは増強レイヤビットストリームが遅延されるべきかどうかを決定することも可能である。ステップ３２０において、例えば、階層コーダまたはサーバーから、基底レイヤビットストリームおよび増強レイヤビットストリームにアクセスする。ステップ３３０において、基底レイヤビットストリームまたは増強レイヤビットストリームが、Ｄの期間だけ遅延される。場合により、遅延された基底レイヤおよび増強レイヤからのビットストリームは、次に、ステップ３４０において多重化される。方法３００は、ステップ３９９において終了する。

遅延Ｄは、固定とすることができ、符号化パラメータに基づいて、例えばＭＰＥＧ標準により規定される、例えばＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅ）長およびＧＯＰ構造に基づいて決定することが可能である。１つの例において、遅延Ｄは、ＧＯＰ長の期間の半分に設定することが可能である。また、ＧＯＰごとにＤの値を変えることも可能である。１つの例において、Ｄは、符号化構造（Ｉｎｔｒａのみ、ＩＰＰＰＰ、ＩＢＢＢ、またはランダムアクセス）および／またはＧＯＰ長に依存してＧＯＰとともに変化することが可能である。別の例において、増強レイヤの品質が非常に低い場合、遅延は、増強レイヤビットレートピークが小さい可能性があるため、小さいことも可能である。我々がＧＯＰごとの遅延Ｄを変える場合、復号器は、そのバッファサイズを決定するのにＤの最大値（Ｄｍａｘ）を知る必要があり、Ｄｍａｘは、復号器に通知されなければならない。

いくつかのＧＯＰ構造、例えば、Ｉ０Ｐ８Ｂ４Ｂ２ｂ１ｂ３Ｂ６ｂ５ｂ７において、第１の画像（Ｉ０）と表示順序における第２の画像（ｂ１）の受信の間に相当な遅延が存在する。データが復号の時点で尽きるシナリオを回避するのに、本出願において、我々は、ＧＯＰを復号することを開始する前に、ＧＯＰ全体が必要とされるものと想定する。また、本原理を、復号が異なる時点で開始する場合に適用することもできる。

従来のＭＰＥＧビデオ符号化では、最大チャネル変更時間（ザップ時間としても知られる）は、通常、２つのＧＯＰ時間である。階層符号化に関して、増強レイヤは、基底レイヤが受信されて、復号された後にしか復号することができないので、増強レイヤに関するチャネル変更時間は、２つの最大ＧＯＰ時間と等しく、最大ＧＯＰ時間は、所与のレイヤを復号するのに必要とされる基底レイヤおよび増強レイヤの中で使用される最も大きいＧＯＰ時間である。ＢＬとＥＬが同一のＧＯＰサイズを有する場合、チャネル変更時間は、２つのＧＯＰ時間であり、従来のＭＰＥＧビデオ符号化の場合と同一である。

方法３００において示されるとおり、増強レイヤまたは基底レイヤに遅延を追加することができる。増強レイヤとの関係で基底レイヤに遅延が追加された（すなわち、増強レイヤが基底レイヤより前に送信される）場合、基底レイヤの第１のＧＯＰ全体（ＢＬ ＧＯＰ）が受信されて、表示の準備ができている時点で、増強レイヤの第１のＧＯＰ全体（ＥＬ ＧＯＰ）もまた、受信されていることが可能であり、レンダリングは、ＥＬバージョンにて直接に開始することが可能である。増強レイヤにおいて、基底レイヤにおいてよりも長いＧＯＰが使用される場合（これは、しばしば該当する）、第１のＥＬ ＧＯＰは、第１のＢＬ ＧＯＰが受信された際、完全に受信されていない可能性があり、基底レイヤが、最初にレンダリングされなければならず、増強レイヤに切り換えることは、後述するように基底レイヤとの関係で増強レイヤに遅延が追加されるシナリオに関して実行することができる。増強レイヤとの関係で基底レイヤに遅延を追加することの１つの利点は、ライブのイベントの場合を除いて、通常、問題ではない、追加の再生遅延が存在する可能性があるものの、増強レイヤに関するチャネル変更時間が低減されることである。

基底レイヤとの関係で増強レイヤに遅延が追加された場合、増強レイヤのチャネル変更時間は、（２つのＧＯＰ時間＋Ｄ）になる。この追加の遅延Ｄは、チャネル変更時間をあまりにも長くする可能性がある。また、それは、ユーザが、所与のコンテンツに関して、ＥＬバージョン（例えば、ＵｌｔｒａＨＤ）と比べて、ＢＬバージョン（例えば、ＨＤ）上でなぜチャネルがはるかに迅速に変わるのかをユーザが理解するのを困難にする可能性もある。

チャネル変更時間を短縮するため、本原理は、例えば、方法４００および５００において後段でさらに説明されるとおり、ＥＬコンテンツに関して異なるチャネル変更機構を提供する。

図４は、本原理の実施形態によるチャネル変更を実行するための例示的な方法４００を示す。ステップ４１０において、ユーザが、新たなストリームへのチャネル変更を要求すると（時間Ｔ０において）、それは、その新たなストリームのＢＬビットストリーム、および、場合により、ＥＬビットストリームを受信する。ステップ４２０において、１つの完全なＢＬ ＧＯＰが受信されるまで（時間Ｔ１において）ＢＬ（およびＥＬ）のバッファリングを続ける。ステップ４３０において、ＢＬコンテンツを復号して、ディスプレイにレンダリングする。この時点までに行われることは、ＢＬに関する典型的なチャネル変更であることに留意されたい。

時間Ｔ１において、我々はＢＬコンテンツを表示することができるが、ＥＬビットストリームはＤだけ遅延されているので、ＥＬコンテンツを表示することはできない。表記を簡易にするため、レンダリングされるべき第ｉのフレームを表すのにＦｉを使用する。ステップ４４０において、１つの完全なＥＬ ＧＯＰが受信されるまで（時間Ｔ２において）、ＥＬビットストリームをバッファリングしながら、ＢＬコンテンツの復号およびレンダリングを続ける。

時間Ｔ₂において、復号器が、今や、ＥＬコンテンツに関する第１のフレームＦ₀を復号して、表示する準備ができているが、ＢＬコンテンツに関する第１のフレームＦ₀は、ＥＬがＤ（Ｄ＝Ｔ₂−Ｔ₁）だけ遅延されているので、時間Ｔ₁において既にレンダリングされている。その２つのレイヤを再同期するのに、以下の２つのモードを使用することができる。すなわち、
「リプレー」モード：ディスプレイが、時間Ｔ₂においてＥＬバージョンに切り換わり、第１のＥＬフレームは、再びＦ₀となる。すなわち、コンテンツは、短い期間にわたって後戻りする、またはリプレーされているように見えることが可能である。

「待機」モード：ディスプレイが、表示フレームＦ_n（ＢＬ）から表示フレームＦ_n+1（ＥＬ）に切り換わるために時間Ｔ₂において一時停止される。

時間Ｔ₂において、ユーザは、例えば、ポップアップを介して、ＥＬバージョンに切り換えるオプションを有する（ステップ４５０）。ユーザが決定を行っている間（例えば、ポップアップがユーザに提示される際）、ＢＬバージョンが、依然として背景でレンダリングされることが可能である。ユーザがＥＬバージョンに切り換えないことを選択した場合、ステップ４６０においてＢＬ復号およびＢＬレンダリングが続く。そうではなく、ユーザがＥＬバージョンに切り換えることを決定した場合、ステップ４７０において、復号器が、例えば、「リプレー」モードまたは「待機」モードを使用して、ＥＬフレームの復号およびレンダリングを開始する。

方法４００の利点は、それが簡単であることであり、ユーザが、ＢＬバージョンを見ることによっていくつかのチャネルにわたって迅速に変えることを可能にし、彼には、ＥＬバージョンだけを観るオプションが、それが実際に利用可能である場合にのみ提供される。１つの実施形態において、復号器が、そのようなオプションを表示するか、またはＥＬバージョンが利用可能になると、常に自動的にＥＬバージョンに切り換えるかを決定するようにユーザ設定を提案することが可能である。

ユーザがＢＬバージョンからＥＬバージョンに切り換えた場合、品質は、相当に向上する可能性があり、ユーザは、品質の急な向上に気づく可能性がある。品質遷移を平滑にするのに、我々は、例えば、Ｙｕｒｉｙ Ｒｅｚｎｉｋ、Ｅｄｕａｒｄｏ Ａｓｂｕｎ、Ｚｈｉｆｅｎｇ Ｃｈｅｎ、およびＲａｈｕｌ Ｖａｎａｍによる「Ｍｅｔｈｏｄ ａｎｄ ａｐｐａｒａｔｕｓ ｆｏｒ ｓｍｏｏｔｈ ｓｔｒｅａｍ ｓｗｉｔｃｈｉｎｇ ｉｎ ＭＰＥＧ／３ＧＰＰ−ＤＡＳＨ」という名称の米国特許出願第１３／８６８，９６８号明細書において説明される方法を使用して、ＢＬからＥＬへの漸進的「アップスケーリング」を使用することができる。

図６Ａは、ユーザがチャネル変更を要求したことに応答して、方法４００により時間とともにユーザに何を提示することができるかを示し、ユーザは、「リプレー」モードにおいてＥＬバージョンに切り換えることを選択する。時間Ｔ₀において、ユーザが、チャネル変更を要求する。時間Ｔ₁において、完全なＢＬ ＧＯＰが利用可能になり、それは、ＢＬに関するフレームＦ₀から開始して、ＢＬコンテンツを復号して、レンダリングする。時間Ｔ₂において、完全なＥＬ ＧＯＰが利用可能になり、それは、ＥＬストリームを復号する。バッファリングされたＢＬコンテンツも使用して、それは、Ｆ₀のＥＬバージョンをレンダリングする。全体として、レンダリングされるシーケンスは、Ｆ₀（ＢＬ）、Ｆ₁（ＢＬ）、Ｆ₂（ＢＬ）、．．．、Ｆ_n（ＢＬ）、Ｆ₀（ＥＬ）、Ｆ₁（ＥＬ）、Ｆ₂（ＥＬ）、．．．、Ｆ_n（ＥＬ）、Ｆ_n+1（ＥＬ）、Ｆ_n+2（ＥＬ）、．．．である。「リプレー」モードにおいて、フレーム₀からフレームＦ_nは、２回、最初にＢＬバージョンにおいて、次にＥＬバージョンにおいて再生されることに留意されたい。

図６Ｂは、ユーザがチャネル変更を要求したことに応答して、方法４００により時間とともにユーザに何を提示することができるかを示し、ユーザは、「待機」モードにおいてＥＬバージョンに切り換えることを選択する。時間Ｔ₀において、ユーザがチャネル変更を要求する。時間Ｔ₁において、完全なＢＬ ＧＯＰが利用可能になり、ＢＬに関するフレームＦ₀から開始して、ＢＬコンテンツを復号およびレンダリングする。時間Ｔ₂において、完全なＥＬ ＧＯＰが利用可能になり、それは、ＥＬストリームを復号する。時間Ｔ₁から時間Ｔ₂までの間に、フレームＦ₀からＦ_kがレンダリングされている。ＢＬコンテンツのレンダリングは、時間Ｔ₂において、ＥＬコンテンツの第（ｋ＋１）のフレームが利用可能になるまで、期間にわたって一時停止される。全体として、レンダリングされるシーケンスは、Ｆ₀（ＢＬ）、Ｆ₁（ＢＬ）、Ｆ₂（ＢＬ）、．．．、Ｆ_k（ＢＬ）、一時停止（Ｄ）、Ｆ_k+1（ＥＬ）、Ｆ_k+2（ＥＬ）、．．．である。「待機」モードにおいて、表示されるビデオは、ＢＬバージョンがＥＬバージョンに切り換わる際、一時停止を示すことが可能である。

図５は、本原理の別の実施形態によるチャネル変更を実行するための別の例示的な方法５００を示す。一般性を失わず、我々は、ＢＬのフレームレートとＥＬのフレームレートが同一であるものと想定する。本原理は、フレームレートが異なる場合にも依然として適用することができる。

ステップ５１０において、基底レイヤビットストリームにアクセスする。ステップ５２０において、完全なＢＬ ＧＯＰが受信された時点で復号が開始できるまでＢＬストリームをバッファリングする。ステップ５３０において、それは、増強レイヤビットストリームにアクセスする。それは、完全なＥＬ ＧＯＰが受信された時点で復号が開始できるまで、ステップ５４０においてＥＬストリームをバッファリングする。遅延Ｄの追加により、ＢＬは、ＮフレームだけＥＬに先行し、ここで、

である。

遅延Ｄにより、復号の開始時に、ＢＬおよびＥＬからの復号されたフレームが整合されていない可能性がある。ＢＬコンテンツとＥＬコンテンツのレンダリングを時間軸上で整合させるため、これらの実施形態は、それらが整合される前に、ステップ５６０においてｍ％だけＢＬのレンダリングを遅くすることを提案する。ビデオコンテンツは、通常、ビットストリームの中で再生のために指定されたフレームレートでレンダリングされることに留意されたい。しかし、方法５００において、ＢＬとＥＬを整合させるために、ＢＬのレンダリングは、その特定のフレームレートよりもｍ％遅い。したがって、ＢＬコンテンツとＥＬコンテンツの両方はある時刻Ｔ₃において整合され、同一のフレームを同時に提供する。ステップ５５０において、ＢＬコンテンツとＥＬコンテンツが整合されていると決定した場合、ステップ５７０において、ＢＬおよびＥＬをビットストリームの中で指定された通常の速度でレンダリングする。方法５００を使用して、復号器が、フレームフローを中断させることなしにＢＬからＥＬにシームレスに切り換えることが可能である。

時間Ｔ₃は、以下の式を使用して得ることができる。すなわち、
Ｔ₃＝Ｔ₁＋Ｄ^*１００／ｍ
である。ｍの選択が重要である。ｍが大きいほど、ユーザが、減速効果に気づく可能性がより高く、したがって、ｍを低く保つことが重要である。他方、ｍが小さいほど、ＢＬとＥＬが（時間Ｔ₃において）整合されるのに長い時間を要する。復号器において決定されるべきトレードオフが存在する。そのような復号器設定は、ユーザに提示されることも、されないことも可能である。

レンダリング速度の低下が十分に低い（すなわち、小さい値のｍ）場合、ビデオ上の減速は、通常ユーザによってほとんど知覚可能ではない。しかし、オーディオストリームの減速は、より気づきやすく、我々は、その減速を隠すために音声のピッチを変更する何らかの既存のソリューションを使用することが可能である。

図６Ｃは、ユーザがチャネル変更を要求したことに応答して、方法５００により、時間とともにユーザに何を提示することができるかを示す。時間Ｔ₀において、ユーザが、チャネル変更を要求する。時間Ｔ₁において、完全なＢＬ ＧＯＰが利用可能になり、それは、ＢＬに関するフレームＦ₀から開始して、ＢＬコンテンツを復号して、レンダリングする。時間Ｔ₂において、完全なＥＬ ＧＯＰが利用可能になり、それは、ＥＬコンテンツを復号する。時間Ｔ₃において、ＢＬコンテンツの復号とＥＬコンテンツの復号が、整合される。時間Ｔ₁から時間Ｔ₃までの間に、ＢＬコンテンツが、ＥＬが追いつくようにより遅い速度でレンダリングされ、ＥＬストリームは、復号されるが、レンダリングされない。時間Ｔ₃の後、ＢＬコンテンツとＥＬコンテンツの両方が、通常の速度でレンダリングされる。図６Ａとは異なり、各フレームは、１回だけ再生され、ＢＬからＥＬへの切り換えは、シームレスである。

１０個のフレームを例として使用して、図６Ｄは、ＢＬレンダリングとＥＬレンダリングが、方法５００により、どのように整合されることが可能であるかを示す。減速係数に依存して、ＢＬとＥＬの両方を整合させるのにいくつかのＧＯＰが必要とされる可能性があることに留意されたい。

前述したとおり、基底レイヤビットストリームまたは増強ビットストリームに遅延を追加することは、ＢＬストリームとＥＬストリームの同時のビットレートピークを減らすのに役立ち、このため、帯域幅をより効率的に使用する。しかし、それは、ときとして、帯域幅オーバフローを完全に解消するのに十分でない可能性がある。したがって、遅延Ｄを追加することに加えて、本原理は、ビットストリームを送信する際に時間窓Ｗを使用することも提案する。

時間窓がどのように機能するかを示すのに、図７Ａは、基底レイヤと増強レイヤの間で遅延を使用しない２つのチャネルからのビットストリームを示す。図における各バーは、本出願における説明の目的で１つの時間単位に対応する。チャネル１に関するコンテンツが、２つのレイヤ、ＨＤ１およびＵＨＤ１を使用して符号化され、チャネル２に関するコンテンツもまた、２つのレイヤ、ＨＤ２およびＵＨＤ２を使用して符号化される。各チャネルは、チャネル１に関して時間＝５周辺に、チャネル２に関して時間＝１２周辺に１つのピークを有する。図７Ａに示されるとおり、集約されたビットストリームは、最大帯域幅を超える。

ビットストリームを固定帯域幅に合わせるために、帯域幅を超えるビットは、後方または前方に、時間窓Ｗ内でシフトされる。したがって、すべてのストリームは、ネットワークリンク容量内で送信することができる。表記を簡易にするため、我々は、帯域幅を超えるビットの部分を、「制限を超えた」部分（ＵＨＤ２’）と表す。図７Ａに示されるのと同一のビットストリーム上で機能する、時間窓を使用する１つの例が、図７Ｂに示される。図７Ｂに示されるとおり、ｔ４からｔ＝１２までの制限を超えるすべてのデータが、窓（ｔ＝１からｔ＝２２まで）に広げられる。予備のビットレートが利用可能になるとすぐに、我々は、それらを「制限を超えた」データのために使用する。１つの実施形態において、システムは、現在の時間に関する開始時間と終了時間を含む、スライド窓のパラメータを決定する。時間窓は、時間ごとに異なることが可能であり、必ずしも現在の時間を中心としていない。

我々は、ビットストリームを多重化するために遅延Ｄおよび時間窓Ｗを導入することについて説明してきた。これら２つの機構は、別々に、または併せて使用することができる。遅延Ｄを導入する際、ＢＬストリーム全体またはＥＬストリーム全体が時間軸上でシフトされる。対照的に、時間窓Ｗを使用する際、我々は、最初に、すべてのビットストリームの全体的なビットレートが、許される最大ビットレートを超えるかどうかを決定し、「制限を超えた」部分が存在する場合、我々は、その「制限を超えた」部分を再分配する。さらに、前段で説明されるとおり、遅延Ｄが、符号化パラメータに基づいて決定される、または所定の値をとることが可能である。対照的に、時間シフトＷは、時間窓を使用する場合、ビットレートピークがどこにあるか、およびどこで予備のビットレートが利用可能であるかに依存する。

時間窓が、ビットの「制限を超えた」部分をシフトするのに使用される場合、遅延を使用するために前段で説明されるチャネル変更機構（例えば、方法４００および５００）が、依然として適用可能である。詳細には、Ｔ₃の値は、時間窓が単独で使用される場合にＷ（Ｄに取って代わり）を用いて、または遅延Ｄと時間窓の両方が使用される場合にＷ＋Ｄ（Ｄに取って代わり）を用いて計算することができる。

遅延Ｄと時間窓の両方を使用してさえ、集約されたビットストリームは、ネットワークリンク容量を依然として超える可能性がある。この場合、同一のネットワークリンク内の１つまたはいくつかのストリームのビットレートを低減して、ビットストリームをネットワークリンクに適合させることが可能であり、または、さらに１つまたは複数のビットストリームをドロップする必要があるかもしれない。

本原理は、帯域幅をより効率的に使用するように、基底レイヤビットストリームまたは増強レイヤビットストリームに遅延を追加すること、および時間窓内でビットの「制限を超えた」部分をシフトすることなどの、異なる方法を提案する。特に、我々の方法は、統計的多重化の通常の想定を満足させない、階層符号化されたコンテンツを送信するためにうまく機能する。

受信機側で、本原理は、さらにビットストリームにおいて追加された遅延があれば、ユーザがチャネルを迅速に変更することを可能にする異なるチャネル変更機構を提供する。詳細には、復号器が、ＥＬが利用可能になるのを待つ必要なしに、ＢＬコンテンツをレンダリングすることを開始することが可能である。有利には、これは、ユーザが、彼がより長い時間にわたって観ることを望む何かを彼が目にするまで、多くのチャネルの間でチャネルを迅速に変更することを可能にする。また、本原理は、彼がある期間ビデオを観た後、ＥＬバージョンに切り換えることを望むかどうかを決定するのに使用するためのオプションも提供する。

上記において、階層符号化のために使用することができる様々な方法について説明した。本原理は、例えば、Ｈ．２６４ ＳＶＣまたはＳＨＶＣとすることもできるが、これらには限定されない標準に準拠する、スケーラブルビデオ符号化に適用することも可能である。多重化方法およびチャネル変更機構は、ＭＰＥＧ−２トランスポート、ＭＭＴ（ＭＰＥＧメディアトランスポート）プロトコル、またはＡＴＳＣ（Ａｄｖａｎｃｅｄ Ｔｅｌｅｖｉｓｉｏｎ Ｓｙｓｔｅｍｓ Ｃｏｍｍｉｔｔｅｅ）トランスポートプロトコルなどの任意のトランスポートプロトコルと一緒に使用することができる。

図８は、例示的な送信システム８００を示す。例えば、オーディオデータおよびビデオデータであるが、これには限定されない入力データが、メディア符号器８１０において符号化される。入力データは、カメラ、カムコーダからのものとすること、またはオーディオデータおよびビデオデータにアクセスを有するサーバーから受信することができる。符号化されたデータは、マルチプレクサ８２０において多重化され、送信機８４０において送信される。例えば、方法３００において示されるとおり遅延を追加し、時間窓を使用する、本原理による多重化機構は、マルチプレクサ８２０に配置された遅延モジュール（８３０）において使用することができる。また、遅延モジュール８３０は、メディア符号器８１０に配置されること、またはメディア符号器８１０とマルチプレクサ８２０の間に別個のモジュールとして置かれることも可能である。送信システムは、帯域幅が高価なリソースである典型的なブロードキャストＴＶ環境において使用することができ、またはオーディオビジュアルサービスを提供するモバイルデバイスにおいて使用することができる。特定の実施形態によれば、送信システム（または装置）は、サーバーとビデオマルチプレクサのうちのいずれかの内部に配置される。特定の実施形態によれば、送信システム（または装置）は、以下、すなわち、送信アンテナ、送信アンテナに対するインターフェース、ビデオ符号器、ビデオメモリ、ビデオサーバー、ビデオカメラに対するインターフェース、およびビデオカメラのうちの１つまたは複数を備える。

図９は、例示的な受信システム９００を示す。システム９００の入力データは、トランスポートビットストリーム、例えば、システム８００の出力であることが可能である。データは、受信機９１０において受信され、デマルチプレクサ９２０において逆多重化され、メディア復号器９３０において復号され、次に、メディアレンダリングモジュール９４０において再生のためにレンダリングされる。メディアレンダリングモジュールは、別のモジュールとして実現することができ、またはメディア復号器９３０の一部とすることができる。方法４００および５００などのチャネル変更機構は、デマルチプレクサ９２０またはメディア復号器９３０において実現することができる。

図１０は、ポータブルメディアデバイス（例えば、モバイル電話）、ゲームデバイス、セットトップボックス、ＴＶセット、タブレット、およびコンピュータの内部で実現することができる別の例示的な受信システム１０００を示す。概略において、図１０のビデオ受信機システムにおいて、ブロードキャストプログラムコンテンツを表現するオーディオデータ、ビデオデータ、および関連するデータを伝送する信号で変調されたブロードキャスト搬送波が、アンテナ１０によって受信され、ユニット１３によって処理される。もたらされるディジタル出力信号が、復調器１５によって復調される。ユニット１５からの復調された出力が、復号器１７によってトレリス復調され、バイト長データセグメントにマップされ、逆インターリーブされ、リードソロモン誤り訂正される。ユニット１７からの出力データは、多重化オーディオ成分、ビデオ成分、およびデータ成分を表すプログラムを包含するＭＰＥＧ対応のトランスポートデータストリーム、例えば、ＭＭＴトランスポートストリームの形態である。ユニット１７からのトランスポートストリームは、ユニット２２によって逆多重化されてオーディオ成分、ビデオ成分、およびデータ成分にされ、これらが、復号器１００のその他の要素によってさらに処理される。

復号器（１００）が、ユーザがチャネル変更を要求すると、方法４００および５００において説明されるものなどの、本原理によりチャネル変更を実行することが可能である。１つのモードにおいて、復号器１００は、それぞれユニット５０および５５の上で表示およびオーディオ再現のためにＭＰＥＧ復号されたデータを提供する。別のモードにおいて、ユニット１７からのトランスポートストリームが、復号器１００によって処理されて、記憶デバイス９０を介して記憶媒体１０５上に記憶するためにＭＰＥＧ対応のデータストリームを提供する。

ユーザが、閲覧のために、リモートコントロールユニット７０を使用することによって、ＴＶチャネル、またはプログラムガイドなどのスクリーン上のメニューを選択する。プロセッサ６０が、インターフェース６５を介してリモートコントロールユニット７０から提供された選択情報を使用して、閲覧のために所望されるプログラムチャネルを受信するように図１０の要素を適切に構成する。プロセッサ６０は、プロセッサ６２と、コントローラ６４とを備える。ユニット６２が、プログラムガイドと、システム情報とを含むプログラム特有の情報を処理し（すなわち、構文解析し、揃え、組み立て）、コントローラ６４が、復号器１００を操作する際に要求される残りの制御機能を実行する。ユニット６０の機能は、図１０に示されるとおり別々の要素６２および６４として実現することができるものの、それらは、代わりとして、単一のプロセッサ内に実現されてもよい。例えば、ユニット６２および６４の機能は、マイクロプロセッサのプログラミングされた命令内に組み込まれてもよい。プロセッサ６０は、入力信号フォーマットおよび符号化タイプを復調し、復号するようにプロセッサ１３、復調器１５、復号器１７、および復号器システム１００を構成する。

図１０を詳細に検討すると、アンテナ１０によって受信されたオーディオデータ、ビデオデータ、および関連するデータを表すプログラムを伝送する信号で変調された搬送波が、入力プロセッサ１３によってディジタル形態に変換され、処理される。プロセッサ１３は、入力信号を、さらなる処理に適したより低い周波数の帯域にダウンコンバートするための無線周波数（ＲＦ）チューナ段および中間周波数（ＩＲ）ミクサー段および増幅段を含む。

例示的な目的で、ビデオ受信機ユーザが、リモートコントロールユニット７０を使用して閲覧のためにサブチャネル（ＳＣ）を選択するものと想定する。プロセッサ６０が、インターフェース６５を介してリモートコントロールユニット７０から提供された選択情報を使用して、選択されたサブチャネルＳＣに対応する物理チャネルを受信するように復号器１００の要素を適切に構成する。

プロセッサ２２に提供される出力データは、いくつかのサブチャネルを介して配信される多くのプログラムに関するプログラムチャネルコンテンツおよびプログラム特有の情報を包含するトランスポートデータストリームの形態になっている。

プロセッサ２２が、復号器１７によって提供される入来のパケットのパケット識別子（ＰＩＤ）を、サブチャネルＳＣ上で送信されているビデオストリーム、オーディオストリーム、およびサブピクチャストリームのＰＩＤ値とマッチングする。これらのＰＩＤ値は、プロセッサ６０によってユニット２２内部の制御レジスタの中にあらかじめロードされる。プロセッサ２２は、サブチャネルＳＣ上で送信されるプログラムを構成するパケットをキャプチャし、それらを、ビデオ復号器２５、オーディオ復号器３５にそれぞれ出力するためのＭＰＥＧ対応のビデオストリーム、オーディオストリームに形成する。ビデオストリームおよびオーディオストリームは、選択されたサブチャネルＳＣプログラムコンテンツを表現する圧縮されたビデオデータおよびオーディオデータを包含する。

復号器２５が、ユニット２２からのＭＰＥＧ対応のパケット化されたビデオデータを復号し、伸張して、ピクセルデータを表す伸張されたプログラムを、表示のためにデバイス５０に提供する。同様に、オーディオプロセッサ３５が、ユニット２２からのパケット化されたオーディオデータを復号し、関連する伸張されたビデオデータと同期された、復号されたオーディオデータを、オーディオ再現のためにデバイス５５に提供する。

図１０のシステムの記憶モードにおいて、ユニット１７からの出力データは、記憶のためにＭＰＥＧ対応のデータストリームを提供するように復号器１００によって処理される。このモードにおいて、プログラムは、リモートユニット７０およびインターフェース６５を介してユーザによって記憶のために選択される。

プロセッサ６０が、プロセッサ２２と連携して、選択されたプログラムのパケット化されたコンテンツデータと、関連するプログラム特有の情報とを包含する合成のＭＰＥＧ対応のデータストリームを形成する。合成のデータストリームは、記憶インターフェース９５に出力される。記憶インターフェース９５は、データにおけるギャップおよびビットレート変動を小さくするように合成のデータストリームをバッファリングする。もたらされるバッファリングされたデータは、媒体１０５上に記憶するのに適するように記憶デバイス９０によって処理される。記憶デバイス９０は、チャネル符号化、インターリーブ、およびリードソロモン符号化などの知られている誤り符号化技法を使用してインターフェース９５からのバッファリングされたデータストリームを符号化して、記憶するのに適した符号化されたデータストリームを生成する。ユニット９０は、凝縮された（ｃｏｎｄｅｎｓｅｄ）プログラム特有の情報を組み込んだ、もたらされる符号化されたデータストリームを媒体１０５上に記憶する。

特定の実施形態によれば、受信システム（または装置）は、以下、すなわち、アンテナまたはアンテナに対するインターフェース、通信インターフェース（例えば、有線リンクもしくは有線ネットワークまたはワイヤレスリンクもしくはワイヤレスネットワークからの）、ビデオ復号器、ビデオメモリ、およびディスプレイのうちの１つまたは複数を備える。

本明細書で説明される実現形態は、例えば、方法またはプロセス、装置、ソフトウェアプログラム、データストリーム、または信号において実現することができる。実現の単一の形態（例えば、方法としてだけ説明される）の脈絡においてのみ説明される場合でも、説明される特徴の実現形態は、他の形態（例えば、装置またはプログラム）において実現されることも可能である。装置は、例えば、適切なハードウェア、ソフトウェア、およびファームウェアにおいて実現することができる。方法は、例えばコンピュータ、マイクロプロセッサ、集積回路、またはプログラマブルロジックデバイスを含む処理デバイスを一般に参照する、例えばプロセッサなどの、例えば装置において実現することができる。また、プロセッサは、例えば、コンピュータ、セル電話、ポータブル／携帯情報端末（「ＰＤＡ」）、およびエンドユーザ間の情報の通信を円滑にする他のデバイスなどの通信デバイスも含む。

第１のビットストリームおよび第２のビットストリームを処理する方法の特定の実施形態によれば、第１のビットストリームおよび第２のビットストリームが、送信アンテナと、送信アンテナに対するインターフェースと、ビデオ符号器と、ビデオメモリと、ビデオサーバーと、ビデオカメラに対するインターフェースと、ビデオカメラとを備えるセットに属するソースからアクセスされる。この方法の変形形態によれば、多重化された第１のビットストリームと第２のビットストリームが、送信アンテナと、送信アンテナに対するインターフェースと、通信インターフェースと、ビデオメモリと、ビデオサーバーインターフェースと、クライアントデバイスとを備えるセットに属する出力先に送られる。

第１のビットストリームおよび第２のビットストリームの復号を含む方法の特定の実施形態によれば、第１のビットストリームおよび第２のビットストリームは、復号より前に、受信アンテナと、受信アンテナに対するインターフェースと、通信インターフェースと、ビデオメモリとを備えるセットに属するソースからアクセスされる。この方法の変形形態によれば、レンダリングのための第１の表現および第２の表現に対応する信号が、ビデオ復号器と、ビデオメモリと、ディスプレイとを備えるセットに属する出力先に出力される。

本原理の「１つの実施形態」または「実施形態」または「１つの実現形態」または「実現形態」、ならびにそれらの変更形態について述べることは、その実施形態に関連して説明される特定の特徴、構造、特性などが、本原理の少なくとも１つの実施形態に含まれることを意味する。このため、本明細書全体の様々な箇所において出現する「１つの実施形態において」または「実施形態において」または「１つの実現形態において」または「実現形態において」という句、ならびに他の任意の変更形態の出現は、必ずしもすべて同一の実施形態を参照しているわけではない。

さらに、本出願、またはその特許請求の範囲は、様々な情報を「決定すること」について述べることが可能である。情報を決定することは、例えば、情報を推定すること、情報を計算すること、情報を予測すること、またはメモリから情報を取り出すことのうちの１つまたは複数を含むことが可能である。

さらに、本出願またはその特許請求の範囲は、様々な情報に「アクセスすること」について述べることが可能である。情報にアクセスすることは、例えば、情報を受信すること、情報を（例えば、メモリから）取り出すこと、情報を記憶すること、情報を処理すること、情報を送信すること、情報を移動すること、情報をコピーすること、情報を消去すること、情報を計算すること、情報を決定すること、情報を予測すること、または情報を推定することのうちの１つまたは複数を含むことが可能である。

さらに、本出願またはその特許請求の範囲は、様々な情報を「受信すること」について述べることが可能である。受信することは、「アクセスすること」と同様に、幅広い用語であるように意図されている。情報を受信することは、例えば、情報にアクセスすること、または情報を（例えば、メモリから）取り出すことのうちの１つまたは複数を含むことが可能である。さらに、「受信すること」は、典型的には、例えば、情報を記憶すること、情報を処理すること、情報を送信すること、情報を移動すること、情報をコピーすること、情報を消去すること、情報を計算すること、情報を決定すること、情報を予測すること、または情報を推定することなどの動作中に１つの方法または別の方法で関与する。

当業者には明白なとおり、実現形態は、例えば、記憶される、または送信することができる情報を伝送するようにフォーマットされた様々な信号を生成することが可能である。情報は、例えば、方法を実行するための命令、または説明される実現形態のうちの１つによって生成されるデータを含むことが可能である。例えば、信号は、説明される実施形態のビットストリームを伝送するようにフォーマットすることができる。そのような信号は、例えば、電磁波（例えば、スペクトルの無線周波数部分を使用する）として、またはベースバンド信号としてフォーマットすることができる。このフォーマットすることは、例えば、データストリームを符号化すること、およびその符号化されたデータストリームで搬送波を変調することを含むことが可能である。信号が伝送する情報は、例えば、アナログ情報またはディジタル情報であることが可能である。信号は、知られているとおり、様々な異なる有線リンクまたはワイヤレスリンクを介して送信することができる。信号は、プロセッサ可読媒体上に記憶することができる。

Claims (15)

1. 第１のビットストリームおよび第２のビットストリームを処理する方法であって、
   前記第１のビットストリームおよび前記第２のビットストリームにアクセスするステップ（３２０）であって、前記第１のビットストリームは、階層符号化されたコンテンツの基底レイヤおよび前記階層符号化されたコンテンツの増強レイヤの一方に対応し、前記第２のビットストリームは、前記階層符号化されたコンテンツの前記基底レイヤおよび前記階層符号化されたコンテンツの前記増強レイヤの他方に対応する、前記ステップと、
   前記第２のビットストリームを第１の時間だけ遅延させるステップ（３３０）と、
   前記第１のビットストリームと前記遅延された第２のビットストリームとを多重化するステップ（３４０）と、
   を含む、前記方法。
2. ネットワークリンクの容量を超える前記多重化されたストリームにおけるビットを決定するステップと、
   前記決定されたビットを第２の時間だけタイムシフトするステップと、
   をさらに含む、請求項１に記載の方法。
3. 前記階層符号化されたコンテンツに関する符号化パラメータに応じて前記第１の時間を決定するステップであって、前記符号化パラメータは、ＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅ）長とＧＯＰ構造の少なくともいずれかを含む、前記ステップをさらに含む、請求項１または２に記載の方法。
4. 前記第１の時間は、ＧＯＰとともに変化する、請求項３に記載の方法。
5. 前記多重化されたストリーム、および前記第１の時間を表す情報を送信するステップをさらに含む、請求項１乃至４のいずれか一項に記載の方法。
6. 第１のビットストリームおよび第２のビットストリームを処理する方法であって、
   前記第１のビットストリームを、プログラムコンテンツの第１の表現に復号するステップ（４３０、５７０）と、
   前記第１のビットストリームを前記復号するステップからの遅延の後、前記第２のビットストリームを、前記プログラムコンテンツの第２の表現に復号するステップ（４７０、５７０）であって、前記第１のビットストリームは、階層符号化されたコンテンツの基底レイヤおよび前記階層符号化されたコンテンツの増強レイヤの一方に対応し、前記第２のビットストリームは、前記階層符号化されたコンテンツの前記基底レイヤおよび前記階層符号化されたコンテンツの前記増強レイヤの他方に対応する、前記ステップと、
   前記第１の表現および前記第２の表現に対応する信号を、レンダリングするために出力するステップ（４７０、５７０）と、
   を含む、前記方法。
7. 前記第１のビットストリーム、前記第２のビットストリーム、およびトランスポートストリームのうちの少なくとも１つにおいて指定された速度より遅い速度で前記第１の表現をレンダリングするステップ（５６０）をさらに含む、請求項６に記載の方法。
8. 前記第１の表現の前記レンダリングと前記第２の表現の前記レンダリングが時間軸上で整合された後、前記指定された速度で前記第１の表現をレンダリングするステップ（５７０）をさらに含む、請求項７に記載の方法。
9. 前記第１のビットストリーム、前記第２のビットストリーム、およびトランスポートストリームからの前記遅延を表す情報を逆多重化するステップをさらに含む、請求項６に記載の方法。
10. 請求項１乃至９のいずれかにより第１のビットストリームおよび第２のビットストリームを処理するための装置。
11. サーバーおよびビデオマルチプレクサのいずれかの内部に配置される、請求項１０に記載の装置。
12. 送信アンテナ、送信アンテナに対するインターフェース、ビデオ符号器、ビデオメモリ、ビデオサーバー、ビデオカメラに対するインターフェース、およびビデオカメラのうちの１つまたは複数を備える、請求項１０または１１に記載の装置。
13. ポータブルメディアデバイス、モバイル電話、ゲームデバイス、セットトップボックス、ＴＶセット、タブレット、ラップトップ、および集積回路のうちの１つの内部に配置される、請求項１０に記載の装置。
14. アンテナまたはアンテナに対するインターフェース、通信インターフェース、ビデオ復号器、ビデオメモリ、およびディスプレイのうちの１つまたは複数を備える、請求項１３に記載の装置。
15. 請求項１乃至９のいずれかにより第１のビットストリームおよび第２のビットストリームを処理するための命令を記憶している、コンピュータ可読記憶媒体。