JP2018514976A - フラグメント整列されたオーディオ・コーディング - Google Patents

Abstract

フラグメント・グリッドとフレーム・グリッドとを独立の値として取り扱うことによって、オーディオとビデオとの同期および整列または他の外的なクロックへのオーディオの整列は、より効率的または簡易な状態にされるが、それにもかかわらず、各フラグメントに対してフレーム・グリッドは、それぞれのフラグメントの始点に整列される。失われた圧縮の効率性は、適切にフラグメント・サイズを選択すれば、低い状態を保つことができる。他方、フラグメントの始点に関するフレーム・グリッドの整列は、例えば、並列オーディオ・ビデオ・ストリーミング、ビットレート適応型ストリーミング又はそのようなものと関連してフラグメントを処理する簡単なかつフラグメント同期された方法を考慮に入れる。【選択図】図２

Description

本出願は、例えば、コードされたビデオと並列して使用するのに適したオーディオ・コーデックに関する。

１つの目的は、固定または可変ビット・レートのいずれかで伝送チャンネル上でオーディオ・コンテンツおよびビデオ・コンテンツを配信するときに、オーディオとビデオとの同期と、スプライシングのような高度な使用例の有効と、を確保することである。

オーディオ・ビデオ・システムを構築するとき、オーディオとビデオとの同期と、整列と、は常に必須の要素である。通常、オーディオ・コーデックとビデオ・コーデックとは、同じフレーム期間を使用していない。この理由のため、今日のオーディオ・コーデックは、フレーム整列されていない。一例として、このことは、幅広く用いられるＡＡＣファミリーにも当てはまる。その例は、１０２４フレーム・サイズと４８ｋＨｚのサンプリング周波数とが用いられるＤＶＢ規格に基づいている。このことは、１０２４サンプル／４８０００Ｈｚ≒０．０２１３秒の期間を有するオーディオ・フレームにつながる。対照的に、ビデオの一般的なＤＶＢリフレッシュ・レートは、２５Ｈｚまたは５０Ｈｚのいずれかであり、このことは、それぞれ０．０２秒または０．０４秒のビデオ・フレーム期間につながる。

特に、オーディオ・ストリームの構成を変えるとき又はプログラムを変えるとき、再びビデオとオーディオとが整列されることが必要である。今日のシステムは、オーディオ構成を、対応するビデオの前または後にわずかに異ならせている。なぜなら、人間は、オーディオとビデオとの同期において小さな違いを認識することができないからである。

残念なことに、置換されたビデオ・ストリームがまた、この小さなオフセットで開始しなければならないので、このことは、全体的な広告がローカルな広告によって置き換えられるスプライシングの複雑さを増大する。加えて、新しい規格は、全体的なユーザ体験を改善するために、より正確なビデオとオーディオとの同期を求めている。

それゆえ、最近のオーディオ・コーデックは、ビデオ・フレーム・サイズと合わせるために、可能なフレーム・サイズの広い範囲を取り扱うことができる。ここで問題は、このことが、整列の問題を解決することとは別に、コーディングの効率および性能に大きなインパクトを有することである。

ブロードキャスト環境でのストリーミングは、特別な問題を引き起こす。

最近の開発は、「適応型」ストリーミングが、直線的なブロードキャストに対してさえ、輸送層としてみなされることを示している。トップ・アプリケーションとエア・アプリケーションとで若干異なるすべての要求を満たすために、適応型ストリーミングが最適化されている。ここでは、一つの具体的な適応型ストリーミング技術に焦点をあてることとする。しかし、全ての与えられた例は、ＭＭＴのような他のファイル・ベースの技術でも機能する。

図７は、現在開発中のＡＴＳＣ３．０規格に対する提案を示す。この提案において、ＭＰＥＧ−ＤＡＳＨの最適化されたバージョンは、固定レート・ブロードキャスト・チャンネル上で使用されると考えられる。ＤＡＳＨは、可変レート、ＬＴＥ、３Ｇのようなユニキャスト・チャンネルまたはブロードバンド・インターネットのために設計されたので、この提案によってカバーされるいくつかの調節は、必要であった。正規のＤＡＳＨの使用例に対する主要な違いは、ブロードキャスト・チャンネルのレシーバがバックチャンネルを有していないことと、ユニキャストを受信することと、である。通常、クライアントは、ＭＰＤの受信及び解析の後に、初期化セグメントの位置を抽出することができる。その後、クライアントは、一つのセグメントを他のセグメントの後にデコードすることができ、または、所定のタイムスタンプを求めることができる。上図に示されるように、ブロードキャスト環境において、このアプローチは全く可能でない。代わりに、ＭＰＤおよび初期化セグメントは、定期的に繰り返される。レシーバは、ＭＰＤと必要なすべての初期化セグメントとを受信するとすぐに同調することができる。

これは、短い同調時間と小さなオーバーヘッドとの間のトレードオフを含む。正規のブロードキャスタにとって、約１秒のセグメント長さは、実現可能であるように思われる。これは、２つのＭＰＤの間に、共に約１秒の長さである１つのオーディオと１つのビデオ・セグメント（プログラムがオーディオとビデオとのみを含む場合）があることを意味する。

オーディオとビデオとの整列に対して、ＤＡＳＨを使用する場合に、前述のアスペクトもまた当てはまります。加えて、オーディオとビデオとの整列を保つために、オーディオ・セグメントは、わずかに長くまたは短くある必要がある。このことは、図８に示されている。

オーディオ又はビデオの構成変更が引き起こされた場合。アップデートされた初期化セグメントを伝送する他の方法がないので、これは、セグメント境界で起こる必要がある。そのために、フル・セグメントを満たすために、ビデオとオーディオとは、（ブラック・フレーム又は無音のいずれかで）引き伸ばされる。しかし、これは、ビデオとオーディオとの不整列の問題を解決しない。スプライシングとプログラム変更とのために、現在のセグメント期間偏流に依存する小さなオーディオとビデオとのミスマッチが存在し得る。

[1] "Delivery/Sync/FEC-Evaluation Criteria Report", ROUTE/DASH
[2] ISO/IEC 23008-3, "Information technology -- High efficiency coding and media delivery in heterogeneous environments -- Part 3: 3D audio"
[3] ISO/IEC 23009-1, "Information technology Dynamic adaptive streaming over HTTP (DASH) Part 1: Media presentation description and segment formats"
[4] ISO/IEC 23008-1, "Information technology -- High efficiency coding and media delivery in heterogeneous environments -- Part 1: MPEG media transport (MMT)"

本発明の目的は、例えば、既存のオーディオ圧縮技術を基礎として実装することがより簡単になるなどの、オーディオとビデオとの同期および整列というタスクをより効率的にするオーディオ・コーデックを提供することである。

この目的は、係属中の独立請求項の主題によって達成される。

本出願の根底にある基本的な考え方は、フラグメント・グリッドとフレーム・グリッドとが独立の値として取り扱われるときであるが、それにもかかわらず、各フラグメントに対してフレーム・グリッドがそれぞれのフラグメントの始点に整列されるとき、オーディオとビデオとの同期および整列または他の外的なクロックへのオーディオの整列は、より効率的または簡易な状態にされることができるということである。失われた圧縮の効率性は、適切にフラグメント・サイズを選択すれば、低い状態を保つことができる。他方、フラグメントの始点に関するフレーム・グリッドの整列は、例えば、並列オーディオ・ビデオ・ストリーミング、ビットレート適応型ストリーミング又はそのようなものと関連してフラグメントを処理する簡単なかつフラグメント同期された方法を考慮に入れる。

有利な実施形態は、従属請求項の主題である。本出願の好ましい実施形態は、図面に関して以下に説明されている。
図１は、本出願の一実施の形態による、ビデオとオーディオ・フラグメントとが時間整列されたビデオとオーディオとを含む時間的フラグメントの概略図を示す。 図２は、一実施形態による、エンコーダと、それによりエンコードされたオーディオ・コンテンツと、それによって生成されたエンコードされたデータ・ストリームと、の準概略図およびブロック図を示す。 図３は、一実施形態による、図２のエンコーダに適合するデコーダの準概略図およびブロック図を示す。 図４は、フレームをコーディング／デコーディングするために、すなわち、ラップ変換を適用することによる、変換ベースのコーディング／デコーディングが使用されるという一実施形態による、エンコーディング／デコーディング・プロセスに含まれる時間領域部分のウィンドウの概略図を示す。 図５は、一実施形態による、即時プレイアウト情報の生成を図示する概略図を示す。 図６は、例えば、即時プレイアウト情報が、それぞれの時間的フラグメントの始点で構成変更の場合に失われる可能性があることを示し、または、そのような時間的フラグメントの即時プレイアウト情報が代わりにゼロ・サンプルをエンコードすることを示す、一実施形態による、オーディオ・コンテンツにおける構成変更の場合を図示する概略図を示す。 図７は、比較のために［１］によるＲＯＵＴＥを介して配信されるパケット化されたＤＡＳＨセグメントを示す。 図８は、オーディオ・フラグメンテーションが異なるフラグメント化された期間を含むという現在のフラグメンテーションの概念による、オーディオおよびビデオを搬送する２つの連続したフラグメントを示す。

本出願の様々な実施の形態を説明する前に、それによって提供される利点、と根底にある考えと、をまず説明する。特に、ビデオ・フレームの連続から構成されるビデオ・フレームに付随するために、オーディオ・コンテンツは、コードされることとなることを想像してください。この問題は、本出願の前置き部分で概説されたとおりである：今日、オーディオ・コーデックは、ビデオ・フレームレートの整数分数または整数倍数ではないサンプルおよびフレーム基礎で動作する。したがって、以下に説明される実施の形態は、それらが最適化される「通常の」フレームの単位で動作するエンコーディング／デコーディングのステージを使用する。他方、オーディオ・コンテンツは、１つ又はそれ以上、好ましくは１つから５つ、又は、より好ましくは１つ又は２つのビデオ・フレーム長さである時間的フラグメントの単位においてこれらのエンコーディング／デコーディングのステージの根底にあるオーディオ・コーデックに従属する。そのような各時間的フラグメントに対して、フレーム・グリッドは、それぞれの時間的フラグメントの始点に整列されるように選択される。言い換えれば、後述の実施の形態の根底にある考え方は、対応するビデオ・フレームと正確に同じ長さであるオーディオ・フラグメントを生み出すことである。このアプローチは、２つの利点がある。

１）オーディオ・エンコーダは、最適化された／ネイティブのフレーム期間で作動することができ、フラグメント境界上にフレーム・グリッドを残す必要はない。
２）いかなるオーディオ遅延も、時間的フラグメントのエンコードされた表現に対して即時プレイアウト情報の使用により補償されることができる。スプライシングは、各フラグメント境界で生じることができる。これは、ブロードキャスト機器の全体的な複雑さを著しく減少する。

図１は、以下に示す例による方法で生成されるオーディオ・フラグメントに対する一例を示す。そして、オーディオ・フラグメントは、対応するビデオ・フラグメントに付随する。オーディオ・フラグメントとビデオ・フラグメントとの両方は、図Ｂに対応する方法で図示されている。それは、２すなわち図１の上段であり、図１は、ビデオ・フラグメントをフレーム４すなわちビデオ・フレームの数Ｎから構成されるように図示する。ここで、フレームは、時間軸ｔで図示される時間的プレイアウト順序に沿って左から右まで列方向に連続的に配置される方形として示されている。フレーム０の左端とフレーム５９の右端とは、フラグメントの始点と端として登録されることを示しており、このことは、フラグメントの時間的長さＴ_fragmentが、ビデオ・フレーム長さの整数倍数であることを意味し、ここで、整数倍数Ｎは、模範的に６０である。時間的にビデオ・フラグメント２に整列されて、図２は、その下に、フレームの単位又はアクセス・ユニット１２におけるビデオ・フラグメント２に付随するオーディオ・コンテンツをそこでエンコードするオーディオ・フラグメント１０を図示し、ここで長方形が水平にすなわち時間的に延びるように図示され、その時間的ピッチはその時間的フレーム長さを図示し、このオーディオ・フレーム長さは、残念なことに、オーディオ・フラグメント１０の時間的長さＴ_fragmentがフレーム長さＴ_frameの整数倍数ではないほどのものである。フレーム長さＴ_frameと対応するビデオ・フレームのフレーム長さＴ_videoframeとの間の関係は、それらの間の比が無理数であるか完全に減縮されて適切な分数で表現されることができる比であるほどのものであり、ここで、分母に対する分子が例えば１０００よりも高く、その結果、ビデオ・フレーム長さＴ_{video frame}とオーディオ・フレーム長さＴ_frameとの両方の倍数であるフラグメント長さは、不利なほど高い。

図１は、したがって、最後または後行のフレームすなわちアクセス・ユニット４６が、オーディオ・フラグメント１０の後行端１４を上回るオーディオ・コンテンツの時間的部分を時間的にカバーすることを図示する。後ほど、後行端１４を上回るか後続する部分１６がプレイアウト中にデコーダ・サイドで端を切られるか無視されること、または、時間的フラグメント１０と重複するまで後行フレームの部分の「時間的ホール」を満たすように全体の後行フレームが実際はその内部的な状態を単に洗い流すデコーダでエンコードされないこと、は示される。

図示の目的のために、図１は、その下半分で、すなわち１６で、ビデオとオーディオとから構成される時間的フラグメントに利用可能なビット・バジェットが、中でフラグメント２のビデオ・フレーム４がコードされるビデオ・データ１８と、中でオーディオ・フラグメント１０のオーディオ・コンテンツがコードされるオーディオ・データ２０と、ヘッダ・データ２２および２４の両方のそれぞれと、例えば空間分解能、時間分解能、等々を示唆しビデオ・フレーム４がデータ１８にコードされる構成データ２６と、例えば、ビデオとオーディオとが利用可能なバージョン、ビットレートが異なるバージョン、を示唆するためにフラグメント２のオーディオ・フレーム１２が共に整列されたフラグメント２および１０に対してデータにここに例示的に含まれるマニフェストまたはメディア・プレゼンテーション・ディスクリプションだけでなくデータ２０にコードされるチャンネルの数のような構成と、を運搬するために用いられることができることを図示する。図１の例が単に例示であり、後述する実施の形態が、ビットレート適応型ストリーミングとの関係で用いられることとマニフェストをクライアント等々に送付することとに制限されないことは、理解されるべきである。図１は、オーディオ・フレーム１２を、順番に例えばビデオ・フレーム４に完全に整列されるように選択されるフラグメント１０の始点３０に整列してオーディオ・フラグメンテーションがビデオ・フラグメンテーションに対して完全に整列された状態にされるという以下に説明される実施の形態の一般的な概念を単に図示するものである。

このようにして、図１は、オーディオおよびビデオ・フラグメントを示しており、両方とも先に説明された方法で整列されている。図１の例において、ビデオおよびオーディオ・フラグメントは、５９．９４ＨｚのＮＴＳＣフレーム・レートで６０ビデオ・フレームに等しい１００１ ／ １０００ｓｅｃ ＝ １．００１秒の一定の時間的長さＴ_fragmentを有するように選択された。

各オーディオ・フラグメントの最後のオーディオ・フラグメント、ここではＡＵ ４６、は、例えばフラグメント期間に適合するように端を切られる。与えられた例において、最後のオーディオ・フレームは、サンプル４７１０４から４８１２７まで到達し、０ベースのナンバリングが選択される、すなわち、フラグメントの中の第１のオーディオ・サンプルが０と番号付けされる。これは、必要とされるよりも若干長いサンプルの番号、すなわち４８０４８の代わりに４８１２８、のフラグメント・サイズにつながる。それゆえ、最後のフレームは、９４４番目のサンプルの後に切り取られる。これは、例えば、ヘッダ・データ２４又は構成データ２６において含まれる編集リストを用いることにより付随されることができる。切り取られた部分１６は、例えば、より低い品質でエンコードされることができる。あるいは、全てのオーディオ・フレーム１２を伝送するのではなく、例えば、最後のフレーム、ここでは例示的にＡＵ ４６、のコーディングを除く可能性がある。なぜなら、デコーダが通常、オーディオ構成に依存して洗い流されることができるからである。

さらに以下に説明する実施の形態において、例えば、重なり合うウインドウ関数上で動作するデコーダが、その履歴を喪失し、そして、次のフラグメントの第１のフレームに対する完全なシグナルを生成することができないという問題を和らげるための対策が講じられることは、示される。そのため、第１のフレーム、図１において例示的にＡＵ０、は、即時プレイアウトを許容するＩＰＦフレームとしてコードされる（ＩＰＦ＝Ｉｍｍｅｄｉａｔｅ Ｐｌａｙｏｕｔ Ｆｒａｍｅ）。同様に、第１のビデオフレーム４は、ＩＤＲフレームであってもよい（ＩＤＲ ＝ Ｉｎｓｔａｎｔａｎｅｏｕｓ Ｄｅｃｏｄｉｎｇ Ｒｅｆｒｅｓｈ）。

上の表は、最適化が全く適用されない場合に、期待されるビットレート・オーバーヘッドのための例を示す。オーバーヘッドが、使用されるフラグメント期間Ｔ_fragmentに強く依存するということは、見られる。ブロードキャスタの要求に依存して、毎第２又は第３のフラグメントのみをそれぞれ整列する、すなわち、オーディオ・フラグメントをより長くなるように選択することは、実行できる。

図２は、エンコードされたデータ・ストリーム３４にフラグメント・グリッド３２の時間的フラグメント１０の単位におけるオーディオ・コンテンツをエンコードするためのエンコーダを示す。エンコーダは、一般的に、符号２０を用いて示され、そして、エンコーディング・ステージ３６とフラグメント・プロバイダ３８とを備える。エンコーディング・ステージ３６は、フレーム・グリッドのフレーム１２の単位においてオーディオ・コンテンツをエンコードするように構成され、フラグメント・プロバイダ３８は、時間的フラグメント１０の単位においてエンコーディング・ステージ３６にオーディオ・コンテンツ３１を提供するように構成され、その結果、各時間的フラグメントは、エンコーディング・ステージ３６によってそれぞれの時間的フラグメント１０のエンコードされた表現３８にエンコードされ、ここで、フラグメント・プロバイダ３８は、フレーム１２のそれぞれのフレーム・グリッドの各時間的フラグメントがそれぞれの時間的フラグメント１０の始点３０に時間的に整列されるように時間的フラグメント１０の単位においてエンコーディング・ステージ３６にオーディオ・コンテンツ３１を提供するように構成され、その結果、始点３０は、フレーム１２のそれぞれのフレーム・グリッドのフレーム境界４２と一致する。つまり、後述するように、フラグメント・プロバイダ３８は、エンコーディング・ステージ３６と、現在提供される時間的フラグメント１０を含むオーディオ・コンテンツ３１の部分４４と任意に現在の時間的フラグメント１０に時間的に先行するオーディオ・コンテンツ３１の部分４６とを伴う時間的フラグメント１０と、現在の時間的フラグメント１０に時間的に後続する部分４８と、を提供してもよい。現在の部分４４でエンコーディング・ステージ３６を提供するとき、フレーム境界４２が現在の時間的フラグメント１０の始点３０に一致する１つのフレーム境界を含むほどに、現在の時間的フラグメント１０は、フラグメント・プロバイダ３８によって時間的に整列される５０。図１に関して上述したように、時間的フラグメント１０の時間的長さがフレーム１２の時間的長さの非整数倍数であるという事実のために、後行フレーム１２ａは、オーディオ・コンテンツの後続部分４８をカバーするその部分１６で時間的フラグメント１０を単に部分的にカバーするか時間的に重複する。

図２のエンコーダの機能を詳細に説明する前に、図３を参照することとし、図３は、一実施形態による対応するデコーダを示す。図３のデコーダは、一般的に参照符号６０を用いて示され、エンコードされたデータ・ストリームから時間的フラグメント１０の単位におけるオーディオ・コンテンツ３１をデコードするように構成される。デコーダ６０は、時間的フラグメントのエンコードされた表現に到達するインプット・インターフェイス６２を備える。図３に図示されるように、ハッチングを用いて図２に関して既に説明されたように、各時間的フラグメント１０に対して、そのエンコードされた表現４０は、データ・ストリーム３４の中に存在する。各エンコードされた表現４０は、それぞれの時間的フラグメント１０の始点３０に時間的に整列された前述のフレーム１２の単位において関連した時間的フラグメント１０をそこでエンコードしており、その結果、始点３０は、フレーム・グリッドのフレーム境界４２に一致する。

デコーダ６０は、エンコードされた表現４０から時間的フラグメント１０の再構築されたバージョン６６をデコードするように構成されたデコーディング・ステージ６４を更に含む。つまり、デコーディング・ステージ６４は、各時間的フラグメント４０に対して、それぞれのエンコードされた表現４０が所属する時間的フラグメント１０によってカバーされるオーディオ・コンテンツの再構築されたバージョン６６を出力する。

フラグメント１０の個別のフレーム・グリッドがそこで登録されるので、フラグメント・グリッドのフラグメント境界すなわちフラグメント・グリッドの始点３０に一致するように、デコーダ６０は、時間的フラグメントの再構築されたバージョン６６の始点を整列することに加えて、生得的に、時間的フラグメント１０の再構築されたバージョン６６を、プレイアウトに対して、結合する（ｊｏｉｎ）ように構成されるジョイナ６８を更に備える。

このようにして、図２および図３のエンコーダ２０およびデコーダ６０は、以下のように動作する。第１の又は先導するフレーム１２ｂが即時に始点３０で開始するように、すなわち、時間的フラグメント１０の始点と第１のフレーム１２ｂとが一致するように、フレーム１２のフレーム・グリッドが対応する時間的フラグメント１０の始点３０に整列されるように、エンコーダ２０は、各時間的フラグメント１０を対応するエンコードされた表現４０にエンコードする。エンコーディング・ステージ３６が単に部分的に時間的フラグメント１０に重複する後行フレーム１２ａをどのように取り扱うかという問題は、以下に述べるように、異なって解決されることができる。さらに、エンコーディング・ステージ３６が各時間的フラグメント１０に対してそのフレーム・グリッドを再整列するので、エンコーディング・ステージ３６は、完全に自己完結した方法ですなわち他の時間的フラグメントから独立して、時間的フラグメント１０をそれらに対応するエンコードされた表現４０にエンコードする。にもかかわらず、即時プレイアウトが各時間的フラグメントに対してデコーディング・サイドで許容されるように、エンコーディング・ステージ３６は、時間的フラグメント１０をそれらの対応するエンコードされた表現４０にエンコードする。可能な実施の形態の詳細は、以下に説明される。同様に、デコーダ６０は、各エンコードされた表現４０から対応する時間的フラグメント１０の再構築されたバージョン６６を再構築する。再構築されたバージョン６６は、対応する時間的フラグメント１０と同程度に長くてもよい。この目的のために、更に以下に述べるように、デコーディング・ステージ６４は、再構築されたバージョン６６の時間的長さを時間的フラグメント１０の時間的長さにまで拡張するために、洗い流しを実行してもよいし、又は、デコーディング・ステージ６４およびジョイナ６６は、以下に述べるように、時間的フラグメントの時間的長さをさもなければ上回る再構築されたバージョン６６の時間的部分をその端を切る又は無視するために、協働してもよい。デコーディング・ステージ６４は、エンコードされた表現４０のデコーディングを実行するとき、再びフレーム・グリッドを使用する、すなわち、フレーム１２の単位でデコーディングを実行し十分にエンコーディング・プロセスの逆を実行する。

以下では、エンコーディング・ステージ３６がまた後行フレーム１２ａを対応するエンコードされた表現４０にエンコードすることに関与する可能性と、デコーダが再構築されたバージョン６６の対応する突出する部分の端を切ることに関与する可能性と、を議論する。特に、この例によると、エンコーディング・ステージ３６とフラグメント・プロバイダ３８とは、現在の時間的フラグメント１０に対して、エンコードされた表現４０へのこの時間的フラグメント１０のエンコーディングが後行フレーム１２ａが関与するまで現在の時間的フラグメント１０の後行端７０を超えて継続するように、協働してもよい。すなわち、エンコーディング・ステージ３６はまた、オーディオ・コンテンツの突出する部分１６をエンコードされた表現４０へエンコードする。しかし、そのようにするとき、エンコーディング・ステージ３６は、エンコードされた表現４０へ後行フレーム１２ａをエンコードするために使われるビットレートを、突出する部分１６から後行フレーム１２ａの残りの部分すなわち現在の時間的フラグメント１０に時間的に重複する部分へ移してもよい。例えば、エンコーディング・ステージ３６は、後行フレーム１２ａの他の部分がエンコードされた表現４０にコードされる品質、すなわち現在の時間的フラグメント１０に属する品質と比較して、突出する部分１６がエンコードされた表現４０にコードされる品質を低下してもよい。その場合において、デコーディング・ステージ６４は、それゆえに、このエンコードされた表現４０から、時間的フラグメント１０の時間的長さを時間的に上回る、すなわち後行フレーム１２ａの突出する部分１６が関与するまで、対応する時間的フラグメント１０の再構築されたバージョン６６をデコードする。ジョイナ６８は、フラグメント・グリッドで、すなわちフラグメントの始点３０で、再構築されたバージョン６６を整列するとき、突出する部分１６で再構築されたバージョン６６のその端を切る。すなわち、ジョイナ６８は、プレイアウトにおける再構築されたバージョン６６の部分１６を無視する。この部分１６が上述するようにより低い品質でコードされているという事実は、それゆえに再構築されたオーディオ・コンテンツ３１´の聴取者に対して明白であり、これは、この部分がプレイアウトにおいて次の時間的フラグメント１０の再構築されたバージョンの始点によって取って代わられるので、アウトプット・ジョイナ６８で再構築されたバージョン６６の結合の結果である。

あるいは、エンコーダ２０は、現在の時間的フラグメント１０をエンコードするとき後行フレーム１２ａを除くように動作してもよい。代わりに、更に下に例示的に説明されるように内部的な状態を洗い流すことによって、デコーダは、時間的フラグメント１０のエンコードされていない部分、すなわち後行フレーム１２ａが部分的に重複する部分、を充填することに関与してもよい。すなわち、エンコーディング・ステージ３６とフラグメント・プロバイダ３８とは、現在の時間的フラグメント１０に対して、エンコードされた表現４０へのこの時間的フラグメントのエンコーディングが後行フレーム１２ａに即時に先行するフレーム１２で捕らえるように、協働してもよい。エンコーディング・ステージは、エンコードされた表現４０の範囲内で、後行フレーム１２ａに即時に先行するフレーム１２までエンコーダの内部的な状態自体を明らかにするようにエンコーダの内部的な状態を洗い流す手段によって、時間的フラグメント１０の残りのこのようにエンコードされていない部分、すなわち後行フレーム１２ａに重複する部分を充填するようにデコーダに指示するフラッシュ信号を知らせてもよい。デコーダ・サイドで、コーディング・ステージ６４は、対応するエンコードされた表現４０をデコードするときに、後行フレーム１２ａの即時に先行するフレーム１２までデコーディング・ステージ６４の内部的な状態自体を明らかにするようにデコーディング・ステージ６４の内部的な状態を洗い流すことによって時間的フラグメント１０と後行フレーム１２ａとが重複する部分の範囲内でこのエンコードされた表現４０に対応する時間的フラグメント１０の再構築されたバージョン６６を生成するために、このフラッシュ信号に敏感であってもよい。

より詳細にフラッシングの手順を説明するために、図４を参照して、変換コーデックに基づいて動作するエンコーディングおよびデコーディング・ステージの例示的な場合に対して再構築されたバージョン６６のエンコードされていない残り部分を生成するという場合を図示する。例えば、ラップ変換は、フレームをエンコードするために用いられてもよい。すなわち、エンコーディング・ステージ３６は、ＭＤＣＴ又はそのようなものである周波数分解変換の使用によって結果的にウインドウ化された部分のスペクトル的な分解を伴ってオーディオ・コンテンツの対応するインターバル７４に重みを加えるために複数のウインドウのうちの１つのウインドウ７２を使用する。ウインドウ化された部分７４は、現在のフレーム１２´の境界をカバーし、越えて時間的に展開する。図４は、例えば、ウインドウ７２又はウインドウ化された部分７４が現在のフレーム１２´に後続する二つのフレームで現在のフレーム１２´に先行する二つのフレーム１２に時間的に重複することを図示する。このようにして、現在の時間的フラグメント１０に対するエンコードされた表現４０は、ウインドウ化された部分７４の変換のコーディングを含み、このコーディング７６がフレーム１２´のコードされた表現である。デコーディング・ステージ６４は、時間的フラグメント１０のフレーム１２を再構築するために逆を実行する：それは、例えば、エントロピー・デコーディングを用いて変換７６をデコードし、変換７６が属する現在のフレーム１２´をカバーするウインドウ化された部分７４に帰着するために逆変換を実行し、しかしデコーディング・ステージ６４は、オーディオ・コンテンツ３１´の最後の再構築を得るために連続したウインドウ化された部分７４間でオーバーラップ加算処理を付加的に実行する。オーバーラップ加算処理は、ジョイナ６８によって実行されてもよい。このことは、次のことを意味する：図４は、例えば、現在のフレーム１２´が現在の時間的フラグメント１０の後行フレーム１２ａに即時に先行する最後から２番目のフレームであるということを想定している。デコーディング・ステージ６４は、ウインドウ化された部分７４の範囲内で時間領域部分７６を得るために変換７６へ逆変換を、概要で述べたように、実行することによって最後から２番目のフレーム１２´によってカバーされるオーディオ・コンテンツを再構築する。上で述べたように、この時間領域部分７６は、現在のフレーム１２´に時間的に重複する。現在のフレーム１２´の時間的に隣接するフレームのコードされた変換を逆に変換することによって得られた他の時間領域部分は、しかし、現在のフレーム１２´にも時間的に重複する。

図４において、これは、現在のフレーム１２´の二つの先行するフレームに属し、符号７８および８０で示唆されるウインドウ化された部分について図示される。フレーム１２´の完全な再構築は、しかし、現在のフレーム１２´を時間的にオーバーラップしているので、フレーム１２´のコードされた変換７６に適用される逆変換に起因しそのフレームに隣接する全ての時間領域部分７６、７８および８０の部分を加算するオーバーラップ加算処理によって得られる。たとえエンコーディング・ステージ３６がエンコードされた表現４０へこの後行フレーム１２ａに対するウインドウ化された部分の変換をコードしないとしても、１つ又はそれ以上の前のフレームの、すなわち図４と比較して変化してもよいウインドウ・サイズに依存する最後から２番目のフレーム１２´に先行する任意に１つ又はそれ以上のフレーム１２のコードされた変換７６を逆変換することによって得られるので、デコーダは、後行フレーム１２ａに時間的にオーバーラップしている全ての時間領域部分を加算することによってこの後行フレーム１２ａの範囲内でオーディオ・コンテンツの見積もりを得ることができる。例えば、ウインドウ・サイズは、時間的に先行するフレームとの時間的な重複が後続フレームとの時間的な重複よりも大きいようになっていてもよい。さらにその上、時間的な重複は、現在のコードされたフレームの即時に先行する及び／又は直後に続くフレームを単に含んでもよい。

異なった可能性は、デコーダ６０が突出する部分１６のサイズを通知される方法に関して存在する。例えば、デコーダ６０は、フレーム長さ値とフラグメント長さ値とを含む端切断情報を介してデータ・ストリーム３４の範囲内でこのサイズに関連して端切断情報を伝えるように構成されてもよい。フレーム長さ値は、Ｔ_frameとフラグメント長さ値Ｔ_fragmentとを示唆することができる。もう一つの可能性は、端切断長さ値が突出する部分１６それ自身の時間的長さ、又は、時間的フラグメント１０と後行フレーム１２ａとが時間的に重複する場所である部分の時間的長さを示唆するということである。各時間的フラグメント１０の再構築されたバージョン６６の即時プレイアウトを許容するために、エンコーディング・ステージ３６とフラグメント・プロバイダ３８とは協働することができ、その結果、各時間的フラグメント１０に対して、エンコードされた表現４０はまた、それぞれの時間的フラグメント１０に時間的に先行する部分４６に関連する即時プレイアウト情報を供給される。例えば、図４に関連するラップ変換がＭＤＣＴのようなエイリアシングを導入するラップ変換であることを想像してください。その場合において、先行する部分４６の変換コードされたバージョンなしに、デコーダは、現在の時間的フラグメント１０をその始点で、例えばエイリアシングなしにその第１の１つ又はそれ以上のフレーム１２の範囲内で、再構築することはできない。したがって、オーバーラップ加算処理の手段で時間領域エイリアシング消去を実行するために、エンコードされた表現４０の範囲内で伝えられる即時プレイアウト情報は、図４に関して既に図示されたようにラップ変換コーディング処理を用いてエンコーディングおよびデコーディング・ステージで先行する部分４６の変換コードされたバージョンに適用される。

上記ではより詳細には議論されていなかったにも関らず、エンコーディング・ステージ３６および／又はデコーディング・ステージ６４が２つ又はそれ以上のコアから構成されることは、特筆される。例えば、図２は、エンコーディング・ステージが第１のエンコーディング・コア９０と第２のエンコーディング・コア９２と等々とを含むことを図示し、さらに又はあるいは、図３は、デコーディング・ステージ６４が第１のデコーディング・コア９４と第２のデコーディング・コア９６とを含むことを示す。それぞれの時間的フラグメント１０と対応するエンコードされた表現４０とを連続的にエンコーディング／デコーディングする代わりに、時間的フラグメント１０およびエンコードされた表現４０のこれらの対のそれぞれに関して実行されるエンコーディング／デコーディング手順は、それぞれ、時間的フラグメント１０およびエンコードされた表現４０の連続のデコーディング／エンコーディングで交互に係合するコア９４および９６（および９０および９２）でパイプライン方式で実行される。

このようにして、図２の実施の形態によると、オーディオ・エンコーダは、それぞれの時間的フラグメント１０の始点３０で第１のオーディオ・フレーム１２ｂを整列する。デコーディング・サイドで可聴人工物なしにその時間的フラグメント１０のそれぞれの構築されたバージョン６６のギャップレス又は即時プレイアウトを可能にするために、上述のエンコーダは、フラグメント境界で２つの異なったフレーム・グリッド上で動作し又は言葉で表す。フラグメントの始点３０で個別の再構築されたバージョン６６の即時プレイアウトを考慮に入れるために、エンコーディング／デコーディング・ステージの基礎をなすオーディオ・コーデックに依存して、即時プレイアウト情報は、エンコードされた表現の範囲内で伝えられることができるが、また言及された。例えば、各時間的フラグメントの第１のフレーム１２ｂは、即時プレイアウト・フレームＩＰＦとしてコードされてもよい。各新時間的フラグメントの始点に配置されるそのようなＩＰＦは、例えば、全体のデコーダ遅延をカバーする。このことを再び図示するために、図５を参照されたい。図５は、２つの時間的フラグメント１０ａおよび１０ｂの間のフラグメント境界周辺にオーディオ・コンテンツの外側部分を示す。時間的フラグメント１０ａおよび１０ｂがコード／デコードされる単位におけるフレーム１２は、図５に同様に示されている。特に、図５は、時間的フラグメント１０ａの後行フレーム１２ａが、時間的フラグメント１０ｂがコード／デコードされるフレーム・グリッド・ユージングのフレームの第１のフレーム１２ｂに時間的に重複することを明らかにする。特に、時間的フラグメント１０ｂの第１のフレーム１２ｂと時間的に重複するのは、時間的フラグメント１０ａの後行端と後行フレーム１２ａの時間的フラグメント１０ｂの始点３０とを越えて延びる部分１６である。第１のフレーム１２ｂをエンコードするとき、エンコーディング状態は、時間的フラグメント１０ｂに対してエンコードされた表現４０に即時プレイアウト情報９８を、すなわちここでは例示的に第１のフレーム１２ｂに先行する時間的フラグメント１０ｂをコード／デコードするためのフレーム・グリッドの５つのプレロール・フレーム１２のコーディング１００をさらにエンコードする。プレロール・フレームは、図１において“ＡＵ‐５”から“ＡＵ‐１”によって示されている。これらのプレロール・フレームは、このようにして上述の先行する部分４６に及ぶ。エンコーディング１００は、図４に関して上で概説したように、逆変換を用い、そして、オーバーラップ加算処理において時間領域エイリアシング消去を実行するために時間的フラグメント１０ｂに延びるそれらの部分を用いるこれらのロール・フレームを取り囲む時間領域部分を用いる時間領域エイリアシング消去を実行することをデコーダ・サイドに許すために、プレロール・フレームの範囲内でオーディオ・コンテンツの変換コーディング・バージョンに関連する。

エンコーダは、正確なフラグメント期間を認識している。上述のとおり、実施の形態によると、重複するオーディオ・パート１６は、異なるフレーム・グリッドで２度エンコードされてもよい。

簡単な声名は、個別の時間的フラグメント１０がそれらのエンコードされた表現４０にコードされる「自己完結した方法」に関して実行される。この自己完結した方法は、エンコードされたオーディオ・チャンネル又はそのようなものの数のようなめったに変化しないデータに適用されるコーディング・パラメータのような構成データにもまた適用されることができるにも関らず、その結果、各エンコードされた表現４０はこの構成データを含み、そのようなめったに変化しないデータすなわち構成データが各エンコードされた表現４０に含まれるのではなく各エンコードされた表現４０の範囲外でバンドの外側にあるデコーディング・サイドに伝えられることは、交互に可能である。仮にエンコードされた表現に含まれるのであれば、構成データは、もう一つの輸送層に伝送されてもよい。例えば、当該構成は、初期化セグメントに伝送されてもよく、そして、各時間的フラグメントのＩＰＦフレーム１２ｂは、構成データ情報を伝送することから解放されることができる。

デコーディング・サイドに関する限り、図３に関する上記説明は、デコーダがプレロール・フレームすなわち各時間的フラグメントに対する第１のフレーム１２ｂに先行するフレームをデコードするように構成されることを明らかにする。デコーダは、構成が先行する時間的フラグメントから現在の時間的フラグメントまで変化するかどうかに関係なく、このデコーディングに関与することができる。これはもちろん、デコーダの全体的な性能に影響を与えるが、好都合なことに、デコーダは、デコーダが各時間的フラグメント境界上で、例えば最悪の適応型ストリーミングの使用例によると、ＩＰＦをデコードすることができるという要件を既に満たしていなければならず、その結果、そのような場合には追加の要件は課せられない。上述の端切断情報に関する限り、そのシグナリングは、ビットストリーム・レベル上で、またはシステム・レベル・ツールを伴うような他の輸送層で、なされてもよいことに注意されるべきである。

最後に、図６は、エンコードされるべきオーディオ・コンテンツ３１が、時間１１０における点で、すなわち２つの時間的フラグメント１０の間のフラグメント境界で、多数のオーディオ・チャンネルにおける変化のような構成変化を示す場合を示す。例えば、タイム・インスタント１１０の直前、ステレオのような第１の構成は適用され、一方、タイム・インスタント１１０の後、オーディオ・コンテンツ３１は、例えば、５チャンネル・オーディオ・シーンである。オーディオ・データ・ストリーム３４は、構成データ情報を含む。このようにして、タイム・インスタント１１０に先行する時間的フラグメントのデータ・ストリームのエンコードされる表現が第１の構成によりコードされることと、第２の構成がタイム・インスタント１１０に後続する時間的フラグメント１０をエンコードするために用いられることと、は、データ・ストリーム３４から明らかである。図６はまた、エンコードされた表現４０の即時プレイアウト情報９８を示す。タイム・インスタント１１０に先行する時間的フラグメント１０の場合において、即時プレイアウト情報９８は、例えば、図５に関して、上述のように引き出されてもよい。しかし、その状況は、タイム・インスタント１１０で即時に開始する時間的フラグメント１０に対して異なっている。ここでは、第２の構成におけるオーディオ・コンテンツ３９がタイム・インスタント１１０の前の時刻で昇降可能ではないので、オーディオ・コンテンツ３９は、タイム・インスタント１１０で即時に開始する時間的フラグメントのエンコードされた表現４０に対して即時プレイアウト情報９８を形成することを考慮に入れない。代わりに、ゼロ信号は、タイム・インスタント１１０で開始するこの時間的フラグメント１０に関して即時プレイアウト情報９８としてコードされてもよい。すなわち、構成変化の場合において、エンコーダは、例えば、モノから５．１又はそのようなものに切り替えるときのような過去に対して実際に利用可能なオーディオ・シグナルは存在しないので、ゼロ・サンプルをエンコードしてもよい。可能な最適化は、デコーダ・サイド上でこのゼロ・フレームすなわちゼロ・プレロール・フレームを生成することになっており、そして第１の時間的フラグメントの第１のフレーム１２ｂのエンコーディングのみを伝送することになっている。すなわち、そのような場合において即時プレイアウト情報は、完全に放置されることができる。

このようにして、上述の実施の形態は、調整された又は可変のビットレートのどちらかで伝送チャンネルを越えてオーディオおよびビデオ・コンテンツの送付を許容し、特に、オーディオ・ビデオ同期とスプライシングのような高度な使用例とを許容する。上述のとおり、上記でエンコードされたようなエンコードされたデータ・ストリームはまた、他のメディア・シグナルによって指示されるクロックのような他のクロックで同期をより簡単な状態にしてもよい。上記で説明されたエンコーダは、既存のオーディオ・フレーム長さの適応を考慮に入れる。時間的フラグメントの長さは、アプリケーションの要求に応じて定められてもよい。エンコーダの実施の形態は、例えば、排他的ではなく、メディア表現のフラグメントとしてこれらのフラグメントを用いることによって適応型ストリーミングの主題にされることができる時間的フラグメントのエンコードされた表現の一部分においてエンコードされたデータ・ストリームを形成する。すなわち、結果的として生じるフラグメントから構成されるコードされたデータ・ストリームは、適応型ストリーミング・プロトコルを介してサーバによってクライアントに提供されてもよく、クライアントは、プロトコルを介して、おそらく、そこで挿入された加算を用いてデータ・ストリーム・フラグメントを回収してもよく、そしてデコーディングのためにデコーダにデータ・ストリーム・フラグメントを送ってもよい。しかし、これは、必須ではない。むしろ、スプライシングは、他のアプリケーション・シナリオにおいてさえ本発明のエンコードされたデータ・ストリームの形成によって有利に影響され得る。上記で説明された実施の形態は、オーディオ・フレームがＭＰＥＧ−Ｈオーディオ・フレームであるＭＰＥＧ−Ｈオーディオ・コーデックとの関係で実施または使用されてもよいが、しかし上記の実施の形態は、このコーデックの使用に制限されるのではなく全ての（現代の）オーディオ・コーデックに適応されてもよい。

いくつかの側面は、機械の文脈で説明されてきたが、これらの側面が対応する方法の説明も表現することは明らかであり、ここでブロックまたはデバイスは、方法ステップまたは方法ステップの特徴に対応する。同様に、方法ステップの文脈で説明された側面はまた、対応するブロックもしくはアイテムまたは対応する機械の特徴の説明を表現する。方法ステップのいくつか又は全部は、ハードウェア機械、例えば、マイクロプロセッサ、プログラマブル・コンピュータまたは電子回路（を用いること）によって実行されてもよい。いくつかの実施の形態において、最も重要な方法ステップの一つ又はそれ以上は、そのような機械によって実行されてもよい。

本発明のスプライスされた又はスプライス可能なオーディオ・データ・ストリームは、デジタル・ストレージ媒体に格納されることができ、または、伝送媒体例えば無線伝送媒体もしくはインターネットのような有線伝送媒体で伝送されることができる。

特定の実施の形態の要求に応じて、本発明の実施の形態は、ハードウェアまたはソフトウェア内で実施されることができる。実施の形態は、その上に格納され電子的に読み込み可能なコントロール・シグナルを有し、それぞれの方法が実行されるようにプログラマブル・コンピュータ・システムと協働する（または協働することが可能である）デジタル・ストレージ媒体、例えばフロッピーディスク、ＤＶＤ、Ｂｌｕ‐Ｒａｙ、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭまたはフラッシュ・メモリを用いて実行されることができる。それゆえ、デジタル・ストレージ媒体は、コンピュータ読み込み可能である。

本発明によるいくつかの実施の形態は、電子的に読み込み可能なコントロール・シグナルを有しているデータ・キャリアを含み、電子的に読み込み可能なコントロール・シグナルは、本願明細書で説明された方法の一つが実行されるように、プログラマブル・コンピュータ・システムと協働することが可能である。

一般的に、本発明の実施の形態は、プログラム・コードを伴うコンピュータ・プログラム製品として実施されることができ、プログラム・コードは、コンピュータ・プログラム製品がコンピュータ上で稼働するときに方法の一つを実行することに対して動作的である。プログラム・コードは、例えば、マシン読み込み可能なキャリア上に格納されてもよい。

他の実施の形態は、マシン読み込み可能なキャリア上に格納される、本願明細書で説明される方法の一つを実行するためのコンピュータ・プログラムを含む。

言い換えれば、本発明の方法の実施の形態は、それゆえ、コンピュータ・プログラムがコンピュータ上で稼働するとき、本願明細書で説明される方法の一つを実行するためのプログラム・コードを有しているコンピュータ・プログラムである。

本発明の方法の更なる実施の形態は、それゆえ、そこで記録され、本願明細書で説明される方法の一つを実行するためのコンピュータ・プログラムを含むデータ・キャリア（またはデジタル・ストレージ媒体、またはコンピュータ読み込み可能な媒体）である。データ・キャリア、デジタル・ストレージ媒体または記録された媒体は、典型的に有形的および/または非移行的である。

本発明の方法の更なる実施の形態は、それゆえ、データ・ストリームまたは本願明細書で説明される方法の一つを実行するためのコンピュータ・プログラムを表現する信号の連続である。データ・ストリームまたは信号の連続は、例えば、データ・コミュニケーション接続を介して、例えばインターネットを介して、転送されるように構成されてもよい。

更なる実施の形態は、本願明細書で説明される方法の一つを実行するように構成され又は適用された処理手段、例えばコンピュータまたはプログラマブル・ロジック・デバイスを含む。

更なる実施の形態は、そこでインストールされ、本願明細書で説明される方法の一つを実行するためのコンピュータ・プログラムを有するコンピュータを含む。

本発明による更なる実施の形態は、本願明細書で説明される方法の一つを実行するためのコンピュータ・プログラムをレシーバに転送（例えば、電子的に又は光学的に）するように構成された機械又はシステムを含む。レシーバは、例えば、コンピュータ、モバイル・デバイス、メモリ・デバイスまたはそのようなものであってもよい。機械又はシステムは、例えば、コンピュータ・プログラムをレシーバに転送するためのファイル・サーバを含んでもよい。

いくつかの実施の形態において、プログラマブル・ロジック・デバイス（例えば、フィールド・プログラマブル・ゲート・アレイ）は、本願明細書で説明される方法の機能のいくつか又は全部を実行するために使用されてもよい。いくつかの実施の形態において、フィールド・プログラマブル・ゲート・アレイは、本願明細書で説明される方法の一つを実行するためにマイクロプロセッサと協働してもよい。一般的に、方法は、ハードウェア機械によって実行されることが好ましい。

本願明細書で説明される機械は、ハードウェア機械を用いて、またはコンピュータを用いて、またはハードウェア機械とコンピュータとの組み合わせを用いて実施されてもよい。

本願明細書で説明される方法は、ハードウェア機械を用いて、またはコンピュータを用いて、またはハードウェア機械とコンピュータとの組み合わせを用いて実行されてもよい。

上記で説明した実施の形態は、本発明の原理のために、単に例示されているだけである。配置の修正および変更ならびに本願明細書において説明される詳細は他の当業者にとって明らかであるものと理解される。したがって、間近に迫った特許請求の範囲だけによってのみ制限され、本願明細書において実施の形態の説明および説明の方法によって示される具体的な詳細によっては制限されないことが意図される。

＜定義と略語＞
ＡＡＣ アドバンスド・オーディオ・コーディング
ＡＴＳＣ 高度テレビジョン・システムズ委員会
ＡＵ オーディオ・アクセス・ユニット
ＤＡＳＨ ＨＴＴＰを越える動的適合型ストリーミング
ＤＶＢ デジタル・ビデオ・ブロードキャスティング
ＩＰＦ 瞬間プレイアウト・フレーム
ＭＰＤ メディア・プレゼンテーション・ディスクリプション
ＭＰＥＧ ムービング・ピクチャ・エキスパーツ・グループ
ＭＭＴ ＭＰＥＧメディア伝送
ＮＴＳＣ 全米テレビジョンシステム委員会
ＰＡＬ 位相反転線方式

Claims (21)

1. エンコードされたデータ・ストリーム（３４）へオーディオ・コンテンツをエンコードするためのエンコーダ（２０）であって、
   オーディオ・フレーム（１２）の単位で前記オーディオ・コンテンツをエンコードするように構成されるエンコーディング・ステージ（３６）と、
   時間的フラグメント（１０）の単位で前記エンコーディング・ステージ（３６）に前記オーディオ・コンテンツ（３１）を提供するように構成されるフラグメント・プロバイダ（３８）と、を備え、
   前記エンコーダは、各時間的フラグメント（１０）について、第１のオーディオ・フレームの始点と前記それぞれの時間的フラグメントの始点（３０）とが一致するように前記それぞれの時間的フラグメント（１０）へ前記オーディオ・フレーム（１２）を整列しながらオーディオ・フレーム（１２）の単位で前記それぞれの時間的フラグメントのエンコードされる表現（４０）へ各時間的フラグメント（１０）をエンコードするように構成され、
   前記時間的フラグメント（１０）の前記エンコードされた表現は、前記エンコードされたデータ・ストリームに含まれ、前記時間的フラグメント（１０）の時間的長さは、前記オーディオ・フレームの時間的長さの非整数倍数であり、
   前記エンコーダは、前記エンコードされたデータ・ストリーム内で、前記時間的フラグメントがエンコードされる単位で前記オーディオ・フレームの後行オーディオ・フレームの部分を特定するための端切断情報を信号で伝えるように構成され、当該後行オーディオ・フレームの部分は、前記時間的フラグメントの後行端を越えて前記フラグメント・グリッドの直後に続く時間的フラグメントに時間的に重複し、前記端切断情報は、
   前記オーディオ・フレームの前記時間的長さを示すフレーム長さ値および前記時間的フラグメントの前記時間的長さを示すフラグメント長さ値および／又は
   前記時間的フラグメントがエンコードされる単位で前記オーディオ・フレームの後行オーディオ・フレームの部分の時間的長さ、または前記後行オーディオ・フレームの前記部分の前記時間的長さと前記後行オーディオ・フレームの前記時間的長さとの差を示す端切断長さ値を含み、前記後行オーディオ・フレームの部分は、前記時間的フラグメントの後行端を越えて直後に続く時間的フラグメントに時間的に重複する、
   エンコーダ（２０）。
2. 前記エンコーディング・ステージ（３６）とフラグメント・プロバイダ（３８）とは、所定の時間的フラグメント（１０）について、前記それぞれの時間的フラグメントの前記エンコードされた表現（４０）への前記所定の時間的フラグメント（１０）の前記エンコーディングが前記所定の時間的フラグメントがエンコードされる単位で前記オーディオ・フレームの前記後行オーディオ・フレームに即時に先行するオーディオ・フレームで中止されるように協働し、当該後行オーディオ・フレームは、前記所定の時間的フラグメントの後行端を越えて前記フラグメント・グリッドの直後に続く時間的フラグメントに時間的に重複する、
   請求項１に記載のエンコーダ（２０）。
3. 前記エンコーディング・ステージは、前記所定の時間的フラグメントの前記エンコードされた表現（４０）内で、表されている前記デコーダの内部的な状態を前記後行オーディオ・フレームに即時に先行する前記オーディオ・フレームまで洗い流すことに基づいて、前記後行オーディオ・フレームによってカバーされる前記所定の時間的フラグメントの部分を充填するようにデコーダに指示しているフラッシュ信号を知らせるように構成される、
   請求項２に記載のエンコーダ（２０）。
4. 前記エンコーディング・ステージ（３６）とフラグメント・プロバイダ（３８）とは、所定の時間的フラグメント（１０）について、前記それぞれの時間的フラグメントの前記エンコードされる表現への前記所定の時間的フラグメントの前記エンコーディングが前記所定の時間的フラグメントがエンコードされる単位で前記オーディオ・フレーム（１２）の前記後行オーディオ・フレーム内の前記所定の時間的フラグメントの後行端を越えて継続するように協働し、当該後行オーディオ・フレームは、前記所定の時間的フラグメントの後行端を上回り前記フラグメント・グリッドの直後に続く時間的フラグメントに時間的に重複する、
   請求項１に記載のエンコーダ（２０）。
5. 前記エンコーディング・ステージ（３６）は、前記所定の時間的フラグメントの前記後行端を越えて前記直後に続く時間的フラグメントに時間的に重複している前記後行オーディオ・フレームの部分内で、前記所定の時間的フラグメン内よりも低い品質で、前記オーディオ・コンテンツをエンコードするように構成される、
   請求項４に記載のエンコーダ（２０）。
6. 前記エンコーディング・ステージ（３６）とフラグメント・プロバイダ（３８）とは、所定の時間的フラグメント（１０）について、前記それぞれの時間的フラグメントの前記エンコードされた表現への前記所定の時間的フラグメントの前記エンコーディングが前記所定の時間的フラグメント（１０）が前記それぞれの時間的フラグメントの前記エンコードされた表現（４０）へエンコードされ前記即時プレイアウト情報を前記所定の時間的フラグメントの前記エンコードされる表現へコードする単位で前記オーディオ・フレームのうちの前記第１のオーディオ・フレームに即時に先行する前記オーディオ・コンテンツの１つ又はそれ以上のプレロール・オーディオ・フレームから即時プレイアウト情報（９８）の導出を含むように協働する、
   請求項１ないし請求項５のいずれかに記載のエンコーダ（２０）。
7. 前記エンコーディング・ステージ（３６）は、ラップ変換を導入するエイリアシングに基づいて変換コーディングを用いて前記エンコーディングを実行するように、そして、ラップ変換を導入する前記エイリアシングに基づく前記変換コーディングを前記１つ又はそれ以上のプレロール・オーディオ・フレームにおける前記オーディオ・コンテンツに適用することによって前記即時プレイアウト情報を引き出すように構成される、
   請求項６に記載のエンコーダ（２０）。
8. 前記エンコーディング・ステージ（３６）は、
   第１のエンコーディング・コア（９０）と第２のエンコーディング・コア（９２）とを含み、
   前記フラグメント・プロバイダ（３８）は、前記オーディオ・コンテンツの第１の時間的フラグメントをエンコードしながら前記第１のエンコーディング・コア（９０）を係合するように構成され、前記第１のエンコーディング・コア（９０）は、前記第１の時間的フラグメントの始点に前記オーディオ・フレームを時間的に整列しながらオーディオ・フレームの単位で前記オーディオ・コンテンツの前記第１の時間的フラグメントを係合するように構成され、その結果、前記オーディオ・コンテンツの前記第１の時間的フラグメントがエンコードされる単位における前記オーディオ・フレームのうちの前記第１のオーディオ・フレームが前記第１の時間的フラグメントのエンコードされる表現を出力するために前記第１の時間的フラグメントの始点で即時に開始し、そして前記フラグメント・プロバイダ（３８）は、即時に前記第１の時間的フラグメントに後続して、前記オーディオ・コンテンツの第２の時間的フラグメントをエンコードしながら前記第２のエンコーディング・コアを係合するように構成され、前記第２のエンコーディング・コア（９０）は、前記第２の時間的フラグメントの始点に前記オーディオ・フレームを時間的に整列しながらオーディオ・フレームの単位で前記オーディオ・コンテンツの前記第２の時間的フラグメントをエンコードするように構成され、その結果、前記オーディオ・コンテンツの前記第２の時間的フラグメントがエンコードされる単位における前記オーディオ・フレームのうちの前記第１のオーディオ・フレームが前記第２の時間的フラグメントのエンコードされる表現を出力するために前記第２の時間的フラグメントの始点で即時に開始し、
   前記プロバイダは、前記オーディオ・コンテンツの第３の時間的フラグメントをエンコードしながらまた前記第１のエンコーディング・コア（９０）を係合するように構成される、
   請求項１ないし請求項７のいずれかに記載のエンコーダ。
9. 前記フラグメント・プロバイダ（３８）は、前記オーディオ・コンテンツの前記時間的フラグメントをエンコードするのと交互で前記第１および第２のエンコーディング・コア（９０、９２）を係合するように構成される、
   請求項８に記載のエンコーダ（２０）。
10. エンコードされたデータ・ストリームからオーディオ・コンテンツをデコードするためのデコーダ（６０）であって、
    前記オーディオ・コンテンツの時間的フラグメントのエンコードされた表現を受信するように構成されるインプット・インターフェイス（６２）であって、エンコードされた表現のそれぞれが前記それぞれの時間的フラグメントの始点に時間的に整列されるオーディオ・フレームの単位でそこにそれぞれの時間的フラグメントをエンコードし、その結果、前記それぞれの時間的フラグメントの前記始点が前記オーディオ・フレームのうちの第１のオーディオ・フレームの始点と一致するインプット・インターフェイス（６２）と、
    前記時間的フラグメントの前記エンコードされた表現から前記オーディオ・コンテンツの前記時間的フラグメントの再構築されたバージョン（６６）をデコードするように構成されるデコーディング・ステージ（６４）と、
    プレイアウトのために、前記オーディオ・コンテンツの前記時間的フラグメントの前記再構築されたバージョンをともに結合する（ｊｏｉｎ）ように構成されるジョイナ（６８）と、を備え、
    前記フラグメント・グリッドのフラグメント境界の間の時間的長さは、前記オーディオ・フレームの時間的長さの非整数倍数であり、
    前記ジョイナ（６８）は、所定の時間的フラグメントが前記所定の時間的フラグメントの前記エンコードされる表現にコードされる単位で前記オーディオ・フレームの後行オーディオ・フレームの部分で所定の時間的フラグメントの前記再構築されたバージョン（６６）をその端を切るように構成され、当該後行オーディオ・フレームの部分は、前記所定の時間的フラグメントの後行端を時間的に越えて直後に続く時間的フラグメントの再構築されたバージョンに時間的に重複し、
    前記デコーダは、前記エンコードされたデータ・ストリームにおける端切断情報に基づいて前記後行オーディオ・フレームの前記部分を決定するように構成され、前記端切断情報は、
    前記所定の時間的フラグメントが前記所定の時間的フラグメントの前記エンコードされた表現にコードされる単位で前記オーディオ・フレームの時間的長さを示すフレーム長さ値、および前記所定のフラグメントの前記再構築されたバージョンの始点から、前記後続する時間的フラグメントの前記再構築されたバージョンの前記始点が一致する前記フラグメント境界までの、前記所定の時間的フラグメントの時間的長さを示すフラグメント長さ値、および／または
    前記後行オーディオ・フレームの前記部分の時間的長さ、または前記後行オーディオ・フレームの前記部分の前記時間的長さと前記後行オーディオ・フレームの前記時間的長さとの違いを示す端切断長さ値、を含む、
    デコーダ（６０）。
11. 前記デコーディング・ステージ（６４）は、前記所定の時間的フラグメントの前記エンコードされた表現から所定の時間的フラグメントをデコードするとき、前記所定の時間的フラグメントが前記所定の時間的フラグメントの前記エンコードされた表現にコードされる単位で前記オーディオ・フレームのうちの後行オーディオ・フレームの部分の範囲内で前記所定の時間的フラグメントの前記再構築されるバージョンを生成し、当該後行オーディオ・フレームの部分は、前記後行オーディオ・フレームの先端から前記後行オーディオ・フレームに即時に先行するオーディオ・フレームまで表されている前記デコーディング・ステージの内部的な状態を洗い流すことによって後続する時間的フラグメントの再構築されるバージョンの前記フラグメント境界まで延伸する、
    請求項１０に記載のデコーダ（６０）。
12. 前記デコーディング・ステージ（６４）は、所定の時間的フラグメントの前記エンコードされた表現から即時プレイアウト情報を引き出すように構成され、前記即時プレイアウト情報は、前記時間的フラグメントの前記始点に直後に続く前記所定の時間的フラグメントの１つ又はそれ以上のオーディオ・フレームで前記オーディオ・コンテンツを再構築するために前記所定の時間的フラグメントの始点に時間的に先行し前記即時プレイアウト情報を用いる前記オーディオ・コンテンツの１つ又はそれ以上のプレロール・オーディオ・フレームで前記オーディオ・コンテンツに関連する、
    請求項１０または請求項１１に記載のデコーダ（６０）。
13. 前記デコーディング・ステージ（６４）は、前記即時プレイアウト情報が前記１つ又はそれ以上のプレロール・オーディオ・フレームにおける前記オーディオ・コンテンツの再構築であるように構成される、
    請求項１２に記載のデコーダ（６０）。
14. 前記デコーディング・ステージ（６４）は、時間領域エイリアシング消去のために前記時間的フラグメントの前記始点に直後に続く前記所定の時間的フラグメントの１つ又はそれ以上のオーディオ・フレームで前記オーディオ・コンテンツを再構築するときに前記即時プレイアウト情報を用いるように構成される、
    請求項１２又は請求項１３に記載のデコーダ（６０）。
15. 前記デコーディング・ステージ（６４）は、エイリアシングを引き起こすラップ変換の逆を個別的に用いて、そして前記フレーム境界を越えて展開する変換ウインドウを負っている前記オーディオ・フレームをデコードするように構成される、
    請求項１０ないし請求項１４のいずれかに記載のデコーダ。
16. 前記デコーディング・ステージ（６４）は、
    前記第１の時間的フラグメントの前記再構築されたバージョンが前記第１の時間的フラグメントの前記オーディオ・フレームのうちの第１のオーディオ・フレームの先端で開始するように、前記第１の時間的フラグメントのエンコードされた表現から前記オーディオ・コンテンツの第１の時間的フラグメントの再構築されるバージョンをオーディオ・フレーム単位でデコードするように構成される第１のデコーディング・コア（９４）と、
    前記第２の時間的フラグメントの前記再構築されたバージョンが前記第２の時間的フラグメントの前記オーディオ・フレームのうちの第１のオーディオ・フレームの先端で登録されて始まるように、前記第２の時間的フラグメントのエンコードされた表現から前記第１の時間的フラグメントに直後に続く前記オーディオ・コンテンツの第２の時間的フラグメントの再構築されたバージョンをオーディオ・フレーム単位でデコードするように構成される第２のデコーディング・コア（９６）と、を含み、
    前記ジョイナ（６８）は、前記第１の時間的フラグメントの前記再構築されたバージョン（６６）と前記第２の時間的フラグメントの前記再構築されたバージョンとをともに結合する（ｊｏｉｎ）ように構成される、
    請求項１０ないし請求項１５のいずれかに記載のデコーダ。
17. 前記第１のデコーディング・コアは、前記エンコードされたデータ・ストリームから、前記オーディオ・コンテンツの第３の時間的フラグメントの再構築されたバージョンもデコードするように構成される、
    請求項１６に記載のデコーダ。
18. 前記第１および第２のデコーディング・コアは、前記時間的フラグメントの前記エンコードされた表現から前記オーディオ・コンテンツの前記時間的フラグメントの前記再構築されたバージョンをデコードすることに交互に関与するように構成される、
    請求項１６又は請求項１７に記載のデコーダ。
19. エンコードされたデータ・ストリーム（３４）へオーディオ・コンテンツをエンコードするための方法（２０）であって、フレーム（１２）の単位で前記オーディオ・コンテンツをエンコードするように構成されるエンコーディング・ステージ（３６）を用い、前記方法は、
    前記エンコーディング・ステージ（３６）に時間的フラグメント（１０）の単位で前記オーディオ・コンテンツ（３１）を提供するステップと、
    前記エンコーディング・ステージによって実行されて、各時間的フラグメント（１０）について、前記それぞれの時間的フラグメント（１０）が前記それぞれの時間的フラグメントの前記エンコードされる表現（４０）へエンコードされる単位で前記オーディオ・フレームの第１のオーディオ・フレームの始点と前記それぞれの時間的フラグメントの始点（３０）とが一致するように前記それぞれの時間的フラグメント（１０）に前記オーディオ・フレーム（１２）を整列しながらオーディオ・フレーム（１２）の単位で前記それぞれの時間的フラグメントのエンコードされる表現（４０）へ各時間的フラグメント（１０）をエンコードするステップと、を含み、
    前記時間的フラグメント（１０）の前記エンコードされた表現は、前記エンコードされたデータ・ストリームに含まれ、前記時間的フラグメント（１０）の時間的長さは、前記フレームの時間的長さの非整数倍数であり、
    前記方法は、前記エンコードされたデータ・ストリーム内で、前記時間的フラグメントがエンコードされる単位で前記オーディオ・フレームの後行オーディオ・フレームの部分を特定するための端切断情報を信号で伝えるステップを含み、当該後行オーディオ・フレームの部分は、前記時間的フラグメントの後行端を越えて前記フラグメント・グリッドの直後に続く時間的フラグメントに時間的に重複し、前記端切断情報は、
    前記オーディオ・フレームの前記時間的長さを示すフレーム長さ値および前記時間的フラグメントの前記時間的長さを示すフラグメント長さ値および／又は
    前記時間的フラグメントがエンコードされる単位で前記オーディオ・フレームの後行オーディオ・フレームの部分の時間的長さ、または前記後行オーディオ・フレームの前記部分の前記時間的長さと前記後行オーディオ・フレームの前記時間的長さとの差を示す端切断長さ値であって、当該後行オーディオ・フレームの部分は、前記時間的フラグメントの後行端を越えて前記フラグメント・グリッドの直後に続く時間的フラグメントに時間的に重複する、端切断長さ値を含む、
    方法（２０）。
20. エンコードされたデータ・ストリームからオーディオ・コンテンツをフラグメント・グリッドの時間的フラグメントの単位でデコードするための方法（６０）であって、
    前記オーディオ・コンテンツの時間的フラグメントのエンコードされた表現を受信するステップであって、エンコードされた表現のそれぞれが、前記それぞれの時間的フラグメントの始点に時間的に整列されるオーディオ・フレームの単位でそこにそれぞれの時間的フラグメントをエンコードして、前記それぞれの時間的フラグメントの前記始点が前記オーディオ・フレームのうちの第１のオーディオ・フレームの始点と一致するようになっている、受信するステップと、
    前記時間的フラグメントの前記エンコードされた表現から前記オーディオ・コンテンツの前記時間的フラグメントの再構築されたバージョン（６６）をデコードするステップと、
    プレイアウトのために、前記オーディオ・コンテンツの前記時間的フラグメントの前記再構築されたバージョンをともに結合するステップと、を含み、
    前記フラグメント・グリッドのフラグメント境界の間の時間的長さは、前記オーディオ・フレームの時間的長さの非整数倍数であり、
    前記結合するステップ（６８）は、前記所定の時間的フラグメントが前記所定の時間的フラグメントの前記エンコードされた表現にコードされる単位で前記オーディオ・フレームの後行オーディオ・フレームの部分で、所定の時間的フラグメントの前記再構築されたバージョン（６６）をその端を切るステップを含み、当該後行オーディオ・フレームの部分は、前記所定の時間的フラグメントの後行端を時間的に越えて直後に続く時間的フラグメントの再構築されたバージョンに時間的に重複し、
    前記方法は、前記エンコードされたデータ・ストリームの端切断情報に基づいて前記後行オーディオ・フレームの前記部分を決定するステップを更に含み、
    前記端切断情報は、
    前記所定の時間的フラグメントが前記所定の時間的フラグメントの前記エンコードされた表現にコードされる単位で前記オーディオ・フレームの時間的長さを示すフレーム長さ値、および前記所定のフラグメントの前記再構築されたバージョンの始点から、前記後続する時間的フラグメントの前記再構築されたバージョンの前記始点が一致する前記フラグメント境界までの前記所定の時間的フラグメントの時間的長さを示すフラグメント長さ値、および／または
    前記後行オーディオ・フレームの前記部分の時間的長さ、または前記後行オーディオ・フレームの前記部分の前記時間的長さと前記後行オーディオ・フレームの前記時間的長さとの間の差を示す端切断長さ値、を含む、
    方法（６０）。
21. コンピュータ上で動作するとき請求項１９又は請求項２０に記載の方法を実行するためのプログラム・コードを有する、コンピュータ・プログラム。

Images