JP7679990B2

JP7679990B2 - 後処理遅延低減との高周波再構成技術の統合

Info

Publication number: JP7679990B2
Application number: JP2024081437A
Authority: JP
Inventors: ショエルリング，クリストフェル; ヴィレモエス，ラース; プルンハーゲン，ヘイコ; エクストランド，ペール
Original assignee: ドルビー・インターナショナル・アーベー
Priority date: 2018-04-25
Filing date: 2024-05-20
Publication date: 2025-05-20
Anticipated expiration: 2039-04-25
Also published as: JP7493076B2; JP7723865B1; MX2024006662A; KR20250130700A; JP2021522543A; CA3292044A1; US11810589B2; CN118800271A; ZA202006518B; IL278223B1; JP2023068156A; CN112189231A; IL278223B2; JP7252976B2; JP7683137B2; MY207342A; IL303445A; CN118782080A; IL310202B2; IL324819A

Description

この出願は、２０１８年４月２５日に出願された欧州特許出願第１８１６９１５６．９号に対する優先権を主張するものであり、それをここに援用する。

実施形態は、オーディオ信号処理に関し、より具体的には、基本形式の高周波再構成（high frequency reconstruction；“ＨＦＲ”）又は強化形式のＨＦＲのいずれがオーディオデータに対して実行されるべきかを指定する制御データを有するオーディオビットストリームの符号化、復号、又はトランスコーディングに関する。

典型的なオーディオビットストリームは、オーディオコンテンツの１つ以上のチャンネルを示すオーディオデータ（例えば、符号化されたオーディオデータ）と、オーディオデータ又はオーディオコンテンツの少なくとも１つの特徴を示すメタデータとの双方を含んでいる。符号化されたオーディオビットストリームを生成するためのよく知られた１つのフォーマットは、ＭＰＥＧ規格ＩＳＯ／ＩＥＣ１４４９６－３：２００９に記載された、ＭＰＥＧ－４ＡｄｖａｎｃｅｄＡｕｄｉｏＣｏｄｉｎｇ（ＡＡＣ）フォーマットである。ＭＰＥＧ－４規格において、ＡＡＣは“ＡｄｖａｎｃｅｄＡｕｄｉｏＣｏｄｉｎｇ”を表し、ＨＥ－ＡＡＣは“Ｈｉｇｈ－ＥｆｆｉｃｉｅｎｃｙＡｄｖａｎｃｅｄＡｕｄｉｏＣｏｄｉｎｇ”を表す。

ＭＰＥＧ－４ＡＡＣ規格は、準拠したエンコーダ又はデコーダにどのオブジェクト及び符号化ツールが存在するかを決定するものである幾つかのオーディオプロファイルを規定している。それらのオーディオプロファイルのうちの３つは、（１）ＡＡＣプロファイル、（２）ＨＥ－ＡＡＣプロファイル、及び（３）ＨＥ－ＡＡＣｖ２プロファイルである。ＡＡＣプロファイルは、ＡＡＣｌｏｗｃｏｍｐｌｅｘｉｔｙ（すなわち、“ＡＡＣ－ＬＣ”）オブジェクトタイプを含む。ＡＡＣ－ＬＣオブジェクトは、若干の調整を加えられた、ＭＰＥＧ－２ＡＡＣｌｏｗｃｏｍｐｌｅｘｉｔｙプロファイルに対応するものであり、スペクトルバンド複製（“ＳＢＲ”）オブジェクトタイプ及びパラメトリックステレオ（“ＰＳ”）オブジェクトタイプのいずれも含まない。ＨＥ－ＡＡＣプロファイルは、ＡＡＣプロファイルの上位集合であり、ＳＢＲオブジェクトタイプを更に含む。ＨＥ－ＡＡＣｖ２プロファイルは、ＨＥ－ＡＡＣプロファイルの上位集合であり、ＰＳオブジェクトタイプを更に含む。

ＳＢＲオブジェクトタイプはスペクトルバンド複製ツールを含み、これは、知覚的オーディオコーデックの圧縮効率を有意に改善する重要な高周波再構成（“ＨＦＲ”）符号化ツールである。ＳＢＲは、受信器側（例えば、デコーダ内）でオーディオ信号の高周波成分を再構成する。従って、エンコーダは、低周波成分を符号化して送信することを必要とするのみであり、低いデータレートで遥かに高いオーディオ品質を可能にする。ＳＢＲは、エンコーダから得られた制御データ及び利用可能な限られた帯域幅の信号からの、データレートを低減させるために以前に切り捨てられた高調波のシーケンスの複製に基づく。音調（tonal）成分と雑音ライク（noise-like）成分との間の比が、適応逆フィルタリングと、オプションでの雑音及び正弦波の付加とによって維持される。ＭＰＥＧ－４ＡＡＣ規格において、ＳＢＲツールは、スペクトルパッチング（線形変換又はスペクトル変換とも呼ばれる）を実行し、それにおいて、オーディオ信号の送信された低帯域部分からオーディオ信号の高帯域部分に多数の連続した直交ミラーフィルタ（ＱＭＦ）サブバンドが複製（又は“パッチ”）され、それがデコーダ内で生成される。

スペクトルパッチング又は線形変換は、例えば比較的低いクロスオーバー周波数を持つ音楽コンテンツなどの、ある一定のオーディオタイプには理想的ではないことがある。従って、スペクトルバンド複製を改善する技術が望まれる。

第１のクラスの実施形態は、符号化されたオーディオビットストリームを復号する方法に関する。当該方法は、符号化されたオーディオビットストリームを受信し、オーディオデータを復号して、復号された低帯域オーディオ信号を生成することを含む。当該方法は更に、高周波再構成メタデータを抽出し、復号された低帯域オーディオ信号を分析フィルタバンクでフィルタリングして、フィルタリングされた低帯域オーディオ信号を生成することを含む。当該方法は更に、オーディオデータに対してスペクトル変換又は高調波トランスポジションのいずれが実行されるべきかを指し示すフラグを抽出し、該フラグに従って、フィルタリングされた低帯域オーディオ信号及び高周波再構成メタデータを用いてオーディオ信号の高帯域部分を再生成することを含む。最後に、当該方法は、フィルタリングされた低帯域オーディオ信号と再生成された高帯域部分と組み合わせて、広帯域オーディオ信号を形成することを含む。

第２のクラスの実施形態は、符号化されたオーディオビットストリームを復号するオーディオデコーダに関する。当該デコーダは、符号化されたオーディオビットストリームを受信する入力インタフェースであり、符号化されたオーディオビットストリームは、オーディオ信号の低帯域部分を表すオーディオデータを含む、入力インタフェースと、オーディオデータを復号して、復号された低帯域オーディオ信号を生成するコアデコーダと、を含む。当該デコーダはまた、符号化されたオーディオビットストリームから高周波再構成メタデータを抽出するデマルチプレクサであり、高周波再構成メタデータは、オーディオ信号の低帯域部分からオーディオ信号の高帯域部分へと、連続数のサブバンドを線形変換する高周波再構成プロセスのための動作パラメータを含む、デマルチプレクサと、復号された低帯域オーディオ信号をフィルタリングして、フィルタリングされた低帯域オーディオ信号を生成する分析フィルタバンクと、を含む。当該デコーダは更に、符号化されたオーディオビットストリームから、オーディオデータに対して線形変換又は高調波トランスポジションのいずれが実行されるべきかを指し示すフラグを抽出するデマルチプレクサと、該フラグに従って、フィルタリングされた低帯域オーディオ信号及び高周波再構成メタデータを用いて、オーディオ信号の高帯域部分を再生成する高周波リジェネレータと、を含む。最後に、当該デコーダは、フィルタリングされた低帯域オーディオ信号と再生成された高帯域部分と組み合わせて、広帯域オーディオ信号を形成する合成フィルタバンクを含む。

他のクラスの実施形態は、エンハンストスペクトルバンド複製（enhanced spectral band replication；ｅＳＢＲ）処理が実行されるべきかを特定するメタデータを含むオーディオビットストリームを符号化及びトランスコーディングすることに関する。

発明方法の一実施形態を実行するように構成され得るシステムの一実施形態のブロック図である。発明オーディオ処理ユニットの一実施形態であるエンコーダのブロック図である。発明オーディオ処理ユニットの一実施形態であるデコーダを含み、及びオプションで、それに結合されたポストプロセッサを含むシステムのブロック図である。発明オーディオ処理ユニットの一実施形態であるデコーダのブロック図である。発明オーディオ処理ユニットの他の一実施形態であるデコーダのブロック図である。発明オーディオ処理ユニットの他の一実施形態のブロック図である。ＭＰＥＧ－４ＡＡＣビットストリーム（それが分割されるセグメントを含む）のブロックの図である。

表記及び用語体系
特許請求の範囲中を含め、この開示全体を通して、信号又はデータに“対して”処理を実行するという表現（例えば、信号又はデータをフィルタリングする、スケーリングする、変換する、又はそれに利得を適用する）は、信号又はデータに対して直接的に、あるいは号又はデータの処理されたバージョンに対して（例えば、処理実行前の予備的なフィルタリング又は前処理を受けた信号のバージョンに対して）、処理を実行することを表すよう、広い意味で使用される。

特許請求の範囲中を含め、この開示全体を通して、“オーディオ処理ユニット”又は“オーディオプロセッサ”という表現は、オーディオデータを処理するように構成されたシステム、デバイス、又は装置を示すよう、広い意味で使用される。オーディオ処理ユニットの例は、以下に限られないが、エンコーダ、トランスコーダ、デコーダ、コーデック、前処理システム、後処理システム、及びビットストリーム処理システム（ビットストリーム処理ツールとして参照されることもある）を含む。例えば携帯電話、テレビジョン、ラップトップ、及びタブレットコンピュータなど、ほぼ全ての家電製品が、オーディオ処理ユニット又はオーディオプロセッサを含んでいる。

特許請求の範囲中を含め、この開示全体を通して、用語“結合する”又は“結合される”は、直接的又は間接的のいずれの接続も意味するよう、広い意味で使用される。従って、第１のデバイスが第２のデバイスに結合する場合、その接続は、直接的な接続を介してであってもよいし、あるいは、他のデバイス及び接続を介する間接的な接続を介してであってもよい。また、他のコンポーネントに一体化された又は他のコンポーネントと一体化されたコンポーネントも互いに結合されている。

発明の実施形態の詳細な説明
ＭＰＥＧ－４ＡＡＣ規格は、符号化されたＭＰＥＧ－４ＡＡＣビットストリームが、以下のメタデータ、すなわち、ビットストリームのオーディオコンテンツを復号するために（もし適用されるべきであれば）デコーダによって適用されるべき高周波再構成（“ＨＦＲ”）処理の各タイプを示す、及び／又はそのようなＨＦＲ処理を制御する、及び／又はビットストリームのオーディオコンテンツを復号するために使用されるべき少なくとも１つのＨＦＲツールの少なくとも１つの特性若しくはパラメータを示すメタデータ、を含むことを企図している。ここでは、スペクトルバンド複製（“ＳＢＲ”）での使用に関してＭＰＥＧ－４ＡＡＣ規格で記述又は言及されているこのタイプのメタデータを表すために、“ＳＢＲメタデータ”という表現を使用する。当業者によって理解されるように、ＳＢＲはＨＦＲの一形式である。

ＳＢＲは、好ましくは、デュアルレートシステムとして使用され、基礎となるコーデックが、元のサンプリングレートの半分で動作する一方で、ＳＢＲは、元のサンプリングレートで動作する。ＳＢＲエンコーダは、より高いサンプリングレートではあるが、基礎となるコアコーデックと並列に動作する。ＳＢＲは主に、デコーダにおける後処理であるが、デコーダにおける最も正確な高周波再構成を確保するために、重要なパラメータがエンコーダで抽出される。エンコーダは、現在の入力信号セグメント特性に適した時間及び周波数レンジ／解像度に関して、ＳＢＲレンジのスペクトルエンベロープを推定する。スペクトルエンベロープは、複素ＱＭＦ解析とその後のエネルギー計算によって推定される。スペクトルエンベロープの時間及び周波数解像度は、所与の入力セグメントに最も適した時間周波数解像度を確保するために、高い自由度で選択されることができる。エンベロープ推定は、元の、主に高周波領域に位置した、過渡成分（例えば、ハイハット）が、エンベロープ調整前のＳＢＲ生成された高帯域において僅かに存在することを考慮する必要がある。何故なら、デコーダにおける高帯域は、高帯域と比較して過渡成分が遥かに目立たない低帯域に基づくからである。この側面は、他のオーディオ符号化アルゴリズムで使用される通常のスペクトルエンベロープ推定と比較して異なる要件を、スペクトルエンベロープデータの時間周波数解像度に関して課す。

スペクトルエンベロープはさておき、異なる時間及び周波数領域の入力信号のスペクトル特性を表す幾つかの更なるパラメータが抽出される。エンコーダは当然に、元の信号だけでなく、特定の制御パラメータセットを所与としてデコーダ内のＳＢＲユニットがどのようにして高帯域を作成するかについての情報へのアクセスを有するので、システムが以下の状況を取り扱うことが可能であり、すなわち、低帯域が強い高調波系列を構成し、再作成される高帯域が主にランダム信号成分を構成する状況、及び、高帯域領域が基礎とする低帯域内には対応物がない強い音調成分が元の高帯域内に存在する状況を取り扱うことが可能である。さらに、ＳＢＲエンコーダは、所与の時点においてどの周波数レンジがＳＢＲによってカバーされるべきかを調べるために、基礎となるコアコーデックと密接に関わって動作する。ＳＢＲデータは、エントロピー符号化、及びステレオ信号の場合に制御データのチャンネル依存性、を利用することによって、伝送前に効率的に符号化される。

制御パラメータ抽出アルゴリズムは典型的に、所与のビットレート及び所与のサンプリングレートで、基礎となるコーデックに合わせて注意深く調整される必要がある。これは、より低いビットレートは、通常、より高いビットレートと比較して大きいＳＢＲレンジを意味し、且つ異なるサンプリングレートは、ＳＢＲフレームの異なる時間解像度に対応する、という事実による。

ＳＢＲデコーダは、典型的に、幾つかの異なるパーツを含む。それは、ビットストリーム復号モジュール、高周波再構成（ＨＦＲ）モジュール、追加の高周波成分モジュール、及びエンベロープ調整モジュールを含む。システムは、複素数値のＱＭＦフィルタバンク（高品質ＳＢＲ用）又は実数値のＱＭＦフィルタバンク（低電力ＳＢＲ用）に基づく。発明の実施形態は、高品質ＳＢＲ及び低電力ＳＢＲの双方に適用可能である。ビットストリーム抽出モジュールにて、制御データがビットストリームから読み出されて復号される。ビットストリームからエンベロープデータを読み取る前に、現在フレーム用に時間周波数グリッドが取得される。基礎となるコアデコーダが、（低い方のサンプリングレートではあるが）現在フレームのオーディオ信号を復号して、時間ドメインオーディオサンプルを生成する。結果として得られた、オーディオデータのフレームが、ＨＦＲモジュールによる高周波再構成に使用される。次いで、復号された低帯域信号が、ＱＭＦフィルタバンクを用いて解析される。続いて、ＱＭＦフィルタバンクのサブバンドサンプルに対して高周波再構成及びエンベロープ調整が実行される。高周波は、所与の制御パラメータに基づいて、柔軟なやり方で低帯域から再構成される。さらに、再構成された高帯域は、所与の時間／周波数領域の適切なスペクトル特性を保証するために、制御データに従ってサブバンドチャンネルベースで適応的にフィルタリングされる。

ＭＰＥＧ－４ＡＡＣビットストリームの最上位レベルは、データブロック（“ｒａｗ＿ｄａｔａ＿ｂｌｏｃｋ”要素）のシーケンスであり、その各々が、オーディオデータ（典型的に１０２４又は９６０サンプルの期間にわたる）並びに関連情報及び／又は他のデータを含むデータのセグメント（ここでは、“ブロック”として参照する）である。ここでは、用語“ブロック”を、１つの（１つより多くない）“ｒａｗ＿ｄａｔａ＿ｂｌｏｃｋ”要素を決める又は示すオーディオデータ（並びに、対応するメタデータ、及びオプションで他の関連データも）を有するＭＰＥＧ－４ＡＡＣビットストリームのセグメント表すために使用する。

ＭＰＥＧ－４ＡＡＣビットストリームの各ブロックは、ある数の構文要素を含むことができる（それらの各々も、データのセグメントとしてビットストリーム内に具現化される）。そのような構文要素の７つのタイプが、ＭＰＥＧ－４ＡＡＣ規格で定義されている。各構文要素は、データ要素“ｉｄ＿ｓｙｎ＿ｅｌｅ”の異なる値によって識別される。構文要素の例は、“ｓｉｎｇｌｅ＿ｃｈａｎｎｅｌ＿ｅｌｅｍｅｎｔ（）”、“ｃｈａｎｎｅｌ＿ｐａｉｒ＿ｅｌｅｍｅｎｔ（）”、“ｆｉｌｌ＿ｅｌｅｍｅｎｔ（）”を含む。単一のチャンネル要素は、単一のオーディオチャンネル（モノラルオーディオ信号）のオーディオデータを含むコンテナである。チャンネルペア要素は、２つのオーディオチャンネル（すなわち、ステレオオーディオ信号）のオーディオデータを含む。

充填要素は、識別子（例えば、上記の要素“ｉｄ＿ｓｙｎ＿ｅｌｅ”の値）と、それに続くデータ（“充填データ”として参照する）とを含む情報のコンテナである。充填要素は、歴史的に、一定速度のチャンネル上で伝送されるべきビットストリームの瞬時的なビットレートを調整するために使用されてきた。各ブロックに適量の充填データを加えることによって、一定のデータレートが達成され得る。

発明の実施形態によれば、充填データは、ビットストリームで伝送されることが可能なデータ（例えば、メタデータ）のタイプを拡張する１つ以上の拡張ペイロードを含み得る。新たなタイプのデータを含む充填データを有するビットストリームを受信するデコーダは、オプションで、装置の機能を拡張するためにこのビットストリームを受信する装置（例えば、デコーダ）によって使用され得る。従って、当業者によって理解され得るように、充填要素は、特殊なタイプのデータ構造であり、オーディオデータ（例えば、チャンネルデータを含んだオーディオペイロード）を伝送するのに典型的に使用されるデータ構造とは異なる。

発明の一部の実施形態において、充填要素を識別するのに使用される識別子は、０ｘ６の値を持った、最上位ビット（“ｕｉｍｓｂｆ”）が先に伝送される３ビット符号なし整数で構成され得る。１つのブロック内で、同じタイプの構文要素の幾つかのインスタンス（例えば、幾つかの充填要素）が発生してもよい。

オーディオビットストリームを符号化するための別の標準は、ＭＰＥＧＵＳＡＣ（）統一オーディオ及びオーディオ符号化（Unified Speech and Audio Coding）規格（ＩＳＯ／ＩＥＣ２３００３－３：２０１２）である。ＭＰＥＧＵＳＡＣ規格は、スペクトルバンド複製処理（ＭＰＥＧ－４ＡＡＣ規格に記載されているＳＢＲ処理を含むとともに、他の強化された形式のスペクトルバンド複製処理も含む）を用いたオーディオコンテンツの符号化及び復号を記述している。この処理は、ＭＰＥＧ－４ＡＡＣ規格に記載されているＳＢＲツールセットの拡張・強化バージョンのスペクトルバンド複製ツール（ここでは“エンハンストＳＢＲツール”又は“ｅＳＢＲツール”として参照することもある）を適用する。従って、ｅＳＢＲ（ＵＳＡＣ規格で定義されている）は、ＳＢＲ（ＭＰＥＧ－４ＡＡＣ規格で定義されている）の改良である。

ここでは、“エンハンストＳＢＲ処理”（又は“ｅＳＢＲ処理”）という表現を、ＭＰＥＧ－４ＡＡＣ規格では記述又は言及されていない少なくとも１つのｅＳＢＲツール（例えば、ＭＰＥＧＵＳＡＣ規格で記述又は言及されている少なくとも１つのｅＳＢＲツール）を用いたスペクトルバンド複製処理を表すために使用する。このようなｅＳＢＲツールの例は、高調波（ハーモニック）トランスポジション並びにＱＭＦパッチングによる追加の前処理又は“プレフラット化（pre-flattening）”である。

整数次数Ｔの高調波トランスポーザは、信号持続時間を維持しながら、周波数ωの正弦波を周波数Ｔωの正弦波へとマッピングする。可能な最小のトランスポジション次数を用いて所望の出力周波数レンジの各部分を生成するために、典型的に、Ｔ＝２，３，４の３つの次数が順に使用される。４次より上のトランスポジションレンジの出力が必要とされる場合、それは周波数シフトによって生成され得る。可能であるとき、計算の複雑さを最小化する処理のために、略クリティカルにサンプリングされたベースバンド時間ドメインが作成される。

高調波トランスポーザは、ＱＭＦベース又はＤＦＴベースのいずれであってもよい。ＱＭＦベースの高調波トランスポーザを使用するとき、コアコーダ時間ドメイン信号の帯域幅拡張が、改良位相ボコーダ構造を用いてＱＭＦドメイン内で完全に実行され、全てのＱＭＦサブバンドに対してデシメーションとそれに続く時間伸長を実行する。幾つかのトランスポジションファクタ（例えば、Ｔ＝２，３，４）を用いるトランスポジションが、共通のＱＭＦ分析／合成変換ステージで実行される。ＱＭＦベースの高調波トランスポーザは信号適応周波数ドメインオーバーサンプリングを特徴としないので、ビットストリーム内の対応するフラグ（ｓｂｒＯｖｅｒｓａｍｐｌｉｎｇＦｌａｇ［ｃｈ］）は無視され得る。

ＤＦＴベースの高調波トランスポーザを使用するとき、好ましくは、複雑さを低減させるために、ファクタ３及び４のトランスポーザ（３次及び４次のトランスポーザ）が、補間によってファクタ２のトランスポーザ（２次のトランスポーザ）に統合される。各フレーム（ｃｏｒｅＣｏｄｅｒＦｒａｍｅＬｅｎｇｔｈコアコーダサンプルに対応する）に対して、先ず、公称“フルサイズ”の変換サイズのトランスポーザが、ビットストリーム内の信号適応周波数ドメインオーバーサンプリングフラグ（ｓｂｒＯｖｅｒＳａｍｐｌｉｎｇＦｌａｇ［ｃｈ］）によって決定される。

ｓｂｒＰａｔｃｈｉｎｇＭｏｄｅ＝＝１であるとき、高帯域を生成するために線形トランスポジションが使用されるべきことを指し示しており、後続のエンベロープ調整器に入力される高周波信号のスペクトルエンベロープの形状における不連続を回避するために追加のステップが導入され得る。これは、続くエンベロープ調整ステージの処理を改善し、より安定しているように感じられる高帯域信号をもたらす。この追加の前処理の動作は、高周波再構成に使用される低帯域信号の粗いスペクトルエンベロープが大きいレベル変動を示す信号タイプにとって有益である。しかしながら、ビットストリーム要素の値は、何らかの種類の信号依存分類を適用することによってエンコーダで決定され得る。この追加の前処理は、好ましくは、１ビットのビットストリーム要素であるｂｓ＿ｓｂｒ＿ｐｒｅｐｒｏｃｅｓｓｉｎｇによってアクティブにされる。ｂｓ＿ｓｂｒ＿ｐｒｅｐｒｏｃｅｓｓｉｎｇが１に設定されるときに、この追加処理がイネーブルされる。ｂｓ＿ｓｂｒ＿ｐｒｅｐｒｏｃｅｓｓｉｎｇがゼロに設定されるときには、この追加の前処理はディセーブルされる。この追加処理は好ましくは、各パッチについて低帯域Ｘ_Ｌｏｗをスケーリングするために高周波発生器によって使用されるｐｒｅＧａｉｎ（プリゲイン）曲線を利用する。例えば、ｐｒｅＧａｉｎ曲線は、

に従って計算されることができ、ただし、ｋ_０は、マスター周波数帯域テーブルの最初のＱＭＦサブバンドであり、ｌｏｗＥｎｖＳｌｏｐｅは、例えばｐｏｌｙｆｉｔ（）など、（最小二乗で）最もフィットする多項式の係数を計算する関数を使用して計算される。例えば、

を、（三次多項式を用いて）使用することができ、ここで、

であり、ただし、ｘ＿ｌｏｗｂａｎｄ（ｋ）＝［０．．．ｋ_０－１］であり、ｎｕｍＴｉｍｅＳｌｏｔは、フレーム内に存在するＳＢＲエンベロープタイムスロットの数であり、ＲＡＴＥは、タイムスロット当たりのＱＭＦサブバンドサンプルの数を指し示す定数（例えば、２）であり、φ_ｋは、（場合により共分散法から取得され得る）線形予測フィルタ係数であり、ここで、

である。

ＭＰＥＧＵＳＡＣ規格に従って生成されるビットストリーム（ここでは“ＵＳＡＣ”ビットストリームとして参照することもある）は、符号化されたオーディオコンテンツを含むとともに、典型的に、ＵＳＡＣビットストリームのオーディオコンテンツを復号するためにデコーダによって適用される各タイプのスペクトルバンド複製処理を示すメタデータ、及び／又は、そのようなスペクトルバンド複製処理を制御し、且つ／或いはＵＳＡＣビットストリームのオーディオコンテンツを復号するのに使用される少なくとも１つのＳＢＲツール及び／又はｅＳＢＲツールの少なくとも１つの特性又はパラメータを示す、メタデータ、を含む。

ここでは、“エンハンストＳＢＲメタデータ”（又は“ｅＳＢＲメタデータ”）という表現を、符号化されたオーディオビットストリーム（例えば、ＵＳＡＣビットストリーム）のオーディオコンテンツを復号するためにデコーダによって適用される各タイプのスペクトルバンド複製処理を示す、及び／又は、そのようなスペクトルバンド複製処理を制御し、且つ／或いはそのようなオーディオコンテンツを復号するのに使用される少なくとも１つのＳＢＲツール及び／又はｅＳＢＲツールの少なくとも１つの特性又はパラメータを示すが、ＭＰＥＧ－４ＡＡＣ規格で記述又は言及されていないメタデータを表すために使用する。ｅＳＢＲメタデータの一例は、ＭＰＥＧ－４ＡＡＣ規格では記述又は言及されていないがＭＰＥＧＵＳＡＣ規格では記述又は言及されているメタデータ（スペクトルバンド複製処理を指し示す、又はそれを制御する）である。従って、ｅＳＢＲメタデータは、ここでは、ＳＢＲメタデータではないメタデータを表し、ＳＢＲメタデータは、ここでは、ｅＳＢＲメタデータではないメタデータを表す。

ＵＳＡＣビットストリームは、ＳＢＲメタデータ及びｅＳＢＲメタデータの双方を含み得る。より具体的には、ＵＳＡＣビットストリームは、デコーダによるｅＳＢＲ処理の実行を制御するｅＳＢＲメタデータと、デコーダによるＳＢＲ処理の実行を制御するＳＢＲメタデータとを含み得る。本発明の典型的な実施形態によれば、ｅＳＢＲメタデータ（例えば、ｅＳＢＲ固有の構成データ）は、（本発明に従って）ＭＰＥＧ－４ＡＡＣビットストリーム（例えば、ＳＢＲペイロードの終端のｓｂｒ＿ｅｘｔｅｎｓｉｏｎ（）コンテナ内）に含まれる。

デコーダによる、（少なくとも１つのｅＳＢＲツールを有する）ｅＳＢＲツールセットを用いた、符号化されたビットストリームの復号中の、ｅＳＢＲ処理の実行は、符号化中に切り捨てられた高調波のシーケンスの複製に基づいて、オーディオ信号の高周波帯域を再生する。このようなｅＳＢＲ処理は典型的に、元のオーディオ信号のスペクトル特性を再現するために、生成される高周波帯域のスペクトルエンベロープを調整し、逆フィルタリングを適用し、ノイズ成分及び正弦波成分を加える。

発明の典型的な実施形態によれば、ｅＳＢＲメタデータは、他のセグメント（オーディオデータセグメント）内に符号化されたオーディオデータも含む符号化されたオーディオビットストリーム（例えばＭＰＥＧ－４ＡＡＣビットストリーム）の複数のメタデータセグメントのうちの１つ以上に含められる（例えば、ｅＳＢＲメタデータである少数の制御ビットが含められる）。典型的に、ビットストリームの各ブロックの少なくとも１つのそのようなメタデータセグメントは、充填要素（充填要素の始まりを指し示す識別子を含む）であり（又は含み）、ｅＳＢＲメタデータは、該識別子の後の充填要素に含められる。

図１は、システムの要素のうちの１つ以上が本発明の一実施形態に従って構成され得る例示的なオーディオ処理チェーン（オーディオデータ処理システム）のブロック図である。このシステムは、図示のように共に結合される以下の要素、すなわち、エンコーダ１、送達サブシステム２、デコーダ３、及び後処理ユニット４を含んでいる。図示のシステムのバリエーションでは、これらの要素のうちの１つ以上が省略され、あるいは追加のオーディオデータ処理ユニットが含められる。

一部の実装において、エンコーダ１（これはオプションで前処理ユニットを含む）は、オーディオコンテンツを有するＰＣＭ（時間ドメイン）サンプルを入力として受け入れ、オーディオコンテンツを示す符号化されたオーディオビットストリーム（ＭＰＥＧ－４ＡＡＣ規格に準拠したフォーマットを持つ）を出力するように構成される。ビットストリームのうち、オーディオコンテンツを示すデータを、ここでは、“オーディオデータ”又は“符号化されたオーディオデータ”として参照することがある。エンコーダが本発明の典型的な実施形態に従って構成される場合、エンコーダから出力されるオーディオビットストリームは、オーディオデータ並びにｅＳＢＲメタデータ（及び典型的に、他のメタデータも）を含む。

エンコーダ１から出力される１つ以上の符号化されたオーディオビットストリームは、符号化オーディオ送達サブシステム２にアサートされ得る。サブシステム２は、エンコーダ１から出力された符号化されたビットストリーム各々を格納及び／又は送達するように構成される。エンコーダ１から出力された符号化されたオーディオビットストリームは、サブシステム２によって格納され（例えば、ＤＶＤ又はＢｌｕｒａｙ（登録商標）ディスクの形態で）、若しくはサブシステム２によって伝送されることができ、又はサブシステム２によって格納されるとともに伝送され得る。

デコーダ３は、サブシステム２を介して受信した（エンコーダ１によって生成された）符号化されたＭＰＥＧ－４ＡＡＣオーディオビットストリームを復号するように構成される。一部の実施形態において、デコーダ３は、ビットストリームの各ブロックからｅＳＢＲメタデータを抽出し、そして、ビットストリームをデコードする（抽出したｅＳＢＲメタデータを用いてｅＳＢＲ処理を実行することによって、を含む）ことで、復号されたオーディオデータ（例えば、復号されたＰＣＭオーディオサンプルのストリーム）を生成するように構成される。一部の実施形態において、デコーダ３は、ビットストリームからＳＢＲメタデータを抽出し（しかし、ビットストリームに含まれるｅＳＢＲメタデータを無視し）、ビットストリームを復号する（抽出したＳＢＲメタデータを用いてＳＢＲ処理を実行することによって、を含む）ことで、復号されたオーディオデータ（例えば、復号されたＰＣＭオーディオサンプルのストリーム）を生成するように構成される。典型的に、デコーダ３は、サブシステム２から受信した符号化されたオーディオビットストリームのセグメントを（例えば、非一時的に）格納するバッファを含む。

図１の後処理ユニット４は、デコーダ３からの復号されたオーディオデータのストリーム（例えば、復号されたＰＣＭオーディオサンプル）を受け入れ、それに対して後処理を実行するように構成される。後処理ユニットはまた、後処理されたオーディオコンテンツ（又はデコーダ３から受信した復号されたオーディオ）を、１つ以上のスピーカによる再生のためにレンダリングするように構成され得る。

図２は、発明オーディオ処理ユニットの一実施形態であるエンコーダ（１００）のブロック図である。エンコーダ１００のコンポーネント又は要素のいずれも、１つ以上のプロセス及び／又は１つ以上の回路（例えば、ＡＳＩＣ、ＦＰＧＡ、又は他の集積回路）として、ハードウェアにて、ソフトウェアにて、あるいはハードウェアとソフトウェアとの組み合わせにて実装され得る。エンコーダ１００は、図示のように接続された、エンコーダ１０５、スタッファ／フォーマッタステージ１０７、メタデータ生成ステージ１０６、及びバッファメモリ１０９を含んでいる。典型的に、エンコーダ１００は、他のプロセッシング要素（図示せず）も含む。エンコーダ１００は、入力オーディオビットストリームを、符号化された出力ＭＰＥＧ－４ＡＡＣビットストリームに変換するように構成される。

メタデータ生成器１０６は、エンコーダ１００から出力される符号化ビットストリームに、ステージ１０７によって含められるべきメタデータ（ｅＳＢＲメタデータ及びＳＢＲメタデータを含む）を生成する（及び／又はステージ１０７へと渡す）ように結合及び構成される。

エンコーダ１０５は、入力オーディオデータを（例えば、それに対して圧縮を実行することによって）符号化し、得られた符号化されたオーディオを、ステージ１０７から出力される符号化されたビットストリームに含めるために、ステージ１０７にアサートするように結合及び構成される。

ステージ１０７は、エンコーダ１０５からの符号化されたオーディオと、生成器１０６からのメタデータ（ｅＳＢＲメタデータ及びＳＢＲメタデータを含む）とを多重化して、好ましくは、符号化されたビットストリームが、本発明の実施形態のうちの１つによって指定されるフォーマットを有するように、ステージ１０７から出力される符号化されたビットストリームを生成するように構成される。

バッファメモリ１０９は、ステージ１０７から出力された符号化オーディオビットストリームの少なくとも１つのブロックを（例えば、非一時的に）格納するように構成され、そして、符号化されたオーディオビットストリームの一連のブロックが、エンコーダ１００から送達システムへの出力としてバッファメモリ１０９からアサートされる。

図３は、発明オーディオ処理ユニットの一実施形態であるデコーダ（２００）を含み、及びオプションで、それに結合されたポストプロセッサ（３００）を含むシステムのブロック図である。デコーダ２００及びポストプロセッサ３００のコンポーネント又は要素のいずれも、１つ以上のプロセス及び／又は１つ以上の回路（例えば、ＡＳＩＣ、ＦＰＧＡ、又は他の集積回路）として、ハードウェアにて、ソフトウェアにて、あるいはハードウェアとソフトウェアとの組み合わせにて実装され得る。デコーダ２００は、図示のように接続された、バッファメモリ２０１、ビットストリームペイロードデフォーマッタ（パーサ）２０５、オーディオ復号サブシステム２０２（“コア”復号ステージ又は“コア”復号サブシステムとして参照することもある）、ｅＳＢＲ処理ステージ２０３、及び制御ビット生成ステージ２０４を有している。典型的に、デコーダ２００は、他のプロセッシング要素（図示せず）も含む。

バッファメモリ（バッファ）２０１は、デコーダ２００によって受信された符号化されたＭＰＥＧ－４ＡＡＣオーディオビットストリームの少なくとも１つのブロックを（例えば、非一時的に）格納する。デコーダ２００の動作にて、ビットストリームの一連のブロックが、バッファ２０１からデフォーマッタ２０５にアサートされる。

図３の実施形態（又は後述する図４の実施形態）についてのバリエーションでは、デコーダではないＡＰＵ（例えば、図６のＡＰＵ５００）が、図３又は図４のバッファ２０１によって受信されるのと同じタイプの符号化されたオーディオビットストリーム（すなわち、ｅＳＢＲメタデータを含む符号化されたオーディオビットストリーム）（例えば、ＭＰＥＧ－４ＡＡＣオーディオビットストリーム）の少なくとも１つのブロックを（例えば、非一時的に）格納するバッファメモリ（例えば、バッファ２０１と同じバッファメモリ）を含む。

図３を再び参照するに、デフォーマッタ２０５は、ビットストリームの各ブロックを逆多重化して、それからＳＢＲメタデータ（量子化されたエンベロープデータを含む）及びｅＳＢＲメタデータ（及び典型的に他のメタデータも）を抽出し、少なくともｅＳＢＲメタデータ及びＳＢＲメタデータをｅＳＢＲ処理ステージ２０３にアサートし、また典型的に、抽出した他のメタデータを復号サブシステム２０２（及びオプションで、制御ビット生成器２０４も）にアサートするように結合及び構成される。デフォーマッタ２０５はまた、ビットストリームの各ブロックからオーディオデータを抽出し、抽出したオーディオデータを復号サブシステム（復号ステージ）２０２にアサートするように結合及び構成される。

図３のシステムはまた、オプションでポストプロセッサ３００も含む。ポストプロセッサ３００は、バッファメモリ（バッファ）３０１と、バッファ３０１に結合された少なくとも１つのプロセッシング要素を含む他のプロセッシング要素（図示せず）とを含む。バッファ３０１は、デコーダ２００からポストプロセッサ３００によって受信された復号されたオーディオデータの少なくとも１つのブロック（又はフレーム）を格納する。ポストプロセッサ３００のプロセッシング要素は、バッファ３０１から出力される復号されたオーディオの一連のブロック（又はフレーム）を受信し、それを、復号サブシステム２０２（及び／又はデフォーマッタ２０５）から出力されるメタデータ及び／又はデコーダ２００のステージ２０４から出力される制御ビットを用いて適応的に処理するように結合及び構成される。

デコーダ２００のオーディオ復号サブシステム２０２は、パーサ２０５によって抽出されたオーディオデータを復号して（このような復号は“コア”復号処理として参照され得る）、復号されたオーディオデータを生成し、そして、復号されたオーディオデータをｅＳＢＲ処理ステージ２０３にアサートするように構成される。この復号は周波数ドメインで実行され、典型的に、逆量子化とそれに続くスペクトル処理とを含む。典型的に、サブシステム２０２の出力が、時間ドメインの復号されたオーディオデータであるように、サブシステム２０２における処理の最終ステージが、復号された周波数ドメインのオーディオデータに対して、周波数ドメイン－時間ドメイン変換を適用する。ステージ２０３は、復号されたオーディオデータに、（パーサ２０５によって抽出された）ＳＢＲメタデータ及びｅＳＢＲメタデータによって指し示されるＳＢＲツール及びｅＳＢＲツールを適用して（すなわち、ＳＢＲ及びｅＳＢＲメタデータを使用して、復号サブシステム２０２の出力に対してＳＢＲ及びｅＳＢＲ処理を実行して）、デコーダ２００から（例えばポストプロセッサ３００に）出力される完全に復号されたオーディオデータを生成する。典型的に、デコーダ２００は、デフォーマッタ２０５から出力されるデフォーマットされたオーディオデータ及びメタデータを格納するメモリ（サブシステム２０２及びステージ２０３によってアクセス可能）を含み、ステージ２０３は、ＳＢＲ及びｅＳＢＲ処理中に必要に応じてオーディオデータ及びメタデータ（ＳＢＲメタデータ及びｅＳＢＲメタデータを含む）にアクセスするように構成される。ステージ２０３におけるＳＢＲ処理及びｅＳＢＲ処理は、コア復号サブシステム２０２の出力に対する後処理であるとみなされ得る。オプションで、デコーダ２００はまた、ステージ２０３の出力に対してアップミキシングを実行して、デコーダ２００から出力される完全に復号され、アップミキシングされたオーディオを生成するように結合及び構成された最終アップミキシングサブシステム（これは、デフォーマッタ２０５によって抽出されるＰＳメタデータ及び／又はサブシステム２０４で生成される制御ビットを用いて、ＭＰＥＧ－４ＡＡＣ規格で規定されたパラメトリックステレオ（“ＰＳ”）ツールを適用し得る）を含む。あるいは、ポストプロセッサ３００が、デコーダ２００の出力に対してアップミキシングを実行するように構成される（例えば、デフォーマッタ２０５によって抽出されるＰＳメタデータ及び／又はサブシステム２０４で生成される制御ビットを用いる）。

デフォーマッタ２０５によって抽出されたメタデータに応答して、制御ビット生成器２０４は制御データを生成することができ、該制御データが、デコーダ２００内で（例えば、最終アップミキシングサブシステムにおいて）使用され及び／又はデコーダ２００の出力として（例えば、後処理での使用のためにポストプロセッサ３００に）アサートされ得る。入力ビットストリームから抽出されたメタデータに応答して（及びオプションで制御データにも応答して）、ステージ２０４は、ｅＳＢＲ処理ステージ２０３から出力される復号されたオーディオデータが特定タイプの後処理を受けるべきであることを指し示す制御ビットを生成（及びポストプロセッサ３００にアサート）し得る。一部の実装において、デコーダ２００は、入力ビットストリームからデフォーマッタ２０５によって抽出されたメタデータをポストプロセッサ３００にアサートするように構成され、そして、ポストプロセッサ３００は、メタデータを使用して、デコーダ２００から出力される復号されたオーディオデータに対して後処理を実行するように構成される。

図４は、発明オーディオ処理ユニットの他の一実施形態であるオーディオ処理ユニット（audio processing unit；“ＡＰＵ”）（２１０）のブロック図である。ＡＰＵ２１０は、ｅＳＢＲ処理を実行するようには構成されないレガシーデコーダである。ＡＰＵ２１０のコンポーネント又は要素のいずれも、１つ以上のプロセス及び／又は１つ以上の回路（例えば、ＡＳＩＣ、ＦＰＧＡ、又は他の集積回路）として、ハードウェアにて、ソフトウェアにて、あるいはハードウェアとソフトウェアとの組み合わせにて実装され得る。ＡＰＵ２１０は、図示のように接続された、バッファメモリ２０１、ビットストリームペイロードデフォーマッタ（パーサ）２１５、オーディオ復号サブシステム２０２（“コア”復号ステージ又は“コア”復号サブシステムとして参照することもある）、及びＳＢＲ処理ステージ２１３を有している。典型的に、ＡＰＵ２１０は、他のプロセッシング要素（図示せず）も含む。ＡＰＵ２１０は、例えば、オーディオエンコーダ、デコーダ又はトランスコーダを表し得る。

ＡＰＵ２１０の要素２０１及び２０２は、（図３の）デコーダ２００の同じ番号の要素と同じであり、上でのそれらの説明を繰り返すことはしない。ＡＰＵ２１０の動作にて、ＡＰＵ２１０によって受信された符号化されたオーディオビットストリーム（ＭＰＥＧ－４ＡＡＣビットストリーム）の一連のブロックが、バッファ２０１からデフォーマッタ２０５にアサートされる。

デフォーマッタ２１５は、ビットストリームの各ブロックを逆多重化して、それからＳＢＲメタデータ（量子化されたエンベロープデータを含む）を抽出し及び典型的に他のメタデータも抽出するが、本発明の任意の実施形態に従ってビットストリームに含められ得るｅＳＢＲメタデータは無視するように結合及び構成される。デフォーマッタ２１５は、少なくともＳＢＲメタデータをＳＢＲ処理ステージ２１３にアサートするように構成される。デフォーマッタ２１５はまた、ビットストリームの各ブロックからオーディオデータを抽出し、抽出したオーディオデータを復号サブシステム（復号ステージ）２０２にアサートするように結合及び構成される。

ＡＰＵ２１０のオーディオ復号サブシステム２０２は、デフォーマッタ２１５によって抽出されたオーディオデータを復号して（このような復号は“コア”復号処理として参照され得る）、復号されたオーディオデータを生成し、そして、復号されたオーディオデータをＳＢＲ処理ステージ２１３にアサートするように構成される。この復号は周波数ドメインで実行される。典型的に、サブシステム２０２の出力が、時間ドメインの復号されたオーディオデータであるように、サブシステム２０２における処理の最終ステージが、復号された周波数ドメインのオーディオデータに対して、周波数ドメイン－時間ドメイン変換を適用する。ステージ２１３は、復号されたオーディオデータに、（デフォーマッタ２１５によって抽出された）ＳＢＲメタデータによって指し示されるＳＢＲツールを適用して（ｅＳＢＲツールは適用せずに）（すなわち、ＳＢＲメタデータを使用して、復号サブシステム２０２の出力に対してＳＢＲ処理を実行して）、ＡＰＵ２１０から（例えばポストプロセッサ３００に）出力される完全に復号されたオーディオデータを生成する。典型的に、ＡＰＵ２１０は、デフォーマッタ２１５から出力されるデフォーマットされたオーディオデータ及びメタデータを格納するメモリ（サブシステム２０２及びステージ２１３によってアクセス可能）を含み、ステージ２１３は、ＳＢＲ処理中に必要に応じてオーディオデータ及びメタデータ（ＳＢＲメタデータを含む）にアクセスするように構成される。ステージ２１３におけるＳＢＲ処理は、コア復号サブシステム２０２の出力に対する後処理であるとみなされ得る。オプションで、ＡＰＵ２１０はまた、ステージ２１３の出力に対してアップミキシングを実行して、ＡＰＵ２１０から出力される完全に復号され、アップミキシングされたオーディオを生成するように結合及び構成された最終アップミキシングサブシステム（これは、デフォーマッタ２０５によって抽出されるＰＳメタデータを用いて、ＭＰＥＧ－４ＡＡＣ規格で規定されたパラメトリックステレオ（“ＰＳ”）ツールを適用し得る）を含む。あるいは、ＡＰＵ２１０の出力に対してアップミキシングを実行する（例えば、デフォーマッタ２１５によって抽出されるＰＳメタデータ及び／又はＡＰＵ２１０で生成される制御ビットを用いる）ように、ポストプロセッサが構成される。

発明方法の異なる実施形態を実行するように、エンコーダ１００、デコーダ２００、及びＡＰＵ２１０の様々な実装が構成される。

一部の実施形態によれば、符号化されたオーディオビットストリーム（例えば、ＭＰＥＧ－４ＡＡＣビットストリーム）にｅＳＢＲメタデータが含められる（例えば、ｅＳＢＲメタデータである少数の制御ビットが含められる）が、レガシーデコーダ（これは、ｅＳＢＲメタデータを構文解析（パース）したり、ｅＳＢＲメタデータが関係するｅＳＢＲツールを使用したりするようには構成されない）が、ｅＳＢＲメタデータを無視することができ、それにもかかわらず、ｅＳＢＲメタデータ又はｅＳＢＲメタデータが関係するｅＳＢＲツールの使用なしで、典型的には復号オーディオ品質における重大なペナルティなしで、ビットストリームを可能な範囲で復号することができるようにされる。一方で、ビットストリームを構文解析してｅＳＢＲメタデータを識別し、そして、ｅＳＢＲメタデータに応答して少なくとも１つのｅＳＢＲツールを使用するように構成されたｅＳＢＲデコーダは、少なくとも１つのそのようなｅＳＢＲツールを使用することの利益を享受することになる。従って、発明の実施形態は、エンハンストスペクトルバンド複製（ｅＳＢＲ）制御データ又はメタデータを後方互換性のある方法で効率的に伝送する手段を提供する。

典型的に、ビットストリーム内のｅＳＢＲメタデータは、以下のｅＳＢＲツール（これらは、ＭＰＥＧＵＳＡＣ規格にて記述されており、ビットストリームの生成中にエンコーダによって適用されたり適用されなかったりし得る）のうちの１つ以上を示す（例えば、それの少なくとも１つの特性又はパラメータを示す）：
・高調波トランスポジション、及び
・ＱＭＦパッチングによる追加の前処理（プレフラット化）。

例えば、ビットストリームに含められるｅＳＢＲメタデータは、ｓｂｒＰａｔｃｈｉｎｇＭｏｄｅ［ｃｈ］、ｓｂｒＯｖｅｒｓａｍｐｌｉｎｇＦｌａｇ［ｃｈ］、ｓｂｒＰｉｔｃｈＩｎＢｉｎｓ［ｃｈ］、ｓｂｒＰｉｔｃｈＩｎＢｉｎｓ［ｃｈ］、及びｂｓ＿ｓｂｒ＿ｐｒｅｐｒｏｃｅｓｓｉｎｇなるパラメータ（ＭＰＥＧＵＳＡＣ規格及び本開示に記載されている）の値を示し得る。

ここでは、Ｘは何らかのパラメータであるとして、Ｘ［ｃｈ］という表記は、そのパラメータが、復号されるべき符号化されたビットストリームのオーディオコンテンツのチャンネル（“ｃｈ”）に関係することを表す。単純化のため、［ｃｈ］という表現を省略することがあり、また、該当パラメータがオーディオコンテンツのチャンネルに関係すると仮定することがある。

ここでは、Ｘは何らかのパラメータであるとして、Ｘ［ｃｈ］［ｅｎｖ］という表記は、そのパラメータが、復号されるべき符号化されたビットストリームのオーディオコンテンツのチャンネル（“ｃｈ”）のＳＢＲエンベロープ（“ｅｎｖ”）に関係することを表す。単純化のため、［ｅｎｖ］及び［ｃｈ］という表現を省略することがあり、また、該当パラメータがオーディオコンテンツのチャンネルのＳＢＲエンベロープに関係すると仮定することがある。

符号化されたビットストリームの復号において、（ビットストリームによって示されるオーディオコンテンツの各チャンネル”ｃｈ”の）復号のｅＳＢＲ処理ステージ中の高調波トランスポジションの実行は、ｓｂｒＰａｔｃｈｉｎｇＭｏｄｅ［ｃｈ］、ｓｂｒＯｖｅｒｓａｍｐｌｉｎｇＦｌａｇ［ｃｈ］、ｓｂｒＰｉｔｃｈＩｎＢｉｎｓＦｌａｇ［ｃｈ］、及びｓｂｒＰｉｔｃｈＩｎＢｉｎｓ［ｃｈ］というｅＳＢＲメタデータパラメータによって制御される。

値“ｓｂｒＰａｔｃｈｉｎｇＭｏｄｅ［ｃｈ］”は、ｅＳＢＲで使用されるトランスポーザタイプを指し示し、ｓｂｒＰａｔｃｈｉｎｇＭｏｄｅ［ｃｈ］＝１は、ＭＰＥＧ－４ＡＡＣ規格のセクション４．６．１８に記載されている線形トランスポジションパッチング（高品質ＳＢＲ又は低電力ＳＢＲのいずれとも使用される）を指し示し、ｓｂｒＰａｔｃｈｉｎｇＭｏｄｅ［ｃｈ］＝０は、ＭＰＥＧＵＳＡＣ規格のセクション７．５．３又は７．５．４に記載されている高調波ＳＢＲパッチングを指し示す。

値“ｓｂｒＯｖｅｒｓａｍｐｌｉｎｇＦｌａｇ［ｃｈ］”は、ＭＰＥＧＵＳＡＣ規格のセクション７．５．３に記載されているＤＦＴベースの高調波ＳＢＲパッチングと組み合わせての、ｅＳＢＲにおける信号適応周波数ドメインオーバーサンプリングの使用を指し示す。このフラグは、トランスポーザで使用されるＤＦＴのサイズを制御し、１は、ＭＰＥＧＵＳＡＣ規格のセクション７．５．３．１に記載されるように信号適応周波数ドメインオーバーサンプリングがイネーブルされることを指し示し、０は、ＭＰＥＧＵＳＡＣ規格のセクション７．５．３．１に記載されるように信号適応周波数ドメインオーバーサンプリングがディセーブルされることを指し示す。

値“ｓｂｒＰｉｔｃｈＩｎＢｉｎｓＦｌａｇ［ｃｈ］”は、ｓｂｒＰｉｔｃｈＩｎＢｉｎｓ［ｃｈ］パラメータの解釈を制御し、１は、ｓｂｒＰｉｔｃｈＩｎＢｉｎｓ［ｃｈ］の値が有効であってゼロより大きいことを指し示し、０は、ｓｂｒＰｉｔｃｈＩｎＢｉｎｓ［ｃｈ］の値がゼロに設定されることを指し示す。

値“ｓｂｒＰｉｔｃｈＩｎＢｉｎｓ［ｃｈ］”は、ＳＢＲ高調波トランスポーザにおける外積項の追加を制御する。値ｓｂｒＰｉｔｃｈｉｎＢｉｎｓ［ｃｈ］は、範囲［０，１２７］内の整数値であり、コアコーダのサンプリング周波数に作用する１５３６ラインＤＦＴの周波数ビンで測定される距離を表す。

ＭＰＥＧ－４ＡＡＣビットストリームが、（単一のＳＢＲチャンネルではなく）それらのチャンネルが結合されないＳＢＲチャンネルペアを示す場合、そのビットストリームは、ｓｂｒ＿ｃｈａｎｎｅｌ＿ｐａｉｒ＿ｅｌｅｍｅｎｔ（）の各チャンネルに対して１つずつの、（高調波トランスポジション又は非高調波トランスポジションに関する）上の構文の２つのインスタンスを示す。

ｅＳＢＲツールの高調波トランスポジションは、典型的に、比較的低いクロスオーバー周波数にある復号された音楽信号の品質を改善する。非高調波トランスポジション（すなわち、レガシースペクトルパッチング）は典型的に音声（スピーチ）信号を改善する。従って、特定のオーディオコンテンツを符号化するのにどちらのタイプのトランスポジションが好ましいかに関する決定における出発点は、音楽コンテンツには高調波トランスポジションが使用され、音声コンテンツにはスペクトルパッチングが使用されるとして、音声／音楽検出に応じてトランスポジション方法を選択することである。

ｅＳＢＲ処理におけるプレフラット化の実行は、 “ｂｓ＿ｓｂｒ＿ｐｒｅｐｒｏｃｅｓｓｉｎｇ”として知られる１ビットのｅＳＢＲメタデータパラメータの値によって（この単一ビットの値に応じてプレフラット化が実行されるか実行されないかのいずれかであるという意味で）制御される。ＭＰＥＧ－４ＡＡＣ規格のセクション４．６．１８．６．３に記載されているＳＢＲＱＭＦパッチングアルゴリズムが使用されるとき、後プレフラット化のステップは、続くエンベロープ調整器（エンベロープ調整器はｅＳＢＲ処理の別のステージを実行する）に入力される高周波信号のスペクトルエンベロープの形状における不連続を回避する努力の一環として、（“ｂｓ＿ｓｂｒ＿ｐｒｅｐｒｏｃｅｓｓｉｎｇ”パラメータによって指し示されるときに）実行され得る。プレフラット化は、典型的に、続くエンベロープ調整ステージの処理を改善し、より安定しているように感じられる高帯域信号をもたらす。

上述のｅＳＢＲツール（高調波トランスポジション及びプレフラット化）を示すｅＳＢＲメタデータをＭＰＥＧ－４ＡＡＣビットストリームに含めるための全体的なビットレート要求は、発明の一部の実施形態によれば、ｅＳＢＲ処理を実行するために必要とされる差分の制御データのみが伝送されるので、数百ビット／秒のオーダーであると期待される。この情報は（後述するように）後方互換的に含められるので、レガシーデコーダはこの情報を無視することができる。従って、ｅＳＢＲメタデータを含めることに伴うビットレートへの悪影響は、以下を含む複数の理由から無視できるものである：
・ｅＳＢＲ処理を実行するために必要とされる差分の制御データのみが伝送される（ＳＢＲ制御データの同時伝送ではない）ので、（ｅＳＢＲメタデータを含めることによる）ビットレートペナルティは、ビットレート全体のごく一部である、及び
・ＳＢＲ関係の制御情報の調整（チューニング）は、典型的に、トランスポジションの詳細に依存しない。制御データがトランスポーザの動作に依存する場合の例については、この出願中で後述する。

従って、発明の実施形態は、エンハンストスペクトルバンド複製（ｅＳＢＲ）制御データ又はメタデータを後方互換性のある方法で効率的に伝送する手段を提供する。ｅＳＢＲ制御データのこの効率的な伝送は、ビットレートに対する目に見える悪影響を有することなく、発明の態様を採用するデコーダ、エンコーダ、及びトランスコーダにおけるメモリ要求を低減させる。さらに、発明の実施形態に従ってｅＳＢＲを実行することに関連する複雑さ及び処理要件も低減される。何故なら、ＳＢＲデータは、（ｅＳＢＲが、後方互換的にＭＰＥＧ－４ＡＡＣコーデックに統合される代わりに、ＭＰＥＧ－４ＡＡＣにおける完全に別個のオブジェクトタイプとして扱われる、とした場合にそうであるように同時伝送されずに）一度だけ処理されればよいからである。

次に、図７を参照して、本発明の一部の実施形態に従ってｅＳＢＲメタデータが含められるＭＰＥＧ－４ＡＡＣビットストリームのブロック（“ｒａｗ＿ｄａｔａ＿ｂｌｏｃｋ”）の要素を記述する。図７は、そのセグメントの一部を示すＭＰＥＧ－４ＡＡＣビットストリームのブロック（“ｒａｗ＿ｄａｔａ＿ｂｌｏｃｋ”）の図である。

ＭＰＥＧ－４ＡＡＣビットストリームのブロックは、オーディオプログラムのオーディオデータを含んだ、少なくとも１つの“ｓｉｎｇｌｅ＿ｃｈａｎｎｅｌ＿ｅｌｅｍｅｎｔ（）”（例えば、図７に示す単一チャンネル要素）及び／又は少なくとも１つの“ｃｈａｎｎｅｌ＿ｐａｉｒ＿ｅｌｅｍｅｎｔ（）”（図７には特に示していないが、存在してもよい）を含み得る。このブロックはまた、そのプログラムに関係するデータ（例えば、メタデータ）を含む複数の“充填要素”（例えば、図７の充填要素１及び／又は充填要素２）を含み得る。各“ｓｉｎｇｌｅ＿ｃｈａｎｎｅｌ＿ｅｌｅｍｅｎｔ（）”は、単一チャンネル要素の始まりを示す識別子（例えば、図７の“ＩＤ１”）を含むとともに、マルチチャンネルオーディオプログラムのうちの異なるチャンネルを示すオーディオデータを含むことができる。各“ｃｈａｎｎｅ＿ｐａｉｒ＿ｅｌｅｍｅｎｔ（）”は、チャンネルペア要素の始まりを示す識別子（図７に示されず）を含むとともに、プログラムの２つのチャンネルを示すオーディオデータを含むことができる。

ＭＰＥＧ－４ＡＡＣビットストリームのｆｉｌｌ＿ｅｌｅｍｅｎｔ（ここでは充填要素として参照する）は、充填要素の始まりを示す識別子（図７の“ＩＤ２”）と、該識別子の後の充填データとを含む。識別子ＩＤ２は、０ｘ６の値を持った、最上位ビット（“ｕｉｍｓｂｆ”）が先に伝送される３ビット符号なし整数で構成され得る。充填データは、ｅｘｔｅｎｓｉｏｎ＿ｐｅｙｌｏａｄ（）要素（ここでは拡張ペイロードとして参照することもある）を含むことができ、その構文は、ＭＰＥＧ－４ＡＡＣ規格の表４．５７に示されている。幾つかのタイプの拡張ペイロードが存在し、最上位ビット（“ｕｉｍｓｂｆ”）が先に伝送される４ビット符号なし整数である“ｅｘｔｅｎｓｉｏｎ＿ｔｙｐｅ”パラメータを介して識別される。

充填データ（例えば、その拡張ペイロード）は、ＳＢＲオブジェクトを示す充填データのセグメントを示すヘッダ又は識別子（例えば、図７の“ヘッダ１”）を含むことができる（すなわち、ヘッダが、ＭＰＥＧ－４ＡＡＣ規格においてｓｂｒ＿ｅｘｔｅｎｓｉｏｎ＿ｄａｔａ（）として参照される“ＳＢＲオブジェクト”タイプを開始する）。例えば、ヘッダ内のｅｘｔｅｎｓｉｏｎ＿ｔｙｐｅフィールドの‘１１０１’又は‘１１１０’の値で、スペクトルバンド複製（ＳＢＲ）拡張ペイロードが特定され、識別子‘１１０１’が、ＳＢＲデータを有する拡張ペイロードを特定し、‘１１１０’が、ＳＢＲデータの正確性を検証する周期的冗長検査（ＣＲＣ）を備えたＳＢＲデータを有する拡張ペイロードを特定する。

ヘッダ（例えば、ｅｘｔｅｎｓｉｏｎ＿ｔｙｐｅｅフィールド）がＳＢＲオブジェクトタイプを開始するとき、ＳＢＲメタデータ（ＭＰＥＧ－４ＡＡＣ規格では“ｓｂｒ＿ｄａｔａ（）”と呼ばれており、ここでは“スペクトルバンド複製データ”として参照することがある）がヘッダに続き、そして、少なくとも１つのスペクトルバンド複製拡張要素（例えば、図７の充填要素１の“ＳＢＲ拡張要素”）がＳＢＲメタデータに続くことができる。このようなスペクトルバンド複製拡張要素（ビットストリームの一セグメント）は、ＭＰＥＧ－４ＡＡＣ規格では“ｓｂｒ＿ｅｘｔｅｎｓｉｏｎ（）”コンテナと呼ばれている。スペクトルバンド複製拡張要素は、オプションで、ヘッダ（例えば、図７の充填要素１の“ＳＢＲ拡張ヘッダ”）を含む。

ＭＰＥＧ－４ＡＡＣ規格は、スペクトルバンド複製拡張要素が、プログラムのオーディオデータに関するＰＳ（パラメトリックステレオ）データを含むことができることを企図している。ＭＰＥＧ－４ＡＡＣ規格は、（図７の“ヘッダ１”がそうであるように）充填要素のヘッダ（例えば、その拡張ペイロードのヘッダ）がＳＢＲオブジェクトタイプを開始し、充填要素のスペクトルバンド複製拡張要素がＰＳデータを含むときに、充填要素（例えば、その拡張ペイロード）が、スペクトルバンド複製データと、ＰＳデータが充填要素のスペクトルバンド複製拡張要素に含まれることを指し示す値（すなわち、ｂｓ＿ｅｘｔｅｎｓｉｏｎ＿ｉｄ＝２）を有する“ｂｓ＿ｅｘｔｅｎｓｉｏｎ＿ｉｄ”パラメータとを含むことを企図している。

本発明の一部の実施形態によれば、ｅＳＢＲメタデータ（例えば、ブロックのオーディオコンテンツに対してエンハンストスペクトルバンド複製（ｅＳＢＲ）処理が実行されるべきかを指し示すフラグ）が、充填要素のスペクトルバンド複製拡張要素に含められる。例えば、このようなフラグは、図７の充填要素１に示されており、図７では、該フラグは、充填要素１の“ＳＢＲ拡張要素”のヘッダ（充填要素１の“ＳＢＲ拡張ヘッダ”）の後に生じている。オプションで、このようなフラグ及び追加のｅＳＢＲメタデータは、スペクトルバンド複製拡張要素のヘッダの後のスペクトルバンド複製拡張要素（例えば、図７の、ＳＢＲ拡張ヘッダの後の、充填要素１のＳＢＲ拡張要素）に含められる。本発明の一部の実施形態によれば、ｅＳＢＲメタデータを含む充填要素はまた、充填要素にｅＳＢＲメタデータが含まれること及び該当ブロックのオーディオコンテンツに対してｅＳＢＲ処理が実行されるべきであることを指し示す値（例えば、ｂｓ＿ｅｘｔｅｎｓｉｏｎ＿ｉｄ＝３）を持つ“ｂｓ＿ｅｘｔｅｎｓｉｏｎ＿ｉｄ”パラメータを含む。

本発明の一部の実施形態によれば、ｅＳＢＲメタデータは、ＭＰＥＧ－４ＡＡＣビットストリームのうち、充填要素のスペクトルバンド複製拡張要素（ＳＢＲ拡張要素）以外の充填要素（例えば、図７の充填要素２）に含められる。これは何故なら、ＳＢＲデータ又はＣＲＣを備えたＳＢＲデータを有するｅｘｔｅｎｓｉｏｎ＿ｐｅｙｌｏａｄ（）を含む充填要素は、他の拡張タイプの如何なる他の拡張ペイロードも含まないからである。従って、ｅＳＢＲメタデータがそれ自身の拡張ペイロードを格納される実施形態において、ｅＳＢＲメタデータを格納するために別個の充填要素が使用される。そのような充填要素は、充填要素の始まりを示す識別子（例えば、図７の“ＩＤ２”）と、該識別子の後の充填データとを含む。充填データは、ｅｘｔｅｎｓｉｏｎ＿ｐａｙｌｏａｄ（）要素（ここでは拡張ペイロードとして参照することがある）を含むことができ、その構文は、ＭＰＥＧ－４ＡＡＣ規格の表４．５７に示されている。充填データ（例えば、その拡張ペイロード）は、ｅＳＢＲオブジェクトを示すヘッダ（例えば、図７の充填要素２の“ヘッダ２”）を含み（すなわち、このヘッダがエンハンストスペクトルバンド複製（ｅＳＢＲ）オブジェクトタイプを開始する）、充填データ（例えば、その拡張ペイロード）は、該ヘッダの後にｅＳＢＲメタデータを含む。例えば、図７の充填要素２は、そのようなヘッダ（“ヘッダ２”）を含むとともに、該ヘッダの後に、ｅＳＢＲメタデータ（すなわち、ブロックのオーディオコンテンツに対してエンハンストスペクトルバンド複製（ｅＳＢＲ）処理が実行されるべきかを指し示すものである、充填要素２内の“フラグ”）を含んでいる。オプションで、追加のｅＳＢＲメタデータも、ヘッダ２の後で、図７の充填要素２の充填データに含められる。本段落で記述している実施形態において、ヘッダ（例えば、図７のヘッダ２）は、ＭＰＥＧ－４ＡＡＣ規格の表４．５７に規定されている従来の値のうちの１つではない識別値を持ち、代わりに、ｅＳＢＲ拡張ペイロードを指し示す（充填データがｅＳＢＲメタデータを含むことをヘッダのｅｘｔｅｎｓｉｏｎ＿ｔｙｐｅフィールドが指し示すようにする）。

第１のクラスの実施形態において、発明はオーディオ処理ユニット（例えば、デコーダ）であり、当該オーディオ処理ユニットは、
符号化されたオーディオビットストリームの少なくとも１つのブロック（例えば、ＭＰＥＧ－４ＡＡＣビットストリームの少なくとも１つのブロック）を格納するように構成されたメモリ（例えば、図３又は図４のバッファ２０１）と、
メモリに結合され、ビットストリームの上記ブロックの少なくとも１つの部分を逆多重化するように構成されたビットストリームペイロードデフォーマッタ（例えば、図３の要素２０５、又は図４の要素２１５）と、
ビットストリームの上記ブロックのオーディオコンテンツの少なくとも１つの部分を復号するように結合及び構成された復号サブシステム（例えば、図３の要素２０２及び２０３、又は図４の要素２０２及び２１３）と、を有し、ブロックは、
充填要素であり、当該充填要素の始まりを示す識別子（例えば、ＭＰＥＧ－４ＡＡＣ規格の表４．８５の値０ｘ６を持つ“ｉｄ＿ｓｙｎ＿ｅｌｅ”識別子）と、該識別子の後の充填データと、を含む充填要素と、
該ブロックのオーディオコンテンツに対してエンハンストスペクトルバンド複製（ｅＳＢＲ）処理が実行される（例えば、該ブロックに含められたスペクトルバンド複製データ及びｅＳＢＲメタデータを使用して）べきかを特定する少なくとも１つのフラグと、
を含む。

このフラグはｅＳＢＲメタデータであり、フラグの例はｓｂｒＰａｔｃｈｉｎｇＭｏｄｅフラグである。フラグの他の一例は、ｈａｒｍｏｎｉｃＳＢＲフラグである。これらのフラグはどちらも、ブロックのオーディオデータに対して基本形式のスペクトルバンド複製が実行されるべきか、それとも強化形式のスペクトルバンド複製が実行されるべきかを指し示す。基本形式のスペクトルバンド複製はスペクトルパッチングであり、強化形式のスペクトルバンド複製は高調波トランスポジションである。

一部の実施形態において、充填データはまた、追加のｅＳＢＲメタデータ（すなわち、上記フラグ以外のｅＳＢＲメタデータ）を含む。

メモリは、符号化されたオーディオビットストリームの少なくとも１つのブロックを（例えば、非一時的に）格納するバッファメモリ（例えば、図４のバッファ２０１の実装）とし得る。

推定されることには、ｅＳＢＲメタデータ（これらのｅＳＢＲツールを指し示す）を含むＭＰＥＧ－４ＡＡＣビットストリームの復号中のｅＳＢＲデコーダによるｅＳＢＲ処理（ｅＳＢＲ高調波トランスポジション及びプレフラット化を用いる）の実行の複雑さは、（指し示されるパラメータを用いた典型的な復号に関して）以下：
・高調波トランスポジション（１６ｋｂｐｓ、１４４００／２８８００Ｈｚ）
〇ＤＦＴベース：３．６８ＷＭＯＰＳ（weighted million operations per second）
〇ＱＭＦベース：０．９８ＷＭＯＰＳ
・ＱＭＦパッチング前処理（プレフラット化）：０．１ＷＭＯＰＳ
のようになる。知られることには、ＤＦＴベースのトランスポジションは、典型的に、過渡信号に関してＱＭＦベースのトランスポジションよりも良好に機能する。

本発明の一部の実施形態によれば、ｅＳＢＲメタデータを含む（符号化されたオーディオビットストリームの）充填要素はまた、その値が充填要素にｅＳＢＲメタデータが含まれること及び該当ブロックのオーディオコンテンツに対してｅＳＢＲ処理が実行されるべきことをシグナリングする値（例えば、ｂｓ＿ｅｘｔｅｎｓｉｏｎ＿ｉｄ＝３）を持つパラメータ（例えば、“ｂｓ＿ｅｘｔｅｎｓｉｏｎ＿ｉｄ”パラメータ）、及び／又は、充填要素のｓｂｒ＿ｅｘｔｅｎｓｉｏｎ（）コンテナがＰＳデータを含むことをシグナリングする値（例えば、ｂｓ＿ｅｘｔｅｎｓｉｏｎ＿ｉｄ＝２）を持つパラメータ（例えば、同じ“ｂｓ＿ｅｘｔｅｎｓｉｏｎ＿ｉｄ”パラメータ）を含む。例えば、下の表１に示されるように、このようなパラメータがｂｓ＿ｅｘｔｅｎｓｉｏｎ＿ｉｄ＝２なる値を持つことが、充填要素のｓｂｒ＿ｅｘｔｅｎｓｉｏｎ（）コンテナがＰＳデータを含むことをシグナリングし得るとともに、のようなパラメータがｂｓ＿ｅｘｔｅｎｓｉｏｎ＿ｉｄ＝３なる値を持つことが、充填要素のｓｂｒ＿ｅｘｔｅｎｓｉｏｎ（）コンテナがｅＳＢＲメタデータを含むことをシグナリングし得る。

発明の一部の実施形態によれば、ｅＳＢＲメタデータ及び／又はＰＳデータを含む各スペクトルバンド複製拡張要素の構文は、下の表２に示す通りである（“ｓｂｒ＿ｅｘｔｅｎｓｉｏｎ（）”は、スペクトルバンド複製拡張要素であるコンテナを表し、“ｂｓ＿ｅｘｔｅｎｓｉｏｎ＿ｉｄ”は、上の表１に記載される通りであり、“ｐｓ＿ｄａｔａ”は、ＰＳデータを表し、そして、“ｅｓｂｒ＿ｄａｔａ”は、ｅＳＢＲメタデータを表す）。

例示的な一実施形態において、上の表２で参照されているｅｓｂｒ＿ｄａｔａ（）は、以下のメタデータパラメータの値を指し示す：
１．１ビットメタデータパラメータ“ｂｓ＿ｓｂｒ＿ｐｒｏｃｅｓｓｉｎｇ”、及び
２．復号されるべき符号化されたビットストリームのオーディオコンテンツの各チャンネル（“ｃｈ”）についての、上述のパラメータ“ｓｂｒＰａｔｃｈｉｎｇＭｏｄｅ［ｃｈ］”、“ｓｂｒＯｖｅｒｓａｍｐｌｉｎｇＦｌａｇ［ｃｈ］”、“ｓｂｒＰｉｔｃｈＩｎＢｉｎｓＦｌａｇ［ｃｈ］”、及び“ｓｂｒＰｉｔｃｈＩｎＢｉｎｓ［ｃｈ］”の各々。

例えば、一部の実施形態において、ｅｓｂｒ＿ｄａｔａ（）は、これらのメタデータパラメータを指し示すために、表３に示される構文を持ち得る。

上の構文は、レガシーデコーダへの拡張として、例えば高調波トランスポジションなどの強化形式のスペクトルバンド複製の効率的な実装を可能にする。具体的には、表３のｅＳＢＲデータは、ビットストリームにて既にサポートされているものでもなければ、ビットストリームにて既にサポートされているパラメータから直接的に導出可能なものでもない強化形式のスペクトルバンド複製を実行するために必要なパラメータのみを含む。強化形式のスペクトルバンド複製を実行するために必要な他の全てのパラメータ及び処理データは、ビットストリーム内の既定の位置に前もって存在するパラメータから抽出される。

例えば、ＭＰＥＧ－４ＨＥ－ＡＡＣ又はＨＥ－ＡＡＣｖ２に準拠したデコーダは、例えば高調波トランスポジションなどの強化形式のスペクトルバンド複製を含むように拡張され得る。この強化形式のスペクトルバンド複製は、デコーダによって既にサポートされている基本形式のスペクトルバンド複製に加えてのものである。ＭＰＥＧ－４ＨＥ－ＡＡＣ又はＨＥ－ＡＡＣｖ２に準拠したデコーダの文脈において、この基本形式のスペクトルバンド複製は、ＭＰＥＧ－４ＡＡＣ規格のセクション４．６．１８に規定されるＱＭＦスペクトルパッチングＳＢＲツールである。

強化形式のスペクトルバンド複製を実行するとき、拡張ＨＥ－ＡＡＣデコーダは、ビットストリームのＳＢＲ拡張ペイロードに既に含まれているビットストリームパラメータの多くを再使用し得る。再使用され得る具体的なパラメータは、例えば、マスター周波数帯域テーブルを決定する様々なパラメータを含む。それらのパラメータは、ｂｓ＿ｓｔａｒｔ＿ｆｒｅｑ（マスター周波数テーブルパラメータの始まりを特定するパラメータ）、ｂｓ＿ｓｔｏｐ＿ｆｒｅｑ（マスター周波数テーブルの終わりを特定するパラメータ）、ｂｓ＿ｆｒｅｑ＿ｓｃａｌｅ（オクターブ当たりの周波数帯域数を特定するパラメータ）、ｂｓ＿ａｌｔｅｒ＿ｓｃａｌｅ（周波数帯域のスケールを変更するパラメータ）を含む。再使用され得るパラメータはまた、ノイズ帯域テーブル（ｂｓ＿ｎｏｉｓｅ＿ｂａｎｄｓ）及びリミッタ帯域テーブル（ｂｓ＿ｌｉｍｉｔｅｒ＿ｂａｎｄｓ）を決定するパラメータを含む。従って、様々な実施形態において、ＵＳＡＣ規格で規定されるのと等価なパラメータのうちの少なくとも一部がビットストリームから省略され、それによってビットストリームにおける制御オーバーヘッドが低減される。典型的に、ＡＡＣ規格で規定されるパラメータが、ＵＳＡＣ規格で規定される等価なパラメータを持つ場合、ＵＳＡＣ規格で規定される等価なパラメータは、ＡＡＣ規格で規定されるパラメータと同じ名前、例えば、ｅｎｖｅｌｏｐｅｓｃａｌｅｆａｃｔｏｒＥＯｒｉｇＭａｐｐｅｄを持つ。しかしながら、ＵＳＡＣ規格で規定される等価なパラメータは典型的に、ＡＡＣ規格で規定されるＳＢＲ処理に対してではなく、ＵＳＡＣ規格で規定されるエンハンストＳＢＲ処理に対して“チューン”されたものである異なる値を持つ。

特に低ビットレートで高調波周波数構造及び強い音調特性を有するオーディオコンテンツの主観的品質を改善するために、エンハンストＳＢＲの起動が推奨される。それらのツールを制御する対応するビットストリーム要素（すなわち、ｅｓｂｒ＿ｄａｔａ（））の値は、信号依存分類メカニズムを適用することによって、エンコーダにて決定され得る。一般に、非常に低いビットレートで音楽信号を符号化するには高調波パッチング法（ｓｂｒＰａｔｃｈｉｎｇＭｏｄｅ＝＝１）の使用が好ましく、その場合、コアコーデックは、オーディオ帯域幅において相当に制限され得る。これは、特に、これらの信号が顕著な高調波構造を含む場合に当てはまる。対照的に、音声信号及び混合信号に対しては、通常のＳＢＲパッチング法の使用が好ましい。何故なら、それは、音声における時間的構造のいっそう良好な保存を提供するからである。

高調波トランスポーザの性能を改善するために、後続のエンベロープ調整器に入る信号のスペクトル不連続の導入を回避することを目指す前処理ステップ（ｂｓ＿ｓｂｒ＿ｐｒｅｐｒｏｃｅｓｓｉｎｇ＝＝１）を起動することができる。このツールの動作は、高周波再構成のために低帯域信号の粗いスペクトルエンベロープを使用することが大きいレベル変動を示す信号タイプに有益である。

高調波ＳＢＲパッチングの過渡応答を改善するために、信号適応周波数ドメインオーバーサンプリング（ｓｂｒＯｖｅｒｓａｍｐｌｉｎｇＦｌａｇ＝＝１）を適用することができる。信号適応周波数ドメインオーバーサンプリングはトランスポーザの計算の複雑さを増加させるが、過渡成分を含むフレームに対してのみ利益をもたらすので、このツールの使用は、独立ＳＢＲチャンネル当たり及びフレーム当たり１回伝送されるものであるビットストリーム要素によって制御される。

提案するエンハンストＳＢＲモードで動作するデコーダは、典型的に、レガシーＳＢＲパッチングとエンハンストＳＢＲパッチングとの間で切り換わることができる必要がある。従って、デコーダ設定に応じて、１つのコアオーディオフレームの継続時間ほどの長さとし得る遅延が導入され得る。典型的に、この遅延は、レガシーＳＢＲパッチング及びエンハンストＳＢＲパッチングの双方で同等となる。

これら数多くのパラメータに加えて、他のデータ要素も、発明の実施形態に従って強化形式のスペクトルバンド複製を実行するときに拡張ＨＥ－ＡＡＣデコーダによって再使用され得る。例えば、エンベロープデータ及びノイズフロアデータも、ｂｓ＿ｄａｔａ＿ｅｎｖ（エンベロープスケールファクタ）及びｂｓ＿ｎｏｉｓｅ＿ｅｎｖ（ノイズフロアスケールファクタ）データから抽出されて、強化形式のスペクトルバンド複製の間に使用され得る。

本質的に、これらの実施形態は、ＳＢＲ拡張ペイロード内のレガシーＨＥ－ＡＡＣ又はＨＥ－ＡＡＣｖ２デコーダによって既にサポートされている構成パラメータ及びエンベロープデータを利用して、可能な限り追加の伝送データを必要しない強化形式のスペクトルバンド複製を可能にする。メタデータは、もともと、基本形式のＨＦＲ（例えば、ＳＢＲのスペクトル変換動作）に対してチューンされたものであるが、実施形態に従って、強化形式のＨＦＲ（例えば、ｅＳＢＲの高調波トランスポジション）に使用される。前述したように、メタデータは概して、基本形式のＨＦＲ（例えば、線形スペクトル変換）で使用されるように意図及びチューンされた動作パラメータ（例えば、エンベロープスケールファクタ、ノイズフロアスケールファクタ、時間／周波数グリッドパラメータ、正弦波加算情報、可変クロスオーバー周波数／帯域、逆フィルタリングモード、エンベロープ解像度、平滑化モード、周波数補間モード）を表す。しかしながら、このメタデータが、強化形式のＨＦＲ（例えば、高調波トランスポジション）に特有の追加のメタデータパラメータと組み合わされて、強化形式のＨＦＲを使用してオーディオデータを効率的かつ効果的に処理するために使用され得る。

従って、既に規定されているビットストリーム要素（例えば、ＳＢＲ拡張ペイロード内のもの）を当てにするとともに、強化形式のスペクトルバンド複製をサポートするために必要なパラメータのみを追加することによって、強化形式のスペクトルバンド複製をサポートする拡張デコーダを非常に効率的に作り出し得る。新たに追加されるパラメータを例えば拡張コンテナなどの保留データフィールドに置くことと組み合わせての、このデータ削減フィーチャは、強化形式のスペクトルバンド複製をサポートしていないレガシーデコーダに対してビットストリームが後方互換であることを保証することによって、強化形式のスペクトルバンド複製をサポートするデコーダを作成することに対する障壁を実質的に低減させる。

表３において、右列内の数字は、左列内の対応するパラメータのビット数を示している。

一部の実施形態において、ＭＰＥＧ－４ＡＡＣで規定されるＳＢＲオブジェクトタイプが、ＳＢＲ拡張要素（ｂｓ＿ｅｘｔｅｎｓｉｏｎ＿ｉｄ＝＝ＥＸＴＥＮＳＩＯＮ＿ＩＤ＿ＥＳＢＲ）にてシグナリングされるＳＢＲ－Ｔｏｏｌ及びエンハンストＳＢＲ（ｅＳＢＲ）ツールの態様を含むように更新される。デコーダがこのＳＢＲ拡張要素をサポートしていてそれを検出すると、該デコーダは、シグナリングされたエンハンストＳＢＲツールの態様を使用する。このようにして更新されたＳＢＲオブジェクトタイプを、ＳＢＲエンハンスメントとして参照する。

一部の実施形態において、発明は、オーディオデータを符号化して、符号化されたビットストリーム（例えば、ＭＰＥＧ－４ＡＡＣビットストリーム）を生成するステップを含む方法であり、符号化されたビットストリームの少なくとも１つのブロックの少なくとも１つのセグメントにｅＳＢＲメタデータを含め、且つ該ブロックの少なくとも１つの他のセグメントにオーディオデータを含めることによって、を含む。典型的な実施形態において、当該方法は、符号化されたビットストリームの各ブロックでオーディオデータをｅＳＢＲメタデータと多重化するステップを含む。ｅＳＢＲデコーダにおける符号化されたビットストリームの典型的な復号において、デコーダは、ビットストリームからｅＳＢＲメタデータを抽出し（ｅＳＢＲメタデータ及びオーディオデータの解析及び逆多重化することによって、を含む）、ｅＳＢＲメタデータを用いてオーディオデータを処理して、復号されたオーディオデータのストリームを生成する。

発明の他の一態様は、ｅＳＢＲメタデータを含まない符号化されたオーディオビットストリーム（例えば、ＭＰＥＧ－４ＡＡＣビットストリーム）の復号中にｅＳＢＲ処理を実行する（例えば、高調波トランスポジション又はプレフラット化として知られるｅＳＢＲツールのうちの少なくとも１つを使用する）ように構成されたｅＳＢＲデコーダである。そのようなデコーダの一例を、図５を参照して説明する。

図５のｅＳＢＲデコーダ（４００）は、デコーダ２００は、図示のように接続された、バッファメモリ２０１（図３及び図４のメモリ２０１と同じである）、ビットストリームペイロードデフォーマッタ２１５（図４のデフォーマッタ２１５と同じである）、オーディオ復号サブシステム２０２（“コア”復号ステージ又は“コア”復号サブシステムとして参照することもあり、、図３のコア復号サブシステム２０２と同じである）、ｅＳＢＲ制御データ生成サブシステム４０１、及びｅＳＢＲ処理ステージ２０３（図３のステージ２０３と同じである）を含んでいる。典型的に、デコーダ４００は、他のプロセッシング要素（図示せず）も含む。

デコーダ４００の動作において、デコーダ４００によって受信された符号化されたオーディオビットストリーム（ＭＰＥＧ－４ＡＡＣビットストリーム）の一連のブロックが、バッファ２０１からデフォーマッタ２１５にアサートされる。

デフォーマッタ２１５は、ビットストリームの各ブロックを逆多重化して、それからＳＢＲメタデータ（量子化されたエンベロープデータを含む）を抽出するとともに典型的に他のメタデータも抽出する。デフォーマッタ２１５は、少なくともＳＢＲメタデータをｅＳＢＲ処理ステージ２０３にアサートするように構成される。デフォーマッタ２１５はまた、ビットストリームの各ブロックからオーディオデータを抽出し、抽出したオーディオデータを復号サブシステム（復号ステージ）２０２にアサートするように結合及び構成される。

デコーダ４００のオーディオ復号サブシステム２０２は、デフォーマッタ２１５によって抽出されたオーディオデータを復号して（このような復号は“コア”復号処理として参照され得る）、復号されたオーディオデータを生成し、そして、復号されたオーディオデータをｅＳＢＲ処理ステージ２０３にアサートするように構成される。この復号は周波数ドメインで実行される。典型的に、サブシステム２０２の出力が、時間ドメインの復号されたオーディオデータであるように、サブシステム２０２における処理の最終ステージが、復号された周波数ドメインのオーディオデータに対して、周波数ドメイン－時間ドメイン変換を適用する。ステージ２０３は、復号されたオーディオデータに、（デフォーマッタ２１５によって抽出された）ＳＢＲメタデータによって及びサブシステム４０１にて生成されるｅＳＢＲメタデータによって指し示されるＳＢＲツール（及びｅＳＢＲツール）を適用して（すなわち、ＳＢＲ及びｅＳＢＲメタデータを使用して、復号サブシステム２０２の出力に対してＳＢＲ及びｅＳＢＲ処理を実行して）、デコーダ４００から出力される完全に復号されたオーディオデータを生成する。典型的に、デコーダ４００は、デフォーマッタ２１５（及びオプションでサブシステム４０１も）から出力されるデフォーマットされたオーディオデータ及びメタデータを格納するメモリ（サブシステム２０２及びステージ２０３によってアクセス可能）を含み、ステージ２０３は、ＳＢＲ及びｅＳＢＲ処理中に必要に応じてオーディオデータ及びメタデータにアクセスするように構成される。ステージ２０３におけるＳＢＲ処理は、コア復号サブシステム２０２の出力に対する後処理であるとみなされ得る。オプションで、デコーダ４００はまた、ステージ２０３の出力に対してアップミキシングを実行して、デコーダ４００から出力される完全に復号され、アップミキシングされたオーディオを生成するように結合及び構成された最終アップミキシングサブシステム（これは、デフォーマッタ２１５によって抽出されるＰＳメタデータを用いて、ＭＰＥＧ－４ＡＡＣ規格で規定されたパラメトリックステレオ（“ＰＳ”）ツールを適用し得る）を含む。

パラメトリックステレオは、ステレオ信号の左チャンネル及び右チャンネルの線形ダウンミキシングと、ステレオイメージを記述する空間パラメータのセットとを用いてステレオ信号を表す符号化ツールである。パラメトリックステレオは、典型的に、（１）チャンネル間の強度差を記述するチャンネル間強度差（inter-channel intensity differences；ＩＩＤ）、（２）チャンネル間の位相差を記述するチャンネル間位相差（inter-channel phase differences；ＩＰＤ）、及び（３）チャンネル間のコヒーレンス（又は類似性）を記述するチャンネル間コヒーレンス（inter-channel coherence；ＩＣＣ）という３つのタイプの空間パラメータを使用する。コヒーレンスは、時間又は位相の関数としての相互相関の最大として測定され得る。これら３つのパラメータは概して、ステレオイメージの高品質再構成を可能にする。しかしながら、ＩＰＤパラメータは、ステレオ入力信号のチャンネル間の相対的位相差を記述するのみであり、左チャンネル及び右チャンネルにわたるこれら位相差の分布を示さない。従って、全体的な位相オフセット又は全体的な位相差を記述する第４のタイプのパラメータが、追加で使用され得る。ステレオ再構成プロセスにおいて、受信ダウンミキシング信号ｓ［ｎ］と受信ダウンミキシングの相関解除バージョンｄ［ｎ］との双方の連続したウィンドウセグメントが、空間パラメータと共に処理され、
ｌ_ｋ（ｎ）＝Ｈ_１１（ｋ，ｎ）ｓ_ｋ（ｎ）＋Ｈ_２１（ｋ，ｎ）ｄ_ｋ（ｎ）
ｒ_ｋ（ｎ）＝Ｈ_１２（ｋ，ｎ）ｓ_ｋ（ｎ）＋Ｈ_２２（ｋ，ｎ）ｄ_ｋ（ｎ）
に従って、左再構成信号（ｌ_ｋ（ｎ））及び右再構成信号（ｒ_ｋ（ｎ））が生成され、ここで、Ｈ_１１、Ｈ_１２、Ｈ_２１及びＨ_２２は、ステレオパラメータによって規定されるものである。信号ｌ_ｋ（ｎ）及び信号ｒ_ｋ（ｎ）は、最終的に周波数－時間変換によって時間ドメインに変換され返す。

図５の制御データ生成サブシステム４０１は、復号されるべき符号化されたオーディオビットストリームの少なくとも１つの特性を検出し、検出ステップの少なくとも１つの結果に応答してｅＳＢＲ制御データ（これは、発明の他の実施形態に従って符号化されたオーディオビットストリームに含められるタイプのうちのいずれかのｅＳＢＲメタデータであり又はそれを含み得る）を生成するように結合及び構成される。ｅＳＢＲ制御データはステージ２０３にアサートされ、ビットストリームの特定の特性（又は複数の特性の組み合わせ）を検出したことを受けて個々のｅＳＢＲツール又はｅＳＢＲツールの組み合わせの適用をトリガし、及び／又はそのようなｅＳＢＲツールの適用を制御する。例えば、高調波トランスポジションを用いたｅＳＢＲ処理の実行を制御するために、制御データ生成サブシステム４０１の一部の実施形態は、ビットストリームが音楽を示すか否かを検出することに応答してｓｂｒＰａｔｃｈｉｎｇＭｏｄｅ［ｃｈ］パラメータを設定する（及び、設定したパラメータをステージ２０３にアサートする）ミュージック検出器、ビットストリームによって示されるオーディオコンテンツにおける過渡成分の存在又は不存在を検出したことに応答してｓｂｒＯｖｅｒｓａｍｐｌｉｎｇＦｌａｇ［ｃｈ］パラメータを設定する（及び、設定したパラメータをステージ２０３にアサートする）トランジェント検出器、及び／又は、ビットストリームによって示されるオーディオコンテンツのピッチを検出したことに応答してｓｂｒＰｉｔｃｈＩｎｓＦｌａｇ［ｃｈ］及びｓｂｒＰｉｔｃｈＩｎｓ［ｃｈ］パラメータを設定する（及び、設定したパラメータをステージ２０３にアサートする）ピッチ検出器を含み得る。発明の他の態様は、本段落及び前段落に記載した発明デコーダのいずれかの実施形態によって実行されるオーディオビットストリーム復号方法である。

発明の態様は、発明ＡＰＵ、システム又は装置のいずれかの実施形態が実行するように構成される（例えば、プログラムされる）タイプの符号化又は復号方法を含む。発明の他の態様は、発明方法のいずれかの実施形態を実行するように構成される（例えば、プログラムされる）システム又は装置、並びに、発明方法のいずれかの実施形態又はそのステップを実装するためのコードを（例えば、非一時的に）格納するコンピュータ読み取り可能媒体（例えば、ディスク）を含む。例えば、発明システムは、発明方法の一実施形態又はそのステップを含め、多様な処理のうちのいずれかをデータに対して実行するようにソフトウェア又はファームウェアでプログラミングされた又はその他の方法で構成された、プログラム可能な汎用プロセッサ、デジタル信号プロセッサ、又はマイクロプロセッサであるか、それを含むかであることができる。そのような汎用プロセッサは、入力装置と、メモリと、それに対してアサートされるデータに応答して発明方法の一実施形態（又はそのステップ）を実行するようにプログラムされる（及び／又はその他の方法で構成される）プロセッシング回路と、を含むコンピュータシステムであるか、それを含むかであるとし得る。

本発明の実施形態は、ハードウェア、ファームウェア、若しくはソフトウェア、又は双方の組み合わせ（例えば、プログラマブル論理アレイ）にて実装され得る。別段の断りがない限り、発明の一部として含まれるアルゴリズム又はプロセスは、特定のコンピュータ又は他の装置に本質的には関係付けられない。特に、ここでの教示に従って記述されたプログラムと共に種々の汎用マシンを使用することができ、あるいは、必要な方法ステップを実行するように、いっそう特殊化された装置（例えば、集積回路）を構築する方がいっそう好都合なこともある。従って、発明は、各々が、少なくとも１つのプロセッサと、少なくとも１つのデータストレージシステム（揮発性及び不揮発性のメモリ及び／又は記憶素子を含む）と、少なくとも１つの入力装置若しくはポートと、少なくとも１つの出力装置若しくはポートと、を有する１つ以上のプログラム可能なコンピュータシステム（例えば、図１の要素のうちのいずれかを実装したもの、又は図２のエンコーダ１００（又はその要素）、又は図３のデコーダ２００（又はその要素）、又は図４のデコーダ２１０（又はその要素）、又は図５のデコーダ４００（又はその要素）の上で実行する１つ以上のコンピュータプログラムにて実装され得る。プログラムコードが入力データに適用されて、ここに記載された機能が実行され、出力情報が生成される。その出力情報が、知られたやり方で１つ以上の出力装置に与えられる。

このようなプログラムは各々、コンピュータシステムと通信するために、望ましい任意のコンピュータ言語（機械語、アセンブリ言語、又はハイレベルの手続き型、論理型、又はオブジェクト指向型のプログラミング言語を含む）で実装され得る。いずれにしても、言語は、コンパイル型言語であってもよいし、インタープリタ型言語であってもよい。

例えば、コンピュータソフトウェア命令シーケンスによって実装されるとき、発明の実施形態の様々な機能及びステップは、適切なデジタル信号処理ハードウェア上で走るマルチスレッド化ソフトウェア命令シーケンスによって実装されてもよく、その場合、実施形態の様々な装置、ステップ及び機能は、ソフトウェア命令の一部に対応し得る。

そのようなコンピュータプログラムは各々、好ましくは、汎用又は専用のプログラマブルコンピュータによって読み取り可能な記憶媒体又は記憶装置（例えば、ソリッドステートメモリ若しくは媒体、又は磁気媒体若しくは光学媒体）に格納又はダウンロードされ、該記憶媒体又は記憶装置がコンピュータシステムによって読み取られるときに、ここに記載された手順を実行するようにコンピュータを構成して動作させる。発明システムはまた、コンピュータプログラムを備えて（すなわち、格納して）構成された、コンピュータ読み取り可能記憶媒体として実装されてもよく、そのように構成された記憶媒体は、コンピュータシステムに、ここに記載された機能を実行するよう、特定の予め定められたように動作させる。

発明の数多くの実施形態を説明してきた。とはいえ、理解されることには、請求項の範囲から逸脱することなく様々な変更が為され得る。上での教示に照らして、本発明の数多くの変更及び変形が可能である。例えば、効率的な実装を支援するために、複素ＱＭＦ分析及び合成フィルタバンクと組み合わせて位相シフトを使用してもよい。分析フィルタバンクは、コアデコーダによって生成された時間ドメイン低帯域信号を複数のサブバンド（例えば、ＱＭＦサブバンド）へとフィルタリングすることを担う。合成フィルタバンクは、選択されたＨＦＲ技術（受信されるｓｂｒＰａｔｃｈｉｎｇＭｏｄｅパラメータによって指し示される）によって生成された再生成高帯域を、復号された低帯域と組み合わせて、広帯域出力オーディオ信号を生成することを担う。例えば通常のデュアルレート動作又はダウンサンプリングＳＢＲモードといった特定のサンプルレートモードで動作する所与のフィルタバンク実装は、しかしながら、ビットストリームに依存する位相シフトを持つべきでない。ＳＢＲで使用されるＱＭＦバンクは、余弦変調フィルタバンクの理論の複素指数関数拡張である。示され得ることには、複素指数関数変調を用いて余弦変調フィルタバンクを拡張するとき，エイリアス相殺制約が使われないものとなる。従って、ＳＢＲＱＭＦバンクでは、分析フィルタｈ_ｋ（ｎ）及び合成フィルタｆ_ｋ（ｎ）の双方を、

によって規定することができ、ここで、ｐ_０（ｎ）は実数値の対称又は非対称プロトタイプフィルタ（典型的に、低域通過プロトタイプフィルタ）であり、Ｍはチャンネル数を表し、Ｎはプロトタイプフィルタ次数である。分析フィルタバンクで使用されるチャンネルの数は、合成フィルタバンクで使用されるチャンネルの数と異なり得る。例えば、分析フィルタバンクは３２チャンネルを有し、合成フィルタバンクは６４チャンネルを有し得る。ダウンサンプリングモードで合成フィルタバンクを動作させるとき、合成フィルタバンクは３２チャンネルのみを有し得る。フィルタバンクからのサブバンドサンプルは複素数の値であるので、追加のチャンネル依存であり得る位相シフトステップが、分析フィルタバンクに付加され得る。これらの追加の位相シフトは、合成フィルタバンクの前に補償される必要がある。原理的に位相シフト項はＱＭＦ分析／合成チェーンの動作を破壊することなく任意の値とすることができるが、それらはまた、適合性検証のために特定の値に制約されてもよい。ＳＢＲ信号は位相ファクタの選択によって影響されることになるが、コアデコーダから来る低域通過信号は影響されない。出力信号の音質は影響を受けない。

プロトタイプフィルタの係数ｐ_０（ｎ）の係数は、下の表４に示すように、６４０の長さＬで規定され得る。

プロトタイプフィルタｐ_０（ｎ）はまた、例えば丸め、サブサンプリング、補間、及び間引きなどの１つ以上の数学演算によって、表４から導出されてもよい。

ＳＢＲ関係の制御情報のチューニングは、典型的には（先述のように）トランスポジションの詳細に依存しないが、一部の実施形態では、再生成される信号の品質を改善するために、制御データのうちの特定の要素が、ｅＳＢＲ拡張コンテナ（ｂｓ＿ｅｘｔｅｎｓｉｏｎ＿ｉｄ＝＝ＥＸＴＥＮＳＩＯＮ＿ＩＤ＿ＥＳＢＲ）内で同時伝送されてもよい。同時伝送される要素の一部は、ノイズフロアデータ（例えば、ノイズフロアスケールファクタ、及び各ノイズフロアに対するデルタコーディングの周波数方向又は時間方向のいずれかでの方向を指し示すパラメータ）、逆フィルタリングデータ（例えば、逆フィルタリングなし、低いレベルの逆フィルタリング、中間レベルの逆フィルタリング、及び強いレベルの逆フィルタリングから選択される逆フィルタリングモードを指し示すパラメータ）、及び欠落高調波データ（例えば、再生成される高帯域の特定の周波数帯域に正弦波を加えるべきかを指し示すパラメータ）を含み得る。これらの要素は全て、エンコーダで実行されるデコーダのトランスポーザの合成エミュレーションを当てにしており、従って、選択されたトランスポーザに対して適切に調整される場合に再生成信号の品質を高め得る。

具体的には、一部の実施形態において、欠落高調波及び逆フィルタリング制御データが、ｅＳＢＲ拡張コンテナ内で（表３の他のビットストリームパラメータとともに）伝送され、ｅＳＢＲの高調波トランスポーザに対して調整される。ｅＳＢＲの高調波トランスポーザのためにこれらの２つのクラスのメタデータを伝送するのに必要とされる追加のビットレートは比較的低い。従って、調整された欠落高調波及び／又は逆フィルタリング制御データをｅＳＢＲ拡張コンテナで送ることは、ビットレートに最小限の影響しか与えずに、トランスポーザによって生成されるオーディオの品質を高めることになる。レガシーデコーダとの後方互換性を確保するために、ＳＢＲのスペクトル変換処理に対して調整されたパラメータも、暗黙的又は明示的のいずれかのシグナリングを用いてＳＢＲ制御データの一部としてビットストリームで送られ得る。

この出願に記載されるＳＢＲエンハンスメントを有するデコーダの複雑さは、実装したものの全体的な計算の複雑さを著しく増加させないように制限されなければならない。好ましくは、ｅＳＢＲツールを使用するとき、ＳＢＲオブジェクトタイプのＰＣＵ（ＭＯＰ）は４．５以下であり、ｅＳＢＲツールを使用するとき、ＳＢＲオブジェクトタイプのＲＣＵは３以下である。近似による処理能力は、整数のＭＯＰＳ数で規定されるプロセッサ複雑度単位（Processor Complexity Units；ＰＣＵ）で与えられる。近似によるＲＡＭ使用量は、整数のｋＷｏｒｄｓ（１０００ワード）数で規定されるＲＡＭ複雑度単位（RAM Complexity Units；ＲＣＵ）で与えられる。ＲＣＵ数は、異なるオブジェクト及び／又はチャンネルの間で共されることが可能な作業バッファを含まない。また、ＰＣＵはサンプリング周波数に比例する。ＰＣＵ値は、チャンネル当たりのＭＯＰＳ（Million Operations per Second）で与えられ、ＲＣＵ値はチャンネル当たりのｋＷｏｒｄｓで与えられる。

異なるデコーダ構成によって復号されることができるものである、ＨＥ－ＡＡＣ符号化オーディオのような、圧縮されたデータでは、特別な注意が必要である。この場合、復号は、後方互換的（ＡＡＣのみ）及び強化的（ＡＡＣ＋ＳＢＲ）に行われることができる。圧縮されたデータが、後方互換性のある復号及び強化された復号の双方を許す場合であって、且つデコーダが、幾分の追加遅延を挿入するポストプロセッサ（例えば、ＨＥ－ＡＡＣにおけるＳＢＲポストプロセッサ）を使用しているように、強化的に動作している場合、対応するｎの値によって記述される、後方互換モードに対して生じるこの追加の時間遅延が、合成ユニットを提示するときに考慮に入れられることを保証しなければならない。（オーディオが他のメディアと同期したままであるように）合成タイムスタンプが正しく扱われることを確保するために、出力サンプルレートでの（オーディオチャンネル当たりの）サンプル数で与えられる後処理によって導入される追加遅延は、デコーダ動作モードがこの出願に記載されるＳＢＲエンハンスメント（ｅＳＢＲを含む）を含むときに、３０１０である。従って、オーディオ合成ユニットにおいて、デコーダ動作モードがこの出願に記載されるＳＢＲエンハンスメントを含むとき、その合成時間が合成ユニット内の３０１１番目のオーディオサンプルに適用される。

特に低ビットレートで高調波周波数構造及び強い音調特性を有するオーディオコンテンツの主観的品質を改善するには、エンハンストＳＢＲがアクティブにされるべきである。それらのツールを制御する対応するビットストリーム要素（すなわち、ｅｓｂｒ＿ｄａｔａ（））の値は、信号依存分類メカニズムを適用することによって、エンコーダにて決定され得る。

一般に、非常に低いビットレートで音楽信号を符号化するには高調波パッチング法（ｓｂｒＰａｔｃｈｉｎｇＭｏｄｅ＝＝０）の使用が好ましく、その場合、コアコーデックは、オーディオ帯域幅において相当に制限され得る。これは、特に、これらの信号が顕著な高調波構造を含む場合に当てはまる。対照的に、音声信号及び混合信号に対しては、通常のＳＢＲパッチング法の使用が好ましい。何故なら、それは、音声における時間的構造のいっそう良好な保存を提供するからである。

高調波トランスポーザの性能を改善するために、後続のエンベロープ調整器に入る信号のスペクトル不連続の導入を回避する前処理ステップ（ｂｓ＿ｓｂｒ＿ｐｒｅｐｒｏｃｅｓｓｉｎｇ＝＝１）をアクティブにすることができる。このツールの動作は、高周波再構成のために低帯域信号の粗いスペクトルエンベロープを使用することが大きいレベル変動を示す信号タイプに有益である。

高調波ＳＢＲパッチング（ｓｂｒＰａｔｃｈｉｎｇＭｏｄｅ＝＝０）の過渡応答を改善するために、信号適応周波数ドメインオーバーサンプリング（ｓｂｒＯｖｅｒｓａｍｐｌｉｎｇＦｌａｇ＝＝１）を適用することができる。信号適応周波数ドメインオーバーサンプリングはトランスポーザの計算の複雑さを増加させるが、過渡成分を含むフレームに対してのみ利益をもたらすので、このツールの使用は、独立ＳＢＲチャンネル当たり及びフレーム当たり１回伝送されるものであるビットストリーム要素によって制御される。

ＳＢＲエンハンスメント（すなわち、ｅＳＢＲツールの高調波トランスポーザをイネーブルすること）を備えたＨＥ－ＡＡＣｖ２の典型的なビットレート設定推奨は、４４．１ｋＨｚ又は４８ｋＨｚのいずれかのサンプリングレートのステレオオーディオコンテンツに対して２０－３２ｋｂｐｓに相当する。ＳＢＲエンハンスメントの相対的な主観的品質利得は、低い側のビットレート境界に向かって増加し、適切に構成されたエンコーダは、この範囲をいっそう低いビットレートまで拡張することを可能にする。上で提示したビットレートは推奨に過ぎず、特定のサービス要求に合わせて適応され得る。

理解されるべきことには、添付の請求項の範囲内で、ここに具体的に記載されたのとは異なるように発明が実施され得る。以下の請求項に含まれる如何なる参照符号も、単に例示目的でのものであり、いかようにも請求項を解釈又は限定するために使用されるべきではない。

本発明の様々な態様が、以下の列挙実施形態例（enumerated example embodiment；ＥＥＥ）から理解され得る。

ＥＥＥ１．オーディオ信号の高周波再構成を実行する方法であって、当該方法は、
符号化されたオーディオビットストリームを受信し、該符号化されたオーディオビットストリームは、前記オーディオ信号の低帯域部分を表すオーディオデータと、高周波再構成メタデータとを含み、
前記オーディオデータを復号して、復号された低帯域オーディオ信号を生成し、
前記符号化されたオーディオビットストリームから前記高周波再構成メタデータを抽出し、前記高周波再構成メタデータは、高周波再構成プロセスのための動作パラメータを含み、該動作パラメータは、前記符号化されたオーディオビットストリームの後方互換拡張コンテナ内に置かれたパッチングモードパラメータを含み、該パッチングモードパラメータの第１の値は、スペクトル変換を指し示し、該パッチングモードパラメータの第２の値は、位相ボコーダ周波数拡散による高調波トランスポジションを指し示し、
前記復号された低帯域オーディオ信号をフィルタリングして、フィルタリングされた低帯域オーディオ信号を生成し、
前記フィルタリングされた低帯域オーディオ信号及び前記高周波再構成メタデータを用いて、前記オーディオ信号の高帯域部分を再生成し、当該再生成することは、前記パッチングモードパラメータが前記第１の値である場合にスペクトル変換を含み、当該再生成することは、前記パッチングモードパラメータが前記第２の値である場合に位相ボコーダ周波数拡散による高調波トランスポジションを含み、
前記フィルタリングされた低帯域オーディオ信号を前記再生成された高帯域部分と組み合わせて、広帯域オーディオ信号を形成する、
ことを有し、
前記フィルタリングすること、前記再生成すること、及び前記組み合わせることは、オーディオチャンネル当たり３０１０サンプル以下の遅延で後処理動作として実行される、
方法。

ＥＥＥ２．前記符号化されたオーディオビットストリームは更に充填要素を含み、該充填要素は、該充填要素の始まりを指し示す識別子と、該識別子の後の充填データとを有し、該充填データが前記後方互換拡張コンテナを含む、ＥＥＥ１の方法。

ＥＥＥ３．前記識別子は、最上位ビットが先に伝送され且つ０ｘ６の値を持つ３ビット符号なし整数である、ＥＥＥ２の方法。

ＥＥＥ４．前記充填データは拡張ペイロードを含み、該拡張ペイロードはスペクトルバンド複製拡張データを含み、前記拡張ペイロードは、最上位ビットが先頭に送信され且つ‘１１０１’又は‘１１１０’の値を持つ４ビット符号なし整数で識別され、
オプションで、前記スペクトルバンド複製拡張データは、
オプションのスペクトルバンド複製ヘッダと、
前記ヘッダの後のスペクトルバンド複製データと、
前記スペクトルバンド複製データの後のスペクトルバンド複製拡張要素であり、フラグが含められているスペクトルバンド複製拡張要素と、
を含む、
ＥＥＥ２又は３の方法。

ＥＥＥ５．前記高周波再構成メタデータは、エンベロープスケールファクタ、ノイズフロアスケールファクタ、時間／周波数グリッド情報、又はクロスオーバー周波数を指し示すパラメータを含む、ＥＥＥ１乃至４のいずれか一の方法。

ＥＥＥ６．前記後方互換拡張コンテナは更に、前記パッチングモードパラメータが前記第１の値に等しいときに、前記高帯域部分のスペクトルエンベロープの形状における不連続を回避するために追加の前処理が使用されるかを指し示すフラグを含み、該フラグの第１の値は、前記追加の前処理をイネーブルし、該フラグの第２の値は、前記追加の前処理をディセーブルする、ＥＥＥ１乃至５のいずれか一の方法。

ＥＥＥ７．前記追加の前処理は、線形予測フィルタ係数を用いてプリゲイン曲線を計算することを含む、ＥＥＥ６の方法。

ＥＥＥ８．前記後方互換拡張コンテナは更に、前記パッチングモードパラメータが前記第２の値に等しいときに、信号適応周波数ドメインオーバーサンプリングが適用されるべきかを指し示すフラグを含み、該フラグの第１の値は、前記信号適応周波数ドメインオーバーサンプリングをイネーブルし、該フラグの第２の値は、前記信号適応周波数ドメインオーバーサンプリングをディセーブルする、ＥＥＥ１乃至５のいずれか一の方法。

ＥＥＥ９．前記信号適応周波数ドメインオーバーサンプリングは、過渡信号を含むフレームに対してのみ適用される、ＥＥＥ８の方法。

ＥＥＥ１０．位相ボコーダ周波数拡散による前記高調波トランスポジションは、毎秒４５０万演算及び３ｋワードのメモリの又はそれよりも低い推定複雑度で実行される、ＥＥＥ１乃至９のいずれか一の方法。

ＥＥＥ１１．プロセッサによって実行されるときにＥＥＥ１乃至１０のいずれか一の方法を実行する命令を含んだ非一時的なコンピュータ読み取り可能媒体。

ＥＥＥ１２．命令を有するコンピュータプログラムプロダクトであって、前記命令は、コンピューティング装置又はシステムによって実行されるときに、該コンピューティング装置又はシステムに、ＥＥＥ１乃至１０のいずれか一の方法を実行させる、コンピュータプログラムプロダクト。

ＥＥＥ１３．オーディオ信号の高周波再構成を実行するオーディオ処理ユニットであって、当該オーディオ処理ユニットは、
符号化されたオーディオビットストリームを受信する入力インタフェースであり、前記符号化されたオーディオビットストリームは、前記オーディオ信号の低帯域部分を表すオーディオデータと、高周波再構成メタデータとを含む、入力インタフェースと、
前記オーディオデータを復号して、復号された低帯域オーディオ信号を生成するコアオーディオデコーダと、
前記符号化されたオーディオビットストリームから前記高周波再構成メタデータを抽出するデフォーマッタであり、前記高周波再構成メタデータは、高周波再構成プロセスのための動作パラメータを含み、該動作パラメータは、前記符号化されたオーディオビットストリームの後方互換拡張コンテナ内に置かれたパッチングモードパラメータを含み、該パッチングモードパラメータの第１の値は、スペクトル変換を指し示し、該パッチングモードパラメータの第２の値は、位相ボコーダ周波数拡散による高調波トランスポジションを指し示す、デフォーマッタと、
前記復号された低帯域オーディオ信号をフィルタリングして、フィルタリングされた低帯域オーディオ信号を生成する分析フィルタバンクと、
前記フィルタリングされた低帯域オーディオ信号及び前記高周波再構成メタデータを用いて、前記オーディオ信号の高帯域部分を再構成する高周波リジェネレータであり、前記再構成することは、前記パッチングモードパラメータが前記第１の値である場合にスペクトル変換を含み、前記再構成することは、前記パッチングモードパラメータが前記第２の値である場合に位相ボコーダ周波数拡散による高調波トランスポジションを含む、高周波リジェネレータと、
前記フィルタリングされた低帯域オーディオ信号を前記再生成された高帯域部分と組み合わせて、広帯域オーディオ信号を形成する合成フィルタバンクと、
を有し、
前記分析フィルタバンク、前記高周波リジェネレータ、及び前記合成フィルタバンクは、オーディオチャンネル当たり３０１０サンプル以下の遅延でポストプロセッサにて実行される、
オーディオ処理ユニット。

ＥＥＥ１４．位相ボコーダ周波数拡散による前記高調波トランスポジションは、毎秒４５０万演算及び３ｋワードのメモリの又はそれよりも低い推定複雑度で実行される、ＥＥＥ１３のオーディオ処理ユニット。

Claims

オーディオ信号の高周波再構成を実行する方法であって、当該方法は、
符号化されたオーディオビットストリームを受信し、該符号化されたオーディオビットストリームは、前記オーディオ信号の低帯域部分を表すオーディオデータと、高周波再構成メタデータとを含み、該符号化されたオーディオビットストリームは更に充填要素を含み、該充填要素は、該充填要素の始まりを指し示す識別子と、該識別子の後の充填データとを有し、該充填データは後方互換拡張コンテナを含み、前記識別子は、最上位ビットが先に伝送され且つ０ｘ６の値を持つ３ビット符号なし整数であり、前記充填データは拡張ペイロードを含み、該拡張ペイロードはスペクトルバンド複製拡張データを含み、前記拡張ペイロードは、最上位ビットが先に伝送され且つ‘１１０１’又は‘１１１０’の値を持つ４ビット符号なし整数で識別され、
前記オーディオデータを復号して、復号された低帯域オーディオ信号を生成し、
前記符号化されたオーディオビットストリームから前記高周波再構成メタデータを抽出し、前記高周波再構成メタデータは、高周波再構成プロセスのための動作パラメータを含み、該動作パラメータは、前記符号化されたオーディオビットストリームの前記後方互換拡張コンテナ内に置かれたパッチングモードパラメータを含み、該パッチングモードパラメータの第１の値は、スペクトル変換を指し示し、該パッチングモードパラメータの第２の値は、位相ボコーダ周波数拡散による高調波トランスポジションを指し示し、
前記復号された低帯域オーディオ信号をフィルタリングして、フィルタリングされた低帯域オーディオ信号を生成し、
前記フィルタリングされた低帯域オーディオ信号及び前記高周波再構成メタデータを用いて、前記オーディオ信号の高帯域部分を再生成し、当該再生成することは、前記パッチングモードパラメータが前記第１の値である場合にスペクトル変換を含み、当該再生成することは、前記パッチングモードパラメータが前記第２の値である場合に位相ボコーダ周波数拡散による高調波トランスポジションを含み、
前記フィルタリングされた低帯域オーディオ信号を前記再生成された高帯域部分と組み合わせて、広帯域オーディオ信号を形成する、ことを有し、
前記フィルタリングすること、前記再生成すること、及び前記組み合わせることは、オーディオチャンネル当たり３０１０サンプルの遅延で後処理動作として実行され、その結果、合成時間が合成ユニット内の３０１１番目のオーディオサンプルに適用される、
方法。
位相ボコーダ周波数拡散による前記高調波トランスポジションは、毎秒４５０万演算以下及び３ｋワード以下のメモリの推定複雑度で実行される、請求項１に記載の方法。
命令を有する非一時的なコンピュータ読み取り可能媒体であって、前記命令は、コンピューティング装置又はシステムによって実行されるときに、該コンピューティング装置又はシステムに、請求項１に記載の方法を実行させる、非一時的なコンピュータ読み取り可能媒体。
オーディオ信号の高周波再構成を実行するオーディオ処理ユニットであって、当該オーディオ処理ユニットは、
符号化されたオーディオビットストリームを受信する入力インタフェースであり、前記符号化されたオーディオビットストリームは、前記オーディオ信号の低帯域部分を表すオーディオデータと、高周波再構成メタデータとを含み、前記符号化されたオーディオビットストリームは更に充填要素を含み、該充填要素は、該充填要素の始まりを指し示す識別子と、該識別子の後の充填データとを有し、該充填データは後方互換拡張コンテナを含み、前記識別子は、最上位ビットが先に伝送され且つ０ｘ６の値を持つ３ビット符号なし整数であり、前記充填データは拡張ペイロードを含み、該拡張ペイロードはスペクトルバンド複製拡張データを含み、前記拡張ペイロードは、最上位ビットが先に伝送され且つ‘１１０１’又は‘１１１０’の値を持つ４ビット符号なし整数で識別される、入力インタフェースと、
前記オーディオデータを復号して、復号された低帯域オーディオ信号を生成するコアオーディオデコーダと、
前記符号化されたオーディオビットストリームから前記高周波再構成メタデータを抽出するデフォーマッタであり、前記高周波再構成メタデータは、高周波再構成プロセスのための動作パラメータを含み、該動作パラメータは、前記符号化されたオーディオビットストリームの前記後方互換拡張コンテナ内に置かれたパッチングモードパラメータを含み、該パッチングモードパラメータの第１の値は、スペクトル変換を指し示し、該パッチングモードパラメータの第２の値は、位相ボコーダ周波数拡散による高調波トランスポジションを指し示す、デフォーマッタと、
前記復号された低帯域オーディオ信号をフィルタリングして、フィルタリングされた低帯域オーディオ信号を生成する分析フィルタバンクと、
前記フィルタリングされた低帯域オーディオ信号及び前記高周波再構成メタデータを用いて、前記オーディオ信号の高帯域部分を再構成する高周波リジェネレータであり、前記再構成することは、前記パッチングモードパラメータが前記第１の値である場合にスペクトル変換を含み、前記再構成することは、前記パッチングモードパラメータが前記第２の値である場合に位相ボコーダ周波数拡散による高調波トランスポジションを含む、高周波リジェネレータと、
前記フィルタリングされた低帯域オーディオ信号を前記再構成された高帯域部分と組み合わせて、広帯域オーディオ信号を形成するコンバイナと、
を有し、
前記分析フィルタバンク、前記高周波リジェネレータ、及び前記コンバイナは、オーディオチャンネル当たり３０１０サンプルの遅延でポストプロセッサにて実行され、その結果、合成時間が合成ユニット内の３０１１番目のオーディオサンプルに適用される、
オーディオ処理ユニット。
位相ボコーダ周波数拡散による前記高調波トランスポジションは、毎秒４５０万演算以下及び３ｋワード以下のメモリの推定複雑度で実行される、請求項４に記載のオーディオ処理ユニット。