JP6730438B2 - フレーム制御同期化を使用して多チャネル信号を符号化又は復号化する装置及び方法 - Google Patents

Description

本発明は、ステレオ処理又は一般的には多チャネル処理に関し、ここで多チャネルとは、ステレオ信号の場合の左チャネル及び右チャネルのように２個のチャネルを有するか、又は３個、４個、５個もしくは他の任意の個数など、３個以上のチャネルを有するものである。

ステレオスピーチ及び特に会話のステレオスピーチは、立体音響音楽の記憶や配信に比べて遥かに小さな科学的注目度しか得られて来なかった。実際、スピーチ通信においては、今日でもモノラル音響の伝送が主に使用されている。しかしながら、ネットワーク帯域幅及び容量の増加に伴い、ステレオ音響技術に基づく通信はさらに普及し、より良好なリスニング経験をもたらすであろうと期待されている。

ステレオ音響オーディオ材料の効率的な符号化は、効率的な記憶又は配信のための音楽の知覚的オーディオ符号化において、長年研究されてきた。波形保存が重要となる高いビットレートにおいては、中央／サイド（Ｍ／Ｓ）ステレオとして知られる和−差ステレオ(sum-difference stereo)が長年使用されてきた。低いビットレートについては、インテンシティステレオ及び最近ではパラメトリックステレオ符号化が導入されてきた。ＨｅＡＡＣｖ２及びＭｐｅｇＵＳＡＣのような種々の標準においては、最新の技術が採用されている。そのような技術では、２チャネル信号のダウンミクスを生成し、コンパクトな空間サイド情報を伴う。

ジョイントステレオ符号化は通常、高い周波数分解能、即ち低い時間分解能に亘って構築され、よってその信号の時間−周波数変換は、殆どのスピーチコーダにおいて実行される低遅延及び時間ドメインの処理に対して互換性を持たない。さらに、生成されるビットレートは通常は高い。

他方、パラメトリックステレオは、前処理部として符号器の最前端に配置されまた後処理部として復号器の最後端に配置される、追加のフィルタバンクを使用する。従って、パラメトリックステレオは、ＭＰＥＧ ＵＳＡＣにおいて実施されているように、ＡＣＥＬＰのような従来のスピーチコーダとともに使用され得る。更に、聴覚的シーンのパラメトリック化は、最少量のサイド情報を用いて達成されることができ、これは低ビットレートに適している。しかしながら、パラメトリックステレオは、例えばＭＰＥＧ ＵＳＡＣの場合のように、低遅延のために特異に設計されたものではなく、また、様々な会話シナリオに対して一貫した品質を提供するものでもない。空間的シーンの従来のパラメトリック表現において、ステレオイメージの幅は、２つの合成されたチャネルに適用されるデコリレータにより人工的に再生され、符号器により計算されかつ伝送されるチャネル間コヒーレンス（ＩＣｓ）パラメータにより制御される。殆どのステレオスピーチにとって、ステレオイメージの幅を広げるこの方法は、かなり直接音であるスピーチの自然環境を再現するには適切ではない。なぜならスピーチは、空間内におけるある特定位置に位置する単一の音源により（時には室内からの反響も伴って）生成されるからである。対照的に、楽器はスピーチよりも自然な幅が各段に大きいので、チャネルをデコリレートすることによってより良好に模倣され得る。

更に、マイクロホンが互いに距離を置いて配置されるＡ−Ｂ方式やバイノーラルの録音又はレンダリングの場合のように、スピーチが非同時マイクロホン(non-coincident microphones)を用いて録音される場合にも問題が発生する。このようなシナリオは、テレカンファランス（teleconferences）においてスピーチを捕捉する場合や、多点制御ユニット（ＭＣＵ）において遠方スピーカを用いて仮想の聴覚シーンを創造する場合に想定され得る。そのような場合、１つのチャネルからの信号の到達時刻は他のチャネルとは異なり、これは、Ｘ−Ｙ（インテンシティ録音）又はＭ−Ｓ（中央−サイド録音）のような同時マイクロホン(coincident microphones)で実行された録音と同様ではない。そのような時間整列されていない２つのチャネルのコヒーレンスの計算は、誤って推定される恐れがあり、結果的に人工的な環境合成の失敗を招きかねない。

ステレオ処理に関する先行技術文献は、特許文献１又は特許文献２である。

特許文献３は、トランスペアレントに近い又はトランスペアレントな多チャネル符号器／復号器のスキームを開示している。多チャネル符号器／復号器のスキームは、波形タイプの残差信号を追加的に生成する。この残差信号は１つ以上の多チャネルパラメータと一緒に復号器へと伝送される。純粋にパラメトリックな多チャネル復号器とは対照的に、強化された復号器は、追加的な残差信号に起因して、改善された出力品質を有する多チャネル出力信号を生成する。符号器側では、左チャネル及び右チャネルの両方が１つの分析フィルタバンクによってフィルタリングされる。次に、各サブバンド信号について、１つのサブバンドのアライメント値とゲイン値とが計算される。そのようなアライメントは、更なる処理の前に実行される。復号器側では、デ・アライメント及びゲイン処理が実行され、対応する信号が合成フィルタバンクによって合成されて、復号化済み左信号と復号化済み右信号とが生成される。

他方、パラメトリックステレオは、前処理部として符号器の最前端に配置され、また後処理部として復号器の最後端に配置される、追加のフィルタバンクを使用する。従って、パラメトリックステレオは、ＭＰＥＧ ＵＳＡＣにおいて実施されているように、ＡＣＥＬＰのような従来のスピーチコーダとともに使用され得る。更に、聴覚的シーンのパラメトリック化は、最少量のサイド情報を用いて達成されることができ、これは低ビットレートに適している。しかしながら、パラメトリックステレオは、例えばＭＰＥＧ ＵＳＡＣの場合のように低遅延のために特異に設計されたものではなく、全体的なシステムは非常に高い算術上の遅延を示す。

米国特許第５，４３４，９４８号 米国特許第８，８１１，６２１号 国際公開第２００６／０８９５７０Ａ１号

本発明の目的は、効率的で低遅延を達成し得る多チャネル符号化／復号化の改善された概念を提供することである。

この目的は、請求項１に記載の多チャネル信号を符号化する装置、請求項２４に記載の多チャネル信号を符号化する方法、請求項２５に記載の符号化済み多チャネル信号を復号化する装置、請求項４２に記載の符号化済み多チャネル信号を復号化する方法、又は請求項４３に記載のコンピュータプログラムにより達成される。

本発明は、多チャネル処理、即ちジョイント多チャネル処理の少なくとも一部及び好ましくは全部が、１つのスペクトルドメイン内で実行されるという知見に基づいている。特に、ジョイント多チャネル処理のダウンミクス操作をスペクトルドメインで実行し、追加的に、時間及び位相のアライメント操作、又はジョイントステレオ／ジョイント多チャネル処理のためのパラメータを分析する処理さえも実行することが好ましい。さらに、コア符号器およびスペクトルドメインで動作しているステレオ処理に関するフレーム制御の同期化が実行される。

コア符号器は、フレーム系列を提供するために第１フレーム制御に従って作動するよう構成され、１つのフレームは開始フレーム境界と終了フレーム境界とによって区切られ、時間−スペクトル変換部又はスペクトル−時間変換部は、第１フレーム制御と同期している第２フレーム制御に従って作動するよう構成され、フレーム系列の各フレームの開始フレーム境界又は終了フレーム境界は、ある窓のオーバーラップ部分の開始時点又は終了時点と所定の関係にあり、その窓は、サンプリング値のブロック系列の各ブロックについて時間−スペクトル変換部（１０００）によって使用され、又はサンプリング値の出力ブロック系列の各ブロックについてスペクトル−時間変換部によって使用される。

本発明では、多チャネル符号器のコア符号器はフレーミング制御に従って作動するよう構成され、時間−スペクトル変換部とステレオ後処理部のスペクトル−時間変換部とリサンプラとは、別のフレーミング制御に従って作動するよう構成され、その別のフレーミング制御はコア符号器のフレーミング制御と同期している。その同期化は、コア符号器のフレーム系列の各フレームの開始フレーム境界又は終了フレーム境界が、ある窓のオーバーラップ部分の開始時点又は終了時点と所定の関係にあるように実行される。その窓は、サンプリング値のブロック系列の各ブロックに対して又はスペクトル値のリサンプリングされたブロック系列の各ブロックに対して、時間−スペクトル変換部又はスペクトル−時間変換部によって使用されたものである。このように、後続のフレーム操作を互いに同期して作動させることが確実になる。

更なる実施形態において、先読み部分を用いた先読み操作(look-ahead operation)がコア符号器によって実行される。この実施形態において、その先読み部分は時間−スペクトル変換部の分析窓によっても使用され、その場合、先読み部分の時間的長さ以下の時間的長さを有する、分析窓のあるオーバーラップ部分が使用される。

このように、コア符号器の先読み部分と分析窓のオーバーラップ部分とを互いに等しくすること、又は、オーバーラップ部分をコア符号器の先読み部分よりも小さくすることで、ステレオ前処理部の時間−スペクトル分析は、如何なる追加的な算術上の遅延も持たずに構成されることができる。この窓掛け済み先読み部分がコア符号器の先読み機能に対して余計な影響を与えないことを保証する目的で、分析窓関数の逆を使用して、この部分をリドレス（是正）することが好ましい。

それが良好な安定性を持って実行されるように、サイン窓形状の代わりにサイン窓形状の平方根が分析窓として使用され、サインの１．５乗の合成窓が、スペクトル−時間変換部の出力においてオーバーラップ操作を実行する前に合成窓掛けの目的で使用される。これにより、そのリドレス関数（redress function）が、その大きさに関してサイン関数の逆であるリドレス関数よりも小さい値を呈することが保証される。

好ましくは、追加のスペクトル−時間変換部から、出力サンプリングレートで後続の接続されたコア符号器によって既に必要とされる出力信号を提供するために、多チャネル逆処理の前、又は多チャネル逆処理の後のいずれかで、スペクトルドメイン・リサンプリングが実行される。しかし、コア符号器とスペクトル−時間変換部又は時間−スペクトル変換部とのフレーム制御を同期化する本発明の手順は、スペクトルドメイン・リサンプリングが実行されないシナリオにおいても適用可能である。

復号器側では、ダウンミクス信号から少なくとも第１チャネル信号と第２チャネル信号とを生成するための操作をスペクトルドメインで再度実行することが好ましく、さらに、全体の逆多チャネル処理さえもスペクトルドメインで実行するのが好ましい。さらに、時間−スペクトル変換部は、コア復号化済み信号をスペクトルドメイン表現へ変換するために設けられ、かつ周波数ドメイン内で逆多チャネル処理が実行される。

コア復号器は、フレーム系列を提供するために第１フレーム制御に従って作動するよう構成され、１つのフレームは開始フレーム境界と終了フレーム境界とによって区切られている。時間−スペクトル変換部又はスペクトル−時間変換部は、第１フレーム制御と同期している第２フレーム制御に従って作動するよう構成されている。具体的には、時間−スペクトル変換部又はスペクトル−時間変換部は、第１フレーム制御と同期している第２フレーム制御に従って作動するよう構成され、フレーム系列の各フレームの開始フレーム境界又は終了フレーム境界は、ある窓のオーバーラップ部分の開始時点又は終了時点と所定の関係にあり、その窓は、サンプリング値のブロック系列の各ブロックについて、時間−スペクトル変換部によって使用され、又はサンプリング値の少なくとも２つの出力ブロック系列の各ブロックについて、スペクトル−時間変換部によって使用される。

リドレスの必要がないため、当然ながら同じ分析及び合成の窓形状を使用することが望ましい。他方、復号器側においては時間ギャップを利用することが望ましく、その時間ギャップは、復号器側の時間−スペクトル変換部の分析窓の先行するオーバーラップ部分の終点と、多チャネル復号器側のコア復号器によるフレーム出力の終了の時点との間に存在する。このように、この時間ギャップ内のコア復号器出力サンプルは、ステレオ後処理部による分析窓掛けのために直ちに必要とされる訳ではなく、次フレームを処理／窓掛けするために必要とされるだけである。そのような時間ギャップは、例えば、典型的には分析窓の中央部にある非オーバーラップ部分を使用することで形成することができ、オーバーラップ部分の短縮をもたらす。そのような時間ギャップを形成するための他の代替例も同様に利用できるが、中央の非オーバーラップ部分により時間ギャップを形成することは好ましい方法である。このように、時間ギャップは、コア復号器が周波数ドメインから時間ドメインフレームへと切り替える場合に、好ましい切り替え事象の間の他のコア復号器操作又は平滑化操作のために利用可能であり、又は、パラメータ変化や符号化特性変化が発生した場合に使用できる任意の他の平滑化操作のために利用可能である。

一実施形態では、スペクトルドメイン・リサンプリングは、多チャネル逆処理の前に実行されるか、又は多チャネル逆処理の後に続いて実行されるかのいずれかであり、その方法は、最終的に、スペクトル−時間変換部が、スペクトル的にリサンプリングされた信号を、時間ドメイン出力信号のために意図された出力サンプリングレートで時間ドメインへと変換するものである。

したがって、この実施形態は如何なる演算集約的な時間−ドメイン・リサンプリング操作を完全に回避することを可能にする。その代わり、多チャネル処理はリサンプリングと結合される。スペクトルドメイン・リサンプリングは、好ましい実施形態では、ダウンサンプリングの場合にはスペクトルを切り詰めることにより実行され、アップサンプリングの場合にはスペクトルをゼロパディングすることにより実行される。これら簡易な操作、即ち一方ではスペクトルを切り詰め、他方ではスペクトルをゼロパディングし、及びＤＦＴ又はＦＦＴアルゴリズムのようなスペクトルドメイン／時間ドメイン変換アルゴリズムで実行されるある種の正規化操作を構成するための好適な追加的スケーリングは、スペクトルドメイン・リサンプリング操作を非常に効率的でかつ低遅延な方法で完成させる。

さらに、符号器側における少なくとも一部分又は全体のジョイントステレオ処理／ジョイント多チャネル処理、及び復号器側における対応する逆多チャネル処理は、周波数ドメインで実行されるのが好適であることが分かってきた。このことは、符号器側での最小のジョイント多チャネル処理としてのダウンミクス操作、又は復号器側での最小の逆多チャネル処理としてのアップミクス処理について当てはまるだけではない。符号器側でのステレオシーン分析と時間／位相アライメント、又は復号器側での位相と時間のデ・アライメントでさえも、同様にスペクトルドメインで実行され得る。同様のことが、符号器側で好適に実行されるサイドチャネル符号化に適用されるか、又は復号器側での２つの復号化済み出力チャネルの生成のためのサイドチャネル合成及び使用に適用される。

したがって、本発明の長所は、ステレオスピーチの変換にとって既存のステレオ符号化スキームに比べて遥かに好適な新たなステレオ符号化スキームを提供することである。本発明の実施形態は、低遅延ステレオコーデックを達成し、切り替え式オーディオコーデックの中にスピーチコアコーダ及びＭＤＣＴベースのコアコーダの双方について周波数ドメインで実行される共通のステレオツールを統合する、新たな枠組みを提供することである。

本発明の実施形態は、従来のＭ／Ｓステレオ又はパラメトリックステレオからの要素を混合する、ハイブリッドな手法に関係している。実施形態は、ジョイントステレオ符号化からの幾つかの態様及びツールと、パラメトリックステレオからの他の特徴とを使用する。特に、実施形態は、符号器の始点及び復号器の終点で実行される追加的な時間−周波数分析及び合成を採用する。その時間−周波数分解及び逆変換は、複素値を用いたフィルタバンク又はブロック変換のいずれかを用いて達成される。２チャネル又は多チャネルの入力から中央及びサイド信号（ＭＳ）として言及されるチャネルを出力するために、ステレオ又は多チャネル処理が入力チャネルを結合しかつ修正する。

本発明の実施形態は、ステレオモジュールによって導入され、かつ特にそのフィルタバンクのフレーミング及び窓掛けから導入された、算術的遅延を低減するための解決策を提供する。それは、同じステレオ処理信号を異なるサンプリングレートで生成することによって、３ＧＰＰ ＥＶＳのような切り替え式コーダ、又はＡＣＥＬＰのようなスピーチコーダとＴＣＸのような汎用オーディオコーダとの間の切り替えを行うコーダに対して出力する、マルチレート逆変換を提案する。さらに、実施形態はステレオ処理と同様に、低遅延でかつ低複雑性のシステムの様々な束縛に対して適応された窓掛けを提供する。さらに、実施形態は、異なる復号化済み合成結果をスペクトルドメインで結合しかつリサンプリングする方法を提供し、ここでは逆ステレオ処理も同様に適用される。

本発明の好適な実施形態は、スペクトル値のスペクトルドメイン・リサンプリングされた単一のブロックを生成するだけでなく、追加的に、異なる高い又は低いサンプリングレートに対応するスペクトル値のブロックのリサンプリングされた追加的なブロック系列をさらに生成する、スペクトルドメイン・リサンプラにおけるマルチ機能を含む。

さらに、多チャネル符号器は、スペクトル−時間変換部の出力において出力信号を追加的に提供するよう構成され、その出力信号は、符号器側における時間−スペクトル変換部に対して入力される、オリジナルの第１及び第２チャネル信号と同じサンプリングレートを有する。よって、実施形態において、多チャネル符号器は、ＭＤＣＴベースの符号化に好適に使用されるオリジナル入力サンプリングレートにおける少なくとも１つの出力信号を提供する。更に、少なくとも１つの出力信号が、ＡＣＥＬＰ符号化について特に有用な中間サンプリングレートで提供され、加えて、さらなる出力信号をもさらなる出力サンプリングレートで提供し、そのさらなる出力サンプリングレートとは、これもＡＣＥＬＰ符号化で有用ではあるが、他の出力サンプリングレートとは異なるものである。

これら手順は、多チャネル信号の第１及び第２チャネル信号から導出された、中央信号又はサイド信号のいずれか一方、又は両方の信号について実行されることができ、ここで２つのチャネルだけを（例えば低周波数強化チャネルなど追加の２つをも）有するステレオ信号の場合に、第１信号は左信号であってもよく、第２信号は右信号であってもよい。

以下に添付図面を参照しながら本発明の好ましい実施形態をより詳細に説明する。

多チャネル符号器の一実施形態のブロック図である。 スペクトルドメイン・リサンプリングの実施形態を示す。 スペクトルドメインにおいて正規化と対応するスケーリングとを用いて時間／周波数又は周波数／時間の変換を実行するための一方法を示す。 スペクトルドメインにおいて他の正規化と対応するスケーリングとを用いて時間／周波数又は周波数／時間の変換を実行するための別の方法を示す。 スペクトルドメインにおいてさらに他の正規化と対応するスケーリングとを用いて時間／周波数又は周波数／時間の変換を実行するためのさらに別の方法を示す。 所定の実施形態に係る種々の周波数分解能及び他の周波数関連の態様を示す。 符号器の一実施形態のブロック図を示す。 復号器の対応する一実施形態のブロック図を示す。 多チャネル符号器の好ましい一実施形態を示す。 多チャネル復号器の一実施形態のブロック図を示す。 結合部を含む多チャネル復号器の他の実施形態を示す。 結合部（加算）を追加的に含む多チャネル復号器の他の実施形態を示す。 複数のサンプリングレートについての窓の異なる特性を示す表を示す。 時間−スペクトル変換部及びスペクトル−時間変換部の一実施形態としてのＤＦＴフィルタバンクについての種々の提案例／実施形態を示す。 １０ｍｓの時間分解能を有するＤＦＴの２つの分析窓の連鎖を示す。 第１の提案例／実施形態に従う符号器の概略的窓掛けを示す。 第１の提案例／実施形態に従う復号器の概略的窓掛けを示す。 第１の提案例／実施形態に従う符号器及び復号器の窓を示す。 リドレスの実施形態を表す好ましいフローチャートを示す。 リドレスの実施形態を更に表すフローチャートを示す。 復号器側の実施形態の時間ギャップを説明するフローチャートを示す。 第４の提案例／実施形態に従う符号器の概略的窓掛けを示す。 第４の提案例／実施形態に従う復号器の概略的窓掛けを示す。 第４の提案例／実施形態に従う符号器及び復号器の窓を示す。 第５の提案例／実施形態に従う符号器の概略的窓掛けを示す。 第５の提案例／実施形態に従う復号器の概略的窓掛けを示す。 第５の提案例／実施形態に従う符号器及び復号器の窓を示す。 信号処理の中でダウンミクスを使用する多チャネル処理の好ましい実施形態のブロック図である。 信号処理の中でアップミクス操作を用いる逆多チャネル処理の好ましい実施形態である。 チャネルをアライメントする目的で符号化装置内において実行される処理のフローチャートを示す。 周波数ドメインで実行される手順の好ましい実施形態を示す。 ゼロパディング部分及びオーバーラップ領域を有する分析窓を使用して符号化装置内で実行される手順の好ましい実施形態を示す。 符号化装置の一実施形態の中で実行される追加的な手順についてのフローチャートを示す。 多チャネル信号を復号化及び符号化する装置の一実施形態により実行される手順を示す。 復号化装置の好ましい一実施形態を幾つかの態様に関して示す。 符号化済み多チャネル信号の復号化の枠組み内での広帯域デ・アライメントの文脈において実行される手順を示す。

図１は、少なくとも２つのチャネル１００１，１００２を含む多チャネル信号を符号化する装置を示す。２チャネルステレオのシナリオの場合、第１チャネル１００１は左チャネル、第２チャネル１００２は右チャネルであり得る。しかし、多チャネルシナリオの場合、第１チャネル１００１及び第２チャネル１００２は、多チャネル信号のチャネルのいずれにもなり得る。例えば、一方が左チャネルで他方が左サラウンドチャネルであってもよく、一方が右チャネルで他方が右サラウンドチャネルであってもよい。しかしながら、このようなチャネルの組合せは単なる例に過ぎず、場合に応じて他のチャネルの組合せも適用され得る。

図１の多チャネル符号器は、時間−スペクトル変換部を含み、少なくとも２つのチャネルのサンプリング値のブロック系列を、その時間−スペクトル変換部の出口において周波数ドメイン表現へと変換している。各周波ドメイン表現は、少なくとも２つのチャネルの１つのためのスペクトル値のブロック系列を有する。具体的には、第１チャネル１００１又は第２チャネル１００２のサンプリング値のブロックが、関連する入力サンプリングレートを有し、時間−スペクトル変換部の出力の系列のスペクトル値のブロックは、入力サンプリングレートに関連付けられた最大入力周波数までのスペクトル値を有する。時間−スペクトル変換部は、図１の実施形態においては多チャネル処理部１０１０へと接続されている。この多チャネル処理部は、スペクトル値の系列に対してジョイント多チャネル処理を適用して、少なくとも２つのチャネルに関連する情報を含む、スペクトル値のブロックの少なくとも１つの結果系列を取得するよう構成されている。典型的な多チャネル処理の操作はダウンミクス操作であるが、好ましい多チャネル操作は追加的な処理を含み、これについては後段で説明する。

コア符号器１０４０は、フレーム系列を提供するために第１フレーム制御に従って作動するよう構成され、１つのフレームは開始フレーム境界１９０１と終了フレーム境界１９０２とによって区切られている。時間−スペクトル変換部１０００又はスペクトル−時間変換部１０３０は、第１フレーム制御と同期している第２フレーム制御に従って作動するよう構成され、フレーム系列の各フレームの開始フレーム境界１９０１又は終了フレーム境界１９０２は、ある窓のオーバーラップ部分の開始時点又は終了時点と所定の関係にあり、その窓は、サンプリング値のブロック系列の各ブロックについて時間−スペクトル変換部１０００によって使用され、又はサンプリング値の出力ブロック系列の各ブロックについてスペクトル−時間変換部１０３０によって使用される、

図１に示すように、スペクトルドメイン・リサンプリングは任意選択的特徴である。この発明は、如何なるリサンプリングを用いずに実行でき、また多チャネル処理後又は多チャネル処理前にリサンプリングを用いて実行できる。使用の場合、スペクトルドメイン・リサンプラ１０２０は、スペクトル−時間変換部１０３０へ入力されるデータに対し、又は多チャネル処理部１０１０へ入力されるデータに対して、周波数ドメインでリサンプリング操作を実行し、スペクトル値のリサンプリング済みブロック系列の１ブロックは、最大入力周波数１２１１とは異なる最大出力周波数１２３１、１２２１までのスペクトル値を有する。次に、リサンプリングを用いた実施形態を説明するが、リサンプリングは任意選択的特徴であることが強調されるべきである。

さらなる実施形態では、時間−スペクトル変換部１０００はスペクトルドメイン・リサンプラ１０２０へと接続され、スペクトルドメイン・リサンプラ１０２０の出力は多チャネル処理部へと入力される。これは破線の接続線１０２１，１０２２によって示されている。この代替的な実施形態では、多チャネル処理部は、時間−スペクトル変換部により出力されるスペクトル値のブロック系列に対してではなく、接続線１０２２上で利用可能なブロックのリサンプリング済み系列に対し、ジョイント多チャネル処理を適用するよう構成されている。

スペクトルドメイン・リサンプラ１０２０は、多チャネル処理部により生成された結果系列をリサンプリングするか、又は、時間−スペクトル変換部１０００により出力されたブロック系列をリサンプリングして、線１０２５で示すような、中央（Ｍｉｄ）信号を表現し得るスペクトル値のブロックのリサンプリング済み系列を取得するよう構成されている。好ましくは、スペクトルドメイン・リサンプラは、多チャネル処理部により生成されたサイド（Ｓｉｄｅ）信号に対してもリサンプリングを追加的に実行し、その結果、線１０２６で示すような、そのサイド信号に対応するリサンプリング済み系列をも出力する。しかしながら、サイド信号の生成とそのリサンプリングは任意選択的であり、低ビットレートの実施例については必要でない。好ましくは、スペクトルドメイン・リサンプラ１０２０は、ダウンサンプリングを目的としてスペクトル値のブロックを切り詰めるよう構成されるか、又は、アップサンプリングを目的としてスペクトル値のブロックをゼロパディングするよう構成されている。多チャネル符号器は、スペクトル値のブロックのリサンプリング済み系列を時間ドメイン表現へと変換するスペクトル−時間変換部をさらに含み、その時間ドメイン表現は、入力サンプリングレートとは異なる出力サンプリングレートを関連して有する、サンプリング値のブロックの出力系列を含む。スペクトルドメイン・リサンプリングが多チャネル処理の前に実行されるような代替的実施形態においては、多チャネル処理部は、結果系列を破線１０２３を介してスペクトル−時間変換部１０３０へと直接的に提供する。この代替的実施形態では、追加的に、多チャネル処理部によってサイド信号がリサンプリング済み表現の中に既に生成されており、そのサイド信号もまたスペクトル−時間変換部によって処理される、という任意選択的特徴もあり得る。

最後に、スペクトル−時間変換部は、好ましくは、時間ドメインの中央信号１０３１と、任意選択的な時間ドメインのサイド信号１０３２とを提供し、これら両方がコア符号器１０４０によってコア符号化され得る。一般的に、コア符号器は、サンプリング値のブロックの出力系列をコア符号化して、符号化済みの多チャネル信号を取得するよう構成されている。

図２は、スペクトルドメイン・リサンプリングを説明するのに役立つスペクトルチャートを示す。

図２の上側のチャートは、時間−スペクトル変換部１０００の出力において利用可能なチャネルのスペクトルを示す。このスペクトル１２１０は、最大入力周波数１２１１までのスペクトル値を有する。アップサンプリングの場合には、最大出力周波数１２２１まで延びるゼロパディング部分又はゼロパディング領域１２２０内でゼロパディングが実行される。アップサンプリングが意図されているので、最大出力周波数１２２１は最大入力周波数１２１１よりも高い。

それとは対照的に、図２の最下チャートは、ブロック系列のダウンサンプリングによってもたらされる手順を示す。このため、あるブロックは切り詰め領域１２３０内において切り詰められ、１２３１にある切り詰められたスペクトルの最大出力周波数は、最大入力周波数１２１１よりも低くなる。

典型的には、図２における対応するスペクトルに関連するサンプリングレートは、少なくとも２・（スペクトルの最大周波数）である。このように、図２の上側の場合、サンプリングレートは最大入力周波数１２１１の少なくとも２倍となるであろう。

図２の２番目のチャートでは、サンプリングレートは、最大出力周波数１２２１、即ちゼロパディング領域１２２０の最高周波数、の少なくとも２倍となるであろう。それとは対照的に、図２の最下チャートでは、サンプリングレートは、最大出力周波数１２３１、即ち切り詰め領域１２３０内での切り詰め後に残る最高スペクトル値、の少なくとも２倍となるであろう。

図３ａ〜図３ｃは、所定のＤＦＴ順方向又は逆方向の変換アルゴリズムの文脈において使用可能な幾つかの代替例を示す。図３ａにおいては、サイズｘを有するＤＦＴが実行され、かつ順変換アルゴリズム１３１１内で正規化が全く発生しない状況が考慮されている。ブロック１３３１において、異なるサイズｙを有する逆変換が示され、ここで１／Ｎ_yを用いた正規化が実行される。Ｎ_yは、サイズｙを有する逆変換のスペクトル値の数である。このとき、ブロック１３２１で示すように、Ｎ_y／Ｎ_xによるスケーリングを実行することが望ましい。

それとは対照的に、図３ｂは、順変換１３１２及び逆変換１３３２に対して正規化が分散されている実施例を示す。この場合、ブロック１３２２で示すスケーリングが必要であり、ここでは逆変換のスペクトル値の数と順変換のスペクトル値の数との間の比率の平方根が有用である。

図３ｃは更なる実装例を示し、ここでは順変換において全体的正規化が実行され、その場合、サイズｘを有する順変換が実行される。その後、図３ｃ内の概略ブロック１３２３により示すようにスケーリングを全く必要とせず、ブロック１３３３で示す逆変換が作動する。このように、所定のアルゴリズムによるが、所定のスケーリング操作が必要となる場合もあり、全くスケーリングを必要としない場合もある。しかし、図３ａに従って作動することが好ましい。

全体の遅延を低く保つために、本発明が提供する方法では、符号器側において、時間ドメインリサンプラを不要とし、かつそれをＤＦＴドメインで信号をリサンプリングすることに置き換える。例えば、ＥＶＳにおいて、時間ドメインリサンプラに起因する０．９３７５ｍｓの遅延を節約することが可能となる。周波数ドメインにおけるリサンプリングは、ゼロパディング又はスペクトルを切り詰めかつそれを正確にスケーリングすることで達成される。

レートｆｘでサンプリングされサイズＮ_xのスペクトルＸを有する入力窓掛け済み信号ｘと、レートｆｙでリサンプリングされサイズＮ_yのスペクトルを有する同じ信号のバージョンｙと、を考慮する。サンプリングファクタは次式と等しくなる。
［数１］
ｆｙ／ｆｘ＝Ｎ_y／Ｎ_x
ダウンサンプリングの場合、Ｎ_x＞Ｎ_yである。そのダウンサンプリングは、オリジナルスペクトルＸを直接的にスケーリングしかつ切り詰めることで、周波数ドメインにおいて単純に実行され得る。
［数２］
Ｙ［ｋ］＝Ｘ［ｋ］・Ｎ_y／Ｎ_x ｋ＝０・Ｎ_y
アップサンプリングの場合、Ｎ_x＜Ｎ_yである。そのアップサンプリングは、オリジナルスペクトルＸを直接的にスケーリングしかつゼロパディングすることで、周波数ドメインにおいて単純に実行され得る。
［数３］
Ｙ［ｋ］＝Ｘ［ｋ］・Ｎ_y／Ｎ_x ｋ＝０・Ｎ_x
Ｙ［ｋ］＝０ ｋ＝Ｎ_x・Ｎ_y

両方のリサンプリング操作をまとめると、次式となる。
［数４］
Ｙ［ｋ］＝Ｘ［ｋ］・Ｎ_y／Ｎ_x 全てのｋ＝０・ｍｉｎ（Ｎ_y，Ｎ_x）について
Ｙ［ｋ］＝０ 全てのｋ＝ｍｉｎ（Ｎ_y，Ｎ_x）・Ｎ_yについて、但しＮ_y＞Ｎ_xの場合

一旦新たなスペクトルＹが取得されると、サイズＮ_yの関連する逆変換ｉＤＦＴを適用することで、時間ドメイン信号ｙが取得され得る。
［数５］
ｙ＝ｉＤＦＴ（Ｙ）

異なるフレームに亘る連続的な時間信号を構築するために、次に信号フレームｙは窓掛けされ、かつ以前に取得されたフレームに対してオーバーラップ加算される。

窓形状は全てのサンプリングレートについて同じである。しかし、その窓はサンプル内で異なるサイズを有しており、サンプリングレートに依存して異なるようにサンプリングされる。形状が純粋に分析的に定義されるため、窓のサンプル数とそれらの値とは容易に導出され得る。窓の異なる部分及びサイズは、目標サンプリングレートの関数として図８ａ内に見つけることができる。この場合、オーバーラップしている部分（ＬＡ）におけるサイン関数が分析窓及び合成窓のために使用される。これらの領域のために、上昇するovlp_size係数は次式により与えられる。
［数６］
win_ovlp(k) = sin(pi*(k+0.5)/(2* ovlp_size));,k=0…ovlp_size-1
他方、下降するovlp_size係数は次式により与えられる。
［数７］
win_ovlp(k) = sin(pi*(ovlp_size-1-k+0.5)/(2* ovlp_size));,k=0…ovlp_size-1
ここで、ovlp_size係数はサンプリングレートの関数であって、図８ａで示される。

新たな低遅延ステレオ符号化は、幾つかの空間キューを利用するジョイント中央／サイド（Ｍ／Ｓ）ステレオ符号化であり、その中央チャネルは一次モノラルコアコーダによって符号化され、サイドチャネルは二次コアコーダによって符号化される。符号器及び復号器の原理は図４ａ及び図４ｂに示される。

ステレオ処理は主として周波数ドメイン（ＦＤ）で実行される。任意選択的に、周波数分析の前に何らかのステレオ処理が時間ドメイン（ＴＤ）で実行されることもあり得る。これはＩＴＤ（チャネル間時間差）計算の場合であり、ステレオ分析の追及及び処理の前に、チャネルを時間においてアライメントするために、周波数分析の前にその計算がされて適用され得る。代替的に、ＩＴＤ処理は周波数ドメインで直接的に実行され得る。ＡＣＥＬＰのような通常のスピーチコーダは、内部的な時間−周波数分解を全く含まないので、そのステレオ符号化は、コア符号器の前の分析及び合成フィルタバンクと、コア復号器の後の分析−合成フィルタバンクの別のステージとにより、余分な複素変調されたフィルタバンクを追加することになる。好ましい実施形態においては、低いオーバーラップ領域を有するオーバーサンプル型ＤＦＴが使用される。しかしながら、他の実施形態においては、同様な時間的分解能を有する如何なる複素値の時間−周波数分解も使用可能である。以下に、ステレオ処理として、ＱＭＦのようなフィルタバンク又はＤＦＴのようなブロック変換について言及する。

ステレオ処理は、チャネル間時間差（ＩＴＤ）、チャネル間位相差（ＩＰＤｓ）、チャネル間レベル差（ＩＬＤｓ）、及び中央信号（Ｍ）を用いてサイド信号（Ｓ）を予測する予測ゲインなどの、空間キュー及び／又はステレオパラメータを計算することで構成される。符号器及び復号器の両方のステレオフィルタバンクは、符号化システム内での余分な遅延を導入する点に留意することが重要である。

図４ａは多チャネル信号を符号化する装置を示し、この実施例においては、あるジョイントステレオ処理が、時間ドメインにおいてチャネル間時間差（ＩＴＤ）分析を用いて実行され、このＩＴＤ分析１４２０の結果は、時間−スペクトル変換部１０００の前に配置された時間シフトブロック１４１０を使用して、時間ドメイン内で適用される。

次に、スペクトルドメイン内で追加的ステレオ処理１０１０が実行され、これにより、少なくとも中央信号Ｍへの左と右のダウンミクスと、任意ではあるがサイド信号Ｓの計算とが行われ、更に、図４ａには明示されていないが、リサンプリング操作が図１に示されたスペクトルドメイン・リサンプラ１０２０によって実行され、そのリサンプラは、多チャネル処理の後又は多チャネル処理の前にリサンプリングを実行する、２つの異なる代替例の１つを適用できるものである。

更に、図４ａは、好ましいコア符号器１０４０の更なる詳細を示している。特に、スペクトル−時間変換部１０３０の出力における時間ドメイン中央信号ｍを符号化する目的で、ＥＶＳ符号器が使用される。追加的に、ＭＤＣＴ符号化１４４０と、後続して接続されたベクトル量子化１４５０とが、サイド信号の符号化の目的で実行される。

符号化済み又はコア符号化済みの中央信号と、コア符号化済みサイド信号とは、マルチプレクサ１５００へと送られ、このマルチプレクサはこれらの符号化済み信号をサイド情報と一緒に多重化する。サイド情報の一種に、マルチプレクサに対して（及び任意選択的にステレオ処理要素１０１０に対しても）１４２１で出力されるＩＤパラメータがあり、更なるパラメータとしては、線１４２２で示すチャネル間レベル差／予測パラメータ、チャネル間位相差（ＩＰＤパラメータ）又はステレオ充填パラメータがある。これと対応するように、ビットストリーム１５１０により表現された多チャネル信号を復号化する図４ｂの装置は、デマルチプレクサ１５２０とコア復号器とを含み、この実施形態におけるコア復号器は、符号化済み中央信号ｍのためのＥＶＳ復号器１６０２と、ベクトル逆量子化部１６０３及びそれに後続して接続された逆ＭＤＣＴブロック１６０４とからなる。ブロック１６０４はコア復号化済みサイド信号ｓを出力する。復号化済み信号ｍ，ｓは、時間−スペクトル変換部１６１０を使用してスペクトルドメインへと変換され、次に、スペクトルドメイン内で逆ステレオ処理及びリサンプリングが実行される。また、図４ｂは、Ｍ信号から左Ｌ及び右Ｒへのアップミキシングが実行される様子を示し、更に、ＩＰＤパラメータを使用する狭帯域デ・アライメントと、線１６０５上のチャネル間レベル差パラメータＩＬＤ及びステレオ充填パラメータを使用してできるだけ良好な左右のチャネルを計算するための追加的処理と、をも示している。更に、デマルチプレクサ１５２０は、ビットストリーム１５１０から線１６０５上のパラメータを抽出するだけでなく、線１６０６上のチャネル間時間差をも抽出し、この情報を逆ステレオ処理／リサンプラのブロックへと送り、さらに追加的に、ブロック１６５０内の逆時間シフト処理にも送る。この逆時間シフト処理は時間ドメイン、即ち、スペクトル−時間変換部により実行される手順の後で実行され、それら変換部は、例えばＥＶＳ復号器１６０２の出力におけるレートと異なるか、又はＩＭＤＣＴブロック１６０４の出力におけるレートと異なる出力レートで、復号化済み左及び右の信号を出力する。

ステレオＤＦＴは、次に切り替え型コア符号器に追加的に送られる信号の異なるサンプリング済みバージョンを提供することができる。符号化すべき信号は、中央チャネル、サイドチャネル、又は左右のチャネルであってもよく、又は、２つの入力チャネルの回転又はチャネルマッピングから得られる如何なる信号であってもよい。切り替え型システムの異なるコア符号器は異なるサンプリングレートを受け入れるので、ステレオ合成フィルタバンクがマルチレート信号を提供できることは重要な特徴である。その原理を図５に示す。

図５において、ステレオモジュールは、２つの入力チャネルｌとｒとを入力として受け取り、それらを周波数ドメインで信号Ｍ及びＳへと変換する。ステレオ処理において、入力チャネルは、２つの新たな信号Ｍ及びＳを生成するために、最終的にマッピング又は修正され得る。Ｍは、３ＧＰＰ標準ＥＶＳモノラル又はその修正バージョンによって更に符号化される。そのような符号器は、ＭＤＣＴコア（ＥＶＳの場合にはＴＣＸ及びＨＱコア）とスピーチコーダ（ＥＶＳにおけるＡＣＥＬＰ）との間で切り替えを行う切り替え型符号器である。符号器はまた、常時１２．８ｋＨｚで作動する前処理機能と、操作モード（１２．８，２５．６又は３２ｋＨｚ）に従って変化するサンプリングレートで作動する他の前処理機能と、を有する。更に、ＡＣＥＬＰは１２．８又は１６ｋＨｚで作動し、ＭＤＣＴコアは入力サンプリングレートで作動する。信号Ｓは、標準ＥＶＳモノラル符号器（又はその修正バージョン）、又はその特性のために特別に設計された特異なサイド信号符号器のいずれかにより符号化され得る。サイド信号Ｓの符号化をスキップすることも可能である。

図５は、ステレオ処理済み信号Ｍ及びＳのマルチレート合成フィルタバンクを用いる、好ましいステレオ符号器の詳細を示す。図５は、入力レート、即ち信号１００１及び１００２が有する入力レートで時間−周波数変換を実行する、時間−スペクトル変換部１０００を示す。図５は更に、各チャネルのための時間ドメイン分析ブロック１０００ａ及び１０００ａを明示している。特に、図５では明示的な時間ドメイン分析ブロック、即ち対応するチャネルに対して分析窓を適用するための窓掛け部が示されているが、この明細書の他の箇所においては、時間ドメイン分析ブロックを適用するための窓掛け部が何らかのサンプリングレートでの「時間−スペクトル変換部」又は「ＤＦＴ」として示されるブロックの中に含まれていると考えられる、という点に留意すべきである。更に、またそれに対応して、スペクトル−時間変換部についての記載は、典型的には、実際のＤＦＴアルゴリズムの出力において、対応する合成窓を適用するための窓掛け部を含んでおり、この窓掛け部では、最後に出力サンプルを得るために、対応する合成窓を用いて窓掛けされたサンプリング値のブロックのオーバーラップ加算が実行される。従って、例えばブロック１０３０は「ＩＤＦＴ」とだけ記載しているにすぎないが、このブロックは、典型的に、次に分析窓を用いて時間ドメインサンプルのブロックを窓掛けすること、及び次にオーバーラップ加算の操作を行って最終的に時間ドメインのｍ信号を得ることをも示している。

更に、図５は特異なステレオシーン分析ブロック１０１１を示しており、このブロック１０１１は、ステレオ処理及びダウンミクスを実行するためにブロック１０１０で使用されるべきパラメータを生成し、これらのパラメータは、例えば図４ａの線１４２２又は１４２１上のパラメータであり得る。このように、ブロック１０１１は、この実施例においては図４ａのブロック１４２０に対応してもよく、この実施例ではパラメータ分析でさえ、即ちステレオシーン分析でさえもスペクトルドメインで実行され、特に、リサンプリングされておらず入力サンプリングレートに対応した最大周波数にあるスペクトル値のブロック系列を用いて実行される。

また、コア符号器１４３０は、ＭＤＣＴベースの符号器分枝１４３０ａとＡＣＥＬＰ符号化分枝１４３０ｂとを備える。特に、中央信号Ｍのための中央コーダと、サイド信号ｓのための対応するサイドコーダとは、ＭＤＣＴベースの符号化とＡＣＥＬＰ符号化との間の切り替え符号化を行い、その場合、典型的に、コア符号器は追加的に符号化モード決定部を有し、その決定部は典型的に、あるブロック又はフレームがＭＤＣＴベースの手順又はＡＣＥＬＰベースの手順のいずれを用いて符号化されるべきかを決定するために、ある先読み部分に対して動作する。追加的又は代替的に、コア符号器は、ＬＰＣパラメータ等のような他の特性を決定するために、先読み部分を使用するよう構成されている。

さらにコア符号器は、１２．８ｋＨｚで動作する第１の前処理ステージ１４３０ｃや、１６ｋＨｚ、２５．６ｋＨｚ又は３２ｋＨｚからなるサンプリングレート・グループの中のサンプリングレートで動作する別の前処理ステージ１４３０ｄのように、異なるサンプリングレートでの処理ステージを追加的に含む。

従って一般的には、図５に示す実施形態は、８ｋＨｚ、１６ｋＨｚ又は３２ｋＨｚであり得る入力レートから、８、１６又は３２ｋＨｚとは異なるいずれかの出力レートへとリサンプリングするためのスペクトルドメイン・リサンプラを有するように構成されている。

さらに図５の実施形態では、リサンプリングされない追加的分枝、即ち中央信号及び必要に応じてサイド信号のための「入力レートにおけるＩＤＦＴ」で示される分枝を有するよう構成される。

さらに図５の符号器は、好ましくは前処理器１４３０ｃ及び１４３０ｄの両方のためのデータを持つように、第１の出力サンプリングレートだけでなく第２の出力サンプリングレートへもリサンプリングするリサンプラを含み、これら前処理部は、例えば何らかの種類のフィルタリング、何らかの種類のＬＰＣ計算、又は何らかの種類の他の信号処理を実行するよう作動され、これら処理は、好ましくは図４ａの文脈で上述したＥＶＳ符号器についての３ＧＰＰ標準において開示されている。

図６は、符号化済み多チャネル信号１６０１を復号化するための装置の実施例を示す。この復号化装置は、コア復号器１６００、時間−スペクトル変換部１６１０、任意選択的なスペクトルドメイン・リサンプラ１６２０、多チャネル処理部１６３０及びスペクトル−時間変換部１６４０を備えている。

コア復号器１６００は、フレーム系列を提供するために第１フレーム制御に従って作動するよう構成され、１つのフレームは開始フレーム境界１９０１と終了フレーム境界１９０２とによって区切られている。時間−スペクトル変換部１６１０又はスペクトル−時間変換部１６４０は、第１フレーム制御と同期している第２フレーム制御に従って作動するよう構成されている。時間−スペクトル変換部１６１０又はスペクトル−時間変換部１６４０は、第１フレーム制御と同期している第２フレーム制御に従って作動するよう構成され、フレーム系列の各フレームの開始フレーム境界１９０１又は終了フレーム境界１９０２は、ある窓のオーバーラップ部分の開始時点又は終了時点と所定の関係にあり、その窓は、サンプリング値のブロック系列の各ブロックについて時間−スペクトル変換部１６１０によって使用され、又はサンプリング値の少なくとも２つの出力ブロック系列の各ブロックについてスペクトル−時間変換部１６４０によって使用される。

符号化済み多チャネル信号１６０１を復号化するための装置に関する場合であっても、本発明は、複数の代替的な実施例において実施可能である。１つ目の代替例では、スペクトルドメイン・リサンプラが全く使用されない。他の代替例では、あるリサンプラが使用され、かつ多チャネル処理を実行する前に、そのリサンプラがコア復号化済み信号をスペクトルドメインでリサンプリングするよう構成されている。この代替例は図６の実線で示される。しかしながら、さらなる代替例では、スペクトルドメイン・リサンプリングが多チャネル処理の後で実行され、即ち、多チャネル処理は入力サンプリングレートで行われる。この実施例は図６では破線で示される。この代替例が使用された場合には、スペクトルドメイン・リサンプラ１６２０は、スペクトル−時間変換部１６４０へ入力されるデータに対して、又は多チャネル処理部１６３０に入力されるデータに対して、リサンプリング操作を周波数ドメインで実行し、リサンプリング済み系列の１ブロックは、最大入力周波数とは異なる最大周波数までのスペクトル値を有する。

特に最初の実施例、即ちスペクトルドメイン・リサンプリングが多チャネル処理の前にスペクトルドメインにおいて実行される場合には、サンプリング値のブロック系列を表現するコア復号化済み信号は、線１６１１においてコア復号化済み信号についてのスペクトル値のブロック系列を有する、周波数ドメイン表現へと変換される。

加えて、コア復号化済み信号は、線１６０２におけるＭ信号を含むだけでなく、線１６０３におけるサイド信号をも含み、その場合、サイド信号は線１６０４においてコア符号化済み表現の中で示されている。

その場合、時間−スペクトル変換部１６１０は、線１６１２で示すサイド信号のためのスペクトル値のブロック系列も追加的に生成する。

次に、スペクトルドメイン・リサンプリングがブロック１６２０により実行され、中央信号又はダウンミクス又は第１チャネルに関するスペクトル値のブロックのリサンプリング済み系列が、線１６２１で多チャネル処理部へと送られ、任意選択的に、サイド信号のためのスペクトル値のブロックのリサンプリング済み系列もまた、スペクトルドメイン・リサンプラ１６２０から多チャネル処理部１６３０へと線１６２２を介して送られる。

次に、多チャネル処理部１６３０は、線１６２１及び１６２２で示されるダウンミクス信号からの系列と任意選択的にサイド信号からの系列とを含む系列に対し、逆多チャネル処理を実行し、それにより、線１６３１及び１６３２で示されるスペクトル値のブロックの少なくとも２つの結果系列を出力する。これら少なくとも２つの系列は、次にスペクトル−時間変換部を使用して時間ドメインへと変換され、時間ドメインチャネル信号１６４１及び１６４２を出力する。線１６１５で示される他の実施例においては、時間−スペクトル変換部が中央信号などのコア復号化済み信号を多チャネル処理部へと供給するよう構成されている。追加的に、時間−スペクトル変換部は、復号化済みサイド信号１６０３をそのスペクトルドメイン表現において多チャネル処理部１６３０へと供給することもできる。しかし、この選択肢は図６には示されていない。次に、多チャネル処理部は逆処理を実行し、少なくとも２つのチャネルの出力は接続線１６３５を介してスペクトルドメイン・リサンプラへと送られ、次にリサンプラはリサンプリングされた少なくとも２つのチャネルを線１６２５を介してスペクトル−時間変換部１６４０へと送る。

このように、図１の文脈で説明したことに少し類似しているが、符号化済み多チャネル信号を復号化する装置もまた２つの選択肢を含んでいる。即ち、スペクトルドメイン・リサンプリングが逆多チャネル処理の前に実行される場合と、又は代替的に、スペクトルドメイン・リサンプリングが入力サンプリングレートでの多チャネル処理の後に実行される場合である。しかしながら、好ましくは第１の選択肢が実行される。なぜなら、図７ａと図７ｂに示されるように、様々な信号寄与の有利なアライメントが可能になるからである。

図７ａもコア復号器１６００を示すが、ここでは３つの異なる出力信号を出力する。即ち、出力サンプリングレートとは異なるサンプリングレートでの第１出力信号１６０１と、入力サンプリングレートつまりコア符号化済み信号１６０１の根底にあるサンプリングレートでの第２コア復号化済み信号１６０２とを出力し、更にコア復号器は、出力サンプリングレートつまり図７ａのスペクトル−時間変換部１６４０の出力において最終的に意図されるサンプリングレートで動作可能かつ利用可能な、第３出力信号１６０３をも追加的に生成する。

全ての３つのコア復号化済み信号は時間−スペクトル変換部１６１０へと入力され、その変換部は、スペクトル値のブロックの３つの異なる系列１６１３，１６１１及び１６１２を生成する。

スペクトル値のブロック系列１６１３は、最大出力周波数までの周波数又はスペクトル値を有しており、よって出力サンプリングレートと関連付けられる。

スペクトル値のブロック系列１６１１は、異なる最大周波数までのスペクトル値を有しており、よってこの信号は出力サンプリングレートとは対応しない。

更に、信号１６１２もまた最大出力周波数とは異なる最大入力周波数までのスペクトル値を有している。

そのため、系列１６１２及び１６１１はスペクトルドメイン・リサンプラ１６２０へと送られるのに対し、信号１６１３は、この信号が既に正確な出力サンプリングレートと関連しているため、スペクトルドメイン・リサンプラ１６２０には送られない。

スペクトルドメイン・リサンプラ１６２０は、スペクトル値のリサンプリング済み系列を結合部１７００へと送り、その結合部は、オーバーラップしている状況に対応する信号について、スペクトル線同士を用いたブロック毎の結合を実行するよう構成されている。つまり、典型的には、ＭＤＣＴベースの信号からＡＣＥＬＰ信号への切り替えの間にクロスオーバー領域があり、このオーバーラップ領域の中で複数の信号値が存在し、相互に結合される。しかしながら、このオーバーラップ領域が終了し、例えば一つの信号が信号１６０３内だけで存在して、例えば信号１６０２が存在しない場合、結合部はこの部分ではブロック毎のスペクトル線加算を行わないであろう。しかしながら、後で切り替えが発生した場合、ブロック毎のスペクトル線加算がこのクロスオーバー領域の期間中に実行されるであろう。

さらに、図７ｂに示すように連続的な加算もまた可能であり、ここでは、ブロック１６００ａで示すバス・ポストフィルタが実行され、それによりハーモニック間誤差信号を発生させ、その信号は例えば図７ａの信号１６０１であり得る。次に、ブロック１６１０における時間−スペクトル変換と、後続のスペクトルドメイン・リサンプリング１６２０とに続いて、図７ｂのブロック１７００における加算を実行する前に、追加的なフィルタリング操作１７０２が実行されることが好ましい。

同様に、ＭＤＣＴベースの復号化ステージ１６００ｄと、時間ドメイン帯域幅拡張復号化ステージ１６００ｃとが、クロスフェーディングブロック１７０４を介して連結されることができ、これによりコア復号化済み信号１６０３を取得し、それが次に出力サンプリングレートにおけるスペクトルドメイン表現へと変換される。その結果、この信号１６１３については、スペクトルドメイン・リサンプリングは不要であり、この信号は結合部１７００へと直接的に出力され得る。結合部１７００の後には、ステレオ逆処理又は多チャネル処理１６０３が行われる。

このように、図６の実施例とは対照的に、多チャネル処理部１６３０は、スペクトル値のリサンプリング済み系列に対して操作するのではなく、１６２２や１６２１のようなスペクトル値の少なくとも１つのリサンプリング済み系列を含む系列に対して操作するものであり、多チャネル処理部１６３０が操作する系列は、リサンプリングされる必要がなかった系列１６１３を追加的に含む。

図７に示すように、異なるサンプリングレートで作動している異なるＤＦＴから到来する異なる復号化済み信号は、既に時間アライメントされている。なぜなら、異なるサンプリングレートにおける分析窓同士が同じ形状を有するからである。しかしながら、それらスペクトルは異なるサイズ及びスケーリングを示す。それらを調和させかつ互換性を持たせるために、相互に加算される前に、全てのスペクトルが周波数ドメインにおいて所望の出力サンプリングレートでリサンプリングされる。

このように、図７は、ある合成信号の様々な寄与の結合をＤＦＴドメインで示すものであり、ここで、スペクトルドメイン・リサンプリングが次のように実行される。すなわち、最終的に、結合部１７００により加算されるべき全ての信号がスペクトル値を持って既に利用可能であり、それらスペクトル値が出力サンプリングレートに対応する最大出力周波数まで延びており、その出力サンプリングレートはスペクトル−時間変換部１６４０の出力において取得される出力サンプリングレートの半分以下である。

ステレオフィルタバンクの選択は低遅延システムにとって決定的に重要であり、図８ｂにはその達成可能な妥協点がまとめられている。ステレオフィルタバンクは、ＤＦＴ（ブロック変換）、又はＣＬＤＦＢ（フィルタバンク）と称される疑似低遅延ＱＭＦのいずれかを使用し得る。各提案例は、異なる遅延、時間及び周波数分解能を示す。システムにとって、これらの特性間の最良の折衷点が選択されるべきである。良好な周波数及び時間分解能を持つことが重要である。そのため、提案例３に記載の疑似ＱＭＦフィルタバンクの使用は問題を含み得る。周波数分解能が低いからである。この低さは、ＭＰＥＧ−ＵＳＡＣのＭＰＳ２１２にあるようなハイブリッド手法により補強され得るが、複雑性及び遅延の両方を有意に増大させるという欠点を有する。他の重要な点は、コア復号器と逆ステレオ処理との間の、復号器側における利用可能な遅延である。この遅延は大きければ大きいほど良い。例えば提案例２は、そのような遅延を提供することができず、そのため価値ある解決策ではない。上述した理由により、以下の明細書では提案例１，４，５に焦点を当てて説明する。

フィルタバンクの分析及び合成窓は、もう一つの重要な特徴である。好ましい実施形態において、ＤＦＴの分析及び合成のために同じ窓が使用される。この点については、符号器側でも復号器側でも同様である。以下の制約を満たすために、特別な注意が払われた。
・オーバーラップ領域は、ＭＤＣＴコア及びＡＣＥＬＰ先読みのオーバーラップ領域以下でなくてはならない。好ましい実施形態では、全てのサイズは８．７５ｍｓに等しい。
・ＤＦＴドメインにおけるチャネルの線形シフトの適用を可能にするため、ゼロパディングは少なくとも約２．５ｍｓでなければならない。
・窓サイズ、オーバーラップ領域サイズ及びゼロパディングサイズは、異なるサンプリングレート１２．８，１６，２５．６，３２，４８ｋＨｚについて、整数個のサンプルで示さなければならない。
・ＤＦＴの複雑性はできるだけ低くしなければならない。即ち、ｓｐｌｉｔ−ｒａｄｉｘＦＦＴ型におけるＤＦＴの最大基数（maximum radix）はできるだけ低くしなければならない。ｓｐｌｉｔ ｒａｄｉｘ構成におけるデジタルフーリエ変換の最大基数は７以下であるのが望ましい。
・時間分解能は１０ｍｓに固定される。

これらの制約を考慮した上で、提案例１及び４のための窓を図８ｃ及び図８ａで説明する。

図８ｃは、初期オーバーラップ部分１８０１と、それに続く中間部分１８０３と、終端オーバーラップ部分又は第２オーバーラップ部分１８０２とから成る第１窓を示す。更に、第１オーバーラップ部分１８０１と第２オーバーラップ部分１８０２とは、その開始部のゼロパディング部分１８０４と終了部のゼロパディング部分１８０５とを追加的に含む。

更に、図８ｃは、図１の時間−スペクトル変換部１０００又は代替的に図７ａの１６１０のフレーミングに関して実行される手順についても示している。構成要素１８１１、即ち第１オーバーラップ部分と、中間の非オーバーラップ部分１８１３と、第２オーバーラップ部分１８１２とから成る追加的な分析窓は、第１窓と５０％オーバーラップしている。この第２窓も、それらの開始部及び終了部において、ゼロパディング部分１８１４及び１８１５を追加的に含む。これらのゼロオーバーラップ部分は、周波数ドメインで広帯域時間アライメントを実行するために必要である。

更に、図示するように、第２窓の第１オーバーラップ部分１８１１は、第１窓の非オーバーラップ部分である中間部分１８０３の終点で開始し、かつ、第２窓の非オーバーラップ部分、即ち非オーバーラップ部分１８１３は、第１窓の第２オーバーラップ部分１８０２の終点で開始する。

図８ｃが、符号器のための図１のスペクトル−時間変換部１０３０又は復号器のためのスペクトル−時間変換部１６４０のような、スペクトル−時間変換部におけるオーバーラップ加算操作を表現していると考えた場合には、ブロック１８０１，１８０２，１８０３，１８０５，１８０４から成る第１窓はある合成窓に対応し、ブロック１８１１，１８１２，１８１３，１８１４，１８１５から成る第２窓は次のブロックのための合成窓に対応する。その場合、窓間のオーバーラップはオーバーラップ部分を示し、そのオーバーラップ部分は１８２０で示され、そのオーバーラップ部分の長さは現フレームの２分の１と等しく、好ましい実施形態においては１０ｍｓである。更に、図８ｃの下部には、オーバーラップ領域１８０１又は１８１１内における上昇する窓係数を計算するための解析方程式がサイン関数として示され、それと対応して、オーバーラップ部分１８０２及び１８１２の下降するオーバーラップサイズ係数もまたサイン関数として示される。

好ましい実施形態において、同じ分析及び合成窓が図６，図７ａ，図７ｂに示された復号器のために使用される。従って、時間−スペクトル変換部１６１０とスペクトル−時間変換部１６４０とは、図８ｃに示す窓と全く同じ窓を使用する。

しかしながら、特に以下の提案例／実施例１に関する所定の実施例においては、全体的に図８ｃと適合する分析窓が使用されるが、上昇するオーバーラップ部分又は下降するオーバーラップ部分のための窓係数はサイン関数の平方根を使用して計算され、これは図８ｃにおけるサイン関数の同じ独立変数（argument）を用いる。これに対応して、合成窓はサイン関数の１．５乗を用いて計算されるが、ここでも、サイン関数の同じ独立変数を用いる。

更に、ここで注意すべきは、オーバーラップ加算操作に起因して、サインの０．５乗にサインの１．５乗を乗ずる乗算もまた、サインの２乗という結果をもたらし、これはエネルギー保存状態を有するために必要ということである。

提案例１は、ＤＦＴのオーバーラップ領域が同じサイズを有し、ＡＣＥＬＰ先読み及びＭＤＣＴコアのオーバーラップ領域とアライメントされている、という主要な特性を有する。ここで、符号器遅延は、ＡＣＥＬＰ／ＭＤＣＴコアについて同じであり、ステレオ処理は符号器において如何なる追加的遅延も導入しない。ＥＶＳの場合や図５に示すマルチレート合成フィルタバンクの手法が使用された場合には、ステレオ符号器遅延は８．７５ｍｓまで低くなる。

符号器の概略的枠組みを図９ａに示し、復号器を図９ｅに示す。窓は、図９ｃにおいて符号器について青の破線で示し、復号器について赤の実線で示す。

提案例１に関する１つの主要課題は、符号器における先読みが窓掛けされるということである。その先読みは後続の処理のためにリドレスされることができ、又は、その後続の処理が窓掛けされた先読みを考慮するよう適合されている場合には、窓掛けされたままとすることができる。問題は、ＤＦＴで実行されたステレオ処理が入力チャネルを修正した場合、特に非線形操作を使用した場合、コア符号器が迂回されると、リドレスされ又は窓掛けされた信号では完全な再構築を達成できなくなることである。

注意すべきは、コア復号器合成窓とステレオ復号器分析窓との間に１．２５ｍｓの時間ギャップがあり、この時間ギャップが、コア復号器後処理、ＡＣＥＬＰに対して使用される時間ドメインＢＷＥのような帯域幅拡張（ＢＷＥ）、又はＡＣＥＬＰコアとＭＤＣＴコアとの間の遷移の場合には何らかの平滑化によって、利用され得ることである。

この１．２５ｍｓだけの時間ギャップは、上記のような操作のために標準ＥＶＳが必要とする２．３１２５ｍｓよりも小さいので、本発明は、切り替え型復号器の様々な合成部分をステレオモジュールのＤＦＴドメイン内で結合し、リサンプリングし、かつ平滑化する方法を提供する。

図９ａに示すように、コア符号器１０４０は、フレーミング制御に従って動作してフレーム系列を提供するよう構成されており、ここで、フレームは開始フレーム境界１９０１と終了フレーム境界１９０２とによって区切られている。更に、時間−スペクトル変換部１０００及び／又はスペクトル−時間変換部１０３０も、第１フレーミング制御と同期された第２フレーミング制御に従って動作するよう構成されている。フレーミング制御は、符号器内の時間−スペクトル変換部１０００のための２つのオーバーラップしている窓１９０３及び１９０４によって示されており、特に、同時発生的かつ完全に同期して処理される第１チャネル１００１及び第２チャネル１００２について示されている。更に、フレーミング制御は復号器側においても見ることができ、特に、図６の時間−スペクトル変換部１６１０のための符号１９１３及び１９１４で示す２つのオーバーラップしている窓により明らかである。これらの窓１９１３及び１９１４は、好ましくは例えば図９ｂの単一のモノラル又はダウンミクス信号１６０１であるコア復号器信号に対して適用される。更に、図９ａから明らかなように、コア符号器１０４０のフレーミング制御と時間−スペクトル変換部１０００又はスペクトル−時間変換部１０３０との間の同期は、サンプリング値のブロック系列の各ブロックについて、又はスペクトル値のブロックのリサンプリング済み系列の各ブロックについて、フレーム系列の各フレームの開始フレーム境界１９０１又は終了フレーム境界１９０２が、時間−スペクトル変換部１０００又はスペクトル−時間変換部１０３０により使用される窓のオーバーラップ部分の開始時点又は終了時点に対して所定の関係を有するように行われる。図９ａに示す実施例において、所定の関係とは、第１のオーバーラップ部分の開始が窓１９０３に関する開始時間境界と同期し、かつ次の窓１９０４のオーバーラップ部分の開始が例えば図８ｃの部分１８０３のような中央部分の終了と同期する。また、図８ｃの第２の窓が図９ａの窓１９０４に対応している場合、終了フレーム境界１９０２は、図８ｃの中央部分１８１３の終了と同期する。

このように、図９ａ内の第２の窓１９０４の、図８ｃにおける１８１２のような第２のオーバーラップ部分は、終了又は停止フレーム境界１９０２を超えて延び、従って符号１９０５で示すコア符号器先読み部分の中へと延びることが明らかである。

従って、サンプリング値のブロックの出力系列の出力ブロックをコア符号化する際に、コア符号器１０４０は、先読み部分１９０５のような先読み部分を使用するよう構成されており、その場合、出力先読み部分は、出力ブロックに時間的に後続して配置される。出力ブロックはフレーム境界１９０１，１９０４によって区切られるフレームと対応しており、出力先読み部分１９０５は、この出力ブロックの後にコア符号器１０４０へと到来する。

更に、図示するように、時間−スペクトル変換部は、分析窓、即ち窓１９０４を使用するよう構成されており、その窓は、先読み部分１９０５の時間的長さ以下の時間的長さを持つオーバーラップ部分を有しており、このオーバーラップ部分、即ち図８ｃにおいてはオーバーラップ領域内に位置するオーバーラップ１８１２に対応する部分は、窓掛けされた先読み部分を生成するために使用される。

更に、スペクトル−時間変換部１０３０は、窓掛けされた先読み部分に対応する出力先読み部分を、好ましくはリドレス機能を使用して処理するよう構成されており、その場合、リドレス機能は、分析窓のオーバーラップ部分の影響が低減又は排除されるよう構成されている。

このように、図９ａにおいてコア符号器１０４０とダウンミクス１０１０／ダウンサンプリング１０２０のブロックとの間で作動するスペクトル−時間変換部は、図９ａにおける窓１９０４によって適用された窓掛けを取り消すために、リドレス機能を適用するよう構成されている。

従って、コア符号器１０４０がその先読み機能を先読み部分１０９５へと適用するときに、任意の部分ではなく、できるだけオリジナルの部分に近い部分に対して先読み機能を実行することが保証される。

しかしながら、低遅延の制約のため、及びステレオ前処理部のフレーミングとコア符号器との間の同期のために、先読み部分についてのオリジナル時間ドメイン信号が存在しない。しかしながら、リドレス機能の適用により、この処理によって発生した如何なるアーチファクトも、可能な限り確実に低減されている。

この技術に関する処理の流れを、図９ｄと図９ｅとにおいてより詳細に示す。

ステップ１９１０において、第０ブロックのＤＦＴ^-1を実行し、時間ドメインの第０ブロックを取得する。その第０ブロックは、図９ａの窓１９０３の左で使用された窓により取得されていたものである。しかしながら、この第０ブロックは、図９ａでは明確に示されていない。

次に、ステップ１９１２において、第０ブロックは合成窓を使用して窓掛けされる。即ち、図１のスペクトル−時間変換部１０３０において窓掛けされる。

次に、ブロック１９１１で示すように、窓１９０３により取得された第１ブロックのＤＦＴ^-1を実行して時間ドメインの第１ブロックを取得し、この第１ブロックは、合成窓を使用してブロック１９１０において再度窓掛けされる。

次に、図９ｄにおける１９１８で示すように、第２ブロック、即ち図９ａの窓１９０４により取得されたブロックの逆ＤＦＴを実行して時間ドメインの第２ブロックを取得し、次に、図９ｄの１９２０で示すように、この第２ブロックの第１部分が合成窓を使用して窓掛けされる。しかし、重要なことは、図９ｄ内の項目１９１８で取得された第２ブロックの第２部分は合成窓を用いて窓掛けされず、図９ｄ内のブロック１９２２で示すようにリドレス（矯正、是正）されることである。そのリドレス関数のために、分析窓関数の逆とこの分析窓関数の対応するオーバーラップ部分とが使用される。

従って、第２ブロックを生成するために使用された窓が図８ｃに示すようなサイン窓であった場合、図８ｃの下部に示す方程式の下降するオーバーラップサイズ係数のため、
１／ｓｉｎ（）
がリドレス関数として使用される。

しかしながら、分析窓のためにサイン窓の平方根を使用することが好ましく、従って、リドレス関数は

の窓関数となる。これにより、ブロック１９２２により取得されるリドレス済みの先読み部分が、先読み部分内のオリジナル信号にできるだけ近くなることが保証されるが、当然ながら、オリジナル左信号又はオリジナル右信号ではなく、中央信号を取得するために左と右とを加算することで得られたであろうオリジナル信号である。

次に、図９ｄのステップ１９２４において、フレーム境界１９０１，１９０２により示されるフレームが、符号器が時間ドメイン信号を持つようにするためブロック１０３０においてオーバーラップ加算操作を実行することで生成され、このフレームが、窓１９０３に対応するブロックと先行ブロックの先行するサンプルとの間のオーバーラップ加算操作によって形成され、かつ、ブロック１９２０により取得された第２ブロックの第１部分も使用される。次に、このブロック１９２４によって出力されたフレームはコア符号器１０４０へと送られ、追加的に、コア符号器はそのフレームのためのリドレス済み先読み部分を受け取り、またステップ１９２６で示すように、コア符号器は、ステップ１９２２で取得されたリドレス済み先読み部分を使用して、コア符号器についての特性を決定できる。次に、ステップ１９２８で示すように、コア符号器は、ブロック１９２６で決定された特性を使用してフレームをコア符号化し、その結果、好ましい実施形態においては２０ｍｓの長さを有しフレーム境界１９０１，１９０２に対応するコア符号化済みフレームを取得する。

好ましくは、先読み部分１９０５内へと延びる窓１９０４のオーバーラップ部分は、先読み部分と同じ長さを有するが、しかし、先読み部分よりも短い場合もあり得る。但し、ステレオ処理部がオーバーラップ窓に起因する追加的な遅延を導入しないようにするため、オーバーラップ部分が先読み部分よりも長くなることは好ましくない。

次に、ブロック１９３０で示すように、合成窓を使用して、第２ブロックの第２部分の窓掛けを用いた手順が実行される。このように、第２ブロックの第２部分は、ブロック１９２２によってリドレスされる一方で、ブロック１９３０に示すように合成窓により窓掛けされる。なぜなら、この部分は次にコア符号器にとって、ブロック１９３２に示すように、第２ブロックの窓掛け済み第２部分と窓掛け済み第３ブロックと第４ブロックの窓掛け済み第１部分とをオーバーラップ加算することにより次フレームを生成するために必要となるからである。当然ながら、第４ブロック、特に第４ブロックの第２部分は、図９ｄの項目１９２２内の第２ブロックに関して説明したように、再度のリドレス操作を受け、上述したような手順が再度繰り返されるであろう。更に、ステップ１９３４において、コア符号器は、第４ブロックのリドレス済み第２部分を使用してコア符号器特性を決定し、次フレームがその決定された符号化特性を使用して符号化されて、最終的にはブロック１９３４においてコア符号化された次フレームを取得する。従って、分析窓（及び対応する合成窓）の第２オーバーラップ部分とコア符号器先読み部分１９０５とのアライメントにより、非常に低い遅延の構成を取得できることが保証される。また、このような利点は、窓掛け済みの先読み部分が、一方ではリドレス操作を実行することで処理され、また他方では、合成窓と同じではないがより小さな影響を与える分析窓を適用することで処理されるという事実に起因しており、その結果、同じ分析／合成窓を使用する場合と比較して、リドレス機能がより安定的であることが保証される。しかしながら、コア符号器がその先読み機能、即ち窓掛け済み部分に対するコア符号化特性を決定するために典型的に必要な機能、を操作するよう修正されている場合には、リドレス機能を実行することは必要でない。しかしながら、リドレス機能の使用は、コア符号器を修正する上で有利であることがわかってきた。

更に、上述したように、窓、即ち分析窓１９１４の終了部と、図９ｂの開始フレーム境界１９０１及び終了フレーム境界１９０２によって定義されるフレームの終了フレーム境界１９０２と、の間には時間ギャップがあることに留意すべきである。

特に、この時間ギャップは図６の時間−スペクトル変換部１６１０によって適用される分析窓に関して符号１９２０で示されており、この時間ギャップは、第１出力チャネル１６４１及び第２出力チャネル１６４２に関しても符号１２０で示されている。

図９ｆは時間ギャップの文脈で実行されるステップの手順を示し、コア復号器１６００は、フレーム又は少なくともフレームの初期部分を、時間ギャップ１９２０までコア復号化する。次に、図６の時間−スペクトル変換部１６１０は、フレームの初期部分に対して分析窓を適用するよう構成されており、その場合、フレームの終点、即ち時点１９０２まで到達せず、時間ギャップ１９２０の始点まで延びる分析窓１９１４を使用する。

このように、ブロック１９４０で示すように、コア復号器は時間ギャップ内のサンプルをコア復号化するため、及び／又は時間ギャップ内のサンプルを後処理するため、追加的時間を有する。時間−スペクトル変換部１６１０は、ステップ１９３８の結果として第１ブロックを既に出力しており、コア復号器は、ステップ１９４０では、時間ギャップ内の残りのサンプルをコア復号化できるか、又は時間ギャップ内のサンプルを後処理できる。

次に、ステップ１９４２において、時間−スペクトル変換部１６１０は、図９ｂの窓１９１４の後に現れるであろう次の分析窓を使用して、時間ギャップ内のサンプルを次フレームのサンプルと一緒に窓掛けする。次に、ステップ１９４４に示すように、コア復号器１６００は、次フレーム又は次フレームの少なくとも初期部分を、次フレーム内で発生する時間ギャップ１９２０まで復号化する。次に、ステップ１９４６において、時間−スペクトル変換部１６１０は、次フレーム内のサンプルを次フレームの時間ギャップ１９２０まで窓掛けし、更にステップ１９４８において、コア復号器は、次フレームの時間ギャップ内の残りのサンプルをコア復号化し、又はこれらのサンプルを後処理することができる。

このように、図９ｂの実施例を考慮した場合に例えば１．２５ｍｓであるこの時間ギャップは、コア復号器後処理により、帯域幅拡張により、例えばＡＣＥＬＰの文脈において使用される時間ドメイン帯域幅拡張により、又は、ＡＣＥＬＰとＭＤＣＴコア信号との間の遷移の場合の何らかの平滑化により、利用されることができる。

このように、再度述べるが、コア復号器１６００は、第１フレーミング制御に応じて作動して、フレーム系列を提供するよう構成されており、時間−スペクトル変換部１６１０又はスペクトル−時間変換部１６４０は、第１フレーミング制御と同期する第２フレーミング制御に応じて作動するよう構成されている。これにより、フレーム系列の各フレームの開始フレーム境界又は終了フレーム境界が、ある窓のオーバーラップ部分の開始時点又は終了時点に対して所定の関係を有するようになり、その窓は、サンプリング値のブロック系列の各ブロック、又はスペクトル値のブロックのリサンプリング済み系列の各ブロックについて、時間−スペクトル変換部又はスペクトル−時間変換部により使用されるものである。

更に、時間−スペクトル変換部１６１０は、フレーム系列のフレームを窓掛けする分析窓を使用するよう構成されており、その窓は、オーバーラップ部分の終点と終了フレーム境界との間の時間ギャップ１９２０を残して終了フレーム境界１９０２の手前で終了するオーバーラップ部分を有する。従って、コア復号器１６００は、時間ギャップ１９２０内のサンプルに対する処理を、分析窓を使用するフレームの窓掛けと並行して実行するよう構成されるか、又は、時間ギャップの更なる後処理が、時間−スペクトル変換部による分析窓を使用するフレームの窓掛けと並行して実行される。

更に、かつ好ましくは、コア復号化された信号の後続ブロックのための分析窓は、その窓の中間の非オーバーラップ部分が図９ｂの１９２０で示された時間ギャップの中に位置するように、配置される。

提案例４において、全体的なシステム遅延は提案例１に比べて拡大される。符号器では、ステレオモジュールから追加の遅延がもたらされる。提案例１とは異なり、提案例４では完璧な再構成の問題はもはや無関係となる。

復号器では、コア復号器と第１ＤＦＴ分析との間の利用可能な遅延は２．５ｍｓとなり、これにより、標準ＥＶＳにおいて実行されるような種々のコア合成と拡張された帯域幅信号との間の従来のリサンプリング、結合及び平滑化が可能となる。

符号器の概略的フレーミングを図１０ａに示し、復号器を図１０ｂに示す。窓については図１０ｃに示す。

提案例５において、ＤＦＴの時間分解能は５ｍｓへと減少する。コアコーダの先読み及びオーバーラップ領域は窓掛けされず、この点は提案例４と共通の利点と言える。他方、コア復号化とステレオ分析との間の利用可能な遅延は小さく、提案例１で提案された解決策が必要となる（図７）。この提案例の主な欠点は、時間−周波数分解の低い周波数分解能と、５ｍｓに低減された小さなオーバーラップ領域とであり、これにより、周波数ドメインにおける大きな時間シフトが妨げられる。

符号器の概略的フレーミングを図１１ａに示し、復号器を図１１ｂに示す。窓については図１１ｃに示す。

上述の内容を考慮すると、好ましい実施例は、符号器側については、マルチレート時間−周波数合成と関連しており、その合成は、後続の処理モジュールに対し、少なくとも１つのステレオ処理済み信号を種々のサンプリングレートで提供する。そのモジュールは、例えばＡＣＥＬＰのようなスピーチ符号器、前処理ツール、ＴＣＸのようなＭＤＣＴベースのオーディオ符号器、又は時間ドメイン帯域幅拡張符号器のような帯域幅拡張符号器を含む。

復号器については、復号器の合成の種々の寄与に関する、ステレオ周波数ドメインでのリサンプリングにおける結合が実行される。これらの合成信号は、ＡＣＥＬＰ復号器のようなスピーチ復号器、ＭＣＤＣＴベースの復号器、帯域幅拡張モジュール、又はバス・ポストフィルタのような後処理からのハーモニック間誤差信号からもたらされ得る。

更に、符号器及び復号器の両方について、ＤＦＴのための窓、又は、ゼロパディングと、低いオーバーラップ領域と、１２．９ｋＨｚ，１６ｋＨｚ，２５．６ｋＨｚ，３２ｋＨｚ，４８ｋＨｚのような異なるサンプリングレートにおける整数個のサンプルに対応するホップサイズと、を用いて変換された複素値、を適用することが有益である。

実施例は、低遅延でステレオオーディオの低ビットレート符号化を達成することができる。それは、ＥＶＳのような低遅延の切り替え型オーディオ符号化・スキームと、ステレオ符号化・モジュールのフィルタバンクとを効率的に結合させるよう特別に設計されたものである。

実施例は、例えばデジタルラジオ、インターネットストリーミング及びオーディオ通信アプリケーションなどを用いて、全てのタイプのステレオ又は多チャネル・オーディオコンテンツを（スピーチ及び音楽を所与の低ビットレートにおいて同様に一定の知覚的品質を有して）配信又は放送する際に有益となり得る。

図１２は、少なくとも２つのチャネルを有する多チャネル信号を符号化する装置を示す。多チャネル信号１０は、一方ではパラメータ決定部１００に対して入力され、他方では信号アライナ（signal aligner）２００に入力される。パラメータ決定部１００は、多チャネル信号から、一方では１つの広帯域アライメントパラメータを決定し、他方では複数の狭帯域アライメントパラメータを決定する。これらのパラメータは、パラメータ線１２を介して出力される。更に、これらのパラメータは、図示するように他のパラメータ線１４を介して出力インターフェース５００へも出力される。パラメータ線１４上では、レベルパラメータなどの追加的パラメータがパラメータ決定部１００から出力インターフェース５００へと送られる。信号アライナ２００は、パラメータ線１２を介して受け取った広帯域アライメントパラメータと複数の狭帯域アライメントパラメータとを使用して、多チャネル信号１０の少なくとも２つのチャネルをアライメントし、信号アライナ２００の出力においてアライメント済みチャネル２０を取得するよう構成されている。これらのアライメント済みチャネル２０は信号処理部３００へと送られ、この信号処理部３００は、線２０を介して受け取られたアライメント済みチャネルから、中央信号３１とサイド信号３２とを計算するよう構成されている。この符号化装置は、線３１からの中央信号と線３２からのサイド信号３２とを符号化して、線４１上に符号化済み中央信号を取得し、線４２上に符号化済みサイド信号を取得する、信号符号器４００を更に含む。これら両方の信号は、出力線５０において符号化済み多チャネル信号を生成する、出力インターフェース５００へと送られる。出力線５０における符号化済み信号は、線４１からの符号化済み中央信号と、線４２からの符号化済みサイド信号と、線１４からの広帯域アライメントパラメータ及び狭帯域アライメントパラメータと、任意ではあるが線１４からのレベルパラメータと、更に任意ではあるが信号符号器４００により生成されかつパラメータ線４３を介して出力インターフェース５００へと送られたステレオ充填パラメータと、を含む。

好ましくは、パラメータ決定部１００が実際に狭帯域パラメータを計算する前に、信号アライナが広帯域アライメントパラメータを使用して多チャネル信号からのチャネルをアライメントするよう構成されている。従って、この実施例において、信号アライナ２００は、広帯域アライメント済みチャネルを、接続線１５を介してパラメータ決定部１００へと戻す。次に、パラメータ決定部１００は、広帯域特性に関して既にアライメントされた多チャネル信号から、複数の狭帯域アライメントパラメータを決定する。しかしながら、他の実施例においては、パラメータはこのような特異な流れの手順を踏まずに決定される。

図１４ａは、接続線１５をもたらす特異なステップの系列が実行される、好ましい実施形態を示す。ステップ１６において、２つのチャネルを使用して広帯域アライメントパラメータが決定され、チャネル間時間差又はＩＴＤパラメータなどの広帯域アライメントパラメータが取得される。次に、ステップ２１において、図１２の信号アライナ２００により、広帯域アライメントパラメータを使用して２つのチャネルがアライメントされる。次に、ステップ１７において、パラメータ決定部１００内でアライメント済みチャネルを使用して狭帯域パラメータが決定され、多チャネル信号の異なる帯域についての複数のチャネル間位相差パラメータなどの複数の狭帯域アライメントパラメータを決定する。次に、ステップ２２において、各パラメータ帯域におけるスペクトル値が、この特定の帯域のための対応する狭帯域アライメントパラメータを使用してアライメントされる。狭帯域アライメントパラメータが利用可能な各帯域についてステップ２２のこの手順が実行された場合、アライメントされた第１及び第２のチャネル又は左／右のチャネルが、図１２の信号処理部３００による更なる信号処理にとって利用可能となる。

図１４ｂは、複数の手順が周波数ドメインで実行される、図１２の多チャネル符号器の更なる実施形態を示す。

特に、多チャネル符号器は、時間ドメインの多チャネル信号を周波数ドメイン内の少なくとも２つのチャネルのスペクトル表現へと変換する、時間−スペクトル変換部１５０を更に含む。

更に、符号１５２で示すように、図１２に符号１００，２００，３００で示すパラメータ決定部と信号アライナと信号処理部は、全て周波数ドメインで作動する。

更に、多チャネル符号器及び特に信号処理部は、少なくとも中央信号の時間ドメイン表現を生成するためのスペクトル−時間変換部１５４を更に含む。

好ましくは、スペクトル−時間変換部は、ブロック１５２で表す手順によっても決定されたサイド信号のスペクトル表現を、時間ドメイン表現へと追加的に変換する。また、図１２の信号符号器４００は次に、時間ドメイン信号としての中央信号及び／又はサイド信号を、図１２の信号符号器４００の特異な実施形態に依存して更に符号化するよう構成されている。

好ましくは、図１４ｂの時間−スペクトル変換部１５０は、図１４ｃのステップ１５５，１５６及び１５７を実行するよう構成されている。特に、ステップ１５５は分析窓を提供することを含み、その分析窓は、その一端部に少なくとも１つのゼロパディング部分を有し、具体的には、例えば図７以降に示すように、窓の初期部分におけるゼロパディング部分と窓の終了部分におけるゼロパディング部分とを有する。更に、その分析窓は、窓の第１半分と窓の第２半分においてオーバーラップ領域又はオーバーラップ部分を追加的に有し、更にまた、場合によっては、非オーバーラップ領域である中央部分を有することが好ましい。

ステップ１５６において、各チャネルはオーバーラップ領域を有する分析窓を用いて窓掛けされる。特に、各チャネルは、分析窓を使用して、チャネルの第１ブロックが取得されるような方法で窓掛けされる。次に、第１ブロックとの間に所定のオーバーラップ領域を有する同じチャネルの第２ブロックの取得などが行われ、その結果、例えば５回の窓掛け操作が行われた後で、各チャネルの窓掛け済みサンプルの５個のブロックが利用可能となり、それらは次に、図１４ｃの符号１５７で示すように、スペクトル表現へと個別に変換される。同じ手順が他のチャネルについても実行され、その結果、ステップ１５７の終了時には、スペクトル値、及び特にＤＦＴスペクトル値などの複素スペクトル値、又は複素サブバンドサンプルのブロック系列が利用可能となる。

図１２のパラメータ決定部１００により実行されるステップ１５８において、広帯域アライメントパラメータが決定され、図１２の信号アライナ２００により実行されるステップ１５９において、その広帯域アライメントパラメータを使用して循環シフト（circular shift）が実行される。これも図１２のパラメータ決定部１００により実行されるステップ１６０において、狭帯域アライメントパラメータが個別の帯域／サブバンドについて決定され、ステップ１６１において、アライメント済みスペクトル値は、特定の帯域について決定された対応する狭帯域アライメントパラメータを使用して、各帯域について回転される。

図１４ｄは、信号処理部３００により実行される更なる手順を示す。特に、信号処理部３００は、ステップ３０１に示すように中央信号とサイド信号とを計算するよう構成されている。ステップ３０２において、サイド信号のある種の追加的処理が実行されることができ、次に、ステップ３０３において、中央信号及びサイド信号の各ブロックが時間ドメインへと逆変換される。ステップ３０４において、ステップ３０３により取得された各ブロックに対して合成窓が適用され、ステップ３０５において、一方では中央信号についてオーバーラップ加算操作を実行し、他方ではサイド信号についてオーバーラップ加算操作を実行して、最終的に、時間ドメインの中央／サイド信号を取得する。

特に、ステップ３０４及び３０５の操作は、中央信号又はサイド信号のあるブロックからの中央信号及びサイド信号の次ブロックへの一種のクロスフェーディングをもたらし、それにより、チャネル間時間差パラメータ又はチャネル間位相差パラメータなどの如何なるパラメータ変化が発生した場合でも、図１４ｄのステップ３０５により取得された時間ドメインの中央／サイド信号内において、このパラメータ変化が可聴とならない。

図１３は、入力線５０で受信された符号化済み多チャネル信号を復号化する装置の一実施例のブロック図を示す。

特に、その信号は入力インターフェース６００により受信される。信号復号器７００と信号デ・アライナ（de-aligner）９００とが入力インターフェース６００に接続されている。更に、信号処理部８００は、一方では信号復号器７００と接続され、他方では信号デ・アライナと接続されている。

特に、符号化済み多チャネル信号は、符号化済み中央信号と、符号化済みサイド信号と、広帯域アライメントパラメータに関する情報と、複数の狭帯域パラメータに関する情報と、を含む。線５０上の符号化済み多チャネル信号は、図１２の出力インターフェース５００により出力された信号と正に同じ信号であり得る。

しかしながら、ここで重要なことは、図１２で示したこととは対照的に、符号化済み信号の中に所定の形態で含まれた広帯域アライメントパラメータと複数の狭帯域アライメントパラメータとは、図１２の信号アライナ２００によって使用されたアライメントパラメータと全く同じであり得るが、代替的にそれらの逆の値でもあり得ること、即ち、信号アライナ２００により実行されるのと全く同じ操作により使用され得るが、デ・アライメントが得られるように逆の値を有する、パラメータでもよい、ことに留意すべきである。

よって、アライメントパラメータに関する情報は、図１２の信号アライナ２００によって使用されるアライメントパラメータであってもよいし、又はその逆の値、即ち、実際の「デ・アライメントパラメータ」であってもよい。さらにこれらのパラメータは、図８に関して後段で説明するように、典型的にはある形態で量子化されるであろう。

図１３の入力インターフェース６００は、符号化済み中央／サイド信号から広帯域アライメントパラメータと複数の狭帯域パラメータとに関する情報を分離し、パラメータ線６１０を介してこの情報を信号デ・アライナ９００へと送る。他方、符号化済み中央信号は、線６０１を介して信号復号器７００へと送られ、符号化済みサイド信号は信号線６０２を介して信号復号器７００へと送られる。

信号復号器は、符号化済み中央信号を復号化し、かつ符号化済みサイド信号を復号化して、線７０１上の復号化済み中央信号と線７０２上の復号化済みサイド信号とを取得する。これらの信号は、復号化済み中央信号及び復号化済みサイド信号から、復号化済み第１チャネル信号又は復号化済み左信号を計算し、かつ復号化済み第２チャネル信号又は復号化済み右チャネル信号を計算するために、信号処理部８００によって使用され、これら復号化済み第１チャネル及び復号化済み第２チャネルはそれぞれ線８０１，８０２上で出力される。信号デ・アライナ９００は、線８０１上の復号化済み第１チャネルと復号化済み右チャネル８０２とをデ・アライメントするよう構成されており、その際、広帯域アライメントパラメータに関する情報を使用し、かつ追加的に複数の狭帯域アライメントパラメータに関する情報をも使用して、復号化済み多チャネル信号、即ち、線９０１及び９０２上の少なくとも２つの復号化済みかつデ・アライメント済みのチャネルを有する復号化済み信号を取得する。

図１５ａは、図１３の信号デ・アライナ９００により実行されるステップの好ましい流れを示す。特に、ステップ９１０は、図１３の線８０１，８０２上で利用可能なアライメント済みの左右のチャネルを受信する。ステップ９１０において、信号デ・アライナ９００は、狭帯域アライメントパラメータについての情報を使用して個々のサブバンドをデ・アライメントし、位相デ・アライメントされた復号化済みの第１及び第２のチャネル又は左及び右のチャネルを９１１ａ及び９１１ｂで取得する。ステップ９１２において、チャネルは広帯域アライメントパラメータを使用してデ・アライメントされ、その結果、９１３ａ及び９１３ｂで位相及び時間−デ・アライメントされたチャネルが取得される。

ステップ９１４において、窓掛け又は任意のオーバーラップ加算操作又は一般的に任意のクロスフェード操作を含む任意の追加的処理が実行され、９１５ａ又は９１５ｂでアーチファクト低減された又はアーチファクト無しの復号化済み信号を取得する。このようにして、アーチファクトを何も含まない復号化済みチャネルが得られるが、そのために典型的には、一方では広帯域のための、他方では複数の狭帯域のための時間変化するデ・アライメントパラメータが使用されていたものである。

図１５ｂは、図１３に示す多チャネル復号器の好ましい実施形態を示す。

特に、図１３からの信号処理部８００は、時間−スペクトル変換部８１０を含む。

信号処理部は、中央／サイドから左／右への変換部８２０を更に含み、その変換部は、中央信号Ｍ及びサイド信号Ｓから左信号Ｌ及び右信号Ｒを計算する。

しかしながら、重要なことは、ブロック８２０における中央／サイドから左／右への変換によってＬ及びＲを計算するために、サイド信号Ｓは必ずしも使用する必要がないということである。その代わり、後段で説明するように、左／右の信号は、チャネル間レベル差パラメータＩＬＤから導出されるゲインパラメータを使用するだけで当初は計算される。従って、このような実施形態において、サイド信号Ｓはチャネル更新部８３０において使用されるだけであり、その更新部は、迂回線８２１によって示すように伝送されたサイド信号Ｓを使用して、より良好な左／右の信号を提供するために作動する。

従って、変換部８２０は、レベルパラメータ入力８２２を介して取得されたレベルパラメータを使用しながら、実際にはサイド信号Ｓを使用せずに作動するが、チャネル更新部８３０は、サイド８２１を使用し、特定の実施形態によるが、線８３１を介して受信するステレオ充填パラメータをも使用して作動する。信号アライナ９００は、次に位相デ・アライナ及びエネルギースケーラ９１０を含む。そのエネルギースケーリングは、スケーリングファクタ計算部９４０により導出されたスケーリングファクタによって制御される。スケーリングファクタ計算部９４０にはチャネル更新部８３０の出力が供給される。入力９１１を介して受信された狭帯域アライメントパラメータに基づいて、位相のデ・アライメントが実行され、ブロック９２０において、線９２１を介して受信された広帯域アライメントパラメータに基づいて、時間のデ・アライメントが実行される。最後に、スペクトル−時間変換９３０が実行されて、最終的に復号化済み信号が取得される。

図１５ｃは、好適な実施例において、図１５ｂのブロック９２０及び９３０の中で典型的に実行されるステップのさらなる流れを示す。

詳細には、狭帯域デ・アライメント済みチャネルが、図１５ｂのブロック９２０に対応する広帯域デ・アライメント機能へと入力される。ＤＦＴ又は任意の他の変換がブロック９３１内で実行される。時間ドメインサンプルの実際の計算に続いて、合成窓を使用する任意選択的な合成窓掛けが実行される。合成窓は、好ましくは分析窓と正に同一であるか、又は例えば補間又はデシメーションによって分析窓から導出されたものであるが、分析窓に所定の方法で依存している。このような依存性は、好ましくは２つのオーバーラップしている窓により定義される乗算因子が、オーバーラップ領域内の各点について加算されて１となるように設定される。このように、ブロック９３２における合成窓に続いて、オーバーラップ操作と後続の加算操作が実行される。代替的に、合成窓掛け及びオーバーラップ／加算操作に代えて、各チャネルについて後続のブロック間の任意のクロスフェードが実行されて、図１５ａの文脈で既に説明したように、アーチファクトが低減された復号化済み信号を取得してもよい。

図４ｂを考慮する場合、中央信号のための実際の操作、即ち「ＥＶＳ復号器」と、サイド信号のための逆ベクトル量子化ＶＱ^-1及び逆ＭＤＣＴ操作（ＩＭＤＣＴ）とは、図１３の信号復号器７００に対応している。

更に、図４ｂのブロック１６１０におけるＤＦＴ操作は図１５ｂにおける構成要素８１０に対応し、逆ステレオ処理及び逆時間シフトの機能は、図１３のブロック８００，９００に対応し、図４ｂにおける逆ＤＦＴ操作１６４０は、図１５ｂのブロック９３０における操作と対応する。

次に、図３ｄについてより詳細に説明する。特に、図３ｄは、個別のスペクトル線を有するＤＦＴスペクトルを示す。好ましくは、ＤＦＴスペクトル又は図３ｄに示す任意の他のスペクトルは複素スペクトルであり、各線は、振幅と位相又は実数部と虚数部を有する、複素スペクトル線である。

追加的に、このスペクトルは異なるパラメータ帯域へも分割される。各パラメータ帯域は少なくとも１つの、及び好ましくは２つ以上のスペクトル線を有する。加えて、パラメータ帯域はより低い周波数からより高い周波数へと増大する。典型的には、広帯域アライメントパラメータは、全体スペクトルのための、即ち図３ｄの例示的実施形態においては帯域１から６までのすべてを含む１つのスペクトルのための、単一の広帯域アライメントパラメータである。

更に、複数の狭帯域アライメントパラメータは、各パラメータ帯域について１つのアライメントパラメータが存在するように提供される。これは、１つの帯域のためのアライメントパラメータが、対応する帯域内の全てのスペクトル値に対して適用することを意味する。

更に、狭帯域アライメントパラメータに加え、レベルパラメータも各パラメータ帯域について提供される。

帯域１から６までの各々かつ全てのパラメータ帯域に対して提供されるレベルパラメータとは対照的に、帯域１，２，３，４のようなある限定された個数の低い帯域についてだけ複数の狭帯域アライメントパラメータを提供することが望ましい。

加えて、ステレオ充填パラメータが、例示の実施例においては帯域４，５，６のように、低い帯域を除く所定数の帯域に提供され、他方、低いパラメータ帯域１，２，３についてはサイド信号スペクトル値が存在し、結果としてこれらの低帯域についてはステレオ充填パラメータが存在せず、これら低帯域においては、サイド信号そのもの又はサイド信号を表現する予測残差信号のいずれかを使用して、波形マッチングが取得される。

上述したように、より高い帯域においてはより多数のスペクトル線が存在する。例えば、図３ｄの実施例においては、パラメータ帯域６内には７個のスペクトル線がある一方で、パラメータ帯域２内にはたった３個のスペクトル線がある。当然ながら、パラメータ帯域の数、スペクトル線の数、１つのパラメータ帯域内のスペクトル線の数、及びあるパラメータについての種々の制限も、異なるであろう。

しかしながら、図８は、図３ｄの例とは対照的に、実際に１２個の帯域が存在するある実施例における、パラメータの配分とパラメータが提供される帯域の個数とを示す。

図示するように、レベルパラメータＩＬＤが１２帯域の各々に対して提供され、各帯域毎に５ビットで表現される量子化精度へと量子化される。

更に、狭帯域アライメントパラメータＩＰＤは、２．５ｋＨｚの境界周波数までの低い帯域に対してだけ提供される。加えて、チャネル間時間差又は広帯域アライメントパラメータは、全体的スペクトルのための単一のパラメータとしてだけ提供されるが、全体の帯域について８ビットで表現される非常に高い量子化精度を有する。

更に、かなり粗く量子化されたステレオ充填パラメータが各帯域毎に３ビットで表現されて提供されるが、これらは１ｋＨｚを下回る帯域には提供されない。なぜなら、低い帯域については、実際に符号化されたサイド信号又はサイド信号残差スペクトル値が含まれるからである。

次に、符号器側の好ましい処理について要約する。第１ステップにおいて、左右のチャネルのＤＦＴ分析が実行される。この手順は図１４ｃのステップ１５５〜１５７に対応する。広帯域アライメントパラメータが計算され、特に、好ましい広帯域アライメントパラメータとしてチャネル間時間差（ＩＴＤ）が計算される。Ｌ及びＲの時間シフトが周波数ドメインで実行される。代替的に、この時間シフトは時間ドメインでも実行され得る。次に逆ＤＦＴが実行され、時間シフトが時間ドメインで実行され、広帯域アライメントパラメータを使用したアライメントの後で再度スペクトル表現を持つように、追加の順方向ＤＦＴが実行される。

ＩＬＤパラメータ、即ちレベルパラメータ及び位相パラメータ（ＩＰＤパラメータ）が、シフトされたＬ及びＲの表現の各パラメータ帯域について計算される。このステップは、例えば図１４ｃのステップ１６０と対応する。時間シフトされたＬ及びＲの表現は、図１４ｃのステップ１６１で示すように、チャネル間位相差パラメータの機能として回転される。次に、ステップ３０１で示すように中央及びサイド信号が計算され、好ましくは、後述するようなエネルギー変換操作をさらに伴う。更に、ＩＬＤの機能としてのＭ、及び任意選択的には過去のＭ信号、即ち以前のフレームの中央信号を用いた、Ｓの予測が実行される。次に、中央信号及びサイド信号の逆ＤＦＴが実行され、これは好ましい実施例においては図１４ｄのステップ３０３，３０４，３０５に対応する。

最後のステップにおいて、時間ドメインの中央信号ｍと、任意選択的には残差信号とが符号化される。この手順は図１２における信号符号器４００により実行されることに対応する。

逆ステレオ処理における復号器において、サイド信号がＤＦＴドメインで生成され、これは中央信号から以下のように最初に予測される。

ここで、ｇは各パラメータ帯域について計算されたゲインであり、伝送されるチャネル間レベル差（ＩＬＤｓ）の関数である。

予測の残差Side-g・Midは、次に２つの異なる方法で精密化され得る。
−残差信号の二次的符号化による

ここで、ｇ_codは全体スペクトルのために伝送されたグローバルゲインである。
−前のＤＦＴフレームからの前の復号化済み中央信号スペクトルを用いて残差サイドスペクトルを予測する、ステレオ充填として知られる残差予測による

ここで、ｇ_predはパラメータ帯域毎に伝送された予測ゲインである。

符号化の精密化の２つのタイプは、同じＤＦＴスペクトル内で混合され得る。好ましい実施例において、残差符号化はより低いパラメータ帯域に対して適用される一方で、残差予測は残りの帯域に対して適用される。図１２に示すような好ましい実施例において、残差符号化は、時間ドメインで残差サイド信号を合成しそれをＭＤＣＴによって変換した後で、ＭＤＣＴドメインで実行される。ＤＦＴとは異なり、ＭＤＣＴは臨界サンプリングされるので、オーディオ符号化により適している。ＭＤＣＴ係数は、格子ベクトル量子化によって直接的にベクトル量子化されるが、代替的に、スカラー量子化とその後のエントロピー符号器によって符号化され得る。代替的に、残差サイド信号はまた、スピーチ符号化技術によって時間ドメインで符号化されることもでき、又は、ＤＦＴドメインで直接的に符号化されることもできる。

次に、ジョイントステレオ／多チャネル符号器処理又は逆ステレオ／多チャネル処理のさらなる実施形態について説明する。

１．時間−周波数分析：ＤＦＴ
ＤＦＴによって実行される、ステレオ処理からの特殊な時間−周波数分解によって、良好な聴覚的シーン分析をもたらす一方で、符号化システムの全体的な遅延が有意に増加しないようにすることが重要である。デフォルトにより、１０ｍｓの時間分解能（コアコーダの２０ｍｓフレーミングの２倍）が使用される。分析窓と合成窓は同じであり、対称形である。窓は図８ｃの中で１６ｋＨｚのサンプリングレートで表現される。発生する遅延を低減するためにオーバーラップ領域が制限され、後段で説明するように、ＩＴＤを周波数ドメインにおいて適用する際に循環シフトを釣り合わせるためにゼロパディングもまた追加されることが見て取れる。

２．ステレオパラメータ
ステレオパラメータは、ステレオＤＦＴの時間分解能における最大限で伝送され得る。最小限では、ステレオパラメータはコアコーダのフレーミング分解能、即ち２０ｍｓへと低減され得る。デフォルトにより、過渡が検出されない場合、パラメータは２つのＤＦＴ窓にわたり２０ｍｓ毎に計算される。パラメータ帯域は、等価方形帯域幅(Equivalent Rectangular Bandwidth)（ＥＲＢ）の凡そ２倍又は４倍の後に続いてスペクトルの非均一かつ非オーバーラップの分解を構成する。デフォルトにより、１６ｋＨｚ（３２ｋｂｐｓのサンプリングレート、スーパーワイドバンド・ステレオ）の周波数帯域幅について、ＥＲＢのスケールの４倍が、合計で１２個の帯域について使用される。図８は、ステレオサイド情報が約５ｋｂｐｓで伝送される構成の一例を要約したものである。

３．ＩＴＤの計算及びチャネル時間アライメント
ＩＴＤは、位相変換を用いた一般化相互相関(Generalized Cross Correlation with Phase Transform)（ＧＣＣ−ＰＨＡＴ）を使用して、到達時間差（ＴＤＯＡ）を推定することにより計算される。

ここで、Ｌ及びＲはそれぞれ左右のチャネルの周波数スペクトルである。周波数分析は、後続のステレオ処理に使用されるＤＦＴから独立して実行されることができ、又は共有され得る。ＩＴＤを計算するための疑似コードは以下の通りである。

ＩＴＤの計算は、以下のようにも要約できる。スペクトル・フラットネス尺度（ＳＦＭ）に依存して平滑化される前に、相互相関が周波数ドメインで計算される。ＳＦＭは０と１との間に制限される。ノイズ状信号の場合、ＳＦＭは高く（即ちほぼ１に）なるであろうし、平滑化は弱いであろう。調性状信号の場合、ＳＦＭは低くなり、平滑化はより強くなるであろう。平滑化された相互相関は、次に、時間ドメインへと逆変換される前にその振幅によって正規化される。その正規化は、相互相関の位相変換に対応し、低いノイズ及び比較的高い反響環境の中での通常の相互相関よりも良好な性能を示すことが知られている。このようにして得られた時間ドメイン関数は、よりロバストなピークピッキングを達成するためにまずフィルタ処理される。最大振幅に対応するインデックスは、左右のチャネル間の時間差（ＩＴＤ）の推定に対応する。最大の振幅が所与の閾値よりも低い場合、推定されたＩＴＤは信頼性が高いとは認められず、ゼロに設定される。

時間アライメントが時間ドメインで適用される場合、ＩＴＤは別個のＤＦＴ分析において計算される。このシフトは以下のように実行される。

これは符号器側において余分な遅延を必要とし、その遅延は、最大では取り扱い可能な最大絶対値ＩＴＤと等しい。ＩＴＤの時間的な変化は、ＤＦＴの分析窓掛けにより平滑化される。

代替的に、時間アライメントは周波数ドメインでも実行され得る。この場合、ＩＴＤの計算及び循環シフトは同じＤＦＴドメイン内であり、この他のステレオ処理と共有されているドメインである。循環シフトは次式で与えられる。

ＤＦＴ窓のゼロパディングは、循環シフトを用いた時間シフトをシミュレートするために必要である。ゼロパディングのサイズは、取り扱い可能な最大絶対値ＩＴＤに対応している。好ましい実施例において、ゼロパディングは、両端に３．１２５ｍｓのゼロを追加することで、分析窓の両側に均一に分割される。その場合、可能な最大絶対値ＩＴＤは６．２５ｍｓとなる。Ａ−Ｂマイクロホン設定において、これは最悪の場合、２個のマイクロホンの間の約２．１５メートルの最大距離に対応する。ＩＴＤの時間的な変化は、ＤＦＴの合成窓掛けとオーバーラップ加算により平滑化される。

時間シフトの後でシフト済み信号の窓掛けを行うことが重要である。この点が先行技術のバイノーラルキュー符号化（ＢＣＣ）との主要な相違点であり、バイノーラルキュー符号化においては、窓掛け済み信号に対して時間シフトが適用されるが、合成ステージでは更なる窓掛けが行われない。その結果、ＩＴＤにおける時間的な如何なる変化も、復号化された信号の中で人工的な過渡／クリックを生み出してしまう。

４．ＩＰＤの計算とチャネル回転
２つのチャネルの時間アライメントの後で、ＩＰＤが計算され、この計算は、各パラメータ帯域又は少なくとも所与のｉｐｄ＿ｍａｘ＿ｂａｎｄまで、ステレオ構成に依存して行われる。

ＩＰＤは次に、２つのチャネルに対してそれらの位相をアライメントするために適用される。

ここで、

であり、ｂは周波数インデックスｋが帰属するパラメータ帯域インデックスである。パラメータβは、２つのチャネル間の位相回転の量を分配し、同時にそれらの位相をアライメントする役割を担う。βはＩＰＤに依存し、またチャネル同士の相対的な振幅レベルＩＬＤにも依存する。あるチャネルがより高い振幅を有する場合、それが先導チャネルとして認識され、低い振幅を有するチャネルよりも位相回転によって受ける影響が少なくなるであろう。

５．和・差及びサイド信号の符号化
和差変換は、２つのチャネルの時間及び位相がアライメントされたスペクトルに対し、中央信号内でエネルギーが保存される方法で実行される。

ここで、

は １／１．２と１．２との間、即ち−１．５８ｄＢと＋１．５８ｄＢの間に制限される。この制限により、Ｍ及びＳのエネルギーを調整するときにアーチファクトを防止できる。このエネルギー保存は、時間及び位相が事前にアライメントされていた場合には重要度が低いことに留意すべきである。代替的に、これら制限は増大又は減少され得る。

サイド信号ＳがＭを用いて更に予測される。

ここで、

である。代替的に、残差及び前出の方程式から推定されたＩＬＤの平均二乗誤差（ＭＳＥ）を最小化することで、最適な予測ゲインｇを見つけることができる。

残差信号Ｓ'（ｆ）は、２つの手段でモデル化できる。即ち、Ｍの遅延されたスペクトルを用いて予測するか、又はそれをＭＤＣＴドメインで直接的に符号化するかである。

６．ステレオ復号化
中央信号Ｘ及びサイド信号Ｓは、まず左及び右のチャネルＬ及びＲへと次式のように変換される。

ここで、パラメータ帯域毎のゲインｇはＩＬＤパラメータから導出される。

cod_max_bandより低いパラメータ帯域については、２つのチャネルは復号化済みサイド信号を用いて更新される。

より高いパラメータ帯域については、サイド信号が予測され、チャネルは以下のように更新される。

最後に、ステレオ信号のオリジナルエネルギー及びチャネル間位相を保存する目的で、それらチャネルが複素値によって乗算される。

ここで、

である。但し、ａは上段で定義したように定義されかつ制限されており、

であり、かつａｔａｎ２（ｘ，ｙ）はｙに対するｘの四象限逆正接（four-quadrant inverse tangent）である。

最後に、伝送されたＩＴＤに依存して、チャネルは時間ドメイン又は周波数ドメインのいずれかで時間シフトされる。この時間ドメインのチャネルは、逆ＤＦＴ及びオーバーラップ加算により合成される。

本発明に係る符号化済みオーディオ信号は、デジタル記憶媒体又は非一時的記憶媒体に記憶されることができ、又は、インターネットのような無線伝送媒体又は有線伝送媒体などの伝送媒体上で伝送されることもできる。

これまで幾つかの態様を装置の文脈で示してきたが、これらの態様は対応する方法の説明をも表しており、１つのブロック又は装置が１つの方法ステップ又は方法ステップの特徴に対応することは明らかである。同様に、方法ステップを説明する文脈で示した態様もまた、対応するブロック、項目、又は対応する装置の特徴を表している。

所定の構成要件にもよるが、本発明の実施形態は、ハードウエア又はソフトウエアにおいて構成可能である。この構成は、例えばフレキシブルディスク，ＤＶＤ，ＣＤ，ＲＯＭ，ＰＲＯＭ，ＥＰＲＯＭ，ＥＥＰＲＯＭ，フラッシュメモリなどのデジタル記憶媒体を使用して実行することができ、そのデジタル記憶媒体は、その中に格納された電子的に読み取り可能な制御信号を有し、それら制御信号は、本発明の各方法が実行されるようにプログラム可能なコンピュータシステムと協働する（又は協働可能である）。

本発明に従う幾つかの実施形態は、電子的に読み取り可能な制御信号を有するデータキャリアを含み、それら制御信号は、上述した方法の１つを実行するようプログラム可能なコンピュータシステムと協働可能である。

一般的に、本発明の実施形態は、プログラムコードを有するコンピュータプログラム製品として構成することができ、そのプログラムコードは当該コンピュータプログラム製品がコンピュータ上で作動するときに、本発明の方法の一つを実行するよう作動可能である。そのプログラムコードは例えば機械読み取り可能なキャリアに記憶されていても良い。

本発明の他の実施形態は、上述した方法の１つを実行するための、機械読み取り可能なキャリア又は非一時的記憶媒体に格納されたコンピュータプログラムを含む。

換言すれば、本発明の方法の一実施形態は、コンピュータプログラムがコンピュータ上で作動するときに、上述した方法の１つを実行するためのプログラムコードを有するコンピュータプログラムである。

本発明の他の実施形態は、上述した方法の１つを実行するために記録されたコンピュータプログラムを含む、データキャリア（又はデジタル記憶媒体、又はコンピュータ読み取り可能な媒体）である。

本発明の他の実施形態は、上述した方法の１つを実行するためのコンピュータプログラムを表現するデータストリーム又は信号列である。そのデータストリーム又は信号列は、例えばインターネットのようなデータ通信接続を介して伝送されるよう構成されても良い。

他の実施形態は、上述した方法の１つを実行するように構成又は適応された、例えばコンピュータ又はプログラム可能な論理デバイスのような処理手段を含む。

他の実施形態は、上述した方法の１つを実行するためのコンピュータプログラムがインストールされたコンピュータを含む。

幾つかの実施形態においては、（例えば書換え可能ゲートアレイのような）プログラム可能な論理デバイスが、上述した方法の幾つか又は全ての機能を実行するために使用されても良い。幾つかの実施形態では、書換え可能ゲートアレイは、上述した方法の１つを実行するためにマイクロプロセッサと協働しても良い。一般的に、そのような方法は、好適には任意のハードウエア装置によって実行される。

上述の実施形態は、本発明の原理の単なる説明に過ぎない。上述の装置及び詳細の修正及び変更が当業者にとって明らかなことは理解されよう。従って、以下に添付する特許請求の範囲の主題によってのみ限定されるべきであり、実施形態の説明及び解説の方法で表現された特定の詳細によっては限定されないことが趣旨である。

Claims (44)

1. 少なくとも２つのチャネルを含む多チャネル信号を符号化する装置であって、
   前記少なくとも２つのチャネルのサンプリング値のブロック系列を、前記少なくとも２つのチャネルについてのスペクトル値のブロック系列を有する周波数ドメイン表現へ変換する時間−スペクトル変換部（１０００）と、
   スペクトル値の前記ブロック系列にジョイント多チャネル処理を適用して、前記少なくとも２つのチャネルに関係する情報を含むスペクトル値のブロックの少なくとも１つの結果系列を取得する多チャネル処理部（１０１０）と、
   スペクトル値のブロックの前記結果系列を、サンプリング値のブロックの出力系列を含む時間ドメイン表現へ変換するスペクトル−時間変換部（１０３０）と、
   サンプリング値のブロックの前記出力系列を符号化して、符号化済み多チャネル信号（１５１０）を得るコア符号器（１０４０）と、を含み、
   前記コア符号器（１０４０）は、第１フレーム制御に従って作動してフレーム系列を提供するよう構成され、１フレームは開始フレーム境界（１９０１）と終了フレーム境界（１９０２）とによって区切られており、かつ
   前記時間−スペクトル変換部（１０００）又は前記スペクトル−時間変換部（１０３０）は、前記第１フレーム制御と同期した第２フレーム制御に従って作動するよう構成され、前記フレーム系列の各フレームの前記開始フレーム境界（１９０１）又は前記終了フレーム境界（１９０２）は、ある窓のオーバーラップ部分の開始時点又は終了時点と所定の関係にあり、前記窓は、サンプリング値の前記ブロック系列の各ブロックに対して前記時間−スペクトル変換部（１０００）によって使用され、又はサンプリング値のブロックの前記出力系列の各ブロックに対して前記スペクトル−時間変換部（１０３０）によって使用される、
   符号化装置。
2. 前記時間−スペクトル変換部（１０００）によって使用される分析窓又は前記スペクトル−時間変換部（１０３０）によって使用される合成窓は増大するオーバーラップ部分又は減少するオーバーラップ部分を有し、前記コア符号器（１０４０）は先読み部分（１９０５）を有する時間ドメイン符号器を含むか、又はコア窓のオーバーラップ部分を有する周波数ドメイン符号器を含み、
   前記分析窓又は前記合成窓の前記オーバーラップ部分は、前記コア符号器の前記先読み部分（１９０５）以下、又は前記コア窓のオーバーラップ部分以下である、
   請求項１に記載の符号化装置。
3. 前記コア符号器（１０４０）は、出力サンプリングレートを関連して持つサンプリング値のブロックの前記出力系列から導出された１フレームをコア符号化する際に、先読み部分（１９０５）を使用するよう構成され、前記先読み部分（１９０５）は前記フレームに時間的に後続するよう配置され、
   前記時間−スペクトル変換部（１０００）は、前記先読み部分（１９０５）の時間長以下である、時間長を有するオーバーラップ部分を持つ分析窓（１９０４）を使用するよう構成され、前記分析窓のオーバーラップ部分は窓掛け済み先読み部分（１９０５）を生成するために使用される、
   請求項１又は２に記載の符号化装置。
4. 前記スペクトル−時間変換部（１０３０）は、リドレス関数（１９２２）を使用して前記窓掛け済み先読み部分に対応する出力先読み部分を処理するよう構成され、前記リドレス関数は前記分析窓のオーバーラップ部分の影響が低減又は除去されるよう構成されている、
   請求項３に記載の符号化装置。
5. 前記リドレス関数は、前記分析窓のオーバーラップ部分を定義する関数に対して逆である、
   請求項４に記載の符号化装置。
6. 前記オーバーラップ部分はサイン関数の平方根と比例しており、
   前記リドレス関数は前記サイン関数の平方根の逆数と比例しており、かつ
   前記スペクトル−時間変換部（１０３０）は、サイン関数の１．５乗と比例したオーバーラップ部分を使用するよう構成されている、
   請求項４又は５に記載の符号化装置。
7. 前記スペクトル−時間変換部（１０３０）は、合成窓を使用して第１出力ブロックを生成し、前記合成窓を使用して第２出力ブロックを生成するよう構成され、前記第２出力ブロックの第２部分は出力先読み部分（１９０５）であり、
   前記スペクトル−時間変換部（１０３０）は、前記第１出力ブロックと前記出力先読み部分（１９０５）を除外した前記第２出力ブロックの他の部分との間のオーバーラップ加算操作を使用して、１フレームのサンプリング値を生成するよう構成され、
   前記コア符号器（１０４０）は、前記出力先読み部分（１９０５）に対して先読み操作を適用して、前記フレームをコア符号化するための符号化情報を決定するよう構成され、かつ
   前記コア符号器（１０４０）は、前記先読み操作の結果を使用して前記フレームをコア符号化するよう構成されている、
   請求項１〜６のいずれか１項に記載の符号化装置。
8. 前記スペクトル−時間変換部（１０３０）は、前記合成窓を使用して、前記第２出力ブロックに後続する第３出力ブロックを生成するよう構成され、前記スペクトル−時間変換部は、前記第３出力ブロックの第１オーバーラップ部分を、前記合成窓を使用して窓掛けされた前記第２出力ブロックの前記第２部分とオーバーラップさせ、時間的に前記フレームに続く追加フレームのサンプルを取得するよう構成されている、
   請求項７に記載の符号化装置。
9. 前記スペクトル−時間変換部（１０３０）は、前記フレームの前記第２出力ブロックを生成する際に、前記時間−スペクトル変換部（１０００）によって使用された分析窓の影響を少なくとも部分的に打ち消すために、前記出力先読み部分を窓掛けせず、又は前記出力先読み部分をリドレス（１９２２）するよう構成され、かつ
   前記スペクトル−時間変換部（１０３０）は、前記追加フレームについての前記第２出力ブロックと前記第３出力ブロックとの間のオーバーラップ加算操作（１９２４）を実行し、前記合成窓を用いて前記出力先読み部分を窓掛け（１９２０）するよう構成されている、
   請求項８に記載の符号化装置。
10. 前記スペクトル−時間変換部（１０３０）は、
    合成窓を使用して出力サンプルの第１ブロック及び出力サンプルの第２ブロックを生成するよう構成され、前記出力サンプルの第１ブロックは前記第１ブロックの出力サンプルの第１部分と前記第１ブロックの出力サンプルの第２部分とを有し、前記出力サンプルの第２ブロックは前記第２ブロックの出力サンプルの第１部分と前記第２ブロックの出力サンプルの第２部分とを有し、
    前記第１ブロックの出力サンプルの第２部分と前記第２ブロックの出力サンプルの第１部分とをオーバーラップ加算して出力サンプルの出力部分を生成するよう構成され、
    前記コア符号器（１０４０）は、前記出力サンプルをコア符号化するために、前記出力サンプルの他の部分に対して先読み操作を適用し、前記出力サンプルの他の部分は先読み部分を表現しかつ前記オーバーラップ加算によって生成された前記出力サンプルの出力部分より時間的に前に位置しており、前記先読み部分は前記第２ブロックの出力サンプルの第２部分を含まない、
    請求項１に記載の符号化装置。
11. 前記スペクトル−時間変換部（１０３０）は、前記コア符号器（１０４０）によって使用される１フレームの長さの２倍より高い時間分解能を提供する合成窓を使用するよう構成され、又は
    前記スペクトル−時間変換部（１０３０）は、合成窓を使用して出力サンプルのブロックを生成し、かつオーバーラップ加算操作を実行するよう構成され、前記コア符号器（１０４０）の先読み部分（１９０５）における全てのサンプルが前記オーバーラップ加算操作を使用して計算される、
    請求項１に記載の符号化装置。
12. サンプリング値の１ブロックは関連する入力サンプリングレートを有し、スペクトル値の前記ブロック系列のスペクトル値の１ブロックは、前記入力サンプリングレートに関係する最大入力周波数（１２１１）までのスペクトル値を有し、
    前記符号化装置は、前記スペクトル−時間変換部（１０３０）へ入力されるデータに対し、又は前記多チャネル処理部（１０１０）へ入力されるデータに対して、周波数ドメインでリサンプリング動作を実行するスペクトルドメイン・リサンプラ（１０２０）を更に含み、スペクトル値のブロックのリサンプリング済み系列の１ブロックは前記最大入力周波数（１２１１）とは異なる最大出力周波数（１２３１、１２２１）までのスペクトルを有し、
    サンプリング値のブロックの前記出力系列は前記入力サンプリングレートとは異なる関連する出力サンプリングレートを有する、
    請求項１〜１１のいずれか１項に記載の符号化装置。
13. 前記スペクトルドメイン・リサンプラ（１０２０）は、ダウンサンプリングのために前記ブロックを切り詰めるか、又はアップサンプリングのために前記ブロックをゼロパディングするよう構成されている、請求項１２に記載の符号化装置。
14. 前記スペクトルドメイン・リサンプラ（１０２０）は、前記最大入力周波数に依存しかつ前記最大出力周波数に依存するスケーリングファクタを使用して、ブロックの前記結果系列のブロックの前記スペクトル値をスケーリング（１３２２）するよう構成されている、請求項１２又は１３に記載の符号化装置。
15. 前記スケーリングファクタはアップサンプリングの場合に１より大きく、前記出力サンプリングレートは前記入力サンプリングレートより大きいか、又は前記スケーリングファクタはダウンサンプリングの場合に１より小さく、前記出力サンプリングレートは前記入力サンプリングレートより小さく、又は
    前記時間−スペクトル変換部（１０００）は、スペクトル値のブロックのスペクトル値の全体数に関連した正規化を使用せずに、時間−周波数変換アルゴリズム（１３１１）を実行するよう構成され、前記スケーリングファクタは、リサンプリング済み系列の１ブロックのスペクトル値の数と、リサンプリング前のスペクトル値の１ブロックのスペクトル値の数との商に等しく、前記スペクトル−時間変換部は前記最大出力周波数に基づいて正規化を適用する（１３３１）よう構成されている、
    請求項１４に記載の符号化装置。
16. 前記時間−スペクトル変換部（１０００）は離散フーリエ変換アルゴリズムを実行するよう構成されるか、又は前記スペクトル−時間変換部（１０３０）は逆離散フーリエ変換アルゴリズムを実行するよう構成される、請求項１〜１５のいずれか１項に記載の符号化装置。
17. 前記多チャネル処理部（１０１０）は、スペクトル値のブロックの追加の結果系列を得るよう構成され、
    前記スペクトル−時間変換部（１０３０）は、スペクトル値の前記追加の結果系列を追加の時間ドメイン表現（１０３２）へと変換するよう構成され、前記追加の時間ドメイン表現は、入力サンプリングレートに等しい出力サンプリングレートを関連して持つサンプリング値のブロックの追加の出力系列を含む、
    請求項１に記載の符号化装置。
18. 前記多チャネル処理部（１０１０）は、スペクトル値のブロックのさらに追加の結果系列を提供するよう構成され、
    前記スペクトルドメイン・リサンプラ（１０２０）は、周波数ドメインで前記さらに追加の結果系列のブロックをリサンプリングして、スペクトル値のブロックの追加のリサンプリング済み系列を取得するよう構成され、前記追加のリサンプリング済み系列の各ブロックは、前記最大入力周波数と異なるか又は前記最大出力周波数と異なる、追加の最大出力周波数までのスペクトル値を有し、
    前記スペクトル−時間変換部（１０３０）は、スペクトル値のブロックの前記追加のリサンプリング済み系列を、さらに追加の時間ドメイン表現へと変換するよう構成され、前記さらに追加の時間ドメイン表現は、前記入力サンプリングレート又は前記出力サンプリングレートとは異なる追加の出力サンプリングレートを関連して持つサンプリング値のブロックのさらに追加の出力系列を有する、
    請求項１２に記載の符号化装置。
19. 前記多チャネル処理部（１０１０）は、ダウンミクス操作だけを使用してスペクトル値のブロックの前記少なくとも１つの結果系列として中央信号を生成するか、又はスペクトル値のブロックの追加の結果系列として追加的サイド信号を生成するよう構成されている、請求項１〜１８のいずれか１項に記載の符号化装置。
20. 前記多チャネル処理部（１０１０）は、前記少なくとも１つの結果系列として中央信号を生成するよう構成され、前記スペクトルドメイン・リサンプラ（１０２０）は前記中央信号を前記最大入力周波数とは異なる２つの異なる最大出力周波数を有する別個の２つの系列へとリサンプリングするよう構成され、
    前記スペクトル−時間変換部（１０３０）は、リサンプリング済みの前記２つの系列を異なるサンプリングレートを有する２つの出力系列へと変換するよう構成され、
    前記コア符号器（１０４０）は、第１の出力系列を第１サンプリングレートで前処理する第１前処理部（１４３０ｃ）、又は第２の出力系列を第２サンプリングレートで前処理する第２前処理部（１４３０ｄ）を有し、かつ
    前記コア符号器は、前処理済みの前記第１又は第２の出力系列をコア符号化するよう構成されるか、
    又は、
    前記多チャネル処理部は、前記少なくとも１つの結果系列としてサイド信号を生成するよう構成され、前記スペクトルドメイン・リサンプラ（１０２０）は、前記サイド信号を前記最大入力周波数とは異なる２つの異なる最大出力周波数を有する２つのリサンプリング済み系列へとリサンプリングするよう構成され、
    前記スペクトル−時間変換部（１０３０）は、前記２つのリサンプリング済み系列を異なるサンプリングレートを有する２つの出力系列へと変換するよう構成され、
    前記コア符号器は、第１又は第２の出力系列を前処理する第１前処理部（１４３０ｃ）又は第２前処理部（１４３０ｄ）を有し、かつ
    前記コア符号器（１０４０）は、前処理済みの前記第１又は第２の出力系列をコア符号化（１４３０ａ，１４３０ｂ）するよう構成されている、
    請求項１２に記載の符号化装置。
21. 前記スペクトル−時間変換部（１０３０）は、前記少なくとも１つの結果系列を時間ドメイン表現へと、スペクトルドメイン・リサンプリングを行わずに変換するよう構成され、かつ
    前記コア符号器（１０４０）は、リサンプリングされていない出力系列をコア符号化（１４３０ａ）して、前記符号化済み多チャネル信号を取得するよう構成されるか、
    又は、
    前記スペクトル−時間変換部（１０３０）は、前記少なくとも１つの結果系列を時間ドメイン表現へと、スペクトルドメイン・リサンプリングを行わずかつサイド信号なしで変換するよう構成され、かつ
    前記コア符号器（１０４０）は、サイド信号のために、リサンプリングされていない出力系列をコア符号化（１４３０ａ）して、前記符号化済み多チャネル信号を取得するよう構成されるか、
    又は、
    前記装置は、特異なスペクトルドメイン・サイド信号符号器（１４３０ｅ）をさらに備えるか、
    又は、
    入力サンプリングレートは、８ｋＨｚ、１６ｋＨｚ、３２ｋＨｚを含む１グループのサンプリングレートの中の少なくとも１つのサンプリングレートであるか、
    又は、
    出力サンプリングレートは、８ｋＨｚ、１２．８ｋＨｚ、１６ｋＨｚ、２５．６ｋＨｚ及び３２ｋＨｚを含む１グループのサンプリングレートの中の少なくとも１つのサンプリングレートである、
    請求項１に記載の符号化装置。
22. 前記時間−スペクトル変換部（１０００）は分析窓を適用するよう構成され、
    前記スペクトル−時間変換部（１０３０）は合成窓を適用するよう構成され、
    前記分析窓の時間長は、前記合成窓の時間長と同じ、整数倍、又は整数分の１であるか、又は
    前記分析窓及び前記合成窓は、それぞれ初期部分又は終了部分においてゼロパディング部分を有するか、又は
    前記分析窓及び前記合成窓は、窓のサイズ、オーバーラップ領域のサイズ及びゼロパディングのサイズが、１２．８ｋＨｚ、１６ｋＨｚ、２５．６ｋＨｚ、３２ｋＨｚ及び４８ｋＨｚを含む１グループのサンプリングレートの中の少なくとも２つのサンプリングレートについて、それぞれ整数個のサンプルを含むか、又は
    ｓｐｌｉｔ ｒａｄｉｘ構成におけるデジタルフーリエ変換の最大基数が７以下であるか、もしくは時間分解能が前記コア符号器の１フレームレート以下の値に固定されている、
    請求項１〜２１のいずれか１項に記載の符号化装置。
23. 前記多チャネル処理部（１０１０）は、前記ブロック系列を処理して、広帯域時間アライメントパラメータ（１２）を使用して時間アライメントを取得し、複数の狭帯域位相アライメントパラメータ（１４）を使用して狭帯域位相アライメントを取得するよう構成され、かつアライメントされた系列を使用して結果系列としての中央信号とサイド信号とを計算するよう構成された、
    請求項１〜２２のいずれか１項に記載の符号化装置。
24. 少なくとも２つのチャネルを含む多チャネル信号を符号化する方法であって、
    前記少なくとも２つのチャネルのサンプリング値のブロック系列を、前記少なくとも２つのチャネルについてのスペクトル値のブロック系列を有する周波数ドメイン表現へ変換するステップ（１０００）と、
    スペクトル値の前記ブロック系列にジョイント多チャネル処理を適用（１０１０）して、前記少なくとも２つのチャネルに関係する情報を含むスペクトル値のブロックの少なくとも１つの結果系列を取得するステップと、
    スペクトル値のブロックの前記結果系列を、サンプリング値のブロックの出力系列を含む時間ドメイン表現へ変換するステップ（１０３０）と、
    サンプリング値のブロックの前記出力系列をコア符号化（１０４０）して、符号化済み多チャネル信号（１５１０）を得るステップと、を含み、
    前記コア符号化するステップ（１０４０）は、第１フレーム制御に従って作動してフレーム系列を提供し、１フレームは開始フレーム境界（１９０１）と終了フレーム境界（１９０２）とによって区切られており、かつ
    時間−スペクトルの変換ステップ（１０００）又はスペクトル−時間の変換ステップ（１０３０）は、前記第１フレーム制御と同期した第２フレーム制御に従って作動し、前記フレーム系列の各フレームの前記開始フレーム境界（１９０１）又は前記終了フレーム境界（１９０２）は、ある窓のオーバーラップ部分の開始時点又は終了時点と所定の関係にあり、前記窓は、サンプリング値のブロック系列の各ブロックに対して前記時間−スペクトルの変換ステップ（１０００）によって使用され、又はサンプリング値のブロックの出力系列の各ブロックに対して前記スペクトル−時間の変換ステップ（１０３０）によって使用される、
    符号化方法。
25. 符号化済み多チャネル信号を復号化する装置であって、
    コア復号化済み信号を生成するコア復号器（１６００）と、
    前記コア復号化済み信号のサンプリング値のブロック系列を、前記コア復号化済み信号のスペクトル値のブロック系列を有する周波数ドメイン表現へと変換する時間−スペクトル変換部（１６１０）と、
    前記ブロック系列を含む系列（１６１５）に逆多チャネル処理を適用して、スペクトル値のブロックの少なくとも２つの結果系列（１６３１，１６３２，１６３５）を取得する多チャネル処理部（１６３０）と、
    スペクトル値のブロックの前記少なくとも２つの結果系列（１６３１，１６３２）を、サンプリング値のブロックの少なくとも２つの出力系列を含む時間ドメイン表現へ変換する、スペクトル−時間変換部（１６４０）と、を備え、
    前記コア復号器（１６００）は、第１フレーム制御に従って作動してフレーム系列を提供するよう構成され、１フレームは開始フレーム境界（１９０１）と終了フレーム境界（１９０２）とによって区切られており、
    前記時間−スペクトル変換部（１６１０）又は前記スペクトル−時間変換部（１６４０）は、前記第１フレーム制御と同期した第２フレーム制御に従って作動するよう構成され、
    前記フレーム系列の各フレームの前記開始フレーム境界（１９０１）又は前記終了フレーム境界（１９０２）は、ある窓のオーバーラップ部分の開始時点又は終了時点と所定の関係にあり、前記窓は、サンプリング値のブロック系列の各ブロックに対して前記時間−スペクトル変換部（１６１０）によって使用され、又はサンプリング値のブロックの少なくとも２つの出力系列の各ブロックに対して前記スペクトル−時間変換部（１６４０）によって使用される、
    復号化装置。
26. 前記コア復号化済み信号は前記フレーム系列を有し、１フレームは前記開始フレーム境界（１９０１）と前記終了フレーム境界（１９０２）とを有し、
    前記フレーム系列のフレームを窓掛けするために前記時間−スペクトル変換部（１６１０）によって使用される分析窓（１９１４）は、オーバーラップ部分の終点と前記終了フレーム境界（１９０２）との間の時間ギャップ（１９２０）を残して前記終了フレーム境界（１９０２）の前で終了するオーバーラップ部分を有し、
    前記コア復号器（１６００）は、前記分析窓（１９１４）を使用した前記フレームの窓掛けと並行して、前記時間ギャップ（１９２０）内のサンプルに対してある処理を実行するよう構成されるか、又は前記分析窓を使用した前記フレームの窓掛けと並行して、前記時間ギャップ（１９２０）内のサンプルに対してコア復号器後処理が実行される、
    請求項２５に記載の復号化装置。
27. 前記コア復号化済み信号は前記フレーム系列を有し、１フレームは開始フレーム境界（１９０１）と終了フレーム境界（１９０２）とを有し、
    分析窓（１９１４）の第１オーバーラップ部分の始点は前記開始フレーム境界（１９０１）と一致し、前記分析窓（１９１４）の第２オーバーラップ部分の終点は前記終了フレーム境界（１９０２）の前に位置し、前記第２オーバーラップ部分の終点と前記終了フレーム境界との間には時間ギャップ（１９２０）が存在しており、
    前記コア復号化済み信号の次のブロックのための前記分析窓は、前記分析窓の中央の非オーバーラップ部分が前記時間ギャップ（１９２０）内に位置するように、配置される、
    請求項２５又は２６に記載の復号化装置。
28. 前記時間−スペクトル変換部（１６１０）によって使用される分析窓は、前記スペクトル−時間変換部（１６４０）によって使用される合成窓と、時間的に同一形状及び同一長さを有する、
    請求項２５〜２７のいずれか１項に記載の復号化装置。
29. 前記コア復号器（１６００）によって生成される前記コア復号化済み信号は前記フレーム系列を有し、前記フレーム系列の１フレームはある長さを有し、前記時間−スペクトル変換部（１６１０）は窓（１８１１，１８１２，１８１３，１８１４，１８１５）を使用するよう構成され、ゼロパディング部分を除く前記窓（１８１１，１８１２，１８１３，１８１４，１８１５）の１つのオーバーラップ部分（１８１１，１８１２）の時間的長さは、前記フレームの長さの半分以下である、
    請求項２５〜２８のいずれか１項に記載の復号化装置。
30. 前記スペクトル−時間変換部（１６４０）は、
    合成窓を適用して前記少なくとも２つの出力系列の第１出力系列について窓掛け済みサンプルの第１出力ブロックを取得し、
    前記合成窓を適用して前記少なくとも２つの出力系列の前記第１出力系列について窓掛け済みサンプルの第２出力ブロックを取得し、
    前記第１出力ブロックと前記第２出力ブロックとをオーバーラップ加算して、前記第１出力系列のための出力サンプルの第１グループを取得するよう構成され、
    前記スペクトル−時間変換部（１６４０）は、
    合成窓を適用して前記少なくとも２つの出力系列の第２出力系列について窓掛け済みサンプルの第１出力ブロックを取得し、
    前記合成窓を適用して前記少なくとも２つの出力系列の前記第２出力系列について窓掛け済みサンプルの第２出力ブロックを取得し、
    前記第１出力ブロックと前記第２出力ブロックとをオーバーラップ加算して、前記第２出力系列のための出力サンプルの第２グループを取得するよう構成され、
    前記第１出力系列のための出力サンプルの第１グループと前記第２出力系列のための出力サンプルの第２グループとは、前記符号化済み多チャネル信号の同じ時間部分に関係するか、又は前記コア復号化済み信号の同じフレームに関係している、
    請求項２５〜２９のいずれか１項に記載の復号化装置。
31. サンプリング値の１ブロックは関連する入力サンプリングレートを有し、スペクトル値のブロックは前記入力サンプリングレートと関連する最大入力周波数までのスペクトル値を有し、
    前記装置は、前記スペクトル−時間変換部（１６４０）へ入力されるデータに対し、又は前記多チャネル処理部（１６３０）へ入力されるデータに対して、周波数ドメインでリサンプリング操作を実行するスペクトルドメイン・リサンプラ（１６２０）をさらに含み、リサンプリング済み系列のブロックは前記最大入力周波数とは異なる最大出力周波数までのスペクトル値を有し、
    サンプリング値のブロックの前記少なくとも２つの出力系列は前記入力サンプリングレートとは異なる関連する出力サンプリングレートを有する、
    請求項２５〜３０のいずれか１項に記載の復号化装置。
32. 前記スペクトルドメイン・リサンプラ（１６２０）は、ダウンサンプリングのために前記ブロックを切り詰めるか、又はアップサンプリングのために前記ブロックをゼロパディングするよう構成されている、請求項３１に記載の復号化装置。
33. 前記スペクトルドメイン・リサンプラ（１６２０）は、最大入力周波数に応じて及び最大出力周波数に応じて、スケーリングファクタを使用してブロックの前記結果系列のブロックのスペクトル値をスケーリング（１３２２）するよう構成されている、請求項３１又は３２に記載の復号化装置。
34. 前記スケーリングファクタはアップサンプリングの場合には１よりも大きく、前記出力サンプリングレートは前記入力サンプリングレートよりも大きいか、又は前記スケーリングファクタはダウンサンプリングの場合には１よりも低く、前記出力サンプリングレートは前記入力サンプリングレートよりも低く、又は
    前記時間-スペクトル変換部（１６１０）は、スペクトル値のブロックのスペクトル値の全体数に関する正規化を使用せずに、時間−周波数変換アルゴリズム（１３１１）を実行するよう構成され、前記スケーリングファクタは、リサンプリング済み系列の１ブロックのスペクトル値の数と、リサンプリング前のスペクトル値の１ブロックのスペクトル値の数との商に等しく、前記スペクトル−時間変換部は前記最大出力周波数に基づいて正規化を適用する（１３３１）よう構成されている、
    請求項３３に記載の復号化装置。
35. 前記時間-スペクトル変換部（１６１０）は離散フーリエ変換アルゴリズムを実行するよう構成されているか、又は前記スペクトル−時間変換部（１６４０）は逆離散フーリエ変換アルゴリズムを実行するよう構成されている、請求項２５〜３４のいずれか１項に記載の復号化装置。
36. 前記コア復号器（１６００）は、前記入力サンプリングレートとは異なる追加のサンプリングレートを有する追加のコア復号化済み信号（１６０１）を生成するよう構成され、
    前記時間−スペクトル変換部（１６１０）は、前記追加のコア復号化済み信号を前記追加のコア復号化済み信号についてのスペクトル値のブロックの追加系列（１６１１）を有する周波数ドメイン表現へと変換するよう構成され、前記追加のコア復号化済み信号のスペクトル値の１ブロックは、前記最大入力周波数とは異なりかつ前記追加のサンプリングレートと関連する追加の最大入力周波数までのスペクトル値を有し、
    前記スペクトルドメイン・リサンプラ（１６２０）は、周波数ドメインで前記追加のコア復号化済み信号についてのブロックの追加系列をリサンプリングして、スペクトル値のブロックの追加のリサンプリング済み系列（１６２１）を取得するよう構成され、前記追加のリサンプリング済み系列のスペクトル値の１ブロックは、前記追加の最大入力周波数とは異なる最大出力周波数までのスペクトル値を有し、
    前記装置は、リサンプリング済み系列（１６２２）と前記追加のリサンプリング済み系列（１６２１）とを結合して、前記多チャネル処理部（１６３０）によって処理されるべき系列（１７０１）を取得する、結合部（１７００）を有する、
    請求項３１に記載の復号化装置。
37. 前記コア復号器（１６００）は、前記出力サンプリングレートに等しい追加のサンプリングレートを有するさらに追加のコア復号化済み信号（１６０３）を生成するよう構成され、
    前記時間−スペクトル変換部（１６１０）は、前記さらに追加のコア復号化済み信号（１６０３）を周波数ドメイン表現へ変換してスペクトル値のブロックのさらなる追加系列（１６１３）を得るよう構成され、
    前記結合部（１７００）は、前記多チャネル処理部（１６３０）によって処理されるべきブロック系列を生成する処理の過程で、スペクトル値のブロックのさらなる追加系列（１６１３）とブロックのリサンプリング済み系列（１６２２，１６２１）とを結合する、
    請求項３６に記載の復号化装置。
38. 前記コア復号器（１６００）は、ＭＤＣＴベースの復号化部（１６００ｄ）、時間ドメイン帯域幅拡張復号化部（１６００ｃ）、ＡＣＥＬＰ復号化部（１６００ｂ）、及びバス・ポストフィルタ復号化部（１６００ａ）のうちの少なくとも１つを含み、
    前記ＭＤＣＴベースの復号化部（１６００ｄ）又は前記時間ドメイン帯域幅拡張復号化部（１６００ｃ）は、出力サンプリングレートを有する前記コア復号化済み信号を生成するよう構成されるか、又は
    前記ＡＣＥＬＰ復号化部（１６００ｂ）又は前記バス・ポストフィルタ復号化部（１６００ａ）は、出力サンプリングレートとは異なるサンプリングレートでコア復号化済み信号を生成するよう構成される、
    請求項２５〜３０のいずれか１項に記載の復号化装置。
39. 前記時間−スペクトル変換部（１６１０）は、複数の異なるコア復号化済み信号の少なくとも２つに対して分析窓を適用するように構成され、前記分析窓は時間的に同一サイズ又は時間に関して同一形状を有し、
    前記装置は、少なくとも１つのリサンプリング済み系列と最大出力周波数までのスペクトル値のブロックを持つ任意の他の系列とをブロック毎に結合して、前記多チャネル処理部（１６３０）によって処理されるべき系列を取得する、結合部（１７００）をさらに含む、
    請求項２５〜３０のいずれか１項に記載の復号化装置。
40. 前記多チャネル処理部（１６３０）によって処理されるべき系列は中央信号に対応し、かつ
    前記多チャネル処理部（１６３０）は、前記符号化済み多チャネル信号に含まれたサイド信号に関する情報を使用して、サイド信号を追加的に生成するよう構成され、かつ
    前記多チャネル処理部（１６３０）は、前記中央信号と前記サイド信号とを使用して、前記少なくとも２つの結果系列を生成するよう構成されている、
    請求項２５〜３９のいずれか１項に記載の復号化装置。
41. 前記多チャネル処理部（１６３０）は、パラメータ帯域毎に１つのゲインファクタを使用して、前記系列を第１出力チャネルのための第１系列と第２出力チャネルのための第２系列とに変換（８２０）し、
    各パラメータ帯域についてステレオ充填パラメータを使用しながら、復号化済みサイド信号を用いて前記第１系列と前記第２系列とを更新（８３０）するか、又は、中央信号についてのブロック系列の前のブロックから予測されたサイド信号を使用して前記第１系列と前記第２系列とを更新し、
    複数の狭帯域位相アライメントパラメータに関する情報を使用して、位相デ・アライメントとエネルギースケーリングとを実行（９１０）し、かつ
    広帯域時間アライメントパラメータに関する情報を使用して時間デ・アライメントを実行（９２０）し、前記少なくとも２つの結果系列を取得するよう構成される、
    請求項２５〜４０のいずれか１項に記載の復号化装置。
42. 符号化済み多チャネル信号を復号化する方法であって、
    コア復号化済み信号を生成するステップ（１６００）と、
    前記コア復号化済み信号のサンプリング値のブロック系列を、前記コア復号化済み信号のスペクトル値のブロック系列を有する周波数ドメイン表現へと変換するステップ（１６１０）と、
    前記ブロック系列を含む系列（１６１５）に逆多チャネル処理を適用（１６３０）して、スペクトル値のブロックの少なくとも２つの結果系列（１６３１，１６３２，１６３５）を取得するステップと、
    スペクトル値のブロックの前記少なくとも２つの結果系列（１６３１，１６３２）を、サンプリング値のブロックの少なくとも２つの出力系列を含む時間ドメイン表現へ変換するステップ（１６４０）と、を備え、
    前記コア復号化済み信号を生成するステップ（１６００）は、第１フレーム制御に従って作動してフレーム系列を提供し、１フレームは開始フレーム境界（１９０１）と終了フレーム境界（１９０２）とによって区切られており、
    時間−スペクトルの変換ステップ（１６１０）又はスペクトル−時間の変換ステップ（１６４０）は、前記第１フレーム制御と同期した第２フレーム制御に従って作動し、
    前記フレーム系列の各フレームの前記開始フレーム境界（１９０１）又は前記終了フレーム境界（１９０２）は、ある窓のオーバーラップ部分の開始時点又は終了時点と所定の関係にあり、前記窓は、サンプリング値のブロック系列の各ブロックに対して前記時間−スペクトルの変換ステップ（１６１０）によって使用され、又はサンプリング値のブロックの少なくとも２つの出力系列の各ブロックに対して前記スペクトル−時間の変換ステップ（１６４０）によって使用される、
    復号化方法。
43. コンピュータ又はプロセッサ上で実行されるとき、請求項２４に記載の符号化方法を実行するためのコンピュータプログラム。
44. コンピュータ又はプロセッサ上で実行されるとき、請求項４２に記載の復号化方法を実行するためのコンピュータプログラム。

Images