JP5588025B2 - パッチ境界整合を用いてオーディオ信号を処理するための装置および方法 - Google Patents

Description

本発明は、高周波数再構成（ＨＦＲ）のための高調波転換方法を利用するオーディオ源符号化システム、および高調波の歪みの生成が処理された信号に明瞭さを加える、例えば、いわゆるエキサイタなどのデジタル効果プロセッサ、および元々の信号のスペクトル内容を維持しながら信号の持続時間を拡張する時間伸張器に関する。

ＰＣＴ ＷＯ ９８／５７４３６において、オーディオ信号の低い周波数帯域から高周波数帯域を再構成するための方法として転換という概念が確立された。この概念をオーディオ符号化に用いることによってビットレートを実質的に節約できる。ＨＦＲに基づいたオーディオ符号化システムでは、低帯域幅信号がコア波長符号器によって処理され、復号器側で、転換と、目標スペクトル形状を記述する非常に低いビットレートの付加的副情報とを用いてより高い周波数が再生成される。コア符号化信号の帯域幅が狭い低ビットレートでは、知覚的に心地よい特性を有する高帯域を再構成することがますます重要になっている。ＰＣＴ ＷＯ ９８／５７４３６において定義されている高調波転換は、低クロスオーバ周波数の状況における複雑な音楽素材に対して非常に性能がよい。高調波転換の原理は、周波数ωの正弦曲線を周波数Tω（ここで、T＞１は、転換次数を規定する整数である）の正弦曲線にマッピングするということである。これに対し、単一側波帯変調（ＳＳＢ）に基づくＨＦＲ方法は、周波数ωの正弦曲線を周波数ω+Δω（ここで、Δωは、固定の周波数シフト）の正弦曲線にマッピングする。低帯域幅のコア信号であれば、ＳＳＢ転換により不協和的アーチファクトが生じ得る。

可能な限り最善のオーディオ品質を達成するために、現状の技術水準の高品質な高調波ＨＦＲ方法は、高周波数分解能および高度なオーバサンプリングを有する複素変調されたフィルタバンク、例えば、短時間フーリエ変換（ＳＴＦＴ）を用いて、要求されるオーディオ品質を達成する。正弦曲線の合計の非線形処理から生じる不要な相互変調歪みを回避するためには微細分解能が必要である。十分に高い周波数分解能、すなわち、狭いサブバンドでの高品質方法は、各サブバンドに最大１つの正弦曲線を有することを目指す。高度な時間オーバサンプリングは、エイリアシング型の歪みを回避するために必要であり、ある程度の周波数オーバサンプリングは、過渡信号の前エコーを回避するために必要である。明らかな欠点は、演算が非常に複雑になり得るということである。

サブバンドブロックに基づいた高調波転換は、相互変調積を抑制するために用いられるもう１つのＨＦＲ方法であり、この場合、粗めの周波数分解能および低めのオーバサンプリングを有するフィルタバンク、例えばマルチチャネルＱＭＦバンクを用いる。この方法では、複素サブバンドサンプルの時間ブロックは共通の位相修正器によって処理され、修正されたサンプルをいくつか重畳することで出力サブバンドサンプルを形成する。これは、他の方法では入力サブバンド信号がいくつかの正弦曲線からなる場合に生じるであろう相互変調積を抑制するという正味の効果を有する。ブロックを基本としたサブバンド処理に基づく転換は、高品質の転換器より演算の複雑性がずっと低く、多くの信号に対しほとんど同じ品質を達成する。しかし、この複雑性は、単純なＳＳＢに基づくＨＦＲ方法より依然ずっと高いものである。というのは、典型的なＨＦＲ応用では、それぞれが異なる転換次数Ｔの信号を処理する複数の分析フィルタバンクが、所要の帯域幅を合成するために必要であるからである。さらに、フィルタバンクが異なる転換次数の信号を処理するにもかかわらず、入力信号のサンプリングレートを一定のサイズの分析フィルタバンクに適合させるのが一般的な方法である。また、非重複スペクトル密度を有する異なる転換次数から処理された出力信号を得るために入力信号に帯域フィルタを施すのが一般的である。

オーディオ信号の記憶または送信は厳しいビットレート制限を受けることがよくある。過去においては、非常に低いビットレートしか可能でない場合、符号器は送信オーディオ帯域幅を大幅に減少させることを余儀なくされてきた。今日の現代的なオーディオコーデックは帯域幅拡張（ＢＷＥ）方法（文献１〜１２）を用いることによって広帯域信号を符号化することができる。これらのアルゴリズムは、ＨＦスペクトル領域（「パッチング」）への転換およびパラメータ駆動の後置処理の応用により復号化された信号の低周波数部分（ＬＦ）から生成された高周波数内容（ＨＦ）のパラメトリック表現に依っている。ＬＦ部分は任意のオーディオまたは音声符号器で符号化される。例えば、文献１〜４に記載の帯域幅拡張方法は、多数のＨＦパッチを生成するために、「コピーアップ」方法とも呼ばれる単一側波帯変調（ＳＳＢ）に依っている。

最近、異なるパッチの生成のために１バンクの位相ボコーダのバンク（文献１５〜１７）を用いる新しいアルゴリズムが提示されている（文献１３）（図２０参照）。この方法は、ＳＳＢ帯域幅拡張が行われた信号にみられることの多い聴覚的な粗さを避けるために開発されてきた。「高調波帯域幅拡張」（ＨＢＥ）と呼ばれるこの方法は、多くの音調信号にとって有利ではあるが、オーディオ信号に含まれる過渡信号の品質低下となりやすい（文献１４）。というのは、サブバンドの垂直コヒーレンスが標準位相ボコーダアルゴリズムに保存されることが保証されず、さらに、変換またはフィルタバンクの時間ブロックについて位相の再計算を行わなければならないからである。したがって、過渡信号を含む信号部分のために特別な取り扱いを行う必要が生じる。

しかし、ＢＷＥアルゴリズムをコーデック鎖の復号器側で行うので、演算の複雑性が重大な問題である。現状の方法、特に位相ボコーダに基づくＨＢＥは、ＳＳＢに基づく方法に比べて演算の複雑性が大幅に増加するという欠点がある。

上記に概説したように、既存の帯域幅拡張スキームは、一度に１つの所与の信号ブロックにただ１つのパッチング方法（それが、ＳＳＢに基づくパッチング（文献１〜４）またはＨＢＥボコーダに基づくパッチング（文献１５〜１７）であっても）を適用する。さらに、現代のオーディオ符号器（文献１９〜２０）は、全般的に時間ブロックに基づくパッチング方法を代替のパッチングスキーム間で切り替える可能性を提供する。

ＳＳＢコピーアップパッチングは、オーディオ信号に不要な粗さを導入するが、演算は単純であり、過渡信号の時間包絡線を保存する。ＨＢＥパッチングを用いるオーディオコーデックにおいては、過渡信号再生品質は、最適下限ではないことが多い。さらに、演算の複雑性は、非常に単純なＳＳＢコピーアップ方法の演算に比べて非常に大きい。

複雑性の低減については、サンプリングレートが特に重要である。これは、高サンプリングレートは複雑性が高く、低サンプリングレートは所要の動作の数が減少するために複雑性が低いためである。しかしながら、一方で、帯域幅拡張応用の状況では、特に、コア符号器出力信号のサンプリングレートは典型的に非常に低いため、このサンプリングレートでは全帯域幅信号には低すぎることとなる。言い換えれば、復号器出力信号のサンプリングレートが、例えば、コア符号器出力信号の最大周波数の２または２．５倍である場合、例えば、係数２での帯域幅拡張というのは、サンプリングが、さらに生成された高周波数成分を「網羅する」ことができるほど帯域幅拡張された信号のサンプリングレートが高くなるようにアップサンプリング動作が必要とされるということである。

さらに、分析フィルタバンクおよび合成フィルタバンクなどのフィルタバンクは、かなりの量の処理動作を担当している。したがって、フィルタバンクの大きさ、すなわち、フィルタバンクが、３２チャネルフィルタバンク、６４チャネルフィルタバンクまたはさらに多くの数のチャネルを有するフィルタバンクであるかどうかが、オーディオ処理アルゴリズムの複雑性に大きく影響することとなる。一般に、フィルタバンクチャネルの数が多い場合、数が少ない場合に比べて多くの処理動作が必要であるので、より複雑性が高くなる。これにより、ボコーダのような応用または他のオーディオ効果応用などの、異なるサンプリングレートが重要な点である帯域幅拡張応用および他のオーディオ処理応用において、複雑性とサンプリングレートまたはオーディオ帯域幅との間に特定の依存性がある。これは、すなわち、アップサンプリング動作またはサブバンドフィルタリング動作により、その特定の動作のために不適切なツールまたはアルゴリズムを選択すると、オーディオ品質を特に向上させることなく複雑性が大幅に増加する可能性があるということである。

帯域幅拡張の場合、パラメトリックデータセットを用いて、パッチング動作、すなわち、供給源範囲（帯域幅拡張プロセッサの入力部で用いられる帯域幅拡張信号の低帯域部）からいくらかのデータを採取し、このデータを高周波数範囲にマッピングする動作によって生成される信号に対し、スペクトル包絡線調整および他の操作を行う。スペクトル包絡線調整は、低帯域信号を高周波数範囲に実際にマッピングする前または供給源範囲を高周波数範囲にマッピングした後に行ってもよい。

典型的に、パラメトリックデータセットはある周波数分解能を備えている。すなわちパラメトリックデータとは高周波数部分の周波数帯域のことである。一方、低帯域から高帯域へのパッチング、すなわち、どの目標または高周波数範囲を得るためにどの供給源範囲が用いられるかは、分解能に依存する動作であり、周波数についてパラメトリックデータセットが与えられる。送信されるパラメトリックデータが、ある意味、パッチングアルゴリズムとして実際に用いられるものに依存しないということは重要な特徴である。というのは、これにより、復号器側において、すなわち帯域幅拡張プロセッサの実行の際に、大きな自由度が可能であるからである。ここで、異なるパッチングアルゴリズムを用いてもよいが、１つの同じスペクトル包絡線調整を行ってもよい。言い換えれば、帯域幅拡張応用における高周波数再構成プロセッサまたはスペクトル包絡線調整プロセッサは、スペクトル包絡線調整を行うために、適用されたパッチングアルゴリズムに関する情報を有する必要がない。

しかし、この手順の欠点は、一方でパラメトリックデータセットが与えられ、他方でパッチのスペクトル境界が与えられた周波数帯域間に不整合が生じ得るということである。特にパッチ境界の近傍でスペクトルエネルギーが大きく変化する状況では、アーチファクトが特にこの領域に生じる場合があり、これにより帯域幅拡張された信号の品質が低下する。

本発明の目的は、高オーディオ品質を可能とするオーディオ処理の向上した概念を提供することである。

この目的は、請求項１に記載のオーディオ信号を処理する装置、請求項１５に記載のオーディオ信号を処理する方法、または請求項１６に記載のコンピュータプログラムによって達成される。

本発明の実施形態は、高周波数部分と低周波数部分とを有する帯域幅拡張された信号を生成するためのオーディオ信号を処理する装置であって、高周波数部分用パラメトリックデータが用いられ、そのパラメトリックデータは高周波数部分の周波数帯域に関する。この装置は、パッチ境界が該周波数帯域の周波数帯域境界と一致するようにパッチ境界を計算するためのパッチ境界計算器を含む。この装置はさらに、オーディオ信号と計算されたパッチ境界とを用いて、パッチ信号を生成するためのパッチャを含む。ある実施形態において、パッチ境界計算器は、高周波数部分に対応する合成周波数範囲における周波数境界としてパッチ境界を計算するよう構成されている。この場合、パッチャは、転換係数およびパッチ境界を用いて低帯域部分の一周波数部分を選択するように構成されている。さらなる実施形態において、パッチ境界計算器は、周波数帯域の周波数帯域境界と一致しない目標パッチ境界を用いてパッチ境界を計算するよう構成されている。そして、パッチ境界計算器は、整合を得るために目標パッチ境界とは異なるパッチ境界を設定するよう構成されている。特に、異なる転換係数を用いる複数のパッチの場合に、パッチ境界計算器は、各パッチ境界が高周波数部分の周波数帯域の周波数帯域境界と一致するように、例えば３つの異なる転換係数のためのパッチ境界を計算するよう構成されている。パッチャは、次いで、２つの隣接するパッチ間の境界が、パラメトリックデータが関係している２つの隣接する周波数帯域間の境界と一致するように３つの異なる転換係数を用いてパッチ信号を生成するよう構成されている。

本発明は、一方の不整合なパッチ境界と他方のパラメトリックデータの周波数帯域とから生じるアーチファクトが回避される点で有用である。そうではなく、完全な整合のために、パッチ境界領域において大きく変化する信号または大きく変化する部分を有する信号でも品質よく帯域幅拡張される。

さらに、本発明には、それにもかかわらず、符号器が、復号器側に適用されるべきパッチングアルゴリズムに対処する必要がないために高い自由度を可能とするという利点がある。一方のパッチングと、他方でのスペクトル包絡線調整、すなわち帯域幅拡張符号器によって生成されるパラメトリックデータを用いるということとの依存性が維持され、異なるパッチングアルゴリズムの応用または異なるパッチングアルゴリズムの組み合わせの応用さえ可能である。これが可能であるのは、パッチ境界整合が、最後に、一方のパッチデータと他方のパラメトリックデータセットとが、スケール係数帯域とも呼ばれる周波数帯域に関して互いに合致することを確実にするからである。

例えば、目標範囲、すなわち最終的に得られる帯域幅拡張された信号の高周波数部分に関し得る計算されたパッチ境界に依存して、オーディオ信号の低帯域部分からのパッチ源データを決定するための対応する供給源範囲を決定する。ある実施形態では高調波係数を適用するので、オーディオ信号の低帯域部分の所定の（小さい）帯域幅しか必要としないということが分かる。したがって、低帯域オーディオ信号からこの部分を効率的に抽出するために、カスケードの個々のフィルタバンクに依る特定の分析フィルタバンク構造を用いる。

このような実施形態は、オーディオ品質を犠牲にすることなく複雑性の低い再サンプリングを得るために、分析および／または合成フィルタバンクの特定のカスケード配置に依る。ある実施形態では、入力オーディオ信号を処理する装置は、入力オーディオ信号からオーディオ中間信号を合成するための合成フィルタバンクを含み、入力オーディオ信号は、処理方向において合成フィルタバンクの前に置かれた分析フィルタバンクによって生成された複数の第１のサブバンド信号によって表され、合成フィルタバンクのフィルタバンクチャネルの数は、分析フィルタバンクのチャネル数より小さい。中間信号はオーディオ中間信号から複数の第２のサブバンド信号を生成するためのさらなる分析フィルタバンクによってさらに処理され、該さらなる分析フィルタバンクは、合成フィルタバンクのチャネル数と異なるチャネル数を有し、これにより、複数のサブバンド信号のサブバンド信号のサンプリングレートは、分析フィルタバンクによって生成された複数の第１のサブバンド信号のうちの第１のサブバンド信号のサンプリングレートとは異なる。

合成フィルタバンクと後に接続されるさらなる分析フィルタバンクとのカスケードは、サンプリングレート変換を提供するとともに、合成フィルタバンクへ入力された元々のオーディオ入力信号の帯域幅部分の基本帯域への変調を更に提供する。例えば、帯域幅拡張スキームのコア復号器の出力信号であり得る元々の入力オーディオ信号から抽出されたこの時間中間信号は、好ましくは、基本帯域へ変調された臨界的にサンプリングされた信号として表されており、この表現、すなわち、再サンプリングされた出力信号により、サブバンド表現を得るためにさらなる分析フィルタバンクによって処理される際に、行ってもいいし行わなくてもよいが、例えば、非線形サブバンド動作、続いて高周波数再構成処理および最終的な合成フィルタバンクでのサブバンドの混合などの帯域幅拡張に関する処理動作であり得るさらなる処理動作を複雑性の低い処理にすることが可能であることを見出した。

本出願は、帯域幅拡張の場合および帯域幅拡張に関係しない他のオーディオ応用の場合におけるオーディオ信号を処理する装置、方法またはコンピュータプログラムの異なる局面を提供する。以下に記載し、特許請求する個々の局面の特徴は、部分的にまたは全部組み合わせることができるが、また、互いに別個に用いることもできる。というのは、個々の局面だけでも、コンピュータシステムまたはマイクロプロセッサで実行されると、知覚的品質、演算の複雑性およびプロセッサ／メモリリソースに関する利点を提供するからである。

実施形態は、入力信号のＨＦＲフィルタバンク分析段への効率的なフィルタリングおよびサンプリングレート変換によってサブバンドブロックに基づく高調波ＨＦＲ方法の演算の複雑性を低減する方法を提供する。さらに、入力信号へ適用される帯域通過フィルタはサブバンドブロックに基づく転換器において時代遅れであることが示され得る。

本実施形態は、単一分析および合成フィルタバンク対のフレームワークにおいて数次数のサブバンドブロックに基づく転換を効率的に実行することによりサブバンドブロックに基づく高調波転換の演算の複雑性を低減することを助ける。知覚的品質対演算の複雑性のトレードオフにより、適切なサブセットの次数のみまたはすべての次数の転換を、フィルタバンク対内で一緒に行うことができる。さらに、ある転換次数だけが直接的に計算されるが、残りの帯域幅は、利用可能な、すなわち、以前に計算された転換次数（たとえば、２次）および／またはコア符号化帯域幅の複製によって満たされるという組み合わされた転換スキーム。この場合、パッチングは、複製のために利用可能な供給源範囲のすべての考え得る組み合わせを用いて実行され得る。

さらに、実施形態は、高品質な高調波ＨＦＲ方法とサブバンドブロックに基づく高調波ＨＦＲ方法の両方をＨＦＲツールのスペクトル整合により改善する方法を提供する。特に、ＨＦＲ生成信号のスペクトル境界を包絡線調整周波数表のスペクトル境界に整合させることによって性能を改善する。さらに、リミッタツールのスペクトル境界を同じ原理によりＨＦＲ生成信号のスペクトル境界に整合させる。

さらに、実施形態は、例えば、高調波パッチングとコピーアップパッチングとからなる混合パッチングを適用するパッチングスキームの適用により、過渡信号の知覚品質を改善し、同時に演算の複雑性を低減するよう構成されている。

特定の実施形態において、カスケードのフィルタバンク構造の個々のフィルタバンクは、直交ミラーフィルタ（ＱＭＦ）であり、これはすべて、フィルタバンクチャネルの中心周波数を規定する１セットの変調周波数を用いて変調された低域通過プロトタイプフィルタまたは窓に依る。好ましくは、すべての窓関数またはプロトタイプフィルタは、異なるサイズ（フィルタバンクチャネル）を有するフィルタバンクのフィルタも互いに依存するように互いに依存する。好ましくは、ある実施形態において、第１の分析フィルタバンク、あとに接続されたフィルタバンク、さらなる分析フィルタバンク、および処理のいくらか後の状態では最終的な合成フィルタバンクを含むフィルタバンクのカスケード構造における最大のフィルタバンクは、所定数の窓関数またはプロトタイプフィルタ係数を有する窓関数またはプロトタイプフィルタ応答を有する。サイズのより小さなフィルタバンクはすべて、この窓関数のサブサンプリングされたものである。すなわち、他のフィルタバンクの窓関数は、「大きな」窓関数のサブサンプリングされたものであるということである。例えば、あるフィルタバンクが大きなフィルタバンクのサイズの半分である場合、窓関数は半分の数の係数を有し、サイズが小さい方のフィルタバンクの係数は、サブサンプリングによって導出される。このような状況において、サブサンプリングとは、例えば、サイズが半分の小さい方のフィルタバンクのために１つおきにフィルタ係数を取るということである。しかし、非整数値のフィルタバンクサイズ間に他の関係があるときは、最後に小さい方のフィルタバンクの窓がここでも大きい方のフィルタバンクの窓のサブサンプリングされたものになるように窓係数のある種の補間を行う。

本発明の実施形態は、さらなる処理のために入力オーディオ信号の一部しか必要としない状況において特に有用であり、この状況はとくに、高調波帯域幅拡張の場合に起こる。この場合、ボコーダ式処理動作が特に好ましい。

この実施形態は、スペクトル整合を用いて、ＱＭＦおよびＤＦＴに基づく高調波スペクトル帯域複製のオーディオ品質を改善し、効率的な時間および周波数領域動作によるＱＭＦ転換器の複雑性を低減することが実施形態の利点である。

実施形態は、高周波数再構成（ＨＦＲ）のために例えば、サブバンドブロックに基づく高調波転換方法を用いるオーディオ源符号化システム、および高調波歪みの生成が処理信号に明瞭さを加える、いわゆるエキサイタなどのデジタル効果プロセッサ、および元々のスペクトル内容を維持しながら信号の持続時間を拡張する時間伸張器に関する。実施形態は、ＨＦＲフィルタバンク分析段に先立つ入力信号の効率的なフィルタリングおよびサンプリングレート変換によるサブバンドブロックに基づく高調波ＨＦＲ方法の演算の複雑性を低減する方法を提供する。さらに実施形態は、入力信号に適用される従来の帯域通過フィルタがサブバンドブロックに基づくＨＦＲシステムにおいて時代遅れであることを示している。さらに、実施形態は、高品質な高調波ＨＦＲ方法とサブバンドブロックに基づく高調波ＨＦＲ方法の両方をＨＦＲツールのスペクトル整合によって改善する方法を提供する。特に、実施形態は、ＨＦＲ生成信号のスペクトル境界を包絡線調整周波数表のスペクトル境界に整合することによる性能の改善の仕方を教示する。さらに、リミッタツールのスペクトル境界は、同様の原理によりＨＦＲ生成信号のスペクトル境界に整合される。

本発明は、以下に、添付の図面を参照しながら、発明の範囲を限定しない例示的な実施例よって説明される。
図１は、ＨＦＲ増強復号器フレームワークにおける転換次数が２，３，４のブロックに基づく転換器の動作を示す。 図２は、図１における非線形サブバンド伸長の動作を示す。 図３は、ＨＦＲ分析フィルタバンクに先立つ再サンプラーおよび帯域フィルタが、多重レート時間領域再サンプラーとＱＭＦに基づく帯域フィルタとを用いて実施される図１のブロックに基づく転換器の効率的な実施を示す。 図４は、図３の多重レート時間領域再サンプラーの効率的な実施のためのブロックの構築の一例を示す。 図５ａは、転換次数が２の図４の異なるブロックによって処理された信号例への効果を示す。 図５ｂは、転換次数が２の図４の異なるブロックによって処理された信号例への効果を示す。 図５ｃは、転換次数が２の図４の異なるブロックによって処理された信号例への効果を示す。 図５ｄは、転換次数が２の図４の異なるブロックによって処理された信号例への効果を示す。 図５ｅは、転換次数が２の図４の異なるブロックによって処理された信号例への効果を示す。 図５ｆは、転換次数が２の図４の異なるブロックによって処理された信号例への効果を示す。 図６は、ＨＦＲ分析フィルタバンクに先立つ再サンプラーおよび帯域フィルタが、３２帯域分析フィルタバンクから選択されたサブバンドに対し動作する小型のサブサンプリングされた合成フィルタバンクによって置き換えられた図１のブロックに基づく転換器の効率的な実施を示す。 図７は、転換次数が２の図６のサブサンプリングされた合成フィルタバンクによって処理された信号例への効果を示す。 図８ａは、係数が２の効率的な多重レート時間領域ダウンサンプラの実施ブロックを示す。 図８ｂは、係数が２の効率的な多重レート時間領域ダウンサンプラの実施ブロックを示す。 図８ｃは、係数が２の効率的な多重レート時間領域ダウンサンプラの実施ブロックを示す。 図８ｄは、係数が２の効率的な多重レート時間領域ダウンサンプラの実施ブロックを示す。 図８ｅは、係数が２の効率的な多重レート時間領域ダウンサンプラの実施ブロックを示す。 図９ａは、係数が３／２の効率的な多重レート時間領域ダウンサンプラの実施ブロックを示す。 図９ｂは、係数が３／２の効率的な多重レート時間領域ダウンサンプラの実施ブロックを示す。 図９ｃは、係数が３／２の効率的な多重レート時間領域ダウンサンプラの実施ブロックを示す。 図９ｄは、係数が３／２の効率的な多重レート時間領域ダウンサンプラの実施ブロックを示す。 図９ｅは、係数が３／２の効率的な多重レート時間領域ダウンサンプラの実施ブロックを示す。 図１０は、ＨＦＲ増強符号器における包絡線調整周波数帯域の境界に対するＨＦＲ転換器信号のスペクトル境界の整合を示す。 図１１は、ＨＦＲ転換信号のスペクトル境界の不整合によってアーチファクトが生じる場合を示す。 図１２は、ＨＦＲ転換信号のスペクトル境界の整合の結果、図１１のアーチファクトが回避された場合を示す。 図１３は、ＨＦＲ転換信号のスペクトル境界へのリミッタツールにおけるスペクトル境界の適合を示す。 図１４は、サブバンドブロックに基づく高調波転換の原理を示す。 図１５は、ＨＦＲ増強オーディオコーデックにおけるいくつかの転換次数を用いたサブバンドブロックに基づく転換の応用の事例を示す。 図１６は、転換次数ごとに別個の分析フィルタバンクを適用する多次数サブバンドブロックに基づく転換動作の従来例を示す。 図１７は、６４帯域ＱＭＦ分析フィルタバンクを適用する多次数サブバンドブロックに基づく転換の効率的な動作の本発明の一例を示す。 図１８は、サブバンド信号式処理を形成する別の一例を示す。 図１９は、単一側波帯変調（ＳＳＢ）パッチングを示す。 図２０は、高調波帯域幅拡張（ＨＢＥ）パッチングを示す。 図２１は、第１のパッチングが、周波数拡散により生成され、第２のパッチが低周波数部分のＳＳＢコピーアップにより生成される混合パッチングを示す。 図２２は、第２のパッチを生成するためのＳＳＢコピーアップ動作に第１のＨＢＥパッチを用いる別の混合パッチングを示す。 図２３は、ある実施形態によるスペクトル帯域整合を用いてオーディオ信号を処理するための装置の概略図を示す。 図２４ａは、図２３のパッチ境界計算器の好適な実施を示す。 図２４ｂは、本発明の実施形態によって行われるステップ系列のさらなる概略図を示す。 図２５ａは、パッチ境界の整合におけるパッチ境界計算器の詳細およびスペクトル包絡線調整の詳細を示すブロック図を示す。 図２５ｂは、擬似コードとしての図２４ａに示す手順のフローチャートを示す。 図２６は、帯域幅拡張処理におけるフレームワークの概略図を示す。 図２７ａは、図２３の更なる分析フィルタバンクによって出力されるサブバンド信号の処理の好適な実施を示す。 図２７ｂは、図２３の更なる分析フィルタバンクによって出力されるサブバンド信号の処理の好適な実施を示す。

好適な実施形態の説明

以下の実施形態は例示にすぎず、効率的な時間周波数領域動作によってＱＭＦ転換器の複雑性を低減させ、かつ、スペクトル整合によってＱＭＦおよびＤＦＴの両方に基づく高調波ＳＢＲのオーディオ品質を改善し得る。ここで説明した構成ならびに詳細の修正および変形が当業者に明らかであろうことが理解される。したがって、添付の特許請求の範囲によってのみ限定され、実施形態の記載および説明によって提示された特定の詳細によって限定されない。

図２３は、オーディオ信号２３００を処理して、高周波数部分および低周波数部分を有する帯域幅拡張された信号を高周波数部分のパラメトリックデータを用いて生成するための装置の実施形態を示している。ここでのパラメトリックデータは、高周波数部分の周波数帯域に関係する。この装置は、好ましくは、周波数帯域の周波数帯域境界と一致しない目標パッチ境界２３０４を用いて、パッチ境界を計算するためのパッチ境界計算器２３０２を含む。高周波数部分の周波数帯域についての情報２３０６は、例えば、帯域幅拡張に適した符号化されたデータストリームから採取することができる。さらなる実施形態において、パッチ境界計算器は、単一のパッチの単一のパッチ境界を計算するだけでなく、異なる転換係数に属するいくつかの異なるパッチのいくつかのパッチ境界を計算する。ここでの転換係数に関する情報は、２３０８で示されるようにパッチ境界計算器２３０２に与えられる。パッチ境界計算器は、パッチ境界が周波数帯域の周波数帯域境界と一致するようにパッチ境界を計算するよう構成されている。パッチ境界計算器は目標パッチ境界についての情報２３０４を受信すると、パッチ境界計算器は、整合を得るために目標パッチ境界とは異なるパッチ境界を設定するように構成されることが好ましい。パッチ境界計算器は、目標パッチ境界とは異なる計算されたパッチ境界をライン２３１０でパッチャー２３１２に出力する。パッチャ２３１２は、低帯域オーディオ信号２３００および２３１０でのパッチ境界を用いて、そして、多重転換が行われる実施形態では、ライン２３０８での転換係数を用いて、出力２３１４において１つまたはいくつかのパッチされた信号を生成する。

図２３の表は、基本的な概念を示す１つの数字の例を示す。例えば、低帯域オーディオ信号が０〜４ｋＨｚ（供給源範囲は、実際に０Ｈｚで始まるのではなく、例えば２０Ｈｚのような０に近い値であることは明らかである）まで拡張した低周波数部分を有すると想定した場合のものである。さらに、ユーザは、４ｋＨｚ信号の１６ｋＨｚの帯域幅拡張信号への帯域幅拡張を行おうとしている。さらに、ユーザは、転換係数が２，３，４の３つの高調波パッチを用いて帯域幅拡張を行うことを所望していることを示している。そして、パッチの目標境界は、４〜８ｋＨｚまで拡張した第１のパッチと、８〜１２ｋＨｚまで拡張した第２のパッチと、１２〜１６ｋＨｚまで拡張した第３のパッチとに設定される。このように、低周波数帯域信号の最大またはクロスオーバ周波数と一致している第１のパッチ境界は変化しないと想定すると、パッチ境界は、８，１２，１６である。しかし、第１のパッチのこの境界を変化させることも、必要であれば本発明の実施形態内である。目標境界は、転換係数が２では、供給源範囲は、２〜４ｋＨｚに相当し、転換係数が３では、２．６６〜４ｋＨｚに相当し、転換係数が４では、３〜４ｋＨｚに相当する。具体的には、供給源範囲は、目標境界を実際に用いられる転換係数で割ることにより計算される。

図２３の例では、境界８，１２，１６は、パラメトリック入力データが関係する周波数帯域の周波数帯域境界と一致しないと想定している。したがって、パッチ境界計算器は、整合したパッチ境界を計算し、目標境界を直ちに適用しない。このため、第１のパッチのパッチ境界上限は、７．７ｋＨｚ、第２のパッチのパッチ境界上限は、１１．９ｋＨｚ、第３のパッチのパッチ境界上限は、１５．８ｋＨｚとなり得る。そして、個々のパッチの転換係数をここでも用いて、ある「調整された」供給源範囲を計算し、パッチングに用いる。これらが図２３に例示されている。

供給源範囲は、目標範囲とともに変化すると概説してきたが、他の実施例では、転換係数を操作し、供給源範囲または目標境界を維持し、あるいは他の応用では、供給源範囲および転換係数を変化させて、元々の信号の高帯域部分のスペクトル包絡線を記述するパラメトリック帯域幅拡張データが関係する周波数帯域の周波数帯域境界に一致する調整されたパッチ境界に最終的に到達することもできる。

図１４は、サブバンドブロックに基づく転換の原理を示している。入力時間領域信号は、多数の複素値化されたサブバンド信号を提供する分析フィルタバンク１４０１に供給される。これらは、サブバンド処理ユニット１４０２に供給される。多数の複素値化された出力サブバンドは、合成フィルタバンク１４０３に供給され、合成フィルタバンク１４０３は、修正された時間領域信号を順番に出力する。サブバンド処理ユニット１４０２は、修正された時間領域信号が転換次数Ｔ＞１に相当する入力信号の転換後のものとなるように非線形ブロックに基づくサブバンド処理動作を行う。ブロックに基づくサブバンド処理という概念は、一度に１つより多いサブバンドサンプルのブロックについての非線形動作を含むことで定義され、後続のブロックは窓関数処理され、重複加算されて出力サブバンド信号を生成する。

フィルタバンク１４０１および１４０３は、ＱＭＦまたは窓関数処理されたＤＦＴのような複素指数変調型のいかなるものであってもよい。これらは、変調において偶数または奇数重ねてもよく、広範囲のプロトタイプフィルタまたは窓から定義され得る。物理的ユニットで測定された以下の２つのフィルタバンクパラメータの指数Δｆ_Ｓ／Δｆ_Ａを知ることは重要である。

Δｆ_Ａ：分析フィルタバンク１４０１のサブバンド周波数間隔
Δｆ_Ｓ：合成フィルタバンク１４０３のサブバンド周波数間隔
サブバンド処理１４０２の構成では、供給源と目標サブバンドインデックスとの対応関係を見つけることが必要である。物理的周波数Ωの入力正弦曲線が、インデックスｎ≒Ω／Δｆ_Ａの入力サブバンドで生じる主な寄与となることが観測される。所望の転換された物理的周波数Ｔ・Ωの出力正弦曲線は、インデックスｍ≒Ｔ・Ω／Δｆ_Ｓの合成サブバンドを供給することから生じる。したがって、所与の目標サブバンドインデックスｍのサブバンド処理の適切な供給源サブバンドインデックス値は、以下の式に従わなくてはならない。

図１５は、ＨＦＲ増強オーディオコーデックでの数次数の転換を用いてサブバンドブロックに基づく転換の応用の事例を示している。送信されたビットストリームをコア復号器１５０１で受信し、コア復号器１５０１は、サンプリング周波数ｆ_Ｓで低帯域幅復号コア信号を与える。低周波数は、複素変調された３２帯域ＱＭＦ分析バンク１５０２によって、次に、６４帯域ＱＭＦ合成バンク（反転ＱＭＦ）１５０５によって、出力サンプリング周波数２ｆ_Ｓに再サンプリングされる。２つのフィルタバンク１５０２および１５０５は、同じ物理的分解能パラメータΔｆ_Ｓ ＝Δｆ_Ａを有し、ＨＦＲ処理ユニット１５０４は、低帯域幅コア信号に対応する未修正の低い方のサブバンドをそのまま通過させる。多重転換ユニット１５０３からの出力帯域にＨＦＲ処理ユニット１５０４によってスペクトル成形および修正が行われ、それを６４帯域ＱＭＦ合成バンク１５０５の高い方のサブバンドに供給することによって出力信号の高周波数内容が得られる。多重転換器１５０３は、復号されたコア信号を入力し、いくつかの転換された信号成分の重畳または混合の６４ＱＭＦ帯域分析を表す多数のサブバンド信号を出力する。目的は、ＨＦＲ処理をとばすと、各成分は、コア信号の整数の物理的転換（Ｔ＝２，３，．．．）に対応するということである。

図１６は、転換次数ごとに別個の分析フィルタバンクを適用する多次数のサブバンドブロックに基づく転換１６０３の動作の従来の事例を示している。ここでは、出力サンプリングレート２ｆ_Ｓで動作する６４帯域ＱＭＦの領域に３つの転換次数Ｔ＝２，３，４を生成し伝達するとする。混合ユニット１６０４は単に、各転換係数分岐からの関連のサブバンドを選択および混合し、ＨＦＲ処理ユニットに供給すべき単一多重のＱＭＦサブバンドにする。

最初に、ケースＴ＝２について考察する。目的は、具体的には、６４帯域ＱＭＦ分析１６０２−２、サブバンド処理ユニット１６０３−２、および６４帯域ＱＭＦ合成１５０５という処理鎖がＴ＝２の物理的転換となることである。これら３つのブロックが図１４の１４０１、１４０２、および１４０３であると認めると、Δｆ_Ｓ／Δｆ_Ａ＝２であるので、（１）式により、１６０３−２の仕様は、供給源ｎと目標サブバンドｍとの対応関係はｎ＝ｍとなるということが分かる。

Ｔ＝３の場合は、例示したシステムは、入力サンプリングレートを係数３／２だけ低くしてｆ_Ｓから２ｆ_Ｓ／３に変換するサンプリングレート変換器１６０１−３を含む。その目的は具体的には、６４帯域ＱＭＦ分析１６０２−３、サブバンド処理ユニット１６０３−３、および６４帯域ＱＭＦ合成１５０５という処理鎖がＴ＝３の物理的転換という結果になることである。これら３つのブロックが図１４の１４０１、１４０２、および１４０３であると認めることによって、Δｆ_Ｓ／Δｆ_Ａ＝３という再サンプリングであるので、（１）式は、供給源ｎと目標サブバンドｍとの対応関係はここでもｎ＝ｍとなるという１６０３−３の仕様を与えることが分かる。

Ｔ＝４の場合は、例示したシステムは、入力サンプリングレートを係数２だけ低くしてｆ_Ｓからｆ_Ｓ／２に変換するサンプリングレート変換器１６０１−４を含む。目的は具体的には、６４帯域ＱＭＦ分析１６０２−４、サブバンド処理ユニット１６０３−４、および６４帯域ＱＭＦ合成１５０５という処理鎖がＴ＝４の物理的転換となることである。これら３つのブロックが図１４の１４０１、１４０２、および１４０３であると認めることによって、Δｆ_Ｓ／Δｆ_Ａ＝４という再サンプリングであるので、（１）式は、供給源ｎと目標サブバンドｍとの対応関係はここでもｎ＝ｍとなるという１６０３−４の仕様を与えることが分かる。

図１７は、単一の６４帯域ＱＭＦ分析フィルタバンクを適用する多次数サブバンドブロックに基づく転換の効率的な動作のための本発明の事例を示している。実際、図１６の３つの別個のＱＭＦ分析バンクおよび２つのサンプリングレート変換器を用いると、かなり演算の複雑性は高くなり、また、サンプリングレート変換器１６０１−３のためにフレームに基づく処理の実施により欠点もいくつかある。現在の実施形態は、２つの分岐１６０１−３→１６０２−３→１６０３−３および１６０１−４→１６０２−４→１６０３−４は、それぞれ、サブバンド処理１７０３−３および１７０３−４に置き換えることを教示している。ただし、分岐１６０２−２→１６０３−２は、図１６から変化はない。３つすべての転換次数は、Δｆ_Ｓ／Δｆ_Ａ＝２である図１４のフィルタバンク領域で行うことになる。Ｔ＝３の場合、（１）式で与えられた１７０３−３の仕様は、供給源ｎと目標サブバンドｍとの対応関係はｎ≒２ｍ／３であるということである。Ｔ＝４の場合、（１）式で与えられた１７０３−４の仕様は、供給源ｎと目標サブバンドｍとの対応関係はｎ≒２ｍであるということである。さらに複雑性を低減させるために、すでに計算された転換次数またはコア復号器の出力をコピーして転換次数をいくつか生成してもよい。

図１は、ＳＢＲ（ISO/IEC 14496-3:2009, "情報技術−オーディオビジュアル対象物の符号化―第３部：オーディオ）などのＨＦＲ増強復号器フレームワークに転換次数２，３，４を用いたサブバンドブロックに基づく転換器の動作を示している。ビットストリームは、コア復号器１０７によって時間領域に復号化され、ＨＦＲモジュール１０３に渡され、ＨＦＲモジュール１０３は、基本帯域コア信号から高周波数信号を生成する。生成後、ＨＦＲ生成信号は、送信された副情報によってできるだけ元の信号に一致するようにダイナミックに調整される。この調整は、１つまたは幾つかの分析ＱＭＦバンクから得られたサブバンド信号に対しＨＦＲプロセッサ１０５によって行われる。典型的な手法は、コア復号器は、入力および出力信号の周波数の半分の周波数でサンプリングされた時間領域信号に対して動作するというものである。すなわち、ＨＦＲ復号器モジュールは、コア信号をサンプリング周波数を２倍にして効果的に再サンプリングするというものである。このサンプリングレート変換は通常、３２帯域分析ＱＭＦバンク１０９によってコア符号器信号をフィルタリングするという第１のステップによって得られる。いわゆるクロスオーバ周波数より下のサブバンド、すなわち、全コア符号器信号エネルギーを含む３２サブバンドのより低いサブセットがＨＦＲ生成信号を運ぶサブバンドのセットと混成される。通常、そのように混成されたサブバンドの数は６４であり、これは、合成ＱＭＦバンク１０６を通してフィルタリングされた後、ＨＦＲモジュールからの出力と混合された、サンプリングレート変換コア符号器信号となる。

ＨＦＲモジュール１０３のサブバンドブロックに基づく転換器では、出力サンプリングレート２ｆ_Ｓで動作する６４帯域ＱＭＦの領域に３つの転換次数Ｔ＝２，３，４が生成され伝達されることになる。入力時間領域信号は、ブロック１０３−１２，１０３−１３および１０３−１４においてバンドパスフィルタリングされる。これが行われるのは、異なる転換次数によって処理された出力信号が生成され、非重複のスペクトル内容を有するようにするためである。信号はさらにダウンサンプリングされ（１０３−２３，１０３−２４）、入力信号のサンプリングレートを一定のサイズ（この場合６４）の分析フィルタバンクに合うように適合させる。尚、サンプリングレートをｆ_Ｓから２ｆ_Ｓへ増加させるのは、サンプリングレート変換器が、転換されたサブバンド信号が入力信号と等しいサンプリングレートを有することとなるＴではなく、Ｔ／２のダウンサンプリング係数を用いるということによって説明することができる。ダウンサンプリングされた信号は、別々のＨＦＲ分析フィルタバンク（１０３−３２，１０３−３３および１０３−３４）に供給される。これは、各転換次数に対し１つずつ供給され、これにより、多数の複素数値化されたサブバンド信号が与えられる。これらは、非線形サブバンド伸長ユニット（１０３−４２，１０３−４３および１０３−４４）に供給される。この多数の複素数値化された出力サブバンドは、サブサンプリング分析バンク１０９からの出力とともに混合／混成モジュール１０４に供給される。混合／混成ユニットは単に、コア分析フィルタバンク１０９と、ＨＦＲ処理ユニット１０５に供給されるべき単一多重のＱＭＦサブバンドへの各伸長係数分岐とからのサブバンドを混合する。

異なる転換次数からの信号スペクトルが重複されないよう設定されているとき、すなわち、Ｔ次の転換次数信号のスペクトルが、（Ｔ−１）次信号からのスペクトルが終了するところから開始するとき、転換された信号はバンドパス特性を有する必要がある。したがって、図１は従来のバンドパスフィルタ１０３−１２〜１０３−１４である。しかし、混合／混成ユニット１０４による利用可能なサブバンドの中からの単純な排他的選択によって、別個のバンドパスフィルタが必要なくなり、省くことができる。その代わりに、１０４における異なるサブバンドチャネルに対し転換分岐から異なる寄与を独立して供給することによってＱＭＦバンクによって提供された固有のバンドパス特性が利用される。また、１０４において混成された帯域のみに時間伸長を適用するだけでもよい。

図２は、非線形サブバンド伸長ユニットの動作を示している。ブロック抽出器２０１が、複素数値化された入力信号から有限のフレームのサンプルをサンプリングする。フレームは入力ポインター位置によって規定される。このフレームは、２０２において非線形処理され、次に２０３の有限長窓によって窓関数処理される。結果としてのサンプルは、出力フレーム位置が出力ポインター位置で規定される重複加算ユニット２０４において先に出力されたサンプルに加算される。入力ポインタは、固定量増加され、出力ポインタは同量倍のサブバンド伸長係数で増加される。この一連の動作を繰り返すことで、合成窓の長さまで、入力サブバンド信号持続時間倍のサブバンド伸長係数である持続時間を有する出力信号を生成することになる。

ＳＢＲによって用いられるＳＳＢ転換器（ISO/IEC 14496-3:2009, "情報技術−オーディオビジュアル対象物の符号化、第３部：オーディオ）は、典型的に、第１のサブバンドを除いて全基本帯域を利用し、高帯域信号を生成するが、高調波転換器は、一般的にコア符号器スペクトルの小さい方の部分を用いる。用いる量、いわゆる供給源範囲は、転換次数、帯域幅拡張係数および混成された結果に適用する規則、例えば、異なる転換次数から生成された信号がスペクトル的に重複できるかどうかに依存する。この結果、所与の転換次数のための高調波転換器出力スペクトルのうち、実際には限られた部分のみがＨＦＲ処理モジュール１０５によって用いられる。

図１８は、単一サブバンド信号を処理するための処理実施例の別の実施形態を示している。単一サブバンド信号は、図１８に示されない分析フィルタバンクによってフィルタリングされる前または後のどちらかにある種の間引きが行われている。したがって、単一サブバンド信号の時間長は、間引きされる以前の時間長より短い。単一サブバンド信号は、ブロック抽出器２０１と同じであり得るが、実施の仕方は異なってもいいブロック抽出器１８００に入力される。図１８のブロック抽出器１８００は、例えば、ｅと呼ばれるサンプル／ブロック進行値を用いて動作する。サンプル／ブロック進行値は、可変であってもよく、また固定値に設定されていてもよく、図１８ではブロック抽出ボックス１８００への矢印で示されている。ブロック抽出器１８００の出力には、複数の抽出ブロックが存在する。これらのブロックは、大きく重複している。というのは、サンプル／ブロック進行値ｅは、ブロック抽出器のブロック長さより大幅に小さいからである。例えば、ブロック抽出器は１２サンプルのブロックを抽出する。第１のブロックは、サンプル０〜１１を含み、第２のブロックは、サンプル１〜１２を含み、第３のブロックは、サンプル２〜１３を含む、等々。この実施形態において、サンプル／ブロック進行値は１であり、１１回重複されている。

個々のブロックは、各ブロック毎に窓関数を用いてブロックに窓関数処理を行う窓関数処理器１８０２に入力される。さらに、各ブロックの位相を計算する位相計算器１８０４が設けられている。位相計算器１８０４は、窓関数処理の前または後のいずれかに個々のブロックを用いる。そして、位相調整値ｐ×ｋは、計算され、位相調整器１８０６に入力される。位相調整器は、調整値をブロックの各サンプルに適用する。さらに、係数ｋは、帯域幅拡張係数に等しい。例えば、係数２の帯域幅拡張を得ようとするとき、ブロック抽出器１８００によって抽出されたブロック用に計算された位相ｐは、係数２で乗算され、位相調整器１８０６のブロックの各サンプルに適用された調整値は、ｐ×２である。これは、値／規則の例である。代替的に、合成のために較正された位相は、k * p、p + (k-1)*pである。この例では、較正係数は、乗算の場合、２であり、加算の場合、1*pである。位相較正値を計算するために他の値／規則を用いてもよい。

ある実施形態では、単一サブバンド信号は、複素サブバンド信号であり、ブロックの位相は、複数の異なる方法で計算され得る。１つの方法は、ブロックの中央または中央近傍のサンプルを採取し、この複素サンプルの位相を計算する。すべてのサンプルの位相を計算することも可能である。

位相調整器は、窓関数処理器の次に動作するように図１８に示されているが、これらの２つのブロックを入れ替えて、ブロック抽出器によって抽出されたブロックに対し位相調整を行い、その後に窓関数動作を行ってもよい。両動作、すなわち窓関数処理と位相調整は、実数または複素数乗算であるので、これらの２つの動作は、それ自体が位相調整乗算係数と窓関数係数との積である複素乗算係数を用いて単一の動作にまとめてもよい。

位相調整されたブロックは、重複／加算および振幅較正ブロック１８０８に入力され、そこで、窓関数処理され、位相調整されたブロックが重複加算される。しかしながら、重要なことは、ブロック１８０８のサンプル／ブロック進行値は、ブロック抽出器１８００で用いられた値とは異なるということである。特に、ブロック１８０８のサンプル／ブロック進行値は、ブロック１８００で用いられた値ｅより大きいので、ブロック１８０８によって出力された信号の時間伸長が得られる。このように、ブロック１８０８によって出力された処理されたサブバンド信号は、ブロック１８００に入力されたサブバンド信号より長い長さを有する。２の帯域幅拡張を得ようとするとき、ブロック１８００の対応する値の２倍のサンプル／ブロック進行値を用いる。これにより、係数が２の時間伸長が得られる。しかし、他の時間伸長係数が必要な場合は、ブロック１８０８の出力が所要の時間長を有するような他のサンプル／ブロック進行値を用いることができる。

重複問題の対応に関しては、ブロック１８００および１８０８において重複が異なるという問題に対応するために振幅構成を行うことが好ましい。しかし、この振幅較正もまた、窓関数処理器／位相調整乗算係数に導入してもよいが、振幅較正は、また、重複／処理のあとに行ってもよい。

ブロック長が１２で、ブロック抽出器のサンプル／ブロック進行値が１である上記の例において、係数が２の帯域幅拡張を行う場合、重複／加算ブロック１８０８のサンプル／ブロック進行値は２となる。これは、依然として５つのブロックが重複する結果になる。係数が３の帯域幅拡張を行う場合、ブロック１８０８によって用いられるサンプル／ブロック進行値は３となり、重複は低下して、重複３となる。４倍の帯域幅拡張を行う場合、重複／加算ブロック１８０８は、４というサンプル／ブロック進行値を用いることになり、２より多い数のブロックの重複となる。

入力信号を供給源範囲だけを含む転換器分岐に限ることによって大きな演算の節約を達成することができ、これは、各転換次数に適合するサンプリングレートにおいてである。サブバンドブロックに基づくＨＦＲ生成器のためのこのようなシステムの基本ブロックスキームを図３に示す。入力コア符号器信号は、ＨＦＲ分析フィルタバンクより前の専用ダウンサンプラによって処理される。

各ダウンサンプラの本質的な作用は、供給源範囲の信号をフィルタリングし、それを、可能な限り低いサンプリングレートで分析フィルタバンクに渡すことである。ここで、「可能な限り低い」とは、ダウンストリーム処理に依然として適切な最も低いサンプリングレートであり、必ずしも間引き後のエイリアシングを回避する最低のサンプリングレートとは限らない。サンプリングレート変換は様々な方法で得ることができる。本発明の範囲は、これには限られないが、２つの例を挙げる。第１の例は、多重レート時間領域処理によって行われる再サンプリングを示し、第２の例は、ＱＭＦサブバンド処理によって達成される再サンプリングを示す。

図４は、転換次数が２の多重レート時間領域ダウンサンプラにおけるブロックの例を示す。帯域幅ＢＨｚおよびサンプリング周波数ｆ_Ｓの入力信号を複素指数によって変調して（４０１）、以下のようなＤＣ周波数へ供給源範囲の開始を周波数シフトする。

変調後の入力信号とスペクトルの例を図５（ａ）および（ｂ）に示す。変調信号は、補間され（４０２）、通過帯域限界０およびＢ／２Ｈｚを有する複素数値化された低域通過フィルタによってフィルタリングされる（４０３）。それぞれのステップの後のスペクトルを図５（ｃ）および（ｄ）に示す。フィルタリングされた信号はその後、間引きされ（４０４）、信号の実数部分を計算する（４０５）。これらのステップ後の結果を図５（ｅ）および（ｆ）に示す。この特定の例では、Ｔ＝２、Ｂ＝０．６（規格化されたスケール、すなわち、ｆ_Ｓ＝２）の場合、供給源範囲を確実に網羅するためにＰ_２を２４とする。ダウンサンプリング係数は以下のようになる。

ここで、分数は、共通因子８で約分している。従って、補間係数は、３であり（図５（ｃ）から分かるように）、間引き係数は、８である。ノーブルアンデンティティ（「多重レートシステムおよびフィルタバンク」、Ｐ．Ｐ．ヴァイディアナサン、１９９３年、プレンティスホール、イングルウッドクリフ）を用いることによって、間引き器は、図４のずっと左側に、補間器は、ずっと右側に動かすことができる。このように、変調およびフィルタリングは、可能な限り低いサンプリングレートで行われ、演算の複雑性はさらに低下する。

別の手法は、ＳＢＲ ＨＦＲ方法にすでに存在するサブサンプリングされた３２帯域分析ＱＭＦバンク１０９からのサブバンド出力を用いることである。異なる転換分岐のための供給源範囲を網羅するサブバンドを、ＨＦＲ分析フィルタバンクの前の小型のサブサンプリングされたＱＭＦバンクによって時間領域に合成する。この種のＨＦＲシステムを図６に示す。小型のＱＭＦバンクは、元の６４帯域ＱＭＦバンクをサブサンプリングすることによって得られる。ここでは、原型のフィルタ係数は、元の原型フィルタの線形補間によって求められる。図６における表記に従うと、２次転換器分岐の前の合成ＱＭＦバンクは、Ｑ_２＝１２帯域（３２帯域ＱＭＦにおいてゼロに基づく８〜１９までのインデックスを有するサブバンド）を有する。合成プロセスのエイリアシングを防ぐために、第１（インデックス８）および最後（インデックス１９）の帯域を０に設定する。その結果、出力されたスペクトルを図７に示す。ブロックに基づく転換分析フィルタバンクは、２Ｑ_２＝２４帯域、すなわち、多重レート時間領域ダウンサンプラに基づく例（図３）と同じ数の帯域を有する。

図１で概説したシステムは、図３および図４において概説された再サンプリングの単純化した特別のケースとみることができる。この構成を単純化するために、変調器を省く。さらに、ＨＦＲ分析フィルタリングはすべて、６４帯域分析フィルタバンクを用いて得ることができる。したがって、図３のＰ_２＝Ｐ_３＝Ｐ_４＝６４となり、ダウンサンプリング係数は、２次転換分岐では１、３次転換分岐では１．５、４次転換分岐では２である。

係数２のダウンサンプラのブロック図を図８（ａ）に示す。現在実数値の低域通過フィルタをＨ（ｚ）＝Ｂ（ｚ）／Ａ（ｚ）（ここで、Ｂ（ｚ）は非再帰部（ＦＩＲ）であり、Ａ（ｚ）は再帰部（ＩＩＲ）である）と書くことができる。しかし、効率的な実施のために、演算の複雑性を低減させるためにノーブルアイデンティティを用いて、すべての極がＡ（ｚ^２）として多重度２（二重極）を有するようにフィルタを設計するのがよい。したがって、フィルタは図８（ｂ）に示すように係数化することができる。ノーブルアイデンティティ１を用いて、図８（ｃ）のように再帰部を間引き器を越えるように移動させてもよい。非再帰フィルタＢ（ｚ）は、以下の式のように標準的な２成分の多相分解を用いて実施することができる。

したがって、ダウンサンプラは、図８（ｄ）のように構成してもよい。ノーブルアイデンティティ１を用いた後、図８（ｅ）に示すように、ＦＩＲ部を可能な限り低いサンプリングレートで演算する。図８（ｅ）から、ＦＩＲ動作（遅延、間引きおよび多相成分）は、２つのサンプルの入力ストライドを用いて窓関数加算動作としてみなすことができることが容易にみてとれる。２つの入力サンプルでは、１つの新しい出力サンプルが生成されることになり、効果的な係数２のダウンサンプリングとなる。

係数が１．５＝３／２のダウンサンプラのブロック図を図９（ａ）に示す。実数値の低域通過フィルタをここでもＨ（ｚ）＝Ｂ（ｚ）／Ａ（ｚ）（ここで、Ｂ（ｚ）は非再帰部（ＦＩＲ）であり、Ａ（ｚ）は再帰部（ＩＩＲ）である）と書くことができる。上記と同様に、効率的な実施のために、演算の複雑性を低減させるためにノーブルアイデンティティを用いて、すべての極が、それぞれＡ（ｚ^２）またはＡ（ｚ^３）として多重度２（二重極）または多重度３（三重極）のいずれかを有するようにフィルタを設計するのがよい。ここで、 低域通過フィルタの設計アルゴリズムの方が効率であるので二重極が選ばれているが、実際、その再帰部は三重極手法に比べて実施が１．５倍複雑である。したがって、図９（ｂ）に示すようにフィルタを係数化することができる。ノーブルアイデンティティ２を用いて、図９（ｃ）のように再帰部を補間器の前に移動させてもよい。非再帰フィルタＢ（ｚ）は、以下の式のように標準的な２・３＝６成分の多相分解を用いて実施することができる。

したがって、ダウンサンプラは、図９（ｄ）のように構成してもよい。ノーブルアイデンティティ１および２を用いた後、図９（ｅ）に示すように、ＦＩＲ部を可能な限り低いサンプリングレートで演算する。図９（ｅ）から、偶数のインデックスの出力サンプルは、低い方のグループの３つの多相フィルタ（Ｅ_０（ｚ）、Ｅ_２（ｚ）、Ｅ_４（ｚ））を用いて演算され、奇数のインデックスの出力サンプルは、高い方のグループ（Ｅ_１（ｚ）、Ｅ_３（ｚ）、Ｅ_５（ｚ））から演算されることが容易にみてとれる。各グループの動作（遅延鎖、間引きおよび多相成分）は、３つのサンプルの入力ストライドを用いて窓関数加算動作としてみなすことができる。、下側のグループは、元のフィルタＢ（ｚ）からの偶数のインデックスの係数を用いるのに対し、上側のグループに用いられる窓関数係数は奇数のインデックスの係数である。したがって、３つの入力サンプルのグレープでは、２つの新しい出力サンプルが生成されることになり、効果的に、係数１．５のダウンサンプリングとなる。

コア復号器（図１の１０７）からの時間領域信号はまた、コア復号器のより小さいサブサンプリングされた合成変換を用いることによってサブサンプリングされてもよい。より小さい合成変換を用いることにより、演算の複雑性がさらに低下する。クロスオーバ周波数、すなわち、コア符号器信号の帯域幅によっては、合成変換サイズと名目サイズＱ（Ｑ＜１）との比がサンプリングレートＱｆ_Ｓを有するコア符号器出力信号となる。本応用において概説した例におけるサブサンプリングされたコア符号器信号を処理するために、図１のすべての分析フィルタバンク（１０９，１０３−３２，１０３−３３，１０３−３４）は、図３のダウンサンプラ（３０１−２，３０１−３，３０１−Ｔ）、図４の間引き器４０４および図６の分析フィルタバンク６０１と同様に、係数Ｑでスケーリングされる必要がある。明らかに、Ｑは、すべてのフィルタバンクサイズが整数となるように選ぶ必要がある。

図１０は、ＳＢＲなどのＨＦＲ増強符号器における包絡線調整周波数表のスペクトル境界に対するＨＦＲ転換器信号のスペクトル境界の整合を示している（ISO/IEC 14496-3:2009,「情報技術−オーディオビジュアル対象物の符号化、第３部：オーディオ」）。図１０（ａ）は、クロスオーバ周波数ｋ_ｘから停止周波数ｋ_ｓまでの周波数範囲を網羅する包絡線調整表、いわゆるスケール係数帯域を含む周波数帯域の様式的グラフを示す。スケール係数帯域は、再生成される高帯域周波数のエネルギーレベル、すなわち、周波数包絡線を調整するときＨＦＲ増強符号器に用いられる周波数グリッドを構成する。包絡線を調整するために、信号エネルギーは、スケール係数帯域境界および選択された時間境界によって制約される時間／周波数ブロックについて平均化される。

具体的には、図１０は、上側部分に周波数帯域への分割１００を示しているが、周波数帯域は周波数とともに増加していることが図１０から明らかになる。ここで、水平軸は周波数に対応し、図１０の表記において、フィルタバンクチャネルｋを有している。このフィルタバンクは、６４チャネルフィルタバンクのようなＱＭＦフィルタバンクとして実施してもよいし、またはデジタルフーリエ変換を介して実施してもよく、ｋは、ＤＦＴ応用のある周波数ビンに相当する。したがって、ＤＦＴ応用の周波数ビンとＱＭＦ応用のフィルタバンクチャネルとは、本明細書中では同じことを意味する。したがって、周波数ビン１００または周波数帯域における高周波数部分１０２に対しパラメトリックデータが与えられる。最終的に帯域幅拡張された信号の低周波数部分は１０４と示される。図１０の真ん中の図は、第１のパッチ１００１、第２のパッチ１００２および第３のパッチ１００３のパッチ範囲を示している。各パッチは２つのパッチ境界の間に延び、第１のパッチには低い方のパッチ境界１００１ａおよび高い方のパッチ境界１００１ｂがある。１００１ｂで示されている第１のパッチの高い方の境界は、１００２ａで示されている第２のパッチの低い方の境界に対応する。したがって、参照番号１００１ｂおよび１００２ａは、実際には１つの同じ周波数のことを指している。第２のパッチの高い方のパッチ境界１００２ｂは、第３のパッチの低い方のパッチ境界１００３ａに対応し、第３のパッチはまた、高い方のパッチ境界１００３ｂを有する。個々のパッチ間には極が存在しないことが好ましいが、これは究極的な要件ではない。図１０において、パッチ境界１００１ｂ，１００２ｂは、周波数帯域１００の対応する境界と一致していないが、ある周波数帯域１０１内であることが分かる。図１０の低い側の線は、整合した境界１００１ｃを有する異なるパッチを示している。ここでは、第１のパッチの上側境界１００１ｃの整合は、自動的に第２のパッチの下側境界１００２ｃの整合を意味し、その逆も同様である。さらに、第２のパッチ１００２ｄの上側境界は、図１０の第１の線における周波数帯域１０１の下側周波数境界と整合し、したがって、１００３ｃで示される第３のパッチの下側境界もまた自動的に整合することが示されている。

図１０の実施形態において、整合した境界は、一致している周波数帯域１０１の下側周波数境界に整合していることが示されているが、整合はまた、異なる方向で行ってもよい。すなわち、パッチ境界１００１ｃ，１００２ｃは、帯域１０１の下側周波数境界ではなく、上側周波数境界に整合してもよい。実際の実施によっては、これらの可能性うちの１つを適用してもよいし、異なるパッチに対する両方の可能性の混合もあり得る。

図１０（ｂ）に示すように、異なる転換次数によって生成される信号がスケール係数帯域に整合していない場合は、スペクトルエネルギーが転換帯域境界の近傍で大幅に変化するとアーチファクトが生じ得る。というのは、包絡線調整プロセスは、１つのスケール係数帯域内でスペクトル構成を維持するからである。したがって、本発明は、図１０（ｃ）に示すように転換された信号の周波数境界をスケール係数帯域の境界に適合させる。図１０（ｃ）の転換次数が２および３（Ｔ＝２，３）によって生成される信号の上側境界を図１０（ｂ）に比べて少し低くし、転換帯域の周波数境界を既存のスケール係数帯域境界に整合させる。

不整合の境界を用いるときのアーチファクトの可能性を示す実際の手法を図１１に示す。図１１（ａ）は、ここでもスケール係数帯域境界を示す。図１１（ｂ）は、コア復号基本帯域信号とともに転換次数Ｔ＝２，３，４の調整されていないＨＦＲ生成信号を示す。図１１（ｃ）は、平らな目標包絡線が想定されたときの包絡線調整された信号を示す。斜め格子模様領域を有するブロックは、出力信号において異常の原因となり得る高い帯域内エネルギー変化を有するスケール係数帯域を表している。

図１２は、図１１の手法を示すが、今回は整合した境界を用いている。図１２（ａ）は、スケール係数帯域境界を示し、図１２（ｂ）は、コア復号基本帯域信号とともに転換次数Ｔ＝２、３、４の調整されていないＨＦＲ生成信号を示し、図１１（ｃ）と同様に、図１２（ｃ）は、平らな目標包絡線が想定されたときの包絡線調整された信号を示す。この図から分かるように、転換信号帯域の不整合による高い帯域内エネルギー変化を有するスケール係数帯域がないので、アーチファクトの可能性が低下している。

図２５ａは、好ましい実施形態によるパッチ境界計算器２３０２およびパッチャーの実施ならびに帯域幅拡張手法内でのこれらの要素の位置の概観を示す。具体的には、低域データ２３００およびパラメトリックデータ２３０２を受信する入力インタフェース２５００が設けられている。パラメトリックデータは、例えば、参照によりその全体が本明細書に組み入れられるISO/IEC 14496-3: 2009、特に第4.6.18節「ＳＢＲツール」である帯域幅拡張に関連した節に関する文献から公知であるような帯域幅拡張データであってもよい。第4.6.18節において特に重要なのは、第4.6.18.3.2節「周波数帯域表」であり、特にいくつかの周波数表ｆ_master、ｆ_TableHigh、ｆ_TableLow、ｆ_{Table Noise}、およびｆ_TableLimの計算である。特に、「スタンダード」の第4.6.18.3.2.1節は、マスター周波数帯域表の計算を定義し、第4.6.18.3.2.2節は、マスター周波数帯域表から導出された周波数帯域表の計算を定義し、特にどのようにｆ_TableHigh、ｆ_TableLow、およびｆ_{Table Noise}が計算されるかを表している。第4.6.18.3.2.3節は、リミッタ周波数帯域表の計算を定義している。

低分解能周波数表ｆ_TableLowは、低分解能パラメトリックデータ用であり、高分解能周波数表ｆ_TableHighは、高分解能パラメトリックデータ用であり、これらはいずれも、上記のスタンダードに記載されるように、ＭＰＥＧ−４ ＳＢＲツールの場合に可能であり、パラメトリックデータが低分解能パラメトリックデータであるのか、または高分解能パラメトリックデータであるのかは、エンコーダ実施に依る。入力インタフェース２５００が、パラメトリックデータが低分解能データであるのか、高分解能データであるのかを判断し、この情報を周波数表計算器２５０１に与える。周波数表計算器は、それからマスタ表を計算するか、一般に高分解能表２５０２および低分解能表２５０３を導出し、それをリミッタ帯域計算器２５０５をさらに含むかまたは協働するパッチ境界計算器コア２５０４に与える。要素２５０４および２５０５は、整合した合成パッチ境界２５０６および合成範囲に関連した対応するリミッタ帯域境界を生成する。この情報２５０６は、供給源低域計算器２５０７に与えられ、供給源帯域計算器２５０７は、対応する転換係数とともに整合した合成パッチ境界２５０６が、例えば、パッチャとしての高調波転換器２５０８を用いてパッチングした後に得られるように、あるパッチのための低帯域オーディオ信号の供給源範囲を計算する。

特に、高調波転換器２５０８は、ＤＦＴに基づくパッチングアルゴリズムまたはＱＭＦに基づくパッチングアルゴリズムのような異なるパッチングアルゴリズムを行ってもよい。高調波転換器２５０８は、ＱＭＦに基づく高調波転換器の実施形態のための図２６および２７の場合に記載されるボコーダ式処理を行うように実施してもよいが、ボコーダ式構成において高周波数部分を生成する目的のためのＤＦＴに基づく転換器のような他の転換器動作を用いてもよい。ＤＦＴに基づく転換器では、供給源帯域計算器が低周波数範囲のための周波数窓を計算する。ＱＭＦに基づく実施では、供給源帯域計算器２５０７が各パッチの供給源範囲の所要のＱＭＦ帯域を計算する。供給源範囲は、低帯域オーディオデータ２３００によって規定され、このデータは典型的にエンコード形式で与えられ、入力インタフェース２５００によってコア復号器２５０９に送られる。コア復号器２５０９は、その出力データを、ＱＭＦ実施またはＤＦＴ実施であり得る分析フィルタバンク２５１０に供給する。ＱＭＦ実施では、分析フィルタバンク２５１０は、３２のフィルタバンクチャネルを有してもよく、これらの３２のフィルタバンクチャネルは「最大」の供給源範囲を規定し、それから、高調波転換器２５０８は、これらの３２の帯域から、供給源帯域計算器２５０７によって規定されるような調整された供給源範囲を構成する実際の帯域を選択し、これにより、例えば、図２３の表の周波数値が、合成フィルタバンクサブバンドインデックスに変換されるとすれば、図２３の表の調整された供給源範囲データを満たす。ＤＦＴに基づく転換器に対して同様の手順を行うことができる。ＤＦＴに基づく転換器は、低周波数範囲では各パッチごとにある窓を受け取り、そしてその窓をＤＦＴブロック２５１０に転送し、ブロック２５０４によって計算された調整または整合された合成パッチ境界に応じて供給源範囲を選択する。

転換器２５０８によって出力された転換された信号２５０９は、包絡線調整器および利得リミッタ２５１０に送られ、この包絡線調整器および利得リミッタ２５１０は、高分解能表２５０２および低分解能表２５０３、調整されたリミッタ帯域２５１１および当然ながらパラメトリックデータ２３０２を入力として受ける。そして、線２５１２上の包絡線調整高帯域は、合成フィルタバンク２５１４に入力され、合成フィルタバンク２５１４は、典型的にコア復号器２５０９による出力としての形式で低帯域を追加的に受信する。両方の寄与が合成フィルタバンク２５１４によって混合され、最終的に線２５１５において高周波数再構成信号を得る。

高帯域と低帯域との混合は、異なる方法で行われてもよいことは明らかである。例えば、周波数領域においてではなく、時間領域において混合してもよい。さらに、混合の実施に関係なく、混合と包絡線調整の順番を変えてもよいことは明らかである。すなわち、ある周波数範囲の包絡線調整を混合の後に行ってもよいし、あるいは、混合の前に行ってもよい。後者の場合が図２５ａに示されている。さらに、包絡線調整は、転換器２５０８における転換の前に行ってもよいので、転換器２５０８と包絡線調整２５１０の順番が、１つの実施形態としての図２５ａに示すものと異なっていてもよい。

ブロック２５０８の場合にすでに概説したように、ＤＦＴに基づく高調波転換器またはＱＭＦに基づく高調波転換器を実施形態に適用することができる。どちらのアルゴリズムも位相ボコーダ周波数拡散に依る。コア符号器時間領域信号は、修正された位相ボコーダ構造を用いて帯域幅拡張される。帯域幅拡張は、共通の分析/合成変換段階において幾つかの転換係数（ｔ=２，３，４）を用いて、時間伸長、次に間引き、すなわち、転換によって行われる。転換器の出力信号は、入力信号の２倍のサンプリングレートを有する。すなわち、転換係数が２では、信号は時間伸長されるが間引きされず、入力信号と持続時間は等しいが、サンプリング周波数が２倍の信号を効率的に生成するということである。組み合わされたシステムは、間引き係数がそれぞれ１，１．５，２である２，３，４の転換係数を用いる３つの平行な転換器であると解釈され得る。複雑性を低減させるために、図２７の場合に後述するような補間によって係数３および４の転換器（３次および４次転換器）を係数２の転換器（２次転換器）に組み入れる。

各フレームでは、過渡応答を向上させるために適用され得るか、またはオフにされ得る信号適合周波数領域オーバサンプリングによって、転換器の名目「全体の大きさ」変換サイズを決定する。この値は図２４ａにFFTSizeSynとして示されている。そして、窓関数処理された入力サンプルのブロックを変換するのであるが、そこでは、ブロックの抽出のために、ずっと少ない数のサンプルのブロック進行値または分析ストライド値がブロックの有意の重複を有するように行われる。抽出されたブロックは、信号適合周波数領域オーバサンプリング制御信号に依存してＤＦＴによって周波数領域に変換される。複素数値化されたＤＦＴ係数の位相は、用いられる３つの転換係数によって修正される。２次転換では、位相は２倍になり、３次転換および４次転換では、位相は３倍、４倍になるか、または２つの連続したＤＦＴ係数から補間される。修正された係数は次に、ＤＦＴによって時間領域に戻され、窓関数処理されて、入力ストライドとは異なる出力ストライドを用いて重複加算によって混成される。そして、図２４ａに示されたアルゴリズムを用いてパッチ境界を計算してアレイxOverBinに書き込む。そして、そのパッチ境界を用いて時間領域変換窓を計算してＤＦＴ転換器を適用する。ＱＭＦ転換器供給源範囲では、チャネル番号を合成範囲において計算されたパッチ境界に基づき計算する。好ましくは、実際、これは、転換されたスペクトルを生成するための制御情報としてこれが必要であるので転換以前に行われる。

次に、図２４ａに示される擬似符号について、パッチ境界計算器の１つの好ましい実施を示す図２５ｂのフローチャートを参照して説明する。ステップ２５２０において、周波数表を高または低分解能表などの入力データに基づき計算する。したがって、ブロック２５２０は、図２５ａのブロック２５０１に相当する。そして、ステップ２５２２において、目標合成パッチ境界を転換係数に基づき決定する。特に、目標合成パッチ境界は、図２４ａのパッチ値の乗算の結果およびf_TableLow(0)に相当する。ここで、f_TableLow(0)は、帯域幅拡張範囲の第１のチャネルまたはビン、すなわち、その下では、入力オーディオデータ２３００が高分解能で与えられるクロスオーバー周波数より上の第１の帯域を示す。ステップ２５２４において目標合成パッチ境界が整合範囲内の低分解能表のエントリと合致するかどうか調べる。特に、例えば、図２４ａの２５２５に示すような３の整合範囲が好ましい。しかし、５以下の範囲などの他の範囲も有用である。ステップ２５２４において、目標が低分解能表の中のエントリに合致すると判断されると、この合致したエントリを目標パッチ境界に代わる新たなパッチ境界とする。しかし、整合範囲内にエントリが存在しないと判断されると、ステップ２５２６に進み、図２４ａの２５２７で示されるように高分解能表について同じ検査を行う。ステップ２５２６において、整合範囲内に表エントリが存在すると判断されると、この合致したエントリを目標合成パッチ境界に代わる新たなパッチ境界とする。しかし、ステップ２５２６において、高分解能表においても整合範囲内に値が存在しないと判断されると、ステップ２５２８に進み、整合なしで目標合成境界を用いる。これもまた図２４ａの２５２９で示されている。したがって、ステップ２５２８は、帯域幅拡張復号器がループにならないが、周波数表と目標範囲とに関して非常に特定的で問題のある選択がある場合でも解決に至ることがどんな場合でも保証されるような予備的なステップとみなすことができる。

図２４ａの擬似符号に関して、２５３１の符号線が、すべての変数が有用な範囲であることを確実にするためにある処理を行うことが概説されている。さらに、目標が整合範囲内の低分解能表のエントリに合致するかどうかの検査は、図２５bのブロック２５２２近傍および線２５２５、２５２７に示された積によって計算された目標合成パッチ境界と、線２５２５ではパラメータsfbL、線２５２７では パラメータsfbH（sfb =スケール係数帯域）によって規定された実際の表のエントリとの差（線２５２５、２５２７）の計算として行われる。他の検査動作も可能であることは言うまでもないことである。

さらに、整合範囲内での合致を整合範囲が予め決められた箇所で探すとは限らない。そうではなくて、表での検索は、最もよく合致した表エントリ、すなわち、２つの目標周波数値間の差が小さいか大きいかに関係なく、目標周波数値に最も近い表のエントリを見つけ出すように行われ得る。

他の実施は、転換係数ＴでのＨＦＲ生成信号の（基本的な）帯域幅限界を超えない最も高い境界に対してf_TableLowまたはf_TableHighなどの表内での検索に関する。そして、この得られた最も高い境界を転換係数ＴのＨＦＲ生成信号の周波数限界として用いる。この実施において、図２５bのボックス２５２２近傍に示された目標計算は必要ない。

図１３は、例えば、ＳＢＲ（ISO/IEC 14496-3:2009,「情報技術 -オーディオビジュアル対象物の符号化、第３部：オーディオ」）に記載されるようなＨＦＲリミッタ帯域境界の、ＨＦＲ増強符号器における高調波パッチへの適用を示している。リミッタは、スケール係数帯域よりずっと粗い分解能を有する周波数帯域において動作するが、動作の原理はほとんど同じである。リミッタにおいて、リミッタ帯域のそれぞれについての平均の利得値を計算する。スケール係数帯域のそれぞれについて計算された個々の利得値、すなわち、包絡線利得値は、リミッタの平均利得値を、ある乗算係数より多く超えることが許されない。リミッタの目的は、スケール係数帯域利得の大きな変化を各リミッタ帯域内に抑えることである。転換器により生成された帯域をスケール係数帯域に適用すれば、帯域内エネルギーの小さな変化は、確実にスケール係数帯域内になるが、本発明によると、転換器帯域境界にリミッタ帯域境界を適用することにより、転換器で処理された帯域間の大きなスケールエネルギー差に対応する。図１３(ａ)は、転換次数Ｔ＝２，３，４のＨＦＲ生成信号の周波数限界を示している。異なる転換された信号のエネルギーレベルは実質的に異なり得る。図１３(ｂ)は、典型的に対数周波数目盛での一定の幅を有するリミッタの周波数帯域を示している。転換器周波数帯域境界は、一定のリミッタ境界として加算され、残りのリミッタ境界は、例えば、図１３（c）に示されるように、できるだけ対数関係を維持するように再計算される。

さらなる実施形態は、図２１に示すような混合されたパッチングスキームを用いる。ここでは、時間ブロック内での混合されたパッチング方法が行われる。ＨＦスペクトルの異なる領域を全部網羅するために、ＢＷＥはいくつかのパッチを含む。ＨＢＥにおいて、より高いパッチは位相ボコーダ内で高い転換係数を必要とし、このため過渡の知覚品質が特に悪化する。

このように、実施形態は、好ましくは演算が効率的なＳＳＢコピーアップパッチングによって上側スペクトル領域を占める高次のパッチと、好ましくはＨＢＥパッチングによって高調波構造の保存が望ましい中央のスペクトル領域を網羅する低次のパッチとを生成する。パッチング方法の個々の混合は、経時において静的であってもよいし、また、好ましくは、ビットストリームに信号化され得る。

コピーアップ動作では、図２１に示すように低周波数情報を用い得る。あるいは、ＨＢＥ方法を用いて生成されたパッチからのデータを図２１に示すように用い得る。後者は、高いパッチほど密度の低い音調構造となる。これら２つの例の他にも、コピーアップとＨＢＥとのあらゆる組み合わせが考えられる。

提案された概念の利点は、
過渡応答の知覚品質の改善
演算の複雑性の低減である。

図２６は、帯域幅拡張のための好ましい処理鎖を示す。ここでは、異なる処理動作がブロック１０２０ａ、１０２０bで示される非線形サブバンド処理内で行われる。ある実施において、帯域幅拡張された信号などの処理された時間領域信号の帯域選択処理が、合成フィルタバンク２３１１の前に存在する、サブバンド領域ではなく時間領域において行われる。

図２６は、さらなる実施形態による低帯域入力信号１０００から帯域幅拡張オーディオ信号を生成する装置を示している。この装置は、分析フィルタバンク１０１０、サブバンド式非線形サブバンドプロセッサ１０２０ａ，１０２０ｂ、続いて接続された包絡線調整器１０３０、または、一般に言う、例えば、パラメータライン１０４０で入力されるような高周波数再構成パラメータで動作する高周波数再構成プロセッサを備える。包絡線調整器、または一般に言う高周波数再構成プロセッサは、各サブバンドチャネルについての個々のサブバンド信号を処理し、各サブバンドチャネルについて処理されたサブバンド信号を合成フィルタバンク１０５０に入力する。合成フィルタバンク１０５０は、低帯域コア復号器信号のサブバンド表現を低チャネル入力信号として受信する。実施によっては、図２６における分析フィルタバンク１０１０の出力から低帯域を取り出すこともできる。転換されたサブバンド信号は、高周波数再構成を行う合成フィルタバンクのより高いフィルタバンクチャネルに供給される。

フィルタバンク１０５０は、最後に、転換係数２，３，４による帯域拡張を含む転換器出力信号を出力し、ブロック１０５０による出力信号はもはや、クロスオーバ周波数、すなわちＳＢＲまたはＨＦＲ生成信号成分の最も低い周波数に対応するコア符号器信号の最も高い周波数に帯域幅限定されない。図２６の分析フィルタバンク１０１０は、分析フィルタバンク２５１０に相当し、合成フィルタバンク１０５０は、図２５ａの合成フィルタバンク２５１４に相当し得る。特に、図２７の場合に説明したように、図２５ａのブロック２５０７で示した供給源帯域計算は、ブロック２５０４および２５０５によって計算された整合した合成パッチ境界およびリミッタ帯域境界を用いて、非成形サブバンドバンド処理１０２０ａ、１０２０ｂ内で行われる。

リミッタ周波数帯域表に関して特記すべきことは、リミッタ周波数帯域表は、ISO/IEC 14496-3: 2009, 4.6.18.3.2.3に規定されるようなビットストリーム要素bs_limiter_bandsによって信号化される、全体の再構成範囲に対し１つのリミッタ帯域、またはオクターブ当たりおよそ１．２，２または３の帯域を有するように構成し得るということである。帯域表は、高周波数生成器パッチに対応するさらなる帯域を保持していてもよい。表は、要素の数が帯域の数+１の数に等しい合成フィルタバンクサブバンドのインデックスを保持し得る。高調波転換が有効であるとき、リミッタバンド計算器は、パッチ境界計算器２５０４によって規定されたパッチ境界と一致するリミッタ帯域境界を確実に導入する。さらに、残りのリミッタ帯域境界は、パッチ境界のために、これらの「固定して」設定されたリミッタ帯域境界間で計算される。

図２６の実施形態において、分析フィルタバンクは、２倍のオーバサンプリングを行い、ある分析サブバンド間隔１０６０をもっている。合成フィルタバンク１０５０は、この実施形態においては、図２７において後述するような転換寄与に帰着する分析サブバンド間隔の２倍の大きさを有する合成サブバンド間隔１０７０を有する。

図２７は、図２６における非線形サブバンドプロセッサ１０２０ａの好適な実施形態についての詳細な実施を示している。図２７に示される回路は、単一のサブバンド信号１０８０を入力として受け取り、これは、３つの「分岐」において処理される。上側分岐１１０ａは、転換係数が２の転換用である。図２７において１１０ｂで示される中央の分岐は、転換係数が３の転換のためのものであり、図２７における下側の分岐は、転換係数が４の転換のためのものであり、参照番号１１０ｃにより示されている。しかし、分岐１１０ａについて図２７の各処理要素により得られる実際の転換は１にすぎない（すなわち、転換なし）。中央の分岐１１０ｂについて図２７に示される処理要素により得られる実際の転換は、１．５に等しく、下側分岐１１０ｃについての実際の転換は２に等しい。このことは、転換係数Ｔが示されている図２７の左側への括弧書きの番号により示されている。１．５および２の転換は、分岐１１０ｂ，１１０ｃにおける間引き操作および重複加算プロセッサによる時間伸長を有することにより得られる第１の転換寄与を表している。第２の寄与、すなわち、転換の２倍処理は、分析フィルタバンクのサブバンド間隔の２倍である合成サブバンド間隔１０７０を有する合成フィルタバンク１０５により得られる。従って、合成フィルタバンクは、合成サブバンド間隔の２倍をもつので、いずれの間引き機能も分岐１１０ａにおいては生じない。

しかし、１．５による転換を得るために、分岐１１０ｂは間引き機能をもっている。合成フィルタバンクが分析フィルタバンクの物理的サブバンド間隔の２倍を有するということにより、図２７の第２の分岐１１０ｂについてのブロック抽出器の左側に示すように転換係数３が得られる。

同様に、第３の分岐は、転換係数２に対応する間引き機能を有し、分析フィルタバンクおよび合成フィルタバンクにおける異なるサブバンド間隔の最終的な寄与は、最終的に第３の分岐１１０ｃの転換係数４に対応する。

特に、各分岐は、ブロック抽出器１２０ａ，１２０ｂ，１２０ｃを有し、これらブロック抽出器の各々は図１８のブロック抽出器１８００と同じようなものであってもよい。さらに、各分岐は、位相計算器１２２ａ，１２２ｂおよび１２２ｃを有し、この位相計算器は、図１８の位相計算器１８０４と同じようなものであってもよい。さらに、各分岐は位相調整器１２４ａ，１２４ｂ，１２４ｃを有し、この位相調整器は、図１８の位相調整器１８０６と同じようなものであってもよい。さらに、各分岐は、窓関数処理器１２６ａ，１２６ｂ，１２６ｃを有し、これら窓関数処理器の各々は図１８の窓関数処理器１８０２と同じようなものであってもよい。それにもかかわらず、窓関数処理器１２６ａ，１２６ｂ，１２６ｃは、いくつかの「ゼロパディング」とともに矩形窓を適用するようにも構成され得る。図１１の実施形態における各分岐１１０ａ，１１０ｂ，１１０ｃからの転換またはパッチ信号は、加算器１２８に入力され、加算器１２８は、各分岐からの寄与を現在のサブバンド信号に加算し、加算器１２８の出力でいわゆる転換ブロックを最終的に得る。次に、重複加算器１３０における重複加算処理が行われ、重複加算器１３０は、図１８の重複/加算ブロック１８０８と同じようなものであってもよい。重複加算器は、重複加算進行値２・ｅ（ここで、ｅは、ブロック抽出器１２０ａ、１２０ｂ、１２０ｃの重複進行値または「ストライド値」である）を適用し、重複加算器１３０は、図２７の実施形態においては、チャネルｋ、すなわち、現在観察されているサブバンドチャネルについての単一のサブバンド出力である転換された信号を出力する。図２７において示される処理は、各分析サブバンドについてまたはあるグループの分析サブバンドについて行われ、図２６において示されるように、転換されたサブバンド信号は、ブロック１０３によって処理された後で合成フィルタバンク１０５に入力されて、最終的に、ブロック１０５の出力で図２６において示される転換出力信号を得る。

ある実施形態においては、第１の転換分岐１１０ａのブロック抽出器１２０ａは、１０個のサブバンドサンプルを抽出し、その後、これら１０個のＱＭＦサンプルを極座標に変換する。そして、位相調整器１２４ａにより生成されるこの出力は、窓関数処理器１２６ａに送られ、窓関数処理器１２６ａは、ブロックの最初および最後の値についてのゼロにより出力を拡張する。この操作は、長さ１０の矩形窓での（合成）窓関数処理に等しい。分岐１１０ａにおけるブロック抽出器１２０ａは、間引きを行わない。したがって、ブロック抽出器によって抽出されたサンプルは、それらが抽出されたのと同じサンプル間隔で、抽出されたブロックにマッピングされる。

しかしながら、これは、分岐１１０ｂおよび１１０ｃについてのものとは異なる。ブロック抽出器１２０ｂは、好ましくは８つのサブバンドサンプルのブロックを抽出し、これらの８つのサブバンドサンプルを、抽出されたブロック内において、異なるサブバンドサンプル間隔にて分配する。抽出されたブロックについての非整数サブバンドサンプルエントリは、補間により得られ、こうして得られたＱＭＦサンプルは、補間サンプルとともに極座標に変換されて、位相調整器により処理される。次に、ここでも、窓関数処理器１２６ｂにおける窓関数処理が、最初の２つのサンプルと最後の２つのサンプルについてのゼロにより位相調整器１２４ｂにより出力されるブロックを拡張するために行われ、その処理は、長さ８の矩形窓での（合成）窓関数処理に等しい。

ブロック抽出器１２０ｃは、６個のサブバンドサンプルの時間範囲を持つブロックを抽出するよう構成され、間引き係数２の間引きを行い、ＱＭＦサンプルの極座標への変換を行い、そして、位相調整器１２４ｂにおいて再度操作を行い、その出力は、ここでは最初の３つのサブバンドサンプルおよび最後の３つのサブバンドサンプルについてのゼロによりここでも拡張される。この操作は、長さ６の矩形窓での（合成）窓関数処理と等しい。

各分岐の転換出力は、ついで加算器１２８により加算されて混成されたＱＭＦ出力を形成し、混成されたＱＭＦ出力は最終的にブロック１３０において重複加算を用いて重畳される。ここで、重複加算進行またはストライド値は、上述したようにブロック抽出器１２０a，１２０ｂ，１２０ｃのストライド値の２倍である。

図２７は、参照番号１０８がパッチングのために利用可能な分析サブバンド信号、すなわち、図２６の分析フィルタバンク１０１０によって出力される図２６に１０８０で示されている信号を示していると考えると、図２５ａの供給源帯域計算器２５０７によって行われる機能をさらに示している。分析サブバンド信号からの正しいサブバンドの選択、またはＤＦＴ転換器に関係する他の実施形態においては、正しい分析周波数窓の適用は、ブロック抽出器１２０ａ，１２０ｂ，１２０ｃによって行われる。このために、各パッチの第１のサブバンド信号、最後のサブバンド信号およびその間のサブバンド信号を示すパッチ境界が各転換分岐のブロック抽出器に設けられている。最終的に転換係数Ｔ＝２になる第１の分岐は、そのブロック抽出器１２０ａで、xOverQmf(0)とxOverQmf(1)との間のすべてのサブバンドインデックスを受け取り、そしてブロック抽出器１２０ａはこのように選択された分析サブバンドからブロックを抽出する。尚、パッチ境界は、ｋによって示される合成範囲のチャネルインデックスとして与えられ、分析帯域は、それらのサブバンドチャネルに関してｎによって示される。したがって、ｎは２ｋをＴで割ることによって計算されるので、したがって、分析帯域ｎのチャネル番号は、図２６の場合に記載したように合成フィルタバンクの周波数間隔が２倍であるために合成範囲のチャネル番号と同じである。

これは、第１のブロック抽出器１２０ａのための、または一般に第１の転換器分岐１１０ａのためのブロック１２０ａの上に示されている。そして、第２のパッチング分岐１１０ｂのため、ブロック抽出器は、xOverQmf(1)とxOverQmf(2)との間のすべての合成範囲チャネルインデックスを受け取る。特に、ブロック抽出器がさらなる処理のためにブロックを抽出しなければならない供給源範囲チャネルインデックスは、係数２／３でｋを乗算することにより、決定されたパッチ境界によって与えられた合成範囲チャネルインデックスから計算される。そして、この計算の整数部分が、分析チャネル番号ｎとされ、そこからブロック抽出器は、要素１２４ｂ，１２６ｂによってさらに処理されるべきブロックを抽出する。

第３の分岐１１０ｃでは、ここでもブロック抽出器１２０ｃがパッチ境界を受け取り、xOverQmf(2)からxOverQmf(3)までによって規定される合成帯域に対応するサブバンドからブロック抽出を行う。分析番号ｎは、２×ｋで計算され、これは、合成チャネル番号から分析チャネル番号を計算するための計算規則である。この場合、xOverQmfは、図２４ａの xOverBinに相当するが、図２４ａはＤＦＴに基づくパッチャに対応し、一方、xOverQmfは、QMFに基づくパッチャに相当することが概説される。 xOverQmf(i)を決定するための計算規則は図２４ａに示すのと同様に決定されるが、係数fftSizeSyn/128はxOverQmfの計算には必要ではない。

図２７の実施形態の分析範囲を計算するためのパッチ境界を決定する手順がまた図２４ｂに示されている。第１のステップ２６００において、転換係数２，３，４、および場合によってはさらに大きい数に対応するパッチのパッチ境界を図２４ａまたは図２５ａの場合に記載したように計算する。そして、ＤＦＴパッチャのための供給源範囲周波数領域窓またはＱＭＦパッチャのための供給源範囲サブバンドを、ブロック２６０２の右に示されている、ブロック１２０ａ，１２０ｂ，１２０ｃの場合に説明した式によって計算する。そして、パッチングは、ブロック２６０４に示すように、転換された信号を計算し、転換された信号を高周波数にマッピングすることにより行われ、転換された信号の計算は、特に図２７の手順に示されている。ここで、ブロック重複加算１３０によって出力された転換信号が、図２４ｂのブロック２６０４の手順によって生成されたパッチングの結果に相当する。

ある実施形態では、サブバンドブロックに基づく高調波転換を用いることによってオーディオ信号を復号する方法を含み、この方法は、Ｍバンド分析フィルタバンクによりコア復号信号のフィルタリングを行って、１セットのサブバンド信号を得ることと、該サブバンド信号の１サブセットを、少ない数のサブバンドを有するサブサンプリングされた合成フィルタバンクによって合成することと、サブサンプリングした供給源範囲信号を得ることとを含む。

ある実施形態は、ＨＦＲ生成信号のスペクトルバンド境界をパラメトリックプロセスに用いられたスペクトル境界に整合させる方法に関する。

ある実施形態は、ＨＦＲ生成信号のスペクトル境界を包絡線調整周波数表のスペクトル境界に整合させる方法に関し、この方法は、転換係数ＴのＨＦＲ生成信号の基本帯域幅限度を超えない包絡線調整周波数表において最も高い境界を検索することと、得られた最も高い境界を転換係数ＴのＨＦＲ生成信号の周波数限度として用いることとを含む。

ある実施形態は、リミッタツールのスペクトル境界をＨＦＲ生成信号のスペクトル境界に整合させる方法に関し、この方法は、ＨＦＲ生成信号の周波数境界をリミッタツールによって用いられる周波数バンド境界を作成するときに用いられる境界の表に加えることと、リミッタが、定数境界として加えられた周波数境界を用い、それに従って残りの境界を調整するようにさせることとを含む。

ある実施形態は、転換動作がサブバンド信号の時間ブロックで行われる低分解能フィルタバンク領域におけるいくつかの整数の転換次数を含むオーディオ信号の混成転換に関する。

さらなる実施形態は、２より大きい転換次数が次数２の転換環境に埋め込まれる混成転換に関する。

さらなる実施形態は、３より大きい転換次数が次数３の転換環境に埋め込まれ、４より低い転換次数が別に行われる混成転換に関する。

さらなる実施形態は、転換次数（例えば、２より大きい転換次数）は、コア符号化帯域幅を含む以前に計算された転換次数（すなわち特に、より低い次数）の複製によって作成される混成転換に関する。利用可能な転換次数とコア帯域幅との考え得るすべての組み合わせが制限なく可能である。

ある実施形態は、転換に必要な分析フィルタバンクの低減された数のために演算の複雑性が低下することに関する。

ある実施形態は、入力オーディオ信号からの帯域幅拡張信号を生成するための装置であって、第１のパッチ信号および第１のパッチ信号に比べて異なるパッチ周波数を有する第２のパッチ信号を得るために入力オーディオ信号をパッチングするパッチャであって、第１のパッチ信号は、第１のパッチングアルゴリズムを用いて生成され、第２のパッチ信号は、第２のパッチングアルゴリズムを用いて生成されるようなパッチャと、帯域幅拡張信号を得るために第１のパッチ信号および第２のパッチ信号を混成する混成器とを含む装置に関する。

さらなる実施形態は、第１のパッチングアルゴリズムが高調波パッチングアルゴリズムであり、第２のパッチングアルゴリズムが非高調波パッチングアルゴリズムである該装置に関する。

さらなる実施形態は、第１のパッチング周波数は、第２のパッチング周波数より低いか、またはその反対である上記の装置に関する。

さらなる実施形態は、入力信号がパッチング情報を含み、パッチャが、パッチング情報に応じて第１のパッチングアルゴリズムまたは第２のパッチングアルゴリズムを変化させるために入力信号から抽出されたパッチング情報により制御されるよう構成される上記の装置に関する。

さらなる実施形態は、パッチャが、オーディオ信号サンプルの後続ブロックをパッチするよう動作し、パッチャは、第１のパッチングアルゴリズムおよび第２のパッチングアルゴリズムをオーディオサンプルの同じブロックに適用するよう構成される上記の装置に関する。

さらなる実施形態は、パッチャが、任意の次数で、帯域幅拡張係数によって制御される間引き器、フィルタバンクおよびフィルタバンクサブバンド信号のための伸長器とを含む上記の装置に関する。

さらなる実施形態は、伸長器が、抽出進行値に応じて多くの重複ブロックを抽出するブロック抽出器と、窓関数または位相較正に基づいて各ブロックのサブバンドサンプリング値を調整する位相調整器または窓関数処理器と、抽出進行値よりも大きい重複進行値を用いて窓関数処理され、かつ、位相調整されたブロックの重複加算処理を行う重複／加算器とを含む上記の装置に関する。

さらなる実施形態は、オーディオ信号を帯域幅拡張するための装置であって、ダウンサンプリングされたサブバンド信号を得るためにオーディオ信号をフィルタリングするフィルタバンクと、異なる方法で異なるサブバンド信号を処理する複数の異なるサブバンドプロセッサであって、異なる伸長係数を用いて異なるサブバンド信号時間伸長動作を行うサブバンドプロセッサと、帯域幅拡張されたオーディオ信号を得るために複数の異なるサブバンドプロセッサによって出力される処理されたサブバンドを混合するための混合器とを含む装置に関する。

さらなる実施形態は、オーディオ信号をダウンサンプリングするための装置であって、変調器と、補間係数を用いる補間器と、複素低域通過フィルタと、補間係数より高い間引き係数を用いる間引き器とを含む装置に関する。

ある実施形態は、オーディオ信号をダウンサンプリングするための装置であって、オーディオ信号から複数のサブバンド信号を生成するための第１のフィルタバンクであって、サブバンド信号のサンプリングレートがオーディオ信号のサンプリングレートよりも低いような第１のフィルタバンクと、サンプルレート変換を行うための分析フィルタバンクが後に続く少なくとも１つの合成フィルタバンクであって、分析フィルタバンクのチャネル数と異なるチャネル数を有する合成フィルタバンクと、サンプルレート変換された信号を処理するための時間伸長プロセッサと、時間伸長された信号と低帯域信号または異なる時間伸長された信号とを混成するための混成器とを含む装置に関する。

さらなる実施形態は、非整数のダウンサンプリング係数によってオーディオ信号をダウンサンプリングするための装置であって、デジタルフィルタと、補間係数を有する補間器と、偶数および奇数のタップを有する多位相要素と、補間係数より大きな間引き係数を有する間引き器とを含み、間引き係数および補間係数は、補間係数と間引き係数の比が整数ではないように選択されるような装置に関する。

ある実施形態は、オーディオ信号を処理するための装置であって、ある係数分名目変換サイズより小さい合成変換サイズを有するコア復号器であって、名目変換サイズに対応する名目サンプリングレートより小さなサンプリングレートを有するコア復号器によって出力信号が生成されるよう構成されているコア復号器と、１つ以上のフィルタバンクを有するポストプロセッサと、１つ以上の時間伸長器と、混合器とを含み、１つ以上のフィルタバンクのフィルタバンクチャネルの数が、名目変換サイズによって決定された数より少ない装置に関する。

さらなる実施形態は、低帯域信号を処理するための装置であって、低帯域オーディオ信号を用いて多数のパッチを生成するパッチ生成器と、スケール係数帯域境界を有する隣接するスケール係数帯域に与えられたスケール係数を用いて信号の包絡線を調整する包絡線調整器とを含み、パッチ生成器は、隣接するパッチ間の境界が、周波数スケールにおける隣接するスケール係数間の境界と一致するように、多数のパッチを行うよう構成された装置に関する。

ある実施形態は、低帯域オーディオ信号を処理するための装置であって、低帯域オーディオ信号を用いて多数のパッチを生成するパッチ生成器と、リミッタ帯域境界を有する隣接するリミッタ帯域に制限することによって信号の包絡線調整値を制限する包絡線調整リミッタとを含み、パッチ生成器は、隣接するパッチ間の境界が、周波数スケールにおける隣接するリミッタ帯域間の境界と一致するように、多数のパッチを行うよう構成された装置に関する。

本発明の処理は、帯域幅拡張スキームに依るオーディオコーデックを増強するために有用である。特に、所与のビットレートでの最適な知覚品質が非常に重要であり、同時に処理力が制限されたリソースである場合に有用である。

最も適した応用は、オーディオ復号器であり、これは携帯式装置で実施され、したがって電池での電力供給で動作することが多い。

本発明の符号化されたオーディオ信号は、デジタル記憶媒体に保存することもできるし、また、インターネットのような、無線送信媒体または有線送信媒体などの送信媒体で送信することもできる。

実施要件によっては、本発明の実施形態は、ハードウェアまたはソフトウェアにおいて実施可能である。そのような実施は、それぞれの方法が実行されるようにプログラム可能なコンピュータシステムと協同する（または協同し得る）電子的に読み取り可能な制御信号を記憶させるデジタル記憶媒体、例えば、フロッピーディスク、ＤＶＤ、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、またはフラッシュメモリを用いて行うことが可能である。

本発明によるいくつかの実施形態は、ここで記述された方法のうちの１つを実行するように、プログラム可能なコンピュータシステムと協働し得る電子的に読み取り可能な制御信号を有するデータキャリアを含む。

一般的に、本発明の実施形態は、コンピュータプログラムがコンピュータで実行されるときに、方法のうちの１つを行う動作が可能なプログラムコードを持つコンピュータプログラム製品として実施することが可能である。プログラムコードは、例えば、マシン可読キャリアに記憶され得る。

他の実施形態は、マシン可読キャリアに記憶された、ここで記述された方法のうちの１つを行うコンピュータプログラムを含む。

言い換えると、発明の方法の実施形態は、それゆえにコンピュータプログラムがコンピュータで実行されるときに、ここで記述された方法のうちの１つを実行するためのプログラムコードを有するコンピュータプログラムである。

従って、本発明の方法のさらなる実施形態は、ここで記述された方法のうちの１つを実行するためのコンピュータプログラムを記憶して成るデータキャリア（デジタル記憶媒体、またはコンピュータ可読媒体）である。

従って、本発明の方法のさらなる実施形態は、ここで記載された方法のうちの１つを実行するためのコンピュータプログラムを表すデータストリームまたは信号列である。このデータストリーム、または、信号列は、例えば、インターネットを介したデータ通信接続を介して転送されるよう構成され得る。

さらなる実施形態は、ここで記述された方法のうちの１つを実行するよう構成されるかまたは適合する処理手段、例えば、コンピュータ、または、プログラム可能な論理デバイスを含む。

さらなる実施形態は、ここで記述された方法のうちの１つを実行するためのコンピュータプログラムがインストールされたコンピュータを含む。

いくつかの実施形態において、プログラム可能な論理デバイス（例えば、フィールドプログラマブルゲートアレイ）を、ここで記述された方法のうちの機能のいくつかまたはすべてを行うために使用し得る。いくつかの実施形態においては、フィールドプログラマブルゲートアレイは、ここで記述された方法のうちの１つを行うために、マイクロプロセッサと協同し得るものである。一般に、これらの方法は、好ましくは、何らかのハードウェア装置により行われる。

上述した実施形態は、単に本発明の原理を例示するに過ぎない。構成の修正及び変形、並びにここに記述された詳細は、当業者にとっては明白であると考える。従って、本発明は、ここでの実施形態の記述及び説明により表される特定の細部によるのではなく、付随する特許請求の範囲によってのみ限定されるべきであることが意図される。

［文献］
（１） M. Dietz, L. Liljeryd, K. Kjoerling および O. Kunz, “Spectral Band Replication, a novel approach in audio coding,”（スペクトル帯域複製、オーディオ符号化における新しい手法」）第１１２回ＡＥＳ会議、ミュンヘン、２００２年５月
（２） S. Meltzer, R. Boehm および F. Henn, “SBR enhanced audio codecs for digital broadcasting such as “Digital Radio Mondiale” (DRM),”（「全世界のデジタルラジオ」などのデジタル放送用ＳＢＲ増強オーディオコーデック）第１１２回 ＡＥＳ会議、 ミュンヘン、２００２年５月
（３） T. Ziegler, A. Ehret, P. Ekstrand および M. Lutzky, “Enhancing mp3 with SBR: Features and Capabilities of the new mp3PRO Algorithm,”（ＳＢＲでのｍｐ３増強：新しいｍｐ３ＰＲＯアルゴリズムの特徴と能力）第１１２回 ＡＥＳ会議、ミュンヘン、２００２年５月
（４） 国際規格ISO/IEC 14496-3:2001/FPDAM 1, “Bandwidth Extension,”（帯域幅拡張） ISO/IEC, 2002. Speech bandwidth extension method and apparatus（音声帯域幅拡張方法および装置）Vasu Iyengar ら
（５） E. Larsen, R. M. Aarts, および M. Danessis. Efficient high-frequency bandwidth extension of music and speech（音楽と音声の効率的な高周波数帯域幅拡張）第１１２回ＡＥＳ会議、ミュンヘン、ドイツ、２００２年５月
（６） R. M. Aarts, E. Larsen, および O. Ouweltjes. A unified approach to low- and high frequency bandwidth extension（低域および高域周波数帯域幅拡張の統一手法）第１１５回ＡＥＳ会議、ニューヨーク、ＵＳＡ、２００３年１０月.
（７） K. Kaeyhkoe. A Robust Wideband Enhancement for Narrowband Speech Signal. Research Report（狭帯域音声信号用ロバストな広帯域増強、リサーチリポート）, Helsinki University of Technology, Laboratory of Acoustics and Audio Signal Processing（音響およびオーディオ信号処理実験室）, ２００１年.
（８） E. Larsen および R. M. Aarts. Audio Bandwidth Extension - Application to psychoacoustics, Signal Processing and Loudspeaker Design（オーディオ帯域幅拡張−心理音響学、信号処理および拡声器設計への応用）. John Wiley & Sons, Ltd, ２００４年
（９） E. Larsen, R. M. Aarts, および M. Danessis. Efficient high-frequency bandwidth extension of music and speech（音楽と音声の効率的な高周波数帯域幅拡張）第１１２回ＡＥＳ会議、ミュンヘン、ドイツ、２００２年５月
（１０） J. Makhoul. Spectral Analysis of Speech by Linear Prediction（線形予測による音声のスペクトル分析、IEEE Transactions on Audio and Electroacoustics, AU-21(3), １９７３年６月.
（１１） 米国特許出願第08/951,029号, Ohmoriら. Audio band width extending system and method（オーディオ帯域幅拡張システムおよび方法）
（１２） 米国特許第6895375号, Malah, D & Cox, R. V.: System for bandwidth extension of Narrow-band speech（狭帯域音声の帯域幅拡張用システム）
（１３） Frederik Nagel, Sascha Disch, “A harmonic bandwidth extension method for audio codecs,”（オーディオコーデック用高調波帯域幅拡張方法）音響、音声および信号処理についての ＩＣＡＳＳＰ国際会議、IEEE CNF、台北、台湾、２００９年４月
（１４） Frederik Nagel, Sascha Disch, Nikolaus Rettelbach, “A phase vocoder driven bandwidth extension method with novel transient handling for audio codecs,”（オーディオコーデック用新しい過渡信号処理でのボコーダ駆動帯域拡張方法） 第１２６回ＡＥＳ会議、ミュンヘン、ドイツ、２００９年５月
（１５） M. Puckette. Phase-locked Vocoder. IEEE ASSP Conference on Applications of Signal Processing to Audio and Acoustics, Mohonk 1995."（位相ロックされたボコーダ、オーディオおよび音響への信号処理の応用に関するＩＥＥＥ ＡＳＳＰ会議、モホンク１９９５年）, Roebel, A.: Transient detection and preservation in the phase vocoder（位相ボコーダにおける過渡信号検出および保存）; citeseer.ist.psu.edu/679246.html
（１６） Laroche L., Dolson M.: “Improved phase vocoder timescale modification of audio"（オーディオの向上した位相ボコーダ時間スケール修正）、 IEEE Trans. Speech and Audio Processing, vol. 7, no. 3, pp. 323--332,
（１７） 米国特許第6549884号 Laroche, J. & Dolson, M.: Phase-vocoder pitch-shifting（位相ボコーダピッチシフティング）
（１８） Herre, J.; Faller, C.; Ertel, C.; Hilpert, J.; Hoelzer, A.; Spenger, C, “MP3 Surround: Efficient and Compatible Coding of Multi-Channel Audio,” （ＭＰ３サラウンド：多重チャネルオーディオの効率的で互換性のある符号化）、第１１６回 会議、Aud. Eng. Soc., ２００４年５月
（１９） Neuendorf, Max; Gournay, Philippe; Multrus, Markus; Lecomte, Jeremie; Bessette, Bruno; Geiger, Ralf; Bayer, Stefan; Fuchs, Guillaume; Hilpert, Johannes; Rettelbach, Nikolaus; Salami, Redwan; Schuller, Gerald; Lefebvre, Roch; Grill, Bernhard: Unified Speech and Audio Coding Scheme for High Quality at Lowbitrates（低ビットレートでの高品質のための統一音声およびオーディオ符号化スキーム）、ＩＣＡＳＳＰ 2009年、２００９年４月１９〜２４日、台北、台湾
（２０） Bayer, Stefan; Bessette, Bruno; Fuchs, Guillaume; Geiger, Ralf; Gournay, Philippe; Grill, Bernhard; Hilpert, Johannes; Lecomte, Jeremie; Lefebvre, Roch; Multrus, Markus; Nagel, Frederik; Neuendorf, Max; Rettelbach, Nikolaus; Robilliard, Julien; Salami, Redwan; Schuller, Gerald: A Novel Scheme for Low Bitrate Unified Speech and Audio Coding（低ビットレート統一音声およびオーディオ符号化のための新スキーム）、第１２６回ＡＥＳ会議、２００９年５月７日、ミュンヘン

Claims (13)

1. 高周波数部分（１０２）と低周波数部分（１０４）とを有する帯域幅拡張された信号を、高周波数部分（１０２）のためのパラメトリックデータ（２３０２）を用いて生成するためのオーディオ信号を処理する装置であって、該パラメトリックデータは、高周波数部分（１０２）の周波数帯域（１００，１０１）に関するものであり、該装置は、
   複数のパッチ境界のパッチ境界（１００１ｃ，１００２ｃ，１００２ｄ，１００３ｃ，１００３ｂ）を該パッチ境界が前記高周波数部分（１０２）の前記周波数帯域（１０１，１００）の周波数帯域境界と一致するように計算するためのパッチ境界計算器（２３０２）と、
   オーディオ信号（２３００）と前記パッチ境界（１００１ｃ，１００２ｃ，１００２ｂ，１００３ｃ，１００３ｂ）とを用いて、パッチングされた信号を生成するためのパッチャ（２３１２）とを含み、
   前記パッチ境界は、帯域幅拡張信号の前記高周波数部分（１０２）に関係し、
   前記パッチ境界計算器（２３０２）は、
   パラメトリックデータまたはさらなる構成入力データを用いて前記高周波数部分（１０２）の周波数帯域を規定する周波数表を計算し（２５２０）、
   パッチ境界と異なる目標合成パッチ境界を少なくとも１つの転換係数を用いて設定し（２５２２）、
   所定の一致範囲内の目標合成パッチ境界に一致する一致境界を有する一致周波数帯域を周波数表内で検索するか（２５２４）、または目標合成パッチ境界に最も近い周波数帯域境界を有する周波数帯域を検索し、
   一致周波数帯域をパッチ境界として選択（２５２５，２５２７）するように構成されており、
   一致周波数帯域は、所定の一致範囲内の目標合成パッチ境界に一致する一致境界を有するか、または目標合成パッチ境界に最も近い周波数帯域境界を有する、装置。
2. 前記パッチ境界計算器（２３０２）は、各パッチ境界が高周波数部分の周波数帯域の周波数帯域（１００，１０１）境界と一致するように３つの異なる転換係数に対してパッチ境界を計算するよう構成されており、
   前記パッチャ（２３１２）は、隣接するパッチ間の境界が２つの隣接する周波数帯域（１００，１０１）間の境界に一致するように３つの異なる転換係数（２３０８）を用いてパッチングされた信号を生成するよう構成されている、請求項１に記載の装置。
3. 前記パッチ境界計算器（２３０２）は、高周波数部分（１０２）に対応する合成周波数範囲においてパッチ境界を周波数境界（ｋ）として計算するよう構成されており、
   パッチャ（２３１２）は、転換係数およびパッチ境界を用いて低帯域部分（１０４）の周波数部分を選択するよう構成されている、請求項１または請求項２に記載の装置。
4. 前記パラメトリックデータ（２３０２）を用いてパッチングされた信号（２５０９）を調整するための高周波数再構成器（１０３０，２５１０）をさらに含み、該高周波数再構成器は、１つの周波数帯域または１つの周波数帯域グループに対して、パッチングされた信号（２５０９）の対応する周波数帯域または周波数帯域グループを重みづけるために用いられる利得係数を計算するように構成されている、請求項１から請求項３のいずれかに記載の装置。
5. 前記所定の一致範囲は、高周波数部分（１０２）の５つのＱＭＦ帯域または４０の周波数ビン以下の値に設定する、請求項１に記載の装置。
6. 前記パラメトリックデータは、スペクトル包絡線データ値を含み、各周波数帯域に対して別個のスペクトル包絡線データ値が与えられる装置であって、この装置は、パッチングされた信号の各帯域をその帯域のスペクトル包絡線データ値を用いてスペクトル包絡線調整をするための高周波数再構成器（２５１０，１０３０）をさらに含む、請求項１から請求項５のいずれかに記載の装置。
7. 前記パッチ境界計算器（２３０２）は、転換係数の高周波数再構成された信号の帯域幅限界を超えない周波数表において最も高い境界を検索し、得られた最も高い境界をパッチ境界として用いるよう構成されている、請求項１から請求項６のいずれかに記載の装置。
8. 前記パッチ境界計算器（２３０２）は、前記複数の異なる転換係数の各転換係数に対して異なる目標パッチ境界を受け取るよう構成されている、請求項７に記載の装置。
9. 前記パッチングされた信号を調整するための利得値を制限する際に用いられるリミッタ帯域を計算するためのリミッタ帯域計算器（２５０５）をさらに含む装置であって、この装置は、パッチ境界計算器（２３０２）によって決定された少なくとも１つのパッチ境界をリミッタ境界として設定するように構成されたリミッタ帯域計算器（２５０５）をさらに含む、請求項１から請求項８のいずれかに記載の装置。
10. 前記リミッタ帯域計算器（２５０５）は、更なるリミッタ境界が高周波数部分（１０２）の周波数帯域の周波数帯域境界と一致するように更なるリミッタ境界を計算するよう構成されている、請求項９に記載の装置。
11. 前記パッチャ（２３１２）は、異なる転換係数（２３０８）を用いて多数のパッチを生成するよう構成され、
    前記パッチ境界計算器（２３０２）は、パッチ境界が高周波数部分（１０２）の周波数帯域の異なる周波数帯域境界と一致するように前記多数のパッチの各パッチのパッチ境界を計算するよう構成されている装置であって、
    この装置は、スケール係数帯域に対して与えられたパラメトリックデータに含まれるスケール係数を用いて、パッチングの後に高周波数部分（１０２）の包絡線を調整するか、またはパッチングする前に高周波数部分を調整するための包絡線調整器（２５１０）をさらに含む、請求項１から請求項１０のいずれかに記載の装置。
12. 高周波数部分（１０２）と低周波数部分（１０４）とを有する帯域幅拡張された信号を、高周波数部分（１０２）のためのパラメトリックデータ（２３０２）を用いて生成するためのオーディオ信号を処理する方法であって、該パラメトリックデータは、高周波数部分（１０２）の周波数帯域（１００，１０１）に関するものであり、該方法は
    パッチ境界（１００１ｃ，１００２ｃ，１００２ｄ，１００３ｃ，１００３ｂ）を複数のパッチ境界のパッチ境界が高周波数部分（１０２）の周波数帯域（１０１，１００）の周波数帯域境界と一致するように計算するステップ（２３０２）と、
    オーディオ信号（２３００）と前記パッチ境界（１００１ｃ，１００２ｃ，１００２ｂ，１００３ｃ，１００３ｂ）とを用いて、パッチングされた信号を生成するステップであって、パッチ境界が帯域幅拡張された信号の高周波数部分（１０２）に関する生成ステップ（２３１２）とを含み、
    パッチ境界を計算するステップ（２３０２）は、
    パラメトリックデータまたはさらなる構成入力データを用いて前記高周波数部分（１０２）の周波数帯域を規定する周波数表を計算するステップ（２５２０）と、
    少なくとも１つの転換係数を用いてパッチ境界と異なる目標合成パッチ境界を設定するステップ（２５２２）と、
    所定の一致範囲内の目標合成パッチ境界に一致する一致境界を有する一致周波数帯域を周波数表内で検索するか、または目標合成パッチ境界に最も近い周波数帯域境界を有する周波数帯域を検索するステップ（２５２４）と、
    前記一致周波数帯域を前記パッチ境界として選択するステップであって、前記一致周波数帯域は、所定の一致範囲内の目標合成パッチ境界に一致する一致境界を有するか、または前記目標合成パッチ境界に最も近い周波数帯域境界を有する選択ステップ（２５２５，２５２７）とを含む、方法。
13. 請求項１２の方法をコンピュータに実行させるためのコンピュータプログラム。

Images