JP7201721B2 - 相関分離フィルタの適応制御のための方法および装置 - Google Patents

Description

本出願は空間オーディオのコーディングおよびレンダリングに関するものである。

空間オーディオすなわち３Ｄオーディオは一般的な表現であり、多種類のマルチチャネルオーディオ信号を表す。オーディオシーンは、キャプチャ方法およびレンダリング方法に依拠して空間オーディオフォーマットによって表現される。キャプチャ方法（マイクロフォン）によって定義される一般的な空間オーディオフォーマットは、たとえばステレオ、バイノーラル、アンビソニックスなどとして表される。空間オーディオレンダリングシステム（ヘッドフォンまたはラウドスピーカ）は、ステレオ（左チャネルおよび右チャネル２．０）またはより高度なマルチチャネルオーディオ信号（２．１、５．１、７．１など）を用いて空間オーディオシーンをレンダリングすることができる。

そのようなオーディオ信号の伝送および処理のための最近の技術は、エンドユーザに、より高い空間品質を伴う向上したオーディオ体感を与えることができ、多くの場合、より優れた了解度ならびに拡張現実感をもたらす。ＭＰＥＧサラウンドオーディオまたはＭＰＥＧ－Ｈ ３Ｄオーディオなどの空間オーディオコーディング技術は、たとえばインターネット上のストリーミングなどデータレートの制約がある用途に適応する、空間オーディオ信号のコンパクトな表現を生成する。しかしながら、データレート制約が強く、したがって空間オーディオ再生を向上するために復号されたオーディオチャネルの後処理も使用されるとき、空間オーディオ信号の伝送が制限される。一般に使用される技術は、たとえば復号されたモノ信号またはステレオ信号を、マルチチャネルオーディオ（５．１チャネル以上）へ、やみくもにアップミックスし得るものである。

空間オーディオのコーディング技術および処理技術は、空間オーディオシーンを効率的にレンダリングするために、マルチチャネルオーディオ信号の空間的特徴を利用する。詳細には、空間オーディオキャプチャのチャネル間の時間差およびレベル差は、空間における指向性サウンドの傾聴者の認識を特徴づける両耳の間のキューを近似するのに使用される。チャネル間の時間差およびレベル差でしか、聴覚システムが検知し得るもの（すなわち耳入口における両耳の間の時間差およびレベル差）の近似ができないので、チャネル間の時間差が知覚態様に関連することが非常に重要である。チャネル間の時間差およびレベル差（ＩＣＴＤおよびＩＣＬＤ）は一般にマルチチャネルオーディオ信号の指向性成分をモデル化するために使用され、両耳の間の相互相関（ＩＡＣＣ）をモデル化するチャネル間相互相関（ＩＣＣ）は音像の幅を特徴づけるために使用される。特に低周波数に関して、チャネル間位相差（ＩＣＰＤ）を用いてステレオ像もモデル化されることがある。

空間聴覚に関連するバイノーラルキューは、両耳の間のレベル差（ＩＬＤ）、両耳の間の時間差（ＩＴＤ）、および両耳の間のコヒーレンスまたは相関（ＩＣまたはＩＡＣＣ）と呼ばれることに留意されたい。一般的なマルチチャネル信号を考えるとき、チャネルに関係のある対応するキューは、チャネル間レベル差（ＩＣＬＤ）、チャネル間時間差（ＩＣＴＤ）、およびチャネル間コヒーレンスまたは相関（ＩＣＣ）である。空間オーディオ処理は、主として、取り込まれたオーディオチャネル上で動作するので、オーディオチャネルを指すとき、「Ｃ」が省略されて、ＩＴＤ、ＩＬＤおよびＩＣという用語が使用されることが多い。図１は、これらのパラメータの実例を与えるものである。図１では、空間オーディオ再生が５．１のサラウンドシステム（個別の５つ＋１つの低音効果）を用いて示されている。ＩＴＤ、ＩＬＤおよびＩＡＣＣに近似するために、オーディオチャネルから、空間におけるサウンドの人間の認識をモデル化するＩＣＴＤ、ＩＣＬＤおよびＩＣＣなどのチャネル間パラメータが抽出される。

図２には、パラメトリック空間オーディオ解析を採用する一般的なセットアップが示されている。図２は、パラメトリックステレオコーダの基本ブロック図を図示するものである。ステレオエンコーダ２０１にステレオ信号対が入力される。パラメータ抽出２０２は、ダウンミキサ２０４による、モノエンコーダ２０６を用いて符号化される２つの入力チャネルの単独チャネル表現を準備するダウンミックスプロセスを支援する。抽出されたパラメータはパラメータエンコーダ２０８によって符号化される。すなわち、ステレオチャネルはモノ信号２０７へとダウンミックスされ、これが符号化されて、空間像を記述する符号化されたパラメータ２０５とともにデコーダ２０３へ伝送される。通常、ステレオパラメータのうちいくつかは、等価レクタンギュラ帯域幅（ＥＲＢ）スケールなどの知覚周波数スケールにおいてスペクトルのサブバンドで表現される。デコーダは、復号されたモノ信号および伝送されたパラメータに基づいてステレオ合成を遂行する。すなわち、デコーダは、モノデコーダ２１０を使用して単独チャネルを再構成し、パラメトリック表現を使用してステレオチャネルを合成する。復号されたモノ信号および受け取られて符号化されたパラメータが、パラメータ合成ユニット２１２、またはパラメータを復号し、復号したパラメータを使用してステレオチャネルを合成し、合成したステレオ信号対を出力するプロセスに、入力される。

人の聴覚システム用に空間オーディオをレンダリングするために、符号化されたパラメータが使用されるので、知覚される品質を最大化するためには、チャネル間パラメータを抽出して符号化する上で知覚を考慮に入れることが重要である。

サイドチャネルは、明示的に符号化されないこともあるので、中央チャネルの相関分離性によって近似され得る。相関分離技術は、一般的には、微細構造の観点から入力信号に対してインコヒーレントな出力信号を生成するのに使用されるフィルタリング方法である。相関分離された信号のスペクトルエンベロープおよび時間エンベロープは、理想的なままであるものとする。相関分離フィルタは、一般的には入力信号の位相変化を伴うオールパスフィルタである。

実施形態の本質は、マルチチャネルオーディオデコーダで利用される非コヒーレント信号成分を表現するための相関分離器の特性を適応制御することである。適応は、伝送される性能指標と、時間が経つにつれて性能指標が変化する様子とに基づくものある。入力信号の特性を一致させるために、相関分離器の異なる態様が、同一の基本的方法を使用して適応制御され得る。相関分離特性の最も重要な態様の１つに相関分離器のフィルタ長の選択があり、発明を実施するための形態において説明される。相関分離器の他の態様は、相関分離された成分の強度または入力信号の特性を一致させるために適応制御する必要性があり得る他の態様の制御など、類似のやり方で適応制御されてよい。

相関分離フィルタの長さの適応のための方法が提供される。この方法は、制御パラメータを受け取るかまたは取得して、制御パラメータの平均値および変化を計算することを含む。制御パラメータの変化と平均値の比が計算され、現在の比に基づいて、最適の、または目標とされる相関分離フィルタの長さが計算される。次いで、最適の、または目標とされる相関分離フィルタの長さが、相関分離器に適用されるかまたは供給される。

第１の態様によれば、相関分離器を適応的に調節するためのオーディオ信号処理方法が提示される。この方法は、制御パラメータを取得して制御パラメータの平均値および変化を計算することを含む。制御パラメータの変化と平均値の比が計算され、前記比に基づいて相関分離パラメータが計算される。次いで、相関分離パラメータが相関分離器に供給される。

制御パラメータは性能指標でよい。性能指標は、推定された残響長さ、相関指標、空間幅の推定または予測利得から取得されてよい。

制御パラメータは、パラメトリックステレオエンコーダなどのエンコーダから受け取られるか、またはデコーダにおいて既に利用可能な情報から、もしくは利用可能な情報と伝送された情報（すなわちデコーダが受け取った情報）を組み合わせることによって取得される。

各周波数帯が最適な相関分離フィルタの長さを有し得るように、少なくとも２つのサブバンドにおいて相関分離フィルタの長さが適応され得る。これは、特定の周波数サブバンドまたは係数に対して、目標とされる長さよりも短いかまたは長いフィルタが使用され得ることを意味する。

この方法は、パラメトリックステレオデコーダまたはステレオオーディオコーデックによって遂行される。

第２の態様によれば、相関分離器を適応的に調節するための装置が提供される。この装置は、プロセッサと、前記プロセッサによって実行可能な命令を含む記憶装置とを備えることにより、制御パラメータを取得して制御パラメータの平均値および変化を計算するように機能する。この装置は、制御パラメータの変化と平均値の比を計算して、前記比に基づいて相関分離パラメータを計算するように機能する。この装置は、相関分離器に相関分離パラメータを供給するようにさらに機能する。

第３の態様によれば、命令を含むコンピュータプログラムが提供され、命令がプロセッサによって実行されたとき、装置が、第１の態様の方法のアクションを遂行する。

第４の態様によれば、非一時的コンピュータ可読媒体上に具現されたコンピュータプログラム製品が提供され、このコンピュータプログラム製品は、プロセッサに第１の態様のプロセスを遂行させるコンピュータ実行可能命令を含んでいるコンピュータコードを含む。

第５の態様によれば、相関分離器を適応的に調節するためのオーディオ信号処理方法が提供される。この方法は、制御パラメータを取得して、前記制御パラメータの変化に基づいて目標とされる相関分離パラメータを計算することを含む。

第６の態様によれば、第５の態様の方法を遂行するための手段を備える、マルチチャネルオーディオコーデックが提供される。

本発明の例示の実施形態のより十分な理解のために、次に、添付図面に関連して以下の説明が参照される。

５．１サラウンドシステムを用いる空間オーディオ再生の図示である。 パラメトリックステレオコーダの基本ブロック図の図示である。 ＩＡＣＣの関数としての聴覚オブジェクトの幅の図示である。 オーディオ信号の一例を示す図である。 一実施形態による方法を記述するブロック図である。 代替実施形態による方法を記述するブロック図である。 装置の一例を示す図である。 相関分離フィルタ長計算器を備えるデバイスを示す図である。

図面の図１～図８を参照することにより、本発明の例示の実施形態およびその可能な利点が理解される。

非コヒーレント信号成分を表現するための既存の解決策は時間不変相関分離フィルタに基づくものであり、復号されたマルチチャネルオーディオにおける非コヒーレント成分の量は、相関分離された信号成分と相関分離されていない信号成分を混合することによって制御される。

そのような時間不変の相関分離フィルタには、相関分離された信号が、聴覚シーンの変化によって影響を受ける入力信号の特性に適応しないという問題がある。たとえば、小さい残響の環境の単一音声源を録音する環境が、大きなコンサートホールにおける交響楽団の演奏をかなり長い残響を用いて録音するためのものと同一のフィルタからの相関分離された信号成分によって表現されるはずである。相関分離された成分の量が時間にわたって制御されたとしても、残響長さおよび相関分離の他の特性は制御されない。これによって、小さい残響の録音サウンドの環境が広すぎる一方で、大きい残響の録音の聴覚シーンが狭すぎるように知覚される。小さい残響の録音にとって望ましい短い残響長さは、多くの場合、より広い録音の録音に対して金属的かつ不自然な環境をもたらす。

提案される解決策は、復号されてレンダリングされたマルチチャネルオーディオ信号における非コヒーレント成分の表現において、非コヒーレントなオーディオが時間にわたって変化する様子を考慮に入れ、その情報を使用して、たとえば残響長さといった相関分離の特性を適応制御することにより、非コヒーレントなオーディオ信号の制御を改善するものである。

適応は、エンコーダにおける入力信号の信号特性に基づき得、デコーダに１つまたはいくつかの制御パラメータを伝送することによって制御される。あるいは、適応は、明示的制御パラメータを伝送することなく、デコーダにおいて既に利用可能な情報から、または利用可能な情報と伝送された情報（すなわちデコーダがエンコーダから受け取った情報）を組み合わせることによって制御され得る。

伝送される制御パラメータは、たとえば、２チャネル入力の場合のステレオ像といった空間特性のパラメトリック記述の推定された性能に基づくものでよい。すなわち、制御パラメータは性能指標でよい。性能指標は、推定された残響長さ、相関指標、空間幅の推定または予測利得から取得されてよい。

この解決策は、復号してレンダリングされたオーディオ信号における残響の、より優れた制御をもたらし、このことが、小さい残響のクリーンな音声信号または大きい残響の広いオーディオシーンを伴う広い音楽信号などの様々な信号タイプの、知覚される品質を改善する。

実施形態の本質は、マルチチャネルオーディオデコーダで利用される非コヒーレント信号成分を表現するための相関分離フィルタの長さを適応制御することである。適応は、伝送される性能指標と、時間が経つにつれて性能指標が変化する様子とに基づくものある。加えて、相関分離された成分の強度は、相関分離長さとして同一の制御パラメータに基づいて制御されてよい。

提案された解決策は、周波数帯の周波数係数に対する処理のために、フィルタバンクの周波数帯上の時間領域またはたとえば離散フーリエ変換（ＤＦＴ）を利用する変換領域におけるフレームまたはサンプルに対して動作し得るものである。１つの領域において遂行される演算は別の領域において同様に遂行され得、所与の実施形態は例示された領域に限定されない。

一実施形態では、提案された解決策は、たとえば図２に図示されたように、符号化されたダウンミックスチャネルおよび空間特性のパラメトリック記述を用いるステレオオーディオコーデック用に利用される。パラメトリック解析によって抽出され得る、チャネル間の非コヒーレント成分を記述する１つまたは複数のパラメータは、合成されたステレオオーディオにおける知覚される量の非コヒーレント成分を適応的に調節するのに使用され得る。図３に図示されているように、ＩＡＣＣすなわちチャネル間コヒーレンスは、空間聴覚のオブジェクトまたはシーンの知覚される幅に影響を及ぼすことになる。ＩＡＣＣが低下すると、ソース幅は、サウンドが２つの別個の無相関化されたオーディオソースとして知覚されるまで増大する。ステレオ録音において広い環境を表現し得るためには、チャネル間の非コヒーレント成分をデコーダにおいて合成する必要がある。

２つの入力チャネルＸおよびＹのダウンミックスチャネルは、

から取得され得、Ｍはダウンミックスチャネルであり、Ｓはサイドチャネルである。ダウンミックスマトリクスＵ_１は、Ｍチャネルのエネルギーが最大化されてＳチャネルのエネルギーが最小化されるように選択されてよい。ダウンミックス演算は、入力信号の位相または時間の調整を含み得る。パッシブなダウンミックスの一例は

によって与えられる。サイドチャネルＳは明示的には符号化され得なくとも、たとえば予測フィルタを使用することによってパラメトリックにモデル化され得、

は復号された中央チャネル

から予測され、デコーダにおいて空間合成用に使用される。この場合、たとえば予測フィルタ係数といった予測パラメータが符号化されてデコーダに伝送され得る。

サイドチャネルをモデル化するための別のやり方には、中央チャネルの相関分離によってサイドチャネルを近似するものがある。相関分離技術は、一般的には、微細構造の観点から入力信号に対してインコヒーレントな出力信号を生成するのに使用されるフィルタリング方法である。相関分離された信号のスペクトルエンベロープおよび時間エンベロープは、理想的なままであるものとする。相関分離フィルタは、一般的には入力信号の位相変化を伴うオールパスフィルタである。

この実施形態では、提案された解決策は、パラメトリックステレオデコーダにおいて空間合成用に使用される相関分離器を適応的に調節するために使用される。

符号化されたモノチャネルの空間レンダリング（アップミックス）

は、

によって取得され、Ｕ_２はアップミックスマトリクスであり、Ｄは、微細構造の観点において、

に対して理想的に無相関化される。アップミックスマトリクスは、合成された左チャネル

および右チャネル

における

の量およびＤを制御する。アップミックスは、符号化された残差信号などのさらなる信号成分も包含し得ることに留意されたい。

ＩＬＤおよびＩＣＣの伝送を用いるパラメトリックステレオにおいて利用されるアップミックスマトリクスの一例は、

によって与えられ、ここで

である。

合成されたチャネル間の相関の量を判定するために回転角αが使用され、

によって与えられる。

全体的な回転角βは

として取得される。

２つのチャネルｘ［ｎ］とｙ［ｎ］の間のＩＬＤは

によって与えられ、ｎ＝［１，．．．，Ｎ］は、Ｎ個のサンプルのフレームに対するサンプルインデックスである。

チャネル間コヒーレンスはチャネル間相互相関（ＩＣＣ）によって推定され得る。従来のＩＣＣの推定は相互相関関数（ＣＣＦ）であるｒ_ｘｙに依存し、ＣＣＦは２つの波形ｘ［ｎ］とｙ［ｎ］の間の類似性の指標であり、一般に、時間領域において
ｒ_ｘｙ［ｎ，τ］＝Ｅ［ｘ［ｎ］ｙ［ｎ＋τ］］ （１０）
として定義され、τはタイムラグであり、Ｅ［・］は期待値演算子である。長さＮの信号フレームについて、相互相関は、一般的には

として推定される。

次いで、ＩＣＣは、信号エネルギーによって次式のように正規化されるＣＣＦの最大値として取得される。

ステレオ像の記述において追加のパラメータが使用され得る。追加のパラメータは、たとえばチャネル間の位相差または時間差を反映し得るものである。

相関分離フィルタは、それ自体のインパルス応答ｈ_ｄ（ｎ）またはＤＦＴ領域における伝達関数Ｈ_ｄ（ｋ）によって規定され得、ｎはサンプルインデックスであり、ｋは周波数インデックスである。ＤＦＴ領域において、相関分離された信号Ｍ_ｄが

によって取得され、ｋは周波数係数インデックスである。時間領域の演算により、相関分離された信号が、フィルタリング

によって取得され、ｎはサンプルインデックスである。

一実施形態では、連続的に接続されたＡ個のオールパスフィルタに基づく残響器が

として取得され、ψ［ａ］はフィードバックの減衰を指定し、ｄ［ａ］はフィードバックの遅延を指定する。これは相関分離用に使用され得る残響器の単なる例であって代替残響器が存在し、たとえばわずかなサンプル遅延が利用され得る。間隔［０，１］において減衰係数ψ［ａ」が１よりも大きな値として選択されることがあり、不安定なフィルタをもたらすことになる。減衰係数ψ［ａ］＝０を選択することにより、フィルタはｄ［ａ］サンプルの遅延になる。その場合、フィルタ長は、残響器におけるフィルタのセットの中での最大の遅延ｄ［ａ］によって与えられることになる。

この例では２チャネルオーディオであるマルチチャネルオーディオでは、当然、信号特性に依拠してチャネル間で量が変化するコヒーレンスがある。減衰の効いた環境において録音された単一のスピーカについては、反響および残響が小量になってチャネル間のコヒーレンスが高くなるはずである。残響が増大するのにしたがって、一般にコヒーレンスが低下するはずである。これは、低ノイズの環境を伴うクリーンな音声信号については、相関分離フィルタの長さを、残響する環境における単一のスピーカの場合よりも恐らく短くするべきであることを意味する。相関分離器フィルタの長さは、生成される相関分離された信号の特性を制御する重要なパラメータの１つである。本発明の実施形態は、相関分離された信号の特性を入力信号の特性に一致させるために、相関分離された信号のレベル制御に関係のあるパラメータなど他のパラメータを適応制御するのにも使用され得る。

非コヒーレント信号成分のレンダリングのために残響器を利用することにより、遅延の量が、符号化されたオーディオの異なる空間的特徴に適応するように制御され得る。より一般的には、相関分離フィルタのインパルス応答の長さを制御することができる。前述のように、フィルタ長を制御することは、フィードバックのない残響器の遅延を制御することと等価であり得る。

一実施形態では、フィードバックのない残響器の遅延ｄ（この場合フィルタ長と等価である）は、次式のように制御パラメータｃ_１の関数ｆ_１（・）である。
ｄ＝ｆ_１（ｃ_１） （１６）

伝送される制御パラメータは、たとえば、２チャネル入力の場合のステレオ像といった空間特性のパラメトリック記述の推定された性能に基づくものでよい。性能指標ｒは、たとえば推定された残響長さ、相関指標、空間幅の推定または予測利得から取得されてよい。次いで、相関分離フィルタの長さｄはこの性能指標に基づいて制御され得、すなわちｃ_１は性能指標ｒである。適切な制御関数ｆ_１（・）の一例は、

よって与えられ、γ_１は、一般的には許容される最大の遅延をＤ_ｍａｘとする範囲［０，Ｄ_ｍａｘ］における同調パラメータであり、θ_１はｇ（ｒ）の上限である。ｇ（ｒ）＞θ_１であれば、たとえばｄ＝１といったより短い遅延が選択される。

θ_１は同調パラメータであり、たとえばθ_１＝７．０にセットされ得る。θ_１とｇ（ｒ）のダイナミクスの間には関係があり、別の実施形態ではたとえばθ_１＝０．２２となり得る。サブ関数ｇ（ｒ）は、ｒの変化と、時間にわたるｒの平均の間の比として規定され得る。この比は、性能指標の平均値と比較して性能指標の変化が大きいサウンドについてはより大きくなり、これは、一般的にはバックグランドノイズまたは残響が小さい希薄なサウンドの場合である。バックグランドノイズを伴う音楽または音声のような、より稠密なサウンドについては、この比はより小さくなり、そのためにサウンド分類器のように機能し、元の入力信号の非コヒーレントな成分の特性を分類する。この比は、

として計算され得、θ_ｍａｘは上限であってたとえば２００にセットされ、θ_ｍｉｎは下限であってたとえば０にセットされる。限度はたとえば同調パラメータθ_１に関係づけられてよく、たとえばθ_ｍａｘ＝１．５θ_１となる。

伝送される性能指標の平均値の推定は、フレームｉに関して、

として取得される。

第１のフレームｒ_ｍｅａｎ［ｉ－１］については、０に初期化されてよい。平滑化係数α_ｐｏｓおよびα_ｎｅｇは、ｒの増加方向の変化と減少方向の変化が異なるように選択されてよい。一例ではα_ｐｏｓ＝０．００５およびα_ｎｅｇ＝０．５は、平均推定が、時間にわたる平均性能指標の最小値の方へ大きく辿ることを意味する。別の実施形態では、正の平滑化係数と負の平滑化係数は、たとえばα_ｐｏｓ＝α_ｎｅｇ＝０．１と等しい。

同様に、性能指標変化の平滑化された推定は、

として取得され、ここで
ｒ_ｃ［ｉ］＝｜ｒ［ｉ］－ｒ_ｍｅａｎ［ｉ］｜ （２１）
である。

あるいは、ｒの分散は、

として推定され得る。

次いで、比ｇ（ｒ）が、標準偏差

を平均値ｒ_ｍｅａｎに関連づけてよく、すなわち

となり、または分散を２乗平均に関連づけてよく、すなわち

となる。

標準偏差の別の推定は、

によって与えられ得、こちらの方が簡単である。

平滑化係数β_ｐｏｓおよびβ_ｎｅｇは、ｒ_ｃの増加方向の変化と減少方向の変化が異なるように選択されてよい。一例ではβ_ｐｏｓ＝０．５およびβ_ｎｅｇ＝０．０５は、平均推定が、時間にわたる性能指標の変化における最大値の方へ大きく辿ることを意味する。別の実施形態では、正の平滑化係数と負の平滑化係数は、たとえばβ_ｐｏｓ＝β_ｎｅｇ＝０．１と等しい。

一般に、すべての所与の例について、現行フレームの更新値が比較される任意の閾値に関して、２つの平滑化係数の間の移行が行われ得る。すなわち、式（２５）の所与の例ではｒ_ｃ［ｉ］＞θ_{ｔｈｒｅｓ}である。

加えて、遅延を制御する比ｇ（ｒ）は、時間にわたって、

によって平滑化されてよく、平滑化係数α_ｓは同調係数であり、たとえば０．０１にセットされる。これは、フレームｉについて、式（１７）におけるｇ（ｒ［ｉ］）が、

によって置換されることを意味する。

別の実施形態では、比ｇ（ｒ）は、次式のように、性能指標ｃ_１に基づいて条件付きで平滑化される。

そのような関数の一例には

があり、この式で、平滑化パラメータは性能指標の関数である。たとえば

となる。

関数ｆ_{ｔｈｒｅｓ}は、使用される性能指標に依拠して、異なって選択されてよい。関数ｆ_{ｔｈｒｅｓ}は、たとえば平均、百分位数（たとえば中央値）、フレームもしくはサンプルのセットにわたる、または周波数サブバンドもしくは係数のセットにわたる、最小値もしくは最大値ｃ_１であり得、すなわち、たとえば
ｆ_{ｔｈｒｅｓ}（ｃ_１）＝ｍａｘ（ｃ_１［ｂ］） （３０）
であり、ｂ＝ｂ_０，．．．，ｂ_Ｎ－１はＮ個の周波数サブバンドのインデックスである。平滑化係数は、閾値θ_ｈｉｇｈ（たとえば０．６にセットされている）が超された、または超されていないとき、平滑化する量を制御し、正の更新および負の更新について等しく、または異なってよく、たとえばκ_{ｐｏｓ＿ｈｉｇｈ}＝０．０３、κ_{ｎｅｇ＿ｈｉｇｈ}＝０．０５、κ_{ｐｏｓ＿ｌｏｗ}＝０．１、κ_{ｎｅｇ＿ｌｏｗ}＝０．００１である。

アーチファクトを防止するために、サンプルまたはフレームの間で、取得される相関分離フィルタの長さの変化に対する追加の平滑化または制限が可能であることが注目され得る。加えて、相関分離のために利用されるフィルタ長のセットは、信号をミキシングするとき取得される異なる色づけの数を低減するために、制限されてよい。たとえば、比較的短いものと、比較的長いものとの、２つの異なる長さがあってよい。

一実施形態では、異なる長さｄ_１とｄ_２の２つの利用可能なフィルタのセットが使用される。目標とされるフィルタ長ｄはたとえば

として取得され、γ_１はたとえば
γ_１＝ｄ_２－ｄ_１＋δ （３２）
によって与えられる同調パラメータであり、δはたとえば２にセットされ得るオフセット項である。ここで、ｄ_２はｄ_１よりも大きいものと想定されている。目標のフィルタ長は制御パラメータであるが、異なる周波数については異なるフィルタ長または残響器遅延が利用され得ることが注目される。これは、特定の周波数サブバンドまたは係数に対して、目標とされる長さよりも短いかまたは長いフィルタが使用され得ることを意味する。

この場合、合成されたチャネル

および

における相関分離された信号Ｄの量を制御する相関分離フィルタ強度ｓは、同一の制御パラメータによって、この場合は性能指標ｃ_１≡ｒである１つの制御パラメータを用いて制御されてよい。

別の実施形態では、相関分離フィルタの長さの適応は、いくつかの、すなわち少なくとも２つのサブバンドにおいて、各周波数帯が最適な相関分離フィルタの長さを有し得るように行われる。

一実施形態では、残響器が式（１５）で表されるようなフィードバックを伴うフィルタのセットを使用する場合には、フィードバックの量ψ［ａ］も、遅延パラメータｄ［ａ］と類似のやり方で適応されてよい。そのような実施形態では、生成される環境の長さは、これらの両方のパラメータの組合せであり、したがって、適切な環境長さを達成するために、どちらも適応されなければならない。

さらに別の実施形態では、相関分離フィルタの長さまたは残響器の遅延ｄと、相関分離信号の強度ｓとは、２つ以上の異なる制御パラメータの関数、すなわち
ｄ＝ｆ_２（ｃ_２１，ｃ_２２，．．．） （３３）
ｓ＝ｆ_３（ｃ_３１，ｃ_３２，．．．） （３４）
として制御される。

さらに別の実施形態では、相関分離フィルタの長さおよび相関分離信号の強度は、復号されたオーディオ信号を解析することによって制御される。

加えて、残響長さは、過渡現象すなわち突然のエネルギー増加、または特別な特性を伴う他の信号に関して特別に制御されてよい。

時間が経つにつれてフィルタが変化するので、フレームまたはサンプルにわたる変化に対して何かの処理を行うべきである。これは、たとえば補間またはオーバラップするフレームを伴う窓関数であり得る。補間は、それぞれ長さを制御された以前のフィルタと、いくつかのサンプルまたはフレームにわたる現在目標とされるフィルタ長との間で行われ得る。補間は、以前のフィルタの利得を連続的に減少させながら、サンプルまたはフレームにわたる現在目標とされる長さの現在のフィルタの利得を増加させることにより、達成され得る。別の実施形態では、目標とされるフィルタ長が利用可能でないとき、異なる長さの利用可能なフィルタを混合するように、目標とされるフィルタ長が、それぞれの利用可能なフィルタのフィルタ利得を制御する。長さｄ_１のフィルタｈ_１と長さｄ_２のフィルタｈ_２の２つの利用可能なフィルタの場合には、両フィルタの利得ｓ_１およびｓ_２は
ｓ_１＝ｆ_３（ｄ_１，ｄ_２，ｃ_１） （３５）
ｓ_２＝ｆ_４（ｄ_１，ｄ_２，ｃ_１） （３６）
として取得され得る。

フィルタ利得は、たとえばフィルタリングされた信号の等しいエネルギーを取得するために互いに依拠するものでもよく、すなわち、ｃ_１によって利得を制御されるｈ_１が基準フィルタである場合にはｓ_２＝ｆ（ｓ_１）である。たとえば、フィルタ利得ｓ_１は
ｓ_１＝（ｄ_２－ｄ）／（ｄ_２－ｄ_１） （３７）
として取得され得、ｄは範囲［ｄ_１，ｄ_２］において目標とされるフィルタ長であり、ｄ_２＞ｄ_１である。次いで、第２のフィルタ利得は、たとえば

として取得される。

次いで、フィルタリング演算が時間領域で遂行される場合には、フィルタリングされた信号ｍ_ｄ［ｎ］は、

として取得される。

相関分離信号の強度ｓが制御パラメータｃ_１によって制御される場合には、強度ｓを、以前のフレームの制御パラメータおよび相関分離フィルタの長さｄの関数ｆ_４（・）として制御するのが有益であり得る。すなわち
ｓ［ｉ］＝ｆ_４（ｄ，ｃ_１［ｉ］，ｃ_１［ｉ－１］，．．．，ｃ_１［ｉ－Ｎ_Ｍ］） （４０）
となる。

そのような関数の一例には
ｓ［ｉ］＝ｍｉｎ（β_４ｃ_１［ｉ－ｄ］，ｃ_１［ｉ－ｄ］（１－α_４）＋α_４ｃ_１［ｉ］） （４１）
があり、α_４およびβ_４は、たとえばα_４＝０．８もしくはα_４＝０．６、かつβ_４＝１．０といった同調パラメータである。α_４は一般的には範囲［０，１］にあるべきであり、β_４は１より大きくてもよい。

複数のフィルタを混合する場合には、フィルタリングされた信号ｍ_ｄ［ｎ］の、

とのアップミックスにおける強度ｓは、たとえば加重平均に基づいて取得され得、すなわち、２つのフィルタｈ_１およびｈ_２の場合には
ｓ［ｉ］＝ｍｉｎ（β_４ｗ［ｉ］，ｗ［ｉ］（１－α_４）＋α_４ｃ_１［ｉ］） （４２）
によって取得され得、ここで
ｗ［ｉ］＝ｓ_１ｃ_１［ｉ－ｄ_１］＋ｓ_２ｃ_１［ｉ－ｄ_２］ （４３）
である。

図４は、前半がクリーンな音声を含有し、後半がクラシック音楽を含有している信号の一例を示すものである。性能指標の平均値は、音楽を含有している後半が比較的大きい。性能指標の変化も後半の方が大きいが、性能指標の平均値と性能指標の変化の間の比は、後半の方がかなり小さい。性能指標の変化が性能指標の平均値よりもはるかに大きい信号は、拡散成分の量が連続して大きい信号であると考えられ、したがって、この例の相関分離フィルタの長さは、前半を後半よりも短くするべきである。グラフの信号は、より制御された挙動のために、すべて平滑化され、部分的に制限されていることに留意されたい。この場合、目標とされる相関分離フィルタの長さは、フレームの離散数で表現されているが、他の実施形態では連続的に変化してもよい。

図５および図６は、相関分離器を調節するための例示の方法を図示するものである。この方法は、制御パラメータを取得して制御パラメータの平均値および変化を計算することを含む。制御パラメータの変化と平均値の比が計算され、この比に基づいて相関分離パラメータが計算される。次いで、相関分離パラメータが相関分離器に供給される。

図５は、相関分離フィルタの長さの適応に包含されるステップを記述するものである。方法５００は、性能指標パラメータすなわち制御パラメータを受け取るブロック５０１で始まる。性能指標は、オーディオエンコーダにおいて計算されて、オーディオデコーダに伝送される。あるいは、制御パラメータは、復号器において既に利用可能な情報から、または利用可能な情報と伝送された情報を組み合わせることによって、取得される。最初に、ブロック５０２および５０４に示されるように、性能指標の平均値および変化が計算される。次いで、５０６で、性能指標の変化と平均値の比が計算される。この比に基づいて、５０８で、相関分離フィルタの最適の長さが計算される。最後に、５１０で、たとえば受信されたモノ信号から、相関分離された信号を取得するために、新規の相関分離フィルタの長さが適用される。

図６は、相関分離フィルタの長さの適応の別の実施形態を記述するものである。方法６００は、性能指標パラメータすなわち制御パラメータを受け取るブロック６０１で始まる。性能指標は、オーディオエンコーダにおいて計算されて、オーディオデコーダに伝送される。あるいは、制御パラメータは、復号器において既に利用可能な情報から、または利用可能な情報と伝送された情報を組み合わせることによって、取得される。最初に、ブロック６０２および６０４に示されるように、性能指標の平均値および変化が計算される。次いで、６０６で、性能指標の変化と平均値の比が計算される。この比に基づいて、６０８で、目標とされる相関分離フィルタの長さが計算される。最終ステップは、６１０で、新規の目標とされる相関分離フィルタの長さを相関分離器に供給することである。

この方法は、パラメトリックステレオデコーダまたはステレオオーディオコーデックによって遂行され得る。

図７は、図５および図６で説明された方法を遂行する装置の一例を示すものである。装置７００は、たとえば中央処理装置（ＣＰＵ）といったプロセッサ７１０と、たとえばコンピュータプログラム７３０といった命令を記憶するための記憶装置の形態のコンピュータプログラム製品７２０とを備え、コンピュータプログラム７３０は、記憶装置から取り出されてプロセッサ７１０によって実行されたとき、装置７００に、相関分離器を適応的に調節する実施形態に関係したプロセスを遂行させるものである。プロセッサ７１０は、記憶装置７２０に対して通信可能に結合されている。装置７００は、入力パラメータすなわち性能指標を受け取るための入力ノードと、相関分離フィルタの長さなどの処理されたパラメータを出力するための出力ノードとをさらに備え得る。入力ノードと出力ノードは、どちらもプロセッサ７１０に対して通信可能に結合されている。

装置７００は、図２の下側部分に示されたパラメトリックステレオデコーダなどのオーディオデコーダに備わっていてよい。装置７００はステレオオーディオコーデックに備わっていてよい。

図８は、相関分離フィルタ長計算器８０２を備えるデバイス８００を示すものである。デバイス８００は、たとえば音声デコーダまたはオーディオデコーダといったデコーダでよい。入力信号８０４は、空間像を記述する符号化されたパラメータを伴う符号化されたモノ信号である。入力パラメータは、性能指標などの制御パラメータを含み得る。出力信号８０６は、合成されたステレオ信号またはマルチチャネル信号、すなわち再構成されたオーディオ信号である。デバイス８００は、オーディオエンコーダから入力信号を受け取るための受信器（図示せず）をさらに備え得る。デバイス８００は、図２に示されたようなモノデコーダおよびパラメトリック合成ユニットをさらに備え得る。

一実施形態では、相関分離長計算器８０２は、性能指標パラメータすなわち制御パラメータを受け取るかまたは取得するための取得ユニットを備える。相関分離長計算器８０２は、性能指標の平均値および変化を計算するための第１の計算ユニットと、性能指標の変化と平均値の比を計算するための第２の計算ユニットと、目標とされる相関分離フィルタの長さを計算するための第３の計算ユニットとをさらに備える。相関分離長計算器８０２は、目標とされる相関分離フィルタの長さを相関分離ユニットに供給するための供給ユニットをさらに備え得る。

例として、ソフトウェアまたはコンピュータプログラム７３０は、コンピュータプログラム製品として実現されてよく、通常は、好ましくは不揮発性のコンピュータ可読記憶媒体であるコンピュータ可読媒体に担持されるかまたは記憶される。コンピュータ可読媒体が含み得る１つまたは複数の取外し可能または取外し不能な記憶デバイスは、それだけではないが、読取り専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、コンパクトディスク（ＣＤ）、デジタル多用途ディスク（ＤＶＤ）、ブルーレイディスク、ユニバーサルシリアルバス（ＵＳＢ）記憶装置、ハードディスクドライブ（ＨＤＤ）記憶装置、フラッシュメモリ、磁気テープ、または任意の他の従来の記憶デバイスを含み得る。

本発明の実施形態は、ソフトウェア、ハードウェア、アプリケーションロジック、あるいはソフトウェア、ハードウェアおよびアプリケーションロジックの組合せで実施され得る。ソフトウェア、アプリケーションロジックおよび／またはハードウェアは、記憶装置、マイクロプロセッサまたは中央処理装置上に存在してよい。必要に応じて、ソフトウェア、アプリケーションロジックおよび／またはハードウェアの一部が、ホスト装置または記憶装置、ホストのマイクロプロセッサまたは中央処理装置上に存在してよい。例示の実施形態では、アプリケーションロジック、ソフトウェアまたは命令セットは、様々な従来のコンピュータ可読媒体のうち任意のものに保存されている。

略語
ＩＬＤ／ＩＣＬＤ チャネル間レベル差
ＩＰＤ／ＩＣＰＤ チャネル間位相差
ＩＴＤ／ＩＣＴＤ チャネル間時間差
ＩＡＣＣ 両耳の間の相互相関
ＩＣＣ チャネル間相関
ＤＦＴ 離散フーリエ変換
ＣＣＦ 相互相関関数

Claims (13)

1. オーディオデコーダで実行される、相関分離器を適応的に調節するためのオーディオ信号処理方法（５００、６００）であって、
   制御パラメータを取得すること（５０１、６０１）と、
   前記制御パラメータの平均値を推定すること（５０２、６０２）と、
   前記制御パラメータの変化を推定すること（５０４、６０４）と、
   前記制御パラメータの前記変化と前記平均値の比を計算すること（５０６、６０６）と、
   前記比および２つの利用可能なフィルタの異なるフィルタ長に基づいて目標とされる相関分離フィルタの長さを計算すること（５０８、６０８）とを含む方法。
2. 前記計算された目標とされる相関分離フィルタの長さに基づいて、相関分離信号の強度を計算することをさらに含む、請求項１に記載の方法。
3. 前記制御パラメータが、推定された残響長さ、相関指標、空間幅の推定または予測利得から取得される、請求項１または２に記載の方法。
4. 相関分離フィルタの長さの適応が、少なくとも２つのサブバンドにおいて行われ、各サブバンドが適応された相関分離フィルタの長さを有する、請求項１から３のいずれか一項に記載の方法。
5. 前記相関分離フィルタの長さおよび前記相関分離信号の強度のうち少なくとも１つが、２つ以上の異なる制御パラメータの関数として制御される、請求項２から４のいずれか一項に記載の方法。
6. 相関分離器を適応的に調節するための装置（７００、８０２）であって、
   制御パラメータを取得し、
   前記制御パラメータの平均値を推定し、
   前記制御パラメータの変化を推定し、
   前記制御パラメータの前記変化と前記平均値の比を計算して、
   前記比および２つの利用可能なフィルタの異なるフィルタ長に基づいて目標とされる相関分離フィルタの長さを計算するように、適応された手段を備える、装置。
7. 前記計算された目標とされる相関分離フィルタの長さに基づいて、相関分離信号の強度を計算するようにさらに設定されている、請求項６に記載の装置。
8. 前記制御パラメータが、推定された残響長さ、相関指標、空間幅の推定または予測利得から取得される、請求項６または７に記載の装置。
9. 少なくとも２つのサブバンドにおいて相関分離フィルタの長さの適応を遂行するようにさらに設定されており、各サブバンドが適応された相関分離フィルタの長さを有する、請求項６から８のいずれか一項に記載の装置。
10. 前記相関分離フィルタの長さおよび前記相関分離信号の強度のうちの少なくとも１つを、２つ以上の異なる制御パラメータの関数として制御するようにさらに設定されている、請求項６から９のいずれか一項に記載の装置。
11. 請求項６に記載の装置を備えるパラメトリックステレオデコーダにおいて空間合成用に使用される相関分離器。
12. 請求項６に記載の装置を備えるステレオまたはマルチチャネルオーディオコーデック。
13. 請求項６に記載の装置を備えるパラメトリックステレオデコーダ。

Images