JP5208413B2 - 多重チャネル信号の処理方法 - Google Patents

Description

本発明は、音声信号の処理方法、更に特には多重チャネル音声信号の符号化方法に関する。

パラメータ性多重チャネル音声符号化器は、通常、入力信号の空間特性を説明するパラメータの群と組み合されたただ１つの全帯域幅音声チャネルを伝送する。例えば、図１は、２００２年１１月２０日に出願された欧州特許出願第０２０７９８１７．９号（代理人整理番号第ＰＨＮＬ０２１１５６）に記載の符号化器１０において実行されるステップを示す。

初めのステップＳ１において、入力信号Ｌ及びＲは、例えば時間窓によってサブバンド１０１に分割され、後に変換動作が続く。その後、ステップＳ２において、対応するサブバンド信号のレベル差（ＩＬＤ）が決定され、ステップＳ３において、対応するサブバンド信号の時間差（ＩＴＤ又はＩＰＤ）が決定され、ステップＳ４において、ＩＬＤ又はＩＴＤによって考慮され得ない波長の類似性又は非類似性の合計が記述される。決定されたパラメータは、後続のステップＳ５、Ｓ６及びＳ７において量子化される。

モノラル信号Ｓは、ステップＳ８において入力音声信号から生成され、最終的に符号化信号１０２は、ステップＳ９において前記モノラル信号及び決定された空間パラメータから生成される。

図２は、符号化器１０及び対応する復号化器２０２を有する符号化システムの概略的なブロック図を示す。合計信号Ｓ及び空間パラメータＰを有する符号化信号１０２は、復号化器２０２に通信される。信号１０２は、いずれかの適切な通信チャネル２０４を介して通信され得る。信号は、代わりに又は追加的に、符号化器から復号化器へ伝送され得るリムーバブル記憶媒体２１４に記憶され得る。

左及び右出力信号を生成する（復号化器２０２における）合成は、空間パラメータを合計信号に適用することによって実行される。故に、復号化器２０２は、復号化モジュール２１０を有し、復号化モジュール２１０は、ステップＳ９の逆の動作を実行し、符号化信号１０２からの合計信号Ｓ及びパラメータＰを抽出する。復号化器は、更に、合成モジュール２１１を有し、合成モジュール２１１は、合計（優勢な）信号及び空間パラメータからステレオ成分Ｌ及びＲを取り戻す。

課題の一つは、出力チャネルに復号化する際に知覚される音質が入力信号と正確に同じになるような手法で、ステップＳ８においてモノラル信号Ｓを生成することである。

この合計信号を生成するいくつかの方法は、以前に提案されていた。通常、これらは、モノラル信号を入力信号の線形結合として構成する。特定の技術は、以下のものを含む。
１．入力信号の単純な合計。例えば、２００１年、ＷＡＳＰＡＡ’０１、 Ｗｏｒｋｓｈｏｐ ｏｎ ａｐｐｌｉｃａｔｉｏｎｓ ｏｆ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｉｎｇ ｏｎ ａｕｄｉｏ ａｎｄ ａｃｏｕｓｔｉｃｓ、 Ｎｅｗ Ｐａｌｔｚ、 Ｎｅｗ Ｙｏｒｋにおける、Ｃ．Ｆａｌｌｅｒ及びＦ．Ｂａｕｍｇａｒｔｅによる、「Ｅｆｆｉｃｉｅｎｔ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｏｆ ｓｐａｔｉａｌ ａｕｄｉｏ ｕｓｉｎｇ ｐｅｒｃｅｐｔｕａｌ ｐａｒａｍｅｔｒｉｚａｔｉｏｎ」を参照。
２．主成分分析（ＰＣＡ）を用いた入力信号の重み付け合計。例えば、２００２年４月１０日出願の欧州特許出願第０２０７６４０８．０号（代理人整理番号第ＰＨＮＬ０２０２８４号）及び２００２年４月１０日出願の欧州特許出願第０２０７６４１０．６号（代理人整理番号第ＰＨＮＬ０２０２８３号）を参照。この方式において、合計の２乗された重みは１まで合計され、実際の値は入力信号における相対的エネルギに依存する。
３．入力信号間における時間領域相関に依存する重みを用いた重み付け合計。例えば、Ｄ．Ｓｉｎｈａによる欧州特許出願第ＥＰ１１０７２３２Ａ２号の「Ｊｏｉｎｔ ｓｔｅｒｅｏ ｃｏｄｉｎｇ ｏｆ ａｕｄｉｏ ｓｉｇｎａｌｓ」を参照。この方法において、重みは＋１に合計する一方で、実際の値は入力チャネルの相互相関に依存する。
４．Ｈｅｒｒｅ等による米国特許第５，７０１，３４６号は、広帯域信号の左、右及び中央チャネルのダウンミックスするエネルギ保存スケーリングを用いた重み付け合計を開示する。しかし、これは、周波数の関数として実行されない。

これらの方法は、全帯域幅信号に適用され得、すなわち各々の周波数帯域に関して個別の重みを有する全ての帯域フィルタ処理された信号に適用され得る。しかし、記載された全ての方法は、１つの欠点がある。ステレオ録音のおいて頻繁に起こる場合である相互相関が周波数依存である場合、復号化器の音のカラーレーション（すなわち知覚される音質の変化）が発生する。

このことは、以下のように説明され得る。＋１の相互相関を有する周波数帯域に関して、２つの入力信号の線形合計は信号振幅の線形の加算になり、合成エネルギを決定するためには加えられた信号を２乗する。（等しい振幅の２つの同位相信号に関して、これは、２倍の振幅になり、４倍のエネルギを有する。）相互相関が０である場合、線形合計は、２倍の振幅及び４倍のエネルギより少なくなる。更に、ある周波数帯域に関する相互関係の合計が−１になる場合、当該周波数帯域の信号成分は相殺され、何の信号も残らない。したがって、単純な合計に関して、合計信号の周波数帯域は、０と２つの入力信号の電力の４倍との間のエネルギ（電力）を有し得、入力信号の相対レベル及び相互相関に依存する。

本発明は、この問題を軽減することを試み、請求項１に記載の方法を提供する。

異なる周波数帯域が平均して同じ相関を有する傾向を持つ場合、斯様な合計によって時間にわたり生じられた歪みは、周波数スペクトルにわたり平均化され得ると予想し得る。しかし、多重チャネル信号において、低周波数成分は、高周波数成分より相関性がある傾向を有することが認識されていた。したがって、本発明を用いない場合、チャネルの周波数依存相関を考慮しない合計が、より高度に相関化され特に心理音響的に敏感な低周波数帯域のエネルギレベルを不当に押し上げ得ることが確認され得る。

本発明は、モノラル信号の周波数依存補正を提供し、補正因数は、入力信号の周波数依存相互相関及び相対レベルに依存する。この方法は、既知の合計方法によって導入される空間カラーレーションアーチファクトを低減し、各々の周波数帯域におけるエネルギ保存を保証する。

周波数依存補正は、初めに入力信号を合計し（線形又は重み付きのいずれかで合計され）、続いて補正フィルタを適用し、すなわち合計（又はその二乗値）に関する重みを必ず＋１にまで合計するものの相互相関に依存する値に合計するという制約を解放することによって、適用され得る。

本発明は、２つ又は更に２つの入力チャネルが結合されるような、いかなるシステムにも適用され得ることを特記されるべきである。

本発明の実施例は、添付の図面を参照にして以下に説明される。

本発明によると、特に、図１のＳ８に対応するステップを実行する改善された信号合計要素（Ｓ８’）が提供される。更になお、本発明は、２つ以上信号が合計されることを必要とするいかなる場合においても適用可能であることが確認され得る。本発明の第１実施例において、合計要素は、ステップＳ９において合計信号Ｓが符号化される前に、左及び右のステレオチャネル信号を加える。

ここで図３を参照すると、第１実施例において、合計要素に供給される左（Ｌ）及び右（Ｒ）チャネル信号は、連続時間フレームｔ（ｎ−１）、ｔ（ｎ）、ｔ（ｎ＋１）において重なる多重チャネルセグメントｍ１、ｍ２．．．を有する。通常、正弦波は、１０ｍｓのレートで更新され、各々のセグメントｍ１、ｍ２．．．は、更新レートの長さの２倍、すなわち２０ｍｓである。

ステップ４２において、合計要素は、Ｌ／Ｒチャネル信号が合計されるべき各々の重なり時間窓ｔ（ｎ−１）、ｔ（ｎ）、ｔ（ｎ＋１）に関して、重なるセグメントｍ１、ｍ２．．．からの各々のチャネル信号を、（平方根）ハニング窓関数を用い、時間窓に関しての各々のチャネルを表す対応する時間領域信号へ結合する。

ステップ４４において、ＦＦＴ（高速フーリエ変換）が、各々の時間領域窓化された信号に適用され、各々のチャネルに関する窓化された信号の対応する複合周波数スペクトル表現になる。４４．１ｋＨｚのサンプリングレート及び２０ｍｓのフレーム長に関して、ＦＦＴの長さは、通常８８２である。この過程は、両方の入力チャネルに関するＫ個の周波数成分（Ｌ（ｋ）、Ｒ（ｋ））の群になる。

第１実施例において、ステップ４６で、２つの入力チャネル表現Ｌ（ｋ）及びＲ（ｋ）は、初めに、単純線形合計によって結合される。しかし、このことは、重み付け合計に容易に拡張され得ることが確認され得る。したがって、本実施例に関して、合計信号Ｓ（ｋ）は、

を有する。
入力信号の周波数成分Ｌ（ｋ）及びＲ（ｋ）は、別々に、好ましくは知覚関連帯域幅（ＥＲＢ又はＢＡＲＫスケール）を用いて、いくつかの周波数帯域にグループ化され、またステップ４５において、各々のサブバンドｉに関してエネルギ保存補正因数ｍ（ｉ）が、数式１

として計算され、以下のように数式２

としても書き得られ得、ここで、ρ_ＬＲ（ｉ）は、サブバンドｉの波形の（基底化された）相互相関であり、パラメータ性多重チャネル符号化器における他の場所においても用いられるパラメータであり、及び式２の計算に関して容易に利用可能である。いずれの場合においても、ステップ４５は、各々のサブバンドｉに関する補正因数ｍ（ｉ）を提供する。

その後、次のステップ４７は、数式３

のように、合計信号の各々の周波数成分Ｓ（ｋ）を補正フィルタＣ（ｋ）を用いて乗算するステップを含む。

数式３の最後の成分から、補正フィルタは、合計信号Ｓ（ｋ）単体で、又は各々の入力チャネル（Ｌ（ｋ）、Ｒ（ｋ））のいずれかに適用され得ることが確認され得る。斯様にして、ステップ４６及び４７は、補正因数ｍ（ｉ）が既知である場合、すなわちｍ（ｉ）の決定において用いられる合計信号Ｓ（ｋ）を用いて別々に実行される場合に、図３の破線によって示されるように結合され得る。

好ましい実施例において、補正因数ｍ（ｉ）は、各々のサブバンドの中心周波数に関して用いられる一方で、他の周波数に関して補正因数ｍ（ｉ）は、サブバンドｉの各々周波数成分（ｋ）に関する補正フィルタＣ（ｋ）を与えるために補間される。原理的に、いかなる補間法も用いられ得るが、図４の経験的な結果は、単純な線形補間法方式が満足することを示している。

代わりに、個々の補正因数は、各々のＦＦＴビンに関して導かれ得（すなわち、サブバンドｉが周波数成分ｋに対応し）、この場合何の補間法も必要でない。しかし、この方法は、補完因数の平滑な周波数挙動より寧ろ、生じる時間領域歪みが原因で多くの場合望まれないギザギザの周波数挙動になり得る。

好ましい実施例において、その後ステップ４８において、合計要素は、時間領域信号を得るために、補正された合計信号Ｓ’（ｋ）の逆ＦＦＴを取る。ステップ５０において、最終合計信号ｓ１、ｓ２．．．は、連続する補正された合計時間領域信号に関する重複加算（ｏｖｅｒｌａｐ−ａｄｄ）を適用することによって作成され、これらは、図１のステップＳ９において供給され符号化される。合計セグメントｓ１、ｓ２．．．は、時間領域におけるセグメントｍ１、ｍ２．．．に対応し、したがって、合計の結果として同期の何の損失も発生しないことが確認され得る。

入力チャネル信号が重ね合わせ信号ではなく、寧ろ連続時間信号である場合、窓化ステップ４２は、必要とされ得ないことが確認され得る。同様に、符号化ステップＳ９が、重ね合わせ信号よりも連続時間信号を予想する場合、重複加算ステップ５０は、必要とされ得ない。更に、セグメント化及び周波数領域変換の記載された方法は、他の（可能であれば連続時間）フィルタバンクのような構造によっても置き換えされ得ることが確認され得る。ここにおいて、入力音声信号は夫々のフィルタの群に供給され、前記フィルタは、集団的に、各々の入力音声信号に関する瞬間周波数スペクトル表現を提供する。これは、連続的なセグメントが、実際は記載の実施例における標本のブロックよりも単一時間標本に対応し得ることを意味する。

数式１から、左及び右チャネルに関する特定の周波数成分が互いに相殺し得る状況が存在し、これらが負の補正を有する場合、これらは、特定の帯域に関して非常に長い補正因数値ｍ^２（ｉ）を生成する傾向があることが確認され得る。斯様な場合、符号ビットが伝送され、成分Ｓ（ｋ）に関する合計信号が、

であることを示し、対応する減算が式１又は２において用られ得る。

代わりに、周波数帯域ｉに関する成分は、互いに更に位相が合うように角度α（ｉ）だけ回転され得る。ＩＴＤ解析過程Ｓ３は、入力信号Ｌ（ｋ）及びＲ（ｋ）（のサブバンド）間の（平均）位相差を与える。ある周波数帯域ｉに関して、入力信号間の位相差がα（ｉ）によって与えられると仮定すると、入力信号Ｌ（ｋ）及びＲ（ｋ）は、合計の前に、以下に記載の２つの新たな入力信号Ｌ’（ｋ）及びＲ’（ｋ）

に変換され得、ここでｃは、２つの入力チャネル（０≦ｃ≦１）間における位相配列の分布を決定するパラメータである。

いずれの場合においても、例えば２つのチャネルがサブバンドｉに関して＋１の補正を有する場合、ｍ^２（ｉ）は、１／４になり、したがってｍ（ｉ）は１／２になることが確認され得る。したがって、バンドｉにおけるいずれの成分に関する補正因数Ｃ（ｋ）も、合計信号に関する各元々の入力信号の半分を取ることを傾向とすることによって、元々のエネルギレベルを保存する傾向を有し得る。しかし、式１から確認され得るように、ステレオ信号の周波数帯域ｉが空間特性を含む場合、信号Ｓ（ｋ）のエネルギは、これら信号が同位相である場合よりも小さくなる傾向があり、一方で、Ｌ／Ｒ信号のエネルギの合計は、大きいままであり続ける傾向があり、したがって、補正因数は、これらの信号に関してより大きくなる傾向がある。斯様にして、合計信号における全体エネルギレベルは、入力信号における周波数依存相関にもかかわらず、スペクトルにわたりなお保存され得る。

第２実施例において、多数（２つを超える）入力チャネルへの拡張が、上記の入力チャネルの可能な重み付けと組み合わされて示される。周波数領域入力チャネルは、ｎ番目の入力チャネルのｋ番目の周波数成分に関して、Ｘ_ｎ（ｋ）で示される。これら入力チャネルの周波数成分ｋは、周波数帯域ｉにおいてグループ化される。続いて、補正因数ｍ（ｉ）は、サブバンドｉに関して

から計算される。

この式において、Ｗ_ｎ（ｋ）は、入力チャネルｎ（線形合計に関して単純に＋１に設定され得る）の周波数依存重み因数を示す。これらの補正因数ｍ（ｉ）から、補正フィルタＣ（ｋ）は、第１実施例において記載のように、補正因数ｍ（ｉ）の補間法によって生成される。そして、モノラル出力チャネルＳ（ｋ）は、

から得られる。

上記の式を用いることにより、異なるチャネルの重みは必ずしも合計で＋１にならないが、補正フィルタは、自動的に合計で＋１にならない重みに関して補正し、各々の周波数帯域における（補間された）エネルギ保存を保証することが確認される。

図１は、先行技術の符号化器を示す。 図２は、図１の符号化器を含む音声システムのブロック図を示す。 図３は、本発明の第１実施例による音声符号化器の信号合計要素によって実行されるステップを示す。 図４は、図３の合計要素によって適用される補正因数ｍ（ｉ）の線形補間法を示す。

Claims (16)

1. 少なくとも２つの入力音声チャネル（Ｌ、Ｒ）の結合を有するモノラル信号（Ｓ）を生成する方法であって、
   前記音声チャネル（Ｌ、Ｒ）の複数の連続的セグメント（ｔ（ｎ））の各々に関して、各々の連続的セグメントに関する一群の合計周波数成分（Ｓ（ｋ））を提供するために、各々の音声チャネル（Ｌ（ｋ）、Ｒ（ｋ））に関する夫々の周波数スペクトル表現からの対応する周波数成分を合計するステップと、
   前記複数の連続的セグメントの各々に関して、複数の周波数帯域の各々（ｉ）に関する補正因数（ｍ（ｉ））を、前記帯域における前記合計信号の前記周波数成分の該エネルギ（
   

   

   ）及び前記帯域における前記入力音声チャネルの前記周波数成分の該エネルギ（
   

   

   ）の関数として計算するステップと、
   各々の合計周波数成分を、前記成分の前記周波数帯域に関する前記補正因数（ｍ（ｉ））の関数として補正するステップと
   を有する方法。
2. 請求項１に記載の方法であって、更に、
   各々の入力音声チャネルに関して複数の連続的セグメントの各々に関する夫々の群の標本化された信号値を供給するステップと、
   前記複数の連続的セグメントの各々に関して、各々の入力音声チャネル（Ｌ（ｋ）、Ｒ（ｋ））の該複雑な周波数スペクトル表現を与えるために、前記一群の標本化された信号値の各々を周波数領域に変換するステップと
   を有する方法。
3. 請求項２に記載の方法であって、前記一群の標本化された信号値を与えるステップが、
   各々の入力音声チャネルに関して、重ね合わせセグメント（ｍ１、ｍ２）を、時間窓（ｔ（ｎ））に関して各々のチャネルを表す対応する時間領域信号に結合するステップ
   を有する方法。
4. 請求項１に記載の方法であって、更に、
   各々の連続的セグメントに関して、前記合計信号の前記補正された周波数スペクトル表現（Ｓ’（ｋ））を時間領域に変換するステップ
   を有する方法。
5. 請求項４に記載の方法であって、更に、
   最終合計信号（ｓ１、ｓ２）を与えるために、重複加算を、連続する変換された合計信号表現に適用するステップ
   を有する方法。
6. 請求項１に記載の方法であって、２つの入力音声チャネルが合計され、前記補正因数（ｍ（ｉ））が、以下の関数
   

   

   に従い決定される方法。
7. 請求項１に記載の方法であって、２つ以上入力音声チャネル（Ｘ_ｎ）が、以下の関数
   

   

   に従い合計され、ここで、Ｃ（ｋ）は、各々の周波数成分に関する該補正因数であり、各々の周波数帯域に関する前記補正因数（ｍ（ｉ））は、以下の関数
   

   

   に従い決定され、ここで、ｗ_ｎ（ｋ）は、各々の入力チャネルに関する周波数依存重み因数を有する方法。
8. 全ての入力音声チャネルに関してｗ_ｎ（ｋ）＝１である、請求項７に記載の方法。
9. 少なくともいくつかの入力音声チャネルに関してｗ_ｎ(ｋ)≠１である、請求項７に記載の方法。
10. 各々の周波数成分に関する前記補正因数（Ｃ（ｋ））が、少なくとも１つの帯域に関する前記補正因数（ｍ（ｉ））の線形補間法から導出される、請求項７に記載の方法。
11. 請求項１に記載の方法であって、更に、
    前記複数の周波数帯域の各々に関して、連続的セグメントにおける前記音声チャネルの周波数成分間における位相差の指示子（α（ｉ））を決定するステップと、
    対応する周波数成分を合計する前に、前記音声チャネルの少なくとも一つの該周波数成分を、前記周波数成分の該周波数帯域に関する前記指示子の関数として変換するステップと
    を有する方法。
12. 請求項１１に記載の方法であって、前記変換するステップが、左及び右の入力音声チャネル（Ｌ、Ｒ）の周波数成分（Ｌ（ｋ）、Ｒ（ｋ））における以下の関数
    

    

    を演算するステップを有し、ここにおいて、０≦ｃ≦１が前記入力チャネル間における位相配列の分布を決定するような方法。
13. 請求項１に記載の方法であって、前記補正因子が、前記帯域における前記合計信号の前記周波数成分のエネルギの合計と、前記帯域における前記入力音声チャネルの前記周波数成分のエネルギの合計との関数である方法。
14. 少なくとも２つの入力音声チャネル（Ｌ、Ｒ）の結合からモノラル信号を生成する要素であって、
    前記音声チャネル（Ｌ、Ｒ）の複数の連続的セグメント（ｔ（ｎ））の各々に関して、各々の連続的セグメントに関する一群の合計された周波数成分（Ｓ（ｋ））を提供するために、各々の音声チャネル（Ｌ（ｋ）、Ｒ（ｋ））に関する夫々の周波数スペクトル表現からの対応する周波数成分を合計するように構成される合計器と、
    前記複数の連続的セグメントの各々の複数の周波数帯域の各々（ｉ）に関する補正因数（ｍ（ｉ））を、前記帯域における前記合計信号の前記周波数成分の該エネルギ（
    

    

    ）及び前記帯域における前記入力音声チャネルの前記周波数成分の該エネルギ（
    

    

    ）の関数として計算する手段と、
    各合計周波数成分を、前記成分の前記周波数帯域に関する前記補正因数（ｍ（ｉ））の関数として補正する補正フィルタと、
    を有する要素。
15. 請求項１４に記載の要素を含む音声符号化器。
16. 互換音声再生器及び請求項１５に記載の音声符号化器を有する音声システム。

Images