JP2006337767A - 低演算量パラメトリックマルチチャンネル復号装置および方法 - Google Patents

Abstract

【課題】 ＭＰＥＧ−４ Ａｕｄｉｏ Ｅｘｔｅｎｓｉｏｎ ２に準拠した従来のパラメトリックステレオコーディングは複素数値フィルタバンクを使用しているため、データの処理は複素数領域で実行され、演算量とメモリ容量が増大した。
【解決手段】 上述の課題を解決するため、本発明のパラメトリックマルチチャンネル復号装置は、分析フィルタ、オールパスフィルタ、合成フィルタが用いるフィルタ係数の少なくとも一つ以上を実数値にすることにより、演算量およびメモリ容量を大幅に削減した。
【選択図】 図１

Description

本発明は、ＭＰＥＧ−４ Ａｕｄｉｏ Ｅｘｔｅｎｓｉｏｎ ２に準拠したパラメトリックマルチチャンネル復号処理を低演算量で実行する装置および方法に関するものである。

マルチチャンネル信号をより少ないチャンネル数の信号に変換することを一般的にダウンミックスと呼ぶ。ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）により標準化されたＭＰＥＧ−４ Ａｕｄｉｏ Ｅｘｔｅｎｓｉｏｎ ２に準拠したパラメトリックステレオコーディング処理は、これに限定されるわけではないが、特にステレオ信号をモノラル信号にダウンミックスして送受信するブロードキャスティングなど低ビットレートの用途などで有用である（例えば、非特許文献１参照）。

ＭＰＥＧ−４ Ａｕｄｉｏ Ｅｘｔｅｎｓｉｏｎ ２に準拠したパラメトリックステレオコーディング処理によるダウンミックスの原理は、両耳キュー符号化（binaural cue coding）に基づいている。両耳キューとはステレオ信号がモノラル信号にダウンミックスされる際に抽出された信号で、モノラル信号からステレオ信号を復元するために用いられるＩＩＤ(inter-channel level/intensity difference：チャンネル間レベル／強度差)キュー情報、ＩＰＤ(interchannel phase/delay difference：チャンネル間位相／遅延差)キュー情報、ＩＣＣ(interchannel coherence/correlation：チャンネル間干渉性／相関)キュー情報を含む。

ＩＩＤキュー情報は、２つの信号の大きさの比率を示す信号である。ＩＰＤキュー情報は、２つの信号の位相差を示す信号である。ＩＣＣキュー情報は、２つの信号（この場合では左チャンネルと右チャンネル）の間の類似性を示す信号である。一般的に、２つの信号のレベル／強度の比率を表すＩＩＤキュー情報と２つの信号の位相／遅延の差を表すＩＰＤキュー情報は、音のバランスと定位方向を制御し、２つの信号の干渉性／相関を表すＩＣＣキュー情報は、音像の幅と広がり感を制御するためのパラメータとして有用である。これらのキュー情報は、聞き手が心理的に聴覚情景を構築することを支援する空間パラメータを構成している。

図６はパラメトリックステレオコーディングの原理の概要を説明する図である。図６に示すように従来のパラメトリックステレオコーディングはダウンミックス部７００、両耳キュー抽出部７０２、音声信号符号化部７０４、多重化部７０６とを備えた符号化処理を実行する符号化装置と、多重分離部７０８、音声信号復号化部７１０、ステレオ復号部７１２とを備えた復号化処理を実行する復号装置とで実行される（例えば、特許文献２参照）。

まず、符号化装置で実行される符号化処理について説明する。

符号化装置において信号はフレーム単位で処理される。ダウンミックス部７００は図示されていない入力部から左チャンネル信号Ｌと右チャンネル信号Ｒからなるステレオ信号を入力してモノラル信号Ｍを生成する。ここで生成されるモノラル信号Ｍは、左チャンネル信号Ｌと右チャンネル信号Ｒを所定の比率で混合して得られている。

次に、両耳キュー抽出部７０２は入力部から左チャンネル信号Ｌと右チャンネル信号Ｒを、ダウンミックス部７００からモノラル信号Ｍを入力して両耳キューＢＣＩｎｆｏを生成する。

音声信号符号化部７０４はモノラル信号Ｍを符号化して圧縮ビットストリームを生成する。音声信号符号化部７０４は例えば、ＭＰ３（MPEG 1 Audio Layer 3）またはＡＡＣ（Advanced Audio Coding）に準拠したオーディオエンコーダにより構成される。

多重化部７０６は、音声信号符号化部７０４により符号化されて圧縮されたモノラル信号Ｍと両耳キュー抽出部７０２により抽出され図示されていない量子化部により量子化された両耳キューＢＣＩｎｆｏを多重化してビットストリームを生成する。

次に復号装置で実行される復号処理について説明する。

復号装置では、符号化装置により生成されたビットストリームを復号装置が入力されると、復号装置を構成する多重分離部７０８がビットストリームから符号化されて圧縮されたモノラル信号Ｍ'と量子化された両耳キューＢＣＩｎｆｏを分離する。

音声信号復号化部７１０は符号化されて圧縮されたモノラル信号Ｍ'を入力して復号を行い、モノラル信号Ｍ'を復元する。音声信号復号化部７１０は音声信号符号化部７０４に対応した方式に準拠したオーディオデコーダにより構成される。

ステレオ復号部７１２は、多重分離部７０８により分離され図示されていない逆量子化部により逆量子化された両耳キューＢＣＩｎｆｏと音声信号復号化部７１０により復元されたモノラル信号Ｍ'を合成して左チャンネル信号Ｌ'と右チャンネル信号Ｒ'からなるステレオ信号が復元される。

図７を参照して、ステレオ復号部７１２の構成についてより詳細に説明する。

ステレオ復号部７１２は、複素分析フィルタ部８００と、複素残響信号生成部８０６と、補間部８０４と、信号分配部８０８と、複素合成フィルタ部８１２とを備えている。

複素分析フィルタ部８００は、復元された時間信号であるモノラル信号Ｍ'を、それぞれが３２のサンプルを有する６４のサブバンド（周波数帯）信号からなるサブバンド信号に変換し、さらに所定の低周波数域のサブバンド信号については、さらに複数の副サブバンド信号に変換する。複素分析フィルタ部８００が使用する複素値フィルタ係数は、Ｍｒi（ｋ，ｎ）とＧ_ｑｉ ^ｐである。

補間部８０４は、両耳キューＢＣＩｎｆｏを実際に適用する前に線形補間を実行して処理係数を生成する。

複素残響信号生成部８０６は、複素分析フィルタ部８００により処理されたモノラル信号Ｓ_ｋ（ｚ）と補間部８０４により補間された両耳キューＢＣＩｎｆｏに含まれるＩＣＣキュー情報に基づいてモノラル信号Ｓ_ｋ（ｚ）と無相関の残響信号Ｄ_ｋ（ｚ）を生成する。複素残響信号生成部８０６はオールパスフィルタを有しており、このオールパスフィルタには以下の非整数遅延を持つことを特徴とする複素値フィルタ係数Ｈ_ｋｉ（ｚ）が適用される。

信号分配部８０８は、補間部８０４により補間された両耳キューＢＣＩｎｆｏに含まれるＩＣＣキュー情報およびＩＩＤキュー情報に基づいて、複素分析フィルタ部８００により処理されたモノラル信号Ｓ_ｋ（ｚ）に複素残響信号生成部８０６により生成された残響信号Ｄ_ｋ（ｚ）を付加して左チャンネル信号Ｌ'と右チャンネル信号Ｒ'を生成する。ここで、複素分析フィルタ部８００により処理されたモノラル信号Ｓ_ｋ（ｚ）に残響信号Ｄ_ｋ（ｚ）を付加する比率はＩＣＣキュー情報に基づいて決定され、残響信号Ｄ_ｋ（ｚ）をモノラル信号Ｓ_ｋ（ｚ）に付加して左チャンネル信号Ｌ'と右チャンネル信号Ｒ'に分配される比率はＩＩＤキュー情報に基づいて決定される。

複素合成フィルタ部８１２はフィルタバンクから構成され、左チャンネル信号Ｌ'と右チャンネル信号Ｒ'を時間周波数信号から時間信号に変換する。

複素合成フィルタ部８１２が使用するフィルタ係数Ｎｒi（ｋ，ｎ）は以下の通りである。

ISO/IEC 14496-3:2001/FDAM2, "Parametric Coding for high Quality Audio" WO03/007656A1, "Efficient and Scalable Parametric Stereo Coding for Low Bitrate Application"

しかしながら、従来のパラメトリックステレオコーディングに使用されるステレオ復号部は、複数のフィルタを使用し、それぞれが複素値フィルタ係数を使用しているため、演算量、処理出力およびメモリ容量が増大するという問題があった。

本発明は、メモリと演算量、処理出力の要件を削減して、携帯端末などのバッテリの容量に制限のある機器や、低ビットレートの用途で利用可能な、モノラル信号などのダウンミックスされた信号からステレオ信号などのマルチチャンネル信号を復号するパラメトリックマルチチャンネル復号装置を提供することを目的とする。

本発明のパラメトリックマルチチャンネル復号装置は、分析フィルタ係数を用いてダウンミックス信号を複数のサブバンド信号に変換する分析フィルタ手段と、両耳キュー情報に線形補間を実行して処理係数を生成する補間手段と、前記分析フィルタ手段により変換された前記サブバンド信号と前記補間手段により生成された前記処理係数に基づいてオールパスフィルタ係数を用いて前記サブバンド信号と無相関の残響信号を生成するオールパスフィルタ部を有する残響信号生成手段と、前記サブバンド信号と前記残響信号生成手段により生成された前記残響信号を前記処理係数に基づいて混合してマルチチャンネル信号を生成する信号分配手段と、合成フィルタ係数を用いて前記マルチチャンネル信号をサブバンド信号から時間信号に変換する合成フィルタ手段とを備えたパラメトリックマルチチャンネル復号装置において、前記パラメトリックマルチチャンネル復号装置はさらに、前記分析フィルタ手段が用いる前記分析フィルタ係数、前記残響信号生成手段を形成する前記オールパスフィルタ部が用いる前記オールパスフィルタ係数、前記合成フィルタ手段が用いる前記合成フィルタ係数のいずれか一つ以上を実数値とする構成を有している。

ここでマルチチャンネル信号をチャンネル数の削減された信号に変換することを「ダウンミックス」と呼び、所定の数のチャンネル数のマルチチャンネル信号からダウンミックスにより変換されたチャンネル数の削減された信号を「ダウンミックス信号」と呼ぶものとする。

この構成により、本発明のパラメトリックマルチチャンネル復号装置はマルチチャンネル信号を復号する際に、負荷の多い複素数演算を削減して負荷の少ない実数演算によるフィルタ処理を行うことができるので、例えば携帯端末などのバッテリの容量に制限のある機器や、ステレオ信号をモノラル信号にダウンミックスして送受信するブロードキャスティングなど低ビットレートの用途において、メモリと演算量、処理出力の要件を削減することができる。

また、本発明のパラメトリックマルチチャンネル復号装置は、前記分析フィルタ手段が用いるフィルタ係数を以下の実数値、すなわち

および

とする構成を有している。

この構成により、本発明のパラメトリックマルチチャンネル復号装置は、分析フィルタ手段が負荷の少ない実数演算によるフィルタ処理を行うことができるので、メモリと演算量、処理出力の要件を削減することができる。

また、本発明のパラメトリックマルチチャンネル復号装置は、前記残響信号生成手段を形成する前記オールパスフィルタ部が用いるオールパスフィルタ係数を以下の実数値、すなわち

とする構成を有している。

この構成により、本発明のパラメトリックマルチチャンネル復号装置は、残響信号生成手段を構成するオールパスフィルタ部が負荷の少ない実数演算によるフィルタ処理を行うことができるので、メモリと演算量、処理出力の要件を削減することができる。

また、本発明のパラメトリックマルチチャンネル復号装置は、前記合成フィルタ手段が用いるフィルタ係数を以下の実数値、すなわち

とする構成を有している。

この構成により、本発明のパラメトリックマルチチャンネル復号装置は、合成フィルタ手段が負荷の少ない実数演算によるフィルタ処理を行うことができるので、メモリと演算量、処理出力の要件を削減することができる。

また、本発明のパラメトリックマルチチャンネル復号装置は、前記両耳キュー情報がＩＩＤ(inter-channel level/intensity difference)キュー情報、ＩＰＤ(interchannel phase/delay difference)キュー情報、ＩＣＣ(interchannel coherence/correlation)キュー情報を含む構成を有している。

この構成により、本発明のパラメトリックマルチチャンネル復号装置は、ダウンミックス信号から高品質のマルチチャンネル信号を復元することができる。

また、本発明のパラメトリックマルチチャンネル復号装置は、前記残響信号生成手段は、前記サブバンド信号と無相関の残響信号を生成する際に、前記補間手段により生成された前記処理係数に含まれる前記ＩＣＣキュー情報を用いる構成を有している。

この構成により、本発明のパラメトリックマルチチャンネル復号装置は、無相関の残響信号を適切に生成することができる。

本発明のパラメトリックマルチチャンネル復号装置は、分析フィルタ係数を用いてダウンミックス信号を複数のサブバンド信号に変換する分析フィルタ手段と、両耳キュー情報に線形補間を実行して処理係数を生成する補間手段と、前記分析フィルタ手段により変換された前記サブバンド信号と前記補間手段により生成された前記処理係数に基づいてオールパスフィルタ係数を用いて前記サブバンド信号と無相関の残響信号を生成するオールパスフィルタ部を有する残響信号生成手段と、前記サブバンド信号と前記残響信号生成手段により生成された前記残響信号を前記処理係数に基づいて混合してマルチチャンネル信号を生成する信号分配手段と、合成フィルタ係数を用いて前記マルチチャンネル信号をサブバンド信号から時間信号に変換する合成フィルタ手段と、前記分析フィルタ手段が用いる前記分析フィルタ係数、前記残響信号生成手段を形成する前記オールパスフィルタ部が用いる前記オールパスフィルタ係数、前記合成フィルタ手段が用いる前記合成フィルタ係数を選択的に複素数値または実数値に切り替えるフィルタ係数選択手段とを備えた構成を有している。

この構成により本発明のパラメトリックマルチチャンネル復号装置は、分析フィルタ手段、残響信号生成手段を構成するオールパスフィルタ部、合成フィルタ手段の用いるフィルタ係数をそれぞれ選択的に複素数値と実数値に切り替えるフィルタ係数選択手段を設けているので、フィルタ係数選択手段を操作して分析フィルタ部手段、残響信号生成手段を構成するオールパスフィルタ部、合成フィルタ部手段の用いるフィルタ係数をいずれも複素数値として複素数演算を実行する高品質モードと、フィルタ係数選択手段を操作して分析フィルタ手段、残響信号生成手段を構成するオールパスフィルタ部、合成フィルタ手段の用いるフィルタ係数の一つ以上を実数値として低演算量を実行する低出力モードの二つ以上のモードをサポートすることができるため、例えばバッテリ出力が高い場合は高品質モード、ユーザが出力を節約したい場合は低出力モードと用途に応じて切り替えることが可能である。

本発明のパラメトリックマルチチャンネル復号方法は、分析フィルタ係数を用いてダウンミックス信号を複数のサブバンド信号に変換する分析フィルタステップと、両耳キュー情報に線形補間を実行して処理係数を生成する補間ステップと、前記分析フィルタステップにより変換された前記サブバンド信号と前記補間ステップにより生成された前記処理係数に基づいて前記サブバンド信号と無相関の残響信号を生成する、オールパスフィルタ係数を用いたオールパスフィルタ処理を含む残響信号生成ステップと、前記サブバンド信号と前記残響信号生成ステップにより生成された前記残響信号を前記処理係数に基づいて混合してマルチチャンネル信号を生成する信号分配ステップと、合成フィルタ係数を用いて前記マルチチャンネル信号をサブバンド信号から時間信号に変換する合成フィルタステップとを含むパラメトリックマルチチャンネル復号方法において、前記分析フィルタ係数、前記オールパスフィルタ係数、および前記合成フィルタ係数のいずれか一つ以上が実数値である構成を有している。

この構成により、本発明のパラメトリックマルチチャンネル復号方法は、マルチチャンネル信号を復号する際に、負荷の多い複素数演算を削減して負荷の少ない実数演算によるフィルタ処理を行うことができるので、例えば携帯端末などのバッテリの容量に制限のある機器や、ステレオ信号をモノラル信号にダウンミックスして送受信するブロードキャスティングなど低ビットレートの用途において、メモリと演算量、処理出力の要件を削減することができる。

本発明は、従来のステレオ復号部と比較して、メモリと演算量、処理出力を削減することができるパラメトリックマルチチャンネル復号装置および方法を提供するものである。

以下、本発明の一実施の形態について、図面を参照しながら説明する。

（第１の実施の形態）
本発明の第１の実施の形態に係るパラメトリックマルチチャンネル復号装置を図１から図４を参照して説明する。

図１に示すように、本実施の形態に係るパラメトリックマルチチャンネル復号装置は、実数分析フィルタ部１００と、補間部１０４と、実数残響信号生成部１０６と、信号分配部１０８と、実数合成フィルタ部１１２とを備えている。

実数分析フィルタ部１００は、ＱＭＦ（Quadrature Mirror Filter）フィルタバンクから構成され、復元された時間信号であるモノラル信号Ｍ'を、それぞれが３２のサンプルを有する６４のサブバンド（周波数帯）信号からなるサブバンド信号に変換する。実数分析フィルタ部１００は分析フィルタ手段を構成する。ここで、実数分析フィルタ部１００は従来の複素分析フィルタ部８００が使用する複素値フィルタ係数Ｍｒi（ｋ，ｎ）およびＧ_ｑｉ ^ｐに代わって実数値フィルタ係数Ｍｒr（ｋ，ｎ）およびＧ_ｑｒ ^ｐを使用して処理を高速で実行する。複素値フィルタ係数Ｍｒi（ｋ，ｎ）と、実数値フィルタ係数Ｍｒr（ｋ，ｎ）と，複素値フィルタ係数Ｇ_ｑｉ ^ｐと、実数値フィルタ係数Ｇ_ｑｒ ^ｐは以下の式で表される。

上述の実数分析フィルタ部１００の高速処理については信号処理の文献で公知であるため説明を省略する。

補間部１０４は、両耳キューＢＣＩｎｆｏを実際に適用する前に線形補間を実行して処理係数を生成する。補間部１０４は補間手段を構成する。補間部１０４は信号のタイプ（複素型か実数型）とは独立して処理を実行する。本実施の形態で両耳キューＢＣＩｎｆｏは、ＱＭＦ（Quadrature Mirror Filter）などにより変換して得られた左チャンネル信号Ｌ、右チャンネル信号Ｒのサブバンド信号に基づいて抽出されている。

実数残響信号生成部１０６は、実数分析フィルタ部１００により処理されて生成されたモノラル信号Ｓ_ｋ（ｚ）と補間部１０４により補間された両耳キューＢＣＩｎｆｏに含まれるＩＣＣキュー情報に基づいてモノラル信号Ｓ_ｋ（ｚ）と無相関の残響信号Ｄ_ｋ（ｚ）を生成する。実数残響信号生成部１０６は実数残響信号生成手段を構成する。実数残響信号生成部１０６はオールパスフィルタを有している。ここで、実数残響信号生成部１０６はオールパスフィルタのフィルタ係数として従来の複素残響信号生成部８０６が使用する複素値オールパスフィルタ係数Ｈ_ｋｉ（ｚ）に代わって実数値オールパスフィルタ係数Ｈ_ｋｒ（ｚ）にを使用する。複素値オールパスフィルタ係数Ｈ_ｋｉ（ｚ）と実数値オールパスフィルタ係数Ｈ_ｋｒ（ｚ）は以下の式で表される。

信号分配部１０８は、補間部１０４により補間された両耳キューＢＣＩｎｆｏに含まれるＩＩＤキュー情報とＩＣＣキュー情報に基づいて、実数分析フィルタ部１００により処理されたモノラル信号Ｓ_ｋ（ｚ）に実数残響信号生成部１０６により生成された残響信号Ｄ_ｋ（ｚ）を付加および分配して左チャンネル信号Ｌ_ｋ（Ｚ）と右チャンネル信号Ｒ_ｋ（Ｚ）を生成する。この処理は本実施の形態における音像の再生において最も重要なステップであり、信号のタイプが複素型か実数型に応じて異なる。信号分配部１０８は信号分配手段を構成する。

図２を参照して信号分配部１０８で実行される機能について説明する。実数分析フィルタ部１００により処理されたモノラル信号Ｓ_ｋ（ｚ）に残響信号Ｄ_ｋ（ｚ）を付加する比率はＩＣＣキュー情報に基づいて決定され、残響信号Ｄ_ｋ（ｚ）をモノラル信号Ｓ_ｋ（ｚ）に付加して左チャンネル信号Ｌ'と右チャンネル信号Ｒ'に分配される比率はＩＩＤキュー情報に基づいて決定される。

本実施の形態に係るパラメトリックマルチチャンネル復号装置では残響信号を付加する付加係数は以下の式で算出される。

ここでc₁(b)は右チャンネルのゲイン係数であり、c₂(b)は左チャンネルのゲイン係数であり、共にＩＩＤより算出される。h₁₁(b)はモノラル信号Ｓ_ｋ（ｚ）を左チャンネル信号に付加する場合の付加係数であり、h₁₂(b)はモノラル信号Ｓ_ｋ（ｚ）を右チャンネル信号に付加する場合の付加係数であり、h₂₁(b)は残響信号Ｄ_ｋ（ｚ）を左チャンネル信号に付加する場合の付加係数であり、h₂₂(b)は残響信号Ｄ_ｋ（ｚ）を右チャンネルに付加する場合の付加係数である。図２に示すように、左チャンネル信号Ｌ_ｋ（Ｚ）はモノラル信号Ｓ_ｋ（ｚ）にh₁₁(b)を乗じたh₁₁と残響信号Ｄ_ｋ（ｚ）にh₂₁(b)を乗じたh₂₁を加えて生成され、右チャンネル信号Ｒ_ｋ（Ｚ）はモノラル信号Ｓ_ｋ（ｚ）にh₁₂(b)を乗じたh₁₂と残響信号Ｄ_ｋ（ｚ）にh₂₂(b)を乗じたh₂₂を加えて生成される。
なお、本実施の形態では、信号分配部１０８は上述の式を用いて残響信号を付加する係数を算出したが、本発明はこれに限定されるものではなく、残響信号を付加する比率を表す付加係数を算出するものであれば他の式を適用してもよい。

例えば、付加係数は、左チャンネル信号、右チャンネル信号、およびモノラル信号の関係をモデル化して導くこともできる。図３を参照してモデル化による付加係数の取得方法を説明する。

図３はベクター空間で、左チャンネル信号、右チャンネル信号、およびモノラル信号をＬ、Ｒ、Ｍで表されるベクターとしてモデル化した場合、以下の関係が成り立つ。

さらに、ＬとＲとが形成する角度θ（ｂ）は以下の式で表される。

左チャンネル信号Ｌとモノラル信号Ｍとが形成する角度θ_Ｌ（ｂ）、右チャンネル信号Ｒとモノラル信号Ｍとが形成する角度θ_Ｒ（ｂ）は以下の式で表される。

実数合成フィルタ部１１２はフィルタバンクから構成され、左チャンネル信号Ｌ'と右チャンネル信号Ｒ'をサブバンド信号から時間信号に変換する。実数合成フィルタ部１１２は合成フィルタ手段を構成する。

実数合成フィルタ部１１２は、合成ＱＭＦ（Quadrature Mirror Filter）フィルタバンクから構成される。ここで、実数合成フィルタ部１１２は従来の複素合成フィルタ部８１２が使用する数複素値フィルタ係数Ｎｒi（ｋ，ｎ）に代わって実数値フィルタ係数Ｎｒr（ｋ，ｎ）を使用して処理を高速で実行する。複素値フィルタ係数Ｎｒi（ｋ，ｎ）と実数値フィルタ係数Ｎｒr（ｋ，ｎ）は以下の式で表される。

上述の実数合成フィルタ部１１２の高速処理については信号処理の文献で公知であるため説明を省略する。

実数分析フィルタ部１００、補間部１０４、実数残響信号生成部１０６、信号分配部１０８、実数合成フィルタ部１１２は例えばＤＳＰ（Digital Signal Processor）で構成してもよい。

以下、本実施の形態に係るパラメトリックマルチチャンネル復号装置の動作について説明する。

まず、実数分析フィルタ部１００は、上述の実数値フィルタ係数を用いて復元された時間信号であるモノラル信号Ｍ'を、それぞれが３２のサンプルを有する６４のサブバンド（周波数帯）信号からなるサブバンド信号Ｓ_ｋ（Ｚ）に変換する（ステップＳ１）。次に、補間部１０４は、両耳キューＢＣＩｎｆｏに線形補間を実行して処理係数を生成する（ステップＳ２）。実数残響信号生成部１０６は、実数分析フィルタ部１００により処理されて生成されたモノラル信号Ｓ_ｋ（ｚ）と補間部１０４により補間された両耳キューＢＣＩｎｆｏに含まれるＩＣＣキュー情報に基づいてモノラル信号Ｓ_ｋ（ｚ）と無相関の残響信号Ｄ_ｋ（ｚ）を生成する（ステップＳ３）。実数残響信号生成部１０６はオールパスフィルタを有している。ここで、実数残響信号生成部１０６はオールパスフィルタのフィルタ係数として上述の実数値フィルタ係数を用いて処理を実行する。

信号分配部１０８は、補間部１０４により補間された両耳キューＢＣＩｎｆｏに含まれるＩＩＤキュー情報とＩＣＣキュー情報に基づいて、実数分析フィルタ部１００により処理されたモノラル信号Ｓ_ｋ（ｚ）に実数残響信号生成部１０６により生成された残響信号Ｄ_ｋ（ｚ）を付加して左チャンネル信号Ｌ_ｋ（Ｚ）と右チャンネル信号Ｒ_ｋ（Ｚ）を生成する（ステップＳ４）。

実数合成フィルタ部１１２は左チャンネル信号Ｌ_ｋ（Ｚ）と右チャンネル信号Ｒ_ｋ（Ｚ）をサブバンド信号から時間信号Ｌ'、Ｒ'に変換する（ステップＳ５）。実数合成フィルタ部１１２は上述の実数値フィルタ係数を用いて処理を実行する。

以上説明したように、本発明のパラメトリックマルチチャンネル復号装置は、ステレオ信号を復号する際に、負荷の多い複素数演算を削減して負荷の少ない実数演算によるフィルタ処理を行うことができるので、メモリと演算量、処理出力の要件を削減することができ、また、例えばＤＳＰ（Digital Signal Processor）などで構成することができるため、チップのサイズを小型化することも可能である。

本実施の形態では説明を容易にするため、実数分析フィルタ部１００、実数残響信号生成部１０６を構成するオールパスフィルタ部、実数合成フィルタ部１１２のいずれにも実数値のフィルタ係数が用いられるものとしたが、実数分析フィルタ部１００が用いるフィルタ係数、実数残響信号生成部１０６を構成するオールパスフィルタ部が用いるフィルタ係数、実数合成フィルタ部１１２が用いるフィルタ係数のいずれか一つまたは二つを実数値としてもよい。

（第２の実施の形態）
本発明の第２の実施の形態に係るパラメトリックマルチチャンネル復号装置を図５に示す。なお、本発明の第２の実施の形態に係るパラメトリックマルチチャンネル復号装置の各構成において、本発明の第１の実施の形態に係るパラメトリックマルチチャンネル復号装置の各構成と略同一なものについては同一の符号を付して説明を省略する。

図５に示すように、本実施の形態に係るパラメトリックマルチチャンネル復号装置は、フィルタ係数選択部２０１と、実数分析フィルタ部１００、実数残響信号生成部１０６、実数合成フィルタ部１１２（図１参照）に代えて分析フィルタ部２００、残響信号生成部２０６、合成フィルタ部２１２を第１の実施の形態に係るパラメトリックマルチチャンネル復号装置（図１参照）が備えた構成と同様である。

フィルタ係数選択部２０１は分析フィルタ部２００、残響信号生成部２０６、合成フィルタ部２１２に選択的に実数値または複素数値のフィルタ係数を出力する。フィルタ係数選択部２０１はフィルタ係数選択手段を構成する。

分析フィルタ部２００の構成は、フィルタ係数として選択的に複素数値および実数値を使用することができる機能を実数分析フィルタ部１００が備えた構成と同様である。分析フィルタ部２００は分析フィルタ手段を構成する。

残響信号生成部２０６の構成は、実数残響信号生成部１０６が有するオールパスフィルタ部が、フィルタ係数として選択的に複素数値および実数値を使用することができる機能を実数残響信号生成部１０６が備えた構成と同様である。残響信号生成部２０６は残響信号生成手段を構成する。

合成フィルタ部２１２の構成は、フィルタ係数として選択的に複素数値および実数値を使用することができる機能を実数合成フィルタ部１１２が備えた構成と同様である。合成フィルタ部２１２は合成フィルタ手段を構成する。

次に、本実施の形態に係るパラメトリックマルチチャンネル復号装置の動作について説明する。

フィルタ係数選択部２０１は分析フィルタ部２００、残響信号生成部２０６、合成フィルタ部２１２に選択的に実数値または複素数値のフィルタ係数を出力する。

分析フィルタ部２００は、フィルタ係数選択部２０１により選択的に出力されたフィルタ係数を用いて復元された時間信号であるモノラル信号Ｍ'を、それぞれが３２のサンプルを有する６４のサブバンド（周波数帯）信号からなるサブバンド信号Ｓ_ｋ（Ｚ）に変換する。次に、補間部１０４は、両耳キューＢＣＩｎｆｏに線形補間を実行して処理係数を生成する。残響信号生成部２０６は、分析フィルタ部２００により処理されて生成されたモノラル信号Ｓ_ｋ（ｚ）と補間部１０４により補間された両耳キューＢＣＩｎｆｏに含まれるＩＣＣキュー情報に基づいてモノラル信号Ｓ_ｋ（ｚ）と無相関の残響信号Ｄ_ｋ（ｚ）を生成する。残響信号生成部２０６はオールパスフィルタを有している。ここで、残響信号生成部２０６はオールパスフィルタのフィルタ係数としてフィルタ係数選択部２０１により選択的に出力されたフィルタ係数を用いて処理を実行する。

信号分配部１０８は、補間部１０４により補間された両耳キューＢＣＩｎｆｏに含まれるＩＩＤキュー情報とＩＣＣキュー情報に基づいて、分析フィルタ部２００により処理されたモノラル信号Ｓ_ｋ（ｚ）に残響信号生成部２０６により生成された残響信号Ｄ_ｋ（ｚ）を付加して左チャンネル信号Ｌ_ｋ（Ｚ）と右チャンネル信号Ｒ_ｋ（Ｚ）を生成する。

合成フィルタ部２１２は左チャンネル信号Ｌ_ｋ（Ｚ）と右チャンネル信号Ｒ_ｋ（Ｚ）をサブバンド信号から時間信号Ｌ'、Ｒ'に変換する。実数合成フィルタ部２１２はフィルタ係数選択部２０１により選択的に出力されたフィルタ係数を用いて処理を実行する。

本実施の形態に係るパラメトリックマルチチャンネル復号装置は、分析フィルタ部２００、残響信号生成部２０６を構成するオールパスフィルタ部、合成フィルタ部２１２の用いるフィルタ係数をそれぞれ複素数値と実数値に選択的に切り替えるフィルタ係数選択部２０１を設けているので、フィルタ係数選択部２０１を操作して分析フィルタ部２００、残響信号生成部２０６を構成するオールパスフィルタ部、合成フィルタ部２１２の用いるフィルタ係数をいずれも複素数値として複素数演算を実行する高品質モードと、フィルタ係数選択部２０１を操作して分析フィルタ部２００、残響信号生成部２０６を構成するオールパスフィルタ部、合成フィルタ部２１２の用いるフィルタ係数の一つ以上を実数値として低演算量を実行する低出力モードの二つ以上のモードをサポートすることができ、例えばバッテリ出力が高い場合は高品質モード、ユーザが出力を節約したい場合は低出力モードと用途に応じて切り替えることができる。分析フィルタ部２００、残響信号生成部２０６を構成するオールパスフィルタ部、合成フィルタ部２１２のいずれにも実数値のフィルタ係数を用いたとしても、これにより生じる若干の音質の低下は、本発明がもたらすメモリと演算量、処理出力の削減、チップサイズの大幅な削減を考慮すると、特に低ビットレートの用途では許容の範囲である。

以上説明したように、本発明のパラメトリックマルチチャンネル復号装置は、ＭＰＥＧ−４ Ａｕｄｉｏ Ｅｘｔｅｎｓｉｏｎ ２に準拠したパラメトリックステレオコーディング技術でビットストリームのシンタックスを変更することなく複素数の処理を削減することが可能である。さらにフィルタ係数選択部を操作して、例えばバッテリ出力が高い場合は高品質モード、ユーザが出力を節約したい場合は低出力モードと用途に応じて切り替えることができる。低出力モードで作動した場合に生じる音質の若干の低下は、本発明がもたらす処理およびチップサイズの大幅な削減を考慮すると、特に低ビットレートの用途で許容の範囲である。

上述の本実施の形態において両耳キューは、左チャンネル信号と右チャンネル信号をＱＭＦ（Quadrature Mirror Filter）などによりサブバンド信号に変換し、こうして得られた左チャンネル信号Ｌ、右チャンネル信号Ｒのサブバンド信号に基づいて抽出しているが、本発明はこれに限定されることはなく、左チャンネル信号および右チャンネル信号のスペクトル情報を平均化してスペクトル変換を実行し、これらの左チャンネル信号および右チャンネル信号の情報をスペクトルバンドに基づいて比較して両耳キューを算出してもよい。

本発明は上記の各実施の形態に限定されるものではなく、この外その要旨を逸脱しない範囲で種々変形して実施することができる。本発明は、複素数値を使用したビットストリームにも適用可能である。本実施の形態では、理解を容易にするために２チャンネルシステムを想定して説明したが、本発明のパラメトリックステレオコーディング技術は、マルチチャンネル符号化に無理なく応用することが可能であり、例えば５．１チャンネルなどのマルチチャンネルシステムに適用可能である。本発明は他にも家庭用シアターシステム、カーオーディオシステム、電子ゲームシステムなどにも適用可能である。

以上のように、本発明にかかる画像符号化装置は、従来の画像符号化装置と比較して、時間を要せずに圧縮パラメータを決定することができるという効果を有し、動画像を構成する画像を圧縮符号化する画像符号化装置等として有用である。

本発明の第１の実施形態に係るパラメトリックマルチチャンネル復号装置のブロック図 図１に示すパラメトリックマルチチャンネル復号装置を構成する信号分配部の機能を説明する図 図２に示す信号分配部に適用可能なモデル化による付加係数の取得方法を説明する図 図１に示すパラメトリックマルチチャンネル復号装置により実行されるマルチチャンネル復号方法のフローチャート 本発明の第２の実施形態に係るパラメトリックマルチチャンネル復号装置のブロック図 従来のパラメトリックステレオコーディングの原理を説明する図 従来のパラメトリックステレオコーディングを構成するステレオ復号部のブロック図

符号の説明

１００ 実数分析フィルタ部（分析フィルタ手段）
１０４ 補間部（補間手段）
１０６ 実数残響信号生成部（残響信号生成手段）
１０８ 信号分配部（信号分配手段）
１１２ 実数合成フィルタ部（合成フィルタ手段）
２００ 分析フィルタ部（分析フィルタ手段）
２０１ フィルタ係数選択部（フィルタ係数選択手段）
２０６ 残響信号生成部（残響信号生成手段）
２１２ 合成フィルタ部（合成フィルタ手段）
７００ ダウンミックス部
７０２ 両耳キュー抽出部
７０４ 音声信号符号化部
７０６ 多重化部
７０８ 多重分離部
７１０ 音声信号復号化部
７１２ ステレオ復号部
８００ 複素分析フィルタ部
８０４ 補間部
８０６ 複素残響信号生成部
８０８ 信号分配部
８１２ 複素合成フィルタ部

Claims (8)

1. 分析フィルタ係数を用いてダウンミックス信号を複数のサブバンド信号に変換する分析フィルタ手段と、
   両耳キュー情報に線形補間を実行して処理係数を生成する補間手段と、
   前記分析フィルタ手段により変換された前記サブバンド信号と前記補間手段により生成された前記処理係数に基づいてオールパスフィルタ係数を用いて前記サブバンド信号と無相関の残響信号を生成するオールパスフィルタ部を有する残響信号生成手段と、
   前記サブバンド信号と前記残響信号生成手段により生成された前記残響信号を前記処理係数に基づいて混合してマルチチャンネル信号を生成する信号分配手段と、
   合成フィルタ係数を用いて前記マルチチャンネル信号をサブバンド信号から時間信号に変換する合成フィルタ手段とを備え、
   前記分析フィルタ手段が用いる前記分析フィルタ係数、前記残響信号生成手段を形成する前記オールパスフィルタ部が用いる前記オールパスフィルタ係数、前記合成フィルタ手段が用いる前記合成フィルタ係数のいずれか一つ以上を実数値とすることを特徴とするパラメトリックマルチチャンネル復号装置。
2. 前記分析フィルタ手段が用いるフィルタ係数を以下の実数値、すなわち
   

   

   および
   

   

   
   とすることを特徴とする請求項１に記載のパラメトリックマルチチャンネル復号装置。
3. 前記残響信号生成手段を形成する前記オールパスフィルタ部が用いるオールパスフィルタ係数を以下の実数値、すなわち
   

   

   
   とすることを特徴とする請求項１に記載のパラメトリックマルチチャンネル復号装置。
4. 前記合成フィルタ手段が用いる複素数値フィルタ係数を以下の実数値、すなわち
   

   

   
   とすることを特徴とする請求項１に記載のパラメトリックマルチチャンネル復号装置。
5. 前記両耳キュー情報がＩＩＤ(inter-channel level/intensity difference)キュー情報、ＩＰＤ(interchannel phase/delay difference)キュー情報、ＩＣＣ(interchannel coherence/correlation)キュー情報を含むことを特徴とする請求項１に記載のパラメトリックマルチチャンネル復号装置。
6. 前記残響信号生成手段は、前記サブバンド信号と無相関の残響信号を生成する際に、前記補間手段により生成された前記処理係数に含まれる前記ＩＣＣキュー情報を用いることを特徴とする請求項５に記載のパラメトリックマルチチャンネル復号装置。
7. 分析フィルタ係数を用いてダウンミックス信号を複数のサブバンド信号に変換する分析フィルタ手段と、
   両耳キュー情報に線形補間を実行して処理係数を生成する補間手段と、
   前記分析フィルタ手段により変換された前記サブバンド信号と前記補間手段により生成された前記処理係数に基づいてオールパスフィルタ係数を用いて前記サブバンド信号と無相関の残響信号を生成するオールパスフィルタ部を有する残響信号生成手段と、
   前記サブバンド信号と前記残響信号生成手段により生成された前記残響信号を前記処理係数に基づいて混合してマルチチャンネル信号を生成する信号分配手段と、
   合成フィルタ係数を用いて前記マルチチャンネル信号をサブバンド信号から時間信号に変換する合成フィルタ手段と、
   前記分析フィルタ手段が用いる前記分析フィルタ係数、前記残響信号生成手段を形成する前記オールパスフィルタ部が用いる前記オールパスフィルタ係数、前記合成フィルタ手段が用いる前記合成フィルタ係数を選択的に複素数値または実数値に切り替えるフィルタ係数選択手段とを備えたことを特徴とするパラメトリックマルチチャンネル復号装置。
8. 分析フィルタ係数を用いてダウンミックス信号を複数のサブバンド信号に変換する分析フィルタステップと、
   両耳キュー情報に線形補間を実行して処理係数を生成する補間ステップと、
   前記分析フィルタステップにより変換された前記サブバンド信号と前記補間ステップにより生成された前記処理係数に基づいて前記サブバンド信号と無相関の残響信号を生成するオールパスフィルタ係数を用いたオールパスフィルタ処理を含む残響信号生成ステップと、
   前記サブバンド信号と前記残響信号生成ステップにより生成された前記残響信号を前記処理係数に基づいて混合してマルチチャンネル信号を生成する信号分配ステップと、
   合成フィルタ係数を用いて前記マルチチャンネル信号をサブバンド信号から時間信号に変換する合成フィルタステップとを含むパラメトリックマルチチャンネル復号方法において、
   前記分析フィルタ係数、前記オールパスフィルタ係数、および前記合成フィルタ係数のいずれか一つ以上を実数値とすることを特徴とするパラメトリックマルチチャンネル復号方法。

Images