JP2017163458A

JP2017163458A - アップミックス装置及びプログラム

Info

Publication number: JP2017163458A
Application number: JP2016048051A
Authority: JP
Inventors: 敏行西口; Toshiyuki Nishiguchi; 陽佐々木; Akira Sasaki; 千晶森; Chiaki Mori; 一穂小野; Kazuo Ono
Original assignee: Nippon Hoso Kyokai NHK
Current assignee: Japan Broadcasting Corp
Priority date: 2016-03-11
Filing date: 2016-03-11
Publication date: 2017-09-14
Anticipated expiration: 2036-03-11
Also published as: JP6630599B2

Abstract

【課題】入力音響信号から、ミキシング作業を行うことなく、かつダウンミックスしても音質劣化の少ない、アップミックスされた出力音響信号を得る。【解決手段】アップミックス装置１は、入力音響信号を直接音及び間接音に分離する残響分離器１１と、入力音響信号を収録した原音場のインパルス応答を推定するインパルス応答推定部１２と、インパルス応答との相関関数の絶対値の最大値が１よりも小さい複数の類似インパルス応答を生成するインパルス応答生成部１３と、直接音及び複数の類似インパルス応答の畳み込み演算により複数の類似間接音を生成する間接音生成部１４と、直接音、間接音、及び類似間接音を用いた線形演算を行い、出力音響信号を生成する混合器１５と、を備える。【選択図】図１

Description

本発明は、入力音響信号よりもチャンネル数の多い出力音響信号を生成するアップミックス装置及びプログラムに関する。

従来、２ｃｈステレオから５．１ｃｈサラウンドに変換するといった、少ないチャンネル数のオーディオ信号からより多いチャンネル数のオーディオ信号を作り出す、アップミックスと呼ばれる技術が知られている（例えば、特許文献１及び２参照）。

２ｃｈステレオの信号から５．１ｃｈサラウンドの信号を作り出すアルゴリズムはいろいろと提案されており、すでに製品化もされている。これらの機器は、例えば、ポストプロダクションなどで既存の２チャンネルオーディオ素材を５．１ｃｈサラウンド制作に応用したり、あるいは、５．１ｃｈサラウンドの音楽番組で２チャンネル制作のカラオケを５．１ｃｈに変換して使用したりするといった用途に使われている。また、素材レベルでのアップミックスの利用だけではなく、２チャンネルステレオで制作されたプログラムを丸ごとアップミックスして５．１ｃｈサラウンドのプログラムにするといった例もある。

さらに近年、８Ｋスーパーハイビジョン用の２２．２ｃｈ音響を始め、５．１ｃｈを上回る多数のチャンネルを有する音響システムの開発が進められている。しかし、現在市販されているアップミックス装置の中に２２．２ｃｈ音響に対応したものはない。また、Ｎチャンネルのオーディオ信号からＭチャンネルのオーディオ信号を生成する技術（Ｎ≦Ｍ）も提案されているが（例えば、特許文献３及び４参照）、その多くは５．１ｃｈサラウンドなどの二次元平面上にスピーカを配置したシステムを想定したものであり、高さ方向にもスピーカが存在する三次元音響システムに適用した場合に、自然な三次元空間印象が得られるかどうかは検証されていない。

このように、音響制作において、異なるチャンネル方式で制作された素材を融合したり、互換したりする上で、アップミックス技術は重要である。特に、音響制作の効率的化には、アップミックス用の付帯情報（サイド情報）を持たない従来の２ｃｈステレオ、５．１ｃｈの音声信号（音声データ）から、音響エンジニアがミキシング作業を行うことなく２２．２ｃｈの音声信号（音声データ）を得ることができる、自動アップミックス技術が不可欠である。

そこで、特許文献５では、アップミックス用の付帯情報を持たない従来の２ｃｈステレオ、５．１ｃｈサラウンドの音声信号から、ミキシング作業を行うことなく２２．２ｃｈの音声信号を得る技術が開示されている。

また、２２．２ｃｈを５．１ｃｈや２ｃｈステレオに変換するといった、より少ないチャンネル数のオーディオ信号を作り出すことをダウンミックスと呼ぶ。２２．２ｃｈの再生に対応しない機器（受信機、オーディオアンプ等）では、予め定められた配分（ダウンミックス係数）で複数チャンネルの信号を混合し、再生可能なより少ないチャンネル数に再構成するダウンミックス処理が行われる（例えば、非特許文献１参照）。

特許第４７９２０８６号公報特許第４６６４４３１号公報特許第４９８９４６８号公報特表２０１２−５１１８４５号公報特開２０１５−７６８５７号公報

ＡＲＩＢＳＴＤ−Ｂ３２３．２版、「デジタル放送における映像符号化、音声符号化及び多重化方式」

特許文献５に記載のアップミックス装置によれば、アップミックス用の付帯情報を持たない従来の２ｃｈステレオ、５．１ｃｈサラウンドの音声信号から、ミキシング作業を行うことなく２２．２ｃｈの音声信号を生成することができる。しかし、得られた２２．２ｃｈ信号から、上述のダウンミックス係数を使った自動ダウンミックスを行った場合、以下の理由により音質が劣化するという課題があった。

特許文献５に記載のアップミックス装置は、アップミックス前の原信号から分離した間接音に遅延処理を施し、この遅延時間を変えることで、複数の間接音を新たに生成してアップミックスを行う。このアップミックス後の信号に、ダウンミックス係数によるダウンミックス処理が施された場合、遅延時間だけが異なる同一の信号が加算される。そのため、櫛形フィルタが形成され、周波数特性に遅延時間の逆数の周波数間隔でピーク又はディップが生じ、音質が劣化してしまう。

かかる事情に鑑みてなされた本発明の目的は、アップミックス用の付帯情報を持たない従来の２ｃｈステレオ、５．１ｃｈサラウンドなどの入力音響信号から、ミキシング作業を行うことなく、かつダウンミックスしても音質劣化の少ない、アップミックスされた出力音響信号を得ることが可能なアップミックス装置及びプログラムを提供することにある。

上記課題を解決するため、本発明に係るアップミックス装置は、入力音響信号よりもチャンネル数の多い出力音響信号を生成するアップミックス装置であって、入力音響信号を直接音及び間接音に分離する残響分離器と、入力音響信号を収録した原音場のインパルス応答を推定するインパルス応答推定部と、前記インパルス応答との相関関数の絶対値の最大値が１よりも小さい複数の類似インパルス応答を生成するインパルス応答生成部と、前記直接音及び前記複数の類似インパルス応答の畳み込み演算により複数の類似間接音を生成する間接音生成部と、前記直接音、前記間接音、及び前記類似間接音を用いた線形演算を行い、前記出力音響信号を生成する混合器と、を備えることを特徴とする。

さらに、本発明に係るアップミックス装置において、前記インパルス応答生成部は、前記インパルス応答を所定の時間で分割し、乱数を用いて並べ直して前記類似インパルス応答を生成することを特徴とする。

さらに、本発明に係るアップミックス装置において、前記混合器により生成された出力音響信号について、チャンネル毎に音量レベルを調節する乗算器をさらに備えることを特徴とする。

また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上記アップミックス装置として機能させることを特徴とする。

本発明によれば、アップミックス用の付帯情報を持たない従来の２ｃｈステレオ、５．１ｃｈサラウンドなどの入力音響信号から、ミキシング作業を行うことなく、入力音響信号よりもチャンネル数の多いアップミックスされた出力音響信号を得ることができる。また、得られた出力音響信号をダウンミックスしても、音質劣化の少ないブラインドアップミックスを実現することができる。

本発明の第１の実施形態に係るアップミックス装置の構成例を示すブロック図である。２２．２ｃｈ信号を再生する場合のスピーカ配置とチャンネル番号及びチャンネルラベルの一例を示す図である。本発明の第１の実施形態に係るアップミックス装置におけるインパルス応答生成部の構成例を示すブロック図である。本発明の第２の実施形態に係るアップミックス装置の構成例を示すブロック図である。

本発明のアップミックス装置は、入力音響信号よりもチャンネル数の多い出力音響信号を生成する装置である。以下、本発明の実施形態について、図面を参照して詳細に説明する。

（第１の実施形態）
第１の実施形態では、入力音響信号（原信号）を、前方左右の音を収録した２ｃｈステレオ信号とし、出力音響信号を、２２．２ｃｈ信号とする。図１に、本発明の第１の実施形態に係るアップミックス装置の構成例を示す。図１に示す例では、アップミックス装置１は、残響分離器１１と、インパルス応答推定部１２と、インパルス応答生成部１３と、間接音生成部１４と、混合器１５と、乗算器１６と、ローパスフィルタ１７とを備える。ただし、乗算器１６は必須の構成ではない。

図２に、２２．２ｃｈ信号を再生する場合のスピーカ配置とチャンネル番号・ラベルを示す。

アップミックスによって得られる図２の１〜２４ｃｈ用の信号をｙ₁（ｔ），ｙ₂（ｔ），・・・，ｙ₂₄（ｔ）とする。原信号である２ｃｈステレオ信号の左右の信号をそれぞれｘ_L（ｔ），ｘ_R（ｔ）とする。原信号ｘ_L（ｔ），ｘ_R（ｔ）は、それぞれの直接音ｄ_L（ｔ），ｄ_R（ｔ）と間接音（残響音）ｒ_L（ｔ），ｒ_R（ｔ）とを用いて次のように表される。

残響分離器１１は、入力された原信号ｘ_L（ｔ），ｘ_R（ｔ）を、それぞれ直接音ｄ_L（ｔ），ｄ_R（ｔ）、及び間接音ｒ_L（ｔ），ｒ_R（ｔ）に分離して、インパルス応答推定部１２、混合器１５、及びローパスフィルタ１７に出力する。残響分離処理は、公知の処理を用いることができる。例えば、K. Kinoshita et al, "Blind Upmix Of Stereo Music Signals Using Multi-Step Linear Prediction Based Reverberation Extraction", ICASSP, pp.49-52, 2010.に開示された手法により、残響分離処理を行う。

インパルス応答推定部１２は、残響分離器１１により分離された直接音ｄ_L（ｔ），ｄ_R（ｔ）と間接音ｒ_L（ｔ），ｒ_R（ｔ）とから、あるいは原信号ｘ_L（ｔ），ｘ_R（ｔ）と直接音ｄ_L（ｔ），ｄ_R（ｔ）とから、原音場（入力音響信号を収録した、直接音を含まない原音場）のインパルス応答ｈ_L（ｔ），ｈ_R（ｔ）を推定し、インパルス応答生成部１３に出力する。

間接音ｒ_L（ｔ），ｒ_R（ｔ）は、原音場のインパルス応答ｈ_L（ｔ），ｈ_R（ｔ）を用いて、式（２）で表される。

ここで、＊は畳み込み演算を示す。式（２）の周波数領域表現は、式（３）のように表せる。

式（３）より、原音場の伝達関数Ｈ_L（ω），Ｈ_R（ω）は、式（４）で表される。

インパルス応答推定部１２は、式（４）に基づき伝達関数Ｈ_L（ω），Ｈ_R（ω）を求め、時間領域に戻したインパルス応答ｈ_L（ｔ），ｈ_R（ｔ）を算出する。直接音の周波数成分Ｄ_L（ω），Ｄ_R（ω）に零点がある場合、式（４）の値を算出できないが、原信号の間接音ｒ_L（ｔ），ｒ_R（ｔ）、及び直接音ｄ_L（ｔ），ｄ_R（ｔ）から、例えばクロススペクトル法や適応フィルタ法など既知の手法を適用することにより、インパルス応答ｈ_L（ｔ），ｈ_R（ｔ）を推定することができる。

インパルス応答生成部１３は、インパルス応答推定部１２により推定されたインパルス応答との相関係数の絶対値の最大値が１よりも小さいインパルス応答である類似インパルス応答ｈ_Lm（ｔ），ｈ_Rn（ｔ）を複数生成し、間接音生成部１４に出力する。なお、特許文献５に記載の手法では、遅延時間を変えることで複数の間接音を生成しているが、この方法だと遅延前のインパルス応答と遅延後のインパルス応答の相関関数の絶対値の最大値が１となる。すなわち、インパルス応答生成部１３の処理には、特許文献５に記載の手法が含まれない。

インパルス応答生成部１３は、例えば、元になるインパルス応答ｈ_L（ｔ），ｈ_R（ｔ）を所定の時間で分割し、乱数を用いて並べ直すことにより、類似インパルス応答ｈ_Lm（ｔ），ｈ_Rn（ｔ）を生成する。

図３に、インパルス応答生成部１３の一例として、特許第３６５７３４０号公報に開示された構成例を示す。インパルス応答生成部１３にはインパルス応答ｈ_L（ｔ）及びｈ_R（ｔ）が与えられるが、説明の便宜上、ここではインパルス応答ｈ（ｔ）が与えられるものとし、１つのインパルス応答ｈ（ｔ）からｍ個の類似インパルス応答ｈ₁（ｔ），ｈ₂（ｔ），・・・，ｈ_m（ｔ）を生成する処理について説明する。

図３に示す例では、インパルス応答生成部１３は、信号分離部１３１と、ｎ個の乗算部１３２（１３２−１〜１３２−ｎ）と、ｍ個の乱数発生部１３３（１３３−１〜１３３−ｍ）と、ｎ個の時間シフト部１３４（１３４−１〜１３４−ｎ）と、信号加算部１３５と、スイッチ１３６と、スイッチ１３７とを備える。

信号分離部１３１は、与えられたインパルス応答を初期反射音部ｅ（ｔ）と残響音部ｒ（ｔ）とに分離する。

乗算部１３２は、信号分離部１３１により分離された残響音部ｒ（ｔ）に対して、所定の有限長の時間窓をそれぞれ所定時間だけシフトして得られた時間窓を乗じ、信号ｒ₁（ｔ），ｒ₂（ｔ），・・・，ｒ_n（ｔ）を生成する。

乱数発生部１３３は、時間シフト量をランダム時間系列で与える。

時間シフト部１３４は、乱数発生部１３３のランダムな時間シフト量で、乗算部１３２の出力の時間軸をシフトし、信号ｒ₁ ^(k)（ｔ），ｒ₂ ^(k)（ｔ），・・・，ｒ_n ^(k)（ｔ）を生成する。

信号加算部１３５は、信号分離部１３１により分離された初期反射音部ｅ（ｔ）と、時間シフト部１３４の出力とを全て加算する。

スイッチ１３６は、乱数発生部１３３の異なる出力を選択するものである。スイッチ１３７は、スイッチ１３６と連動しており、信号加算部１３５からの信号を振り分ける。

間接音生成部１４は、式（５）に示すように、直接音ｄ_L（ｔ），ｄ_R（ｔ）、及び類似インパルス応答ｈ_Lm（ｔ），ｈ_Rn（ｔ）の畳み込み演算により、間接音と類似した音色を持つ間接音である類似間接音ｒ_Lm（ｔ），ｒ_Rn（ｔ）を複数生成し、混合器１５に出力する。

間接音と類似した類似間接音を用いることにより、聴感上３次元的な広がり感を得ることができる。また、インパルス応答ｈ_Lm（ｔ），ｈ_Rn（ｔ）から生成した類似間接音ｒ_Lm（ｔ），ｒ_Rn（ｔ）は、単純な時間遅延と異なり、混合しても櫛形フィルタが形成されず、ダウンミックスした際の音質劣化を避けることができる。

ローパスフィルタ１７は、残響分離器１１から入力された直接音ｄ_L（ｔ），ｄ_R（ｔ）の低域成分ｌ_dL（ｔ），ｌ_dR（ｔ）、及び間接音ｒ_L（ｔ），ｒ_R（ｔ）の低域成分ｌ_rL（ｔ），ｌ_rR（ｔ）をそれぞれ抽出して、混合器１５に出力する。ここで、ローパスフィルタ１７のカットオフ周波数は、例えば、８０〜１２０Ｈｚとする。またこの例では、ローパスフィルタ１７からの出力信号はＬＦＥ（Low Frequency Effects）チャンネルである、図２のＬＦＥ１(４ｃｈ)及びＬＦＥ２（１０ｃｈ）に出力される信号に適用される。

混合器１５は、直接音ｄ_L（ｔ），ｄ_R（ｔ）、間接音ｒ_L（ｔ），ｒ_R（ｔ）、及び類似間接音ｒ_Lm（ｔ），ｒ_Rn（ｔ）を混合し（すなわち、直接音、間接音、及び類似間接音を用いた線形演算を行い）、各チャンネルへの信号を生成する。ここで、線形演算は直接音、間接音、類似間接音のうち、少なくとも一つを用いていればよい。また、混合器１５は、各チャンネルへの信号に含まれる間接音に係数ａ_r1，ａ_r2，…，ａ_r24を乗算することにより、各チャンネルに間接音を付加する度合いを調節する。例えば、直接音と間接音を混合するチャンネル（本実施形態では１ｃｈ、２ｃｈ、３ｃｈ、４ｃｈ、１０ｃｈ）については、直接音と間接音の比を調節することができる。アップミックス装置１が乗算器１６を備えない場合には、混合器１５の出力する信号が出力音響信号となる。

乗算器１６は、混合器１５から出力される信号に係数ａ₁，ａ₂，…，ａ₂₄を乗算することにより、チャンネル毎に音量レベルを調節して、２２．２ｃｈのスピーカにそれぞれ出力音響信号を出力する。２２．２ｃｈのスピーカが図２に示す位置に配置される場合、乗算器１６が出力する出力信号ｙ₁（ｔ），ｙ₂（ｔ），…，ｙ２４（ｔ）は、例えば式（６）のように表される。

式（６）の例では、混合器１５は、図２に示すＦＬ(１ｃｈ)への信号を生成するため、直接音ｄ_L（ｔ）に、係数ａ_r1を乗算した間接音ｒ_L（ｔ）を付加する。同様に、混合器１５は、ＦＲ（２ｃｈ）への信号を生成するため、直接音ｄ_R（ｔ）に、係数ａ_r2を乗算した間接音ｒ_R（ｔ）を付加する。

混合器１５は、ＦＣ（３ｃｈ）については、原信号の間接音のもつ方向特性の再現性と２２．２ｃｈ音響のチャンネル配置に鑑み左右中央に位置する信号であるため、原信号の左右の直接音を混合したｄ_L（ｔ）＋ｄ_R（ｔ）に、原信号の左右の間接音を混合した｛ｒ_L（ｔ）＋ｒ_R（ｔ）｝を、係数ａ_r3を乗算して付加する。

同様に、混合器１５は、左右中央に位置するＢＣ（９ｃｈ），ＴｐＦＣ（１５ｃｈ），ＴｐＣ（１６ｃｈ），ＴｐＢＣ（２１ｃｈ），ＢｔＦＣ（２２ｃｈ）についても、原信号から得た左右のインパルス応答ｈ_L（ｔ），ｈ_R（ｔ）それぞれから生成したｈ_Lm（ｔ），ｈ_Rn（ｔ）に基づく類似間接音ｒ_Lm（ｔ），ｒ_Rn（ｔ）（ｍ＝ｎ＝９，１５，１６，２１，２２）を混合した間接音を付加する。また、混合器１５は、中央より左側に位置するチャンネルには、原信号の左側インパルス応答ｈ_L（ｔ）から生成したｈ_Lm（ｔ）に基づく類似間接音ｒ_Lm（ｔ）（ｍ＝５，７，１１，１３，１７，１９，２３）を付加する。中央より右側に位置するチャンネルには、原信号の右側インパルス応答ｈ_R（ｔ）から生成したｈ_Rn（ｔ）に基づく類似間接音ｒ_Rm（ｔ）（ｎ＝６，８，１２，１４，１８，２０，２４）を付加する。なお、類似間接音それぞれの相関は低く、音の定位にも大きく影響しないため、左右どちらか一方の類似間接音を付加するようにしてもよい。

（第２の実施形態）
つぎに、本発明の第２の実施形態について説明する。第２の実施形態では、入力音響信号（原信号）を、Ｌ，Ｒ，Ｃ，ＳＬ，ＳＲ，ＬＦＥチャンネルからなる５．１ｃｈサラウンド信号とし、出力音響信号を、２２．２ｃｈ信号とする。図４に、本発明の第２の実施形態に係るアップミックス装置の構成例を示す。図４に示す例では、アップミックス装置２は、残響分離器２１と、インパルス応答推定部２２と、インパルス応答生成部２３と、間接音生成部２４と、混合器２５と、乗算器２６とを備える。ただし、乗算器２６は必須の構成ではない。

原信号である５．１ｃｈサラウンド信号ｘ_L（ｔ），ｘ_R（ｔ），ｘ_C（ｔ），ｘ_SL（ｔ），ｘ_SR（ｔ），ｘ_LFE（ｔ）は、それぞれの直接音ｄ_L（ｔ），ｄ_R（ｔ），ｄ_C（ｔ），ｄ_SL（ｔ），ｄ_SR（ｔ），ｄ_LFE（ｔ）と、間接音ｒ_L（ｔ），ｒ_R（ｔ），ｒ_C（ｔ），ｒ_SL（ｔ），ｒ_SR（ｔ），ｒ_LFE（ｔ）を用いて、式（７）のように表される。

残響分離器２１は、原信号をそれぞれ直接音ｄ_L（ｔ），ｄ_R（ｔ），ｄ_C（ｔ），ｄ_SL（ｔ），ｄ_SR（ｔ），ｄ_LFE（ｔ）、及び間接音ｒ_L（ｔ），ｒ_R（ｔ），ｒ_C（ｔ），ｒ_SL（ｔ），ｒ_SR（ｔ），ｒ_LFE（ｔ）に分離して、インパルス応答推定部２２、及び混合器２５に出力する。

インパルス応答推定部２２は、残響分離器２１により分離された直接音と間接音とから、あるいは原信号と直接音とから、原音場のインパルス応答ｈ_L（ｔ），ｈ_R（ｔ），ｈ_C（ｔ），ｈ_SL（ｔ），ｈ_SR（ｔ），ｈ_LFE（ｔ）を推定し、インパルス応答生成部２３に出力する。

原信号の間接音ｒ_L（ｔ），ｒ_R（ｔ），ｒ_C（ｔ），ｒ_SL（ｔ），ｒ_SR（ｔ），ｒ_LFE（ｔ）は、原音場のインパルス応答ｈ_L（ｔ），ｈ_R（ｔ），ｈ_C（ｔ），ｈ_SL（ｔ），ｈ_SR（ｔ），ｈ_LFE（ｔ）を用いて、式（８）で表される。

ここで、＊は畳み込み演算を示す。式（８）の周波数領域表現を用いて、原音場の伝達関数Ｈ_L（ω），Ｈ_R（ω），Ｈ_C（ω），Ｈ_SL（ω），Ｈ_SR（ω），Ｈ_LFE（ω）は、式（９）で表される。

第１の実施形態と同様、インパルス応答推定部２２は、式（９）の伝達関数に基づき、クロススペクトル法や適応フィルタ法など既知の手法を適用することにより、インパルス応答ｈ_L（ｔ），ｈ_R（ｔ），ｈ_C（ｔ），ｈ_SL（ｔ），ｈ_SR（ｔ），ｈ_LFE（ｔ）を推定する。

インパルス応答生成部２３は、インパルス応答推定部２２により推定されたインパルス応答との相関係数の絶対値の最大値が１よりも小さいインパルス応答である類似インパルス応答ｈ_Lk（ｔ），ｈ_Rl（ｔ），ｈ_Cm（ｔ），ｈ_SLn（ｔ），ｈ_SRp（ｔ），ｈ_LFEq（ｔ）を複数生成し、間接音生成部２４に出力する。例えば、元になるインパルス応答ｈ_L（ｔ），ｈ_R（ｔ），ｈ_C（ｔ），ｈ_SL（ｔ），ｈ_SR（ｔ），ｈ_LFE（ｔ）を所定の時間で分割し、乱数を用いて並べ直すことにより、類似インパルス応答ｈ_Lk（ｔ），ｈ_Rl（ｔ），ｈ_Cm（ｔ），ｈ_SLn（ｔ），ｈ_SRp（ｔ），ｈ_LFEq（ｔ）を生成する。

間接音生成部２４は、式（１０）に示すように、直接音ｄ_L（ｔ），ｄ_R（ｔ），ｄ_C（ｔ），ｄ_SL（ｔ），ｄ_SR（ｔ），ｄ_LFE（ｔ）、及び類似インパルス応答ｈ_Lk（ｔ），ｈ_Rl（ｔ），ｈ_Cm（ｔ），ｈ_SLn（ｔ），ｈ_SRp（ｔ），ｈ_LFEq（ｔ）の畳み込み演算により、間接音と類似した音色を持つ間接音である類似間接音ｒ_Lk（ｔ），ｒ_Rl（ｔ），ｒ_Cm（ｔ），ｒ_SLn（ｔ），ｒ_SRp（ｔ），ｒ_LFEq（ｔ）を複数生成し、混合器２５に出力する。間接音と類似した類似間接音を用いることにより、聴感上３次元的な広がり感を得ることができる。

混合器２５は、直接音ｄ_L（ｔ），ｄ_R（ｔ），ｄ_C（ｔ），ｄ_SL（ｔ），ｄ_SR（ｔ），ｄ_LFE（ｔ）、間接音ｒ_L（ｔ），ｒ_R（ｔ），ｒ_C（ｔ），ｒ_SL（ｔ），ｒ_SR（ｔ），ｒ_LFE（ｔ）、及び類似間接音ｒ_Lk（ｔ），ｒ_Rl（ｔ），ｒ_Cm（ｔ），ｒ_SLn（ｔ），ｒ_SRp（ｔ），ｒ_LFEq（ｔ）を混合し（すなわち、直接音、間接音、及び類似間接音を用いた線形演算を行い）、各チャンネルへの信号を生成する。ここで、線形演算は直接音、間接音、類似間接音のうち、少なくとも一つを用いていればよい。また、混合器２５は、各チャンネルへの信号に含まれる間接音に係数ａ_r1，ａ_r2，…，ａ_r24を乗算することにより、各チャンネルに間接音を付加する度合いを調節する。アップミックス装置２が乗算器２６を備えない場合には、混合器２５の出力する信号が出力音響信号となる。

乗算器２６は、混合器２５から出力される信号に係数ａ₁，ａ₂，…，ａ₂₄を乗算することにより、チャンネル毎に音量レベルを調節して、２２．２ｃｈのスピーカにそれぞれ出力音響信号を出力する。２２．２ｃｈのスピーカが図２に示す位置に配置される場合、乗算器２６が出力する出力信号ｙ₁（ｔ），ｙ₂（ｔ），…，ｙ２４（ｔ）は、例えば式（１１）のように表される。

式（１０）の例では、原信号の間接音のもつ方向特性の再現性と２２．２ｃｈ音響のチャンネル配置に鑑み、原音場の左側のインパルス応答ｈ_L（ｔ）から生成した間接音及び類似間接音は、アップミックスで生成される２２．２ｃｈ信号の左側チャンネルに利用し、原音場の右側のインパルス応答ｈ_R（ｔ）から生成した間接音及び類似間接音は２２．２ｃｈ信号の右側チャンネルに利用している。同様に、ｈ_C（ｔ）から生成した間接音及び類似間接音は左右中央のチャンネルに割り当て、ｈ_SL（ｔ），ｈ_SR（ｔ）から生成した間接音及び類似間接音はそれぞれ後方の左右に割り当て、ｈ_LFE（ｔ）から生成した間接音及び類似間接音はＬＦＥチャンネルに割り当てている。なお、間接音及び類似間接音それぞれの相関は低く、音の定位にも大きく影響しないため、他の割り当て方法も考えられる。

以上、アップミックス装置１，２について説明したが、このアップミックス装置１，２として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、アップミックス装置１，２の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。なお、このプログラムは、コンピュータ読取り可能な記録媒体に記録可能である。

上述したアップミックス装置１，２、又はアップミックス装置１，２として機能させるコンピュータによれば、原音場のインパルス応答に類似する類似インパルス応答から複数の類似間接音を生成するため、アップミックス用の付帯情報を持たない入力音響信号から、ミキシング作業を行うことなく、入力音響信号よりもチャンネル数の多いアップミックスされた出力音響信号を得ることができる。
また、類似インパルス応答はインパルス応答との相関関数の絶対値の最大値が１よりも小さいため、得られた出力音響信号をダウンミックスしても、音質劣化の少ないブラインドアップミックスを実現することができる。

上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態の構成図に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。

また、上述の実施形態では、２２．２ｃｈへアップミックミックスする例を示したが、本発明によれば、同様な方法で７．１ｃｈなど、入力音響信号よりもチャンネル数の多い他のマルチチャンネルフォーマットへアップミックスすることができる。

１，２アップミックス装置
１１，２１残響分離器
１２，２２インパルス応答推定部
１３，２３インパルス応答生成部
１４，２４間接音生成部
１５，２５混合器
１６，２６乗算器
１７ローパスフィルタ
１３１信号分離部
１３２乗算部
１３３乱数発生部
１３４時間シフト部
１３５信号加算部
１３６スイッチ
１３７スイッチ

Claims

入力音響信号よりもチャンネル数の多い出力音響信号を生成するアップミックス装置であって、
入力音響信号を直接音及び間接音に分離する残響分離器と、
入力音響信号を収録した原音場のインパルス応答を推定するインパルス応答推定部と、
前記インパルス応答との相関関数の絶対値の最大値が１よりも小さい複数の類似インパルス応答を生成するインパルス応答生成部と、
前記直接音及び前記複数の類似インパルス応答の畳み込み演算により複数の類似間接音を生成する間接音生成部と、
前記直接音、前記間接音、及び前記類似間接音を用いた線形演算を行い、前記出力音響信号を生成する混合器と、
を備えることを特徴とするアップミックス装置。
前記インパルス応答生成部は、前記インパルス応答を所定の時間で分割し、乱数を用いて並べ直して前記類似インパルス応答を生成することを特徴とする、請求項１に記載のアップミックス装置。
前記混合器により生成された出力音響信号について、チャンネル毎に音量レベルを調節する乗算器をさらに備えることを特徴とする、請求項１又は２に記載のアップミックス装置。
コンピュータを、請求項１から３のいずれか一項に記載のアップミックス装置として機能させるためのプログラム。