JP2013201564A - 音響処理装置 - Google Patents

Abstract

【課題】音響信号の各周波数成分の定位方向を精緻かつ容易に調整する。
【解決手段】音響処理装置１００は、２チャネルの音響信号Ｘから５チャネルの音響信号Ｙを生成する。表示制御部３６は、基準点Ｐ0を中心とした半径方向が周波数に対応するとともに円周方向が定位方向に対応する音像平面内での各周波数成分の音像分布を表現する音像分布画像５０を表示装置２６に表示させる。表示制御部３６は、音像平面のうち半径方向に設定された周波数範囲ＡFと円周方向に設定された定位範囲ＡPとに対応する操作対象領域Ｂ内の音像分布を利用者からの指示に応じて円周方向に移動させる。音響信号Ｙの各周波数成分の音像分布が、操作対象領域Ｂの移動後の音像分布画像５０が表現する音像分布に対応するように、音響信号Ｘから音響信号Ｙを生成する。
【選択図】図１

Description

本発明は、複数チャネルの音響信号で形成される音場を制御する技術に関する。

複数チャネルの音響信号の再生で形成される音場を利用者からの指示に応じて可変に制御する各種の技術が従来から提案されている。例えば非特許文献１には、図８に示すように、再生音の受聴者の位置に相当する基準点９０を中心とした円形領域９２を、複数の放音装置９４が形成する音場を表現するＧＵＩ（Graphical User Interface）として表示装置に表示する技術が開示されている。利用者は、円形領域９２に対する操作で再生音の定位方向９６を任意に指定することが可能である。

Waves Audio Ltd., S360°Surround Panner, [online]，[平成２４年１月２３日検索]，インターネット〈URL:http://www.waves.com/Content.aspx?id=229〉

しかし、再生音全体の定位位置を利用者が指定する非特許文献１の技術では、音響信号のうち特定の帯域内の成分の定位方向を選択的に制御することや、音響信号のうち特定の方向に定位する成分の定位方向を選択的に制御することが想定されていない。したがって、例えば、相異なる位置に設置された複数の音源が並列に発音した音響の混合音のうち、所望の方向に位置する所望の音域の音源からの音響（例えば特定の楽器の演奏音）についてのみ選択的に定位方向を変更するといった精緻な調整はできない。以上の事情を考慮して、本発明は、音響信号の各周波数成分の定位方向を精緻かつ容易に調整することを目的とする。

以上の課題を解決するために本発明が採用する手段を説明する。なお、本発明の理解を容易にするために、以下の説明では、本発明の要素と後述の実施形態の要素との対応を括弧書で付記するが、本発明の範囲を実施形態の例示に限定する趣旨ではない。

本発明の音響処理装置は、第１音響信号（例えば音響信号Ｘ）から複数チャネルの第２音響信号（例えば音響信号Ｙ）を生成する装置であって、基準点を中心とした半径方向が周波数に対応するとともに円周方向が定位方向に対応する音像平面内での第１音響信号の各周波数成分の音像分布を表現する音像分布画像（例えば音像分布画像５０）を表示装置に表示させる手段であって、音像平面のうち半径方向に設定された周波数範囲（例えば周波数範囲ＡF）と円周方向に設定された定位範囲（例えば定位範囲ＡP）とに対応する操作対象領域（例えば操作対象領域Ｂ）内の音像分布を利用者からの指示に応じて円周方向に移動させる表示制御手段（例えば表示制御部３６）と、第２音響信号の各周波数成分の音像分布が、操作対象領域の移動後の音像分布画像が表現する音像分布に対応するように、第１音響信号から第２音響信号を生成する信号処理手段（例えば信号処理部４２）とを具備する。

以上の構成では、音像平面のうち特定の周波数範囲と特定の定位範囲とに対応する操作対象領域内の音像分布が利用者からの指示に応じて移動するから、非特許文献１の技術と比較して、各周波数成分の定位方向を精緻に調整することが可能である。また、基準点を中心とした円周方向に操作対象領域内の音像分布が移動するから、音像平面内の音像分布を視覚的および直観的に確認しながら利用者が各周波数成分の定位方向を容易に調整できるという利点もある。なお、操作対象領域（音像分布）の「移動」は、操作前の操作対象領域を維持しない狭義の「移動」と、操作前の操作対象領域を維持する「複製」との双方を含意する。

本発明の好適な態様において、表示制御手段は、音像平面のうち第１音響信号の各周波数成分が分布する初期分布領域（例えば初期分布領域Ａ0）の内側に画定された操作対象領域を、利用者からの指示に応じて初期分布領域の外側に移動する。以上の態様では、操作対象領域内の音像分布が初期分布領域の内側から外側に移動するから、再生音の音像が分布する範囲を拡張することが可能である。

本発明の好適な態様において、表示制御手段は、周波数範囲と定位範囲とを利用者からの指示に応じて可変に設定する。以上の態様では、操作対象領域を規定する周波数範囲と定位範囲とが利用者からの指示に応じて可変に設定されるから、利用者の所望の方向に定位する所望の帯域内の周波数成分（例えば特定の方向に配置された楽器の演奏音）の定位方向を選択的に変更するといった多様かつ精緻な調整が実現される。

本発明の好適な態様において、表示制御手段は、操作対象領域内の各周波数成分の強度値（例えば強度値Ｅ）を、当該操作対象領域に対応した位置に配置するとともに利用者からの指示に応じて変更し、信号処理手段は、操作対象領域内の各周波数成分の強度を、当該操作対象領域に対応する強度値に応じて調整する。以上の態様では、操作対象領域に対応する強度値が利用者からの指示に応じて変更されるとともに信号処理手段による第１音響信号の調整に適用される。したがって、所望の周波数範囲および所望の定位範囲内の各周波数成分の強度を利用者が視覚的および直観的に調整できるという利点がある。なお、操作対象領域を他の位置に複製する場合、複製前の操作対象領域および複製後の操作対象領域の双方について強度値を配置する構成が好適である。

本発明の好適な態様において、表示制御手段は、第２音響信号の各チャネルの放音装置を表象する放音地点画像（例えば放音地点画像６０）を、基準点を中心とした円周方向の各位置に配置するとともに、円周方向における放音地点画像の位置を利用者からの指示に応じて可変に設定し、信号処理手段は、放音地点画像の各位置に配置された放音装置が第２音響信号を再生した場合の各周波数成分の音像分布が、音像分布画像が表現する音像分布に対応するように、第１音響信号から第２音響信号を生成する。以上の態様では、放音地点画像の位置が利用者からの指示に応じて可変に設定されて再生音の音像分布に反映される。したがって、放音装置の実際の配置に対応するように放音地点画像の位置を調整することで、音像分布画像で表現される音像分布を現実の音響空間にて忠実に再現することが可能である。

以上の各態様に係る音響処理装置は、音響信号の処理に専用されるＤＳＰ（Digital Signal Processor）などのハードウェア（電子回路）によって実現されるほか、ＣＰＵ（Central Processing Unit）等の汎用の演算処理装置とプログラムとの協働によっても実現される。本発明のプログラムは、第１音響信号から複数チャネルの第２音響信号を生成するために、基準点を中心とした半径方向が周波数に対応するとともに円周方向が定位方向に対応する音像平面内での第１音響信号の各周波数成分の音像分布を表現する音像分布画像を表示装置に表示させる処理であって、音像平面のうち半径方向に設定された周波数範囲と円周方向に設定された定位範囲とに対応する操作対象領域内の音像分布を利用者からの指示に応じて円周方向に移動させる表示制御処理と、第２音響信号の各周波数成分の音像分布が、操作対象領域の移動後の音像分布画像が表現する音像分布に対応するように、第１音響信号から第２音響信号を生成する信号処理とをコンピュータに実行させる。以上のプログラムによれば、本発明の音響処理装置と同様の作用および効果が奏される。本発明のプログラムは、コンピュータが読取可能な記録媒体に格納された形態で提供されてコンピュータにインストールされるほか、通信網を介した配信の形態で提供されてコンピュータにインストールされる。

本発明の第１実施形態に係る音響処理装置のブロック図である。 定位設定画像の模式図である。 操作対象領域の移動後の定位設定画像の模式図である。 第２実施形態における定位設定画像の模式図である。 第３実施形態における定位設定画像の模式図である。 変形例における定位設定画像の模式図である。 変形例における定位設定画像の模式図である。 非特許文献１の表示画面の模式図である。

＜第１実施形態＞
図１は、本発明の第１実施形態に係る音響処理装置１００のブロック図である。図１に示すように、音響処理装置１００には信号供給装置１２と５個の放音装置１４（１４C，１４L，１４R，１４LS，１４RS）とが接続される。信号供給装置１２は、複数の音源が発音した複数の音響（歌唱音や楽器音）の混合音の波形を示す音響信号Ｘを音響処理装置１００に供給する。音響信号Ｘは、各音源に対応する音像が相異なる位置に定位するように収音または加工（例えば左右チャネル間の強度比や遅延量を変更する処理）された左チャネルの音響信号ＸLと右チャネルの音響信号ＸRとで構成されるステレオ信号である。周囲の音響を収音して音響信号Ｘ（ＸL，ＸR）を生成する収音機器や、可搬型または内蔵型の記録媒体から音響信号Ｘを取得する再生装置や、通信網から音響信号Ｘを受信する通信装置が信号供給装置１２として採用され得る。なお、音響処理装置１００と信号供給装置１２とを一体に構成することも可能である。

各放音装置１４は、受聴者Ｈを包囲する位置に配置される。放音装置１４Cは受聴者Ｈの前方に配置され、放音装置１４Lは受聴者Ｈの左前方に配置され、放音装置１４Rは受聴者Ｈの右前方に配置され、放音装置１４LSは受聴者Ｈの左後方に配置され、放音装置１４RSは受聴者Ｈの右後方に配置される。すなわち、第１実施形態は、音響処理装置１００を利用した５チャネルのサラウンドシステムである。なお、低音用の放音装置（ウーハ）を追加することで５.１チャネルのサラウンドシステムを構成することも可能である。

音響処理装置１００は、左右２チャネルの音響信号Ｘからサラウンド形式の５チャネルの音響信号Ｙ（ＹC，ＹL，ＹR，ＹLS，ＹRS）を生成する信号処理装置である。各放音装置１４は、音響処理装置１００が生成した音響信号Ｙに応じた音波を再生する。具体的には、放音装置１４Cは音響信号ＹCを再生し、放音装置１４Lは音響信号ＹLを再生し、放音装置１４Rは音響信号ＹRを再生し、放音装置１４LSは音響信号ＹLSを再生し、放音装置１４RSは音響信号ＹRSを再生する。音響信号ＸLは放音装置１４Lからの再生を想定して生成され、音響信号ＸRは放音装置１４Rからの再生を想定して生成される。

図１に示すように、音響処理装置１００は、演算処理装置２２と記憶装置２４と表示装置２６と入力装置２８とを具備するコンピュータシステムで実現される。表示装置２６（例えば液晶表示パネル）は、演算処理装置２２からの指示に応じて各種の画像を表示する。入力装置２８は、音響処理装置１００に対する利用者からの指示を受付ける機器であり、例えば利用者が操作する複数の操作子を含んで構成される。なお、表示装置２６と一体に構成されたタッチパネルを入力装置２８として利用することも可能である。

記憶装置２４は、演算処理装置２２が実行するプログラムや演算処理装置２２が使用する各種の情報を記憶する。半導体記録媒体や磁気記録媒体等の公知の記録媒体または複数種の記録媒体の組合せが記憶装置２４として任意に採用される。なお、各音響信号Ｘを記憶装置２４に格納した構成（したがって信号供給装置１２は省略される）も採用され得る。

演算処理装置２２は、記憶装置２４に格納されたプログラムを実行することで、左右２チャネルの音響信号Ｘ（ＸL，ＸR）から５チャネルの音響信号Ｙ（ＹC，ＹL，ＹR，ＹLS，ＹRS）を生成（アップミックス）するための複数の機能（周波数分析部３２，定位解析部３４，表示制御部３６，信号処理部４２，波形合成部４４）を実現する。なお、演算処理装置２２の各機能を複数の装置に分散した構成や、演算処理装置２２の一部の機能を専用の電子回路（ＤＳＰ）が実現する構成も採用され得る。

周波数分析部３２は、音響信号ＸLおよび音響信号ＸRの各々について、相異なる周波数Ｆ[k]に対応する複数の周波数成分（周波数スペクトル）を時間軸上の単位期間毎に順次に算定する。記号ｋは、周波数軸上に設定された複数の周波数（周波数帯域）のうち任意の１個の周波数を指示する変数である。音響信号ＸLおよび音響信号ＸRの各周波数成分の算定には、例えば短時間フーリエ変換等の公知の周波数分析が任意に採用される。通過帯域が相違する複数の帯域通過フィルタで構成されるフィルタバンクを周波数分析部３２として採用することも可能である。

定位解析部３４は、音響信号Ｘの各周波数成分の定位方向θ[k]を算定する。定位方向θ[k]の算定には公知の技術が任意に採用され得るが、例えば、音響信号ＸLの各周波数成分の強度|ＸL[k]|と音響信号ＸRの各周波数成分の強度|ＸR[k]|とを適用した以下の数式(1)の演算が好適である。数式(1)で算定される定位方向θ[k]は、数値０が受聴者Ｈの正面方向を意味し、正面方向に対する左側を負数で表現するとともに右側を正数で表現する。なお、数式(1)については、例えば、M. Vinyes, J. Bonada, A. Loscos, "Demixing Commercial Music Productions via Human-Assisted Time-Frequency Masking"，Audio Engineering Society 120th Convention, France, 2006にも詳述されている。

図１の表示制御部３６は、定位解析部３４による解析結果を表現する図２の定位設定画像Ｇを表示装置２６に表示させる。図２に示すように、定位設定画像Ｇは、各周波数成分の音像の分布（以下「音像分布」という）を表現する音像分布画像５０と、各チャネルの放音装置１４を表象する５個の放音地点画像６０（６０C，６０L，６０R，６０LS，６０RS）とを含んで構成される。

音像分布画像５０は、基準点Ｐ0を中心とする座標平面（以下「音像平面」という）内での音像分布を表現する円形状の画像である。基準点Ｐ0は、再生音の受聴者Ｈの位置（受聴点）に相当する。音像平面内では、基準点Ｐ0を中心とした半径方向が周波数を意味し、基準点Ｐ0を中心とした円周方向が定位方向を意味する。すなわち、基準点Ｐ0から半径方向に延在する任意の直線が周波数軸に相当し、基準点Ｐ0を中心とした任意の同心円が定位方向の座標軸に相当する。図２に図示された半径方向の直線ＤCは、基準点Ｐ0に位置する受聴者Ｈの正面方向を意味し、基準点Ｐ0を挟んで正面方向ＤCの反対側が受聴者Ｈの背面方向を意味する。したがって、正面方向ＤCに対して反時計回りに180°にわたる半円状の範囲が受聴者Ｈの左側（左前方から左後方）に相当し、正面方向ＤCに対して時計回りに180°にわたる半円状の範囲が受聴者Ｈの右側（右前方から右後方）に相当する。

各放音地点画像６０は、音像分布画像５０の周囲の領域のうち各放音装置１４に対応する位置（基準点Ｐ0を中心とする円周上）に配置される。具体的には、放音装置１４Cを表象する放音地点画像６０Cは正面方向ＤCに配置され、放音装置１４Lを表象する放音地点画像６０Lは基準点Ｐ0の左前方（例えば正面方向ＤCに対して反時計回りに30°の方向）ＤLに配置され、放音装置１４Rを表象する放音地点画像６０Rは基準点Ｐ0の右前方（例えば正面方向ＤCに対して時計回りに30°の方向）ＤRに配置される。また、放音装置１４LSを表象する放音地点画像６０LSは基準点Ｐ0の左後方ＤLSに配置され、放音装置１４RSを表象する放音地点画像６０RSは基準点Ｐ0の右後方ＤRSに配置される。

表示制御部３６は、音響信号Ｘのうち特定の区間（以下「表示対象区間」という）内の各周波数成分を表象する複数の音像図形Ｑを音像平面に配置する。表示対象区間は、音響信号Ｘのうち例えば利用者が入力装置２８に対する操作で選択した１個以上の単位期間で構成される。表示対象区間内の音響信号Ｘのうち周波数Ｆ[k]の周波数成分に対応する音像図形Ｑは、音像平面内の半径方向に沿う複数の地点のうち周波数Ｆ[k]に対応する地点と、音像平面内の円周方向に沿う複数の地点のうち定位解析部３４が周波数Ｆ[k]について算定した定位方向θ[k]に対応する地点とで規定される座標に位置する。すなわち、基準点Ｐ0を中心として周波数Ｆ[k]に対応する半径の円弧と、基準点Ｐ0から定位方向θ[k]に延在する直線との交差点に、周波数Ｆ[k]の周波数成分を表象する音像図形Ｑが配置される。以上の説明から理解されるように、音像平面内の各音像図形Ｑにより音響信号Ｘの各周波数成分の音像分布が表現される。すなわち、利用者は、音像分布画像５０を視認することで音響信号Ｘの各周波数成分の周波数Ｆ[k]と定位方向θ[k]との関係（音像分布）を視覚的および直観的に確認することが可能である。なお、各周波数成分の音像図形Ｑの表示態様（例えば色彩や階調やサイズ等の視覚的に認識可能な性状）を各周波数成分の強度（例えば強度|ＸL[k]|および強度|ＸR[k]|の一方や両者の平均）に応じて可変に制御する構成も好適である。

各周波数成分の定位方向θ[k]は、左チャネルの音響信号ＸLと右チャネルの音響信号ＸRとを適用した数式(1)の演算で算定される。したがって、定位解析部３４が算定した各定位方向θ[k]は、基準点Ｐ0の前方にて左前方ＤLと右前方ＤRとに挟まれた扇形の領域（以下「初期分布領域」という）Ａ0内に包含される。すなわち、利用者からの指示が音像分布に反映されていない初期的な状態の音像分布画像５０では、各周波数成分に対応する全部の音像図形Ｑが初期分布領域Ａ0の内側に分布する。

表示制御部３６は、入力装置２８に対する利用者からの指示に応じて音像平面内の初期分布領域Ａ0を複数の操作対象領域Ｂに区分する。各操作対象領域Ｂは、初期分布領域Ａ0を半径方向および円周方向に区分した円弧形（アーチ形）の領域である。具体的には、表示制御部３６は、基準点Ｐ0を中心とする円弧状の各区分線ＳCを境界として初期分布領域Ａ0を半径方向に複数の範囲（以下「周波数範囲」という）ＡFに区分し、基準点Ｐ0から半径方向に延在する直線状の各区分線ＳRを境界として初期分布領域Ａ0を円周方向に複数の範囲（以下「定位範囲」という）ＡPに区分する。各区分線ＳCの半径方向の位置（各周波数範囲ＡF）と各区分線ＳRの円周方向の位置（定位範囲ＡP）とは利用者からの指示に応じて可変に設定される。

各操作対象領域Ｂは、各区分線ＳRと各区分線ＳCとで包囲された領域である。すなわち、表示制御部３６は、各区分線ＳCで画定された周波数範囲ＡFと各区分線ＳRで画定された定位範囲ＡPとに対応した操作対象領域Ｂを利用者からの指示に応じて設定する。利用者は、初期分布領域Ａ0のうち音響信号Ｘの所望の周波数成分（例えば所望の定位方向に定位する所望の音域の楽器音）を包含するように操作対象領域Ｂ（所望の周波数を包含する周波数範囲ＡFと所望の定位方向を包含する定位範囲ＡP）を指定する。

利用者は、入力装置２８を適宜に操作する（例えばマウスでドラッグする）ことで音像平面内の任意の操作対象領域Ｂの移動を音響処理装置１００に指示することが可能である。表示制御部３６は、利用者から指示された操作対象領域Ｂ内の音像分布（複数の音像図形Ｑの集合）を利用者からの指示に応じて円周方向に移動させる。具体的には、図３に破線の矢印で図示した通り、初期分布領域Ａ0内の各操作対象領域Ｂ内の音像分布が初期分布領域Ａ0の外側の領域に円周方向に沿って任意の移動量だけ移動する。すなわち、音響信号Ｘの各周波数成分の定位方向θ[k]が、基準点Ｐ0の周囲の全方向（360°）から選択された任意の方向に操作対象領域Ｂ毎に変更される。

図１の信号処理部４２は、音響信号Ｘの各周波数成分に対する信号処理で音響信号Ｙ（ＹC，ＹL，ＹR，ＹLS，ＹRS）の各周波数成分（周波数スペクトル）をチャネル毎に生成する。具体的には、信号処理部４２は、各チャネルの音響信号Ｙの各周波数成分の音像分布が、利用者からの指示（操作対象領域Ｂの移動）を反映した音像分布画像５０で表現される音像分布に対応するように、音響信号Ｘの各周波数成分から音響信号Ｙのチャネル毎の各周波数成分を生成する。例えば、操作対象領域Ｂの移動後の音像分布画像５０にて基準点Ｐ0の左後方ＤLSと右後方ＤRSとの間に定位方向θ[k]が位置する周波数Ｆ[k]の周波数成分（音像図形Ｑが基準点Ｐ0の後方に位置する周波数成分）については、音響信号Ｘのうち周波数Ｆ[k]の周波数成分が、変更後の定位方向θ[k]に応じた位相差および強度比で音響信号ＹLSおよび音響信号ＹRSの各々における周波数Ｆ[k]の周波数成分に分配される。同様に、基準点Ｐ0の左方（左前方ＤLと左後方ＤLSとの間）に変更後の定位方向θ[k]が位置する周波数Ｆ[k]の周波数成分については、音響信号Ｘのうち周波数Ｆ[k]の周波数成分が、変更後の定位方向θ[k]に応じた位相差および強度比で音響信号ＹLおよび音響信号ＹLSの各々における周波数Ｆ[k]の周波数成分に分配される。

波形合成部４４は、信号処理部４２がチャネル毎に生成した周波数成分から各チャネルの音響信号Ｙ（ＹC，ＹL，ＹR，ＹLS，ＹRS）を生成する。具体的には、波形合成部４４は、音響信号ＹCの各周波数成分（周波数スペクトル）に対する短時間逆フーリエ変換で生成した時間領域信号を前後の単位期間にて相互に連結することで音響信号ＹCを生成する。各チャネルの音響信号Ｙが各放音装置１４に供給されることで音波として再生される。したがって、各操作対象領域Ｂの移動後の音像分布画像５０で指定された定位位置θ[k]に再生音の各周波数成分の音像を定位させた音場が受聴者Ｈの周囲に形成される。

以上に説明した第１実施形態では、周波数範囲ＡFと定位範囲ＡPとで音像平面に画定される操作対象領域Ｂ内の各周波数成分の定位方向θ[k]（音像分布）が利用者からの指示に応じて変更される。すなわち、音響信号Ｘのうち特定の周波数成分についてのみ選択的に定位方向θ[k]が変更される。したがって、非特許文献１の技術と比較して、各周波数成分の定位方向θ[k]を精緻に調整することが可能である。また、受聴者Ｈに相当する基準点Ｐ0を中心とした円周方向に操作対象領域Ｂ内の音像分布が移動するから、音像平面内の音像分布を視覚的および直観的に把握しながら利用者が各周波数成分の定位方向θ[k]を容易に調整できるという利点もある。

また、第１実施形態では、操作対象領域Ｂを規定する周波数範囲ＡFおよび定位範囲ＡPが利用者からの指示に応じて可変に設定される。したがって、所望の方向に定位する所望の音域の音源からの音響（例えば収録時に特定の方向に配置された楽器の演奏音）についてのみ選択的に定位方向θ[k]を変更するといった多様かつ精緻な調整が可能である。

＜第２実施形態＞
本発明の第２実施形態を以下に説明する。なお、以下に例示する各形態において作用や機能が第１実施形態と同様である要素については、第１実施形態の説明で参照した符号を流用して各々の詳細な説明を適宜に省略する。

図４は、第２実施形態における定位設定画像Ｇの模式図である。図４に示すように、第２実施形態の表示制御部３６が表示装置２６に表示させる音像分布画像５０は、各操作対象領域Ｂの強度値Ｅを第１実施形態の音像分布画像５０に追加した画像である。各強度値Ｅは、操作対象領域Ｂ内の各周波数成分の平均強度（音量）の数値であり、操作対象領域Ｂの内部または近傍に配置される。

利用者は、入力装置２８を適宜に操作する（例えば所望の操作対象領域Ｂをマウスやタッチパネル等の入力装置２８で選択した場合に表示されるスライダ等の操作子を操作する）ことで、所望の操作対象領域Ｂの強度値Ｅの変更を指示することが可能である。表示制御部３６は、入力装置２８に対する利用者からの指示に応じて各操作対象領域Ｂの強度値Ｅを変更する。各強度値Ｅは、利用者からの指示に応じた操作対象領域Ｂの移動後も操作対象領域Ｂの内部または近傍に配置される。信号処理部４２は、音響信号Ｙのうち操作対象領域Ｂ内の各周波数成分の強度（振幅）を、その操作対象領域Ｂに指定された強度値Ｅに応じて制御する。

第２実施形態においても第１実施形態と同様の効果が実現される。また、第２実施形態では、音像平面内の音像分布を強度値Ｅとともに視覚的および直観的に把握しながら利用者が各周波数成分の強度値Ｅを容易に調整できるという利点がある。

＜第３実施形態＞
図５は、第３実施形態における定位設定画像Ｇの模式図である。図５に矢印で図示した通り、第３実施形態の表示制御部３６は、音像分布画像５０に対する各放音地点画像６０の位置を可変に制御する。利用者は、入力装置２８を適宜に操作することで、所望の放音地点画像６０の移動を指示することが可能である。表示制御部３６は、入力装置２８に対する利用者からの指示に応じて、基準点Ｐ0を中心とした円周方向に各放音地点画像６０を移動させる。

信号処理部４２は、放音地点画像６０の各位置に配置された放音装置１４が各チャネルの音響信号Ｙを再生した場合の各周波数成分の音像分布が、音像分布画像５０で表現される音像分布に対応するように、音響信号Ｘの各周波数成分から各チャネルの音響信号Ｙの各周波数成分を生成する。具体的には、放音地点画像６０の各位置と各周波数成分の定位方向θ[k]との位置関係に応じた位相差および強度比で音響信号Ｘの各周波数Ｆ[k]の周波数成分が各チャネルの音響信号Ｙに分配される。

第３実施形態においても第１実施形態と同様の効果が実現される。また、第３実施形態では、利用者からの指示に応じて調整された各放音地点画像６０の位置が音響信号Ｙの生成に反映されるから、各放音装置１４の実際の配置位置に応じて放音地点画像６０を調整することで、音像分布画像５０にて表現された音像分布を実際の音響空間にて忠実に再現することが可能である。

なお、以上の説明では、各放音地点画像６０の位置を利用者が個別に変更する場合を例示したが、各放音地点画像６０について相異なる位置を指定する複数の位置情報（テンプレート）を記憶装置２４に事前に格納した構成も採用され得る。複数の位置情報のうち利用者が選択した位置情報に応じて各放音地点画像６０の位置が設定される。

＜変形例＞
以上に例示した各形態には様々な変形が加えられる。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２以上の態様は適宜に併合され得る。

（１）前述の各形態では、操作対象領域Ｂを円周方向に移動する場合を例示したが、利用者からの指示に応じて表示制御部３６が操作対象領域Ｂを半径方向（周波数軸方向）に移動することも可能である。操作対象領域Ｂ（各周波数成分の音像分布）の半径方向の移動は周波数成分の音高の変更（ピッチシフト）を意味する。したがって、信号処理部４２は、各操作対象領域Ｂ内の各周波数成分の音高を操作対象領域Ｂの半径方向の移動量に応じて調整することで各チャネルの音響信号Ｙを生成する。

また、図６に示すように、利用者からの指示に応じて操作対象領域Ｂを円周方向に伸縮することも可能である。図２に例示された定位設定画像Ｇのうちの１個の操作対象領域Ｂを円周方向に伸長した場合が図６では例示されている。表示制御部３６は、操作対象領域Ｂの伸縮に連動して操作対象領域Ｂ内の音像分布を伸縮する。すなわち、操作対象領域Ｂが円周方向に伸長された場合には操作対象領域Ｂ内の各音像図形Ｑの円周方向の間隔が伸長率に応じて拡大され、操作対象領域Ｂが円周方向に収縮された場合には操作対象領域Ｂ内の各音像図形Ｑの円周方向の間隔が縮小率に応じて縮小される。操作対象領域Ｂの伸縮の前後に各操作対象領域Ｂは利用者からの指示に応じて円周方向（または半径方向）に移動される。例えば、操作対象領域Ｂを略直線状の形状（各音像図形Ｑが直線状に配列する形状）まで収縮して円周方向に適宜に移動させることで、操作対象領域Ｂ内の各周波数成分の再生音が特定の１個の放音装置１４のみから放音されるように音像分布を制御することが可能である。

（２）前述の各形態では全部の周波数成分を各放音装置１４から再生したが、音像分布画像５０から選択された１個以上の操作対象領域Ｂ（例えば利用者が選択した操作対象領域Ｂ）内の周波数成分のみを選択的に各放音装置１４から再生することも可能である。

（３）前述の各形態では、各放音装置１４に対応する５チャネルの音響信号Ｙ（ＹC，ＹL，ＹR，ＹLS，ＹRS）を２チャネルの音響信号Ｘ（ＸL，ＸR）から生成したが、音響信号Ｘや音響信号Ｙのチャネル数は適宜に変更される。例えば、３チャネル以上（例えば５チャネル）の音響信号Ｘを音響処理装置１００に供給する構成では、各チャネルの音響信号Ｘから各周波数成分の定位方向θ[k]が算定される。したがって、初期分布領域Ａ0は、基準点Ｐ0を中心とした全周にわたる領域となる。また、３チャネル以上の音響信号Ｘのうち音響処理装置１００による処理対象となるチャネル数を例えば利用者からの指示に応じて可変に設定する構成も好適である。

また、前述の各形態と同様に生成された５チャネルの音響信号Ｙに頭部伝達関数を畳込むことで、前述の各形態と同様の音場を仮想的に形成する２チャネルの音響信号を生成することも可能である。また、前述の各形態では、音響信号Ｙの全部のチャネルについて各周波数成分の定位方向を制御したが、特定のチャネルを定位方向の調整対象から除外することも可能である。例えば、映画等の映像作品では正面方向の音響信号ＹCが登場人物の台詞等の音声を含む場合が多く、歌唱曲の収録音では正面方向の音響信号ＹCが歌唱音（メインボーカル）を含む場合が多いという傾向がある。以上の傾向のもとでは、音響信号ＹCを信号処理部４２による調整対象から除外して所期の方向に定位させる構成が好適である。

モノラル（１チャネル）の音響信号Ｘを音響処理装置１００に供給することも可能である。モノラルの音響信号Ｘを音響処理装置１００に供給する場合、音響信号Ｘを２チャネルに分配して各周波数成分の定位方向θ[k]を算定することが可能である。以上の構成では、定位設定画像Ｇの初期状態では、各周波数成分に対応する複数の音像図形Ｑが正面方向ＤCに沿って直線状に配列する。また、モノラルの音響信号Ｘをステレオの音響信号Ｘ（ＸL，ＸR）に変換してから処理することも可能である。例えば、ステレオリバーブ等の音響効果を音響信号Ｘに付与する（更には各チャネルのバランスを調整する）ことでステレオの音響信号Ｘが生成される。

（４）前述の各形態では、各放音装置１４が内側の受聴者Ｈに放音する場合を例示したが、放音面が外側を向くように各放音装置１４を配置することで各放音装置１４の周囲に音場を形成する場合にも本発明を適用することが可能である。放音装置１４を外向きに配置した場合の定位設定画像Ｇでは、基準点Ｐ0に対して外向きの各放音装置１４を表象する放音地点画像６０が配置され、各放音地点画像６０の周囲の音像平面に各音像図形Ｑが配置される。

（５）前述の各形態では、初期分布領域Ａ0を半径方向および円周方向に複数の操作対象領域Ｂに区分したが、各操作対象領域Ｂの選定方法や各操作対象領域Ｂの形状は以上の例示に限定されない。例えば、入力装置２８に対する利用者からの指示に応じて任意の形状の操作対象領域Ｂを設定する構成や、複数の操作対象領域Ｂが半径方向または周波数方向に相互に重複する構成も採用され得る。

（６）図７に例示したように、各操作対象領域Ｂ内の音像分布を維持したまま各操作対象領域Ｂ内の音像分布を位置に複製（コピー）することも可能である。第２実施形態で例示した強度値Ｅは、複製元の操作対象領域Ｂと複製先の操作対象領域Ｂとの双方に配置される。信号処理部４２は、各操作対象領域Ｂの複製後の音像分布に対応するように音響信号Ｙを生成する。ただし、各操作対象領域Ｂ内の周波数成分を単純に複製しただけでは音響信号Ｙの音量が音響信号Ｘと比較して増加して聴感的に不自然な印象となる可能性がある。そこで、操作対象領域Ｂが複製された場合でも音響信号Ｙの音量が過度に増加しないように、複製元の操作対象領域Ｂの各周波数成分の強度と複製先の操作対象領域Ｂの各周波数成分の強度とを調整（低減）することも可能である。例えば、信号処理部４２は、複製元の操作対象領域Ｂ内の各周波数成分の強度に対して例えば０.９程度の所定の調整値（ゲイン）を乗算し、複製先の操作対象領域Ｂ内の各周波数成分の強度に対して複製元の調整値を下回る調整値（例えば０.４程度）を乗算する。以上の説明から理解されるように、本発明における音像分布の「移動」は、操作前の音像分布を維持しない狭義の「移動」と、操作前の音像分布を維持する「複製」との双方を包含する概念である。なお、操作対象領域Ｂ（音像分布）の複製は複数回にわたり反復され得る。

なお、操作対象領域Ｂ内の音像分布を他の位置に複製する場合、複製先の操作対象領域Ｂ内の各周波数成分に対して信号処理部４２が各種の音響効果を付与することも可能である。例えば、０.１秒程度のディレイやリバーブ等の音響効果を信号処理部４２が複製先の操作対象領域内の各周波数成分に付与する構成によれば、利用者による簡単な操作で音場の拡がり感を増加させることが可能である。また、複製先の操作対象領域Ｂ内の各周波数成分から信号処理部４２が残響成分を抽出する構成も好適である。例えば、基準点Ｐ0の前方に位置する操作対象領域Ｂを基準点Ｐ0の後方に複製し、複製先の操作対象領域Ｂ内の各周波数成分から残響成分を抽出したうえで複製元の操作対象領域Ｂ内の各周波数成分とともに再生すれば、音響ホール等の音響空間と同様の音場の拡がり感を受聴者Ｈに知覚させることが可能である。なお、各周波数成分から残響成分を抽出する処理には公知の技術（残響抽出技術，残響抑圧技術）を任意に採用することが可能である。残響抑圧技術を利用する場合、例えば、複製元の操作対象領域Ｂ内の各周波数成分に対する残響抑圧で直接音成分を推定し、複製元の操作対象領域Ｂ内の各周波数成分から直接音成分を減算することで操作対象領域Ｂ内の残響成分を推定することが可能である。なお、複製元の操作対象領域Ｂ内の各周波数成分に対する残響抑圧の有無は不問である。

（７）前述の各形態では、各操作対象領域Ｂ内の音像分布を維持したまま移動させたが、操作対象領域Ｂの移動（複製）の前後にわたる音像分布は厳密に合致している必要はない。例えば、操作対象領域Ｂを基準点Ｐ0に対して反対側に移動した場合に、移動後の操作対象領域Ｂ内の音像分布を、移動前の操作対象領域Ｂ内の音像分布を円周方向に反転させた分布に設定することが可能である。以上の構成によれば、利用者による簡単な操作で音場の拡がり感を増加させることが可能である。

（８）音像分布画像５０の外形は円形に限定されない。例えば、扇形（半円形や３/４円等）や楕円形の音像分布画像５０を表示した場合でも前述の各形態が同様に採用され得る。また、音像分布画像５０の外形を多角形状（例えば四角形や三角形）とすることも可能である。例えば、各放音装置１４が実際に設置される音響空間を表象する長方形状の音像分布画像５０を表示する構成が好適である。以上の説明から理解されるように、音像分布画像５０は、音像平面内での各周波数成分の音像分布を表現する画像として包括され、音像分布画像の外形は任意である。また、前述の各形態の例示から理解されるように、音像平面は、典型的には、半径方向（基準点Ｐ0から放射状に延在する直線の方向）が周波数に対応し、円周方向（基準点Ｐ0の周囲の円弧（楕円の円弧も包含する）の方向）が定位方向に対応する平面である。

（９）前述の各形態では、音像分布画像５０を平面画像として表示したが、音像分布画像５０を例えば球状や立方体状（例えば各放音装置１４が設置される音響空間の内部形状）の立体画像として表示装置２６に表示することも可能である。音像分布画像５０を表現する立体を横断するとともに基準点Ｐ0を通過する平面が音像平面に相当する。音像分布画像５０を立体画像として表示する構成では、基準点Ｐ0に対する左右方向の音像定位に加えて基準点Ｐ0に対する上下方向の音像定位も調整することが可能である。したがって、例えば９.１チャネルのサラウンドシステムのように受聴者Ｈの上下方向にも音像を定位させる構成のもとで格別に好適である。

（１０）各放音地点画像６０を配置する位置の選定方法は任意である。例えば、音響信号Ｙのチャネル数（放音地点画像６０の個数）に応じて各放音地点画像６０の位置を自動的に選定する構成が好適である。例えば、ＩＴＵ−Ｒ ＢＳ.７７５−１の規格に準拠した各位置に放音地点画像６０を配置する構成や、各放音地点画像６０の位置を規定する複数のテンプレートのうち利用者が選択したテンプレートが規定する各位置に放音地点画像６０を配置する構成が好適である。

（１１）第２実施形態では、操作対象領域Ｂ内の各周波数成分の強度値Ｅを表示したが、操作対象領域Ｂ内の各周波数成分を調整する構成（例えば各周波数成分に音響効果を付与する構成）では、強度値Ｅに代えて（または強度値Ｅとともに）、各周波数成分の調整のパラメータを操作対象領域Ｂに対応して表示することも可能である。

（１２）前述の各形態では、定位設定画像Ｇに対する利用者からの指示に応じて音響信号Ｘを処理する音響処理装置１００を例示したが、音響信号Ｘの音像分布を解析して結果（定位設定画像Ｇ）を表示する音響解析装置としても本発明は実現され得る。音響解析装置は、音響信号Ｘの各周波数成分の定位方向θ[k]を算定する定位解析部３４と、各周波数成分の音像分布を表現する定位設定画像Ｇを表示装置２６に表示させる表示制御部３６とを含んで構成される。以上の説明から理解されるように、前述の各形態にて例示した信号処理部４２は省略され得る。

１００……音響処理装置、１２……信号供給装置、１４……放音装置、２２……演算処理装置、２４……記憶装置、２６……表示装置、２８……入力装置、３２……周波数分析部、３４……定位解析部、３６……表示制御部、４２……信号処理部、４４……波形合成部、Ｇ……定位設定画像、５０……音像分布画像、６０（６０C，６０L，６０R，６０LS，６０RS）……放音地点画像、Ｂ……操作対象領域。

Claims (5)

1. 第１音響信号から複数チャネルの第２音響信号を生成する装置であって、
   基準点を中心とした半径方向が周波数に対応するとともに円周方向が定位方向に対応する音像平面内での前記第１音響信号の各周波数成分の音像分布を表現する音像分布画像を表示装置に表示させる手段であって、前記音像平面のうち前記半径方向に設定された周波数範囲と前記円周方向に設定された定位範囲とに対応する操作対象領域内の音像分布を利用者からの指示に応じて円周方向に移動させる表示制御手段と、
   前記第２音響信号の各周波数成分の音像分布が、前記操作対象領域の移動後の音像分布画像が表現する音像分布に対応するように、前記第１音響信号から前記第２音響信号を生成する信号処理手段と
   を具備する音響処理装置。
2. 前記表示制御手段は、前記音像平面のうち前記第１音響信号の各周波数成分が分布する初期分布領域の内側に画定された前記操作対象領域を、利用者からの指示に応じて前記初期分布領域の外側に移動する
   請求項１の音響処理装置。
3. 前記表示制御手段は、前記周波数範囲と前記定位範囲とを利用者からの指示に応じて可変に設定する
   請求項１または請求項２の音響処理装置。
4. 前記表示制御手段は、前記操作対象領域内の各周波数成分の強度値を、当該操作対象領域に対応した位置に配置するとともに利用者からの指示に応じて変更し、
   前記信号処理手段は、前記操作対象領域内の各周波数成分の強度を、当該操作対象領域に対応する強度値に応じて調整する
   請求項１から請求項３の何れかの音響処理装置。
5. 前記表示制御手段は、第２音響信号の各チャネルの放音装置を表象する放音地点画像を、前記基準点を中心とした円周方向の各位置に配置するとともに、円周方向における前記放音地点画像の位置を利用者からの指示に応じて可変に設定し、
   前記信号処理手段は、前記放音地点画像の各位置に配置された放音装置が前記第２音響信号を再生した場合の各周波数成分の音像分布が、前記音像分布画像が表現する音像分布に対応するように、前記第１音響信号から前記第２音響信号を生成する
   請求項１から請求項４の何れかの音響処理装置。

Images