JP6786834B2 - 音響処理装置、プログラムおよび音響処理方法 - Google Patents

Description

本発明は、楽音や音声等の音響を表す音響信号を処理する技術に関する。

頭部伝達関数を音響信号に畳込んで再生することで、仮想的な音源（すなわち音像）の定位を受聴者に知覚させることが可能である。例えば特許文献１には、受聴点の周囲に位置する１個の点音源から当該受聴点における受聴者の耳位置までの頭部伝達特性を音響信号に付与する構成が開示されている。

特開昭５９−４４１９９号公報

しかし、特許文献１の技術では、受聴点の周囲の１個の点音源に対応した頭部伝達特性が音響信号に付与されるから、空間的な拡がりのある音像を受聴者に知覚させることはできない。以上の事情を考慮して、本発明は、仮想音源の空間的な拡がりを受聴者に知覚させることを目的とする。

以上の課題を解決するために、本発明の第１態様に係る音響処理装置は、仮想音源のサイズを可変に設定する設定処理部と、受聴点に対する位置が相違する複数の地点のうち設定処理部が設定したサイズに応じた対象範囲内の各地点に対応する複数の頭部伝達特性を第１音響信号に付与して第２音響信号を生成する信号処理部とを具備する。以上の態様では、相異なる地点に対応する複数の頭部伝達特性が第１音響信号に付与されるから、空間的な拡がりのある仮想音源の定位を第２音響信号の再生音の受聴者に知覚させることができる。また、仮想音源のサイズに応じた可変の対象範囲内の複数の頭部伝達特性が第１音響信号に付与されるから、相異なる複数のサイズの仮想音源を受聴者に知覚させることが可能である。

本発明の好適な態様において、信号処理部は、仮想音源のサイズに応じた対象範囲を設定する範囲設定部と、範囲設定部が設定した対象範囲内の相異なる地点に対応する複数の頭部伝達特性を合成する特性合成部と、特性合成部による合成後の頭部伝達特性を第１音響信号に付与することで第２音響信号を生成する特性付与部とを含む。以上の態様では、対象範囲内の複数の頭部伝達特性の合成で生成された頭部伝達特性が第１音響信号に付与される。したがって、対象範囲内の複数の頭部伝達特性の各々を第１音響信号に付与してから合成する構成と比較して、頭部伝達特性の付与（例えば畳込演算）に必要な処理負荷を軽減することが可能である。

本発明の好適な態様において、特性合成部は、対象範囲内の各地点の位置に応じて設定された加重値を使用して複数の頭部伝達特性を加重平均する。以上の態様では、対象範囲内の各地点の位置に応じて設定された加重値が複数の頭部伝達特性の加重平均に使用されるから、対象範囲内の位置に応じて頭部伝達特性の反映の度合を相違させた多様な特性を第１音響信号に付与することが可能である。

本発明の好適な態様において、範囲設定部は、受聴点に対応する耳位置または当該受聴点を投影中心として、複数の地点を含む基準面に仮想音源を透視投影した範囲を、対象範囲として設定する。以上の態様では、受聴点または耳位置を投影中心として仮想音源を基準面に透視投影した範囲が対象範囲として設定されるから、受聴点と仮想音源との距離に応じて対象範囲の面積（さらには対象範囲内の頭部伝達特性の個数）が変化する。したがって、仮想音源との距離の変化を受聴者に知覚させることが可能である。

本発明の好適な態様において、信号処理部は、対象範囲内の相異なる地点に対応する複数の頭部伝達特性の各々について、当該地点と受聴点における耳位置との距離に応じて当該頭部伝達特性の遅延量を補正する遅延補正部を含み、特性合成部は、遅延補正部による補正後の複数の頭部伝達特性を合成する。以上の態様では、対象範囲内の各地点と耳位置との距離に応じて頭部伝達特性の遅延量が補正されるから、対象範囲内の複数の頭部伝達特性における遅延量の差異を補償することが可能である。したがって、仮想音源の自然な定位を受聴者に知覚させることができる。

本発明の第２態様に係る音響処理装置は、仮想音源のサイズを可変に設定する設定処理部と、仮想音源の複数のサイズの各々について、受聴点に対する位置が相違する複数の地点のうち当該サイズに応じた対象範囲内の各地点に対応する複数の頭部伝達特性の合成で生成された複数の合成伝達特性から、設定処理部が設定したサイズに対応する合成伝達特性を取得する特性取得部と、特性取得部が取得した合成伝達特性を第１音響信号に付与することで第２音響信号を生成する特性付与部とを具備する。以上の態様では、相異なる地点に対応する複数の頭部伝達特性を反映した合成伝達特性が第１音響信号に付与されるから、空間的な拡がりのある仮想音源の定位を第２音響信号の再生音の受聴者に知覚させることができる。また、仮想音源のサイズに応じた可変の対象範囲内の複数の頭部伝達特性を反映した合成伝達特性が第１音響信号に付与されるから、相異なる複数のサイズの仮想音源を受聴者に知覚させることが可能である。さらに、仮想音源の相異なるサイズに対応する複数の合成伝達特性から、設定処理部が設定したサイズに対応する合成伝達特性が取得されて第１音響信号に付与されるため、合成伝達特性の取得の段階では複数の頭部伝達特性を合成する必要がない。したがって、合成伝達特性の使用毎に複数の頭部伝達特性を合成する構成と比較して、合成伝達特性の取得に必要な処理負荷を軽減できるという利点がある。

本発明の第１実施形態に係る音響処理装置の構成図である。 頭部伝達特性および仮想音源の説明図である。 信号処理部の構成図である。 音像定位処理のフローチャートである。 対象領域と仮想音源との関係の説明図である。 対象領域と各頭部伝達特性の加重値との関係の説明図である。 第２実施形態における信号処理部の構成図である。 第２実施形態における遅延補正部の動作の説明図である。 第３実施形態における信号処理部の構成図である。 第４実施形態における信号処理部の構成図である。 第４実施形態における音像定位処理のフローチャートである。

＜第１実施形態＞
図１は、本発明の第１実施形態に係る音響処理装置１００の構成図である。図１に例示される通り、第１実施形態の音響処理装置１００は、制御装置１２と記憶装置１４と放音装置１６とを具備するコンピュータシステムで実現される。例えば、携帯電話機やスマートフォン等の携帯型の情報通信端末，携帯型のゲーム装置，パーソナルコンピュータ等の携帯型または据置型の情報処理装置で音響処理装置１００を実現することが可能である。

制御装置１２は、例えばＣＰＵ（Central Processing Unit）等の処理回路で構成され、音響処理装置１００の各要素を統括的に制御する。第１実施形態の制御装置１２は、楽音や音声等の各種の音響を表す音響信号Ｙ（第２音響信号の例示）を生成する。音響信号Ｙは、右チャネルの音響信号ＹRと左チャネルの音響信号ＹLとを含むステレオの時間信号である。記憶装置１４は、制御装置１２が実行するプログラムや制御装置１２が使用する各種のデータを記憶する。例えば半導体記録媒体や磁気記録媒体等の公知の記録媒体、または複数種の記録媒体の組合せが記憶装置１４として使用され得る。

放音装置１６は、受聴者の両耳に装着される音響機器（例えばステレオヘッドホンやステレオイヤホン）であり、制御装置１２が生成する音響信号Ｙに応じた音響を受聴者の両耳孔に放音する。放音装置１６からの再生音を受聴した受聴者は、仮想的な音源（以下「仮想音源」という）の定位を知覚する。なお、制御装置１２が生成した音響信号Ｙをデジタルからアナログに変換するＤ/Ａ変換器の図示は便宜的に省略した。

図１に例示される通り、制御装置１２は、記憶装置１４に記憶されたプログラムを実行することで、音響信号Ｙを生成するための複数の機能（音響生成部２２，設定処理部２４，信号処理部２６A）を実現する。なお、制御装置１２の機能を複数の装置に分散した構成や、制御装置１２の機能の一部または全部を専用の電子回路が実現する構成も採用され得る。

音響生成部２２は、仮想音源（音像）が発音する各種の音響を表す音響信号Ｘ（第１音響信号の例示）を生成する。第１実施形態の音響信号Ｘはモノラルの時間信号である。例えば音響処理装置１００をビデオゲームに適用した構成では、仮想空間に存在するモンスター等のキャラクタが発音する音声や、仮想空間内に設置された構造物（例えば工場）や自然物（例えば滝，海）が発音する効果音等を表す音響信号Ｘを、音響生成部２２がビデオゲームの進行に連動して随時に生成する。なお、音響処理装置１００に接続された信号供給装置（図示略）が音響信号Ｘを生成することも可能である。信号供給装置は、例えば各種の記録媒体から音響信号Ｘを再生する再生装置や、他装置から通信網を介して音響信号Ｘを受信する通信装置である。

設定処理部２４は、仮想音源の条件を設定する。第１実施形態の設定処理部２４は、仮想音源の位置ＰおよびサイズＺを可変に設定する。位置Ｐは、例えば仮想空間内における受聴点に対する仮想音源の相対的な位置であり、例えば仮想空間内に設定された３軸直交座標系の座標値で指定される。サイズＺは、仮想空間内における仮想音源の大きさである。設定処理部２４は、音響生成部２２による音響信号Ｘの生成に連動して仮想音源の位置ＰおよびサイズＺを随時に指定する。

信号処理部２６Aは、音響生成部２２が生成した音響信号Ｘから音響信号Ｙを生成する。第１実施形態の信号処理部２６Aは、設定処理部２４が設定した仮想音源の位置ＰおよびサイズＺを使用した信号処理（以下「音像定位処理」という）を実行する。具体的には、音響信号Ｘの音響を発音するサイズＺの仮想音源（すなわち平面的ないし立体的な音像）が受聴者に対して位置Ｐに定位するように、信号処理部２６Aは音響信号Ｘに対する音像定位処理で音響信号Ｙを生成する。

図１に例示される通り、第１実施形態の記憶装置１４は、音像定位処理に使用される複数の頭部伝達特性Ｈを記憶する。図２は、頭部伝達特性Ｈの説明図である。図２に例示される通り、受聴点ｐ0の周囲に位置する曲面（以下「基準面」という）Ｆ上に設定された複数の地点ｐの各々について右耳用の頭部伝達特性Ｈと左耳用の頭部伝達特性Ｈとが記憶装置１４に記憶される。基準面Ｆは、例えば受聴点ｐ0を中心とする半球面であり、受聴点ｐ0に対する方位角と仰角とで１個の地点ｐが規定される。図２に例示される通り、基準面Ｆの外側（受聴点ｐ0の反対側）の空間に仮想音源Ｖが設定される。

基準面Ｆ上の任意の１個の地点ｐに対応する右耳用の頭部伝達特性Ｈは、当該地点ｐの点音源から発音された音響が受聴点ｐ0における受聴者の右耳の耳位置ｅRに到達するまでの伝達特性である。同様に、任意の１個の地点ｐに対応する左耳用の頭部伝達特性Ｈは、当該地点ｐの点音源から発音された音響が受聴点ｐ0における受聴者の左耳の耳位置ｅLに到達するまでの伝達特性である。耳位置ｅRおよび耳位置ｅLは、例えば受聴点ｐ0に位置する受聴者の各耳の耳孔の地点を意味する。第１実施形態の頭部伝達特性Ｈは、時間領域の頭部インパルス応答（ＨＲＩＲ：Head-Related Impulse Response）で表現される。すなわち、頭部インパルス応答の波形を表すサンプルの時系列データで頭部伝達特性Ｈは表現される。

図３は、第１実施形態における信号処理部２６Aの構成図である。図３に例示される通り、第１実施形態の信号処理部２６Aは、範囲設定部３２と特性合成部３４と特性付与部３６とを含んで構成される。範囲設定部３２は、仮想音源Ｖに対応する対象範囲Ａを設定する。図２に例示される通り、第１実施形態の対象範囲Ａは、設定処理部２４が設定した仮想音源Ｖの位置ＰおよびサイズＺに応じた可変の範囲である。

図３の特性合成部３４は、記憶装置１４に記憶された複数の頭部伝達特性Ｈのうち、範囲設定部３２が設定した対象範囲Ａ内の相異なる地点ｐに対応するＮ個（Ｎは２以上の自然数）の頭部伝達特性Ｈを合成することで、Ｎ個の頭部伝達特性Ｈを反映した頭部伝達特性（以下「合成伝達特性」という）Ｑを生成する。特性付与部３６は、特性合成部３４が生成した合成伝達特性Ｑを音響信号Ｘに付与することで音響信号Ｙを生成する。すなわち、仮想音源Ｖの位置ＰおよびサイズＺに応じたＮ個の頭部伝達特性Ｈが反映された音響信号Ｙが生成される。

図４は、信号処理部２６A（範囲設定部３２，特性合成部３４，特性付与部３６）が実行する音像定位処理のフローチャートである。例えば音響生成部２２による音響信号Ｘの供給と設定処理部２４による仮想音源Ｖの設定とを契機として図４の音像定位処理が実行される。受聴者の右耳（右チャネル）および左耳（左チャネル）の各々について音像定位処理が並列または順次に実行される。

音像定位処理を開始すると、範囲設定部３２は対象範囲Ａを設定する（ＳA1）。対象範囲Ａは、図２に例示される通り、設定処理部２４が設定した仮想音源Ｖの位置ＰおよびサイズＺに応じて基準面Ｆに画定された可変の範囲である。第１実施形態の範囲設定部３２は、仮想音源Ｖを基準面Ｆに投影した範囲を対象範囲Ａとして画定する。仮想音源Ｖに対する相対的な関係は耳位置ｅRと耳位置ｅLとで相違するから、対象範囲Ａは右耳と左耳とで個別に設定される。

図５は、対象範囲Ａと仮想音源Ｖとの関係の説明図である。鉛直方向の上方から仮想空間を観察した平面的な状態が図５では便宜的に図示されている。図２および図５に例示される通り、第１実施形態の範囲設定部３２は、受聴点ｐ0に位置する受聴者の左耳の耳位置ｅLを投影中心として基準面Ｆに仮想音源Ｖを透視投影した範囲を左耳の対象範囲Ａとして画定する。すなわち、左耳の耳位置ｅLを通過するとともに仮想音源Ｖの表面に接する直線と基準面Ｆとの交点の軌跡で包囲された閉領域が左耳の対象範囲Ａとして画定される。同様に、範囲設定部３２は、受聴者の右耳の耳位置ｅRを投影中心として基準面Ｆに仮想音源Ｖを透視投影した範囲を右耳の対象範囲Ａとして画定する。したがって、仮想音源Ｖの位置ＰおよびサイズＺに応じて対象範囲Ａの位置および面積は変動する。例えば、仮想音源Ｖの位置Ｐが同等であれば、仮想音源ＶのサイズＺが大きいほど対象範囲Ａの面積は増大する。また、仮想音源ＶのサイズＺが同等であれば、仮想音源Ｖの位置Ｐが受聴点ｐ0から遠いほど対象範囲Ａの面積は減少する。対象範囲Ａ内の地点ｐの個数Ｎも仮想音源Ｖの位置ＰおよびサイズＺに応じて変動する。

以上の手順で対象範囲Ａを設定すると、範囲設定部３２は、記憶装置１４に記憶された複数の頭部伝達特性Ｈのうち対象範囲Ａ内の相異なる地点ｐに対応するＮ個の頭部伝達特性Ｈを選択する（ＳA2）。具体的には、右耳用の対象範囲Ａ内の相異なる地点ｐに対応するＮ個の右耳用の頭部伝達特性Ｈと、左耳用の対象範囲Ａ内の相異なる地点ｐに対応するＮ個の左耳用の頭部伝達特性Ｈとが選択される。前述の通り、対象範囲Ａは、仮想音源Ｖの位置ＰおよびサイズＺに応じた可変の範囲であるから、範囲設定部３２が選択する頭部伝達特性Ｈの個数Ｎは仮想音源Ｖの位置ＰおよびサイズＺに応じた可変値である。例えば、仮想音源ＶのサイズＺが大きい（対象範囲Ａの面積が大きい）ほど、範囲設定部３２が選択する頭部伝達特性Ｈの個数Ｎは増加し、仮想音源Ｖの位置Ｐが受聴点ｐ0から遠い（対象範囲Ａの面積が小さい）ほど、範囲設定部３２が選択する頭部伝達特性Ｈの個数Ｎは減少する。なお、対象範囲Ａは右耳と左耳とで個別に設定されるから、頭部伝達特性Ｈの個数Ｎは右耳と左耳とで相違し得る。

特性合成部３４は、範囲設定部３２が対象範囲Ａから選択したＮ個の頭部伝達特性Ｈを合成することで合成伝達特性Ｑを生成する（ＳA3）。具体的には、特性合成部３４は、右耳用のＮ個の頭部伝達特性Ｈの合成で右耳用の合成伝達特性Ｑを生成し、左耳用のＮ個の頭部伝達特性Ｈの合成で左耳用の合成伝達特性Ｑを生成する。第１実施形態の特性合成部３４は、Ｎ個の頭部伝達特性Ｈの加重平均により合成伝達特性Ｑを生成する。したがって、合成伝達特性Ｑは、頭部伝達特性Ｈと同様に、時間領域の頭部インパルス応答で表現される。

図６は、Ｎ個の頭部伝達特性Ｈの加重平均に使用される加重値ωの説明図である。図６に例示される通り、対象範囲Ａ内の地点ｐの位置に応じて当該地点ｐにおける頭部伝達特性Ｈの加重値ωが設定される。具体的には、対象範囲Ａの中心（例えば図心）に近い地点ｐで加重値ωは最大となり、対象範囲Ａの周縁に近い地点ｐほど加重値ωは小さい数値となる。したがって、対象範囲Ａの中心に近い地点ｐの頭部伝達特性Ｈほど優勢に反映されるとともに対象範囲Ａの周縁に近い地点ｐの頭部伝達特性Ｈの影響は相対的に低減された合成伝達特性Ｑが生成される。対象範囲Ａ内における加重値ωの分布は各種の関数（例えば正規分布等の分布関数，正弦曲線等の周期関数，ハニング窓等の窓関数）で表現される。

特性付与部３６は、特性合成部３４が生成した合成伝達特性Ｑを音響信号Ｘに付与することで音響信号Ｙを生成する（ＳA4）。具体的には、特性付与部３６は、右耳用の合成伝達特性Ｑを時間領域で音響信号Ｘに畳込むことで右チャネルの音響信号ＹRを生成し、左耳用の合成伝達特性Ｑを時間領域で音響信号Ｘに畳込むことで左チャネルの音響信号ＹLを生成する。以上の説明から理解される通り、第１実施形態の信号処理部２６Aは、対象範囲Ａ内の相異なる地点ｐに対応する複数の頭部伝達特性Ｈを音響信号Ｘに付与して音響信号Ｙを生成する要素として機能する。信号処理部２６Aが生成した音響信号Ｙが放音装置１６に供給されることで受聴者の両耳に再生音が放音される。

以上に説明した通り、第１実施形態では、相異なる地点ｐに対応するＮ個の頭部伝達特性Ｈが音響信号Ｘに付与されるから、空間的な拡がりのある仮想音源Ｖの定位を音響信号Ｙの再生音の受聴者に知覚させることが可能である。第１実施形態では、仮想音源ＶのサイズＺに応じた可変の対象範囲Ａ内のＮ個の頭部伝達特性Ｈが音響信号Ｘに付与されるから、相異なる複数のサイズの仮想音源Ｖを受聴者に知覚させることが可能である。

第１実施形態では、対象範囲Ａ内の各地点ｐの位置に応じて設定された加重値ωを使用したＮ個の頭部伝達特性Ｈの加重平均で合成伝達特性Ｑが生成される。したがって、対象範囲Ａ内の地点ｐの位置に応じて頭部伝達特性Ｈの反映の度合を相違させた多様な合成伝達特性Ｑを音響信号Ｘに付与することが可能である。

第１実施形態では、受聴点ｐ0に対応する耳位置（ｅR，ｅL）を投影中心として仮想音源Ｖを基準面Ｆに透視投影した範囲が対象範囲Ａとして設定されるから、受聴点ｐ0と仮想音源Ｖとの距離に応じて対象範囲Ａの面積（さらには対象範囲Ａ内の頭部伝達特性Ｈの個数Ｎ）が変化する。したがって、仮想音源Ｖとの距離の変化を受聴者に知覚させることが可能である。

＜第２実施形態＞
本発明の第２実施形態を説明する。以下に例示する各構成において作用や機能が第１実施形態と同様である要素については、第１実施形態の説明で使用した符号を流用して各々の詳細な説明を適宜に省略する。

図７は、第２実施形態の音響処理装置１００における信号処理部２６Aの構成図である。図７に例示される通り、第２実施形態の信号処理部２６Aは、第１実施形態と同様の要素（範囲設定部３２，特性合成部３４，特性付与部３６）に遅延補正部３８を追加した構成である。仮想音源Ｖの位置ＰおよびサイズＺに応じた可変の対象範囲Ａを範囲設定部３２が設定する点は第１実施形態と同様である。

遅延補正部３８は、範囲設定部３２が設定した対象範囲Ａ内のＮ個の頭部伝達特性Ｈの各々について遅延量を補正する。図８は、第２実施形態の遅延補正部３８による補正の説明図である。図８に例示される通り、基準面Ｆ上の複数の地点ｐは受聴点ｐ0から等距離に位置する一方、受聴者の耳位置ｅ（ｅR，ｅL）は受聴点ｐ0から離間した位置にある。したがって、耳位置ｅと地点ｐとの距離ｄは、基準面Ｆ上の地点ｐ毎に相違する。例えば図８に例示された対象範囲Ａ内の６個の地点ｐ（ｐ1〜ｐ6）の各々と左耳の耳位置ｅLとの距離ｄ（ｄ1〜ｄ6）に着目すると、対象範囲Ａの一端側に位置する地点ｐ1と耳位置ｅLとの距離ｄ1が最小となり、対象範囲Ａの他端側に位置する地点ｐ6と耳位置ｅLとの距離ｄ6が最大となる。

各地点ｐの頭部伝達特性Ｈには、当該地点ｐと耳位置ｅとの距離ｄに応じた遅延量δの遅延（例えば頭部インパルス応答におけるインパルス音からの遅延）が付随する。すなわち、対象範囲Ａ内の各地点ｐに対応するＮ個の頭部伝達特性Ｈについて遅延量δは相違する。具体的には、対象範囲Ａの一端側に位置する地点ｐ1の頭部伝達特性Ｈにおける遅延量δ1が最小となり、対象範囲Ａの他端側に位置する地点ｐ6の頭部伝達特性Ｈにおける遅延量δ6が最大となる。

以上の事情を考慮して、第２実施形態の遅延補正部３８は、対象範囲Ａ内の相異なる地点ｐに対応するＮ個の頭部伝達特性Ｈの各々について、当該地点ｐと耳位置ｅとの距離ｄに応じて当該頭部伝達特性Ｈの遅延量δを補正する。具体的には、対象範囲Ａ内のＮ個の頭部伝達特性Ｈの相互間で遅延量δが近付く（理想的には一致する）ように、各頭部伝達特性Ｈの遅延量δが補正される。例えば、遅延補正部３８は、対象範囲Ａ内で耳位置ｅLとの距離ｄ6が大きい地点ｐ6の頭部伝達特性Ｈについては遅延量δ6を短縮し、対象範囲Ａ内で耳位置ｅLとの距離ｄ1が小さい地点ｐ1の頭部伝達特性Ｈについては遅延量δ1を伸長する。遅延量補正部による遅延量δの補正は、右耳用のＮ個の頭部伝達特性Ｈと左耳用のＮ個の頭部伝達特性Ｈとの各々について実行される。

図７の特性合成部３４は、遅延補正部３８による補正後のＮ個の頭部伝達特性Ｈを第１実施形態と同様に合成（例えば加重平均）して合成伝達特性Ｑを生成する。特性付与部３６が合成伝達特性Ｑを音響信号Ｘに付与して音響信号Ｙを生成する動作は第１実施形態と同様である。

第２実施形態においても第１実施形態と同様の効果が実現される。また、第２実施形態では、対象範囲Ａ内の各地点ｐと耳位置ｅ（ｅR，ｅL）との距離ｄに応じて頭部伝達特性Ｈの遅延量δが補正されるから、対象範囲Ａ内の複数の頭部伝達特性Ｈにおける遅延量δの差異を補償することが可能である。すなわち、仮想音源Ｖの各位置から到来する音響の時間差が低減される。したがって、仮想音源Ｖの自然な定位を受聴者に知覚させることが可能である。

＜第３実施形態＞
第３実施形態では、第１実施形態の信号処理部２６Aが図９の信号処理部２６Bに置換される。図９に例示される通り、第３実施形態の信号処理部２６Bは、範囲設定部３２と特性付与部５２と信号合成部５４とを含んで構成される。範囲設定部３２は、第１実施形態と同様に、右耳および左耳の各々について、仮想音源Ｖの位置ＰおよびサイズＺに応じた対象範囲Ａを可変に設定し、対象範囲Ａ内のＮ個の頭部伝達特性Ｈを記憶装置１４から選択する。

特性付与部５２は、範囲設定部３２が選択したＮ個の頭部伝達特性Ｈの各々を音響信号Ｘに対して並列に付与することでＮ系統の音響信号ＸAを左耳および右耳の各々について生成する。信号合成部５４は、特性付与部５２が生成したＮ系統の音響信号ＸAを合成（例えば加算）することで音響信号Ｙを生成する。具体的には、信号合成部５４は、特性付与部５２が右耳について生成したＮ系統の音響信号ＸAの合成で右チャネルの音響信号ＹRを生成し、特性付与部５２が左耳について生成したＮ系統の音響信号ＸAの合成で左チャネルの音響信号ＹLを生成する。

第３実施形態においても第１実施形態と同様の効果が実現される。なお、第３実施形態では、Ｎ個の頭部伝達特性Ｈの各々を音響信号Ｘに対して個別に畳込む必要がある。他方、第１実施形態では、Ｎ個の頭部伝達特性Ｈの合成（例えば加重平均）で生成された合成伝達特性Ｑを音響信号Ｘに畳込む。したがって、畳込演算に必要な処理負荷を軽減するという観点からは、第１実施形態のほうが有利である。なお、第２実施形態の構成を第３実施形態に採用することも可能である。

Ｎ個の頭部伝達特性Ｈを合成してから音響信号Ｘに付与する第１実施形態の信号処理部２６Aと、各頭部伝達特性Ｈを音響信号Ｘに付与した複数の音響信号ＸAを合成する第３実施形態の信号処理部２６Bとは、複数の頭部伝達特性Ｈを音響信号Ｘに付与して音響信号Ｙを生成する要素（信号処理部）として包括的に表現される。

＜第４実施形態＞
第４実施形態では、第１実施形態の信号処理部２６Aが図１０の信号処理部２６Cに置換される。図１０に例示される通り、第４実施形態の記憶装置１４は、右耳および左耳の各々について、仮想音源Ｖの相異なるサイズＺ（以下の説明では「大（L）」「小（S）」の２種類）に対応する複数の合成伝達特性ｑ（ｑL，ｑS）を、基準面Ｆ上の地点ｐ毎に記憶する。仮想音源Ｖの任意の１種類のサイズＺに対応する合成伝達特性ｑは、当該サイズＺに応じた対象範囲Ａ内の複数の頭部伝達特性Ｈを合成した伝達特性である。例えば、第１実施形態と同様に、複数の頭部伝達特性Ｈの加重平均で合成伝達特性ｑが生成される。また、第２実施形態の例示のように各頭部伝達特性Ｈの遅延量を補正してから合成して合成伝達特性ｑを生成することも可能である。

図１０に例示される通り、例えば任意の１個の地点ｐに対応する合成伝達特性ｑSは、当該地点ｐを内包するとともに「小」のサイズＺの仮想音源Ｖに対応する対象範囲ＡS内のＮS個の頭部伝達特性Ｈを合成した伝達特性である。他方、合成伝達特性ｑLは、「大」のサイズＺの仮想音源Ｖに対応する対象範囲ＡL内のＮL個の頭部伝達特性Ｈを合成した伝達特性である。対象範囲ＡLは対象範囲ＡSと比較して大面積である。したがって、合成伝達特性ｑLに反映された頭部伝達特性Ｈの個数ＮLは、合成伝達特性ｑSに反映された頭部伝達特性Ｈの個数ＮSを上回る（ＮL＞ＮS）。以上に説明した通り、仮想音源Ｖの相異なるサイズＺに対応する複数の合成伝達特性ｑ（ｑL，ｑS）が、右耳および左耳の各々について基準面Ｆ上の地点ｐ毎に事前に用意されて記憶装置１４に格納される。

第４実施形態の信号処理部２６Cは、図１１に例示した音像定位処理により音響信号Ｘから音響信号Ｙを生成する要素であり、図１０に例示される通り、特性取得部６２と特性付与部６４とを含んで構成される。第４実施形態の音像定位処理は、第１実施形態と同様に、設定処理部２４が設定した条件（位置Ｐ，サイズＺ）の仮想音源Ｖを受聴者に知覚させるための信号処理である。

特性取得部６２は、設定処理部２４が設定した仮想音源Ｖの位置ＰおよびサイズＺに対応する合成伝達特性Ｑを、記憶装置１４に記憶された複数の合成伝達特性ｑから生成する（ＳB1）。記憶装置１４に記憶された右耳の複数の合成伝達特性ｑから右耳用の合成伝達特性Ｑが生成され、左耳の複数の合成伝達特性ｑから左耳用の合成伝達特性Ｑが生成される。特性付与部６４は、特性取得部６２が生成した合成伝達特性Ｑを音響信号Ｘに付与することで音響信号Ｙを生成する（ＳB2）。具体的には、特性付与部６４は、右耳用の合成伝達特性Ｑを音響信号Ｘに畳込むことで右チャネルの音響信号ＹRを生成し、左耳用の合成伝達特性Ｑを音響信号Ｘに畳込むことで左チャネルの音響信号ＹLを生成する。なお、音響信号Ｘに合成伝達特性Ｑを付与する処理の内容は第１実施形態と同様である。

第４実施形態の特性取得部６２が合成伝達特性Ｑを取得する処理（ＳB1）の具体例を詳述する。特性取得部６２は、設定処理部２４が設定した仮想音源Ｖの位置Ｐに対応する１個の地点ｐの合成伝達特性ｑSと合成伝達特性ｑLとを使用した補間処理により、仮想音源ＶのサイズＺに応じた合成伝達特性Ｑを生成する。例えば、仮想音源ＶのサイズＺに応じた定数αを使用した以下の数式(1)の演算（補間演算）により合成伝達特性Ｑが生成される。定数αは、サイズＺに応じて変動する１以下の非負数である（０≦α≦１）。
Ｑ＝（１−α）・ｑS＋α・ｑL …(1)
数式(1)から理解される通り、仮想音源ＶのサイズＺ（定数α）が大きいほど、合成伝達特性ｑLを優勢に反映した合成伝達特性Ｑが生成され、仮想音源ＶのサイズＺが小さいほど、合成伝達特性ｑSを優勢に反映した合成伝達特性Ｑが生成される。仮想音源ＶのサイズＺが最小である場合（α＝０）には合成伝達特性ｑSが合成伝達特性Ｑとして選択され、仮想音源ＶのサイズＺが最大である場合（α＝１）には合成伝達特性ｑLが合成伝達特性Ｑとして選択される。

以上に説明した通り、第４実施形態では、相異なる地点ｐに対応する複数の頭部伝達特性Ｈを反映した合成伝達特性Ｑが音響信号Ｘに付与されるから、第１実施形態と同様に、空間的な拡がりのある仮想音源Ｖの定位を音響信号Ｙの再生音の受聴者に知覚させることが可能である。また、設定処理部２４が設定した仮想音源ＶのサイズＺに応じた合成伝達特性Ｑが複数の合成伝達特性ｑから取得されるため、第１実施形態と同様に、相異なる複数のサイズＺの仮想音源Ｖを受聴者に知覚させることが可能である。

また、第４実施形態では、仮想音源Ｖの複数のサイズの各々について複数の頭部伝達特性Ｈの合成で生成された複数の合成伝達特性ｑから、設定処理部２４が設定したサイズＺに対応する合成伝達特性Ｑが取得されるから、合成伝達特性Ｑの取得の段階では複数の頭部伝達特性Ｈを合成（例えば加重平均）する必要がない。したがって、合成伝達特性Ｑの使用毎にＮ個の頭部伝達特性Ｈを合成する構成（例えば第１実施形態）と比較して、合成伝達特性Ｑの取得に必要な処理負荷を軽減できるという利点がある。

なお、第４実施形態では、仮想音源Ｖの相異なるサイズＺに対応する２種類の合成伝達特性ｑ（ｑL，ｑS）を例示したが、１個の地点ｐについて用意される合成伝達特性ｑの種類数を３以上とすることも可能である。また、仮想音源ＶのサイズＺがとり得る全通りの数値について合成伝達特性ｑを地点ｐ毎に用意する構成も採用され得る。仮想音源Ｖの全通りのサイズＺについて合成伝達特性ｑを事前に用意する構成では、仮想音源Ｖの位置Ｐに対応する地点ｐの複数の合成伝達特性ｑのうち、仮想音源ＶのサイズＺに対応する合成伝達特性ｑが、合成伝達特性Ｑとして選択されて音響信号Ｘに付与される。したがって、複数の合成伝達特性ｑの間の補間演算は省略される。

また、第４実施形態では、基準面Ｆ上の複数の地点ｐの各々について合成伝達特性ｑを用意したが、合成伝達特性ｑを全部の地点ｐについて用意する必要はない。例えば、基準面Ｆ上の複数の地点ｐのうち所定の周期で選択された各地点ｐについて合成伝達特性ｑを用意する構成も採用され得る。例えば、仮想音源の小さいサイズＺに対応する合成伝達特性ｑほど多数の地点ｐについて用意した構成（例えば合成伝達特性ｑLと比較して合成伝達特性ｑSを多数の地点ｐについて用意した構成）が好適である。

＜変形例＞
以上に例示した各態様は多様に変形され得る。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２個以上の態様は、相互に矛盾しない範囲で適宜に併合され得る。

（１）前述の各形態では、複数の頭部伝達特性Ｈを加重平均により合成する構成を例示したが、複数の頭部伝達特性Ｈを合成する方法は以上の例示に限定されない。例えば、第１実施形態および第２実施形態では、Ｎ個の頭部伝達特性Ｈの単純平均で合成伝達特性Ｑを生成することも可能である。同様に、第４実施形態では、複数の頭部伝達特性Ｈの単純平均で合成伝達特性ｑを生成することが可能である。

（２）第１実施形態から第３実施形態では、右耳と左耳とで対象範囲Ａを個別に設定したが、右耳と左耳とで共通の対象範囲Ａを設定することも可能である。例えば、受聴点ｐ0を投影中心として仮想音源Ｖを基準面Ｆに透視投影した範囲を、範囲設定部３２が右耳および左耳の双方の対象範囲Ａとして設定することも可能である。右耳用の合成伝達特性Ｑは、対象範囲Ａ内のＮ個の地点ｐに対応する右耳用の頭部伝達特性Ｈの合成で生成され、左耳用の合成伝達特性Ｑは、その対象範囲Ａ内のＮ個の地点ｐに対応する左耳用の頭部伝達特性Ｈの合成で生成される。

（３）前述の各形態では、仮想音源Ｖを基準面Ｆに透視投影した範囲を対象範囲Ａとして例示したが、対象範囲Ａを画定する方法は以上の例示に限定されない。例えば、仮想音源Ｖの位置Ｐと受聴点ｐ0とを連結する直線に沿って仮想音源Ｖを基準面Ｆに平行投影した範囲を対象範囲Ａとして設定することも可能である。ただし、仮想音源Ｖを基準面Ｆに平行投影する構成では、受聴点ｐ0と仮想音源Ｖとの距離が変化しても対象範囲Ａの面積が変化しない。したがって、仮想音源Ｖの位置Ｐに応じた定位感の変化を受聴者に知覚させるという観点からは、前述の各形態の例示のように、仮想音源Ｖを基準面Ｆに透視投影した範囲を対象範囲Ａとして設定する構成が好適である。

（４）第２実施形態では、遅延補正部３８が各頭部伝達特性Ｈの遅延量δを補正したが、受聴点ｐ0と仮想音源Ｖ（位置Ｐ）との距離に応じた遅延量を対象範囲Ａ内のＮ個の頭部伝達特性Ｈに対して共通に付加することも可能である。例えば、受聴点ｐ0と仮想音源Ｖとの距離が大きいほど各頭部伝達特性Ｈの遅延量を増加させる構成が想定される。

（５）前述の各形態では、時間領域の頭部インパルス応答で頭部伝達特性Ｈを表現した場合を例示したが、周波数領域の頭部伝達関数（ＨＲＴＦ：Head-Related Transfer Function）により頭部伝達特性Ｈを表現することも可能である。頭部伝達関数を使用する構成では、音響信号Ｘに対して周波数領域で頭部伝達特性Ｈが付与される。以上の説明から理解される通り、頭部伝達特性Ｈは、時間領域の頭部インパルス応答と周波数領域の頭部伝達関数との双方を包含する概念である。

（６）前述の各形態で例示した音響処理装置１００は、前述の通り、制御装置１２とプログラムとの協働で実現される。例えば第１態様（例えば第１実施形態から第３実施形態）に係るプログラムは、制御装置１２等のコンピュータ（例えば単数または複数の処理回路）を、仮想音源ＶのサイズＺを可変に設定する設定処理部２４、および、受聴点ｐ0に対する位置が相違する複数の地点ｐのうち設定処理部２４が設定したサイズＺに応じた対象範囲Ａ内の各地点ｐに対応する複数の頭部伝達特性Ｈを音響信号Ｘに付与して音響信号Ｙを生成する信号処理部（２６A，２６B）として機能させる。

また、第２態様（例えば第４実施形態）に対応するプログラムは、制御装置１２等のコンピュータ（例えば単数または複数の処理回路）を、仮想音源ＶのサイズＺを可変に設定する設定処理部２４、仮想音源Ｖの複数のサイズＺの各々について、受聴点ｐ0に対する位置が相違する複数の地点ｐのうち当該サイズＺに応じた対象範囲Ａ内の各地点ｐに対応する複数の頭部伝達特性Ｈの合成で生成された複数の合成伝達特性ｑから、設定処理部２４が設定したサイズＺに対応する合成伝達特性Ｑを取得する特性取得部６２、および、特性取得部６２が取得した合成伝達特性Ｑを音響信号Ｘに付与することで音響信号Ｙを生成する特性付与部６４として機能させる。

以上に例示したプログラムは、コンピュータが読取可能な記録媒体に格納された形態で提供されてコンピュータにインストールされ得る。記録媒体は、例えば非一過性（non-transitory）の記録媒体であり、ＣＤ-ＲＯＭ等の光学式記録媒体（光ディスク）が好例であるが、半導体記録媒体や磁気記録媒体等の公知の任意の形式の記録媒体を包含し得る。また、通信網を介した配信の形態でプログラムをコンピュータに配信することも可能である。

（７）本発明の好適な態様は、前述の各形態で例示した音響処理装置１００の動作方法（音響処理方法）としても特定され得る。第１態様（例えば第１実施形態から第３実施形態）の音響処理方法は、コンピュータ（単体のコンピュータまたは複数のコンピュータで構成されるシステム）が、仮想音源ＶのサイズＺを可変に設定し、受聴点ｐ0に対する位置が相違する複数の地点ｐのうち設定したサイズＺに応じた対象範囲Ａ内の各地点ｐに対応する複数の頭部伝達特性Ｈを音響信号Ｘに付与して音響信号Ｙを生成する。第２態様（例えば第４実施形態）の音響処理方法は、コンピュータ（単体のコンピュータまたは複数のコンピュータで構成されるシステム）が、仮想音源ＶのサイズＺを可変に設定し、仮想音源Ｖの複数のサイズＺの各々について、受聴点ｐ0に対する位置が相違する複数の地点ｐのうち当該サイズＺに応じた対象範囲Ａ内の各地点ｐに対応する複数の頭部伝達特性Ｈの合成で生成された複数の合成伝達特性ｑから、設定したサイズＺに対応する合成伝達特性Ｑを取得し、取得した合成伝達特性Ｑを音響信号Ｘに付与することで音響信号Ｙを生成する。

１００…音響処理装置、１２…制御装置、１４…記憶装置、１６…放音装置、２２…音響生成部、２４…設定処理部、２６A，２６B，２６C…信号処理部、３２…範囲設定部、３４…特性合成部、３６，５２，６４…特性付与部、３８…遅延補正部、５４…信号合成部、６２…特性取得部。

Claims (10)

1. 仮想音源のサイズを可変に設定する設定処理部と、
   受聴点に対応する右耳位置を投影中心として、前記受聴点の周囲の基準面に前記仮想音源を投影した第１対象範囲と、前記受聴点に対応する左耳位置を投影中心として前記基準面に前記仮想音源を投影した第２対象範囲とを設定する範囲設定部と、
   前記基準面内において前記受聴点に対する位置が相違する複数の地点のうち前記第１対象範囲内の各地点に対応する右耳用の複数の頭部伝達特性を、前記仮想音源が発する音響を表す第１音響信号に付与することで右チャネルの第２音響信号を生成し、前記複数の地点のうち前記第２対象範囲内の各地点に対応する左耳用の複数の頭部伝達特性を前記第１音響信号に付与することで左チャネルの第２音響信号を生成する信号処理部と
   を具備する音響処理装置。
2. 前記信号処理部は、
   前記右耳用の複数の頭部伝達特性を合成することで右耳用の合成伝達特性を生成し、前記左耳用の複数の頭部伝達特性を合成することで左耳用の合成伝達特性を生成する特性合成部と、
   前記右耳用の合成伝達特性を前記第１音響信号に付与することで前記右チャネルの第２音響信号を生成し、前記左耳用の合成伝達特性を前記第１音響信号に付与することで前記左チャネルの第２音響信号を生成する特性付与部とを含む
   請求項１の音響処理装置。
3. 前記特性合成部は、前記第１対象範囲内の各地点の位置に応じて設定された加重値を使用した前記右耳用の複数の頭部伝達特性の加重平均により前記右耳用の合成伝達特性を生成し、前記第２対象範囲内の各地点の位置に応じて設定された加重値を使用した前記左耳用の複数の頭部伝達特性の加重平均により前記左耳用の合成伝達特性を生成する
   請求項２の音響処理装置。
4. 前記信号処理部は、
   前記右耳用の複数の頭部伝達特性の各々について、当該地点と前記右耳位置との距離に応じて当該頭部伝達特性の遅延量を補正し、前記左耳用の複数の頭部伝達特性の各々について、当該地点と前記左耳位置との距離に応じて当該頭部伝達特性の遅延量を補正する遅延補正部を含み、
   前記特性合成部は、前記補正後の前記右耳用の複数の頭部伝達特性を合成することで前記右耳用の合成伝達特性を生成し、前記補正後の前記左耳用の複数の頭部伝達特性を合成することで前記左耳用の合成伝達特性を生成する
   請求項２または請求項３の音響処理装置。
5. 前記第１対象範囲は、前記右耳位置を投影中心として前記基準面に前記仮想音源を透視投影した範囲であり、
   前記第２対象範囲は、前記左耳位置を投影中心として前記基準面に前記仮想音源を透視投影した範囲である
   請求項１から請求項４の何れかの音響処理装置。
6. 仮想音源のサイズを可変に設定する設定処理部と、
   前記仮想音源の相異なるサイズに対応する右耳用の複数の合成伝達特性から、前記設定処理部が設定したサイズに対応する右耳用の合成伝達特性を取得し、前記仮想音源の相異なるサイズに対応する左耳用の複数の合成伝達特性から、前記設定処理部が設定したサイズに対応する左耳用の合成伝達特性を取得する特性取得部と、
   前記特性取得部が取得した前記右耳用の合成伝達特性を、前記仮想音源が発する音響を表す第１音響信号に付与することで右チャネルの第２音響信号を生成し、前記特性取得部が取得した前記左耳用の合成伝達特性を前記第１音響信号に付与することで左チャネルの第２音響信号を生成する特性付与部とを具備し、
   前記右耳用の複数の合成伝達特性の各々は、受聴点の周囲の基準面内において前記受聴点に対する位置が相違する複数の地点のうち、前記受聴点に対応する右耳位置を投影中心として前記基準面に前記仮想音源を投影した第１対象範囲内の各地点に対応する右耳用の複数の頭部伝達特性の合成で生成された伝達特性であり、
   前記左耳用の複数の合成伝達特性の各々は、前記複数の地点のうち前記受聴点に対応する左耳位置を投影中心として前記基準面に前記仮想音源を投影した第２対象範囲内の各地点に対応する左耳用の複数の頭部伝達特性の合成で生成された伝達特性である
   音響処理装置。
7. コンピュータを、
   仮想音源のサイズを可変に設定する設定処理部、
   受聴点に対応する右耳位置を投影中心として、前記受聴点の周囲の基準面に前記仮想音源を投影した第１対象範囲と、前記受聴点に対応する左耳位置を投影中心として前記基準面に前記仮想音源を投影した第２対象範囲とを設定する範囲設定部、および、
   前記基準面内において前記受聴点に対する位置が相違する複数の地点のうち前記第１対象範囲内の各地点に対応する右耳用の複数の頭部伝達特性を、前記仮想音源が発する音響を表す第１音響信号に付与することで右チャネルの第２音響信号を生成し、前記複数の地点のうち前記第２対象範囲内の各地点に対応する左耳用の複数の頭部伝達特性を前記第１音響信号に付与することで左チャネルの第２音響信号を生成する信号処理部
   として機能させるプログラム。
8. コンピュータを、
   仮想音源のサイズを可変に設定する設定処理部、
   前記仮想音源の相異なるサイズに対応する右耳用の複数の合成伝達特性から、前記設定処理部が設定したサイズに対応する右耳用の合成伝達特性を取得し、前記仮想音源の相異なるサイズに対応する左耳用の複数の合成伝達特性から、前記設定処理部が設定したサイズに対応する左耳用の合成伝達特性を取得する特性取得部、および、
   前記特性取得部が取得した前記右耳用の合成伝達特性を、前記仮想音源が発する音響を表す第１音響信号に付与することで右チャネルの第２音響信号を生成し、前記特性取得部が取得した前記左耳用の合成伝達特性を前記第１音響信号に付与することで左チャネルの第２音響信号を生成する特性付与部
   として機能させるプログラムであって、
   前記右耳用の複数の合成伝達特性の各々は、受聴点の周囲の基準面内において前記受聴点に対する位置が相違する複数の地点のうち、前記受聴点に対応する右耳位置を投影中心として前記基準面に前記仮想音源を投影した第１対象範囲内の各地点に対応する右耳用の複数の頭部伝達特性の合成で生成された伝達特性であり、
   前記左耳用の複数の合成伝達特性の各々は、前記複数の地点のうち前記受聴点に対応する左耳位置を投影中心として前記基準面に前記仮想音源を投影した第２対象範囲内の各地点に対応する左耳用の複数の頭部伝達特性の合成で生成された伝達特性である
   プログラム。
9. 仮想音源のサイズを可変に設定し、
   受聴点に対応する右耳位置を投影中心として、前記受聴点の周囲の基準面に前記仮想音源を投影した第１対象範囲と、前記受聴点に対応する左耳位置を投影中心として前記基準面に前記仮想音源を投影した第２対象範囲とを設定し、
   前記基準面内において前記受聴点に対する位置が相違する複数の地点のうち前記第１対象範囲内の各地点に対応する右耳用の複数の頭部伝達特性を、前記仮想音源が発する音響を表す第１音響信号に付与することで右チャネルの第２音響信号を生成し、前記複数の地点のうち前記第２対象範囲内の各地点に対応する左耳用の複数の頭部伝達特性を前記第１音響信号に付与することで左チャネルの第２音響信号を生成する
   コンピュータにより実現される音響処理方法。
10. 仮想音源のサイズを可変に設定し、
    前記仮想音源の相異なるサイズに対応する右耳用の複数の合成伝達特性から、前記設定したサイズに対応する右耳用の合成伝達特性を取得し、前記仮想音源の相異なるサイズに対応する左耳用の複数の合成伝達特性から、前記設定したサイズに対応する左耳用の合成伝達特性を取得し、
    前記取得した前記右耳用の合成伝達特性を、前記仮想音源が発する音響を表す第１音響信号に付与することで右チャネルの第２音響信号を生成し、前記取得した前記左耳用の合成伝達特性を前記第１音響信号に付与することで左チャネルの第２音響信号を生成する
    コンピュータにより実現される音響処理方法であって、
    前記右耳用の複数の合成伝達特性の各々は、受聴点の周囲の基準面内において前記受聴点に対する位置が相違する複数の地点のうち、前記受聴点に対応する右耳位置を投影中心として前記基準面に前記仮想音源を投影した第１対象範囲内の各地点に対応する右耳用の複数の頭部伝達特性の合成で生成された伝達特性であり、
    前記左耳用の複数の合成伝達特性の各々は、前記複数の地点のうち前記受聴点に対応する左耳位置を投影中心として前記基準面に前記仮想音源を投影した第２対象範囲内の各地点に対応する左耳用の複数の頭部伝達特性の合成で生成された伝達特性である
    音響処理方法。
    

Images