JPH07312800A - ３次元音場空間再生装置 - Google Patents

Abstract

(57)【要約】 【目的】 臨場感のある音場空間を作り出し、その中で
受聴者自身や音源の位置、向き、移動速度、移動方向に
合わせた音像を作り出して、高い臨場感のある音を聞く
ことができる３次元音場空間再生装置を提供する。 【構成】 直接音の処理を行う直接音処理手段と、初期
反射音の処理を行う初期反射音処理手段と、音場空間の
室容量、平均吸収率、及び音源のモノラル音響信号から
残響音の処理を行う残響音処理手段とが配設されてい
る。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、３次元音場空間再生装
置に関し、特にステレオヘッドホンによる受聴を前提と
し、音場空間の特性を考慮した直接音、初期反射音、残
響音の処理により作り出された音場空間内で、受聴者自
身や、音源の位置、向き、移動速度、移動方向に合わせ
た音像を作り出す３次元音場空間再生装置に関する。

【０００２】

【従来の技術】３次元音場制御の研究は、現在盛んに行
われており、バーチャルリアリティ、スタジオでの録音
などで多く利用されるようになってきている。３次元の
音場の再生には、スピーカ又はステレオヘッドホンが使
われているが、バーチャルリアリティにおいては受聴者
自体の動作があるため、外耳による散乱、遮蔽、共振、
二つの耳のクロストークを除くために、ステレオヘッド
ホンが多く利用されている。

【０００３】３次元音場制御を行うためには、音源から
の音波が人の両耳に到達する経路を考え、壁の反射、回
折、散乱等の伝達経路と、頭部音響伝達関数と呼ばれる
頭部や耳介による反射、回折、共振等の伝達経路につい
ての考察が必要であり、現在このような研究が各方面で
盛んに行われている。この頭部音響伝達関数を用いて音
像を頭外定位させるという理論については昔から数多く
の文献が発表されており、すでに著名な文献として鹿島
出版から発行されているブラウエルト、森本、後藤らの
「空間音響」がある。この理論自体は３０年ほど前に論
文発表されており、周知である。

【０００４】現在、この理論を用いて数多くの発明がさ
れている。特開平５−１３７１９８号公報及び特開平５
−２５２５９７号公報のステレオヘッドホン受聴で頭外
に音像を定位させる技術、特開平５−２６０５９７号公
報及び特開平５−２６８６９３号公報のスピーカを用い
た音場制御技術、特開平５−３０６００号公報のスピー
カを用いた音像制御技術、特開平５−４９０９８号公報
のアクティブ消音を組み合わせた技術などがある。スピ
ーカによる再生では音場の制御に関するものが多く、ス
テレオヘッドホンによる再生では音像方向の制御に関す
るものが多い。

【０００５】ステレオヘッドホン再生で、頭部音響伝達
関数を用いて任意の方向に、しかも頭外に音像を定位さ
せる場合、全ての方向に関しての頭部音響伝達関数を装
置内のメモリに格納することは現実的には不可能である
ため、所定角度単位ごとに格納するという方法をとるの
が一般的である。こうした場合、角度単位を細かくし、
メモリ内に格納されている方向に最も近い角度を選び代
用するという方式や、角度単位は粗いままで最も近い角
度を複数選び出し、補正を行って代用するという方式が
ある。

【０００６】特開平５−３００５９９号公報には、ステ
レオヘッドホン再生を前提とした、演算によって任意の
角度のバイノーラル化を行い、計測の手間や記憶のため
のメモリ容量を削減する音響装置が開示されている。

【０００７】この音響装置は、図２０に示すように、所
定の角度間隔毎の複数の角度で計測された左右の頭部音
響伝達関数を記憶したメモリ１０１と、各部を制御する
制御回路１０２と、制御回路１０２からの信号によりメ
モリ１０１から読み出された、音像定位させたい任意の
角度を挟んだ所定の角度の頭部音響伝達関数を書き込む
レジスタ１０３〜１０６と、レジスタ１０３、１０４か
らの信号を制御回路１０２から与えられる内挿、補間の
比率によって演算を行って頭部音響伝達関数を算出する
演算回路１０７と、レジスタ１０５、１０６からの信号
を制御回路１０２から与えられる内挿、補間の比率によ
って演算を行って頭部音響伝達関数を算出する演算回路
１０８と、演算回路１０７により算出された頭部音響伝
達関数をモノラル音源１０９からのモノラル信号と畳み
込み演算をする畳み込み回路１１０と、演算回路１０８
により算出された頭部音響伝達関数をモノラル音源１０
９からのモノラル信号と畳み込み演算をする畳み込み回
路１１０、１１１と、畳み込み回路１１０に接続された
左ヘッドホン１１２と、畳み込み回路１１１に接続され
た右ヘッドホン１１３とを具備している。

【０００８】次に、本従来例の動作について説明する。

【０００９】メモリ１には、所定の角度間隔毎の複数の
角度で計測された左右の頭部音響伝達関数が記録されて
いる。制御回路１０２からの信号により音像定位させた
い任意の角度を挟んだ所定の角度の頭部音響伝達関数が
メモリ１０１から読み出されてレジスタ１０３〜１０６
に書き込まれる。演算回路１０７によりレジスタ１０
３、１０４からの信号を制御回路１０２から与えられる
内挿、補間の比率によって演算が行われて頭部音響伝達
関数が算出され、演算回路１０８によりレジスタ１０
５、１０６からの信号を制御回路１０２から与えられる
内挿、補間の比率によって演算が行われて頭部音響伝達
関数が算出される。畳み込み回路１１０により演算回路
１０７にて算出された頭部音響伝達関数がモノラル音源
１０９からのモノラル信号と畳み込み演算され、畳み込
み回路１１１により演算回路１０８にて算出された頭部
音響伝達関数がモノラル音源１０９からのモノラル信号
と畳み込み演算され、畳み込み演算された信号が左右ヘ
ッドホンの１１２、１１３に供給される。

【００１０】なお、頭部音響伝達関数の内挿、補間の演
算は、メモリ１０１内に記憶された頭部音響伝達関数が
それぞれ直交変換によって周波数領域に変換され、更に
それはレベル及び位相に分解され、それぞれ内挿、補間
の演算が行われる。

【００１１】また、特開平５−１６８０９７号公報に
は、ステレオヘッドホンを前提とし、左右２個の音源信
号のレベル差や遅延時間差を用いて、音源位置から離れ
た任意の位置に音像を定位させ、線形的な音像定位動作
を行う方法が開示されている。ただし、少なくともレベ
ル差または遅延時間差のある２チャンネルの音源が必要
である。このように、任意の方向に頭部音響伝達関数を
推定する方法や、音像を移動させる方法について発明さ
れているものもある。

【００１２】

【発明が解決しようとする課題】従来の３次元音場空間
再生装置は、以上のように、音像を定位させることを主
眼としており、音像の移動を含めて定位させ、また反射
音や残響音を処理した音場を作り出すことに主眼をおい
ていない。そのため、臨場感のある音場空間を作り出
し、その中で受聴者自身や音源の位置、向き、移動速
度、移動方向に合わせた音像をリアルタイムに作り出す
ことはできない。また、ステレオヘッドホンを前提と
し、直接音、到来方向を考慮した初期反射音、音場空間
の室容積、平均吸収率から得られる残響時間による残響
音の処理を加えることにより音場を作り出す方法もなか
った。

【００１３】本発明は、上記のような課題を解消するた
めになされたもので、臨場感のある音場空間を作り出
し、その中で受聴者自身や音源の位置、向き、移動速
度、移動方向に合わせた音像を作り出して、高い臨場感
のある音を聞くことができる３次元音場空間再生装置を
提供することを目的とする。

【００１４】

【課題を解決するための手段】本発明によれば、前述の
目的は、直接音の処理を行う直接音処理手段と、初期反
射音の処理を行う初期反射音処理手段と、音場空間の室
容量、平均吸収率、及び音源のモノラル音響信号から残
響音の処理を行う残響音処理手段とを具備する請求項１
の３次元音場空間再生装置によって達成される。

【００１５】本発明によれば、前述の目的は、前記直接
音処理手段が、受聴者と実音源との方向及び距離を算出
する受聴者／音源相対情報演算手段と、算出された方向
に応じた頭部音響伝達関数を推定する頭部音響伝達関数
推定手段と、受聴者／音源相対情報演算手段により算出
された実音源までの距離に基づいてその距離に応じて音
圧、周波数特性、時間遅れの調整を前記推定された頭部
音響伝達関数に対して行う距離変化演算手段と、選ばれ
た音源のモノラルの音響信号と前記距離変化演算手段に
よって調整された頭部音響伝達関数とを畳み込み演算す
る畳み込み演算手段と、畳み込み演算された音響信号に
受聴者の移動速度、音源の移動速度に基づきドップラー
効果の処理を施すドップラー演算手段とを具備する請求
項２の３次元音場空間再生装置によって達成される。

【００１６】本発明によれば、前述の目的は、前記初期
反射音処理手段が、受聴者に対する音源の向き及び方向
から複数の仮想音源位置を算出する仮想音源演算手段
と、仮想音源の方向を算出する受聴者／音源相対情報演
算手段と、算出された仮想音源の方向に応じた頭部音響
伝達関数を推定する頭部音響伝達関数推定手段と、壁の
反射、反射による周波数特性変化から音圧、周波数特
性、時間遅れの調整を前記推定された頭部音響伝達関数
に行う反射音変化演算手段と、仮想音源までの距離を算
出する受聴者／音源相対情報演算手段と、算出された仮
想音源までの距離に応じて音圧、周波数特性、時間遅れ
の調整を前記反射音変化演算手段によって調整された頭
部音響伝達関数に行う距離変化演算手段と、実音源のモ
ノラルの音響信号と前記距離変化演算手段によって調整
された頭部音響伝達関数とを畳み込み演算する畳み込み
演算手段と、畳み込み演算された音響信号に受聴者の移
動速度、音源の移動速度に基づきドップラー効果の処理
を施すドップラー演算手段とを具備する請求項３の３次
元音場空間再生装置によって達成される。

【００１７】本発明によれば、前述の目的は、単位面積
あたりの音響信号の密度、放射面積及び放射角度から受
聴者及び音源の位置に応じて、その都度、初期反射音の
到来方向を算出する演算処理手段を具備する請求項４の
３次元音場空間再生装置によって達成される。

【００１８】

【作用】請求項１の３次元音場空間再生装置によれば、
直接音処理手段により直接音の処理が行われ、初期反射
音処理手段により初期反射音の処理が行われ、残響音処
理手段により音場空間の室容量、平均吸収率、及び音源
のモノラル音響信号から残響音の処理が行われる。これ
により、臨場感のある音場空間を作り出し、その中で受
聴者自身や音源の位置、向き、移動速度、移動方向に合
わせた音像を作り出すことができる。

【００１９】請求項２の３次元音場空間再生装置によれ
ば、受聴者／音源相対情報演算手段により受聴者と実音
源との方向及び距離が算出され、頭部音響伝達関数推定
手段により算出された方向に応じた頭部音響伝達関数が
推定され、距離変化演算手段により受聴者／音源相対情
報演算手段にて算出された実音源までの距離よりその距
離に応じた音圧変化、周波数特性の変化、時間遅れの調
整が頭部音響伝達関数に対して行われ、畳み込み演算手
段により選ばれた音源のモノラルの音響信号と頭部音響
伝達関数とが畳み込み演算され、ドップラー演算手段に
より作り出された音響信号に受聴者の移動速度、音源の
移動速度に基づきドップラー効果の処理が施される。こ
れにより、音場空間の中で受聴者自身や音源の位置、向
き、移動速度、移動方向に合わせた音像を作り出すこと
ができる。

【００２０】請求項３の３次元音場空間再生装置によれ
ば、仮想音源演算手段により受聴者に対する音源の向き
及び方向から複数の仮想音源位置が算出され、受聴者／
音源相対情報演算手段により仮想音源の方向が算出さ
れ、頭部音響伝達関数推定手段により算出された仮想音
源の方向に応じた頭部音響伝達関数が推定され、反射音
変化演算手段により頭部音響伝達関数推定手段にて算出
された仮想音源の方向に応じた、壁の反射、反射による
周波数特性変化から音圧、周波数特性、時間遅れの調節
が頭部音響伝達関数に施され、受聴者／音源相対情報演
算手段により仮想音源までの距離が算出され、距離変化
演算手段により算出された距離に応じた音圧変化、周波
数特性の変化、時間遅れの調整が頭部音響伝達関数に施
され、畳み込み演算手段により実音源のモノラルの音響
信号と頭部音響伝達関数とが畳み込み演算され、ドップ
ラー演算手段により作り出された音響信号に受聴者の移
動速度、音源の移動速度に基づきドップラー効果の処理
が施される。これにより、臨場感のある音場空間を作り
出すことができる。

【００２１】請求項４の３次元音場空間再生装置によれ
ば、受聴者及び音源の位置が変更される度に、単位面積
あたりの音響信号の密度、放射面積及び放射角度から受
聴者及び音源の位置に応じた、初期反射音の到来方向が
算出される。これにより、受聴者自身や音源の位置に合
わせた音像を作り出すことができる。

【００２２】

【実施例】以下、本発明の３次元音場空間再生装置の実
施例を図を参照しながら説明する。

【００２３】３次元音場空間再生装置は、図１に示すよ
うに、外部インタフェースを有しかつ音場空間内の複数
の音源の中から一つの音源を選択する受聴者／音源制御
ユニット８と、受聴者と実音源との方向及び距離を算出
すると共に仮想音源の方向及び距離を算出する受聴者／
音源相対情報演算ユニット３と、ユニット３により算出
された仮想音源方向及び実音源方向に応じて頭部音響伝
達関数を推定する頭部音響伝達関数推定ユニット１と、
実音源までの距離及び仮想音源までの距離よりその距離
に応じた音圧変化、周波数特性の変化、時間遅れの調整
を頭部音響伝達関数に対して行う距離変化演算ユニット
２と、選ばれた音源のモノラルの音響信号と頭部音響伝
達関数とを畳み込み演算する畳み込み演算ユニット５ａ
と、畳み込み演算ユニット５ａにより作り出された音響
信号に受聴者の移動速度、音源の移動速度に基づきドッ
プラー効果の処理を施すドップラー演算ユニット９ａ
と、受聴者に対する音源の向き及び方向から複数の仮想
音源位置を算出する仮想音源演算ユニット４と、壁の反
射、反射による周波数特性変化から音圧、周波数特性、
時間遅れの調節を頭部音響伝達関数に施す反射音変化演
算ユニット６と、実音源のモノラルの音響信号と頭部音
響伝達関数とを畳み込み演算する畳み込み演算ユニット
５ｂ〜５ｄと、畳み込み演算ユニット５ｂ〜５ｄのそれ
ぞれにより作り出された音響信号に受聴者の移動速度、
音源の移動速度に基づきドップラー効果の処理を施すド
ップラー演算ユニット９ｂ〜９ｄと、音場空間の室容
量、平均吸収率、及び音源のモノラル音響信号から残響
音の処理を行う残響音処理ユニット７と、音響信号が出
力されるステレオヘッドホン１０とを具備している。

【００２４】受聴者／音源相対情報演算ユニット３と、
頭部音響伝達関数推定ユニット１と、距離変化演算ユニ
ット２と、畳み込み演算ユニット５ａと、ドップラー演
算ユニット９ａとにより直接音処理手段が構成されてい
る。また、仮想音源演算ユニット４と、受聴者／音源相
対情報演算ユニット３と、頭部音響伝達関数推定ユニッ
ト１と、反射音変化演算ユニット６と、受聴者／音源相
対情報演算ユニット３と、距離変化演算ユニット２と、
畳み込み演算ユニット５ｂ〜５ｄと、ドップラー演算ユ
ニット９ｂ〜９ｄとにより初期反射音処理手段が構成さ
れている。

【００２５】頭部音響伝達関数推定ユニット１は、図２
に示すように、受聴者の各方向別の頭部音響伝達関数を
格納した頭部音響伝達関数テーブル１１と、音源の方向
から頭部音響伝達関数テーブル１１より最も近い頭部音
響伝達関数を選び出して記憶する複数の右耳用メモリ１
２、１３、１４と、左耳用メモリ１５、１６、１７と、
右耳用メモリ１２、１３、１４に記憶された頭部音響伝
達関数から任意の方向の頭部音響伝達関数を補間処理等
により算出する右耳用演算回路１８と、左耳用メモリ１
５、１６、１７に記憶された頭部音響伝達関数から任意
の方向の頭部音響伝達関数を補間処理等により算出する
左耳用演算回路１９とを具備している。

【００２６】距離変化演算ユニット２は、図３に示すよ
うに、受聴者と音源との距離による音圧変化を格納した
音圧変化テーブル２１と、受聴者と音源との距離による
周波数特性の変化を格納した周波数特性変化テーブル２
２と、受聴者と音源との距離による時間遅れを格納した
時間遅れテーブル２３と、右耳用頭部音響伝達関数に音
圧変化テーブル２１を参照して受聴者と音源との距離に
応じた音圧変化の演算を行って右耳用頭部音響伝達関数
を調整する演算回路２４と、左耳用頭部音響伝達関数に
音圧変化テーブル２１を参照して受聴者と音源との距離
に応じた音圧変化の演算を行って左耳用頭部音響伝達関
数を調整する演算回路２５と、演算回路２４により調整
された右耳用頭部音響伝達関数に周波数特性変化テーブ
ル２２を参照して受聴者と音源との距離に応じた周波数
特性変化の演算を行って右耳用頭部音響伝達関数を調整
する演算回路２６と、演算回路２５により調整された左
耳用頭部音響伝達関数に周波数特性変化テーブル２２を
参照して受聴者と音源との距離に応じた周波数特性変化
の演算を行って左耳用頭部音響伝達関数を調整する演算
回路２７と、演算回路２６により調整された右耳用頭部
音響伝達関数に時間遅れテーブル２３を参照して受聴者
と音源との距離に応じた時間遅れの演算を行って右耳用
頭部音響伝達関数を調整する演算回路２８と、演算回路
２７により調整された左耳用頭部音響伝達関数に時間遅
れテーブル２３を参照して受聴者と音源との距離に応じ
た時間遅れの演算を行って左耳用頭部音響伝達関数を調
整する演算回路２９とを具備している。

【００２７】受聴者／音源相対情報演算ユニット３は、
図４に示すように、受聴者の位置、向き、移動速度、移
動方向の情報を格納した受聴者テーブル３１と、複数の
音源それぞれの位置、向き、移動速度、移動方向の情報
を格納した音源テーブル３２と、受聴者テーブル３１よ
り受聴者の位置、向き、移動速度、移動方向の情報を読
み出して記憶するメモリ３３と、音源テーブル３２より
複数の音源それぞれの位置、向き、移動速度、移動方向
の情報を読み出して記憶するメモリ３４と、受聴者の位
置、向き、移動速度、移動方向の情報及び複数の音源そ
れぞれの位置、向き、移動速度、移動方向の情報から受
聴者に対する実音源または仮想音源位置から受聴者に対
する音源の方向、受聴者に対する音源までの距離、受聴
者の移動速度、実音源の移動速度を算出する演算回路３
５とを具備している。

【００２８】仮想音源演算ユニット４は、図５に示すよ
うに、音場空間の形状、室容積、平均吸収率、壁の反射
率、壁からの反射による周波数特性変化、障害物の位
置、障害物の形状、障害物の反射率、障害物の反射によ
る周波数特性変化の情報を格納した音場空間テーブル４
１と、音場空間テーブル４１からそれらの情報を読み出
して記憶するメモリ４２と、前記受聴者／音源相対情報
演算ユニット３から出力される受聴者に対する音源の位
置、受聴者に対する音源の向きを記憶するメモリ４３
と、音場空間の形状、室容積、平均吸収率、壁の反射
率、壁からの反射による周波数特性変化、障害物の位
置、障害物の形状、障害物の反射率、障害物の反射によ
る周波数特性変化の情報及び受聴者に対する音源の位
置、受聴者に対する音源の向きの情報から初期反射音の
ための仮想音源の位置を算出する演算回路４４とを具備
している。

【００２９】演算ユニット５ａは、図６に示すように、
右耳用頭部音響伝達関数を記憶するメモリ５１と、左耳
用頭部音響伝達関数を記憶するメモリ５２と、メモリ５
１が記憶する右耳用頭部音響伝達関数とモノラル音源と
を畳み込み演算する畳み込み演算回路５３と、メモリ５
２が記憶する左耳用頭部音響伝達関数とモノラル音源と
を畳み込み演算する畳み込み演算回路５４とを具備して
いる。

【００３０】演算ユニット５ｂ〜５ｄのそれぞれは、ユ
ニット５ａと互いに同一構成である。

【００３１】反射音変化演算ユニット６は、図７に示す
ように、反射率及び仮想音源までの距離により右耳用頭
部音響伝達関数に音圧変化の調節を施す音圧変化演算回
路６１と、反射率及び仮想音源までの距離により左耳用
頭部音響伝達関数に音圧変化の調節を施す音圧変化演算
回路６２と、反射率及び仮想音源までの距離により右耳
用頭部音響伝達関数に周波数特性変化の調節を施す周波
数特性変化演算回路６３と、反射率及び仮想音源までの
距離により左耳用頭部音響伝達関数に周波数特性変化の
調節を施す周波数特性変化演算回路６４と、反射率及び
仮想音源までの距離により右耳用頭部音響伝達関数に時
間遅れの調節を施す時間遅れ演算回路６５と、反射率及
び仮想音源までの距離により左耳用頭部音響伝達関数に
時間遅れの調節を施す時間遅れ演算回路６６とを具備し
ている。

【００３２】残響音処理ユニット７は、図８に示すよう
に、音場空間の室容量、平均吸収率、及び右耳用音響信
号から残響音の処理を行う演算回路７１と、音場空間の
室容量、平均吸収率、及び左耳用音響信号から残響音の
処理を行う演算回路７２とを具備している。

【００３３】受聴者／音源制御ユニット８は、図９に示
すように、外部入出力信号を送受信する外部通信インタ
フェース８１と、前記頭部音響伝達関数テーブル１１
と、前記音圧変化テーブル２１と、前記周波数特性変化
テーブル２２と、前記時間遅れテーブル２３と、前記受
聴者テーブル３１と、前記音源テーブル３２と、前記音
場空間テーブル４１と、これらのテーブルを参照して受
聴者／音源制御信号を出力するＣＰＵ８２とを具備して
いる。

【００３４】ドップラー演算ユニット９ａは、図１０に
示すように、受聴者の移動速度、音源の移動速度に基づ
き、右耳用音響信号、左耳用音響信号にドップラー効果
の処理を施す周波数変調回路９１を備えている。

【００３５】ドップラー演算ユニット９ｂ〜９ｄのそれ
ぞれは、ユニット９ａと互いに同一構成である。

【００３６】次に、音に関しての音場の分布のパターン
について図１１ａ及び図１１ｂを用いて説明する。

【００３７】舞台上の音源から四方に出る音は、図１１
ａに示すように、舞台から真っ直ぐに受聴者に届く直接
音１２０と、壁、天井、床などに反射して直接音よりも
道程が長い分だけ時間的に遅れて届く反射波群１２１と
に分けることができる。反射波群１２１は、図１１ｂに
示すように、更に左右の両壁面を最初の反射とする初期
反射音と、何回となく反射を繰り返しながら四方八方か
らランダムに届き、初期反射よりも更に時間が遅れ、し
かもその遅れかたはまちまちであり、かつレベルも次第
に減衰するというパターンを持った一連の残響音とから
なっている。

【００３８】直接音は、音源の定位、音質の表現を行う
役割を持っており、初期反射音は、広がり感、直接音の
補強、明瞭度の助長、音の艶、ハーモニーを作り出す役
割を持っている。残響音は、明瞭度には大きく貢献はし
ないが、響き、豊かさなどで受聴者を包み込む雰囲気を
作り出す役割を持っている。従って、直接音、初期反射
音、残響音を処理することは、音場を作り出すというこ
とに非常に重要な要素となる。

【００３９】次に、本実施例の動作を図１２のフローチ
ャートに沿って説明する。

【００４０】音場空間内で複数の音源の中から一つの音
源が受聴者／音源制御ユニット８により選択されると
（ステップＳ１）、受聴者／音源相対情報演算ユニット
３により受聴者と実音源との方向及び距離が算出される
（ステップＳ２）。直接音処理において、ユニット３に
より算出された実音源方向に応じて頭部音響伝達関数が
頭部音響伝達関数推定ユニット１により推定される（ス
テップＳ３）。距離変化演算ユニット２により実音源ま
での距離よりその距離に応じた音圧変化、周波数特性の
変化、時間遅れの調整が頭部音響伝達関数に対して行わ
れ（ステップＳ４）、畳み込み演算ユニット５ａにより
音源のモノラルの音響信号と頭部音響伝達関数とが畳み
込み演算される（ステップＳ５）。ユニット５ａにより
作り出された音響信号に受聴者の移動速度、音源の移動
速度に基づきドップラー効果の処理がドップラー演算ユ
ニット９ａにより施される（ステップＳ６）。

【００４１】初期反射音処理において、仮想音源演算ユ
ニット４により受聴者に対する音源の向き及び方向から
複数の仮想音源位置が算出され、その複数の仮想音源に
ついてはユニット３により仮想音源の方向が算出される
（ステップＳ７）。ユニット３により算出された仮想音
源方向に応じて頭部音響伝達関数が頭部音響伝達関数推
定ユニット１により推定される（ステップＳ８）。反射
音変化演算ユニット６により壁の反射、反射による周波
数特性変化から音圧、周波数特性、時間遅れの調節が頭
部音響伝達関数に施される（ステップＳ９）。ユニット
３により算出された仮想音源までの距離に応じた音圧変
化、周波数特性の変化、時間遅れの調整が距離変化演算
ユニット２により頭部音響伝達関数に対して行われ（ス
テップＳ１０）、畳み込み演算ユニット５ｂ〜５ｄによ
り実音源のモノラルの音響信号と頭部音響伝達関数とが
畳み込み演算され（ステップＳ１１）、ユニット５ｂ〜
５ｄにより作り出された音響信号に受聴者の移動速度、
音源の移動速度に基づきドップラー効果の処理がドップ
ラー演算ユニット９ｂ〜９ｄにより施される（ステップ
Ｓ１２）。

【００４２】残響音処理において、残響音処理ユニット
７により音場空間の室容量、平均吸収率、及び音源のモ
ノラル音響信号から残響音の処理が行われる（ステップ
Ｓ１３）。そして、直接音処理、初期反射音処理、残響
音処理において求められた音響信号がステレオヘッドホ
ン１０に出力される（ステップＳ１４）。

【００４３】この直接音、初期反射音、残響音は、受聴
者または音源の位置が変わると（ステップＳ１５）、前
述ステップＳ２に戻り、以降の動作を繰り返す。受聴者
や複数の音源位置は、ユニット８により管理されてお
り、直接音の処理の途中、初期反射音処理での仮想音源
の算出の途中、残響音の処理の途中で受聴者または音源
の位置が変わった場合でも、前述ステップＳ２に戻り、
処理をやり直す。音源、受聴者の位置に変化がなけれ
ば、直接音処理では前述ステップＳ５に戻り、初期反射
音処理では前述ステップＳ１１に戻る以降の動作が繰り
返される。

【００４４】次に、各ユニットの詳細な動作について説
明する。

【００４５】頭部音響伝達関数推定ユニット１では、頭
部音響伝達関数テーブル１１に受聴者の各方向別の頭部
音響伝達関数が格納されており、右耳用メモリ１２、１
３、１４及び左耳用メモリ１５、１６、１７に音源の方
向から頭部音響伝達関数テーブル１１より最も近い頭部
音響伝達関数が選び出されて記憶される。右耳用演算回
路１８により右耳用メモリ１２、１３、１４に記憶され
た頭部音響伝達関数から任意の方向の頭部音響伝達関数
が補間処理等により算出され、左耳用演算回路１９によ
り左耳用メモリ１５、１６、１７に記憶された頭部音響
伝達関数から任意の方向の頭部音響伝達関数が補間処理
等により算出される。なお、頭部音響伝達関数テーブル
１１は、図１３ａ〜図１３ｄに示すように、例えば、サ
ンプリングレート４８０００Ｈｚ、サンプリング数２５
６、量子化ビット１６の水平面内の正面方向、真後ろ方
向、右９０度、左９０度の各頭部音響伝達関数テーブル
からなっている。この例の頭部音響伝達関数は時間換算
で５．３ｍｓｅｃのインパルス応答である。

【００４６】距離変化演算ユニット２では、音圧変化テ
ーブル２１により受聴者と音源との距離による音圧変化
が格納されており、周波数特性変化テーブル２２により
受聴者と音源との距離による周波数特性の変化が格納さ
れており、時間遅れテーブル２３により受聴者と音源と
の距離による時間遅れが格納されている。演算回路２４
により右耳用頭部音響伝達関数に図１４に示すような音
像と受聴レベルの依存関係である音圧変化テーブル２１
が参照されて受聴者と音源との距離に応じた音圧変化の
演算が行われ、右耳用頭部音響伝達関数が調整される。
図１４の音圧変化テーブル２１は、スピーカが３ｍと９
ｍの２点に置かれ、その他にも３個のスピーカが見える
ように置かれた無響室での音像距離と受聴レベルの例で
ある。演算回路２５により左耳用頭部音響伝達関数に音
圧変化テーブル２１が参照されて受聴者と音源との距離
に応じた音圧変化の演算を行われ、左耳用頭部音響伝達
関数が調整される。演算回路２６により調整済みの右耳
用頭部音響伝達関数に図１５に示すような等ラウドネス
曲線の周波数特性変化テーブル２２が参照されて受聴者
と音源との距離に応じた周波数特性変化の演算が行わ
れ、右耳用頭部音響伝達関数が調整される。なお、図１
５の周波数特性変化テーブル２２は、正面方向から入射
する純音を両耳で聞いた時の、正常な聴力を有する１８
〜２５才の者の可聴範囲と等ラウドネス曲線で示される
例である。演算回路２７により調整済みの左耳用頭部音
響伝達関数に周波数特性変化テーブル２２が参照されて
受聴者と音源との距離に応じた周波数特性変化の演算が
行われ、左耳用頭部音響伝達関数が調整される。演算回
路２８により調整済みの右耳用頭部音響伝達関数に図１
６に示すような時間遅れテーブル２３が参照されて受聴
者と音源との距離に応じた時間遅れの演算が行われ、右
耳用頭部音響伝達関数が調整される。演算回路２９によ
り調整済みの左耳用頭部音響伝達関数に時間遅れテーブ
ル２３が参照されて受聴者と音源との距離に応じた時間
遅れの演算が行われる。なお、時間遅れテーブル２３に
おいて、音速度ｖは、ｔを摂氏温度とすると、 ｖ＝３３１．５＋０．６ｔ（ｍ／ｓ） で算出している。

【００４７】受聴者／音源相対情報演算ユニット３で
は、図１７に示すような受聴者テーブル３１により受聴
者の位置、向き、移動速度、移動方向の情報が格納さ
れ、図１８に示すような音源テーブル３２により複数の
音源それぞれの位置、向き、移動速度、移動方向、音源
の指向性等の情報が格納される。受聴者テーブル３１よ
り受聴者の位置、向き、移動速度、移動方向の情報が読
み出されてメモリ３３に記憶され、音源テーブル３２よ
り複数の音源それぞれの位置、向き、移動速度、移動方
向の情報が読み出されてメモリ３４に記憶される。な
お、音源の指向性は、単位面積当たりの音響信号の密
度、面積及び放射角度として格納されている。演算回路
３５により受聴者の位置、向き、移動速度、移動方向の
情報及び複数の音源それぞれの位置、向き、移動速度、
移動方向の情報から受聴者に対する実音源または仮想音
源位置から受聴者に対する音源の方向、受聴者に対する
音源までの距離、受聴者の移動速度、実音源の移動速度
が算出される。なお、受聴者及び音源の移動速度は３次
元軸方向の速度に分解されて出力される。図１７の位置
は、３次元空間上での位置のため、３次元の座標であ
り、向きはベクトル表示である。移動速度は時速表示で
あり、移動方向はベクトル表示である。図１８における
位置、向き、移動速度、移動方向も同様である。音源識
別は、実音源であるのか、仮想音源演算ユニット４で算
出された仮想音源であるかを示している。指向性には、
単位面積当たりの音響信号の密度、面積及び放射角度が
格納されている。

【００４８】前記仮想音源演算ユニット４では、音場空
間テーブル４１により３次元音場空間の形状、室容積、
平均吸収率、壁の反射率、壁からの反射による周波数特
性変化、障害物の位置、障害物の形状、障害物の反射
率、障害物の反射による周波数特性変化の情報が格納さ
れ、音場空間テーブル４１からそれらの情報が読み出さ
れてメモリ４２に記憶され、前記受聴者／音源相対情報
演算ユニット３から出力される受聴者に対する音源の位
置、受聴者に対する音源の向きがメモリ４３に記憶さ
れ、演算回路４４によりメモリ４２に記憶されている音
場空間の形状、室容積、平均吸収率、壁の反射率、壁か
らの反射による周波数特性変化、障害物の位置、障害物
の形状、障害物の反射率、障害物の反射による周波数特
性変化の情報及びメモリ４３に記憶されている受聴者に
対する音源の位置、受聴者に対する音源の向きの情報か
ら初期反射音のための仮想音源の位置が算出される。仮
想音源の位置は、音源の指向性、すなわち音響信号の放
射を追跡することで推定することができる。この時、障
害物に音響信号がぶつかれば、反対方向、反射率による
音圧の減衰を考慮して算出される。コンピュータグラフ
ィックでのレイ・トレーシング法等により算出される。
このようにして算出された音場空間の特性は、図１９ａ
に示すような音場空間テーブル４１に登録される。障害
物は一つしか格納されていないが、複数の格納が可能で
ある。なお、図１９ｂは平均吸収率を考慮した反射によ
る周波数特性変化を示している。

【００４９】畳み込み演算ユニット５ａ〜５ｄでは、メ
モリ５１により右耳用頭部音響伝達関数が記憶され、メ
モリ５２により左耳用頭部音響伝達関数が記憶され、メ
モリ５１が記憶する右耳用頭部音響伝達関数とモノラル
音源とが畳み込み演算回路５３により畳み込み演算され
て右耳用音響信号が出力され、メモリ５２が記憶する左
耳用頭部音響伝達関数とモノラル音源とが畳み込み演算
回路５４により畳み込み演算されて左耳用音響信号が出
力される。実際の装置での畳み込み演算は、演算特性を
考慮した専用プロセッサや汎用プロセッサを用いること
ができる。

【００５０】前記反射音変化演算ユニット６では、音圧
変化演算回路６１により反射率及び仮想音源までの距離
により右耳用頭部音響伝達関数に音圧変化の調節が施さ
れ、音圧変化演算回路６２により反射率及び仮想音源ま
での距離により左耳用頭部音響伝達関数に音圧変化の調
節が施される。周波数特性変化演算回路６３により反射
率及び仮想音源までの距離により右耳用頭部音響伝達関
数に周波数特性変化の調節が施され、周波数特性変化演
算回路６４により反射率及び仮想音源までの距離により
左耳用頭部音響伝達関数に周波数特性変化の調節が施さ
れる。時間遅れ演算回路６５により反射率及び仮想音源
までの距離により右耳用頭部音響伝達関数に時間遅れの
調節が施され、時間遅れ演算回路６６により反射率及び
仮想音源までの距離により左耳用頭部音響伝達関数に時
間遅れの調節が施される。

【００５１】前記残響音処理ユニット７では、演算回路
７１により音場空間の室容量、平均吸収率、及び右耳用
音響信号から残響音の処理が行われて右耳用音響信号が
出力され、演算回路７２により音場空間の室容量、平均
吸収率、及び左耳用音響信号から残響音の処理が行われ
て左耳用音響信号が出力される。

【００５２】受聴者／音源制御ユニット８では、外部通
信インタフェース８１により音場空間内での受聴者と各
音源の位置、向き、方向、速度が制御される。ＣＰＵ８
２により頭部音響伝達関数テーブル１１、音圧変化テー
ブル２１、周波数特性変化テーブル２２、時間遅れテー
ブル２３、受聴者テーブル３１、音源テーブル３２及び
音場空間テーブル４１が管理される。外部通信インタフ
ェース８１を介しての要求により各テーブルの内容が変
更される。

【００５３】ドップラー演算ユニット９ａ〜９ｄでは、
周波数変調回路９１により受聴者の移動速度、実音源及
び仮想音源の移動速度に基づき、右耳用音響信号、左耳
用音響信号にドップラー効果の処理が施されて右耳用音
響信号、左耳用音響信号が出力される。ドップラー演算
は、サンプリングレートの変更などによる周波数変調回
路や、フーリエ変換などによる周波数解析後に、各周波
数毎への変調を行う方法などにより演算を行うことがで
きる。

【００５４】以上により、音場空間の特性を考慮した直
接音、音の到来方向を考慮した初期反射音、音場空間の
室容積、平均吸収率から得られる残響時間による残響音
の処理を行うことが可能となり、その音場空間内を受聴
者が移動した場合や、音源が移動した場合にも対応で
き、臨場感の高い音場を作ることが可能となる。ヘッド
ホンステレオ、ミニコンポなどの各種オーディオ機器に
応用すれば、高い臨場感のある音を聴くことが可能とな
る。また、本発明を利用して作った音を、カセットテー
プ、コンパクトディスク、ミニディスクなどの記録媒体
に録音しておけば、オーディオ機器を改良・変更するこ
となしに、高い臨場感を得ることが可能になる。更に、
バーチャル・リアリティに応用でき、仮想空間の情報を
音場空間に当てはめることや、各種センサからの情報を
外部通信インタフェースを介して受聴者、音源情報を制
御することで仮想空間の実現に利用できる。

【００５５】

【発明の効果】請求項１の３次元音場空間再生装置によ
れば、臨場感のある音場空間を作り出し、その中で受聴
者自身や音源の位置、向き、移動速度、移動方向に合わ
せた音像を作り出すことができる。

【００５６】請求項２の３次元音場空間再生装置によれ
ば、音場空間の中で受聴者自身や音源の位置、向き、移
動速度、移動方向に合わせた音像を作り出すことができ
る。

【００５７】請求項３の３次元音場空間再生装置によれ
ば、臨場感のある音場空間を作り出すことができる。

【００５８】請求項４の３次元音場空間再生装置によれ
ば、臨場感のある音場空間を作り出し、その中で受聴者
自身や音源の位置、向き、移動速度、移動方向に合わせ
た初期反射音を作り出すことができる。

【図面の簡単な説明】

【図１】本発明の３次元音場空間再生装置の実施例の構
成を示すブロック図である。

【図２】頭部音響伝達関数推定ユニットの構成を示すブ
ロック図である。

【図３】距離変化演算ユニットの構成を示すブロック図
である。

【図４】受聴者／音源相対情報演算ユニットの構成を示
すブロック図である。

【図５】仮想音源演算ユニットの構成を示すブロック図
である。

【図６】畳み込み演算ユニットの構成を示すブロック図
である。

【図７】反射音変化演算ユニットの構成を示すブロック
図である。

【図８】残響音処理ユニットの構成を示すブロック図で
ある。

【図９】受聴者／音源制御ユニットの構成を示すブロッ
ク図である。

【図１０】ドップラー演算ユニットの構成を示すブロッ
ク図である。

【図１１ａ】音場の反射音の分布パターンを示す図であ
る。

【図１１ｂ】時間軸から見た音場の分布パターンを示す
図である。

【図１２】本発明の３次元音場空間再生装置の実施例の
動作を示すフローチャートである。

【図１３ａ】正面方向の頭部音響伝達関数テーブル例を
示す図である。

【図１３ｂ】真後方向の頭部音響伝達関数テーブル例を
示す図である。

【図１３ｃ】右９０度方向の頭部音響伝達関数テーブル
例を示す図である。

【図１３ｄ】左９０度方向の頭部音響伝達関数テーブル
例を示す図である。

【図１４】音圧変化テーブル例を示す図である。

【図１５】周波数特性変化テーブル例を示す図である。

【図１６】時間送れテーブル例を示す図である。

【図１７】受聴者テーブル例を示す表である。

【図１８】音源テーブル例を示す表である。

【図１９ａ】音場空間テーブル例を示す表である。

【図１９ｂ】反射による周波数特性変化を示す図であ
る。

【図２０】従来の音響装置の構成を示すブロック図であ
る。

【符号の説明】

1 頭部音響伝達関数推定ユニット 2 距離変化演算ユニット 3 受聴者／音源相対情報演算ユニット 4 仮想音源演算ユニット 5a〜5d 畳み込み演算ユニット 6 反射音変化演算ユニット 7 残響音処理ユニット 8 受聴者／音源制御ユニット 9a〜9d ドップラー演算ユニット

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｇ１０Ｋ 15/12 15/00 Ｈ０４Ｓ 7/00 Ｆ

Claims (4)

【特許請求の範囲】
1. 【請求項１】 複数の音源の各直接音、初期反射音及び
   残響音に基づき３次元音場空間を再生する３次元音場空
   間再生装置であって、直接音の処理を行う直接音処理手
   段と、初期反射音の処理を行う初期反射音処理手段と、
   音場空間の室容量、平均吸収率、及び音源のモノラル音
   響信号から残響音の処理を行う残響音処理手段とを具備
   する３次元音場空間再生装置。
2. 【請求項２】 前記直接音処理手段は、受聴者と実音源
   との方向及び距離を算出する受聴者／音源相対情報演算
   手段と、算出された方向に応じた頭部音響伝達関数を推
   定する頭部音響伝達関数推定手段と、受聴者／音源相対
   情報演算手段により算出された実音源までの距離に基づ
   いてその距離に応じて音圧、周波数特性及び時間遅れの
   調整を前記推定された頭部音響伝達関数に対して行う距
   離変化演算手段と、選ばれた音源のモノラルの音響信号
   と前記距離変化演算手段によって調整された頭部音響伝
   達関数とを畳み込み演算する畳み込み演算手段と、畳み
   込み演算された音響信号に受聴者の移動速度及び音源の
   移動速度に基づきドップラー効果の処理を施すドップラ
   ー演算手段とを具備する請求項１に記載の３次元音場空
   間再生装置。
3. 【請求項３】 前記初期反射音処理手段は、受聴者に対
   する音源の向き及び方向から複数の仮想音源位置を算出
   する仮想音源演算手段と、仮想音源の方向を算出する受
   聴者／音源相対情報演算手段と、算出された仮想音源の
   方向に応じた頭部音響伝達関数を推定する頭部音響伝達
   関数推定手段と、壁の反射、反射による周波数特性の変
   化から音圧、周波数特性及び時間遅れの調整を前記推定
   された頭部音響伝達関数に対して行う反射音変化演算手
   段と、仮想音源までの距離を算出する受聴者／音源相対
   情報演算手段と、算出された仮想音源までの距離に基づ
   いてその距離に応じた音圧、周波数特性及び時間遅れの
   調整を前記反射音変化演算手段によって調整された頭部
   音響伝達関数に行う距離変化演算手段と、実音源のモノ
   ラルの音響信号と前記距離変化演算手段によって調整さ
   れた頭部音響伝達関数とを畳み込み演算する畳み込み演
   算手段と、畳み込み演算された音響信号に受聴者の移動
   速度及び音源の移動速度に基づきドップラー効果の処理
   を施すドップラー演算手段とを具備する請求項１又は２
   に記載の３次元音場空間再生装置。
4. 【請求項４】 単位面積あたりの音響信号の密度、放射
   面積及び放射角度から受聴者及び音源の位置に応じて、
   その都度、初期反射音の到来方向を算出する演算処理手
   段を具備する請求項１から３のいずれか一項に記載の３
   次元音場空間再生装置。