JPH09160549A - 三次元音響提示方法および装置 - Google Patents

Abstract

(57)【要約】 （修正有） 【課題】 三次元空間上に定義された物体から発生する
音響の三次元音像定位を、ＭＩＤＩ用いることで、音響
データを直接計算機が扱うことなく、安価で簡易である
が、効果的に提示する方法とそのための装置を提供す
る。 【解決手段】 仮想三次元空間に存在する物体からの三
次元音像定位させるため、音源１１０から得られた音響
信号に対し、ピッチシフト装置１１１イコライズ装置１
１２ディレイ装置１１３リバーブ装置１１４によって加
工を行い、移動感、距離感と空間の雰囲気を物体毎に表
現する。その後、ボリューム装置１１５で、観察者を中
心とした立方体の各頂点に配置したスピーカへ与える音
量をそれぞれ操作することで、音響の方向性とさらに距
離感を与える。これらすべての装置をＭＩＤＩ信号によ
って制御し、特にボリューム装置は観察者からみた物体
への相対位置を基に計算された方法によって制御する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】仮想現実感等で行なわれる、
三次元コンピュータグラフィクス等によって合成された
画像と同時に提示する、三次元音響提示方法に関する。

【０００２】

【従来の技術】三次元コンピュータグラフィクス等によ
って合成された画像と同時に音響を提示する場合、以下
のような方法が採られていた。

【０００３】（１） ＭＩＤＩによりボリューム装置を
制御し、複数の位置に配置したスピーカから出力する方
法。例えば、コンピュータ・ミュージック・ジャーナル
１４巻４号（１９９０年）の論文（Bosi, M.:An Intera
ctive Real-time System for the Control of Sound Lo
calization）では、複数のスピーカを観察者から二次元
平面上等距離の位置に配置し、注目する物体の方向がｉ
番目とｉ＋１番目のスピーカの挟む角の間にある場合、
これら２つのスピーカから出力する音響信号のそれぞれ
の強度をボリューム装置で変更するものである。物体の
距離に関しては、同ボリューム装置の制御と、すべての
物体に共通のリバーブ装置に送る音響信号の量に反映さ
せている。さらに、ドップラー効果に関してはＭＩＤＩ
音源のピッチベンド機能を用いて実現している。

【０００４】（２）仮想三次元空間をコンピュータ・グ
ラフィクス画像と同時に、ＭＩＤＩによりボリューム装
置を制御し、左右および前後の組合せで表わされる位置
に配置したスピーカから音響信号を出力する方法。例え
ば、エーシーエム・コンピュータグラフィクス・シーグ
ラフ９３・コースノート２３（１９９３年）の論文（Ba
rger, R. et al:Sound for Virtual Immersive Environ
ments）では、観察者を中心とした空間の前・左・右・
下面に配置したスクリーンに生成した映像を投影する。
その上、左右および前後の組合せの４つの位置に配置し
たスピーカから音響信号を映像に合わせて観察者に与え
る。音響信号はＭＩＤＩによって制御されている。

【０００５】（３）実世界における音響到達として、音
源から視聴者に到達するまでを精密にシミュレーション
することによって音響を合成し、ヘッドホンまたはステ
レオスピーカから提示する方法。例えば、米国航空宇宙
局エームズ研究所テクニカル・メモランダム第１０３８
３５号（１９９１年）の論文（Wenzel, E.M.:Three-Dim
ensional Virtual Acconstic Displays）では、音源か
ら視聴者の両耳までの伝達関数をあらかじめ計測し、そ
のパラメータを用いて専用のハードウエアにおいて音響
信号の伝達をシミュレーションする。

【０００６】（４）上記（３）の制御をＭＩＤＩで行な
う方法。たとえば、ＪＡＳジャーナル１９９２年２月号
２１ページから２５ページの論文（馬場良行 他：ＲＳ
Ｓ方式２ｃｈによる３次元立体音場録音方式の解説）で
は、（３）と同様のシミュレーション装置に与える物体
の位置をＭＩＤＩによって変更する。

【０００７】

【発明が解決しようとする課題】上記（１）と（２）
は、観察者の周囲に二次元平面上に配置した複数のスピ
ーカに与えるそれぞれの音響信号の減衰量を、ＭＩＤＩ
を用いたボリューム装置で操作し、音像の方向を認知さ
せる。また、音源からの音響信号発生時にＭＩＤＩのピ
ッチベンド機能を用いてドップラー効果を表現してい
る。しかし、二次元空間での音像移動であり、三次元空
間内の物体の音像定位は不可能である。また、距離によ
る時間遅れや周波数特性の変化は表現していない。さら
に、距離感の表現としてボリューム装置からリバーブ装
置へ音響信号を送り残響音を付加しているが、すべて同
一のリバーブ装置を用いるため、一つの物体毎の設定が
不可能である。また、（３）と（４）は、実三次元空間
で測定された音源から耳までの音響信号の伝わり方を表
わす伝達関数を用いて、畳み込み積分による精密なシミ
ュレーションを行なうため、専用のハードウエアが必要
であり高価である。

【０００８】本発明の目的は、計算機内で三次元空間上
に定義された物体から発生する音響の位置を視聴者に認
識させる場合、高価な専用ハードウエアを用いた精密な
シミュレーションではなく、画像と音響の相乗効果を期
待した簡単な近似による、市販の機器を用いた安価な三
次元音響を提示する方法とそのためのシステムを提供す
ることである。これにより、仮想三次元空間に存在する
世界を画像および音響により、高い臨場感をもたせて観
察者に知覚させることが可能になる。

【０００９】

【課題を解決するための手段】ＭＩＤＩ信号で制御でき
る機器には、音響信号の強度や時間遅れ、あるいはピッ
チを制御する機器も存在し、三次元音響の提示のための
制御も可能である。これらは特殊で高価な機器ではな
く、市販の機器であるため安価である。

【００１０】一般に人間の脳は、音響単独ではなく画像
と複合させて提示した場合、TVや腹話術の例からもわか
るように、関連のある物体の画像と音響を結び付けて情
報を把握し、判断する。このことから、精密なシミュレ
ーションに基づくような音像定位ではなくても、画像と
同期させて提示することは音像位置の知覚、動作の識
別、および臨場感向上にかなり有効である。したがっ
て、従来のステレオと同様な、複数のスピーカ間の強度
差や時間差などを用いる近似であっても、三次元音像定
位であっても充分な効果が期待できる。

【００１１】そこで本発明では、安価かつ効果的な三次
元音響提示システムの実現のため、ＭＩＤＩ信号で制御
可能な音響信号処理機器によって、与えられた音響信号
に対して、ピッチの変更、音の強度変更、音響信号生成
の画像生成からの時間遅れ付加、残響音の付加といった
加工を施す。さらに、従来の一次元ステレオスピーカを
三次元に拡張して音像定位を行う。すなわち、左右二つ
のスピーカにそれぞれ与える音響を変化させる方法によ
る一次元の音像定位を、上下・左右・前後の組み合わせ
による三次元に拡張する。つまり、視聴者（視聴者）の
周囲の立方体ないし直方体の各頂点に配置した８台のス
ピーカを用い、それぞれのスピーカに与える音響信号の
強度差により、三次元音像定位を実現する。

【００１２】第１の特徴として本発明では、仮想三次元
空間内に存在する動作と形状と位置が定義された物体の
表示に同期させて、ＭＩＤＩ信号で制御される三次元音
響を提示する。これにより、画像と音響の相乗効果によ
る、物体の距離および方向の把握を可能にし、仮想三次
元空間の臨場感が向上する。

【００１３】第２の特徴として本発明では、物体の観察
位置に対する相対速度を用いて、ドップラー効果による
音響信号のピッチの変化を表現する。この表現をするた
めに生成すべきＭＩＤＩ信号の値をあらかじめ定義した
マッピング関数又はテーブルから得る。生成したＭＩＤ
Ｉ信号に基づき、計算機外部の音響信号処理装置におい
てピッチを変化させる、あるいは音響信号の生成時にお
けるピッチとして生成する。これにより、観察者は、物
体が移動していることを知覚することが可能になる。

【００１４】第３の特徴として本発明では、観察位置か
ら物体への距離に関して、音響信号がこの距離を伝播す
る時に様々な経路を伝わって観察位置に届く間接音を残
響音として近似し、その付加量として表現する。この表
現をするために生成すべきＭＩＤＩ信号の値をあらかじ
め定義したマッピング関数又はテーブルから得る。生成
したＭＩＤＩ信号に基づき、計算機外部の音響信号処理
装置において音響信号に残響音を付加する。これにより
観察者は、物体との距離感を知覚することが可能にな
る。

【００１５】第４の特徴として本発明では、観察位置か
ら物体への距離に関して、音響信号がこの距離を伝播し
観察位置に届くまでにかかる時間を、音響信号の提示ま
での時間遅れとして表現する。この表現をするために生
成すべきＭＩＤＩ信号の値をあらかじめ定義したマッピ
ング関数又はテーブルから得る。生成したＭＩＤＩ信号
に基づき、計算機外部の音響信号処理装置において音響
信号に提示までの時間遅れを付加する。これにより観察
者は、同時に提示される画像の物体の動作とそれに伴う
音響信号の時間差から、物体との距離感を知覚すること
が可能になる。

【００１６】第５の特徴として本発明では、観察位置か
ら物体への距離に関して、音響信号がこの距離を伝播す
る間に受ける減衰を表現する。この表現をするために生
成すべきＭＩＤＩ信号の値をあらかじめ定義したマッピ
ング関数又はテーブルから得る。生成したＭＩＤＩ信号
に基づき、計算機外部の音響信号処理装置において音響
信号を減衰させる。これにより観察者は、物体との距離
感を知覚することが可能になる。さらに、マッピング関
数あるいはテーブルをいくつかの周波数帯域毎に用意
し、観察位置から物体への距離に関して、音響信号がこ
の距離を伝播する間に受ける周波数毎の減衰を表現す
る。そして、生成すべきＭＩＤＩ信号の値をあらかじめ
定義した周波数帯域毎のマッピング関数又はテーブルか
ら得る。生成したＭＩＤＩ信号に基づき、計算機外部の
音響信号処理装置において音響信号を周波数毎に減衰さ
せる。これにより観察者は、物体との距離感を知覚する
ことが可能になる。

【００１７】第６の特徴として本発明では、観察位置か
らみた物体の方向に関して、観察者の周囲に配置した複
数のスピーカから出力される音響信号の、スピーカ毎の
強度に差を持たせることにより、物体の存在する方向感
を表現する。この表現をするために生成すべきＭＩＤＩ
信号の値をあらかじめ定義したマッピング関数又はテー
ブルから得る。生成したＭＩＤＩ信号に基づき、計算機
外部の音響信号処理装置において各スピーカへ与える音
響信号を減衰させる。これにより観察者は、各スピーカ
からの音響信号の強度差により、物体への方向感を知覚
することが可能になる。

【００１８】第７の特徴として本発明では、物体の表示
に同期させて、観察者の周囲に複数のスピーカを配置
し、各スピーカから生成された音響信号を観察者に提示
する。このとき、計算機の外部にある音響信号生成装置
および一つ以上の音響信号処理装置を、生成した音響生
成用ＭＩＤＩ信号および音響加工用ＭＩＤＩ信号によっ
て制御する。これによって、観察者は物体の移動・距離
・方向の把握が容易にするための三次元音響を、安価に
実現できる。さらに、複数のスピーカに関して、視聴者
を中心とした直方体の各頂点にスピーカを配置すること
により、上下・左右・前後の三次元音響空間を定義する
ことで三次元音響提示装置を提供する。

【００１９】第８の特徴としては、スピーカを配置する
場合に、第５および第６の特徴を備えて音響加工用ＭＩ
ＤＩ信号を生成する処理方法である。観察者から見た物
体の相対位置を、観察者を中心とした前後、上下、左右
の３軸上の値として分解し、それぞれの値から物体の方
向を示す値（方向値）を得る。更に、観察者からの物体
までの距離に関して物体の距離による減衰値（距離値）
を求める。そして、方向値と距離値の積から実際に音量
を制御するためのＭＩＤＩ信号を生成し、８つの各スピ
ーカへ与える音量制御のために用いることで、三次元音
響空間内での物体の移動感と方向感と距離感を音響によ
って観察者に知覚させる三次元音響提示装置を提供す
る。

【００２０】第９の特徴としては、第１の特徴を実三次
元空間に適応させる。そのために、第７の特徴に、さら
に、観察者に対する実三次元空間に存在する物体の相対
位置を取得する装置と、その物体が発生する音響信号を
物体の位置において取得する手段またはその物体が発生
すると仮定する音響信号を合成する装置とを加える。こ
れにより、実三次元空間を仮想空間内で展開することが
可能になり、物体の移動感と方向感と距離感を音響によ
って観察者に知覚させる三次元音響提示装置を提供す
る。

【００２１】

【発明の実施の形態】本発明のシステム構成例を図１に
示す。ここでは、計算機（１０１）に仮想三次元空間内
の１種類以上の動作と形状と位置の情報を持つ複数の物
体の情報を貯える記憶装置（１０４）があり、その情報
を参照・変更するシミュレータ（１０５）が動作してい
る。シミュレータは、例えば、三次元物体としての自動
車が道路上を走るシミュレーションを行なっている。画
像生成部（１０２）は、記憶装置内の仮想空間情報をコ
ンピュータグラフィクス（以下とＣＧ略す）として生成
し、ディスプレイ（１０３）に出力し観察者に提示す
る。以下、自動車のシミュレーションの例をもって実例
の説明を行なう。

【００２２】三次元物体情報および仮想空間情報を用い
た三次元音響の制御のためのＭＩＤＩ信号は、ＭＩＤＩ
信号生成部（１０６）において、いくつかのマップ（１
０７）、（１１８）〜（１２３）と対応させて生成され
る。生成されたＭＩＤＩ信号は、外部のＭＩＤＩ信号を
認識する三次元音響提示用の各装置へ送られる。

【００２３】ＭＩＤＩとはMusical Instrument Digital
Interfaceの略で、音楽・音響に用いられる楽器や計算
機などを相互に結合し、情報の交換を可能にするために
制定されたハードウェアおよびソフトウェアの規格であ
る（ＭＩＤＩ規格協議会：ＭＩＤＩ １．０規格）。本
発明でいうＭＩＤＩ信号とは、ＭＩＤＩ規格を満足する
機器の間で授受される制御信号のことである。ＭＩＤＩ
規格を満足する機器は数多く市販され、一般用途向けの
機器では数万円程度と、安価に入手可能である。

【００２４】本発明の三次元音響提示機器として用いる
ＭＩＤＩ機器は以下のような構成であり、これらは、Ｍ
ＩＤＩ信号によってパラメータが操作可能である。

【００２５】音源（１１０）は、ＭＩＤＩ信号によっ
て、特に音響の種類および出力の開始と終了を制御さ
れ、指定された音響、つまり物体の発するべき音を生成
する。

【００２６】次の段のピッチシフト装置（１１１）は、
入力された音響のピッチを変移させ出力する。ここで
は、ドップラー効果でピッチ周波数がシフトする様子を
近似し、相対的に移動する物体を表現する。

【００２７】イコライズ装置（１１２）は、入力された
音響信号の周波数特性を変化させる。例えば、２００ヘ
ルツ以下の周波数領域を減衰させるハイパスフィルタ
と、５キロヘルツ以上の周波数領域を減衰させるローパ
スフィルタによって周波数特性を変化させる。これによ
り、発音体から耳に届くまでの媒体中を伝播する間の周
波数特性の変化を近似する。

【００２８】次に、ディレイ装置（１１３）は、入力さ
れた音響を指定された遅延時間だけ送らせて出力する。
これにより、発音時刻から到達するまでの時間差を近似
する。

【００２９】リバーブ装置（１１４）は、入力された音
響信号に残響音を付加する。これにより、反射や屈折な
どさまざまな経路をたどって耳に届くために起こる直接
音と間接音の関係を近似し、同時に仮想空間の雰囲気を
近似する。

【００３０】ボリューム装置（１１５）は、入力された
音響信号を減衰させ、出力する。ここでは、以下の複数
のスピーカにそれぞれ与える音響信号の強度を変化させ
る。観察者は周囲に配置された複数のスピーカからのそ
れぞれ異なる音量により、音響の方向性と距離感を知覚
する。このことは家庭用のステレオ装置の例を見ても明
らかである。アンプ（１１６）は入力された音響信号の
電力を増幅し、スピーカ（１１７）を駆動する。図２の
例では、複数のスピーカ（２０１）として、聴取者（２
０４）の頭部（２０３）を中心とした立方体ないし直方
体の各頂点の８ケ所に配置する。このため、ボリューム
装置およびアンプは８つの組になっている。なお、以下
の説明では、アンプはその増幅度を固定し、また、スピ
ーカと対になっているため、合わせてスピーカと呼ぶこ
とにする。

【００３１】以下に、本発明の処理例について述べる。
なお、すべて一つの物体についての処理であり、物体が
複数存在する場合には、それぞれについて以下の処理を
行う。

【００３２】図３は処理全体のフローチャートである。
まず、初期設定の処理（３０１）を行ない、時刻を０に
する（３０２）。次に、シミュレーション処理（３０
３）において、例えば、現在の時刻における自動車の位
置を更新するシミュレーションを行う。この結果を用い
て、映像の生成と提示を行い（３０６）、三次元音像定
位を行なう処理（３０４）を行う。そして、シミュレー
ション時刻をインクリメントする（３０５）。これらの
処理を終了まで繰り返す。

【００３３】図４は初期設定処理（３０１）のフローチ
ャートである。 ここでは、まず、物体が発生すべき音
響信号発生のための音響設定（４０１）を行う。音響設
定とは、音源（１１０）において所望の音響信号が出力
されるようにする処理である。例えば音源がオーディオ
サンプラである場合、所望の音響信号を録音し、出力先
の設定等を行う。

【００３４】次に、他の全てのＭＩＤＩ機器の設定（４
０２）を行う。ＭＩＤＩでは、チャンネルやノートナン
バ、およびコントロール番号という概念がある。これら
は、データの送り先指定（アドレス）のように、受け手
側では各機器毎にどの組み合わせのＭＩＤＩ信号がきた
場合どのような音響信号を生成するか、あるいはどのパ
ラメータを変更するかが設定されており、送り手側はそ
の目的にあったＭＩＤＩ信号を送ることで音響信号を発
生、あるいはパラメータを変更できるようにする指定で
ある。図１３のように、音源（１１０）、ピッチシフト
装置（１１１）、イコライズ装置（１１２）、ディレイ
装置（１１３）、リバーブ装置（１１４）、およびボリ
ューム装置（１１５）が、特定のチャンネル、ノートナ
ンバ、およびコントロール番号のＭＩＤＩ信号を受け取
った場合に、任意の音響信号の生成あるいは機器特有の
パラメータの変更が行われるようあらかじめ設定する。
ここで、ＭＩＤＩで扱うことの可能なデータは、幾つか
の例外を除き０から１２７までの１２８段階であり、こ
のデータによって変更される実際のパラメータの値とは
異なる場合がある。この２つを結び付け、また、後に説
明する各マップの設定のため、各装置において指定され
たパラメータの下限および上限について適宜設定する。

【００３５】次に、すべてのマップを計算機（１０１）
のメモリ上に設定する（４０４）。図１４は音種類マッ
プの例で、「爆発」「エンジン」「クラクション」「路
面ノイズ」のそれぞれの動作に対応する音響を生成する
ための、ＭＩＤＩのチャンネルおよびノートナンバが設
定される。ピッチシフトマップ（１１８）は、ドップラ
ー効果による音響信号のピッチ変化を表現するため、仮
想三次元空間内をシミュレーションによって移動する物
体の相対速度と単位相対位置ベクトルとの内積（単位時
間の距離の変化量に等しい）（１５０１）に対する、ピ
ッチシフトＭＩＤＩ値（１５０２）の値を表わす。

【００３６】ドップラー効果によって変位したピッチ周
波数 f' は、移動が無い場合のピッチ周波数を f 音速
を c 相対速度ベクトルを V 相対位置ベクトルを P と
して式１で表わされる。

【００３７】 f' = f ・ c / ( c + V・P/|P| ) （式１） ここで、一般にピッチシフト装置では、ピッチの変化の
割合、つまり、 k = f'/f = c / ( c + V・P/|P| ) （式２） をパラメータとしてピッチを変更する。ここで、ピッチ
シフトＭＩＤＩ値は、０から１２７までの値を取り、６
４でピッチの変化はなく、数値が下がるに連れてピッチ
が下降し、数値が上がるに連れてピッチが上昇するよう
に設定している。そこで、ピッチシフト装置におけるピ
ッチ変化の上限および下限を考慮しながら、ピッチシフ
トマップを V・P/|P| の関数として、例えば（図１５）
のように数値を決定する。

【００３８】イコライズマップ（１１９）は、空間を伝
わってくる間に音響信号が受ける周波数の関数となる減
衰を表現するため、観察者の位置から物体の位置までの
距離（１６０１）に基づき、周波数領域での音響信号を
減衰量させるためにイコライズ装置（１１２）に送る音
響加工用ＭＩＤＩ信号値を表わす。この例でイコライズ
装置は、音響信号の周波数領域における強度を、２００
ヘルツ程度の周波数をカットオフ周波数とするハイパス
フィルタと、２キロヘルツ程度の周波数をカットオフ周
波数とするローパスフィルタの２つのフィルタからなる
とする。ハイパスフィルタの減衰量を決定する低域減衰
量ＭＩＤＩ値（１６０２）およびローパスフィルタの減
衰量を決定する高域減衰量ＭＩＤＩ値（１６０３）の双
方とも、０で減衰なし、数値が上がるにつれ減衰量が大
きくなるようにする。イコライズ装置による減衰量の下
限および上限を考慮しながら、例えば、実測値によって
得られた値を基に、図１６のようにイコライズマップを
設定する。

【００３９】ディレイマップ（１２０）は、物体との距
離（１７０１）に対して、ディレイ装置（１１３）に入
力された音響信号を出力するまでの遅れ時間を制御する
ための音響加工用ＭＩＤＩ信号を表わす。この時間差
は、空間を伝わってくるための時間遅れを表現する。遅
れ時間 a は、音速を c 距離を r とすれば、 a = r / c （式３） として求められる。ディレイ装置による遅れ量の下限お
よび上限を考慮して、式３の値を実現するよう、ディレ
イ量ＭＩＤＩ値（１７０２）を例えば図１７のように設
定する。

【００４０】リバーブマップ（１２１）は、物体との距
離（１８０１）に対して、リバーブ装置（１１４）に入
力される音響信号に基づく残響音と直接出力する音響信
号との比を変化させるための音響加工用ＭＩＤＩ信号を
表わす。この残響音は、物体が発生する音響信号が様々
な経路を伝わって観察者に届く間接音を近似するもので
あり、距離が変化すると直接音との比が変わることを表
現する。この例では、０ですべてが直接音、１２７です
べてが残響音、数値が上がるにつれ残響音が大きくなる
よう、図１８のようにリバーブ付加量ＭＩＤＩ値（１８
０２）を設定する。

【００４１】音量マップは方向値マップ（１２２）およ
び距離値マップ（１２３）の２つから構成される。方向
値マップは、例えば図２のようにスピーカが配置されて
いる場合、モニタ（２０２）を正面として、物体が観察
者の前側か後側、右側か左側、上側か下側、の３組で表
現する。それぞれは、図１９のように、観察者を中心と
した注目した側の方向値が逆側方向スピーカ距離の半分
において０になるように、中心よりも注目した側での方
向値１から減少するようそれぞれ設定する。これは、一
般的ステレオスピーカに与える音量差と同様の考え方を
拡張したもので、聴感上自然になるように曲線を設定す
る。

【００４２】距離値マップは、物体との距離に対して、
スピーカ距離の半分までは１、それよりも遠い場合には
距離の逆数の指数関数的に減少していくように設定す
る。減衰は距離に対して指数関数的に反比例するため、
この指数をＮとすれば、スピーカ間の距離を２Ｄとし
て、音量距離値ｓを音源と聴取位置との距離をｒの関数
として式４のように求める。

【００４３】ｓ=１．０ （０≦ｒ≦Ｄ） =pow(ｒ-Ｄ+１,-Ｎ) （Ｄ＜Ｒ） （式４） ただし、pow(x,y) は x の y 乗を表わす。つまり、観
察者の周囲に配置したスピーカが囲む空間までの距離の
範囲では１、それよりも物体が遠くなれば減衰していく
ようにする。物理的には直接音の強度は距離の２乗に反
比例するが（Ｎ＝２）、実際には様々な道筋を通って聴
取位置に到達する間接音が加わることにより、この指数
は２よりも減少する。また、仮想空間の表示と合わせた
場合、表示の視野角との関係や心理的な作用で、Ｎ＝１
のように極端な値を用いた場合の方が自然に聞こえる場
合もある。このため、聴感上自然になるように、例えば
図２０のように設定する。

【００４４】図５は三次元音像定位処理（３０４）の処
理のフローチャートである。まず、物体の動作に従い
（５０１）、音発生処理を行なう（５０２）。図６は音
発生処理のフローチャートである。ここでは、動作が開
始された場合には音種類マップ（１０７）を参照し、該
当する動作に対応する音響信号生成のためのノートオン
ＭＩＤＩ信号を生成し（６０１）、出力する（６０
３）。もし動作の終了であったならば、同様に音種類マ
ップを参照し、該当する動作に対応する音響信号生成を
中止するためのノートオフＭＩＤＩ信号を生成し（６０
５）、出力する（６０６）。例えば、シミュレーション
において車がクラクション鳴動の動作を行う場合には、
チャンネル２のノートナンバ６２に対応した音響信号を
鳴らすノートオンＭＩＤＩ信号を生成・出力し、音源
（１１０）はそれを受けて、あらかじめ設定された音響
信号を生成・出力する。クラクション鳴動が終了した時
点で、同様にノートオフＭＩＤＩ信号を生成（６０５）
・出力し（６０６）、音源は生成を中止することにな
る。

【００４５】三次元音像定位処理（図５）において、観
察位置または物体の位置が変更された場合（５０３）、
物体の相対位置を取得する（５０７）。また、仮想的観
察位置から物体までの距離（５０９）と、もし単位時刻
前の位置が設定されていれば相対速度の計算が行なわれ
る（５１０）。

【００４６】各成分に分解した相対位置 P=(x,y,z)、距
離 r(P) 、および、相対速度 V=(Vx,Vy,Vz) を用いて、
ピッチシフト処理（５１１）、イコライズ処理（５１
２）、ディレイ処理（５１３）、リバーブ処理（５１
４）、およびボリューム処理（５１５）を行なう。最後
に、現在の仮想的観察位置および物体の情報を単位時刻
前の情報として書き換える（５１６）。

【００４７】図７はピッチシフト処理（５１１）のフロ
ーチャートである。ここでは、まず、すでに求めた相対
速度と、相対位置ベクトルをその大きさで割った単位ベ
クトル、すなわち単位方向ベクトルPe = P/|P| との内
積 p = Pe・V を求め、このpからピッチシフトマップ
（図１５）を参照して、ドップラー効果によるピッチの
変化量を求める（７０１）。そして、ピッチシフト装置
（１１１）へ送る音響加工用ＭＩＤＩ信号であるコント
ロールチェンジコマンドを生成し（７０２）、ＭＩＤＩ
信号として出力する（７０３）。たとえば、相対速度と
相対位置の内積が６．２の場合にはピッチシフト量ＭＩ
ＤＩ値は１２６となり、図１３で設定したチャンネル２
コントロールナンバ６１にデータ１２６を設定するため
音響加工用ＭＩＤＩ信号が生成され出力される。これを
受け取ったピッチシフタではあらかじめ設定された通
り、音源から送られてきた音響信号のピッチを変更して
次段のイコライズ装置（１１２）に出力する。

【００４８】図８はイコライズ処理（５１２）のフロー
チャートである。前述のように、この例でのイコライズ
装置は、音響信号を低域のハイパスフィルタと、高域の
ローパスフィルタの２つのフィルタから構成されるとし
ている。そこで、まず、イコライズマップ（図１６）を
参照してすでに求めた仮想空間における観察者の位置か
ら物体までの距離 r に関する高域周波数成分の減衰量
ＭＩＤＩ値を求める（８０１）。その量によって高域減
衰のためイコライズ装置（１１２）へ送る音響加工用Ｍ
ＩＤＩ信号であるコントロールチェンジコマンドを生成
し（８０２）、ＭＩＤＩ信号として出力する（８０
３）。また、低域についても同様である（８０４）（８
０５）（８０６）。例えば、r = ７．２であった場合、
音響加工用ＭＩＤＩ信号であるコントロールチェンジ低
域減衰量ＭＩＤＩ値は２、高域減衰量ＭＩＤＩ値は３と
なる。したがって、図１３のＭＩＤＩ機器設定を用い
て、チャンネル２コントロールナンバ６４データ２が低
域減衰量ＭＩＤＩ値として、チャンネル２コントロール
ナンバ６５データ３が高域減衰量ＭＩＤＩ値として、そ
れぞれ生成され出力される。これらの値を受け取ったイ
コライズ装置（１１２）はあらかじめ設定されたとお
り、入力される音響信号の低域周波数成分および高域周
波数成分を減衰させて、次段のディレイ装置に出力す
る。

【００４９】図９はディレイ処理（５１３）のフローチ
ャートである。まず、仮想空間における観察者からの物
体までの距離 r を用い、ディレイマップ（図１７）を
参照してディレイ量ＭＩＤＩ値を求める（９０１）。次
に、求めたＭＩＤＩ値とＭＩＤＩ機器の設定（図１３）
を用いて、ディレイ時間を変更するためにディレイへ送
る音響加工用ＭＩＤＩ信号であるコントロールチェンジ
コマンドを生成し（９０２）、ＭＩＤＩ信号として出力
する（９０３）。例えば、r = ７．２である場合、ディ
レイ量ＭＩＤＩ値は図１７から３となる。よって求める
コントロールチェンジコマンドは、チャンネル４コント
ロールナンバ６７データ３と生成され出力される。これ
らの値を受け取ったディレイ（１１３）はあらかじめ設
定されたとおり、入力される音響信号を遅延させて、次
段のリバーブ装置に出力する。

【００５０】図１０はリバーブ処理（５１４）のフロー
チャートである。まず、仮想空間における観察者からの
物体までの距離rを用い、リバーブマップ（図１８）を
参照して、リバーブ付加量ＭＩＤＩ値を求める（１００
１）。次に、求めたＭＩＤＩ値とＭＩＤＩ機器の設定
（図１３）を用いてリバーブ装置へ送る音響加工用ＭＩ
ＤＩ信号であるコントロールチェンジコマンドを生成し
（１００２）、ＭＩＤＩ信号として出力する（１００
３）。例えば、r =７．２である場合、図１８からリバ
ーブ付加量ＭＩＤＩ値は５となる。よって求めるコント
ロールチェンジコマンドは、チャンネル５コントロール
ナンバ６２データ５と生成され出力される。これらの値
を受け取ったリバーブ装置（１１４）はあらかじめ設定
されたとおり、入力される音響信号を遅延させて、次段
のボリューム装置に出力する。

【００５１】図１１はボリューム処理（５１５）のフロ
ーチャートである。まず、以下のようにボリュームマッ
プのうち、音量方向値マップ（図１９）からそれぞれの
スピーカに関する音量方向値を求める（１１０１）。こ
こでいう音量方向値とは、観察者を原点とする前方向・
上方向・右方向の３軸それぞれに関して、軸上の値に対
する[0,1]の区間で定義される値であり、減衰無くスピ
ーカに出力される場合を１とした出力の割合である。例
えば、一般的な左／右の２チャンネルステレオ（右方向
軸に対応する）の場合、左方向値と右方向値とは音像が
中央で同じ値、それぞれのスピーカの位置では反対側の
方向値を０になるように値を交差させる。図１９では、
実線が左方向値で破線が右方向値である。本発明ではこ
れを三次元に拡張し、前／後、上／下に関しても音量方
向値を定義する。

【００５２】図２のように観察者（２０４）の頭部（２
０３）を中心とし、ディスプレイ（２０２）を前とし
て、スピーカ（２０１）がほぼ立方体の８頂点の位置に
なるよう配置されているとする。このとき、前述の音量
方向値、すなわち、後方向値（Rear）と前方向値（Fron
t）、 左方向値（Left）と右方向値（Right）、 下方向
値（Bottom）と上方向値（Top）の３つの組に関して図
１９のマップが定義されている。

【００５３】次に、物体の相対位置に関して曲線から得
られたRear、Front、Left、Right、Bottom、およびTop
を用いて、８つのスピーカの音量値を求める。音量値と
は、各スピーカに置ける方向値から得られる、[0,1]の
区間で定義される値で、方向値と同様に減衰無くスピー
カに出力される場合を１とした出力の割合である。各ス
ピーカのうち、前・上・左のスピーカの音量値を Front
、Top 、Left の頭文字を取りFTL と名付ける。同様
に、前・上・右を FTR、前・下・左を FBL 、前・下・
右を FBR 、後・上・左を RTL 、後・上・右を RTR、後
・下・左を RBL、後・下・右を RBRと表わし、それぞれ
を式５〜式１２により求める。

【００５４】FTL=Front・Top・Left （式５）。 FTR=Front・Top・Right （式６）。 FBL=Front・Bottom・Left （式７）。 FBR=Front・Bottom・Right （式８）。 RTL=Rear・Top・Left （式９）。 RTR=Rear・Top・Right （式１０）。 RBL=Rear・Bottom・Left （式１１）。 RBR=Rear・Bottom・Right （式１２） 次に、以下のように距離値マップからそれぞれのスピー
カの音量距離値を求める（１１０２）。音量距離値と
は、観察者を原点とす物体までの距離に対する[0,1]の
区間で定義される値であり、減衰無くスピーカに出力さ
れる場合を１とした出力の割合である。

【００５５】最終的に音量マップの方向量と距離量を用
いて、ＭＩＤＩ機器から各スピーカへ与える音量（ボリ
ューム）としての値へ変換を行う（１１０３）。ＭＩＤ
Ｉで用いるボリュームの値は０〜１２７の整数であるた
め、実際に生成するＭＩＤＩ（これをボリュームＭＩＤ
Ｉ値と呼ぶ）は、それぞれの音量値にダッシュ（'）を
つけるとして、式１３〜式２０となる。

【００５６】FTL'=[127・FTL・s] （式１３）。 FTR'=[127・FTR・s] （式１４）。 FBL'=[127・FBL・s] （式１５）。 FBR'=[127・FBR・s] （式１６）。 RTL'=[127・RTL・s] （式１７）。 RTR'=[127・RTR・s] （式１８）。 RBL'=[127・RBL・s] （式１９）。 RBR'=[127・RBR・s] （式２０） ここで、[x]はxを越えない最大の整数を表わす。

【００５７】図２０のように、スピーカ距離の半分を半
径とする球面内に物体がある場合には方向値のみがボリ
ュームＭＩＤＩ値となり、球面外にある場合には更に距
離値を掛け合わせた値となる。このようにして求めたボ
リューム値からそれぞれのスピーカの音量変更のコント
ロールチェンジコマンドを生成し（１１０４）、ＭＩＤ
Ｉ信号として出力する（１１０５）。

【００５８】図２１は物体が移動した場合の各スピーカ
に与えるボリュームＭＩＤＩ値の変化の説明図である。
ここでは、２次元に単純化して説明する。つまり、上方
向軸上０の平面での断面と考え、上および下の方向値To
p およびBottomはそれぞれ１とする。図では縦軸（２１
０５）を前、横軸（２１０６）を右方向とする。まず、
物体は時刻 t=t0 で（２１０７）の位置にいる。時刻 t
が t1、t2、…、t5と進んでいくに従い、シミュレータ
は物体をそれぞれ（２１０８）、（２１０９）、 …、
（２１１２）と移動させる。このとき、本発明を用いた
三次元音響による音像の移動は最終的にいくつかのエフ
ェクタを経て、複数のスピーカへ与える音量で実現され
る。このスピーカへ与える音量は、前述の通りボリュー
ムＭＩＤＩ値をもって変化させる。観察者の位置（２１
１７）を中心として配置された４つのスピーカ（２１０
１）〜（２１０４）へ与える音量のためのボリュームＭ
ＩＤＩ値は、それぞれ、（２１１３）〜（２１１６）の
グラフのように変化する。例えば、前・左に配置された
スピーカ（２１０１）のためのボリュームＭＩＤＩ値の
時間変化を示したグラフ（２１１３）では、スピーカが
配置された空間よりも外側であったt=t0では、内側に入
るt=t1よりもボリュームＭＩＤＩ値は小さくなる。これ
は、式５の FTL （２次元化のため、Top=1と考える）お
よび式１３のFTL' により、方向値に距離値が掛け合わ
されるためである。このとき、前・右のスピーカ（２１
０２）および後・右のスピーカ（２１０４）では、Righ
tの値が０となるためボリュームＭＩＤＩ値は０である
（２１１４）（２１１６）。

【００５９】以上のように、一つの物体について、音響
の発生、周波数変移、周波数特性変更、遅延、残響、音
量をＭＩＤＩでコントロールする、三次元音像定位およ
び三次元音響提示システムが構成できる。複数の物体に
ついては、上記の三次元音像定位処理を各物体について
適応することで実現できる。

【００６０】以上のように、本発明を用いることで、計
算機内で三次元空間上に定義された物体から発生する音
響の位置を視聴者に認識させる場合の、画像と音響の相
乗効果を期待した簡単な近似による、市販のＭＩＤＩ機
器を用いた安価な三次元音響を提示する方法とそのため
のシステムが構築できる。これによって、仮想三次元空
間に存在する世界を画像および音響により、高い臨場感
をもたせて観察者に知覚させることが可能になる。

【００６１】

【発明の効果】三次元音響を、市販のＭＩＤＩ機器を用
いて安価に実現する方法とそのためのシステムを提供す
る。生成した三次元音響音響をコンピュータグラフィク
ス等で生成された画像と同期させて提示することで、音
像の三次元定位位置の認識が飛躍的に向上する。

【図面の簡単な説明】

【図１】本発明のシステム構成。

【図２】スピーカの配置。

【図３】処理のフローチャート。

【図４】初期設定処理のフローチャート。

【図５】三次元音像定位処理のフローチャート。

【図６】音発生処理のフローチャート。

【図７】ピッチシフト処理のフローチャート。

【図８】イコライズ処理のフローチャート。

【図９】ディレイ処理のフローチャート。

【図１０】リバーブ処理のフローチャート。

【図１１】ボリューム処理のフローチャート。

【図１２】方向成分分解図。

【図１３】各エフェクタの設定表。

【図１４】音種類マップ。

【図１５】ピッチシフトマップ。

【図１６】イコライザマップ。

【図１７】ディレイマップ。

【図１８】リバーブマップ。

【図１９】ボリュームマップ１（方向値）。

【図２０】ボリュームマップ２（距離値）。

【図２１】物体が移動した場合の各スピーカに与えるボ
リュームＭＩＤＩ値の変化の説明図である。

フロントページの続き (51)Int.Cl.⁶ 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｇ１０Ｋ 15/00 Ｈ０４Ｓ 5/02 Ｆ Ｈ０４Ｓ 1/00 7/00 Ｆ 5/02 Ｇ０６Ｆ 3/14 ３４０Ａ 7/00 Ｇ１０Ｋ 15/00 Ｂ // Ｇ０６Ｆ 3/14 ３４０ Ｍ

Claims (11)

【特許請求の範囲】
1. 【請求項１】仮想三次元空間内に存在する仮想物体を映
   像として表示し、かつ、該仮想物体位置に対応した音響
   信号を出力する三次元音響提示方法において、 該仮想三次元空間における観察者の位置に対する該物体
   の相対位置および距離あるいは相対速度に対応したＭＩ
   ＤＩ信号を生成し、 該ＭＩＤＩ信号に基づいて予め備えられた音響信号デー
   タを加工し、 該物体が発生する音響信号として出力することを特徴と
   する三次元音響提示方法。
2. 【請求項２】請求項１において、該相対速度に対するピ
   ッチ変化を行うためのＭＩＤＩ信号は、 前記仮想三次元空間における前記観察者の位置に対する
   前記物体の相対速度に対応した音響信号のピッチ変化量
   を決定するＭＩＤＩ信号のマップをあらかじめ定義し、 該マップを参照して生成されることを特徴とする三次元
   音響提示方法。
3. 【請求項３】請求項１において、該距離に対する残響音
   を前記音響信号に付加させるためのＭＩＤＩ信号は、 前記観察者の前記仮想三次元空間における位置に対する
   前記物体までの距離に対応した前記音響信号に付加する
   残響音の量を決定するＭＩＤＩ信号のマップをあらかじ
   め定義し、 該マップを参照して生成されることを特徴とする三次元
   音響提示方法。
4. 【請求項４】請求項１において、該距離に対する前記音
   響信号の提示までの時間遅れを与えるＭＩＤＩ信号は、 前記仮想三次元空間における前記観察者の位置に対する
   前記物体までの距離に対応した前記音響信号の提示まで
   の時間遅れを決定するＭＩＤＩ信号のマップをあらかじ
   め定義し、 該マップを参照して生成されることを特徴とする三次元
   音響提示方法。
5. 【請求項５】請求項１において、該距離に対する音響信
   号を減衰させるためのＭＩＤＩ信号は、 前記観察者の前記仮想三次元空間における位置に対する
   前記物体までの距離に対応した音響信号の減衰量を決定
   するＭＩＤＩ信号のマップをあらかじめ定義し、 該マップを参照して生成されることを特徴とする三次元
   音響提示方法。
6. 【請求項６】請求項５において、上記ＭＩＤＩ信号のマ
   ップを、１つあるいは複数の周波数帯域毎に定義するこ
   とを特徴とする三次元音響提示方法。
7. 【請求項７】請求項１において、該方向に対する該複数
   のスピーカへ与える前記音響信号を各々減衰させるＭＩ
   ＤＩ信号は、 前記観察者の前記仮想三次元空間における位置に対する
   前記物体までの方向に対する複数のスピーカへ与える各
   々の音響信号の減衰量を決定するＭＩＤＩ信号のマップ
   をあらかじめ定義し、 該マップを参照して生成されることを特徴とする三次元
   音響提示方法。
8. 【請求項８】仮想三次元空間内に存在する物体の形状お
   よび位置を保持する記憶装置と、 該物体の該形状および該位置をあらかじめ指定した方法
   によって逐次変更を行うシミュレータ部と、 該シミュレータ部で変更された該物体の該形状および該
   位置から画像を逐次生成する画像生成部と、 該画像を観察者に提示するディスプレイと、 該物体の該位置とＭＩＤＩ信号とを対応させるマップ
   と、 該シミュレータ部で変更された該物体の該位置から得ら
   れた該観察者の該仮想三次元空間における位置に対する
   該物体の相対位置および相対速度を用いて該マップに対
   応したＭＩＤＩ信号を生成するＭＩＤＩ生成部と、 音響信号を生成する音源装置と、 該ＭＩＤＩ信号によって該音響信号のピッチを変化させ
   るピッチシフト装置、および該ＭＩＤＩ信号によって該
   音響信号の周波数毎の減衰量を変化させるイコライズ装
   置、 および該ＭＩＤＩ信号によって該音響信号に残響音を付
   加するリバーブ装置、および該ＭＩＤＩ信号によって該
   音響信号の提示までの時間遅れを付加するディレイ装置
   のうち少なくとも一つの装置と、 該観察者の周囲に配置された複数のスピーカと、 該スピーカの各々を駆動するアンプと、 該ＭＩＤＩ信号によって該アンプへ与える該音響信号の
   減衰量を変化させるボリューム装置とから構成されるこ
   とを特徴とする三次元音響提示装置。
9. 【請求項９】請求項８に記載の複数のスピーカは、 前記観察者を中心とする直方体空間の８つの各頂点に配
   置することを特徴とする三次元音響提示装置。
10. 【請求項１０】請求項１において、前記観察者を中心と
    する直方体空間の８つの各頂点にスピーカが配置された
    場合には、該各スピーカへ与える前記音響信号を減衰さ
    せるためのＭＩＤＩ信号は、前記観察者の前記仮想三次
    元空間における位置からみた前記物体までの相対位置P=
    (x,y,z)に対して前方向値Front(z)および後方向値Rear
    (z)および上方向値Top(y)および下方向値Bottom(y)およ
    び右方向値Right(x)および左方向値Left(x)へのマップ
    と、 前記観察者の前記仮想三次元空間における位置からみた
    前記物体までの距離r(P)に対する減衰を表わす距離値s
    (r)へのマップとをあらかじめ定義し、 該位置に対する該スピーカへ与える音響信号の割合は、 該距離値sおよび対応するそれぞれ３つの該方向値、す
    なわち前・上・右の該スピーカに関してはFrontおよびT
    opおよびRight 、前・上・左の該スピーカに関してはFr
    ontおよびTopおよびLeft 、前・下・右の該スピーカに
    関してはFrontおよびBottomおよびRight 、前・下・左
    の該スピーカに関してはFrontおよびBottomおよびLeft
    、後・上・右の該スピーカに関してはRearおよびTopお
    よびRightおよびs、後・上・左の該スピーカに関しては
    RearおよびTopおよびLeft 、後・下・右の該スピーカに
    関してはRearおよびBottomおよびRight 、後・下・左の
    該スピーカに関してはRearおよびBottomおよびLeftとか
    らそれぞれ求められる、ことを特徴とする三次元音響提
    示方法。
11. 【請求項１１】請求項８において、実三次元空間内に存
    在する物体を映像として取得する手段と、該物体の位置
    を検出する手段と、該物体の生成する音響信号を該物体
    の位置において取得する手段あるいは該物体が生成する
    音響として音響信号を合成する手段による音源とを加
    え、該映像と該位置とを用いて新たに生成した映像を前
    記観察者に提示すると同時に、該位置および該音源とを
    用いることを特徴とする三次元音響提示装置。