JPH10508169A - 高品質3次元音声の効率的再生方法及び装置 - Google Patents

高品質3次元音声の効率的再生方法及び装置

Info

Publication number
JPH10508169A
JPH10508169A JP8514739A JP51473995A JPH10508169A JP H10508169 A JPH10508169 A JP H10508169A JP 8514739 A JP8514739 A JP 8514739A JP 51473995 A JP51473995 A JP 51473995A JP H10508169 A JPH10508169 A JP H10508169A
Authority
JP
Japan
Prior art keywords
signal
signals
response
location
modified
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP8514739A
Other languages
English (en)
Inventor
エイベル、ジョナサン・エス
フォスター、スコット・エイチ
Original Assignee
オーリアル・セミコンダクター・インク
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オーリアル・セミコンダクター・インク filed Critical オーリアル・セミコンダクター・インク
Publication of JPH10508169A publication Critical patent/JPH10508169A/ja
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S5/00Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S3/00Systems employing more than two channels, e.g. quadraphonic
    • H04S3/002Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2420/00Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/302Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303Tracking of listener position or orientation

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Stereophonic System (AREA)

Abstract

(57)【要約】 本発明によると、非可変周波数応答特性を有するフィルタを用いて音声信号を濾波し、音源場所、聴取者位置を表す信号に応答して改変されるアンプ利得を用いて信号を増幅することによって音場の位置づけが達成される。フィルタは、単一値分解プロセスを用いて得られる。同プロセスは、HRTF(頭関連変換関数)の処与の組を近似するために共通インパルス応答を見出だす。反響効果を与えると共に多重音源を位置付け、多重出力信号を発生させる効率的な実行手段が開示される。

Description

【発明の詳細な説明】 高品質3次元音声の効率的再生方法及び装置 技術分野 本発明は概して3次元音場の印象を伝える音声信号の表現に関し、特に高品質 表現の効率的方法及び装置に関する。 背景 3次元音場の正確な印象を伝える音声信号を表現できる、音声表示方法及び装 置の改良に対する関心は増大しつつある。この様な音声表示は、音場内の聴覚エ ネルギを一点から他点へ伝達するモデルを作る技術を用いる。この様なモデルの 周波数領域形式は、聴覚伝達関数(ATF)と呼ばれ、周波数ω及び2点間の相 対位置(d,θ,φ)の関数H(d,θ,φ,ω)である。ここで、(d,θ, φ)は、2点の相対位置を極座標で表す。他の座標系を用いてもよい。 以下の論議を通して各種の周波数領域伝達関数はさらに詳しく言及される。し かし、時間t及び2点間の相対位置の関数、すなわち、h(d,θ,φ,t)で 表し得る、関連する時間領域インパルス応答表示が存在するることを理解すべき である。ここで論議される原理及び概念は、いずれかの領域に適用できる。 ATFは、試験対象の聴覚特性モデルを作ることができる。特に、人のトルソ 、すなわち、胴、頭、耳介及び耳管の聴覚特性モデルを作るATFは、頭関連伝 達関数(HRTF)と呼ばれる。HRTFは、特定の個人に関して、処与の音場 に応答して鼓膜付近で起こる聴覚レベル及び位相を特定する。HRTFは、概し て周波数と、頭及び音場源間の相対方位との双方の関数である。自由場伝達関数 (FFTF)形式のHRTFは、試験対象が音場になかった場合に存在するかも しれない、レベル及び位相に関するレベル及び位相の変化を表す。従って、FF TF形式のHRTFは、H(θ,φ,ω)形式の関数として一般化し得る。距離 の効果は、通常距離と比例する振幅減衰によってシミュレートし得る。さらに、 高周波損失は、各種の距離の関数によって合成し得る。本論議を通して、HRT F及び類似の用語は、説明又は前後関係によってこれに反する意味が明確にされ ない限り、FFTF形式を指すものと理解すべきである。 実際的な3次元聴覚印象を「位置づける」、すなわち、与えようとする1以上 のHRTFを用いて聴覚表示が適用されることが多い。聴覚表示は、周波数ω及 び頭方向(θ,φ)に関する見掛けの方向の関数として各耳で受け取る聴覚信号 の減衰及び遅延のモデルを作ることによって音声を位置付けることができる。あ る聴覚信号が特定な相対方向(θ,φ)から生じるとの印象は、バイノーラル( 双聴覚)表示で与えることができる。すなわち、聴覚信号に適切なHRTFを適 用して、左耳への表示のための第1信号及び右耳への表示のための第2信号を発 生させ、所望の相対方向から実際に生じる信号を有する各耳で受け取られたかも 知れないそれぞれの信号に帰着するような方法で、各信号を変えるようにするこ とによって与えることができる。 実験的には、音源の相対位置を識別、すなわち、突き止めるために、人の聴覚 系が各種のキュー(手掛り)を用いていることが立証されている。これらの手掛 り及び相対位置間の関係は、ここでは聴取者「位置づけ特性(局所化特性)」呼 ばれ、HRTFを定めるために用いることができる。左及び右耳における音波の 振幅及び到着時間の差は、それぞれ内部強度差(IID)及び内部時間差(IT D)と呼ばれ、音源のアジマス、すなわち、水平方位を位置づけるための重要な キューを与える。音波のスペクトル整形及び減衰は、音源の高度、すなわち、垂 直方向を局所化しかつ音源が聴取者の前方又は後方のいずれにあるかを識別する ために用いられる重要なキューを与える。 殆どすべての聴取者によって用いられるキューの種類は類似しているが、局所 化特性は異なる。音波が変えられる正確な方法は、個人毎にかなり異なる。その 理由は、人のトルソ(胴)、頭及び耳介のサイズ及び形状がかなり異なるためで ある。理想的状況下において聴覚表示内に組込まれるHRTFは、実際の聴取者 の個人的HRTFである。すべての個人に共通なHRTFは存在しないからであ る。共有されるHRTFの適合性に関する追加の情報は、Wightman他の「頭関連 伝達関数の多次元尺度化分析」(IEEE Workshop on Application of Sig.Proc. to Audio and Acoust.,10月1993)から得られる。 しかし、多くの実際的システムにおいて、さまざまな個人につきうまく作用す る幾つかのHRTFが、ある程度の共有性を与えるためにライブラリにコンパイ ルされている。最も適切なHRTFは、各聴取者に対して選択される。追加の情 報は、Wenzel他の「非個人頭関連伝達関数を用いる局所化」(J.Acoust.Soc.A m.,vol.94,6月1993,pp.111-123)から得られる。 聴覚表示の現実性は、環境効果を含めることによって向上させ得る。重要な一 環境効果は反響音により生じる。多くの環境において音場は、音源からの直接路 及び壁、床、天井その他の一以上の面からの反響路に沿って特定の点、すなわち 、耳に達する音波から成る。一表面からの反響後に到達する音波は、第1次反響 音と呼ばれる。反響の次元は、路に沿った各付加的反響面につき1だけ増加する 。反響音の到達方向は、概して直接路音波のそれとは異なりかつ反響音波の伝播 路は直接路音波より長いので、反響音は遅れて到達する。さらに、反響音の振幅 及びスペクトル内容は、反響面のエネルギ吸収特性のために概して異なる。高次 反響音の組合せは反響効果と関連した拡散音場を生成する。 HRTFは、環境効果モデルを作るように構成できる。しかし、より柔軟性の ある表示は、直接路応答のみのモデルを作りかつ合成的に環境効果を含むHRT Fを用いる。例えば、反響音の効果は、適切な方向の直接路HRTFを遅延され かつ濾波された直接路信号に適用することによって合成できる。耳に到達する方 向である当該適切な方向は、反響された音波の伝播路を辿ることによって設定で きる。遅延は、直接路より長い反響路を与える。濾波は、反響面、空気吸収(減 衰)、不均一音源放射パターン及び他の伝播効果の聴覚特性を与えるために、遅 延された音波の振幅及びスペクトルを変化させる。従って、HRTFは、聴覚表 示に含まれる各反響音を合成するのに適用される。 多くの聴覚表示においてHRTFはデジタルフィルタとして実施される。正確 なHRTFを実施するためには、それらが非常に複雑な方向及び周波数の関数な ので、かなりの電算的資源を要する。正確なHRTFを有する高品質表示の実施 コストは、用いられるフィルタの複雑さ及び数とほぼ比例する。これはフィルタ を与えるのに要する計算量が、他のすべての機能を行うのに要する計算量と比べ て重大だからである。HRTFフィルタの効率的実施が、高品質聴覚表示の実施 コストを下げるために必要である。多くの反響音を含む複雑な音場の実際的表示 にとって、効率は非常に重要である。バイノーラル表示では複雑さがほぼ倍増さ れかつ多重音源、多数聴取者に対してさらに増大する。 ここで用いる「フィルタ」その他の用語は、時間領域信号をインパルス応答に 巻き込むのと同等の作用を行う装置を指す。同様に、ここで用いる「濾波」その 他の用語は、その様なフィルタを時間領域信号に適用する操作を指す。 遅延・到達反響音の位置付け効果を高めるために用いられる一技術は、米国特 許4,731,848に開示されている。この技術によると、直接路音波及び第1 次反響音は、上記と類似の方法で処理される。高次反響音によって生成される拡 散音波は、スペクトル整形に先立つ反響効果回路網と「方向づけ器」により与え られる遅延とによって合成される。 初期反響音の位置付け効率を増大させるのに用いられる他の技術は、米国特許 第4,817,149に開示されている。この技術によると、直接路音波、初期反 響音及び後期反響音を位置付けるために3つの別個のプロセスが用いられる。直 接路音波は、スペクトル整形を通して前・後及び高度キューを与えることにより 位置付けされかつITD又はIIDのいずれかを含めることによってアジマス位 置付けがなされる。初期反響音は、伝播遅延及びITD又はIIDのアジマスキ ューにより位置付けされかつ「焦点」、すなわち、広さの感覚を与えるためにグ ループとしてスペクトル整形される。後期反響音は、初期反響音に対して行われ たものと同様に位置付けされるが、より一層の拡散音場を合成するために反響効 果及び無作為化アジマスキューが用いられる点で異なる。 これらの技術では、反響音を位置付けする効果は改良されるが、直接路音波の 位置付け効果は改良されずかつ多重音源を位置付けするか若しくは多数聴取者に 対して位置付けされた表示を与えるために、バイノーラル表示をより効果的に位 置付けする方法は与えられない。 音声信号をさらに効率的に位置付けするのに用いられる技術は、Advanced Gra vis Computer Technology Ltd.,(Buraby,British Columbia,Canada)によるU ltraSound(商標)マルチメディアサウンドカードで実施される。この 技術によると、初期プロセスで、幾つかの予め濾波された音声信号が記録される 。予め濾波された信号は、幾つかの位置(ポジション)、例えば、90度離れた 4つの水平位置及び特定の高度を有する1つ又は2つの位置を表すHRTF を適用することにより得られる。位置付けは、予め濾波された信号を混合するこ とにより達成される。実際上位置付けは、固定された音源間のパン操作により達 成される。位置付けプロセスは、極めて効率的でかつ直覚的魅力を有する。しか し、膨大な数の予め濾波された信号を用いない限り非常に優れた位置付け与える ことはない。これは、予め濾波された信号の各々がITDを含みかつ中間点から 発生するように見える音波は、信号が互いにかなり密接した方向を表さない限り 、予め濾波された信号の混合によって適切に近似することができないからである 。限られた記憶容量は、記憶可能な予め濾波される信号数を通常制限する。さら に、予め濾波された信号を再記録することなくHRTF及び音源のいずれも変え ることができないので、当該技術はむしろ重大な不利を強いる。この技術は、Be gault の「実際上の迫真性及びマルチメディアのための3D音声」(Academic Pr ess,inc.,1994,p.210)に記載されている。 既に説明した通り、方向及び周波数の複雑な関数なので、正確なHRTFは実 施上高価である。Martens の「知覚方向に対するスペクトルキューの主成分分析 及び再合成」(ICMC Proceedinggs,1987,pp.274-281)及びKistler 他の「主成 分分析及び最小位相再構成に基づくHRTFモデル」(J.Acoust.Soc.Am.,19 92 3月,pp.1637-1674)で論議されている研究では、少数の固定周波数応答規 準関数によってHRTFがかなりよく近似され得るとの概念を開発するために主 成分分析を用いている。特にKistler 他は、異なった10の試験対象の各耳につ き、高々5つの対数量規準関数で、方向伝達関数(DTF)と呼ばれるHRTF 応答の方向・依存部分を適切に表すことができることを明示している。耳管共鳴 のような方向に依存しない面は、主成分分析から除外された。HRTFの位相応 答は、周波数に依存しないと想定されるITDによって近似された。 Kistler 他は、特殊な個人及び特定方向に対するバイノーラルHRTFが、一 組の重みで対数量規準関数を尺度化し、各耳に対するDTFを表す合成対数量応 答関数を得るために尺度化された関数を組合わせ、対数量応答関数から2つの最 低位相フィルタを引出し、DTF表示からHRTF表示を得るために耳管共鳴の ような除外された方向に依存しない特性を加え、位相応答をシミュレートするた めにITDに対する遅延を計算することによって近似できることを明示した。不 幸にしてこれらの規準関数は、HRTFの実施効率に対しては何等の改良も考慮 されていない。さらにKistler 他は、5つの規準関数に対する主成分重みが、方 向の非常に複雑な関数であって容易にモデルを作ることができないと結論付けて いる。 正確なHRTFを効率的に実施する方法、特に多重音源の位置付けを行い、多 数聴取者に対する独特な表示を発生させる聴覚表示に対する必要性が依然として 存在する。 発明の開示 本発明の目的は、高品質聴覚表示のための正確なHRTFを効率的に実施する 方法及び装置を提供することである。 本発明の他の目的は、多重音源の位置づけを行う効率的方法及び装置を提供す ることである。 本発明の別の目的は、1以上の聴取者に対するバイノーラル表示、2以上の聴 取者に対するモノラル表示又はバイノーラル及びモノラル表示を組合わせるのた めに音源を位置付けする効率的方法及び装置を提供することである。 本発明のさらなる目的は、位置付けの正確さと音源又は聴取者の数との兼ね合 いを考慮して、多数聴取者に対して多重音源を位置付ける効率的方法及び装置を 提供することである。本発明の他の目的及び利点は、以下の論議及び添付図を参 照することにより理解されるであろう。 本発明の教示によると、聴覚表示を与える方法又は装置は、それぞれ音源を表 す音声信号を受取るために、音源の見掛けの場所(ロケーション)を表す場所信 号を受取り、音声信号に2以上のフィルタを適用し、場所信号に応じて適合する ようにされたアンプ、すなわち、増幅器利得を用いて各フィルタの出力を増幅し かつ増幅された信号を組合わせることによって、複数の出力信号を発生させる段 階又は装置とから成る。出力信号は、1以上の聴取者に対してバイノーラル表現 を、2以上の聴取者に対してモノラル表現若しくはバイノーラルとモノラル表現 との組合わせを与えることができる。 本発明の教示によると、聴覚表示を与える方法又は装置は、それぞれ音源を表 す音声信号を受取るために、音源の見掛けの場所を表す場所信号を受取り、場所 信号に応じて適合するようにされた増幅器利得を用いて各音声信号を増幅し、増 幅された信号を組合わせることによって2以上の中間信号を発生させ、2以上の 中間信号に2以上のフィルタを適用し、各フィルタの出力を組合わせることによ って出力信号を発生させる段階又は装置とから成る。 本発明の教示によると、上記方法又は装置は、聴取者位置、方向に応じて適合 するようにされた増幅器利得を用いて各フィルタの出力を増幅しかつ増幅された 信号を組合わせることによって、1以上の聴取者に対するバイノーラル表現、2 以上の聴取者に対するモノラル表現若しくはバイノーラルとモノラルとの組合わ せ表現のために2以上の出力信号を発生させることができる。 本発明の教示によると、聴覚表示を与える方法又は装置は、それぞれ音源を表 す音声信号を受取るために、音源の見掛けの場所を表す場所信号を受取り、場所 信号に応じて適合するようにされた周波数応答を有する第1フィルタを適用する ことによって直接路応答を与え、音声信号に不変周波数応答を有する1以上の第 2フィルタを適用しかつ場所信号に応じて適合するようにされた増幅器利得を用 いて各第2フィルタの出力を増幅することによって、反響音を位置付けし、第1 及び第2フィルタを通過した信号を組合わせることによって出力信号を発生させ る段階又は装置とから成る。その代わりに、第2フィルタを適用する段階と適合 利得で増幅する段階とを交換してもよい。 本発明による方法及び装置の各々は、聴取者位置又は個人の位置付け特性に応 じて増幅器利得を適合させるように改変できる。好ましい実施形態において1以 上の出力信号は、聴取者位置、方位、位置付け特性に応答して遅延される。同装 置及び方法は、環境特性を表す信号に応答して増幅器利得を適合、すなわち、改 変させ、遅延を導入してもよい。高品質表示では、不均一な音源放射パターンを 説明するために音源の様相により、伝達損失を説明するために大気及び反響面特 性により、信号を濾波しかつ尺度化してもよい。さらに、ある実施形態では、増 幅器利得は、音声信号、出力信号の数を変えることを考慮するように適合させて もよい。 本論議を通して、バイノーラル表現との言及は、論議の関係で2チャンネル表 現のみを意図することが明らかでない限り、3以上の出力信号を用いる表現をも 指すことを理解すべきである。 本発明は、多くの異なった実施形態で実施可能でありかつ広範な装置に組み込 むことができる。本発明は、ソフトウエア、いわゆるファームウエアで実施され るデジタル信号処理技術を用いて最も頻繁に実施される。しかし、原理及び教示 は、他の技術及び実施形態を用いて適用できる。本発明の各種の特徴及びその望 ましい実施形態は、以下の論議及び同一特性には同一参照番号を付した図面を参 照することによってより良く理解されるであろう。論議及び図面の内容は、例と してのみ与えられたもので本発明の範囲を表すものと理解すべきではない。 図面の簡単な説明 図1は、一出力信号における多重音源を表す聴覚表示で用いられる、本発明に よるHRTFの一実施例を示す機能構成図である。 図2は、多重出力信号における単一音源を表す聴覚表示で用いられる、本発明 によるHRTFの一実施例を示す機能構成図である。 図3は、多重出力信号における多重音源を表す聴覚表示で用いられる、本発明 によるHRTFの一実施例を示す機能構成図である。 図4は、可変及び非可変周波数応答特性を有するフィルタのハイブリッド(混 成形)構成を含む、本発明によるHRTFの一実施例を示す機能構成図である。 図5a−5bは、フィルタ・アンプ回路網の機能構成図である。 図6は、非可変周波数特性を有するフィルタの単一組で、単一音源及び多重出 力信号に対する反響効果が空間化される、フィルタ及びアンプ回路網のハイブリ ッド構成を含む、本発明によるHRTFの一実施例を示す機能構成図である。 図7a−7bは、非可変周波数特性を有するフィルタが方向変換関数のような ATFを表すインパルス応答から得られた、本発明によるHRTFの一実施例を 示す機能構成図である。 発明の実施形態 多重音源信号 図1の機能構成図は、多重音源に対してHRTFを実施する本発明の教示によ る装置の一構成を例示する。第1音源を表す音声信号が、路101から受取られ 、第1グループのアンプ111−114により増幅され、結合器121−124 に 通される。第2音源を表す他の音声信号が路103から受取られ、第2グループ のアンプ115−118により増幅され、結合器121−124に通される。結 合器121は、アンプ111及び115から受取った増幅された信号を結合し、 結果的に生じる中間信号をフィルタ131へ通す。結合器122−124は、図 示の他のアンプから受取る増幅された信号を結合し、結果的に生じる中間信号を それぞれのフィルタ131−134へ通す。各フィルタ131−134は、それ ぞれの中間信号にフィルタを作動させ、結果的に生じる濾波された信号を結合器 151へ通す。結合器151は、濾波された信号を結合し、結果的に生じる出力 信号を路161に沿って通す。 路102及び104から受取る場所(ロケーション)信号は、それぞれ路10 1及び103から受取る音声信号音源の所望の見掛けの場所を表す。第1グルー プのアンプ111−114のそれぞれの利得は、路102から受取る場所信号に 応答して改変され、第2グループのアンプ115−118のそれぞれの利得は、 路104から受取る場所信号に応答して改変される。 図1に示す構成は、2音源に対してHRTFを実施するが、各追加の音源に対 してアンプグループを追加し、グループ内の各アンプの出力を、各フィルタの入 力に結合されるそれぞれの結合器に結合することによって、追加の音源に対して HRTFを実施するように拡張できる。図示の構成では、4つのフィルタを含む が、高々2つまでのフィルタを用いてもよい。概して非常に正確なHRTFは、 多くても12乃至16程度のフィルタを用いて実施できる。 多重出力信号 図2の機能構成図は、多重出力信号に対してHRTFを実施する本発明の教示 による装置の一構成を例示する。フィルタ131−134の各々は、音源を表す 路101から受取る音声信号にフィルタを作動させる。フィルタ131は、濾波 された信号を増幅するアンプ141及び145に濾波された信号を通す。フィル タ132−134は、図示の通り濾波された信号を他のアンプに通し、各アンプ がそれぞの濾波された信号を増幅する。結合器151は、アンプ141−144 から受取る増幅された信号を結合し、結果的に生じる第1出力信号を路161に 沿って通す。結合器151は、アンプ145−148から受取る増幅された信号 を結合し、結果的に生じる第2出力信号を路163に沿って通す。 路102から受取る場所信号は、路101から受取る音声信号音源の所望の見 掛けの場所を表す。路162及び164から受取る位置(ポジション)信号は、 1以上の聴取者の位置、方向を表す。例えば、2つの位置信号は、一人の聴取者 の各耳に対する位置情報若しくは二人の聴取者に対する位置情報を表してもよい 。例示の実施形態では、第1アンプグループのアンプ141−144の各利得は 、路102から受取る場所信号及び路162から受取る位置信号に応答して改変 され、第2アンプグループのアンプ145−148の各利得は、路102から受 取る場所信号及び路164から受取る位置信号に応答して改変される。代わりの 実施形態では、アンプグループの各利得は、路102から受取る場所信号のみ又 はそれぞれの位置信号のみに応答して改変してもよい。 多重出力信号は、1以上の聴取者に対するバイノーラル表現、2以上の聴取者 に対するモノラル表現又はバイノーラル及びモノラル表現の組合わせを与えるの に用いてもよい。既に述べた通り、『バイノーラル』の用語は2以上の出力信号 を含む表現を指す。 図2に示す構成は、2出力信号に対してHRTFを実施するが、各追加の出力 に対してアンプグループを追加し、グループ内の各アンプの入力を、各フィルタ に結合することによって、追加の出力に対してHRTFを実施するように拡張で きる。例示の構成は、4つのフィルタを含むが、所望により2つ以上のフィルタ を用いてもよい。 多重音源及び出力信号 図3の機能構成図は、多重音源及び多重出力信号に対してHRTFを実施する 、本発明の教示による装置の一構成を例示する。構成及び作動は、ほぼ既にのべ た図1及び2の構成及び作動の組合わせであるが、路102及び104から受取 る場所信号に応答してアンプ141−148の利得が改変されないのが望ましい 。 以下に述べる代わりの実施形態では、アンプ111−118、141−148 の各利得は、音源、聴取者の数に対する位置付け精度の釣合をとるように、一定 のフィルタがもっぱら特定の音源、出力信号に効果的に用いられるように適応さ せてもよい。 ハイブリッド構成 図4の機能構成図は、一音源及び一出力信号に対してHRTFを実施する、本 発明の教示による装置に組入れられるハイブリッド濾波構成を例示する。フィル タ3及びフィルタ回路網21及び22は、路101から受取る、音源を表す音声 信号にそれぞれフィルタを作動させる。フィルタ3は、路102から受取る場所 信号に応答して、応答制御器10により改変された周波数応答特性を有するフィ ルタを作動させる。フィルタ回路網21は、路102から受取る場所信号に応答 して、非可変周波数応答を有するフィルタを作動させると共に利得制御器11に より改変された利得を持つアンプを用いる。フィルタ回路網22は、路102か ら受取る場所信号に応答して、非可変周波数応答を有するフィルタを作動させる と共に利得制御器12により改変された利得を持つアンプを用いる。フィルタ3 及びフィルタ回路網21及び22から生じる信号は、結合器151により結合さ れ、その結果生じる出力信号は路161に沿って通される。 路102から受取る場所信号は、路101から受取る音声信号音源の所望の見 掛け場所を表す。代わりの実施形態においては、応答制御器10及び利得制御器 11、12は、聴取者の位置、方向を表す位置信号、反響効果を表す信号のよう な他の信号に応答してもよい。 図5a及び5bに示す通り、フィルタ回路網は、利得制御器11及びフィルタ 131に応答して改変された利得を有するアンプ111により実施してもよい。 一実施形態においてフィルタの入力は、アンプの出力と結合される。他の実施形 態においてアンプの入力は、フィルタの出力と結合される。 一用途においては、フィルタ3が、一音源につき一聴取者の一方の耳に対する 直接路応答機能を実施し、1以上のフィルタ回路網が、一音源につきすべての聴 取者の両耳に対する反響の効果を合成する。遅延、反響材及び伝導材濾波、空気 吸収、音場拡大損失及び音源側濾波を含む、反響された音波への伝播効果は、構 成体の各種の位置において信号を遅延及び濾波することによって合成し得るが、 フィルタ回路網の入力又は出力で行うのが望ましい。多くの用途において、反響 音は、2つ又は3つだけのフィルタ回路網を用いて十分な精度で表し得る。 他の用途において、一音声信号の反響音は、非可変周波数応答特性を有する一 組だけのフィルタを用いて、多重出力信号に対して方向付けられる。図6は、2 つの出力信号の各々に対して2つの反響された音波を合成するハイブリッド構成 を示す。2つの出力信号は、一聴取者に対するバイノーラル表現を意図するか若 しくは二聴取者に対するモノラル表現を意図してもよい。 図6を参照すると、フィルタ3は、路101から受取る音声信号に対しフィル タを作動させることによって路160に沿って直接路応答を発生させる。フィル タ131は、同音声信号にフィルタを作動させ、濾波された信号をアンプ141 、143、145及び147へ通す。フィルタ132は、同音声信号にフィルタ を作動させ、濾波された信号をアンプ142、144、146及び148へ通す 。結合器151は、アンプ141及び142から受取る信号を結合し、結合され た信号を遅延要素171へ通す。結合器152−154は、残余のアンプから受 取る信号を結合し、結合された信号をそれぞれの遅延要素172−174へ通す 。結合器155は、遅延要素171及び172から受領する遅延された信号を結 合し、その結果生じる信号を路161に沿って通す。結合器156は、遅延要素 173及び174から受領する遅延された信号を結合し、その結果生じる信号を 路163に沿って通す。もしバイノーラル表現が所望なら、路160及び161 に沿って通る信号が、一方の耳への表現のために結合され、第2フィルタ3から の出力が(図示なし)第2の耳への表現のために路163を通る信号と結合され る。 路102から受取る場所信号は、路101から受取る音声信号の音源の所望の 見掛けの位置を表す。さらに路102から受取る環境信号は、取巻き環境の反響 形状を表す。路162及び164から受取る位置信号は、一聴取者の各耳に対す る位置情報、方向情報又は二聴取者に対する位置情報を表す。例示した実施形態 においてフィルタ3は、場所信号及び、望ましくは、一聴取者に対する位置信号 に応答して周波数応答特性を改変する。アンプ141−144の各利得は、路1 102から受取る場所信号及び環境信号と、路162から受取る位置信号とに応 答して改変され、アンプ145−148の各利得は、路1102から受取る場所 信号及び環境信号と、路164から受取る位置信号とに応答して改変される。 これらのアンプの利得は、合成されるべき反響された音波に対する到着方向によ り改変される。 遅延要素171及び172は、路102から受取る場所信号及び環境信号と、 路162から受取る位置信号とに応答して改変される持続時間の信号遅延を課す 。遅延要素173及び174は、路102から受取る場所信号及び環境信号と、 路164から受取る位置信号とに応答して改変される持続時間の信号遅延を課す 。各遅延の持続時間は、それぞれの反響された音波の伝播路の長さにより改変さ れる。さらに、既に述べたような各種の伝播及び環境効果を合成するために濾波 、増幅に遅延を与えてもよい。 合成された反響音波、出力信号の数を増加させるために、例示した実施形態に は追加のアンプ、結合器及び遅延要素を組入れてもよい。これらの追加成分は、 HRTFの複雑さを著しく増大させることはない。それは反響音を合成するため に用いられるフィルタ数が変わらないからである。 フィルタの誘導 上記構成体の各々における実施効率は、非可変周波数応答特性、それと同等に 、非可変インパルス周波数応答特性、を有するNフィルタの適切な組を用いるこ とによって達成し得る。離散時間システムに対しては、これらのフィルタは最適 化プロセスから誘導し得る。同プロセスは、N単位エネルギフィルタの組内の各 フィルタにつきインパルス応答qj(tp)を誘導する。同フィルタは、加重され かつ合計される時、合成インパルス応答h(θ,φ,tp)を形成し、Mインパ ルス応答の組内の各インパルス応答h(θ,φ,tp)に対する最高の近似値を 与える。Mインパルス応答のH組が、意図する聴取者の母集団の大部分を表す位 置付け特性を有する、実数又は虚数の、個々の聴取者を表すのが望ましい。 Mインパルス応答のH組は以下のように表し得る。 H={h(θi,tp)} 0≦p<P (1) ここでθiは、特殊な相対方向(θ,φ)を示し、 tpは、離散時間を示し、 Pは、サンプルのインパルス応答長さである。 隣接方向間の角配置は、高々方位角で30−45度及び仰角で20−30度が望 ましい。加重されかつ合計されたNフィルタインパルス応答組の合成インパルス ここで、Wj(θi)は、方向θiにおけるフィルタj のインパルス応答に相当する 加重又は係数である。 誘導プロセスは、組H内のすべてのインパルス応答に亘って近似誤差の平方を 最小にすることによって最適近似値を求める。同プロセスは、0<N<Mに対し て以下のように表し得る。 ここでで、‖x‖Fは、xのForbeniousノルムを示し、 Hは、M合成インパルス応答h(θi,tp)の組である。 式2により組Hは、以下の通り表し得る。 ここでWは、係数Wj(θi)のN×Mマトリックスを示し、 Qは、Nインパルス応答qj(tp)を示す。 この分解は、式3の最適化を以下のように表し得る。 Forbeniousノルムは、正規直交変換下では不変量であることを認識することに より、Nインパルス応答Qの組は、HのN最大単一値と関連した左単一ベクトル でありかつ係数マトリックスは、対応する右単一ベクトルと単一値の対角行列と の積であることが分かるであろう。近似誤差のForbeniousノルムは、M−N最小 単一値の合計である。 上記の最適化プロセスは、『単一値分解』として知られ、直交するインパルス 応答qj(tp)の組を誘導する。単一値分解及びForbeniousノルムに関する追加 の情報は、Golub 他の『マトリックス計算』(Johns Hopkins University Press ,2nd ed.,1989,pp.55-60,70-78)から得ることができる。Golub 他により開 示されたような他の分解プロセス及びノルムは、W及びQマトリックスを誘導す るために用いることができる。 組H内のインパルス応答の選択は、結果として生じるフィルタQに影響を与え る。例えば、方位角位置付けのみを与える表示用のフィルタは、水平面内にのみ 位置する方向に対するインパルス応答の組から誘導可能である。同様に、方位角 位置付けが仰角位置付けより遥かに重要な表示のためのフィルタは、水平面の上 方又は下方の方向に対するよりも水平面における方向に対するインパルス応答を 多く含む組Hから誘導可能である。組Hは、一個人又はそれ以上の個人の単一又 は両耳に対するインパルス応答を含む可能性がある。しかし、処与のレベルの近 似誤差を達成するためには、組H内のインパルス応答数が増加するにつれて、組 Q内のインパルス応答数も同様に増加しなければならない。 他の例として、HRTFの量的応答のみを最適化するフィルタの組は、線形又 は最低位相インパルス応答又はある方法で時間調整されるインパルス応答を含む 組Hから誘導されてもよい。位相応答は、以下に述べるように、ITDにより別 個に合成してもよい。 上記最適化プロセスは、組H内のインパルス応答qj(tp)が、耳道共鳴のよ うな方向依存面及び方向非依存面の双方を含むHRTFに相当することを前提と している。同プロセスは、例えば、共通特性が除去されてしまったDTFのよう な、他のATFに相当するインパルス応答からフィルタを誘導することも可能で ある。誘導されるフィルタは、まとめて、AFTを近似すると共に、最適化から 除外される共通特性は、別個のフィルタで与えてもよい。これは、図7a−7b に示す。 図7aを参照すると、一組の中間信号を発生させるために、アンプ回路網20 は路101及び103から受取る音声信号を増幅しかつ結合する。中間信号は、 最適化プロセスにより得られるNフィルタ131−134組に通される。フィル タ131−134の各々は、それぞれの中間信号にフィルタを作動させ、結合器 151は、合成信号を発生させるために濾波された信号を結合し、フィルタ 130は、フィルタ131−134から除外される共通特性を有するフィルタを 合成信号に対して作動させることによって路161に沿って出力信号を発生させ る。この構成は、図1に示すものに相当し、音声信号数が出力信号数を越える用 途で用いるのが望ましい。 図7bを参照すると、フィルタ130は、フィルタ131−134から除外さ れる共通特性を有するフィルタを路101から受取る音声信号に対して作動させ ることによって中間信号を発生させ、最適化プロセスにより得られるNフィルタ 131−134の組は、それぞれフィルタ130から受取る中間信号を濾波し、 アンプ回路網40は、路161及び163に沿って出力信号を発生させるために 濾波された信号を増幅しかつ結合する。この構成は、図2に示すものに相当し、 出力信号数が音声信号数を越える用途で用いるのが望ましい。 もし最適化プロセスから除外される共通特性が、HRTFの方向非依存面に相 当するなら、最初に誘導されるインパルス応答h(θi,tp)が、ほぼデルタ関数 とひとしくなることに注目することは興味あることであろう。 上記の通り、処与の近似誤差を達成するのに要するフィルタ数は、組Hを構成 するインパルス応答に依存する。線形位相又は最小位相インパルス応答の組を用 いるのが望ましい。なぜならば近似誤差は、互いに時間上調整されていないIT Dを含むインパルス応答に対して生じるよりは、増大するNに対してより早く減 少すると期待されるからである。 上記プロセスにより得られる一組のフィルタ及び加重を組入れた聴覚表示は、 処与の方向に対して適切な一組の加重Wj(θk)を計算し、アンプ利得を設定す るために同加重を用いることによって、任意の処与の方向θkに対して音声信号 を位置づけることができる。処与の方向に対する加重は、処与の方向に最も近い 方向θiに相当する加重Wj(θi)間で線形内挿することにより計算できる。 概念上、各フィルタは、それぞれインパルス応答を有する時間領域信号を巻き 込む。濾波は、各種の方法で達成可能であり、反復又はいわゆる無限インパルス 応答(IIR)フィルタ、非反復又はいわゆる有限インパルス応答(FIR)フ ィルタ、ラチス(格子)フィルタ又はブロック変換体が含まれる。本発明の実施 上特殊な濾波技術は決定的ではない。しかし、式2により実施されるフィルタ で実際に達成される合成フィルタ応答は、最適化によって得られる所望の合成イ ンパルス応答に適合しない可能性がある。望ましい実施形態において、所望のイ ンパルス応答と実際のインパルス応答との間の差が小さいことを確保するように フィルタが検査される。この検査は、大きさと位相の双方を考慮しなければなら ない。従って、フィルタを実施するために用いられる技術は、位相を保持するか 、さもなければインパルス応答の加重和から正確な結果得られるように位相変化 に対処しなければならない。 動的再構成 図3に示す構成により行われる機能は代数的に以下のように表し得る。 P(tp)=Wout(θ)・Q・Win(θ)・S(tp) (6) ここで、P(tp)は、長さLoutの出力信号のカラムベクトルを示し、 S(tp)は、長さLinの入力信号のカラムベクトルを示し、 Win(θ)は、入力係数のM×Linマトリックスを示し、 Wout(θ)は、出力係数のLout×Mマトリックスを示し、 Qは、フィルタのM×M対角行列を示す。 この構成は、マトリックス積Wout(Q)・Q・Win(θ)が音源・聴取者HR TFマトリックスを近似することができるなら、各入力信号及び出力信号に対し てHRTFを実施することが可能である。この近似は、もしマトリックス積が最 大階数(フルランク)なら、この近似は可能である。 もし1つの入力のみが存在するなら、Linは1に等しく、マトリックスWinの 階数は1に等しく、マトリックス積は以下の式に書き替えてもよい。 Xout(θ)・Q (7a) ここで、Xout(θ)は、Lout×Mマトリックスを示す。この条件は、図2に示 す構成と等しい構成に帰着する。もし1つの出力信号のみが必要なら、Loutは 1に等しく、Woutの階数は1に等しく、マトリックス積は以下の式に書き替え てもよい。 Q・Xin(θ) (7b) ここで、Xin(θ)は、M×Linマトリックスを示す。この条件は、図1に示す 構成と等しい構成に帰着する。しかし、もしWin及びWoutの最小階数がKなら 、 式6のマトリックス積は、フィルタQのK組が得られるなら、式7a又は7bに 示す形に書き替えることができる。しかし、もしJ<K組のフィルタQのみが得 られるなら、階数Kシステムの階数J近似が用いられ得るが、位置付け性能は劣 化するであろう。 例えば、図3の構成を参照すると、フィルタは、4フィルタの1組、2フィル タの2組、1フィルタの4組若しくはそれぞれ1又は2フィルタの3組に構成し 得る。4フィルタの1組として構成される場合は、図2に示す通り、1音源信号 及び任意の数の出力信号に対してHRTFが実施可能であるか若しくは図1に示 す通り、任意の数の入力信号及び1出力信号に対してHRTFが実施可能である 。フィルタの2組として構成される場合は、2音源信号及び任意数の出力信号に 対してHRTFが実施可能であるか若しくは任意数の入力信号及び2出力信号に 対してHRTFが実施可能である。再構成は、各種のアンプ利得を零に設定し、 それによってフィルタを一定の入力信号又は一定出力信号から分離することによ って達成可能である。 動的再構成は、広範に変わる音源及び聴取者数を支持しなければならない用途 において有用である。なぜならば、処与の複雑さの装置では、より少ない入力信 号及び出力信号数に対して位置付け精度のかねあいを容易に取り得るからである 。聴取者の位置付け能力が劣化する場合は、時には顕著な影響を与えることなく 位置づけ精度を犠牲にすることができる。この様な劣化は、例えば、非常に多数 の音源により聴取者が混乱され、圧倒される場合又は音声の位置づけが困難な場 合に起こる。位置づけが困難な音の例としては、狭帯域信号又は静かな短持続時 間信号によって発生される音、反響する環境で生じる音若しくは聴取者の真上又 は聴取者から非常に遠いような特殊な領域から発する音がある。 改変及び拡張 望ましい実施形態において、HRTF応答の大きさは線形フィルタ又は最小位 相フィルタにより実行され、HRTFの位相は遅延により実行される。左耳及び 右耳信号間の相対遅延は、重要な方位角キューであるITDを生成する。遅延は 、反響音の到着を合成するか若しくは距離効果をシミュレートするためにも用い てもよい。濾波及び尺度化は、空気吸収、音場拡散損失、不均一音源放射パター ン 並びに伝達及び反響材料特性のような伝播及び環境効果を合成するために用いる ことができる。この追加の処理は、非常に広範な場所において導入してもよい。 本発明の実施上特に実行すべき決定的なものはないが、中には望ましいものもあ る。実行費用を低減させる実施形態の各箇所において遅延、濾波及び尺度化をっ 導入するのが望ましい。増幅及び濾波に先立って、音声信号に対し各音源に独特 の処理を行うのが望ましい。各出力信号に独特の処理は、濾波、増幅及び結合の 後で出力信号に対して行うのが望ましい。 この論議全体を通して、聴取者位置、方位に言及されている。方位、すなわち 、方向は、音源場所に関する頭の方位を指す。位置、すなわち、ポジションは、 方位と異なり、音源及び頭の中心の相対的場所を指す。聴取者位置、方位は、機 械、光学、赤外線、超音波、磁気及び無線技術等の広範な技術を用いて得ること ができる。本発明の実施上特に決定的な方法はない。 聴取者位置、方位は、Ascension Technology Corporation(Burlington,Vermo nt)製の鳥(Bird)磁気センサ又はPolhemus Corporation(Colchester,Vermont)製 の6自由度のISOTRAKIITM、InsideTRAKTM及びFASTRAKTMセン サのような頭追跡システムを用いて検知してもよい。 車中の聴取者の位置及び方位は、車の場所及び方位を検知するための機械的、 磁気的又は光学的スイッチを用いて検知してもよい。この技術は、聴取者がカプ セル又は他の車で軌道に沿って運ばれるような娯楽又はテーマパーク用乗物に対 して有用である。 聴取者の位置及び方位は、聴覚表示内に組込まれる静的情報から検知すること が可能である。例えば、映画劇場内又は会議テーブルの回りに座っている聴取者 の位置及び方位は、劇場又はテーブル形状を描写する情報から推定することが可 能である。 アンプ利得、時間遅延は、シミュレートされた環境を描写する信号に応答して 環境効果を合成するために改変可能である。より長い遅延は、より大きな部屋又 はコンサートホールの反響をシミュレートするか若しくは離れた構造体からの反 響をシミュレートするために用いてもよい。高度に反響的な音響環境は、遅い反 響に対して利得を増大させた多数の反響音を組込むことによってシミュレートす ることが可能である。音源からの距離の知覚は、反響音波及び直接路音波に対す る相対利得を制御することによって強化できる。特に、遅延及び反響音波の到達 方向は、反響面の形状及び音響特性並びに環境内の聴取者の位置、方位を描写す る情報を用いて合成することが可能である。 アンプ利得、時間遅延は、個々の聴取者位置付け特性に対するHRTF応答を 調節するために改変してもよい。ITDは、頭のサイズ及び形状の変化に対処す るために調節することが可能である。アンプ利得は、頭及び耳介のサイズ及び形 状に対処するためにスペクトル整形を調節するために改変することが可能である 。聴覚表示の一実施形態において聴取者は、空間効果を傾聴すると同時に異なっ た係数マトリックスWを通して回帰し、最も望ましい位置付けを与えるマトリッ クスを選択する。

Claims (1)

  1. 【特許請求の範囲】 1 1以上の音声信号及び1以上の聴覚情報源を表す1以上の場所信号であって 、該情報源に対する見掛けの場所を表す場所信号を受取り、 該1以上の音声信号に第1回路網を作動させることによって1以上の第1信 号を発生させ、 該1以上の第1信号に複数のフィルタを作動させることによって複数の濾波 された信号を発生させ、 該濾波された信号に第2回路網を作動させることによって1以上の出力信号 を発生させることから成り、 該1以上の音声信号に複数の第1アンプを作動させることによって該第1信 号が発生され、該第1アンプの各々が該1以上の場所信号に応答して改変される それぞれの利得を有し、 該濾波された信号に複数の第2アンプを作動させることによって該第2信号 が発生され、該第2アンプの各々が該1以上の場所信号に応答して改変されるそ れぞれの利得を有することを特徴とする、見掛けの場所情報を伝える聴覚情報の 聴覚表示を与える方法。 2 該第1回路網が2つ以上の第1アンプのグループを含み、それぞれの第1信 号がそれぞれの第1アンプグループの出力から発生され、各グループのそれぞれ の第1アンプが該音声信号の1つを増幅する、請求項1の方法。 3 該第2回路網が、それぞれの出力信号を発生させるために該濾波された信号 の2つ以上を結合する、請求項1または2の方法。 4 該複数の第1信号の少なくとも1つを遅延させことをさらに含み、遅延の量 が該1以上の場所信号及び聴取者の聴覚位置付け特性を表す信号又はそのいずれ かに応答して改変される、請求項1乃至3のいずれか1つの方法。 5 該第2回路網が2以上の第2アンプグループを含み、それぞれの出力信号が 第2アンプのそれぞれのグループの出力を結合することによって発生され、各グ ループのそれぞれの第2アンプが該複数のフィルタの各々によって発生される濾 波された信号を増幅する、請求項1の方法。 6 該第1回路網が、該1以上の第1信号として変化することなく、該音声信号 の各々を伝える、請求項1乃至5のいずれか1つの方法。 7 該出力信号の少なくとも1つを遅延させことをさらに含み、遅延の量が該1 以上の場所信号及び聴取者の聴覚位置付け特性を表す信号又はそのいずれかに応 答して改変される、請求項1乃至6のいずれか1つの方法。 8 該1以上のそれぞれの利得が、聴取者の聴覚位置付け特性を表す信号に応答 して改変される、請求項1乃至7のいずれか1つの方法。 9 該複数のフィルタをフィルタの1以上の組に構成するために該第1回路網及 び該第2回路網又はそのいずれかが構成信号に応答して改変され、それによって 可変数の音声信号及び可変数の出力信号又はそのいずれかを与える、請求項1乃 至8のいずれか1つの方法。 10 見掛けの場所情報を伝える聴覚情報の聴覚表示を与える方法であって、 該聴覚情報を表す音声信号を受取ると共に該聴覚情報の音源に対する見掛け の場所を表す場所信号を受取り、 該音声信号に第1フィルタを作動させることによって、該場所信号に応答し て改変される可変応答特性を有する第1の濾波された信号を発生させ、 該音声信号に作動させる回路網であって、各回路網が1以上の第2フィルタ 及び1以上のアンプを有し、各第2フィルタがそれぞれ非可変周波数特性を有し かつ各アンプが該場所信号に応答して改変されるそれぞれの利得を有するように 設けたそれぞれの回路網を、該音声信号に作動させることによって1以上の第2 の濾波された信号を発生させ、 該第1濾波信号と該1以上の第2濾波信号とを結合させることによって出力 信号を発生させることから成る聴覚表示方法。 11 それぞれの第2フィルタを該音声信号に作動させかつ該1以上のアンプの各 々を用いて該それぞれの第2フィルタの出力を増幅することによって該第2濾波 信号の各々が発生される、請求項10の方法。 12 該第2濾波信号の少なくとも1つを遅延させことをさらに含み、遅延の量が 該場所信号及び聴取者の聴覚位置付け特性を表す信号又はそのいずれかに応答し て改変される、請求項10又は11の方法。 13 該可変周波数応答特性及び該それぞれの利得又はそのいずれかが、聴取者の 聴覚位置付け特性を表す信号に応答して改変される、請求項10乃至12のいず れか1つの方法。 14 該それぞれの利得の1以上が聴取者の位置を示す位置信号に応答して改変さ れる、請求項1乃至13のいずれか1つの方法。 15 該それぞれの利得の1以上が環境特性を表す信号に応答して改変される、請 求項1乃至14のいずれか1つの方法。 16 該複数のフィルタが、互いに直交するインパルス応答を有する、請求項1乃 至15のいずれか1つの方法。 17 該インパルス応答がインパルス応答の処与の組の単一値分解によって引き出 される、請求項16の方法。 18 1以上の音声信号及び1以上の聴覚情報源を表す1以上の場所信号であって 、該情報源に対する見掛けの場所を表す場所信号を受取る装置と、 該1以上の音声信号に複数の第1アンプから成る第1回路網を作動させるこ とによって1以上の第1信号を発生させる装置であって、該第1アンプの各々が 該1以上の場所信号に応答して改変されるそれぞれの利得を有する第1信号発生 装置と、 該1以上の第1信号に複数のフィルタを作動させることによって複数の濾波 された信号を発生させる装置と、 該濾波された信号に複数の第2回路網を作動させることによって1以上の出 力信号を発生させる装置とから成る、見掛けの場所情報を伝える聴覚情報の聴覚 表示を与える装置。 19 該第1回路網が2以上の第1アンプグループを含み、それぞれの第1信号が それぞれの第1アンプグループの出力から発生され、各グループのそれぞれの第 1アンプが該音声信号の1つを増幅する、請求項18の装置。 20 該第2回路網が、それぞれの出力信号を発生させるために該濾波された信号 の2以上を結合する、請求項18または19の装置。 21 該複数の第1信号の少なくとも1つを遅延させる装置をさらに含み、遅延の 量が該1以上の場所信号及び聴取者の聴覚位置付け特性を表す信号又はそのい ずれかに応答して改変される、請求項18乃至20のいずれか1つの方法。 22 見掛けの場所情報を伝える聴覚情報の聴覚表示を与える装置であって、 1以上の音声信号及び該聴覚情報の1以上を表す、音源に対する見掛けの場 所を表す1以上の場所信号を受取る装置と、 該1以上の音声信号に第1回路網を作動させることによって、1以上の第1 信号を発生させる装置と、 該1以上の第1信号に複数のフィルタを作動させることによって複数の濾波 された信号を発生させる装置と、 該濾波された信号に複数の第2アンプから成る第2回路網を作動させること によって1以上の出力信号を発生させる装置であって、該第2アンプの各々が該 1以上の場所信号に応答して改変されるそれぞれの利得を有する出力信号発生装 置とから成る聴覚表示装置。 23 該第2回路網が第2アンプの2以上のグループを含み、それぞれの出力信号 が、第2アンプの各グループの出力を結合することによって発生され、各グルー プのそれぞれの第2アンプが該複数のフィルタの各々によって発生される濾波さ れた信号を増幅する、請求項22の装置。 24 該第1回路網が該1以上の第1信号として変化することなく、該音声信号の 各々を伝える、請求項22又は23の装置。 25 該出力信号の少なくとも1つを遅延させる装置をさらに含み、遅延の量が該 1以上の場所信号及び聴取者の聴覚位置付け特性を表す信号又はそのいずれかに 応答して改変される、請求項22乃至24のいずれか1つの装置。 26 該1以上のそれぞれの利得が、聴取者の聴覚位置付け特性を表す信号に応答 して改変される、請求項18乃至24のいずれか1つの装置。 27 該複数のフィルタをフィルタの1以上の組に構成するために該第1回路網及 び該第2回路網又はそのいずれかを構成信号に応答して改変する装置をさらに含 み、それによって可変数の音声信号及び可変数の出力信号又はそのいずれかを与 える、請求項18乃至26のいずれか1つの装置。 28 見掛けの場所情報を伝える聴覚情報の聴覚表示を与える装置であって、 該聴覚情報を表す音声信号を受取ると共に該聴覚情報の音源に対する見掛け の場所を表す場所信号を受取る装置と、 該音声信号に第1フィルタを作動させることによって、該場所信号に応答し て改変される可変応答特性を有する第1の濾波された信号を発生させる装置と、 該音声信号に作動させる回路網であって、各回路網が1以上の第2フィルタ 及び1以上のアンプを有し、各第2フィルタがそれぞれ非可変周波数特性を有し かつ各アンプが該場所信号に応答して改変されるそれぞれの利得を有するように 設けたそれぞれの回路網を、該音声信号に作動させることによって1以上の第2 の濾波された信号を発生させる装置と、 該第1濾波信号と該1以上の第2濾波信号とを結合させることによって出力 信号を発生させることから成る聴覚表示装置。 29 それぞれの第2フィルタを該音声信号に作動させかつ該1以上のアンプの各 々を用いて該それぞれの第2フィルタの出力を増幅することによって該第2濾波 信号の各々が発生される、請求項28の装置。 30 該第2濾波信号の少なくとも1つを遅延させる装置をさらに含み、遅延の量 が該場所信号及び聴取者の聴覚位置付け特性を表す信号又はそのいずれかに応答 して改変される、請求項28又は29の装置。 31 該可変周波数応答特性及び該それぞれの利得又はそのいずれかが、聴取者の 聴覚位置付け特性を表す信号に応答して改変される、請求項28乃至30のいず れか1つの装置。 32 該それぞれの利得の1以上が聴取者の位置を示す位置信号に応答して改変さ れる、請求項18乃至31のいずれか1つの装置。 33 該それぞれの利得の1以上が環境特性を表す信号に応答して改変される、請 求項18乃至32のいずれか1つの装置。 34 該複数のフィルタが、互いに直交するインパルス応答を有する、請求項18 乃至33のいずれか1つの装置。 35 該インパルス応答がインパルス応答の処与の組の単一値分解によって引き出 される、請求項34の装置。
JP8514739A 1994-10-27 1995-10-26 高品質3次元音声の効率的再生方法及び装置 Pending JPH10508169A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US08/330,240 US5596644A (en) 1994-10-27 1994-10-27 Method and apparatus for efficient presentation of high-quality three-dimensional audio
US08/330,240 1994-10-27
PCT/US1995/013874 WO1996013962A1 (en) 1994-10-27 1995-10-26 Method and apparatus for efficient presentation of high-quality three-dimensional audio

Publications (1)

Publication Number Publication Date
JPH10508169A true JPH10508169A (ja) 1998-08-04

Family

ID=23288893

Family Applications (1)

Application Number Title Priority Date Filing Date
JP8514739A Pending JPH10508169A (ja) 1994-10-27 1995-10-26 高品質3次元音声の効率的再生方法及び装置

Country Status (6)

Country Link
US (2) US5596644A (ja)
EP (2) EP0788723B1 (ja)
JP (1) JPH10508169A (ja)
AU (1) AU699647B2 (ja)
DE (1) DE69517192T2 (ja)
WO (1) WO1996013962A1 (ja)

Families Citing this family (78)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5596644A (en) * 1994-10-27 1997-01-21 Aureal Semiconductor Inc. Method and apparatus for efficient presentation of high-quality three-dimensional audio
JP3258195B2 (ja) * 1995-03-27 2002-02-18 シャープ株式会社 音像定位制御装置
JP3976360B2 (ja) * 1996-08-29 2007-09-19 富士通株式会社 立体音響処理装置
TW411723B (en) * 1996-11-15 2000-11-11 Koninkl Philips Electronics Nv A mono-stereo conversion device, an audio reproduction system using such a device and a mono-stereo conversion method
GB9627015D0 (en) * 1996-12-28 1997-02-19 Central Research Lab Ltd Processing audio signals
US5979586A (en) * 1997-02-05 1999-11-09 Automotive Systems Laboratory, Inc. Vehicle collision warning system
EP0968624A2 (en) * 1997-03-18 2000-01-05 Central Research Laboratories Limited Telephonic transmission of three dimensional sound
TW379512B (en) 1997-06-30 2000-01-11 Matsushita Electric Industrial Co Ltd Apparatus for localization of a sound image
US6307941B1 (en) 1997-07-15 2001-10-23 Desper Products, Inc. System and method for localization of virtual sound
US6993186B1 (en) 1997-12-29 2006-01-31 Glickman Jeff B Energy minimization for classification, pattern recognition, sensor fusion, data compression, network reconstruction and signal processing
US6125115A (en) * 1998-02-12 2000-09-26 Qsound Labs, Inc. Teleconferencing method and apparatus with three-dimensional sound positioning
GB9805534D0 (en) * 1998-03-17 1998-05-13 Central Research Lab Ltd A method of improving 3d sound reproduction
WO1999049574A1 (en) * 1998-03-25 1999-09-30 Lake Technology Limited Audio signal processing method and apparatus
JP2002510921A (ja) 1998-03-31 2002-04-09 レイク テクノロジー リミティド 3次元オーディオ情報からの複雑な室内インパルス応答の公式化
DE69903012T2 (de) * 1998-04-08 2003-04-30 British Telecommunications P.L.C., London Echokompensation
US6990205B1 (en) * 1998-05-20 2006-01-24 Agere Systems, Inc. Apparatus and method for producing virtual acoustic sound
US6574339B1 (en) * 1998-10-20 2003-06-03 Samsung Electronics Co., Ltd. Three-dimensional sound reproducing apparatus for multiple listeners and method thereof
DE19902317C1 (de) * 1999-01-21 2000-01-13 Fraunhofer Ges Forschung Vorrichtung und Verfahren zur Qualitätsbeurteilung von mehrkanaligen Audiosignalen
US6327567B1 (en) * 1999-02-10 2001-12-04 Telefonaktiebolaget L M Ericsson (Publ) Method and system for providing spatialized audio in conference calls
US6778211B1 (en) 1999-04-08 2004-08-17 Ipix Corp. Method and apparatus for providing virtual processing effects for wide-angle video images
WO2000060853A1 (en) * 1999-04-08 2000-10-12 Internet Pictures Corporation Method and apparatus for providing virtual processing effects for wide-angle video images
US6973192B1 (en) 1999-05-04 2005-12-06 Creative Technology, Ltd. Dynamic acoustic rendering
GB2351213B (en) * 1999-05-29 2003-08-27 Central Research Lab Ltd A method of modifying one or more original head related transfer functions
US7113609B1 (en) 1999-06-04 2006-09-26 Zoran Corporation Virtual multichannel speaker system
EP1158486A1 (en) * 2000-05-18 2001-11-28 TC Electronic A/S Method of processing a signal
US7231054B1 (en) * 1999-09-24 2007-06-12 Creative Technology Ltd Method and apparatus for three-dimensional audio display
US6178245B1 (en) 2000-04-12 2001-01-23 National Semiconductor Corporation Audio signal generator to emulate three-dimensional audio signals
FI113147B (fi) 2000-09-29 2004-02-27 Nokia Corp Menetelmä ja signaalinkäsittelylaite stereosignaalien muuntamiseksi kuulokekuuntelua varten
KR20020080730A (ko) * 2001-04-17 2002-10-26 큐빅아이(주) 머리 모델링을 이용한 입체음향 합성방법
JP2003220911A (ja) * 2002-01-31 2003-08-05 Denso Corp 車両用警告装置
US20030223602A1 (en) * 2002-06-04 2003-12-04 Elbit Systems Ltd. Method and system for audio imaging
CA2436400A1 (en) * 2002-07-30 2004-01-30 Abel G. Wolman Geometrization for pattern recognition, data analysis, data merging, and multiple criteria decision making
US20040091120A1 (en) * 2002-11-12 2004-05-13 Kantor Kenneth L. Method and apparatus for improving corrective audio equalization
US7822496B2 (en) * 2002-11-15 2010-10-26 Sony Corporation Audio signal processing method and apparatus
US20070160216A1 (en) * 2003-12-15 2007-07-12 France Telecom Acoustic synthesis and spatialization method
US7522719B2 (en) * 2004-01-13 2009-04-21 International Business Machines Corporation System and method for server based conference call volume management
US8638946B1 (en) * 2004-03-16 2014-01-28 Genaudio, Inc. Method and apparatus for creating spatialized sound
KR20070065401A (ko) * 2004-09-23 2007-06-22 코닌클리케 필립스 일렉트로닉스 엔.브이. 오디오 데이터를 처리하는 시스템 및 방법, 프로그램구성요소, 및 컴퓨터-판독가능 매체
US20080070685A1 (en) * 2004-09-30 2008-03-20 Pryzby Eric M Audio Object Location in a Computerized Wagering Game
US20060068908A1 (en) * 2004-09-30 2006-03-30 Pryzby Eric M Crosstalk cancellation in a wagering game system
US20060068909A1 (en) * 2004-09-30 2006-03-30 Pryzby Eric M Environmental audio effects in a computerized wagering game system
US8718301B1 (en) 2004-10-25 2014-05-06 Hewlett-Packard Development Company, L.P. Telescopic spatial radio system
US20060277034A1 (en) * 2005-06-01 2006-12-07 Ben Sferrazza Method and system for processing HRTF data for 3-D sound positioning
WO2007101958A2 (fr) * 2006-03-09 2007-09-13 France Telecom Optimisation d'une spatialisation sonore binaurale a partir d'un encodage multicanal
ATE447224T1 (de) * 2006-03-13 2009-11-15 France Telecom Gemeinsame schallsynthese und -spatialisierung
FR2899424A1 (fr) * 2006-03-28 2007-10-05 France Telecom Procede de synthese binaurale prenant en compte un effet de salle
US20090052703A1 (en) * 2006-04-04 2009-02-26 Aalborg Universitet System and Method Tracking the Position of a Listener and Transmitting Binaural Audio Data to the Listener
US7876903B2 (en) * 2006-07-07 2011-01-25 Harris Corporation Method and apparatus for creating a multi-dimensional communication space for use in a binaural audio system
US8520873B2 (en) * 2008-10-20 2013-08-27 Jerry Mahabub Audio spatialization and environment simulation
US9197977B2 (en) * 2007-03-01 2015-11-24 Genaudio, Inc. Audio spatialization and environment simulation
KR100818660B1 (ko) 2007-03-22 2008-04-02 광주과학기술원 근거리 모델을 위한 3차원 음향 생성 장치
JP2011512694A (ja) * 2007-12-17 2011-04-21 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 通信システムの少なくとも2人のユーザ間の通信を制御する方法
US8243970B2 (en) * 2008-08-11 2012-08-14 Telefonaktiebolaget L M Ericsson (Publ) Virtual reality sound for advanced multi-media applications
TWI475896B (zh) * 2008-09-25 2015-03-01 Dolby Lab Licensing Corp 單音相容性及揚聲器相容性之立體聲濾波器
EP2430753B1 (en) * 2009-05-14 2012-10-03 Koninklijke Philips Electronics N.V. A method and apparatus for providing information about the source of a sound via an audio device
US8428269B1 (en) * 2009-05-20 2013-04-23 The United States Of America As Represented By The Secretary Of The Air Force Head related transfer function (HRTF) enhancement for improved vertical-polar localization in spatial audio systems
US9055381B2 (en) 2009-10-12 2015-06-09 Nokia Technologies Oy Multi-way analysis for audio processing
US8786852B2 (en) 2009-12-02 2014-07-22 Lawrence Livermore National Security, Llc Nanoscale array structures suitable for surface enhanced raman scattering and methods related thereto
KR20120004909A (ko) 2010-07-07 2012-01-13 삼성전자주식회사 입체 음향 재생 방법 및 장치
US8958567B2 (en) * 2011-07-07 2015-02-17 Dolby Laboratories Licensing Corporation Method and system for split client-server reverberation processing
US9395304B2 (en) 2012-03-01 2016-07-19 Lawrence Livermore National Security, Llc Nanoscale structures on optical fiber for surface enhanced Raman scattering and methods related thereto
WO2014144968A1 (en) 2013-03-15 2014-09-18 O'polka Richard Portable sound system
WO2014145893A2 (en) * 2013-03-15 2014-09-18 Beats Electronics, Llc Impulse response approximation methods and related systems
US10149058B2 (en) 2013-03-15 2018-12-04 Richard O'Polka Portable sound system
WO2014171791A1 (ko) 2013-04-19 2014-10-23 한국전자통신연구원 다채널 오디오 신호 처리 장치 및 방법
KR102150955B1 (ko) 2013-04-19 2020-09-02 한국전자통신연구원 다채널 오디오 신호 처리 장치 및 방법
US9319819B2 (en) 2013-07-25 2016-04-19 Etri Binaural rendering method and apparatus for decoding multi channel audio
USD740784S1 (en) 2014-03-14 2015-10-13 Richard O'Polka Portable sound device
US9576501B2 (en) * 2015-03-12 2017-02-21 Lenovo (Singapore) Pte. Ltd. Providing sound as originating from location of display at which corresponding text is presented
CN105910702B (zh) * 2016-04-18 2019-01-25 北京大学 一种基于相位补偿的异步头相关传输函数测量方法
US9584946B1 (en) * 2016-06-10 2017-02-28 Philip Scott Lyren Audio diarization system that segments audio input
CA3090281A1 (en) 2018-02-15 2019-08-22 Magic Leap, Inc. Dual listener positions for mixed reality
US10469974B2 (en) * 2018-03-15 2019-11-05 Philip Scott Lyren Method to expedite playing of binaural sound to a listener
JP7194271B2 (ja) 2018-10-05 2022-12-21 マジック リープ, インコーポレイテッド 近接場オーディオレンダリング
CN109637550B (zh) * 2018-12-27 2020-11-24 中国科学院声学研究所 一种声源高度角控制方法和系统
JP7435334B2 (ja) * 2020-07-20 2024-02-21 株式会社Jvcケンウッド 頭外定位フィルタ決定システム、頭外定位フィルタ決定方法、及びプログラム
US20230362579A1 (en) * 2022-05-05 2023-11-09 EmbodyVR, Inc. Sound spatialization system and method for augmenting visual sensory response with spatial audio cues
DE102022002171A1 (de) 2022-06-15 2023-12-21 Mercedes-Benz Group AG Verfahren zur Bestimmung der kopfbezogenen Übertragungsfunktion

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL8303945A (nl) * 1983-11-17 1985-06-17 Philips Nv Inrichting voor het realiseren van een pseudo-stereo signaal.
US4731848A (en) * 1984-10-22 1988-03-15 Northwestern University Spatial reverberator
US4817149A (en) * 1987-01-22 1989-03-28 American Natural Sound Company Three-dimensional auditory display apparatus and method utilizing enhanced bionic emulation of human binaural sound localization
BG60225B2 (bg) * 1988-09-02 1993-12-30 Qsound Ltd. Метод и устройство за формиране на звукови изображения
IL96553A (en) * 1989-12-07 1994-04-12 Q Sound Ltd Sound imaging system for a video game
US5052685A (en) * 1989-12-07 1991-10-01 Qsound Ltd. Sound processor for video game
EP0465662B1 (en) * 1990-01-19 1998-03-18 Sony Corporation Apparatus for reproducing acoustic signals
ATE125090T1 (de) * 1990-03-28 1995-07-15 Alcatel Nv Verfahren zur bestimmung der koeffizienten eines fir-filters bei entzerrern.
US5371799A (en) * 1993-06-01 1994-12-06 Qsound Labs, Inc. Stereo headphone sound source localization system
US5440638A (en) * 1993-09-03 1995-08-08 Q Sound Ltd. Stereo enhancement system
US5436975A (en) * 1994-02-02 1995-07-25 Qsound Ltd. Apparatus for cross fading out of the head sound locations
US5596644A (en) * 1994-10-27 1997-01-21 Aureal Semiconductor Inc. Method and apparatus for efficient presentation of high-quality three-dimensional audio

Also Published As

Publication number Publication date
AU699647B2 (en) 1998-12-10
EP0984667A3 (en) 2000-05-17
DE69517192T2 (de) 2001-02-15
DE69517192D1 (de) 2000-06-29
WO1996013962A1 (en) 1996-05-09
US5596644A (en) 1997-01-21
EP0984667A2 (en) 2000-03-08
EP0788723B1 (en) 2000-05-24
AU3969495A (en) 1996-05-23
EP0788723A1 (en) 1997-08-13
US5802180A (en) 1998-09-01

Similar Documents

Publication Publication Date Title
JPH10508169A (ja) 高品質3次元音声の効率的再生方法及び装置
US6990205B1 (en) Apparatus and method for producing virtual acoustic sound
Davis et al. High order spatial audio capture and its binaural head-tracked playback over headphones with HRTF cues
Algazi et al. Headphone-based spatial sound
US9838825B2 (en) Audio signal processing device and method for reproducing a binaural signal
EP2206365B1 (en) Method and device for improved sound field rendering accuracy within a preferred listening area
JP7038725B2 (ja) オーディオ信号処理方法及び装置
JP4584416B2 (ja) 位置調節が可能な仮想音像を利用したスピーカ再生用多チャンネルオーディオ再生装置及びその方法
US5371799A (en) Stereo headphone sound source localization system
US6078669A (en) Audio spatial localization apparatus and methods
JP4633870B2 (ja) オーディオ信号処理方法
US5982903A (en) Method for construction of transfer function table for virtual sound localization, memory with the transfer function table recorded therein, and acoustic signal editing scheme using the transfer function table
Zhong et al. and Virtual Auditory Display
WO1995023493A1 (en) Binaural synthesis, head-related transfer functions, and uses thereof
EP3304929B1 (en) Method and device for generating an elevated sound impression
Kim et al. Control of auditory distance perception based on the auditory parallax model
Laitinen Binaural reproduction for directional audio coding
WO2002025999A2 (en) A method of audio signal processing for a loudspeaker located close to an ear
Mickiewicz et al. Spatialization of sound recordings using intensity impulse responses
Takane et al. ADVISE: A new method for high definition virtual acoustic display
JPH10294999A (ja) 仮想音像定位用音響信号合成装置
Brungart Distance simulation in virtual audio displays
Chen 3D audio and virtual acoustical environment synthesis
Sodnik et al. Spatial Sound
Koyama et al. Improvement using circular harmonics beamforming on reverberation problem of wave field reconstruction filtering