JP6824155B2 - 音声再生システム及び方法 - Google Patents

Description

本開示は、音声再生システム及び方法に関し、詳細には、高度に個別化した音声再生システム及び方法に関する。

イヤホーンを介して音声コンテンツをバイノーラル再生するための多くのアルゴリズムが、市場に存在する。それらのアルゴリズムは、合成バイノーラル室内インパルス応答（ＢＲＩＲ）に基づいており、それは、アルゴリズムが、大きい頭部伝達関数（ＨＲＴＦ）データベースの標準的なダミーヘッドまたは一般的な関数等、一般的なＨＲＴＦに基づいていることを意味する。さらに、一部のアルゴリズムは、ＢＲＩＲの所与のセットから最も適切なＢＲＩＲをユーザが選択するのを可能にする。このようなオプションによって、リスニング品質を向上させることができる。このようなオプションは、外在化及び頭外定位を含むが、個別化（例えば、頭部シャドーイング、肩反射または耳介効果）は、信号処理チェーンから抜けている。特に、耳介情報は、指紋と同様、一意である。個人のＢＲＩＲによる個別化を追加することによって、自然さを向上させることができる。

本明細書に記載の方法は、リスニング環境の第１の位置に内蔵スピーカを有するモバイルデバイスと、リスニング環境の少なくとも１つの第２の位置に少なくとも１つのマイクロフォンを配置することと、リスニング環境の第１の位置のモバイルデバイスのラウドスピーカからテスト音声コンテンツを発することと、リスニング環境の少なくとも１つの第２の位置の少なくとも１つのマイクロフォンを用いてラウドスピーカが発したテスト音声コンテンツを受信することと、受信したテスト音声コンテンツに少なくとも部分的に基づいて、所望の音声コンテンツに少なくとも１つのイヤホーンによって再生される前に適用する１つまたは複数の調整を決定することと、を含み、第１の位置及び第２の位置は、互いに離れていて、少なくとも１つのマイクロフォンが、ラウドスピーカの近距離場内にある。

バイノーラル室内インパルス応答を測定するシステムは、リスニング環境の第１の位置に配置された内蔵スピーカを備えたモバイルデバイスと、リスニング環境の少なくとも１つの第２の位置に配置された少なくとも１つのマイクロフォンとを備える。モバイルデバイスは、リスニング環境の第１の位置のラウドスピーカを介してテスト音声コンテンツを発し、ラウドスピーカが発し、リスニング環境の少なくとも１つの第２の位置でイヤホーンが受信したテスト音声コンテンツを、イヤホーンから受信するように構成される。モバイルデバイスは、受信した音声コンテンツに少なくとも部分的に基づいて、所望の音声コンテンツにイヤホーンによって再生される前にモバイルデバイスが適用する１つまたは複数の調整を決定するようにさらに構成され、第１の位置と第２の位置は、互いに離れて、少なくとも１つのマイクロフォンは、ラウドスピーカの近距離場内にある。
本明細書は、例えば、以下の項目も提供する。
（項目１）
リスニング環境の第１の位置に内蔵スピーカを備えたモバイルデバイスと、前記リスニング環境の少なくとも１つの第２の位置に少なくとも１つのマイクロフォンを配置することと、
前記リスニング環境の前記第１の位置の前記モバイルデバイスの前記ラウドスピーカからテスト音声コンテンツを発することと、
前記リスニング環境の前記少なくとも１つの第２の位置の前記少なくとも１つのマイクロフォンを用いて前記ラウドスピーカが発した前記テスト音声コンテンツを受信することと、
前記受信したテスト音声コンテンツに少なくとも部分的に基づいて、所望の音声コンテンツに少なくとも１つのイヤホーンによって再生する前に適用する１つまたは複数の調整を決定することと、
を備える方法であって、
前記第１の位置及び前記第２の位置は、互いに離れて、前記少なくとも１つのマイクロフォンが、前記ラウドスピーカの近距離場内にある、前記方法。
（項目２）
前記所望の音声コンテンツに適用する１つまたは複数の調整を決定することは、前記テスト音声コンテンツの前記受信した再生にスペクトル分析を行って、前記テスト音声コンテンツの前記受信した再生の周波数応答を提供することを含む、項目１に記載の方法。
（項目３）
前記テスト音声コンテンツの前記受信した再生の周波数応答を目標周波数応答と比較することと、
前記テスト音声コンテンツの前記受信した再生の前記周波数応答と目標周波数応答との比較に少なくとも部分的に基づいて、前記所望の音声コンテンツに適用する１つまたは複数の調整を決定することと、
をさらに含む、項目２に記載の方法。
（項目４）
前記少なくとも１つのマイクロフォンは、前記少なくとも１つのイヤホーン内若しくはイヤホーン上に配置される、または、前記少なくとも１つのインイヤイヤホーンによって提供される、先行項目のいずれかに記載の方法。
（項目５）
前記少なくとも１つのイヤホーンは、リスナーの耳に差し込まれたインイヤイヤホーンである、先行項目のいずれかに記載の方法。
（項目６）
前記少なくとも１つのイヤホーンは、前記少なくとも１つのイヤホーンをマイクロフォンとして使用する時、受信機周波数特性を有し、
前記少なくとも１つのイヤホーンの前記周波数特性は、前記テスト音声コンテンツを受信する時、目標受信機周波数特性に基づいて、等化される、
先行項目のいずれかに記載の方法。
（項目７）
前記少なくとも１つのイヤホーンは、前記少なくとも１つのイヤホーンがスピーカとして使用される時、エミッタ周波数特性を有し、
前記少なくとも１つのイヤホーンの前記エミッタ周波数特性は、前記所望の音声コンテンツを再生する時、目標エミッタ周波数特性に基づいて、等化される、
先行項目のいずれかに記載の方法。
（項目８）
第１のマイクロフォン及び第２のマイクロフォンをさらに備え、前記第１のマイクロフォンは、前記リスニング環境内のリスナーの片方の耳の近くの第１の位置に配置され、第２のマイクロフォンは、前記リスニング環境内の前記リスナーの他方の耳の近くの第１の位置に配置される、先行項目のいずれかに記載の方法。
（項目９）
前記モバイルデバイスの前記ラウドスピーカは、ラウドスピーカ目的関数に基づいて等化される周波数特性を有する、先行項目のいずれかに記載の方法。
（項目１０）
前記少なくとも１つのマイクロフォンの前記周波数特性は、圧力室効果を使用または模倣することによって測定される、先行項目のいずれかに記載の方法。
（項目１１）
前記所望の音声コンテンツを前記少なくとも１つのイヤホーンによって再生する前に、前記所望の音声コンテンツへの前記調整の適用をさらに含む、先行項目のいずれかに記載の方法。
（項目１２）
リスニング環境の第１の位置に配置された内蔵スピーカを備えるモバイルデバイスと、
前記リスニング環境の少なくとも１つの第２の位置に配置された少なくとも１つのマイクロフォンと、
を備えるシステムであって、前記モバイルデバイスは、
前記リスニング環境の前記第１の位置で前記ラウドスピーカを介してテスト音声コンテンツを発し、
前記リスニング環境の前記少なくとも１つの第２の位置で前記ラウドスピーカが発した前記テスト音声コンテンツを前記イヤホーンから受信し、
前記受信した音声コンテンツに少なくとも部分的に基づいて、前記所望の音声コンテンツに前記イヤホーンによって再生される前に前記モバイルデバイスが適用する１つまたは複数の調整を決定するように、
構成され、
前記第１の位置及び前記第２の位置は互いに離れて、前記少なくとも１つのマイクロフォンが前記ラウドスピーカの近距離場内にある、
前記システム。
（項目１３）
前記モバイルデバイスは、モバイルフォン、スマートフォン、ファブレット、または、タブレットを含む、項目１２に記載のシステム。
（項目１４）
前記少なくとも１つのマイクロフォンと前記モバイルデバイスとの間に接続された音声レコーダをさらに備え、前記音声レコーダは、前記モバイルデバイスによって制御され、前記音声レコーダは、前記マイクロフォンによって受信された前記テスト音声コンテンツを録音して、前記録音したテスト音声コンテンツを要求に応じて前記モバイルデバイスに送信するように構成された、項目１２または１３に記載のシステム。

以下の詳細な記載と図面を検討すると、他のシステム、方法、特徴、及び、長所が、当業者には明らかであろう、または、明らかとなるだろう。このような追加のシステム、方法、特徴、及び、長所は全て、この記載の範囲内であり、発明の範囲内であり、請求項によって保護されるものとする。

以下の記載及び図面を参照すると、システムは、よりよく理解されよう。図面内の構成要素は、必ずしも縮尺通りではなく、発明の原理を示すことに重点が置かれている。さらに、図中、類似の参照番号は、異なる図面を通して、対応する部分を示す。

２チャンネルステレオ、５．１チャンネルステレオ、または、７．１チャンネルステレオの信号をバイノーラル再生するための例示の音声システムを示す概略図である。 スマートフォンとモバイルマイクロフォンレコーダとを用いてＢＲＩＲを測定する例示のシステムを示す概略図である。 スマートフォンとヘッドフォンマイクロフォンとを用いてＢＲＩＲを測定する別の例示のシステムを示す概略図である。 スマートフォンを用いてＢＲＩＲを測定する例示の方法を示すフローチャートである。 異なる刺激に対する周波数応答を示す図である。 （近距離測定から取得した）リヤスマートフォンラウドスピーカの周波数応答、例示の目標周波数応答、及び、逆フィルタを示す図である。 ヘッドフォンの現実室内システムへのＢＲＩＲ測定の例示の適用を示すフローチャートである。 逆フィルタを計算してスマートフォンのスピーカの欠陥を訂正する例示の方法を示すフローチャートである。 スマートフォンのスピーカの欠陥を訂正する前後の周波数応答の比較を示す図である。 例示のスペクトルバランサアルゴリズムを示すフローチャートである。 イヤホーン特性を測定する例示の装置を示す概略図である。 例示のイヤホーンイコライザアルゴリズムを示すフローチャートである。 ヘッドフォン仮想室内システムでＢＲＩＲ測定の例示の適用を示すフローチャートである。 残響除去装置で使用される窓関数を示す図である。 図１４に示す窓関数を適用する前後のＢＲＩＲを示す図である。 様々な例示の測定されたＢＲＩＲの振幅応答の比較を示す図である。 図１６に示す図の基礎を形成する例示の測定されたＢＲＩＲの位相応答の比較を示す図である。 マイクロフォンとして使用されるイヤホーン変換器の振幅応答を示す図である。

録音された「サラウンドサウンド」は、典型的に、５つ、６つ、７つ、または、８つ以上のスピーカを通して伝えられる。現実世界の音は、無限の場所からユーザ（本明細書では、特に、ユーザの音響知覚に関する場合、「リスナー」とも称する）に届く。人間の聴覚系は２チャンネルシステムであるが、リスナーは、三次元空間の全ての軸で方向を容易に感じる。人間の聴覚系への１つの経路は、ヘッドフォン（本明細書では、特に、各耳に関する聴覚の振る舞いとなると「イヤホーン」とも呼ばれる）を介する。ヘッドフォンの弱点は、三次元の、広がりのある、完全に正確な音像を作成できないことである。一部の「仮想サラウンド」プロセッサは、この点で、段階的に進歩し、ヘッドフォンは、原理上、現実の室内で複数のスピーカによって作成されたのと同じように完全な、広がりのある、正確に位置を特定された、生き生きとした音体験を提供できる。

様々な方向から来る音は、頭部及び胴体上部の形と寸法と、外耳（耳介）の形とに衝突すると、変化する。人間の脳は、これらの変化に非常に敏感で、音色の変化とは認識されずに、上、下、前、後ろ、または、間と位置を特定するように、リスナーによってかなり正確に体験される。この音響学的変化は、ＨＲＴＦによって表すことができる。

一種類の録音によって、２つの音声チャンネルが三次元体験を再現できることが分かった。バイノーラル録音は、一対の近くに置かれたマイクロフォンを用いて行われ、ヘッドフォンリスニングを対象としている。時には、マイクロフォンは、ダミーヘッド、または、頭部／胴体に埋め込まれて、ＨＲＴＦを作成し、この場合、三次元性の感覚は、増強される。再現された音空間は、納得できるものであるが、元の環境を参照していないので、その正確さは、証明できない。いずれの場合でも、これらは、商用カタログではめったに見られない特殊な録音である。前、後ろ、時には、頭上の音を捕捉するための録音は、複数のマイクロフォンを用いて行われ、複数のチャンネルに記憶され、リスナーの周りに配置された複数のスピーカで再生されることを意図している。

他のシステム（Ｓｍｙｔｈ Ｒｅａｌｉｓｅｒ等）は、全く異なる体験を提供する。すなわち、（ステレオを含む）マルチチャンネル録音は、現実の室内でラウドスピーカアレイを通して出すのと区別できないほど同じ音がヘッドフォンを通して出る。原理的には、Ｓｍｙｔｈ Ｒｅａｌｉｓｅｒは、ＨＲＴＦをマルチチャンネルサウンドに適用してヘッドフォンを駆動するという点で、他のシステムと類似している。しかし、他の改良点と共に、Ｓｍｙｔｈ Ｒｅａｌｉｓｅｒは、パーソナライズと、頭部追跡と、あらゆる実際のリスニング空間及びサウンドシステムの特性の捕捉という、他の製品には見られない３つの重要な構成要素を採用している。Ｓｍｙｔｈ Ｒｅａｌｉｓｅｒは、イヤプラグに挿入された一対のごく小さいマイクロフォンを備え、イヤプラグは、測定のためにリスナーの耳に配置される。リスナーは、ラウドスピーカアレイに囲まれたリスニング位置に座る。典型的には、５．１または７．１チャンネルであるが、ハイトチャンネルを含む、任意の設定も適用され得る。短時間のテスト信号セットがラウドスピーカを通して再生され、次に、リスナーがヘッドフォンを装着し、第２の短時間の測定値のセットを取得する。プロシージャ全体は、５分未満である。スピーカを用いた測定において、Ｓｍｙｔｈ Ｒｅａｌｉｓｅｒは、リスナーの個人的なＨＲＴＦを捕捉するだけでなく、部屋と、スピーカと、スピーカを駆動する電子機器とを完全に特徴づける。ヘッドフォンを用いた測定において、システムは、ヘッドフォンと耳の相互作用と、ヘッドフォン自体の応答を訂正するためのデータを収集する。合成データは、メモリに記憶され、合成データを使用して、音声信号経路に接続されたイコライザを制御できる。

以上のように、バイノーラル測定を行うのに必要な試みは、専用測定マイクロフォン、サウンドカード、及び、他の機器が必要なので面倒である。本明細書に記載の方法及びシステムは、スマートフォンによるＢＲＩＲの測定を可能にして、高価なハードウェアを使用せずに、バイノーラル測定を容易にする。

図１は、信号源１０１によって提供された２チャンネルステレオ、５．１チャンネルステレオ、または、７．１チャンネルステレオの信号をバイノーラル再生するための例示の音声システム１００の概略図である。信号源は、ＣＤプレイヤ、ＤＶＤプレイヤ、車両ヘッドユニット、ＭＰＥＧサラウンドサウンド（ＭＰＳ）デコーダ等であってよい。バイノーラライザ１０２は、信号源１０１によって提供された２チャンネルステレオ、５．１チャンネルステレオ、または、７．１チャンネルステレオの信号から、イヤホーン１０３のための２チャンネル信号を生成する。ＢＲＩＲ測定システム１０４は、実際のＢＲＩＲの測定を可能にし、ＢＲＩＲを表す信号をバイノーラライザ１０２に提供して、（ステレオを含む）マルチチャンネル録音が、現実の室内でラウドスピーカアレイを通して出すのと区別できないほど同じ音がイヤホーン１０３を通して出る。図１に示す例示の音声システム１００は、自動車用途のためにパーソナライズされたマルチチャンネルコンテンツの伝達に使用されてよく、また、全てのタイプのヘッドフォン（すなわち、オンイヤーヘッドフォンだけでなくインイヤーヘッドフォン）を対象としてよい。

図２は、スマートフォン２０１（または、モバイルフォン、ファブレット、タブレット、ラップトップ等）を使用する例示のＢＲＩＲ測定システム１０４の概略図で、ラウドスピーカ２０２と、２つのマイクロフォン２０４、２０５に接続されたモバイル音声レコーダ２０３とを備える。スマートフォン２０１のラウドスピーカ２０２は、マイクロフォン２０４、２０５によって捕捉された音を放射することによって、ラウドスピーカ２０２とマイクロフォン２０４、２０５との間に音響伝達経路２０６を確立する。デジタル音声信号及び／または命令を含むデジタルデータが、スマートフォン２０１とレコーダ２０３との間で双方向無線接続２０７を介してやり取りされる。双方向無線接続２０７は、ブルートゥース（登録商標）（ＢＴ）接続であってよい。

図３は、スマートフォン３０１を使用する別の例示のＢＲＩＲ測定システム１０４の概略図で、ラウドスピーカ３０２と、マイクロフォン３０４、３０５を備えたヘッドフォン３０３とを含む。スマートフォン３０１のラウドスピーカ３０２は、マイクロフォン３０４、３０５によって捕捉された音を放射することによって、ラウドスピーカ３０２と、マイクロフォン３０４、３０５との間に音響伝達経路３０６を確立する。デジタルまたはアナログ音声信号は、有線接続３０７によって、あるいは、ＢＴ接続（図３には示さず）等の無線接続によって、マイクロフォン３０４、３０５からスマートフォン３０１に伝達される。同じまたは別個の有線接続または無線接続（図３には示さず）を使用して、デジタルまたはアナログ音声信号をこれらの音声信号の再生のためにスマートフォン３０１からヘッドフォン３０３に伝達してよい。

図４を参照する。ユーザからの開始コマンドが、図２に示すシステムのスマートフォン２０１等のモバイルデバイスによって受信されてよい（プロシージャ４０１）。開始コマンドを受信すると、スマートフォン２０１は、専用ソフトウェアアプリケーション（ａｐｐ）を開始して、モバイル音声レコーダ２０３とのＢＴ接続を確立する（プロシージャ４０２）。スマートフォン２０１は、ユーザからの録音コマンドを受信して、ＢＴ接続２０７を介してモバイル音声レコーダ２０３に録音を開始するように命令する（プロシージャ４０３）。モバイル音声レコーダ２０３は、スマートフォン２０１から命令を受信して、録音を開始する（プロシージャ４０４）。スマートフォン２０１は、内蔵スピーカ２０２を介してテスト音声コンテンツを発し、モバイル音声レコーダ２０３は、マイクロフォン２０４、２０５が受信したテスト音声コンテンツを録音する（プロシージャ４０５）。スマートフォン２０１は、ＢＴを介してモバイル音声レコーダ２０３に録音を停止するように命令する（プロシージャ４０６）。モバイル音声レコーダ２０３は、スマートフォン２０１から命令を受信して、録音を停止する（プロシージャ４０７）。モバイル音声レコーダ２０３は、次に、録音したテスト音声コンテンツをＢＴを介してスマートフォン２０１に送信し（プロシージャ４０８）、スマートフォン２０１は、モバイル音声レコーダ２０３から録音したテスト音声コンテンツを受信し、受信したテスト音声コンテンツを処理する（プロシージャ４０９）。スマートフォン２０１は、次に、モバイルレコーダとのＢＴ接続を絶ち（プロシージャ４１０）、ＢＲＩＲを表すデータを出力する（プロシージャ４１１）。図４に示すプロセスと類似のプロセスを図３に示すシステムに適用してよいが、音声録音は、モバイルデバイス（スマートフォン３０１）内で行われる。

研究において、図２に示す例示のシステムに関連して４つの刺激（テスト音声コンテンツ）を検討した。風船が割れる５０１、２つの異なるタイプの拍手５０２、５０３、及び、正弦波掃引５０４である。これらの刺激は、無響室の特定の測定マイクロフォンから約１メートルで録音した。これらの測定値のインパルス応答の振幅を図５に示す。２つの拍手５０２、５０３は、正弦波掃引５０４の測定値と大きく異なっているので、現在の形は理想的でないことがグラフから分かる。比較のために、インパルス刺激５０５も示している。周波数応答は、理想的には無響室で測定されるべきである。しかしながら、専門家以外は通常、無響室に近づくことができない。代わりに、近距離測定を使用する。近距離測定は、バイノーラル測定に使用されるのと同じマイクロフォンを使用することによって、技術的に実行可能である。従って、一回の拍手の録音では、必ずしも、その部屋の所望の特徴を提供するとは限らない。よって、測定を行うためにエンドユーザからのより実践的な試みが必要である。しかしながら、できるだけ簡単で一般のユーザにとって信頼できる測定プロシージャを作成することが望まれる。

ラウドスピーカ等の音響源は、近距離場領域及び遠距離場領域の両方を有する。近距離場内において、ラウドスピーカ（または、略して、スピーカ）によって生成された波面は、平行でなく、波の強さは、範囲と共に振動する。このため、近距離場領域内の目標物からのエコーのレベルは、位置が少し変わると大きく変動し得る。遠距離場になると、波面は、ほぼ平行となり、逆二乗法則で二乗されるように、強さは範囲と共に変わる。遠距離場内においては、ビームが適切に形成され、エコーレベルは、標準方程式から予測可能である。

スマートフォンスピーカは低周波領域においては応答５０６が良くないことは図５より分かる。ピークも約６ｋＨｚで見られる。これらの欠陥に関わらず、以下に記載する理由のために、スマートフォンスピーカを依然として検討してよい。

ａ）スマートフォンスピーカは、周波数応答に制限があるが、約６００Ｈｚを超える信号をレンダリングすることができる（図６も参照）。

ｂ）スマートフォンスピーカ自体が、測定刺激のレンダリングに用いられる場合、エンドユーザは、測定のために、風船等、追加の物体を持つ必要がない。

ｃ）掃引正弦波刺激は、多くの製造業者及び研究者によって証明され、広く用いられているので、スマートフォンで容易に実施できる。

ｄ）ユーザは、スマートフォン（スピーカ）を自分の頭部の周りの任意の位置に移動させることができる。これによって、任意の方位及び高さの組み合わせでＢＲＩＲを柔軟に測定できる。

近距離測定によって生成された例示のスマートフォンスピーカの振幅応答６０１を図６に示す。図から、スペクトルは、約７００Ｈｚから先、均一な特性を有することが分かる。「フラットな」目的関数６０２と、振幅応答６０１を目的関数６０２に適合させるのに適用可能な例示の逆フィルタ関数６０３も示している。

ＢＲＩＲ計算の２つの例示のアルゴリズムを以下に記載する。ヘッドフォンの現実室内（ＨＲＲ）プロセスから生じるＢＲＩＲを用いて、ユーザの好きなコンテンツを、測定した部屋の情報を含めて、ヘッドフォンを介して聴くことができる。ヘッドフォンの仮想室内（ＨＶＲ）プロセスから生じるＢＲＩＲを用いて、ユーザの好きなコンテンツを、バイノーラル情報のみを含めて、ヘッドフォンを介して聴くことができる。しかしながら、ユーザは、信号チェーンに仮想室をオプションで含むことができる。

ＨＲＲシステム及び方法は、ヘッドフォン（イヤホーン）を介したリスナーの部屋の情報を含めて、バイノーラルコンテンツをレンダリングすることを意図している。スマートフォン７０１を含むＨＲＲシステムへのＢＲＩＲ測定の例示の適用のフローチャートを図７に示し、以下により詳細に記載する。ビルディングブロックとプロシージャも以下に簡単に記載する。

ＢＲＩＲ測定は、スマートフォンスピーカ７０２を用いることと、ユーザの外耳道の入口にバイノーラルマイクロフォン（図示せず）を配置することによって行われる。スペクトル分析のための掃引正弦波信号は、所望の方位角及び仰角でスマートフォンスピーカ７０２を介して再生される。リスナーの外耳道を完全に塞ぐように特別に設計された一対のバイノーラルマイクロフォンを用いてよい。マイクロフォンは、バイノーラルマイクロフォンの別個のセットであってよく、測定ハードウェアは、図２に示すシステム同様、スマートフォン７０１と別個であってよい。あるいは、イヤホーン変換器自体が、音を捕捉する変換器として用いられてよい。ＢＲＩＲの測定、前処理、及び、最終計算は、例えば、図４に関して前述したプロセスを行うモバイルアプリケーションを用いて、スマートフォン７０１によって行われてよい。周波数ごとのスペクトル分析（例えば、上記のような、対応する狭帯域分析に関連する掃引狭帯域刺激）の代わりに、広帯域刺激またはインパルスを、高速フーリエ変換（ＦＦＴ）またはフィルターバンク等の広帯域スペクトル分析に関連して用いてよい。

スマートフォンのスピーカの欠陥の訂正に関して、ＢＲＩＲを測定しながら、全ての周波数範囲をカバーするためには、理想的には、全帯域幅ラウドスピーカが必要とされる。帯域制限されたスピーカ、すなわち、スマートフォンスピーカ７０１を測定に用いるので、欠けている周波数範囲をカバーする必要がある。このため、近距離測定値をバイノーラルマイクロフォンの１つを用いて取得する。ここから、図５に示すように、例示の振幅周波数特性（「周波数特性」または「周波数応答」としても知られる）を用いた逆フィルタを計算して、左と右の耳のＢＲＩＲ測定値に適用する。所与の例において、目標振幅周波数応答曲線は、フラットに設定されているが、任意の所望の曲線であってよい。位相相違及びレベル相違等の情報は、この方法では補正されないが、必要に応じて補正されてよい。このプロセスのフローチャートを図８に示す。プロセスは、スマートフォンスピーカ７０２の振幅周波数応答の近距離測定を含む（プロシージャ８０１）。スマートフォンスピーカ７０２と測定を行うマイクロフォンとの間の音響経路の対応する伝達関数（「伝達特性」としても知られる）が計算され（プロシージャ８０２）、逆目標振幅周波数関数８０３に加えられる（プロシージャ８０４）。（直線の）有限インパルス応答（ＦＩＲ）フィルタ係数が、次に、計算され（プロシージャ８０５）、処理されて、直線位相から最小位相への変換を行う（プロシージャ８０６）。プロシージャ８０６で行われたフィルタ係数が、次に、長さを低減された（プロシージャ８０７）後、長さが低減されたフィルタ係数が出力される（プロシージャ８０８）。訂正適用後の結果の比較を図９に示す。図９において、グラフ９０１は、等化前に測定した振幅周波数特性を示し、グラフ９０２は、等化後に測定された振幅周波数特性を示し、グラフ９０３は、等化に使用された振幅周波数特性を示す。

（オプションの）スペクトルバランサに関して、ユーザが、音にある音色を埋め込みたい場合、追加の等化を適用できる。このために、左耳と右耳のＢＲＩＲの平均値を取得する。そのプロセスのフローチャートを図１０に示す。プロセスは、左耳の身体伝達関数ＢＲＴＦ Ｌを提供すること（プロシージャ１００１）、右耳のバイノーラル伝達関数ＢＲＴＦ Ｒを決定すること（プロシージャ１００２）、平滑化すること（例えば、低域フィルタリング）（プロシージャ１００３及び１００４）、及び、平滑化されたバイノーラル伝達関数ＢＲＴＦ Ｌ及びＢＲＴＦ Ｒを合計すること（プロシージャ１００５）を含む。プロシージャ１００５及び目標振幅周波数応答１００７によって与えられた和を用いて、次に、対応する逆フィルタのフィルタ係数を計算する（プロシージャ１００６）。フィルタ係数は、プロシージャ１００８で出力される。

ヘッドフォンイコライザに関して、同じ製造会社でさえ、時には、イヤホーンの周波数特性の大きなばらつきがあるので、イヤホーンからの影響を補正するためにイコライザの適用が必要とされる。これを行うために、個々のイヤホーンの周波数応答が必要とされる。イヤホーン特性のこの測定は、図１１に示すように、簡単な装置を用いて行うことができる。イヤホーン特性を測定する装置は、管状の本体部（本明細書では「管１１０１」と称する）を含む。本体部の一端には、（インイヤ）イヤホーン１１０３を管１１０１に結合するためのアダプタ１１０２を備え、他端には、閉止キャップ１１０４とキャップ１１０４に近接して管１１０１内に配置されたマイクロフォン１１０５とを備える。実際には、バイノーラルマイクロフォンのうちの１つが、図１１に示すマイクロフォン１１０５の代わりに使用されてよい。管１１０１は、二端間のどこかに縮径部１００６を有してよい。管１１０１の体積、長さ、及び、直径は、平均的な人間の外耳道と類似するべきである。図示の装置は、圧力室効果を模倣することができるので、測定された応答は、現実に近くなり得る。

対応する測定プロセスの概略を図１２に示す。プロセスは、イヤホーン特性を測定すること（プロシージャ１２０１）、及び、測定から対応する伝達関数を計算すること（プロシージャ１２０２）を含む。さらに、プロシージャ１２０４で、目標伝達関数１２０３が、プロシージャ１２０２によって得られた伝達関数から減じられる。この和から、ＦＩＲ係数が、（線形に）計算されて（プロシージャ１２０５）、続いて、直線位相から最小位相への変換（プロシージャ１２０６）と長さの低減（プロシージャ１２０７）が行われる。最後に、フィルタ係数１２０８が、他のアプリケーション及び／またはシステムに出力される。

図７を再び参照すると、図示のプロセスは、モバイルデバイスのスピーカ、ここでは、スマートフォンスピーカ７０２の振幅周波数応答の近距離測定を含む（プロシージャ７０３）。プロシージャ７０３による信号から、スマートフォンスピーカ７０２の振幅周波数応答を計算する（プロシージャ７０４）。次に、逆フィルタ振幅周波数応答が、目標振幅周波数応答７０６と、スマートフォンスピーカ７０２の計算した振幅周波数応答とから計算される（プロシージャ７０５）。スマートフォンスピーカ７０２を用いてＢＲＩＲ測定を開始、実行した（プロシージャ７０７）後、測定したＢＲＩＲと計算した逆フィルタ振幅周波数応答を畳み込む（プロシージャ７０８）。プロシージャ７０８から生じる信号は、対応する目標周波数応答７１０に基づいて、ルームイコライザによって処理される（プロシージャ７０９）。プロシージャ７０９による信号は、対応する目標周波数応答７１２に基づいて、イヤホーンイコライザによって処理される（プロシージャ７１１）。プロシージャ７１１による信号は、Ｎ個のモノラル音声ファイル７１４（例えば、Ｎ＝２ステレオ信号、Ｎ＝６ ５．１チャンネル信号またはＮ＝８ ７．１チャンネル信号）と畳み込まれ（プロシージャ７１３）、この畳み込みの結果が、イヤホーンに出力される（プロシージャ７１５）。

ヘッドフォンの仮想室内（ＨＶＲ）システムは、イヤホーンを介したリスナーの部屋の情報を含めることなしに、バイノーラルコンテンツのレンダリングを意図している。リスナーは、オプションで、チェーンに仮想室を含むことができる。プロセスの概略を図１３に示す。追加のビルディングブロックを以下に簡単に記載する。このプロセスは、図７〜図１２に関連して前述したビルディングブロックも必要とする。残響除去装置や人工の残響付加装置等の追加のビルディングブロックのみを以下に記載する。

残響除去装置／平滑化：測定された室内インパルス応答が、不要なピークや谷を含む場合、不快な音響アーチファクトによって、音質を低下させる場合がある。部屋の情報を除くために、または、初期反射音及び後期反射音を除くために、（時間及び／またはスペクトル）窓関数技術を組み込むことができる。適用においては、図１４に示すように、矩形窓とブラックマンハリス窓の組み合わせが用いられる。平滑化の前（１５０１）及び（１５０２）後の例示のＢＲＩＲを図１５に示す。

人工の残響付加装置：前のブロックにおいて、全ての部屋関連情報を除いた。すなわち、窓関数（窓）の適用後、直接の情報のみ（例えば、両耳間時間差［ＩＴＤ］及び両耳間レベル差［ＩＬＤ］）がＢＲＩＲに含まれる。よって、耳のすぐ近くに音源があるように感じられる。従って、距離情報を組み込む必要がある場合、人工の残響付加装置をオプションで使用してよい。任意の最先端の残響付加装置を、この目的で使用することができる。

図１３から分かるように、残響除去プロシージャ１３０１及び人工の残響付加プロシージャ１３０２は、図７に示すプロセスのＢＲＩＲ測定プロセス７０７とイヤホーン等化プロシージャ７１１との間に挿入される。さらに、部屋等化プロシージャ７０９と対応する目標振幅周波数応答７１０は、スペクトルバランシングプロシージャ１３０３と、対応する目標振幅周波数応答１３０４とに代えられてよい。所与の窓を用いた窓関数を掛けることを含み得る残響除去プロシージャ１３０１と、畳み込みプロシージャ７０８とは、逆フィルタ計算プロシージャ７０５の出力を受信し、畳み込みプロシージャ７０８は、イヤホーン等化プロシージャ７１１と畳み込みプロシージャ７１３との間に行われてよい。

この研究を通して、焦点は、ＢＲＩＲの位相情報を壊すことではない。例示のＢＲＩＲの図１６の振幅周波数応答、及び、図１７の位相周波数応答を提供する。振幅周波数応答は、ＢＲＩＲの鋭いピークと谷が、残響除去アルゴリズムの適用後、除かれていることを示している。位相応答は、残響除去後でさえ、位相情報がかなり保存されることを示している。正式でないリスニングでは、畳み込まれた音声の定位も破壊されていないことが分かった。図１６において、グラフ１６０１は、イヤホーン等化後の振幅周波数応答を示し、グラフ１６０２は、部屋等化後の振幅周波数応答を示し、グラフ１６０３は、残響除去後の振幅周波数応答を示し、グラフ１６０４は、スマートフォン欠陥訂正後の振幅周波数応答を示す。図１７において、グラフ１７０１は、イヤホーン等化後の位相周波数応答を示し、グラフ１７０２は、部屋等化後の位相周波数応答を示し、グラフ１７０３は、残響除去後の位相周波数応答を示し、グラフ１７０４は、スマートフォン欠陥訂正後の位相周波数応答を示す。

図１８は、マイクロフォンとしての、例示のイヤホーン変換器の振幅周波数応答を示す。本明細書に記載のシステムは、消費者ユーザを対象とし得るので、イヤホーン変換器及びハウジングは、特に、マイクロフォンとして使用されてよい。パイロット実験においては、市販のインイヤイヤホーンをマイクロフォンとして使用して測定値を取得した。２Ｈｚから２０ｋＨｚにわたる掃引正弦波信号を無響室内のスピーカを通して再生した。イヤホーンカプセルは、スピーカから約１メートル離した。比較のため、基準測定システムを用いて基準測定値を取得した。測定値の振幅周波数応答を図１８に示す。図１８において、グラフ１８０１は、左チャンネル（１８０１）、右チャンネル（１８０２）、及び、基準測定（１８０３）の振幅周波数応答を示す。イヤホーンに対応する曲線の形状が、約１，０００Ｈｚ〜９，０００Ｈｚの基準測定の曲線と類似していることがプロットから分かる。

発明の様々な実施形態を記載したが、発明の範囲内でより多くの実施形態及び実装が可能であることは当業者には明らかであろう。従って、発明は、添付の請求項及びその等価のものを考慮する以外は制限を受けない。

Claims (14)

1. リスニング環境の第１の位置に内蔵ラウドスピーカを備えたモバイルデバイスを配置し、前記リスニング環境の少なくとも１つの第２の位置に少なくとも１つのマイクロフォンを配置することと、
   前記リスニング環境の前記第１の位置にある前記モバイルデバイスの前記ラウドスピーカからテスト音声コンテンツを発することであって、前記ラウドスピーカは、欠けている周波数範囲を有する前記テスト音声コンテンツを発する帯域制限されたラウドスピーカである、ことと、
   前記リスニング環境の前記少なくとも１つの第２の位置にある前記少なくとも１つのマイクロフォンを用いて前記ラウドスピーカが発した前記テスト音声コンテンツを受信することと、
   前記受信したテスト音声コンテンツに少なくとも部分的に基づいて、所望の音声コンテンツに少なくとも１つのイヤホーンによって再生する前に適用する１つまたは複数の調整を決定することと
   を含む方法であって、
   前記第１の位置及び前記第２の位置は、互いに離れて、前記少なくとも１つのマイクロフォンが、前記ラウドスピーカの近距離場内にあり、
   前記少なくとも１つのマイクロフォンが、前記欠けている周波数範囲を考慮するために近距離測定中に前記テスト音声コンテンツを受信するための一対のバイノーラルマイクロフォンのうちの１つである、方法。
2. 前記所望の音声コンテンツに適用する１つまたは複数の調整を決定することは、前記テスト音声コンテンツの前記受信した再生にスペクトル分析を行って、前記テスト音声コンテンツの前記受信した再生の周波数応答を提供することを含む、請求項１に記載の方法。
3. 前記テスト音声コンテンツの前記受信した再生の周波数応答を目標周波数応答と比較することと、
   前記テスト音声コンテンツの前記受信した再生の前記周波数応答と目標周波数応答との比較に少なくとも部分的に基づいて、前記所望の音声コンテンツに適用する１つまたは複数の調整を決定することと
   をさらに含む、請求項２に記載の方法。
4. 前記少なくとも１つのマイクロフォンは、前記少なくとも１つのイヤホーン内若しくはイヤホーン上に配置される、または、前記少なくとも１つのインイヤイヤホーンによって提供される、請求項１〜３のいずれかに記載の方法。
5. 前記少なくとも１つのイヤホーンは、リスナーの耳に差し込まれたインイヤイヤホーンである、請求項１〜４のいずれかに記載の方法。
6. 前記少なくとも１つのイヤホーンは、前記少なくとも１つのイヤホーンをマイクロフォンとして使用する時、受信機周波数特性を有し、
   前記少なくとも１つのイヤホーンの前記周波数特性は、前記テスト音声コンテンツを受信する時、目標受信機周波数特性に基づいて、等化される、請求項１〜５のいずれかに記載の方法。
7. 前記少なくとも１つのイヤホーンは、前記少なくとも１つのイヤホーンがスピーカとして使用される時、エミッタ周波数特性を有し、
   前記少なくとも１つのイヤホーンの前記エミッタ周波数特性は、前記所望の音声コンテンツを再生する時、目標エミッタ周波数特性に基づいて、等化される、請求項１〜６のいずれかに記載の方法。
8. 第１のマイクロフォン及び第２のマイクロフォンをさらに備え、前記第１のマイクロフォンは、前記リスニング環境内のリスナーの片方の耳の近くの第１の位置に配置され、第２のマイクロフォンは、前記リスニング環境内の前記リスナーの他方の耳の近くの第１の位置に配置される、請求項１〜７のいずれかに記載の方法。
9. 前記モバイルデバイスの前記ラウドスピーカは、ラウドスピーカ目的関数に基づいて等化される周波数特性を有する、請求項１〜８のいずれかに記載の方法。
10. 前記少なくとも１つのマイクロフォンの前記周波数特性は、圧力室効果を使用または模倣することによって測定される、請求項１〜９のいずれかに記載の方法。
11. 前記所望の音声コンテンツを前記少なくとも１つのイヤホーンによって再生する前に、前記所望の音声コンテンツへの前記調整の適用をさらに含む、請求項１〜１０のいずれかに記載の方法。
12. リスニング環境の第１の位置に配置された内蔵ラウドスピーカを備えるモバイルデバイスと、
    前記リスニング環境の少なくとも１つの第２の位置に配置された少なくとも１つのマイクロフォンと
    を備えるシステムであって、前記モバイルデバイスは、
    前記リスニング環境の前記第１の位置で前記ラウドスピーカを介してテスト音声コンテンツを発することであって、前記ラウドスピーカは、欠けている周波数範囲を有する前記テスト音声コンテンツを発する帯域制限されたラウドスピーカである、ことと、
    前記リスニング環境の前記少なくとも１つの第２の位置で前記ラウドスピーカが発した前記テスト音声コンテンツを前記イヤホーンから受信することと、
    前記受信した音声コンテンツに少なくとも部分的に基づいて、前記所望の音声コンテンツに前記イヤホーンによって再生される前に前記モバイルデバイスが適用する１つまたは複数の調整を決定することと
    を実行するように構成され、
    前記第１の位置及び前記第２の位置は互いに離れて、前記少なくとも１つのマイクロフォンが前記ラウドスピーカの近距離場内にあり、
    前記少なくとも１つのマイクロフォンが、前記欠けている周波数範囲を考慮するために近距離測定中に前記テスト音声コンテンツを受信するための一対のバイノーラルマイクロフォンのうちの１つである、システム。
13. 前記モバイルデバイスは、モバイルフォン、スマートフォン、ファブレット、または、タブレットを含む、請求項１２に記載のシステム。
14. 前記少なくとも１つのマイクロフォンと前記モバイルデバイスとの間に接続された音声レコーダをさらに備え、前記音声レコーダは、前記モバイルデバイスによって制御され、前記音声レコーダは、前記マイクロフォンによって受信された前記テスト音声コンテンツを録音して、前記録音したテスト音声コンテンツを要求に応じて前記モバイルデバイスに送信するように構成されている、請求項１２または１３に記載のシステム。