JP6285574B2 - エンドポイントミキシングシステムおよびその再生方法 - Google Patents

Description

本発明は、音声の取得、伝送、保管、および、その再生のためのエンドポイントミキシング（ＥＭ）システムに関するものであり、更に、ＥＭ再生方法に関するものである。

現在のコンサート録音は、ライブコンサートのステレオ効果を実現することができない。録音を聴いた人が、直々にコンサートの現場に居合わせているかのような気分になることができない。一方、コンサートの録音用に採用されたマイクロフォンは、コンサートに於ける全ての発音体のディテールを完全に記録することができないうえに、コンサートの録音はライブコンサートの一つの音響または多様な音響のディテール全てを提示することができるというわけではない。

現在のコンサート録音ではライブコンサートのステレオ効果を実現することができず、また、ライブコンサートの音響のディテール全て、特に、多数音源の録音中および再生中の各発音体の位置と運動軌跡を十分に提示することができるというわけではない。本発明は、上記問題を克服することのできるＥＭシステムおよびＥＭ再生方法を提供する。

本発明は、上記の技術的問題に以下のような技術的解決手段を提供する。

本発明は、ＥＭ再生方法、例えば、以下のような工程を含んでいる方法を提供する。

Ｓ０）原初環境に於いて複数の発音体に対応して複数のマイクロフォンを設け、原初環境の複数の発音体に対応するタイプおよびサイズのエンドポイント環境と、複数のマイクロフォンと１対１で対応しているとともに対応しているマイクロフォンに通信式に接続された複数の音響シミュレーション装置とを設け、音響シミュレーション装置は各々が、該音響シミュレーション装置に対応している発音体が原初環境で置かれていた位置と一致するような、エンドポイント環境のエンドポイント位置に配備され、複数の音響シミュレーション装置に通信式に接続された運動追跡装置を設ける工程。

Ｓ１）複数のマイクロフォンが、それらに対応する複数の発音体の音響を音声トラックにそれぞれ同期録音し、運動追跡装置が複数の発音体の運動状態を運動状態ファイルに同期記録する工程。

Ｓ２）複数の音響シミュレーション装置がそれらに対応する発音体の、運動状態ファイルに記録された運動状態で同期運動し、それらに対応するマイクロフォンによってそれぞれに録音された音声トラックを同期再生し、それによりＥＭを再生する工程。

本発明の前述のＥＭ再生方法では、マイクロフォンはいずれも、それが対応している発音体に対向しており、どのマイクロフォンもそれに対応している発音体との間の距離が同一である。

本発明の前述のＥＭ再生方法では、音響シミュレーション装置はスピーカーを備えている。

本発明の前述のＥＭ再生方法では、音響シミュレーション装置の一部もしくは全部はスピーカーロボットであり、スピーカーロボットは各々がその最下部にロボット車輪を、その最上部にロボットアームを備えており、スピーカーはロボットアームのハンド部に配備されている。

工程Ｓ２は次のことを更に含んでいる。スピーカーロボットはそれぞれに対応している発音体の、運動状態ファイルに記録された運動軌跡に沿って運動する。

本発明の前述のＥＭ再生方法では、全ての音響シミュレーション装置はスピーカーロボットであり、スピーカーロボットは各々がその最下部にロボット車輪を、その最上部にロボットアームを備えており、スピーカーがロボットアームのハンド部に配備されている。

工程Ｓ０はロボット家具を提供することを更に含んでおり、ロボット家具は、聴取者を乗せることができる可動ＲＯＢＯ椅子と、映像再生用の表示画面または映写画面を支持している可動ＲＯＢＯスタンドとを備えている。

工程Ｓ２は以下のことを更に含んでいる。エンドポイント環境でＲＯＢＯ椅子、ＲＯＢＯスタンド、および、スピーカーロボットを同期移動させて、これらの相対位置を維持する。

本発明の前述のＥＭ再生方法では、スピーカーは、モーター制御されたガイドレールに滑動自在に配備されている。

工程Ｓ２は以下のことを更に含んでいる。スピーカーは、それらに対応している発音体の、運動状態ファイルに記録された運動軌跡に沿ってレール上を移動する。

本発明の前述のＥＭ再生方法では、全てのスピーカーは、ＷｉＦｉによって連結されている。

本発明の前述のＥＭ再生方法では、工程Ｓ１は、以下のことを更に含んでいる。複数のマイクロフォンのうちの一部または全部に通信式に接続されているとともに、複数のマイクロフォンのうち一部または全部に対応している音響シミュレーション装置に通信式に接続されている音響修正装置を設け、音響修正装置は、複数のマイクロフォンの一部もしくは全部によりそれぞれ録音された音声トラックの音質を修正するか、または、複数のマイクロフォンのうち一部または全部によりそれぞれに録音された音声トラックに対する音響効果を向上させる。

工程Ｓ２は以下のことを更に含んでいる。複数のマイクロフォンのうち一部または全部に対応している音響シミュレーション装置は、それらに対応している、音響修正装置により修正された音声トラックを同期再生する。

本発明の前述のＥＭ再生方法では、複数のマイクロフォンにより録音された音声トラックは、ＥＭＸファイル形式で保存される。

本発明は、ＥＭシステムをさらに提供する。このＥＭシステムは、複数のマイクロフォンであって、これらに複数の発音体が原初環境で対応づけられて、それぞれに対応している発音体の音響を音声トラックに同期録音することが企図されているマイクロフォンと、複数の発音体の運動状態を運動状態ファイルに同期記録する運動追跡装置と、タイプおよびサイズが原初環境のものに一致しているエンドポイント環境と、複数の音響シミュレーション装置とから構成されている。音響シミュレーション装置は複数のマイクロフォンに１対１で対応しており、対応しているマイクロフォンおよび運動追跡装置に通信式に接続されており、対応している発音体の、運動状態ファイルに記録されている運動状態で同期運動し、対応しているマイクロフォンによって録音された音声トラックを同期再生し、それによりＥＭを実行する。どの音響シミュレーション装置も、該音響シミュレーション装置に対応している発音体が原初環境で置かれていた位置と一致するような、エンドポイント環境のエンドポイント位置に配備される。

本発明のＥＭシステムおよびその実行方法は、それぞれ、複数の発音体の音響を複数のマイクロフォンによって音声トラックに録音し、対応している音声トラックを発音体の位置に対応している複数のスピーカーにより再生する。これにより、現場で発音体により演奏されている音響を生成し、非常に良好な音質効果を生じる。

以下に、本発明を添付の図面と実施例を参照しながら更に説明してゆく。

本発明のＥＭシステムの実施例の手のひらスピーカーの概略図である。 本発明の実施例の一体型ＥＭ（ＩＥＭ）主要製品の概略図である。 本発明の実施例の第１形態のＩＥＭ製品の概略図である。 図３に例示されている第１形態のＩＥＭ製品のシーリングブラケットの概略図である 本発明の実施例の第２形態のＩＥＭ製品の概略図である 本発明の実施例の第２形態のＩＥＭ製品の代替例の概略図である 本発明の実施例の第３形態のＩＥＭ製品の概略図である。

＜定義―自然音＞

神は宇宙を創造する。多くの物体または生物が音を立てることがある。いずれの音も、空間で独特の３次元位置を示す。聴取位置は、受信器（例えば人の耳など）を設置するのに利用される、１種の論理的３次元座標である。

聴取者は１または複数の受信器を有しており、数種類の神経網構造も有している。受信器により取得された音響信号は神経網構造に伝送される。神経網構造は、従来、その生物の脳であり、認識と記憶を形成することができる。

聴取者がいると想定して、その近辺の複数の発音体の音響が聴取者の受信器に直に伝送され、その間に聴取者に認識と記憶を持たせるプロセスを、第１次ミキシングプロセスと定義する。聴取位置、音響反射、および、それ以外の要因が、第１位ミキシングプロセスと同時に生じる音響に別な特徴を付加するプロセスを、第２次ミキシングプロセスと定義する。聴取者の正面で生じた音響が取得されて脳に伝送され、それにより認識と記憶を生じる。

前述の認識と記憶の形成プロセスは、以下に概括することができる。

音波が発音体により送られる→音響ミキシングプロセス（第１次ミキシングプロセスおよび第２次ミキシングプロセス）→受信器の正面で音響を生じる→認識および記憶が聴取者の脳により形成される

＜定義―マイクロフォン＞

マイクロフォンは受信器であり、聴取位置に配備されているが、この態様で、音響信号がマイクロフォンにより取得され、電子信号に変換され、次いでコンピュータに伝送される。

音響信号がマイクロフォンにより取得されてコンピュータに伝送される前述のプロセスは、以下に概括することができる。

音波が発音体により送られる→音響ミキシングプロセス（第１次ミキシングプロセスおよび第２次ミキシングプロセス）→受信器の正面で音響を生じる→電子信号

自然音とマイクロフォンの前述の原理に従って、本発明は、エンドポイント（ＥＭ）システムを提供する。このＥＭシステムは、
複数のマイクロフォンであって、これらに複数の発音体が原初環境で対応づけられて、それぞれに対応している発音体の音響を音声トラックに同期録音することが企図されているマイクロフォンと、複数の発音体の運動状態を運動状態ファイルに同期記録する運動追跡装置と、タイプおよびサイズが原初環境のものに一致しているエンドポイント環境と、複数のマイクロフォンに１対１で対応しており、対応しているマイクロフォンおよび運動追跡装置に通信式に接続されており、対応している発音体の、運動状態ファイルに記録されている運動状態で同期運動し、対応しているマイクロフォンによって録音された音声トラックを同期再生し、それによりＥＭを実行する複数の音響シミュレーション装置とから構成されており、どの音響シミュレーション装置も、該音響シミュレーション装置に対応している発音体が原初環境で置かれていた位置と一致するような、エンドポイント環境のエンドポイント位置に配備される。

＜ＥＭ（エンドポイントミキシング）とは何か？＞

マイクロフォンには、２つの主要な用途がある。一方は１つの発音体の音響を録音すること、他方は或る特定環境の音響を録音することである。

音声トラックごとに、ＥＭを利用して１つの発音体の音響を録音し、次いで、電子信号をデジタル音声に変換してから、このデジタル音声を再生するために遠隔環境に伝送し、または、このデジタル音声を将来再生するためにコンピュータに保管する。

複数のデジタル音声トラックは、或る環境で再生することができるが、原則として、ＨｉＦｉ音響再生を実現することを目的としており、１音声トラックごとに１つのスピーカーでしか再生されない。

しかし、実際は、いくらかの変更もある。

１．２以上のスピーカーを使って１本の音声トラックを再生する。

２．特定の環境または発音体の録音がステレオである場合、または、もっと後の段階の製品録音中にステレオ効果またはサラウンド効果を作った場合、再生するのに２以上のスピーカーが必要となる。２つのスピーカー（すなわち、論理上の左スピーカーと論理上の右スピーカー）がある場合、ステレオ音声データを論理上の左スピーカーと論理上の右スピーカーに自然に位置づけることができ、２を超える数のスピーカーがあって、ステレオ音声データを左側音声データと右側音声データに分類することができる場合は、左側音声データを再生するのにどちらのスピーカーを使用し、右側音声データを再生するのにどちらのスピーカーを使用するかを予め設定する必要がある。サラウンド音響データを再生するスピーカーの構成は、サラウンドサウンド技術によって決定される。

ステレオ録音の応用と発音体を再生する２以上のスピーカーの適用により、発音体の音響イメージを大幅に拡大することができる。ＥＭシステムでは、左チャンネルは音声トラックと見なされ、右チャンネルはもう１つの音声トラックと見なされ、これらは音声データの伝送および保存の期間中は独立状態を保っている。

エンドポイントとは、音声トラックを再生する環境のことを意味している。

エンドポイントにおいて、ＥＭは既存のスピーカー技術の使用などのような新機能を導入している。

まず第１に、スピーカーによって発生される周波数スペクトルの２つの尺度を紹介する。

１．尺度１―スピーカーは、高度な一般化から高度な特殊化まで、或る程度は変更することができる。

２．尺度２―スピーカーは、特定の発音体をシミュレートすることにより、高度な一般化から高度な特殊化まで変更することができる。

現在使われているスピーカーの大半は、万能のスピーカーである。ハイエンドＨｉＦｉシステムは大いに一般化が進み、非常に広い音声域を高次元の音量かつ高い音質で再生することができる。他方で、スピーカーは、異なる音声域をカバーするのに、多数のスピーカーユニットから構成されている。

それにも関わらず、音響再生装置（またはスピーカー）で特定の発音体に音を似せることは、ＥＭによって導入された新しい方法である。

＜発音体に音を似せる＞

岩が本来、音を発することができるとは知らなくても、自然界にある大半の物体、例えば、鳥、葉、風、水、雷などが音を立てることができることは分かっている。人類もまた発音体であり、楽器を作り、使用し、特異な音響を立てることができる。

人類の歴史では、取扱の都合上、発音体を分類する。どの範疇の特徴であれ、金管楽器、サクソフォン、アルト・サックス、女性歌手ホイットニー・ヒューストン、鳥、夜鳴鶯などと命名して同定するのである。

本願は、或るタイプの特定発音体、すなわち、単一発音体に音を似せるように共鳴装置を作成することを企図している。例えば、本願のここに提案する技術開発の方向は、以下の発音体をシミュレートすることができる。

鳥、夜鳴鶯、葉、蜂、クジラ、滝、金管楽器、弦楽器、ピアノ、ヴァイオリン、エレキギター、女声など。

技術開発方向を狭めてから、以下の発音体をシミュレートしてもよい。

ヤナギサワ―９９０アルト・サックス、ホイットニー・ヒューストンのような個々の歌手の声など。

本願は、ＥＭが実現することができる全ての可能性を明らかにして、その技術開発方向を指し示す。

しかし、本願の範囲はまた、ＥＭシステムとスピーカーの区分も定める。

＜単一発音体の音響録音＞

録音前および録音中に、以下に記すような現実の（仮想現実の）演壇の情報を取得する。

ＧＰＳ位置、高度、方位計の示す演壇の方向および角度（演壇の配向は現実の（または仮想現実の）聴衆の向きとは逆の方向である）。

標的となる単一発音体についてのＥＭ録音中、主眼点は上述の第２次ミキシングプロセスを排除することであり、聴取位置、音響反射、および、その他の要因は標的となる共鳴物の音響とは完全に異なる録音を残してしまう。換言すると、標的となる単一発音体のＥＭ録音は、原初音響のディテールの全てを高分解能で録音すること重視している。

現在のスタジオ録音や、ライブショーの最中に個々のステージ上のマイクロフォンまたは電子楽器の線形信号を利用したマルチ音声トラック録音は、上述の主眼点の要件を満たしている。

音響の他にも、この録音プロセスは、録音の全期間中に合理的な周波数で発音体と音声取得活動とを同期させることに関する情報をデータに転換する。このデータは以下のものを無制限に含む。

３次元空間における参照定点と相対的な聴取位置、例えば、発音体ごとの配向。

この実施例では、どのマイクロフォンも、それに対応している発音体に対向しており、どのマイクロフォンも、それに対応している発音体との間の距離は同一である。

マイクロフォンとそれに対応している発音体が互いの対向している状態に限定されないものと理解すべきである。代替例として、マイクロフォンの配向は、それに対応している発音体と特定の角度を成すこともある。

＜定義―リアルタイム対タイムシフト＞

録音された音声データは、主として以下の２つの態様でエンドポイントに伝送される。

１．リアルタイム

２．タイムシフト

技術によってはそのいずれもが、コンピュータファイルの使用、保管、転送、および、利用者の必要に応じた再生などを含んでいるタイムシフトの概念を適用するものもある。本願では、タイムシフトを採用する場合は、前述の技術を全て利用する。

＜ＥＭの４つの形態＞

ＥＭの第１形態―全部が定位置を占めている複数の同期発音体のＥＭについて

録音時間には、全ての発音体が同じ時間に音を立てると思われるが、例えば、海辺で開催されるコンサートや音楽ホールにおけるオーケストラ演奏会などにおいて、どの発音体も３次元空間中の定位置を占めており、どの演奏家も定位置に着いている。ここでは、ＥＭの目的は、原初環境およびこの原初環境に関連する全ての音響とをシミュレートすることのできるエンドポイントを確立することであり、具体的には、ＥＭはエンドポイントにおける全ての歌手および楽器の音響の正確な再生に重点を置いている。再生プロセスはリアルタイムの場合もあればタイムシフトの場合もある。

第１形態のエンドポイントには、以下の特徴がある。

１．エンドポイントは、タイプおよびサイズが原初環境のものと一致しているエンドポイントである。

２．エンドポイントは、原初の発音体をシミュレートする音響シミュレーション装置から構成されており、例えば、エンドポイントは、ハイエンドＨｉＦｉシステムおよびハイエンドスピーカーを備えているか、或いは、ＨｉＦｉシステムおよび特定音声域に好適な特殊スピーカーを備えている。

３．どの音響シミュレーション装置も、原初環境で発音体が置かれていた定位置に一致するような、エンドポイント環境のエンドポイント位置に配備されている。

例えば、海辺で開催されるコンサートでは、発音体は楽隊である。楽隊は、バス・ギター、第１エレキギター、第２エレキギター、アクースティック・ギターなどのような複数のギターを擁しており、また、鍵盤楽器、ドラム、歌手などを更に擁している。

海辺で開催されるライブコンサートをシミュレートするエンドポイントには、以下の特徴がある。

１．エンドポイント環境および原初環境が同じ海辺である。海に対する音響シミュレーション装置の向きは、海に対する楽隊の向きと同じである。

２．音響シミュレーション装置には、ギター・トークボックス、ステレオ・スピーカー、ドラムビート・シミュレーションスピーカー、シンギング・シミュレーションスピーカーなどがある。

３．エンドポイント環境では、複数のギター・トークボックスが複数のギターを１対１でシミュレートする。

４．鍵盤楽器の音響のシミュレーションの間はハム音が混ざるのが普通であるため、鍵盤楽器をシミュレートするには、エンドポイント環境でステレオ・スピーカーが使用される。

５．エンドポイント環境では、ドラムはドラムビート・シミュレーションスピーカーによってシミュレートされる。

６．エンドポイント環境では、歌唱はシンギング・シミュレーションスピーカーによりシミュレートされる。

７．音響シミュレーション装置はいずれも、エンドポイント環境（すなわち、原初環境）で発音体が置かれた定位置と同じエンドポイント位置に配備される。

代替例では、音楽ホールで開催されるオーケストラ演奏会に於いては、発音体は複数の楽器である。

音楽ホールで開催されるオーケストラ演奏会をシミュレートするエンドポイントは、以下の特徴を有している。

１．エンドポイント環境は、タイプおよびサイズが原初環境のものと一致する音楽ホールである。

２．音響シミュレーション装置は複数の特殊スピーカー(またはハイエンドＨｉＦｉシステム)を含んでおり、これは複数の楽器を１対１でシミュレートする。

３．全ての特殊スピーカー(またはハイエンドＨｉＦｉシステム)は、原初環境で複数の楽器が置かれていた定位置と一致するような、エンドポイント環境のエンドポイント位置に配備される。

第１形態のＥＭにより、演奏会は原初環境とは異なるエンドポイント環境で同期放送することができるようになり、或いは、リアルタイムの演奏会後の何時であれ、同じ環境で再生することができる。

ＥＭの第２形態―全部または一部が動いている同期発音体のＥＭについて

前述の第１形態のＥＭに基づいて、第２形態のＥＭは、既存のスピーカーを基礎としたロボット工学技術を採用するか、または、既存のスピーカーをモータ制御されたガイドレール上に滑動自在に設置する。この態様で、スピーカーは、それに対応している発音体の、運動状態ファイルに記録されている運動軌跡に沿ってガイドレール上を移動することができる。

例えば、音響シミュレーション装置は一種のスピーカーロボットであり、スピーカーロボットは各々がその最下部にロボット車輪を、その最上部にロボットアームを備えており、スピーカーはロボットアームのハンド部に配備されている。音声再生中は、スピーカーロボットは特定の３次元位置に向かって移動し、音声トラックの保存情報に基づいてスピーカーの配向を調節する。

工程Ｓ２は更に以下のことを含んでいる。スピーカーロボットは、それに対応している発音体の、運動状態ファイルに記録されている運動軌跡に沿って移動する。

ここでは、運動状態ファイルはビデオ・ファイルである場合があり、或いは、原初環境における発音体の記録座標である場合もある。ここでは、運動状態ファイルは運動追跡装置により記録され、運動追跡装置は複数の音響シミュレーション装置に通信式に接続されている。

ガイドレールの上を移動するスピーカーの採用は、低コストで録音再生する方法であるが、再生された録音の効果は満足のゆくものではない。

再生中、これらのスピーカーロボットは、相互の衝突を避けるために互いに協働する必要がある。スピーカーロボット間の衝突回避を斟酌するならば、どのスピーカーロボットも、それが録音再生の全効果に与える衝撃を低減すべきである。もう１つの取組みは、スピーカーロボットの衝突が録音再生の効果に与える衝撃を最小限に抑えるように、スピーカーロボットを作動させることである。

これに代わるスピーカーの実用的応用例では、スピーカーロボットは歌手のようにステージ上を移動することができ、或いは、歌手のようにファンに手を振ることができる。

スピーカーロボットの代替の実用的応用例では、概して演奏家は実演中に踊ったり自らの身体を軽く震わせるので、それに応じてスピーカーロボットも録音中に震える。録音の再生中も、スピーカーロボットは同様に震える。これらスピーカーロボットは、ダンシング・ロボットスピーカー（ＤＲＳ）とも呼ばれる。

たとえば、スピーカーロボットは、どんな外観を呈していてもよく、ありふれたスピーカーでも、動物でも、或いは、従来の人型ロボットでもよい。多様な外観の組合せが、スピーカーロボットの外観設計に同時に適用されてもよい。

ＥＭの第３形態―非同期発音体のＥＭについて

録音中に発音体の一部または全部が異なる時間に実演される場合には、既存の音楽製品工場で音声トラックをＥＭＸファイルに変換し、音楽製品工場が仮想現実位置情報を設定してエンドポイントに仮想現実位置情報を送り、エンドポイントで音声を再生することができるようになる。この形態のＥＭでは、タイムシフト伝送のみが発現する。ここでは、ＥＭＸは、ＥＭ音声データを含んでいるだけのファイル形式である。

エンドポイントの第３形態には、以下の特徴がある。

１．エンドポイントは、音声様式にふさわしいエンドポイント環境である。

２．エンドポイントは、原初発音体シミュレートする音響シミュレーション装置から構成されており、例えば、エンドポイントはハイエンドＨｉＦｉシステムおよびハイエンドスピーカーから構成され、または、ＨｉＦｉシステムおよび特定の音声域域に好適な特殊スピーカーから構成されている。

３．どの音響シミュレーション装置も、原初環境で発音体が置かれていた定位置と一致するような、エンドポイント環境のエンドポイント位置に配備されている。

ＥＭの第４形態―複数の自由発音体のＥＭについて

前述の第１形態のＥＭ、第２形態のＥＭ、第３形態のＥＭに基いて、第４形態のＥＭはスピーカーに以下の特徴があることを要件とする。

１．スピーカーは動くこと（移動、高速移動、および、飛行など）ができ、何であれ、人間に益する物体、動物、植物を傷つけたり損なうことを回避するように、スピーカーは運動中に安全予防措置をとる。楽曲が鳴るとき、スピーカーはビートに合わせて踊ることができる。スピーカーの運動が安全である限り、可聴域においてスピーカーの移動速度は無制限である。空中の音波伝送の時間遅延速度も補償される。

２．スピーカーは、予め定められた物理的限界内で移動する。スピーカーとして使用されているスピーカーロボットがＥＭシステムの一部である場合は、スピーカーロボットはそれぞれの原初運動位置にいつでも戻ることができる。ここでは、エンドポイントの物理的限界域は無制限である。

３．ＥＭシステムは、どのスピーカーの音声トラックであれ、もう１つのスピーカーで再生されるようにするよう構成し直すことができる。

４．どの音声トラックの音量も、０から最大限まで調節可能である。

５．ＥＭシステムまたはオンラインのインターネットサービスは、音質を修正するため、または、例えば、すべての音声トラックごとに残響および遅延を実行する等の、音響効果を向上させるために採用される。

６．スピーカーの音声トラック、スピーカー位置、スピーカー配向および角度、スピーカー運動、楽曲に合わせてのスピーカーのダンシング、スピーカー音量、および、スピーカー音響修正は、以下の要因によって決定される。

ａ）物理的制約――エンドポイントのタイプ、サイズ、および、間隔、すなわち、全てのスピーカーのタイプおよび質。

ｂ）原初演奏についての楽曲創作者の考え方。

ｃ）楽曲の様式と概念。

ｄ）ＥＭの国際サービス・センターの薦め。

ｅ）ＥＭ支持者のソーシャルネットワークの薦め。

ｆ）聴取者の向き、気分、および、心的状態。

ｇ）ステレオ音声トラックとサラウンド音声トラックごとに音響イメージを創るようにとの聴取者の要望。

ｈ）ＥＭ再生システムにおけるソフトウエアの所定のプログラム主題。

ｉ）聴取者が熟考したうえでの決定または感情的決定。

７．他のＥＭシステムと同期した再生――該当ＥＭシステムとそれ以外のＥＭシステムの同期再生が、コンピュータ・ネットワークによってつながれているＥＭシステムの相互の同時のサーバー伝送または情報伝送に基づいて実現される。

＜ＥＭに関する更なる議論＞

＜自動感応装置を用いた音量制御＞

スピーカーの組み込みＬｉｎｕｘコンピュータ・センサーを採用することにより、ＥＭシステムは、エンドポイントで音量を計算することができる。音量が大き過ぎる場合、ＥＭシステムは視覚警報を出すことができるうえに、バランスのよい方法で全てのスピーカーの音量を安全音量レベルに自動調節することができる。

＜聴取者の位置＞

ＥＭの使用は、再生されるＥＭの現場および聴取者を選ばず無制限であるが、人の数が多くない限り、ガイドを置いて、聴取者全員がＥＭを満足して聴くことができるようにする、すなはち、聴衆がその身体や物体により他の聴衆がＥＭを聴く妨げとなることがないようにする。

２以上の音声が同じＥＭシステムで多様な聴取者のために同時再生される場合、これら２以上の音声を別個に再生するスピーカーは互いから切り離される。

先行技術（例えば、サラウンドサウンドシステム）は、聴取者が特定領域にいることを要件としており、より厳密に言うと、ハイエンドＨｉＦｉシステムは聴取者が特定位置（すなわち、キング・シート）にいることを要件としていたが、これらの技術とは異なり、ＥＭシステムは、聴取者がスピーカー領域の内外のいかなる位置にいてもよいとしている。音響シミュレーション装置がスピーカーロボットである場合、スピーカーロボットは自動配備されることにより聴取者が最適の音響を聴くことができるようにしてもよいし、或いは、スピーカーロボットが広い聴取角を呈するようにしてもよい。この場合、聴取者はスピーカーの間に座るかもしれないし、立ったままかもしれないし、それらの間を歩き廻るかもしれない。聴取者は耳をスピーカーに近づけることにより、より大きくより明瞭な音声トラックを聴くこともできる。例えば、歌唱またはヴァイオリンの音声トラックのディテールを聴くことができる。スピーカーから離れた位置にいる聴取者も音響を高品質で聴くことができる。このような設計のスピーカーは聴取者の位置を提供し、スピーカーに広い聴取角を持たせる。スピーカーの聴取角は３６０度の球面角を取ることができる。

本願は、音楽ホールの聴覚領域（すなわち、聴取位置領域）を確立するやり方は全く無制限であるが、音楽ホールに於ける一実施例を明示すると、音楽ホールの聴覚領域とは、音楽ホールの公の領域または寝室のことである。聴衆は全て、音楽ホールの聴覚領域の中央にあって、どのスピーカーの聴取角も３６０度である。このようなセッティングでは、スピーカーが録音されたＥＭを再生すると、音楽ホールの聴覚領域の多様な位置にある人々は、ＥＭに傾聴している経験や海辺または賑やかな商業中心区を歩いている経験に似た、多様な音響を聴くことになる。更に、交響楽団が古典楽曲を演奏している場合、ＥＭにより聴取者は楽団の間を通りぬけることができるようになり、或いは、ＥＭにより聴取者はシンギング・シミュレーションスピーカーに耳を近づけることができるようになり、これにより聴取者は歌手の詠唱のディテールを全て聴くことができる。

しかし、前述のセッティングは、聴取者全員が最適聴取効果のある聴取者配向にあることを想定しなければならない。聴取者は、専門の装置の助けを借りれば、最高の音質を聞くこともできる。

＜編集＞

ＥＭＸファイル形式の最初のバージョンは、ＭＩＤＩファイル形式に類似している。ＥＭＸファイル形式とＭＩＤＩファイル形式の主たる違いは以下のとおり。ＥＭＸファイル形式は広範囲向けに設計されており、楽曲創作者が録音、編集、および、聴取する必要と聴取者が聴取する必要に応じるのみならず、聴取者にも録音および編集が行えるようにする。ＥＭＸファイル形式とＭＩＤＩファイル形式のもう１つの主たる違いは以下のとおりである。ＥＭＸファイル形式により誰もが音声トラックを修正することができるようになり、１音声トラックを修正しても他の音声トラックは変わらずそのままである。

ＥＭＸファイルまたはＥＭＶＳファイルを採用してどの音声トラックでも修正することが誰にでもできるうえに、修正結果の音声トラックをもう１つ別のＥＭＸファイルまたはＥＭＶＳファイルで保存するか、または、既存のファイル形式であるＷＡＶまたはＭＰ３で保存することもできる。ＥＭＶＳは、ＥＭの音声データおよび映像データを含んでいるファイル形式である。修正結果の音声トラックはリードオンリー・ファイルである場合もあれば、消去可能なファイルである場合もある。このような保存設計により、ＥＭＸファイルの音声トラックを誰でも簡単に書き加え、削除し、修正することができる。従って、一般人向けに音声編集機能を設けることにより、ＥＭは楽曲創作の新しい時代を開けたのである。理論的には、ＥＭＸファイルの音声トラックの分量は無制限である。しかしながら、非常に大容量のＥＭＸファイルはエンドポイントにセットされた非常に大型のＥＭシステムでしか再生することができず、或いは、エンドポイントで作動するクラウドサーバーを利用することによってしか再生することができない。

原初楽曲創作者は創作した音楽データの全部または一部を保護するにあたり、ＥＭツール、ＥＭＸファイル形式、および、ＥＭシステムの著作権保護を適用することにより当該音楽データをリリース後に修正不能にすることにより実施することができる。

さらに、オンラインのソーシャルネットワークおよび仮想組織の運用特性を利用することによって、ＥＭは多様な才能を有する音楽家らが一緒に作業して国際的視野でＥＭＸファイルを創作することができるようにする。

ＥＭＸファイル形式の特徴に従って、本実施例では、ＥＭシステムは、音響修正装置を更に備えており、複数のマイクロフォンのそれらの一部もしくは全部に音響修正装置に通信式に接続されて、該一部もしくは全部によりそれぞれに録音された音声トラックの音質を修正するか或いは該一部もしくは全部によりそれぞれに録音された音声トラックの音響効果を向上させることを企図しており、複数のマイクロフォンの一部もしくは全部に対応している音響シミュレーション装置は、音響修正装置に通信式に接続されており、音響修正装置により修正された音声トラックを同期再生するよう企図している。

＜サラウンドサウンドの先行技術との比較＞

ＥＭに基づいて、ＥＭシステムでは、スピーカーの位置設定がスピーカー位置ごとのサラウンドサウンドの要件を満たす限りは、サラウンドサウンド(５．１サラウンドサウンド、６．１サラウンドサウンド、および、７．１サラウンドサウンドを含む)を再生するのにどんな種類のスピーカーでもサラウンドサウンドスピーカーとして使うことができる。いずれにせよ、特殊スピーカーはサラウンドサウンドを再生するのに好適ではないが、万能のスピーカーは推奨される。また、運動データしか読み込むことができないスピーカーロボットも利用することができない。

ＥＭシステムには所定のサラウンドサウンド再生モードが設けられている。このサラウンドサウンド再生モードは、サラウンドサウンド技術のタイプに基づいてあらゆるスピーカーで音を生成することを企図している。ＥＭは既存のサラウンドサウンド技術を適用してサラウンドサウンド音声データを復号化して再生する。

全てのスピーカーは、ＷｉＦｉによって接続されているのが好ましい。

或る種のＥＭシステムは、単純なスピーカーロボットを使用する。例えば、「スピーカーを５．１サラウンドサウンドモードに設定」するボタンなどのようなボタンを押すことによって、好ましいサラウンドサウンド位置および実際のエンドポイント構成に基く物理的移動をスピーカーに自動的に遂行させる。全てのスピーカーの使用プロセスが終わってから、スピーカーは原初の位置に戻る。ここでは、ＷｉＦｉによってＥＭシステムに接続されているとともにソフトロボット音楽家・ソフトウエアすなわちスピーカーロボット・モデルＡが内部にインストールされている、ロボット車輪および垂直レールを備えている種類のスピーカーロボットが、サラウンドサウンドの目的に叶っている種類のスピーカーロボットである。しかし、本願はスピーカーロボット・モデルＡの使用をサラウンドサウンドに限定するものではない。

＜ＥＭとＭＩＤＩの関係＞

ＭＩＤＩはＥＭＸファイルに内蔵される。例えば、楽曲製作者または聴取者が万能ＭＩＤＩ楽器を特殊スピーカー位置に置くことができる。この論理上の決定は楽器の使用効果に基いて行われる。特殊スピーカーの位置に楽器を置くことは適切なマッピング法であり、例えば、ＭＩＤＩ三角形グランドピアノ（１番）を自動演奏ピアノ上に位置づけるのが最適である、といったふうに。

ＥＭＸファイルでは、運動データが音声トラックを利用することについてのデータは、標準的なデジタル音声データ形式よりはむしろ、既存のＭＩＤＩファイル形式を採用する。換言すると、原初の音声データは特定の音響チャネルでは伝送することができないが、入力装置の操作を取得してＭＩＤＩファイル形式で保存することはできる。

ＥＭの再生は、以下の２つの態様により実現することができる。第１に、ＥＭシステムのＭＩＤＩレンダリングモジュールにより、ＭＩＤＩデータは音声データに変換され、この音声データが万能スピーカーによって再生される態様であり、第２に、ＭＩＤＩデータストリームがスピーカーロボット向けに準備され、スピーカーロボットが直接それを再生する態様である。自動演奏ピアノの使用は、スピーカーロボットがどのようにＥＭシステムからＭＩＤＩ運動データを受信するか、そして、スピーカーロボットがどのようにＭＩＤＩ運動データをエンドポイントで再生される音響に変換するか説明する良い例である。

更に、既存のＭＩＤＩ楽器はＥＭＸファイル形式をサポートする。このように、エンドポイントユーザーはＭＩＤＩ楽器を使うことで楽曲を生成して聴くことができる。

＜ＷＡＭ（ワイド・エリア・メディア）再生＞

ＷＡＭ再生の主要な目的は、ＷＡＭ再生を従属装置で選択的に利用することでＥＭを鮮明に再生することである。

後段に、ＷＡＡ（ワイド・エリア・オーディオ）再生の主要形態を記載する。ＥＭシステムにおいて一部または全部のスピーカーを選択することにより、ユーザーはこれらスピーカーで音声を以下の態様で再生することができる。

１．全てのスピーカーが同じ音声トラック、すなわち、１本の音声トラックを再生する。

２．聴衆の近位にあるスピーカーのみが音響再生し、音響再生している全てのスピーカーは同じ音声トラックを再生するか、または、聴衆の向きに関連している多様な音声トラックを再生する。このように、ＥＭシステムは、ＥＭＸファイルまたは既存のステレオ録音をこれらスピーカーで再生することができる。一方、聴衆はＥＭ制御ツールを使うことでＥＭＸファイルを再生することができ、ＥＭＸファイルのどの音声トラックでも、１または複数のスピーカーで再生させることができる。

ＷＡＶファイルも同様に再生される。

＜音声および映像の放送＞

ＥＭ放送は、音声および映像の放送の一形態である。

１．ＥＭ放送は、地球およびそれ以外の適当な惑星（火星など）をカバーする。

２．同じＥＭシステムの２つのスピーカー間の最大の伝送ラグタイムは６０秒である。伝送ラグタイムとは、電子信号が録音装置で生成される時間とスピーカーが音波を送る時間の差である。

３．安全放送―エンドポイントの録音装置と全てのスピーカーとの間でデータを伝送している期間中は、聴取者の希望に基いた修正であることを唯一の例外として、データ修正は厳禁である。例えば、聴取者の決定により、クラウドサーバーにより放送フィードで供与される修正済みのレンタル音楽を採用する場合など。安全放送の要件は、公開鍵暗号化モジュールによりデジタル化された態様で示される。

本願は放送の基本的な要素をカバーするが、ここに記載する放送機能に限定されるものではなく、放送関連の領域は既存の放送技術を向上させて、例えば、ＥＭ音声、ケーブルテレビ放送網などを提供する。

音声データがＥＭデータ主題に連続的に入力されるという設計に基づいて、ＥＭＸファイルは、データストリームの条件を満たす使用方法である。よって、ＥＭシステムは、音を再生している最中に、ＥＭデータ主題をダウンロードすることができる。それは、大半の既存のインターネット・ビデオデータストリーム技術に類似している。ＥＭデータストリームの帯域幅はビデオデータストリームの帯域幅より狭くなるため、ＥＭＸファイルを使った音声データストリームの再生は先行技術によって実現することができる。

ビデオ放送に好適なＥＭＶＳファイルのデータストリームとＥＭＸファイルのデータストリームは、同じ再生方法を採用する。

音声および映像の放送は、ビデオサーバーによってビデオファイルをＥＭＸファイルやＥＭＶＳファイルと置換するという態様で実現され、ＥＭシステムにクライアントソフトウエアモジュールを追加している。このように、このクライアントソフトウエアモジュールは、ＥＭデータ主題を受信し、ＥＭデータ主題を復号化およびレンダリングし、音声トラックを配給し、スピーカーで音声再生を実現する。

＜正規スピーカー、スピーカーロボット、または、万能ロボットの視覚効果および実体＞

全てのスピーカーは、ＥＭシステムに接続することができる。

しかしながら、本願が紹介しているスピーカーロボットはより多くの機能を持っており、それら機能は以下の規則に従う必要がある。

１．スピーカーロボットはどのような形態にでもすることができる。

２．屋外での使用時や暗い環境下で、スピーカーロボットの損傷、乱用、または、誤用を避けるために、スピーカーロボットはその存在を示すために明瞭な視覚信号を発する必要がある。例えば、スピーカーロボットは、近くの人々にその存在と位置を通知し、どこで、なぜ音が聞こえるかを人々に知らしめるために、「音声再生が進行中である」または「ＥＭの第４形態」というスローガンを示すようにしてもよい。スピーカーロボットがスローガン表示を開始する際には、スローガンは十分適格であるべきである。それに続いて、スローガンはスピーカーが表示を開始した時に採用されたのと同じ明るさを維持し続けてもよいし、或いは、わずかに暗くなってもよいが、スローガンの明るさは、少なくとも１０分ごとに１度は原初の明るさに回復されるべきである。

＜ロボット家具＞

ＥＭシステムはロボット家具も含んでいる。ＲＯＢＯ椅子は、高容量の電池が備わった椅子であり、どの脚にもロボット車輪を有している。高容量の電池はＲＯＢＯ椅子の運動に電気エネルギーを供与する。ＲＯＢＯ椅子はスピーカーロボットに類似しており、１または複数の聴取者がＲＯＢＯ椅子に座ることができる。ＲＯＢＯ椅子は、ＥＭシステムの指令に応じて移動することができる。

同様に、ＲＯＢＯスタンドは、ロボットの一般的な目的に適った起立フレームである。ＲＯＢＯスタンドは、主にビデオ再生表示画面（５５ンチＬＥＤテレビ画面などのような）あるいは映写スクリーンを支持するために使用される。

ＥＭシステムはＲＯＢＯ椅子を中心と見なし、また、ＲＯＢＯ椅子、ＲＯＢＯスタンド、および、スピーカーロボットに送信されるコマンドおよび制御信号を決定するにあたり、ＲＯＢＯ椅子、ＲＯＢＯスタンド、および、エンドポイント環境の間の相対位置およびスピーカー間の相対的な位置をもって決定する。

具体的には、本実施例では、ＲＯＢＯ椅子、ＲＯＢＯスタンド、および、エンドポイント環境間の相対位置とスピーカー間の相対位置について以下の三項目のみを決定する必要がある。

ａ）ＲＯＢＯ椅子とエンドポイント環境との間の３次元相対位置。

ｂ）ＲＯＢＯ椅子とＲＯＢＯスタンドとの間の３次元相対位置。

ｃ）ＲＯＢＯ椅子とスピーカーロボットとの間の３次元相対位置。

エンドポイント環境でＲＯＢＯ椅子、ＲＯＢＯスタンド、および、スピーカーロボットを同期移動させるとともに、エンドポイント環境に於けるＲＯＢＯ椅子、ＲＯＢＯスタンド、および、スピーカーロボットの間の相対位置を計算して維持することにより、仮想現実の「家移動効果」を作成することができる。この家の移動効果は、エンドポイント環境に於けるＲＯＢＯ椅子、ＲＯＢＯスタンド、および、ロボットスピーカーや、フロアタイプ、風、機械的精度、および、その他の要因に依存するが、これら要因の相互協働が家移動効果を最上効果に向上させることができる。

同様の方法はまた、屋外でも採用される。例えば、ＥＭシステムがゆっくりと森を通過する場合、ユーザーは「森林移動」の効果を受けることがある。

代替実施例では、エンドポイント環境に於けるＲＯＢＯ椅子、ＲＯＢＯスタンド、および、スピーカーロボットは自由に移動することができる。この自由移動は以下の基本原理を追従している必要がある。ユーザーが「家（またはエンドポイント環境）移動効果」を得ることを所望している間は、ＲＯＢＯスタンドは使用されず、ＲＯＢＯ椅子およびスピーカーロボットは同じＥＭのスピーカー位置設定およびヒアリング規則を遵守する必要がある。

代替の実施例では、ウォーキングオーディエンス・リスニング技術は、スピーカーロボットの間に固定的に配備されているＲＯＢＯ椅子を移動させるように、または、聴取者とスピーカーロボットとの相対運動関係を維持するように採用される。

同様に、ロボット運動方法および遠隔制御能力は、他の家具にも同じような態様で拡張されており、家具の具体例は無制限であり、以下のものが含まれる。

テーブル類、ランプ類など。

＜ウエアラブルＥＭ製品＞

＜手のひら拡声器（パームスピーカー）＞

スピーカーは服に取り付けることができる。この設定に適した多くの芸術的でファッショナブルなデザインがある。

パームスピーカーは、ウエアラブルＥＭ製品である。これは、図１に例示されているように、手袋の掌部に配備された平たい円形のＢｌｕｅｔｏｏｔｈスピーカーを備えている。一方、ＪＭＢ２ソフトウエアバージョンはユーザーのスマートフォン上で作動する。ＪＭＢ２は、スピーカーにインストールされて計算能力を示す装置であるとともに、ＲＪ４５のＬＡＮポートや音声出力ＤＡＣモジュールなどのような入出力装置である。

手袋ごとにその内側に円形のＬＥＤおよびジャイロスコープが取付けられる。ジャイロスコープは、手を上げるか下ろすかしたかどうかを検出することを企図しており、或いは、手のひらの向きを示すことを企図している。

ユーザーがＢｌｕｅｔｏｏｔｈヘッドセットを有している場合は、ＪＭＢ２の音声出力結果はユーザーの出す音響と交じる。ユーザーの出す音響はパームスピーカーで再生される。

＜ＩＥＭ（一体型ＥＭ）製品＞

＜ＩＥＭの主な製品＞

ＩＥＭの主な製品の目的は、本願のＥＭの全ての機能を実現することである。

以下に推奨品を紹介するが、本出願の製品は以下の製品に限定されないが、本願の思想に従った全ての修正例や変更例は、本願の保護範囲内に入るものとする。

ＩＥＭの主な製品は電子製品であって、内蔵型のＣＰＵ、メモリ、および、ストレージなどがあり、ＥＭのハードウエアシステムを制御することを企図している。ハードウエアシステムはＬｉｎｕｘシステムと、ＥＭを制御するためのＥＭソフトウエアとがインストールされている。ＩＥＭの主な製品には、ＷｉＦｉでＬＡＮと通信接続するためのＷｉＦｉ通信モジュールも含まれている。また、ＩＥＭの主な製品は内部コンパートメントを備えている。コンパートメントには、レールに取付けられた少なくとも４つのスピーカーが配備されている。

ＩＥＭの主な製品は、以下の主たる特徴を有している。

これは、ＥＭ音声を再生することができる。

スピーカー間の位置は再生されるＥＭ音声のタイプによって変わる。

図２を参照すると、ＩＥＭの主な製品は、スピーカーの移動中に、特にＥＭの音声再生中またはスピーカーの高速移動中に人や動物を傷つけることを回避するための保護レールのように見える。

＜第１形態のＩＥＭ製品＞

ＩＥＭの主な製品に基づいて、第１形態のＩＥＭ製品は以下の付加的な特徴を具有している。

１）図３は第１形態のＩＥＭ製品を例示している。ＩＥＭ製品１０の第１形態は、シーリングブラケット１とロボットを備えている。シーリングブラケット１は、固定的に天井に取り付けられる。シーリングブラケット１を除き、ＩＥＭ製品１０の第１形態の他の部分はロボットである。ロボットは、着脱可能にシーリングブラケット１上に配備されている。

２）シーリングブラケット１が取り付けられると、ブラケットを伸ばすことによりロボットの高さを調整することができる。ロボット高さ（すなわち、床面からロボットまでの高さ）は自動調整することができる。ロボット高さは１メートルから天井の高さまでである。従って、聴取者はロボットの高さを調節することで、自身と同一平面の音響を聴くことができる。

３）ロボットがシーリングブラケット１から取り外される際には、ロボットの底部カバーが取り外され、ロボットの底のロボット車輪２が露わになる。ロボットは屋内または屋外で使用することができる。ユーザーは、自身の携帯電話の遠隔制御ソフトウエアにより、ロボットに命じて音響再生させることができ、移動させることができ、自由運動をさせることができ、または、聴取者の命令に常時従わせることができる。視覚信号をユーザーの携帯電話に伝送して、この携帯電話で再生することができる。

４）複数の電球３が包囲する態様でロボットに配備されており、これらの電球３の通常の点灯は普通の壁スイッチによって制御されてもよいし、或いは、携帯電話（携帯電話で作動されるソフトウエア）により制御されてもよい。音声再生中に、娯楽のために、ユーザーが複数の電球３のフラッシュを多様な色で焚くようにしてもよい。

５）シーリングブラケット１が取り外されると、図４に例示されているとおりになる。これは、従来のランプのように働き、従来の壁ランプや携帯電話（携帯電話で作動されるソフトウエア）によって制御することができる。

＜第２形態のＩＥＭ製品＞

第１形態のＩＥＭ製品に基づいて、第２形態のＩＥＭ製品は以下の付加的特徴を具有している。

１）図５に例示されているように、ロボットアーム上の１または複数の透明な表示画面４がシーリングブラケットに取り付けられている。

２）衝突検出の結果に基づいて、１または複数の表示画面４は上向きまたは下向きに調節することができる。表示画面４は、使用中である場合は、図６に例示されているように、上向きに調整される。可聴アラームおよびＬＥＤが１または複数の表示画面４に配備されている。

３）表示画面４は、ＪＢＯＸ−ＶＩＤＥＯに出力様式で接続されている。ＪＢＯＸ−ＶＩＤＥＯは、表示画面４を有しているコンピュータで作動するただのソフトウエアである。

４）従来の表示画面がこれらの透明表示画面４に置き換わってもよい。

＜第３形態のＩＥＭ製品＞

ＩＥＭの主な製品に基づいて、第３形態のＩＥＭ製品は以下の付加的特徴を具有している。

１）第３形態のＩＥＭ製品はスピーカーロボットである。スピーカーロボットは、ロボットを移動させることができるロボット車輪またはその他の構成部材を備えている。

２）第３形態のＩＥＭ製品は、図７に例示されているように、愛らしい外観を有している。その外観は蛸である。

３）いずれのスピーカーもロボットアームの末端に取り付けられている。

４）それは、第１形態のＩＥＭ製品と第２形態のＩＥＭ製品の特徴の一部または全部を有している。

第３形態のＩＥＭ製品は或る視覚的効果を有するようにするために、以下の手段を採用してもよい。

１）電球、ＬＥＤ、または、レーザーランプが第３形態のＩＥＭ製品に取付けられる。

２）第３形態のＩＥＭ製品の形状に基づいて、ＬＥＤが第３形態のＩＥＭ製品の全面に取り付けられる。

３）フラットパネルＬＥＤ表示画面が第３形態のＩＥＭ製品に取り付けられている。

４）第３形態のＩＥＭ製品の近位にあるＪＢＯＸ−ＶＩＤＥＯ製品を用いて、フラットパネルＬＥＤ表示画面を制御することができる。

５）第３形態のＩＥＭ製品の近位にあるモバイル装置を用いて、第３形態のＩＥＭ製品上の電球、ＬＥＤもしくはレーザーランプ、フラットパネルＬＥＤ表示画面、または、これらの各種組合せを制御することができる。

＜ＥＭ音楽の新世界――新しいエンドポイント環境、新しい楽器、新しい音楽のプレゼンテーションモード＞

新しいＥＭ使用モードでＥＭ音楽を創作するのは、恐らく人類史上初めてのことである。人類は新しい革新的かつ精巧な世界を創造することができる。この新しい世界の具体例を以下に挙げる。

１）新しいエンドポイント環境――このエンドポイント環境は広大な地理的領域にまたがっている。例えば、１０万のスピーカーが５万平米の庭で使用され、全てのスピーカーが音声トラックを再生する。

２）新しい楽器――発音体とＥＭ技術により、人々のための新しい芸術的体験が創作される。例えば、５千体のガラスの柱があり、どのガラスの柱も高さ１０メートルで水で満たされており、最上部にスピーカーが設けられている。全てのスピーカーがＥＭシステムに通信式に接続されており、柱は各々がハープの独特の和音の音響を生成する役割を負っている。このエンドポイント環境はＥＭＸファイルやＥＭＶＳファイルのＭＩＤＩ音声トラックを再生することを企図しており、または、電子ハープに接続することを企図している。音楽家がハープを演奏している際には、新しいエンドポイント環境が同期して音を立てる。ここでは、電子ハープは従来のハープであり、ハープの弦は全部がマイクロフォンに接続されている。

３）新しい音楽プレゼンテーションモード――全ての見込みのある容認された発音体が選択的にエンドポイント環境で使用される。例えば、コンサートで、聴衆は自身のウエアラブルＥＭ（WＥＭ）装置を着用し、従来のスピーカーがこのコンサートのステージ上に配置される。どの従来のスピーカーも、該従来のスピーカーを飛空させる飛行ロボットを備えている。スピーカーロボットもコンサート場の周りに分散させられており、その一部は、聴衆の周囲を回遊する。コンサート中に、音楽家が歌を歌い、音楽を演奏し、聴衆と対話し、聴衆に楽器を渡し、聴衆に両手を上げさせ、聴衆のWＥＭをＥＭシステムの一部にし、WＥＭをコンサート場の楽器の一部にする。聴衆はWＥＭにより歌を歌うことができる。オールインワン式に、音楽家は全ての資源を利用してコンサートを進行させるとともに、ＥＭモードのコンサートに聴衆を熱中させることができる。

＜技術的詳細＞

＜ＥＭシステムの主な機能＞

１）全てのスピーカーを列挙する。

２）全てのスピーカーの登録情報を取得し、リアルタイムデータベースに取り込む。

３）スピーカーは同期して音を立てる。

４）再生、停止、および、その他の指令を実現し、ＪＢＭ２装置の制御を実現する。

５）同一性が認証されているクライアントからの問合せ情報に応えるために以下の情報を提供する。

ａ）全てのスピーカーの完全なリストは元より、スピーカーごとのタスクの完全なリスト。

ｂ）単一スピーカーの、タイプ、声域、エンドポイント位置、状態、および、その他の情報。

＜スピーカーの音響を同期する―アルゴリズム＞

複数音声トラック相互の音声の差を弱めるために、異なる音声トラック上の同じ単一節を再生している任意の２つのスピーカー相互の時間差は、１０ミリ秒から１００ミリ秒未満とする。

上述の問題は多くの方法で解決することができるが、メッセージ転送とポーリングに基づく同期化法などが挙げられる。しかし、これらの方法では、異なる音声トラック上の同じ単一節を再生している任意の２つのスピーカー相互の時間差は、１００ミリ秒から５００ミリ秒の範囲に入る。

本願は、上記課題を解決するのに好ましい方法を提供する。この方法では、組み込みＬｉｎｕｘデバイスのスピーカーはどれも、少なくとも１日１回、同じインターネットタイムサーバと同期化され、全ての同期化活動（例えば、再生プロセスの開始時に同期化することなど）は２つの要因に基づくものとする。一方はＥＭシステムからの指令であり、これは将来のある時点における標的操作タイムスタンプを含んでいる。他方は組み込みＬｉｎｕｘクロックタイムであり、これの形式はＯＳエポックタイムである。

ユーザ間のインターネット通信が遅延していると仮定すると、本願のこの方法は、異なる音声トラック上の同じ単一節を再生している任意の２つのスピーカー相互の時間差を５０ミリ秒以下に減じる。組み込みＬｉｎｕｘデバイスとタイムサーバとの間で、非常に小さなターンアラウンドタイムがある。この前提は、２０１４年の世界の全インターネット端末については正しかった。将来的に、ルーター技術の向上と電気ケーブルを光ケーブルに置換することとで、ターンアラウンドタイムは更に短くなり、それによって音声トラックの時間差の問題は完全に解消するであろう。ＥＭシステムに小型の原子時計を取り付けることは、将来の解決策である。

ＪＢＭ２装置を制御するために、以下の手順が採用されている。

ＥＭシステムにおいて―

ユーザーが再生ボタンを押下した場合、「再生時刻」は２０１７-０３-１７_１０：２３：５９.００１（ＯＳエポックタイム、精度１ミリ秒）が得られる。

次いで、「『再生時刻』に再生開始」という情報がこのＥＭシステム内の全てのスピーカーに送信される。

ＪＢＭ２の場合―

「『再生時刻』に再生開始」という受信情報に基づいて、この情報の時刻が得られ、ＪＢＭ２装置のローカル時刻がチェックされ、ローカル時間が「再生時刻」に達している場合は、アクションが実行される。

注意―

リストの再生を開始するには或るプロセスが必要であり、例えば、フォークを使用するプロセスが必要である。

インターネット通信は、ＴＣＰ／ＩＰを遵守している。このようにして、高品質情報伝送を確実にすることができる。

＜スピーカーの音響を同期させる―オペレーティングシステム（ＯＳ）とマルチタスク考＞

ほとんどの現代の計算機のオペレーティングシステムは、マルチタスクシステムである。様々な理由から、スピーカーの作動プログラムは目下のところ他のプログラムから独立している。その結果、各スピーカーの音響再生の開始時刻が不明である。

同じＥＭ音声を再生する任意の２つのスピーカー間の時間差は２０ミリ秒以下であり、任意の２つのスピーカーの同期期間が１０秒を超過しないのがよい。

上記の要件を満たすために、本願は、以下の二つの方法を採用している。

方法１―ハードウエアとＯＳは同じ資源、同じ構成、同じ作動プログラム、および、同じ仕様のものを使用する。

方法２―「ロック−報告−取消し−アラームクロック−処理」アルゴリズムを採用する。

評価―

１）同一のハードウエアの２以上の部材を購入する顧客は、方法１を採用するとよい。

２）混合ハードウエア（例えば、ＩＰｈｏｎｅとコンピュータの組合せなど）を選んだ顧客は、同期問題にぶつかることがある。同期という同じ問題は以下のエンドポイントでも発現する。すなわち、同一エンドポイントの多様な物体が同じ楽曲の再生を試行している場合であり、これら多様な物体の具体例として、冷蔵庫とティーカップと携帯電話が挙げられる。この事例で方法２を採用してもよい。

３）古いハードウエアに新しいハードウエアを追加した顧客も同期という問題に遭遇するが、これは、古いハードウエアが相互識別可能であるのに対して、新しいハードウエアはより進歩している可能性があり、新しいハードウエアと古いハードウエアの双方のハードウエア仕様とソフトウエア仕様が異なっているせいである。この事例には方法２を採用するとよい。

４）一体型システムには、同期の問題はない。

＜「ロック−報告−取消し」処理プロセス―アルゴリズム＞

同じＥＭＸファイルを再生する任務を負っているＪＢＭ２装置については、「ロック−報告−取消し」処理プロセスは、以下の工程を含む。

１）音量を０％に調整する。

２）音声処理モジュールを唯一の用途に制限する。

３）標的再生時刻のためにローカルクロックをリアルタイムで確認し、標的再生時刻が到来した時に音声データブロックを音声ハードウエアに取り込む。

４）音声データブロックの現実の再生時刻をＥＭシステムに送信することにより、音声データブロックの現実の再生時刻を決定し、ＥＭシステムに報告する。

５）ＥＭシステムの結果応答を待つ。

６）この結果応答が「取消して、音声処理モジュールの制限された開始時刻に関して音声処理モジュールの制限をやり直せ」であった場合は、再生が停止され、工程２が再開される。

７）７秒のうちに音量を一気に１００％に調整する。

ＥＭシステムでは―

１）スピーカー群の全てのスピーカーの全ての報告を待って収集する。

２）スピーカー群が時間差の要件を満たしているかどうかを確認するために、全ての報告を比較する。

３）スピーカー群の全てのデバイスに工程２の情報を送信する。いずれのスピーカーであれ要件を満たしていない場合、そのスピーカーが「取消して、音声処理モジュールの制限された開始時刻に関して音声処理モジュールの制限をやり直せ」を送信する。そうでなければ、「成功」を出す。

４）いずれかのスピーカーが要件を満たしていない場合は、工程１が再開される。

アルゴリズムの評価

１）小規模なシステムでは、ＪＢＭ２の５０単位未満の資源、基本的なハードウエア、ネットワーク、および、ソフトウエアが十分であること。

２）大規模なシステムでは、ＪＢＭ２の１０万単位の資源、ネットワーク、および、ＥＭシステムが以下のとおりであることを必要とする。

ａ）十分なネットワーク資源である。

ｂ）ネットワークは反応遅延が少なく、従って、長期化する「聴取者の待ち時間」を回避している。

ｃ）ＥＭシステムの処理資源が十分であり、これにより膨大な通信情報を同期送受信することを企図しているが、例えば、処理資源が１０万単位ある。

＜複数のＲＴＭＰ（リアルタイム・メッセージ・プロトコル）データストリームを放送＞

アドビ社のＲＴＭＰに基づいて、ＥＭの放送局はＲＴＭＰでＥＭ音声を提供する。１のＲＴＭＰデータストリームが１の音声トラックで相応じて再生される。

ローカルＥＭシステムは、音声データを復号化してから同期化法により全てのスピーカーの再生プロセスを同期化するようにした、ストリームメディアを採用する。

放送局マスターリストのファイル形式は、Ｍ３Ｕファイル形式である。

ＥＭシステムは、予め配置された中央サーバーにＭ３Ｕ局リストをダウンロードする。選択インタフェースは、Ｍ３Ｕ局の選択を行うためにユーザーに提供される。

その後、ＥＭシステムは、Ｍ３Ｕ局に接続されて、ＲＴＭＰを使用することにより全ての音声トラックのコンテンツの同期ダウンロードを開始する。次に、復号化、同期、および、再生がＥＭシステムのスピーカーで遂行される。

＜スピーカーロボットの詳細設計―ＷｉＦｉ経由でＥＭシステムに接続され、ソフトロボット音楽家ソフトウエアが内部インストールされた、ロボット車輪および垂直レールを備えている万能スピーカー、すなわち、スピーカーロボットＡ＞

万能スピーカーに基いて、このスピーカーロボットは更に以下のものを備えている。

１）基体。

ａ）基体は高容量の電池を備えており、基体のドッキングステーションにより、または、電源に接続することにより、電池は反復充電することができる。

ｂ）基体は、高容量の電池により動力供与される内蔵型ＪＢＭ２を備えている。ＪＢＭ２はまた、ＷｉＦｉ経由でＥＭシステムに接続されている。

c）ロボット車輪は基体の最下部に配備され、大容量電池により動力供与される。ロボット車輪の制御信号線はＪＢＭ２の背面側に配備されている。

ｄ）基体は、その最下部に光学センサが更に配備され、レールの色を特定することを企図している。

ｅ）基体は、その内部にスピーカーが更に受容されている。スピーカーは、音声信号を介してＪＢＭ２に接続されている。単一トラックスピーカーラインがスピーカーに接続されている。

ｆ）基体は、その周囲の遮蔽物体を検出するためのセンサを更に含んでいる。

２）垂直ロボットアームは基体に配備されている。スピーカーは、ロボットアームの最上部に配置されている。サーボ機構はＪＢＭ２の後部に配備されている。垂直ロボットアームは、運動プラットフォームを有しており、２つの部分、または、単純な垂直レールから構成されているようにすることができる。

３）ＪＢＭ２の内部に構築されている付加的ソフトウエアモジュールは、このスピーカーロボットの最下部でレール信号を識別し、ＥＭＸファイルからの復号化位置情報および直接情報に基いて、スピーカーの垂直高さは元よりスピーカーロボットのどの部位が動くかを確定する。 ＥＭＸファイル情報は、原初の発音体の位置や方向を模倣するロボット姿勢でマッピングされている。

４）ソフトウエアモジュールは、随時、衝突回避も実行する。

＜関連アクセサリー＞

１）ドッキングステーション―ロボットの使用を終えた後、ロボットをドッキングステーションに戻すことができる。ドッキングステーションは、ロボットの原初位置である。ドッキングステーションは、バッテリ充電器として使用され、それらが完全に充電されるまで、ロボットの高容量の電池を自動的に充電することができる。

＜ソフトロボット音楽家ソフトウエアの設計＞

ソフトロボット音楽家ソフトウエアには以下の特徴がある。

１）全ての音声トラックは同じビートで録音される必要がある。

２）楽曲の拍数（例えば、４分の４拍子の曲）を含んでいる少なくとも１つの基準ＭＩＤＩ音声トラックが利用可能である。

３）基準旋律調―正確な調律データは、ソフトロボット音楽家ソフトウエアで使用可能なチューニングである。

４）ＥＭＸファイル内の調音と和音を設定する。

前述の条件の全てを保有している場合、どのＪＭＢ２についても、Ｌｉｎｕｘシステムの組み込み仮想マシンで作動するソフトロボットをユーザーが選択的に初期化することができる。

ユーザは、１の発音体に対応している１または複数のソフトロボットを初期化し、１または複数のソフトロボットをスピーカーのところに送ることができるが、最大移動復元力を実現するためには、１体のソフトロボットしかスピーカーに配給しない。ユーザーは、多様なパラメータを有している同じソフトロボットに基いて、もう１体のソフトロボットを初期化または選択的に利用することができる。例えば、フェンダー・ストラトキャスター発音体の２体のソフトロボットは２つのスピーカーに分配される。一方のスピーカーは和音を演奏するためのものであり、他方のスピーカーはソロ演奏のためのものである。主要３和音の独鳥発音体の追加のソフトロボットがこれらスピーカーのうち一方に分配される。

全ての発音体は対応する人工知能（ＡＩ）モジュールに基準の旋律調、拍数、調音、および、既存の和音を追加し、既存の和音に合うように作られる音響を決定する。発音体は既存の和音から、打楽器のビート、鳥の歌、または、感情表現を象徴的に出すことができるばかりか、前の演奏に戻ったり次の演奏に進んだり、打楽器の律動を参考にし、尚且つ、ＡＩの多様な要素を利用する。

＜娯楽＞

スピーカーロボットの動きを見ても聴衆を愉快がらせることはないが、全てのスピーカーロボットに光学装置や液晶ディスプレイを付加することで、スピーカーの動きをより愉快なものにすることができる。例えば、単純な音量レベルに合わせて光るＬＥＤ線条、または、単純なレベルのレーザー銃ショーが、スピーカーロボットの運動に加えられてもよい。

＜ロボット家具の詳細設計＞

ＲＯＢＯ椅子の特徴がスピーカーロボットＡのもの（ＷｉＦｉ経由でＥＭシステムに接続され、ソフトロボット音楽家ソフトウエアが内部にインストールされている、ロボット車輪および垂直レールを備えた万能スピーカー）と同じである場合、これは普通のスピーカーの代替とするために用いられる。 ＲＯＢＯ椅子は軌道を進むだけで位置決めされ、または、背壁上の基準点により特定の高さに配置することができる。安全のために、どのロボットアームもＲＯＢＯ椅子上に配備されているのはＲＯＢＯ椅子を持ち上げるためではない。ＲＯＢＯ椅子の上には、１つよりむしろ２つのスピーカーが配置されて、２つのスピーカーのうち一方はＲＯＢＯ椅子の左側にあり、他方は右側にある。聴取者がＲＯＢＯ椅子に座っている場合は、２つのスピーカーが聴取者の両耳に直面する。

ＲＯＢＯ椅子は、１座席、２座席、または、複数座席を有している。ＲＯＢＯ椅子の座席は多様なデザイン、多様な素材、および、多様なタイプを採用してもよい。ＲＯＢＯ椅子はマッサージ機能も有している。しかし、これら要素は全て、移動部材、バッテリ容量、および、バッテリ可用時間によって決まるサーボトルクおよびノイズレベルと平衡がとれた状態を維持する必要がある。

ＲＯＢＯスタンドは汎用に適した起立フレームであり、ＬＥＤテレビ画面を支持することを企図している。ＲＯＢＯスタンドとＲＯＢＯ椅子の違いは以下のとおりである。ＲＯＢＯ椅子は、ＲＯＢＯスタンドに置換されてもよく、滑らかな動きで堅固かつ安全に有効負荷を支持することができる。

＜ＷＡＭ（ワイド・エリア・メディア）再生―アルゴリズム＞

１．ＬＡＮ内のＥＭシステムの全てのスピーカーは登録される。どのスピーカーも俯角で床面に投影される。スピーカーごとに全てマークされる。

２．ＥＭシステムのどのスピーカーも、ユーザインターフェース上に記録（スピーカー、有効マーク、および、音量レベル）される。ユーザインタフェースは、ＡＰＰ、ＰＣソフトウエア、ｉＰＡＤのウェブページであってもよい。

３．エンドポイントミキシングの最中は、要件に応じて、必要なスピーカーが提供される。

４．２秒間休止する。

５．工程２に戻る。

注意―ＥＭシステムと全てのＪＢＭ２との間の通信は、ＴＣＰ／ＩＰに基づいている必要がある。ＥＭシステムと全てのＪＢＭ２との間でリンクが既に確立されているものとする。ＥＭシステムと全てＪＢＭ２が同じＬＡＮ内にある場合、または、インターネットの外に隔絶状態にある場合は、ＥＭシステムと全てのＪＢＭ２との間のリンクを確立するために、仮想プライベートネットワーク（ＶＰＮ）がＴＣＰ／ＩＰに準拠するように確立される必要がある。

＜ＥＭＸファイルの構造＞

ＥＭSファイルには、以下の情報を含んでいる。

ファイルの種類;

バージョン番号。

ＤＲＭ（デジタル著作権管理）情報、所有者、著作権情報。

音声データ

位置指定情報

ソフトロボット音楽家用に限定した情報

音声トラックのメタデータ――音声トラックの詳細に関する情報、例えば、楽器のタイプおよび詳細なモデル、音楽家の名前、作詞家の名前、作曲家の名前、歌手の名前など。

音声トラック間のステレオ結合関係。

前述の内容によれば、本発明は、以下の工程を含む、ＥＭ再生方法を提供する。

原初環境の複数の発音体に対応している複数のマイクロフォンと、タイプおよびサイズが原初環境のものに一致しているエンドポイント環境と、複数のマイクロフォンに１対１で対応しており、対応しているマイクロフォンに通信式に接続されている複数の音響シミュレーション装置とを設け、どの音響シミュレーション装置も、該音響シミュレーション装置に対応している発音体が原初環境で置かれていた位置と一致するような、エンドポイント環境のエンドポイント位置に配備し、複数の音声シミュレーション装置に通信式に接続された運動追跡装置を設ける工程（Ｓ０）。

複数のマイクロフォンが、それらに対応する複数の発音体の音響を音声トラックにそれぞれ同期録音し、運動追跡装置が複数の発音体の運動状態を運動状態ファイルに同期記録する工程（Ｓ１）。

複数の音響シミュレーション装置がそれらに対応する発音体の、運動状態ファイルに記録された運動状態で同期運動し、それらに対応するマイクロフォンによってそれぞれに録音された音声トラックを同期再生し、それによりＥＭを実行する工程（Ｓ２）。

また、工程Ｓ１は以下のことを更に含んでいる。複数のマイクロフォンのうちのいくつかまたは全てに通信式に接続されているとともに、複数のマイクロフォンの一部または全部に対応している音響シミュレーション装置に同様に接続されている音響修正装置を設け、複数のマイクロフォンの一部または全てによってそれぞれに録音されている、音声トラックの音質を修正し、または、複数のマイクロフォンの一部または全てによってそれぞれに録音されている音声トラックに対して音響効果を向上させる。

工程Ｓ２は以下のことを更に含んでいる。複数のマイクロフォンの一部または全部に対応している音響シミュレーション装置は、これらに対応している、音響修正装置により修正された音声トラックを同期再生する。

本発明は、複数のマイクロフォンにより複数の発音体の音響をそれぞれに音声トラックに録音し、発音体の位置に対応している複数のスピーカーにより、対応している音声トラックを再生し、それによりＥＭ音声を再生し、現場にある発音体によって演奏されている音響を再生することができるとともに、非常に良好な音質効果を奏することができる。

当業者であれば前述の説明に基づいて修正または変更を行うことができることが分かるはずである。このような修正および変更は全て、本発明の特許請求の範囲の保護範囲に入るものとする。

Claims (9)

1. 原初環境の複数の発音体に対応している複数のマイクロフォンを設け、タイプおよびサイズが前記原初環境のものに一致しているエンドポイント環境を設け、複数の前記マイクロフォンに１対１で対応しており、対応している前記マイクロフォンに通信式に接続されている複数の音響シミュレーション装置を設け、前記音響シミュレーション装置は各々が、該音響シミュレーション装置に対応している発音体が前記原初環境で置かれていた位置と一致するような、前記エンドポイント環境のエンドポイント位置に配備され、複数の前記音声シミュレーション装置に通信式に接続された運動追跡装置を設ける工程（Ｓ０）と、
   複数のマイクロフォンが、それらに対応する複数の発音体の音響を音声トラックにそれぞれ同期録音し、前記運動追跡装置が複数の前記発音体の運動状態を運動状態ファイルに同期記録する工程（Ｓ１）と、
   複数の前記音響シミュレーション装置がそれらに対応する発音体の、前記運動状態ファイルに記録された前記運動状態で同期運動し、それらに対応する前記マイクロフォンによってそれぞれに録音された音声トラックを同期再生し、それによりＥＭ音を再生する工程（Ｓ２）とを含み、
   前記音響シミュレーション装置はスピーカーとしてスピーカーロボットを備えており、
   工程Ｓ０はロボット家具を提供することを更に含んでおり、前記ロボット家具は、聴取者を乗せることができる可動ロボット椅子と、映像再生用の表示画面または映写画面を支持している可動ロボットスタンドとを備えており、
   工程Ｓ２は、前記エンドポイント環境で前記ロボット椅子、前記ロボットスタンド、および、スピーカーロボットを同期移動させて、これらの相対位置を維持することを更に含むことを特徴とする、
   エンドポイントミキシング再生方法。
2. マイクロフォンはいずれも、それが対応している前記発音体に対向しており、どのマイクロフォンもそれに対応している前記発音体との間の距離が同一であることを特徴とする、請求項１に記載のエンドポイントミキシング再生方法。
3. 前記スピーカーロボットは各々がその最下部にロボット車輪を、その最上部にロボットアームを備えており、前記スピーカーは前記ロボットアームのハンド部に配備されており、
   工程Ｓ２は、前記スピーカーロボットはそれぞれに対応している前記発音体の、前記運動状態ファイルに記録された運動軌跡に沿って運動することを更に含むことを特徴とする、請求項２に記載のエンドポイントミキシング再生方法。
4. 前記スピーカーロボットは各々がその最下部にロボット車輪を、その最上部にロボットアームを備えており、前記スピーカーは前記ロボットアームの前記ハンド部に配備されていることを特徴とする、請求項２に記載のエンドポイントミキシング再生方法。
5. 前記スピーカーは、モーター制御されたガイドレールに滑動自在に配備されており、
   工程Ｓ２は、前記スピーカーが、それらに対応している発音体の、前記運動状態ファイルに記録された運動軌跡に沿って前記レール上を移動することを含むことを特徴とする、請求項４に記載のエンドポイントミキシング再生方法。
6. 全てのスピーカーはＷｉＦｉによって連結されていることを特徴とする、請求項２〜請求項５のいずれか１項に記載のエンドポイントミキシング再生方法。
7. 工程Ｓ１は、複数の前記マイクロフォンのうちの一部または全部に通信式に接続されているとともに、複数の前記マイクロフォンのうち一部または全部に対応している前記音響シミュレーション装置に通信式に接続されている音響修正装置を設け、前記音響修正装置は、複数の前記マイクロフォンの一部もしくは全部によりそれぞれ録音されている音声トラックの音質を修正するか、または、複数の前記マイクロフォンのうち一部または全部によりそれぞれに録音された前記音声トラックに対する音響効果を向上させることを含み、
   工程Ｓ２は、前記複数のマイクロフォンのうち一部または全部に対応している前記音響シミュレーション装置が、それらに対応している、前記音響修正装置により修正された音声トラックを同期再生することを含むことを特徴とする、請求項６に記載のエンドポイントミキシング再生方法。
8. 複数の前記マイクロフォンにより録音された前記音声トラックは、ＥＭＸファイル形式で保存されることを特徴とする、請求項７に記載のエンドポイントミキシング再生方法。
9. エンドポイントミキシングシステムは、
   複数のマイクロフォンであって、これらに複数の発音体が原初環境で対応づけられて、それぞれに対応している発音体の音響を音声トラックに同期録音することが企図されているマイクロフォンと、
   複数の発音体の運動状態を運動状態ファイルに同期記録する運動追跡装置と、
   タイプおよびサイズが原初環境のものに一致しているエンドポイント環境と、
   複数の音響シミュレーション装置とを備えており、
   前記音響シミュレーション装置は複数の前記マイクロフォンに１対１で対応しており、対応している前記マイクロフォンおよび前記運動追跡装置に通信式に接続されており、対応している前記発音体の、前記運動状態ファイルに記録されている前記運動状態で同期運動し、対応している前記マイクロフォンによって録音された前記音声トラックを同期再生し、それによりエンドポイントミキシング音声を再生し、
   どの音響シミュレーション装置も、該音響シミュレーション装置に対応している前記発音体が原初環境で置かれていた位置と一致するような、前記エンドポイント環境のエンドポイント位置に配備されるようにしており、
   前記音響シミュレーション装置はスピーカーとしてスピーカーロボットを備えており、
   ロボット家具を更に含んでおり、前記ロボット家具は、聴取者を乗せることができる可動ロボット椅子と、映像再生用の表示画面または映写画面を支持している可動ロボットスタンドとを備えており、
   前記エンドポイント環境で前記ロボット椅子、前記ロボットスタンド、および、スピーカーロボットは同期移動し、これらの相対位置が維持されることを特徴とする、エンドポイントミキシングシステム。