JPH09512097A

JPH09512097A - コンピュータインターフェースを備える身体の三次元変位

Info

Publication number: JPH09512097A
Application number: JP7526590A
Authority: JP
Inventors: ウイルバウアー
Original assignee: Individual
Current assignee: Individual
Priority date: 1994-04-14
Filing date: 1995-04-03
Publication date: 1997-12-02
Also published as: AU2107495A; ATE190403T1; EP0755523B1; US5412619A; DE69515471T2; EP0755523A1; DK0755523T3; CN1147302A; DE69515471D1; WO1995028651A1; CA2187026A1

Abstract

(57)【要約】三角測量法により三次元領域内の対象の三次元位置を追跡して、この三次元位置に対応する信号を発生させる装置である。この信号を用いて、変化して動くシステムを動作させ、仮想現実システムを作る。三角測量手段は、三次元領域内で動いている身体に装着した超音波受信機と協同する、少なくとも３個の超音波放射源を備える。信号は多重化された周波数から作り、および／または中間信号は三軸加速度計を用いて放射する。

Description

【発明の詳細な説明】コンピュータインターフェースを備える身体の三次元変位技術分野この発明は、三次元の動きに応じた信号の生成を制御する制御装置、たとえば三次元空間内の身体の動きに応じて音を生成する装置に関する。特にこの発明は、舞台の照明、スライドプロジェクタ、ビデオプロジェクタなどの変化して動くシステムの制御に関し、また特に音楽を演奏する身体の動きの変換に関する。またこの発明は、仮想現実システムとのコンピュータインターフェースなどの変化して動く装置の制御に関する。発明の背景ウイル・バウア(Will Bauer)の米国特許第５，１０７，７４６号、１９９２年４月２８日発行、およびウイル・バウアの米国特許第５，２１４，６１５号、１９９３年５月２５日発行は、この型の制御装置について説明し、特許を請求している。これらの特許の装置は、三次元空間内の動きによるミュージックシンセサイザを制御する装置と、変化して動くその他の装置の制御装置に関する。簡単に言うとこれらの特許は、離れた固定の送信機から動いている対象まで、超音波のパルスが伝わるのに要する時間を基にして三角測量計算を行い、これから得られた位置データに応じて制御信号を発生させることに関する。これらの特許の装置は、位置のサンプリング速度がより大きく、別のセンサから追加の入力が得られる場合は、より精度の高い制御を行うことができよう。この発明はこの問題を扱う。発明の開示この発明は音波の位置決めサンプリング速度とセンサの混成を改善することにより、位置などの追加の情報を処理して、上に述べたメディア装置、仮想現実コンピュータ装置、変化して動く装置の制御構造を改善することに関する。この発明は、三次元領域内の少なくとも１個の動いている対象の動きに応じて、実時間で変化して動くシステムの動作の制御装置を与える。この装置は、前記少なくとも１個の対象の三次元位置の三角測量値の慣性基準点にそれぞれ位置する少なくとも３個の、好ましくは４個の超音波放射源、少なくとも第１および第２の予め選択された周波数のパルスを各超音波放射源に与えて、対応する超音波パルスを発生させるパルス発生手段、各対象用の間隔をあけた複数の受信局であって、超音波受信機と、これに関連する、超音波受信機が受信したパルスを検出するパルス検出器とを備え、また前記対象に関連して三次元空間内で前記対象と共に動く、受信局、各受信局に関連し、パルス到着時刻を無線送信に適した形式に符号化する符号器、パルス到着時刻に対応する信号の無線送信機、前記少なくとも１個の対象と前記無線送信機から離れていて、前記無線送信機からの符号化された信号を受信する無線受信機、前記無線受信機からの信号を復号する復号器、対象追跡マイクロプロセッサコントローラであって、前記少なくとも１個の対象に関連する各超音波受信機から前記データを受信し、少なくとも１個の対象の三次元位置を、前記少なくとも１個の対象の半径位置データ、その対象の速度、加速度を用いて計算し、一方では超音波放射源のパルス発生器の命令を作り、他方では前記対象の計算された三次元位置に応じて、また前記少なくとも１個の対象の各超音波受信局の半径位置データから、前記変化して動くシステムの変化を制御する命令を作るコンピュータにインターフェースする、対象追跡マイクロプロセッサコントローラ、を備える。変化して動くシステムは、仮想現実システムでも、ミュージックシンセサイザでも、その他の変化して動く装置でもよい。またこの発明は、三次元領域内の少なくとも１個の動いている対象の動きに応じて、実時間で変化して動くシステムの動作の制御装置を与える。この装置は、前記少なくとも１個の対象の三次元位置の三角測量値の慣性基準点にそれぞれ位置する少なくとも３個の、好ましくは４個の、超音波放射源、前記超音波発生源にパルスを与えて対応する超音波パルスを発生させるパルス発生器、各対象用の間隔をあけた複数の受信局であって、超音波受信機と、これに関連する、超音波受信機が受信したパルスを検出するパルス検出器とを備え、また前記対象に関連して三次元空間内で前記対象と共に動く、受信局、受信機追跡マイクロプロセッサコントローラであって、各受信局からパルスを受信してディジタル化し、パルス到着時刻を測定し、パルス発生器からの信号の発生とタイミングを制御し、前記信号のパルス発生器への放射と各受信局からのこれに対応する検出されたパルスとの間の経過時間から、各パルスについて各受信機の半径位置データを計算する、受信機追跡マイクロプロセッサコントローラ、前記追跡マイクロプロセッサコントローラに関連し、パルス到着時刻を無線送信に適した形式に符号化する符号器、前記パルス到着時刻に対応する符号化された信号の無線送信機、前記少なくとも１個の対象と前記無線送信機から離れていて、前記無線送信機からの符号化された信号を受信する無線受信機、前記無線受信機からの信号を復号する復号器、各受信されたパルスが規定する基準点から各空間軸に沿って加速度を測定する三軸加速度計、前記加速度から暫定的な位置データを計算する手段、対象追跡マイクロプロセッサコントローラであって、前記少なくとも１個の対象に関連する各超音波受信機からデータを受信し、また前記暫定的な位置データを受信して少なくとも１個の対象の三次元位置を、前記少なくとも１個の対象の半径位置データと暫定的な位置データ、その対象の速度、加速度を用いて計算し、一方では超音波放射源のパルス発生器の命令を作り、他方では対象の計算された三次元位置に応じて、また前記少なくとも１個の対象の各超音波受信局の半径位置データから、前記変化して動くシステムの変化を制御する命令を作るコンピュータにインターフェースする、対象追跡マイクロプロセッサコントローラ、を備える。図面の簡単な説明この発明の実施態様を、例を用い図面を参照して以下に説明する。第１図は、この発明の一装置のブロック図である。第２図は、第１図の装置の、ファームウエア内に実現したパルス発生およびタイミング法の一例を示すブロック図である。第３図は、ファームウエア内に実現したパルス検出法の一例を示すブロック図である。第４図は、この発明の別の実施態様のブロック図である。第５図は、第４図の装置の、ファームウエア内に実現したパルス検出アルゴリズムの一例を示すブロック図である。発明を実施する方式第１図にディジタル信号処理（ＤＳＰ）コントローラ１６を示す。ＤＳＰコントローラ１６は各スピーカ１２、１３、１４、１５に信号を送り、一連の音のパルスを繰り返し放射する。音のパルスを多重送信して、米国特許第５，１０７，７４６号と第５，２１４，６１５号の装置を用いた場合より大きいサンプリング速度を与える。多重送信する音のパルスは、異なる周波数Ｆ１，Ｆ２，Ｆ３，Ｆ４の複数の、たとえば４個のパルスを含んでよい。各パルスの持続時間は約０．２５から４ミリ秒である。各音のパルスＦ１，Ｆ２，Ｆ３，Ｆ４は可聴音のレベルより十分高い周波数でなければならない。周波数範囲は１７ＫＨｚから６０ＫＨｚが適当で、一連のパルスは範囲内の他のパルスから十分離す。パルスは、一連の異なるパルスを繰り返し発生させることのできる任意の適当な手段、たとえばＤＳＰコントローラ１６とディジタル・アナログ（Ｄ／Ａ）変換器１７、により発生させる。米国特許第５，１０７，７４６号と第５，２１４，６１５号に記述され特許請求の対象となっている装置では、単一周波数のパルスのサンプリング速度は毎秒３から３００であり、毎秒送信および受信されるパルスの数により制限されている。実際にはこれらの既知の装置では、単一超音波周波数のパルスはほぼ３２ミリ秒（ｍｓ）毎に放射されている。したがって、位置を更新する速度は新しいパルス毎に１つの新しい位置、すなわち毎秒３２回の更新（３２ｍｓ毎に更新）に限定される。４つの別々の周波数のパルスを放射して別個に検出すると、サンプリング速度は４倍の１２８Ｈｚ（４ｘ３２）になる。したがって、同じ周波数のパルスは３２ｍｓ毎に繰り返しているが、パルスは８ｍｓ毎に１個生じる。周波数の対を用いてパルスのカテゴリを増やせば、パルス速度を一層大きくすることができる。たとえば周波数Ｆ１の約０．１ｍｓ後に周波数Ｆ２を出すパルスは、周波数Ｆ２の０．１ｍｓ後に周波数Ｆ３を出すパルスとは異なる。これらの２つの方法、すなわち周波数を多重化する方法と、いくつかの周波数をグループ化して時間をずして各パルスを構成する方法を用いると、サンプリング速度を大きく、恐らく５１２から１０２４Ｈｚにすることができる。第１図において、ＤＳＰコントローラ１６は装置のパルス発生器と検出器の機能を兼ねる。ＤＳＰ集積回路チップ設計の最近の進歩により、ディジタル領域で比較的複雑な実時間信号処理を行うことができるようになった。ほんの数年前までは、このためには多数のアナログ信号処理要素が必要であった。この方法により、比較的簡単でしかも信号処理能力が非常に柔軟なハードウエアを設計することができる。ディジタルハードウエアはファームウエアにより再構成して種々の異なるタスクを行うことができるので、技術の進歩に従って設計の変更と拡張が容易になった。第１図に示す装置はこのようなものである。パルス送信および検出装置を備えるハードウエア要素をすべて単一の回路板の上に実現し、回路板をパーソナルコンピュータ３０のデータバスのスロットに挿入することができる。これにより、複数の板をパーソナルコンピュータバスに挿入し、複数の異なるワンド(wand)を同時に追跡することができる。さらに、ファームウエアのアルゴリズムとＤＳＰクロック速度を正しく与えれば、単一のパーソナルコンピュータカード１０は複数のワンド２５を同時に追跡することができる。第１図から第４図は、簡単のために単一ワンドの場合を示す。ＤＳＰコントローラ１６は、所望の集積回路のディジタルパルス波形を高い精度と安定度で発生させることのできるマイクロプロセッサである。次に、これらのディジタル波形（ＤＳＰマイクロプロセッサ内の一連のディジタル数）をディジタル・アナログ（Ｄ／Ａ）変換器１７により物理的なアナログ波に変換する。Ｄ／Ａ変換器１７は一連の数を受けて、数の大きさに対応する電圧を発生させる。これを十分な速度で、たとえば合成するパルス周波数の速度の１０倍で実行すると、その結果は連続的なアナログ波形に非常に近くなる。パルス周波数をこのようにディジタル的に発生および変換することは技術者によく知られていることであって簡単である。ＤＳＰコントローラとして働くチップの例としては、テキサス・インスツルメンツ社製のＴＭＳ３２０Ｃ５０がある。また適当なＤ／Ａ変換器の例としてはバ−ブラウン(Burr-Brown)製のＰＣＭ５６Ｐがある。各スピーカ１２，１３，１４，１５への周波数多重化パルスはパルス増幅手段１８により増幅する。或るパルスをどのスピーカが受信するかの選択は、ＤＳＰコントローラ１６のディジタル制御により、固体電力スイッチ１９が行う。第２図は、パルスの発生およびタイミング用のファームウエアアルゴリズムの一例のブロック図を示す。第１図に示すデータバスインターフェース１１を通してパーソナルコンピュータトリガ線４０の１つを高にセットすることにより、パーソナルコンピュータはパルスの発生、送信、受信のフレームの開始をトリガする。トリガが起こると、パルストリガ復号モジュール４１はトリガ信号を解釈して、どの周波数のパルスを発生させ、どのスピーカに送るかを決定する。次に、ディジタル発振器４２は波一覧表４３，４４，４５，４６を用いて、正しいパルス振幅値をパルス周波数の約１０倍の速度で発生させる。これらの値をＤＳＰコントローラ１６からＤ／Ａ変換器出力４７を経てＤ／Ａ変換器１７にディジタルで送ると、Ｄ／Ａ変換器１７はこれをアナログ信号に変換し、増幅し、該当するスピーカに送る。スピーカに送る経路の制御は、ディジタルスイッチスピーカ選択出力線５４により決定する。これらはＤＳＰコントローラのファームウエアにより制御され、発生したパルスを送る正しいスピーカを選択する。パルスが出ると、タイマ制御モジュール４８によりソフトウエアタイマ４９，５０，５１，５２を起動し、パルスを受信するか（受信するとパルス検出信号５３にトリガー信号が発生する）または最大計数に達するまで、経過時間を計数する。パルス検出信号５３でパルスを検出すると、パルス検出窓制御モジュール５５はこのパルス検出が正しいものか、または反響などの望ましくないものかを決定する。これを行うには、パーソナルコンピュータ３０が決定する或る時間「窓」の間だけパルスを通して、データバスインターフェース１１（第１図参照）を経てＤＳＰコントローラのファームウエアに送る。適当な時間窓内にパルスを検出した場合は、これは有効と見なして該当するタイマを停止させる。パルス到着時刻は、パーソナルコンピュータカード１０の上に設けられたデータバスインターフェース１１を経てパーソナルコンピュータに送られる。再び第１図において、三次元領域内で動く人は、最大の動きをする身体の部分にマイクロホンアレイ２０を装着する。たとえば、マイクロホンアレイ２０はユーザの一方の手に、またはその付近に装着してよい。各マイクロホンアレイ２０は、人の身体の別々の部分に置けるようにケーシングに入れてもよい。このケーシングの中には他のセンサ２３もある。センサ２３と、マイクロホンアレイから得られる音波位置測定値とを組み合わせると、制御対象である媒体、コンピュータ、変化して動くシステムの制御のレベルと質が良くなる。この種のセンサの例として、ワンドの縦揺れ・片揺れ・横揺れ方向を検出する角度センサ、コンピュータウス上のボタンと同様に機能して身振りの開始と停止のタイミングと区切りを正確にするワンドボタン、音波位置測定を補足する三軸加速度計などの高速位置サンプリングセンサ、がある。無線送信機帯域幅とコンピュータ処理速度の限度内であれば、他のセンサも可能である。第１図に示す例示のセンサ２３はワンド状態ボタンである。しかし理解すべきことは、上述の追加のセンサはどれも任意の組み合わせによりワンド内に設けて混成センサとしてよく、音波位置測定だけを用いる場合に比べてワンドの能力を非常に高めることができる。またワンドのケーシングの中には、周波数符号器２１、周波数変位方式（Ｆ．Ｓ．Ｋ．）発振器２２（ワンド状態ボタン２３の状態に従って２つの周波数の一方で発振する）、ミキサ２４がある。この組立体がワンド２５を構成する。無線送信機２６は、図示のようにワンド内に設けてもよいし、または別個のケーシングに納めてワンド２５にケーブルで接続してもよい。さらに、マイクロホンアレイ２０は図示のようにワンドケーシング内に取り付けてもよいし、またはワンド２５の本体から離して別個に納めてケーブルで接続してもよい。任意のスピーカ１２，１３，１４，１５から超音波パルスがワンドのマイクロホンアレイに届く。各パルスは、放射された周波数を参照して識別する。マイクロホンアレイ２０は周波数符号器２１に接続する。周波数符号器２１は周波数Ｆ１のパルスを無線周波数変調に適した形式に変換する。周波数Ｆ１の値によっては、この変換はパルスの振幅を調整して送信に適したレベルにする程度の簡単なものである。またこの変換では、パルスを入力周波数Ｆ１から無線連結の帯域幅に一層適した別の周波数に周波数変位する場合もある。このような変換は、無線連結によるパルスの直接送信の概念が理解できれば非常に簡単である。ワンド状態ボタン２３は、ユーザが動作の開始と停止を合図するのに用いることができる。三次元追跡装置においては、このボタンは二次元コンピュータ「マウス」の「マウス」ボタンと同様に機能する。Ｆ．Ｓ．Ｋ．発振器は２つの周波数の一方を絶えず出す。これらの周波数は通常どの超音波パルスに用いる周波数よりもはるかに低い（５００Ｈｚから４０００Ｈｚの範囲）ので、２つの周波数の間に干渉は起こらない。したがって、どのＦ．Ｓ．Ｋ．周波数が送信されているかを検出することにより、ＤＳＰコントローラ１６はワンド状態ボタン２３が開か閉かを決定することができる。２つの信号（一方はＦ．Ｓ．Ｋ．発振器から、他方は周波数符号器から）をミキサ２４で混合して、ワンド２５から無線送信機２６によりＤＳＰコントローラ１６に送信する。送信されたパルスを無線受信機３４で受け、前置増幅器３３で増幅し、アナログ・ディジタル（Ａ／Ｄ）変換器３２でディジタル形式に変換する。このディジタル信号をＤＳＰコントローラ１１で処理し、ワンドの超音波パルスが到着したことを検出し、パルスがスピーカを出てから受信されるまでの時間を計算する。第３図は、ＤＳＰコントローラパルス検出ファームウエアの実施例のブロック図を示す。ディジタル化されたワンド信号（これは第１図の説明により、ワンド２５がら無線受信機３４、前置増幅器３３、Ａ／Ｄ変換器３２を通して到着する）は、Ａ／Ｄ入力モジュール６０を通して到着し、一連の並列のディジタル帯域フィルタ（ＢＰＦ）モジュール６１，６２，６３，６４を通して送られる。各フィルタはそれぞれ特定の周波数Ｆ１，Ｆ２，Ｆ３，Ｆ４を中心としており、フィルタの中心周波数にないパルスやノイズをすべて除去する。これらのフィルタの帯域幅はかなり狭くてわずか数ＫＨｚであり、フィルタの通過帯域と拒絶帯域の間の移行は鋭い。次に、フィルタの各出力をパルス検出モジュール６７，６８，６９，７０に送る。パルス検出モジュール６７，６８，６９，７０はパルスが到着するとこれを検出して、到着したという二値指示を出す。パルス検出器の二値出力をパルス検出論理モジュール７３に送ると、パルス検出論理モジュール７３はパルスの組み合わせを検出する（この方法を用いる場合は）。たとえば、周波数Ｆ１のパルスの０．１ｍｓ後に周波数Ｆ２のパルスが来る「パルス」の場合は、パルス検出論理モジュール７３はＦ１パルスとＦ２パルスの必要なタイミングをとって、２つのパルスの間の時間遅れを実際上正しくする。こうして始めて、有効なパルスが到着したことを示すパルス検出信号７５が発生する。ワンドボタン状態の検出はパルス検出と同様にして行う。すなわち入力したワンド信号を、それぞれ２つの可能なＦ．Ｓ．Ｋ．発振周波数の一方を中心とした、２つの並列の帯域フィルタ（ＢＰＦ）モジュール６５，６６によりフィルタリングする。各フィルタ出力を存在検出モジュール７１，７２に送ると、存在検出モジュール７１，７２は２つの周波数の一方が存在するという二値指示を与える。ワンドボタン状態検出器７４はこの二値存在検出器出力を受け、検出されたワンドボタン状態に従って３重ワンドボタン状態信号７６を発生させる。「ボタンアップ」周波数を検出した場合は、出力が変わってボタンを確かにアップしたことを示す。別の周波数（「ボタンダウン」）を検出した場合は、出力が変わってボタンをダウンしたことを示す。両方の周波数を検出した場合は（これは起こらないはず）出力はその前の状態のままである。どちらの周波数も検出しない場合は、出力は現在ワンドが検出できず、ワンドはオフであるか無線周波数「ゼロ」点の中央になっているため、ワンドの無線送信機から（一時的に）受信機に送信することができないことを示す。このボタンの状態の情報と、各パルスの到着により得られるタイミング情報は、データバスインターフェース１１を経てパーソナルコンピュータ３０に転送されるので、パーソナルコンピュータのソフトウエアはこれを用いることができる。再び第１図において、ＤＳＰコントローラ１６は周波数Ｆ１のパルスを放射してから受信するまでに経過した時間を測定する。この時間はスピーカから各ワンドまでの距離に比例して変わるので、両者の間の距離の測度になる。これを４個のスピーカ１２，１３，１４，１５それぞれについて行うと、各ワンド２５について４つのタイミング測度が得られる。パーソナルコンピュータ３０はこの情報を用いて、時間の測度に対して必要な線形変換を行うことにより、各スピーカに対する各ワンドの半径位置を計算する。パルスの伝送時間と距離との関係は線形方程式ｔ＝ｍ＊ｄ＋ｂにより与えられる。ただし、ｔは伝送時間、ｍは校正係数、ｄは進んだ距離、ｂは伝送およびパルス検出遅れを示すオフセット量である。ｍとｂの値を計算するには、スピーカから２つ以上の既知の距離でタイミングを測定し、ｍとｂを未知数として解く。一度決まると、温度・湿度・空気圧が適度に一定であればこの関係はほぼ一定なので、セッション毎に１回（またはそれ以下）校正するだけでよい。動いている対象の位置を知る手段として周波数の高い音を用いるという考え方を受け入れれば、コントローラ１６を動かすプログラムは簡単である。ＤＳＰコントローラ１６は周波数Ｆ１のパルスの送信から計算した位置指示信号をコンピュータ手段３０に送る。コンピュータ手段３０はパーソナルコンピュータ型のマイクロコンピュータが適当である。同様にして、位置指示信号をＦ２，Ｆ３，Ｆ４のパルスの送信から計算する。コンピュータが十分高速（たとえば、ＩＢＭＡＴクローン４８６３３ＭＨｚシステム）であれば、三次元の位置を実時間で計算し、かつワンド状態ボタン２３の状態の変化をすべて知ることができる。これが可能な理由は、それぞれ周波数Ｆ１，Ｆ２，Ｆ３，Ｆ４のパルスに基づく各入力の測定の間に時間間隔があるからである。この時間中に、その前の測定値の組を処理して位置およびワンドボタン状態を更新することができる。コンピュータ３０は、ユーザがそのメモリ３１のサブ領域のマップを作るためのソフトウエアを備える。その中では、前に参照した米国特許第５，２１４，６１５号の記述と同様な動きが起こる。さらに、一連のサブ領域マップを時間中に構築することができるソフトウエアがある。したがって、経過時間とワンドのワンド状態ボタン２３の状態に基づいて、異なる時間に異なるマッピングが行われる軌跡を、人は時間に従ってたどることができる。またコンピュータ３０は実時間処理ソフトウエアを備える。この処理ソフトウエアにより、動きの解釈、たとえば音楽の解釈ができる。これは、４カ所の基準位置に置いたスピーカ１２，１３，１４，１５からの周波数Ｆ１，Ｆ２，Ｆ３，Ｆ４の音のパルスによりＤＳＰコントローラ１６が測定した、各三次元空間での距離、測度、加速度の測定値の現在の組に依存する。このように装置全体が三次元追跡装置として機能し、電子媒体、コンピュータ、その他の変化して動くシステムを実時間で制御することができる。第４図に示す実施態様は第１図、第２図、第３図の装置に代わるものまたは追加したものである。第４図の装置の実際のパルスのサンプリング速度は約３２Ｈｚであり、また別のセンサを用いることにより、音波から得られる位置の連続した測定値の間のすき間を埋める。単一パルスのサンプリング速度は約３２Ｈｚであるが、もちろん多重化パルスのセンサを追加することができる。簡単のために、単一パルス周波数を用いた装置を示す。第１図の装置と同様な装置に三軸加速度計１００を組み込む。ただし異なる点は、ＤＳＰコントローラ１６とＤ／Ａ変換器１７で実現するパルス発生器が発生させるパルスは１周波数だけということである。一般に第４図において、第１図と同じ参照番号は同じ部品を指す。三軸加速度計は、他のセンサやワンドの関連する装置と共に、ワンド２５のケーシング内に納める。加速度計１００は、マイクロホンアレイ２０にしっかり空間的に固定して装着しなければならない。マイクロホンアレイ２０は前に説明した位置測定法を与えるもので、２つの位置測定値を組み合わせて１つの全体位置測定値を作る。三軸加速度計から、三軸それぞれのアナログ電圧を出力する。これらをアナログ変調器／フィルタ１０１，１０２，１０３に別々に出力すると、アナログ変調器／フィルタ１０１，１０２，１０３は第１帯域で信号を制限した後で周波数多重化を行うので、送信中の音波信号またはワンドボタン状態周波数と干渉することなく、無線送信機２６で送信することができる。一般に、加速度計の測定において関心のある最大周波数はわずか数百Ｈｚ程度なので、３つの加速度計軸信号を多重化して低い１または２ＫＨｚにし、その間に十分な保護帯域を残すことができる。この場合、ワンドボタン状態発振器には２から３ＫＨｚ範囲の周波数を割り当てて、超音波パルス信号用に多くの帯域幅を残す。次に、変調器／フィルタ１０１，１０２，１０３からの出力と他のワンド信号とをミキサ２４で混合して無線送信機２６からＤＳＰコントローラ１６に送信し、この信号を評価する。データ受信は第１図の説明と同じである。すなわち、無線受信機３４からの信号を前置増幅器３３で増幅し、Ａ／Ｄ変換器３２でディジタル化し、ディジタル形式でＤＳＰコントローラ１６に送って評価する。第５図は、音波パルスとワンドボタン状態を処理するＤＳＰコントローラのファームウエアの実施態様の一例を示す。これは第１図で説明したものと全く同じものであるが、さらに加速度計データも処理する。復調器モジュール１１０，１１１，１１２は加速度計Ｘ，Ｙ，Ｚのデータを抽出し、変調された各信号をｘ，ｙ，ｚ軸データ毎にベースバンドに戻す。次いで、３００Ｈｚ低域フィルタ（ＬＰＦ）１１３，１１４，１１５は周波数を変位したことにより発生した像周波数を除去し、完全に復調されたｘ，ｙ，ｚ軸加速度信号を得る。次にこれらの信号を積分モジュール１１６，１１７，１１８で積分し、ｘ，ｙ，ｚ速度値を生成する。次にこれらの値を積分モジュール１１９，１２０，１２１で積分し、ｘ，ｙ，ｚ軸位置１２２，１２３，１２４の値を生成する。再び第４図において、データバスインターフェース１１を経てこれら３つの値をパーソナルコンピュータ３０に送り、音波から得られた測定値と合併させる。パーソナルコンピュータのソフトウエアは、音波データの三次元計算を行うと同時にこのタスクを行う。三軸加速度計は、三次元空間を規定する３空間軸のそれぞれの加速度を測定する。これは直交軸に整列させた３センサを用いて行い、加速度を電圧に変換する。加速度計には、０から数百または数千Ｈｚの範囲の加速度周波数を測定するものもあるし、非ゼロの低周波数境界で始まる加速度周波数だけを測定するものもある。この応用で必要なのは前者である。多くのーカがこの種の加速度計を提供している。適当なモデルの例としては、エントランデバイセス(Entran Devices) 社の、エントランＥＧＡ−ＭＴＧ三軸取付ブロック付きの、ＥＧＡ１２５Ｆ−１０Ｄ加速度計がある。３空間軸それぞれの瞬時の加速度の測定値から、三次元のそれぞれの位置の変化を計算することができる。このためには、加速度を積分して３次元速度を計算し、次に速度を積分して３次元の位置の変化を計算する。このようにして、加速度計の測定値から、既知の開始点に対するある期間の３次元の位置の変化を計算することができる。既知の開始点は、最後に到着した音波位置決めパルスから計算した３次元の位置としてよい。もちろん加速度計の測定値にはいくらか誤差があり、時間が経つとこの誤差が累積して、加速度から予測した３次元の位置と実際とがかなり違ってくる。しかし、新しい音波位置決め装置パルスを受信すると、その度に新しい「開始点」として定期的に訂正を行う。このように、音波で発生させた各位置が基準「開始点」である。加速度計を基にした経路は、新しい音波位置が得られるまではこの新しい３次元点から測定し、音波位置測定の中間的な橋渡しをする。三軸加速度計により計算された位置を用いると、たとえばユーザの身体にかくれたため音波システムがしばらく中断して新しい位置を発生することができなくなるというような、音波パルスを受信しなくなる場合に効果がある。加速度計を組み込んだ装置を用いることにより、位置の精度は徐々に低下はするが、この装置は新しい音波位置が得られるまで引き続き機能する。上に説明した三軸加速度計／音波混成装置は位置のサンプリング速度を改善するので、速度は数千Ｈｚまで可能である。この場合、サンプリング速度を制限するのはコンピュータの計算速度であって、物理的な音波現象ではない。簡単のために加速度計は単一パルスを処理すると説明したが、三軸加速度計は、たとえばＦ１，Ｆ２，Ｆ３，Ｆ４など多重周波数のパルスを処理するのに用いることができる。

【手続補正書】特許法第１８４条の７第１項【提出日】１９９５年７月２４日【補正内容】１．三次元領域内の少なくとも１個の動いている対象の動きに応じて、実時間で変化して動くシステムの動作の制御装置であって、前記少なくとも１個の対象の三次元位置の三角測量値の慣性基準点にそれぞれ位置する少なくとも３個の超音波放射源（１２，１３，１４，１５）、超音波パルスを前記超音波放射源に与えるパルス発生手段（１６，１７）、各対象用の間隔をあけた複数の受信局（２０）であって、超音波受信機と、これに関連する、超音波受信機が受信したパルスを検出するパルス検出器（２２，１６）とを備え、また前記対象に関連して三次元空間内で前記対象と共に動く、受信局（２０）、前記受信局に関連し、パルス到着時刻を無線送信に適した形式に符号化する符号器（２１）、前記パルス到着時刻に対応する符号化された信号の無線送信機（２６）、前記少なくとも１個の対象と前記無線送信機から離れていて、前記無線送信機からの信号を受信する無線受信機（３４）、前記無線受信機からの信号を復号する復号器（３２）、対象追跡マイクロプロセッサコントローラ（３０）であって、前記少なくとも１個の対象に関連する各超音波受信機のデータを受信し、少なくとも１個の対象の三次元位置を、前記少なくとも１個の対象の半径位置データと、その対象の速度と、加速度を用いて計算し、一方では前記超音波放射源のパルス発生器への命令を作り、他方では前記対象の計算された三次元位置に応じて、また前記少なくとも１個の対象の各超音波受信局の半径位置データから、前記変化して動くシステムの変化を制御する命令を作るコンピュータにインターフェースする、対象追跡マイクロプロセッサコントローラ（３０）、を備え、その特徴は、少なくとも第１および第２の予め選択された周波数のパルスを各超音波放射源に与えて、対応する超音波パルスを発生させるパルス発生手段（１６，１７）であり、また前記装置は、受信機追跡マイクロプロセッサコントローラ（１１）であって、各受信局からパルスを受信してディジタル化し、前記予め選択された周波数毎にパルス到着時刻を測定し、前記パルス発生器（１６）からの信号の発生とタイミングを制御し、予め選択された周波数の１つのパルスの前記パルス発生器（１６）への放射と各受信局からのこれに対応する検出されたパルスとの間の経過時間から、各パルスについて各受信機の半径位置データを計算する、受信機追跡マイクロプロセッサコントローラ（１１）を備える、ことである制御装置。２．４個の超音波放射源を用いる、請求項１記載の制御装置。３．前記変化して動くシステムは仮想現実システムである、請求項１記載の制御装置。４．前記変化して動くシステムは変化して動く装置である、請求項１記載の制御装置。５．前記変化して動くシステムはミュージックシンセサイザである、請求項１記載の制御装置。６．前記超音波は２０ＫＨｚから３０ＫＨｚまでの範囲の周波数を持つ、請求項１記載の制御装置。７．前記少なくとも１個の対象は人の身体の一部に装着可能である、請求項１記載の制御装置。８．１個より多い超音波受信機が存在し、前記受信機のアレイは各対象に含まれる、請求項７記載の制御装置。９．三次元領域内の対象を追跡する装置であって、前記対象の三次元位置の三角測量値の各慣性基準点にそれぞれ位置する少なくとも３個の超音波放射源（１２，１３，１４，１５）、超音波パルスを前記超音波放射源に与えて、対応する超音波パルスを発生させるパルス発生手段（１６，１７）、前記対象に関連し、三次元領域内で動く少なくとも１個の超音波受信機（２０）、各超音波受信機に関連し、パルスを検出するパルス検出器（２２，１６）、前記受信機追跡マイクロプロセッサからのパルス到着時刻を無線送信に適した形式に符号化するパルス符号器（２１）、前記符号器と、前記対象から離れている無線受信機に関連し、検出されたパルスに対応するデータを前記無線受信機に送信する、無線送信機（２６）、少なくとも１個の対象と前記無線送信機から離れていて、前記無線送信機からの符号化された信号を受信する、無線受信機（３４）、前記無線受信機に関連し、送信されたパルスをマイクロプロセッサ検出に適した形式に復号する、パルス復号器（３２）、前記マイクロプロセッサコントローラにインターフェースして前記位置指示信号を受信し、前記対象の三次元位置、速度、加速度を計算する、コンピュータ手段（３０）、を備え、その特徴は、少なくとも第１および第２の予め選択された周波数のパルスを各超音波放射源に与えて、対応する超音波パルスを発生させるパルス発生手段（１６，１７）であり、また前記装置は、受信機追跡マイクロプロセッサコントローラ（１１）であって、各受信局からパルスを受信してディジタル化し、前記予め選択された周波数毎にパルス到着時刻を測定し、前記パルス発生器（１６）からの信号の発生とタイミングを制御し、前記予め選択された周波数の１つのパルスの前記パルス発生器（１６）への放射と各受信局からのこれに対応する検出されたパルスとの間の経過時間から、各パルスについて各受信機の半径位置データを計算する、受信機追跡マイクロプロセッサコントローラ（１１）を備える、ことである制御装置。 10．三次元領域内の少なくとも１個の動いている対象の動きに応じて、実時間で変化して動くシステムの動作の制御装置であって、前記少なくとも１個の対象の三次元位置の三角測量値の慣性基準点にそれぞれ位置する少なくとも３個の超音波放射源（１２，１３，１４，１５）、パルスを前記超音波放射源に与えて、対応する超音波パルスを発生させるパルス発生手段（１６，１７）、各対象用の間隔をあけた複数の受信局（２０）であって、超音波受信機と、これに関連する、前記超音波受信機が受信したパルスを検出するパルス検出器（２２，１６）とを備え、また前記対象に関連して三次元空間内で前記対象と共に動く、受信局（２０）、前記追跡マイクロプロセッサコントローラに関連し、パルス到着時刻を無線送信に適した形式に符号化する符号器（２１）、前記パルス到着時刻に対応する符号化された信号の無線送信機（２６）、前記少なくとも１個の対象と前記無線送信機から離れていて、前記無線送信機からの符号化された信号を受信する無線受信機（３４）、前記無線受信機からの信号を復号する復号器（３２）、対象追跡マイクロプロセッサコントローラであって、前記少なくとも１個の対象に関連する各超音波受信機のデータを受信し、位置データを受信して少なくとも１個の対象の三次元位置を、前記少なくとも１個の対象の半径位置データおよび前記位置データと、その対象の速度と、加速度を用いて計算し、一方では前記超音波放射源のパルス発生器の命令を作り、他方では前記対象の計算された三次元位置に応じて、また前記少なくとも1個の対象の各超音波受信局の半径位置データから、前記変化して動くシステムの変化を制御する命令を作るコンピュータにインターフェースする、対象追跡マイクロプロセッサコントローラ、を備え、その特徴は、各受信パルスが規定する基準点から各空間軸に沿って加速度を測定する三軸加速度計（１００）、前記加速度から暫定的な位置データを計算する手段、ここで対象追跡マイクロプロセッサが受信するのは前記暫定的な位置データである、制御装置。 11．４個の超音波放射源を用いる、請求項１０記載の制御装置。 12．前記変化して動くシステムは仮想現実システムである、請求項１０記載の制御装置。 13．前記変化して動くシステムは変化して動く装置である、請求項１０記載の制御装置。 14．前記変化して動くシステムはミュージックシンセサイザである、請求項１０記載の制御装置。 15．前記超音波は２０ＫＨｚから３０ＫＨｚまでの範囲の周波数を持つ、請求項１０記載の制御装置。 16．前記少なくとも１個の対象は人の身体の一部に装着可能である、請求項１０記載の制御装置。 17．１個より多い超音波受信機が存在し、前記受信機のアレイは各対象に含まれる、請求項１６記載の制御装置。【手続補正書】特許法第１８４条の８【提出日】１９９６年２月２８日【補正内容】少なくとも第１および第２の予め選択された周波数のパルスを各超音波放射源に与えて、対応する超音波パルスを発生させるパルス発生手段（１６，１７）であり、また前記装置は、受信機追跡マイクロプロセッサコントローラ（１１）であって、各受信局からパルスを受信してディジタル化し、前記予め選択された周波数毎にパルス到着時刻を測定し、前記パルス発生器（１６）からの信号の発生とタイミングを制御し、前記予め選択された周波数の１つのパルスの前記パルス発生器（１６）への放射と各受信局からのこれに対応する検出されたパルスとの間の経過時間から、各パルスについて各受信機の半径位置データを計算する、受信機追跡マイクロプロセッサコントローラ（１１）を備える、ことである制御装置。 10．三次元領域内の動いている対象の動きに応じて、前記動いている対象から離れた、実時間で変化して動くシステムの動作の制御装置であって、前記少なくとも１個の対象の三次元位置の三角測量値の慣性基準点にそれぞれ位置する少なくとも３個の超音波放射源（１２，１３，１４，１５）、パルスを前記超音波放射源に与えて、対応する超音波パルスを発生させるパルス発生手段（１６，１７）、各対象用の間隔をあけた複数の受信局（２０）であって、超音波受信機と、これに関連する、前記超音波受信機が受信したパルスを検出するパルス検出器（２２，１６）とを備え、また前記対象に関連して三次元空間内で前記対象と共に動く、受信局（２０）、前記追跡マイクロプロセッサコントローラに関連し、パルス到着時刻を無線送信に適した形式に符号化する符号器（２１）、前記パルス到着時刻に対応する符号化された信号の無線送信機（２６）、前記少なくとも１個の対象と前記無線送信機から離れていて、前記無線送信機からの符号化された信号を受信する無線受信機（３４）、前記無線受信機からの信号を復号する復号器（３２）、対象追跡マイクロプロセッサコントローラであって、前記少なくとも１個の対象に関連する各超音波受信機のデータを受信し、位置データを受信して少なくとも１個の対象の三次元位置を、前記少なくとも１個の対象の半径位置データおよび前記位置データと、その対象の速度と、加速度を用いて計算し、一方では前記超音波放射源のパルス発生器の命令を作り、他方では前記対象の計算された三次元位置に応じて、また前記少なくとも１個の対象の各超音波受信局の半径位置データから、前記変化して動くシステムの変化を制御する命令を作るコンピュータにインターフェースする、対象追跡マイクロプロセッサコントローラ、を備え、その特徴は、各受信パルスが規定する基準点から各空間軸に沿って加速度を測定する三軸加速度計（１００）、前記少なくとも１個の対象に関連する縦揺れ・片揺れ・横揺れ方向を検出する傾きセンサ２３、前記加速度と方向から暫定的な位置データを計算する手段、ここで対象追跡マイクロプロセッサが受信するのは前記暫定的な位置データである、制御装置。 11．４個の超音波放射源を用いる、請求項１０記載の制御装置。 12．前記変化して動くシステムは仮想現実システムである、請求項１０記載の制御装置。 13．前記変化して動くシステムは変化して動く装置である、請求項１０記載の制御装置。

───────────────────────────────────────────────────── フロントページの続き (81)指定国ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＤＥ，ＤＫ，ＥＳ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，ＩＴ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ，ＣＦ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＭＬ，ＭＲ，ＮＥ，ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＫＥ，ＭＷ，ＳＤ，ＳＺ，ＵＧ)，ＡＭ，ＡＵ，ＢＢ，ＢＧ，ＢＲ，ＢＹ，ＣＡ，ＣＮ，ＣＺ，ＥＥ，ＦＩ，ＧＥ，ＨＵ，ＩＳ，ＪＰ，ＫＥ，ＫＧ，ＫＰ，ＫＲ，ＫＺ，ＬＫ，ＬＲ，ＬＴ，ＬＶ，ＭＤ，ＭＧ，ＭＮ，ＭＷ，ＭＸ，ＮＯ，ＮＺ，ＰＬ，ＲＯ，ＲＵ，ＳＤ，ＳＧ，ＳＩ，ＳＫ，ＴＪ，ＴＴ，ＵＡ，ＵＧ，ＵＺ，ＶＮ

Claims

【特許請求の範囲】１．三次元領域内の少なくとも１個の動いている対象の動きに応じて、実時間で変化して動くシステムの動作の制御装置であって、前記少なくとも１個の対象の三次元位置の三角測量値の慣性基準点にそれぞれ位置する少なくとも３個の超音波放射源、少なくとも第１および第２の予め選択された周波数のパルスを各超音波放射源に与えて、対応する超音波パルスを発生させるパルス発生手段、各対象用の間隔をあけた複数の受信局であって、超音波受信機と、これに関連する、超音波受信機が受信したパルスを検出するパルス検出器とを備え、また前記対象に関連して三次元空間内で前記対象と共に動く、受信局、前記受信局に関連し、パルス到着時刻を無線送信に適した形式に符号化する符号器、前記パルス到着時刻に対応する符号化された信号の無線送信機、受信機追跡マイクロプロセッサコントローラであって、各受信局からパルスを受信してディジタル化し、パルス到着時刻を測定し、前記パルス発生器からの信号の発生とタイミングを制御し、予め選択された周波数の１つのパルスの前記パルス発生器への放射と各受信局からのこれに対応する検出されたパルスとの間の経過時間から、各パルスについて各受信機の半径位置データを計算する、受信機追跡マイクロプロセッサコントローラ、前記少なくとも１個の対象と前記無線送信機から離れていて、前記無線送信機からの信号を受信する無線受信機、前記無線受信機からの信号を復号する復号器、対象追跡マイクロプロセッサコントローラであって、前記少なくとも１個の対象に関連する各超音波受信機のデータを受信し、少なくとも１個の対象の三次元位置を、前記少なくとも１個の対象の半径位置データと、その対象の速度と、加速度を用いて計算し、一方では前記超音波放射源のパルス発生器の命令を作り、他方では前記対象の計算された三次元位置に応じて、また前記少なくとも１個の対象の各超音波受信局の半径位置データから、前記変化して動くシステムの変化を制御する命令を作るコンピュータにインターフェースする、対象追跡マイクロプロセッサコントローラ、を備える制御装置。２．４個の超音波放射源を用いる、請求項１記載の制御装置。３．前記変化して動くシステムは仮想現実システムである、請求項１記載の制御装置。４．前記変化して動くシステムは変化して動く装置である、請求項１記載の制御装置。５．前記変化して動くシステムはミュージックシンセサイザである、請求項１記載の制御装置。６．前記超音波は２０ＫＨｚから３０ＫＨｚまでの範囲の周波数を持つ、請求項１記載の制御装置。７．前記少なくとも１個の対象は人の身体の一部に装着可能である、請求項１記載の制御装置。８．１個より多い超音波受信機が存在し、前記受信機のアレイは各対象に含まれる、請求項７記載の制御装置。９．三次元領域内の対象を追跡する装置であって、前記対象の三次元位置の三角測量値の各慣性基準点にそれぞれ位置する少なくとも３個の超音波放射源、少なくとも第１および第２の予め選択された周波数のパルスを各超音波放射源に与えて、対応する超音波パルスを発生させるパルス発生手段、前記対象に関連し、三次元領域内で動く少なくとも１個の超音波受信機、各超音波受信機に関連し、パルスを検出するパルス検出器、前記受信機追跡マイクロプロセッサからのパルス到着時刻を無線送信に適した形式に符号化するパルス符号器、前記符号器と、前記対象から離れている無線受信機に関連し、検出されたパルスに対応するデータを前記無線受信機に送信する、無線送信機、少なくとも１個の対象と前記無線送信機から離れていて、前記無線送信機からの符号化された信号を受信する、無線受信機、前記無線受信機に関連し、送信されたパルスをマイクロプロセッサ検出に適した形式に復号する、パルス復号器、マイクロプロセッサコントローラであって、前記復号器からの送信されたパルスを検出し、信号を前記超音波放射源に送って超音波パルスの放射を開始させ、各超音波放射源からの超音波パルスの放射とこれに対応する検出されたパルスとの間の経過時間を測定し、各放射源と前記対象からのパルスの経過時間から前記対象の半径位置データを計算し、位置指示信号を発生させる、マイクロプロセッサコントローラ、前記マイクロプロセッサコントローラにインターフェースして前記位置指示信号を受信し、前記対象の三次元位置、速度、加速度を計算する、コンピュータ手段、を備える、三次元領域内の対象を追跡する装置。 10．三次元領域内の少なくとも１個の動いている対象の動きに応じて、実時間で変化して動くシステムの動作の制御装置であって、前記少なくとも１個の対象の三次元位置の三角測量値の慣性基準点にそれぞれ位置する少なくとも３個の超音波放射源、パルスを前記超音波放射源に与えて、対応する超音波パルスを発生させるパルス発生手段、各対象用の間隔をあけた複数の受信局であって、超音波受信機と、これに関連する、前記超音波受信機が受信したパルスを検出するパルス検出器とを備え、また前記対象に関連して三次元空間内で前記対象と共に動く、受信局、前記追跡マイクロプロセッサコントローラに関連し、パルス到着時刻を無線送信に適した形式に符号化する符号器、前記パルス到着時刻に対応する符号化された信号の無線送信機、前記少なくとも１個の対象と前記無線送信機から離れていて、前記無線送信機からの符号化された信号を受信する無線受信機、前記無線受信機からの信号を復号する復号器、各受信されたパルスが規定する基準点から各空間軸に沿って加速度を測定する三軸加速度計、前記加速度から暫定的な位置データを計算する手段、対象追跡マイクロプロセッサコントローラであって、前記少なくとも１個の対象に関連する各超音波受信機のデータを受信し、前記暫定的な位置データを受信して、少なくとも１個の対象の三次元位置を、前記少なくとも１個の対象の半径位置データおよび前記暫定的な位置データと、前記対象の速度と、加速度を用いて計算し、一方では前記超音波放射源のパルス発生器の命令を作り、他方では前記対象の計算された三次元位置に応じて、また前記少なくとも１個の対象の各超音波受信局の半径位置データから、前記変化して動くシステムの変化を制御する命令を作るコンピュータにインターフェースする、対象追跡マイクロプロセッサコントローラ、を備える制御装置。 11．４個の超音波放射源を用いる、請求項１０記載の制御装置。 12．前記変化して動くシステムは仮想現実システムである、請求項１０記載の制御装置。 13．前記変化して動くシステムは変化して動く装置である、請求項１０記載の制御装置。 14．前記変化して動くシステムはミュージックシンセサイザである、請求項１０記載の制御装置。 15．前記超音波は２０ＫＨｚから３０ＫＨｚまでの範囲の周波数を持つ、請求項１０記載の制御装置。 16．前記少なくとも１個の対象は人の身体の一部に装着可能である、請求項１０記載の制御装置。 17．１個より多い超音波受信機が存在し、前記受信機のアレイは各対象に含まれる、請求項１６記載の制御装置。