JP2010509582A - 物体の位置及び定位検出システム - Google Patents

Abstract

【課題】高価なハードウェアを必要とせずに機能する物体の位置及び定位検出システムを提供する。
【解決手段】物体の位置及び定位検出システム、特に視認された３次元の動きを記述できるシステムが提供される。１例では、同心リングをもつ球体のパターンを形成するマーカーが１または複数のデジタルカメラを用いて撮像され、その像がパターンを形成するマーカーが取り付けられる物体の位置及び定位を決定するために処理される。本システムで使用される光学追跡方法により運動を６自由度で決定することができる。適切なディスプレイに接続して、投影器、会話型のホワイトボードまたは類似の応用が実現可能である。
【選択図】図５

Description

本発明は物体の位置及び定位（orientation）検出システムに関し、特に、視認される３次元の動きを決定できる位置及び定位検出システムに関する。

ボードを横切って拡がった接触感応表面を用いて投影像に書き込みできるインターフェイス装置は公知である。しかしながら、そのような装置による相互作用性（対話式利用）のレベルは標準のデスクトップマウスで達成されるよりも低いレベルに限られる。そのようなシステムはまた高価であり、かつそれらを効果的にするために付加的なハードウェアの購入が必要である。

したがって、本発明の具体的な目的は、高価なハードウェアの付加を必要とせずに機能し得る物体の位置及び定位検出システムを提供することにある。

本発明の第１の形態によれば、少なくとも物体の一部がその物体上に配置された検出可能なパターンを備えたパターンを形成するマーカーを有する物体と、
物体の１またはそれ以上の像を生成する結像手段と、
パターンを形成するマーカーの位置及び定位から空間内の物体の位置及び定位を計算する像処理手段とを有する物体の位置及び定位検出システムが提供される。

好ましくは、物体の位置及び定位はリアルタイムで計算される。
このシステムは、３次元空間のまわりに動きかつ転回したとき、物体の軌道及び定位（６自由度で）をモニターし得るので、効率的な物体の位置及び定位検出装置となる。
好ましくは、結像手段によって視認されるパターンは結像手段に関連するパターンを形成するマーカーの定位に依存して変化する。
オプションとしては（optionally）、結像手段によって視認されるパターンは結像手段に関連するパターンを形成するマーカーの位置に依存して変化する。

好ましくは、結像手段によって視認されるパターンは１つの表面に関する装置の位置及び定位を伝達するために使用される。

オプションとして(optionally)、これは結像手段と前記表面上の較正像(caribration image)との間の相互作用以外に、パターンの相互作用を含まない較正方法（caribration procedure）に基づいている。
好ましくは、パターンを形成するマーカーは実質的に球体である。オプションとしては、パターンを形成するマーカーは単一の球体からなる。
好ましくは、像処理手段は、カメラに関連するパターンの定位及び位置に依存したパターンを形成するマーカー上のパターンの特徴を検出する。
好ましくは、球状のパターンを形成するマーカー上のパターンは、結像手段について球体の定位に依存する種々のパターンを作り出す球体のまわりに一組のリングを有する。
好ましくは、パターンを形成するマーカーは光を拡散する表面を備えた中空（hollow）である。

好ましくは、前記表面はセルロイドからなる。
好ましくは、前記表面は艶消し仕上げ面を有する。
オプションとしては、前記パターンは光源でこれを照射することによって強調される。

好ましくは、パターンを形成するマーカーの表面及びマーク付けがなされる材料は同じ反射特性を有するが、伝達特性が異なるものである。
好ましくは、前記パターンはこれを光源で照射することによって結像手段により検出できるように作られる。

好ましくは、前記光源は点光源である。
好ましくは、前記光源はパターンを形成するマーカーの背後に配置される。
好ましくは、前記光源は赤外光を照射する。
オプションとしては、前記光源は可視光を照射する。
オプションとしては、前記光源は紫外光を照射する。

好ましくは、結像手段は光源によってもたらされた照明を検出するように構築される。
好ましくは、結像手段には光学フィルタが設けられている。
好ましくは、前記光学フィルタは、結像手段が前記光源によってもたらされる周波数以外の周波数の電磁放射線を受けるのを防止するバンドパスフィルタである。

別の例として、光学フィルタはロウパスあるいはハイパスフィルタ、あるいは光源の周波数以外の周波数の伝搬を減じるように選択された他のフィルタである。

好ましくは、前記パターンはスイッチによりオン及びオフに切り替えることができる。
好ましくは、前記パターンは光源がオフに切り替えられたとき検出されない。
好ましくは、このシステムは情報をコンピュータシステムに伝達するためのスイッチ機能を使用する。
好ましくは、前記情報はコンピュータ機能を選択するために使用される。
オプションとしては、前記情報は１つの表面に関連して装置の位置及び定位を伝搬するのに使用される。

好ましくは、像処理ソフトウェアは更に像中のパターンに人工的パターンをマッチングさせるマッチングソフトウエアを有する。
好ましくは、人工的パターンを限定する位置、サイズ及び定位のパラメータは人工的パターンが像中のパターンと最良の相関状態となるまで微調整される。

本発明の第２の形態によれば、少なくとも物体の一部がその上に配置された検出可能なパターンを備えたパターンを形成するマーカーを有する１つまたはそれ以上の物体の像を生成する工程と、
対応する像から、パターンを形成するマーカーの位置及び定位から空間中の物体の位置及び定位を計算する工程とを有する物体の位置及び定位検出装置を作動する方法が提供される。

好ましくは、物体の位置及び定位はリアルタイムで計算される。
好ましくは、前記パターンは対応する像におけるパターンを形成するマーカーの定位に依存して変化する。
オプションとしては、前記パターンは対応する像におけるパターンを形成するマーカーの位置に依存して変化する。
好ましくは、パターンを形成するマーカーは実質的に球状である。
好ましくは、前記方法は更にカメラに関連する前記パターンの定位及び位置の一方あるいは双方に依存するパターンを形成するマーカー上のパターンの形態を検出する手段を有する。

好ましくは、球状のパターンを形成するマーカーのパターンは結像手段に対して球体の定位に依存する種々のパターンを生成する球体のまわりに一組のリングを有する。
好ましくは、前記パターンを形成するマーカーは光を拡散する表面を持つ中空である。

好ましくは、前記表面はセルロイドからなる。
好ましくは、前記表面は艶消し仕上げ面を有する。
好ましくは、パターンを形成するマーカーの表面及びマーク付けがなされる材料は同じ反射特性を有するが、伝達特性が異なる。

好ましくは、前記方法は更に前記パターンの検出を可能にする光源によって前記パターンを照射する工程を有する。
好ましくは、前記光源は点光源である。
好ましくは、前記光源はパターンを形成するマーカーの背後に配置される。
好ましくは、前記光源は赤外光を照射する。
オプションとして、前記光源は可視光を照射する。
オプションとして、前記光源は紫外光を照射する。

好ましくは、前記方法は更に光学的にフィルタリングする工程を有する。
好ましくは、バンドパスフィルタが前記光源によってもたらされる周波数の電磁放射以外の周波数の電磁放射の像を阻止するために使用される。
好ましくは、前記パターンはスイッチによりオン及びオフに切り替えることができる。
好ましくは、前記パターンは前記光源がオフに切り替えられたとき検出されない。

好ましくは、スイッチ機能により情報をコンピュータシステムに伝達する。
好ましくは、前記情報はコンピュータ機能を選択するのに使用される。

オプションとして、前記情報は１つの表面に関する装置の位置及び定位の一方あるいは双方を伝搬するのに使用される。
好ましくは、前記方法は更に像中のパターンに人工的なパターンをマッチングさせる工程を有する。

好ましくは、前記人工的なパターンを規程する位置、サイズ及び定位のパラメータは人工的なパターンが像中のパターンと最良の相関状態となるまで微調整される。

好ましくは、前記人工的なパターンは、位置、サイズ及び定位に対して連続的な値でパラメータ化された数式によって表現される。
好ましくは、前記人工的なパターンの明暗度が前記数式を用いた任意の組のパラメータ値ごとに連続像空間内の任意の点について計算される。

好ましくは、前記人工的なパターンに対する計算が連続した人工的パターンと画素化された像のパターンとの間の類似点の測定を決定するのに使用される。更に、この類似点測定の勾配（gradient）の決定は連続パラメータ空間内に限定される。
好ましくは、このマッチングの自動微細調整では最良の適合を見つけるために類似点測定の勾配を使用する。
好ましくは、マッチングアルゴリズムの段階ではcoarse-to-fine fitting method（粗雑−精緻適合方法）を使用する。
好ましくは、前記アルゴリズムではカスケード、すなわち適合候補の初期のセットの段階的な副選定を使用する。

本発明の第３の形態によれば、パターンを形成するマーカーを有する物体の位置及び定位検出装置であって、前記装置の定位及び位置の一方あるいは双方の変化を検出するために連続像中の結像手段により前記パターンが検出可能である物体の位置及び定位検出装置が提供される。

好ましくは、前記パターンを形成するマーカーは実質的に球状である。
オプションとして、前記パターンを形成するマーカーは単一の球体からなる。
好ましくは、球状のパターンを形成するマーカー上のパターンは結像手段に関して球体の定位に依存する種々のパターンを作り出す球体のまわりに一組のリングを有する。
好ましくは、パターンを形成するマーカーは光を拡散する表面をもつ中空である。

好ましくは、前記表面はセルロイドからなる。
好ましくは、前記表面は艶消し仕上げ面を有する。
好ましくは、パターンを形成するマーカーの表面及びそのマーク付けがなされる材料は同じ反射特性及び異なる伝達特性を有する。
オプションとして、前記パターンは光源でこれを照射することによって強調される。
好ましくは、前記パターンは光源でこれを照射することによって結像手段により検出できる。

好ましくは、前記光源は点光源である。
好ましくは、前記光源はパターンを形成するマーカーの背後に配置される。
好ましくは、前記光源は赤外光を照射する。
オプションとして、前記光源は可視光を照射する。
オプションとして、前記光源は紫外線光を照射する。

好ましくは、前記パターンはスイッチによりオン及びオフに切り替え可能である。
好ましくは、前記パターンは前記光源がオフに切り替えられたときは検出されない。
好ましくは、前記装置はコンピュータシステムに情報を伝達するための切り替え手段を使用する。
好ましくは、前記情報はコンピュータ機能を選択するために使用される。
オプションとして、前記情報は１つの表面に対して前記装置の位置及び定位の一方あるいは双方を伝搬するために使用される。

好ましくは、前記装置は更にパターンを形成するマーカーから延在するポインタを有する。
好ましくは、前記光源は前記ポインタに取り付けられる。
別の例として、前記光源は球体内に配置される。

本発明の１実施例で使用される球体の人工的に作られたパターンの１例を示す。 本発明の１実施例で使用される赤外線照明のカメラを通して視認される現実にパターンを形成した球体像の１例を示す。 本発明にしたがってカメラに向けられたインターフェイス装置の１例を示す。 本発明にしたがって、図３に示す例に対して垂直方向に向けられたパターンを形成するマーカーの１例を示す斜視図である。 本発明にしたがって筆記器具として使用される別のインターフェイス装置の１例を示す。 本発明にしたがって検出ソフトウェアの操作を説明するフローチャートを示す。 パターンを形成するマーカーの検出ソフトウェアの操作を説明するフローチャートである。 図５に示す「マジックペン」の詳細な側面図である。 モニターまたはＴＶスクリーンを使用した本発明の実施例を示す。 本発明にしたがってカメラを調整し、配置する「バーチャルトーチ」方法を示す。 サブピクセルの正確度が連続パターンを画素化したパターンにマッチングさせることによりどのように実現するかを示す。 球状マーカー上のパターンにおける比較的小さな変位がどのようにペン先端の位置におけるより大きな変位に対応するかを示す。 移動デバイスに使用する「マジックペン」の応用例を示す。

次に、本発明を添付図面を参照して実施例によって説明する。

本発明のインターフェイス装置１の実施例を、変形されたウェブカメラ３及び非筆記端に取り付けられた５５ｍｍの球体７を備えた筒状ペン５（入力装置）を有するものとして示す（図３、図４、図５及び図８）。球体７は赤道（equator）９に沿う面にマーク付けされたリングを有し、またボール７の「北極」１３及び「南極」１５に向かって反復する赤道９に平行な他のリング１１を有する。

この実施例では変形されたウェブカメラを使用したものを記載しているが、勿論この目的のためには任意のカメラ、例えば専用の赤外線カメラ、または当該パターンを形成するマーカー像を記録するために特注したカメラを用いることができる。

ペン５は２個のＬＥＤ１９に電力を供給する小さなバッテリー１７を有し、該ＬＥＤはボール１７上の帯状パターンを順に照射する（実際にはＬＥＤは１個でも数個でもよいことに留意されたい。）。ＬＥＤ１９は赤外光を放射する。このことはパターンが赤外線領域でのみ検出可能であり、人間は見ることができないことを意味する。ウェブカメラは、そのカメラのフィルタ（一般に赤外光を遮断し、可視光を通す）を、可視光を遮断し赤外線を通過するように選択した適当なフィルタ（例えば、バンドパス）に変えることによって赤外線スペクトル中の像を検出できるように改変される。

ボタン（Ａ）２１が押されると、カメラがパターンを検出できるように照明のスイッチが入れられる。更に、ペン５が表面に触れると、カメラによりパターンを検出できるよう同様に照明が入るボタン（Ｂ）２３が作動する。応用例の要求に依っては、そのようなペン５には、実際にはボタン２１、２３のいずれか一つまたは両方、または追加のボタンを設けてもよい。

放物面鏡２５が赤外光を球体７に導入し、パターンは非常に明るく照らされる。これによりパターンの有用な像を得るためにカメラに必要な露出時間が著しく短縮される。これは多くの利点を有する。第１に、背景に比較したパターンの相対的な明るさは、パターン像を黒を背景とするパターンのみからなるものにすることである。しかしながら、同様に重要なことは、露出時間の短縮が運動によって引き起こされるぼやけをかなり減少させ、除去できる可能性のあることである。

球体７は光輝部（highlight）の発生を防ぐ球状の散光器として作用する。この具体例では、球状の散光器は卓球のボールであり、その材料であるセルロイドは球体中に均一な光分散を得るための良好な散光器であることが判明した。

球体７上のパターンには金属の薄層等の遮光材料層を用いてマーク付けがなされる。金属は光反射、光輝部の発生という望ましくない性質を有するので、第２のプラスチックの薄層が金属を覆うために使用される。

別の具体例（図示せず）では、球体上のパターンは表面の赤外光に対する透明性を減少させる適当なコーティングを施すことによって形成される。不連続な矩形波タイプの縞状のパターンの代わりに、コーティングにより正弦曲線状、または他の連続的なパターンで透明性を増加あるいは減少することができる。これにより検出が改善される。コーティングは球体の内面に施され、これによって赤外光源がスイッチオンされた時、パターンがカメラでのみ視認できることになる。また、球体の外面が縞状に見えないので、美的価値もある。

インターフェイス装置と組み合わせるソフトウェアでは、球体７、カメラ３及び球体７からカメラ３に向う光線を記述する数学モデルを使用し、センサチップ２９上に球体７の投影像２７を作る（図３及び図４参照）。このモデルによってカメラの視野に任意の位置及び定位の球体の投影像２７を人工的に作ることが可能になる（例えば、図１参照）。次に、これらの人工的な像またはパターンが、実際の像３１、すなわちセンサチップ２９（図２参照）上に形成された球体７の像にマッチングされるか、または相関付けされ、最良のマッチングを見つけることによって実像の正確な位置及び定位が決定される。

ペン５が壁に触れている時を指示するための、インターフェイス装置とコンピュータ３３間の連絡は、好ましくはパターンとカメラ３間の相互作用のみによる。前記装置がマウス状の入力装置として使用される場合、すなわちクリックされたときの連絡の場合も同様である。

ＬＥＤがスイッチオフされている間は、パターンは改変されたウェブカメラによって検出されない。しかしながら、例えばボタン（Ａ）２１を押した時、またはボタン（Ｂ）２３が装置のチップを表面上に配置することによって作動した時、照明がオンになり、ウェブカメラ３はパターンを検出する。したがって、クリックは簡単に「パターン非検出」状態から「パターン検出」状態への変化として伝達される。

逆の状況もまた実現される。すなわち過失によってＬＥＤがオンとなり、ボタン（Ａ）２１が押された時、またはボタン（Ｂ）２３が表面に装置のチップをおくことによって作動した時、照明のスイッチはオフになる。クリックはこの時「パターン検出」から「パターン非検出」への変化として伝達され、装置の最終記録位置はクリックが有効となった場所を示す。

本発明の特別の応用例は図８に示した「マジックペン」である。ボタンの配置はこの応用例によるが、この実施例では２つの位置が用いられる。一つのボタン（Ａ）２１は、ペンが塗料スプレーデバイスをシミュレーションするのに使用され時、人指し指で押されるようペンの先端部表面上にある。他のボタン（Ｂ）２３はペンの先端にあり、実際のペンで描くのに用いるように「マジックペン」がシミュレーションする押圧の適用により作動する。

第２に、球体７の表面及びパターンを提供する材料は同一の反射特性（例えば同一色）を有するが、伝搬特性が異なるように選ばれる。例えば、卓球ボールのセルロイド材料は光を伝達するがパターン付け材料は光を遮断する。この方法によりＬＥＤが不透明なバンド間の球体表面を照らす時、パターンのみが検出される。

パターンの背後を赤外光源によって球体を明るく照らすことにより得られる他の利点は、電磁スペクトルの赤外線領域で光らない他のパターンと混同せずにパターンを単純化できることである。上述したように、これはカメラの像のぼやけをも減少させる。同様のパターンが背景に存在するが、それらはパターンのようにウェブカメラの像上で輝くように現れることはない。カメラの露出設定は、像が通常の輝度レベルで光源または強く反射する物体のみを示す殆ど黒かまたは極めて暗い背景から点まで効果的に減少させることができる。

赤外光源の選択は、またコンピュータモニター上に現れるか、またはデジタルプロジェクターからの投影像中に現れるような明るいパターンと混同する可能性を減少させる。これらのパターンは、可視光スペクトル中に主要な光を含み、非常に弱い（あるいは実際上存在しない）赤外光出力のみを生じる。赤外光源の選択は、またパターンが観察者には見えないという効果を有する。

球状の散光器を採用する利点は、球体が常に、それを見る方向に関係なくカメラの像に円形（または極く僅かな楕円形）の円板として出現することである。第２に、球体のまわりの規則的な縞状あるいは環状物は、カメラに対する球体の位置付けに依存して円板像に多様なパターンをもたらすことである（図３、図４参照）。もし球体の軸がカメラを直接示しているならば、パターンは一連の同心円として現れる（図３）。他の極端な場合、球体の軸がカメラの視線に対して垂直方向に向いているならば、パターンは一連の平行帯状として現れる（図４）。上述したパターンによって（図２をも参照）、カメラ像中の２次元の投影により３次元の球体の任意の定位が検出できる。

３次元の球体７の位置は以下のように決定される。円板のサイズは球体７とカメラ３間の距離に反比例して直線的に増加または減少する。したがって像中の円板のサイズはカメラの光軸の方向における球体までの距離を決定するのに使用される。像中の左右方向、及び上下方向の円板の位置は、球体がカメラに対して垂直または水平方向に位置していることに関する情報を与える。これらは当業者によく知られた数式を用いて計算され、カメラの視角（スクリーンに対する）及びカメラのレンズによるゆがみに関する知識はこの決定を助ける。

環状のパターンは、カメラに対する相対的な定位とは独立して通常の特性を有するように設計された。任意の定位におけるパターン付け球体の投影像が与えられると、垂直線または水平線のいずれかが常に円板の中心を通るように描かれ、これによって前記線は明暗の間を少なくとも８つの境界に分ける。更に、これらの境界は概ね規則的な間隔を置いて現れる。コンピュータにより、像中の白及び黒の水平または垂直に線形の連続したセグメントを迅速にサーチできる。検出の結果、いくつかの位置には誤りがあるが、これらの中には常に正しいものが存在する。したがって、この方法は予め位置の候補を選択するものとして有用である。より正確でより遅い後の検出段階では、この最終選抜候補のみに適用すればよい。

球体の定位の変化により変わるパターンの変わりやすさのために、平凡なアルゴリズムの作業により迅速な検出は出来ない。球体の可能なすべての出現に対するすべての像をサーチするという当業者に採用されているナイーブなアプローチはコンピュータには高価であり、かつ処理時間を不必要に労費する。

この方法はカスケードあるいは段階的フィルタリングとして知られており、問題の解決にとってありそうもない多数の候補が非常に簡単な試験の後、プロセスの初期段階で拒絶される。後者の段階では試験はより複雑になるが、最良の解決が適切な速度で最終的に導かれるよう次第に少なくなる候補に適用される。

標準のＶＧＡ解像度のウェブカメラによる合理的な範囲に亘る位置の必要な精度を実現するために必要とされるサブピクセルの精度は、人工的パターン２７（図１の実施例参照）を像３１のパターン（図２の実施例参照）にマッチングさせることによって実現される。人工的なパターンを規定する位置、サイズ及び定位パラメータはそれがパターンと最良に相関付けされるまでサブピクセルの精度に微細調整される。

人工的なパターンは、カメラチップ上のパターン付け球体の投影に対する数学的モデルから導かれる式によって表される。この式により人工的パターンの強度をパターン付け球体の所定の位置、定位及びサイズに対して連続的な像空間の任意の点で計算できる。位置、定位及びサイズは、式の連続パラメータとなる。

式中のパラメータの連続性により、人工的パターンと現実のパターンとの間の類似性の測定を規定する式を使用することができる。パターンの階調性は連続的なパラメータ空間中で都合よく規定される。ついで、マッチングの微調整を、一般に非常に速く、ほぼ任意の精度に達する階調をベースとする方法を用いることによって行うことができる。

図３、図４及び図５（ＯＰＯＤＤの例を示す。）を参照すれば、デジタル投影器３５はコンピュータのディスプレイ内容を投影面、例えば白壁に投影する通常の方法で設定される。使用者は「マジックペン」５（図８を参照して詳細に上述した）を持ち、その先端をマウスクリックする意図で、または投影されたウィンドウの主題である描画プログラム(drawing program)内に描く意図で投影像内の壁の位置３９に触れる。先に述べた改変ウェブカメラ３はその視野が投影像とほぼ一致するようにデジタル投影器３５の近くに配置されている。ユーザの位置はペン５の端部でカメラ３の視界から球体７を隠さない位置である。実際に、ユーザは自身の位置が投影を妨げない位置となるように、自然にカメラを妨げることを避けていることが観察される。そうしないとユーザは自分が書くもの、または描くものを見ることができない。

較正法（calibration procedure）では、最初にカメラに対する投影像の正確な位置を確立する。以下に記載する較正法は、多数の可能な較正法の一例である。較正法の目的は投影像に対して装置の位置を確立することである。この情報は、描画の際にマジックペンの先端で適当な画素をスイッチオンするために、またはペンがバーチャルスプレー塗布に使用される場合に、ペンの延長線または円錐が投影像と交差する所の画素をスイッチオンするために必要である。

多数の十字線が十字の交差点で標的の画素をもつ投影像中に表示される。十字線は投影像を横切るよう均一に分布している。十字線は同時に像の余白部に１つ配置される。表示された各十字線について、ユーザは十字の交差点で標的の画素上に真っ直ぐペンを配置し、所定時間そこに保持することが必要である。

ペンの定位がペンの先端を十字線に固定している間に変化すると、較正プロセスの効験(efficacy)にとって有利である。一方システムはペンの先端に対する一組のカメラの中心座標を決定する。これはペンの定位の変化に依りペン先端の真の位置の周囲で極く僅かに変化する。この十字線に対して十分なサンプルが集められた時点で、平均の先端位置が計算され、像中の標的画素の座標と対にされる。

その後、他の十字線が表示され、その較正の手順が十字線の座標とカメラ先端の座標の整列した組が集められるまで繰り返えされる。次に、対となった座標のリストがペン先端の座標から画素の座標への変換を決定すべく１セットのパラメータを計算するのに使用される。この変換はドローイング（描画）及びポインティングのために後で使用される。実際上、このプロセスはカメラ座標システム（camera coordinate system）における実世界のスクリーンの定位を現わす。

別の例として、よりエレガントな較正法が図１０を参照して、以下のように遂行される。この例においては、較正情報はカメラ３と表示部３７間の相互作用から直接得られる。較正パターン３９はスクリーン上に表示され、カメラ３によって検出される。カメラ像４１に現われるパターンの解析はこのようにスクリーン３７の空間的配置についての知識を得るために使用される。この情報はペンの描画機能を可能にするに充分である。本質的にスクリーンの定位及び位置は、ペンの定位及び位置の検出に使用されるのと同様のプロセスで得られる。

しかしながら、このアプローチによる基本的な問題は、ペンの検出を容易にするために（例えば、赤外線領域において）カメラがスクリーン上に表示されるものを見えなくする光学フィルタを持つように改造された場合である。

この問題を解決する簡単な方法は代表的なＣＣＤウェブカメラに異なるカラーチャンネルを使用することである。これらのチャンネルはある可視光（すなわち、赤、緑及び青）に対して感度を有するようにされるが、これらはすべては赤外線にも感度を有することに留意すべきである。初めにすべての可視光を遮断し、赤外線のみを通過するフィルタの周波数しきい値を高めることが可能である。これは青及び緑の周波数のみを遮断し、赤外線と赤のみを通過するようにして行うことができる。このようにして青及び緑のチャンネルが赤外中で像を表わし、ペンを検出するのに使用でき、これに対して赤のチャンネルはスクリーンの内容を示し、較正のために使用することができる。

この較正方法では、ペン描画を実現するための投影器、スクリーン及びカメラの正確な構成を知る必要はない。必要な情報は２点の相互関係、またはオリジナルの像中の点とオリジナル像の投影を見るカメラから返された像中の点と間のマッピングである。このマッピングは図１０に差込み図として示されているようにカメラの眺めの中のオリジナル像のゆがみとして見ることができる。

ペン描画を行うために必要な唯一の情報はペンの先端の下に投影された画素であることに留意されたい。本明細書の他の箇所に記載したパターンからカメラの中心座標中にペンの先端位置を検出することができる。ペンの先端からカメラのピンホールを通るラインがＣＣＤチップに当たる所を計算することができ、したがってペン先端が位置するカメラ像の正確な点を決めことができる。最終的にはマッピングを使用してオリジナル像中の対応する点を見付け、最も近い画素をペンの先端がスクリーンにマーク付けしたイリュージョンをつくるようにするだけである。この方法はペンの先端がスクリーンと接触するという前提の下で機能するが、ペン先端のボタンがスクリーンに向かって押されたときペンの背後のパターンを形成するマーカーが照らされるだけなのでこの前提は通常是認される。

マッピングを決定するために、再度光線の数学的モデルからスタートする。このモデルでは、光線が投影器から放射され、スクリーン面に当り、カメラのＣＣＤチップに反射する方法を記述する。このモデルを使用することにより、像がスクリーン上の投影から受ける歪みとそれに続くカメラのＣＣＤチップによる検出をかなり簡単な（フラットな面に対して）、７個のパラメータのみを含むマッピングにより表わせることを証明できる。投影器及びカメラはスクリーンに対して或る角度を持ち得るので、この歪みはかなりなものであることに留意されたい。しかしながら、このマッピングのパラメータの値は、歪みが像中の少なくとも４点にどのように作用するかを知ることにより決定することができる。言い換えれば、４点がマッピング化できれば、像のすべての点のマップを推定し決定することができる。

当業者が点のマッピング化についての情報を得るために使用できる多くの方法がある。１つの方法は、多数の限定された点に中心を持つ多数の白色ディスク、十字形状物または類似形状物を用いて黒色像を投影することである。以下、これらの形状を較正マーキングと称する。これらのマーキングの中心は適当なアルゴリズムを用いてカメラ像中に検出され、オリジナル像の点と対（ペアー）にすることができる。

マッピング化するためには、対応する点を４ペアー以上得るのが好都合であることに留意されたい。得られた追加情報はノイズと画素化によって生じたエラーを当業者に知られた適当なアルゴリズムを用いて減らすために使用することができる。

マジックペンの配置のためのセットアップの他の重要な要素は、ペンの背後が常に使用中にカメラの視野内にあるようにカメラを適当な方向に向けることである。ソフトウェアのサポートなしではこれは困難なプロセスである。なぜならこれはすべての投影領域が視野に入るまでカメラの向きを手動操作しながらのスクリーン上のカメラ送りの注視（ウォッチング）を伴うからであり、カメラを取り扱う際の動作がカメラ送りの動作とは直感的に認識できるものとしては対応しないからである。これはカメラ送りにおける用具がカメラが移動する方向とは反対方向に動くからである。

この問題に対してもエレガントな解決手段があることが判明した。このコンセプトはランプまたは電子部品をカメラには付けずにカメラを「仮想トーチ」内へ向けることである。カメラが指示しているところを簡単に計算することによって、そしてカメラの方向からスクリーンに当たるビームのイリュージョン４３を生じるように投影器から来る光を使用するのである。ユーザがカメラを、実際に投影器によって供給されカメラにより操作される照明を用いてカメラを実際に仮想トーチ内へ向け、ビームが表示標的（ターゲット）と重なるまで、トーチのように使用することは非常に容易なことである。

このイリュージョンを作る計算は簡単明瞭であり、較正について概要を述べたマッピングを使用する。カメラ像を３×３の正四角形（例えば４５）に分割する。内側の四角形はこのときスクリーン上へ「矩形ビーム」のようなピンホールから「外方へ投影」される。この投影の形状は、カメラがある角度（図１０参照）でスクリーンに向いているならば非矩形となる。正しい投影の正確な多角形を計算するためには、カメラ像の内部四角形Ｓの隅部の点にマッピングを行い、オリジナル像に生じる点を線で結び、内部域を明るい色で満たすだけで充分である。

最後の要件は、トーチイリュージョンを実現するためには、このプロセスを最大のカメラフレームレートでリアルタイムに繰り返さなければならないことである。カメラが移動するかその向きを変え、したがってカメラビデオストリーム中の各フレームに対して再計算する必要があるときはいつも較正マッピングが無効となることに留意されたい。このことは、マッピングの検出を可能にする較正マーキング（上述参照）はビームイリュージョンと共に示される必要があることを意味する。これは潜在的に２つの問題点を生じる。すなわち、（１）較正マーキングがユーザのビームイリュージョンを損なうこと、及び（２）ビームイリュージョンがスクリーン上で周囲に移動し、較正マーキングを不明瞭にし検出を一層困難にすることである。

しかしながら、これらの問題点は以下の方法によって解決できる。すなわち、（１）較正マーキングを、それらがビームを正確に向けるためのガイド／インジケータとして２重に機能するような配置構成とすること−本発明者らの設定では、それらは再びスクリーンの内部四角形を指示する。（２）ビームイリュージョンが緑あるいは青として示される場合は、赤の較正チャンネル中では視認できず、したがって較正マーキングの検出を妨げず、赤を含む色（例えば、白色）によって表示されることとなる。

チャンネルの分割は幾つかの他の応用例で有用である。一旦ペンの位置及び定位が専ら赤外光に感度のある青及び緑チャンネルを使用して検出されると、可視（赤）チャンネル中でのペンの出現を分析することが可能となる。ペンは、可視領域においてのみ現れて、ＩＲ可視パターンに影響を与えない他の第２のパターンによってマーク付けすることができる。このパターンは追加情報を伝達するのに使用される。そのような情報は、例えば同時に描画している多数のペンを特定し追跡するために使用することができる。あるいは異なるペンに対して固定の描画カラーを割り当てるためにも使用できる。あるいは検出エラーを一層減少させるためにペンの位置及び定位について他の独立した正確な評価を得るために使用できる。そのほかにも、赤外パターンが変化しない第３の軸の周囲の回転（ペンの軸に沿った）を検出するために使用できる。これは、デバイスが半径方向の対称性が不完全な長尺の物体（例えば、ゲーム用のテニスラケットやゴルフクラブ）であるときに特に有用である。

更に、第２のパターンの代わりに、波長の異なる他のＬＥＤが赤のチャンネルでより明るくオリジナルパターンを照射するのに用いることができる。この照明が赤チャンネル中に検出されたか否かは、異なる形態の「クリック」で区別できる（例えば、ＰＣマウスの左クリックあるいは右クリックによって）。

一旦システムが較正されると、カメラは、連続的に投影像を更新しているコンピュータに像の連続したビデオ列を送り始める。コンピュータ装置はソフトウェア（詳細に上述した。また後述する。）を起動し、カメラからのビデオ列をフレーム順に分析する。各フレームに対してそれは球体及びそのパターンの像のパラメータを検出する。この情報は最初にカメラに対して球体の３次元位置及び定位に変換され、次いでカメラに対してペン先端の位置に変換される。計算からの情報を使用することにより、ペンが投影像内で指し示している正確な画素が特定される。次に、投影器へ送られた次の像は適当に変更される。例えば特定された画素はペンの現時点のインクカラーに変えられる。正確なフレームレートにより、ペンの検出と投影像内の画素の変化との間の遅れは気付かれず、ユーザは実際に壁の上に描画しているような印象を受ける。

既知のペンの先端の位置により、更に加えて前記先端が壁／スクリーンに触れているか否かによって、標準的な図形／描画のソフトウェアパッケージにおけるマウスより正規に作動するすべての代表的機能はペンによって作動させられる。描画、消去、ドラッグ／ドロップ、フレーミングによる選択、円形及び矩形のような幾何学的な物体の配置及び取扱い、ベジィア（bezier）曲面の配置及び造形、テキスト入力（表示されたキーボード上でのペンによる「タイピング」）さえも可能となる。マウスに優るペンの利点は、像中の変化が起きる所に本質的にかつ物理的に配置されるように、像中の物体のより直感的かつ正確な位置決め及び取扱いを可能にすることである。

ここで述べたように、ペン先端の位置を正確に３次元において決定できるので、仮想物体の取扱いを３Ｄ（３次元）に拡張できる。この情報によって、ＣＡＤのような３Ｄモデル化したソフトウェアの応用と結びつけてペンを使用することが可能である。イラスト化により、ＣＡＤソフトウェアに表示された３Ｄ物体がペンの定位及び位置によって視認される定位及び位置を選択することができる。物体を、３Ｄにおけるスピニング、ドラッギング及びドロッピング、他の３Ｄ物体の捕捉、多角度からのこれらの視認、これらの結合等々のようなあらゆる側面から非常に直感的に見ることができるようになるだろう。仮想構築物による３Ｄにおける現実的な構築及び／あるいはコンポーネント／モジュールの構築もまた可能である。実現可能な仮想世界における物体の取扱いに関してその他多くの応用例がある。

特殊な像投影技術を使用することにより、３Ｄ物体はそれらがユーザの視野内における現実の空間内でペンと組み合わせるか、あるいはペンで取扱うような態様で表示できる。この３Ｄイリュージョンを実現するためには、異なる像が左目から右目によって検出されなければならない。これは偏光フィルタを備えたデジタル投影器を使用して実現でき、これらの投影器は直交偏光によって右目の像及び左目の像を投影する。このように各々の目にとって正しい像はユーザの着用する偏光グラスにより偏光され、立体感を与える効果をもたらす。

そのような３Ｄ投影器を本発明と組み合せる効果は、ユーザの前の空間を占めるように現われる仮想物体がユーザによって完全に制御できるようになることである。任意の物体が出現可能となり、ほとんど任意の取扱い操作ができる。ペンを対話式（interactive）３次元ゲーム環境において、光のサーベル、野球バットあるいはロケット発射筒とすることは、３Ｄのツール／武器が現実の空間にペンが配置されているところに出現するようにして実現できる。

上述したように本発明を動作させるソフトウェアは図６に示される。これはループ内で動き、入力としてカメラから像を繰り返し取得し、スクリーン／投影像の内容を更新する。フローチャートに示されるように、このソフトウェアはカメラ像の入力とスクリーン／投影像の更新との間で４つの主要なステップを実行する。

第１のステップ６１は投影された球体像の位置及びサイズの正確な検出であり、この球体像はほぼ円形の境界をもつ縞状あるいはリング状のパターンの外観を有している。目視されたこれらの縞の形状は平行な直線から楕円へ、更に同心円へと変化する（上述した図３及び図４の記載参照）。カメラ像における投影された北極の位置はこれらの縞パターンを用いて検出される。

第２のステップ６２では、ソフトウェアはカメラに対する実際の球体の正確な中心３Ｄ位置及び球体の定位を計算するために２Ｄ（２次元）情報を使用する。上述したように、球体までの距離は球体像のサイズとカメラからの球体の距離との関係によって決定される。したがってこのサイズ決定はカメラの光学軸線の方向における球体までの距離を計算するのに使用される。左／右及び上／下方向のカメラ像における球体像の位置は３Ｄでのカメラに対する垂直あるいは水平方向における球体の位置を与える。３Ｄでの定位は球体像の外縁に対する投影された北極の位置から計算される。

第３のステップ６３では、カメラに対するペンの先端の実際の位置が計算される。球体中心の定位及び位置がここで知れたので、球体の極を通ってかつ取り付けられたペンを通して延びる軸線も当然知ることができる。ペン先端の位置は、球体の半径を加えたペンの長さに等しい球体中心からの距離にある軸線上の点として計算される。ペンの先端が壁面に触れない場合には、軸線が壁面と交差する点が計算される。両方の場合とも、壁の表面に存在する点が計算されそして次のステップへ出力する。

第４のステップでは、ペンが指し示す投影像における実際の画素が特定される。最初の較正から、カメラ座標における壁面上の点が実際の投影像における画素座標とどのように関係するかが知られる。この情報に基づく簡単な数学的変換によって画素座標が計算される。画素のカラー／密度が修正された後は、もしユーザが描画し、あるいはユーザが画素の位置でボタンをクリックしようとするならば、マウスのクリックが同じ機能を動かせるのと同様にして、ウィンドウズシステムにおける適当な操作機能が呼び出される。

上述したように、照明（及び、したがってパターンの像）をオン及びオフに切り替えるペンのボタン押下げがマウスボタンの機能を模倣するのに使用される。ボタンが押されると、パターンが現われ、そしてパターンの位置が決定され、対応するスクリーンの位置で「マウスクリック」が有効となる。もしボタンが押されないと、ペンの位置は検出されない。これは、ボタンが押し下げられない時にペンがどこを指し示しているかに関してユーザがガイドを必要とする応用例においてのみ問題となるに過ぎない。ダブルクリック、左クリック、右クリック等のようなより複雑なクリック情報は、もし対応するボタンが押されるならば、予め限定された方法でパターンをオン、オフに切り替える内蔵された符号化によって伝達される。これとは別に、カメラの異なったカラーチャンネルの使用及び特別なカラーチャンネルのみの照明を増大する周波数のＬＥＤの使用が可能となる（上述の通り）。

上述したように、ボタンが押されていない時にペンがどこを指し示しているかに関してユーザがガイドを必要とする場合、この機能はリバースされ、照明が常時オンとなりかつクリックによって照明がオフに切り替えられる（「パターン検出」状態から「パターン非検出」状態への切り替えに関して既に述べた通り）。

投影された球体像のパラメータが検出される速度、堅牢さ及び精密度はこのシステムの品質を決定する。図７のフローチャートはこの第１のステップを３つの詳しいステップに区分してより詳細に記述したものである。

第１のステップ７１は、水平方向あるいは垂直方向のいずれかの直線状に連続する黒及び白のみを検出するコンピュータ処理による非常に速いサーチを用いる可能な候補位置の高速事前選択である（上述の通り）。これは候補位置のリストを出力する。

第２のステップ７２では、すべての候補位置が更に調査され、そして最も近いものが選択される。この時点で、球体像の中心の位置のおおよその値、球体のサイズ及び球体像における投影された北極のおおよその位置が検出され、第３のステップへと出力される。

第３のステップ７３では、像（図２）のパターンと最もよく相関する人工的なパターン（例えば図１）のパラメータを見い出すことによって、上述した検出値がサブピクセル（サブピクセル）の精度まで精緻化される。球体像の中心の正確な値、球体像のサイズ及び投影された北極の位置がこの検出手順の結果として復帰する。

いくつかの応用例では、ペン内に活性光源をもたないことが有利であり、これにより軽量化かつ小形化が可能となり、かつバッテリーの取換えの問題をなくすることができる。この場合、球体パターンは光反射物質及び光吸収物質の別の縞によって形成することができる。反射テープは明るい縞をつくるのに使用し得る１つの材料である。そのような材料は到来する方向の背後に光を反射する性質を有する。したがって、このパターンはカメラの隣に光源を置くことによって非常に明るく見えるようにすることができる。このようにぼやけを防ぐようにカメラの必要な露出を減少するという利点をなお享受できる。

可視光源が望ましくない場合には、赤外線光源及び明るい縞の赤外線スペクトルによく反射する物質を使用することができる。この形態においては、ペンのボタンが押された、あるいはペン先端が表面を触れたという情報は、外的作用によるものであるためパターンによって伝達されない。要求される機能性は、ジェスチャーによって、あるいは例えば既述したようにカメラのパターンの像を遮蔽し、また遮蔽を解くことによって（例えば、スプリング付勢のボタンを介して機械的に）、あるいは手で操作することによって実現される。

別の実施例では、面自体をペンの先端と接触して伝達できることが予見できる。この場合、カメラはペンの位置及び／または定位をモニターするためにのみが必要であり、前記接触を決定するためには別の光源を使用する。これを実現する１つの方法は、スクリーンに高周波の交流充電を行いかつ連続的にその容量を測定することであり、−（例えば）メタルチップとの接触はスクリーンの測定容量に影響を与え、この容量変化の検出は前記接触が起きたことを示すことになる。

応用例によっては、赤外線感応カメラを必要とせずに、例えば改変されない（unmodified）ウェブカメラが使用できるように像の検出が達成される場合にはこれは利点となる。このシステムは同一原理で働くが、ただ可視ＬＥＤがペンに（あるいはカメラの近くに）配置される。この設定にではソフトウェアのパターン検出ステップはより混乱したバックグラウンドのパターンに対処するように必然的に適合される。この情況を改善しかつパターン検出を改善する１つの方法は、単純な黒と白のシークエンスの代わりに縞として変わった色のシークエンスを用いることである。ペンが何時壁面に触れたか、あるいはクリックが何時なされたかを示す情報は照明のオン及びオフの切り替えにより伝達される（活性光はペン内にある。）。

本発明の応用例は、典型的なマウスによって実現される２方向（上下、左右）に限定されているものに代わるものであり、価格水準及びワイヤレスマウスの人間工学的特性を享受でき、自由度６（３Ｄ空間における位置及び定位）のモニターを行う能力を提供するＰＣの一般的な入力装置に対するものである。

上述した通り、前記装置はコンピュータゲームに対する入力あるいはコントロールデバイスとして使用される。これらのゲームは、例えば仮想砲撃（virtual gunfire）、仮想ラケット、野球バット、光サーベル、魔法杖、銃または限定された定位をもつ任意の仮想物体（本発明と関連する技術によって引き出される）である。ペンの正確な位置及び定位をリアルタイムに追跡できるので、前記ゲームは「マジックペン」を用いることによって現存のパッドタイプのゲームコントローラよりもプレーヤの動きに、より正確に応答することができる。

「マジックペン」は、予見され及び検討されて、壁面あるいは他の適当な面上のデジタル投影器によって投影された像の中にマウスクリックを書き込むか、マウスクリックを実現することができる。これによりデジタル投影器を使用するプレゼンテーションをより会話的なものにすることができ、プレゼンター（発表者）は聴衆に対面している間にペンを使用して、ウェブページ間を概観する（ざっと目を通す）、あるいはリアルタイムでの物体やハイライトテキストなどを操作するのと同一の方法でスライドからスライドへと目を通しながら投影像の中に埋め込まれた種々のリンクを作動させることができる。

「マジックペン」は、そのペンの検出が投影像中に仮想的に描くか書き込むのに充分なほど正確なので、投影された像を白板（ホワイトボード）として機能させることができる。描画のためには、マジックペンは塗料散布デバイスのように動作することもできる。ペンの正確な位置及び定位は、そのペンが実際に壁面に触れていない時でも計算することができ、散布された塗料の軌跡(path)は３Ｄで計算され、また仮想の塗料が正しい位置に現われるようにできる。塗料の拡がりは塗料散布デバイスの拡がりに合致するように、例えば、より広くなればペンの先端が壁面からより離れるように調整することもできる。マジックペンが描画／書込み／散布をする色をユーザが変えたいときは、塗料ブラシに似た形態でそれを使用することができる。すなわち、壁面上に表示された仮想のカラーパレット上の仮想のカラー小片(patches)中に漬けることができる。

マジックペンの応用例では、ＰＤＡ（携帯情報端末）にあるいは携帯電話機のような移動体デバイス用の入力法となるように縮小することもできる。現代の携帯電話機及びＰＤＡの代表例はカメラを含んでおり、また実際、組込み投影器を備えたプロトタイプのＰＤＡは本出願の時点で既に知られている。

移動体デバイスに特定の１つの問題は、埋込まれる任意の入力及び出力装置が必然的に小形でなければならず、結果としてその有用性が抑制されることである。図１３はマジックペンが機能的にＰＤＡ１３１に拡張された本発明の実施例を示すものである。この例のＰＤＡは明るい表面色もつテーブル上面１３３上に配置され、組込み形の投影器１３４が像１３５をテーブル上面１３３上のラフなサイズの紙シートあるいはコンピュータに投影する。適切にデザインされたマジックペンあるいはマジックペンタイプのスタイラス１３９を備えたこの装置のカメラ１３７は投影像１３５に書き込んだり描画したりするのに使用され、あるいはマウスをクリックして（あるいはスタイラスを打ち付けて）ＰＤＡ１３１のユーザインターフェイスを制御できるようにしている。充分なコンピュータ的なパワー、メモリ及びインターネット接続性によって自分のポケットのまわりに完全に機能的なオフィスを携行しかつテーブル及び椅子のある所にはどこでもこれを据えることができる。

投影器１３４と表面１３３との距離が短いこと、及び投影が表面上に投射される垂直面に対する角度が大きいことに起因して、強い基礎的な補正が必要である。しかしながら、投影の位置及び方向を注意深く選ぶことにより、投影の主要な問題（すなわち、マジックペンまたはスタイラスを手動操作することによって不明瞭になるという問題）は除去することができる。図１３に示すように、ペン／スタイラス１３９（及び手に保持したそのもの）は、どんな場合でも不明瞭となる領域１３８が像１３５である場合、例えば、ハードコピーまたはタッチスクリーンディスプレイは別にして、投影の可視内容を不明瞭にしたり影にしたりすることはない。

本発明はまたテレビジョン９３用の最新のリモートコントローラ９１に組み入れることができる。このコントローラは離れた場所からテレビスクリーン９３上の異なった位置を指し示すことができ、より感覚的にメニューの選択を行い、かつマウスクリックよりもむしろ「マジックペン」のクリックを介してソファから（例えば）ワード・ワイド・ウェブ(www)上をざっと目を通すことができる。このことは図９に模型的に示されている。

別の応用例は、感覚的に使用し易い、ステアリングインターフェイスあるいはコントローリングインターフェイスである。この装置はロボットアーム、掘削機あるいは類似の機械、あるいは玩具を制御するために使用される。アームのエフェクターは本発明により測定されたような手持ち式の入力装置の位置及び定位にしたがって位置及び定位を変更するように構成し得る。

他の関連する応用例は、仮想のコントロールセンター用のものである。ペンはダイヤル及びボタンの全配列を表わすことができ、３ｄ（３次元）空間内のペンを保持する場所に依存して、異なるダイヤルを調整し、あるいは特定のボタンを働かせることができる。ダイヤルのセッティングを変えることはペンの再方向付け（reorienting）によって実現される。

他の応用例はジェスチャー認識用のものである。本発明は３Ｄ空間内のペンの実際の軌道を検出できるので、コンピュータは機械や器具を制御するのに用いられる、指示をするジェスチャー（pointing gesture）、合図するジェスチャー（waving gesture）、空中などに大きな文字あるいは記号を書くことを認識することができる。「マジック杖」の機能は、機械の制御から仮想世界における物体の制御まで、多くのＨＣＩ（ヒューマンコンピュータインターフェイス）を商用上利用可能にし、玩具及びゲームに大いに応用できる。

一つまたは複数の球体は、例えば機械、ロボット、人間、動物などの動く部分の適当なところにも配置でき、監視カメラにより種々の動作部がどこにあるかを知ることができ、またそれらがそれら自身の位置及び定位（position and orientation）に関してどのように定位するかを、対応する球体の位置及び定位を決定することによって知ることができる。
これはゲーム用の動作把握技術に応用でき、また一点の装置のリアルタイムの動きを図示するコンピュータモデルを作成することもでき、また適当なフィードバックの配置構成を有する装置を制御するのにも有用である。

アタッチメントの球体は空中に放り投げたり、表面にバウンドさせることができ、その正確な軌道及び回転を検出できる。これは球体が動く媒体についての詳細な情報、例えば粘度、気流の乱れ等々の情報を集めるのに有用である。球体が面から跳ね返える様子から面の幾何学的形状、動き、または弾性を計算するのに使用できる。

図１１及び図１２を参照して、正確さの要求及び如何にしてそれらが満たされるかを検討する。

ウェブカメラなどの標準カメラを使用することにより、ビデオフレームレートで達成される解像度はカメラ像の幅にわたって約６４０画素である。投影像内の有効な書き込み領域は１メートルのオーダである。カメラの視野をこの領域に合致するように調整するとすると、カメラ像の単一画素の幅はしたがってスクリーン上で１．５ｍｍ以上の距離に相当する。

人間工学的観点から、パターンを形成するマーカーは、そのパターンを形成するマーカーの直径がペンの長さの１／３を超えないように、ペンの背後から各方向にペンの全長の約１／６以上にしないことが適当である。

図１２に示するように、最悪のケースでは、ペン先端が面を横切って距離Ｄだけずれるようにペンの定位を変えることはペンの背後のパターンが、Ｄの１／６であるｄだけずれることを意味する。

これは、１．５ｍｍ以下のペン先端の変位を検出するためにカメラ像におけるペンの背後でパターンのずれは１画素の１／６以上の解像度で検出する必要があることを意味する。もし有効な書き込み領域が１メートルでなく２メートルまで拡がるとすると、要求される解像度は１画素の１／２以上でなければならない。更に、これはカメラ像における或る量のノイズ及びぼやけに強力に対抗する態様で達成されなければならない。

パターンを形成する球体のアプローチは、特殊な同心円状で波様の帯状パターンをもつ単一の光散乱体（a single light diffusing pattern）を使用すること、及びカメラ像（例えば図２）における画素化された外観を連続的な（画素化されない）像空間のパラメータ化された連続する人工的パターンに整合させる方法によってこの球体の位置及び定位を引き出す方法を使用するところに特徴がある。

このアプローチの有効性は次の理由による。パターンがカメラ像内にかぶさる領域はペンの定位及び位置に無関係に常にはっきりした単一の円板(ディスク)状（あるいは若干楕円状）である。技術の熟練者は、像中の円板状物または円形物の検出を、この形状の単純性及び対称性によりアルゴリズム的に非常に容易かつ迅速に達成できることが理解できよう。

球体形状は、また最大３６０°まで定位の形状範囲を拡張する。幾つかの既知システムで採用されている平坦なパターンは、その定位が９０°変化したときカメラ視では直線に減少してしまう。この定位の拡張範囲は、使用中にペンの定位が垂直面から約＋８０°〜−８０°の間の範囲で変化し得るので、ペンの応用例とって重要な要件であることに留意すべきである。

一般的に、定位の大きな検出範囲は広い範囲の定位で検出される物体にとって有利であるばかりでなく、装置をモニターするカメラを該装置に対して任意の角度で配置することができ、これはカメラが天井板から吊り下げられたり側壁近くに取り付けられたりするような応用例にとっても有利である。これはまた、閉塞（occulusion）や代理機能性（redundancy）に抗する機能を得るため数個のカメラによって異なる角度で検出する同装置の検出精度増大を可能とするものである。

球体の半透明部分は、その散光面がランベルト光源とほぼ同じなので曲率に関係なくカメラ像がすべて同等に明るく見える。これは面上の各点が全方向に同量のエネルギーを放射することを意味し、これによって球体が離れた光源から照らされた場合に想定されるような球状の影やハイライトがなくなる。その結果、球体はすべての方向からのカメラ像に平坦な円板として現われる。

光が遮断される球体表面上の領域は同様にカメラ像の円板上に一定の低い明度の領域を生じる。これは、球体上の帯縞が、円板像の表面をすべて横切って、安定した最小及び最大の明るさ及びその中間の安定した明度勾配をもつ低−高度の遷移状態を創出することを意味する。このことはパターンを検出するのに使用されるアルゴリズムの有効性を大きく改善する。

位置及び定位情報を伝達するのに使用されるマーカー形状の直径は市場性と人間工学に沿ったものでなければならず、また手に持つ方式のデバイスは出来る限り小形で目立たないものにすべきである。球状のマーカーは特定の径を最大限にカバーし、画素の最大量をパターンに正確に合致させるために使用できるようにする。同時に球状の形は通常その対称性により審美的に最も好ましいものの１つと考えられる。

サブピクセルの解像度については、高強度及び低強度の画素のみの位置の差からパターン位置を評価することは不充分であり、画素強度の実際の微細な変化から評価することも必要である。実際のパターンの小さなずれ（１１１〜１１３）が画素化された像中の対応する変化（１１５〜１１７）となる図１１の例を参照されたい。人工的な連続パターン１１９が新たに検出された画素パターン１１７に適合されて、実際の新たなパターン１１３が決定される。

低−高度の遷移状態部分をカバーする画素は、画素位置が遷移状態の僅かに高い境界または低い境界にあるか否かに依存して、中間強度よりも僅かに高いかまたは低い強度を持つようである。このことは、分離している画素の強度値が連続的な空間内のパターンのサブピクセル位置についての情報を保持することを意味する。連続する規則的な波パターンの正確な位置は、それがサブピクセルであっても、適切に合致(マッチ)するアルゴリズムを用いてその画素化された等価物からリカバーできることを数学的に示すことができる。これは球体上にノイズのない完全なパターンが存在する場合の正確さを保証するものである。

この方法は、マッチングアルゴリズムがパターンの拡張された領域中多くの縁部の重なった画素に存在するパターンのサブピクセル位置についての余剰の情報を使用できるので、ノイズの存在下でもなお正確さの良好なサブピクセルを与えることができる。ノイズによってもたらされるエラーはランダムなものであるから、それ自身多くの画素間で相殺する傾向があり、正確なパターン位置がなおリカバーされる。

ユーザが他のすべてを同じに保ちながらペンを長軸線のまわりに回転させると、ペンの先端は依然同じ位置を指し示す。したがってこの回転は本システムで対称性である。球体上の同心的な帯縞を使用することにより、ペンをその長軸線のまわりに回転したときにも変化しないパターンが創出される。パターンをこれらの回転に対して変化しないようにすることによって検出の計算は相当簡単になり、かつ数学的に一層安定となり、更に回転に無関係にペン先端に同じ３ｄの位置を生み出すことを明確に保証する。

本明細書に開示した本発明は従来技術及び公知の「スマート」ボードなどを超える本質的な利点を有する。この「マジックペン」の技術は、単一のカメラ、及び特定の実施例においては、ペン先端が描画面に触れるとき赤外線で照明されるペンの後端の特殊なパターンを形成する球状のマーカー以外には、接触感応面またはその他の追加的な機器を必要とせずにユーザが投影像に自然に書き込むことを可能にする。照明されたパターンは投影器の近くの位置に配置されたカメラによってモニターされ、記録された像は投影器によって作られた像を改変するコンピュータ装置で解析される。ユーザは自分が書き込んだり描画したものを見るために投影器とペンとの間に自然に視線を向けるということが判明している。このことは、またパターン上のカメラによる視認を妨げることを自動的に避けることを意味する。カメラが投影器の近くに置かれている場合にはそのようにはならない。

典型的なスマートボードは双方向性を実現するため大形の接触感応スクリーンと投影像を組み合わせる。専用の電子機器をもつ拡張した固定のボードはこの解決を高価で扱いにくいものにする。本発明を実施するためには高価な機器を必要としないので、この技術は非常に節減された価格で、かつ非常に簡単な設備及びメンテナンスで利用できる。

コストの節減及び高価なバードウェアの追加が不要であることのほか、そのようなスマートボードに比べた「マジックペン」の他の利点は、ペンの位置及び定位が、たとえそれが面に接触していなくても知り得るということである。このように、本発明は塗料の衝突位置、衝突角度及びスプレイコーンと面との交点を正確に決定できるので、スプレイガンをシミュレーションするのにも使用できる。

本発明は上述の「マジックペン」及びスプレイガンの応用例において大きな利点を有するが、これらに限定されるものではない。最も一般的な意味で本発明は新規な６自由度のリアルタイムコンピュータ入力デバイスを提供するものであり、３次元空間内の位置を特定する装置の自由な動き及び回転を正確に追跡することを可能にする。最も注目すべき他の応用例は、装置が仮想の刀剣、楯、野球バット、魔法杖、銃等々を表現するのに使用されるコンピュータゲームである。

本発明の一般的な利点は，マーカー上のパターンから獲得できる情報の量及び速さにある。完全３ｄ位置及び３ｄ定位が少なくとも標準ウェブカメラの機能性を持つ標準のＰＣハードウェア上のビデオフレームレートで決定され、追加的な情報ビット（例えば、赤外線照射との接触）によりマウスクリックする。また第２のパターンにコード化された少なくとも３ビットを実現できる可能性がある。情報が獲得される速度、正確さ及び範囲は、「マジックペン」応用例を正規のホワイトボードマーカーの操作と顕著な差がないように作動させるのに充分なものである。

カメラの光学的限界及びその解像度の限界によって限定される範囲内で、この方法完完璧につくられたパターンを持つノイズの無いケースについて理論上任意の正確さで定位及び位置を検出することを可能にする。これはカメラ像中のパターンの画素化された表現にかかわらず当てはまることである（例えば、図２及び１１、及び上記の関連する記載参照）。この限界範囲内において３回転軸の少なくとも２軸のまわりで完全に３６０°まで定位を検出できる。第３の軸（すなわち、ペンの長さ方向の軸）周囲の回転は第２のパターンを用いて決定される。

パターンを形成されたマーカーは小サイズの軽量につくることができ、また審美的で人間工学的な外観を有する。上記詳しく検討した通り、マーカー自体は軽量な材料からなる中空球体とすることができる。

本発明は、また固有の拡張性に基づく重要な利点を有する。例えば、数個の標準カメラ、またはマーカーが取り扱われるよりも広い範囲をモニターする視野のより広い単一の高解像度カメラを組み合せることによって、検出範囲が比較的容易に拡張される。複数のパターンを形成する球体は、それらが第２のパターンを用いる別々の装置とし取り扱うことができるので、それらは同時に容易に使用される。このことは、投影像のサイズを投影器とスクリーン間の距離を単に増加することによって容易に拡大できるため「マジックペン」の具体例の大きな利点となる。これにより、数人の人／子供が大きな面に同時に描画することを想定するような他の応用も可能となる。

上述した赤外線ＬＥＤを使用し、また赤外線ＬＥＤを接触作動させる装置は、動力消費量が低く、したがってバッテリー寿命が長い。更に、そのような装置は部材を容易に入手できまた製品の構成がシンプルであるが故に、低コストで製造できる。

要約すれば、本発明は単一の低コストのウェブカメラ及び極めて簡単なパターンをもつ単一の球体を用いて実行できる。コンピュータ上での本方法の実行はラムやハードディスクスペースのようなコンピュータ上のリソース（情報資源）の要求は低く、適度な処理速度のみが要求される。

本発明のシステムの重要な利点は以上に記載した通りであり、コスト及び多用途性（versatility）の点から他のインターフェイスデバイスを超える機能性及び応用性を有する。本発明は複雑な電子機器や超音波センサ／レシーバ、接触感応面などを必要とせず、既製の大量生産されているウェブカメラ（赤外線用途用）を使用できる。インターフェイス装置自体は低コストであり、卓球のボール（このボールから本発明の実施例が作成できる。）及び赤外線ＬＥＤはすべて安価に購入できる。

本発明の上述の記載は例示と説明のためのものであり、説明は完全なものではなく、また開示した内容そのものに本発明が限定されるものではない。記載した具体例は本発明の原理及びその実際上の応用を最もよく説明するために選ばれ、かつ記載されたものであり、これによって当該分野の技術者は本発明を意図する特定の用途に適合するように種々の具体例において、また種々の改変を行ってベストに利用することができる。したがって、添付の特許請求の範囲により定義された本発明の範囲から逸脱することなく更なる変形あるいは改良を具体化することができる。例えば、一連の帯縞を含むものとして詳細に記載した球体に関しては、任意の認識可能な表面パターンが適用できる。更に、改変したウェブカメラの有利な具体例について記載したが、任意の適当なカメラ、例えば専用の高解像度赤外線結像カメラが使用可能である。

１ インターフェイス装置
３ カメラ
５ ペン
７ 球体
９ 赤道（equator）
１１ リング
１３ 北極
１５ 南極
１７ バッテリー
１９ ＬＥＤ
２１，２３ ボタン
２５ 放物面鏡
２７ 投影像
２９ センサチップ
３１ 実像
３３ コンピュータ
３５ デジタル投影器
３７ 投影面
３９ 較正パターン
４１ カメラ像
４３ イリュージョン
９１ リモートコントローラ
９３ テレビスクリーン
１３１ ＰＤＡ
１３３ テーブル上面
１３４ 投影器
１３５ 像
１３７ カメラ
１３８ 不明瞭領域
１３９ スタイラス

Claims (95)

1. 少なくとも物体の一部がその上に配置された検出可能なパターンを備えたパターンを形成するマーカーを有する物体と、
   物体の１つまたはそれ以上の像を作り出す結像手段と、
   １つまたはそれ以上の像におけるパターンを形成するマーカーの外観から空間内の物体の位置及び定位（orientation）を計算する像処理手段とを有することを特徴とする物体の位置及び定位検出システム。
2. 前記パターンを形成するマーカーが実質的に球状である請求項１に記載の物体の位置及び定位検出システム。
3. 前記パターンを形成するマーカーが単一の球体からなる請求項１に記載の物体の位置及び定位検出システム。
4. 前記像処理手段が１つまたはそれ以上の像におけるパターンを形成するマーカーの外観に対してすべての可能な位置及び定位におけるパターンを形成するマーカーの外観を表わす数式を解くことによって物体の位置及び定位を計算する請求項１〜３のいずれかに記載の物体の位置及び定位検出システム。
5. 前記パターンが周期的である請求項１〜４のいずれかに記載の物体の位置及び定位検出システム。
6. 球状のパターンを形成するマーカー上のパターンが、前記結像手段に対して球体の定位に依存した種々のパターンを生成する球体のまわりに一組のリングを有する請求項１〜５のいずれかに記載の物体の位置及び定位検出システム。
7. 前記物体の位置及び定位がリアルタイムで計算される請求項１〜６のいずれかに記載の物体の位置及び定位検出システム。
8. 前記結像手段によって視認されるパターンが結像手段に対してパターンを形成するマーカーの定位に依存して変化する請求項１〜７のいずれかに記載の物体の位置及び定位検出システム。
9. 前記結像手段によって視認されるパターンが結像手段に対してパターンを形成するマーカーの位置に依存して変化する請求項１〜８のいずれかに記載の物体の位置及び定位検出システム。
10. 前記結像手段によって視認されるパターンが１つの表面に対して装置の位置及び定位を伝達するのに使用される請求項１〜９のいずれかに記載の物体の位置及び定位検出システム。
11. 前記像処理手段が、カメラに対してパターンの定位及び位置に依存したパターンを形成するマーカー上のパターンの形態を検出する請求項１〜１０のいずれかに記載の物体の位置及び定位検出システム。
12. 前記パターンを形成するマーカーが光を拡散する表面をもつ中空である請求項１〜１１のいずれかに記載の物体の位置及び定位検出システム。
13. 前記表面がセルロイドからなる請求項１２に記載の物体の位置及び定位検出システム。
14. 前記表面が艶消し仕上げ面を有する請求項１２または１３に記載の物体の位置及び定位検出システム。
15. 前記パターンを形成するマーカーの表面及びマーキングがなされる材料が、同じ反射特性を有し、伝搬特性が異なっている請求項１２〜１４のいずれかに記載の物体の位置及び定位検出システム。
16. 前記パターンが光源でこれを照射することによって強調される請求項１〜１５のいずれかに記載の物体の位置及び定位検出システム。
17. 前記パターンがこれを光源で照射することによって結像手段により検出できる請求項１６に記載の物体の位置及び定位検出システム。
18. 前記光源が点光源である請求項１６または１７に記載の物体の位置及び定位検出システム。
19. 前記光源がパターンを形成するマーカーの背後に配置されている請求項１６〜１８のいずれかに記載の物体の位置及び定位検出システム。
20. 前記光源が赤外光を照射する請求項１６〜１９のいずれかに記載の物体の位置及び定位検出システム。
21. 前記光源が可視光を照射する請求項１６〜１９のいずれかに記載の物体の位置及び定位検出システム。
22. 前記光源が紫外光を照射する請求項１６〜１９のいずれかに記載の物体の位置及び定位検出システム。
23. 前記結像手段が光源によって供給される照明を検出するように構築されている請求項１６〜２２のいずれかに記載の物体の位置及び定位検出システム。
24. 前記結像手段に光学フィルタが設けられている請求項１〜２３のいずれかに記載の物体の位置及び定位検出システム。
25. 前記光学フィルタが、前記結像手段が前記光源によって与えられる周波数の電磁放射以外の電磁放射を受けることを防止するために選択される請求項２４に記載の物体の位置及び定位検出システム。
26. 前記パターンがスイッチによりオン及びオフに切り替えられる請求項１〜２５のいずれかに記載の物体の位置及び定位検出システム。
27. 前記パターンが、光源がオフに切り替えられたとき検出できない請求項１〜２６のいずれかに記載の物体の位置及び定位検出システム。
28. 前記システムが情報をコンピュータシステムに伝達するためのスイッチを使用する請求項１〜２７のいずれかに記載の物体の位置及び定位検出システム。
29. 前記情報がコンピュータ機能を選択するのに使用される請求項２８に記載の物体の位置及び定位検出システム。
30. 前記情報が１つの表面に対して装置の位置及び定位を伝搬するのに使用される請求項２８または２９に記載の物体の位置及び定位検出システム。
31. 前記像処理手段が更に像中のパターンに人工的パターンをマッチさせるマッチングソフトウエアを有する請求項１〜３０のいずれかに記載の物体の位置及び定位検出システム。
32. 人工的パターンを規程する位置、サイズ及び定位のパラメータが人工的パターンが像中のパターンと最良の相関状態となるまで微細に調整される請求項３１に記載の物体の位置及び定位検出システム。
33. 少なくとも物体の一部がその物体上に配置された検出可能なパターンを備えたパターンを形成するマーカーを有する１つまたはそれ以上の物体像を得る工程と、
    １つまたはそれ以上の像におけるパターンを形成するマーカーの外観から空間中の物体の位置及び定位を計算する工程とを有することを特徴とする物体の位置及び定位検出装置を作動する方法。
34. 前記物体の位置及び定位を計算する工程が、１つまたはそれ以上の像におけるパターンを形成するマーカーの外観に対してすべての可能な位置及び定位におけるパターンを形成するマーカーの外観を表わす数式を解く工程を含む請求項３３に記載の物体の位置及び定位検出装置を作動する方法。
35. 前記物体の位置及び定位がリアルタイムに計算される請求項３３または３４に記載の物体の位置及び定位検出装置を作動する方法。
36. 前記パターンが対応する像におけるパターンを形成するマーカーの定位に依存して変化する請求項３３〜３５のいずれかに記載の物体の位置及び定位検出装置を作動する方法。
37. 前記パターンが対応する像におけるパターンを形成するマーカーの位置に依存して変化する請求項３３〜３６のいずれかに記載の物体の位置及び定位検出装置を作動する方法。
38. 前記パターンを形成するマーカーが実質的に球状である請求項３３〜３７のいずれかに記載の物体の位置及び定位検出装置を作動する方法。
39. 前記方法が更にカメラに対して前記パターンの定位及び位置の一方あるいは双方に依存するパターンを形成するマーカー上のパターンの形態を検出する手段を有する請求項３３〜３８のいずれかに記載の物体の位置及び定位検出装置を作動する方法。
40. 球状のパターンを形成するマーカーのパターンが結像手段に対して球体の定位に依存する種々のパターンを生み出す球体のまわりに一組のリングを有する請求項３３〜３９のいずれかに記載の物体の位置及び定位検出装置を作動する方法。
41. 前記パターンを形成するマーカーが光を拡散する表面を持つ中空である請求項３３〜４０のいずれかに記載の物体の位置及び定位検出装置を作動する方法。
42. 前記表面がセルロイドからなる請求項４１に記載の物体の位置及び定位検出装置を作動する方法。
43. 前記表面が艶消し仕上げ面を有する請求項４１または４２に記載の物体の位置及び定位検出装置を作動する方法。
44. 前記パターンを形成するマーカーの表面及びマーク付けがなされる材料が同じ反射特性を有するが、伝搬特性が異なっている請求項４１〜４３のいずれかに記載の物体の位置及び定位検出装置を作動する方法。
45. 前記方法が更に前記パターンの検出を可能にする光源によって前記パターンを照射する工程を有する請求項３３〜４４のいずれかに記載の物体の位置及び定位検出装置を作動する方法。
46. 前記光源が点光源である請求項４５に記載の物体の位置及び定位検出装置を作動する方法。
47. 前記光源がパターンを形成するマーカーの背後に配置されている請求項４５または４６に記載の物体の位置及び定位検出装置を作動する方法。
48. 前記光源が赤外光を照射する請求項４５〜４７のいずれかに記載の物体の位置及び定位検出装置を作動する方法。
49. 前記光源が可視光を照射する請求項４５〜４７のいずれかに記載の物体の位置及び定位検出装置を作動する方法。
50. 前記光源が紫外光を照射する請求項４５〜４７のいずれかに記載の物体の位置及び定位検出装置を作動する方法。
51. 前記方法が更に光学的にフィルタリングする工程を有する請求項３３〜５０のいずれかに記載の物体の位置及び定位検出装置を作動する方法。
52. フィルタが前記光源によってもたらされた周波数の電磁放射以外の電磁放射の結像を阻止するのに使用される請求項３３〜５１のいずれかに記載の物体の位置及び定位検出装置を作動する方法。
53. 前記パターンがスイッチによりオン及びオフに切り替えることができる請求項３３〜５２のいずれかに記載の物体の位置及び定位検出装置を作動する方法。
54. 前記パターンが、前記光源がオフに切り替えられたとき検出できない請求項５３に記載の物体の位置及び定位検出装置を作動する方法。
55. スイッチ動作が情報をコンピュータシステムに伝達する請求項５３または５４に記載の物体の位置及び定位検出装置を作動する方法。
56. 前記情報がコンピュータ機能を選択するのに使用される請求項５５に記載の物体の位置及び定位検出装置を作動する方法。
57. 前記情報が表面に対して装置の位置及び定位の一方あるいは双方を伝搬するのに使用される請求項５５または５６に記載の物体の位置及び定位検出装置を作動する方法。
58. 前記方法が更に像中のパターンに人工的なパターンをマッチングさせる工程を有する請求項３３〜５７のいずれかに記載の物体の位置及び定位検出装置を作動する方法。
59. 前記人工的なパターンを規程する位置、サイズ及び定位のパラメータが人工的なパターンが像中のパターンと最良の相関状態となるまで微細に調整される請求項５８に記載の物体の位置及び定位検出装置を作動する方法。
60. パターンを形成するマーカーを有する物体の位置及び定位検出装置であって、パターンが、前記装置の定位及び位置の一方あるいは双方における変化を検出するために一連の像の結像手段によって検出できることを特徴とする物体の位置及び定位検出装置。
61. 前記パターンを形成するマーカーが実質的に球状である請求項６０に記載の物体の位置及び定位検出装置。
62. 前記パターンを形成するマーカーが単一の球体からなる請求項６０に記載の物体の位置及び定位検出装置。
63. 球状のパターンを形成するマーカー上のパターンが、結像手段に対して球体の定位に依存して種々のパターンを生み出す球体のまわりの一組のリングを有する請求項６２に記載の物体の位置及び定位検出装置。
64. パターンを形成するマーカーが光を拡散する表面をもつ中空である請求項６１〜６３のいずれかに記載の物体の位置及び定位検出装置。
65. 前記表面がセルロイドからなる請求項６４に記載の物体の位置及び定位検出装置。
66. 前記表面が艶消し仕上げ面を有する請求項６４または６５に記載の物体の位置及び定位検出装置。
67. パターンを形成するマーカーの表面及びそのマーク付けされる材料が同じ反射特性を有するが、伝達特性が異なっている請求項６４〜６６のいずれかに記載の物体の位置及び定位検出装置。
68. 前記パターンが光源でこれを照射することによって強調される請求項６１〜６７のいずれかに記載の物体の位置及び定位検出装置。
69. 前記パターンが光源でこれを照射することによって結像手段により検出できるように作られている請求項６８に記載の物体の位置及び定位検出装置。
70. 前記光源が点光源である請求項６８または６９に記載の物体の位置及び定位検出装置。
71. 前記光源がパターンを形成するマーカーの背後に配置されている請求項６８〜７０のいずれかに記載の物体の位置及び定位検出装置。
72. 前記光源が赤外光を照射する請求項６８〜７１のいずれかに記載の物体の位置及び定位検出装置。
73. 前記光源が可視光を照射する請求項６８〜７１のいずれかに記載の物体の位置及び定位検出装置。
74. 前記光源が紫外光を照射する請求項６８〜７１のいずれかに記載の物体の位置及び定位検出装置。
75. 前記パターンがスイッチによりオン及びオフに切り替え可能である請求項６８〜７４のいずれかに記載の物体の位置及び定位検出装置。
76. 前記パターンが前記光源がオフに切り替えられたときは検出できない請求項６８〜７５のいずれかに記載の物体の位置及び定位検出装置。
77. 前記装置が情報をコンピュータシステムに連絡するスィッチを使用する請求項７６に記載した物体の位置及び定位検出装置。
78. 前記情報がコンピュータ機能を選択するために使用される請求項７７に記載の物体の位置及び定位検出装置。
79. 前記情報が１つの表面に対して前記装置の位置及び定位の一方あるいは双方を伝搬するために使用される請求項７７または７８に記載の物体の位置及び定位検出装置。
80. 前記装置が更にパターンを形成するマーカーから延在する（exdending）ポインタを有する請求項６８〜７９のいずれかに記載の物体の位置及び定位検出装置。
81. 前記光源が前記ポインタに取り付けられる請求項８０に記載の物体の位置及び定位検出装置。
82. 前記光源が球体内に配置されている請求項６８〜８１のいずれかに記載の物体の位置及び定位検出装置。
83. 対応するディスプレイをもつ請求項１〜３２のいずれかにしたがった物体の位置及び定位の検出システムを較正する方法であって、
    （ａ）ディスプレイ上に較正像を設ける工程と、
    （ｂ）結像手段を使用して較正像を検出する工程と、
    （ｃ）前記較正像と検出された較正像との間のマッピングを決定する工程とを有することを特徴とする較正方法。
84. 前記較正像と検出された較正像との間のマッピングを決定する工程が、
    （ｉ）前記較正像に複数個の較正マーカーを与える工程と、
    （ｉｉ）前記較正像における複数個の較正マーカーの位置と検出された較正像における複数個の較正マーカーの位置とを比較する工程とを有する請求項８３に記載の較正方法。
85. マーカーの位置を比較する工程が、較正像における較正マーカーの位置を検出する工程と、それらを検出された較正像における対応したマーカーに相関付ける工程とを含む請求項８４に記載の較正方法。
86. マーカーの位置を比較する工程が、少なくとも４対の較正マーカーと検出された較正マーカーとを比較する工程を含む請求項８４または８５に記載の較正方法。
87. 物体の位置及び定位の検出システムの結像デバイスを整列する方法であって、
    （ａ）ディスプレイ上に像を供給する工程と、
    （ｂ）結像デバイスを用いて像を検出する工程と、
    （ｃ）前記結像デバイスから生じたディスプレイ上の仮想投影に対応してディスプレイ上に副像を供給する工程とを有することを特徴とする結像デバイスを整列する方法。
88. 前記仮想投影がディスプレイ上に予め決められた形状の投影を模倣する請求項８７に記載の結像デバイスを整列する方法。
89. 前記ディスプレイによって物体の位置及び定位の検出システムを較正する工程を更に有する請求項８７または８８に記載の結像デバイスを整列する方法。
90. 前記ディスプレイによって物体の位置及び定位の検出システムを較正する工程が請求項８３〜８６のいずれかの方法を含む請求項８９に記載の結像デバイスを整列する方法。
91. 請求項１〜８６または請求項９０に記載のパターンを形成するマーカーのためのパターンであって、前記パターンがマーカーを貫通する軸とそのマーカーの表面との交差部に対応する２つのみの特異点（singular point）を有することを特徴とするパターン。
92. 請求項１〜８６または請求項９０に記載のパターンを形成するマーカーのためのパターンであって、前記パターンはマーカーを貫通する１本の識別軸のまわりに３つの半径方向の対称部位を有することを特徴とするパターン。
93. 前記パターンがマーカーを貫通した識別軸線のまわりに連続した半径方向の対称部を示す請求項９１に記載のパターン。
94. 前記パターンが規則的に隔置されたリングを有する請求項９２または９３に記載のパターン。
95. 前記パターンが低密度領域から高密度領域まで段階的に密度変化する請求項９１〜９４のいずれかに記載のパターン。

Images