JP6155448B2 - ３ｄ撮像し、マッピングし、ネットワーク化しおよびインタフェースするための無線手首コンピューティングおよびコントロールするデバイスおよび方法 - Google Patents

Description

本願発明は、着用可能なコンピューティングのフィールドに関する。より詳しくは、本発明は、３Ｄマッピング、撮像、ネットワーク、通信およびマルチ・インタフェース遠隔コントロールをするためのデバイスおよび方法に関する。

既存のコントロール・デバイスは、特許文献１（米国特許第３，５４１，５４１号明細書）に見出されるようなハンド−ヘルド・ワイヤードｘ−ｙ位置入力デバイスの形の初期のマウス技術、および特許文献２（米国特許第６，００５，５４８号明細書）のようなセンサおよび空間位置決めシステム（ジェスチャ及び音声認識並びにタッチスクリーン・インターシングコントロールが組み込まれている、着用可能な光学の手、指およびオブジェクト空間位置決めシステム）を含む。

特許文献３（米国特許第６，６４７，６３２号明細書）のような従来技術は、ユーザの手と指の位置を識別し、前もって割り当てたジェスチャおよび音声コマンドを認識し、そしてこのデータをコントロール・デバイスにリレーする、手の内側に配置される発光素子およびセンサを有する手首につける無線コントロール・デバイスを導入した。そして、特許文献４（米国特許第８，２９２，８３３Ｂ２号明細書）は、彼らの手と指の位置および動きを識別し、かつデータをコントロール・デバイスにリレーする、着用者の腱の光学および超音波信号監視を使用する手首に着用される指の動き検出装置を導入した。特許文献５（米国特許出願公開第２００９／００９６７８３ Ａ１号明細書）は、屋内の三次元構造撮像システムおよび３Ｄマップ照射されたオブジェクトに対する光スペックルパターンを用いた体の運動およびジェスチャとインタフェースするシステムを導入する。そして、特許文献６（米国特許出願公開第２０１１／００２５８２７号明細書）は、光投影および３Ｄカラー撮像（両システムとも、固定された場所からの奥行マッピング、モデリングおよびインタフェーシングに限られている）の組合せを使用した、立体的な奥行マッピングを導入する。

このマウスおよび他のハンドヘルドおよび着用可能なインタフェーシング・デバイスに共通する属性は、周辺デバイスであるコントローラ、並びに遠隔コントロール・デバイス及びコンピューティング・システムの位置データ入力アクセサリの定義付である。従って、既存の技術には既知の多くの問題が存在する。

米国特許第３，５４１，５４１号明細書 米国特許第６，００５，５４８号明細書 米国特許第６，６４７，６３２号明細書 米国特許第８，２９２，８３３号明細書 米国特許出願公開第２００９／００９６７８３号明細書 米国特許出願公開第２０１１／００２５８２７号明細書

搭載されたおよび遠隔のデバイスおよびグラフィック・ユーザ・インタフェース・コントロールのために、自律的で、インテリジェントで、着用可能な無線手首コンピューティング、ディスプレイおよびコントロール・システムに対し、光および光学奥行マッピング、３Ｄ撮像、モデリング、ネットワーキング、およびインターフェーシングするための装置および方法。本発明の実施態様は、その無線マルチメディアのストリーミングおよびマルチ・インタフェース・ディスプレイおよび投影システムによって、人々、オブジェクト、デバイスおよび空間の仮想環境への拡大および仮想オブジェクトおよびインタフェースの実世界への拡大を可能にする。

手首コンソールの一実施形態の斜視図である。 図１Ａに図示した実施形態の斜視図である。 図１Ａに図示した実施形態の斜視図である。 図１Ａに図示した実施形態の平面図である。 拡張モジュールを表す図１Ａに示した実施形態の斜視図である。 分離した拡張モジュールを表す図１Ａに示した実施形態の斜視図である。 拡張を表す図１Ａに示した実施形態の斜視図である。 拡張モジュールが分離された図１Ａに示した実施形態の斜視図である。 光の一つ以上の移動ビームが組込まれている手首コンソールの一実施形態を示す斜視図である。 光の一つ以上の移動ビームが組込まれている手首コンソールの一実施形態を示す斜視図である。 構造化された撮像が組み込まれている本発明の一実施形態を表す斜視図である。 構造化された撮像が組み込まれている本発明の一実施形態を表す斜視図である。 奥行および色をマップした手を生成する手首コンソールを示す斜視図である。 奥行および色をマップした手を生成する手首コンソールを示す斜視図である。 関節の正確な位置および手のしわを識別する手首コンソールを示す斜視図である。 関節の正確な位置および手のしわを識別する手首コンソールを示す斜視図である。 手の機能的なリギングを生成する手首コンソールを示す斜視図である。 手の機能的なリギングを生成する手首コンソールを示す斜視図である。 手のリグが３Ｄマップされた手に組込まれている一実施態様を示す斜視図である。 手のリグが３Ｄマップされた手に組込まれている一実施態様を示す斜視図である。 ジェスチャを運動と結合するために用いられるユーザの手と指を示す斜視図である。 ジェスチャを運動と結合するために用いられるユーザの手と指を示す斜視図である。 ユーザが、複数の指に関わるジェスチャ・インタフェース・コントロール機能を実行しかつ選択することを使用していることを例示する斜視図である。 ユーザが、１本の指に関わるジェスチャ・インタフェース・コントロール機能を実行しかつ選択していることを例示する斜視図である。 ユーザが、指定された指を手の識別された位置または領域にタッチすることに関わるジェスチャ・インタフェース・コントロールを実行しかつ選択していることを例示する斜視図である。 ユーザが、１本の指定された指を別の指定された指にタッチすることに関わるジェスチャ・インタフェース・コントロール機能を実行しかつ選択していることを例示する斜視図である。 １本の指をコントローラとして用いて、ネットワーク接続されている外部のデバイス上の２Ｄまたは３Ｄコンピューティング環境のためのコントロール単一ポイントを例示する斜視図である。 複数の指をコントローラとして使用して、ネットワーク接続されている外部のデバイス上の２Ｄまたは３Ｄコンピューティング環境のための複数のコントロール・ポイントを例示する斜視図である。 グラフィック・ユーザ・インタフェース（ＧＵＩ）をユーザの手と指に投影する手首コンソールを例示する斜視図である。 ユーザが、ユーザの手と指上の投影されたＧＵＩをコントロールするためにタッチおよびジェスチャのインタフェースを実行していることを例示する斜視図である。 グラフィック・ユーザ・インタフェースをユーザの手と指に投影している手首コンソールを例示する斜視図である。 ユーザが、ユーザの手に投影されたキーパッドにタイピングしていることを例示する斜視図である。 ユーザが、左右両方の手首コンソールによって外部表面にマップされて投影されたキーボードにタイピングしていることを例示する斜視図である。 ユーザが、ネットワーク接続されている２台のデバイスとインタフェースを取り、かつ手首コンソールを使用して、外部のネットワーク接続されているデバイス上の仮想コンピューティング環境に、走査された物理的オブジェクトをマップし、撮像し、かつモデル化していることを例示する斜視図である。 ユーザが、手首コンソールによって走査されかつモデル化されそして外部のネットワーク接続されているデバイスにワイヤレスでアップロードされた３Ｄコンピュータ・モデルとインタフェースしかつマニュピレートするために、２本の手のジェスチャ・インタフェース・コントローラとして、左右の手首コンソールを操作していることを例示する斜視図である。 ユーザが、１つの外部のネットワーク接続されているデバイス上のファイル、ドキュメントまたは番組を選択していることを例示する斜視図である。 ユーザが、手首コンソール・タッチスクリーン・インタフェース上の３Ｄで走査されかつモデル化されたオブジェクトを操作しかつコントロールしていることを例示する斜視図である。 ユーザが、遠隔のデバイスまたは輸送機器をワイヤレスでインタフェースしかつ操縦していることを例示する斜視図である。 ユーザが、リアルタイムの音声、データ、ビデオおよびマルチメディア・コンテンツをワイヤレスで遠隔デバイスと送受信していることを例示する斜視図である。 ユーザが体のスキャンを実行しかつユーザの３Ｄコンピュータ・モデルが生成される、手首コンソールによる体全体の走査、奥行マッピングおよび撮像を例示する斜視図である。 ユーザが体のスキャンを実行しかつユーザの３Ｄコンピュータ・モデルが生成される、手首コンソールによる体全体の走査、奥行マッピングおよび撮像を例示する斜視図である。 異なる位置にありかつ異なる体の動きを実行しているユーザが、手首コンソールが、複数の位置での体をマップしかつ撮像し、そしてユーザの柔軟性および可動性を分析して、３Ｄコンピュータ・モデルのための体のリギングをより正確に生成し、かつ仮想コンピューティング環境のユーザ動作を複製することを可能にしていることを例示する斜視図である。 異なる位置にありかつ異なる体の動きを実行しているユーザが、手首コンソールが、複数の位置での体をマップしかつ撮像し、そしてユーザの柔軟性および可動性を分析して、３Ｄコンピュータ・モデルのための体のリギングをより正確に生成し、かつ仮想コンピューティング環境のユーザ動作を複製することを可能にしていることを例示する斜視図である。 衣類を着たユーザおよび３Ｄコンピュータ・モデルの３Ｄマッピングおよび撮像を例示する斜視図である。 衣類を着たユーザおよび３Ｄコンピュータ・モデルの３Ｄマッピングおよび撮像を例示する斜視図である。 手首コンソールの上部モジュールからのカメラ・ビューを表す斜視図である。 手首コンソールの上部モジュールからのカメラ・ビューを表す斜視図である。 手首コンソールの下部モジュールからのカメラ・ビューを表す斜視図である。 手首コンソールの下部モジュールからのカメラ・ビューを表す斜視図である。 手首コンソールの上部モジュールからのカメラ・ビューを表す斜視図である。 手首コンソールの上部モジュールからのカメラ・ビューを表す斜視図である。 手首コンソールの下部モジュールからのカメラ・ビューを表す斜視図である。 手首コンソールの下部モジュールからのカメラ・ビューを表す斜視図である。 体のリギング処理を例示する斜視図である。 体のリギング処理を例示する斜視図である。 体のリギング処理を例示する斜視図である。 マップされた物理的環境内でのユーザの３Ｄコンピュータ・モデル空間の位置および場所を例示する斜視図である。 マップされた物理的環境内でのユーザの３Ｄコンピュータ・モデル空間の位置および場所を例示する斜視図である。 ユーザの解剖学的構造、およびネットワーク接続されている、センサ、植設されたデバイス、そして補綴学を示す仮想の体内マップの斜視図である 手首コンソール空間、オブジェクトおよび環境３Ｄ光および画像マッピング処理を例示する斜視図である。 手首コンソール空間、オブジェクトおよび環境３Ｄ光および画像マッピング処理を例示する斜視図である。 住宅用リビング空間に立っているユーザの斜視図である。 住宅用リビング空間に立っているユーザの斜視図である。 場所、デバイス・タイプ、機能とアプリケーション、データ、パワーおよび他のシステムの仕様、および利用できるネットワークを識別しかつマッピングし、そして居住用リビング空間内の全てのネットワーク接続されているデバイスのためのオプションとインタフェースする手首コンソールおよびユーザの頭上からの斜視図である。 手首コンソールを着用しているプロのテニス・プレーヤの斜視図である。 手首コンソールを着用しているプロのテニス・プレーヤの斜視図である。 プロのゴルファのスイング、ボールをマッピングし、そしてそのプレーヤのゲーム全体をリアルタイムで仮想化するプロのゴルファの斜視図である。 プロのゴルファのスイング、ボールをマッピングし、そしてそのプレーヤのゲーム全体をリアルタイムで仮想化するプロのゴルファの斜視図である。 プロのゴルファのスイング、ボールをマッピングし、そしてそのプレーヤのゲーム全体をリアルタイムで仮想化するプロのゴルファの斜視図である。 ゴルフコース上のプロのゴルファを例示する斜視図である。 手首コンソールの概略図である。

マルチ・インタフェース手首コンソール、遠隔デバイスおよびグラフィック・ユーザ・インタフェース（ＧＵＩ）コントローラを、オンボード・コンピューティングと組み合わせた、自立型で、インテリジェントで、着用可能な無線の音声、データおよびビデオ通信システムのための装置および方法が、記載されている。３次元（３Ｄ）光学の手、体、オブジェクト、センサ並びに環境の撮像、マッピング、モデリング、ネットワーク化及びインターフェーシングのための装置および方法も、記載されている。更に、実世界の人々、オブジェクトおよびデバイスを仮想環境に拡大し、かつ仮想オブジェクトおよびインタフェースを物理的環境に拡大することを可能にするための装置および方法が、記載されている。

手、指およびオブジェクトの位置決めから、全てコンピューティングおよびコントロール・コンソールによって捕獲され、描かれ、そして作動される、３Ｄの走査、マッピング、モデリング、撮像、投影および無線のインターフェーシング・システムに拡大する、着用可能なコンピューティング光学および従来技術によるインターフェーシングより向上している装置および方法が、記載されている。

発光素子と、体、運動、オリエンテーションおよび場所センサを含むセンサとの組合せを実行する装置および方法が、記載されている。これらの装置および方法は、屋内で、または日光のまたは夜の屋外で、一つ以上の奥行測定および撮像方法を使用して、手、体、オブジェクトおよび環境を動的に走査しかつ撮像することによって、奥行マップおよび３Ｄ撮像モデル、並びに仮想コンピューティング、インターフェーシングおよびネットワーキングのためのプラットフォームを生成する、光学の、立体的または複眼(plenoptic)レンズ・アレイを更に含むことができる。

更に、自律型で、インテリジェントの着用可能な無線手首コンピューティング、ディスプレイ、並びに搭載デバイスと遠隔デバイスのためのコントロール・システムおよびグラフィック・ユーザ・インタフェース（ＧＵＩ）コントロールに、モバイルで光および光学奥行マッピング、撮像、モデリング、ネットワーキングおよびインタフェーシングするための装置および方法も、記載されている。無線マルチメディアのストリーミングおよびマルチ・インタフェース・ディスプレイおよび投影システムによる、実世界の、人々、オブジェクトおよびデバイスの仮想環境への拡大、そして仮想オブジェクト、インタフェースおよび環境の実世界への拡大も、記載されている。

（光マッピング）
本発明の実施形態は、狭いまたは広いビーム発光素子、または構造化された光撮像システムを、ユーザが着用する手首コンソールの上部と下部に組み込むことに関する。実施態様において、デバイスは、手と指、体の上部および下部、および手または光撮像システムのフィールド内のいかなるオブジェクトも走査する。

狭いまたは広いエミッタ・アレイとセンサ・アレイを使用すると、エミッタ・アレイにおいて、走査処理の間、ｘおよびｙ軸格子構成に光ビームの焦点を上下および前後に移動させ、そしてエミッタ・アレイには、手と指の動きをモニタするために定位置を割り当てることができる。エミッタは、空間のｘおよびｙ次元で手と指を検出するためのｘ−ｙアレイを形成し、かつセンサは、反射の有無を検出する。実施態様において、光ビームが動いていてかつオブジェクトが静止しているときに、ターゲット表面奥行をマップする、または光ビームが固定されていてかつ走査されるオブジェクトが動いているときに、走査されるオブジェクトの位置を動的に識別するの何れかにより、奥行（ｚ）距離は、ターゲット表面の光ビーム反射の光センサに対する三角測量によって測定される。

構造化された光撮像システムを用いた実施態様では、発光素子および光拡散器が、手の上部および下部に渡って光スペックル・パターンを生成しかつ周囲のオブジェクトと環境をカバーするために、組み込まれている。実施態様では、手首コンソール上の指定されたカメラ・センサは、カメラ・センサの範囲内の異なるピクセル上のターゲット表面ランド上の各ドットの光スペックル・パターンおよび方向性の反射を認識して、光のビームを三角にしかつターゲット表面の位置、奥行および形状を決定する。

静止している構造化された光撮像システムは、変数がその投影フィールド内の目標オブジェクトの位置、奥行および表面形状のみである投影光パターンに対し恒常的な起点を提供する。手首コンソールは、大部分の時間動いている着用可能な構造化された光撮像システムを導入する。人が、彼らの腕および手を安定して保持している場合でも、わずかな体の動きが、カメラ・センサの発光素子および投影光パターン（従って、カメラ・センサの位置および視野方向）を変えてしまう可能性がある。

実施態様において、光マッピング・システムは、手、体、オブジェクトおよび環境の最初のマッピングおよびモデリングのため、そしてジェスチャのインターフェーシングおよびコントロールのために手、指、体およびオブジェクトの動きを動的にモニタし、そしてデバイスのサインインの際に鍵のないユーザの即時の照合および認証を実行するためと、鍵無で家と車両にエントリすること、および固有のユーザアカウントへの、およびデバイス上のユーザの特定機能とアプリケーションへのアクセスのような、支払いおよび他の安全取引およびセキュリティに関連する機能に対しユーザの即時の照合を実行することの、両方に用いられる。

（位置および方位マッピング）
実施態様において、恒常的な運動、位置および方位データを組み込むことが、必要である。光と光学奥行マッピングおよび３Ｄカラー撮像が実行されるときに、手首コンソールの空間位置、方向性の運動および方位は、搭載加速度計、高度計、コンパスおよびジャイロスコープ、並びにＧＰＳおよび無線周波（ＲＦ）の方向性信号および場所データの任意の組合せによって、得られ、これにより、反射されかつ撮像された表面に対する手首コンソール・カメラ、発光素子およびセンサの正確な相対位置が連続的に識別され、このデータは奥行およびカラー・マップ内の各光位置およびカラー・ピクセルに割り当てられる。

（光学マッピングおよび撮像）
実施態様において、奥行マッピングおよび３Ｄ撮像は、立体または複眼(plenoptic)マルチ・レンズ・アレイを使用して達成される。これらのアレイは、手首コンソールの上部および下部モジュールが、手、体、周囲のオブジェクトおよび環境のフィールド・カラー撮像の３Ｄまたは４Ｄマルチ奥行を動的に捕えることを可能にする。

実施態様において、一つ以上の複眼レンズ・アレイを組み込むときに、手首コンソールは、シーン内で２つ以上の焦点の奥行を決定し、かつ１つの画像内のポイントおよび特徴を他の画像の対応するポイントおよび特徴にマッチングさせることにより、他の画像内の対応するポイントの奥行を決定することによって、ステレオ三角法を実行する。対応問題を解決するために、立体撮像システムは、この撮像システムが画像内の正確な対応ポイントを検証することを可能にする、光の一つ以上のポイントをターゲット表面に投影する光撮像システムを組み込むことを選択することができる。対応箇所が既に識別されているならば、撮像システムは、シーン内の他の全てのポイントの焦点深度を決定する。

実施態様において、光フィールド複眼マイクロレンズ・アレイを組み込むと、手首コンソールは、フィールドの複数の奥行を同時に捕える。複眼レンズ・アレイが、各々がフィールドの単一の奥行から光および色を捕え、２つ以上の画像内のポイントをマッチングさせるために、対応する画像分析を必要とする、２つ以上の個々のレンズ・アレイ・フィールドとセンサに限られるのに対し、複眼マイクロレンズ・アレイは、複数のレンズを単一のセンサに割り当てかつビューの全てのフィールドから光およびを捕える、各レンズは、フィールドの異なる奥行を捕え、カメラが、奥行を、捕えられた画像内の全てのポイントに割り当てることを可能にする。

実施態様において、光学撮像システムは、手、体、オブジェクトおよび環境の最初の撮像、奥行とカラー・マッピングおよびモデリングに、使用され、そして、ジェスチャおよび投影インターフェーシングのために手、指、体およびオブジェクト運動を動的に撮像し、ユーザの照合および認証および他のセキュリティ関連機能を実行し、そして２Ｄおよび３Ｄまたは４Ｄビデオでビデオかつ生のストリーム・ユーザ動作を捕えそして他の撮像アプリケーションを実行する。

（モデリングおよびリギング）
オブジェクトを光走査しかつ３Ｄ撮像した後、対応する奥行マップは、ポイント・クラウドに変換され、頂点のマップは、各ポイントにはｘ−ｙおよびｚ（奥行）座標が割り当てられている対応するベクトルを有する。この処理は、光走査処理またはオブジェクトの３Ｄ撮像によって発生するグレイ・スケール奥行マップを、画像内の各ポイントまたはピクセルが、メートル単位系に変換させることができるｘ−ｙおよびｚ座標として特定される頂点に、変える。

実施態様において、各表面ポイントの正確な奥行および方向性の位置を識別することによって光走査された奥行マップが、頂点およびベクトル・マップに変換されると、対応する奥行マップされたカラー・ピクセルが、３Ｄ頂点およびベクトル・マップ上の各ポイントに割り当てられるカラー・マッピング処理が、可能となる。この処理は、ポイント・クラウドを、隣接する表面上のポイントが、接続されているメッシュに変換し、そして、例えば、１本の指が他の指の後にありそしてそれらが単一の表面でないことを決定する。３Ｄマップされたオブジェクトの表面形状、テクスチャそして輪郭に、格子が形成される。

着用者の動きを反映させるために動画にすることが出来る機能的なキャラクタ・モデルに、人の手または体の表面メッシュおよび３Ｄマップを変換することは、人の関節をマップし、かつ３次元モデル上のマッチしている領域に関節の位置を割り当て、かつ人体の骨格の構造と類似の内部モデル・リギングを生成する処理を組み込む。次いでリギングを３Ｄメッシュおよびモデルに付加し、そして影響範囲を、体の動きおよび皮膚上の筋肉および腱に類似の３次元モデルのメッシュおよび表面に割り当てる。

実施態様において、各ニューモデルに対しリグを生成するのではなく、既存のコントロール・キャラクタ・リギングが存在する場合には、既存のリグを、縮尺変更させ、かつマップされた人の次元、形状、及び物理的特性に適合化させる。これは、マップした人の体のタイプ、性、サイズ、体重、年齢、健康、フィットネス、柔軟性及び他のパラメータに基づいて、人の自然な体の動きおよび移動度を模倣するために、リグおよびモデルにより正確に適合化させるようにすることができる体の柔軟性を決定するプログラムを組み込むことができる。

３Ｄ光マッピングおよび画像処理の間、手首コンソールは、装着者に、手および体の動き、ジェスチャおよび姿勢を数多く実行することを促して、この人の関節、骨構造および移動度を識別することができる。これは、人の複数の３Ｄ走査および画像を捕え、次いでリギングが正確な体の構造および移動度を複製するように調整することを必要とする。

（センサ・マッピングおよびインターフェーシング）
実施態様において、手首コンソールは、連続的に体全体の動きをリアルタイムでマップするために使用され、かつ外界センサを、その３Ｄマッピングおよびインタフェース・システムに組み込む。これは、体、衣類および遠隔ワイヤレス器材センサを含む。四肢および関節の各々の体または衣類にマイクロ・センサを取付けることによって、または衣類、靴および器材内の組込形センサとネットワークすることによって、手首コンソールは、一つ以上の無線センサの空間位置を識別し、かつこれらのセンサを、人、器材、そして環境のマップされた３次元モデルに割り当てることができる。

実施態様において、手首コンソールは、ローカルおよび遠隔のセンサおよびデバイス・インタフェースおよびコントロールのために、無線周波数（ＲＦ）、光／ＩＲ、Near Field Communication（ＮＦＣ）、ブルートゥース、ＷｉＦｉおよび移動電話ネットワークを含むネットワーク手段の１つまたは組合せを使用することができる。このセンサ・ネットワークは、無線オペレーションのための手首コンソールによるデータの送受信、および遠隔センサのコントロール、およびネットワーク接続されているデータの動的マッピング、インターフェーシングおよびストリーミング、ならびにマップされたデータの搭載された格納または遠隔での格納を可能にする。

手首コンソールが無線センサ・ネットワーク（ＷＳＮ）用のセンサ・ハブとして作動する実施態様では、手首コンソールは、各センサと、直接、または各センサがノードとして作動しかつデータを捕えかつ送信するだけでなく、ネットワーク内の他のノードにデータをパスするリレーとしても機能する、網目状ネットワークを介して、ネットワークを形成する。

実施態様では、３Ｄ位置、速度および各関節または体の一部の加速を識別することによって体の動きをモニタすると、体の完全なデカルト座標３次元モデルは、動いているオブジェクトの将来の位置を算出するために、ｘ−ｙ及びｚの距離座標、ｖ_ｘ、ｖ_ｙ及びｖ_ｚの速度座標並びにａ_ｘ、ａ_ｙ及びａ_ｚの加速座標により、数学的に記載することができる。手首コンソールが、個々のセンサまたはメッシュ・センサ・グループを既に識別しかつそれらとネットワーク化している場合、手首コンソールは、３Ｄキャラクタ・モデル上のセンサの正確な位置をマップすることが可能である。この処理は、手首コンソールが、完全な体の動きおよび加速を連続するデータ・ストリームとして捕え、かつそのデータを装着者の３Ｄリッグ仮想モデルに割り当てて、仮想環境での体のリアルタイム・アニメーションおよび体全体インターフェーシングを提供することを、可能にする。

手首コンソールが、内部本体センサ、デバイスおよび補綴学を有する内部本体解剖およびインタフェースをマップするために用いられる実施態様では、手首コンソールは、それが外部本体とするのと同様に、内部本体には、マッピングし、モデル化し、ネットワーク化しそして内部本体とインタフェースする類似の方法が組み込まれる。実施態様では、手首コンソールが軽いおよび光マップしているおよび外界センサを使用している外部本体をマップするとき、手首コンソールは、手首コンソールが積載された健康および本体センサが組み込まれていて、次いで摂取されかつ植設されたセンサ、デバイス、補綴学およびいかなる体または脳機械インタフェース・システムも含む全てのネットワーク接続されている内部本体センサにも拡大する内部のマッピングも実行している。

実施態様では、手首コンソールには、赤外（ＩＲ）分光計およびパルス・オキシメータ、心拍数モニタ、温度計、ガルバーニ電気の応答システム、脳波検査（ＥＥＧ）、心電図検査（ＥＣＧ）、筋電計（ＥＭＧ）およびグルコース計に向いている上部および下部モジュールを含む、積載された体健康およびフィットネス・センサが組み込まれている。

（投影マッピングおよびインターフェーシング）
画像を外面に投影するためのピコ・プロジェクタが組み込まれている実施態様では、光および画像マッピング・システムおよび方位システムは、表面を奥行きマップするため、つまり、手及び指の空間位置並びに手首コンソール及びプロジェクタのターゲット表面に対する相対位置を動的にマップするために使用される。これらの方法は、手首コンソールが、投影されたディスプレイおよびグラフィック・ユーザ・インタフェースをいかなる表面にもマップすることを可能にする。この光および光学マッピング・システムは、手と指の動きおよびジェスチャを動的にモニタするためにも使用され、これにより、ユーザが、タッチおよびジェスチャのインターフェーシングを実行して、投影されたインタフェースをコントロールすることが可能になる。

更なる実施態様は、能動タッチ・スクリーン・ディスプレイ、マイクロホン、スピーカ、触覚フィードバック（触覚型）センサ・アレイおよび前方に向いているビデオカメラを含む。これらの実施態様は、タッチ、音声及びジェスチャのインターフェーシング並びに音声命令、テレビ会議および搭載グラフィック・ユーザ・インタフェースによる動的タッチ・スクリーン・ディスプレイを可能にする。

実施態様では、手首コンソールには、タッチ・スクリーン・ディスプレイ、一つ以上のマイクロホン及びスピーカ並びに触覚フィードバック（触覚型）センサ・アレイが組み込まれている。これらの実施態様は、ユーザに対し、タッチ、音声およびジェスチャのインタフェース・オプションを提供し、これは、ユーザが、手首コンソールにまたは一つ以上のネットワーク接続されているデバイスの何れかの上にグラフィック・ユーザ・インタフェースを表示しかつそれとインタフェースするために最も効果的な方法を選択することを可能にする。

実施態様では、ユーザは、特殊関数、アプリケーションまたはデバイスに対する音声命令またはジェスチャ・インタフェースのような特定のユーザ・インタフェースを、マップするまたは割り当てることが出来る。例えば、ユーザが、手首コンソールを使用して、パーソナル・コンピュータおよびテレビジョンとインタフェースしつつある場合、ユーザは、コンピュータへのジェスチャおよびタッチを使用している間に、テレビジョンに音声命令を割り当てることができる。

実施態様では、手首コンソールには、上部および下部手首ユニットの両方の内側に触覚センサ・ストリップおよび／または触覚センサのリングが組み込まれている。手首コンソールは、指、手、手首および体の微小な動きに対し、非常に複雑な位置、振動および圧力の応答を生成する。投影されたキーボード上のボタン押圧をシミュレートする、または触覚の応答およびオブジェクトに対するより多くのリアリズムおよび／または仮想２Ｄまたは３Ｄ環境におけるアプリケーションの選択およびコントロールを提供するために、触覚の応答は、ジェスチャ命令、タッチ画面、およびデバイス・コントロールおよび他のユーザ・インタフェース・アプリケーションに組み込むこともできる。この触覚応答システムは、入呼または出呼、テキストまたは他のイベント、認識されたオブジェクトまたは人への場所のおよび／または相対距離、または他の割当てられた前後関係のアプリケーション、または彼らの心拍数が指定された値より上昇する、またはグルコースレベルが指定されたレベルより上又は下になる、または潜在的に発生しつつある発作を装着者に知らせる場合に、装着者に警告するような警戒またはモニタされた健康の状態イベントを示すために用いることもできる。異なるタイプの振動型および／または電子刺激された応答を、異なる発呼者、イベントおよびアプリケーションに発生させかつ割り当てることができる。

（デバイス・マッピングおよびインターフェーシング）
実施態様では、手首コンソールは、格納されているコンテンツをストリーム配信しかつデバイスで再生する、および／またはインターネットからのコンテンツを一つ以上のネットワーク接続されているデバイスのスクリーンにストリーム配信し、および／またはネットワーク接続されているＴＶ、ゲーム機、ＰＣまたは他のネットワーク接続されているデバイスから一つ以上の他のデバイスまたはディスプレイに、マルチメディア・コンテンツをストリーム配信することが出来る。このピア・ツー・ピア・ネットワーク、コンテンツ管理、配信およびストリーミングは、多くの異なる無線ネットワークを使用して達成することができる。これらのいくつかは、ＷｉＦｉ、ブルートゥース、セルラ、赤外／光、無線周波数（ＲＦ）並びに迅速な支払い及び処理のためのＮＦＣを含む。この視界内にある全てのディスプレイおよびデバイスを接続する１つの方法は、単一のＷｉＦｉピア・ツー・ピア・ネットワークによることである。この場合、各デバイスは、独立型ＷｉＦｉホットスポットおよびルータとして作動するマルチチャネル・ワイヤレスで直接的に接続するプラットフォームにより、ワイヤレスで接続されていて、手首コントローラは、一つ以上の無線および／またはインターネット対応デバイスと特別ピア・ツー・ピア・ネットワークを構築し、かつ遠隔の着用可能なビデオゲームおよびコンピュータ・コンソールおよび無線ハブとして作動する。手首コンソールは、一つ以上のデバイスと通信するために、ネットワークのいかなる組合せも使用することができる。

実施態様において、手首コンソールは、部屋内のディスプレイの位置およびこのディスプレイの手首コンソールとユーザに対する関係に基づいて、ネットワーク接続されている複数のデバイスおよびモニタに渡るコンテンツを管理する。手首コンソールは、複数の方法、ネットワークおよびチャネルを使用して、多数のデバイスと結合させることが出来る。

（図面による実施態様の詳細な概要）
図１Ａは、デバイスの内部のコンポーネントのためのモジュールを収容するものとして機能する上部手首モジュール102および下部手首モジュール103を表す手首コンソール101の実施態様の斜視図である。これらの手首モジュールは、実施態様では、２台の手首モジュールの間の通信ケーブルを収容する調節可能な手首ストラップ104に接続されている。このデバイスは、更に、手首ストラップ・リリース及び固定システム105、前方に向いている発光素子106及びセンサ107並びにマルチ・カメラ・レンズ・アレイ108を有する。図１Ａは、発光素子とセンサ109、電気皮膚レスポンス・システム（Galvanic Skin Response System (GSR)）110、そして触覚フィードバック・アレイ（触覚アレイ）111、ディスプレイ114の一部分、マイクロホン115、スピーカ116、そして上に向いているカメラ117を含む、下部モジュール体センサの内部を示す。

図１Ｂは、発光素子とセンサ109、GSR 110および触覚アレイ111を含む上部モジュール102体センサの観点を表す図１Ａに示される実施態様の斜視図である。

図１Ｃは、背面に向いている発光素子106およびセンサ107、背面のマルチ・カメラ・レンズ・アレイ108、パワーおよびデータ・ポート112およびドッキング・ポート113を上から見た図１Ａに示される実施態様の斜視図である。

図１Ｄは、ディスプレイ114、マイクロホン115、スピーカ116および上に向いているカメラ117を表す図１Ａに示す実施態様の上部平面図である。

図２Ａは、手首コンソール101の上部モジュール102に取り付けられたディスプレイ202およびリリース・ボタン203を有する拡張モジュール201を表す図１Ａに示される実施態様の斜視図である。この拡張モジュールは、デバイスおよび／または拡張されたディスプレイのための、付加される電力およびデータ記憶の処理および／またはコミュニケーション・システム、およびインタフェース・システムとして機能し、かつプラグインのグルコース計または他のアプリケーションのような拡張されたサービスを実行することもできる。

図２Ｂは、リリースボタン・ドッキング・タブ204及びパワーとデータ・プラグ204を有する分離した拡張モジュール201並びに上部モジュール102の後部上のボタン・アレイ206を表す図１Ａに示される実施態様の斜視図である。

図２Ｃは、下部モジュール103に取り付けられている拡張モジュール201を表す図１Ａに示される実施態様の斜視図である。

図２Ｄは、下部モジュール103から分離される拡張モジュール201を有する図１Ａに示される実施態様の斜視図である。

図３Ａ−３Ｌは、奥行マッピングを実行しかつ手と指301を３Ｄ撮像する手首コンソール101であって、関節を識別し、次いで手（手モデル）307の完全機能コンピュータ・モデルを装備する手首コンソール101を例示する斜視図である。

図３Ａおよび３Ｂは、奥行マッピングのための方法として手と指301の上部および下部に光走査を実行する、光302の一つ以上の可動ビームが組込まれている手首コンソール101の実施態様を例示する斜視図である。三角測量は、光ビーム302が、手と指301の両側の表面を垂直にそして水平に横切る際に、手首コンソール101、発光素子104およびセンサ106により決定される。

図３Ｃおよび３Ｄは、一度に手301全体を光マップ303するために、スペックル光パターンによって手と指301の上部および下部を照らすことによって、構造化された光撮像303をその奥行マッピング方法に組み込む本発明の他の実施態様を表す斜視図である。

図３Ｅおよび３Ｆは、手首コンソール101の上部モジュールおよび下部モジュールの複眼マルチレンズ・アレイ・カメラ108を使用して、３Ｄカメラ108または４Ｄ撮像を用い、光マッピングおよび撮像の組合せを実行する奥行マップおよびカラー・マップされた手304を生成する手首コンソール101を例示する斜視図である。

図３Ｇおよび３Ｈは、３Ｄマップされた手304に対しリグを生成する目的で、関節の正確な位置、および手と指301の上部および下部のしわ305を識別する手首コンソール101を例示する斜視図である。

図３Ｉおよび３Ｊは、上部および下部の視野から手（手リグ）306の機能リギングを生成する手首コンソール101を例示する斜視図である。

図３Ｋおよび３Ｌは、手のリグ306を３Ｄマップされた手304に組み込んで、アニメーションにすることが出来かつリアルタイムでユーザの手と指301の動きを繰り返すことができる手（手のモデル）307の完全にリグ機能を示すコンピュータ・モデルを作成する、本発明を例示する斜視図である。

図４Ａ−４Ｆおよび図５Ａおよび５Ｂは、ユーザが、異なるジェスチャのためのコントロール機能を実行しかつ選択する本発明のアプリケーションを例示する斜視図である。手首コンソール101は、２Ｄまたは３Ｄコンピューティング環境でユーザのジェスチャ入力およびコマンドを実行するために用いられる手モデル307にこれらのコントロールを割り当てる。図４Ａ−４Ｆおよび図５Ａおよび５Ｂは、潜在的に無制限のカスタム・インタフェース・プログラミング・システムのためのジェスチャ・インタフェース・コントロール・オプションのほんの少数の具体例のみを表す。

図４Ａおよび４Ｂは、ジェスチャ（握りこぶしを作る）を動き（手首を回しかつ動かす）と結合させて、カスタマイズされたジェスチャ・インタフェース・コントロール機能を割り当てるために用いられるユーザの手と指301を例示する斜視図である。ジェスチャは、手首コンソール101によってマップされかつ記録される。

図４Ｃは、ユーザが、複数の指301に関わるジェスチャ・インタフェース入力およびコントロール機能を実行しかつ選択することを使用することを例示する斜視図である。

図４Ｄは、ユーザが、１本の指301に関わるジェスチャ・インタフェース・コントロール機能を実行しかつ選択することを例示する斜視図である。

図４Ｅは、ユーザが、指定された指を、手301の識別された位置または領域にタッチすることに関わるジェスチャ・インタフェース・コントロールを実行しかつ選択する斜視図を例示している。

図４Ｆは、ユーザが、１本の指定された指を別の指定された指301にタッチすることに関わるジェスチャ・インタフェース・コントロール機能を実行しかつ選択することを例示する斜視図である。

図５Ａは、１本の指をコントローラ301として使用して、外部のネットワーク接続されているデバイス802上の２Ｄまたは３Ｄコンピューティング環境に対する単一のコントロール・ポイントを例示する斜視図である。

図５Ｂは、複数の指をコントローラ301として使用して、外部のネットワーク接続されているデバイス802上の２Ｄまたは３Ｄコンピューティング環境に対する複数のコントロール・ポイントを例示する斜視図である。

図６Ａは、グラフィック・ユーザ・インタフェース（ＧＵＩ）601をユーザの手と指301に投影する手首コンソール101を例示する斜視図である。投影されたインタフェースは、光マッピングおよび３Ｄ撮像システムを使用して、手の上にマップされる。

図６Ｂは、ユーザが、ユーザの手と指301上に投影されたＧＵＩ 601をコントロールするためにタッチとジェスチャのインタフェースを実行することを例示する斜視図である。

図６Ｃは、グラフィック・ユーザ・インタフェース601をユーザの手と指上に投影する手首コンソール101を例示する斜視図である。図６Ｃにおいて、ユーザは彼らの手と指を広げていて、そして投影されたインタフェースは、手と指301の新しい位置に動的に適合している。ユーザは、または手首コンソール101上でまたは遠隔でインターネット接続を介して動作しているアクティブなプログラムまたはアプリケーションを表す投影されたアイコンの１つを選択しつつある。

図６Ｄは、ユーザ手301上の投影されたキーパッド601上にユーザがタイプをしていることを例示する斜視図である。

図７は、ユーザが、左右の両方の手首コンソール101によって、外部表面にマップされて投影されているキーボード701にタイプをしていることを例示する斜視図である。図７は、左右の両方の手首コンソールが、投影された表面に動的インタフェースをマップしかつ投影することに協働して作動する、整合させて二重投影されたインタフェースの実施態様を表す。図７は、ユーザが、外部デバイス803に表示される投影されたキーボードにドキュメントをタイプしていることを表す。左右の手首コンソールは、単一入力デバイスとして作動しかつワイヤレスで遠隔のコントロール・デバイス803に中継データをリレーしつつあるか、または、手首コンソール101が、主要な作動およびコントロール・デバイスとして作動しつつありかつデータを遠隔のディスプレイ803にストリーミングしつつあるかの、何れかである。

図８Ａ−８Ｄ 、９Ａおよび９Ｂは、ワイヤレスで外部デバイスとインタフェースする手首コンソールを表す斜視図である。これらの図の各々において、手首コンソール101は、両方の手首に示されているが、一対のコンソールは、単一のデバイスまたは対のデバイスとして作動させることができ、各手首コンソール101は、独立して作動することもでき、かつ２本の手のジェスチャ・インタフェース・コントロールを実行する第二のコンソールも必要としない。単一の手首コンソール101は、二重手インターフェーシングのために近接している第二の手をモニタする、または第二の手首コンソール101と協働して作動して、多重機能の両手によるコントロール、二重投影、拡張されたネットワーク化、処理、インターフェーシング、パワーおよびデータ記憶のような拡張機能を可能にすることができる。

図８Ａは、ユーザが、ネットワーク接続されている２つのデバイスとインタフェースし、そして手首コンソール101を用いて、走査された物理的なオブジェクトを、ネットワーク接続されている外部のデバイス802上の仮想コンピューティング環境にマッピングし、像を写し、モデル化することを例示する斜視図である。

図８Ｂは、ユーザが、２台の手ジェスチャ・インタフェース・コントローラとして左右の手首コンソール101を操作して、手首コンソール101によって走査されかつモデル化されかつネットワーク接続されている外部のデバイス802にワイヤレスでアップロードされている３Ｄコンピュータ・モデルとインタフェースしかつマニュピレートすることを例示する斜視図である。

図８Ｃは、ユーザが、ネットワーク接続されている外部の1台デバイス802上のファイル、文書またはプログラムを選択し、そしてネットワーク接続されている２台のデバイス間のデータブリッジとして手首コンソールを使用して、ジェスチャ、音声または他のＵＩ命令により、ファイル、文書またはプログラムを、ワイヤレスでネットワーク接続されている第２のデバイス803に転送することを例示する斜視図である。

図８Ｄは、ユーザが、手首コンソール101のタッチスクリーン・インタフェース上の３Ｄ走査されかつモデル化されたオブジェクトを作動させかつコントロールしていることを例示する斜視図である。

図９Ａは、ユーザが、ワイドまたはローカル領域ピア・ツー・ピア無線ネットワークを使用して、またはワイドまたはローカル領域インターネット接続を使用するインターネットを介して、ワイヤレスで遠隔デバイスまたは輸送手段901とインタフェースしかつ操縦していることを例示する斜視図である。

図９Ｂは、ユーザが、ワイヤレスで、リアルタイムの音声、データ、ビデオおよびマルチメディア・コンテンツを遠隔デバイス901へ／から送受信し、左904および右903の両眼ヘッドアップ・ディスプレイ902に３Ｄデータおよびマルチメディア・コンテンツをストリームさせていることを例示する斜視図である。

図１０Ａおよび１０Ｂは、ユーザ1001が体のスキャンを実行し、そしてユーザの３Ｄコンピュータ・モデル1002が生成される、手首コンソール101による、体全体の走査、奥行マッピングおよび撮像の処理を行うことを例示する斜視図である。

図１０Ｃおよび１０Ｄは、ユーザが異なる位置で異なる体の動きを実行して、手首コンソール101が複数の位置の体1002をマップしかつ撮像することを可能にし、そして、より正確に３Ｄコンピュータ・モデルに対する体のリギングを生成するためにユーザの柔軟性および可動性を分析し、かつ仮想コンピューティング環境でユーザの動きを再現することを示す斜視図である。

図１０Ｅおよび１０Ｆは、ユーザ1001の３Ｄマッピングおよび撮像および着衣の３Ｄコンピュータ・モデル1003を例示する斜視図である。これは、ユーザ1001の実際の衣服を光マップしかつ３Ｄ撮像することによって、または仮想衣服をコンピューティング環境で３次元モデル1003にマップすることによって達成させることができる。

図１１Ａ−１１Ｄは、上部モジュールからカメラ・ビューを表している図１１Ａおよび１１Ｂおよび下部モジュール103からカメラ・ビューを表している図１１Ｃおよび１１Ｄと共に、手首コンソールの101の体に面したカメラ108の各々からの体のマッピングおよび撮像処理を例示する斜視図である。これらの図はカメラの斜視図を表すので、手首コンソール101は、図１１Ａ−１１Ｄには示されていない。

図１２Ａ−１２Ｄは、上部モジュール102からカメラ・ビューを表す図１２Ａ及び１２Ｂ並びに下部モジュール103からのカメラ・ビューを表す図１２Ｃ及び１２Ｄと共に、手首コンソール101の体に向いているカメラ108の各々の斜視図からの体のマッピングおよび撮像処理を例示する斜視図である。図１２Ａ−１２Ｄにおいて、カメラがユーザの体の異なる部分を走査することを可能にするために、ユーザの腕および手は、ユーザの頭より高く広げられている。

図１３Ａ−１３Ｃは、体のリギング処理を例示する斜視図であり、図１３Ａは、ユーザ1002の奥行およびカラー・マップされたモデルの表面メッシュを例示する。図１３Ｂは、ユーザ1002のマップされたコンピュータ・モデルの正確なディメンションおよび特徴に従う体全体の特徴のリギングを例示する。そして、図１３Ｃは、特徴リグの取り込みを例示する。

図１４Ａおよび１４Ｂは、３Ｄの体マッピングおよび撮像処理の間に、識別されかつマップされた物理的にマップされた環境1301における、ユーザ1001のおよびユーザの３Ｄコンピュータ・モデル1002の空間位置および場所を例示する斜視図である。

図１５は、ユーザの解剖の、および全てがマップされかつ手首コンソール101によってワイヤレスでコントロールされる、全てがネットワーク接続されているセンサ、植設されたデバイスおよび補綴の、仮想内部体マップ1201を例示する斜視図である。図１５において、手首コンソール101は、ユーザの体の系：神経系1202、内分泌系1203、骨格系1207、筋肉系1208、外皮系1209、心臓血管系1210、呼吸器系1211、リンパ管系121２、消化器系1213、泌尿器系1214および生殖器系1215、の各々をマップするために、搭載された、外部の、植設された、または摂取されたネットワーク接続されている体センサを使用する。手首コンソール101は、図１５において表されるブレイン機械インタフェース（ＢＭＩ）1204、図１５において人工目1205として表される補綴、および図１５においてペースメーカ1206として表される他の植設されたデバイスのような全ての内部データおよびマルチ・メディア・インターフェーシング・システムにネットワーク接続しかつインタフェースする。

図１６Ａおよび１６Ｂは、手首コンソール101が、住宅用リビング空間1301として図１６Ａおよび１６Ｂに示される空間、オブジェクトおよび環境を３Ｄ光および画像マッピング処理することを例示する斜視図である。図１６Ａは、ユーザ1001がリビングおよびダイニング1306セクションを３Ｄマッピングしかつ撮像化することを表し、図１６Ｂは、ユーザ1001が住宅向きのリビング空間1301の台所部分1304をマップすることを表す。

図１７Ａおよび１７Ｂは、ユーザが、住宅向のリビング空間1301に立っている斜視図である。図１７Ａは、ユーザが、物理的な住居用リビング空間1301内に立っていることを例示し、可能性のある３Ｄマップされた環境の一例を提供する。図１７Ｂは、３Ｄマップされたユーザ1003および環境1302を例示する頭上からの斜視図であって、ここでは、全てマップされている人々、オブジェクト、デバイスおよび環境が、手首コンソールに安全に格納されている、またはワイヤレスでインターネットまたは他のネットワーク上のユーザが認証されているアカウントまたはデータベースにアップロードされている。

図１８は、場所、デバイス・タイプ、機能およびアプリケーション、データ、パワーおよび他のシステムの仕様、および住宅向のリビング空間1301内のネットワーク接続されている全てのデバイスに対し利用できるネットワークおよびインターフェ―シング・オプションを、識別しかつマップしているユーザ1001および手首コンソール101の頭上からの斜視図である。

図１９Ａおよび１９Ｂは、手首コンソール101を着用しているプロのテニス・プレーヤ1401が、現実の屋外のテニスコート1404でテニスをしていて、他方、ユーザ1001が、ユーザ1001のテレビまたは他のディスプレイ1405上での仮想ゲーム環境で、リアルタイムでテニス・プレーヤによって打たれたテニスボール1403を打ち返そうと試みることによって、在宅で彼の技術をテストしつつあることを表す斜視図である。

図２０Ａ−２０Ｃは、プロのゴルファ1501が、彼のスイング、ボール1504をマップしかつリアルタイムでプレーヤの全体のゲームを仮想化する斜視図である。図２０Ａは、ゴルフボール1504にスイングしているプロのゴルファを例示する斜視図である。ゴルファは、彼の衣服および靴1502および器材1503に、センサを設けまたは埋め込んでいるので、手首コンソール101は、スイングの間、ゴルファの体の動きのあらゆる詳細をマップすることが出来る。

図２１は、ゴルフコースにいるプロのゴルファ1501が、彼のスイングをマップし、かつセンサが使用可能にされたネットワーク接続されているゴルフボールの高さ、速度、軌跡、着陸および静止位置を、手首コンソール101上で遠隔でマップしそしてモニタすることを例示する斜視図である。

図２２は、手首コンソール・デバイスの部分となる各種要素の接続の概略図である。

本発明は、本願明細書において好ましい実施形態を参照して記載されているが、当業者は、本発明の精神と範囲から逸脱することなく、本願明細書において記載されるものを、他のアプリケーションにより置換することができることを、容易に理解するであろう。したがって、本発明は、以下に含まれる特許請求の範囲の記載によってしか、限定されるべきではない。

（関連出願についてのクロス・リファレンス）
本出願は、２０１３年１１月１日に出願された米国特許出願、シリアル番号１４／０７０，４２５および２０１２年１１月１日に出願された仮出願、シリアル番号６１／７９６，０５６の優先権を主張する。そして、これらの出願は、全体がそれぞれこの参照によって本願明細書に組み込まれている。

Claims (41)

1. ・収容モジュールと、
   ・プロセッサ、１つ以上の発光素子、および１つ以上のマルチレンズ・アレイを備え、かつ
   当該収容モジュール内に収容されている、
   光マッピング、走査、撮像、投影および光学インタフェーシング・システムと、
   を備える、手首にマウントされるコンピューティング・デバイスであって、
   当該プロセッサが、当該発光素子および当該マルチレンズ・アレイと通信し、
   当該プロセッサが、当該発光素子および当該マルチレンズ・アレイをコントロールして、ユーザの体の表面を走査し、そして前記ユーザの手、指、体、及び周囲のオブジェクト並びに環境の何れかのフィールドのカラー画像の、当該走査された体の表面の奥行およびカラー・マップおよび画像に対する、３Ｄまたは４Ｄマルチ奥行を動的に捕え、
   当該マルチレンズ・アレイが、
   シーンの２つ以上の焦点ポイントの奥行を決定することによってステレオ三角測量を実行し、かつ１つの画像内のポイントおよび特徴を他の画像内の対応するポイントおよび特徴にマッチングさせることによって他の画像内の対応するポイントの前記奥行を決定する立体的アレイ、または
   同時にフィールドの複数の奥行を捕えることによって捕えられた画像のすべてのポイントに奥行を割り当て、マルチプル・レンズを単一のセンサに割り当て、そして、各レンズがフィールドの異なる奥行を捕えると共に、ビューの全体のフィールドから光および色を捕える複眼アレイ
   の何れかを備える、
   手首にマウントされるコンピューティング・デバイス。
2. 一つ以上のカメラを更に備える、請求項１に記載の手首にマウントされるコンピューティング・デバイス。
3. 当該カメラが、ユーザの近傍にあるオブジェクトを走査するように機能し、そして、
   当該プロセッサが、当該カメラから受信されたデータを処理して、走査されたオブジェクトのマップを作成する、請求項２に記載の手首にマウントされるコンピューティング・デバイス。
4. 当該カメラが、前記ユーザの近傍のマルチプル・オブジェクトおよび表面を走査するように機能し、そして、
   当該プロセッサが、当該１つ以上のカメラから受信された日付を処理して、前記ユーザの回りの前記環境のマップを作成する、請求項３に記載の手首にマウントされるコンピューティング・デバイス。
5. 前記手首にマウントされるコンピューティング・デバイスの正確な場所を決定することができる場所決定モジュールを更に備え、
   当該プロセッサが、当該カメラから受信されたデータに関連させて前記場所決定モジュールから受信されたデータを処理して、前記ユーザの回りの前記環境のマップを作成する、請求項４に記載の手首にマウントされるコンピューティング・デバイス。
6. 前記ユーザの体表面、前記ユーザの体内、または外部オブジェクトにマウントされているセンサからのデータおよび位置信号を受信する信号受信モジュールを、更に、備える、請求項１に記載の手首にマウントされるコンピューティング・デバイス。
7. 前記手首の内部方向に向いていて、かつ前記ユーザの前記心拍数、前記ユーザの血液の前記酸素含有量または前記ユーザの手首の範囲内の腱運動を検出するように機能する赤外線発光素子および感知モジュールを、更に、備える、請求項１に記載の手首にマウントされるコンピューティング・デバイス。
8. グラフィカル・ユーザ・インタフェースを表面に投影するプロジェクタを、更に、備え、
   前記プロセッサが、投影されたユーザ・インタフェースにより前記体の表面の前記マップとのユーザの対話を決定する、請求項１に記載の手首にマウントされるコンピューティング・デバイス。
9. コンピューティング・デバイスを他のデバイスとインターフェースさせる、コンピュータにより実行される方法であって、
   手首にマウントされるコンピューティング・デバイスを提供するステップを備え、
   当該手首にマウントされるコンピューティング・デバイスが、プロセッサを含み、
   当該プロセッサが、当該手首にマウントされるコンピューティング・デバイスが、以下のステップ、
   （ａ）１つ以上の発光素子、および
   シーンの２つ以上の焦点ポイントの奥行を決定することによってステレオ三角測量を実行し、かつ１つの画像内のポイントおよび特徴を他の画像内の対応するポイントおよび特徴にマッチングさせることによって他の画像内の対応するポイントの前記奥行を決定する立体的アレイ、または、
   同時にフィールドの複数の奥行を捕えることによって捕えられた画像のすべてのポイントに奥行を割り当て、マルチプル・レンズを単一のセンサに割り当て、そして、各レンズがフィールドの異なる奥行を捕えると共に、ビューの全体のフィールドから光および色を捕える複眼アレイ、
   の何れかを備えるマルチレンズ・アレイ、
   によりユーザの体の一部の表面を走査するステップ、
   （ｂ）前記ユーザの手、体、周囲のオブジェクトおよび環境の何れかのフィールドのカラー画像の３Ｄまたは４Ｄマルチ奥行を動的に捕え、当該走査された体の表面の１つ以上のマップを作成するために、当該走査により得られたデータを処理するステップ、および
   （ｃ）前記体の前記表面の１つ以上のマップを使用して外部デバイスとインタフェースするステップ、
   を実行することにより、前記ユーザの体の一部をマップする命令を実行する、
   コンピュータにより実行される方法。
10. 外部デバイスとインタフェースする前記ステップが、
    前記手首にマウントされるコンピューティング・デバイス内のプロジェクタによりグラフィカル・ユーザ・インタフェースを表面に投影するステップと、
    前記プロセッサにより形成された前記体の表面の前記マップを使用して、前記グラフィカル・ユーザ・インタフェースとのユーザの対話を決定するステップと
    を備える、請求項９に記載の方法。
11. 外部デバイスとインタフェースする前記ステップが、
    前記プロセッサにより生成された、走査された前記体の前記表面のマップを使用することにより、前記ユーザにより実行されたジェスチャを決定するステップと、
    前記決定されたジェスチャに基づいて、既定の信号を外部デバイスに転送するステップとを
    備える、請求項９に記載の方法。
12. 外部デバイスとインタフェースする前記ステップが、場所決定モジュールを使用して前記手首にマウントされるコンピューティング・デバイスの場所を決定するステップと、
    前記手首にマウントされるコンピューティング・デバイスの場所および前記プロセッサにより作成された走査された体の表面のマップに基づいて、インタフェースする複数の可能なデバイスの中から特定のデバイスを決定するステップと
    を備える、請求項９に記載の方法。
13. 前記手首にマウントされるコンピューティング・デバイスの場所を決定するステップが、更に、
    前記ユーザの近傍の表面とオブジェクトを走査するステップと、
    前記手首にマウントされるコンピューティング・デバイスのプロセッサ内での前記表面とオブジェクトを走査するステップで受信されたデータを処理して前記ユーザの周りの前記環境のマップを作成するステップと
    を備える、請求項１２に記載の方法。
14. 当該ユーザの体の表面を走査しかつ撮像した後、当該プロセッサが、対応する奥行マップを作成し、かつ当該奥行マップを、各ポイントがｘ、ｙおよびｚ（奥行）座標で指定されている対応するベクトルの頂点を備えるポイント・クラウドに変換するステップと、
    当該プロセッサが、当該ポイント・クラウドを、当該ユーザの体の表面上のポイントが接続されている表面メッシュに変換するステップであって、当該メッシュが、当該ユーザの体の表面の形状、テクスチャ、輪郭をフォローしている、ステップと、
    前記ユーザの関節をマップし、関節の位置を当該マッピングのマッチした領域に割当て、内部モデルを生成し、当該リギングを当該メッシュおよびモデルに付着させ、そして前記モデルの前記メッシュと表面への影響領域を、当該デバイスを着用したときの前記ユーザの体の動きと類似するように、割当てることにより、当該プロセッサが、当該デバイスを着用したときの当該ユーザの動きを写すために動画化されている機能キャラクタ・モデルに、当該表面メッシュを変換するステップと、
    を備える請求項１に記載の手首にマウントされるコンピューティング・デバイス。
15. 当該ユーザの体の表面を走査しかつ撮像した後、当該プロセッサが、対応する奥行マップを作成し、かつ当該奥行マップを、各ポイントがｘ、ｙおよびｚ（奥行）座標で指定されている対応するベクトルの頂点を備えるポイント・クラウドに変換するステップと、
    当該プロセッサが、当該ポイント・クラウドを、当該ユーザの体の表面上のポイントが接続されている表面メッシュに変換するステップであって、当該メッシュが、当該ユーザの体の表面の形状、テクスチャ、輪郭をフォローしている、ステップと、
    前記ユーザの関節をマップし、関節の位置を当該マッピングのマッチした領域に割当て、内部モデルを生成し、当該リギングを当該メッシュおよびモデルに付着させ、そして前記モデルの前記メッシュと表面への影響領域を、当該デバイスを着用したときの前記ユーザの体の動きと類似するように、割当てることにより、当該プロセッサが、当該デバイスを着用したときの当該ユーザの動きを写すために動画化されている機能キャラクタ・モデルに、当該表面メッシュを変換するステップと、
    を備える請求項９に記載の方法。
16. １つ以上の光線の焦点ポイントを、手、体、周囲の対象物および表面を走査して、ｘおよびｙ軸グリッドに渡って上下および前後に移動するよう割り当てることができる狭いまたは広いビーム発光素子、
    ユーザの手、体、周囲のオブジェクトおよび表面の上部および下部に渡って光スペックル・パターンを生成する１つ以上の発光素子およびディフューザを有する立体光撮像システム、
    連続的に、ユーザの生物測定データを撮像し、記録しかつモニタするために１つ以上の赤外（ＩＲ）および近赤外線発光素子およびセンサを有する赤外光撮像および分光システム、
    ユーザの手、指、体および周囲のオブジェクトと表面にフルカラーの画像、ビデオおよび／または双方向グラフィック・ユーザ・インタフェースを投影するための１つ以上の発光素子を有する投影システム、
    の何れかを備える、１つ以上の発光素子を有する光撮像システムを更に備える、請求項１に記載の手首にマウントされるコンピューティング・デバイス。
17. 前記手首にマウントされるコンピューティング・デバイスの中の狭いまたは広いビーム発光素子および走査システムが、走査プロセスの間、１つ以上の光ビームの焦点ポイントを、ｘおよびｙ軸のグリッド構造に渡って上下そして前後に移動させるように構成することができる、請求項１６に記載の手首にマウントされるコンピューティング・デバイス。
18. 前記手首にマウントされるコンピューティング・デバイスの中の立体光撮像システムが、ユーザの手、体、周囲のオブジェクトおよび表面上に、光スペックル・パターンを生成し、かつ前記手首にマウントされるコンピューティング・デバイスの中の１つ以上のカメラ・センサが、前記パターンを認識し、
    ターゲット表面から離れた各ドットの方向性反射は、カメラ・センサの範囲内で異なる画素に到達し、かつ各光のビームは、ターゲット表面の位置、奥行および形状を決定するために、三角に分けられる、
    請求項１６に記載の手首にマウントされるコンピューティング・デバイス。
19. 前記手首にマウントされるコンピューティング・デバイスの中の立体光撮像システムは、手、体、周囲のオブジェクトおよび環境の奥行マッピングおよびモデリングルのために使用される、請求項１６に記載の手首にマウントされるコンピューティング・デバイス。
20. 赤外（ＩＲ）および近赤外撮像およびセンサ・システムに向いている上部および下部の二重手首モジュールが、同時のおよび連続する、心拍数モニタ、パルス・オキシメータ、グルコース計、温度計、心電計（ＥＣＧ）およびガルバーニ電気応答システムを可能にし、
    手首の両側の２つの変調波長撮像およびセンサ・システムが、ユーザの心拍数、血液酸素、血糖、体温、電気的活性、皮膚コンダクタンス、体のストレスおよび就眠パターンを測定するために、同一または異なるＩＲおよび近赤外波長を使用して、同じまたは異なる作業を、同時に、遂行することが可能であり、
    上部および下部モジュールの手首撮像システムが、より正確な測定を成し遂げかつ検証するために同じまたは類似の読取を達成するまで、両方のモジュールが、異なる波長を使用して、協働して、光波長をシフトさせる同じ作業を遂行するように作動することが、可能であり、かつ
    これに代えて、各モジュールが、機能性および効率を拡張するために、同じまたは異なる作業を遂行することができる、
    請求項１６に記載の手首にマウントされるコンピューティング・デバイス。
21. 前記手首コンピューティング・コンソールの範囲内のレーザー・プロジェクタまたは他の光撮像システムが、カラー画像、ビデオおよび／または双方向グラフィック・ユーザ・インタフェースをユーザの手、指、体および／または周囲のオブジェクトおよび表面に、投影しかつマップし、
    手首にマウントされるコンピューティング・デバイスの中の前記プロセッサおよびプロジェクタが、投影された画像、ビデオおよび／または双方向グラフィック・ユーザ・インタフェースの角度、サイズ、形状およびコンテンツを、ユーザの手および指または他の周囲の静止または動くオブジェクトのサイズ、形状、位置および表面に適合するおよび輪郭を合わせるように、連続的に調整する、
    請求項１６に記載の手首にマウントされるコンピューティング・デバイス。
22. ２Ｄまたは３Ｄコンピューティングまたは物理的環境でのインタフェーシングのためにユーザの手、指、体および外部オブジェクトを取り込む、バーチャルの又は物理的なユーザ・インタフェースのマルチポイント・コントロールのための３Ｄジェスチャ・インタフェーシング・システムを、更に、備え、
    ３Ｄジェスチャ・インタフェース・システムが、
    当該手首にマウントされるコンピューティング・デバイス、周囲の対象物および表面、遠隔のデバイスまたは２Ｄまたは３Ｄ仮想オブジェクトまたはコンピューティング環境に対する、ユーザの手および指の空間位置を、連続的にマップしかつ識別し、かつ
    ユーザの手、指、周囲のオブジェクトおよび表面上に投影された、手首に表示されたグラフィック・ユーザ・インタフェース、仮想オブジェクトまたは環境をインタフェースしかつコントロールする目的のために、１つ以上のコントロールおよび／または機能性のポイントを、各指の先端におよび／またはユーザの手および指の他のポイントに割り当て、
    および／または遠隔のネットワーク化されたデバイス、ヘッドアップ・ディスプレイまたは他の実または仮想インタフェース、オブジェクトまたはコンピューティング環境をコントロールする、
    ことができる、請求項１６に記載の手首にマウントされるコンピューティング・デバイス。
23. マルチレンズ・アレイを備えている１つ以上の光学センサが、手、体、周囲の対象物および環境の奥行およびカラー・マッピング、モデリングおよび撮像のために、独立して、または前記手首にマウントされるコンピューティング・デバイスの中の立体光撮像および走査システムと結合して使用される、請求項１に記載の手首にマウントされるコンピューティング・デバイス。
24. マルチレンズ・アレイを備えている１つ以上の光学センサが、独立して、またはユーザの手、指、体およびその視野の周囲の対象物の位置および動きを、動的にかつ連続的に、識別し、モニタしそしてマップするために、前記手首にマウントされるコンピューティング・デバイスの中の立体光撮像および走査システム、センサ・マッピング・システムおよび位置および方位モジュールと協働して、使用され、
    前記手首にマウントされているコンピューティング・デバイス内の当該プロセッサが、前記カメラ視野での前記ユーザの手、指、体および周囲のオブジェクトの前記正確なｘ、ｙおよびｚ空間および奥行座標を計算するために、前記光学光撮像および撮像データ、ネットワーク化されたセンサデータおよび場所および方向データを処理し、
    前記マップされたオブジェクトの３次元モデルを生成し、前記マップされたオブジェクト上の関節およびコントロール・ポイントおよびネットワーク化されているセンサを識別し、かつそれらを前記３次元モデルに割り当て、
    前記マップされたオブジェクトの前記動きおよび位置を、動的かつ連続的に、更新しかつ記録し、かつマップされたオブジェクトおよび表面の前記動きおよび位置を反映するために、前記３次元モデルを動画化させる、
    請求項１に記載の手首にマウントされるコンピューティング・デバイス。
25. 当該ユーザの体表面を走査しかつ撮像しかつ対応する奥行きマップを作成した後、当該プロセッサが、当該奥行きマップを、各ポイントにｘ、ｙおよびｚ（奥行）座標が割り当てられている対応するベクトルを有する頂点のマップを備えるポイント・クラウドに、変換することができ、
    当該プロセッサが、次いで、当該ポイントを、当該ユーザの体表面上のポイントが接続されている表面メッシュに変換し、当該メッシュが、当該ユーザの体表面の形状、テクスチャおよび輪郭をフォローしていて、
    当該プロセッサは、次いで、ユーザの関節をマッピングし、関節位置を当該モデル上のマッチしている領域に割り当て、ユーザの骨および関節をシミュレーションしている内部リギングを生成し、そして、当該メッシュおよびモデルに当該リギングを付着させ、そして、当該モデルが、当該デバイスを着用しているときのユーザの体の動きの効果に類似させて移動しかつコントロールされることが可能となるように、影響の領域を当該メッシュおよび前記モデルの表面に割り当てることにより、当該表面メッシュを、当該デバイスを着用しているときの当該ユーザの動きを反映させるために動画にされる機能キャラクタ・モデルに、変換することができる、
    請求項１に記載の手首にマウントされるコンピューティング・デバイス。
26. 周囲のオブジェクトに対する、前記手首にマウントされるコンピューティング・デバイスの正確な高度、空間位置、方向運動および方位を決定するための動きおよび方位モジュールを備え、
    当該プロセッサが、光学および構造光撮像および走査システムに関連して方位モジュールから受信されたデータを処理して、連続的に前記マップを更新しかつ前記ユーザの手、指および体の前記モデルを動画にし、かつ前記周囲のオブジェクトおよび環境に対して前記手首にマウントされるコンピューティング・デバイスの空間位置を特定する、
    請求項１に記載の手首にマウントされるコンピューティング・デバイス。
27. ＧＰＳ、ワイド、ローカルおよびパーソナル・エリア・ネットワーク、近フィールド通信（ＮＦＣ）無線周波数（ＲＦ）および赤外（ＩＲ）ネットワーク、そして連続的に前記手首にマウントされるコンピューティング・デバイスのための屋内および屋外の位置データを集め、そしてマップされおよび撮像されたオブジェクトおよび環境および捕えられ、記録されおよび／または送信されたデータに位置データを割り当てるためのワイヤレス・センサ・ネットワーク（ＷＳＮ）を備える場所決定モジュールを、更に、備え、
    当該プロセッサが、光学および構造光撮像および走査システムに関連して方位モジュールから受信されたデータを処理して、連続的に前記手首にマウントされるコンピューティング・デバイスの前記位置を更新し、そして前記マップされてかつ物理的な周囲のオブジェクトへの前記正確な距離および前記手首にマウントされるコンピューティング・デバイスの相対位置を算出する、
    請求項１に記載の手首にマウントされるコンピューティング・デバイス。
28. 当該手首にマウントされるコンピューティング・デバイスと他のネットワーク化されたデバイスとセンサとの間に、そして手首にマウントされるコンピューティング・デバイスとインターネット、ＶＰＮまたは他のネットワーク化されたたデータおよび／または媒体ハブとの間に、双方向、マルチ・フィード、マルチチャネルおよび同時マルチ・ネットワーク、リアルタイム音声、データおよびオーディオ・ビデオ通信を、確立するように構成されている、ワイド、ローカルおよびパーソナル・エリア・ネットワーク、近フィールド通信（ＮＦＣ）無線周波数（ＲＦ）および赤外（ＩＲ）ネットワークワイヤレス・センサ・ネットワーク（ＷＳＮ）を備える場所決定モジュールを、更に、備える、請求項１に記載の手首にマウントされるコンピューティング・デバイス。
29. 当該手首にマウントされるコンピューティング・デバイスと、体に着用され、付着され、および／または挿入されたセンサ、および／またはリモートセンサおよび無線ネットワーク化されたデバイスと間のピア・ツー・ピア・ネットワークのための網目状ネットワークを作動させるように、構成されているセンサ・ハブおよびワイヤレス・センサ・ネットワーク（ＷＳＮ）を、更に、備え、
    手首コンピューティング・コンソールが、各センサと直接、および／または各センサが、前記ネットワーク内の前記他のセンサへ/からデータを送受信するノードとして作動する網目状ネットワークを介して通信する、
    請求項２７に記載の手首にマウントされるコンピューティング・デバイス。
30. １つ以上の体に着用され、付着されおよび／または挿入されたセンサの前記位置および空間位置を連続的にマップし、そして、前記３Ｄ位置、速度および各センサおよび前記ユーザの体上または内部の関係位置の加速度を特定することによって、体の動きを記録するように構成されている体センサを更に備え、前記体の３次元モデルを生成することが、動いている体の将来の位置を算出するために、ｘ、ｙおよびｚの距離座標、ｖｘ、ｖｙおよびｖｚの速度座標、ａｘ、ａｙおよびａｚの加速度座標により、数学的に記載することができるように構成されている、体センサ・マッピング・システムを更に備え、
    当該プロセッサが、個々のセンサおよび／またはメッシュセンサ・グループを特定しかつネットワーク化し、前記手首コンソールが、連続データ・ストリームとして全体の体の動きおよび加速を捕えることを可能とするように、各センサの前記正確な位置を前記ユーザの３Ｄキャラクタ・モデルにマップし、そして、そのデータを前記ユーザの３Ｄリッグされた仮想モデルに割り当てて、仮想環境および体全体の３Ｄ動きで前記ユーザの体のリアルタイム・アニメーションおよび物理的な環境でのジェスチャ・インタフェーシングを提供することが可能である、
    請求項２９に記載の手首にマウントされるコンピューティング・デバイス。
31. １つ以上の遠隔ワイヤレス・センサおよび／またはワイヤレス・ネットワーク化されたデバイスへ／から連続的に信号を送受信し、それらの位置、３Ｄ空間および関係位置を特定するように構成されているリモートセンサ・マッピングシステムを、更に、備え、
    当該プロセッサが、信号識別、方向位置、信号強度および前記信号受信モジュールによって受信された他の信号データを処理して、前記正確なｘ、ｙおよびｚ座標および１つ以上のセンサの空間位置を決定し、ネットワーク化されたセンサの３Ｄマップを構築する、
    請求項２９に記載の手首にマウントされるコンピューティング・デバイス。
32. １以上の能動タッチスクリーン・ディスプレイ、画像プロジェクタ、マイクロホン、スピーカ、ビデオカメラ、を撮像し、そして、光学の、光および方位センサ、かつ触覚の（触覚型）センサアレイを含むように構成されているソフトウェアおよびハードウェア・コンポーネントを、当該ハウジングの中に更に備え、
    当該プロセッサが、音声コマンド、ステレオ音響システム、オーディオ−ビデオ通信、タッチスクリーン・インタフェース、投影インタフェース、動きジェスチャ・インタフェースおよび触覚フィードバックを含むインタフェースの広いアレイを動作させる、
    請求項１に記載の手首にマウントされるコンピューティング・デバイス。
33. 単一のまたはステレオのマイクロホン、カスタマイズ可能でかつプログラム可能な音声アクチベーション、音声認識および音声コマンド・システムを備える音声コマンド・モジュールを更に備える、請求項３１に記載の手首にマウントされるコンピューティング・デバイス。
34. 組込形単一またはステレオ・スピーカおよび有線または無線ヘッドホンのためのステレオ音響システムを備えるオーディオ・システムを更に備える、請求項３１に記載の手首にマウントされるコンピューティング・デバイス。
35. 搭載のまたは遠隔の格納のため、送信、および１以上のネットワーク化されたデバイスとのリアルタイム音声、データおよびオーディオ・ビデオ通信、および／または前記インターネット、ＶＰＮ、または他のネットワーク化されたデータおよび／またはメディア・ハブへの通信のために、２Ｄ、３Ｄまたは４Ｄの静止画像および動きビデオを、捕え、編集し、処理し、表示しかつストリーム配信するように構成されているソフトウェアおよびハードウェア・コンポーネントを、更に、備える、請求項３１に記載の手首にマウントされるコンピューティング・デバイス。
36. コンテンツ及びグラフィック・ユーザ・インタフェースに表示された、個人化された画像ディスプレイのためのタッチスクリーン・ディスプレイ及びデバイス機能のタッチスクリーン・コントロールを、更に、備える、請求項３１に記載の手首にマウントされるコンピューティング・デバイス。
37. 任意の表面に投影された２Ｄまたは３Ｄのインタフェースのマルチポイント・コントロールのための投影インタフェーシング・システムを更に備え、
    前記ユーザの手および指、体および／または周囲のオブジェクトおよび／または表面にマップされた双方向２Ｄまたは３Ｄグラフィック・ユーザ・インタフェース・ディスプレイに対する、前記ユーザ・コントロールの手および指の前記位置を、光マッピングしおよび／または光学的に撮像することにより、当該プロセッサが、投影されたユーザ・インタフェースとのユーザの対話処理を決定する、請求項３１に記載の手首にマウントされるコンピューティング・デバイス。
38. ２Ｄまたは３Ｄユーザ・インタフェース、ディスプレイ、仮想または物理オブジェクトおよび／またはコンピューティング環境のマルチポイント・コントロールのための連結している動きジェスチャ・インタフェーシング・システムを、更に、備え、
    当該プロセッサ、光マッピング、光学撮像、動き及び方位、位置及び通信システムが、協働して機能して、前記ユーザの手、指、体および周囲のオブジェクトと環境を動的に奥行きマップしかつ撮像し、そして周囲のオブジェクト、ディスプレイ、インタフェース及びコンピューティング環境に対する、前記手首コンピューティング・コンソール及び前記ユーザの手、指及び体の位置、空間位置、方向の動き及び方位を特定し、
    前記動きジェスチャ・インタフェーシング・システムが、
    前記ユーザの手、指、体及び周囲のオブジェクト及び前記ユーザの指の各々の先端のような表面に、ユーザが選択したコントロール・ポイントを割り当て、そして次に、１以上の周囲の物理ディスプレイ、インタフェース、仮想または物理オブジェクトおよび／またはコンピューティング環境に対する、各々のコントロール・ポイントの前記ｘ、ｙ及びｚ空間位置を、動的に特定しかつマップすることによって、前記選択されたコントロール・ポイントの１以上のものを用いた２Ｄまたは３Ｄオブジェクトおよび／またはインタフェースをコントロールすることが可能であり、
    指定されたタスク、デバイス機能、またはアプリケーションを遂行するために、ユーザは、機能性を、手と指の動き、１以上の指を、前記ユーザの手、指、体および／または周囲のマップされたオブジェクト及び表面上の他の任意の指、または指定されたポイントまたは領域にタッチする、ジェスチャおよび／またはタッチのいかなる組合せにも割り当てることを使用することができる、
    請求項３１に記載の手首にマウントされるコンピューティング・デバイス。
39. プログラム可能な触覚の応答システムのための触覚フィードバック・アレイを更に備え、
    手首コンピューティング・コンソールが、前記上部及び下部手首ユニット上に触覚センサのアレイを含み、
    ボタンを押すまたは投影されたキーボード・ディスプレイの物理キーをタイピングするまたはヘッドアップ・ディスプレイ上の仮想インタフェースをコントロールするまたは動いているまたはマルチ方向振動性応答を生成する感覚のような幅広い物理対話及びアプリケーションに対し、前記手首にマウントされるコンピューティング・デバイスが、微小な指、手、手首及び体の動きに対する複雑な振動性応答及び目標とされた位置的振動性応答を生成して、ステアリング・ホイールを回し、ボールを打ち、または仮想コンピューティングまたはビデオゲーム環境で銃を発砲するような仮想の物理アクションをシミュレートすることが出来、
    前記触覚応答システムが、入呼または出呼、テキストまたは他の物理またはコンテクストのイベントまたは健康、フィットネスまたは緊急警報システムを示し、前記手首コンピューティング・コンソールが、不安定な心拍数、グルコース・レベルの低下またはスパイク、またはモニタされている生物測定情報の他の急変化を認識すると、装着者に警告するためにも使用することができる、
    請求項１に記載の手首にマウントされるコンピューティング・デバイス。
40. ユーザ識別及び認証のためのセキュリティ・モジュールを更に備える、手首にマウントされるコンピューティング・デバイスであって、前記セキュリティ・モジュールが、
    連続する、ユーザが開始させた、および／またはイベント型のユーザ識別及び認証のための手掌及び指プリント走査及び撮像のための当該プロセッサ及び光学センサ及び光撮像システムを備える手掌及び指紋検証システムと、
    連続する、ユーザにより開始される、および／またはイベント型のユーザ識別及び認証に対しユーザの手及び指のサイズをマップしかつ計測する、当該プロセッサ及び光学センサ及び光撮像システムを備える手及び指マッピングシステムと、
    心電計（ＥＣＧ）リズム識別（RhythmIdentification）を実行して、前記ユーザの固有の心拍変動性を特定する、および／または連続する、ユーザにより開始されたおよび／またはイベント型のユーザ識別及び認証のために熱表皮効果撮像及び静電表皮効果伝導の測定のような他のバイオメトリック認証処理を実行する、当該プロセッサ、並びに赤外（ＩＲ）及び近赤外線波長撮像、分光及び生物測定センサーシステムの上部及び下部手首変調ユニットを備える生物測定検証システムと、
    前記ユーザの手及び指の３Ｄ奥行きマップを生成し、かつ前記ユーザの手及び指の空間位置、方向動き及び方位を動的にマップして、３Ｄマルチポイント・ジェスチャ・インタフェーシング・システムを稼働させる、当該プロセッサ並びに光学センサ、光撮像システム及び動き及び方位センサを備えるジェスチャ認識及び認証システムであって、ユーザが、手及び指の動き、１本以上の指の、前記ユーザの手及び指上の指定されたポイントまたは領域へのジェスチャおよび／またはタッチのいかなる組合せをも生成しかつ記録して、ユーザ検証かつ認証のためのジェスチャに基づいて、セキュリティ・パスワードを生成することができるジェスチャ認識及び認証システムと、
    当該プロセッサ、画像投影器及び光学センサ、及び画像、ビデオおよび／または双方向性のグラフィック・ユーザ・インタフェースを、前記ユーザの手、指、体および／または周囲のオブジェクトまたは表面に、投影しかつマップするための光撮像システムを備え、かつ前記ユーザの手、指、体または他のマップされたオブジェクトを使用して、当該投影された画像、ビデオおよび／またはユーザ・インタフェースとインタフェースして、ユーザの検証及び認証のために、ユーザにより割り当てられた英数字または他のパスワードまたはグラフィック・タッチまたはジェスチャ入力システムまたはアプリケーションを入力する、投影インタフェース・パスワードまたはグラフィック・ユーザ・インタフェース検証及び認証システムと、
    独立して、または１つ以上の当該手掌及び指紋識別、手及び指マッピング識別および／または生物測定ユーザ検証及び認証システムと結合させて、実行されるユーザの検証及び認証に対し、ユーザにより割当てられた英数字または他のパスワードまたはグラフィック・タッチスクリーン・インタフェース・セキュリティ・システムまたはアプリケーションを入力する、当該プロセッサ及びタッチスクリーン・ディスプレイを備える、タッチスクリーン・インタフェース・パスワードまたはグラフィック・ユーザ・インタフェース入力識別及び認証システムと、
    を、備える、請求項１に記載の手首にマウントされるコンピューティング・デバイス。
41. イベント、トランザクション、位置および／またはコンテクストに基づいて自動化されおよび／またはユーザにより開始されたユーザ識別、検証及び認証システムを、更に、備え、
    当該プロセッサ及びセキュリティ・モジュールは、前記ユーザによる直接の開始または活性化を伴いまたは伴わずに、かつ前記通信、位置及び方位モジュールと協働して、前記手掌及び指のプリント識別、手及び指のマッピング識別および／または生物測定識別システムの１つ以上を実行することによって、前記ユーザを自動的に特定しかつ検証して、
    前記ユーザが、無線支払処理、ファイルの暗号化または解読、遠隔アクセスのようなタスクを遂行する、および／または、動作しているコンピューティング・システム、インターネット、ＶＰＮまたは他のユーザが認証したネットワーク、データまたはメディア・ハブにサインインする、または鍵無での家または車両へのエントリおよび／または１つ以上のユーザが認証したネットワーク化されたデバイスにアクセスしかつコントロールすることを可能にする、
    請求項４０に記載の手首にマウントされるコンピューティング・デバイス。
    
    

Images