JP2014525152A - 近接センサを使用したマルチカメラモーションキャプチャ強化のための方法および装置 - Google Patents

Abstract

画像キャプチャのための装置が開示され、装置は、画像センサと、画像センサとリモート画像センサとの間のレンジング情報を決定するように構成される1つまたは複数のセンサとを含む。撮像のための装置が開示され、装置は、レンジング情報、および複数のデバイスからキャプチャされた画像を受信するように構成される受信機と、レンジング情報およびキャプチャされた画像から3次元画像を生成するように構成される処理システムとを含む。

Description

優先権主張
本出願は、2011年5月19日に出願された「METHOD AND APPARATUS FOR MULTI-CAMERA MOTION CAPTURE ENHANCEMENT USING PROXIMITY SENSORS」という名称の米国仮特許出願第61/488,064号の利益を主張する。上述した出願の全体が、参照によって本明細書に組み込まれている。

本明細書に記載する本開示のいくつかの態様は、一般に、モーションキャプチャに関し、より詳細には、近接センサを使用したマルチカメラモーションキャプチャ強化のための方法および装置に関する。

ボディ追跡システムは、2つの異なる面で進歩してきた。第1に、たとえば、映画およびゲームスタジオによる使用のために、高忠実度で、俳優、運動選手、プレーヤなどの動きをキャプチャすることができる、プロ級の「モーションキャプチャ」システムが使用可能である。これらのシステムは、一般的にはコストが高く、したがって、コンシューマ級のアプリケーションには適していない。第2に、コンシューマ級のゲームコントローラは、近年、ボタンまたは機械的スイッチに基づくものからプレーヤ運動検出に基づくものへと進んでいる。これらはコンシューマ製品であるので、技術ははるかに低コストであり、一般に、性能の品質もはるかに低い。たとえば、Nintendo Wii(登録商標)システムでは、低コストな慣性センサは、ゲームプレイを制御するために使用される手の動きを検出することを可能としている。このタイプのゲーム制御の精度に関する問題は、カメラベースのモーションキャプチャの使用の増加を後押ししている。たとえば、Sony PlayStation(登録商標)Moveシステムは、カメラを使用して、ハンドヘルドのゲームコントローラ上の球状の特徴を追跡することができ、この入力が慣性センサデータと結合されて、動きを検出することができる。さらに、Microsoft Kinect(登録商標)システムは、完全にコントローラを取り除くことができ、従来のカメラと深さ検出カメラとの組合せを使用して、カメラのみを利用してボディの動きを検出することができる。

現在のモーションキャプチャシステムに対するいくつかの領域の懸念が存在する。第1に、これらのシステムには、検出可能な動きのタイプを制限し、また可能性のあるゲームおよびユーザ対話のタイプを制限する、性能の問題がある。たとえば、カメラシステムは、カメラの視野内にあり、物体または人によって邪魔されていないものに対してしか働かない。第2に、カメラオーグメンテーションシステムは、静止カメラを搭載し、取り付けることができる環境、最も一般にはリビングルームまたは書斎における動作に制限される。さらに、人体のモーションキャプチャに使用される現在のカメラシステムは、スケーラブルでもなく、また、限定はしないが、遮断、周波数干渉、および天気/採光条件を含むいくつかの制限要因のために、屋外環境で有効に使用することもできない。さらに、3次元(3D)のオブジェクトを操作し、または車両を制御するための大きい2次元(2D)のタッチディスプレイの使用は、ヒューマンジェスチャ認識を使用しなければ、それほど効果的でもなく直観的でもない。

したがって、ボディ追跡性能の向上を可能にし、これらのシステムが、商用アプリケーションで使用されるか、家庭用アプリケーションで使用されるかにかかわらず、ユーザが行きたいところならどこにでも行くことができるようにするための技術の進歩が望まれる。例示的な商用アプリケーションは、様々な環境におけるジェスチャ認識のための正確なモーションキャプチャを含む。例示的な家庭用アプリケーションは、1人または複数人のプレーヤ間のモバイルゲーミング、および屋外であれジムであれ、スポーツパフォーマンスの追跡およびトレーニングを含む。さらに、そのような追跡技術が妥当な価格および充分な性能レベルで使用可能である場合、浮上し得る移動体追跡(mobile body tracking)のための潜在的な用途がはるかにたくさん存在する。

本開示の一態様では、画像キャプチャのための装置が開示され、装置は、画像センサと、画像センサとリモート画像センサとの間のレンジング情報を決定するように構成される1つまたは複数のセンサとを含む。

本開示の別の態様では、撮像のための装置が開示され、装置は、レンジング情報、および複数のデバイスからキャプチャされた画像を受信するように構成される受信機と、レンジング情報およびキャプチャされた画像から3次元画像を生成するように構成される処理システムとを含む。

本開示のさらに別の態様では、画像キャプチャのための装置が開示され、装置は、画像をキャプチャするように構成される画像感知のための手段と、画像感知手段とリモート画像感知手段との間のレンジング情報を決定するように構成される感知するための1つまたは複数の手段とを含む。

本開示のさらに別の態様では、撮像のための装置が開示され、装置は、レンジング情報、および複数のデバイスからキャプチャされた画像を受信するように構成される受信するための手段と、レンジング情報およびキャプチャされた画像から3次元画像を生成するように構成される生成するための手段とを含む。

本開示のさらに別の態様では、画像キャプチャのための方法は、画像センサを使用して画像をキャプチャするステップと、1つまたは複数のセンサを使用して、画像センサとリモート画像センサとの間のレンジング情報を決定するステップとを含む。

本開示のさらに別の態様では、撮像のための方法は、レンジング情報、および複数のデバイスからキャプチャされた画像を受信するステップと、レンジング情報およびキャプチャされた画像から3次元画像を生成するステップとを含む。

本開示のさらに別の態様では、画像キャプチャのためのコンピュータプログラム製品が開示され、コンピュータプログラム製品は、画像センサを使用して画像をキャプチャするステップと、1つまたは複数のセンサを使用して、画像センサとリモート画像センサとの間のレンジング情報を決定するステップとを行うために実行可能な命令を備えるコンピュータ可読媒体を含む。

本開示のさらに別の態様では、撮像のためのコンピュータプログラム製品は、レンジング情報、および複数のデバイスからキャプチャされた画像を受信するステップと、レンジング情報およびキャプチャされた画像から3次元画像を生成するステップとを行うために実行可能な命令を備えるコンピュータ可読媒体を含む。

本開示のさらに別の態様では、カメラが開示され、カメラは、レンズと、レンズを介して画像をキャプチャするように構成される画像センサと、画像センサとリモート画像センサとの間のレンジング情報を決定するように構成される1つまたは複数のセンサとを含む。

本開示のさらに別の態様では、コンソールが開示され、コンソールは、アンテナと、アンテナを介してレンジング情報、および複数のカメラからキャプチャされた画像を受信するように構成される受信機と、レンジング情報およびキャプチャされた画像から3次元画像を生成するように構成される処理システムとを含む。

本明細書で説明する本開示の上述の特徴を詳細に理解することができるように、添付の図面にその一部を示す態様を参照することによって、上記で簡単に要約したより具体的な説明が得られ得る。ただし、その説明は他の等しく有効な態様に通じ得るので、添付の図面は、本開示のいくつかの典型的な態様のみを示し、したがって、その範囲を限定するものと見なすべきではないことに留意されたい。

本明細書に記載する本開示のいくつかの態様による、近接センサを利用したマルチカメラモーションキャプチャ強化システムの一例を示す図である。 本明細書に記載する本開示のいくつかの態様による、マルチカメラモーションキャプチャ強化システムのユーザの一態様を示す図である。 本明細書に記載する本開示のいくつかの態様による、マルチカメラモーションキャプチャ強化プロセスを示すフロー図である。 本明細書に記載する本開示のいくつかの態様による、BANのワイヤレスデバイスにおいて利用され得る様々な構成要素を示す図である。 図3に示す動作を実行することが可能な例示的な手段を示す図である。 近接センサを使用してマルチカメラモーションキャプチャ強化を実施するために使用され得る処理システムを使用する装置のハードウェア実装の一例を示す図である。

添付の図面を参照しながら本開示の様々な態様について以下でより十分に説明する。ただし、本開示は、多くの異なる形態で具体化され得るものであり、本開示全体にわたって提示される任意の特定の構造または機能に限定されるものと解釈すべきではない。むしろ、これらの態様は、本開示が徹底的で完全になり、本開示の範囲を当業者に十分に伝えるように与えられるものである。本明細書の教示に基づいて、本開示の範囲は、本開示の任意の他の態様とは無関係に実施されるにせよ、本開示の任意の他の態様と組み合わせて実施されるにせよ、本明細書で開示される本開示の任意の態様を包含するものであることを、当業者には諒解されたい。たとえば、本明細書に記載の態様をいくつ使用しても、装置を実装することができ、または方法を実施することができる。さらに、本開示の範囲は、本明細書に記載の本開示の様々な態様に加えてまたはそれらの態様以外に、他の構造、機能、または構造および機能を使用して実施されるそのような装置またはそのような方法を包含するものとする。本明細書で開示される本開示のいずれの態様も請求項の1つまたは複数の要素によって具体化され得ることを理解されたい。

「例示的な」という言葉は、「例、実例、または例示として機能すること」を意味するために本明細書で使用される。「例示的な」ものとして本明細書で説明する何らかの態様は、必ずしも他の態様よりも好ましい、または有利であると解釈されるわけではない。さらに、本明細書では別の特定の態様について説明するが、これらの態様の多くの変形体および置換は本開示の範囲内に入る。好ましい態様のいくつかの利益および利点について説明するが、本開示の範囲は特定の利益、使用、または目的に限定されるものではない。むしろ、本開示の態様は、様々なワイヤレス技術、システム構成、ネットワーク、および送信プロトコルに広く適用可能であるものとし、そのうちのいくつかを例として図および好ましい態様についての以下の説明で示す。発明を実施するための形態および図面は、限定的なものではなく本開示を説明するものにすぎず、本開示の範囲は添付の特許請求の範囲およびその均等物によって規定される。

次世代ゲームプラットホームは、現在、ゲームの仕組みおよび設計を改良するために、人間の動きおよび位置をキャプチャするための様々な技法を使用している。ゲーム産業が発展し続けるにつれて、マスマーケットの中で新しいタイプのインタラクティブなゲームがますます普及してきた。これらのタイプのゲームのいくつかは、ゲームアバターを制御する、またはゲームの仕組みの一部として入力を提供するために、全身を利用して特定のジェスチャを実行することをプレーヤに求める。1つの普及しているゲームのジャンルは、EA Sports Activeなどのエクササイズゲームである。現在のエクササイズゲームは、プレーヤが異なるエクササイズ(太極拳、ヨガ、腹筋運動など)を実行するとき、プレーヤの動きをキャプチャするために、カメラベースの技法を利用する。しかしながら、限定はしないが、家具および衣類による遮断、干渉、動きの精度が非常に低いこと、および恒常的なカメラの再較正を含むいくつかの要因は、理想的なゲームプレイを提供しない。

さらに、エンターテインメント産業において、3D視覚を提示する新しいテレビジョン構成要素の使用がますます普及してきた。部屋内の複数のプレーヤによる3D空間におけるフルボディジェスチャ認識のこれらの2つの分野を結合し、ゲームの対話要素を強化する3D視覚を提示することが、このゲーム生成の次の段階となるように設定される。しかしながら、現在のゲーム周辺機器は、シングルポイントの画像キャプチャ構成要素を使用するため、プレーヤの非常に限られた組の次元データしかキャプチャしていない。さらに、これらのシステムは、解像度、遮断、および処理遅延などいくつかの要因に苦慮する。さらに、(単眼のみを有する立体視を実現しようとしてできないことと同様に)実際の深度情報が欠如しているため、これらのシステムは、真の3D空間画像データをキャプチャすることができない。マルチカメラシステムの使用によって、これらの要因の一部を低減することはできるが、これらのカメラが処理を助けるためにキャプチャされた画像の距離を決定することができない場合、それはますます複雑になる。これは、様々なリビングルーム(「遊び場」)が様々な位置、高さ、および角度にカメラを配置することを必要とすると想定すれば、実施するのがさらに難しくなり得る。

本明細書で説明する提案されたシステムは、人間のプレーヤ、動き、およびジェスチャの距離決定を援助し、極めて高速であるが、低電力のリンクを構成要素の通信に提供するために、マルチカメラ周辺システムにおいて近接センサを利用する。提案されたシステムは、プレーヤからの実際の3D入力データのキャプチャをサポートするために、低電力ワイヤレス機能、レンジングおよび近接データを提供するために使用されるマルチカメラゲーム周辺システムの一部として、1組の近接センサを有するマットを含む。提案されたシステムは、逆にプロジェクタとともに使用することもでき、近接センサは、3Dプロジェクタまたはホログラムを自動較正するために使用される。提案されたシステムの一態様では、各構成要素とゲームコンソールとの間のカメラ距離の自動較正は、近接センサによって提供される。近接センサは、カメラ構成要素通信のためにそれらのデータリンクの使用を提供することもできる。正確な近接レンジング機能の使用は、カメラの間の距離測定も提供する。近接センサは、複数のカメラの自動発見のためにも使用され得る。

本明細書で説明する近接センサは、Wi-Fiまたはセルフォンによって使用されない高周波数帯域を使用するため、開示される手法は、外部干渉による影響を受けない。さらに、本明細書で説明する近接センサは、極めて低い電力を利用し、これによって、バッテリシステムでのより長い外部使用が可能になる。複数のチャネルの使用は、ほとんどのデータ集約型の近接データのための十分な転送レートを提供し得る。

図1は、ある環境においてゲームプレーヤ103と対話するためにゲームコンソール/ディスプレイ100と通信するカメラ周辺機器101およびカメラ周辺機器102を含むマルチカメラモーションキャプチャ強化システムを示す。カメラ周辺機器101およびカメラ周辺機器102は両方とも、環境の角錐台および画像をキャプチャするために、画像センサとレンズ(図示せず)を含む。ゲームコンソール100は、カメラ周辺機器101用の近接センサ105と通信するトランシーバ104を含む。トランシーバ104は、カメラ周辺機器102用の近接センサ106とも通信する。近接センサ105および106の各々は、近接センサ105および106とトランシーバ104との間のデータリンク通信107を作り出すトランシーバを含む。さらに、カメラ周辺機器101およびカメラ周辺機器102の各々は、あらかじめ定められた基準に基づいてカメラアングルを示すセンサも含み得る。たとえば、角度センサは、磁力計を含み得る。

カメラ周辺機器101は、環境の角錐台109などの画像をキャプチャし、一方、カメラ周辺機器102は、環境の角錐台108などの画像をキャプチャする。図に示すように、自動構成プロセスの一部として、接近センサ105および106は、距離110を測定する。椅子111などのサンプル基準オブジェクトもピクチャにある。

図2は、カメラ周辺機器101によってキャプチャされた画像212およびカメラ周辺機器102によってキャプチャされた画像213を示す。ひとたび画像212および213がキャプチャされると、画像212および213ならびに距離110をデータ入力として使用して、最終の3D処理された合成214が作成され得る。一態様では、処理は、ゲームコンソール100によって実行され、2つのカメラ周辺機器の眼間(interocular)情報、たとえば眼間距離などを決定することを含む。カメラ周辺機器の向きも決定され得る。

本明細書で使用される例は、2つのみのカメラの使用について説明しているが、複数のカメラを使用できることに留意されたい。たとえば、銀行は、他のレンズおよび/または他のセンサを使用することに加えて、銀行のセキュリティシステムの様々な防犯カメラにセンサを含めることができる。銀行が強盗に襲われた場合、調査者は、単にプレーンなビデオストリームの組だけでなく、それらの位置に基づいて強盗の図を合成するために防犯カメラが互いに提携しているので、時間に関して発生したものの3D再現も有することになる。調査者は、3D合成物を回転し、ズームして、より良好な透視図を獲得し、証拠を収集することができる。

図3は、マルチカメラモーションキャプチャ強化プロセス300を示し、302で、画像センサを使用して画像がキャプチャされる。304で、リモート画像センサでも画像がキャプチャされる。画像センサおよびリモート画像センサは、デジタルカメラ、固体画像センサ、または任意の他の画像感知技術とすることができる。一態様では、画像センサおよびリモート画像センサの視野において移動しているオブジェクトの3D情報を取得できるようにするために、画像は、ほぼ同じ時間に撮られる。306で、それぞれ画像センサおよびリモート画像センサに配置される近接センサ105および106など、1つまたは複数のセンサを使用して、画像センサとリモート画像センサとの間で、レンジング情報が決定される。308で、レンジング情報を使用して、眼間情報が決定され得る。たとえば、画像センサとリモート画像センサとの間の距離は、近接センサのレンジング機能を使用して決定され得る。310で、キャプチャされた画像および眼間情報に基づいて、3D情報が生成され得る。3D情報は、キャプチャされた画像の3D合成、ピクチャにおけるオブジェクトの1つもしくは複数の位置情報、または画像センサおよびリモート画像センサによって撮られる画像の立体的性質から導出され得る他の3D情報を含み得る。

図4は、本明細書に記載するシステム内で使用され得るワイヤレスデバイス(ワイヤレスノード)400において利用され得る様々な構成要素を示す。ワイヤレスデバイス400は、本明細書で説明する様々な方法を実施するように構成され得るデバイスの一例である。ワイヤレスデバイス400は、近接センサ105および106のいずれか一方または両方を実施するために使用され得る。

ワイヤレスデバイス400は、ワイヤレスデバイス400の動作を制御するプロセッサ404を含み得る。プロセッサ404は中央処理ユニット(CPU)と呼ばれることもある。読取り専用メモリ(ROM)とランダムアクセスメモリ(RAM)または任意の他のタイプのメモリの両方を含み得るメモリ406は、命令とデータとをプロセッサ404に与える。メモリ406の一部分は不揮発性ランダムアクセスメモリ(NVRAM)をも含み得る。プロセッサ404は、一般に、メモリ406内に記憶されたプログラム命令に基づいて論理および算術演算を実行する。メモリ406中の命令は、本明細書で説明する方法を実装するように実行可能であり得る。

ワイヤレスデバイス400は、ワイヤレスデバイス400とリモート地との間のデータの送信および受信を可能にするために送信機410と受信機412とを含み得るハウジング408をも含み得る。送信機410と受信機412とを組み合わせてトランシーバ414を形成し得る。アンテナ416は、ハウジング408に取り付けられ、トランシーバ414に電気的に結合され得る。ワイヤレスデバイス400は、(図示しない)複数の送信機、複数の受信機、複数のトランシーバ、および/または複数のアンテナを含むこともできる。

ワイヤレスデバイス400は、トランシーバ414によって受信された信号のレベルを検出および定量化するために使用され得る信号検出器418をも含み得る。信号検出器418は、総エネルギー、シンボルごとのサブキャリア当たりのエネルギー、電力スペクトル密度および他の信号などの信号を検出し得る。ワイヤレスデバイス400は、信号を処理する際に使用するためのデジタル信号プロセッサ(DSP)420をも含み得る。

ワイヤレスデバイス400の様々な構成要素は、データバスに加えて、電力バスと、制御信号バスと、ステータス信号バスとを含み得るバスシステム422によって互いに結合され得る。

本明細書に記載する本開示のいくつかの態様は、システムがこれまでの手法の制限を克服することができる様々な機構をサポートし、様々な用途に必要とされる特性を有する製品を可能にする。たとえば、本システムは、レンジングを使用する3D画像キャプチャのための切り離されたマルチカメラシステムを提供し、視野におけるオブジェクトの追跡の精度を向上させながら、画像の3D合成を増加させるために新しいカメラを追加するスケーラブルな方法を可能にする。立体視ベースの本カメラシステムでは、レンズが所定の位置に固定されている(たとえば、2つのレンズが隣り合う)。しかしながら、近接センサが画像処理およびオブジェクト追跡を適切に実行するために必要な距離を提供していると想定すれば、開示されたシステムは、カメラの動的な移動および配置を可能にする。

「ボディ」という用語が本明細書で使用されているが、記述は、ロボットなどマシンの姿勢をキャプチャすることにも適用できることに留意されたい。また、提示された技法は、たとえば剣/シールド、スケートボード、ラケット/クラブ/バットなど、アクティビティの小道具の姿勢をキャプチャすることにも適用できる。

レンジングは、2つの装備されたノード間の距離を決定する感知機構である。レンジは、エラーを補正し、慣性センサにおけるドリフト成分を推定する能力を提供するために、ボディ動き推定器内で慣性センサ測定値と結合され得る。いくつかの態様によれば、1組のボディ搭載ノードは、1つまたは複数の静止地上基準ノードで検出することができる送信を発することができる。基準ノードは、既知の位置を有し得、ナノ秒の何分の1以内に時刻同期され得る。しかしながら、前述のように、このシステムは、その複雑なセットアップ要件のために、コンシューマ級の製品には実用的ではない可能性がある。したがって、さらなる革新が望まれ得る。

開示したシステムの一態様では、レンジ情報は、到着時間よりもむしろ信号往復時間に基づいて生成され得る。これは、レンジ推定から2つのノード間の任意のクロック不確定性を除去することができ、したがって、ノードを同期させるための要件を取り除くことができ、このことは、セットアップを劇的に単純化することができる。さらに、「同期のノード」対「非同期のノード」の概念がないので、提案された手法は、すべてのノードを基本的に同じにする。

提案された方法は、異なるボディ装着ノード間を含めて、任意の2つのノード間のレンジを利用することができる。これらのレンジは、ボディの姿勢および動きを推定するために、慣性センサデータ、およびキネマティックボディモデルによって提供される制約と結合され得る。以前のシステムはボディノードから固定ノードまでのレンジングのみを実行したが、時刻同期要件を取り除くことは、任意の2つのノード間のレンジングの実行を可能にし得る。これらの追加のレンジは、追加のレンジデータが利用可能であるために、また、ボディ相対位置を直接感知するために、動き追跡推定器において非常に貴重であり得る。異なるボディ上のノード間のレンジは、ボディ間の相対位置および姿勢を決定することにも有用であり得る。

高精度の往復時間レンジ、およびボディ上とボディ外の両方のノード間のレンジを使用すると、慣性センサの数および品質は低減し得る。ノードの数を低減することによって、使用をかなり単純にすることができ、慣性センサの必要な精度を低減することによって、コストが低減し得る。これらの改善の両方は、コンシューマ製品に適したシステムを生成する際に重要であり得る。

上記で説明した方法の様々な動作は、対応する機能を実行することが可能な任意の適切な手段によって実行され得る。手段は、限定はしないが、回路、特定用途向け集積回路(ASIC)、またはプロセッサを含む、様々なハードウェアおよび/またはソフトウェア構成要素および/またはモジュールを含むことができる。一般に、図に示される動作がある場合、それらの動作は、同様の番号を有する対応する動作のミーンズプラスファンクション構成要素を有し得る。たとえば、図5は、近接センサを使用したマルチカメラモーションキャプチャ強化のための装置500の一例を示す。装置500は、画像をキャプチャするように構成される手段502と、画像感知手段とリモート感知手段との間のレンジング情報を決定するように構成される1つまたは複数のセンサ手段504とを含む。一般に、画像をキャプチャするための手段は、1つまたは複数の画像センサを含むことができる。さらに、レンジング情報を決定するための手段は、送信機(たとえば、送信機ユニット410)および/または図4に示されるアンテナ416を有する近接センサを備え得る。

図6は、処理システム614を使用するゲームコンソール100のハードウェア実装100'の一例を示す図である。装置100'は、トランシーバ610に結合される処理システム614を含む。トランシーバ610は、アンテナ620の1つまたは複数に結合される。トランシーバ610は、送信媒体上の様々な他の装置と通信するための手段を提供する。処理システム614は、コンピュータ可読媒体606に結合されたプロセッサ604を含む。プロセッサ604は、コンピュータ可読媒体606上に記憶されたソフトウェアの実行を含む全般的な処理を受け持つ。ソフトウェアは、プロセッサ604によって実行されると、任意の特定の装置の上記で説明した様々な機能を処理システム614に実行させる。コンピュータ可読媒体606は、ソフトウェアを実行するときにプロセッサ604によって操作されるデータを記憶するために使用されてもよい。処理システム614は、複数の画像をキャプチャするために画像センサ610aおよびリモート画像センサ610bと通信するためのモジュール632を含む。処理システム614は、画像センサ610aおよびリモート画像センサ610bのレンジング情報を受信するために、複数の近接センサ608a、608bと通信するためのモジュール634、レンジング情報に基づいて眼間情報を決定するためのモジュール636、ならびに眼間情報およびキャプチャされた画像に基づく3D情報のためのモジュール638をさらに含む。モジュールは、コンピュータ可読媒体606に常駐する/記憶される、プロセッサ604で動作しているソフトウェアモジュール、プロセッサ604に結合された1つもしくは複数のハードウェアモジュール、またはそれらの何らかの組合せとすることができる。

本明細書で使用する際、「決定すること」という用語は、様々なアクションを含む。たとえば、「決定すること」は、算出すること、計算すること、処理すること、導出すること、調査すること、検索すること(たとえば、テーブル、データベース、または別のデータ構造を検索すること)、確認することなどを含み得る。また、「決定すること」は、受信すること(たとえば、情報を受信すること)、アクセスすること(たとえば、メモリ内のデータにアクセスすること)などを含む場合がある。また、「決定すること」は、解決すること、選択すること、選出すること、確立することなどを含むことができる。

本明細書に記載した本開示に関して説明した様々な例示的な論理ブロック、モジュール、および回路は、汎用プロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)または他のプログラマブル論理デバイス(PLD)、個別ゲートまたはトランジスタ論理、個別ハードウェア構成要素、あるいは本明細書で説明する機能を実行するように設計されたそれらの任意の組合せで実装または実行することができる。汎用プロセッサはマイクロプロセッサであり得るが、代替として、プロセッサは、任意の市販のプロセッサ、コントローラ、マイクロコントローラ、または状態機械であり得る。プロセッサはまた、コンピューティングデバイスの組合せ、たとえば、DSPとマイクロプロセッサとの組合せ、複数のマイクロプロセッサ、DSPコアと連携する1つまたは複数のマイクロプロセッサ、あるいは任意の他のそのような構成として実装され得る。

本明細書で開示された方法は、記載の方法を達成するための1つまたは複数のステップまたはアクションを含む。方法のステップおよび/またはアクションは、特許請求の範囲から逸脱することなく、互いに交換され得る。言い換えれば、ステップまたはアクションの特定の順序が指定されていない限り、特定のステップおよび/またはアクションの順序および/または使用は、特許請求の範囲から逸脱することなく修正することができる。本明細書に記載した本開示に関して説明する方法またはアルゴリズムのステップは、直接ハードウェアで実施されるか、プロセッサによって実行されるソフトウェアモジュールで実施されるか、またはその2つの組合せで実施され得る。ソフトウェアモジュールは、当技術分野で知られている任意の形式の記憶媒体内に常駐することができる。使用され得る記憶媒体のいくつかの例には、ランダムアクセスメモリ(RAM)、読取り専用メモリ(ROM)、フラッシュメモリ、EPROMメモリ、EEPROMメモリ、レジスタ、ハードディスク、取外し可能ディスク、CD-ROMなどがある。ソフトウェアモジュールは、単一の命令、または多数の命令を備えることができ、いくつかの異なるコードセグメント上で、異なるプログラム間で、および複数の記憶媒体にわたって分散され得る。記憶媒体は、プロセッサがその記憶媒体から情報を読み取ることができ、その記憶媒体に情報を書き込むことができるように、プロセッサに結合され得る。代替として、記憶媒体はプロセッサに一体化され得る。

説明した機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。ハードウェアで実装される場合、例示的なハードウェア構成は、ワイヤレスノード内の処理システムを備え得る。処理システムは、バスアーキテクチャを用いて実装され得る。バスは、処理システムの特定の適用例および全体的な設計制約に応じて、任意の数の相互接続バスおよびブリッジを含み得る。バスは、プロセッサと、機械可読媒体と、バスインターフェースとを含む様々な回路を互いにリンクし得る。バスインターフェースは、とりわけ、ネットワークアダプタを、バスを介して処理システムに接続するために使用され得る。ネットワークアダプタは、PHY層の信号処理機能を実施するために使用され得る。ユーザ端末の場合、ユーザインターフェース(たとえば、キーパッド、ディスプレイ、マウス、ジョイスティックなど)をバスに接続することもできる。バスは、タイミングソース、周辺機器、電圧調整器、電力管理回路など様々な他の回路をリンクさせることも可能であり、これは当技術分野ではよく知られているので、これ以上説明しない。

プロセッサは、機械可読媒体に記憶されたソフトウェアの実行を含む、バスおよび一般的な処理を管理する役割を担うことができる。プロセッサは、1つまたは複数の汎用および/または専用プロセッサを用いて実装され得る。例としては、マイクロプロセッサ、マイクロコントローラ、DSPプロセッサ、およびソフトウェアを実行することができる他の回路がある。ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、またはその他の名称で呼ばれるかどうかにかかわらず、命令、データ、またはそれらの任意の組合せを意味するように広く解釈されるものである。機械可読媒体は、例として、RAM(ランダムアクセスメモリ)、フラッシュメモリ、ROM(読取り専用メモリ)、PROM(プログラマブル読取り専用メモリ)、EPROM(消去可能プログラマブル読取り専用メモリ)、EEPROM(電気的消去可能プログラマブル読取り専用メモリ)、レジスタ、磁気ディスク、光ディスク、ハードドライブ、もしくは任意の他の適切な記憶媒体、またはそれらの任意の組合せを含むことができる。機械可読媒体はコンピュータプログラム製品で具体化され得る。コンピュータプログラム製品は、パッケージング材料を備え得る。

ハードウェア実装形態では、機械可読媒体は、プロセッサとは別個の処理システムの一部であり得る。しかし、当業者なら容易に理解するように、機械可読媒体またはその任意の部分は処理システムの外部に存在することができる。例として、機械可読媒体は、すべてバスインターフェースを介してプロセッサがアクセスし得る、送信線路、データによって変調された搬送波、および/またはワイヤレスノードとは別個のコンピュータ製品を含み得る。代替的または追加的に、機械可読媒体またはその任意の部分は、キャッシュおよび/または汎用レジスタファイルがそうであるようにプロセッサに統合することができる。

処理システムは、すべて外部バスアーキテクチャを介して他のサポート回路と互いにリンクされる、プロセッサ機能を与える1つまたは複数のマイクロプロセッサと、機械可読媒体の少なくとも一部分を与える外部メモリとを有する汎用処理システムとして構成され得る。代替的に、処理システムは、プロセッサを有するASIC(特定用途向け集積回路)と、バスインターフェースと、アクセス端末の場合はユーザインターフェースと、サポート回路と、単一のチップに統合された機械可読媒体の少なくとも一部分とを用いて、あるいは1つまたは複数のFPGA(フィールドプログラマブルゲートアレイ)、PLD(プログラマブル論理デバイス)、コントローラ、状態機械、ゲート論理、個別ハードウェア構成要素、もしくは任意の他の適切な回路、または本開示全体にわたって説明した様々な機能を実行することができる回路の任意の組合せを用いて、実装され得る。当業者なら、特定の適用例および全体的なシステムに課される全体的な設計制約に応じて、どのようにしたら処理システムについて説明した機能を最も良く実装できるかを理解されよう。

機械可読媒体は、いくつかのソフトウェアモジュールを備え得る。ソフトウェアモジュールは、プロセッサによって実行されたときに、処理システムに様々な機能を実行させる命令を含む。ソフトウェアモジュールは、送信モジュールと受信モジュールとを含み得る。各ソフトウェアモジュールは、単一の記憶デバイス内に常駐することができ、または複数の記憶デバイスに分散することができる。例として、トリガイベントが発生したときに、ソフトウェアモジュールをハードドライブからRAMにロードすることができる。ソフトウェアモジュールの実行中、プロセッサは、アクセス速度を高めるために、命令のいくつかをキャッシュにロードすることができる。次いで、1つまたは複数のキャッシュラインを、プロセッサによる実行のために汎用レジスタファイルにロードすることができる。以下でソフトウェアモジュールの機能に言及する場合、そのような機能は、そのソフトウェアモジュールからの命令を実行したときにプロセッサによって実装されることが理解されよう。

ソフトウェアで実装される場合、機能は、1つまたは複数の命令またはコードとしてコンピュータ可読媒体上に記憶されるか、あるいはコンピュータ可読媒体を介して送信され得る。コンピュータ可読媒体は、ある場所から別の場所へのコンピュータプログラムの転送を容易にする任意の媒体を含む、コンピュータ記憶媒体とコンピュータ通信媒体の両方を含む。記憶媒体は、コンピュータによってアクセスすることができる任意の利用可能な媒体であり得る。限定ではなく例として、そのようなコンピュータ可読媒体は、RAM、ROM、EEPROM、CD-ROMまたは他の光ディスクストレージ、磁気ディスクストレージまたは他の磁気記憶デバイス、あるいは命令またはデータ構造の形態の所望のプログラムコードを搬送または記憶するために使用することができ、コンピュータによってアクセスすることができる任意の他の媒体を備えることができる。また、いかなる接続もコンピュータ可読媒体と適切に呼ばれる。たとえば、ソフトウェアが、同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線(DSL)、または赤外線(IR)、無線、およびマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバケーブル、ツイストペア、DSL、または赤外線、無線、およびマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。本明細書で使用する場合、ディスク(disk)およびディスク(disc)は、コンパクトディスク(CD)、レーザーディスク(登録商標)、光ディスク、デジタル多用途ディスク(DVD)、フロッピー(登録商標)ディスク、およびブルーレイ(登録商標)ディスクを含み、ディスク(disk)は、通常、磁気的にデータを再生し、ディスク(disc)は、レーザーで光学的にデータを再生する。したがって、いくつかの態様では、コンピュータ可読媒体は、非一時的なコンピュータ可読媒体(たとえば、有形媒体)を備え得る。さらに、他の態様では、コンピュータ可読媒体は、一時的なコンピュータ可読媒体(たとえば、信号)を備え得る。上記の組合せもコンピュータ可読媒体の範囲内に含めるべきである。

したがって、いくつかの態様は、本明細書で提示する動作を実行するためのコンピュータプログラム製品を含むことができる。たとえば、そのようなコンピュータプログラム製品は、本明細書で説明した動作を実行するために1つまたは複数のプロセッサによって実行可能である命令を記憶した(および/または符号化した)コンピュータ可読媒体を備え得る。いくつかの態様では、コンピュータプログラム製品はパッケージング材料を含み得る。

さらに、本明細書で説明する方法および技法を実行するためのモジュールおよび/または他の適切な手段は、適用可能な場合、ユーザ端末および/または基地局によってダウンロードされ得、および/またはその他の方法で得られ得ることを諒解されたい。たとえば、そのようなデバイスは、本明細書で説明する方法を実施するための手段の転送を容易にするために、サーバに結合することができる。代わりに、本明細書で説明した様々な方法は、ユーザ端末および/または基地局が、記憶手段をデバイスに結合したすぐ後、または提供したすぐ後に、様々な方法を得ることができるように、記憶手段(たとえば、RAM、ROM、コンパクトディスク(CD)またはフロッピー(登録商標)ディスクなどの物理的記憶媒体など)を介して提供することができる。さらに、本明細書で説明する方法および技法をデバイスに与えるための任意の他の適切な技法を利用することができる。

本明細書で説明したように、本明細書に記載した本開示のワイヤレスデバイスノードは、ワイヤレスデバイスによって送信されるか、またはワイヤレスデバイスで受信される信号に基づいて機能を実行する様々な構成要素を含んでもよい。ワイヤレスデバイスはまた、着用可能なワイヤレスデバイスを指し得る。いくつかの態様では、着用可能なワイヤレスデバイスは、ワイヤレスヘッドセットまたはワイヤレスウォッチを備え得る。たとえば、ワイヤレスヘッドセットは、受信機を介して受信されるデータに基づいて音声出力を提供するように適合された、トランスデューサを含んでもよい。ワイヤレスウォッチは、受信機を介して受信されるデータに基づいて表示を提供するように適合された、ユーザインターフェースを含んでもよい。ワイヤレス感知デバイスは、送信機を介して送信されるデータを提供するように適合されたセンサを含んでもよい。

ワイヤレスデバイスは、任意の適切なワイヤレス通信技術に基づく、あるいは任意の適切なワイヤレス通信技術をサポートする、1つまたは複数のワイヤレス通信リンクを介して通信することができる。たとえば、いくつかの態様では、ワイヤレスデバイスはネットワークと関連していてもよい。いくつかの態様において、ネットワークは、超広帯域技術または何らかの他の適切な技術を使用して実施されるパーソナルエリアネットワーク(たとえば、30メートル程度のワイヤレスカバレージエリアをサポートする)、またはボディエリアネットワーク(たとえば、30メートル程度のワイヤレスカバレージエリアをサポートする)を備え得る。いくつかの態様では、ネットワークは、ローカルエリアネットワークまたはワイドエリアネットワークを備えてもよい。ワイヤレスデバイスは、たとえばCDMA、TDMA、OFDM、OFDMA、WiMAX、およびWi-Fiなど、様々なワイヤレス通信技術、プロトコル、または規格のうちの1つまたは複数をサポートし、あるいはその他の形で使用してもよい。同様に、ワイヤレスデバイスは、様々な対応する変調または多重化方式のうちの1つまたは複数をサポート、または場合によっては使用してもよい。したがって、ワイヤレスデバイスは、上記または他のワイヤレス通信技術を使用して1つまたは複数のワイヤレス通信リンクを確立し、それを介して通信するために適切な構成要素(たとえばエアインターフェース)を含んでもよい。たとえば、デバイスは、ワイヤレス媒体を介した通信を可能にする様々な構成要素(たとえば、信号生成器および信号プロセッサ)を含み得る、関連する送信機および受信機の構成要素(たとえば、送信機410および受信機412)を有するワイヤレス送受信機を備えてもよい。

本明細書の教示は、様々な装置(たとえばデバイス)に組み込まれ得る(たとえば、その装置内に実装され、またはその装置によって実行され得る)。たとえば、本明細書で教示する1つまたは複数の態様は、電話(たとえばセルラー電話)、携帯情報端末(「PDA」)またはいわゆるスマートフォン、エンターテインメントデバイス(たとえば音楽もしくはビデオデバイスを含むポータブルメディアデバイス)、ヘッドセット(たとえばヘッドフォン、イヤホンなど)、マイクロフォン、医療用感知デバイス(たとえば生体センサ、心拍数モニタ、歩数計、EKGデバイス、スマートバンデージなど)、ユーザI/Oデバイス(たとえば時計、リモート制御装置、照明スイッチ、キーボード、マウスなど)、環境感知デバイス(タイヤ圧力モニタ)、医療用または環境感知デバイスからデータを受信することができる監視デバイス(デスクトップ、モバイルコンピュータなど)、POSデバイス、補聴器、セットトップボックス、または任意の他の適切なデバイスに組み込まれ得る。監視デバイスは、ネットワークとの接続を介して、異なる感知デバイスからデータへのアクセスを有することもできる。これらのデバイスは、様々な電力要件およびデータ要件を有し得る。いくつかの態様では、本明細書の教示は、(たとえばインパルスベースの信号方式および低デューティサイクルモードの使用によって)低電力アプリケーションでの使用に適合されてもよく、また(たとえば高帯域パルスの使用による)比較的高いデータレートを含む様々なデータレートをサポートしてもよい。

いくつかの態様では、ワイヤレスデバイスは、通信システムのためのアクセスデバイス(たとえばアクセスポイント)を備えてもよい。そのようなアクセスデバイスは、たとえば、有線またはワイヤレス通信リンクを介した別のネットワーク(たとえば、インターネットまたはセルラーネットワークなどのワイドエリアネットワーク)への接続性を提供してもよい。したがって、アクセスデバイスは、別のデバイス(たとえば無線局)が他のネットワークまたは何らかの他の機能にアクセスすることを可能にし得る。さらに、デバイスのうちの1つまたは両方は携帯型であってもよく、または場合によっては比較的非携帯型であってもよいことを諒解されたい。また、ワイヤレスデバイスは、適切な通信インターフェースを介して非ワイヤレスの方法(たとえば、有線の接続を介して)で情報を送信し、および/または受信することもでき得ることを諒解されたい。

上記の説明は、本明細書で説明される様々な態様を当業者が実施できるようにするために与えられる。これらの態様への様々な変更は当業者には容易に明らかであり、本明細書で定義した一般的原理は他の態様に適用され得る。したがって、請求項は本明細書で示す態様に限定されるよう意図されているわけではなく、請求項の文言と整合するすべての範囲を許容するように意図されており、単数の要素への言及は、そのように明記されていない限り、「唯一無二の」ではなく、「1つまたは複数の」を意味するよう意図されている。別段に明記されていない限り、「いくつかの」という用語は「1つまたは複数の」を意味する。項目の列挙「のうちの少なくとも1つ」という語句は、単一の要素を含め、それらの項目の任意の組合せを意味する。たとえば、「a、bまたはcのうちの少なくとも1つ」は、「a」、「b」、「c」、「aおよびb」、「aおよびc」、「bおよびc」、「a、bおよびc」を含むことが意図されている。当業者が知っているか、後に知ることになる、本開示全体にわたって説明された様々な態様の要素と構造的かつ機能的に同等のものはすべて、参照により本明細書に明確に組み込まれ、請求項によって包含されることが意図される。また、本明細書で開示する内容は、そのような開示が請求項で明記されているか否かに関わりなく、公に供することは意図されていない。請求項のいかなる要素も、「のための手段」という語句を使用して要素が明記されている場合、または方法クレームで「のためのステップ」という語句を使用して要素が記載されている場合を除き、米国特許法第112条第6項の規定に基づき解釈されることはない。

100 ゲームコンソール/ディスプレイ
101 カメラ周辺機器
102 カメラ周辺機器
103 ゲームプレーヤ
104 トランシーバ
105 近接センサ
106 近接センサ
107 データリンク通信
108 角錐台
109 角錐台
110 距離
111 椅子

Claims (34)

1. 画像キャプチャのための装置であって、
   画像センサと、
   前記画像センサとリモート画像センサとの間のレンジング情報を決定するように構成される1つまたは複数のセンサと
   を備える装置。
2. 前記レンジング情報が、タイミング、向き、または距離を備える、請求項1に記載の装置。
3. 前記画像センサによってキャプチャされた画像、および前記レンジング情報を伝えるように構成されるトランシーバをさらに備える請求項1に記載の装置。
4. 前記レンジング情報が、前記装置の前記画像センサおよび前記リモート画像センサの各々によってキャプチャされた少なくとも1つの画像からの眼間情報の決定を可能にする、請求項1に記載の装置。
5. 前記レンジング情報が3次元画像の生成を可能にするように構成される、請求項1に記載の装置。
6. 撮像のための装置であって、
   レンジング情報、および複数のデバイスからキャプチャされた画像を受信するように構成される受信機と、
   前記レンジング情報および前記キャプチャされた画像から3次元画像を生成するように構成される処理システムと
   を備える装置。
7. 前記処理システムが、前記レンジング情報に基づいて前記デバイスの2つによってキャプチャされた画像の間の眼間距離を決定するようにさらに構成される、請求項6に記載の装置。
8. 前記レンジング情報が、タイミング、向き、または距離を備える、請求項6に記載の装置。
9. 画像キャプチャのための装置であって、
   画像をキャプチャするように構成される画像感知のための手段と、
   前記画像感知手段とリモート画像感知手段との間のレンジング情報を決定するように構成される感知するための1つまたは複数の手段と
   を備える装置。
10. 前記レンジング情報が、タイミング、向き、または距離を備える、請求項9に記載の装置。
11. 前記画像感知手段によってキャプチャされた画像、および前記レンジング情報を伝えるように構成されるトランシーバ手段をさらに備える請求項9に記載の装置。
12. 前記レンジング情報が、前記装置の前記画像センサおよび前記リモート画像センサの少なくとも1つのキャプチャされた画像からの眼間情報の決定を可能にする、請求項9に記載の装置。
13. 前記レンジング情報が3次元画像の生成を可能にするように構成される、請求項9に記載の装置。
14. 撮像のための装置であって、
    レンジング情報、および複数のデバイスからキャプチャされた画像を受信するように構成される受信するための手段と、
    前記レンジング情報および前記キャプチャされた画像から3次元画像を生成するように構成される生成するための手段と
    を備える装置。
15. 生成するための前記手段が、前記レンジング情報に基づいて前記デバイスの2つによってキャプチャされた画像の間の眼間距離を決定するための手段をさらに備える、請求項14に記載の装置。
16. 前記レンジング情報が、タイミング、向き、または距離を備える、請求項14に記載の装置。
17. 画像キャプチャのための方法であって、
    画像センサを使用して画像をキャプチャするステップと、
    1つまたは複数のセンサを使用して、前記画像センサとリモート画像センサとの間のレンジング情報を決定するステップと
    を備える方法。
18. 前記レンジング情報が、タイミング、向き、または距離を備える、請求項17に記載の方法。
19. 前記画像センサによって前記キャプチャされた画像、および前記レンジング情報を伝えるステップをさらに備える請求項17に記載の方法。
20. 前記レンジング情報が、前記装置の前記画像センサおよび前記リモート画像センサの各々によってキャプチャされた少なくとも1つの画像からの眼間情報の決定を可能にする、請求項17に記載の方法。
21. 前記レンジング情報が3次元画像の生成を可能にするように構成される、請求項17に記載の方法。
22. 撮像のための方法であって、
    レンジング情報、および複数のデバイスからキャプチャされた画像を受信するステップと、
    前記レンジング情報および前記キャプチャされた画像から3次元画像を生成するステップと
    を備える方法。
23. 前記レンジング情報に基づいて前記デバイスの2つによってキャプチャされた画像の間の眼間距離を決定するステップをさらに備える請求項22に記載の方法。
24. 前記レンジング情報が、タイミング、向き、または距離を備える、請求項22に記載の方法。
25. 画像キャプチャのためのコンピュータプログラム製品であって、
    画像センサを使用して画像をキャプチャするステップと、
    1つまたは複数のセンサを使用して、前記画像センサとリモート画像センサとの間のレンジング情報を決定するステップと
    を行うために実行可能な命令を備えるコンピュータ可読媒体を備える
    コンピュータプログラム製品。
26. 前記レンジング情報が、タイミング、向き、または距離を備える、請求項25に記載のコンピュータプログラム製品。
27. 前記コンピュータ可読媒体が、前記画像センサによって前記キャプチャされた画像、および前記レンジング情報を伝えるステップを行うために実行可能な命令をさらに備える、請求項25に記載のコンピュータプログラム製品。
28. 前記レンジング情報が、前記装置の前記画像センサおよび前記リモート画像センサの各々によってキャプチャされた少なくとも1つの画像からの眼間情報の決定を可能にする、請求項25に記載のコンピュータプログラム製品。
29. 前記レンジング情報が3次元画像の生成を可能にするように構成される、請求項25に記載のコンピュータプログラム製品。
30. 撮像のためのコンピュータプログラム製品であって、
    レンジング情報、および複数のデバイスからキャプチャされた画像を受信するステップと、
    前記レンジング情報および前記キャプチャされた画像から3次元画像を生成するステップと
    を行うために実行可能な命令を備えるコンピュータ可読媒体を備える
    コンピュータプログラム製品。
31. 前記コンピュータ可読媒体が、前記レンジング情報に基づいて前記デバイスの2つによってキャプチャされた画像の間の眼間距離を決定するステップを行うために実行可能な命令をさらに備える、請求項30に記載のコンピュータプログラム製品。
32. 前記レンジング情報が、タイミング、向き、または距離を備える、請求項30に記載のコンピュータプログラム製品。
33. レンズと、
    前記レンズを介して画像をキャプチャするように構成される画像センサと、
    前記画像センサとリモート画像センサとの間のレンジング情報を決定するように構成される1つまたは複数のセンサと
    を備えるカメラ。
34. アンテナと、
    前記アンテナを介してレンジング情報、および複数のカメラからキャプチャされた画像を受信するように構成される受信機と、
    前記レンジング情報および前記キャプチャされた画像から3次元画像を生成するように構成される処理システムと
    を備えるコンソール。