JP7634069B2 - 複数のマーカを備えたデバイス - Google Patents

Description

本発明は、複数のマーカを備えたデバイスに関する。

特許文献１は、ゲーム装置の前方を撮影したフレーム画像を取得して、フレーム画像におけるゲームコントローラのＬＥＤ像の位置から実空間におけるゲームコントローラの位置情報および姿勢情報を推定し、推定した位置情報および／または姿勢情報をゲームアプリケーションの処理に反映するゲーム装置を開示する。

特開２００７－２９６２４８号公報

ヘッドマウントディスプレイ（ＨＭＤ）はユーザの頭部に装着されて、仮想現実（ＶＲ）の映像空間をユーザに提供する。ＨＭＤを装着したユーザは入力デバイスの操作ボタンを操作して、映像空間に対して様々な入力を行える。

近年、デバイスの位置や姿勢をトラッキングし、ＶＲ空間の３Ｄモデルに反映させる技術が普及している。ゲーム空間のプレイヤキャラクタやゲームオブジェクトの動きを、トラッキング対象となるデバイスの位置や姿勢の変化に連動させることで、ユーザによる直観的な操作が実現される。デバイスのトラッキングには点灯する複数のマーカが利用され、複数のマーカを撮影した画像を解析して画像内の各マーカ像の位置を特定することで、実空間におけるデバイスの位置および姿勢が推定される。

デバイスの位置および姿勢を高精度に推定するためには、デバイスを撮影した画像内で各マーカ像の位置が正確に特定される必要がある。撮影されるマーカ像の数が多いほどデバイスの位置および姿勢の推定精度は向上するが、マーカは発光素子などの光源により点灯されるため、光源の個数が増えると、製造コストが上がるという問題がある。

そこで本発明は、複数のマーカを備えたデバイスにおいて光源の個数をマーカの個数よりも少なくすることを目的とする。なおデバイスは操作ボタンを有する入力デバイスであってよいが、操作部材を有しない単にトラッキングの対象となるデバイスであってよい。

上記課題を解決するために、本発明のある態様のデバイスは、ケース体と、当該ケース体の外部に光を出射する複数のマーカとを備える。当該デバイスは、１つのマーカを点灯するための第１光源と、複数のマーカを点灯するための第２光源とを備える。

実施例における情報処理システムの構成例を示す図である。 ＨＭＤの外観形状の例を示す図である。 ＨＭＤの機能ブロックを示す図である。 入力デバイスの外観形状を示す図である。 撮影タイミングを特定する同期処理用の発光パターンの例を示す図である。 入力デバイスの機能ブロックを示す図である。 入力デバイスを撮影した画像の一部の例を示す図である。 撮像装置による露光期間内に設定されたマーカの点灯期間を示す図である。

図１は、実施例における情報処理システム１の構成例を示す。情報処理システム１は情報処理装置１０と、記録装置１１と、ヘッドマウントディスプレイ（ＨＭＤ）１００と、ユーザが手指で操作する入力デバイス１６と、画像および音声を出力する出力装置１５とを備える。出力装置１５はテレビであってよい。情報処理装置１０は、アクセスポイント（ＡＰ）１７を介して、インターネットなどの外部のネットワーク２に接続される。ＡＰ１７は無線アクセスポイントおよびルータの機能を有し、情報処理装置１０はＡＰ１７とケーブルで接続してもよく、既知の無線通信プロトコルで接続してもよい。

記録装置１１は、システムソフトウェアや、ゲームソフトウェアなどのアプリケーションを記録する。情報処理装置１０は、コンテンツサーバからネットワーク２経由で、ゲームソフトウェアを記録装置１１にダウンロードしてよい。情報処理装置１０はゲームソフトウェアを実行して、ゲームの画像データおよび音声データをＨＭＤ１００に供給する。情報処理装置１０とＨＭＤ１００とは既知の無線通信プロトコルで接続されてもよく、またケーブルで接続されてもよい。

ＨＭＤ１００は、ユーザが頭部に装着することによりその眼前に位置する表示パネルに画像を表示する表示装置である。ＨＭＤ１００は、左目用表示パネルに左目用の画像を、右目用表示パネルに右目用の画像を、それぞれ別個に表示する。これらの画像は左右の視点から見た視差画像を構成し、立体視を実現する。ユーザは光学レンズを通して表示パネルを見るため、情報処理装置１０は、レンズによる光学歪みを補正した視差画像データをＨＭＤ１００に供給する。

ＨＭＤ１００を装着したユーザにとって出力装置１５は必要ないが、出力装置１５を用意することで、別のユーザが出力装置１５の表示画像を見ることができる。情報処理装置１０は、ＨＭＤ１００を装着したユーザが見ている画像と同じ画像を出力装置１５に表示させてもよいが、別の画像を表示させてもよい。たとえばＨＭＤを装着したユーザと、別のユーザとが一緒にゲームをプレイするような場合、出力装置１５からは、当該別のユーザのキャラクタ視点からのゲーム画像が表示されてもよい。

情報処理装置１０と入力デバイス１６とは既知の無線通信プロトコルで接続されてよく、またケーブルで接続されてもよい。入力デバイス１６は操作ボタンなどの複数の操作部材を備え、ユーザは入力デバイス１６を把持しながら、手指で操作部材を操作する。情報処理装置１０がゲームを実行する際、入力デバイス１６はゲームコントローラとして利用される。入力デバイス１６は、３軸の加速度センサおよび３軸のジャイロセンサを含む姿勢センサを備え、所定の周期（たとえば１６００Ｈｚ）でセンサデータを情報処理装置１０に送信する。

実施例のゲームは、入力デバイス１６の操作部材の操作情報だけでなく、入力デバイス１６の位置、姿勢、動きなどを操作情報として取り扱って、仮想３次元空間内におけるプレイヤキャラクタの動きに反映する。たとえば操作部材の操作情報は、プレイヤキャラクタを移動させるための情報として利用され、入力デバイス１６の位置、姿勢、動きなどの操作情報は、プレイヤキャラクタの腕を動かすための情報として利用されてよい。ゲーム内の戦闘シーンにおいて、入力デバイス１６の動きが、武器をもつプレイヤキャラクタの動きに反映されることで、ユーザの直観的な操作が実現され、ゲームへの没入感が高められる。

入力デバイス１６の位置および姿勢をトラッキングするために、入力デバイス１６には、ＨＭＤ１００に搭載された撮像装置１４によって撮影可能な複数のマーカ（光出射部）が設けられる。情報処理装置１０は、入力デバイス１６を撮影した画像を解析して、実空間における入力デバイス１６の位置情報および姿勢情報を推定し、推定した位置情報および姿勢情報をゲームに提供する。

ＨＭＤ１００には、複数の撮像装置１４が搭載される。複数の撮像装置１４は、それぞれの撮影範囲を足し合わせた全体の撮影範囲がユーザの視野の全てを含むように、ＨＭＤ１００の前面の異なる位置に異なる姿勢で取り付けられる。撮像装置１４は、入力デバイス１６の複数のマーカの像を取得できる画像センサであればよい。たとえばマーカが可視光を出射する場合、撮像装置１４はＣＣＤ（Charge Coupled Device）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなど、一般的なデジタルビデオカメラで利用されている可視光センサを有する。マーカが非可視光を出射する場合、撮像装置１４は非可視光センサを有する。複数の撮像装置１４は同期したタイミングで、ユーザの前方を所定の周期（たとえば６０フレーム／秒）で撮影し、入力デバイス１６を撮影した画像データを情報処理装置１０に送信する。

情報処理装置１０は、撮影画像に含まれる入力デバイス１６の複数のマーカ像の位置を特定する。なお１つの入力デバイス１６が同じタイミングで複数の撮像装置１４に撮影されることもあるが、撮像装置１４の取付位置および取付姿勢は既知であるため、情報処理装置１０は複数の撮影画像を合成して、マーカ像の位置を特定する。

入力デバイス１６の３次元形状と、その表面に配置された複数のマーカの位置座標は既知であり、情報処理装置１０は、撮影画像内のマーカ像の分布にもとづいて、入力デバイス１６の位置座標および姿勢を推定する。入力デバイス１６の位置座標は、基準位置を原点とした３次元空間における位置座標であってよく、基準位置はゲーム開始前に設定した位置座標（緯度、経度）であってよい。

なお情報処理装置１０は、入力デバイス１６の姿勢センサが検出したセンサデータを用いることでも、入力デバイス１６の位置座標および姿勢を推定できる。そこで実施例の情報処理装置１０は、撮像装置１４で撮影した撮影画像にもとづく推定結果と、センサデータにもとづく推定結果を用いて、高精度に入力デバイス１６のトラッキング処理を実施する。

図２は、ＨＭＤ１００の外観形状の例を示す。ＨＭＤ１００は、出力機構部１０２および装着機構部１０４から構成される。装着機構部１０４は、ユーザが被ることにより頭部を一周してＨＭＤ１００を頭部に固定する装着バンド１０６を含む。装着バンド１０６はユーザの頭囲に合わせて長さの調節が可能な素材または構造をもつ。

出力機構部１０２は、ＨＭＤ１００をユーザが装着した状態において左右の目を覆う形状の筐体１０８を含み、内部には装着時に目に正対する表示パネルを備える。表示パネルは液晶パネルや有機ＥＬパネルなどであってよい。筐体１０８内部にはさらに、表示パネルとユーザの目との間に位置し、ユーザの視野角を拡大する左右一対の光学レンズが備えられる。ＨＭＤ１００はさらに、ユーザの耳に対応する位置にスピーカーやイヤホンを備えてよく、外付けのヘッドホンが接続されるように構成されてもよい。

筐体１０８の前方側外面には、複数の撮像装置１４ａ、１４ｂ、１４ｃ、１４ｄが備えられる。ユーザの視線方向を基準として、撮像装置１４ａは、カメラ光軸が右斜め上を向くように前方側外面の右上隅に取り付けられ、撮像装置１４ｂは、カメラ光軸が左斜め上を向くように前方側外面の左上隅に取り付けられ、撮像装置１４ｃは、カメラ光軸が右斜め下を向くように前方側外面の右下隅に取り付けられ、撮像装置１４ｄは、カメラ光軸が左斜め下を向くように前方側外面の左下隅に取り付けられる。このように複数の撮像装置１４が設置されることで、それぞれの撮影範囲を足し合わせた全体の撮影範囲がユーザの視野の全てを含む。このユーザの視野は、３次元仮想空間におけるユーザの視野であってよい。

ＨＭＤ１００は、姿勢センサが検出したセンサデータおよび撮像装置１４が撮影した画像データを情報処理装置１０に送信し、また情報処理装置１０で生成されたゲーム画像データおよびゲーム音声データを受信する。

図３は、ＨＭＤ１００の機能ブロックを示す。制御部１２０は、画像データ、音声データ、センサデータなどの各種データや、命令を処理して出力するメインプロセッサである。記憶部１２２は、制御部１２０が処理するデータや命令などを一時的に記憶する。姿勢センサ１２４は、ＨＭＤ１００の動きに関するセンサデータを取得する。姿勢センサ１２４は、少なくとも３軸の加速度センサおよび３軸のジャイロセンサを含む。

通信制御部１２８は、ネットワークアダプタまたはアンテナを介して、有線または無線通信により、制御部１２０から出力されるデータを外部の情報処理装置１０に送信する。また通信制御部１２８は、情報処理装置１０からデータを受信し、制御部１２０に出力する。

制御部１２０は、ゲーム画像データやゲーム音声データを情報処理装置１０から受け取ると、表示パネル１３０に供給して表示させ、また音声出力部１３２に供給して音声出力させる。表示パネル１３０は、左目用表示パネル１３０ａと右目用表示パネル１３０ｂから構成され、各表示パネルに一対の視差画像が表示される。また制御部１２０は、姿勢センサ１２４からのセンサデータ、マイク１２６からの音声データ、撮像装置１４からの撮影画像データを、通信制御部１２８から情報処理装置１０に送信させる。

図４は、入力デバイス１６の外観形状を示す。図４（ａ）は、入力デバイス１６の正面形状を示し、図４（ｂ）は、入力デバイス１６の背面形状を示す。入力デバイス１６は、ケース体２０と、ユーザが操作する複数の操作部材２２ａ、２２ｂ、２２ｃ、２２ｄ（以下、特に区別しない場合は「操作部材２２」と呼ぶ）と、ケース体２０の外部に光を出射する複数のマーカ３０ａ～３０ｔ（以下、特に区別しない場合には「マーカ３０」と呼ぶ）とを備える。操作部材２２は、ケース体２０の頭部に配置され、傾動操作するアナログスティック、押下式ボタン、引き量を入力するトリガーボタンなどを含む。

ケース体２０は、把持部２１と、ケース体頭部とケース体底部とを連結する湾曲部２３を有し、ユーザは人差し指から小指までの指を把持部２１と湾曲部２３の間に通し、把持部２１を把持する。ユーザは把持部２１を把持した状態で、操作部材２２ａ、２２ｂ、２２ｃを親指で操作し、操作部材２２ｄを人差し指で操作する。マーカ３０ｈ、３０ｉ、３０ｊは把持部２１に設けられるが、ユーザが把持部２１を把持した状態であっても、手によって隠れない位置に配置される。１以上のマーカ３０を把持部２１に設けることで、トラッキング精度を高められる。

マーカ３０は、ケース体２０の外部に光を出射する光出射部であり、ケース体２０の表面において、ＬＥＤ（Light Emitting Diode）素子などの光源からの光を外部に拡散出射する樹脂部を含む。マーカ３０は撮像装置１４により撮影されて、入力デバイス１６の位置情報および姿勢情報の推定処理に利用される。撮像装置１４は所定の周期（たとえば６０フレーム／秒）で入力デバイス１６を撮影するため、マーカ３０は、撮像装置１４の周期的な撮影タイミングに同期して光を出射し、撮像装置１４による非露光期間には消灯して無用な電力消費を抑えることが好ましい。撮像装置１４と入力デバイス１６は、それぞれのクロックにもとづいて動作しており、実施例では、撮像装置１４による露光期間とマーカ３０の点灯期間の同期処理を以下のように実施する。

図５は、撮像装置１４の撮影タイミングを特定する同期処理用の発光パターンの例を示す。横方向の長さは１フレーム分の撮影周期（１６．７ｍ秒）を表現し、この撮影周期を分割したタイムグリッドの単位でマーカ３０の点灯制御を実施する。この例では撮影周期を３２分割し、１つのタイムグリッドは５２１μ秒である。図５において色づけされたタイムグリッドは第１輝度での点灯期間を示し、色づけされていないタイムグリッドは第２輝度での点灯期間を示す。なお第１輝度は第２輝度と異なり、第１輝度は第２輝度より高くてよい。第１輝度での発光時にマーカ３０が撮影されると、撮影画像には高輝度のマーカ像が含まれ、第２輝度での発光時にマーカ３０が撮影されると、撮影画像には低輝度のマーカ像が含まれる。発光パターンは、１フレーム分の撮影周期で連続して６枚を撮影したときに、第１輝度での発光と第２輝度での発光との順番が、タイムグリッドごとに異なるように定められる。

同期処理では、撮像装置１４により撮影される１つ以上のマーカ３０が、図５に示す発光パターンで点灯制御される。同期処理を開始してから１枚目の撮影画像（Frame 0）で「第１輝度」、２枚目の撮影画像（Frame 1）で「第２輝度」、３枚目の撮影画像（Frame 2）で「第１輝度」、４枚目の撮影画像（Frame 3）で「第２輝度」、５枚目の撮影画像（Frame 4）で「第２輝度」、６枚目の撮影画像（Frame 5）で「第１輝度」で、点灯制御されたマーカ３０が撮影されたとする。連続する６枚の撮影画像における第１輝度と第２輝度の組合せで該当するのは、グリッド番号１４のタイムグリッドである。そこで入力デバイス１６は、以後、グリッド番号１４のタイミングで周期的にマーカ３０を点灯することで、撮像装置１４の露光期間に、マーカ３０の点灯期間を同期させ、撮像装置１４の非露光期間にマーカ３０を点灯させないように制御できる。

図６は、入力デバイス１６の機能ブロックを示す。制御部５０は、操作部材２２に入力された操作情報を受け付け、また姿勢センサ５２により取得されたセンサデータを受け付ける。姿勢センサ５２は、入力デバイス１６の動きに関するセンサデータを取得し、少なくとも３軸の加速度センサおよび３軸のジャイロセンサを含む。制御部５０は、受け付けた操作情報およびセンサデータを通信制御部５４に供給する。通信制御部５４は、ネットワークアダプタまたはアンテナを介して、有線または無線通信により、制御部５０から出力される操作情報およびセンサデータを情報処理装置１０に送信する。また通信制御部５４は、情報処理装置１０から同期処理用の発光パターンおよび／または発光指示を取得する。

入力デバイス１６は、１つのマーカ３０を点灯するための第１光源３２と、複数のマーカ３０を点灯するための第２光源３４とを備える。第１光源３２および第２光源３４ともにＬＥＤ素子であってよい。

第１光源３２は、１つのマーカ３０のみを点灯するための専用光源であり、１つのマーカ３０を独立点灯する。マーカ３０は、ケース体２０の表面において光を外部に拡散出射する樹脂部を含むが、第１光源３２により点灯されるマーカ３０の樹脂部は、ＬＥＤ素子の封止樹脂であってもよい。このときマーカ３０および第１光源３２は、１つのＬＥＤデバイスの形態を有してよい。

一方、第２光源３４は、２以上のマーカ３０を点灯するための共用光源であり、２以上のマーカ３０を同時に点灯する。１つの第２光源３４が複数のマーカ３０を点灯できるようにしたことで、入力デバイス１６における光源の個数を、マーカ３０の個数よりも少なくでき、製造コストの削減に寄与する。

第２光源３４は、複数のマーカ３０と導光管３６により接続される。導光管３６は、第２光源３４の出力光を複数の管路に分岐して、複数のマーカ３０の樹脂部に光を伝送する。これにより１つの第２光源３４が複数のマーカ３０を点灯でき、光源の個数をマーカ３０の個数よりも少なくできる。

図７は、入力デバイス１６を撮影した画像の一部の例を示す。図示されるように撮影画像には、光を出射するマーカ３０の像が含まれる。ＨＭＤ１００において、通信制御部１２８は、撮像装置１４が撮影した画像データを情報処理装置１０に送信し、情報処理装置１０は、画像データからマーカ３０の像を抽出する。同期処理において、情報処理装置１０は、マーカ３０が第１輝度で発光しているのか、または第２輝度で発光しているのかを区別できる。

撮像装置１４による露光期間とマーカ３０の点灯期間の同期処理は、ゲーム開始前に実施されるが、ゲーム実行中にも実施されてよい。同期が外れると、撮像装置１４は、マーカ３０の像を撮影できなくなるため、同期が外れた場合は、ただちに同期処理が実施される必要がある。

同期処理において、制御部５０は、１つ以上の独立点灯可能な第１光源３２を、情報処理装置１０から提供される同期処理用の発光パターン（図５参照）で発光させる。なお全ての光源を同期処理用の発光パターンで発光させてもよいが、第１輝度よりも低い第２輝度で発光させたとき、環境によっては位置および姿勢の推定処理の精度が下がることも考えられる。そのため同期処理用に用いる光源はできるだけ少ない方が好ましく、制御部５０は、たとえば撮像装置１４の方向を向いている２つのマーカ３０の第１光源３２を動的に選択して、同期処理用の発光パターンで発光させてもよい。なお第２光源３４は複数のマーカ３０を同じ輝度で点灯させるため、制御部５０が２つのマーカ３０を動的に選択して点灯させる際に第２光源３４を利用することは好ましくなく、そのため実施例では制御部５０が第１光源３２を同期処理用の発光パターンで発光させるようにしている。

図５に示したように、発光パターンは、複数フレーム期間における第１輝度での点灯期間と第２輝度での点灯期間を定めたものである。情報処理装置１０は、連続する複数の撮影画像に含まれるマーカ３０の輝度値の変化のパターンを特定することで、撮像装置１４による露光期間に含まれるタイムグリッド番号を特定する。露光期間は、たとえばタイムグリッドの２倍程度の長さに設定されていてよい。

図８は、撮像装置１４による露光期間内に設定されたマーカ３０の点灯期間を示す。情報処理装置１０は、タイムグリッド番号を特定すると、そのタイムグリッド番号のタイミングでの発光指示を生成し、入力デバイス１６に送信する。入力デバイス１６において、制御部５０は、発光指示にもとづいて、グリッド番号１４の時間位置で、全てのマーカ３０を周期的に発光する。同期確立後、制御部５０は、１フレーム期間に１つのタイムグリッド（５２１μ秒）の長さだけ光源をオンし、それ以外の期間は光源をオフにするため、無駄な電力消費を抑えることができる。

ＨＭＤ１００において、通信制御部１２８が、撮像装置１４が撮影した画像データを情報処理装置１０に送信すると、情報処理装置１０は、画像データからマーカ３０の像を抽出する。入力デバイス１６の３次元形状と、その表面に配置された複数のマーカ３０の位置座標は既知であるため、情報処理装置１０は、撮影画像内のマーカ３０の像の分布から、ＰｎＰ（Perspective n-Point）問題を解くことで、撮像装置１４に対する入力デバイス１６の位置と姿勢を推定する。

以上、本発明を実施例をもとに説明した。上記実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

実施例では、操作部材２２を備えた入力デバイス１６における複数マーカ３０の配置について説明したが、トラッキングの対象となるデバイスは、必ずしも操作部材２２を備えていなくてよい。また実施例では撮像装置１４がＨＭＤ１００に取り付けられているが、撮像装置１４は、マーカ像を撮影できればよく、ＨＭＤ１００以外の別の位置に取り付けられてもよい。

１・・・情報処理システム、１０・・・情報処理装置、１４・・・撮像装置、１６・・・入力デバイス、２０・・・ケース体、３２・・・第１光源、３４・・・第２光源、３６・・・導光管、５０・・・制御部。

Claims (6)

1. ケース体と、当該ケース体の外部に光を出射する複数のマーカと、を備えたデバイスであって、
   １つのマーカを点灯するための第１光源と、
   複数のマーカを点灯するための第２光源と、
   １つ以上の前記第１光源を、所定の発光パターンで発光させる制御部と、を備え、
   前記所定の発光パターンは、複数のフレーム期間における第１輝度で発光する点灯期間と、第１輝度とは異なる第２輝度で発光する点灯期間を定め、
   フレーム期間は、撮像装置による撮影周期である、
   ことを特徴とするデバイス。
2. 前記制御部は、前記第２光源を、前記所定の発光パターンで発光させない、
   ことを特徴とする請求項１に記載のデバイス。
3. 前記第１光源の前記所定の発光パターンでの発光は、撮像装置による撮影タイミングを特定するために実施される、
   ことを特徴とする請求項１に記載のデバイス。
4. 前記制御部は、撮像装置の方向を向いているマーカの前記第１光源を、前記所定の発光パターンで発光させる、
   ことを特徴とする請求項１に記載のデバイス。
5. 前記所定の発光パターンにおいて、フレーム期間は複数のタイムグリッドに分割され、各タイムグリッドにおける発光輝度が第１輝度または第２輝度のいずれかに定められている、
   ことを特徴とする請求項１に記載のデバイス。
6. 前記所定の発光パターンにおいて、１つのタイムグリッドの複数のフレーム期間における第１輝度での発光または第２輝度での発光の順番は、他のタイムグリッドの複数のフレーム期間における第１輝度での発光または第２輝度での発光の順番と異なっている、
   ことを特徴とする請求項５に記載のデバイス。

Images