JP2016157458A - 情報処理装置 - Google Patents

Abstract

【課題】安定的かつ高精度に仮想情報を表示すること。
【解決手段】情報処理装置は、現実風景を撮影して現実画像を取得する撮影部と、前記現実風景に重畳して仮想情報を表示させるために必要な空間的な第１の情報を与えるため投影装置により前記現実風景に対して投影されたマーカ投影光であって、第２の情報が付加されたマーカ投影光の画像をマーカ画像として前記現実画像から抽出するマーカ検出部と、前記抽出されたマーカ画像に付加された前記第２の情報を抽出する抽出部とを具備する。
【選択図】図５

Description

本技術は、現実風景に重畳して画像を表示する情報処理装置に関する。

現実風景の画像に、現実風景に対応する画像を付加する、拡張現実（Augmented Reality：ＡＲ）と呼ばれる技術がある。ＡＲでは、カメラ等によって現実風景の画像が取得され、取得された現実風景の画像に対して仮想的な情報（以下、仮想情報）が重畳して表示される。ユーザは、現実風景に重畳して表示された仮想情報を見ることにより、仮想情報として表示されているオブジェクトがあたかも現実風景に存在しているかのように認識する。

ＡＲにはマーカ型ＡＲとマーカレス型ＡＲとがある。
マーカ型ＡＲでは、現実風景に物理的に設置されるマーカ（例えば、所定のサイズを有する着色された正方形）の画像情報が予め登録されている。現実風景が撮影されて現実風景の画像（現実画像）が取得され、この現実画像からマーカが検出され、検出されたマーカの大きさや角度等の情報から、マーカに対する撮影装置の空間的な位置関係が算出される。このマーカに対する撮影装置の空間的な位置関係を基に、仮想情報の表示位置や表示角度が算出される。算出された表示位置や表示角度に基づき、撮影装置との相対位置が固定された表示装置に仮想情報が表示され、ユーザは現実風景と共に仮想情報を視認することができる（例えば、特許文献１参照。）。

一方、マーカレス型ＡＲでは、特定のマーカは使用されない。現実画像に含まれる物体や現実風景自体が空間的に認識され、物体などの大きさや角度等の情報に基づき物体に対する撮影装置の空間的な位置関係が算出される。その位置関係を基に、仮想情報の表示位置や表示角度が算出され、撮影装置との相対位置が固定された表示装置に仮想情報が表示され、ユーザは現実風景と共に仮想情報を視認することができる。

特開２００７−７５２１３号公報 特開２００７−２７２６２３号公報 特開平０７−２７２６２３号公報

マーカ型ＡＲには、現実風景に実在するマーカに基づいて仮想情報の表示位置や表示角度を算出するため、これらを比較的容易に算出可能であるというメリットがある。一方、マーカを作成する手間、マーカ設置スペースの確保、マーカの経年劣化、現実風景に実在するマーカによる物理的及び心理的ストレス、マーカのデザイン上の制約といったデメリットもある。
これに対して、マーカレス型ＡＲには、マーカを作成及び設置する必要がない、マーカを設置すべきでない場所にも適用可能であるというメリットがある。一方、仮想情報を表示する周辺の広い領域の空間モデルを構築するため計算が煩雑となる、高い演算能力が要求され、演算能力が不足すると安定性、高精度の確保が困難であり、遅延が生じるおそれがあるなどといったデメリットもある。

さらに、マーカ型及びマーカレス型ＡＲに共通する問題点として以下のものが挙げられる。
・ユーザが自由に仮想情報の操作（位置移動、ズーム、回転など）を行うのが困難である。すなわち、一旦使用を中止し、実在マーカの位置変更（マーカ型ＡＲの場合）やプログラム上での仮想情報表示位置変更が必要となる。
・可視光カメラによる画像認識を用いるため、明る過ぎる場所、暗過ぎる場所では画像認識できない。加えて、光源（太陽、電灯など）に対する遮蔽物によって実在物体表面に強い陰影（コントラスト）が生じてしまう場合も問題となる。

このように、マーカ型ＡＲ及びマーカレス型ＡＲはそれぞれ一長一短であり、実用化に向けて改良の余地がある。

以上のような事情に鑑み、本技術の目的は、安定的かつ高精度に仮想情報を表示することある。

本技術に係る情報処理装置は、現実風景を撮影して現実画像を取得する撮影部と、前記現実風景に重畳して仮想情報を表示させるために必要な空間的な第１の情報を与えるため投影装置により前記現実風景に対して投影されたマーカ投影光であって、第２の情報が付加されたマーカ投影光の画像をマーカ画像として前記現実画像から抽出するマーカ検出部と、前記抽出されたマーカ画像に付加された前記第２の情報を抽出する抽出部とを具備する。

前記マーカ投影光には、測定可能な特性が前記の第２の情報として付与され、前記抽出部は、前記マーカ投影光の画像から前記特性を測定して第２の情報を抽出してもよい。

前記マーカ投影光の測定可能な特性は、光の強度（振幅）、波長（周波数）及び明滅周期のうち少なくともいずれか１つであってもよい。

情報処理装置は、前記第１の情報をもとに、前記現実風景に重畳して表示させる仮想情報の画像を生成する画像生成部をさらに具備してもよい。

前記第２の情報は、前記投影装置を一意に識別する識別情報であり、前記抽出部は、抽出した識別情報が、仮想情報の投影対象の入力装置を示すかどうかを判断し、前記画像生成部は、前記抽出部が抽出した識別情報が仮想情報の投影対象の入力装置を示すと判断すると、前記仮想情報の画像を生成してもよい。

情報処理装置は、前記マーカ投影光の特性を検知可能なフィルタをさらに有し、前記マーカ検出部は、前記フィルタを通した現実画像からマーカ画像を検出してもよい。

情報処理装置は、前記仮想情報の画像を前記現実風景に重畳して表示する表示部をさらに具備してもよい。

前記第２の情報は、前記現実風景に重畳して表示させる仮想情報の形態の変更情報であり、前記画像生成部は、前記抽出部が抽出した仮想情報の形態の変更情報をもとに、前記仮想情報の画像を生成してもよい。

前記情報処理装置は、前記投影装置がマーカ画像に付加する第２の情報を前記投影装置に送信する送信部をさらに有し、前記投影装置によりマーカ画像に付加された前記第２の情報は、前記投影装置が前記情報処理装置から受信した前記第２の情報を前記マーカ投影光に変調することで前記マーカ画像に付加されたものであり、前記抽出部は、前記マーカ画像に付加された前記第２の情報を復調してもよい。

前記第２の情報は、仮想情報として表示されるオブジェクトのデータが保存される位置を特定するロケーション情報であり、前記情報処理装置は、前記抽出部が抽出したロケーション情報をもとに、仮想情報として表示されるオブジェクトのデータを取得するオブジェクトデータ取得部をさらに具備してもよい。

本技術に係る情報処理方法は、撮影部により、現実風景を撮影して現実画像を取得し、マーカ検出部により、前記現実風景に重畳して仮想情報を表示させるために必要な空間的な第１の情報を与えるため投影装置により前記現実風景に対して投影されたマーカ投影光であって、第２の情報が付加されたマーカ投影光の画像をマーカ画像として前記現実画像から抽出し、抽出部により、前記抽出されたマーカ画像に付加された前記第２の情報を抽出する。

本技術に係る情報処理システムは、第２の情報が付加されたマーカを現実風景に投影可能な投影装置と、前記現実風景を撮影して現実画像を取得する撮影部と、前記現実風景に重畳して仮想情報を表示させるために必要な空間的な第１の情報を与えるため投影装置により前記現実風景に対して投影されたマーカ投影光であって、第２の情報が付加されたマーカ投影光の画像をマーカ画像として前記現実画像から抽出するマーカ検出部と、前記抽出されたマーカ画像に付加された前記第２の情報を抽出する抽出部とを有する情報処理装置とを具備する。

前記情報処理装置は、前記投影装置がマーカに付加する第２の情報を前記投影装置に送信する送信部をさらに有し、前記投影装置は、前記情報処理装置から前記第２の情報を受信する受信部と、前記受信部が受信した前記第２の情報を前記マーカ投影光に変調することでマーカ画像に前記第２の情報を付加する変調部とを有し、前記抽出部は、前記マーカ画像に付加された前記第２の情報を復調してもよい。

以上のように、本技術によれば、安定的かつ高精度に仮想情報を表示することができる。

本技術の第１の実施形態に係る情報処理システムを示す模式図である。 ＨＭＤ及び入力装置のハードウェア構成を示すブロック図である。 第１の処理を実行するためのＨＭＤの機能的な構成を示すブロック図である。 重畳パラメータ生成部による重畳パラメータ生成の原理を模式的に示す図である。 ＨＭＤによる第１の処理の動作を示すフローチャートである。 第１の処理を模式的に示す図である。 第３の処理を模式的に示す図である。 第３の処理を実行するためのＨＭＤの機能的な構成を示すブロック図である。 第３の処理を実行するための入力装置のハードウェア構成を示すブロック図である。 変形例２に係る情報処理システムを示す模式図である。 変形例２に係る情報処理システムのハードウェア構成を示すブロック図である。 変形例３に係る情報処理システムを示す模式図である。 変形例４に係る情報処理システムを示す模式図である。 変形例４に係る情報処理システムのハードウェア構成を示すブロック図である。 変形例５に係る情報処理システムを示す模式図である。 変形例６に係る情報処理システムを示す模式図である。

以下、本技術に係る実施形態を図面を参照しながら説明する。

＜第１の実施形態＞
［第１の実施形態の概要］
図１は、本技術の第１の実施形態に係る情報処理システム１を示す模式図である。
本実施形態の情報表示システム１は、１以上のヘッドマウントディスプレイ（Head Mount Display、ＨＭＤ）１００（情報処理装置）と、１以上の入力装置２００（投影装置）とを有する。

ＨＭＤ１００は、全体としてメガネ型の形状を有し、ユーザＵの頭部に装着可能である。ＨＭＤ１００は、装着時にユーザＵの眼前に配置される表示部１０２と、現実風景の少なくともユーザＵの視野範囲を撮影可能な撮影部１０１とを有する。表示部１０２は透過性を有し、ユーザＵ個人に表示部１０２を透過させて現実風景を視認させつつ、ユーザＵが視認する現実風景に重畳して画像を表示することが可能である。ＨＭＤ１００は、撮影部１０１が撮影した現実風景の画像（現実画像）に含まれる、現実風景に重畳して仮想情報を表示させるために必要な空間的な情報（第１の情報）を与えるため入力装置２００により現実風景に対して投影されたマーカＭを検出する。ＨＭＤ１００は、検出したマーカＭをもとに仮想情報Ｉの重畳パラメータを算出する。この「重畳パラメータ」とは、現実風景に重畳して表示させる仮想情報の形態に関するパラメータであり、具体的には、仮想情報Ｉの位置、サイズ及び角度である。ＨＭＤ１００は、算出した重畳パラメータに基いて所定の仮想情報を生成し、表示部１０２により、ユーザＵの視認する現実風景に投影されたマーカＭに重畳して仮想情報Ｉを表示する。この仮想情報Ｉとして表示するコンテンツの選択は、ユーザによりＨＭＤ１００に設けられた入力部（図２）を用いて予め入力される。

入力装置２００は、ユーザＵが手に持つことが可能な大きさ及び形状を有する。入力装置２００には、投影ボタン２０１、ズームスライダ２０２、電源ボタン２０３が設けられる。ユーザＵが投影ボタン２０１を押すと、投影窓２０４から現実風景に重畳して仮想情報を表示させるために必要な空間的な情報（第１の情報）を与えるためのマーカＭとしての所定形状の図形が現実風景の投影対象物Ｔ（机など）に投影される。このマーカＭの投影位置が、ＨＭＤ１００による仮想情報Ｉの表示位置となる。さらに、ユーザＵが投影ボタン２０１を押しながら入力装置２００を動かすことで、仮想情報Ｉに対して操作を行うことができる。例えば、ユーザＵが投影ボタン２０１を押しながら入力装置２００を移動してマーカＭの投影位置を移動すると、仮想情報Ｉを移動（ドラッグ）させることができる。同様に、ユーザＵが投影ボタン２０１を押しながら入力装置２００を回転してマーカＭを回転すると、仮想情報Ｉを回転させることができる。また、ユーザＵが投影ボタン２０１を押しながらズームスライダ２０２を操作すると、仮想情報Ｉを拡大／縮小（ズーム）させることができる。仮想情報Ｉを表示中に新たな別の仮想情報を表示させるためには、ユーザＵは投影ボタン２０１の押下を停止し、ＨＭＤ１００に設けられた入力部（図２）を用いて新たな仮想情報として表示するコンテンツの選択を入力する。また、ユーザＵが投影ボタン２０１の押下を停止し、その後再び投影ボタン２０１を押してマーカＭを表示中の仮想情報Ｉに重ねると、再びその仮想情報Ｉを操作可能となる。

［ＨＭＤのハードウェア構成］
図２は、ＨＭＤ１００及び入力装置２００のハードウェア構成を示すブロック図である。
ＨＭＤ１００は、ＣＰＵ（Central Processing Unit）１０３と、それぞれＣＰＵ１０３に接続されたメモリ１０４、撮影部１０１、表示部１０２、入力部１０５、モーションセンサ１０６、環境センサ１０７、第１の送受信器１０８及び第２の送受信器１０９と、内部電源１１０とを有する。

ＣＰＵ１０３は、メモリ１０４に格納されたプログラムに従って各種処理を実行する。
撮影部１０１は、現実風景の少なくともユーザの視野範囲を撮影可能である。撮影部１０１は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどの撮影素子と、撮影素子の出力をＡ／Ｄ（Analog/Digital）変換するＡ／Ｄコンバータなどで構成される。
表示部１０２は、ＬＣＤ（Liquid Crystal Display、液晶表示素子）と光学系などからなり、ＬＣＤによって形成された画像を光学系を介してユーザに提示する。より具体的には、表示部１０２は、ユーザに外界を視認させつつ、ＬＣＤによって形成された画像をユーザの視野に重ねて表示可能である。
入力部１０５は、例えば、ボタン、スライダ、スイッチ、ダイヤル、タッチセンサなどで構成され、ユーザ操作によりＣＰＵ１０３に対する命令や、仮想情報として表示するコンテンツの選択を入力可能である。
モーションセンサ１０６は、例えば、加速度センサ、ジャイロセンサ、磁気センサであり、ＨＭＤ１００の移動を検出可能である。
環境センサ１０７は、例えば、照度や温湿度を検出可能である。
第１の送受信器１０８は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ−Ｆｉ（登録商標）などの中・高速近距離無線送受信器であり、入力装置２００との情報のやり取りを行う。
第２の送受信器１０９は、例えば、３Ｇ（3rd Generation）、ＷｉＭＡＸ（Worldwide Interoperability for Microwave Access、登録商標）などの中距離無線送受信器である。第２の送受信器１０９は、インターネットやＬＡＮ（Local Area Network）などのネットワークＮに接続され、このネットワークＮに接続されたコンテンツサーバにアクセスして仮想情報として表示するコンテンツをダウンロードしたりする。

［入力装置のハードウェア構成］
図２を参照し、入力装置２００は、ＣＰＵ２１２と、それぞれＣＰＵ２１２に接続されたメモリ２０５、入力部２０６、モーションセンサ２０７、第３の送受信器２０８、変調部２０９及び投影部２１０と、内部電源２１１とを有する。
ＣＰＵ２１２は、メモリ２０５に格納されたプログラムに従って各種処理を実行する。なお、ＣＰＵの代わりにＭＰＵ（Micro Processing Unit）であってもよい。
入力部２０６は、投影ボタン２０１、ズームスライダ２０２、電源ボタン２０３などのボタン、スライダ、スイッチ、ダイヤル、タッチセンサなどで構成され、ユーザ操作によりＣＰＵ２１２に対する命令を入力可能である。
モーションセンサ２０７は、例えば、加速度センサ、ジャイロセンサ、磁気センサであり、入力装置２００の移動を検出可能である。
第３の送受信器２０８は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ−Ｆｉ（登録商標）などの中・高速近距離無線送受信器であり、ＨＭＤ１００との情報のやり取りを行う。
変調部２０９は、ＣＰＵ２１２が扱うデジタルデータを投影部２１０が投影可能な光信号に変調する。
投影部２１０は、レーザ光源と、レーザ光源が発するレーザ光を、投影窓２０４（図１）からマーカとしての所定形状の図形として現実風景の投影対象物（壁や机など）に投影可能な光学系とにより構成されるレーザポインタである。レーザポインタとしては、点表示型（赤、緑、青）、ビーム可変型（スキャナタイプ、レンズタイプ、ホログラムタイプ）、紫外型、赤外型などを採用することができる。

［ＨＭＤが実行する処理］
ＨＭＤ１００及び入力装置２００は、以下の３つの処理を実行することが可能である。
１．入力装置２００は、マーカに、自入力装置２００を特定する情報（第２の情報）を付加する。ＨＭＤ１００は、撮影したマーカをもとに現実画像データに含まれるマーカを投影する主体である入力装置２００を特定し、特定の入力装置２００により投影されたマーカである場合、仮想情報を表示する（第１の処理）。
２．入力装置２００は、マーカに、前記現実風景に重畳して表示させる仮想情報の形態の変更情報（第２の情報）を付加する。ＨＭＤ１００は、撮影したマーカをもとに仮想情報の形態の変更情報を特定し、特定した変更情報に基づき、既に表示している仮想情報の表示位置やサイズなど仮想情報の形態を変更する（第２の処理）。
３．入力装置２００は、マーカに、オブジェクトのデータが保存されるネットワーク上での位置を特定するロケーション情報（第２の情報）を付加する。ＨＭＤ１００は、撮影したマーカをもとにオブジェクトデータのネットワーク上での位置を特定し、仮想情報をネットワークからダウンロードし、仮想情報を表示する（第３の処理）。

＜第１の処理＞
［第１の処理の概要］
マーカ型ＡＲ及びマーカレス型ＡＲの上記各問題を解決するため、ユーザが携帯型のレーザポインタを手に持ってマーカを投影する手法が提案されている（特許文献２）。ここで、仮に、複数のユーザが同一の投影対象物（机や壁など）に対して仮想情報を表示し、それぞれ入力装置（レーザポインタ）を用いて同時に仮想情報に対する操作を行う場合を仮定する。それぞれのユーザは、入力装置を用いてポインティング点を投影対象物に投影し、入力装置を動かすことで投影対象物に投影されたポインティング点を移動し、ポインティング点の移動とともにポインティング点に対して表示された仮想情報が移動する等の処理が行われる。このとき、仮に、複数のユーザが同じ形状のポインティング点を投影する入力装置を用いると仮定する。その場合、撮影装置がどのポインティング点がどのユーザの持つ入力装置から投影されたかを識別できず、その結果、例えば無関係のユーザがもつ入力装置が投影したポインティング点をもとに、別のユーザに対して仮想情報が表示されるなどの事態が生じるおそれがある。

一方、特許文献３によれば、複数のユーザがそれぞれ入力装置としてのレーザポインタを用いて仮想情報に対する操作を行う状況において、ポインティング点の投影パターンを各入力装置によって変更することで、各複数のユーザの入力装置が区別され得ることとされる。しかしながらこの手法では、各入力装置毎に物理的に投影パターンの形状を異ならしめる必要があり、技術的・コスト的に限界があるという問題がある。とりわけ、同時に使用される入力装置の数が多い場合や、入力操作中に投影パターン変更可能な形態とする場合などには、その問題は顕著なものとなる。

ここで、入力装置としてレーザポインタの代わりにレーザプロジェクタを用いることについて検討する。レーザプロジェクタは、例えば、ＭＥＭＳ（Micro Electro Mechanical System）スキャナを搭載し、高速に左右へ動く１本のレーザ光で上から順に走査する装置であり、任意の形状の図形や任意の画像を投影可能である。その一方で、レーザプロジェクタは、単純な図形投影を行うレーザポインタに比べ、複雑なハードウェア／ソフトウェア構成が要求されるという問題がある。その結果、レーザプロジェクタ自体の大型化、コストの上昇、消費電力の上昇といった問題を招くおそれがある。さらに、複数の入力装置からの投影図形の形状が異なるとしても、投影図形が互いに重なり合う場合、それぞれの投影図形を識別するのが難しいという問題もある。

以上のような事情に鑑み、第１の処理では、ＨＭＤが、撮影したマーカがどの入力装置から投影されたのかを安定的かつ高精度に判断する。これにより、ＨＭＤは、仮想情報を表示すべきマーカを安定的かつ高精度に判断し、結果的に、仮想情報の表示を安定的かつ高精度に行う。

［入力装置］
入力装置２００は、自入力装置を一意に識別するための情報（識別情報）が付加されたマーカを投影するように設定されている。この識別情報は、例えば入力装置２００の製造時に設定されたシリアル番号などであってもよいし、ユーザが入力部２０６を用いて設定したユーザ名などであってもよい。より具体的には、入力装置２００は、固有の光の強度（振幅）、波長（周波数）及び明滅周期の少なくともいずれか１つをもつマーカを投影するように設定されている。光の強度（振幅）、波長（周波数）及び明滅周期の個体差により、入力装置２００が一意に識別され得る。

［第１の処理を実行するためのＨＭＤの機能的な構成］
図３は、第１の処理を実行するためのＨＭＤ１００の機能的な構成を示すブロック図である。
ＨＭＤ１００は、撮影部１０１、マーカ検出部１２１、付加情報取得部１２５（抽出部）、重畳パラメータ生成部１２２、変換行列算出部１２３、画像データ生成部１２４及び表示部１０２を有する。

撮影部１０１は現実風景の画像を撮影し、現実画像データを取得する。撮影部１０１は、取得した現実画像データをマーカ検出部１２１及び付加情報取得部１２５に供給する。

付加情報取得部１２５は、撮影部１０１より現実画像データを取得する。付加情報取得部１２５は、画像処理により、マーカの特性、すなわち、光の強度（振幅）、波長（周波数）及び明滅周期の少なくともいずれか１つを測定する。付加情報取得部１２５は、測定した特性に割り当てられた入力装置２００の識別情報を判断する。付加情報取得部１２５は、判断した識別情報によって表される入力装置２００が、仮想情報の投影対象であるかどうかを判断する。ここで、付加情報取得部１２５には、どの入力装置２００から投影されたマーカに対して仮想情報を表示するか、すなわち仮想情報の投影対象としての１以上の入力装置２００が予め登録されている。この仮想情報の投影対象は、例えば、ユーザが入力部１０５を用いて設定したものである。付加情報取得部１２５は、判断結果を重畳パラメータ生成部１２２に通知する。

マーカ検出部１２１は、撮影部１０１が取得した現実画像データから、入力装置２００により投影されたマーカを検出する。マーカ検出部１２１には予め基準マーカの情報が登録されている。この「基準マーカ」とは、マーカを所定の距離から垂直方向に投影した場合のあらかじめ決められた基準形状を有するマーカであり、「基準マーカの情報」とは、基準マーカのサイズ、各頂点同士の距離、各辺の長さ等である。マーカ検出部１２１は、基準マーカのサイズをもとに、現実画像データから検出したマーカが基準マーカの形状と一致するような平面座標変換行列を生成し、検出したマーカに対して平面座標変換行列を用いた座標変換を行う。続いてマーカ検出部１２１は、座標変換されたマーカに対し、基準マーカとのパターンマッチングを行い、検出したマーカと基準マーカとの一致度を判断する。マーカ検出部１２１は、判断結果を重畳パラメータ生成部１２２に供給する。

重畳パラメータ生成部１２２は、仮想情報の投影対象である入力装置２００から投影され、所定の一致度をもつマーカについて、基準マーカに対するマーカの歪みをもとに、投影対象物（壁や机など）に投影されたマーカに対する撮影部１０１の空間的な位置関係、すなわち角度及び距離を算出する。さらに、重畳パラメータ生成部１２２は、図４に示すように、輪郭抽出によりマーカＭの座標系（Ａ）を算出する。重畳パラメータ生成部１２２は、マーカに対する撮影部１０１の上記空間的な位置関係をもとに、マーカＭの座標系（Ａ）と、予め設定してある仮想情報Ｉの座標系（Ｂ）とが一致した座標系（Ｃ）となるように、仮想情報の重畳パラメータを計算する。重畳パラメータ生成部１２２は、モーションセンサ１０６により検出されたＨＭＤ１００の位置と、入力装置２００のモーションセンサ１０６により検出された入力装置２００の位置との関係をもとに、仮想情報がユーザにとってより自然に表示されるように重畳パラメータを補正する。さらに重畳パラメータ生成部１２２は、ユーザの眼と表示部１０２との位置関係をもとに重畳パラメータを補正する。

変換行列算出部１２３は、マーカを基準とした座標系を現実風景における撮影部１０１を基準とした座標系に重畳パラメータで変換するための空間座標変換行列を生成する。画像データ生成部１２４は、予め記録された仮想情報のオブジェクトデータを、変換行列算出部１２３から供給された空間座標変換行列を用いて座標変換する。これにより、画像データ生成部１２４は、撮影部１０１を基準とした座標系での、仮想情報のオブジェクト画像データを算出（描画）する。

画像データ生成部１２４は、生成した仮想情報のオブジェクト画像データを表示部１０２に供給する。
表示部１０２は、変換行列算出部１２３より供給された仮想情報のオブジェクト画像データを表示する。

［ＨＭＤによる第１の処理の動作］
図５は、ＨＭＤ１００による第１の処理の動作を示すフローチャートである。
ＣＰＵ１０３が所定の初期化処理を行うと（ステップＳ１０１）、撮影部１０１は現実風景の画像を撮影し、現実画像データを取得する（ステップＳ１０２）。撮影部１０１は、取得した現実画像データをマーカ検出部１２１及び付加情報取得部１２５に供給する。

マーカ検出部１２１は、撮影部１０１が取得（ステップＳ１０２）した現実画像データから、入力装置２００により投影されたマーカを検出する（ステップＳ１０３）。マーカ検出部１２１は、基準マーカのサイズをもとに、現実画像データから検出したマーカが基準マーカの形状と一致するような平面座標変換行列を生成し、検出したマーカに対して平面座標変換行列を用いた座標変換を行う。続いてマーカ検出部１２１は、座標変換されたマーカに対し、基準マーカとのパターンマッチングを行い、検出したマーカと基準マーカとの一致度を判断する（ステップＳ１０４）。マーカ検出部１２１は、判断結果を重畳パラメータ生成部１２２に供給する。

一方、付加情報取得部１２５も、撮影部１０１より現実画像データを取得する。付加情報取得部１２５は、画像処理により、マーカの特性、すなわち、光の強度（振幅）、波長（周波数）及び明滅周期の少なくともいずれか１つを測定する。付加情報取得部１２５は、測定した特性に割り当てられた入力装置２００の識別情報を判断する（ステップＳ１０５）。付加情報取得部１２５は、判断した識別情報によって表される入力装置２００が、仮想情報の投影対象と一致するかどうかを判断し（ステップＳ１０６）、判断結果を重畳パラメータ生成部１２２に通知する。

重畳パラメータ生成部１２２は、仮想情報の投影対象である（ステップＳ１０６でＹｅｓ）入力装置２００から投影され、所定の一致度をもつ（ステップＳ１０４でＹｅｓ）マーカについて、基準マーカに対するマーカの歪みをもとに、マーカに対する撮影部１０１の空間的な位置関係を推定する。具体的には、重畳パラメータ生成部１２２は、投影対象物（壁など）に投影されたマーカに対する撮影部１０１の空間的な位置関係、すなわち角度及び距離を算出する。さらに、重畳パラメータ生成部１２２は、マーカの座標系と仮想情報の座標系とが一致するように、仮想情報の重畳パラメータを計算する（ステップＳ１０７）。そして、重畳パラメータ生成部１２２は、仮想情報がユーザにとってより自然に表示されるように重畳パラメータを補正する（ステップＳ１０８）。

変換行列算出部１２３は、マーカを基準とした座標系を、現実風景における撮影部１０１を基準とした座標系に、重畳パラメータで変換するための空間座標変換行列を生成する（ステップＳ１０９）。画像データ生成部１２４は、予めに記録された仮想情報のオブジェクトデータを、変換行列算出部１２３から供給された空間座標変換行列を用いて座標変換する。これにより、画像データ生成部１２４は、撮影部１０１を基準とした座標系での、仮想情報のオブジェクト画像データを算出（描画）する（ステップＳ１１０）。画像データ生成部１２４は、生成した仮想情報のオブジェクト画像データを表示部１０２に供給する。表示部１０２は、供給された仮想情報のオブジェクト画像データを表示する（ステップＳ１１１）。この後、次フレームの現実風景の画像データの取得（ステップＳ１０２）から仮想情報のオブジェクト画像データの表示（ステップＳ１１１）までの処理が繰り返し実行される。

［第１の処理の効果］
以上、第１の処理によれば、次のような効果が期待できる。
１．仮に、ＨＭＤがどのマーカがどの入力装置から発せられたかを識別できないとすると、ＨＭＤが、無関係のユーザが持つ入力装置が投影したマーカに対して仮想情報を表示するなどの事態が生じるおそれがある。
これに対して、第１の処理では、図６に示すように、マーカＭＬに付加される入力装置２００Ａの識別情報を識別可能なＨＭＤ１００Ａ、１００ＢはマーカＭに対してそれぞれ仮想情報Ｉａを表示することができる。しかしながら、マーカＭＬに付加される入力装置２００Ａの識別情報を識別不可のＨＭＤ１００Ｃは、取得する現実画像データにマーカＭが含まれているにも拘わらず、マーカＭに対して仮想情報を表示することができない。これにより、マーカＭを投影する入力装置２００ＡをもつユーザＵ１のＨＭＤ１００ＡやユーザＵ１の関係者であるユーザＵ２のＨＭＤ１００Ｂに仮想情報の表示を許可し、無関係なユーザＵ３のＨＭＤ１００Ｃに仮想情報の表示を不許可とすることができる。

２．マーカの形状を異ならしめて個々の入力装置を区別する技術では、投影されたマーカが投影対象物上で互いに重なり合う場合、それぞれのマーカを識別するのが難しく、結果的に、それぞれのマーカの投影元の各入力装置を識別するのが難しいという問題がある。
これに対して、第１の処理では、マーカに入力装置の識別情報が付加されているため、マーカ同士の重なり合いに関係なく、マーカの光の強度（振幅）、波長（周波数）及び明滅周期の少なくともいずれか１つをもとに、投影元の入力装置を安定的かつ高精度に判断することができる。また、各入力装置毎に物理的にマーカの形状を異ならしめる技術に比べて低コストであり、様々な形状のマーカを投影可能なレーザポインタを用いる技術に比べて単純な複雑なハードウェア／ソフトウェア構成で実現可能であるというメリットもある。

＜第２の処理＞
以下、すでに説明した構成等と異なる点を中心に説明し、重複する説明は省略する。
第１の処理では、マーカに対する付加情報として入力装置２００の識別情報が付加された。これに対して第２の処理では、マーカに対する付加情報として、現実風景に重畳して表示させる仮想情報の形態の変更情報が付加される。

［入力装置］
ユーザにより入力装置２００の入力部２０６にボタン押下など所定の操作が入力されると、ＣＰＵ２１２は、マーカの移動、回転、拡大／縮小（ズーム）など、マーカ表示形態の変更情報が入力されたと判断する。ここで、マーカの移動、回転、拡大／縮小（ズーム）など、マーカ表示形態の変更情報には、マーカの特性（光の強度（振幅）、波長（周波数）及び明滅周期の少なくともいずれか１つ）が固有に割り当てられている。例えば、マーカの拡大には周波数の増大が、マーカの縮小には周波数の減少が割り当てられている。ＣＰＵ２１２は、入力部２０６よりマーカ表示形態の変更情報が入力されたと判断すると、当該マーカ表示形態の変更情報に割り当てられた特性（光の強度（振幅）、波長（周波数）及び明滅周期の少なくともいずれか１つ）で投影中のマーカを変化させる。

［ＨＭＤ］
ＨＭＤ１００の付加情報取得部１２５は、画像処理により、撮影部１０１より取得した現実画像データに含まれるマーカの特性（光の強度（振幅）、波長（周波数）及び明滅周期の少なくともいずれか１つ）を測定する。付加情報取得部１２５は、特性の変化を検出すると、変化後の特性に割り当てられたマーカ表示形態の変更情報を判断する。ここで、付加情報取得部１２５には、マーカの特性（光の強度（振幅）、波長（周波数）及び明滅周期の少なくともいずれか１つ）がどのように変化すると、そのマーカに対して表示される仮想情報をどのように変化させるかが予め登録されている。例えば、周波数の増大にはマーカの拡大が、周波数の減少にはマーカの縮小が登録されている。付加情報取得部１２５は、判断結果を重畳パラメータ生成部１２２に通知する。

なお、入力装置２００のマーカに対する付加情報として、仮想情報の形態の変更情報のほか、決定、戻るなど、アプリケーションに対する命令が付加されてもよい。ＨＭＤ１００は、マーカに付加されたアプリケーションに対する命令に従ってアプリケーションを実行すればよい。

［第２の処理の効果］
以上、第２の処理によれば、次のような効果が期待できる。
ユーザが入力装置２００を手に持ってこの入力装置２００を移動させなくても、入力装置２０６に対する所定の入力操作だけで仮想情報の移動や回転など仮想情報の形態の変更情報を入力することができる。このため、例えば、入力装置２００をテーブルなどに載置した状態で仮想情報の形態の変更情報を入力することができ、ユーザにとっての利便性が向上する。

＜第３の処理＞
図７は、第３の処理を模式的に示す図である。
マーカＭを投影する入力装置２００ＡをもつユーザＵ１に装着されるＨＭＤ（以下「投影ＨＭＤ」と呼ぶ）１００Ａは、入力装置２００Ａに、仮想情報として表示されるオブジェクトのデータが保存されるネットワーク上での位置を特定するロケーション情報を供給する。入力装置２００Ａは、取得したロケーション情報をマーカに付加する。マーカＭを投影する入力装置２００ＡをもたないユーザＵ２、Ｕ３の装着するＨＭＤ（以下「非投影ＨＭＤ」と呼ぶ）１００Ｂ、１００Ｃは、撮影したマーカからロケーション情報を抽出する。この位置情報をもとに、非投影ＨＭＤ１００Ｂ、１００Ｃは、仮想情報として表示するオブジェクトのデータをネットワークＮに接続されたコンテンツサーバ３００からダウンロードすることが可能となる。

［第３の処理を実行するためのＨＭＤの機能的な構成］
図８は、第３の処理を実行するためのＨＭＤ１００の機能的な構成を示すブロック図である。
ＨＭＤ１００は、位置情報取得部１３０、第１の送受信器１０８、撮影部１０１、復調部１３２、オブジェクトデータ取得部１３１、第２の送受信器１０９を有する。
位置情報取得部１３０及び第１の送受信器１０８は（１）投影ＨＭＤ１００に特有の機能、撮影部１０１及び復調部１３２は（２）非投影ＨＭＤ１００に特有の機能である。オブジェクトデータ取得部１３１及び第２の送受信器１０９は（３）投影ＨＭＤ１００／非投影ＨＭＤ１００に共通の機能である。

［（１）投影ＨＭＤに特有の機能］
位置情報取得部１３０は、仮想情報として表示されるオブジェクトのデータが保存されるネットワークＮ上での位置を特定するロケーション情報を取得する。この「ロケーション情報」とは、具体的には、ＵＲＬ（Uniform Resource Locator）、ローカルネットワークパスなどである。例えば、位置情報取得部１３０は、第２の送受信器１０９を用いて、ネットワークＮを通じてロケーション情報を取得してもよいし、ユーザにより入力部１０５を用いて入力されたロケーション情報を取得してもよい。位置情報取得部１３０は、取得したロケーション情報をオブジェクトデータ取得部１３１に供給する。さらに、位置情報取得部１３０は、取得した位置情報を符号化して符号化情報を生成し、生成した符号化情報を第１の送受信器１０８を用いて入力装置２００に送信する。

［（２）非投影ＨＭＤ１００に特有の機能］
撮影部１０１は、現実風景の画像を撮影して現実画像データを取得し、取得した現実画像データを復調部１３２に供給する。

復調部１３２は、画像処理により、現実画像データに含まれるマーカの光の強度（振幅）又は波長（周波数）の変化を測定し、これもとに符号化情報を抽出し、取りだした符号化情報を復号して付加情報としてのロケーション情報を得る。すなわち復調部１３２は、付加情報取得部として機能する。復調部１３２は、ロケーション情報をオブジェクトデータ取得部１３１に供給する。

［（３）投影ＨＭＤ１００／非投影ＨＭＤ１００に共通の機能］
オブジェクトデータ取得部１３１は、位置情報取得部１３０又は復調部１３２から取得したロケーション情報をもとに、第２の送受信器１０９を用いて、ネットワークＮを通じてコンテンツサーバ３００よりオブジェクトデータをダウンロードする。

［第３の処理を実行するための入力装置のハードウェア構成］
図９は、第３の処理を実行するための入力装置２００のハードウェア構成を示すブロック図である。
入力装置２００は、ＣＰＵ２１２と、入力部２０６と、第３の送受信器２０８と、変調部２０９と、投影部２１０を構成するレーザ光源２２０及び光学系２２２とを有する。

ＣＰＵ２１２は、入力部２０６に対するユーザによる入力操作を検出し、レーザ光源２２０をオン／オフする。また、ＣＰＵ２１２は、第３の送受信器２０８を用いてＨＭＤ１００より位置情報が符号化された情報である符号化情報を取得する。ＣＰＵ２１２は、この符号化情報をマーカに変調（振幅変調又は周波数変調）するための情報である変調情報を生成し、生成した変調情報を変調部２０９に供給する。

変調部２０９は、ＣＰＵ２１２から取得した変調情報でレーザ光源２２０が発するマーカを変調（振幅変調又は周波数変調）する。これにより、マーカに位置情報が符号化された情報である符号化情報が付加される。

光学系２２２は、変調されたマーカを投影窓２０４より現実風景に投影する。

なお、本実施形態ではＨＭＤ１００が位置情報を符号化して符号化情報を生成し、符号化情報を入力装置２００に送信するとした。これに代えて、ＨＭＤ１００が位置情報を入力装置２００に送信し、入力装置２００が位置情報を符号化して符号化情報を生成することとしてもよい。
また、本実施形態では仮想情報として表示されるオブジェクトのデータが保存されるネットワーク上での位置を特定するロケーション情報の符号化情報を付加情報とした。これに代えて、第１の処理で述べた符号化情報は入力装置２００の識別情報の符号化情報や、第２の処理で述べた仮想情報の形態の変更情報の符号化情報を付加情報としてもよい。

［第３の処理の効果］
以上、第３の処理によれば、次のような効果が期待できる。
マーカを投影する入力装置をもつユーザのＨＭＤが、当該マーカに対して表示すべき仮想情報のオブジェクトのデータを保持しており（データ保持ＨＭＤとする）、このオブジェクトを複数のＨＭＤ（データ非保持ＨＭＤとする）がそれぞれ表示する場面を仮定する。この場合、複数のデータ非保持ＨＭＤがオブジェクトのデータを取得するには、例えば、各複数のデータ非保持ＨＭＤがデータ保持ＨＭＤから無線通信などによりデータを取得する手法などが考えられる。しかしながらこの手法では、データ非保持ＨＭＤがデータ保持ＨＭＤにアクセスできないこと等により通信が成立しなければ、データ非保持ＨＭＤは仮想情報を表示することができない。
これに対して、第３の処理によれば、ＨＭＤ同士が直接通信を行ってオブジェクトのデータを共有する必要がない。不特定多数のＨＭＤがそれぞれ現実画像データからロケーション情報を抽出し、このロケーション情報をもとにネットワークからオブジェクトのデータを取得して、同一のオブジェクトを表示することが可能となる。このような技術は、例えば、公共の場で不特定多数のユーザにサイネージを提示する用途などに適用することが可能である。

＜変形例１＞
上記実施形態において入力装置２００の投影光の振幅（強度）を変化させることにより情報を付加する場合の変形例について説明する。ＨＭＤ１００は、入力装置２００が投影するマーカの光強度変更パターンを検知可能なフィルタ（明滅周期同期ＰＬＬ（Phase-Locked Loop）、微分フィルタなど）をさらに有してもよい。その場合、マーカ検出部１２１は、このフィルタを通した現実画像データからマーカを検出する。
上記実施形態において入力装置２００の投影光の周波数（波長）を変化させることにより情報を付加する場合の変形例について説明する。ＨＭＤ１００は、入力装置２００が投影するマーカの波長変更パターンを検知可能なフィルタ（波長選択フィルタ、微分フィルタなど）をさらに有してもよい。その場合、マーカ検出部１２１は、このフィルタを通した現実画像データからマーカを検出する。

フィルタを用いないとすると、強い太陽光（西日、金属反射光）や強い電灯光などの外乱光により、ＨＭＤ１００による現実画像データに含まれるマーカの認識率（Ｓ／Ｎ（Signal/Noise））が低下し、誤認識や計算誤差が発生するおそれがある。しかながら、フィルタを用いることで、外乱光の下でも安定的かつ高精度に仮想情報の表示及び入力操作を行うことができる。

＜変形例２＞
図１０は、変形例２に係る情報処理システム３を示す模式図である。図１１は、変形例２に係る情報処理システム３のハードウェア構成を示すブロック図である。
情報処理システム３は、ＨＭＤ１００ｂ、入力装置２００及び携帯情報端末４００を有する。上記各実施形態では、ＨＭＤ１００、１００ａに設けられたＣＰＵ１０３がメイン処理を実行した。これに対して、本変形例の情報処理システムは、ＨＭＤ１００ｂとは独立した携帯情報端末４００がメイン処理を実行する。この携帯情報端末４００として例えばスマートフォンや携帯型ゲーム機を採用することができる。

ＨＭＤ１００ｂは、第１の実施形態のＨＭＤ１００のハードウェア構成から第１の送受信器１０８及び第２の送受信器１０９を除き、第５の送受信器１１２をさらに有する。第５の送受信器１１２は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの中・低速近距離無線送受信器であり、携帯情報端末４００との情報のやり取りを行う。より具体的には、第５の送受信器１１２は、撮影部が取得した現実画像の画像入力信号を携帯情報端末４００に送信するなどの処理を行う。

入力装置２００ａは、第１の実施形態の入力装置２００のハードウェア構成から第３の送受信器２０８を除き、第６の送受信器をさらに有する。第６の送受信器２１３は、Ｂｌｕｅｔｏｏｔｈ（登録商標）、赤外線などの近距離無線送受信器であり、携帯情報端末４００との情報のやり取りを行う。より具体的には、第６の送受信器２１３は、ユーザにより入力部に入力されたズーム操作などの操作入力信号を携帯情報端末４００に送信するなどの処理を行う。

ＨＭＤ１００ｂが第１の送受信器１０８を有さず、入力装置２００ａが第２の送受信器を有さないことから、ＨＭＤ１００ｂと入力装置２００ａとは直接情報のやり取りを行わず、ＨＭＤ１００ｂと入力装置２００ａとの情報のやり取りは携帯情報端末４００を介して行われる。

携帯情報端末４００は、ＣＰＵ４０１と、それぞれＣＰＵ４０１に接続されたメモリ４０２、表示部４０３、入力部４０４、第７の送受信器及４０５、第８の送受信器４０６及び第９の送受信器４０８と、内部電源４０７とを有する。
ＣＰＵ４０１は、メモリ４０２に格納されたプログラムに従って、上記各実施形態で述べた各機能部として各種処理を実行する。
第７の送受信器４０５は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの中・低速近距離無線送受信器であり、ＨＭＤ１００ｂとの情報のやり取りを行う。より具体的には、第７の送受信器４０５は、ＨＭＤ１００ｂの表示部が表示すべき仮想情報の画像出力信号をＨＭＤ１００ｂに送信するなどの処理を行う。
第８の送受信器４０６は、Ｂｌｕｅｔｏｏｔｈ（登録商標）、赤外線などの近距離無線送受信器であり、入力装置２００ａとの情報のやり取りを行う。より具体的には、第８の送受信器４０６は、入力装置２００ａが投影するマーカとしての図形のパターンを変更するための変更信号を入力装置２００ａに送信するなどの処理を行う。
第９の送受信器４０８は、例えば、３Ｇ（3rd Generation）、ＷｉＭＡＸ（Worldwide Interoperability for Microwave Access、登録商標）などの中距離無線送受信器であり、インターネットやＬＡＮ（Local Area Network）などのネットワークＮに接続し、仮想情報として表示するコンテンツをダウンロードしたりする。

なお、ＨＭＤ１００ｂの第５の送受信器１１２と携帯情報端末４００の第７の送受信器４０５とは、それぞれ有線送受信器であってもよい。

＜変形例３＞
図１２は、変形例３に係る情報処理システム４を示す模式図である。
本変形例の情報処理システム４のハードウェア構成は、第１の実施形態の情報処理システム１のハードウェア構成（図２）と同様である。
上記実施形態では、ＨＭＤに設けられたＣＰＵがメイン処理を実行した。これに対して、本変形例の情報処理システム４は、入力装置２００としての携帯情報端末がメイン処理を実行する。この携帯情報端末として例えばスマートフォンや携帯型ゲーム機を採用することができる。

ＨＭＤ１００の第１の送受信器１０８は、撮影部１０１が取得した現実画像の画像入力信号を入力装置（携帯情報端末）２００に送信するなどの処理を行う。

入力装置（携帯情報端末）２００の第３の送受信器２０８は、ＨＭＤ１００の表示部１０２が表示すべき仮想情報の画像出力信号をＨＭＤ１００に送信するなどの処理を行う。
入力装置（携帯情報端末）２００のＣＰＵ２１２は、メモリ２０５に格納されたプログラムに従って、上記実施形態で述べた各機能部として各種処理を実行する。

なお、表示部１０２及び撮影部１０１が１つの装置（ＨＭＤ１００）に搭載されている場合、重畳パラメータ補正（ステップＳ１１０）は、ＨＭＤ１００の位置と入力装置２００の位置との関係をもとに行えばよい。

＜変形例４＞
図１３は、変形例４に係る情報処理システム５を示す模式図である。図１４は、変形例４に係る情報処理システム５のハードウェア構成を示すブロック図である。
上記実施形態では、ＨＭＤ１００とは独立した入力装置２００を用いてマーカ投影や仮想情報に対する入力操作を行った。これに対して本変形例では、入力装置を別途設けずに、ＨＭＤ１００ｃのみでマーカ投影や仮想情報に対する入力操作を含む全ての動作を実現する。

ＨＭＤ１００ｃは、第１の実施形態のＨＭＤ１００のハードウェア構成から第１の送受信器１０８を除き、ＣＰＵ１０３に接続された変調部１１３と、変調部１１３に接続された投影部１１４とをさらに有する。変調部１１３及び投影部１１４は、上記実施形態の入力装置２００に設けられた変調部２０９及び投影部２１０の機能と同様の機能を有する。
ユーザは、ＨＭＤ１００ｃを装着した状態で首を動かすことで、仮想情報に対して操作を行うことができる。例えば、ユーザが首を上下左右に向けてマーカの投影位置を移動すると、表示される仮想情報の表示位置を移動（ドラッグ）させることができる。

＜変形例５＞
図１５は、変形例５に係る情報処理システム６を示す模式図である。
情報処理システム６は、複数のＨＭＤ１００Ａ、１００Ｂ、１００Ｃと、複数の入力装置２００と、仮想情報として表示されるコンテンツのコンテンツデータを保持するサーバ装置５００とを有する。

投影ＨＭＤ１００Ａは、無線又は有線ＬＡＮ（Local Area Network）を通じてサーバ装置５００から、仮想情報として表示されるコンテンツのコンテンツデータを検索して取得する。投影ＨＭＤ１００Ａは、近距離無線送受信器（第４の送受信器１１１）を用いて、非投影ＨＭＤ１００Ｂ、１００Ｃにサーバ装置５００から取得したコンテンツデータを供給する。これにより、投影ＨＭＤ１００Ａ及び非投影ＨＭＤ１００Ｂ、１００Ｃはそれぞれ同一のコンテンツを仮想情報として表示することができる。

＜変形例６＞
図１６は、変形例６に係る情報処理システム７を示す模式図である。
情報処理システムは、メイン処理装置６００と、投影／撮影装置７００と、１以上の表示装置８００とを有する。

メイン処理装置６００は、投影すべきマークＭの形状や現実風景Ｓ内の位置などを、近距離無線又は有線通信により投影／撮影装置７００に命令する。また、メイン処理装置６００は、現実画像データを投影／撮影装置７００より取得し、取得した現実画像データをもとに仮想情報のオブジェクト画像データを算出する。メイン処理装置６００は、算出したオブジェクト画像データを現実画像データに重畳して表示データを生成し、生成した表示データを無線通信により複数の表示装置８００に供給する。
投影／撮影装置７００は、マーカＭを現実風景Ｓに投影し、定点カメラにより現実風景Ｓを撮影して現実画像データを取得し、取得した現実画像データをメイン処理装置６００に供給する。
表示装置８００は、メイン処理装置６００から取得した表示データを表示する。表示装置８００は、例えば、ＨＵＤ（Head-Up Display）である。ＨＵＤとして、具体的には、デジタルサイネージ（電子看板）、机上や車ダッシュボード上に載置され得る透明ディスプレイ、携帯情報端末のディスプレイなどを採用することができる。

＜変形例７＞
マーカ投影の光源として、可視領域外（赤外、紫外など）レーザを使用してもよい。これにより、ＨＭＤを装着しないユーザにマーカ及び仮想情報を視認させないようにすることができる。一方、ＨＭＤを装着するユーザは仮想情報を視認可能である。さらに、ＨＭＤの表示部に可視領域外（赤外、紫外など）レーザを視認可能とする処置を施すことにより、ＨＭＤを装着するユーザはマーカを視認可能としてもよい。

なお、本技術は以下のような構成も採ることができる。
（１）現実風景を撮影して現実画像を取得する撮影部と、
前記現実風景に重畳して仮想情報を表示させるために必要な空間的な第１の情報を与えるため投影装置により前記現実風景に対して投影されたマーカ投影光であって、第２の情報が付加されたマーカ投影光の画像をマーカ画像として前記現実画像から抽出するマーカ検出部と、
前記抽出されたマーカ画像に付加された前記第２の情報を抽出する抽出部と
を具備する情報処理装置。
（２）上記（１）に記載の情報処理装置であって、
前記マーカ投影光には、測定可能な特性が前記の第２の情報として付与され、
前記抽出部は、前記マーカ投影光の画像から前記特性を測定して第２の情報を抽出する
情報処理装置。
（３）上記（１）又は（２）に記載の情報処理装置であって、
前記マーカ投影光の測定可能な特性は、光の強度（振幅）、波長（周波数）及び明滅周期のうち少なくともいずれか１つである
情報処理装置。
（４）上記（１）から（３）のいずれか１つに記載の情報処理装置であって、
前記第１の情報をもとに、前記現実風景に重畳して表示させる仮想情報の画像を生成する画像生成部
をさらに具備する情報処理装置。
（５）上記（１）から（４）のいずれか１つに記載の情報処理装置であって、
前記第２の情報は、前記投影装置を一意に識別する識別情報であり、
前記抽出部は、抽出した識別情報が、仮想情報の投影対象の入力装置を示すかどうかを判断し、
前記画像生成部は、前記抽出部が抽出した識別情報が仮想情報の投影対象の入力装置を示すと判断すると、前記仮想情報の画像を生成する
情報処理装置。
（６）上記（１）から（５）のいずれか１つに記載の情報処理装置であって、
前記マーカ投影光の特性を検知可能なフィルタをさらに有し、
前記マーカ検出部は、前記フィルタを通した現実画像からマーカ画像を検出する
情報処理装置。
（７）上記（１）から（６）のいずれか１つに記載の情報処理装置であって、
前記仮想情報の画像を前記現実風景に重畳して表示する表示部
をさらに具備する情報処理装置。
（８）上記（１）から（７）のいずれか１つに記載の情報処理装置であって、
前記第２の情報は、前記現実風景に重畳して表示させる仮想情報の形態の変更情報であり、
前記画像生成部は、前記抽出部が抽出した仮想情報の形態の変更情報をもとに、前記仮想情報の画像を生成する
情報処理装置。
（９）上記（１）から（８）のいずれか１つに記載の情報処理装置であって、
前記情報処理装置は、前記投影装置がマーカ画像に付加する第２の情報を前記投影装置に送信する送信部をさらに有し、
前記投影装置によりマーカ画像に付加された前記第２の情報は、前記投影装置が前記情報処理装置から受信した前記第２の情報を前記マーカ投影光に変調することで前記マーカ画像に付加されたものであり、
前記抽出部は、前記マーカ画像に付加された前記第２の情報を復調する
情報処理装置。
（１０）上記（１）から（９）のいずれか１つに記載の情報処理装置であって、
前記第２の情報は、仮想情報として表示されるオブジェクトのデータが保存される位置を特定するロケーション情報であり、
前記情報処理装置は、前記抽出部が抽出したロケーション情報をもとに、仮想情報として表示されるオブジェクトのデータを取得するオブジェクトデータ取得部をさらに具備する
情報処理装置。

１００…ＨＭＤ
１０１…撮影部
１２１…マーカ検出部
１２２…重畳パラメータ生成部
１２３…変換行列算出部
１２４…画像データ生成部
１２５…付加情報取得部
１３０…位置情報取得部
１３１…オブジェクトデータ取得部
１３２…復調部
２００…入力装置

Claims (1)

1. 現実風景を撮影して現実画像を取得する撮影部と、
   前記現実風景に重畳して仮想情報を表示させるために必要な空間的な第１の情報を与えるため投影装置により前記現実風景に対して投影されたマーカ投影光であって、第２の情報が付加されたマーカ投影光の画像をマーカ画像として前記現実画像から抽出するマーカ検出部と、
   前記抽出されたマーカ画像に付加された前記第２の情報を抽出する抽出部と
   を具備する情報処理装置。

Images