JP2017168085A - 情報処理装置、情報処理方法、及びプログラム - Google Patents

Abstract

【課題】現実空間の景観を損なうことのない指標を生成可能にすることを課題とする。【解決手段】情報処理装置（１０００）は、画像の特徴を検出する際の閾値に基づいて、現実空間の体験領域に指標として付与されるパターンの輝度を決定し、その決定された輝度のパターンの画像を生成する。【選択図】図１

Description

本発明は、複合現実感や拡張現実感を提供する情報処理装置、情報処理方法、プログラム及び情報処理システムに関する。

現実世界と仮想世界とをリアルタイムに融合させる技術として、複合現実感（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ、以下、ＭＲと表記する。）技術や拡張現実感（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：ＡＲ）技術が知られている。これらの技術は、現実空間とコンピュータによって作られる仮想空間を繋ぎ目なく融合する技術である。

利用者に対し、ＭＲを提供するための装置の一つとして、ビデオシースルー型の情報処理装置がある。これは、ビデオカメラで現実世界を撮影している画像に、仮想物体を重畳した合成画像を、リアルタイムにディスプレイ等の表示装置に表示させて利用者に提示する装置である。このような装置の一例として、頭部搭載型のビデオシースルー型ヘッドマウンテッドディスプレイ（以下、ＨＭＤと表記する。）などが知られている。ＭＲに利用されるビデオシースルー型ＨＭＤは、内蔵されているカメラから画像が入力される毎に、その画像撮影時のカメラの現実空間における位置姿勢を計測する。そして、ＨＭＤは、そのカメラの位置姿勢と、焦点距離などのカメラの固有パラメータとに基づいて、コンピュータグラフィック（以下、ＣＧと表記する。）を描画し、そのＣＧ画像を、現実空間を撮影した画像上に重畳する。

ここで、ＭＲを実現する上で重要な機能として、位置合わせ機能がある。仮想物体が現実空間に実在するように利用者が感じるためには、仮想物体と現実空間との間の幾何学的な整合性がとれている必要がある。すなわち、ＭＲを体験している利用者から見て、仮想物体は、現実空間の中で存在するべき位置に存在しているように見えなければならない。このため、ＨＭＤは、内蔵したカメラの現実空間における位置姿勢を求め、仮想物体と現実空間との間の幾何学的な整合性をとるようになされている。

カメラの位置姿勢は、ＨＭＤに内蔵されているカメラからの画像情報を基に推定することが可能である。例えば、現実空間内における３次元位置が既知となっている指標を、カメラにより撮影し、その撮影画像内の指標の位置と現実空間内の指標の３次元位置との対応を基に、カメラの位置姿勢を推定するような手法が知られている。既知の指標としては、一例として四角形マーカ、円形マーカ、点マーカなどが用いられ、それら指標が現実空間中に例えば人為的に配置される。非特許文献１には、カメラの撮像画像から検出し易い特徴を有した特徴点マーカを、指標として現実空間の環境内に付与（配置）することで、カメラの位置姿勢を推定可能とする技術が開示されている。

Ryuhei Tenmoku, Akito Nishigami, Fumihisa Shibata, Asako Kimura and Hideyuki Tamura: Balancing design freedom and constraints in wall posters masquerading as AR tracking markers, Proc. Human-Computer Interaction International, 2009 D. Lowe, "Distinctive image features from scale-invariant keypoints.", International Jurnal of Computer Vision (IJCV), 2004 Bay, Herbert, Tinne Tuytelaars, and Luc Van Gool. "Surf: Speeded up robust features.", European Conference on Computer Vision (ECCV), 2006

前述した非特許文献１に記載の技術では、カメラの撮影画像から検出し易い特徴を有した特徴点マーカを指標として環境に付与することで、カメラの位置姿勢を推定できるようにしている。しかしながら、特徴点マーカを環境に付与した場合、その特徴点マーカにより現実空間の景観が損なわれてしまうという問題が生ずる。

そこで、本発明は、現実空間の景観を損なうことのない指標を生成可能にすることを目的とする。

本発明は、画像の特徴を検出する際の閾値に基づいて、現実空間の体験領域に指標として付与されるパターンの輝度を決定し、決定された輝度のパターンの画像を生成することを特徴とする。

本発明によれば、現実空間の景観を損なうことのない指標を生成可能である。

第１の実施形態における情報処理装置の概略構成を示す図である。 指標パターンの元になるパターンの一例を示す図である。 指標パターンの輝度差の組み合わせ例の説明に用いる図である。 第１の実施形態の情報処理装置の処理のフローチャートである。 複数の指標パターンのサイズ例の説明に用いる図である。 複数の指標パターンの組み合わせ例の説明に用いる図である。 第２の実施形態の情報処理装置の概略構成を示す図である。 パターンの色の決定方法の説明に用いる図である。 第２の実施形態の情報処理装置の処理のフローチャートである。 本実施形態をコンピュータにて実現する構成例を示す図である。

以下、添付図面を参照して本発明の好適な実施形態について説明する。
以下の説明では、利用者に対して、現実世界とコンピュータグラフィック（ＣＧ）による仮想世界とをリアルタイムに融合させる複合現実感（ＭＲ）や拡張現実感（ＡＲ）を提供する例を挙げる。ＭＲ等は、例えば、組み立て作業時に作業手順や配線の様子を重畳表示する組み立て支援、患者の体表面に体内の様子を重畳表示する手術支援等、様々な分野への適用が可能である。利用者に対してＭＲを提供する装置としては、頭部搭載型のビデオシースルー型ヘッドマウンテッドディスプレイ（ＨＭＤ）や、背面にビデオカメラを有するタブレット端末のような携帯型情報端末が用いられる。本実施形態では、ビデオシースルー型ＨＭＤを例に挙げる。ビデオシースルー型ＨＭＤの図示は省略する。本実施形態の情報処理システムは、ビデオシースルー型ＨＭＤと、後述する本実施形態の情報処理装置１０００とを有して構成される。

本実施形態において利用者にＭＲを提供する場合、ビデオシースルー型ＨＭＤは、内蔵された不図示のカメラによる撮影画像に基づいて、カメラの位置姿勢を推定する。カメラの位置姿勢は、磁気センサや超音波センサ、光学式センサ等の６自由度の物理センサにより計測することもできるが、本実施形態では、物理センサを用いる場合よりも手軽且つ低コストとなる、撮影画像に基づくカメラの位置姿勢推定の手法を用いる。撮影画像に基づくカメラの位置姿勢推定を行う場合、本実施形態のＨＭＤは、現実空間の撮影画像から、例えば、点、線、エッジ、コーナー、輝度勾配などの画像の特徴点を、自然特徴として検出し、その自然特徴に基づいて、カメラの位置姿勢を推定する。

ただし、現実空間の撮影画像内に自然特徴が少ない場合には、カメラの位置姿勢を推定し難くなるため、本実施形態では、自然特徴として検出可能なパターンを生成し、そのパターンの画像を指標として現実空間に付与する。本実施形態では、生成するパターンを、指標パターンと表記する。詳細は後述するが、本実施形態の指標パターンは、現実空間の撮影画像から自然特徴を検出する際に利用される閾値を基に生成されるパターンであり、撮影画像から自然特徴として検出可能であると共に利用者が視認し難いパターンとして生成される。以下の説明では、撮影画像から自然特徴を検出する際に利用される閾値を、特徴検出閾値と表記する。

＜第１の実施形態＞
図１は、第１の実施形態の指標パターンを生成する情報処理装置１０００の概略構成を示す図である。情報処理装置１０００は、パターン取得部１０１０、情報記憶装置１０２０、パターンサイズ決定部１０３０、パターン輝度決定部１０４０、特徴検出閾値取得部１０５０、パターン出力部１０６０を有して構成されている。パターン取得部１０１０〜パターン出力部１０６０は、本実施形態における決定手段及び生成手段の一例である。パターンサイズ参考情報入力部１００は、情報処理装置１０００に接続される装置であってもよいし、情報処理装置１０００に含まれていてもよい。

パターンサイズ参考情報入力部１００は、現実空間の体験領域に関する情報が入力され、その体験領域に関する情報を不図示のメモリ領域に保持する。体験領域に関する情報は、不図示の入力装置を介して、例えば情報処理装置１０００の管理者等から入力されてもよいし、演算等により求められてもよい。なお、ここでは、ＭＲの管理者と利用者を分けているが、管理者と利用者は同一人であってもよい。パターンサイズ参考情報入力部１００のメモリ領域に保持された体験領域に関する情報は、本実施形態に係る指標パターンを生成する際に使用されるパターンサイズ参考情報の一つとして、情報処理装置１０００に送られる。本実施形態において、体験領域に関する情報には、例えば、体験領域内の様々な物体とＨＭＤのカメラとの間の最短距離と最長距離の情報が含まれる。

なお、体験領域内の物体には、一例として、組み立て支援や手術支援等にＭＲが適用される場合の作業台や患者の体だけでなく、部屋の壁や天井、床等も含まれる。また、体験領域に関する情報は、体験領域内の物体とカメラとの間の最短距離と最長距離だけでなく、例えば現実空間の体験領域の奥行き、高さ、幅などの情報を含んでいてもよい。

また、パターンサイズ参考情報には、現実空間を撮影するカメラのレンズの画角、焦点距離、レンズの光学特性、映像撮影時の露出、撮影される画像の解像度などの情報をも含んでいる。これらカメラにおける画角、焦点距離、光学特性、露出、解像度などの情報は、管理者等により入力されてもよいし、パターンサイズ参考情報入力部１００が算出してもよい。

情報処理装置１０００のパターン取得部１０１０は、パターンサイズ参考情報入力部１００からパターンサイズ参考情報を取得する。また、パターン取得部１０１０は、情報記憶装置１０２０から、指標パターンの元になる元パターンの情報を取得する。なお、元パターンは、予め決められているパターンでもよいし、パターン取得部１０１０から要求がなされる度に生成されるパターンでもよい。パターン取得部１０１０から要求がなされる度に元パターンが生成される場合には、例えば図示しない元パターン生成部により元パターンが生成される。パターン取得部１０１０にて取得されたパターンサイズ参考情報と元パターン情報は、パターンサイズ決定部１０３０に送られる。

情報記憶装置１０２０は、少なくとも、元パターンの情報と特徴検出閾値の情報とを、記憶している。情報記憶装置１０２０は、パターン取得部１０１０からの要求に応じて元パターンの情報をパターン取得部１０１０に送り、特徴検出閾値取得部１０５０からの要求に応じて特徴検出閾値の情報を特徴検出閾値取得部１０５０に送る。特徴検出閾値取得部１０５０は、情報記憶装置１０２０から取得した特徴検出閾値の情報を、後述するパターン輝度決定部１０４０に送る。

パターンサイズ決定部１０３０は、パターン取得部１０１０から送られてくるパターンサイズ参考情報と元パターンの情報とに基づいて、指標パターンのパターンサイズＳαを決定する。

ここで、指標パターンのサイズは、その指標パターンが付与された体験領域をカメラにより撮影したときに、ＨＭＤが、撮影画像から指標パターンを自然特徴として検出できるサイズになされている必要がある。また、指標パターンは体験領域内の物体に付与されることになる。このため、指標パターンのサイズは、体験領域内の各物体とカメラとの間の最短距離と最長距離の範囲内の何れかの位置の物体に指標パターンが付与された場合に、ＨＭＤが、撮影画像から指標パターンを自然特徴として検出できるサイズでなければならない。また、指標パターンは体験領域の撮影画像から検出されるため、例えばカメラが指標パターンの模様を解像できず、撮影画像内の指標パターンの模様が潰れてしまう場合には指標パターンを検出できないことになる。したがって、指標パターンのサイズは、体験領域内の物体とカメラの間の最短距離と最長距離の範囲内の何れの位置に指標パターンが付与された場合であっても、指標パターンの模様の空間周波数をカメラが解像できるサイズに決定する必要がある。ただし、指標パターンのサイズが必要以上に大きいと、その指標パターンが体験領域内に付与された場合に、ＭＲの利用者等に視認され易くなる可能性が高くなるため、指標パターンサイズは、必要以上に大きくならないサイズに決定する必要がある。このようなことから、パターンサイズ決定部１０３０は、最短距離と最長距離、パターンの模様の空間周波数、カメラの解像度等の各情報に基づき、撮影画像から指標パターンの自然特徴を検出可能で、且つ必要以上に大きくないパターンサイズＳαを算出する。

図２は、元パターン２００の一例を示す。図２の例の元パターン２００は、例えばＢ領域２０２が中心に配され、その周囲にＡ領域２０１が配された例えば正方形の模様を有するパターンとなされている。また、Ａ領域２０１は例えば濃度が高い（輝度が低い）領域となされ、Ｂ領域２０２は例えば濃度が低い（輝度が高い）領域となされている。図２中のサイズＳは、パターンサイズ決定部１０３０によりパターンサイズＳαが算出される際の、基準のサイズ（例えば元パターンのサイズ）であるとする。以下、図２に示した元パターン２００の例を用いて、パターンサイズ決定部１０３０によるパターンサイズＳαの決定方法について説明する。

先ず、体験領域の奥行き、高さ、幅の情報を基に、体験領域内の物体とカメラとの間の最長距離Ｄmaxが算出される。最長距離Ｄmaxは、パターンサイズ決定部１０３０が算出してもよいし、情報処理装置１０００の管理者等により入力されてもよい。体験領域の奥行きをＺ、高さをＹ、幅をＸとした場合、体験領域内の物体とカメラとの間の最長距離Ｄmaxは、式（１）により算出可能である。なお、最短距離Ｄminは、例えば情報処理装置１０００の管理者等により入力されるとする。
Ｄmax＝√（Ｚ²＋Ｙ²＋Ｘ²） ・・・式（１）

また、カメラの撮像素子の例えば短辺長さをＬ、元パターン２００の模様の空間周波数をＦとした場合、基準となるサイズＳは、式（２）で表される。なお、カメラの解像度は撮像素子の辺の長さと画素数との比により求められるため、ここでは、カメラの撮像素子の短辺長さＬをカメラの解像度を簡易的に表す値として用いている。
Ｓ＝Ｌ／（２×Ｆ） ・・・式（２）

そして、パターンサイズ決定部１０３０は、式（３）と式（４）により、それぞれパターンサイズＳαを算出する。式（３）は体験領域内の物体とカメラとの間の最短距離Ｄminに応じたパターンサイズＳαを求める式、式（４）は物体とカメラとの間の最長距離Ｄmaxに基づくパターンサイズＳαを求める式である。
Ｓα＝Ｓ×Ｄmin ・・・式（３）
Ｓα＝Ｓ×Ｄmax ・・・式（４）

このように、パターンサイズ決定部１０３０は、体験領域内の物体とカメラとの間の最短距離Ｄminと最長距離Ｄmaxに応じた一組のパターンサイズＳαを求める。そして、パターンサイズ決定部１０３０は、それら最短距離Ｄminと最長距離Ｄmaxに応じたパターンサイズＳαが決定された一組の指標パターンの情報を、パターンサイズ参考情報とともにパターン輝度決定部１０４０に送る。

パターン輝度決定部１０４０は、パターンサイズ決定部１０３０にてパターンサイズが決定された一組の指標パターンの情報とパターンサイズ参考情報を受け取り、また、特徴検出閾値取得部１０５０から特徴検出閾値の情報を受け取る。そして、パターン輝度決定部１０４０は、パターンサイズ参考情報と特徴検出閾値とに基づいて、各指標パターンの輝度を決定する。具体的には、パターン輝度決定部１０４０は、特徴検出閾値を超えるように、指標パターンの輝度を決定する。ただし、単に特徴検出閾値を超えるように輝度を決定してしまうと、カメラの撮像素子の特性やレンズの光学特性により、撮影画像内での指標パターンの輝度が、特徴検出閾値を下回ってしまうことがある。このため、パターン輝度決定部１０４０は、撮影画像内で指標パターンの輝度がどのようになるかを考慮し、パターンサイズ参考情報（カメラの撮像素子の特性やレンズの光学特性などの情報）に基づいて、指標パターンの輝度を決定する。

図３は、前述の図２の元パターン２００に対して輝度が決定された後の指標パターン３００の一例を示す。図３の指標パターン３００は、例えば特徴検出閾値が輝度「１０」の値であった場合に、Ａ領域３０１の輝度値が「０」、Ｂ領域３０２の輝度値が「１０」になされているとする。Ａ領域３０１は輝度値が「０」であるため黒領域となり、Ｂ領域３０２は輝度値が「１０」であるため濃度が高いグレー領域となる。以下、図３の指標パターン３００の例を用いて、パターン輝度決定部１０４０によるパターン輝度決定方法について説明する。

ここで、ＨＭＤが撮影画像内の指標パターンを自然特徴として検出可能にするためには、指標パターンは、自然特徴として検出可能な輝度の条件を保っていなければならない。一例として、撮影画像の輝度勾配により自然特徴を検出する場合を例に挙げる。なお、輝度勾配により自然特徴を検出する手法としては、例えば非特許文献２や非特許文献３などの公知の手法を用いることができる。輝度勾配により自然特徴を検出する場合、図３の指標パターン３００のＡ領域３０１とＢ領域３０２の輝度は、特徴検出閾値以上の輝度差が生じる輝度の組み合わせでなければならない。ただし、その輝度差が必要以上に大きいと、指標パターンが体験領域内に付与された場合に、ＭＲの利用者等に視認され易くなる可能性が高くなる。したがって、指標パターン３００のＡ領域３０１とＢ領域３０２の輝度は、特徴検出閾値以上の輝度差が生じる輝度の組み合わせで、且つ、その輝度差が必要以上に大きくならない輝度に決定する必要がある。図３の例では、このような輝度の決定条件に基づいて、特徴検出閾値が「１０」、Ａ領域３０１の輝度値が「０」、Ｂ領域３０２の輝度値が「１０」に決定されている。

なお、ここでは輝度を例に挙げたが、例えば自然特徴の検出に輝度が影響を与えない場合には、元パターンの模様が保たれているのであれば、Ａ領域の輝度とＢ領域の輝度の組み合わせに制限はない。また、前述の例では指標パターンの「輝度」とのみ記載しているが、例えばＲＧＢ色空間やＹＵＶ色空間などの色空間で表現される輝度であれば、何れの色空間における輝度であってもよい。また、自然特徴を検出するアルゴリズムは、前述した自然特徴の条件を満たすものを検出可能であるならば、他の自然特徴の条件を定義して、その自然特徴を検出するようなアルゴリズムであってもよい。

前述のようにして、パターンサイズ決定部１０３０によりパターンサイズＳαが決定され、更に、パターン輝度決定部１０４０により輝度が決定された一組の指標パターンの情報は、パターン出力部１０６０へ送られる。パターン出力部１０６０は、受け取った一組の指標パターンの情報に応じて、指標パターンの画像を生成して出力する。指標パターンの画像出力は、例えば紙媒体への印刷や、光による投影等の何れにより行われてもよい。本実施形態では、指標パターンの画像が印刷された紙媒体を体験領域内に配置することや、指標パターンの画像の投影光を体験領域内に投影することにより、現実空間の体験領域への指標パターンの付与が行われる。

図４は、図１のパターンサイズ参考情報入力部１００と情報処理装置１０００によるパターンサイズ参考情報の取得から指標パターンの画像生成及び出力までの処理の流れを示すフローチャートである。以下の説明において、フローチャート内の各ステップＳＴ３００〜ＳＴ３５０をＳＴ３００〜ＳＴ３５０と略記し、これは後述する他のフローチャートにおいても同様とする。図４のフローチャートの処理は、例えば、情報処理装置１０００の管理者等が、情報処理装置１０００に対して指標パターンを生成することを指示したことにより開始する。

図４のフローチャートにおいて、ＳＴ３００では、パターンサイズ参考情報入力部１００は、前述した体験領域に関する情報を含むパターンサイズ参考情報を取得する。ＳＴ３００の後、情報処理装置１０００は、ＳＴ３１０以降の処理を行う。ＳＴ３１０の処理は、情報処理装置１０００のパターン取得部１０１０が行う処理である。

ＳＴ３１０では、パターン取得部１０１０は、パターンサイズ参考情報入力部１００からパターンサイズ参考情報を受け取り、また、情報記憶装置１０２０から元パターンの情報を受け取る。そして、パターン取得部１０１０は、それら取得した情報をパターンサイズ決定部１０３０に送る。Ｓ３１０の後、情報処理装置１０００は、パターンサイズ決定部１０３０にて行われるＳＴ３２０に処理を進める。

ＳＴ３２０では、パターンサイズ決定部１０３０は、パターンサイズ参考情報と元パターンの情報を基に、前述したようにしてパターンサイズＳαを算出する。そして、パターンサイズ決定部１０３０は、パターンサイズＳαに決定された指標パターンの情報とパターンサイズ参考情報等を、パターン輝度決定部１０４０に送る。ＳＴ３２０の後、情報処理装置１０００は、特徴検出閾値取得部１０５０にて行われるＳＴ３３０に処理を進める。

ＳＴ３３０では、特徴検出閾値取得部１０５０は、情報記憶装置１０２０から特徴検出閾値の情報を取得して、その特徴検出閾値の情報をパターン輝度決定部１０４０に送る。ＳＴ３３０の後、情報処理装置１０００は、パターン輝度決定部１０４０にて行われるＳＴ３４０に処理を進める。

ＳＴ３４０では、パターン輝度決定部１０４０は、前述したように特徴検出閾値を基に指標パターンの輝度を決定する。そして、パターン輝度決定部１０４０は、輝度が決定された指標パターンの情報を、パターン出力部１０６０に送る。ＳＴ３４０の後、情報処理装置１０００は、パターン出力部１０６０にて行われるＳＴ３５０に処理を進める。

ＳＴ３５０では、パターン出力部１０６０は、前述のようにパターンサイズと輝度が決定された指標パターンの画像を生成して出力する。ＳＴ３５０の後、情報処理装置１０００は、図４のフローチャートの処理を終了する。

なお、ＳＴ３００とＳＴ３１０の処理の順序は入れ替えられてもよく、また、ＳＴ３２０からＳＴ３４０までの処理の順序も適宜入れ替えられてもよいし、それらが並列して実行されてもよい。

以上説明したように、本実施形態の指標パターンは、現実空間の体験領域に関する情報を含むパターンサイズ参考情報を基に決定されたサイズのパターンであり、且つ、自然特徴を検出する際の特徴検出閾値を基に生成される輝度のパターンとなされている。したがって、本実施形態の指標パターンは、現実空間の体験領域の撮影画像から自然特徴として検出可能であると共に利用者が視認し難いパターンとなっている。また、体験領域に付与された指標パターンは、ＨＭＤの利用者だけでなく、ＨＭＤを使用していない第三者に対しても視認し難いパターンであるため、現実空間の景観が損なわれることもない。

＜第１の実施形態の変形例１＞
第１の実施形態では、最短距離と最長距離に基づく一組のパターンサイズＳαの指標パターンを生成する例を挙げたが、例えば図５に示すような各サイズＳ１〜Ｓ６に対応した複数の指標パターン５０１〜５０６からなるパターンの集合が生成されてもよい。図５に示すような複数の指標パターン５０１〜５０６の集合の場合、指標パターン毎にパターンサイズＳ１〜Ｓ６を決定してもよい。これら各指標パターンのパターンサイズＳ１〜Ｓ６は、前述した最短距離と最長距離、カメラの画角や解像度等に基づく適切なパターンサイズＳαの範囲内に入るサイズとして決定される。

なお、複数の指標パターンのサイズは、図５の例に限るものではなく、体験領域やカメラ等の外部機器の情報に基づく適切なパターンサイズＳαの範囲内であるならば、他のサイズになされてもよい。図５の例においても、前述の第１の実施形態の場合と同様に、指標パターンは、現実空間の体験領域の撮影画像から自然特徴として検出可能であると共に利用者が視認し難いパターンとなる。

＜第１の実施形態の変形例２＞
また、第１の実施形態では一組の指標パターンに対して輝度を決定したが、前述した輝度の決定条件を満たすのであれば、例えば図６に示すように複数の輝度による指標パターン６０１〜６０６からなるパターンの集合として生成されてもよい。なお、図６は、図５で説明した複数のサイズの複数の指標パターンについて、それぞれ輝度を決定した例を示している。図６の例では、指標パターン６０１はＡ領域の輝度が０でＢ領域の輝度が１０、指標パターン６０２はＡ領域の輝度が３０でＢ領域の輝度が４０、指標パターン６０３はＡ領域の輝度が４０でＢ領域の輝度が５０となっている。さらに、指標パターン６０４はＡ領域の輝度が１０でＢ領域の輝度が２０、指標パターン６０５はＡ領域の輝度が２０でＢ領域の輝度が３０、指標パターン６０６はＡ領域の輝度が５０でＢ領域の輝度が６０となっている。図６の例においても、前述同様に、指標パターンは、現実空間の体験領域の撮影画像から自然特徴として検出可能であると共に利用者が視認し難いパターンとなる。

＜第１の実施形態の変形例３＞
第１の実施形態では、パターンサイズ参考情報と特徴検出閾値とに基づいて指標パターンの輝度を決定していたが、パターンが付与される体験領域（例えば、現実の壁や床など）の輝度を考慮して指標パターンの輝度を決定してもよい。

一例として、壁に指標パターンが付与される例を挙げて説明する。この変形例３の場合、情報処理装置１０００は、先ず、指標パターンが付与されることになる現実の壁を撮像した画像を取得して、その撮像画像から壁の輝度を求める。なおこの例の場合、壁を撮像した撮像画像は、パターンサイズ参考情報入力部１００を介して情報処理装置１０００に入力される。現実の壁を撮像する撮像装置は、ＨＭＤのカメラであってもよいし、別途用意されたカメラであってもよい。

また、輝度が求められる領域は、撮像画像内に写っている壁の画像領域の中で、現実の壁に対して実際に指標パターンが付与されることになる位置の周囲の領域となされる。そして、その周囲領域内の輝度の平均値が、壁の輝度として求められる。輝度の平均値を求める処理は、一例として、情報処理装置１０００のパターン輝度決定部１０４０等により行われる。

ここで、求められた壁の輝度が５０であった場合、配置される指標パターンの輝度は、例えば６０に設定される。この変形例３の場合の指標パターンは、前述した領域Ａの輝度又は領域Ｂの輝度を６０としてもよいし、輝度が６０となされた一つの領域のみからなるパターン（一例として正方形等のパターン）であってもよい。

また、指標パターンの輝度は、ユーザが手動で設定してもよいが、ＨＭＤ等に設けられているフィルタ（カメラの撮影画像から指標パターンを検出する画像処理等に使用される検出フィルタ）のパラメータに応じて自動的に設定されてもよい。これは、壁の輝度と指標パターンの輝度との輝度差が、検出フィルタにより検出可能であればよいからである。

指標パターンの輝度を自動的に設定する場合、情報処理装置１０００の情報記憶装置１０２０には、ＨＭＤ等に設けられている検出フィルタのパラメータに関する情報も記憶されている。パターン輝度決定部１０４０は、検出フィルタのパラメータに関する情報を情報記憶装置１０２０から読み出し、そのパラメータに関する情報と、前述のように求めた壁の輝度の情報とを基に、検出フィルタが検出可能な指標パラメータの輝度を決定する。

第１の実施形態の変形例３によれば、指標パターンが配置される現実の壁や床等の輝度も考慮して指標パターンの輝度を決定することにより、ＨＭＤが検出し易い一方で、利用者がより視認し難い指標パターンを実現可能となる。

＜第２の実施形態＞
第２の実施形態では、ＨＭＤのカメラのような入力機器（撮像装置）と、パターン出力部１０６０の印刷装置等のような出力機器とにおける入出力機器間の輝度ずれを考慮することにより、利用者等にとって、より視認し難い指標パターンを生成する例を挙げる。以下の説明では、前述した第１の実施形態の構成等とは異なる部分についてのみ説明する。

図７は、第２の実施形態の指標パターンを生成する情報処理装置１０００の概略構成を示す図である。情報処理装置１０００は、前述した第１の実施形態の情報処理装置１０００の構成に加え、パターン色決定部１０５５を有する。また、第２の実施形態の構成の場合、体験領域画像取得部５０が加えられている。

第２の実施形態において、体験領域画像取得部５０は、後に指標パターンが付与されることになる体験領域が撮像装置により撮像された体験領域画像の情報を取得し、その体験領域画像の情報をパターンサイズ参考情報入力部１００に送る。本実施形態の場合、体験領域画像を取得する撮像装置は、ＨＭＤのカメラである。

パターンサイズ参考情報入力部１００は、体験領域画像取得部５０が取得した体験領域画像の情報を、第１の実施形態で説明したパターンサイズ参考情報に加えて、情報処理装置１０００に送る。パターン取得部１０１０とパターンサイズ決定部１０３０は、第１の実施形態で説明したものと同様であるため、これらの説明は省略する。

第２の実施形態の場合、情報記憶装置１０２０は、前述した元パターン情報と特徴検出閾値に加えて、入出力機器間の輝度差を補正する際に使用される輝度値補正パラメータを記憶している。特徴検出閾値取得部１０５０は、それら特徴検出閾値、輝度値補正パラメータの各情報を取得して、パターン輝度決定部１０４０に送る。

第２の実施形態の場合、パターン輝度決定部１０４０は、パターンサイズ決定部１０３０から、前述のようにしてパターンサイズＳαが決定された指標パターンの情報と、体験領域画像を含むパターンサイズ参考情報とを受け取る。また、パターン輝度決定部１０４０は、特徴検出閾値取得部１０５０から、前述した特徴検出閾値と、入出力機器間の輝度差を補正する際に使用される輝度値補正パラメータとを受け取る。

第２の実施形態の場合のパターン輝度決定部１０４０は、それら受け取った情報に基づいて、指標パターンの輝度を決定する。具体的には、パターン輝度決定部１０４０は、先ず、前述した第１の実施形態で説明したのと同様にして指標パターンの輝度を求める。そして、第２の実施形態の場合、パターン輝度決定部１０４０は、更に、その指標パターンの輝度を、体験領域画像に応じた輝度値補正パラメータにより補正して、指標パターンの輝度として決定する。

ここで、指標パターンは、印刷装置や投影装置等の出力機器を含むパターン出力部１０６０から出力されて体験領域に付与されて、入力機器であるＨＭＤのカメラにより撮影されるものである。このため、パターン出力部１０６０から出力された指標パターンの輝度と、ＨＭＤのカメラによる撮影画像内の指標パターンの輝度とは、それら入出力機器のデバイス特性に依存した値になり、入出力機器の特性による輝度ずれが生じている可能性がある。したがって、第２の実施形態では、入出力機器による指標パターンの輝度ずれを補正するために、パターン輝度決定部１０４０が第１の実施形態と同様に求めた指標パターンの輝度を、体験領域画像に応じた輝度値補正パラメータに基づいて補正する。

輝度値補正パラメータは、事前に生成されたものを用いてもよいし、ＭＲの提供を行う度に生成した輝度値補正パラメータを用いてもよい。輝度値補正パラメータは、例えば、輝度値が所定値に決められた確認用パターンを体験領域に付与し、その確認用パターンを撮影した画像と、確認用パターンの所定の輝度値との間の輝度差に応じたパラメータとして生成することができる。したがって、体験領域画像に応じた輝度値補正パラメータを基に輝度値が補正された指標パターンは、体験領域に付与された場合に、その体験領域の輝度と指標パターンの輝度との輝度差が最小に抑えられたものとなり、利用者等から視認し難いパターンとなる。前述のようにして輝度が決定した指標パターンの情報は、体験領域画像の情報とともにパターン色決定部１０５５に送られる。

パターン色決定部１０５５は、パターン輝度決定部１０４０から受けた指標パターンの輝度と、体験領域画像取得部５０にて取得された体験領域画像の情報とを基に、指標パターンの色を決定する。例えば、図８に示すように、体験領域画像のＲＧＢ成分から色相を画素ごとに算出してヒストグラムを生成し、そのヒストグラムのなかで頻度が最も多い色相を体験領域画像の主となる色相として決定する。そして、パターン色決定部１０５５は、その決定した色相と、指標パターンの輝度とを組み合わせることによる色を、指標パターンの色として決定する。これにより、指標パターンは、体験領域に付与された場合に、利用者等から視認し難いパターンとなる。なお、色相は、一枚の体験領域画像だけでなく、時系列に撮影した複数の体験領域画像を用いて決定してもよい。またここでは、ＲＧＢ成分から色相を求める例を挙げたが、例えばＬａｂ（Ｌａｂ ｃｏｌｏｒ ｓｐａｃｅ）色空間など別の手法により色相が求められてもよい。

図９は、第２の実施形態の図７のパターンサイズ参考情報入力部１００と情報処理装置１０００によるパターンサイズ参考情報の取得から指標パターンの画像生成及び出力までの処理の流れを示すフローチャートである。図９のフローチャートの処理は、例えば、情報処理装置１０００の管理者等が、情報処理装置１０００に対して指標パターンを生成することを指示したことにより開始する。ここでは、前述した第１の実施形態の図４のフローチャートとは異なる処理のみについて説明する。

図９のフローチャートにおいて、ＳＴ３００では、パターンサイズ参考情報入力部１００は、体験領域画像の情報を含むパターンサイズ参考情報を取得する。ＳＴ３３０では、特徴検出閾値取得部１０５０は、特徴検出閾値と前述した輝度値補正パラメータを取得する。ＳＴ３４０では、パターン輝度決定部１０４０は、前述した特徴検出閾値と輝度値補正パラメータとを基に、指標パターンの輝度を決定する。ＳＴ３４０の後、情報処理装置１０００は、パターン色決定部１０５５にて行われるＳＴ３４５に処理を進める。ＳＴ３４５では、パターン色決定部１０５５は、指標パターンの輝度と体験領域画像を基に、指標パターンの色を決定する。ＳＴ３４５の後、情報処理装置１０００は、パターン出力部１０６０にて行われるＳＴ３５０に処理を進める。ＳＴ３５０の後、情報処理装置１０００は、図９のフローチャートの処理を終了する。

なお、ＳＴ３００とＳＴ３１０の処理の順序は入れ替えられてもよく、また、ＳＴ３２０からＳＴ３４５までの処理の順序も適宜入れ替えられてもよいし、それらが並列して実行されてもよい。

以上説明したように、第２の実施形態によれば、入出力機器における輝度ずれを考慮した輝度値補正パラメータを基に輝度値を補正し、その補正後の輝度値と体験領域画像の色相に基づいた色の指標パターンを生成可能となっている。第２の実施形態の場合の指標パターンは、現実空間の体験領域の撮影画像から自然特徴として検出可能であり、指標パターンの模様だけではなく、指標パターンと体験領域との境界においても自然特徴の検出が可能となっている。また、第２の実施形態の指標パターンは、利用者やその他の第三者から視認し難いパターンとなっているため、現実空間の景観が損なわれることはない。

＜第２の実施形態の変形例１＞
第２の実施形態では、パターン色決定部１０５５は色相のヒストグラムを用いて、体験領域画像の主となる色相を決定していたが、体験領域画像の主となる色相の決定方法は前述の例に限るものではない。例えば、体験領域画像を色相により領域分割し、一番大きな領域の色相を、体験領域画像の主となる色相に決定してもよい。

＜コンピュータによる実現例＞
前述した第１の実施形態の図１や第２の実施形態の図７の各部は、ハードウェア構成又はソフトウェア構成の何れでも実現可能である。例えば、コンピュータのＣＰＵに、前述した第１又は第２の実施形態のフローチャートの処理に係る情報処理プログラムを実行させてもよい。

図１０は、本実施形態の情報処理プログラムを実行可能なＣＰＵを備えたコンピュータの構成例を示す図である。図１０において、ＣＰＵ４００１は、ＲＡＭ４００２やＲＯＭ４００３に格納されているプログラムやデータを用いてコンピュータ全体の制御を行い、また、前述した第１，第２の実施形態の処理に係る情報処理プログラムを実行する。なお、図１０のコンピュータは、第１，第２の実施形態の処理に係る情報処理プログラムを実行する場合だけでなく、ＭＲを利用者に提供するための処理も可能である。したがって、図１０では、コンピュータにＨＭＤ４１００も接続されている例を挙げている。

ＲＡＭ４００２は、外部記憶装置４００７や記憶媒体ドライブ４００８からロードされた本実施形態の情報処理プログラムを含む各種プログラムやデータ等を一時的に記憶するための領域を有する。また、ＲＡＭ４００２は、Ｉ／Ｆ（インターフェース）４００９を介して外部機器から受信したデータを一時的に記憶するためのエリアをも有する。この例の場合、外部機器は、前述したように生成した指標パターンの画像を印刷する印刷装置や投影装置、前述した体験領域画像を取得するカメラ等である。さらに、ＲＡＭ４００２は、ＣＰＵ４００１が各処理を実行する際に用いるワークエリアも有する。すなわち、ＲＡＭ４００２は、各種エリアを適宜提供することができる。ＲＯＭ４００３は、コンピュータの設定データやブートプログラムなどを格納している。

キーボード４００４、マウス４００５は、操作入力装置の一例であり、コンピュータのユーザが操作することで、各種の指示をＣＰＵ４００１に対して入力することができる。前述したパターンサイズ参考情報のうちユーザにより入力が可能な情報は、これらキーボード４００４やマウス４００５を介してユーザより入力される。表示部４００６は、ディスプレイにより構成されており、ＣＰＵ４００１による処理結果を画像や文字などで表示することができる。

外部記憶装置４００７は、ハードディスクドライブ装置に代表される大容量情報記憶装置である。外部記憶装置４００７には、ＯＳ（オペレーティングシステム）や、情報処理装置が行うものとして説明した前述した本実施形態に係る各処理をＣＰＵ４００１に実行させるための情報処理プログラムやデータが格納されている。本実施形態に係る情報処理プログラムには、前述した第１又は第２の実施形態のフローチャートの各処理を実行するためのプログラムが含まれている。また、外部記憶装置４００７に記憶されているデータには、前述した情報記憶装置１０２０に記憶されているような元パターンや特徴検出閾値、輝度値補正パラメータのデータ、その他の各種データが含まれている。

外部記憶装置４００７に保存されているプログラムやデータは、ＣＰＵ４００１による制御に従って、適宜、ＲＡＭ４００２にロードされる。ＣＰＵ４００１は、このロードされたプログラムやデータを用いて前述した第１又は第２の実施形態で説明した各処理を実行することにより、情報処理装置１０００にて行われた各処理を実行する。

記憶媒体ドライブ４００８は、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記憶媒体に記録されたプログラムやデータを読み出したり、それら記憶媒体にプログラムやデータを書き込んだりする。なお、外部記憶装置４００７に保存されているものとして説明したプログラムやデータの一部若しくは全部は、この記憶媒体に記録されてもよい。記憶媒体ドライブ４００８が記憶媒体から読み出したプログラムやデータは、外部記憶装置４００７やＲＡＭ４００２に対して出力される。

Ｉ／Ｆ４００９は、前述したカメラ等の外部機器を接続するためのアナログビデオポートやＩＥＥＥ１３９４等のデジタル入出力ポート、また、前述した印刷装置や投影装置に指標パターンの画像を出力するＤＶＩポートなどにより構成される。また、Ｉ／Ｆ４００９を介して受信したデータは、ＲＡＭ４００２や外部記憶装置４００７に入力することも可能となされている。なお、パターンサイズ参考情報は、Ｉ／Ｆ４００９を介して取得されてもよい。また、図１０のコンピュータがＭＲを利用者に提供する場合、Ｉ／Ｆ４００９には、ＨＭＤ４１００が接続される。バス４０１０は、上述した各部を繋ぐバスである。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

５０ 体験領域画像取得部、１００ パターンサイズ参考情報入力部、１０００ 情報処理装置、１０１０ パターン取得部、１０２０ 情報記憶装置、１０３０ パターンサイズ決定部、１０４０ パターン輝度決定部、１０５０ 特徴検出閾値取得部、１０５５ パターン色決定部、１０６０ パターン出力部

Claims (20)

1. 画像の特徴を検出する際の閾値に基づいて、現実空間の体験領域に指標として付与されるパターンの輝度を決定する決定手段と、
   前記決定された輝度の前記パターンの画像を生成する生成手段と、
   を有することを特徴とする情報処理装置。
2. 前記決定手段は、前記画像の輝度による特徴を検出する際の輝度の閾値に基づいて、前記パターンの輝度を決定することを特徴とする請求項１に記載の情報処理装置。
3. 前記決定手段は、前記画像の輝度勾配による特徴を検出する際の輝度差の閾値に基づいて、前記パターンの模様の輝度差を決定し、
   前記生成手段は、前記決定した輝度差を有する模様の前記パターンの画像を生成することを特徴とする請求項２に記載の情報処理装置。
4. 前記決定手段は、前記パターンが付与される現実空間の体験領域の輝度を基に、前記パターンの輝度を決定することを特徴とする請求項１に記載の情報処理装置。
5. 前記決定手段は、前記現実空間の体験領域の中で前記パターンが付与される位置の周囲の領域の輝度の平均値を基に、前記パターンの輝度を決定することを特徴とする請求項４に記載の情報処理装置。
6. 前記決定手段は、前記パターンが付与される現実空間の体験領域の輝度と、前記現実空間の体験領域の撮影画像から前記パターンを検出するフィルタのパラメータとを基に、前記パターンの輝度を決定することを特徴とする請求項４又は５に記載の情報処理装置。
7. 前記決定手段は、前記現実空間の撮影画像と前記輝度とに基づいて、前記パターンの色を決定し、
   前記生成手段は、前記決定された色の前記パターンの画像を生成することを特徴とする請求項１乃至６の何れか１項に記載の情報処理装置。
8. 前記決定手段は、前記撮影画像の各画素の色相のヒストグラムから前記撮影画像の主となる色相を求め、前記主となる色相と前記輝度とに基づいて前記パターンの色を決定することを特徴とする請求項７に記載の情報処理装置。
9. 前記決定手段は、前記撮影画像の各画素の色相により前記撮影画像を色相ごとの領域に分割し、前記分割された領域の大きさを基に、前記撮影画像の主となる色相を求め、前記主となる色相と前記輝度とに基づいて前記パターンの色を決定することを特徴とする請求項７に記載の情報処理装置。
10. 前記決定手段は、前記分割された領域の中で最も大きい領域の色相を、前記撮影画像の主となる色相とすることを特徴とする請求項９に記載の情報処理装置。
11. 前記決定手段は、前記現実空間を撮影した複数の体験領域画像から前記主となる色相を求め、前記色相と前記輝度とに基づいて前記パターンの色を決定することを特徴とする請求項８乃至１０の何れか１項に記載の情報処理装置。
12. 前記決定手段は、前記現実空間の体験領域と前記現実空間を撮影する撮像装置との間の最短距離と最長距離とを基に、前記パターンのサイズを決定することを特徴とする請求項１乃至１１の何れか１項に記載の情報処理装置。
13. 前記決定手段は、更に前記撮像装置の画角と解像度とに基づいて、前記パターンのサイズを決定することを特徴とする請求項１２に記載の情報処理装置。
14. 前記決定手段は、前記閾値に基づいて前記決定した輝度を補正パラメータにより補正し、
    前記生成手段は、前記補正された後の輝度の前記パターンの画像を生成することを特徴とする請求項１乃至１３の何れか１項に記載の情報処理装置。
15. 前記決定手段は、複数のパターンについて、パターンごとに前記サイズを決定し、
    前記生成手段は、前記パターンごとにサイズが決定された前記複数のパターンが集合した画像を生成することを特徴とする請求項１２乃至１４の何れか１項に記載の情報処理装置。
16. 前記決定手段は、前記複数のパターンについて、パターンごとに前記輝度を決定することを特徴とする請求項１５に記載の情報処理装置。
17. 前記現実空間の体験領域に付与される前記パターンは、前記現実空間を撮影する撮像装置の位置と姿勢を決める際の指標となされることを特徴とする請求項１乃至１６の何れか１項に記載の情報処理装置。
18. 現実空間の体験領域に付与するパターンの画像を生成する情報処理装置が実行する情報処理方法であって、
    画像の特徴を検出する際の閾値に基づいて、現実空間の体験領域に指標として付与されるパターンの輝度を決定し、
    前記決定された輝度のパターンの画像を生成する
    ことを特徴とする情報処理方法。
19. コンピュータを、請求項１乃至１７の何れか１項に記載の情報処理装置の各手段として機能させるためのプログラム。
20. 請求項１乃至１７の何れか１項に記載の情報処理装置と、
    撮像手段により現実空間を撮像した画像と、コンピュータグラフィックにより生成した仮想世界の画像とを、融合させた複合現実感の画像を表示手段に表示させる表示装置と、
    を有することを特徴とする情報処理システム。

Images