WO2012147702A1

WO2012147702A1 - ヘッドマウントディスプレイ

Info

Publication number: WO2012147702A1
Application number: PCT/JP2012/060890
Authority: WO
Inventors: 健吾 ▲高▼濱
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2011-04-28
Filing date: 2012-04-23
Publication date: 2012-11-01
Anticipated expiration: 2013-10-28
Also published as: US20140055353A1; US9024872B2

Abstract

　使用者が頭部に装着するための装着部（２）には、検出対象物（２１）に所定パターンの赤外光を照射する赤外光照射部（５）と、検出対象物（２１）によって反射された上記赤外光を検出する赤外光検出部（６）と、が所定間隔を有して備えられており、赤外光検出部（６）によって得られた検出対象物（２１）によって反射された所定パターンから、検出対象物（２１）の３次元座標を算出する。

Description

ヘッドマウントディスプレイ

　本発明は、検出対象物の３次元座標の算出が可能なヘッドマウントディスプレイに関するものである。

　近年、インターネットなどの発達に伴い、あらゆる情報の電子化がなされ、電子ブックやスマートフォンなどの携帯型端末機を用いて、例えば、電子書籍や各種の電子化された情報などを見るのが一般的になっている。

　電子ブックやスマートフォンなどの携帯型端末機は、テーブルなどに置いて使用する場合もあるが、例えば、寝ころんで楽な姿勢で使用する場合も多い。

　図２１に図示されているように、電子ブックやスマートフォンなどの携帯型端末機９０を寝ころんで使用する場合、携帯型端末機９０を一方の手で保持しなければならず、携帯型端末機９０に所定の入力操作を行うためには、携帯型端末機９０を使用者の近くに持ってきて、他方の手で入力操作を行う必要がある。

　したがって、携帯型端末機９０の製品の重さによって、手に疲れが生じたり、携帯型端末機９０を使用者９１の近くに持ってきて、入力操作を行う必要があるため不便であった。

　そこで、特許文献１に記載されているような手位置動作検出手段を備えたヘッドマウントディスプレイが注目されている。

　図２２は、特許文献１に記載の手位置動作検出手段を備えたヘッドマウントディスプレイの概略構成を示す図である。

　図示されているように、ヘッドマウントディスプレイ１００は、頭部装着部１１０と、画像生成部１２０と、撮像装置１３１・１３２と、制御部１４０と、から構成されている。

　頭部装着部１１０は、ユーザの頭部に装着できるように眼鏡のフレーム形状に形成されている。

　画像生成部１２０は、頭部装着部１１０の側前部に取り付けられており、画像を生成し、当該画像をユーザに視認させるものである。

　そして、イメージセンサや結像光学系等から構成される撮像装置１３１・１３２は、一定間隔をおいて頭部装着部１１０の前部に取り付けられている。

　制御部１４０は、ヘッドマウントディスプレイ１００を制御するものであり、画像生成部１２０と撮像装置１３１・１３２とに接続されている。

　上記構成によれば、画像生成部１２０が、奥行き方向（ユーザ視線の手前から遠い方向）に積層配置したように見える複数の仮想パネル画像を生成し、ユーザの手（指）１５０が、ある仮想パネルに、一定時間以上とどまった場合には、当該仮想パネルに対応するコマンドが実行されるようになっている。

　すなわち、左右の撮像装置１３１・１３２から得られるユーザの手（指）１５０の画像から、制御部１４０は、ユーザの手（指）１５０の奥行き方向の座標を検出し、ある仮想パネルにユーザの手（指）１５０が一定時間以上とどまったか否かを判断するようになっている。

　このような構成とすることにより、携帯型端末機を手に持つことなく、所定情報の画像を見ることができるとともに、入力操作も行うことができる装置を実現することができる。

　また、さらに特許文献１には、ユーザの手（指）１５０に、ユーザの手の動作（例えば、指を曲げた等）を検出するセンサー１６０を取り付けた構成についても開示されている。

　上記構成によれば、ユーザの手の動作を検出して、入力操作を行う装置を実現することができる。

　そして、特許文献２には、対象物の３次元マッピングに用いることができる光マッピングシステムについて記載されている。

　図２３は、特許文献２に記載の光マッピングシステムの概略構成を示す図である。

　図示されているように、光マッピングシステムには、対象物２１３上にランダムスペックルパターン（望ましくは一定パターン）を投影するように構成された照明ユニット２１２と、画像化装置２１４と、が備えられている。

　照明ユニット２１２には、光源ユニット２１２Ａと、光源ユニット２１２Ａからの照明光の光路内に収容され、光源出力に非常に近接していることが望ましい一定ランダムスペックルパターンの発生器２１２Ｂと、が備えられている。

　一方、画像化装置２１４には、対象物２１３からの反射光を検出できるように、画像レンズ２１４Ｂを備えた光検出器２１４Ａ（ピクセルマトリクス、例えばＣＣＤ）が備えられている。

　そして、制御システム２１６は、画像化装置２１４の出力に接続されており、制御システム２１６には、メモリ２１６Ａと、データの処理および解析を行うプロセッサ２１６Ｂと、入力／出力装置２１６Ｃ（例えば、表示装置のようなデータ提示部）と、が備えられている。

　画像化装置２１４は、照明領域の光応答（光反射）を検出して、画像データを生成するように構成され、上記画像データは、投影スペックルパターンを有する対象物２１３を示しており、上記パターンの参照画像に対する対象物２１３の画像におけるパターンのずれを示している。

　上記構成によれば、対象物２１３の３次元マップの実時間再構成が可能になると記載されている。

日本国公開特許公報「特開２０１０－１４６４８１号公報（２０１０年７月１日公開）」日本国公開特許公報「特表２００９－５１１８９７号公報（２００９年３月１９日公開）」

　しかしながら、図２２に示す特許文献１に開示されている構成は、アクティブな照明を備えてない構成であるため、寝室などの暗いところでは、ユーザの手（指）１５０の位置を検出できないという問題がある。

　また、図２３に示す特許文献２に開示されている光マッピングシステムは、制御システム２１６に備えられた入力／出力装置２１６Ｃ（表示装置）とは、独立しているため、上記光マッピングシステムに備えられた画像化装置２１４は、入力／出力装置２１６Ｃ（表示装置）が動いたとしても、この動きに応じた画像データを生成することができない。

　したがって、使用者の姿勢変化などによって、その向きが頻繁に変わることが想定される表示装置であるヘッドマウントディスプレイにおいては、上記光マッピングシステムを用いて、対象物の３次元座標を検出するのは困難である。

　本発明は、上記の問題点に鑑みてなされたものであり、寝室などの暗いところにおいても、検出対象物の３次元座標の算出が可能であり、ヘッドマウントディスプレイを装着した使用者が首などを動かしても、この動きに応じた検出対象物の３次元座標の算出が可能なヘッドマウントディスプレイを提供することを目的とする。

　本発明のヘッドマウントディスプレイは、上記の課題を解決するために、使用者に画像を認識させる表示部を備え、検出対象物の３次元座標を算出できるヘッドマウントディスプレイであって、上記使用者が頭部に装着するための装着部には、上記検出対象物に所定パターンの赤外光を照射する赤外光照射部と、上記検出対象物によって反射された上記赤外光を検出する赤外光検出部と、が所定間隔を有して備えられており、制御部には、上記３次元座標の算出部が備えられており、上記算出部は、上記赤外光検出部によって得られた上記検出対象物によって反射された所定パターンから、互いに直交する第１の軸方向および第２の軸方向の座標値を算出し、上記検出対象物に照射される所定パターンと上記赤外光検出部によって得られた上記検出対象物によって反射された所定パターンとのずれ量から、上記第１の軸方向および上記第２の軸方向と直交し、かつ、上記使用者の視線方向である第３の軸方向の座標値を算出することを特徴としている。

　上記構成によれば、赤外光照射部と赤外光検出部とが備えられているため、例えば、寝室などの暗いところにおいても、検出対象物の３次元座標の算出が可能となる。

　また、上記構成によれば、赤外光照射部と赤外光検出部とが上記使用者が頭部に装着するための装着部に備えられているため、例えば、上記使用者が首などを動かしても、この動きに応じた検出対象物の３次元座標の算出が可能となる。

　したがって、上記構成によれば、寝室などの暗いところにおいても、検出対象物の３次元座標の算出が可能であり、ヘッドマウントディスプレイを装着した使用者が首などを動かしても、この動きに応じた検出対象物の３次元座標の算出が可能なヘッドマウントディスプレイを実現することができる。

　本発明のヘッドマウントディスプレイは、以上のように、上記使用者が頭部に装着するための装着部には、上記検出対象物に所定パターンの赤外光を照射する赤外光照射部と、上記検出対象物によって反射された上記赤外光を検出する赤外光検出部と、が所定間隔を有して備えられており、制御部には、上記３次元座標の算出部が備えられており、上記算出部は、上記赤外光検出部によって得られた上記検出対象物によって反射された所定パターンから、互いに直交する第１の軸方向および第２の軸方向の座標値を算出し、上記検出対象物に照射される所定パターンと上記赤外光検出部によって得られた上記検出対象物によって反射された所定パターンとのずれ量から、上記第１の軸方向および上記第２の軸方向と直交し、かつ、上記使用者の視線方向である第３の軸方向の座標値を算出する構成である。

　それゆえ、寝室などの暗いところにおいても、検出対象物の３次元座標の算出が可能であり、ヘッドマウントディスプレイを装着した使用者が首などを動かしても、この動きに応じた検出対象物の３次元座標の算出が可能なヘッドマウントディスプレイを実現することができる。

本発明の一実施の形態のヘッドマウントディスプレイの概略構成を示す図である。図１に示した本発明の一実施の形態のヘッドマウントディスプレイの各部分を説明するための図である。本発明の一実施の形態のヘッドマウントディスプレイにおいて、三角測量の原理に用いて奥行き情報を求める方法を説明するための図である。本発明の一実施の形態のヘッドマウントディスプレイにおいて、三角測量の原理に用いて奥行き情報を求める方法を説明するための図である。本発明の一実施の形態のヘッドマウントディスプレイにおいて、行われるパターンマッチング方法を説明するための図である。本発明の一実施の形態のヘッドマウントディスプレイにおいて、近距離に検出対象物が存在する場合、そのＸ軸方向の座標とＹ軸方向の座標とを求める原理を説明するための図である。本発明の一実施の形態のヘッドマウントディスプレイにおいて、用いることができる入力操作の一例を示す図である。本発明の一実施の形態のヘッドマウントディスプレイにおいて、用いることができる入力操作の他の一例を示す図である。図８に示す入力操作の判定を行う方式の一例を示す図である。本発明の一実施の形態のヘッドマウントディスプレイの使用様子を示す図である。本発明の他の一実施の形態のヘッドマウントディスプレイの概略構成を示す図である。図１１に示した本発明の他の一実施の形態のヘッドマウントディスプレイの各部分を説明するための図である。本発明の他の一実施の形態のヘッドマウントディスプレイにおいて、ＭＲモードを実現した場合の一例を示す図である。本発明の他の一実施の形態のヘッドマウントディスプレイにおいて、ツール装着モードを実現した場合の一例を示す図である。本発明の他の一実施の形態のヘッドマウントディスプレイにおいて、右眼用撮像装置から取り込まれた右眼用のカラー画像ｆ（ｎ_１，ｎ_２）と左眼用撮像装置から取り込まれた左眼用のカラー画像ｇ（ｎ_１，ｎ_２）との大きさを示す図である。本発明の他の一実施の形態のヘッドマウントディスプレイにおいて、位相限定相関法に基づく画像マッチングを行う際に用いられるハニング窓の１例を示す図である。本発明の他の一実施の形態のヘッドマウントディスプレイにおいて、用いることができる重み付け関数としての方形型の低域通過フィルタＨ（ｋ_１，ｋ_２）のスペクトルとこれに対応する位相限定相関関数とを示す図である。本発明の他の一実施の形態のヘッドマウントディスプレイにおいて、用いることができる位相限定相関関数と座標点との関係を示す図である。本発明の他の一実施の形態のヘッドマウントディスプレイにおいて、用いることができる位相限定相関関数の１番目のピーク中心よりサブピクセルの移動量δを推定する方法を示す図である。図１９に示す位相限定相関関数の２番目のピーク中心よりサブピクセルの移動量δを推定する方法を示す図である。従来の携帯型端末機の使用様子を示す図である。従来のヘッドマウントディスプレイの概略構成を示す図である。従来の光マッピングシステムの概略構成を示す図である。

　以下、図面に基づいて本発明の実施の形態について詳しく説明する。ただし、この実施の形態に記載されている構成部品の寸法、材質、形状、その相対配置などはあくまで一実施形態に過ぎず、これらによってこの発明の範囲が限定解釈されるべきではない。

　なお、以下の実施の形態においては、３Ｄ用のヘッドマウントディスプレイを前提に説明をするが、これに限定されることはない。

　〔実施の形態１〕
　図１は、ヘッドマウントディスプレイ１（Ｈｅａｄ　Ｍｏｕｎｔｅｄ　Ｄｉｓｐｌａｙ；ＨＭＤ）の概略構成を示す図である。

　図示されているように、ヘッドマウントディスプレイ１には、使用者が頭部に装着するため、眼鏡のフレーム形状に形成されている装着部２と、上記使用者に画像を認識させる表示部として、右眼用画像表示部３および左眼用画像表示部４と、が備えられている。

　そして、装着部２には、検出対象物２１に所定パターンの赤外光を照射する赤外光照射部５と検出対象物２１によって反射された上記赤外光を検出する赤外光検出部６とが、所定間隔を有して設けられている。

　さらに、装着部２には、右眼用画像表示部３および左眼用画像表示部４と赤外光照射部５と赤外光検出部６などを制御する制御ユニット７（制御部）が備えられているとともに、上記使用者の右耳にかかる部分（右側のつる部分）には右耳用イヤホン８が、上記使用者の左耳にかかる部分（左側のつる部分）には左耳用イヤホン９が、それぞれ設けられている。

　なお、図示されているように、図中の右方向がＸ軸方向、図中の上方向がＹ軸方向、上記Ｘ軸方向と上記Ｙ軸方向と直交し、図中の手前方向がＺ軸方向である。

　以下、図２に基づいて、右眼用画像表示部３、左眼用画像表示部４、赤外光照射部５、赤外光検出部６および制御ユニット７の各構成についてさらに詳しく説明する。
（右眼用画像表示部および左眼用画像表示部の構成）
　図２に図示されているように、右眼用画像表示部３には、バックライトとして白色ＬＥＤ１０ａが備えられており、白色ＬＥＤ１０ａから出射された光は、集光レンズ１１ａを介して、液晶表示パネル１２ａに入射され、後述するディスプレイコントローラから液晶表示パネル１２ａに入力される画像データに応じて、液晶表示パネル１２ａの各画素における光の透過率が制御され、白色ＬＥＤ１０ａから出射された光は、液晶表示パネル１２ａとプリズム１３ａとレンズ１４ａとを介して、所定画像として使用者の右眼に認識されるようになっている。

　同様に、左眼用画像表示部４には、バックライトとして白色ＬＥＤ１０ｂが備えられており、白色ＬＥＤ１０ｂから出射された光は、集光レンズ１１ｂを介して、液晶表示パネル１２ｂに入射され、後述するディスプレイコントローラから液晶表示パネル１２ｂに入力される画像データに応じて、液晶表示パネル１２ｂの各画素における光の透過率が制御され、白色ＬＥＤ１０ｂから出射された光は、液晶表示パネル１２ｂとプリズム１３ｂとレンズ１４ｂとを介して、所定画像として使用者の左眼に認識されるようになっている。

　なお、本実施の形態においては、液晶表示パネル１２ａ・１２ｂとして、プロジェクターなどの投射型表示装置において一般的によく用いられている高温ポリシリコンＴＦＴ液晶表示パネルを用いており、バックライトとして、白色ＬＥＤ１０ａ・１０ｂを用いているため、カラーフィルターを備えた高温ポリシリコンＴＦＴ液晶表示パネルを用いた。

　本実施の形態において用いることができる液晶表示パネルとしては、これに限定されず、バックライトとして赤色光源、緑色光源および青色光源をそれぞれ備え、上記それぞれの光源用としてカラーフィルターを備えてない高温ポリシリコンＴＦＴ液晶表示パネル３枚を用いた構成とすることもできる。

　また、液晶表示パネル以外にも、ＬＣＯＳ（Ｌｉｑｕｉｄ　ｃｒｙｓｔａｌ　ｏｎ　ｓｉｌｉｃｏｎ）や有機ＥＬディスプレイＯＬＥＤ（Ｏｒｇａｎｉｃ　Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）、電界放出型ディスプレイＦＥＤ（Ｆｉｅｌｄ　Ｅｍｉｓｓｉｏｎ　Ｄｉｓｐｌａｙ）、表面伝導型電子放出素子ディスプレイＳＥＤ（Ｓｕｒｆａｃｅ－ｃｏｎｄｕｃｔｉｏｎ　Ｅｌｅｃｔｒｏｎ－ｅｍｉｔｔｅｒ　Ｄｉｓｐｌａｙ）などを用いることもできる。
（赤外光照射部）
　そして、ヘッドマウントディスプレイ１には、検出対象物２１である指や検出対象物２１の背景物に対して、赤外光（ＩＲ光）を照射するための赤外光照射部５が備えられている。

　赤外光照射部５は、赤外光ＬＥＤ１５と、赤外光ＬＥＤ１５から出射された光を均一にするための拡散板１６と、ランダムに形成されたドットパターンを有するマイクロレンズアレイ部１７と、投射レンズ１８と、を備えている。

　赤外光ＬＥＤ１５から出射された光は、拡散板１６によって均一化され、マイクロレンズアレイ部１７と投射レンズ１８とを介して、ドットパターン（所定パターン）の赤外光が検出対象物２１や検出対象物２１の背景物に照射されるようになっている。

　なお、本実施の形態においては、ランダムドットパターンが設けられたマイクロレンズアレイ部１７を用いているが、マイクロレンズアレイ部１７に設けるパターンは、特に限定されない。
（赤外光検出部）
　そして、図示されているように、ヘッドマウントディスプレイ１には、検出対象物２１や検出対象物２１の背景物から反射された赤外光を検出するため、赤外光検出部６として赤外光カメラが備えられている。

　本実施の形態においては、赤外光検出部６として、赤外光領域の光のみを選択的に通す赤外光フィルターを有する２次元的に配列された受光素子を備えたＣＣＤ１９と、集光レンズ２０と、を備えた赤外光カメラを用いているが、これに限定されることはなく、受光素子が上記赤外光領域に感度を有するのであれば、例えば、上記受光素子が２次元的に配列されたＣＭＯＳやフォトトランジスタなどを備えた赤外光カメラを用いることもできる。
（制御ユニット）
　図示されているように、制御ユニット７の相関器２２には、赤外光検出部６で得られた画像信号をデジタル化した画像データと、メモリ２３から基準パターン（マイクロレンズアレイ部１７に設けられたランダムドットパターン）の画像データと、が入力されるようになっている。

　相関器２２においては、赤外光検出部６から入力された画像データと、メモリ２３から入力された基準パターンの画像データと、を詳しくは後述する三角測量の原理を用いて、両データのパターンのマッチングをとることによって、奥行きの大きさによって、赤外光カメラ上の本来の位置からのパターンの位置ずれが発生することを利用する。

　すなわち、相関器２２においては、赤外光検出部６から入力された画像データとメモリ２３から入力された基準パターンの画像データとの何れか一方のデータを所定量ずつずらしながら、他方のデータとの相関計算を行い、相関値が極値となるずれ量を求める。

　なお、本実施の形態においては、上記相関計算は、小さい画素ブロックのサイズ単位で計算を行っているが、これに限定されることはない。

　そして、奥行き情報復元部２４においては、相関器２２において求めたずれ量に基づいて、検出対象物２１や検出対象物２１の背景物の奥行き情報（ヘッドマウントディスプレイ１の使用者の視線方向であるＺ軸方向の座標値）を算出し、ＣＰＵ２６に供給する。

　すなわち、相関器２２から奥行き情報復元部２４には、上記奥行き情報とともに、赤外光検出部６から入力された画像データも供給され、奥行き情報復元部２４では、それぞれの上記画像データに上記奥行き情報が加えられた奥行き画像データが生成され、ＣＰＵ２６に供給されるようになっている。

　なお、ＬＥＤ駆動回路２５はＣＰＵ２６によって制御され、赤外光ＬＥＤ１５を駆動するためのものである。

　以下、図３、図４および図５に基づいて、両データのパターンのマッチングをとることによって、上記奥行き情報を求める方法について具体的に説明する。

　図３および図４は、ヘッドマウントディスプレイ１において、三角測量の原理を用いて上記奥行き情報を求める方法を説明するための図である。

　図３は、赤外光照射部５のマイクロレンズアレイ部（未図示）に設けられたドットパターン中、中心からθだけ右側に傾いているある一つのパターンから出射した赤外光の経路上に、検出対象物が存在する場合において、その奥行き情報を求める方法を説明するための図である。

　図示されているように、赤外光照射部５のある一つのドットパターンから出射された赤外光の中心はθだけ右側に傾いており、赤外光検出部６としての赤外光カメラの中心はθだけ左側に傾いている。

　赤外光照射部５の上記所定のドットパターンから出射された赤外光と、赤外光検出部６としての赤外光カメラの中心との交点Ｚ（交点Ｚは、赤外光照射部５と赤外光検出部６とを結ぶ直線からの最短距離でＬだけ離れている）の位置を、ヘッドマウントディスプレイ１の使用者の視線方向であるＺ軸方向の基準点とする。

　検出対象物が基準点である交点Ｚの位置にある時においては、検出対象物に照射される上記中心からθだけ右側に傾いているある一つのパターン近傍のドットパターンと、上記検出対象物によって反射され、赤外光検出部６としての赤外光カメラによって得られる上記中心からθだけ右側に傾いているある一つのパターンに対応するパターン近傍のドットパターンとは、同じパターンとなり、中心に対してずれは生じない。

　一方、検出対象物が、中心から赤外光照射部５側であり、交点ＺよりΔＺ分だけ手前の位置Ｚ’にある時には、下記式（１）が成立する。

　そして、上記式（１）をΔＺについて、整理すると下記式（２）となる。

　上記式（２）において、θは、赤外光照射部５および赤外光検出部６の設け方によって定まる設定値であり、Δθは後述する両データのパターンマッチングによって得られ、Ｉは赤外光照射部５と赤外光検出部６との間の距離の半値であり、ＬはＩ／ｔａｎθから求めることができるので、上記式（２）を用いて、検出対象物の奥行き情報ΔＺ（ヘッドマウントディスプレイ１の使用者の視線方向であるＺ軸方向の座標値）を求めることができる。

　図４は、赤外光照射部５のマイクロレンズアレイ部（未図示）に設けられたドットパターン中、中心から２θ－φだけ右側に傾いているある一つのパターンから出射した赤外光の経路上に、検出対象物が存在する場合において、その奥行き情報を求める方法を説明するための図である。

　図示されているように、赤外光照射部５のある一つのドットパターンから出射された赤外光の中心は２θ－φだけ右側に傾いており、赤外光検出部６としての赤外光カメラの中心はφだけ左側に傾いている。

　検出対象物が基準点である交点Ｚの位置にある時においては、検出対象物に照射される上記中心から２θ－φだけ右側に傾いているある一つのパターン近傍のドットパターンと、上記検出対象物によって反射され、赤外光検出部６としての赤外光カメラによって得られる上記中心から２θ－φだけ右側に傾いているある一つのパターンに対応するパターン近傍のドットパターンとは、中心からθ－φだけずれている。

　一方、検出対象物が、中心から赤外光検出部６側であり、交点ＺよりΔＺ分だけ手前の位置Ｚ’にある時には、下記式（３）が成立する。

　そして、上記式（３）をΔＺについて、整理すると下記式（４）となる。

　上記式（４）において、２θ－φは、赤外光照射部５の設け方によって定まる設定値であり、φは、赤外光検出部６の設け方によって定まる設定値であり、Δφは後述する両データのパターンマッチングによって得られ、Ｉは赤外光照射部５と赤外光検出部６との間の距離の半値であり、Ｌは２Ｉ／（ｔａｎφ＋ｔａｎ（２θ－φ））から求めることができるので、上記式（４）を用いて、検出対象物の奥行き情報ΔＺ（ヘッドマウントディスプレイ１の使用者の視線方向であるＺ軸方向の座標値）を求めることができる。

　図５は、Δφを求めるために行われるパターンマッチング方法を説明するための図である。

　図５の（ａ）の左側には、検出対象物に照射される赤外光照射部５から出射されるドットパターンＩＰ（ｉ、ｊ）が図示されており、図５（ａ）の右側には、上記検出対象物によって反射され、赤外光検出部６としての赤外光カメラによって得られるカメラでの撮像パターンＣＰ（ｋ＋ｉ、ｊ）が図示されている。

　そして、図示されているように、基準となる赤外光照射部５から出射されるドットパターンＩＰ（ｉ、ｊ）の所定領域を、赤外光検出部６としての赤外光カメラによって得られた撮像パターンＣＰ（ｋ＋ｉ、ｊ）に対して、左右方向に少しずつずらしながら、すなわち、ｋ値を変化させながら下記式（５）に示す相関値Ｒ（ｋ）を求めた。

　なお、本実施の形態においては、小さい画素ブロックのサイズ単位で計算を行うため、
赤外光照射部５から出射されるドットパターンＩＰ（ｉ、ｊ）の所定領域を基準とし、撮像パターンＣＰ（ｋ＋ｉ、ｊ）に対して、左右方向に少しずつずらし、相関値Ｒ（ｋ）を求めたが、撮像パターンＣＰ（ｋ＋ｉ、ｊ）の所定領域を基準とし、赤外光照射部５から出射されるドットパターンＩＰ（ｉ、ｊ）に対して、左右方向に少しずつずらし、相関値Ｒ（ｋ）を求めてもよい。

　図５の（ｂ）に図示されているように、ｋ値を－Ｉ～＋Ｉの範囲で変化させながら、赤外光照射部５から出射されるドットパターンＩＰ（ｉ、ｊ）と撮像パターンＣＰ（ｋ＋ｉ、ｊ）との相関が最大となる、すなわち、相関値Ｒ（ｋ）が最小値となるｋ＝ｋ’を求める。ｋ’は、上述したΔθまたはΔφに対応する。

　以上のようにして、検出対象物２１や検出対象物２１の背景物の奥行き情報ΔＺを求めることができる。

　そして、図２に図示されているように、ＣＰＵ２６においては、情報復元部２４から供給された奥行き情報ΔＺが加えられた奥行き画像データを、ヘッドマウントディスプレイ１から約１ｍ未満の近距離の画像データと、約１ｍ以上の遠距離の画像データとに分離する。

　上記近距離の画像データとして分離された奥行き画像データは、ヘッドマウントディスプレイ１への入力操作の検出に用いられ、上記遠距離の画像データとして分離された奥行き画像データは、ヘッドマウントディスプレイ１の右眼用画像表示部３および左眼用画像表示部４に背景画像として表示されるようになっている。

　図６は、ヘッドマウントディスプレイ１から約１ｍ未満の近距離に検出対象物２１としての指が存在する場合、そのＸ軸方向の座標とＹ軸方向の座標とを求める原理を説明するための図である。

　図６の（ａ）および図６の（ｂ）は、赤外光照射部５から出射されたドットパターンが、それぞれ異なる位置にある指が存在する箇所のみで反射され、赤外光検出部６としての赤外光カメラによって得られた撮像パターンを図示している。なお、図６の（ａ）および図６の（ｂ）においては、背景物は赤外光検出部６によって検出されない程、遠くに存在するものとする。

　したがって、指が存在する箇所に相当するドットパターンが存在する箇所のＸ軸方向（図中左右方向）の座標とＹ軸方向（図中上下方向）の座標とを求めればよい。

　また、ヘッドマウントディスプレイ１から約１ｍ以上の遠距離に存在する検出対象物２１についても、同様にＸ軸方向の座標とＹ軸方向の座標とを求めることができる。

　ＧＰＵ２７においては、ＣＰＵ２６から送られた上記遠距離の画像データとして分離されたドットパターンからなる奥行き画像データに基づいて、検出対象物２１の輪郭線を示す画像を作成し、ディスプレイコントローラ２９・３０に供給し、ヘッドマウントディスプレイ１の右眼用画像表示部３および左眼用画像表示部４に背景画像として表示するようになっている。

　検出対象物２１の輪郭線を示す画像の作成においては、上記遠距離の画像データとして分離されたドットパターンからなる奥行き画像データは、離散値であるため、輪郭線を得るためには、上記離散値の離散の程度がステップ分解能以下である必要があるが、上記離散値の離散の程度がステップ分解能より大きい場合には、線形補間などを用いて、等距離になる輪郭線を得ることができる。

　同様に、ＧＰＵ２７においては、ＣＰＵ２６から送られた上記近距離の画像データとして分離されたドットパターンからなる奥行き画像データに基づいて、検出対象物２１である例えば、指の輪郭線を示す画像を作成し、再び、ＣＰＵ２６に送る。

　そして、図７の（ａ）に図示されているように、ＣＰＵ２６は、メモリ３１に格納されている指の骨格モデル２１ｂに関するデータを上記指の輪郭線２１ｃを示す画像にフィッティングし、指先の先端部分２１ａのＸ，Ｙ、Ｚ座標を求めることができる。

　このように、指の骨格モデルを用いて、指先の先端部分のＸ，Ｙ、Ｚ座標を求めることにより、ヘッドマウントディスプレイ１において、より精度よく入力操作を行うことができる。なお、上記入力操作の一例については、後述する。

　また、通信部３３を介して取得した例えば、電子書籍などのコンテンツ画像は、ＣＰＵ２６を介してＧＰＵ２７に送られ、ＧＰＵ２７において３Ｄ用の画像（右眼用画像および左眼用画像）が作成され、上記３Ｄ用の画像は、必要に応じて３Ｄメモリ２８に格納された後、ディスプレイコントローラ２９・３０に供給されるようになっている。

　以上のようにして、電子書籍などのコンテンツ画像をヘッドマウントディスプレイ１の使用者に立体画像（３Ｄ画像）として認識させることができる。

　なお、電子書籍などのコンテンツ画像は、予めメモリ３１に格納されているもの用いることもできる。

　そして、図２に図示されているように、制御ユニット７には、ＣＰＵ２６と接続されており、電源スイッチやモード設定スイッチやその他の操作スイッチなどからなるＳＷ部３２（スイッチ部）と、ＣＰＵ２６と接続されている各種のソフトウェア類が格納されているソフトウェア貯蔵部３８とが備えられている。

　ソフトウェア貯蔵部３８には、例えば、座標検出アルゴリズムなどが格納されている。

　Ａｕｄｉｏ部３４は、通信部３３を介して取得された音声データやヘッドマウントディスプレイ１に備えられたマイク（未図示）から入力された音声データを解析し、イヤホン８・９から出力するようになっている。

　なお、電源供給部３５は、制御ユニット７の各パーツに電源を供給するようになっている。

　図７の（ｂ）、図７の（ｃ）および図７の（ｄ）は、具体的な入力操作の一例を示す図である。

　上記入力操作は、検出対象物２１である例えば、指の先端座標の時間的変化パターンによって何種類かのジェスチャー認識を行うことにより実現できる。

　図７の（ｂ）は、コンテンツ画像として表示される仮想ブックの左上の付近で、指を左から右に動かせば、ページ進みジェスチャーとして認識され、仮想ブックのページがめくられる画像とともに、新しいページの画像が表示される一方、仮想ブックの右上の付近で、指を右から左へ動かすとページ戻しジェスチャーとして認識され、仮想電子ブックのページがめくられる画像とともに、以前のページの画像が表示される場合を図示している。

　図７の（ｃ）は、仮想ブックの真ん中付近で指を左から右へ動かすと仮想ブックが、初期背景座標の中で右へ移動する場合を図示している。

　また、図７の（ｄ）は、仮想ブックの上で、親指と人指し指を広げるように操作すると、親指と人指し指の中心の座標を中心にして仮想ブックそのものの大きさが大きくなる場合を図示している。

　図示してないが、仮想ブックの上で、逆に親指と人指し指の距離を縮めると、仮想ブックは小さくなる。

　上記入力操作は、これらに限定されることはなく、例えば、図８に示すように、検出対象物２１である例えば、指の仮想ブックへのタッチ有無で入力操作を行うこともできる。

　図８においては、検出対象物２１である指が仮想ブックに近づく方向がＺ軸方向である。

　図９は、検出対象物２１である指の先端のＺ軸方向の座標に基づいて、指の仮想ブックへのタッチの有無を判定する方式の一例を示す図である。

　図９の（ａ）は、検出対象物２１である指の先端のＺ軸方向の座標の時間的変化を示しており、Ｚ軸方向の座標が所定の閾値以上である場合、指の仮想ブックへのタッチがあったと判定する方式を示している。

　すなわち、指の先端がヘッドマウントディスプレイ１から閾値以上離れると、タッチがあったと判定する方式である。

　なお、上記閾値は、上記仮想ブックを表示するＺ軸方向の座標に基づいて、適宜設定することができる。

　また、図９の（ｂ）は、検出対象物２１である指の先端のＺ軸方向の座標の時間的変化を示しており、Ｚ軸方向の座標が、設定した２つの閾値１と閾値２との間に所定時間の間
、存在する場合、指の仮想ブックへのタッチがあったと判定する方式を示している。

　また、図９の（ｃ）は、検出対象物２１である指の先端のＺ軸方向の座標を時間で微分した値が所定時間の間、所定の閾値以上である場合、指の仮想ブックへのタッチがあったと判定する方式を示している。

　なお、ヘッドマウントディスプレイ１において、指の仮想ブックへのタッチの有無を判定する方式は、図９に示した方式に限定されることはなく、例えば、図９の（ａ）と図９の（ｃ）とを組合わせた方式や図９の（ｂ）と図９の（ｃ）とを組合わせた方式を用いてもよい。

　また、以下で説明するように、ＣＰＵ２６においては、ｎフレーム間に変化したヘッドマウントディスプレイ１の使用者の姿勢変化量を算出することにより、コンテンツ画像である仮想ブックを上記使用者の姿勢変化量に応じて表示させることができる。

　ＸＹＺ軸の回転をθ、φ、γ、ＸＹＺ軸の平行移動をＸ，Ｙ，Ｚとすると、各回転行列Ｒｘ（θ）、Ｒｙ（φ）およびＲｚ（γ）と平行移動行列Ｔ（Ｘ，Ｙ，Ｚ）とは、下記式（６）～式（９）で表すことができる。

　下記式（１０）において、初期の背景画像〔ｘｙｚ〕は（ｘｉ，ｙｉ，ｚ０（ｘｉ，ｙｉ））で表現され、ｎフレーム後の背景画像〔ｘ’ｙ’ｚ’〕は（ｘｉ，ｙｉ，ｚｎ（ｘｉ，ｙｉ））で表現されるので、ｎフレーム間に変化したヘッドマウントディスプレイ１の使用者の姿勢変化量Ｒｘ（θ）Ｒｙ（φ）Ｒｚ（γ）Ｔ（Ｘ，Ｙ，Ｚ）を逆算することができる。

　そして、ｎフレーム間に変化したヘッドマウントディスプレイ１の使用者の姿勢変化量Ｒｘ（θ）Ｒｙ（φ）Ｒｚ（γ）Ｔ（Ｘ，Ｙ，Ｚ）の逆行列をＭ（θ，φ，γ，Ｘ，Ｙ，Ｚ）とすると、下記式（１１）が成り立つ。

　ヘッドマウントディスプレイ１の右眼用画像表示部３および左眼用画像表示部４に、所定の背景画像、例えば、初期の背景画像が常に表示される場合、コンテンツ画像である仮想ブックの初期座標値を上記使用者の姿勢変化量Ｒｘ（θ）Ｒｙ（φ）Ｒｚ（γ）Ｔ（Ｘ，Ｙ，Ｚ）分、変換させて表示することにより、上記仮想ブックのみが上記使用者の姿勢が変化した分だけついてくるモード（ツール装着モード）を実現することができる。

　一方で、ヘッドマウントディスプレイ１の右眼用画像表示部３および左眼用画像表示部４に、上記使用者の姿勢変化に応じて、次々と変わる背景画像が表示される場合、上記使用者の姿勢変化量Ｒｘ（θ）Ｒｙ（φ）Ｒｚ（γ）Ｔ（Ｘ，Ｙ，Ｚ）の逆行列をＭ（θ，φ，γ，Ｘ，Ｙ，Ｚ）を用いて、コンテンツ画像である仮想ブックのみを初期座標値に固定して表示させることができる。したがって、上記使用者の姿勢変化に応じて、背景画像が次々と変わるが、コンテンツ画像である仮想ブックは、所定の位置に置かれているように表示されるモード（ＭＲモード；Ｍｉｘｅｄ　Ｒｅａｌｉｔｙモード）を実現することができる。

　ヘッドマウントディスプレイ１においては、使用者がツール装着モードとＭＲモードとを選択できるようにしている。

　図１０に図示されているように、ヘッドマウントディスプレイ１を装着した使用者は、寝ころんで楽な姿勢で所定情報の画像を見ることができるとともに、寝室などの暗いところにおいても、入力操作を行うことができる。

　〔実施の形態２〕
　次に、図１１から図２０に基づいて、本発明の第２の実施形態について説明する。本実施の形態のヘッドマウントディスプレイ１ａには、よりリアリティ性を向上させるために、背景画像をカラー画像で取り込むための右眼用撮像装置３６と左眼用撮像装置３７とが備えられている点において、実施の形態１とは異なっており、その他の構成については実施の形態１において説明したとおりである。説明の便宜上、上記の実施の形態１の図面に示した部材と同じ機能を有する部材については、同じ符号を付し、その説明を省略する。

　図１１は、右眼用撮像装置３６（カラーカメラ）と左眼用撮像装置３７（カラーカメラ）とを備えたヘッドマウントディスプレイ１ａの概略構成を示す図である。

　図示されているように、ヘッドマウントディスプレイ１ａの装着部２であり、赤外光検出部６と隣接する箇所には右眼用撮像装置３６が備えられており、赤外光照射部５と隣接する箇所には左眼用撮像装置３７が備えられている。

　そして、右眼用撮像装置３６と左眼用撮像装置３７とは、両眼視差を有する右眼用画像と左眼用画像とを取り込めるように、所定距離を離して設けられている。

　図１２は、ヘッドマウントディスプレイ１ａの各部分を説明するための図である。

　図示されているように、右眼用撮像装置３６から取り込まれた右眼用のカラー画像と左眼用撮像装置３７から取り込まれた左眼用のカラー画像とは、制御ユニット７ａ内の３Ｄメモリ２８に格納され、ＣＰＵ２６は、これらの右眼用のカラー画像と左眼用のカラー画像とから、詳しくは後述する位相限定相関法を用いて、これらの右眼用のカラー画像と左眼用のカラー画像との奥行き情報を算出するようになっている。

　そして、ＧＰＵ２７においては、ＣＰＵ２６で算出した上記背景画像の奥行き情報を基にして、３Ｄ用画像として、ＧＰＵ２７で作成された仮想ブックや仮想神殿などのコンテンツ画像の右眼用のカラー画像が上記背景画像の右眼用のカラー画像より手前側に位置するように、コンテンツ画像の右眼用のカラー画像と上記背景画像の右眼用のカラー画像とを透明合成させた右眼用のカラー画像を作成し、ディスプレイコントローラ２９ａに供給するようになっている。

　同様に、ＧＰＵ２７においては、ＣＰＵ２６で算出した上記背景画像の奥行き情報を基にして、３Ｄ用画像として、ＧＰＵ２７で作成された仮想ブックや仮想神殿などのコンテンツ画像の左眼用のカラー画像が上記背景画像の左眼用のカラー画像より手前側に位置するように、コンテンツ画像の左眼用のカラー画像と上記背景画像の左眼用のカラー画像とを透明合成させた左眼用のカラー画像を作成し、ディスプレイコントローラ３０ａに供給するようになっている。

　したがって、ヘッドマウントディスプレイ１ａの使用者には、仮想ブックや仮想神殿などのコンテンツ画像が、上記背景画像の手前に位置するように認識させることができる。

　なお、上記透明合成法以外に、上記コンテンツ画像と上記背景画像とが重なっている部分では、上記コンテンツ画像のみが優先的に見えるようにしてもよい。

　図１３は、ヘッドマウントディスプレイ１ａにおいて、ＭＲモードを実現した場合の一例を示している。

　図１３の（ａ）は、右眼用撮像装置３６および左眼用撮像装置３７から取り込まれ、ヘッドマウントディスプレイ１ａの使用者に認識される３Ｄ用の背景画像のカラー画像を示しており、この３Ｄ用の背景画像のカラー画像は、上記使用者の姿勢変化に応じて次々と変わる。

　図１３の（ｂ）は、上記３Ｄ用の背景画像のカラー画像上に、コンテンツ画像である仮想神殿を手前側に重ねて表示させ、上記コンテンツ画像のみが優先的に見えるようにした場合を示している。

　上記実施の形態１で既に説明したように、ＭＲモードにおいては、上記使用者の姿勢変化に応じて、背景画像が次々と変わるが、コンテンツ画像である仮想神殿は、所定の位置に置かれているように表示させることができる。

　したがって、このようなモードによれば、周囲のリアルタイムな状況を知りながら、仮想コンテンツを楽しむことができる。

　一方、図１４は、ヘッドマウントディスプレイ１ａにおいて、ツール装着モードを実現した場合の一例を示している。

　図１４の（ａ）および図１４の（ｂ）に図示されているように、ヘッドマウントディスプレイ１ａの使用者の姿勢が変化しても、上記使用者に認識される背景画像は、常に同じであるが、コンテンツ画像である仮想ブックのみが上記使用者の姿勢が変化した分だけついてくるようにすることができる。

　なお、図１４の（ａ）および図１４の（ｂ）においては、上記背景画像の手前側に、上記コンテンツ画像を透明合成させた場合を示しており、上記コンテンツ画像を通して、後ろの背景画像をある程度見ることができるようになっている。

　ヘッドマウントディスプレイ１ａにおいては、使用者がＭＲモードとツール装着モードとを選択できるようにしているため、使い勝手がよい。
（位置限定相関法）
　以下、図１５から図２０に基づいて、右眼用撮像装置３６から取り込まれた右眼用のカラー画像と左眼用撮像装置３７から取り込まれた左眼用のカラー画像とから、より精度の高い奥行き情報を算出するために本実施の形態において用いられる位相限定相関法について説明する。

　なお、本実施の形態においては、より精度の高い奥行き情報を算出するため位相限定相関法を用いているが、この他の相関法を用いてもよいのはもちろんである。

　図１５は、ある同一フレームにおいて、右眼用撮像装置３６から取り込まれた右眼用のカラー画像ｆ（ｎ_１，ｎ_２）と左眼用撮像装置３７から取り込まれた左眼用のカラー画像ｇ（ｎ_１，ｎ_２）との大きさを示す図である。

　右眼用のカラー画像ｆ（ｎ_１，ｎ_２）と左眼用のカラー画像ｇ（ｎ_１，ｎ_２）とは、微小に位置ずれした同一画像であり、その大きさは図示されているようにＮ_１×Ｎ_２である。

　そして、定式化の便宜上、離散空間のインデックスをｎ１＝－Ｍ_１，・・・，Ｍ_１およびｎ２＝－Ｍ_２，・・・，Ｍ_２とし、画像の大きさをＮ_１＝２Ｍ_１＋１およびＮ_２＝２Ｍ_２＋１とすると、画像ｆ（ｎ_１，ｎ_２）および画像ｇ（ｎ_１，ｎ_２）を２次元離散フーリエ変換したＦ（ｋ_１，ｋ_２）およびＧ（ｋ_１，ｋ_２）を、下記式（１２）および下記式（１３）のように得ることができる。

　上記式（１２）および上記式（１３）においては、ｋ_１＝－Ｍ_１，・・・，Ｍ_１，ｋ_２＝－Ｍ_２，・・・，Ｍ_２，Ｗ_Ｎ１＝ｅ^{－ｊ２π/Ｎ１}，Ｗ_Ｎ２＝ｅ^{－ｊ２π/Ｎ２}である。

　上記式（１２）において、Ａ_Ｆ（ｋ_１，ｋ_２）は、画像ｆ（ｎ_１，ｎ_２）の振幅成分であり、ｅ^{ｊθｆ（ｋ１，ｋ２）}は、信号の位相成分であり、上記式（１３）において、Ａ_Ｇ（ｋ_１，ｋ_２）は、画像ｇ（ｎ_１，ｎ_２）の振幅成分であり、ｅ^{ｊθｇ（ｋ１，ｋ２）}は、信号の位相成分である。

　そして、上記各画像のフーリエ変換の各周波数での絶対値で正規化した相関値Ｒ（ｋ_１，ｋ_２）は、下記式（１４）のように定義される。

　上記式（１４）は、画像ｆ（ｎ_１，ｎ_２）および画像ｇ（ｎ_１，ｎ_２）が同じ場合には、全て１（完全相関）となる。

　上記式（１４）を逆フーリエ変換して下記式（１５）で表される位相限定相関関数ｒ（ｎ_１，ｎ_２）を得ることができる。

　一方、連続空間で定義された画像の場合においては、以下のようにして位相限定相関関数を得ることができる。

　連続空間で定義された元画像をＳｃ（ｘ_１，ｘ_２）で表した場合、上記連続空間でδ_１，δ_２だけシフトした画像はＳｃ（ｘ_１－δ_１，ｘ_２－δ_２）で表される。

　元画像の離散サンプルを右眼用撮像装置３６から取り込まれた右眼用のカラー画像ｆ（ｎ_１，ｎ_２）とし、シフトした画像を左眼用撮像装置３７から取り込まれた左眼用のカラー画像ｇ（ｎ_１，ｎ_２）とすると、画像ｆ（ｎ_１，ｎ_２）は、下記式（１６）のように定義され、画像ｇ（ｎ_１，ｎ_２）は、下記式（１７）のように定義される。

　そして、このときの位相限定相関関数は、下記式（１８）となる。

　なお、上記式（１８）における位相限定相関法では、帯域制限により１≦αとなる。

　また、画像サイズＮ_１，Ｎ_２が十分に大きい場合は、位相限定相関関数は、下記式（１９）に示すように近似できる。

　また、画像ｆ（ｎ_１，ｎ_２）および画像ｇ（ｎ_１，ｎ_２）を２次元離散フーリエ変換したＦ（ｋ_１，ｋ_２）およびＧ（ｋ_１，ｋ_２）は、画像が循環することを仮定しているので、画像端で不連続となり、折り返し歪が発生する。

　したがって、本実施の形態においては、上記折り返し歪の影響を低減するため、下記式（２０）に示すようなハニング窓関数を画像ｆ（ｎ_１，ｎ_２）および画像ｇ（ｎ_１，ｎ_２）に乗じた。

　図１６は、位相限定相関法に基づく画像マッチングを行う際に用いられるハニング窓の１例であり、折り返し歪の影響を低減するための空間フィルタを示す。

　図１６は、上記式（２０）を視覚化したもので、そのオフセットは（０，０）が（１６，１６）に対応している。

　なお、右眼用撮像装置３６や左眼用撮像装置３７などのカメラで撮影した自然画像では、低周波数領域に比べて高周波数領域におけるＳ／Ｎ比が低いことが予測されるため、本実施の形態においては、重み付け関数として、方形型の低域通過フィルタを用いることで、信頼性の低い高周波成分を除去し、高精度化を実現している。

　下記式（２１）に示すように、重み付け関数としての方形型の低域通過フィルタＨ（ｋ_１，ｋ_２）は、ｋ_１が０～Ｕ_１であり、ｋ_２が０～Ｕ_２であるときには１となり、その他のときには０となる。

　なお、Ｕ_１およびＵ_２はそれぞれ０≦Ｕ_１≦Ｍ_１および０≦Ｕ_２≦Ｍ_２を満たす整数である。

　そして、上記式（１９）に方形型の低域通過フィルタＨ（ｋ_１，ｋ_２）を適用すると、
下記式（２２）のように表される。

　上記式（２２）において、Ｖ_１＝２Ｕ_１＋１で、Ｖ_２＝２Ｕ_２＋１である。

　なお、図１７の（ａ）は、重み付け関数としての方形型の低域通過フィルタＨ（ｋ_１，ｋ_２）のスペクトルを示しており、図１７の（ｂ）は、これに対応する位相限定相関関数を示している。

　そして、上記式（２２）に示す位相限定相関関数を１次元相関ピークモデルに基づく評価式（Ｐｅａｋ　Ｅｖａｌｕａｔｉｏｎ　Ｆｏｒｍｕｌａ：ＰＥＦ）で書き直すと下記式（２３）となる。

　図１８は、上記式（２３）に示す位相限定相関関数と座標点との関係を示す図である。

　図示されているように、点ｎ＝ｐに着目し、さらにこの点ｐから±ｄ（ｄは自然数）だけ離れた点ｎ＝ｐ＋ｄおよびｎ＝ｐ－ｄを考えると、この３点における位相限定相関関数の値ｒ（ｎ－ｄ）、ｒ（ｎ）、ｒ（ｎ＋ｄ）の間には、下記式（２４）の関係が成り立つ。

　そして、サブピクセルの移動量δは下記式（２５）となる。

　以下、複数（Ｉ組）の３点組より最小２乗法にて、ピーク位置を算出する方法について説明する。

　Ｉ組の３点組を下記式（２６）とすると、Ｌ個の方程式が得られる。

　そして、下記式（２７）に示すサブピクセルの移動量δの最適値を求めるためには、下記式（２８）に示す２乗誤差を最小にすればよい。

　上記式（２８）をδで変分して０とおくと、下記式（２９）を得ることができる。

　図１９の（ａ）から図１９の（ｄ）は、上記位相限定相関関数の１番目のピーク中心よりサブピクセルの移動量δを推定する方法を示す図であり、図２０の（ａ）から図２０の（ｄ）は、上記位相限定相関関数の２番目のピーク中心よりサブピクセルの移動量δを推定する方法を示す図である。

　以下、本実施の形態において、制御ユニット７ａ内で行われるサブピクセルの移動量δを推定する方法について具体的に説明する。

　本実施の形態においては、制御ユニット７ａ内のＣＰＵ２８で、少し位置ずれした画像ｆ（ｎ_１，ｎ_２）と画像ｇ（ｎ_１，ｎ_２）とに、上記式（２０）に示すハニング窓関数をかけて、画像ｆｗ（ｎ_１，ｎ_２）と画像ｇｗ（ｎ_１，ｎ_２）とを生成する。

　そして、画像ｆｗ（ｎ_１，ｎ_２）と画像ｇｗ（ｎ_１，ｎ_２）とをフーリエ変換し、上記式（１２）に示すＦ（ｋ_１，ｋ_２）と、上記式（１３）に示すＧ（ｋ_１，ｋ_２）と、を求める。

　それから、上記式（１４）に基づいて、Ｆ（ｋ_１，ｋ_２）とＧ（ｋ_１，ｋ_２）との係数の絶対値を正規化してＲ（ｋ_１，ｋ_２）を生成する。

　そして、Ｒ（ｋ_１，ｋ_２）を逆フーリエ変換して、位相限定相関関数ｒ（ｎ_１，ｎ_２）を得て、図１９に図示されているように、位相限定相関関数ｒ（ｎ_１，ｎ_２）の１番目のピークの位置を求めｐ_１に対応させ、図２０に図示されているように、位相限定相関関数ｒ（ｎ_１，ｎ_２）の２番目のピークの位置を求めｐ_ｌ＋１に対応させる。

　それから、図１９におけるｄ_１，ｄ_２，ｄ_３・・・ｄ_ｌおよび図２０におけるｄ_ｌ＋１，ｄ_ｌ＋２，ｄ_ｌ＋３・・・ｄ_２ｌをそれぞれ１，２，３・・・ｌとし、上記式（２５）に基づいて、２ｌ個のｕ（ｐ_ｉ，ｄ_ｉ），ｖ（ｐ_ｉ，ｄ_ｉ）を求める。

　最後に、上記式（２９）に基づいて、Ｕ，Ｖベクトルを定義し、サブピクセルの移動量δを求め、奥行き情報を算出する。

　本発明のヘッドマウントディスプレイにおいては、上記制御部は、上記第３の軸方向の座標値が所定値未満である上記検出対象物の座標値の所定期間の間の変化に基づいて、入力操作の種類を判断することが好ましい。

　上記構成によれば、上記制御部は、上記第３の軸方向の座標値が所定値未満である上記検出対象物、すなわち、上記ヘッドマウントディスプレイから比較的近距離に存在する上記検出対象物は、入力操作を行うための検出対象物と判断し、このような検出対象物の座標値の所定期間の間の変化に基づいて、入力操作の種類を判断するようになっている。

　したがって、入力操作を行うことができるヘッドマウントディスプレイを実現することができる。

　本発明のヘッドマウントディスプレイにおいては、上記第３の軸方向の座標値が所定値未満である上記検出対象物は上記使用者の指であって、上記指の座標値は、上記指によって反射された所定パターンに基づいて作成された上記指の輪郭線を示す画像に、指の骨格画像をフィッティングさせて得られる画像における指先の座標値であることが好ましい。

　上記構成によれば、上記使用者が、特別な入力手段を用いずに、指を用いて入力操作を行う場合においても、精度の高い入力操作を行うことができる。

　本発明のヘッドマウントディスプレイにおいて、上記制御部は、第１の時期に上記赤外光検出部によって得られた上記第３の軸方向の座標値が所定値以上である上記検出対象物によって反射された所定パターンに基づいて作成された上記検出対象物の輪郭線を示す画像を、背景画像として上記表示部に表示するとともに、上記第１の時期に上記赤外光検出部によって得られた所定パターンと、所定期間後である第２の時期に得られた上記検出対象物によって反射された所定パターンとから上記使用者の姿勢変化量を算出し、上記表示部にコンテンツ画像を上記姿勢変化量分移動させて表示してもよい。

　上記構成によれば、上記制御部は、第１の時期に上記赤外光検出部によって得られた上記第３の軸方向の座標値が所定値以上である、すなわち、上記ヘッドマウントディスプレイから比較的遠距離に存在する上記検出対象物は、背景として認識するようになっている。

　そして、上記第１の時期に上記赤外光検出部によって得られた上記第３の軸方向の座標値が所定値以上である上記検出対象物によって反射された所定パターンに基づいて作成された上記検出対象物の輪郭線を示す画像を、背景画像として上記表示部に常に表示するようになっている。

　したがって、上記使用者が、例えば、首を動かしたりするなど姿勢を変化させても、上記使用者は、常に同じ背景画像を見ることができる。

　そして、上記第１の時期に上記赤外光検出部によって得られた所定パターンと、所定期間後である第２の時期に得られた上記検出対象物によって反射された所定パターンとから上記使用者の姿勢変化量を算出し、上記表示部に表示するコンテンツ画像のみを上記姿勢変化量分移動させて表示することができる。

　上記構成によれば、使用者の姿勢が変わっても、上記表示部には常に同じ背景画像が表示され、上記表示部に表示されるコンテンツ画像のみが上記使用者の姿勢変化量に応じて、位置を変えて表示されるモードを実現できる。

　本発明のヘッドマウントディスプレイにおいて、上記制御部は、上記赤外光検出部によって得られた上記第３の軸方向の座標値が所定値以上である上記検出対象物によって反射された所定パターンに基づいて作成された上記検出対象物の輪郭線を示す画像を、順次的に背景画像として上記表示部に表示するとともに、第１の時期に上記赤外光検出部によって得られた所定パターンと、所定期間後である第２の時期に得られた上記検出対象物によって反射された所定パターンとから上記使用者の姿勢変化量を算出し、上記表示部にコンテンツ画像を上記姿勢変化量とは逆方向の変化量分移動させて表示させてもよい。

　上記使用者が、ヘッドマウントディスプレイを装着していない場合においては、上記使用者の姿勢の変化に応じて、上記使用者の目に見える背景は次々と変わる。

　上記構成によれば、ヘッドマウントディスプレイを装着していても、装着していない場合のように、上記使用者の姿勢の変化に応じて、上記使用者の目に上記表示部を介して見える背景は次々と変わるようにすることができる。

　一方、上記表示部に表示されるコンテンツ画像は、上記使用者の姿勢変化量とは逆方向の変化量分移動させて表示されるようになっているため、上記コンテンツ画像は、次々と変わる背景画像の所定箇所に固定されているようにすることができる。

　上記構成によれば、上記使用者の姿勢の変化に応じて、次々と変わる背景画像に対して、上記コンテンツ画像を次々と変わる上記背景画像の所定箇所に固定させて表示されるモードを実現できる。

　本発明のヘッドマウントディスプレイにおいて、上記表示部には、左眼用画像を表示する左眼用画像表示部と、右眼用画像を表示する右眼用画像表示部と、が備えられており、上記装着部には、上記背景画像の左眼用画像を取り込む左眼用撮像装置と上記背景画像の右眼用画像を取り込む右眼用撮像装置とが、所定間隔を有して備えられており、上記制御部は、上記背景画像および上記コンテンツ画像の左眼用画像を上記左眼用画像表示部に、上記背景画像および上記コンテンツ画像の右眼用画像を上記右眼用画像表示部に、それぞれ所定間隔で交互に表示する構成であってもよい。

　上記構成によれば、上記背景画像および上記コンテンツ画像を上記使用者に、奥行き感を有する立体画像で認識させることができるので、さらにリアル感を増大させたヘッドマウントディスプレイを実現することができる。

　本発明のヘッドマウントディスプレイにおいて、上記制御部は、上記背景画像の左眼用画像と右眼用画像とから相関法によって、奥行き情報を求め、上記奥行き情報に基づいて、上記背景画像と上記コンテンツ画像との合成を行うことが好ましい。

　本発明のヘッドマウントディスプレイにおいて、上記相関法は、位相限定相関法であることが好ましい。

　上記構成によれば、例えば、位相限定相関法などの相関法を用いて求めた上記背景画像の奥行き情報に基づいて、上記背景画像と上記コンテンツ画像との合成画像を生成することができるので、リアル感を増大させたヘッドマウントディスプレイを実現することができる。

　また、上記相関法として、位相限定相関法を用いた場合には、より精度の高い奥行き情報を得ることができる。

　本発明のヘッドマウントディスプレイにおいて、上記背景画像と上記コンテンツ画像とは、上記使用者が上記コンテンツ画像を介して、上記背景画像を見ることができるように合成されていることが好ましい。

　上記構成によれば、上記使用者が上記コンテンツ画像を介して、上記背景画像を見ることができるので、上記使用者は上記コンテンツ画像と上記背景画像とを同時に楽しむことができる。

　本発明のヘッドマウントディスプレイにおいて、上記左眼用撮像装置と上記右眼用撮像装置とは、カラー画像を取り込むことができるカラー撮像装置であることが好ましい。

　上記構成によれば、さらにリアル感を増大させたヘッドマウントディスプレイを実現することができる。

　本発明のヘッドマウントディスプレイの上記制御部は、上記第３の軸方向の座標値が所定値未満である上記検出対象物の上記第１の軸方向および上記第２の軸方向の座標値の所定期間の間の変化に基づいて、上記表示部に表示されるコンテンツ画像に対して、拡大、縮小、移動および画像変換の何れか１つの操作を行うかを選定し、上記検出対象物の上記第３の軸方向の座標値の所定期間の間の変化に基づいて、上記検出対象物の上記表示部に表示されるコンテンツ画像へのタッチ有無を判断し、タッチ有と判断された場合に、上記表示部に表示されるコンテンツ画像に対して上記操作を行った後に表示する構成であってもよい。

　上記構成によれば、上記制御部は、上記第３の軸方向の座標値が所定値未満である上記検出対象物の上記第１の軸方向および上記第２の軸方向の座標値の所定期間の間の変化に基づいて、上記表示部に表示されるコンテンツ画像に対して、拡大、縮小、移動および画像変換などを行う操作の種類を決定し、上記検出対象物の上記第３の軸方向の座標値の所定期間の間の変化に基づいて、上記表示部に表示されるコンテンツ画像に対して上記操作を行うかを決定するようになっている。

　したがって、比較的精度の高い入力操作を行うことができるヘッドマウントディスプレイを実現することができる。

　本発明は上記した各実施の形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施の形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施の形態についても本発明の技術的範囲に含まれる。

　本発明は、ヘッドマウントディスプレイなどに好適に用いることができる。

　１、１ａ　　　　　　　　　　ヘッドマウントディスプレイ
　２　　　　　　　　　　　　　装着部
　３　　　　　　　　　　　　　右眼用画像表示部
　４　　　　　　　　　　　　　左眼用画像表示部
　５　　　　　　　　　　　　　赤外光照射部
　６　　　　　　　　　　　　　赤外光検出部
　７　　　　　　　　　　　　　制御ユニット（制御部）
　８　　　　　　　　　　　　　右耳用イヤホン
　９　　　　　　　　　　　　　左耳用イヤホン
　１０ａ、１０ｂ　　　　　　　白色ＬＥＤ
　１１ａ、１１ｂ　　　　　　　集光レンズ
　１２ａ、１２ｂ　　　　　　　液晶表示パネル
　１３ａ、１３ｂ　　　　　　　プリズム
　１４ａ、１４ｂ　　　　　　　レンズ
　１５　　　　　　　　　　　　赤外光ＬＥＤ
　１６　　　　　　　　　　　　拡散板
　１７　　　　　　　　　　　　マイクロレンズアレイ部
　１８　　　　　　　　　　　　投射レンズ
　１９　　　　　　　　　　　　ＣＣＤ
　２０　　　　　　　　　　　　集光レンズ
　２１　　　　　　　　　　　　検出対象物
　２２　　　　　　　　　　　　相関器
　２３、３１　　　　　　　　　メモリ
　２４　　　　　　　　　　　　奥行き情報復元部
　２５　　　　　　　　　　　　ＬＥＤ駆動回路
　２６　　　　　　　　　　　　ＣＰＵ
　２７　　　　　　　　　　　　ＧＰＵ
　２８　　　　　　　　　　　　３Ｄメモリ
　２９、２９ａ、３０、３０ａ　ディスプレイコントローラ
　３２　　　　　　　　　　　　ＳＷ部
　３３　　　　　　　　　　　　通信部
　３４　　　　　　　　　　　　Ａｕｄｉｏ部
　３５　　　　　　　　　　　　電源供給部
　３６　　　　　　　　　　　　右眼用撮像装置
　３７　　　　　　　　　　　　左眼用撮像装置
　３８　　　　　　　　　　　　ソフトウェア貯蔵部

Claims

　使用者に画像を認識させる表示部を備え、検出対象物の３次元座標を算出できるヘッドマウントディスプレイであって、
　上記使用者が頭部に装着するための装着部には、上記検出対象物に所定パターンの赤外光を照射する赤外光照射部と、上記検出対象物によって反射された上記赤外光を検出する赤外光検出部と、が所定間隔を有して備えられており、
　制御部には、上記３次元座標の算出部が備えられており、
　上記算出部は、上記赤外光検出部によって得られた上記検出対象物によって反射された所定パターンから、互いに直交する第１の軸方向および第２の軸方向の座標値を算出し、上記検出対象物に照射される所定パターンと上記赤外光検出部によって得られた上記検出対象物によって反射された所定パターンとのずれ量から、上記第１の軸方向および上記第２の軸方向と直交し、かつ、上記使用者の視線方向である第３の軸方向の座標値を算出することを特徴とするヘッドマウントディスプレイ。
　上記制御部は、上記第３の軸方向の座標値が所定値未満である上記検出対象物の座標値の所定期間の間の変化に基づいて、入力操作の種類を判断することを特徴とする請求項１に記載のヘッドマウントディスプレイ。
　上記第３の軸方向の座標値が所定値未満である上記検出対象物は上記使用者の指であって、
　上記指の座標値は、上記指によって反射された所定パターンに基づいて作成された上記指の輪郭線を示す画像に、指の骨格画像をフィッティングさせて得られる画像における指先の座標値であることを特徴とする請求項２に記載のヘッドマウントディスプレイ。
　上記制御部は、第１の時期に上記赤外光検出部によって得られた上記第３の軸方向の座標値が所定値以上である上記検出対象物によって反射された所定パターンに基づいて作成された上記検出対象物の輪郭線を示す画像を、背景画像として上記表示部に表示するとともに、
　上記第１の時期に上記赤外光検出部によって得られた所定パターンと、所定期間後である第２の時期に得られた上記検出対象物によって反射された所定パターンとから上記使用者の姿勢変化量を算出し、上記表示部にコンテンツ画像を上記姿勢変化量分移動させて表示することを特徴とする請求項１から３の何れか１項に記載のヘッドマウントディスプレイ。
　上記制御部は、上記赤外光検出部によって得られた上記第３の軸方向の座標値が所定値以上である上記検出対象物によって反射された所定パターンに基づいて作成された上記検出対象物の輪郭線を示す画像を、順次的に背景画像として上記表示部に表示するとともに、
　第１の時期に上記赤外光検出部によって得られた所定パターンと、所定期間後である第２の時期に得られた上記検出対象物によって反射された所定パターンとから上記使用者の姿勢変化量を算出し、上記表示部にコンテンツ画像を上記姿勢変化量とは逆方向の変化量分移動させて表示することを特徴とする請求項１から３の何れか１項に記載のヘッドマウントディスプレイ。
　上記表示部には、左眼用画像を表示する左眼用画像表示部と、右眼用画像を表示する右眼用画像表示部と、が備えられており、
　上記装着部には、上記背景画像の左眼用画像を取り込む左眼用撮像装置と上記背景画像の右眼用画像を取り込む右眼用撮像装置とが、所定間隔を有して備えられており、
　上記制御部は、上記背景画像および上記コンテンツ画像の左眼用画像を上記左眼用画像表示部に、上記背景画像および上記コンテンツ画像の右眼用画像を上記右眼用画像表示部に、それぞれ所定間隔で交互に表示することを特徴とする請求項４または５に記載のヘッドマウントディスプレイ。
　上記制御部は、上記背景画像の左眼用画像と右眼用画像とから相関法によって、奥行き情報を求め、上記奥行き情報に基づいて、上記背景画像と上記コンテンツ画像との合成を行うことを特徴とする請求項６に記載のヘッドマウントディスプレイ。
　上記相関法は、位相限定相関法であることを特徴とする請求項７に記載のヘッドマウントディスプレイ。
　上記背景画像と上記コンテンツ画像とは、上記使用者が上記コンテンツ画像を介して、上記背景画像を見ることができるように合成されていることを特徴とする請求項７または８に記載のヘッドマウントディスプレイ。
　上記左眼用撮像装置と上記右眼用撮像装置とは、カラー画像を取り込むことができるカラー撮像装置であることを特徴とする請求項６から９の何れか１項に記載のヘッドマウントディスプレイ。
　上記制御部は、上記第３の軸方向の座標値が所定値未満である上記検出対象物の上記第１の軸方向および上記第２の軸方向の座標値の所定期間の間の変化に基づいて、上記表示部に表示されるコンテンツ画像に対して、拡大、縮小、移動および画像変換の何れか１つの操作を行うかを選定し、上記検出対象物の上記第３の軸方向の座標値の所定期間の間の変化に基づいて、上記検出対象物の上記表示部に表示されるコンテンツ画像へのタッチ有無を判断し、タッチ有と判断された場合に、上記表示部に表示されるコンテンツ画像に対して上記操作を行った後に表示することを特徴とする請求項２または３に記載のヘッドマウントディスプレイ。