JP2004233909A - ヘッドマウントディスプレイ - Google Patents
ヘッドマウントディスプレイ Download PDFInfo
- Publication number
- JP2004233909A JP2004233909A JP2003025320A JP2003025320A JP2004233909A JP 2004233909 A JP2004233909 A JP 2004233909A JP 2003025320 A JP2003025320 A JP 2003025320A JP 2003025320 A JP2003025320 A JP 2003025320A JP 2004233909 A JP2004233909 A JP 2004233909A
- Authority
- JP
- Japan
- Prior art keywords
- head
- mounted display
- user
- head mounted
- image output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
【課題】音声出力、画像出力等のＨＭＤの特定の動作を、ハンズフリーでかつユーザの意思に従って誤動作が発生しにくいＨＭＤを提供することを課題とする。
【解決手段】画像を出力する画像出力部を有し、頭部に装着可能なヘッドマウントディスプレイであって、ユーザの特定のアクションを検出して、ユーザの指示を受け付ける指示入力手段と、前記指示入力手段により入力された指示に応じて、ヘッドマウントディスプレイの特定の動作を行わせる制御手段とを有し、前記指示入力手段は、ユーザの頭部の動きを検出する動き検出機能を有することを特徴とするヘッドマウントディスプレイ。
【選択図】図１
【解決手段】画像を出力する画像出力部を有し、頭部に装着可能なヘッドマウントディスプレイであって、ユーザの特定のアクションを検出して、ユーザの指示を受け付ける指示入力手段と、前記指示入力手段により入力された指示に応じて、ヘッドマウントディスプレイの特定の動作を行わせる制御手段とを有し、前記指示入力手段は、ユーザの頭部の動きを検出する動き検出機能を有することを特徴とするヘッドマウントディスプレイ。
【選択図】図１
Description
【０００１】
【発明の属する技術分野】
本発明は、ユーザの頭部に装着された状態で、ユーザが画像を見ることができるように画像出力を行うヘッドマウントディスプレイに関する。
【０００２】
【従来の技術】
ヘッドマウントディスプレイ（以下、ＨＭＤと略記する）は、ユーザの頭部に装着されて、当該ユーザに対して画像を表示する。このようなＨＭＤは、装着すると視野が画像で遮られるため、外部に設けられたスイッチ等を手動で操作し、音声出力、画像出力等を変更するのは、困難となる。したがって、ハンズフリーで操作できるＨＭＤが求められる。
【０００３】
【発明が解決しようとする課題】
本発明は、上記の問題を解決すべくなされたものであり、音声出力、画像出力等のＨＭＤの特定の動作を、ハンズフリーでかつユーザの意思に従って誤動作が発生しにくいＨＭＤを提供することを課題とする。
【０００４】
【課題を解決するための手段】
前記目的を達成するため、請求項１に係る発明のヘッドマウントディスプレイは、画像を出力する画像出力部を有し、頭部に装着可能なヘッドマウントディスプレイであって、ユーザの特定のアクションを検出して、ユーザの指示を受け付ける指示入力手段と、前記指示入力手段により入力された指示に応じて、ヘッドマウントディスプレイの特定の動作を行わせる制御手段とを有し、
前記指示入力手段は、ユーザの頭部の動きを検出する動き検出機能を有することを特徴とするヘッドマウントディスプレイである。
【０００５】
請求項２に係る発明のヘッドマウントディスプレイは、請求項１に記載のヘッドマウントディスプレイであって、前記動き検出機能は、少なくとも、身体軸方向の軸回りの頭部の動きと、身体軸に直交する軸回りの頭部の動きとを検出し、前記制御手段は、前記動き検出手段で検出された前記身体軸方向の軸回りの頭部の動きと、身体軸に直交する軸回りの頭部の動きとの組み合わせに応じて制御がなされることを特徴とするヘッドマウントディスプレイである。
【０００６】
請求項３に係る発明のヘッドマウントディスプレイは、請求項１および請求項２のいずれかに記載のヘッドマウントディスプレイであって、前記指示入力手段は、ユーザの視線の動きを検出する視線検出機能をさらに有し、前記制御手段は、前記動き検出機能による動き検出結果と前記視線検出機能による視線検出結果に応じて制御を行うことを特徴とするヘッドマウントディスプレイである。
【０００７】
請求項４に係る発明のヘッドマウントディスプレイは、請求項３に記載のヘッドマウントディスプレイであって、前記制御手段は、前記視線検出結果又は前記動き検出結果のどちらか一方の結果に応じて、前記ヘッドマウントディスプレイの特定の動作の実行の指示の受付が行われる様に制御し、前記視線検出結果又は前記動き検出結果のどちらか他方の結果に応じて、指示の実行前に、受け付けた指示の確認を前記ユーザに求める様に制御することを特徴とするヘッドマウントディスプレイである。
【０００８】
請求項５に係る発明のヘッドマウントディスプレイは、請求項１から請求項４のいずれかに記載のヘッドマウントディスプレイであって、前記指示入力手段は、ユーザの発する音声を検出する音声検出機能とをさらに有し、少なくとも前記動き検出機能による動き検出結果と前記音声検出機能による音声検出結果に応じて、制御を行うことを特徴とするヘッドマウントディスプレイである。
【０００９】
請求項６に係る発明のヘッドマウントディスプレイは、請求項１および請求項２のいずれかに記載のヘッドマウントディスプレイであって、前記指示入力手段は、ユーザの視線の動きを検出する視線検出機能と、ユーザの発する音声を検出する音声検出機能とをさらに有し、前記制御手段は、前記音声検出機能による音声検出結果に応じて、複数の選択肢を含む表示画面の表示を前記表示出力部で行うように制御し、前記視線検出結果に応じて、前記複数の選択肢からの選択の受付を行う様に制御し、頭部の動きの検出結果に応じて、前記受付を行った内容の確認を行うように制御することを特徴とするヘッドマウントディスプレイである。
【００１０】
請求項７に係る発明のヘッドマウントディスプレイは、請求項１〜６のいずれかに記載のヘッドマウントディスプレイであって、前記指示入力手段は、異なるタイミングで行われる少なくとも２つのユーザのアクションを検出する機能を有することを特徴とするヘッドマウントディスプレイである。
【００１１】
請求項８に係る発明のヘッドマウントディスプレイは、請求項１〜６のいずれかに記載のヘッドマウントディスプレイであって、前記指示入力手段は、並行して行われる少なくとも２つのユーザのアクションを検出する機能を有することを特徴とするヘッドマウントディスプレイである。
【００１２】
請求項９に係る発明のヘッドマウントディスプレイは、請求項１〜８のいずれかに記載のヘッドマウントディスプレイであって、前記ヘッドマウントディスプレイの特定の動作は、音声出力及び画像出力のうち少なくとも１つの変化であることを特徴とするヘッドマウントディスプレイである。
【００１３】
請求項１０に係る発明のヘッドマウントディスプレイは、請求項１〜９のいずれかに記載のヘッドマウントディスプレイであって、前記ヘッドマウントディスプレイの特定の動作は、電源のオンおよびオフのいずれかであることを特徴とするヘッドマウントディスプレイである。
【００１４】
請求項１１に係る発明のヘッドマウントディスプレイは、請求項１〜１０のいずれかに記載のヘッドマウントディスプレイであって、前記画像出力部を、ユーザの眼前に位置した状態と、眼前からはずれて待避した状態とを、動力により、切り替えられる手段をさらに有し、前記ヘッドマウントディスプレイの特定の動作は、前記画像出力部を、ユーザの眼前に位置した状態と、眼前からはずれて待避した状態とで、切り替えることことを特徴とするヘッドマウントディスプレイである。
【００１５】
請求項１２に係る発明のヘッドマウントディスプレイは、請求項１〜１１のいずれかに記載のヘッドマウントディスプレイであって、ユーザの特定のアクションの形態と、それに応じてなされるべきヘッドマウントディスプレイの特定の動作とを対応させ一組にして登録し記憶する手段をさらに有し、前記制御手段は、前記指示入力手段により検出されたユーザの特定のアクションと、前記記憶されたユーザの特定のアクションの形態と、が一致すると判定される場合は、そのアクションに対応する前記記憶されたそのアクションに応じてなされるべきヘッドマウントディスプレイの特定の動作が行われる様に制御することを特徴とするヘッドマウントディスプレイである。
【００１６】
【発明の実施の形態】
以下、本発明の実施形態について、図面を参照して説明する。
（第１実施形態）
図１〜図３に、本発明の第１の実施形態に係るヘッドマウントディプレイの一例を示す。本実施形態に係るヘッドマウントディスプレイは、画像出力部１００を、ユーザの眼前に位置した状態（図２参照）と、眼前からはずれて待避した状態（図３参照）とで位置変位可能である。不使用時にユーザの眼前位置から後方に待避することができる構造を有するものである。
【００１７】
図１〜図３に示すように、ヘッドマウントディスプレイ（以下、ＨＭＤと略記する）は、ユーザＵに対して画像を出力するための機能を有する画像出力部１００と、音声、音楽、効果音等の音響を発生させる機能を有する音響出力部２００と、画像出力部１００、音響出力部２００および音声検出装置４７０を一体的に連結すると共に、これらをユーザＵの頭部１に着脱自在に装着するための支持部３００とを有する。さらに、ユーザの頭部の動きを検出する頭部の動き検出装置７００、ユーザの視線の動きを検出する視線検出装置９００、ユーザにより発せられる音声を検出する音声検出装置４７０と、を有している。
【００１８】
このＨＭＤは、図１〜図３に示すように、ユーザＵの頭部１に、当該頭部１を挟むように装着される。すなわち、音響出力部２００がユーザＵの耳に当接した状態で、支持部３００が、それ自身が有する弾性力により、ユーザＵの頭部を挟み込むことによって、頭部１に装着される。また、ＨＭＤは、画像表示信号および音響出力信号等を出力する情報処理装置Ｄを別体で設けた構成とした。そして、情報処理装置Ｄは、各出力部、各検出装置、各駆動装置とは、ケーブル８００を介して接続される。情報処理装置Ｄは、電源と、画像信号を生成して出力する回路と、音響信号を生成して出力する回路とを有する。ケーブル８００の先端には、プラグ８１０が設けられ、情報処理装置ＤのコネクタＣＮに着脱自在に接続される。従って、ＨＭＤの支持部３００と一体的に連結された部分を頭部１に装着することで、ユーザＵは、情報処理装置Ｄから供給される画像表示信号および音響出力信号により形成される画像および音響を、ＨＭＤを介して視聴することができる。
【００１９】
次に各構成要素について説明する。
【００２０】
画像出力部１００は、画像を現す画像表示信号を光信号に変換して画像を形成する電気‐光変換器と、形成された画像を拡大する光学系とを有する。電気‐光変換器では、例えば、情報処理装置のディスプレイ画面のように画面を形成することができる。例えば、図９に一例を示すように、選択肢選択ウィンドウ等を表示することができる。もちろん、動画を表示することも可能である。
【００２１】
音響出力部２００は、音響出力信号を音響に変換するものである。本実施形態では、左音響出力部２００Ｌと、右音響出力部２００Ｒとが設けられている。この音響出力部２００には、電気信号を音響に変換する音響変換器が設けられている。また、音響出力部２００は、本実施形態では、その構造上、後述する支持部３００と共に、当該ＨＭＤをユーザＵの頭部１に装着させる際の、耳への当接部としても機能する。
【００２２】
なお、本実施形態では、音響出力部２００Ｌ側に、ケーブル８００と内部配線とを接続する接続部が設けられている。
【００２３】
支持部３００は、図１〜３に示すように、左右の音響出力部２００Ｌと２００Ｒとを連結するバンド３１０と、バンド３１０の一端側に設けられた画像出力部支持アーム３２０と、音声検出装置支持アーム３３３とを有する。
【００２４】
バンド３１０は、ユーザＵの頭部１を後方から挟むことができるように湾曲した形状を持っている。そして、両端に音響出力部２００Ｌと２００Ｒとが連結固定されている。バンド３１０は、本体３１１と、画像出力部支持アーム３２０を出没自在に収容する画像出力部支持アーム収容部３１２とにより構成される。バンド３１０には、情報処理装置Ｄからのケーブル８００に接続される配線（図示せず）が設けられている。これら配線のうち一部は、画像出力部１００、音声検出装置４７０に通じ、他の一部は、左右の音響出力部２００Ｌ，２００Ｒに通じる。さらに、後述する視線検出装置９００、頭部動き検出装置７００に通じる配線もある。
【００２５】
画像出力部支持アーム収容部３１２には、本実施形態では、音響出力部２００Ｌに隣接して、開口部３１２ｂが設けられている。画像出力部支持アーム３２０は、この開口部３１２ｂから出没することができる。すなわち、画像出力部１００は、画像出力部支持アーム３２０と画像出力部支持アーム収容部３１２とで構成されるスライド機構によりバンド３１０と連結されている。なお、開口部３１２ｂには、図示していないが、画像出力部支持アーム３２０が、引き出された際に、抜け落ちないようにするためのストッパ（図示せず）が設けられている。また、画像出力部支持アーム収容部３１２には、画像出力部支持アーム３２０の出没を円滑に行うため、案内レール（図示せず）が設けられる。これにより、画像出力部支持アーム３２０が円滑にスライドすることになる。
【００２６】
バンド３１０の画像出力部支持アーム収容部３１２には、画像出力部支持アーム３２０を電動でスライドし収容するモータ３９１が取り付けられている。
【００２７】
図４は、モータ３９１が取り付けられているモータ部３９０の断面図である。
【００２８】
モータ３９１のモータ軸３９２にはローラー３９３が取り付けられており、ローラー３９３はモータ軸３９２を中心にモータ３９１の回転と連動して回転する。
【００２９】
ローラー３９３は、画像出力部支持アーム３２０の側面と接しており、ローラー３９３が回転すると、摩擦力により、画像出力部支持アーム３２０が移動する。図２では、ローラー３９３が反時計回りに回転すると、画像出力部支持アーム３２０は画像出力部支持アーム収容部３１２に押し込まれ、図３の状態になる。
逆に、ローラー３９３が時計回りに回転すると、画像出力部支持アーム３２０は画像出力部支持アーム収容部３１２から引き出され、図２の状態になる。
【００３０】
ローラー３９３の摩擦面の材質としては、所定の摩擦力を生じるものであればよいが、好ましくは、ゴム等の弾性体である。ただし、摩擦力が大きすぎると、画像出力部支持アーム３２０をユーザが手動で出し入れできなくなるので、好ましくない。
（頭部の動き検出装置）
頭部の動き検出装置７００は、バンド３１０の中央部、すなわちユーザが装着したときに後頭部の位置に来る位置に取り付けてある。
【００３１】
頭部の動き検出装置７００の回路基板には、垂直方向と水平方向の加速度、角速度又は角加速度を検出する垂直方向ジャイロセンサ、水平方向ジャイロセンサが取り付けられている。このように取り付ければ、身体軸方向の頭部の動き（縦振り）、身体軸に直交する方向の頭部の動き（横振り）が検出できる。ジャイロとしては、筐体内のミラーやファイバでレーザー光を周回させ、筐体が方向を変えると内部で周回しているレーザーの発光から受光のタイミングが変わることを利用した光学式ジャイロ；歳差を応用して角度変位を検知する機械式ジャイロ；振動（一次振動）する質量に角速度がつくと「コリオリ」効果でそれに直交する方向にも振動（二次振動）が発生することを利用した振動式ジャイロ；等を使用できる。頭部の動き検出装置７００の検出結果は、情報処理装置Ｄの中央制御装置８５４に送られる。
（視線検出装置）
視線検出装置９００は、画像出力部１００のユーザに対向する面に取り付けてある。視線検出装置９００は、図５に示すように、ユーザの眼２に赤外光を照射する赤外光照射部９０１、ユーザの角膜で反射した光のうち赤外光を反射するダイクロイックミラー９０４、ダイクロミックミラー９０４からの反射光を集光する集光レンズ９０３、集光された赤外光を検出する視界センサー９０２からなる。このように構成される視線検出装置９００は、赤外光でユーザの眼２を照明し、角膜で反射した赤外光と眼球全体の像から、瞳孔の中心位置と反射光の位置を求め、目の回転角を計算し、ユーザが画像のどこを見ているのか計算し求める方法を採用している。
（音声検出装置）
音声検出装置４７０は、音声検出装置支持アーム３３３を介してバンド３１０と連結されている。音声検出装置４７０は、ユーザが発する音声信号を電気信号に変換する装置である。例えば、磁界の中にあるリボン状の箔の動きを使って発電する方式のリボン型マイクロホン； 磁界の中にあるコイルを動かして発電、出力を取り出す方式のダイナミック型（ムービングコイル型）マイクロホン；静電容量を利用して音圧を電気信号に改める方式のコンデンサー型マイクロホン；カーボン粒子間の接触抵抗を音圧によって変化させることで収音するカーボン型マイクロホン等を使用できる。
（情報処理装置）
情報処理装置Ｄは、図６で示すように、画像出力部１００に画像表示信号を送るため、当該画像表示信号を処理する画像出力信号処理装置８５１と、音響出力部２００に音響出力信号を送るための音響出力信号処理装置８５２と、情報処理装置全体を管理する中央制御装置８５４と、電源のオンオフおよび節電モード、電池８５７への充電の制御を行うための電源制御回路８５６とを有する。また、ＨＭＤ本体と情報信号のやりとりをする入出力インタフェース８５８を有する。
また、電源のオンオフを行うためのメインスイッチＳＷを有する。さらに、ＨＭＤと信号を授受するためのケーブル８００のプラグ８１０を接続するためのコネクタＣＮが設けられている。また、電源として、充電可能な電池８５７が用意されている。
【００３２】
情報処理装置Ｄには、画像表示信号および音響出力信号を生成する基となる画像情報および音響情報等を格納する記憶装置８５３が用意される。また、この他に、必要に応じて、外部より、画像情報および音響情報を受け入れるための通信装置を備えることもできる。
（記憶装置）
記憶装置８５３には、画像情報、音響情報のほかに以下の情報も記憶されている。
【００３３】
記憶装置８５３には、ユーザが頭部を縦または横に振った場合に検出される、垂直方向または水平方向の加速度変化の標準的なパターンが記憶されている。このパターンは、図７で示される中央制御装置８５４でなされる動作入力処理８５４２において、ユーザが頭部を縦に振ったか横に振ったかを判断するために使用される。また、ユーザの頭部の振り方は常に一定ではなく、ある程度幅がある。
そこで、閾値が設けられており、パターンとのずれが閾値内であれば、パターンと一致するとみなす。この閾値も記憶装置８５３に記憶されている。
【００３４】
また、頭部を縦または横に振ったと判断された場合になされるべきＨＭＤの特定の動作についての情報が記憶されている。すなわち、ユーザの特定のアクションの形態と、それに応じてなされるべきヘッドマウントディスプレイの特定の動作とを対応させ一組にして記憶されている。例えば、頭部を縦に振った場合は、特定のメニュ選択ウインドウを画像出力させるなどのである。
【００３５】
また、記憶装置８５３には、音声認識のための、音響モデルが記憶されている。
この音響モデルは、中央制御装置８５４でなされる音声入力処理８５４４において使用される。音響モデルは，平均的な発音データを基に作られた、いわゆる音声の単語辞書である。音声認識は、音響モデルと、ユーザにより入力された音声信号（波形）とをマッチング（照合）することにより行われる。詳しくは、音声入力処理の説明とともに述べる。
【００３６】
また、ユーザが音声を発した場合、または特定の言葉を発した場合に、なされるべきＨＭＤの特定の動作についての情報が記憶されている。例えば、ユーザが「音量」と発した場合は、音量調整メニュが画像出力されるなどである。
【００３７】
また、頭部の動き、音声入力、視線入力の組み合わせに応じた、ＨＭＤの特定の動作についても記憶されている。例えば、頭部の動きの後に音声入力をした場合；音声入力した後に頭部の動きがあった場合；略同時に音声入力と頭部の動きがあった場合；など、ユーザのアクションの順番に応じて、なされるべきＨＭＤの特定の動作について記憶されている。
【００３８】
（中央制御装置）
中央制御装置８５４は、情報処理装置Ｄ全体を管理をする。また、図７に示すように、入力判定処理８５４１、動作入力処理８５４２、視線入力処理８５４３および音声入力処理８５４４を行う。
【００３９】
入力判定処理８５４１は、ユーザがいずれの方法で入力したかを判定する処理である。本実施形態のＨＭＤは、ユーザの特定のアクションにより、特定の動作をするものである。ユーザは、頭部を動かす方法、視線を動かす方法、音声を発する方法によりＨＭＤに指示することができる。頭部の動きは、動き検出装置７００で検出される。視線の動きは、視線検出装置９００により検出される。ユーザが発した音声は音声検出装置４７０により検出される。そして、これらの検出結果に基づいて、入力判定処理８５４１により、ユーザのアクションがいかなる方法で行われたかが判定される。
【００４０】
動作入力処理８５４２は、頭部の動き検出装置７００の検出結果から、ユーザが頭部を縦に振ったか、横に振ったか等を判断する。中央制御装置８５４には、頭部の動き検出装置７００から、ユーザ頭部の垂直方向の加速度変化と、水平方向の加速度変化の検出結果が送られてくる。垂直又は水平方向の加速度変化が検出された場合は、動作入力処理８５４２においては、その加速度変化のパターンと、記憶装置８５３に記憶された標準的な縦振り又は横振りパターンとを照合する。一致または所定の閾値範囲であればユーザが頭部を縦又は横に振ったと区別して判断する。
【００４１】
そして、判断結果に基づいて、それに応じてなされるべきＨＭＤの動作がなされるように、各処理装置に命令する。
【００４２】
視線入力処理８５４３においては、視線検出装置９００からの検出結果に基づいて、ユーザが画面上のどこを見ているかが判断される。視線検出装置９００の検出結果からユーザの視線の方向がわかる。ユーザの眼と画像出力部の位置関係および視線の方向から、画面上のユーザの視点の位置が求められる。
【００４３】
また、選択肢が列挙された画面を出力している場合において、所定時間、視点が一定の選択肢の位置から動かない場合は、その選択肢を選択したと判断し、次の処理に移行する。
【００４４】
音声入力処理８５４４においては、音声検出装置４７０の検出結果を基に、ユーザが発した音声が分析される。単に音声を発したか否かを判断する段階と、発した言葉の意味を分析する音声認識の段階を有する。
【００４５】
単に音声を発したか否かは、音声検出装置４７０が所定値以上の音量の音声を検出したか否かで判断できる。ただし、外界の雑音等により、ユーザが音声を発していない場合であっても、当該所定地に達する場合があるので、この所定値は、適宜変更できるようにするとよい。
【００４６】
音声認識は、ユーザの発した音声信号（波形）と、記憶装置８５３に記憶された音響モデルとを、マッチング（照合）することにより行われる。マッチングには、通常１０〜２０ミリ秒の単位で，単語の先頭から順次行われる。例えば「音量」という言葉を認識する場合，最初に「お」という言葉を認識する。マッチングの候補は，音響モデルのなかの「お」から始まる言葉に絞られる。次に「おん」を認識した時点で候補は、音楽、音響、音声、音節などに，さらに「おんり」を認識した時点では，音量にといった具合に候補が絞り込まれ，最終的に最もマッチングする単語が出力される。
【００４７】
音声認識がなされると、その単語の意味内容に応じてなされるべきＨＭＤの動作をするように各処理装置に命令する。
（フローチャート）
図８は、本実施形態のＨＭＤにおける、頭部の動き、視線の動き、音声入力がされた場合の動作の流れを示した図である。
【００４８】
ステップＳ１００において、音声入力の有無は、音声検出装置４７０により判定される。音声入力がされた場合は、ステップＳ１０１において、音声認識される。次にステップＳ１０２において、音声認識の結果を基にユーザが何を指示（コマンド）しているか認識がされ、続いてステップＳ１０３において、コマンドが実行するように各制御装置に指示する。これらの処理は、中央制御装置８５４の音声入力処理８５４４の過程においてなされる。
【００４９】
また、ステップＳ２００において、視線入力の有無を判定する。視線入力がされた場合は、ステップＳ２０１において、ユーザの注視位置が検出される。次にステップＳ２０２において、ユーザが画面上のどの選択肢を選択しているか特定する。続いてステップＳ２０３において、選択肢の内容を実行するよう各処理装置に指示する。これらの処理は、中央制御装置８５４の視線入力処理８５４３の過程においてなされる。
【００５０】
また、ステップＳ３００において、頭部の動きによる入力の有無を判定する。頭部の動きにより入力がされた場合は、ステップＳ３０１において、頭部の動きの種類（例えば、縦振りか、横振りか等）を認識する。次にステップＳ３０２において、それに応じた指示内容を特定する。続いてステップＳ３０３において、その指示を実行するよう各制御装置に指示する。これらの処理は、中央制御装置８５４の動作入力処理８５４２の過程においてなされる。
（第１実施形態の動作の一例）
以上のように構成されるＨＭＤについて、その動作の一例を示す。
【００５１】
本発明のＨＭＤは、頭部の動きの検出と、視線検出と、音声検出の組み合わせにより、確実にユーザの意思を反映して動作することを特徴とする。
【００５２】
以下に、頭部の動きの検出と、視線検出と、音声検出の組み合わせにより、ユーザの意思を確実に読み取り、画像出力のオフおよび画像出力部１００の待避を行う一例を示す。
ユーザが画像出力をオフし、画像表示部１００を眼前から待避させたい場合においては、本実施形態のＨＭＤは、以下の動作をとるようにすることができる。
【００５３】
ユーザから音声検出装置４７０に、例えば、「オフ」という言葉が入力されると、この音声信号は音声認識される。その結果、オフ対象選択ウィンドウ１５１の画像出力を求める命令（コマンド）であると認識される。そして、このコマンドの実行を画像出力信号処理装置８５１に指示する。
【００５４】
これを受けて、画像出力信号処理装置８５１は、オフ対象選択ウィンドウ１５１を表示するように、画像出力部１００に画像信号を送る。そして、画像出力部１００は、図９に示すように、オフ対象選択ウィンドウ１５１を出力する。
【００５５】
これにより、ユーザは、図９で示すように、オフ対象選択ウィンドウ１５１を、表示画面１５０の中で観察することができる。オフ対象選択ウィンドウ１５１には、電源、音響出力、画像出力のうちいずれをオフするかについて選択肢が列挙されている。また、画像出力部を待避する選択肢も列挙されている。また、矢印アイコン１５９は、ユーザの視点と連動して移動する。ユーザはこの矢印アイコン１５９を移動させて、オフしたいものを選択肢の上に重ねる。このとき、「選択肢を注視してください」などの音声ガイドが音声出力されるようにしてもよい。音声出力によるガイドがあれば、ユーザは操作方法が理解でき、円滑かつ迅速に次の処理に進行できる。
【００５６】
ユーザは選択したい選択肢に一定時間視点を合わせる。
【００５７】
視線検出装置９００は、ユーザの視線を検出し、検出結果を中央制御装置８５４に送る。そして、一定時間以上、視点が動かない場合は、画面上の視点の位置にある選択肢を選択したとして、選択肢の特定がなされる。
【００５８】
次に、図１０に示すように、選択肢が正しく選択されたかどうかの確認画面１５２を表示する。このとき、「よろしければ、頭部を縦に振ってください」などの音声ガイドが音声出力されるようにしてもよい。これにより、ユーザに次に何をすれば良いかを伝え、ユーザにとっては操作が容易となるとともに、迅速かつ確実に次の処理へ進行できるようになる。正しく選択された場合は、ユーザは頭部を縦に振る。正しく選択されていない場合は、頭部を横に振る。
【００５９】
このとき、中央制御装置８５４では、頭部が縦に振られた場合は、正しいと判断されたと認識し、次の処理に移るように設定しておく。一方、頭部を横に振った場合は、正しくないと認識し、再び、オフ対象選択ウィンドウに戻るように処理されるように設定しておく。
【００６０】
すなわち、ユーザが頭部を縦に振った場合は、正しく選択されたと認識され、中央制御装置８５４は、選択肢の内容を実行するように、各処理回路に命令する。
【００６１】
ここでユーザが、例えば、「画像表示オフ、画像出力部の待避」の選択肢を選択した場合は、中央制御装置８５４は、画像出力をオフし、また、モータ３９１が駆動し、画像出力部１００をユーザの眼前から待避するように各処理装置に指示する。
【００６２】
その結果、画像出力がオフされ、画像出力部１００はユーザの眼前からはずれ待避した状態になる（図３参照）。
【００６３】
このように、本実施形態によれば、頭部の動きだけでなく、ユーザの他のアクションの検出を組み合わせることで、確実にユーザの意思を読み取り、ユーザの意思に沿ってＨＭＤの動作がなされる。
【００６４】
上記の例においては、音声検出結果は、複数の選択肢を含む表示画面の表示に割当てられ、視線検出結果は、ヘッドマウントディスプレイの特定の動作の実行の指示の受付に割当てられ、頭部の動きの検出結果は、指示内容の実行前に、受け付けた指示内容の確認に割当てられている。
【００６５】
ＨＭＤに特定の動作をさせるように指示するためになされる、ユーザのアクションの組み合わせは、上記のものに限られない。
【００６６】
例えば、頭部を縦に振り、すぐに横に振った場合など、２種以上の頭部の動きの組み合わせに応じて、ＨＭＤの特定の動作をさせるものであってもよい。例えば、頭部を縦横に１回振りさらに縦に１回振った場合は、電源をオフしたり、または、画像出力部１００がユーザの眼前から待避するなどとしてもよい。
【００６７】
また、頭部を縦に２度振るなど同じ動作の組み合わせでもかまわないし、最初に頭部を右、次に頭部を前に振るなどの頭部の動きの方向を用いてもかまわない。
【００６８】
また、ユーザのアクションの順番に応じて、ＨＭＤの特定の動作をさせるものであってもよい。すなわち、２以上のユーザのアクションが異なるタイミングで行われたか、並行しておこなわれたかを区別して、ＨＭＤの特定の動作をさせるものであってもよい。例えば、頭部の動きがなされた後に視線入力がされた場合；頭部の動きと音声入力が同時になされた場合；頭部の動きがなされた後に、音声入力または視線入力がなされた場合；等の場合に、ＨＭＤが特定の動作をするようにしてもよい。
【００６９】
また、ユーザがどのようなアクションをした場合に、ＨＭＤがどのような動作をするかについて、ユーザにより登録できるようにするとよい。
【００７０】
登録の仕方としては、画面上で、視線により選択肢を選択させて登録させることにより行える。例えば、ユーザの特定のアクションの形態と、ＨＭＤの特定の動作の対応関係を列挙した選択肢を画面に出力し、選択させるようにしてもよい。
【００７１】
そして、ユーザの特定のアクションの形態と、それに応じてなされるべきヘッドマウントディスプレイの特定の動作とを対応させ一組にして、記憶装置８５３に記憶させるようにする。
【００７２】
また、ユーザのアクションによりなされるＨＭＤの特定の動作は、音声、画像出力のオフ等に限られない。例えば、ユーザが「ソフト」と発声すると、図１１に示すように、画像としてアプリケーションソフトの画面１５３を出力させ、その画面上でコンピュータ内のファイルを開く等の動作をさせてもよい。この場合は、視線により、矢印アイコン１５９を移動させ、操作対象の選択肢、例えば、「ファイル開く」を選択させる。その後、確認画面に移行させ、頭部の縦振りによって、確定させるようにしてもよい。このように、複数のアクションによりユーザに指示させることにより、ＨＭＤは、ユーザの意思を確実に読み取り、誤作動なく特定の動作をすることができる。
【００７３】
以上に述べた実施形態のＨＭＤは、情報処理装置Ｄを、ケーブルを介して接続される形式のものである。しかし、本発明が適用されるＨＭＤは、これに限られない。例えば、図１２に示すように、情報処理装置ＤをＨＭＤに搭載した構造を有するものにも適用することができる。また、情報処理装置ＤとＨＭＤとを無線で接続する構成のものに適用することもできる。後者の場合、無線通信のための回路と電源とがＨＭＤに搭載される。また、情報処理装置側にも、無線通信のための回路が搭載される。
【００７４】
また、以上の実施形態では、画像出力部および音響出力部の両者を有する例を示した。本発明の適用は、これに限られない。例えば、画像出力部のみを有するＨＭＤにも適用可能である。
【００７５】
また、以上の実施の形態では音声検出装置４７０を画像出力部１００と独立に配置したが、音声検出装置は画像出力部の中に組み込んでもかまわない。この場合、音声検出装置支持アーム３３３が不要となり機構を簡略化できる。この場合、音声を確実に拾えるように音声検出装置の指向性は下向きに設定することが望ましい。
【００７６】
また、本発明は片眼式のＨＭＤに限られない。本発明は、ユーザの両眼に画像を出力するゴーグル型のＨＭＤについても適用が可能である。
【００７７】
本実施形態のＨＭＤは、画像出力部支持アーム３２０が支持部３００の画像出力部支持アーム収容部３１２に収容できるため、不使用時に、画像出力部支持アーム３２０が邪魔にならないため、持ち運び、収納等の際に便利である。
【００７８】
【発明の効果】
本発明によれば、音声出力、画像出力等のＨＭＤの特定の動作を、ハンズフリーでかつユーザの意思に従って誤作動が少なくなり確実に行うＨＭＤが提供される。
【図面の簡単な説明】
【図１】図１は本発明に係る第１の実施形態に係るヘッドマウントディスプレイの外観を示す斜視図。
【図２】図２は本発明に係る第１の実施形態に係るヘッドマウントディスプレイの構造の概要を示す断面図。
【図３】図３は本発明に係る第１の実施形態に係るヘッドマウントディスプレイの構造の概要を示す断面図。
【図４】図４はモータ部の断面図。
【図５】図５は視線検出装置の構造を示す図。
【図６】図６は本発明に係る第１の実施形態に係るヘッドマウントディスプレイおよび情報処理装置の構成要素を示す図。
【図７】図７は本発明に係る第１の実施形態に係るヘッドマウントディスプレイに適用可能な情報処理装置の構成要素を示す図。
【図８】図８は本発明に係る第１の実施形態に係るヘッドマウントディスプレイおけるユーザのアクションに応じた処理の流れを示すフローチャート。
【図９】図９はオフ時の動作態様の設定を行うため画面の一例図。
【図１０】図１０は確認画面の一例図。
【図１１】図１１はアプリケーションソフトの画面上で視線で選択肢を選択しているところを示す図。
【図１２】図１２は本発明に係る情報処理装置一体型のヘッドマウントディスプレイの外観を示す斜視図。
【符号の説明】
Ｄ…情報処理装置、ＣＮ…コネクタ、ＳＷ…電源スイッチ、
Ｕ…ユーザ、１…頭部、２…眼
１００…画像出力部、
１５０…表示画面、１５２…オフ対象選択ウィンドウ、１５３…ソフトアプリケーションソフト画面、１５９…矢印アイコン、
２００（２００Ｌ，２００Ｒ）…音響出力部、
３００…支持部、３１０…バンド、３１１…バンド本体、３１２…画像出力部支持アーム収容部、３１２ｂ…開口部、３２０…画像出力部支持アーム、
３３３…音声検出装置支持アーム、
３９０…モータ部、３９１…モータ、３９２…モータ軸、３９３…ローラー、
４７０…音声検出装置、
７００…動き検出装置、
８００…ケーブル、
８１０…プラグ、
８５１…画像出力信号処理装置、８５２…音響出力信号処理装置、８５３…記憶装置、
８５４…中央制御装置、８５４１…入力判定処理、８５４２…動作入力処理、８５４３…視線入力処理、８５４４…音声入力処理、
８５６…電源制御回路、８５７…電池、８５８…入出力インタフェース、
９００…視線検出装置、９０１…赤外光照射部、９０２…視界センサー、９０３…集光レンズ、９０４…ダイクロイックミラー
【発明の属する技術分野】
本発明は、ユーザの頭部に装着された状態で、ユーザが画像を見ることができるように画像出力を行うヘッドマウントディスプレイに関する。
【０００２】
【従来の技術】
ヘッドマウントディスプレイ（以下、ＨＭＤと略記する）は、ユーザの頭部に装着されて、当該ユーザに対して画像を表示する。このようなＨＭＤは、装着すると視野が画像で遮られるため、外部に設けられたスイッチ等を手動で操作し、音声出力、画像出力等を変更するのは、困難となる。したがって、ハンズフリーで操作できるＨＭＤが求められる。
【０００３】
【発明が解決しようとする課題】
本発明は、上記の問題を解決すべくなされたものであり、音声出力、画像出力等のＨＭＤの特定の動作を、ハンズフリーでかつユーザの意思に従って誤動作が発生しにくいＨＭＤを提供することを課題とする。
【０００４】
【課題を解決するための手段】
前記目的を達成するため、請求項１に係る発明のヘッドマウントディスプレイは、画像を出力する画像出力部を有し、頭部に装着可能なヘッドマウントディスプレイであって、ユーザの特定のアクションを検出して、ユーザの指示を受け付ける指示入力手段と、前記指示入力手段により入力された指示に応じて、ヘッドマウントディスプレイの特定の動作を行わせる制御手段とを有し、
前記指示入力手段は、ユーザの頭部の動きを検出する動き検出機能を有することを特徴とするヘッドマウントディスプレイである。
【０００５】
請求項２に係る発明のヘッドマウントディスプレイは、請求項１に記載のヘッドマウントディスプレイであって、前記動き検出機能は、少なくとも、身体軸方向の軸回りの頭部の動きと、身体軸に直交する軸回りの頭部の動きとを検出し、前記制御手段は、前記動き検出手段で検出された前記身体軸方向の軸回りの頭部の動きと、身体軸に直交する軸回りの頭部の動きとの組み合わせに応じて制御がなされることを特徴とするヘッドマウントディスプレイである。
【０００６】
請求項３に係る発明のヘッドマウントディスプレイは、請求項１および請求項２のいずれかに記載のヘッドマウントディスプレイであって、前記指示入力手段は、ユーザの視線の動きを検出する視線検出機能をさらに有し、前記制御手段は、前記動き検出機能による動き検出結果と前記視線検出機能による視線検出結果に応じて制御を行うことを特徴とするヘッドマウントディスプレイである。
【０００７】
請求項４に係る発明のヘッドマウントディスプレイは、請求項３に記載のヘッドマウントディスプレイであって、前記制御手段は、前記視線検出結果又は前記動き検出結果のどちらか一方の結果に応じて、前記ヘッドマウントディスプレイの特定の動作の実行の指示の受付が行われる様に制御し、前記視線検出結果又は前記動き検出結果のどちらか他方の結果に応じて、指示の実行前に、受け付けた指示の確認を前記ユーザに求める様に制御することを特徴とするヘッドマウントディスプレイである。
【０００８】
請求項５に係る発明のヘッドマウントディスプレイは、請求項１から請求項４のいずれかに記載のヘッドマウントディスプレイであって、前記指示入力手段は、ユーザの発する音声を検出する音声検出機能とをさらに有し、少なくとも前記動き検出機能による動き検出結果と前記音声検出機能による音声検出結果に応じて、制御を行うことを特徴とするヘッドマウントディスプレイである。
【０００９】
請求項６に係る発明のヘッドマウントディスプレイは、請求項１および請求項２のいずれかに記載のヘッドマウントディスプレイであって、前記指示入力手段は、ユーザの視線の動きを検出する視線検出機能と、ユーザの発する音声を検出する音声検出機能とをさらに有し、前記制御手段は、前記音声検出機能による音声検出結果に応じて、複数の選択肢を含む表示画面の表示を前記表示出力部で行うように制御し、前記視線検出結果に応じて、前記複数の選択肢からの選択の受付を行う様に制御し、頭部の動きの検出結果に応じて、前記受付を行った内容の確認を行うように制御することを特徴とするヘッドマウントディスプレイである。
【００１０】
請求項７に係る発明のヘッドマウントディスプレイは、請求項１〜６のいずれかに記載のヘッドマウントディスプレイであって、前記指示入力手段は、異なるタイミングで行われる少なくとも２つのユーザのアクションを検出する機能を有することを特徴とするヘッドマウントディスプレイである。
【００１１】
請求項８に係る発明のヘッドマウントディスプレイは、請求項１〜６のいずれかに記載のヘッドマウントディスプレイであって、前記指示入力手段は、並行して行われる少なくとも２つのユーザのアクションを検出する機能を有することを特徴とするヘッドマウントディスプレイである。
【００１２】
請求項９に係る発明のヘッドマウントディスプレイは、請求項１〜８のいずれかに記載のヘッドマウントディスプレイであって、前記ヘッドマウントディスプレイの特定の動作は、音声出力及び画像出力のうち少なくとも１つの変化であることを特徴とするヘッドマウントディスプレイである。
【００１３】
請求項１０に係る発明のヘッドマウントディスプレイは、請求項１〜９のいずれかに記載のヘッドマウントディスプレイであって、前記ヘッドマウントディスプレイの特定の動作は、電源のオンおよびオフのいずれかであることを特徴とするヘッドマウントディスプレイである。
【００１４】
請求項１１に係る発明のヘッドマウントディスプレイは、請求項１〜１０のいずれかに記載のヘッドマウントディスプレイであって、前記画像出力部を、ユーザの眼前に位置した状態と、眼前からはずれて待避した状態とを、動力により、切り替えられる手段をさらに有し、前記ヘッドマウントディスプレイの特定の動作は、前記画像出力部を、ユーザの眼前に位置した状態と、眼前からはずれて待避した状態とで、切り替えることことを特徴とするヘッドマウントディスプレイである。
【００１５】
請求項１２に係る発明のヘッドマウントディスプレイは、請求項１〜１１のいずれかに記載のヘッドマウントディスプレイであって、ユーザの特定のアクションの形態と、それに応じてなされるべきヘッドマウントディスプレイの特定の動作とを対応させ一組にして登録し記憶する手段をさらに有し、前記制御手段は、前記指示入力手段により検出されたユーザの特定のアクションと、前記記憶されたユーザの特定のアクションの形態と、が一致すると判定される場合は、そのアクションに対応する前記記憶されたそのアクションに応じてなされるべきヘッドマウントディスプレイの特定の動作が行われる様に制御することを特徴とするヘッドマウントディスプレイである。
【００１６】
【発明の実施の形態】
以下、本発明の実施形態について、図面を参照して説明する。
（第１実施形態）
図１〜図３に、本発明の第１の実施形態に係るヘッドマウントディプレイの一例を示す。本実施形態に係るヘッドマウントディスプレイは、画像出力部１００を、ユーザの眼前に位置した状態（図２参照）と、眼前からはずれて待避した状態（図３参照）とで位置変位可能である。不使用時にユーザの眼前位置から後方に待避することができる構造を有するものである。
【００１７】
図１〜図３に示すように、ヘッドマウントディスプレイ（以下、ＨＭＤと略記する）は、ユーザＵに対して画像を出力するための機能を有する画像出力部１００と、音声、音楽、効果音等の音響を発生させる機能を有する音響出力部２００と、画像出力部１００、音響出力部２００および音声検出装置４７０を一体的に連結すると共に、これらをユーザＵの頭部１に着脱自在に装着するための支持部３００とを有する。さらに、ユーザの頭部の動きを検出する頭部の動き検出装置７００、ユーザの視線の動きを検出する視線検出装置９００、ユーザにより発せられる音声を検出する音声検出装置４７０と、を有している。
【００１８】
このＨＭＤは、図１〜図３に示すように、ユーザＵの頭部１に、当該頭部１を挟むように装着される。すなわち、音響出力部２００がユーザＵの耳に当接した状態で、支持部３００が、それ自身が有する弾性力により、ユーザＵの頭部を挟み込むことによって、頭部１に装着される。また、ＨＭＤは、画像表示信号および音響出力信号等を出力する情報処理装置Ｄを別体で設けた構成とした。そして、情報処理装置Ｄは、各出力部、各検出装置、各駆動装置とは、ケーブル８００を介して接続される。情報処理装置Ｄは、電源と、画像信号を生成して出力する回路と、音響信号を生成して出力する回路とを有する。ケーブル８００の先端には、プラグ８１０が設けられ、情報処理装置ＤのコネクタＣＮに着脱自在に接続される。従って、ＨＭＤの支持部３００と一体的に連結された部分を頭部１に装着することで、ユーザＵは、情報処理装置Ｄから供給される画像表示信号および音響出力信号により形成される画像および音響を、ＨＭＤを介して視聴することができる。
【００１９】
次に各構成要素について説明する。
【００２０】
画像出力部１００は、画像を現す画像表示信号を光信号に変換して画像を形成する電気‐光変換器と、形成された画像を拡大する光学系とを有する。電気‐光変換器では、例えば、情報処理装置のディスプレイ画面のように画面を形成することができる。例えば、図９に一例を示すように、選択肢選択ウィンドウ等を表示することができる。もちろん、動画を表示することも可能である。
【００２１】
音響出力部２００は、音響出力信号を音響に変換するものである。本実施形態では、左音響出力部２００Ｌと、右音響出力部２００Ｒとが設けられている。この音響出力部２００には、電気信号を音響に変換する音響変換器が設けられている。また、音響出力部２００は、本実施形態では、その構造上、後述する支持部３００と共に、当該ＨＭＤをユーザＵの頭部１に装着させる際の、耳への当接部としても機能する。
【００２２】
なお、本実施形態では、音響出力部２００Ｌ側に、ケーブル８００と内部配線とを接続する接続部が設けられている。
【００２３】
支持部３００は、図１〜３に示すように、左右の音響出力部２００Ｌと２００Ｒとを連結するバンド３１０と、バンド３１０の一端側に設けられた画像出力部支持アーム３２０と、音声検出装置支持アーム３３３とを有する。
【００２４】
バンド３１０は、ユーザＵの頭部１を後方から挟むことができるように湾曲した形状を持っている。そして、両端に音響出力部２００Ｌと２００Ｒとが連結固定されている。バンド３１０は、本体３１１と、画像出力部支持アーム３２０を出没自在に収容する画像出力部支持アーム収容部３１２とにより構成される。バンド３１０には、情報処理装置Ｄからのケーブル８００に接続される配線（図示せず）が設けられている。これら配線のうち一部は、画像出力部１００、音声検出装置４７０に通じ、他の一部は、左右の音響出力部２００Ｌ，２００Ｒに通じる。さらに、後述する視線検出装置９００、頭部動き検出装置７００に通じる配線もある。
【００２５】
画像出力部支持アーム収容部３１２には、本実施形態では、音響出力部２００Ｌに隣接して、開口部３１２ｂが設けられている。画像出力部支持アーム３２０は、この開口部３１２ｂから出没することができる。すなわち、画像出力部１００は、画像出力部支持アーム３２０と画像出力部支持アーム収容部３１２とで構成されるスライド機構によりバンド３１０と連結されている。なお、開口部３１２ｂには、図示していないが、画像出力部支持アーム３２０が、引き出された際に、抜け落ちないようにするためのストッパ（図示せず）が設けられている。また、画像出力部支持アーム収容部３１２には、画像出力部支持アーム３２０の出没を円滑に行うため、案内レール（図示せず）が設けられる。これにより、画像出力部支持アーム３２０が円滑にスライドすることになる。
【００２６】
バンド３１０の画像出力部支持アーム収容部３１２には、画像出力部支持アーム３２０を電動でスライドし収容するモータ３９１が取り付けられている。
【００２７】
図４は、モータ３９１が取り付けられているモータ部３９０の断面図である。
【００２８】
モータ３９１のモータ軸３９２にはローラー３９３が取り付けられており、ローラー３９３はモータ軸３９２を中心にモータ３９１の回転と連動して回転する。
【００２９】
ローラー３９３は、画像出力部支持アーム３２０の側面と接しており、ローラー３９３が回転すると、摩擦力により、画像出力部支持アーム３２０が移動する。図２では、ローラー３９３が反時計回りに回転すると、画像出力部支持アーム３２０は画像出力部支持アーム収容部３１２に押し込まれ、図３の状態になる。
逆に、ローラー３９３が時計回りに回転すると、画像出力部支持アーム３２０は画像出力部支持アーム収容部３１２から引き出され、図２の状態になる。
【００３０】
ローラー３９３の摩擦面の材質としては、所定の摩擦力を生じるものであればよいが、好ましくは、ゴム等の弾性体である。ただし、摩擦力が大きすぎると、画像出力部支持アーム３２０をユーザが手動で出し入れできなくなるので、好ましくない。
（頭部の動き検出装置）
頭部の動き検出装置７００は、バンド３１０の中央部、すなわちユーザが装着したときに後頭部の位置に来る位置に取り付けてある。
【００３１】
頭部の動き検出装置７００の回路基板には、垂直方向と水平方向の加速度、角速度又は角加速度を検出する垂直方向ジャイロセンサ、水平方向ジャイロセンサが取り付けられている。このように取り付ければ、身体軸方向の頭部の動き（縦振り）、身体軸に直交する方向の頭部の動き（横振り）が検出できる。ジャイロとしては、筐体内のミラーやファイバでレーザー光を周回させ、筐体が方向を変えると内部で周回しているレーザーの発光から受光のタイミングが変わることを利用した光学式ジャイロ；歳差を応用して角度変位を検知する機械式ジャイロ；振動（一次振動）する質量に角速度がつくと「コリオリ」効果でそれに直交する方向にも振動（二次振動）が発生することを利用した振動式ジャイロ；等を使用できる。頭部の動き検出装置７００の検出結果は、情報処理装置Ｄの中央制御装置８５４に送られる。
（視線検出装置）
視線検出装置９００は、画像出力部１００のユーザに対向する面に取り付けてある。視線検出装置９００は、図５に示すように、ユーザの眼２に赤外光を照射する赤外光照射部９０１、ユーザの角膜で反射した光のうち赤外光を反射するダイクロイックミラー９０４、ダイクロミックミラー９０４からの反射光を集光する集光レンズ９０３、集光された赤外光を検出する視界センサー９０２からなる。このように構成される視線検出装置９００は、赤外光でユーザの眼２を照明し、角膜で反射した赤外光と眼球全体の像から、瞳孔の中心位置と反射光の位置を求め、目の回転角を計算し、ユーザが画像のどこを見ているのか計算し求める方法を採用している。
（音声検出装置）
音声検出装置４７０は、音声検出装置支持アーム３３３を介してバンド３１０と連結されている。音声検出装置４７０は、ユーザが発する音声信号を電気信号に変換する装置である。例えば、磁界の中にあるリボン状の箔の動きを使って発電する方式のリボン型マイクロホン； 磁界の中にあるコイルを動かして発電、出力を取り出す方式のダイナミック型（ムービングコイル型）マイクロホン；静電容量を利用して音圧を電気信号に改める方式のコンデンサー型マイクロホン；カーボン粒子間の接触抵抗を音圧によって変化させることで収音するカーボン型マイクロホン等を使用できる。
（情報処理装置）
情報処理装置Ｄは、図６で示すように、画像出力部１００に画像表示信号を送るため、当該画像表示信号を処理する画像出力信号処理装置８５１と、音響出力部２００に音響出力信号を送るための音響出力信号処理装置８５２と、情報処理装置全体を管理する中央制御装置８５４と、電源のオンオフおよび節電モード、電池８５７への充電の制御を行うための電源制御回路８５６とを有する。また、ＨＭＤ本体と情報信号のやりとりをする入出力インタフェース８５８を有する。
また、電源のオンオフを行うためのメインスイッチＳＷを有する。さらに、ＨＭＤと信号を授受するためのケーブル８００のプラグ８１０を接続するためのコネクタＣＮが設けられている。また、電源として、充電可能な電池８５７が用意されている。
【００３２】
情報処理装置Ｄには、画像表示信号および音響出力信号を生成する基となる画像情報および音響情報等を格納する記憶装置８５３が用意される。また、この他に、必要に応じて、外部より、画像情報および音響情報を受け入れるための通信装置を備えることもできる。
（記憶装置）
記憶装置８５３には、画像情報、音響情報のほかに以下の情報も記憶されている。
【００３３】
記憶装置８５３には、ユーザが頭部を縦または横に振った場合に検出される、垂直方向または水平方向の加速度変化の標準的なパターンが記憶されている。このパターンは、図７で示される中央制御装置８５４でなされる動作入力処理８５４２において、ユーザが頭部を縦に振ったか横に振ったかを判断するために使用される。また、ユーザの頭部の振り方は常に一定ではなく、ある程度幅がある。
そこで、閾値が設けられており、パターンとのずれが閾値内であれば、パターンと一致するとみなす。この閾値も記憶装置８５３に記憶されている。
【００３４】
また、頭部を縦または横に振ったと判断された場合になされるべきＨＭＤの特定の動作についての情報が記憶されている。すなわち、ユーザの特定のアクションの形態と、それに応じてなされるべきヘッドマウントディスプレイの特定の動作とを対応させ一組にして記憶されている。例えば、頭部を縦に振った場合は、特定のメニュ選択ウインドウを画像出力させるなどのである。
【００３５】
また、記憶装置８５３には、音声認識のための、音響モデルが記憶されている。
この音響モデルは、中央制御装置８５４でなされる音声入力処理８５４４において使用される。音響モデルは，平均的な発音データを基に作られた、いわゆる音声の単語辞書である。音声認識は、音響モデルと、ユーザにより入力された音声信号（波形）とをマッチング（照合）することにより行われる。詳しくは、音声入力処理の説明とともに述べる。
【００３６】
また、ユーザが音声を発した場合、または特定の言葉を発した場合に、なされるべきＨＭＤの特定の動作についての情報が記憶されている。例えば、ユーザが「音量」と発した場合は、音量調整メニュが画像出力されるなどである。
【００３７】
また、頭部の動き、音声入力、視線入力の組み合わせに応じた、ＨＭＤの特定の動作についても記憶されている。例えば、頭部の動きの後に音声入力をした場合；音声入力した後に頭部の動きがあった場合；略同時に音声入力と頭部の動きがあった場合；など、ユーザのアクションの順番に応じて、なされるべきＨＭＤの特定の動作について記憶されている。
【００３８】
（中央制御装置）
中央制御装置８５４は、情報処理装置Ｄ全体を管理をする。また、図７に示すように、入力判定処理８５４１、動作入力処理８５４２、視線入力処理８５４３および音声入力処理８５４４を行う。
【００３９】
入力判定処理８５４１は、ユーザがいずれの方法で入力したかを判定する処理である。本実施形態のＨＭＤは、ユーザの特定のアクションにより、特定の動作をするものである。ユーザは、頭部を動かす方法、視線を動かす方法、音声を発する方法によりＨＭＤに指示することができる。頭部の動きは、動き検出装置７００で検出される。視線の動きは、視線検出装置９００により検出される。ユーザが発した音声は音声検出装置４７０により検出される。そして、これらの検出結果に基づいて、入力判定処理８５４１により、ユーザのアクションがいかなる方法で行われたかが判定される。
【００４０】
動作入力処理８５４２は、頭部の動き検出装置７００の検出結果から、ユーザが頭部を縦に振ったか、横に振ったか等を判断する。中央制御装置８５４には、頭部の動き検出装置７００から、ユーザ頭部の垂直方向の加速度変化と、水平方向の加速度変化の検出結果が送られてくる。垂直又は水平方向の加速度変化が検出された場合は、動作入力処理８５４２においては、その加速度変化のパターンと、記憶装置８５３に記憶された標準的な縦振り又は横振りパターンとを照合する。一致または所定の閾値範囲であればユーザが頭部を縦又は横に振ったと区別して判断する。
【００４１】
そして、判断結果に基づいて、それに応じてなされるべきＨＭＤの動作がなされるように、各処理装置に命令する。
【００４２】
視線入力処理８５４３においては、視線検出装置９００からの検出結果に基づいて、ユーザが画面上のどこを見ているかが判断される。視線検出装置９００の検出結果からユーザの視線の方向がわかる。ユーザの眼と画像出力部の位置関係および視線の方向から、画面上のユーザの視点の位置が求められる。
【００４３】
また、選択肢が列挙された画面を出力している場合において、所定時間、視点が一定の選択肢の位置から動かない場合は、その選択肢を選択したと判断し、次の処理に移行する。
【００４４】
音声入力処理８５４４においては、音声検出装置４７０の検出結果を基に、ユーザが発した音声が分析される。単に音声を発したか否かを判断する段階と、発した言葉の意味を分析する音声認識の段階を有する。
【００４５】
単に音声を発したか否かは、音声検出装置４７０が所定値以上の音量の音声を検出したか否かで判断できる。ただし、外界の雑音等により、ユーザが音声を発していない場合であっても、当該所定地に達する場合があるので、この所定値は、適宜変更できるようにするとよい。
【００４６】
音声認識は、ユーザの発した音声信号（波形）と、記憶装置８５３に記憶された音響モデルとを、マッチング（照合）することにより行われる。マッチングには、通常１０〜２０ミリ秒の単位で，単語の先頭から順次行われる。例えば「音量」という言葉を認識する場合，最初に「お」という言葉を認識する。マッチングの候補は，音響モデルのなかの「お」から始まる言葉に絞られる。次に「おん」を認識した時点で候補は、音楽、音響、音声、音節などに，さらに「おんり」を認識した時点では，音量にといった具合に候補が絞り込まれ，最終的に最もマッチングする単語が出力される。
【００４７】
音声認識がなされると、その単語の意味内容に応じてなされるべきＨＭＤの動作をするように各処理装置に命令する。
（フローチャート）
図８は、本実施形態のＨＭＤにおける、頭部の動き、視線の動き、音声入力がされた場合の動作の流れを示した図である。
【００４８】
ステップＳ１００において、音声入力の有無は、音声検出装置４７０により判定される。音声入力がされた場合は、ステップＳ１０１において、音声認識される。次にステップＳ１０２において、音声認識の結果を基にユーザが何を指示（コマンド）しているか認識がされ、続いてステップＳ１０３において、コマンドが実行するように各制御装置に指示する。これらの処理は、中央制御装置８５４の音声入力処理８５４４の過程においてなされる。
【００４９】
また、ステップＳ２００において、視線入力の有無を判定する。視線入力がされた場合は、ステップＳ２０１において、ユーザの注視位置が検出される。次にステップＳ２０２において、ユーザが画面上のどの選択肢を選択しているか特定する。続いてステップＳ２０３において、選択肢の内容を実行するよう各処理装置に指示する。これらの処理は、中央制御装置８５４の視線入力処理８５４３の過程においてなされる。
【００５０】
また、ステップＳ３００において、頭部の動きによる入力の有無を判定する。頭部の動きにより入力がされた場合は、ステップＳ３０１において、頭部の動きの種類（例えば、縦振りか、横振りか等）を認識する。次にステップＳ３０２において、それに応じた指示内容を特定する。続いてステップＳ３０３において、その指示を実行するよう各制御装置に指示する。これらの処理は、中央制御装置８５４の動作入力処理８５４２の過程においてなされる。
（第１実施形態の動作の一例）
以上のように構成されるＨＭＤについて、その動作の一例を示す。
【００５１】
本発明のＨＭＤは、頭部の動きの検出と、視線検出と、音声検出の組み合わせにより、確実にユーザの意思を反映して動作することを特徴とする。
【００５２】
以下に、頭部の動きの検出と、視線検出と、音声検出の組み合わせにより、ユーザの意思を確実に読み取り、画像出力のオフおよび画像出力部１００の待避を行う一例を示す。
ユーザが画像出力をオフし、画像表示部１００を眼前から待避させたい場合においては、本実施形態のＨＭＤは、以下の動作をとるようにすることができる。
【００５３】
ユーザから音声検出装置４７０に、例えば、「オフ」という言葉が入力されると、この音声信号は音声認識される。その結果、オフ対象選択ウィンドウ１５１の画像出力を求める命令（コマンド）であると認識される。そして、このコマンドの実行を画像出力信号処理装置８５１に指示する。
【００５４】
これを受けて、画像出力信号処理装置８５１は、オフ対象選択ウィンドウ１５１を表示するように、画像出力部１００に画像信号を送る。そして、画像出力部１００は、図９に示すように、オフ対象選択ウィンドウ１５１を出力する。
【００５５】
これにより、ユーザは、図９で示すように、オフ対象選択ウィンドウ１５１を、表示画面１５０の中で観察することができる。オフ対象選択ウィンドウ１５１には、電源、音響出力、画像出力のうちいずれをオフするかについて選択肢が列挙されている。また、画像出力部を待避する選択肢も列挙されている。また、矢印アイコン１５９は、ユーザの視点と連動して移動する。ユーザはこの矢印アイコン１５９を移動させて、オフしたいものを選択肢の上に重ねる。このとき、「選択肢を注視してください」などの音声ガイドが音声出力されるようにしてもよい。音声出力によるガイドがあれば、ユーザは操作方法が理解でき、円滑かつ迅速に次の処理に進行できる。
【００５６】
ユーザは選択したい選択肢に一定時間視点を合わせる。
【００５７】
視線検出装置９００は、ユーザの視線を検出し、検出結果を中央制御装置８５４に送る。そして、一定時間以上、視点が動かない場合は、画面上の視点の位置にある選択肢を選択したとして、選択肢の特定がなされる。
【００５８】
次に、図１０に示すように、選択肢が正しく選択されたかどうかの確認画面１５２を表示する。このとき、「よろしければ、頭部を縦に振ってください」などの音声ガイドが音声出力されるようにしてもよい。これにより、ユーザに次に何をすれば良いかを伝え、ユーザにとっては操作が容易となるとともに、迅速かつ確実に次の処理へ進行できるようになる。正しく選択された場合は、ユーザは頭部を縦に振る。正しく選択されていない場合は、頭部を横に振る。
【００５９】
このとき、中央制御装置８５４では、頭部が縦に振られた場合は、正しいと判断されたと認識し、次の処理に移るように設定しておく。一方、頭部を横に振った場合は、正しくないと認識し、再び、オフ対象選択ウィンドウに戻るように処理されるように設定しておく。
【００６０】
すなわち、ユーザが頭部を縦に振った場合は、正しく選択されたと認識され、中央制御装置８５４は、選択肢の内容を実行するように、各処理回路に命令する。
【００６１】
ここでユーザが、例えば、「画像表示オフ、画像出力部の待避」の選択肢を選択した場合は、中央制御装置８５４は、画像出力をオフし、また、モータ３９１が駆動し、画像出力部１００をユーザの眼前から待避するように各処理装置に指示する。
【００６２】
その結果、画像出力がオフされ、画像出力部１００はユーザの眼前からはずれ待避した状態になる（図３参照）。
【００６３】
このように、本実施形態によれば、頭部の動きだけでなく、ユーザの他のアクションの検出を組み合わせることで、確実にユーザの意思を読み取り、ユーザの意思に沿ってＨＭＤの動作がなされる。
【００６４】
上記の例においては、音声検出結果は、複数の選択肢を含む表示画面の表示に割当てられ、視線検出結果は、ヘッドマウントディスプレイの特定の動作の実行の指示の受付に割当てられ、頭部の動きの検出結果は、指示内容の実行前に、受け付けた指示内容の確認に割当てられている。
【００６５】
ＨＭＤに特定の動作をさせるように指示するためになされる、ユーザのアクションの組み合わせは、上記のものに限られない。
【００６６】
例えば、頭部を縦に振り、すぐに横に振った場合など、２種以上の頭部の動きの組み合わせに応じて、ＨＭＤの特定の動作をさせるものであってもよい。例えば、頭部を縦横に１回振りさらに縦に１回振った場合は、電源をオフしたり、または、画像出力部１００がユーザの眼前から待避するなどとしてもよい。
【００６７】
また、頭部を縦に２度振るなど同じ動作の組み合わせでもかまわないし、最初に頭部を右、次に頭部を前に振るなどの頭部の動きの方向を用いてもかまわない。
【００６８】
また、ユーザのアクションの順番に応じて、ＨＭＤの特定の動作をさせるものであってもよい。すなわち、２以上のユーザのアクションが異なるタイミングで行われたか、並行しておこなわれたかを区別して、ＨＭＤの特定の動作をさせるものであってもよい。例えば、頭部の動きがなされた後に視線入力がされた場合；頭部の動きと音声入力が同時になされた場合；頭部の動きがなされた後に、音声入力または視線入力がなされた場合；等の場合に、ＨＭＤが特定の動作をするようにしてもよい。
【００６９】
また、ユーザがどのようなアクションをした場合に、ＨＭＤがどのような動作をするかについて、ユーザにより登録できるようにするとよい。
【００７０】
登録の仕方としては、画面上で、視線により選択肢を選択させて登録させることにより行える。例えば、ユーザの特定のアクションの形態と、ＨＭＤの特定の動作の対応関係を列挙した選択肢を画面に出力し、選択させるようにしてもよい。
【００７１】
そして、ユーザの特定のアクションの形態と、それに応じてなされるべきヘッドマウントディスプレイの特定の動作とを対応させ一組にして、記憶装置８５３に記憶させるようにする。
【００７２】
また、ユーザのアクションによりなされるＨＭＤの特定の動作は、音声、画像出力のオフ等に限られない。例えば、ユーザが「ソフト」と発声すると、図１１に示すように、画像としてアプリケーションソフトの画面１５３を出力させ、その画面上でコンピュータ内のファイルを開く等の動作をさせてもよい。この場合は、視線により、矢印アイコン１５９を移動させ、操作対象の選択肢、例えば、「ファイル開く」を選択させる。その後、確認画面に移行させ、頭部の縦振りによって、確定させるようにしてもよい。このように、複数のアクションによりユーザに指示させることにより、ＨＭＤは、ユーザの意思を確実に読み取り、誤作動なく特定の動作をすることができる。
【００７３】
以上に述べた実施形態のＨＭＤは、情報処理装置Ｄを、ケーブルを介して接続される形式のものである。しかし、本発明が適用されるＨＭＤは、これに限られない。例えば、図１２に示すように、情報処理装置ＤをＨＭＤに搭載した構造を有するものにも適用することができる。また、情報処理装置ＤとＨＭＤとを無線で接続する構成のものに適用することもできる。後者の場合、無線通信のための回路と電源とがＨＭＤに搭載される。また、情報処理装置側にも、無線通信のための回路が搭載される。
【００７４】
また、以上の実施形態では、画像出力部および音響出力部の両者を有する例を示した。本発明の適用は、これに限られない。例えば、画像出力部のみを有するＨＭＤにも適用可能である。
【００７５】
また、以上の実施の形態では音声検出装置４７０を画像出力部１００と独立に配置したが、音声検出装置は画像出力部の中に組み込んでもかまわない。この場合、音声検出装置支持アーム３３３が不要となり機構を簡略化できる。この場合、音声を確実に拾えるように音声検出装置の指向性は下向きに設定することが望ましい。
【００７６】
また、本発明は片眼式のＨＭＤに限られない。本発明は、ユーザの両眼に画像を出力するゴーグル型のＨＭＤについても適用が可能である。
【００７７】
本実施形態のＨＭＤは、画像出力部支持アーム３２０が支持部３００の画像出力部支持アーム収容部３１２に収容できるため、不使用時に、画像出力部支持アーム３２０が邪魔にならないため、持ち運び、収納等の際に便利である。
【００７８】
【発明の効果】
本発明によれば、音声出力、画像出力等のＨＭＤの特定の動作を、ハンズフリーでかつユーザの意思に従って誤作動が少なくなり確実に行うＨＭＤが提供される。
【図面の簡単な説明】
【図１】図１は本発明に係る第１の実施形態に係るヘッドマウントディスプレイの外観を示す斜視図。
【図２】図２は本発明に係る第１の実施形態に係るヘッドマウントディスプレイの構造の概要を示す断面図。
【図３】図３は本発明に係る第１の実施形態に係るヘッドマウントディスプレイの構造の概要を示す断面図。
【図４】図４はモータ部の断面図。
【図５】図５は視線検出装置の構造を示す図。
【図６】図６は本発明に係る第１の実施形態に係るヘッドマウントディスプレイおよび情報処理装置の構成要素を示す図。
【図７】図７は本発明に係る第１の実施形態に係るヘッドマウントディスプレイに適用可能な情報処理装置の構成要素を示す図。
【図８】図８は本発明に係る第１の実施形態に係るヘッドマウントディスプレイおけるユーザのアクションに応じた処理の流れを示すフローチャート。
【図９】図９はオフ時の動作態様の設定を行うため画面の一例図。
【図１０】図１０は確認画面の一例図。
【図１１】図１１はアプリケーションソフトの画面上で視線で選択肢を選択しているところを示す図。
【図１２】図１２は本発明に係る情報処理装置一体型のヘッドマウントディスプレイの外観を示す斜視図。
【符号の説明】
Ｄ…情報処理装置、ＣＮ…コネクタ、ＳＷ…電源スイッチ、
Ｕ…ユーザ、１…頭部、２…眼
１００…画像出力部、
１５０…表示画面、１５２…オフ対象選択ウィンドウ、１５３…ソフトアプリケーションソフト画面、１５９…矢印アイコン、
２００（２００Ｌ，２００Ｒ）…音響出力部、
３００…支持部、３１０…バンド、３１１…バンド本体、３１２…画像出力部支持アーム収容部、３１２ｂ…開口部、３２０…画像出力部支持アーム、
３３３…音声検出装置支持アーム、
３９０…モータ部、３９１…モータ、３９２…モータ軸、３９３…ローラー、
４７０…音声検出装置、
７００…動き検出装置、
８００…ケーブル、
８１０…プラグ、
８５１…画像出力信号処理装置、８５２…音響出力信号処理装置、８５３…記憶装置、
８５４…中央制御装置、８５４１…入力判定処理、８５４２…動作入力処理、８５４３…視線入力処理、８５４４…音声入力処理、
８５６…電源制御回路、８５７…電池、８５８…入出力インタフェース、
９００…視線検出装置、９０１…赤外光照射部、９０２…視界センサー、９０３…集光レンズ、９０４…ダイクロイックミラー
Claims (12)
- 画像を出力する画像出力部を有し、頭部に装着可能なヘッドマウントディスプレイであって、
ユーザの特定のアクションを検出して、ユーザの指示を受け付ける指示入力手段と、
前記指示入力手段により入力された指示に応じて、ヘッドマウントディスプレイの特定の動作を行わせる制御手段とを有し、
前記指示入力手段は、ユーザの頭部の動きを検出する動き検出機能を有することを特徴とするヘッドマウントディスプレイ。 - 請求項１に記載のヘッドマウントディスプレイであって、
前記動き検出機能は、少なくとも、身体軸方向の軸回りの頭部の動きと、身体軸に直交する軸回りの頭部の動きとを検出し、
前記制御手段は、前記動き検出手段で検出された前記身体軸方向の軸回りの頭部の動きと、身体軸に直交する軸回りの頭部の動きとの組み合わせに応じて制御がなされることを特徴とするヘッドマウントディスプレイ。 - 請求項１および請求項２のいずれかに記載のヘッドマウントディスプレイであって、
前記指示入力手段は、ユーザの視線の動きを検出する視線検出機能をさらに有し、
前記制御手段は、前記動き検出機能による動き検出結果と前記視線検出機能による視線検出結果に応じて制御を行うことを特徴とするヘッドマウントディスプレイ。 - 請求項３に記載のヘッドマウントディスプレイであって、
前記制御手段は、前記視線検出結果又は前記動き検出結果のどちらか一方の結果に応じて、前記ヘッドマウントディスプレイの特定の動作の実行の指示の受付が行われる様に制御し、前記視線検出結果又は前記動き検出結果のどちらか他方の結果に応じて、指示の実行前に、受け付けた指示の確認を前記ユーザに求める様に制御することを特徴とするヘッドマウントディスプレイ。 - 請求項１から請求項４のいずれかに記載のヘッドマウントディスプレイであって、
前記指示入力手段は、ユーザの発する音声を検出する音声検出機能とをさらに有し、
少なくとも前記動き検出機能による動き検出結果と前記音声検出機能による音声検出結果に応じて、制御を行うことを特徴とするヘッドマウントディスプレイ。 - 請求項１および請求項２のいずれかに記載のヘッドマウントディスプレイであって、
前記指示入力手段は、ユーザの視線の動きを検出する視線検出機能と、ユーザの発する音声を検出する音声検出機能とをさらに有し、
前記制御手段は、前記音声検出機能による音声検出結果に応じて、複数の選択肢を含む表示画面の表示を前記表示出力部で行うように制御し、
前記視線検出結果に応じて、前記複数の選択肢からの選択の受付を行う様に制御し、
頭部の動きの検出結果に応じて、前記受付を行った内容の確認を行うように制御することを特徴とするヘッドマウントディスプレイ。 - 請求項１〜６のいずれかに記載のヘッドマウントディスプレイであって、
前記指示入力手段は、異なるタイミングで行われる少なくとも２つのユーザのアクションを検出する機能を有することを特徴とするヘッドマウントディスプレイ。 - 請求項１〜６のいずれかに記載のヘッドマウントディスプレイであって
前記指示入力手段は、並行して行われる少なくとも２つのユーザのアクションを検出する機能を有することを特徴とするヘッドマウントディスプレイ。 - 請求項１〜８のいずれかに記載のヘッドマウントディスプレイであって、
前記ヘッドマウントディスプレイの特定の動作は、音声出力及び画像出力のうち少なくとも１つの変化であることを特徴とするヘッドマウントディスプレイ。 - 請求項１〜９のいずれかに記載のヘッドマウントディスプレイであって、
前記ヘッドマウントディスプレイの特定の動作は、電源のオンおよびオフのいずれかであることを特徴とするヘッドマウントディスプレイ。 - 請求項１〜１０のいずれかに記載のヘッドマウントディスプレイであって、
前記画像出力部を、ユーザの眼前に位置した状態と、眼前からはずれて待避した状態とを、動力により、切り替えられる手段をさらに有し、
前記ヘッドマウントディスプレイの特定の動作は、前記画像出力部を、ユーザの眼前に位置した状態と、眼前からはずれて待避した状態とで、切り替えることことを特徴とするヘッドマウントディスプレイ。 - 請求項１〜１１のいずれかに記載のヘッドマウントディスプレイであって、
ユーザの特定のアクションの形態と、それに応じてなされるべきヘッドマウントディスプレイの特定の動作とを対応させ一組にして登録し記憶する手段をさらに有し、
前記制御手段は、前記指示入力手段により検出されたユーザの特定のアクションと、前記記憶されたユーザの特定のアクションの形態と、が一致すると判定される場合は、そのアクションに対応する前記記憶されたそのアクションに応じてなされるべきヘッドマウントディスプレイの特定の動作が行われる様に制御することを特徴とするヘッドマウントディスプレイ。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003025320A JP2004233909A (ja) | 2003-01-31 | 2003-01-31 | ヘッドマウントディスプレイ |
| PCT/JP2003/016422 WO2004061519A1 (ja) | 2002-12-24 | 2003-12-22 | ヘッドマウントディスプレイ |
| US11/154,893 US7542012B2 (en) | 2002-12-24 | 2005-06-16 | Head mounted display |
| US12/430,637 US8400371B2 (en) | 2002-12-24 | 2009-04-27 | Head mount display |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003025320A JP2004233909A (ja) | 2003-01-31 | 2003-01-31 | ヘッドマウントディスプレイ |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004233909A true JP2004233909A (ja) | 2004-08-19 |
Family
ID=32953636
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003025320A Pending JP2004233909A (ja) | 2002-12-24 | 2003-01-31 | ヘッドマウントディスプレイ |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004233909A (ja) |
Cited By (32)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006087049A (ja) * | 2004-09-17 | 2006-03-30 | Canon Inc | 撮像装置、撮像装置の制御方法及びコンピュータプログラム |
| JP2008015634A (ja) * | 2006-07-03 | 2008-01-24 | Seikatsu Kyodo Kumiai Coop Sapporo | 商品関連情報提供システム、及び商品関連情報提供方法 |
| JP2009044387A (ja) * | 2007-08-08 | 2009-02-26 | Nikon Corp | ヘッドマウントディスプレイ |
| JP2011014081A (ja) * | 2009-07-06 | 2011-01-20 | Toshiba Tec Corp | ウエアラブル端末装置及びプログラム |
| JP2011048440A (ja) * | 2009-08-25 | 2011-03-10 | Toshiba Tec Corp | 調理補助端末及びプログラム |
| JP2011048439A (ja) * | 2009-08-25 | 2011-03-10 | Toshiba Tec Corp | ウエアラブル注文端末及びプログラム |
| JP2012514392A (ja) * | 2008-12-30 | 2012-06-21 | ゼンハイザー・エレクトロニック・ゲゼルシャフト・ミット・ベシュレンクテル・ハフツング・ウント・コンパニー・コマンデイトゲゼルシャフト | 制御システム、イヤホン、および制御方法 |
| JP2013083731A (ja) * | 2011-10-06 | 2013-05-09 | Murata Mach Ltd | 画像表示システム |
| WO2013175465A1 (en) * | 2012-05-21 | 2013-11-28 | Lumus Ltd. | Head -mounted display with an eyeball - tracker integrated system |
| WO2014129105A1 (ja) * | 2013-02-22 | 2014-08-28 | ソニー株式会社 | ヘッドマウントディスプレイシステム、ヘッドマウントディスプレイ及びヘッドマウントディスプレイ制御プログラム |
| JP2015087921A (ja) * | 2013-10-30 | 2015-05-07 | セイコーエプソン株式会社 | 頭部装着型表示装置および頭部装着型表示装置の制御方法 |
| KR20150078242A (ko) * | 2013-12-30 | 2015-07-08 | 주식회사 케이티 | Hmd 제어 방법, 컴퓨팅 장치 및 컴퓨터 판독가능 매체 |
| JP2015141686A (ja) * | 2014-01-30 | 2015-08-03 | 株式会社リコー | ポインティングデバイス、情報処理装置、情報処理システムおよびポインティングデバイスの制御方法 |
| JP2016126381A (ja) * | 2014-12-26 | 2016-07-11 | セイコーエプソン株式会社 | 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム |
| JP2016218597A (ja) * | 2015-05-18 | 2016-12-22 | 富士通株式会社 | ウェアラブルデバイス、表示制御プログラム、及び表示制御方法 |
| WO2017057037A1 (ja) * | 2015-09-30 | 2017-04-06 | ソニー株式会社 | 情報処理装置、および情報処理方法、並びにプログラム |
| JP2017511636A (ja) * | 2014-03-10 | 2017-04-20 | クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ | 黙示的なユーザキューに基づいてワイヤレス通信を促進するためのデバイスおよび方法 |
| JP2017134601A (ja) * | 2016-01-27 | 2017-08-03 | 株式会社コーエーテクモゲームス | 情報処理装置、設定画面表示方法及び設定画面表示プログラム |
| KR20170090419A (ko) * | 2014-10-24 | 2017-08-07 | 이매진 코퍼레이션 | 마이크로디스플레이 기반 몰입형 헤드셋 |
| US9921646B2 (en) | 2013-03-25 | 2018-03-20 | Seiko Epson Corporation | Head-mounted display device and method of controlling head-mounted display device |
| JP2018508805A (ja) * | 2014-12-29 | 2018-03-29 | 株式会社ソニー・インタラクティブエンタテインメント | ヘッドマウントディスプレイを用いた仮想または拡張現実シーン内のユーザ対話の方法及びシステム |
| WO2018061743A1 (ja) * | 2016-09-28 | 2018-04-05 | コニカミノルタ株式会社 | ウェアラブル端末 |
| JP2018091882A (ja) * | 2016-11-30 | 2018-06-14 | セイコーエプソン株式会社 | 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法 |
| US10366691B2 (en) | 2017-07-11 | 2019-07-30 | Samsung Electronics Co., Ltd. | System and method for voice command context |
| US10506220B2 (en) | 2018-01-02 | 2019-12-10 | Lumus Ltd. | Augmented reality displays with active alignment and corresponding methods |
| US10649214B2 (en) | 2005-02-10 | 2020-05-12 | Lumus Ltd. | Substrate-guide optical device |
| US10732415B2 (en) | 2005-02-10 | 2020-08-04 | Lumus Ltd. | Substrate-guide optical device |
| US11243434B2 (en) | 2017-07-19 | 2022-02-08 | Lumus Ltd. | LCOS illumination via LOE |
| US11262587B2 (en) | 2018-05-22 | 2022-03-01 | Lumus Ltd. | Optical system and method for improvement of light field uniformity |
| US11500143B2 (en) | 2017-01-28 | 2022-11-15 | Lumus Ltd. | Augmented reality imaging system |
| US11849262B2 (en) | 2019-03-12 | 2023-12-19 | Lumus Ltd. | Image projector |
| US12210157B2 (en) | 2019-04-04 | 2025-01-28 | Lumus Ltd. | Air-gap free perpendicular near-eye display |
-
2003
- 2003-01-31 JP JP2003025320A patent/JP2004233909A/ja active Pending
Cited By (53)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006087049A (ja) * | 2004-09-17 | 2006-03-30 | Canon Inc | 撮像装置、撮像装置の制御方法及びコンピュータプログラム |
| US8558900B2 (en) | 2004-09-17 | 2013-10-15 | Canon Kabushiki Kaisha | Image capturing apparatus and control method thereof with attitude control |
| US10649214B2 (en) | 2005-02-10 | 2020-05-12 | Lumus Ltd. | Substrate-guide optical device |
| US10732415B2 (en) | 2005-02-10 | 2020-08-04 | Lumus Ltd. | Substrate-guide optical device |
| US11099389B2 (en) | 2005-02-10 | 2021-08-24 | Lumus Ltd. | Substrate-guide optical device |
| JP2008015634A (ja) * | 2006-07-03 | 2008-01-24 | Seikatsu Kyodo Kumiai Coop Sapporo | 商品関連情報提供システム、及び商品関連情報提供方法 |
| JP2009044387A (ja) * | 2007-08-08 | 2009-02-26 | Nikon Corp | ヘッドマウントディスプレイ |
| JP2012514392A (ja) * | 2008-12-30 | 2012-06-21 | ゼンハイザー・エレクトロニック・ゲゼルシャフト・ミット・ベシュレンクテル・ハフツング・ウント・コンパニー・コマンデイトゲゼルシャフト | 制御システム、イヤホン、および制御方法 |
| US8949744B2 (en) | 2008-12-30 | 2015-02-03 | Sennheiser Electronic Gmbh & Co. Kg | Control system, earphone and control method |
| JP2011014081A (ja) * | 2009-07-06 | 2011-01-20 | Toshiba Tec Corp | ウエアラブル端末装置及びプログラム |
| JP2011048439A (ja) * | 2009-08-25 | 2011-03-10 | Toshiba Tec Corp | ウエアラブル注文端末及びプログラム |
| JP2011048440A (ja) * | 2009-08-25 | 2011-03-10 | Toshiba Tec Corp | 調理補助端末及びプログラム |
| JP2013083731A (ja) * | 2011-10-06 | 2013-05-09 | Murata Mach Ltd | 画像表示システム |
| CN104395815B (zh) * | 2012-05-21 | 2017-03-08 | 鲁姆斯有限公司 | 头戴式显示器眼球追踪器集成系统 |
| CN104395815A (zh) * | 2012-05-21 | 2015-03-04 | 鲁姆斯有限公司 | 头戴式显示器眼球追踪器集成系统 |
| EP3796069A1 (en) * | 2012-05-21 | 2021-03-24 | Lumus Ltd | Head-mounted display with an eyeball-tracker integrated system |
| WO2013175465A1 (en) * | 2012-05-21 | 2013-11-28 | Lumus Ltd. | Head -mounted display with an eyeball - tracker integrated system |
| US10520732B2 (en) | 2012-05-21 | 2019-12-31 | Lumus Ltd. | Head-mounted display eyeball tracker integrated system |
| US9804396B2 (en) | 2012-05-21 | 2017-10-31 | Lumus Ltd. | Head-mounted display with an eyeball-tracker integrated system |
| CN104335155A (zh) * | 2013-02-22 | 2015-02-04 | 索尼公司 | 头戴式显示系统、头戴式显示器以及头戴式显示器的控制程序 |
| US9829997B2 (en) | 2013-02-22 | 2017-11-28 | Sony Corporation | Head-mounted display system, head-mounted display, and head-mounted display control program |
| CN104335155B (zh) * | 2013-02-22 | 2018-11-09 | 索尼公司 | 头戴式显示系统、头戴式显示器以及头戴式显示器的控制程序 |
| WO2014129105A1 (ja) * | 2013-02-22 | 2014-08-28 | ソニー株式会社 | ヘッドマウントディスプレイシステム、ヘッドマウントディスプレイ及びヘッドマウントディスプレイ制御プログラム |
| US9921646B2 (en) | 2013-03-25 | 2018-03-20 | Seiko Epson Corporation | Head-mounted display device and method of controlling head-mounted display device |
| JP2015087921A (ja) * | 2013-10-30 | 2015-05-07 | セイコーエプソン株式会社 | 頭部装着型表示装置および頭部装着型表示装置の制御方法 |
| KR102122339B1 (ko) | 2013-12-30 | 2020-06-12 | 주식회사 케이티 | Hmd 제어 방법, 컴퓨팅 장치 및 컴퓨터 판독가능 매체 |
| KR20150078242A (ko) * | 2013-12-30 | 2015-07-08 | 주식회사 케이티 | Hmd 제어 방법, 컴퓨팅 장치 및 컴퓨터 판독가능 매체 |
| JP2015141686A (ja) * | 2014-01-30 | 2015-08-03 | 株式会社リコー | ポインティングデバイス、情報処理装置、情報処理システムおよびポインティングデバイスの制御方法 |
| JP2017511636A (ja) * | 2014-03-10 | 2017-04-20 | クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ | 黙示的なユーザキューに基づいてワイヤレス通信を促進するためのデバイスおよび方法 |
| US10394330B2 (en) | 2014-03-10 | 2019-08-27 | Qualcomm Incorporated | Devices and methods for facilitating wireless communications based on implicit user cues |
| JP6994362B2 (ja) | 2014-10-24 | 2022-01-14 | イメージン コーポレイション | マイクロディスプレイベースの没入型ヘッドセット |
| JP2018067929A (ja) * | 2014-10-24 | 2018-04-26 | イメージン コーポレイション | マイクロディスプレイベースの没入型ヘッドセット |
| KR102295452B1 (ko) * | 2014-10-24 | 2021-08-27 | 이매진 코퍼레이션 | 마이크로디스플레이 기반 몰입형 헤드셋 |
| JP2018010318A (ja) * | 2014-10-24 | 2018-01-18 | イメージン コーポレイション | マイクロディスプレイベースの没入型ヘッドセット |
| KR20170090419A (ko) * | 2014-10-24 | 2017-08-07 | 이매진 코퍼레이션 | 마이크로디스플레이 기반 몰입형 헤드셋 |
| US11256102B2 (en) | 2014-10-24 | 2022-02-22 | Emagin Corporation | Microdisplay based immersive headset |
| JP2016126381A (ja) * | 2014-12-26 | 2016-07-11 | セイコーエプソン株式会社 | 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム |
| JP2018508805A (ja) * | 2014-12-29 | 2018-03-29 | 株式会社ソニー・インタラクティブエンタテインメント | ヘッドマウントディスプレイを用いた仮想または拡張現実シーン内のユーザ対話の方法及びシステム |
| US10073516B2 (en) | 2014-12-29 | 2018-09-11 | Sony Interactive Entertainment Inc. | Methods and systems for user interaction within virtual reality scene using head mounted display |
| JP2016218597A (ja) * | 2015-05-18 | 2016-12-22 | 富士通株式会社 | ウェアラブルデバイス、表示制御プログラム、及び表示制御方法 |
| WO2017057037A1 (ja) * | 2015-09-30 | 2017-04-06 | ソニー株式会社 | 情報処理装置、および情報処理方法、並びにプログラム |
| JP2017134601A (ja) * | 2016-01-27 | 2017-08-03 | 株式会社コーエーテクモゲームス | 情報処理装置、設定画面表示方法及び設定画面表示プログラム |
| WO2018061743A1 (ja) * | 2016-09-28 | 2018-04-05 | コニカミノルタ株式会社 | ウェアラブル端末 |
| JP2018091882A (ja) * | 2016-11-30 | 2018-06-14 | セイコーエプソン株式会社 | 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法 |
| US11500143B2 (en) | 2017-01-28 | 2022-11-15 | Lumus Ltd. | Augmented reality imaging system |
| US10366691B2 (en) | 2017-07-11 | 2019-07-30 | Samsung Electronics Co., Ltd. | System and method for voice command context |
| US11243434B2 (en) | 2017-07-19 | 2022-02-08 | Lumus Ltd. | LCOS illumination via LOE |
| US10869024B2 (en) | 2018-01-02 | 2020-12-15 | Lumus Ltd. | Augmented reality displays with active alignment and corresponding methods |
| US10506220B2 (en) | 2018-01-02 | 2019-12-10 | Lumus Ltd. | Augmented reality displays with active alignment and corresponding methods |
| US11262587B2 (en) | 2018-05-22 | 2022-03-01 | Lumus Ltd. | Optical system and method for improvement of light field uniformity |
| US11567331B2 (en) | 2018-05-22 | 2023-01-31 | Lumus Ltd. | Optical system and method for improvement of light field uniformity |
| US11849262B2 (en) | 2019-03-12 | 2023-12-19 | Lumus Ltd. | Image projector |
| US12210157B2 (en) | 2019-04-04 | 2025-01-28 | Lumus Ltd. | Air-gap free perpendicular near-eye display |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2004233909A (ja) | ヘッドマウントディスプレイ | |
| US8532871B2 (en) | Multi-modal vehicle operating device | |
| US7519537B2 (en) | Method and apparatus for a verbo-manual gesture interface | |
| JP6271935B2 (ja) | ディスプレイ装置及びその制御方法 | |
| EP2778865B1 (en) | Input control method and electronic device supporting the same | |
| WO2004061519A1 (ja) | ヘッドマウントディスプレイ | |
| KR102858943B1 (ko) | 로봇 | |
| CN110917611B (zh) | 游戏控制器 | |
| WO2010062479A1 (en) | System and apparatus for eyeglass appliance platform | |
| WO2012040107A1 (en) | Advanced remote control of host application using motion and voice commands | |
| JP2003337963A (ja) | 画像処理装置および画像処理方法、ならびに、画像処理プログラムおよびその記録媒体 | |
| CN103869970B (zh) | 通过2d相机操作用户界面的系统和方法 | |
| JP6470374B1 (ja) | 仮想現実を提供するためにコンピュータで実行されるプログラムおよび情報処理装置 | |
| JP7466034B2 (ja) | プログラム、およびシステム | |
| CN116552556B (zh) | 变道预警方法、装置、设备及存储介质 | |
| US20250208812A1 (en) | Information processing apparatus, photographed image transfer and display system, and photographed image transfer and display method | |
| CN108369451B (zh) | 信息处理装置、信息处理方法及计算机可读存储介质 | |
| JP2002354306A (ja) | 撮像装置 | |
| JP4247149B2 (ja) | ロボット | |
| JP4321083B2 (ja) | ヘッドマウントディスプレイ | |
| JP4622794B2 (ja) | 画面移動型表示装置 | |
| JP3270403B2 (ja) | 装置角度制御方式 | |
| JP2012194626A (ja) | 表示装置 | |
| JP2002165156A (ja) | 頭部装着型画像表示装置および画像情報表示システム | |
| JP2013236214A (ja) | 頭部装着型情報提示装置 |