JP2017191424A - 頭部装着型表示装置 - Google Patents

Abstract

【課題】使用者が足で操作し、かつ、ウェアラブル機器に適したユーザーインターフェースを有する頭部装着型表示装置を提供する。
【解決手段】頭部装着型表示装置は、使用者の頭部に装着される画像表示部と；使用者の足の裏の荷重を検出する荷重検出型足入力部と；前記荷重検出型足入力部が検出した荷重に応じて、前記画像表示部に表示させる表示画像を設定する表示設定部と、を備える。
【選択図】図１

Description

本発明は、頭部装着型表示装置の技術に関する。

頭部に装着する表示装置である頭部装着型表示装置（ヘッドマウントディスプレイ（Head Mounted Display）、ＨＭＤ）が知られている。頭部装着型表示装置は、例えば、液晶ディスプレイおよび光源を利用して画像を表わす画像光を生成し、生成された画像光を投写光学系や導光板を利用して使用者に視認させる。ＨＭＤは、いわゆる使用者の体に装着されるウェアラブル機器である。

特許文献１には、画面に表示されたカーソルを足による操作で動かせるポインティングデバイスが記載されている。

特開平８−１７９８７９号公報 特開２００１−６７１７９号公報 特開２０１３−７２７２９号公報 特開２０１６−１２２号公報 特開２０１４−３２６７１３号公報 特開平１０−５５２４８号公報

しかし、特許文献１に記載された技術では、表示画像としてのカーソルの位置を足の操作によって変更できるものの、操作を受け付けるポインティングデバイスを設置する空間が必要であり、当該ポインティングデバイスはウェアラブル機器には適していないという課題があった。

本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態として実現することが可能である。

（１）本発明の一形態によれば、頭部装着型表示装置が提供される。この頭部装着型表示装置は、使用者の頭部に装着される画像表示部と；使用者の足の裏の荷重を検出する荷重検出型足入力部と；前記荷重検出型足入力部が検出した荷重に応じて、前記画像表示部に表示させる表示画像を設定する表示設定部と、を備える。この形態の頭部装着型表示装置によれば、使用者は、ハンズフリーの状態で表示画像を設定でき、使用者の利便性が向上する。また、荷重検出型足入力部は、使用者の足の裏に装着されるウェアラブル機器であるため、操作のために使用者の体や頭部装着型表示装置が空間を占めることがなく、頭部装着型表示装置が多様な環境で使用される。

（２）上記形態の頭部装着型表示装置において、さらに；使用者の活動状態を特定する状態特定部を備え；前記表示設定部は、前記活動状態として使用者が移動している移動状態でないと特定された場合に、前記荷重検出型足入力部が検出した荷重に応じて前記表示画像を設定し、前記活動状態として使用者が移動していない状態であると特定された場合に、既に設定された前記表示画像の設定を継続してもよい。この形態の頭部装着型表示装置によれば、使用者の活動状態による荷重の変化によって表示画像が変更されるような誤作動を防止した上で、使用者の利便性を向上させることができる。

（３）上記形態の頭部装着型表示装置において、前記荷重検出型足入力部は、所定の範囲の荷重の分布を検出し；前記表示設定部は、予め設定されたポインター画像を前記画像表示部に表示させ、前記荷重検出型足入力部が検出した荷重の分布の変化に応じて、前記画像表示部における前記ポインター画像の表示位置を変化させてもよい。この形態の頭部装着型表示装置によれば、使用者は、ハンズフリーで感覚的にポインター画像の表示位置を変更でき、使用者の利便性が向上する。

（４）上記形態の頭部装着型表示装置において、前記荷重検出型足入力部は、右足の荷重を検出する右荷重検出型足入力部と、左足の荷重を検出する左荷重検出型足入力部と、を有し；前記表示設定部は、前記右荷重検出型足入力部が検出した荷重の変化と、前記左荷重検出型足入力部が検出した荷重の変化と、に応じて、前記表示画像を設定してもよい。この形態の頭部装着型表示装置によれば、使用者は、右足に加える荷重と左足に加える荷重とを変化させることで、右足の荷重と左足の荷重との組み合わせによって、表示画像を感覚的に多様に設定でき、使用者の利便性が向上する。

（５）上記形態の頭部装着型表示装置において、前記荷重検出型足入力部は、前記右荷重検出型足入力部と前記左荷重検出型足入力部との位置の変化を特定し；前記表示設定部は、前記位置の変化に応じて、前記表示画像の少なくとも一部分の拡大または縮小を実行してもよい。この形態の頭部装着型表示装置によれば、使用者は、右足と左足との位置関係を変化させることで、表示画像を感覚的に拡大または縮小させることができ、使用者の利便性が向上する。

（６）上記形態の頭部装着型表示装置において、前記表示設定部は；予め設定されたポインター画像を前記画像表示部に表示させ；前記右荷重検出型足入力部が検出した右荷重の分布と、前記左荷重検出型足入力部が検出した左荷重の分布と、に応じて前記ポインター画像の位置を変化させ、前記右荷重の分布の変化によって変化する前記ポインター画像の表示位置の変化量と前記左荷重の分布の変化によって変化する前記ポインター画像の表示位置の変化量とを異ならせてもよい。この形態の頭部装着型表示装置によれば、使用者は、ポインター画像の表示位置の細かい調整を利き足で行ない、ポインター画像の表示位置の大雑把な調整を利き足とは異なる足で行なうことができる。これにより、使用者は、左足と右足とを使い分けることで、ポインター画像の表示位置をより細かく設定できる。

（７）上記形態の頭部装着型表示装置において、さらに；前記荷重検出型足入力部と前記画像表示部とは別体に形成される慣性センサーを備え；前記表示設定部は、前記慣性センサーが取得した慣性データと、前記足装着部が検出した荷重と、に応じて、前記表示画像を設定してもよい。この形態の頭部装着型表示装置によれば、使用者が装着した靴の靴底の荷重と、使用者におけるその他の部位の慣性センサーが取得した検出値とを用いることで、使用者に教授すべき動きを使用者に効率良く知覚させることができる。

（８）上記形態の頭部装着型表示装置において、前記表示設定部は、前記荷重検出型足入力部が検出した荷重に応じて前記表示画像を設定できる場合に、前記荷重検出型足入力部の位置を表す画像を前記画像表示部に表示させてもよい。この形態の頭部装着型表示装置によれば、荷重検出型足入力部の位置を使用者に認識させることができ、使用者の操作性が向上する。

（９）上記形態の頭部装着型表示装置において、前記荷重検出型足入力部は、使用者の足の裏に対応する面形状を有し、前記面形状の少なくとも一部に荷重を検出可能なセンサーが配置され；前記表示設定部は、前記荷重検出型足入力部の位置を表す画像として、前記面形状に対する前記センサーの位置を表す画像を前記画像表示部に表示させてもよい。この形態の頭部装着型表示装置によれば、荷重を検出可能なセンサーの詳細な位置を使用者に認識させることができ、使用者の操作性がより向上する。

本発明は、頭部装着型表示装置以外の種々の形態で実現することも可能である。例えば、表示装置、各種装置を操作するためのユーザーインターフェース、頭部装着型表示装置および表示装置の制御方法、制御システム、頭部装着型表示システム、制御システムおよび表示装置の機能を実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した記録媒体、そのコンピュータープログラムを含み搬送波内に具現化されたデータ信号等の形態で実現できる。

本実施形態における頭部装着型表示装置（ＨＭＤ）を装着した使用者の概略図である。 画像表示部および制御部とその周辺装置の外観構成を示す説明図である。 本実施形態におけるＨＭＤの構成を機能的に示すブロック図である。 画像光生成部によって画像光が射出される様子を示す説明図である。 靴底に配置された第２操作部の位置を表す説明図である。 第２操作部が受け付けた荷重の変化によって出力する制御信号のイメージ図である。 第２操作部が受け付けた荷重の変化によって出力する制御信号のイメージ図である。 第２操作部が検出した制御信号に応じて表示位置を変化させる矢印画像の説明図である。 第２操作部が検出した制御信号に応じて表示位置を変化させる矢印画像の説明図である。 第２実施形態における荷重検出型足入力部のブロック図である。 右足センサーおよび左足センサーの概略図である。 右足センサーおよび左足センサーの概略図である。 第４実施形態におけるＨＭＤの構成を機能的に示すブロック図である。 右光学像表示部のみに表示された荷重検出型足入力部に対する第２操作部の位置を表す入力部画像の説明図である。 靴底に配置された変形例１の第２操作部の位置を表す説明図である。 靴底に配置された変形例２の荷重検出型足入力部の位置を表す説明図である。 靴底に配置された変形例３の荷重検出型足入力部の位置を表す説明図である。 変形例におけるＨＭＤの外観構成を示す説明図である。 変形例におけるＨＭＤの外観構成を示す説明図である。

Ａ．第１実施形態：
図１は、本実施形態における頭部装着型表示装置１００（ＨＭＤ１００）を装着した使用者ＵＳの概略図である。ＨＭＤ１００は、頭部に装着する表示装置であり、ヘッドマウントディスプレイ（Head Mounted Display、ＨＭＤ）とも呼ばれる。図１に示すように、ＨＭＤ１００は、制御部１０と、使用者ＵＳの頭部に装着される画像表示部２０と、左イヤホン３４と、使用者ＵＳが履いている靴の靴底に配置された荷重検出型足入力部８０と、を備えている。本実施形態のＨＭＤ１００では、使用者ＵＳが、画像表示部２０に表示された画像を視認可能であると同時に、画像表示部２０を透過した外景も直接視認可能である。なお、ＨＭＤ１００は、上記で説明した構成以外の構成も備えており、これらの構成については後述する。

図２は、画像表示部２０および制御部１０とその周辺装置の外観構成を示す説明図である。図２には、ＨＭＤ１００の内の荷重検出型足入力部８０以外の装置が示されている。制御部１０（コントローラー１０）は、画像表示部２０を制御する。

画像表示部２０は、コンテンツ等の画像を表示できる。画像表示部２０は、使用者ＵＳの頭部に装着される装着体であり、本実施形態では眼鏡形状を有している。画像表示部２０は、右保持部２１と、右表示駆動部２２と、左保持部２３と、左表示駆動部２４と、右光学像表示部２６と、左光学像表示部２８と、カメラ６０と、を含んでいる。右光学像表示部２６および左光学像表示部２８は、それぞれ、使用者ＵＳが画像表示部２０を装着した際に使用者ＵＳの右および左の眼前に位置するように配置されている。右光学像表示部２６の一端と左光学像表示部２８の一端とは、使用者ＵＳが画像表示部２０を装着した際の使用者ＵＳの眉間に対応する位置で、互いに接続されている。

右保持部２１は、右光学像表示部２６の他端である端部ＥＲから、使用者ＵＳが画像表示部２０を装着した際の使用者ＵＳの側頭部に対応する位置にかけて、延伸して設けられた部材である。同様に、左保持部２３は、左光学像表示部２８の他端である端部ＥＬから、使用者ＵＳが画像表示部２０を装着した際の使用者ＵＳの側頭部に対応する位置にかけて、延伸して設けられた部材である。右保持部２１および左保持部２３は、眼鏡のテンプル（つる）のようにして、使用者ＵＳの頭部に画像表示部２０を保持する。

右表示駆動部２２と左表示駆動部２４とは、使用者ＵＳが画像表示部２０を装着した際の使用者ＵＳの頭部に対向する側に配置されている。なお、以降では、右保持部２１および左保持部２３を総称して単に「保持部２１，２３」とも呼び、右表示駆動部２２および左表示駆動部２４を総称して単に「表示駆動部２２，２４」とも呼び、右光学像表示部２６および左光学像表示部２８を総称して単に「光学像表示部２６，２８」とも呼ぶ。

表示駆動部２２，２４は、液晶ディスプレイ２４１，２４２（Liquid Crystal Display、以下「ＬＣＤ２４１，２４２」とも呼ぶ）や投写光学系２５１，２５２等を含む（図３参照）。表示駆動部２２，２４の構成の詳細は後述する。光学部材としての光学像表示部２６，２８は、導光板２６１，２６２（図３参照）と調光板とを含んでいる。導光板２６１，２６２は、光透過性の樹脂材料等によって形成され、表示駆動部２２，２４から出力された画像光を使用者ＵＳの眼に導く。調光板は、薄板状の光学素子であり、使用者ＵＳの眼の側とは反対の側である画像表示部２０の表側を覆うように配置されている。調光板は、導光板２６１，２６２を保護し、導光板２６１，２６２の損傷や汚れの付着等を抑制する。また、調光板の光透過率を調整することによって、使用者ＵＳの眼に入る外光量を調整して表示画像の視認のしやすさを調整できる。なお、調光板は省略可能である。カメラ６０は、外景を撮像する。カメラ６０は、右光学像表示部２６の一端と左光学像表示部２８の一端とが接続される位置に配置されている。

画像表示部２０は、さらに、画像表示部２０を制御部１０に接続するための接続部４０を有している。接続部４０は、制御部１０に接続される本体コード４８と、右コード４２と、左コード４４と、連結部材４６と、を含んでいる。右コード４２と左コード４４とは、本体コード４８が２本に分岐したコードである。右コード４２は、右保持部２１の延伸方向の先端部ＡＰから右保持部２１の筐体内に挿入され、右表示駆動部２２に接続されている。同様に、左コード４４は、左保持部２３の延伸方向の先端部ＡＰから左保持部２３の筐体内に挿入され、左表示駆動部２４に接続されている。連結部材４６は、本体コード４８と、右コード４２および左コード４４と、の分岐点に設けられ、イヤホンプラグ３０を接続するためのジャックを有している。イヤホンプラグ３０からは、右イヤホン３２および左イヤホン３４が延伸している。

画像表示部２０と制御部１０とは、接続部４０を介して各種信号の伝送を行なう。本体コード４８における連結部材４６とは反対側の端部と、制御部１０と、のそれぞれには、互いに嵌合するコネクター（図示しない）が設けられている。本体コード４８のコネクターと制御部１０のコネクターとの嵌合／嵌合解除により、制御部１０と画像表示部２０とが接続されたり切り離されたりする。右コード４２と、左コード４４と、本体コード４８とには、例えば、金属ケーブルや光ファイバーを採用できる。

制御部１０は、ＨＭＤ１００を制御するための装置である。制御部１０は、決定キー１１と、点灯部１２と、表示切替キー１３と、トラックパッド１４と、輝度切替キー１５と、方向キー１６と、メニューキー１７と、電源スイッチ１８と、を含んでいる。決定キー１１は、押下操作を検出して、制御部１０で操作された内容を決定する信号を出力する。点灯部１２は、ＨＭＤ１００の動作状態を、その発光状態によって通知する。ＨＭＤ１００の動作状態としては、例えば、電源のＯＮ／ＯＦＦ等がある。点灯部１２としては、例えば、ＬＥＤが用いられる。表示切替キー１３は、押下操作を検出して、例えば、コンテンツ動画の表示モードを３Ｄと２Ｄとに切り替える信号を出力する。トラックパッド１４は、トラックパッド１４の操作面上での使用者ＵＳの指の操作を検出して、検出内容に応じた信号を出力する。トラックパッド１４としては、静電式や圧力検出式、光学式といった種々のトラックパッドを採用できる。輝度切替キー１５は、押下操作を検出して、画像表示部２０の輝度を増減する信号を出力する。方向キー１６は、上下左右方向に対応するキーへの押下操作を検出して、検出内容に応じた信号を出力する。電源スイッチ１８は、スイッチのスライド操作を検出することで、ＨＭＤ１００の電源投入状態を切り替える。

図３は、本実施形態におけるＨＭＤ１００の構成を機能的に示すブロック図である。図３に示すように、制御部１０は、記憶部１２０と、電源１３０と、第１通信部１３２と、第１操作部１３５と、ＣＰＵ１４０と、インターフェイス１８０と、送信部５１（Ｔｘ５１）および送信部５２（Ｔｘ５２）と、を有している。第１操作部１３５は、使用者による操作を受け付け、決定キー１１、表示切替キー１３、トラックパッド１４、輝度切替キー１５、方向キー１６、メニューキー１７、電源スイッチ１８、から構成されている。電源１３０は、ＨＭＤ１００の各部に電力を供給する。電源１３０としては、例えば二次電池を用いることができる。第１通信部１３２は、無線ＬＡＮやブルートゥース（登録商標）といった所定の無線通信規格に則って、例えば、コンテンツサーバー、テレビ、パーソナルコンピューターといった他の機器との間で無線通信を行なう。

記憶部１２０は、コンピュータープログラムを格納しているＲＯＭと、ＣＰＵ１４０が種々のコンピュータープログラムの書き込みおよび読み取りを実行するときに用いられるＲＡＭと、を有する。

ＣＰＵ１４０は、記憶部１２０のＲＯＭに格納されているコンピュータープログラムを読み出し、記憶部１２０のＲＡＭに書き込みおよび読み取りを実行することにより、オペレーティングシステム１５０（ＯＳ１５０）、表示制御部１９０、音声処理部１７０、画像処理部１６０、および画像設定部１６５として機能する。

表示制御部１９０は、右表示駆動部２２および左表示駆動部２４を制御する制御信号を生成する。具体的には、表示制御部１９０は、制御信号により、右ＬＣＤ制御部２１１による右ＬＣＤ２４１の駆動ＯＮ／ＯＦＦ、右バックライト制御部２０１による右バックライト２２１の駆動ＯＮ／ＯＦＦ、左ＬＣＤ制御部２１２による左ＬＣＤ２４２の駆動ＯＮ／ＯＦＦ、左バックライト制御部２０２による左バックライト２２２の駆動ＯＮ／ＯＦＦなど、を個別に制御する。これにより、表示制御部１９０は、右表示駆動部２２および左表示駆動部２４のそれぞれによる画像光の生成および射出を制御する。例えば、表示制御部１９０は、右表示駆動部２２および左表示駆動部２４の両方に画像光を生成させたり、一方のみに画像光を生成させたり、両方共に画像光を生成させなかったりする。

表示制御部１９０は、右ＬＣＤ制御部２１１と左ＬＣＤ制御部２１２とに対する制御信号のそれぞれを、送信部５１および５２を介して送信する。また、表示制御部１９０は、右バックライト制御部２０１と左バックライト制御部２０２とに対する制御信号のそれぞれを送信する。

画像処理部１６０は、コンテンツに含まれる画像信号を取得する。画像処理部１６０は、取得した画像信号から、垂直同期信号ＶＳｙｎｃや水平同期信号ＨＳｙｎｃ等の同期信号を分離する。また、画像処理部１６０は、分離した垂直同期信号ＶＳｙｎｃや水平同期信号ＨＳｙｎｃの周期に応じて、ＰＬＬ（Phase Locked Loop）回路等（図示しない）を利用してクロック信号ＰＣＬＫを生成する。画像処理部１６０は、同期信号が分離されたアナログ画像信号を、Ａ／Ｄ変換回路等（図示しない）を用いてディジタル画像信号に変換する。その後、画像処理部１６０は、変換後のディジタル画像信号を、対象画像の画像データ（ＲＧＢデータ）として、１フレームごとに記憶部１２０内のＤＲＡＭに格納する。なお、画像処理部１６０は、必要に応じて、画像データに対して、解像度変換処理、輝度、彩度の調整といった種々の色調補正処理、キーストーン補正処理等の画像処理を実行してもよい。

画像処理部１６０は、生成されたクロック信号ＰＣＬＫ、垂直同期信号ＶＳｙｎｃ、水平同期信号ＨＳｙｎｃ、記憶部１２０内のＤＲＡＭに格納された画像データ、のそれぞれを、送信部５１、５２を介して送信する。なお、送信部５１を介して送信される画像データを「右眼用画像データ」とも呼び、送信部５２を介して送信される画像データを「左眼用画像データ」とも呼ぶ。送信部５１、５２は、制御部１０と画像表示部２０との間におけるシリアル伝送のためのトランシーバーとして機能する。

音声処理部１７０は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、連結部材４６に接続された右イヤホン３２内のスピーカー（図示しない）および左イヤホン３４内のスピーカー（図示しない）に対して音声信号を供給する。なお、例えば、Ｄｏｌｂｙ（登録商標）システムを採用した場合、音声信号に対する処理がなされ、右イヤホン３２および左イヤホン３４のそれぞれからは、例えば周波数等が変えられた異なる音が出力される。

状態特定部１６８は、後述する荷重検出型足入力部８０から送信される制御信号に基づいて、ＨＭＤ１００の使用者ＵＳの活動状態を特定する。具体的には、状態特定部１６８は、荷重検出型足入力部８０が検出する使用者ＵＳの荷重の変化に基づいて、使用者ＵＳの活動状態を特定する。例えば、状態特定部１６８は、荷重検出型足入力部８０が検出する使用者ＵＳの荷重が一定の周期で増減している場合に、使用者ＵＳが歩行している歩行している移動状態であると特定する。活動状態の他の例として、状態特定部１６８は、荷重検出型足入力部８０が検出する使用者ＵＳの荷重が一定で変化しない場合には、使用者ＵＳが座っている状態や移動せずに立っている状態として特定する。

画像設定部１６５は、画像表示部２０に表示させる画像（表示画像）の各種設定を行なう。例えば、画像設定部１６５は、表示画像の表示位置や表示画像の大きさや表示画像の輝度などを設定したり、表示画像を三次元画像として、使用者に立体的（３Ｄ）に視認させるために両眼視差（単に、「視差」ともいう）を形成するように右眼用画像データと左眼用画像データとを設定する。また、詳細については後述するが、画像設定部１６５は、状態特定部１６８によって使用者ＵＳの活動状態が移動状態でないと特定された場合に、荷重検出型足入力部８０が検出した荷重の変化に応じて、光学像表示部２６，２８に表示させる表示画像を設定する。換言すると、画像設定部１６５は、状態特定部１６８によって使用者ＵＳの活動状態が移動状態であると特定された場合には、荷重検出型足入力部８０が検出した荷重の変化に関わらず、既に設定されて光学像表示部２６，２８に表示されている表示画像を変更せずに継続する。なお、画像設定部１６５は、請求項における表示設定部に相当する。

インターフェイス１８０は、制御部１０に対して、コンテンツの供給元となる種々の外部機器ＯＡを接続するためのインターフェイスである。外部機器ＯＡとしては、例えば、パーソナルコンピューター（ＰＣ）や携帯電話端末、ゲーム端末等、がある。インターフェイス１８０としては、例えば、ＵＳＢインターフェイス、マイクロＵＳＢインターフェイス、メモリーカード用インターフェイス等、を用いることができる。

画像表示部２０は、右表示駆動部２２と、左表示駆動部２４と、右光学像表示部２６としての右導光板２６１と、左光学像表示部２８としての左導光板２６２と、カメラ６０とを備えている。

右表示駆動部２２は、受信部５３（Ｒｘ５３）と、光源として機能する右バックライト制御部２０１（右ＢＬ制御部２０１）および右バックライト２２１（右ＢＬ２２１）と、表示素子として機能する右ＬＣＤ制御部２１１および右ＬＣＤ２４１と、右投写光学系２５１と、を含んでいる。右バックライト制御部２０１と右バックライト２２１とは、光源として機能する。右ＬＣＤ制御部２１１と右ＬＣＤ２４１とは、表示素子として機能する。なお、右バックライト制御部２０１と、右ＬＣＤ制御部２１１と、右バックライト２２１と、右ＬＣＤ２４１と、を総称して「画像光生成部」とも呼ぶ。

受信部５３は、制御部１０と画像表示部２０との間におけるシリアル伝送のためのレシーバーとして機能する。右バックライト制御部２０１は、入力された制御信号に基づいて、右バックライト２２１を駆動する。右バックライト２２１は、例えば、ＬＥＤやエレクトロルミネセンス（ＥＬ）等の発光体である。右ＬＣＤ制御部２１１は、受信部５３を介して入力されたクロック信号ＰＣＬＫと、垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃと、右眼用画像データと、に基づいて、右ＬＣＤ２４１を駆動する。右ＬＣＤ２４１は、複数の画素をマトリクス状に配置した透過型液晶パネルである。

右投写光学系２５１は、右ＬＣＤ２４１から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。右光学像表示部２６としての右導光板２６１は、右投写光学系２５１から出力された画像光を、所定の光路に沿って反射させつつ使用者ＵＳの右眼ＲＥに導く。なお、右投写光学系２５１と右導光板２６１とを総称して「導光部」とも呼ぶ。

左表示駆動部２４は、右表示駆動部２２と同様の構成を有している。左表示駆動部２４は、受信部５４（Ｒｘ５４）と、光源として機能する左バックライト制御部２０２（左ＢＬ制御部２０２）および左バックライト２２２（左ＢＬ２２２）と、表示素子として機能する左ＬＣＤ制御部２１２および左ＬＣＤ２４２と、左投写光学系２５２と、を含んでいる。左バックライト制御部２０２と左バックライト２２２とは、光源として機能する。左ＬＣＤ制御部２１２と左ＬＣＤ２４２とは、表示素子として機能する。なお、左バックライト制御部２０２と、左ＬＣＤ制御部２１２と、左バックライト２２２と、左ＬＣＤ２４２と、を総称して「画像光生成部」とも呼ぶ。また、左投写光学系２５２は、左ＬＣＤ２４２から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。左光学像表示部２８としての左導光板２６２は、左投写光学系２５２から出力された画像光を、所定の光路に沿って反射させつつ使用者ＵＳの左眼ＬＥに導く。なお、左投写光学系２５２と左導光板２６２とを総称して「導光部」とも呼ぶ。

図４は、画像光生成部によって画像光が射出される様子を示す説明図である。右ＬＣＤ２４１は、マトリクス状に配置された各画素位置の液晶を駆動することによって、右ＬＣＤ２４１を透過する光の透過率を変化させることにより、右バックライト２２１から照射される照明光ＩＬを、画像を表す有効な画像光ＰＬへと変調する。左側についても同様である。なお、図３に示すように、本実施形態ではバックライト方式を採用したが、フロントライト方式や、反射方式を用いて画像光を射出する構成としてもよい。

荷重検出型足入力部８０は、使用者ＵＳの動きによって靴底に加わる荷重の所定の範囲の分布を検出する。荷重検出型足入力部８０は、第２通信部８１と、第２操作部８２と、バッテリー８３と、を備えている。バッテリー８３は、第２通信部８１および第２操作部８２に電力を供給する。バッテリー８３としては、例えば二次電池を用いることができる。第２通信部８１は、第２操作部８２が出力した制御信号を、第１通信部１３２へと送信する。第２通信部８１は、無線ＬＡＮやブルートゥースといった所定の無線通信規格に則って、第１通信部１３２との間で無線通信を行なう。第２操作部８２は、靴底に配置された荷重センサーである。

図５は、靴底に配置された第２操作部８２の位置を表す説明図である。図５に示すように、第２操作部８２は、荷重検出型足入力部８０としての使用者ＵＳの右足に装着される右靴の靴底のつま先付近に配置される。第２操作部８２は、使用者ＵＳが右靴を装着したときに、使用者ＵＳの右足の親指の位置の近辺に対応する位置に配置される。なお、図５には、後述する図６および図７における位置および向きの関係を表すために、各々が直交するＸ軸、Ｙ軸、およびＺ軸が示されている。Ｘ軸は、図５における左右方向に平行な軸であり、Ｙ軸は、図５における上下方向に平行な軸であり、Ｚ軸は、靴底の面に直交する軸である。

図６および図７は、第２操作部８２が受け付けた荷重の分布の変化によって出力する制御信号のイメージ図である。図６および図７に示すように、第２操作部８２は、Ｙ軸の正方向に沿った荷重方向Ｄ１に荷重の分布の変化を検出したとき、Ｙ軸の正方向に沿った制御信号を出力する。この場合に、第２操作部８２が出力した制御信号に応じて、例えば、画像設定部１６５は、光学像表示部２６，２８に表示されたポインターの画像などの表示位置を変化させる。第２操作部８２は、検出した荷重方向Ｄ２，Ｄ３，Ｄ４に沿った方向の制御信号を出力する。なお、本実施形態の画像設定部１６５は、状態特定部１６８によって使用者ＵＳの活動状態が移動状態でないと判定された場合に、荷重検出型足入力部８０から送信された制御信号を有効に取り扱う。換言すると、画像設定部１６５は、状態特定部１６８によって使用者ＵＳの活動状態が移動状態であると判定された場合には、荷重検出型足入力部８０から送信された制御信号を無効として取り扱う。

図８および図９は、第２操作部８２が検出した制御信号に応じて表示位置を変化させる矢印画像ＣＳ１の説明図である。図８には、第２操作部８２が検出した荷重の分布の変化に対応する前に光学像表示部２６，２８に表示された表示画像ＩＭＧ１が示されている。図９には、第２操作部８２が検出した荷重の分布の変化に対応した後に光学像表示部２６，２８に表示された表示画像ＩＭＧ２が示されている。表示画像ＩＭＧ１には、４つのアイコン画像ＩＣ１，ＩＣ２，ＩＣ３，ＩＣ４と、矢印画像ＣＳ１と、が含まれている。アイコン画像ＩＣ１は、選択されるとカメラ６０による外景の撮像を実行するための選択画像である。アイコン画像ＩＣ２は、選択されるとインターネットに接続して、各種ホームページを画像として表示させるための選択画像である。アイコン画像ＩＣ３は、選択されると第１通信部１３２を介して他の装置とのメッセージのやり取りを実行するための選択画像である。アイコン画像ＩＣ４は、選択されると表示画像ＩＭＧ１の表示の終了等の操作を実行するためのメニュー画面を開くための選択画像である。矢印画像ＣＳ１は、第２操作部８２が検出した荷重の変化に応じて、表示画像ＩＭＧ１の中で表示位置を変化させる画像である。矢印画像ＣＳ１がアイコン画像と重複した状態で、決定操作が行なわれると、重複したアイコン画像に対応するプログラムが実行される。決定操作としては、例えば、第１操作部１３５の決定キー１１が押下される操作などが挙げられる。

図９には、図８と比較して、矢印画像ＣＳ１の位置が矢印画像ＣＳ２へと変化した表示画像ＩＭＧ２が示されている。なお、図９には、実際には表示されていない表示画像ＩＭＧ１における矢印画像ＣＳ１の位置を破線で示している。矢印画像ＣＳ２は、矢印画像ＣＳ１の状態から、第２操作部８２が荷重方向Ｄ１（図６，７）に沿った荷重の分布の変化を検出した後の画像である。画像設定部１６５は、第２操作部８２が検出した荷重の分布の変化に応じて、表示画像ＩＭＧ１に含まれる矢印画像ＣＳ１の表示位置を変化させる。換言すると、使用者ＵＳは、右足の親指によって親指が靴底に加える荷重の分布を変化させることで、表示画像ＩＭＧ１の中の矢印画像ＣＳ１の表示位置を自由に変更できる。なお、矢印画像ＣＳ１，ＣＳ２は、請求項におけるポインター画像に相当する。

以上説明したように、本実施形態のＨＭＤ１００では、荷重検出型足入力部８０の荷重センサーである第２操作部８２が検出した使用者ＵＳの荷重に応じて、画像設定部１６５が、光学像表示部２６，２８に表示させる表示画像を設定する。そのため、本実施形態のＨＭＤ１００では、使用者ＵＳは、ハンズフリーの状態で表示画像としてのポインター画像の移動などを実行でき、使用者ＵＳの利便性が向上する。また、荷重検出型足入力部８０は、使用者ＵＳが装着する履物の靴底に配置されているウェアラブル機器であるため、操作のためにＨＭＤ１００が必要以上の空間を占めることがなく、ＨＭＤ１００が多様な環境で使用される。

また、本実施形態のＨＭＤ１００では、状態特定部１６８は、荷重検出型足入力部８０が検出した荷重に応じて、使用者ＵＳの活動状態が移動状態であるか否かを特定する。画像設定部１６５は、使用者ＵＳの活動状態が移動状態でない場合のみ、荷重検出型足入力部８０が検出した荷重に応じて、表示画像を設定する。そのため、本実施形態のＨＭＤ１００では、使用者ＵＳの移動状態による荷重の変化によって表示画像が変更されるような誤作動を防止した上で、使用者ＵＳの利便性を向上させることができる。

また、本実施形態のＨＭＤ１００では、画像設定部１６５は、荷重検出型足入力部８０が検出した荷重の分布の変化に応じて、光学像表示部２６，２８に表示させた矢印画像ＣＳ１，ＣＳ２の表示位置を変化させる。そのため、本実施形態のＨＭＤ１００では、使用者ＵＳは、ハンズフリーで感覚的に矢印画像ＣＳ１，ＣＳ２の表示位置を変更でき、使用者ＵＳの利便性が向上する。

Ｂ.第２実施形態：
図１０は、第２実施形態における荷重検出型足入力部８０ａのブロック図である。第２実施形態のＨＭＤ１００ａでは、第１実施形態のＨＭＤ１００と比較して、荷重検出型足入力部８０ａが異なり、他の構成については第１実施形態のＨＭＤ１００と同じである。そのため、第２実施形態では、第１実施形態と異なる荷重検出型足入力部８０ａの詳細について説明し、第１実施形態と同じ構成については説明を省略する。

図１０に示すように、第２実施形態の荷重検出型足入力部８０ａは、右足センサー８２１と、左足センサー８２２とを有する。右足センサー８２１は、使用者ＵＳの右足に装着される右靴の底に配置された荷重センサーである。左足センサー８２２は、使用者ＵＳの左足に装着される左靴の底に配置された荷重センサーである。右足センサー８２１および左足センサー８２２は、装着された使用者ＵＳの足の加速度を検出できる加速度センサーとしても機能する。なお、右足センサー８２１は、請求項における右荷重検出型足入力部に相当し、左足センサー８２２は、請求項における左荷重検出型足入力部に相当する。

図１１は、右足センサー８２１および左足センサー８２２の概略図である。図１１に示すように、右足センサー８２１は、第１実施形態の第２通信部８１と同じく、使用者ＵＳが右足に靴を装着したときに、右足の親指の下に対応する位置に配置される。左足センサー８２２は、使用者ＵＳが左足に靴を装着したときに、左足の親指の下に対応する位置に配置される。右足センサー８２１が荷重方向Ｄ５に沿った加速度を検出し、かつ、左足センサー８２２が荷重方向Ｄ５とは反対方向の荷重方向Ｄ６の方向に沿った加速度を検出すると、画像設定部１６５は、矢印画像ＣＳ１の表示位置を中心とする所定の範囲の画像を拡大する。簡単に言うと、右足センサー８２１および８２２が使用者ＵＳの右足と左足とが離れるような位置の変化を検出すると、画像設定部１６５は、所定の範囲の表示画像を拡大する。

図１２は、右足センサー８２１および左足センサー８２２の概略図である。図１２に示すように、右足センサー８２１が荷重方向Ｄ６に沿った加速度を検出し、かつ、左足センサー８２２が荷重方向Ｄ５に沿った加速度を検出すると、画像設定部１６５は、矢印画像ＣＳ１の表示位置を中心とする所定の範囲の画像を縮小する。簡単に言うと、右足センサー８２１および左足センサー８２２が使用者ＵＳの右足と左足とが近づくような位置の変化を検出すると、画像設定部１６５は、所定の範囲の表示画像を縮小する。

以上説明したように、第２実施形態のＨＭＤ１００ａでは、第２操作部８２は、使用者ＵＳの右足の位置の変化としての加速度を検出する右足センサー８２１と、使用者ＵＳの左足の位置の変化としての加速度を検出する左足センサー８２２と、を有している。画像設定部１６５は、右足センサー８２１が装着された使用者ＵＳの右足と、左足センサー８２２が装着された使用者ＵＳの左足と、の位置の変化に応じて、光学像表示部２６，２８の表示画像を設定する。さらに、画像設定部１６５は、右足センサー８２１が装着された使用者ＵＳの右足と、左足センサー８２２が装着された使用者ＵＳの左足と、の位置の変化に応じて、表示画像の拡大または縮小を実行する。そのため、第２実施形態のＨＭＤ１００ａでは、使用者ＵＳは、右足と左足との位置関係を変化させることで、表示画像を感覚的に操作でき、使用者ＵＳの利便性が向上する。

Ｃ．第３実施形態：
第３実施形態では、第２実施形態と同じように、第２操作部８２ａが右足センサー８２１および左足センサー８２２を有しており、第２実施形態と比較して、画像設定部１６５ｂが実行する制御が異なる。第３実施形態では、画像設定部１６５ｂは、右足センサー８２１が検出した荷重の分布の変化、および、左足センサー８２２が検出した荷重の分布の変化に応じて、矢印画像ＣＳ１，ＣＳ２の表示位置を変化させる。第３実施形態では、画像設定部１６５ｂは、右足センサー８２１が検出した荷重の変化量に対応する矢印画像ＣＳ１の表示位置の変化量と、左足センサー８２２が検出した荷重の変化量に対応する矢印画像ＣＳ１の表示位置の変化量と、が異なるように制御する。具体的には、第３実施形態では、右足センサー８２１が検出した荷重の分布の変化量に対する矢印画像ＣＳ１の表示位置の変化量が、左足センサー８２２が検出した荷重の分布の変化量に対する矢印画像ＣＳ１の表示位置の変化量よりも小さい。

以上説明したように、第３実施形態のＨＭＤ１００ｂでは、右足センサー８２１が検出した荷重の分布の変化に対応する矢印画像ＣＳ１の表示位置の変化量と、左足センサー８２２が検出した荷重の分布の変化に対応する矢印画像ＣＳ１の表示位置の変化量とが異なる。そのため、第３実施形態のＨＭＤ１００ｂでは、使用者ＵＳは、矢印画像ＣＳ１の表示位置の細かい調整を利き足で行ない、矢印画像ＣＳ１の表示位置の大雑把な調整を利き足とは異なる足で行なうことができる。これにより、使用者ＵＳは、左足と右足とを使い分けることで、矢印画像ＣＳ１の表示位置をより細かく設定できる。

Ｄ．第４実施形態：
図１３は、第４実施形態におけるＨＭＤ１００ｃの構成を機能的に示すブロック図である。第４実施形態のＨＭＤ１００ｃでは、第１実施形態のＨＭＤ１００と比較して、使用者ＵＳの頭部と使用者ＵＳが装着する靴の靴底以外の位置に装着される慣性センサー９０を有していること、画像設定部１６５ｃが慣性センサー９０の検出値と荷重検出型足入力部８０の検出値とに基づいて表示画像を設定すること、とが異なり、その他の構成については、第１実施形態のＨＭＤ１００と同じである。なお、図１３では、図３に示したインターフェイス１８０に接続されたコンテンツのブロック図を省略し、図示していない。

図１３に示すように、第４実施形態のＨＭＤ１００ｃは、慣性センサー９０を備えている。慣性センサー９０は、使用者ＵＳの膝に装着されて、使用者ＵＳの動作を検出する。慣性センサー９０は、第３通信部９１と、加速度センサー９２と、バッテリー９３と、を有している。バッテリー９３は、第３通信部９１および加速度センサー９２に電力を供給する。バッテリー９３としては、例えば二次電池を用いることができる。第３通信部９１は、加速度センサー９２が出力した制御信号を、第１通信部１３２ｃへと送信する。加速度センサー９２は、重力方向を基準として、加速度を検出する。そのため、慣性センサー９０は、加速度センサー９２に検出された加速度に基づいて、使用者ＵＳの動作を特定する。なお、加速度センサー９２によって検出される加速度は、請求項における慣性データに相当する。

画像設定部１６５ｃは、慣性センサー９０が動作の変化をほとんど検出しない状態（例えば、使用者ＵＳが立ち止まっている状態）の場合のみ、荷重検出型足入力部８０が検出した荷重を有効として、矢印画像ＣＳ１の表示位置を変化させる。また、画像設定部１６５ｃは、第１操作部１３５が受け付けた操作に応じて、慣性センサー９０の検出値および荷重検出型足入力部８０の検出値を数値やグラフとして光学像表示部２６，２８に表示できる。

第４実施形態の状態特定部１６８ｃは、慣性センサー９０が検出した加速度と荷重検出型足入力部８０が検出した荷重の分布の変化とに基づいて、使用者ＵＳの活動状態を特定できる。状態特定部１６８ｃは、慣性センサー９０によって検出された加速度の変化が重力方向に対して一定の周期で変動し、かつ、重力方向に平行な面に沿って使用者ＵＳが移動していることを検出することで、使用者ＵＳが移動状態であることを特定できる。

以上説明したように、第４実施形態のＨＭＤ１００ｃでは、使用者ＵＳの頭部と使用者ＵＳが装着した靴とは異なる部分に装着された慣性センサー９０が検出した検出値に応じて、画像設定部１６５ｃが表示画像を設定する。そのため、第４実施形態のＨＭＤ１００ｃでは、荷重検出型足入力部８０の検出値と慣性センサー９０の検出値との組み合わせによる制御が可能であるため、多様な制御を実行できる。また、第４実施形態のＨＭＤ１００ｃでは、使用者ＵＳが装着した靴の靴底の荷重と、使用者ＵＳにおけるその他の部位の検出値とを用いることで、例えば、ダンスなどの使用者ＵＳの理想的な体の動きを知覚するために応用できる。使用者ＵＳの体の動きとしては、ゴルフのスイング、スキーの左右の足のバランスなどが挙げられる。

Ｅ．第５実施形態：
図１４は、右光学像表示部２６のみに表示された荷重検出型足入力部８０に対する第２操作部８２の位置を表す入力部画像ＩＭ８０の説明図である。第５実施形態のＨＭＤでは、第１実施形態と比較して、画像設定部１６５が入力部画像ＩＭ８０を右光学像表示部２６のみに表示させる処理が異なり、他の処理および他の構成については、第１実施形態のＨＭＤ１００と同じである。そのため、第５実施形態では、入力部画像ＩＭ８０について説明し、第１実施形態と同じ処理および同じ構成についての説明を省略する。

図１４に示すように、画像設定部１６５は、右光学像表示部２６に表示画像ＩＭＧ３を表示させる。表示画像ＩＭＧ３の右上には、図５に示す荷重検出型足入力部８０において、使用者ＵＳの荷重を検出可能な第２操作部８２の位置を表す入力部画像ＩＭ８０が含まれている。なお、第５実施形態では、画像設定部１６５は、入力部画像ＩＭ８０を含まない表示画像ＩＭＧ３を左光学像表示部２８に表示させる。他の実施形態では、右光学像表示部２６に表示させた同じ表示画像ＩＭＧ３を左光学像表示部２８に表示させてもよい。

入力部画像ＩＭ８０は、使用者ＵＳの右足の裏面に対応する面形状の画像である。入力部画像ＩＭ８０は、操作位置画像ＩＭ８２を含んでいる。入力部画像ＩＭ８０における操作位置画像ＩＭ８２の位置は、荷重検出型足入力部８０における第２操作部８２の位置と同じである。換言すると、入力部画像ＩＭ８０は、操作位置画像ＩＭ８２が入力部画像ＩＭ８０においてどの部分に位置するかを使用者ＵＳに認識させるための画像である。

以上説明したように、第５実施形態のＨＭＤでは、画像設定部１６５は、操作位置画像ＩＭ８２を含む入力部画像ＩＭ８０を右光学像表示部２６に表示させる。入力部画像ＩＭ８０は、荷重検出型足入力部８０に対する第２操作部８２の位置を表す画像である。そのため、第５実施形態のＨＭＤでは、使用者ＵＳは、入力部画像ＩＭ８０を視認することで、操作を実行するために荷重を加える第２操作部８２の位置を認識できる。これにより、使用者ＵＳにとっての操作性が向上する。さらに、使用者ＵＳの右足に装着された荷重検出型足入力部８０を表す入力部画像ＩＭ８０は、使用者ＵＳの右眼ＲＥに対応する右光学像表示部２６のみに表示される。また、入力部画像ＩＭ８０は、表示画像ＩＭＧ３における右側に含まれる。そのため、使用者ＵＳは、荷重検出型足入力部８０が右足に対応することをより感覚的に認識でき、使用者ＵＳの操作性がさらに向上する。

Ｆ．変形例：
なお、この発明は上記実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば、次のような変形も可能である。

Ｆ−１．変形例１：
上記第１実施形態では、荷重検出型足入力部８０は、靴底に加わる荷重の分布を検出したが、本明細書および請求項でいう「荷重」には、圧力および振動の概念も含まれる。例えば、荷重検出型足入力部８０は、圧力センサー、感圧センサー、衝撃センサー、および接触センサーのいずれかであってもよい。また、第１実施形態では、荷重検出型足入力部８０として、靴底に配置されている例を挙げたが、第１実施形態のようなインソールではなく、荷重検出型足入力部８０は、靴の中に直接形成されてもよいし、サンダル型であってもよいし、靴の外側に装着されてもよい。

上記第１実施形態では、第２操作部８２は、使用者ＵＳに装着された靴の靴底において、使用者ＵＳの親指が置かれる位置に対応するように配置されたが、第２操作部８２が配置される部分については、種々変形可能である。図１５は、靴底に配置された変形例１の第２操作部８２ｄの位置を表す説明図である。図１５に示すように、第４実施形態の荷重検出型足入力部８０ｄの第２操作部８２ｄは、使用者ＵＳの右足に装着された右靴において、使用者ＵＳの右足の５本の指の付け根の位置に対応する部分に荷重センサーが配置されている。この変形例の荷重検出型足入力部８０ｄでは、使用者ＵＳは、右足の指ではなく、右足の体重全体によって光学像表示部２６，２８の表示画像を制御できる。なお、他の実施形態では、足裏の全面に荷重センサーが配置されてもよいし、右足と左足とで、荷重センサーが配置される位置が異なっていてもよい。

Ｆ−２．変形例２：
上記実施形態では、画像設定部１６５が設定する表示画像として、矢印画像ＣＳ１の表示位置の変化を主として説明したが、設定される表示画像については種々変形可能である。例えば、荷重検出型足入力部８０が検出した荷重の変化に応じて、ＰＣのユーザーインターフェースであるマウスのクリック、ダブルクリック、およびドラッグに対応する機能が実行されて、実行に伴う変化が画像の変化として出力されてもよい。

図１６は、靴底に配置された変形例２の荷重検出型足入力部８０ｅの位置を表す説明図である。変形例２の荷重検出型足入力部８０ｅは、第２実施形態の荷重検出型足入力部８０ａと同じように、右足センサー８２１ｅと、左足センサー８２２ｅとを有している。左足センサー８２２ｅは、第２実施形態と同じように、使用者ＵＳの左足に装着された左靴において、使用者ＵＳの左足の親指に対応する位置に配置されている。右足センサー８２１ｅは、第１左足センサー８２３と、第２左足センサー８２４と、を有する。第１左足センサー８２３は、使用者ＵＳの右足に装着された右靴において、使用者ＵＳの右足の親指に対応する位置に配置されている。第２左足センサー８２４は、使用者ＵＳの右足に装着された右靴において、使用者ＵＳの右足の薬指と小指とに対応する位置に配置されている。左足センサー８２２ｅ、第１左足センサー８２３、および第２左足センサー８２４は、予め設定された閾値以上の荷重が加わった場合に、ボタンの押下に対応するようにオンの信号として検出する。左足センサー８２２ｅは、閾値以上の荷重を検出した場合に、マウスのダブルクリック（左）の機能に相当する。第１左足センサー８２３は、閾値以上の荷重を検出した場合に、マウスの左クリックの機能に相当する。第２左足センサー８２４は、閾値以上の荷重を検出した場合に、マウスの右クリックに相当する。左足センサー８２２ｅ、第１左足センサー８２３、および８２４の機能の設定については、種々変形可能であり、左足センサー８２２ｅは、所定の時間以内に、閾値以上の荷重を２回以上検出したときに、ダブルクリックの機能を実行してもよい。変形例２では、矢印画像ＣＳ１の表示位置の変更だけでなく、各種メニューを決定する制御、および、当該制御に基づく表示画像の変更を実行できる。

Ｆ−３．変形例３：
図１７は、靴底に配置された変形例３の荷重検出型足入力部８０ｆの位置を表す説明図である。変形例３の荷重検出型足入力部８０ｆは、第２実施形態の荷重検出型足入力部８０ａと同じように、左足センサー８２２ｆと、右足センサー８２１ｆとを有する。図１７に示すように左足センサー８２２ｆは、使用者ＵＳの左足に装着されている左靴の靴底の全面に配置された荷重センサーである。画像設定部１６５ｆは、右足センサー８２１ｆが荷重を検出している状態で、左足センサー８２２ｆが荷重の分布の変化を検出すると、荷重方向Ｄ９の４方向に沿って矢印画像ＣＳ１の表示位置を変化させる。画像設定部１６５ｆは、右足センサー８２１ｆが荷重を検出していない状態（例えば、使用者ＵＳが右足を上げている状態）で、左足センサー８２２ｆが荷重の分布の変化を検出すると、「決定」の制御として機能した表示画像を設定する。右足センサー８２１ｆは、使用者ＵＳの右足に装着されている右靴の靴底に、部分的に配置された荷重センサーである。

図１７に示すように、右足センサー８２１ｆは、靴底の三箇所に離散的に配置されている。１つは、親指の付け根に対応する位置に配置され、残りの２つの内の１つは、小指の付け根に対応する位置に配置され、残りの１つは、かかとに対応する位置に配置さている。画像設定部１６５ｆは、左足センサー８２２ｆが荷重を検出している場合に、右足センサー８２１ｆにおける親指および小指の付け根に対応する位置の２つの荷重センサーが検出した荷重の分布の変化に応じて、荷重方向Ｄ８に沿って矢印画像ＣＳ１の表示位置を変更する。画像設定部１６５ｆは、右足センサー８２１ｆにおけるかかとに配置された荷重センサーと、親指の位置に対応する荷重センサーと小指の位置に対応する荷重センサーとの少なくとも一方と、が検出する荷重の変化に応じて、荷重方向Ｄ８に直交する荷重方向Ｄ７に沿って矢印画像ＣＳ１の表示位置を変更する。画像設定部１６５ｆは、左足センサー８２２ｆが荷重を検出していない状態で、右足センサー８２１ｆのいずれかの荷重センサーが荷重の変化を検出すると、「決定」の制御として機能した表示画像を設定する。以上説明したように、使用者ＵＳの右足と左足とにおいて検出される荷重の組み合わせによって、画像設定部１６５ｆは、荷重検出型足入力部８０ｆが検出した荷重に割り当てられる表示画像の設定を変化させてもよい。

Ｆ−４．変形例４：
上記実施形態では、矢印画像ＣＳ１，ＣＳ２の表示位置が変更することについて説明したが、荷重検出型足入力部８０が検出した荷重によって、矢印画像ＣＳ１，ＣＳ２の画像そのものが変更されてもよい。例えば、変形例３の荷重検出型足入力部８０ｆにおいて、画像設定部１６５ｆは、左足センサー８２２ｆが検出した荷重によって矢印画像ＣＳ１の表示位置を変化させた場合と、右足センサー８２１ｆが検出した荷重によって矢印画像ＣＳ１の表示位置を変化させた場合とで、矢印画像ＣＳ１の色や形状を異なるように設定してもよい。

上記実施形態では、使用者ＵＳについて考慮されていなかったが、使用者ＵＳのそれぞれに対応してＨＭＤ１００が設定されてもよい。例えば、使用者ＵＳのそれぞれの体重が予め設定されることで、荷重検出型足入力部８０が検出する荷重の閾値が使用者ＵＳごとに異なる数値に設定されてもよい。

荷重検出型足入力部８０が検出する荷重の変化について、使用者ＵＳによって靴底に接する足裏の面積や足裏の形が異なるため、使用者ＵＳごとの足裏の形状に対応するに設定されてもよい。例えば、荷重検出型足入力部８０の検出値による操作が実行される前に、使用者ＵＳが右に荷重をかけたときやかかとに荷重をかけたときのデータを取得しておき、取得したデータに基づいて、荷重検出型足入力部８０が検出する荷重の閾値や、荷重の変化の向きの程度が設定されてもよい。

上記第４実施形態では、画像設定部１６５ｃは、荷重検出型足入力部８０ｃの検出値と慣性センサー９０の検出値との組み合わせに応じて、表示画像を設定したが、荷重検出型足入力部８０ｃの検出値と慣性センサー９０の検出値とそれぞれに異なる制御を対応付けてもよい。例えば、画像設定部１６５ｃは、荷重検出型足入力部８０の検出値によって矢印画像ＣＳ１の表示位置を変更し、慣性センサー９０の検出値によって「決定」の機能に応じた表示画像を設定してもよい。

上記実施形態において、荷重検出型足入力部８０が有するバッテリー８３は、ピエゾ素子を用いて形成され、使用者ＵＳの移動によって発電した電力を蓄えてもよい。

上記実施形態では、荷重検出型足入力部８０は、荷重の分布の変化を検出したが、必ずしも荷重の分布を検出する必要はない。例えば、荷重検出型足入力部８０は、離散的に配置された複数の荷重センサーに加わる荷重に応じて、使用者ＵＳの足の裏の荷重の変化を検出してもよい。また、荷重検出型足入力部８０は、一点の荷重のみを検出して、画像設定部１６５が荷重の検出に応じて「決定」に対応する表示画像を設定してもよい。

上記第１実施形態では、状態特定部１６８が特定する使用者ＵＳの活動状態として、移動状態を例に挙げて説明したが、使用者ＵＳの活動状態については、種々変形可能である。例えば、使用者ＵＳの活動状態として、一定の周期でのステップ、前のめりのときに発生する前荷重、前荷重の逆の場合の後ろ荷重、右荷重、および左荷重などが挙げられる。また、状態特定部１６８は、所定の時間または所定の複数のタイミングにおける活動状態の変化を組み合わせることもできる。画像設定部１６５は、状態特定部１６８によって特定された使用者ＵＳのこれらの活動状態および活動状態の組み合わせに基づいて、表示画像を設定できる。

Ｆ−５．変形例５：
上記第５実施形態では、画像設定部１６５は、使用者ＵＳの右足に装着される荷重検出型足入力部８０を表す入力部画像ＩＭ８０を、右光学像表示部２６に表示される表示画像ＩＭＧ３の右側に表示させたが、入力部画像ＩＭ８０の表示態様については、種々変形可能である。例えば、荷重検出型足入力部８０が使用者ＵＳの左足に装着される場合には、画像設定部１６５は、入力部画像ＩＭ８０を左光学像表示部２８のみに表示させてもよい。

画像設定部１６５は、図１５に示す所定の範囲の荷重センサーについて、どの部分にどの程度の荷重が加わっているかを表すためにリアルタイムで変化する棒グラフの画像を表示画像ＩＭＧ３に表示させてもよい。また、画像設定部１６５は、図１６に示す特定の機能が割り当てられた複数の荷重センサーを有する場合に、どの機能がどの荷重センサーに対応しているのかを表す画像を表示画像ＩＭＧ３に表示させてもよい。画像設定部１６５は、靴底の面形状を現す入力部画像ＩＭ８０の代わりに、第２操作部８２などの荷重センサーが配置されている位置を示す「右足親指」の文字画像を光学像表示部２６,２８に表示させてもよい。

Ｆ−６．変形例６：
上記実施形態では、制御部１０に第１操作部１３５が形成されたが、第１操作部１３５の態様については種々変形可能である。例えば、制御部１０とは別体で第１操作部１３５であるユーザーインターフェースがある態様でもよい。この場合に、第１操作部１３５は、電源１３０等が形成された制御部１０とは別体であるため、小型化でき、使用者ＵＳの操作性が向上する。また、カメラ６０が画像表示部２０に配置されたが、カメラ６０が画像表示部２０とは別体に構成され、外景を撮像できてもよい。また、制御部１０の構成するＣＰＵ１４０や電源１３０が画像表示部２０に全て搭載されたＨＭＤ１００であってもよい。このＨＭＤ１００では、画像表示部２０と別体で構成されるコントローラーがないため、より小型化できる。また、制御部１０と画像表示部２０とのそれぞれに、ＣＰＵ１４０が搭載されることで、制御部１０がコントローラー単体として使用され、画像表示部２０が表示装置単体として使用されてもよい。

例えば、画像光生成部は、有機ＥＬ（有機エレクトロルミネッセンス、Organic Electro-Luminescence）のディスプレイと、有機ＥＬ制御部とを備える構成としてもよい。また、例えば、画像光生成部は、ＬＣＤに代えて、ＬＣＯＳ（Liquid crystal on silicon, LCoS は登録商標）や、デジタル・マイクロミラー・デバイス等を用いることもできる。また、例えば、レーザー網膜投影型のＨＭＤ１００に対して本発明を適用することも可能である。また、画像表示最大領域ＰＮは、各画素に形成されたＭＥＭＳシャッターを開閉するＭＥＭＳシャッター方式のディスプレイによって構成されてもよい。

また、画像光生成部として、ＭＥＭＳミラーを用いた走査光学系を採用し、ＭＥＭＳディスプレイ技術を利用したＨＭＤ１００であってもよい。具体的な構成としては、ＨＭＤ１００は、信号光形成部と、信号光形成部が射出する光を走査するＭＥＭＳミラーを有する走査光学系と、走査光学系により走査される光によって虚像が形成される光学部材と、を光射出部として備えてもよい。ＨＭＤ１００がこの構成を備えると、信号光形成部によって射出された光は、ＭＥＭＳミラーによって反射され、光学部材に入射し、光学部材に導かれて、虚像形成面（例えば、反射面）に達する。ＭＥＭＳミラーが光を走査することにより、虚像形成面に虚像が形成され、形成された虚像を使用者ＵＳが視認することで、使用者ＵＳに画像が認識される。

また、例えば、ＨＭＤ１００は、光学像表示部が使用者ＵＳの眼の一部分のみを覆う態様、換言すれば、光学像表示部が使用者ＵＳの眼を完全に覆わない態様のヘッドマウントディスプレイとしてもよい。また、ＨＭＤ１００は、いわゆる単眼タイプのヘッドマウントディスプレイであるとしてもよい。また、ＨＭＤ１００の代わりに、使用者ＵＳの頭部に装着されるのではなく、双眼鏡のように使用者ＵＳが手で位置を固定するハンドヘルドディスプレイが画像表示装置として用いられてもよい。また、ＨＭＤ１００は、両眼タイプの光学透過型であるとしているが、本発明は、例えば、ビデオ透過型といった他の形式の頭部装着型表示装置にも同様に適用可能である。

また、ＨＭＤ１００は、他の装置から受信した画像信号に基づく画像を表示するためだけの表示装置と用いられてもよい。具体的には、デスクトップ型のＰＣのモニターに相当する表示装置として用いられ、例えば、デスクトップ型のＰＣから画像信号を受信することで、画像表示部２０の画像表示最大領域ＰＮに画像が表示されてもよい。

また、ＨＭＤ１００は、システムの一部として機能するように用いられてもよい。例えば、航空機を含むシステムの一部の機能を実行するための装置としてＨＭＤ１００が用いられてもよいし、ＨＭＤ１００が用いられるシステムとしては、航空機を含むシステムに限られず、自動車や自転車など含むシステムであってもよい。

また、イヤホンは耳掛け型やヘッドバンド型が採用されてもよく、省略してもよい。また、例えば、自動車や飛行機等の車両に搭載される頭部装着型表示装置として構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵された頭部装着型表示装置として構成されてもよい。

Ｆ−７．変形例７：
上記実施形態におけるＨＭＤ１００の構成は、あくまで一例であり、種々変形可能である。例えば、制御部１０に設けられた方向キー１６を省略したり、方向キー１６やトラックパッド１４に加えて、操作用スティック等の他の操作用インターフェイスを設けたりしてもよい。また、制御部１０は、キーボードやマウス等の入力デバイスを接続可能な構成であり、キーボードやマウスから入力を受け付けるものとしてもよい。

また、画像表示部として、眼鏡のように装着する画像表示部２０に代えて、例えば帽子のように装着する画像表示部といった他の方式の画像表示部を採用してもよい。また、イヤホン３２，３４は、適宜省略可能である。また、上記実施形態では、画像光を生成する構成として、ＬＣＤと光源とを利用しているが、これらに代えて、有機ＥＬディスプレイといった他の表示素子を採用してもよい。

図１８および図１９は、変形例におけるＨＭＤの外観構成を示す説明図である。図１８の例の場合、図２に示したＨＭＤ１００との違いは、画像表示部２０ｘが、右光学像表示部２６に代えて右光学像表示部２６ｘを備える点と、左光学像表示部２８に代えて左光学像表示部２８ｘを備える点とである。右光学像表示部２６ｘは、上記実施形態の光学部材よりも小さく形成され、ＨＭＤ１００ｘの装着時における使用者ＵＳの右眼ＲＥの斜め上に配置されている。同様に、左光学像表示部２８ｘは、上記実施形態の光学部材よりも小さく形成され、ＨＭＤ１００ｘの装着時における使用者ＵＳの左眼ＬＥの斜め上に配置されている。図１９の例の場合、図２に示したＨＭＤ１００との違いは、画像表示部２０ｙが、右光学像表示部２６に代えて右光学像表示部２６ｙを備える点と、左光学像表示部２８に代えて左光学像表示部２８ｙを備える点とである。右光学像表示部２６ｙは、上記実施形態の光学部材よりも小さく形成され、ヘッドマウントディスプレイの装着時における使用者ＵＳの右眼ＲＥの斜め下に配置されている。左光学像表示部２８ｙは、上記実施形態の光学部材よりも小さく形成され、ヘッドマウントディスプレイの装着時における使用者ＵＳの左眼ＬＥの斜め下に配置されている。このように、光学像表示部は使用者ＵＳの眼の近傍に配置されていれば足りる。また、光学像表示部を形成する光学部材の大きさも任意であり、光学像表示部が使用者ＵＳの眼の一部分のみを覆う態様、換言すれば、光学像表示部が使用者ＵＳの眼を完全に覆わない態様のＨＭＤ１００として実現できる。

また、上記実施形態において、ＨＭＤ１００は、使用者ＵＳの左右の眼に同じ画像を表す画像光を導いて使用者ＵＳに二次元画像を視認させるとしてもよいし、使用者ＵＳの左右の眼に異なる画像を表す画像光を導いて使用者ＵＳに三次元画像を視認させるとしてもよい。

また、上記実施形態において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよい。例えば、上記実施形態では、画像処理部１６０や音声処理部１７０は、ＣＰＵ１４０がコンピュータープログラムを読み出して実行することにより実現されるとしているが、これらの機能部はハードウェア回路により実現されるとしてもよい。

また、本発明の機能の一部または全部がソフトウェアで実現される場合には、そのソフトウェア（コンピュータープログラム）は、コンピューター読み取り可能な記録媒体に格納された形で提供することができる。この発明において、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスクやＣＤ−ＲＯＭのような携帯型の記録媒体に限らず、各種のＲＡＭやＲＯＭ等のコンピューター内の内部記憶装置や、ハードディスク等のコンピューターに固定されている外部記憶装置も含んでいる。

また、上記実施形態では、図２および図３に示すように、制御部１０と画像表示部２０とが別々の構成として形成されているが、制御部１０と画像表示部２０との構成については、これに限られず、種々変形可能である。例えば、画像表示部２０の内部に、制御部１０に形成された構成の全てが形成されてもよいし、一部が形成されてもよい。また、上記実施形態における電源１３０が単独で形成されて、交換可能な構成であってもよいし、制御部１０に形成された構成が重複して画像表示部２０に形成されていてもよい。例えば、図３に示すＣＰＵ１４０が制御部１０と画像表示部２０との両方に形成されていてもよいし、制御部１０に形成されたＣＰＵ１４０と画像表示部２０に形成されたＣＰＵとが行なう機能が別々に分けられている構成としてもよい。

本発明は、上記実施形態や変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、変形例中の技術的特徴は、上述の課題の一部または全部を解決するために、あるいは、上述の効果の一部または全部を達成するために、適宜、差し替えや、組み合わせを行なうことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

ＩＣ１，ＩＣ２，ＩＣ３，ＩＣ４…アイコン画像、１０…制御部、１１…決定キー、１２…点灯部、１３…表示切替キー、１４…トラックパッド、１５…輝度切替キー、１６…方向キー、１７…メニューキー、１８…電源スイッチ、２０，２０ｘ，２０ｙ…画像表示部、２１…右保持部、２２…右表示駆動部、２３…左保持部、２４…左表示駆動部、２６，２６ｘ，２６ｙ…右光学像表示部、２８，２８ｘ，２８ｙ…左光学像表示部，３０…イヤホンプラグ、３２…右イヤホン、３４…左イヤホン、４０…接続部、４２…右コード、４４…左コード、４６…連結部材、４８…本体コード、５１，５２…送信部、５３，５４…受信部、６０…カメラ、８０，８０ａ，８０ｃ，８０ｄ，８０ｅ，８０ｆ…荷重検出型足入力部、８１…第２通信部、８２，８２ａ，８２ｄ…第２操作部、８３，９３…バッテリー、９０…慣性センサー、９１…第３通信部、９２…加速度センサー、１００，１００ａ，１００ｂ，１００ｃ，１００ｘ，１００ｙ…ＨＭＤ（頭部装着型表示装置）、１２０…記憶部、１３０…電源、１３２，１３２ｃ…第１通信部、１３５…第１操作部、１４０…ＣＰＵ、１５０…オペレーティングシステム、１６０…画像処理部、１６５，１６５ｂ，１６５ｃ，１６５ｆ…画像設定部、１６８，１６８ｃ…状態特定部、１７０…音声処理部、１８０…インターフェイス、１９０…表示制御部、２０１…右バックライト制御部、２０２…左バックライト制御部、２１１…右ＬＣＤ制御部、２１２…左ＬＣＤ制御部、２２１…右バックライト、２２２…左バックライト、２５１…右投写光学系、２５２…左投写光学系、２６１…右導光板、２６２…左導光板、８２１，８２１ｅ，８２１ｆ…右足センサー、８２２，８２２ｅ，８２２ｆ…左足センサー、８２３…第１左足センサー、８２４…第２左足センサー、ＡＰ…先端部、ＣＳ１，ＣＳ２…矢印画像、Ｄ１，Ｄ２，Ｄ３，Ｄ４，Ｄ５，Ｄ６，Ｄ７，Ｄ８，Ｄ９…荷重方向、ＥＬ…左光学像表示部の端部、ＥＲ…右光学像表示部の端部、ＨＳｙｎｃ…水平同期信号、ＩＬ…照明光、ＩＭＧ１，ＩＭＧ２，ＩＭＧ３…表示画像、ＩＭ８０…入力部画像、ＩＭ８２…操作位置画像、ＬＡＮ…無線、ＬＣＤ２４…左、ＬＥ…左眼、ＯＡ…外部機器、ＰＣＬＫ…クロック信号、ＰＬ…画像光、ＰＮ…画像表示最大領域、ＲＥ…右眼、ＵＳ…使用者、ＶＳｙｎｃ…垂直同期信号

Claims (9)

1. 頭部装着型表示装置であって、
   使用者の頭部に装着される画像表示部と、
   使用者の足の裏の荷重を検出する荷重検出型足入力部と、
   前記荷重検出型足入力部が検出した荷重に応じて、前記画像表示部に表示させる表示画像を設定する表示設定部と、を備える、頭部装着型表示装置。
2. 請求項１に記載の頭部装着型表示装置であって、さらに、
   使用者の活動状態を特定する状態特定部を備え、
   前記表示設定部は、前記活動状態として使用者が移動している移動状態でないと特定された場合に、前記荷重検出型足入力部が検出した荷重に応じて前記表示画像を設定し、前記活動状態として使用者が移動していない状態であると特定された場合に、既に設定された前記表示画像の設定を継続する、頭部装着型表示装置。
3. 請求項１または請求項２に記載の頭部装着型表示装置であって、
   前記荷重検出型足入力部は、所定の範囲の荷重の分布を検出し、
   前記表示設定部は、予め設定されたポインター画像を前記画像表示部に表示させ、前記荷重検出型足入力部が検出した荷重の分布の変化に応じて、前記画像表示部における前記ポインター画像の表示位置を変化させる、頭部装着型表示装置。
4. 請求項１から請求項３までのいずれか一項に記載の頭部装着型表示装置であって、
   前記荷重検出型足入力部は、右足の荷重を検出する右荷重検出型足入力部と、左足の荷重を検出する左荷重検出型足入力部と、を有し、
   前記表示設定部は、前記右荷重検出型足入力部が検出した荷重の変化と、前記左荷重検出型足入力部が検出した荷重の変化と、に応じて、前記表示画像を設定する、頭部装着型表示装置。
5. 請求項４に記載の頭部装着型表示装置であって、
   前記荷重検出型足入力部は、前記右荷重検出型足入力部と前記左荷重検出型足入力部との位置の変化を特定し、
   前記表示設定部は、前記位置の変化に応じて、前記表示画像の少なくとも一部分の拡大または縮小を実行する、頭部装着型表示装置。
6. 請求項４または請求項５に記載の頭部装着型表示装置であって、
   前記表示設定部は、
   予め設定されたポインター画像を前記画像表示部に表示させ、
   前記右荷重検出型足入力部が検出した右荷重の分布と、前記左荷重検出型足入力部が検出した左荷重の分布と、に応じて前記ポインター画像の位置を変化させ、前記右荷重の分布の変化によって変化する前記ポインター画像の表示位置の変化量と前記左荷重の分布の変化によって変化する前記ポインター画像の表示位置の変化量とを異ならせる、頭部装着型表示装置。
7. 請求項１から請求項６までのいずれか一項に記載の頭部装着型表示装置であって、さらに、
   前記荷重検出型足入力部と前記画像表示部とは別体に形成される慣性センサーを備え、
   前記表示設定部は、前記慣性センサーが取得した慣性データと、前記荷重検出型足入力部が検出した荷重と、に応じて、前記表示画像を設定する、頭部装着型表示装置。
8. 請求項１から請求項７までのいずれか一項に記載の頭部装着型表示装置であって、
   前記表示設定部は、前記荷重検出型足入力部が検出した荷重に応じて前記表示画像を設定できる場合に、前記荷重検出型足入力部の位置を表す画像を前記画像表示部に表示させる、頭部装着型表示装置。
9. 請求項８に記載の頭部装着型表示装置であって、
   前記荷重検出型足入力部は、使用者の足の裏に対応する面形状を有し、前記面形状の少なくとも一部に荷重を検出可能なセンサーが配置され、
   前記表示設定部は、前記荷重検出型足入力部の位置を表す画像として、前記面形状に対する前記センサーの位置を表す画像を前記画像表示部に表示させる、頭部装着型表示装置。

Images