JP6020009B2 - ヘッドマウントディスプレイ、それを作動させる方法およびプログラム - Google Patents

Description

本発明は、観察者の頭部に装着された状態で、観察者の片眼である観察眼に画像光を投射することによって観察者に画像を表示する単眼式のヘッドマウントディスプレイに関するものであり、特に、対象空間内の少なくとも１つのオブジェクトと少なくとも１つの参照コンテンツとを互いに関連付けて観察者が観察することを可能にする技術に関するものである。

観察者の頭部に装着された状態で観察者に画像を表示するヘッドマウントディスプレイ（以下、「ＨＭＤ」と略称する。）が既に知られている。このＨＭＤによれば、観察者は、画像が投影されるスクリーンを媒介にすることなく、画像を直接的に観察することができる。

このＨＭＤは、画像光を形成する方式という観点で、例えば、空間変調型と走査型とに分類される。空間変調型は、画像信号に応じて作動する空間変調素子（例えば、液晶または有機ＥＬ（エレクトロ・ルミネッセンス））を用いて、光源からの出射光から前記画像光を形成する方式である。これに対し、走査型は、光源からの出射光であって、前記画像信号に応じた強度を有するものを走査することによって前記画像光を形成する方式である。

また、このＨＭＤは、観察者が画像を観察する眼が観察者の両眼であるのか片眼であるのかという観点で、観察者の両眼を観察眼とし、両眼のいずれにも画像光を投射することによって観察者に画像を表示する両眼式と、観察者の片眼を観察眼とし、片眼のみに画像光を投射することによって観察者に画像を表示する単眼式とに分類される。

また、このＨＭＤは、観察者が画像を観察する方式という観点で、例えば、シースルー式と密閉式とに分類される。シースルー式は、画像信号に応じた画像を表す画像光と、観察者の前方に位置する現実外界（前記「対象空間」の一例）からの外界光とを重畳させて観察者の眼に入射させることにより、観察者が、画像信号に応じた画像を、現実外界の像に重ねて観察することを可能にする方式である。これに対し、密閉式は、現実外界を表す外界光の入射光を遮断し、観察者が、主に、画像信号に応じた画像のみを観察することを可能にする方式である。

後者の密閉式を採用する場合、画像信号に応じた画像が対象空間の像を含まないようにＨＭＤを設計することが可能である。この場合には、観察者は、対象空間の像を観察することができず、画像信号に応じた画像を単独で観察することになる。しかし、ＨＭＤを、対象空間の像を撮影し、その撮影した画像と、画像信号に応じた別の画像とを合成し、その合成画像を観察者に表示するように設計することも可能である。この場合には、観察者は、シースルー式を採用する場合と同様に、対象空間の像に重ねて、それとは別の画像を観察することが可能となる。以下、この方式を、説明の便宜上、「ビデオシースルー式」と称し、これに対し、上述のシースルー式を「光学シースルー式」と称することにより、両者を区別する。

人間が知覚する現実世界をコンピュータを用いて増強・拡張する技術が既に存在し、これは拡張現実（ＡＲ）と称される。この拡張現実を光学シースルー式またはビデオシースルー式のＨＭＤを用いて実現する技術の一従来例が特許文献１に開示されている。

この特許文献１に開示されている技術によれば、観察者が仮想空間（前記「対象空間」の別の例）内に存在する仮想オブジェクトを観察している間、その仮想オブジェクトの観察位置に関連付けて、その仮想オブジェクトに関連する参照コンテンツ（例えば、アノテーション）が表示される。この技術によれば、観察者が、仮想オブジェクトを観察しながら、その仮想オブジェクトに関連する情報を視覚的にかつ自動的に取得することが可能となり、観察者の利便性が向上する。

特開２００５−０３８００８号公報

特許文献１に開示されている技術によれば、観察者が唯一の仮想オブジェクトを観察している間、観察者がその仮想オブジェクトに一定時間以上注視すると、その仮想オブジェクトの観察位置の近傍に、その仮想オブジェクトに関連する参照コンテンツとしてのアノテーションが自動的に表示される。このとき、そのアノテーションに対する焦点を仮想オブジェクトに対する焦点と一致させるため、観察者の視点位置からアノテーションまでの奥行きが、視点位置から仮想オブジェクトまでの奥行きとほぼ同じとされる。

これに対し、本発明者らは、単眼式のＨＭＤについて研究を行った結果、観察者が参照コンテンツを視認する際の視認性を向上させるためには、表示される参照コンテンツの、観察されるオブジェクトの像に対する相対位置を最適化することが重要であることに気が付いた。

具体的には、本発明者らは、単眼式のＨＭＤの画像表示面上において、参照コンテンツの、オブジェクトの像に対する相対位置として、そのオブジェクトの像から、非観察眼から遠ざかる向きに外れた位置と、非観察眼に近づく向きに外れた位置とについて観察者の視認性を評価するための実験を行った。その結果、本発明者らは、当該ＨＭＤが光学シースルー式であるかビデオシースルー式であるかを問わず、参照コンテンツを、オブジェクトの像から、非観察眼から遠ざかる向きに外れた位置に表示した場合には、非観察眼に近づく向きに外れた位置に表示した場合より、観察眼が参照コンテンツを観察するときの観察者の視線が、非観察眼側に大きく傾斜せずに済み、視認性が向上するという知見を得た。

また、本発明者らは、特に、単眼式のＨＭＤが光学シースルー式である場合であって、当該ＨＭＤのハウジングのうち、非観察眼寄りの位置に、光学シースルーを実現するための光学素子（例えば、後述のハーフミラー）が露出状態で取り付けられている場合には、参照コンテンツを、オブジェクトの像から、非観察眼に近づく向きに外れた位置に表示すると、観察眼が参照コンテンツを観察するときの観察者の視線が前記ハウジングと交差したり、前記光学素子と交差してしまう可能性が高くなることに気が付いた。視線が前記ハウジングと交差したり、前記光学素子と交差してしまうと、観察眼が、表示されている参照コンテンツを正常に観察することができなくなり、観察者は、不快感を覚える可能性がある。

以上説明した知見を背景として、本発明は、対象空間内の少なくとも１つのオブジェクトと少なくとも１つの参照コンテンツとを互いに関連付けて観察者が観察することを可能にする単眼式のＨＭＤにおいて、観察者が参照コンテンツを視認する際の視認性を向上させることを目的とする。

その課題を解決するために、本発明の第１側面によれば、観察者の頭部に装着された状態で、観察者の片眼である観察眼に画像光を投射することによって観察者に画像を表示し、それにより、対象空間内の少なくとも１つのオブジェクトと少なくとも１つの参照コンテンツとを互いに関連付けて観察者が観察することを可能にするヘッドマウントディスプレイであって、
前記少なくとも１つのオブジェクトは、観察眼の位置および向きに対して相対的に決まる観察者の視界内に存在する複数のオブジェクトを含み、
当該ヘッドマウントディスプレイは、
観察眼が観察者の左眼および右眼のうちのいずれであるかを判定する判定部と、
その判定部の判定結果に基づき、当該ヘッドマウントディスプレイの画像表示面上において、前記少なくとも１つの参照コンテンツを、観察者が観察する前記少なくとも１つのオブジェクトの像から、観察者の両眼のうち観察眼ではない非観察眼から遠ざかる第１方向に外れた位置に表示する表示制御部と、
観察者の姿勢に関する情報と前記複数のオブジェクトの位置に関する情報とのうちの少なくとも一方に基づき、前記複数のオブジェクトのうちのいずれかを、観察者が実質的に最も強く注目している注目オブジェクトとして推定する注目オブジェクト推定部と、
当該ヘッドマウントディスプレイが表示可能な複数の参照コンテンツの中から、前記推定された注目オブジェクトに対応する参照コンテンツを選択する参照コンテンツ選択部と、
観察眼の位置についての検出結果に基づき、前記選択された参照コンテンツの表示位置を、観察者が観察する前記注目オブジェクトの像から、前記第１方向に外れた位置に決定する第１表示位置決定部と、
前記参照コンテンツを、前記決定された表示位置に表示すると、その参照コンテンツが、前記複数のオブジェクトのうち、前記注目オブジェクトを除く少なくとも１つの非注目オブジェクトの像と重複して表示される可能性がある場合に、前記表示位置を、前記少なくとも１つの非注目オブジェクトの像から、前記第１方向に対して交差するように予め定められた第２方向に外れた位置に変更する第２表示位置決定部と
を含むヘッドマウントディスプレイが提供される。
また、本発明の第２側面によれば、観察者の頭部に装着された状態で、観察者の片眼である観察眼に画像光を投射することによって観察者に画像を表示し、それにより、対象空間内の少なくとも１つのオブジェクトと少なくとも１つの参照コンテンツとを互いに関連付けて観察者が観察することを可能にするヘッドマウントディスプレイであって、
前記少なくとも１つのオブジェクトは、観察眼の位置および向きに対して相対的に決まる視界内に存在する複数のオブジェクトを含み、
当該ヘッドマウントディスプレイは、
観察眼が観察者の左眼および右眼のうちのいずれであるかを判定する判定部と、
その判定部の判定結果に基づき、当該ヘッドマウントディスプレイの画像表示面上において、前記少なくとも１つの参照コンテンツを、観察者が観察する前記少なくとも１つのオブジェクトの像から、観察者の両眼のうち観察眼ではない非観察眼から遠ざかる第１方向に外れた位置に表示する表示制御部と、
前記参照コンテンツの表示サイズを、予め定められた第１サイズに決定する第１表示サイズ決定部と、
前記参照コンテンツを前記第１サイズで表示すると、前記参照コンテンツの一部が、当該ヘッドマウントディスプレイの使用中に観察者が視認する画像表示領域内に表示されない可能性がある場合に、前記参照コンテンツの表示サイズを、前記第１サイズより小さいように予め定められた第２サイズに変更する第２表示サイズ決定部と
を含むヘッドマウントディスプレイが提供される。
また、本発明の第３側面によれば、観察者の頭部に装着された状態で、観察者の片眼である観察眼に画像光を投射することによって観察者に画像を表示し、それにより、対象空間内の少なくとも１つのオブジェクトと少なくとも１つの参照コンテンツとを互いに関連付けて観察者が観察することを可能にするヘッドマウントディスプレイを作動させる方法であって、
前記少なくとも１つのオブジェクトは、観察眼の位置および向きに対して相対的に決まる視界内に存在する複数のオブジェクトを含み、
当該方法は、
観察眼が観察者の左眼および右眼のうちのいずれであるかを判定する判定工程と、
その判定工程での判定結果に基づき、前記ヘッドマウントディスプレイの画像表示面上において、前記少なくとも１つの参照コンテンツを、観察者が観察する前記少なくとも１つのオブジェクトの像から、観察者の両眼のうち観察眼ではない非観察眼から遠ざかる第１方向に外れた位置に表示する表示制御工程と、
前記複数のオブジェクトのうちのいずれかを、観察者が実質的に最も強く注目している注目オブジェクトとして推定する注目オブジェクト推定工程と、
前記ヘッドマウントディスプレイが表示可能な複数の参照コンテンツの中から、前記推定された注目オブジェクトに対応する参照コンテンツを選択する参照コンテンツ選択工程と、
観察眼の位置についての検出結果に基づき、前記選択された参照コンテンツの表示位置を、観察者が観察する前記注目オブジェクトの像から、前記第１方向に外れた位置に決定する第１表示位置決定工程と、
前記参照コンテンツを、前記決定された表示位置に表示すると、その参照コンテンツが、前記複数のオブジェクトのうち、前記注目オブジェクトを除く少なくとも１つの非注目オブジェクトの像と重複して表示される可能性がある場合に、前記表示位置を、前記少なくとも１つの非注目オブジェクトの像から、前記第１方向に対して交差するように予め定められた第２方向に外れた位置に変更する第２表示位置決定工程と
を含むヘッドマウントディスプレイ作動方法が提供される。
本発明によって下記の各態様が得られる。各態様は、項に区分し、各項には番号を付し、必要に応じて他の項の番号を引用する形式で記載するが、このように、各項を他の項の番号を引用する形式で記載することにより、各項に記載の技術的特徴をその性質に応じて適宜独立させることが可能となる。

（１） 観察者の頭部に装着された状態で、観察者の片眼である観察眼に画像光を投射することによって観察者に画像を表示し、それにより、対象空間内の少なくとも１つのオブジェクトと少なくとも１つの参照コンテンツとを互いに関連付けて観察者が観察することを可能にするヘッドマウントディスプレイであって、
観察眼が観察者の左眼および右眼のうちのいずれであるかを判定する判定部と、
その判定部の判定結果に基づき、当該ヘッドマウントディスプレイの画像表示面上において、前記少なくとも１つの参照コンテンツを、観察者が観察する前記少なくとも１つのオブジェクトの像から、観察者の両眼のうち観察眼ではない非観察眼から遠ざかる第１方向に外れた位置に表示する表示制御部と
を含むヘッドマウントディスプレイ。

（２） 前記少なくとも１つのオブジェクトは、観察眼の位置および向きに対して相対的に決まる観察者の視界内に存在する複数のオブジェクトを含み、
当該ヘッドマウントディスプレイは、さらに、
観察者の姿勢に関する情報と前記複数のオブジェクトの位置に関する情報とのうちの少なくとも一方に基づき、前記複数のオブジェクトのうちのいずれかを、観察者が実質的に最も強く注目している注目オブジェクトとして推定する注目オブジェクト推定部と、
当該ヘッドマウントディスプレイが表示可能な複数の参照コンテンツの中から、前記推定された注目オブジェクトに対応する参照コンテンツを選択する参照コンテンツ選択部と、
観察眼の位置についての検出結果に基づき、前記選択された参照コンテンツの表示位置を、観察者が観察する前記注目オブジェクトの像から、前記第１方向に外れた位置に決定する第１表示位置決定部と、
前記参照コンテンツを、前記決定された表示位置に表示すると、その参照コンテンツが、前記複数のオブジェクトのうち、前記注目オブジェクトを除く少なくとも１つの非注目オブジェクトの像と重複して表示される可能性がある場合に、前記表示位置を、前記少なくとも１つの非注目オブジェクトの像から、前記第１方向に対して交差するように予め定められた第２方向に外れた位置に変更する第２表示位置決定部と
を含む（１）項に記載のヘッドマウントディスプレイ。

（３） 前記少なくとも１つのオブジェクトは、観察眼の位置および向きに対して相対的に決まる視界内に存在する複数のオブジェクトを含み、
当該ヘッドマウントディスプレイは、さらに、
前記参照コンテンツの表示サイズを、予め定められた第１サイズに決定する第１表示サイズ決定部と、
前記参照コンテンツを前記第１サイズで表示すると、前記参照コンテンツの一部が、当該ヘッドマウントディスプレイの使用中に観察者が視認する画像表示領域内に表示されない可能性がある場合に、前記参照コンテンツの表示サイズを、前記第１サイズより小さいように予め定められた第２サイズに変更する第２表示サイズ決定部と
を含む（１）または（２）項に記載のヘッドマウントディスプレイ。

（４） 観察者の頭部に装着された状態で、観察者の片眼である観察眼に画像光を投射することによって観察者に画像を表示し、それにより、対象空間内の少なくとも１つのオブジェクトと少なくとも１つの参照コンテンツとを互いに関連付けて観察者が観察することを可能にするヘッドマウントディスプレイを作動させる方法であって、
観察眼が観察者の左眼および右眼のうちのいずれであるかを判定する判定工程と、
その判定工程での判定結果に基づき、前記ヘッドマウントディスプレイの画像表示面上において、前記少なくとも１つの参照コンテンツを、観察者が観察する前記少なくとも１つのオブジェクトの像から、観察者の両眼のうち観察眼ではない非観察眼から遠ざかる第１方向に外れた位置に表示する表示制御工程と
を含む方法。

（５） 前記少なくとも１つのオブジェクトは、観察眼の位置および向きに対して相対的に決まる視界内に存在する複数のオブジェクトを含み、
当該方法は、さらに、
前記複数のオブジェクトのうちのいずれかを、観察者が実質的に最も強く注目している注目オブジェクトとして推定する注目オブジェクト推定工程と、
前記ヘッドマウントディスプレイが表示可能な複数の参照コンテンツの中から、前記推定された注目オブジェクトに対応する参照コンテンツを選択する参照コンテンツ選択工程と、
観察眼の位置についての検出結果に基づき、前記選択された参照コンテンツの表示位置を、観察者が観察する前記注目オブジェクトの像から、前記第１方向に外れた位置に決定する第１表示位置決定工程と、
前記参照コンテンツを、前記決定された表示位置に表示すると、その参照コンテンツが、前記複数のオブジェクトのうち、前記注目オブジェクトを除く少なくとも１つの非注目オブジェクトの像と重複して表示される可能性がある場合に、前記表示位置を、前記少なくとも１つの非注目オブジェクトの像から、前記第１方向に対して交差するように予め定められた第２方向に外れた位置に変更する第２表示位置決定工程と
を含む（４）項に記載の方法。

（６） （４）または（５）項に記載の方法を実行するためにコンピュータによって実行されるプログラム。

（７） 現実外界に存在するオブジェクトに関連する参照コンテンツを示す画像光と、前記現実外界の像を示す外界光とを重畳して出射可能に構成され、観察者の頭部に装着可能な表示ユニットと、
その表示ユニットの位置を取得可能な位置取得部と、
前記表示ユニットの向きを取得可能な向き取得部と、
前記表示ユニットが観察者によって装着された場合に、前記表示ユニットの装着位置を取得可能な装着位置取得部と、
前記表示ユニットの作動を制御する制御部と
を含み、
その制御部は、
前記取得された表示ユニットの位置および向きに基づき、前記オブジェクトに関連する前記参照コンテンツを取得可能なコンテンツ取得手段と、
前記装着位置取得部の取得結果に基づき、前記表示ユニットが観察者の両眼のうちのいずれの眼の側に装着されたかを判定する判定手段と、
前記取得された参照コンテンツの表示位置を決定する決定手段と
を有し、
その決定手段は、前記取得された参照コンテンツに関連する前記オブジェクトが観察されるオブジェクト観察位置に位置的に関連付けられるとともに、前記オブジェクト観察位置から、前記判定手段によって判定された眼の側にずれた位置を、前記参照コンテンツの表示位置として決定するヘッドマウントディスプレイ。

本発明によれば、参照コンテンツが、オブジェクトの像から、非観察眼から遠ざかる向きに外れた位置に表示されるため、観察眼が参照コンテンツを観察するときの観察者の視線が非観察眼側に大きく傾斜せずに済み、その結果、観察者が参照コンテンツを視認する際の視認性が向上する。

図１は、本発明の例示的な一実施形態に従うヘッドマウントディスプレイ（ＨＭＤ）を左眼観察モードで、かつ、観察者の頭部に装着するために使用されるフレームと共に示す斜視図である。 図２は、図１に示す表示ユニットを示す縦断面図である。 図３は、図１に示すＨＭＤを左眼観察モードで作動させた場合に観察者が視認する画像と、右眼観察モードで作動させた場合に観察者が視認する画像とを対比的に示す図である。 図４は、図１に示すＨＭＤの構成を概念的に表す機能ブロック図である。 図５（ａ）は、図４に示すコンテンツ情報記憶部に記憶されているコンテンツ関連情報を表形式で表す概念図であり、図５（ｂ）は、図５（ａ）に示すコンテンツ関連情報の定義を説明するための図である。 図６は、観察者が、図１に示すＨＭＤを使用している状態で、ある展示室内において複数の展示物を鑑賞している様子を説明するために、その展示室全体を真上から俯瞰することによって示す図である。 図７（ａ）は、図１に示すＨＭＤの画像表示面上における参照コンテンツの表示位置が注目オブジェクトの像の位置に対して相対的に決定される様子を説明するための図であり、図７（ｂ）は、その様子を具体的に説明するための図である。 図８は、図４に示すメモリに記憶されている画像表示プログラムが同図に示すプロセッサによって実行されることによって実行される画像表示方法の一部を概念的に表すフローチャートである。 図９は、前記画像表示方法の別の一部を概念的に表すフローチャートである。

以下、本発明のさらに具体的でかつ例示的ないくつかの実施形態を図面を参照して詳細に説明する。

図１には、本発明の例示的な一実施形態に従うヘッドマウントディスプレイ（以下、「ＨＭＤ」と略称する。）１０が斜視図で示され、図２には、断面図で示されている。

まず、概略的に説明するに、このＨＭＤ１０は、観察者の眼前に位置するように観察者の頭部に装着されて使用される。その使用状態において、このＨＭＤ１０は、観察者の前方に位置する現実外界（前記「対象空間」の一例）の像を表す外界光を観察者の眼に誘導し、それにより、観察者が、現実外界に存在するオブジェクト（例えば、人間や機械、建物、動物、植物、彫刻物、製造物など、３次元的な物体や、写真や絵画、映画、印刷物など、２次元的な物体）を観察することが可能であるように設計される。

さらに、このＨＭＤ１０は、観察者が観察しているオブジェクトに関連する参照コンテンツ（例えば、観察者に提供すべき情報をテキスト、グラフィックスで表現した画像、アノテーションなど）を画像信号に応じて生成し、その生成された参照コンテンツを観察者に、現に観察しているオブジェクトの観察位置に関連付けて表示することが可能であるようにも設計されている。一例においては、オブジェクトは、美術館などの施設内の展示室内で展示されている展示物であり、また、参照コンテンツは、そのような展示物を補足的に説明するための、テキストやグラフィックスによるアノテーションである。

さらに、このＨＭＤ１０は、観察者の左眼と右眼とのうちのいずれかを観察眼として観察者が画像を観察することを可能にする。このＨＭＤ１０は、単眼式なのである。このＨＭＤ１０は、観察者の選択により、観察者の左眼が観察眼である左眼観察モード（図１に示す）と、観察者の右眼が観察眼である右眼観察モード（図示しない）とに切り換えられる。

さらに、このＨＭＤ１０は、図３に示すように、このＨＭＤ１０の画像表示面上において、参照コンテンツを、観察者が観察するオブジェクトの像（以下、「オブジェクト像」という。）から外れた位置に表示する。具体的には、このＨＭＤ１０は、観察者が観察しているオブジェクトの、ＨＭＤ１０の画像表示面上での位置およびサイズに基づき、参照コンテンツを、オブジェクト像から、観察者の右眼から左眼に向かう方向（通常、左方向）と、左眼から右眼に向かう方向（通常、右方向）とのうち、後述の規則に従って選択された方向に外れた位置（例えば、オブジェクトの観察位置から真横に外れた位置や、斜め横に外れた位置を含む。）に表示する。

さらに、このＨＭＤ１０は、その使用状態において、適切なセンサからの信号に基づき、観察眼が左眼であるか右眼であるかを検出し、図３に示すように、観察眼が左眼である左眼観察モードであれば、参照コンテンツＬを、オブジェクトＡの像から、右眼から遠ざかる方向、例えば、左方向に外れた左側位置に表示する一方、観察眼が右眼である右眼観察モードであれば、参照コンテンツＲを、オブジェクトＡの像から、左眼から遠ざかる方向、例えば、右方向に外れた右側位置に表示する。これが、参照コンテンツの表示位置をそれら左側位置と右側位置の中から選択するための規則である。

次に、図１および図２を参照することにより、このＨＭＤ１０が採用する光学系の構成を説明する。

図１に示すように、このＨＭＤ１０は、表示ユニット１２と、アタッチメント１４と、制御ユニット１６とを備えている。制御ユニット１６は、表示ユニット１２に対し、ケーブル１８（少なくとも信号ラインを含み、通常、電力ラインも含む）を介して有線方式で（無線方式でも可）接続されることにより、両者間でのデータや信号のやりとりが可能となっている。

表示ユニット１２は、単眼式であり、画像を表す画像光を観察者の両眼のうちの一方である観察眼（他方の眼は、非観察眼）に投射するように構成されている。この表示ユニット１２は、光学シースルー型、すなわち、画像信号に応じた画像を表す画像光と、観察者の前方に位置する現実外界からの外界光とを重畳させて観察眼に入射させることにより、観察者が、画像信号に応じた画像を、現実外界の像に重ねて観察することが可能である方式を採用する。ただし、表示ユニット１２において、光学シースルー式を前述のビデオシースルー式に変更した態様で本発明を実施することが可能である。

図１に示すように、観察者の頭部に被装着部材としてのフレーム２０が装着され、そのフレーム２０にアタッチメント１４が装着され、そのアタッチメント１４に表示ユニット１２が装着される。その結果、表示ユニット１２がアタッチメント１４を介してフレーム２０に装着される。

図１に示す例においては、表示ユニット１２がフレーム２０の左側部３０Ｌに取り付けられ、それにより、ＨＭＤ１０が左眼観察モードで使用されるが、表示ユニット１２は、アタッチメント１４により、フレーム２０の右側部３０Ｒと左側部３０Ｌとの間で付け替えて使用することが可能となっている。

具体的には、アタッチメント１４は、フレーム２０の左側部３０Ｌに固定される左眼用フレーム側部材４０Ｌと、フレーム２０の右側部３０Ｒに固定される右眼用フレーム側部材４０Ｒ（図示しない）とを備えている。アタッチメント１４は、観察者の選択により、観察者の左眼が観察眼である左眼観察モードを実現するために、フレーム２０の左側部３０Ｌに取り付けられた左眼用フレーム側部材４０Ｌに表示ユニット１２が取り付けらける状態（図１に示す）と、観察者の右眼が観察眼である右眼観察モードを実現するために、フレーム２０の右側部３０Ｒに取り付けられた右眼用フレーム側部材４０Ｒに表示ユニット１２が取り付けられる状態（図示しない）とに切り換わる。

表示ユニット１２は、右眼観察モードと左眼観察モードとの間において、その向きを反転させて使用される。具体的には、表示ユニット１２がアタッチメント１４を介してフレーム２０に装着される向きが、右眼観察モードと左眼観察モードとの間において、頭部装着状態において観察者の左右方向に対して略平行である垂直面（上下方向に延びる複数の面のうち、左右方向に平行であるもの）内で互いに反転させられる。

図１に示すように、表示ユニット１２は、それの長手方向に延びる、概して中空であるハウジング２００を有する。ハウジング２００は、合成樹脂製である。そのハウジング２００内に、参照コンテンツを表示画像として表示するための画像光を形成する画像光形成部２０２（図２参照）が収容されている。

図２に示すように、表示ユニット１２は、画像光形成部２０２を収容する本体部分２１０と、その画像光形成部２０２によって形成された画像光を観察眼に向けて出射する出射口２１２が形成された出射口部分２１４とを、表示ユニット１２の長手方向に沿って互いに並ぶように有している。表示ユニット１２は、さらに、本体部分２１０と出射口部分２１４とを着脱可能に互いに連結する連結機構２７０を有している。

図２に示すように、画像光形成部２０２は、入射光を２次元空間的に変調して前記画像光を生成する、概して板状を成す空間光変調素子としてのＬＣＤ２２０（表示部の一例）を有する。ＬＣＤ２２０は、複数の画素が２次元的に並んだ液晶ディスプレイである。

なお付言するに、本実施形態においては、表示ユニット１２が空間光変調型であるが、網膜走査型、すなわち、レーザ等、光源からの光束をスキャナによって走査し、その走査された光束を観察者の網膜に投射するものに変更してもよい。

画像光形成部２０２は、さらに、板状のドライバ２２２（表示制御部の一例）を有する。そのドライバ２２２は、図示しないケーブルを介して、ＬＣＤ２２０に電気的に接続されている。ドライバ２２２は、外部から入力される画像信号に基づいてＬＣＤ２２０を駆動し、それにより、観察者に表示すべき画像を表す画像光をＬＣＤ２２０から出射させる。ＬＣＤ２２０は、バックライト光源を内蔵しているが、その光源に代えて、ＬＣＤ２２０から独立した光源を用いてもよい。

図２に示すように、表示ユニット１２は、さらに、接眼光学系２４６を有する。その接眼光学系２４６は、複数の光学素子としての複数のレンズが直列に並んだ一次元配列として構成されている。それらレンズは、同じ光軸を共有する。その光軸は、ハウジング２００の長手方向に平行に、かつ、ミラーなどの部品によってその方向が曲げられることなく、一直線に延びている。接眼光学系２４６は、ハウジング２００のうち、本体部分２１０に属する部分内に収容されている。

接眼光学系２４６は、それに属する複数のレンズのうち最も下流側に位置する終端レンズ２４８と、その終端レンズ２４８より下流に配置された保護透明体（例えば、合成樹脂製の透明な円板）２５０とを備えている。

出射口部分２１４は、接眼光学系２４６から出射する画像光を曲げて観察眼に誘導する部分反射・部分透過光学素子としてのハーフミラー（画像光を観察眼に向けて偏向する偏向部材の一例）２６０を有している。

接眼光学系２４６から出射する画像光は、ハーフミラー２６０で反射して、観察眼の瞳孔を通過して、網膜（図示しない）に入射する。それにより、観察者が２次元画像を虚像として観察することが可能となる。観察眼には、ハーフミラー２６０で反射した画像光のみならず、現実外界からの光である外界光がハーフミラー２６０を透過して入射する。その結果、観察者は、画像光によって表示される画像の観察と並行して現実外界を観察することが可能である。

次に、図４を参照することにより、ＨＭＤ１０のうち、参照コンテンツをオブジェクトに関連付けて表示する部分のハードウエア構成を説明する。

表示ユニット１２は、入力装置１２ａと出力装置１２ｂとを有する。

入力装置１２ａは、表示ユニット１２を装着している観察者の位置（例えば、観察者の頭部の位置や、表示ユニット１２の位置であり、また、グローバル座標系上の位置や、前記施設に固定されたローカル座標系上の位置である）を検出する位置検出部３００を有する。その位置検出部３００は、例えば、グローバル・ポジションニング・システムＧＰＳによって観察者の位置を検出するために表示ユニット１２に搭載されるデバイスとしたり、３点測位法によって観察者の位置を検出するために表示ユニット１２に搭載されるデバイスとすることが可能である。

入力装置１２ａは、さらに、観察者の向き（例えば、観察者の頭部の向き、表示ユニット１２の向きであり、また、グローバル座標系上の向きや、前記施設に固定されたローカル座標系上の向きである）を検出する向き検出部３０２を有する。その向き検出部３０２は、例えば、電子コンパスによって観察者の向きを検出するために表示ユニット１２に搭載されるデバイスとしたり、表示ユニット１２に搭載される角加速度センサまたは角速度センサを主体とし、その検出値を時間積分することによって観察者の角度を計算するために表示ユニット１２に搭載されるデバイスとすることが可能である。

なお、向き検出部３０２の別の例としては、オブジェクトに対する相対的な方向を検出する構成を採用するものでもよい。この場合、例えば、表示ユニット１２にカメラが接続され、そのカメラによってオブジェクトを撮像して得られる画像を基にして、表示ユニット１２の、オブジェクトに対する相対的な方向が検出されるようにしてもよい。この場合、必要であれば、撮像されるオブジェクトの位置情報を特定するために、位置検出部３００の検出結果を利用してもよい。

入力装置１２ａは、さらに、表示ユニット１２が観察者の頭部に装着されている状態、すなわち、表示ユニット１２の装着を検出する装着検出部３０４を有する。その装着検出部３０４は、例えば、接触式または非接触式で表示ユニット１２の装着を検出する方式を採用できる。非接触式を採用する場合には、装着検出部３０４は、例えば、観察者頭部の表面に対向する姿勢で発光部と受光部とを有し、その発光部から出射した電磁波（例えば、赤外光）のうち、観察者の頭部から反射した部分を前記受光部が受光することにより、表示ユニット１２の装着を検出するために表示ユニット１２に装着されるデバイスである。

入力装置１２ａは、さらに、表示ユニット１２が観察者の頭部に装着されている状態において、この表示ユニット１２の装着位置が観察者にとっての右眼側であるのか左眼側であるのか、すなわち、観察眼が右眼であるのか左眼であるのかを検出する装着位置検出部３０６を有する。その装着位置検出部３０６は、例えば、接触式または非接触式で表示ユニット１２の装着位置を検出する方式を採用できる。また、この装着位置検出部３０６は、例えば、表示ユニット１２の装着位置を観察者頭部やフレーム２０に対して相対的に検出する方式を採用することが可能である。この場合には、装着位置検出部３０６は、例えば、表示ユニット１２が、アタッチメント１４を構成する左眼用フレーム側部材４０Ｌと右眼用フレーム側部材４０Ｒとのうちのいずれに装着されたのかを接触式または非接触式で検出することが可能である。なお、装着位置検出部３０６は、表示ユニット１２の装着位置が右眼側であるのか左眼側であるのかを、観察者からの入力を受け付けることによって検出するような構成を採用してもよい。

また、この装着位置検出部３０６は、例えば、表示ユニット１２の装着位置を絶対空間や周囲のローカル固定空間に対して相対的に検出する方式を採用することが可能である。この場合には、例えば、装着位置検出部３０６は、重力センサを主体として構成したり、測距センサを主体として構成することが可能である。

これに対し、出力装置１２ｂは、画像表示のために、前述のドライバ２２２およびＬＣＤ２２０を有する。

図４に示すように、制御ユニット１６は、プロセッサ３１０と、メモリ３１２とを有する。そのメモリ３１２は、記録媒体の一例であり、後述の画像表示プログラム（図８および図９参照）が予め記録されているプログラム記憶部と、オブジェクトの位置に関連付けて参照コンテンツをＨＭＤ１０によって表示するのに必要な情報を保存するコンテンツ情報記憶部とを有する。そのコンテンツ情報記憶部においては、例えば、ＨＭＤ１０によって表示可能な複数の参照コンテンツに関するコンテンツ関連情報が、それぞれ対応する複数のオブジェクトに関連付けて記憶されるコンテンツ情報記憶部とを有する。

なお、１つのオブジェクトに必ず１つの参照コンテンツが関連付けられて表示されるとは限らず、１つのオブジェクトに複数の参照コンテンツが関連付けられて表示される場合もある。

図５（ａ）に一例においては、前記コンテンツ関連情報は、ＨＭＤ１０が表示可能な複数の参照コンテンツに関する情報を含み、かつ、参照コンテンツごとに、各参照コンテンツを表す画像に関するデータ（例えば、その画像を表すデータが保存されているファイル名）と、その画像の、前記画像表示面上における水平方向サイズＨおよび垂直方向サイズＶとを含んでいる。

この例においては、前記コンテンツ関連情報が、さらに、オブジェクトに関連するオブジェクト関連情報、すなわち、展示物に関する展示物関連情報を含んでいる。具体的には、その展示物関連情報は、現実外界内に存在する複数の展示物に関する情報を含み、かつ、展示物ごとに、展示物の名称を表すデータと、展示物の代表点の座標位置を表すデータと、展示物の大きさ（前記画像表示面上における展示物の像の大きさではなく、実物の展示物の大きさ）を特定するための大きさ関連情報とを含んでいる。

その大きさ関連情報の一例は、展示物上の点であって、前記代表点と一緒に参照される別の点（以下、「参照点」という。）の位置座標であるが、これに代えて、例えば、展示物の大きさ（例えば、最大長さ、直径、半径など）を直接表す情報とすることも可能である。

図５（ｂ）には、観察者が、ＨＭＤ１０を介して、図５（ａ）に示す例における展示物Ａと、それに関連して表示されるべき参照コンテンツＡとを同時に観察した場合に観察者が前記画像表示面上において、すなわち、画像表示領域内において視認する全体画像の一例が示されている。

図５（ｂ）に示す例においては、展示物Ａが、実物を忠実に表す像ではなく、その実物に幾何学的に近似し、かつ、その実物を内包する立体であって、予め定められた種類の図形（例えば、六面体、球）に分類され、かつ、最小体積を有するもの（以下、「最小近似立体」という。）を表す像として表現されている。また、この例においては、最小近似立体が、複数の頂点を有する多面体であり、また、展示物Ａの代表点として、最小近似立体上のある点が選択され、また、展示物Ａの参照点として、最小近似立体上の複数の点のうち、前記代表点から実質的に最も離れている点が選択されている。

具体的には、図５（ｂ）に示す例においては、そのような最小近似立体として、８つの頂点と６つの平面とを有する六面体が選択され、また、前記代表点として、六面体を構成する８つの頂点のうちのいずれかの頂点が選択され、また、前記参照点として、前記８つの頂点のうち、前記代表点に対して対角位置にある頂点が選択されている。

そのような最小近似立体の別の例は、図７に示すように、展示物Ａに近似する球である。この例においては、球の中心点が、その球の代表点として選択され、また、その球の半径が、その球の大きさとして選択される。

図４に示すように、制御ユニット１６は、さらに、通信モジュール３２０を有し、その通信モジュール３２０は、無線または有線により、外部のサーバ３２２に接続されている。そのサーバ３２２は、制御ユニット１６からのリクエストに応答し、前記コンテンツ関連情報を制御ユニット１６に向けて送信する。プロセッサ３１０は、そのコンテンツ関連情報を受信すると、それをメモリ３１２に一時的に保存する。

なお、本実施形態においては、前記コンテンツ関連情報が、一時的にサーバ３２２から受信されてＨＭＤ１０自体に保存されるが、例えば、ＨＭＤ１０は、サーバ３２２からの受信なしで、そのサーバ３２２内のメモリ（図示しない）を利用して、必要なデータ処理を行うことが可能である。

プロセッサ３１０は、メモリ３１２に保存されているデータを利用しつつ、前記画像表示プログラムを実行することにより、複数の機能を実現する。

具体的には、プロセッサ３１０は、オブジェクト取得部４００と、参照コンテンツ表示部４０２と、画像信号生成部４０４とを有する。画像信号生成部４０４は、参照コンテンツ表示部４０２からのデータに基づき、画像信号を生成し、その画像信号をドライバ２２２を介してＬＣＤ２３０に供給する。これにより、観察者に対して参照コンテンツが表示される。

オブジェクト取得部４００は、通信モジュール３２０を介してサーバ３２２から前記コンテンツ関連情報を受信する。そのコンテンツ関連情報は、前記オブジェクト関連情報を含んでいる。このオブジェクト取得部４００は、さらに、前記オブジェクト関連情報によって表される複数のオブジェクトの中から、観察者の視界内に存在する複数のオブジェクトを抽出する。なお、観察者の視界内に、１つのオブジェクトも存在しない場合もあれば、１つのオブジェクトしか存在しない場合もあるが、説明の便宜上、複数のオブジェクトが存在すると仮定する。

このオブジェクト取得部４００の機能をさらに具体的に説明するに、このオブジェクト取得部４００は、現実外界に存在する複数のオブジェクトの中から、観察者の視界内にある複数のオブジェクトを選択する。ここに、「観察者の視界」は、図６に示すように、観察眼の位置（ｘ０，ｙ０，ｚ０）および向き（ｚ軸方向）に対して相対的に決まる３次元的角度範囲であって、平面視において概して扇状を成す範囲である。ここに、「ｚ軸方向」は、観察者の正面方向を意味しており、この方向は、必ずしも観察者の視線方向と一致しない。その扇状を成す範囲は、現実外界に存在する複数のオブジェクトの中から、参照コンテンツを関連付けて表示するオブジェクトを検出するために参照される範囲である。このことに着目し、この範囲を、以下、「オブジェクト検出範囲」ともいう。

図６には、観察者が、ＨＭＤ１０を使用している状態で、ある展示室内において複数の展示物（例えば、恐竜のレプリカ）を鑑賞している様子が、その展示室全体を真上から俯瞰することによって示す図で示されている。この展示室には、複数のアンテナが予め設置されており、ＨＭＤ１０は、位置検出部３００および向き検出部３０２のうち少なくとも位置検出部３００を介して、それらアンテナのうち、ＨＭＤ１０に最も近い３つのアンテナを用いた三角測量の原理を利用することにより、観察者の位置（ｘ０，ｙ０，ｚ０）を、前記展示室に固定されたローカル座標系またはグローバル座標系上で検出する。

その三角測量の原理を利用する一例においては、前記複数のアンテナの各々から信号が同時に、各アンテナから他の複数の複数のアンテナに向かうように、発信され、それら信号を前記複数のアンテナがそれぞれ受信するタイミングの差または比に基づき、観察者の位置が検出される。その三角測量の原理を利用する別の例においては、前記複数のアンテナの各々から、同一の強度を有する信号が同時に、各アンテナから他の複数の複数のアンテナに向かうように、発信され、それら信号が前記複数のアンテナによってそれぞれ受信されたときの信号の受信強度の差または比に基づき、観察者の位置が検出される。

図４に示すように、参照コンテンツ表示部４０２は、さらに、注目オブジェクト推定部４１０と、参照コンテンツ選択部４１２とを有する。

注目オブジェクト推定部４１０は、前記オブジェクト検出範囲内に存在する複数のオブジェクトのうちのいずれかを、観察者が実質的に最も強く注目している注目オブジェクトとして推定する。一例においては、それらオブジェクトのうち、観察者に最も近いものが注目オブジェクトとして推定される。別の例においては、観察者の視線（観察者の姿勢の一例である。）が検出され、前記複数のオブジェクトのうち、前記検出された視線と交差するものが注目オブジェクトとして推定される。参照コンテンツ選択部４１２は、前記コンテンツ関連情報によって定義される複数の参照コンテンツ（すなわち、前記コンテンツ関連情報を参照することによってＨＭＤ１０が表示することが可能な複数の参照コンテンツ）の中から、前記推定された注目オブジェクトに対応する参照コンテンツを選択する。

参照コンテンツ表示部４０２は、さらに、第１表示位置決定部４１４と、第２表示位置決定部４１６と、第３表示位置決定部４１８とを有する。

図７（ａ）に例示するように、第１表示位置決定部４１４は、参照コンテンツ（横長長方形で表す。）の第１候補表示位置ＲＣ１を、注目オブジェクトＡの像（円で表す。）から、左方向と右方向とのうち、観察眼の位置に応じて選択された方向（図示の例では、左方向）に移動量αで外れた位置に決定する。

第２表示位置決定部４１６は、その決定された第１候補表示位置ＲＣ１で参照コンテンツを表示したのでは、別のオブジェクトＢの像（円で表す。）と重複して表示されてしまう可能性がある場合に、参照コンテンツの第１候補表示位置ＲＣ１を、上方向と下方向とのうち、予め定められた一方（図示の例では、下方向）に移動量βで移動させ、それにより、参照コンテンツの第２候補表示位置ＲＣ２を決定する。

第３表示位置決定部４１８は、その決定された第２候補表示位置ＲＣ２で参照コンテンツを表示したのでは、さらに別のオブジェクトＣの像（円で表す。）と重複して表示されてしまう可能性がある場合に、参照コンテンツの第２候補表示位置ＲＣ２を、左方向と右方向とのうち、観察眼の位置に応じて選択された方向とは逆の方向（図示の例では、右方向）に移動量γで移動させ、それにより、参照コンテンツの最終表示位置ＲＣ３を決定する。

参照コンテンツ表示部４０２は、さらに、第１表示サイズ決定部４２０と、第２表示サイズ決定部４２２とを有する。

第１表示サイズ決定部４２０は、参照コンテンツの表示サイズを、予め定められた第１サイズに決定する。第２表示サイズ決定部４２２は、参照コンテンツを第１サイズで表示すると、その参照コンテンツの一部が前記画像表示領域内に表示されない可能性がある場合に、参照コンテンツの表示サイズを、第１サイズより小さいように予め定められた第２サイズに変更する。

参照コンテンツの表示サイズを第１サイズから第２サイズに変更する手法の一例においては、表示すべき参照コンテンツに含まれる情報アイテムが複数存在する場合に、それら情報アイテムの一部が削除された状態で参照コンテンツが表示される。別の例においては、表示すべき参照コンテンツが所定の倍率で縮小された状態で表示される。

次に、図８および図９を参照することにより、前記画像表示方法およびその画像表示方法を実行するためのソフトウエア構成、すなわち、前記画像表示プログラムを説明する。

図８には、前記画像表示プログラムがプロセッサ３１０によって実行されることによって実行される画像表示方法がフローチャートで概念的に表されている。その画像表示プログラムは、ＨＭＤ１０の電源が投入されると、プロセッサ３１０によって実行される。

この画像表示プログラムが実行されると、まず、ステップＳ１において、装着検出部３０４からの信号に基づき、観察者による表示ユニット１２の、観察者の頭部への装着が検出されることが待たれる。表示ユニット１２の装着が検出されたならば、ステップＳ２において、装着位置検出部３０６からの信号に基づき、表示ユニット１２の装着位置が観察者の右眼側であるか否かが判定される。その装着位置が右眼側である場合には、ステップＳ３において、今回は、右眼観察モードにあると判定される。これに対し、表示ユニットの装着位置が観察者の左眼側である場合には、ステップＳ４において、今回は、左眼観察モードにあると判定される。

いずれの場合にも、その後、ステップＳ５において、位置検出部３００および向き検出部３０２からの信号に基づき、観察者の位置および向きが検出される。次に、ステップＳ６において、それら検出された位置および向きと、観察者の視界範囲を幾何学的に特定するための情報（メモリ３１２に保存されている）とに基づき、前記オブジェクト検出範囲（図８においては、単に「検出範囲」で表す。）が算出される。

続いて、ステップＳ７において、観察者からのリクエストに応答して、前記コンテンツ関連情報と前記オブジェクト関連情報とがサーバ３２２から受信され、その受信された情報はメモリ３１２に保存される。その後、ステップＳ８において、前記算出されたオブジェクト検出範囲と、前記オブジェクト関連情報（各オブジェクトの３次元位置座標を含む）との関係に基づき、そのオブジェクト検出範囲に存在する複数のオブジェクトが検出される。

続いて、ステップＳ９において、前記オブジェクト関連情報と、観察者の位置の検出値とに基づき、オブジェクト検出範囲内に存在する複数のオブジェクトのうち、観察者に最も近い位置に位置するものが注目オブジェクトとして推定される。図６に示す例においては、展示物ＢおよびＣがオブジェクト検出範囲内に存在するが、それらのうち、展示物Ｂの方が展示物Ｃより、観察者に近いため、展示物Ｂが注目オブジェクトとして選択される。

その後、図８に示すステップＳ１０において、前記コンテンツ関連情報によって表される複数の参照コンテンツのうち、前記推定された注目オブジェクトに対応するものが、今回、注目オブジェクトに関連付けて表示すべき参照コンテンツとして選択される。続いて、ステップＳ１１において、今回の参照コンテンツの表示サイズが、予め定められている第１サイズに決定される。

その後、ステップＳ１２において、観察者の位置および向きのそれぞれの検出値と、前記オブジェクト関連情報のうち注目オブジェクトに関連する部分（前記代表点の位置座標）とに基づき、表示ユニット１２と注目オブジェクト（実物）の間の３次元方向における相対位置が算出され、それにより、観察者が注目オブジェクトを観察するときにその注目オブジェクトが前記画像表示面上に出現する位置が、その画像表示面に固定のローカル座標系を用いて定義される。

続いて、ステップＳ１３において、観察者の位置の検出値と、前記オブジェクト関連情報のうち注目オブジェクトに関連する部分（前記代表点の位置座標と、オブジェクトの大きさを表すデータ）とに基づき、観察者の網膜の位置を共通頂点とする２つの相似三角形であって前記画像表示面を底辺とする小さい三角形と注目オブジェクト（実物）を底辺とする大きい三角形との間の相似関係に着目することにより、観察者が注目オブジェクトを前記画像表示面上において観察するときの注目オブジェクトの像（以下、単に「注目オブジェクトの像」という。）の大きさが算出される。

その後、ステップＳ１４において、前記画像表示面上における参照コンテンツの表示位置（例えば、参照コンテンツに予め設定された代表点の位置や、参照コンテンツの幾何学的な中心点の位置）が、注目オブジェクトの像から、非観察眼から遠ざかる向きに外れた位置として算出される。

図７（ａ）に示す例においては、図７（ｂ）に示すように、このステップＳ１４が実行されると、参照コンテンツＲＣの垂直方向における表示位置Ｙｃｏｎが、注目オブジェクトＡの像の垂直方向位置Ｙｏｂｊと実質的に同じに決定され、また、参照コンテンツの水平方向における表示位置Ｘｃｏｎが、前述のようにして算出された、前記画像表示面上における注目オブジェクトの像の水平方向位置Ｘｏｂｊと、前述のようにして算出された、前記画像表示面上における注目オブジェクトの像の大きさＸ１（無視される場合もある）と、前記画像表示面上において参照コンテンツの表示領域と注目オブジェクトの像との間に最低限確保すべき隙間の長さＸ２（メモリ３１２に固定値として保存されている）と、前記画像表示面上における参照コンテンツの表示サイズＸ３（無視される場合もある）とから、前記画像表示面上において参照コンテンツの像が注目オブジェクトの像と一切重複しないように形成されるように算出される。

一例においては、図７（ｂ）に示すように、参照コンテンツの水平方向における表示位置Ｘｃｏｎが、
Ｘｃｏｎ＝Ｘｏｂｊ−Ｘ１−Ｘ２−Ｘ３
なる式を用いて算出される。

その後、図９に示すステップＳ１５において、前記算出された表示位置に参照コンテンツを実際に表示することなく、参照コンテンツが前記複数のオブジェクトと一緒に表示される仮想的な表示状態が、例えば、ビットマップメモリ方式で計算される。続いて、ステップＳ１６において、その仮想的な表示状態において、参照コンテンツの背後に別のオブジェクト（例えば、図７に示す例では、オブジェクトＢ）が存在するか否かが判定される。

参照コンテンツの背後に別のオブジェクトが存在しない場合には、直ちにステップＳ２０に移行するが、存在する場合には、ステップＳ１７ないしＳ１９の実行によって参照コンテンツの表示位置が、できる限り他のオブジェクトの像と重複しないで参照コンテンツが表示されるように修正される。

具体的には、ステップＳ１７において、参照コンテンツの表示位置（ステップＳ１４の実行によって算出されたもの）が、それより下方向に、移動量β（メモリ３１２に固定値として保存されている）で移動させられる。続いて、ステップＳ１８において、そのようにして更新された仮想的な表示状態において、参照コンテンツの背後にさらに別のオブジェクト（例えば、図７に示す例では、オブジェクトＣ）が存在するか否かが判定される。

参照コンテンツの背後にさらに別のオブジェクトが存在しない場合には、直ちにステップＳ２０に移行するが、存在する場合には、ステップＳ１９において、参照コンテンツの表示位置が、非観察眼に近づく向きに、移動量γ（メモリ３１２に固定値として保存されている）で移動させられる。その後、ステップＳ２０に移行する。

いずれの場合にも、ステップＳ２０においては、前記仮想的な表示状態において、参照コンテンツが前記画像表示領域内にあるか否かが判定される。参照コンテンツが前記画像表示領域内にない場合には、ステップＳ２１において、参照コンテンツを実際に表示することが禁止される。その後、ステップＳ２５に移行する。

これに対し、前記仮想的な表示状態において、参照コンテンツが前記画像表示領域内にある場合には、ステップＳ２２において、前記仮想的な表示状態において、参照コンテンツの全体が前記画像表示領域内に存在するか否かが判定される。参照コンテンツの全体が前記画像表示領域内に存在する場合には、ステップＳ２３において、参照コンテンツを変更なしの状態で表す画像データが作成され、その画像データに基づき、参照コンテンツが実際に表示される。

これに対して、参照コンテンツの全体が前記画像表示領域内に存在するわけではない場合、すなわち、参照コンテンツが一部欠落した状態で表示される場合には、ステップＳ２４において、参照コンテンツを、編集された状態（例えば、前述のように、情報アイテム数が減少させられて表示サイズが縮小されるか、情報アイテム数はそのままにして表示サイズが縮小させられる状態）で表す画像データが作成され、その画像データに基づき、参照コンテンツが実際に表示される。その後、ステップＳ２５に移行する。

いずれの場合にも、その後、ステップＳ２５において、装着検出部３０４からの信号に基づき、観察者が表示ユニット１２を観察者頭部から取り外した動作が検出されたか否かが判定される。その取り外しが検出された場合には、この画像表示プログラムの実行が終了するが、その取り外しが検出されない場合には、ステップＳ５に戻る。

以上の説明から明らかなように、本実施形態によれば、単眼式かつ光学シースルー式を採用するＨＭＤ１０において、観察者が観察している注目オブジェクトに関連する参照コンテンツが、その注目オブジェクトの像に位置的に関連付けて、かつ、その注目オブジェクトの像から、非観察眼から遠ざかる向きに外れた位置に表示される。例えば、図１に示す左眼観察モードにおいては、参照コンテンツが、注目オブジェクトの像から、観察者の非観察眼である右眼から遠ざかる向きに外れた位置に表示される。

したがって、本実施形態によれば、例えば左眼観察モードにおいては、参照コンテンツが、注目オブジェクトの像から、非観察眼である右眼に近づく向きに外れた位置に表示される場合とは異なり、観察眼が参照コンテンツを観察するときの観察者の視線が、右眼側に大きく傾斜し、その結果、その視線が、ハウジング２００、特に、そのハウジング２００の両端部のうち、観察者の右眼寄りの部分と交差したり、表示ユニット１２において観察者の右眼寄りの位置に装着されているハーフミラー２６０と交差してしまう可能性が低くなる。

また、左眼観察モードであると右眼観察モードであるとを問わず、参照コンテンツを、注目コンテンツの像から、右眼から遠ざかる向きに外れた位置に表示した場合には、左眼観察モードの実行時には、観察者は参照コンテンツを高い視認性で観察できるが、右眼観察モードの実行時には、観察者は参照コンテンツを高い視認性で観察できないというように、視認性に左右差が発生してしまう。

これに対して、本実施形態によれば、左眼観察モードであるか右眼観察モードであるかに応じて、参照コンテンツの、注目コンテンツの像に対する相対位置が幾何対称的に切り換えられるため、観察者は、左眼観察モードであると右眼観察モードであるとを問わず、参照コンテンツを高い視認性で観察できる。

さらに、本実施形態によれば、観察者の視界内に複数のオブジェクトが存在する場合に、観察者の姿勢（眼の動きを含む）に関する情報や、それらオブジェクトの、表示ユニット１２に対する相対位置に関する情報などに基づき、それらオブジェクトのうちのいずれかが注目オブジェクトして抽出され、その注目オブジェクトのみに関連して、参照コンテンツが表示される。

したがって、本実施形態によれば、観察者の視界内に複数のオブジェクトが存在する場合であっても、表示される参照コンテンツは１つのみであるため、記画像表示領域内に複数のオブジェクトが互いに接近した状態で存在するために、前記画像表示領域内に存在する空きスペースが狭い場合であっても、その狭い空きスペース内に、観察者にとって本当に必要であると推定される参照コンテンツを表示することが容易となる。

さらに、本実施形態によれば、前記画像表示領域内に複数のオブジェクトが存在する場合に、注目オブジェクトに対応する参照コンテンツが、できる限り、いずれのオブジェクトとも重複しないように、その参照コンテンツの表示位置が決定される。参照コンテンツの表示位置が、その参照コンテンツに関連する注目オブジェクトの像の位置のみ考慮し、その像と重複しないように決定されるのではなく、注目オブジェクトの像によって邪魔されることがないのはもちろん、その参照コンテンツの周囲に存在する別の複数のオブジェクトの像の位置も考慮され、いずれのオブジェクトの像とも重複しないように参照コンテンツの表示位置が決定される。よって、観察者は、参照コンテンツを、それに関連する注目オブジェクトの像によって邪魔されることがないのはもちろん、その参照コンテンツの周囲に存在する別の複数のオブジェクトの像によって邪魔されることもなく、観察することが可能となり、このことによっても、参照コンテンツの視認性が向上する。

以上の説明から明らかなように、本実施形態においては、説明の便宜上、図８におけるステップＳ１ないしＳ４が、前記検出工程の一例を構成し、同図におけるステップＳ５ないしＳ９が、前記注目オブジェクト推定工程の一例を構成し、また、同図におけるステップＳ１０が、前記参照コンテンツ選択工程の一例を構成し、また、同図におけるステップＳ１２ないしＳ１４が、前記第１表示位置決定工程の一例を構成し、また、図９におけるステップＳ１５ないしＳ１７が、前記第２表示位置決定工程の一例を構成していると考えることが可能である。

以上、本発明のいくつかの実施形態を図面に基づいて詳細に説明したが、これらは例示であり、前記［発明の概要］の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。

例えば、図９に示す実施形態においては、参照コンテンツの表示位置が、注目オブジェクトの位置に対して右眼側であるかまたは左眼側であるように自動的に決定された後、ステップＳ１７ないしＳ１９の実行により、その決定された表示位置（最初に自動的に決定された表示位置）が、参照コンテンツが別のオブジェクトと重複しないように、必要に応じて、観察者の介入なしで自動的に修正される。

これに対し、別の実施形態においては、前記最初に自動的に決定された表示位置の修正が手動で行われる。一例においては、ステップＳ１５に相当するステップにおいて、参照コンテンツが、図８に示すステップＳ１２ないしＳ１４の実行によって算出された表示位置に実際に表示される。その後、ステップＳ１６に相当するステップにおいて、参照コンテンツの背後に別のオブジェクト（例えば、図７に示す例では、オブジェクトＢ）が存在すると判定された場合に、観察者からの入力を受け付けることで、参照コンテンツの表示位置が変更可能となる。

この入力受付のために、例えば、参照コンテンツの表示位置の変更の催促（例えば、視覚的、聴覚的または触覚的な指示）が観察者に対して行われ、その催促に対して、観察者が入力（例えば、図示しない物理的な操作部（例えば、キー）または仮想的な操作部（例えば、アイコン）に対する操作や、音声入力など）を行うと、その入力に基づいて、参照コンテンツの表示位置が変更される。このようにすれば、参照コンテンツの背後に別のオブジェクトが存在する場合に、観察者は参照コンテンツを配置する場所を自由に選択できる。

Claims (4)

1. 観察者の頭部に装着された状態で、観察者の片眼である観察眼に画像光を投射することによって観察者に画像を表示し、それにより、対象空間内の少なくとも１つのオブジェクトと少なくとも１つの参照コンテンツとを互いに関連付けて観察者が観察することを可能にするヘッドマウントディスプレイであって、
   前記少なくとも１つのオブジェクトは、観察眼の位置および向きに対して相対的に決まる観察者の視界内に存在する複数のオブジェクトを含み、
   当該ヘッドマウントディスプレイは、
   観察眼が観察者の左眼および右眼のうちのいずれであるかを判定する判定部と、
   その判定部の判定結果に基づき、当該ヘッドマウントディスプレイの画像表示面上において、前記少なくとも１つの参照コンテンツを、観察者が観察する前記少なくとも１つのオブジェクトの像から、観察者の両眼のうち観察眼ではない非観察眼から遠ざかる第１方向に外れた位置に表示する表示制御部と、
   観察者の姿勢に関する情報と前記複数のオブジェクトの位置に関する情報とのうちの少なくとも一方に基づき、前記複数のオブジェクトのうちのいずれかを、観察者が実質的に最も強く注目している注目オブジェクトとして推定する注目オブジェクト推定部と、
   当該ヘッドマウントディスプレイが表示可能な複数の参照コンテンツの中から、前記推定された注目オブジェクトに対応する参照コンテンツを選択する参照コンテンツ選択部と、
   観察眼の位置についての検出結果に基づき、前記選択された参照コンテンツの表示位置を、観察者が観察する前記注目オブジェクトの像から、前記第１方向に外れた位置に決定する第１表示位置決定部と、
   前記参照コンテンツを、前記決定された表示位置に表示すると、その参照コンテンツが、前記複数のオブジェクトのうち、前記注目オブジェクトを除く少なくとも１つの非注目オブジェクトの像と重複して表示される可能性がある場合に、前記表示位置を、前記少なくとも１つの非注目オブジェクトの像から、前記第１方向に対して交差するように予め定められた第２方向に外れた位置に変更する第２表示位置決定部と
   を含むヘッドマウントディスプレイ。
2. 観察者の頭部に装着された状態で、観察者の片眼である観察眼に画像光を投射することによって観察者に画像を表示し、それにより、対象空間内の少なくとも１つのオブジェクトと少なくとも１つの参照コンテンツとを互いに関連付けて観察者が観察することを可能にするヘッドマウントディスプレイであって、
   前記少なくとも１つのオブジェクトは、観察眼の位置および向きに対して相対的に決まる視界内に存在する複数のオブジェクトを含み、
   当該ヘッドマウントディスプレイは、
   観察眼が観察者の左眼および右眼のうちのいずれであるかを判定する判定部と、
   その判定部の判定結果に基づき、当該ヘッドマウントディスプレイの画像表示面上において、前記少なくとも１つの参照コンテンツを、観察者が観察する前記少なくとも１つのオブジェクトの像から、観察者の両眼のうち観察眼ではない非観察眼から遠ざかる第１方向に外れた位置に表示する表示制御部と、
   前記参照コンテンツの表示サイズを、予め定められた第１サイズに決定する第１表示サイズ決定部と、
   前記参照コンテンツを前記第１サイズで表示すると、前記参照コンテンツの一部が、当該ヘッドマウントディスプレイの使用中に観察者が視認する画像表示領域内に表示されない可能性がある場合に、前記参照コンテンツの表示サイズを、前記第１サイズより小さいように予め定められた第２サイズに変更する第２表示サイズ決定部と
   を含むヘッドマウントディスプレイ。
3. 観察者の頭部に装着された状態で、観察者の片眼である観察眼に画像光を投射することによって観察者に画像を表示し、それにより、対象空間内の少なくとも１つのオブジェクトと少なくとも１つの参照コンテンツとを互いに関連付けて観察者が観察することを可能にするヘッドマウントディスプレイを作動させる方法であって、
   前記少なくとも１つのオブジェクトは、観察眼の位置および向きに対して相対的に決まる視界内に存在する複数のオブジェクトを含み、
   当該方法は、
   観察眼が観察者の左眼および右眼のうちのいずれであるかを判定する判定工程と、
   その判定工程での判定結果に基づき、前記ヘッドマウントディスプレイの画像表示面上において、前記少なくとも１つの参照コンテンツを、観察者が観察する前記少なくとも１つのオブジェクトの像から、観察者の両眼のうち観察眼ではない非観察眼から遠ざかる第１方向に外れた位置に表示する表示制御工程と、
   前記複数のオブジェクトのうちのいずれかを、観察者が実質的に最も強く注目している注目オブジェクトとして推定する注目オブジェクト推定工程と、
   前記ヘッドマウントディスプレイが表示可能な複数の参照コンテンツの中から、前記推定された注目オブジェクトに対応する参照コンテンツを選択する参照コンテンツ選択工程と、
   観察眼の位置についての検出結果に基づき、前記選択された参照コンテンツの表示位置を、観察者が観察する前記注目オブジェクトの像から、前記第１方向に外れた位置に決定する第１表示位置決定工程と、
   前記参照コンテンツを、前記決定された表示位置に表示すると、その参照コンテンツが、前記複数のオブジェクトのうち、前記注目オブジェクトを除く少なくとも１つの非注目オブジェクトの像と重複して表示される可能性がある場合に、前記表示位置を、前記少なくとも１つの非注目オブジェクトの像から、前記第１方向に対して交差するように予め定められた第２方向に外れた位置に変更する第２表示位置決定工程と
   を含むヘッドマウントディスプレイ作動方法。
4. 請求項３に記載のヘッドマウントディスプレイ作動方法を実行するためにコンピュータによって実行されるプログラム。

Images