JPH11202256A - 頭部搭載型画像表示装置 - Google Patents

Abstract

(57)【要約】 【課題】頭部搭載型画像表示装置において、観察者が観
察するべき実際の観察対象物と仮想的なイメージとの同
時観察を容易ならしめる。 【解決手段】観察者８が観察している外界視野内の実オ
ブジェクト４と、所望の画像を左右両眼に独立に表示す
る表示手段により表示された仮想オブジェクト５とを重
ねて同時に観察可能とするシースルー型の頭部搭載型画
像表示装置において、観察者により観察されている実オ
ブジェクト４の、観察者からの距離：Ｄをリアルタイム
で検出する距離検出手段２０，１１と、距離検出手段に
より検出された距離：Ｄに応じて、所望の仮想オブジェ
クト５に対して表示手段の輻輳をリアルタイムで制御す
る輻輳制御手段１２，１３とを有する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、人の頭部に搭載
された表示装置の同一視野内で、実オブジェクトと仮想
オブジェクトとを同時に観察できる頭部搭載型画像表示
装置に関する。

【０００２】

【従来の技術】例えば、機器操作の教育訓練として、実
物の機器を見ている被訓練者に、該機器に重ねあわせ
て、機器各部の称呼や操作手順等を内容とする画像を仮
想的なイメージとして提示し、機器操作の容易な修得を
図ることが行われている。このような訓練では、上記仮
想的なイメージを、人の頭部に搭載された表示装置に表
示するようにした画像表示装置が用いられる。このよう
な画像表示装置として、特開平７−３３３５５０号公報
のものが知られている。実物の機器等と仮想的なイメー
ジとを同時に観察できるためには、観察者に対して、仮
想的なイメージが「実物の機器等と融像する」ように表
示されることが必要である。表示された仮想的なイメー
ジと実物の機器との距離が大きく異なると、一方に目の
焦点を合わせると、他方の像が「ぼやけ」ることになる
ので、両者を同時に明瞭に観察できず、観察者の目に大
きな負担がかかる。

【０００３】上記公報開示の発明では、実物の機器と仮
想的なイメージとが一致しないときは、観察者におい
て、自らの姿勢や表示装置の位置を調整しなければなら
ない煩わしさがあった。

【０００４】

【発明が解決しようとする課題】この発明は、頭部搭載
型画像表示装置において、観察者が観察するべき実際の
観察対象物と仮想的なイメージとを、自動的に観察者か
ら略同じ距離に表示し、観察対象と仮想的なイメージの
同時観察を容易ならしむることを課題とする。「観察対
象物」は、現実の対象物であることもあるし、現実の対
象物を撮像したイメージであることもある。

【０００５】

【課題を解決するための手段】請求項１〜７に記載の頭
部搭載型画像表示装置は「観察者が観察している外界視
野内の実オブジェクトと、所望の画像を左右両眼に独立
に表示する表示手段により表示された仮想オブジェクト
とを重ねて同時に観察可能とするシースルー型頭部搭載
型画像表示装置」である。即ち「実オブジェクト」は、
観察者がその肉眼により直接に観察できるものであり、
「観察者の頭部に搭載された表示手段」を通して（即
ち、シースルーで）観察される。これに対して「仮想オ
ブジェクト」は、実オブジェクトの存在する空間には存
在しない。仮想オブジェクトは上記表示手段に、左右両
眼に対して独立に表示されるイメージである。仮想オブ
ジェクトの表示形態は所望の画像であって、左右両眼に
独立に表示されるから、仮想オブジェクトを「３次元的
な立体イメージ」とすることもできる。

【０００６】請求項１記載の頭部搭載型画像表示装置
は、距離検出手段と、輻輳制御手段とを有する。「距離
検出手段」は、観察者により観察されている実オブジェ
クトの、観察者からの距離をリアルタイムで検出する手
段である。「輻輳制御手段」は、距離検出手段により検
出された距離に応じて、所望の仮想オブジェクトに対し
て表示手段の輻輳をリアルタイムで制御する手段であ
る。

【０００７】図１２を参照すると、（ａ），（ｂ）は、
表示手段による実オブジェクトと仮想オブジェクトの同
時観察を説明するための図である。符号２は「観察者の
両眼」を示し、符号１は１対の「表示デバイス」、符号
７は１対の「レンズ」を示す。（ａ）に示すように、表
示デバイス１、レンズ７は観察者の両目のそれぞれに応
じて１系統ずつ配備されている。実際には、（ｂ）に示
すように、観察者の両眼２の前方にハーフミラー３が、
観察方向に対して４５度をなすように設けられ、１対の
表示デバイス１、１対のレンズ７は、ハーフミラー３の
上側に配備されている。従って、観察者は、その両眼２
によりハーフミラー３を通して「実際の外界」を観察で
き、このとき観察者がハーフミラー３を通して観察でき
る視野が「外界視野」である。そして、外界視野として
観察できる実空間内に観察対象４が存在するなら、観察
者は観察対象４を上記外界視野内に「実オブジェクト」
として観察することができる。１対の表示デバイス１の
個々は、例えば液晶表示装置（以下、液晶パネルとい
う）であって、所望の画像を観察者の両眼に対して独立
に表示できるようになっている。右目用の表示デバイス
に右目用の画像Ｉ_R を表示すると、観察者は画像Ｉ_R を
右目用レンズを介して観察する。同様に、左目用の表示
デバイスに左目用の画像Ｉ_Lを表示すると、観察者は画
像Ｉ_Lを左目用レンズを介して観察する。このとき観察
者が見るのは、１対のレンズ７による画像Ｉ_R，Ｉ_Lの拡
大された「虚像」である。画像Ｉ_R，Ｉ_Lは本来「平面画
像」であるが、図示の都合上、図１２の（ａ），（ｂ）
においては立体形状として描かれている。観察者の左右
の目で観察される画像Ｉ_R，Ｉ_Lの虚像は、右目の視線と
左目の視線とが交わる位置において、合成されて仮想オ
ブジェクト５として観察されることになる。左右両目用
の画像Ｉ_R，Ｉ_Lとして「立体画像」用の画像が表示され
るとき、観察者が観察する仮想オブジェクト５は３次元
的な立体像である。観察者が認識する仮想オブジェクト
までの距離：ｄを以下「仮想オブジェクト距離」と称す
る。図１２（ａ）に示す、観察者の右目の視線と左目の
視線との交わる角：θを仮想オブジェクト５に対する
「輻輳角」と呼ぶ。また、観察者が実オブジェクト４を
見る時の左右の目の視線の交角：θ₀ を実オブジェクト
４に対する輻輳角と呼ぶ。観察者と実オブジェクト４と
の距離：Ｄを「実オブジェクト距離」と呼ぶ。図１２
（ａ）から明らかなように、輻輳角：θとθ₀ とが十分
に近ければ、仮想オブジェクト距離と実オブジェクト距
離とが近く、両オブジェクトは観察者にとって略同距離
の位置に観察される。人の両眼で２つの対象を同時観察
するとき、これらを「融像して」観察できるためには
「両者に対する輻輳角の差」が「パヌームの融像臨界」
以下である必要がある。パヌームの融像臨界は、実験的
に４０分であるとされている（例えば、電子情報通信学
会技術報告 ＥＩＤ８７−４２，ＰＰ１９−２６）。従
って、図１２（ａ）において、実オブジェクト４と仮想
オブジェクト５とを観察者が「融像して同時観察でき
る」ためには、輻輳角：θ，θ₀の差が４０分以下であ
る必要がある。

【０００８】図１２（ｃ）の横軸は、観察者と実オブジ
ェクト４との間の距離：Ｄ（実オブジェクト距離）をｍ
ｍ単位で示し、縦軸は、観察者と仮想オブジェクト５と
の間の距離：ｄ（仮想オブジェクト距離）をｍｍ単位で
表している。この図における曲線：Ａは、横軸に示され
た任意の実オブジェクト距離において、仮想オブジェク
トに対する輻輳角が「θ₀ −４０分」となったときの仮
想オブジェクト距離を示し、曲線：Ｂは、上記任意の実
オブジェクト距離において、仮想オブジェクトに対する
輻輳角が「θ₀ ＋４０分」となったときの仮想オブジェ
クト距離を示している。即ち、実オブジェクトを観察し
ている状態において、仮想オブジェクトを「実オブジェ
クトに融像して同時観察できる」ためには、仮想オブジ
ェクトは、実オブジェクト距離に応じて、曲線Ａ，Ｂで
挾まれた領域内の仮想オブジェクト距離に表示されなけ
ればならない。例えば、実オブジェクト距離を１０００
ｍｍとした場合、実オブジェクトに融像できる仮想オブ
ジェクトの仮想オブジェクト距離は、図１２（ｃ）にお
いて符号Ｃで示す領域、即ち、略７００〜１６００ｍｍ
の領域にある必要がある。請求項１〜７記載の頭部搭載
型画像表示装置は「シースルー型」であるから、実オブ
ジェクト距離は「観察者と実オブジェクトとの距離」で
ある。一方、仮想オブジェクト距離は、図１２（ａ）か
ら明らかなように、輻輳角：θが変化することにより変
化する。輻輳角：θを変化させることは、１対の表示デ
バイス１に表示される「左右の目に表示される画像
Ｉ_R，Ｉ_Lの間隔：Ｘ’」を異ならせることにより変化さ
せることができる。実オブジェクト距離：Ｄにおいて、
目２と表示デバイス１との距離を無視するものとし、両
眼２の間隔を「Ｄｅ」とすれば、「Ｄｅ／２＝Ｄ・ｔａ
ｎ（θ₀／２）」であり、Ｄｅは定数であるから、実オ
ブジェクト距離：Ｄを知ることができれば、方程式「Ｄ
ｅ／Ｄ＝２ｔａｎ（θ₀／２）」を「θ₀」について解く
演算を行うことにより、実オブジェクトに対する輻輳
角：θ₀を知ることができる。

【０００９】一方、仮想オブジェクトに対する輻輳角：
θは、左右の目用の画像Ｉ_R，Ｉ_Lの間隔：Ｘ’により一
義的に定まるから、予め、θとＸ’との関係を実験的に
定めておけば、実オブジェクトの輻輳角：θ₀に応じて
「仮想オブジェクトの輻輳角：θがθ₀±４０分以内と
なるようなＸ’」を決定することができる。請求項１記
載の発明において、輻輳制御手段が「距離検出手段によ
り検出された距離に応じて、所望の仮想オブジェクトに
対して表示手段の輻輳をリアルタイムで制御する」と
は、上の説明に即して言えば「距離検出手段により検出
される実オブジェクト距離：Ｄに応じて、仮想オブジェ
クトの輻輳角：θがθ₀ ±４０分以内となるようなＸ’
を決定し、この決定に基づき、画像Ｉ_R，Ｉ_Lの間隔およ
び表示位置をリアルタイムで制御する」ことを意味す
る。

【００１０】請求項１記載の頭部搭載型画像表示装置に
おける「距離検出手段」は、リアルタイムでの距離検出
に関連して従来から知られた適宜のもの、例えば「超音
波のパルス列を実オブジェクトに向けて発振し、実オブ
ジェクトによる反射パルスの戻り時間を計測する音響方
式のもの」でもよいし、カメラの自動焦点装置等に関連
して知られた光学式のものでもよい。

【００１１】あるいはまた、上記距離検出手段を「観察
者の両眼の視線を検出する視線検出手段と、該視線検出
手段により検出された視線の輻輳点座標を演算する視線
輻輳点座標演算手段と、該視線輻輳点座標演算手段によ
り演算された輻輳点座標と観察者との距離を、観察者の
注視する実オブジェクトと観察者との距離（実オブジェ
クト距離）として演算する距離演算手段とを有する」よ
うに構成することができる（請求項２）。「輻輳点座
標」は、両眼の視線の実質的な交叉位置の座標である。

【００１２】上記の如く、請求項１記載の発明において
は、実オブジェクト距離に応じて、表示手段の輻輳制御
を行い、仮想オブジェクト距離と実オブジェクト距離と
の差がパヌームの融像限界内となるように仮想オブジェ
クトを表示するが、外界視野内における仮想オブジェク
トの表示位置も輻輳制御手段により決定される。上記仮
想オブジェクトの外界視野内の表示位置は「実オブジェ
クトと略等しい距離（パヌームの融像臨界内）で、視野
内の所定の位置（例えば、外界視野の左上端等）」にし
てもよいし（請求項３）、「実オブジェクトと略等しい
距離で、かつ輻輳点座標と異なり、実オブジェクトに近
接した位置（例えば、実オブジェクトの直ぐ左側等）」
にしてもよく（請求項４）、あるいは「輻輳点座標の位
置（実オブジェクトと重なりあう位置）」としてもよい
（請求項５）。

【００１３】上記請求項２に記載の頭部搭載型画像表示
装置においては、視線検出手段により視線を検出し、視
線検出手段により検出された視線の輻輳点座標を視線輻
輳点座標演算手段で演算する。輻輳点座標は、左右の視
線が交叉する位置の座標であるが、両眼の視線が厳密に
一点で交叉することは稀であり、実際上は、視線検出の
測定誤差の影響や、観察者の生理学的な条件により、検
出された両視線が交わらない場合が多い。このような場
合には、何をもって「輻輳点座標」とするかが問題とな
る。請求項６記載の発明においては、視線輻輳点座標演
算手段により「観察者の右目の視線ベクトルを延長した
空間直線と、観察者の左目の視線ベクトルを延長した空
間直線とが最近接する部位における両直線の中点位置」
を輻輳点座標とする演算を行うのである。上記中点位置
は「右目の視線ベクトルを延長した空間直線上の点と、
左目の視線ベクトルを延長した空間直線上の点とを結ぶ
線分のうちで最短となる線分上の中点」として演算する
ことができる。この請求項６記載の発明においても、仮
想オブジェクトの表示位置に関しては上記請求項３〜５
の任意の発明で決定できる。請求項２記載の頭部搭載型
画像表示装置においては上記の如く、両眼の視線を検出
して輻輳点座標を演算するが、人の目というものは、空
間内の１点を注視しているときでも、眼球自体は注視点
によらずに不随意に微動するものである。このため、両
眼の視線により検出される輻輳点座標は上記眼球の微動
の影響で微動し、特に、観察者が自身の近くを注視して
いるときには眼球の微動が視線輻輳点の演算に大きく影
響し、演算された輻輳点座標が注視点とはかかわり無
く、大きく変動してしまうことがある。請求項３の発明
のように、仮想オブジェクトの表示位置が外界視野内の
定位置に定まっている場合には、視点輻輳点座標演算手
段が演算した輻輳点座標（請求項６の「中点」を含む）
への眼球微動の影響を最小限に抑えるには「観察者の頭
部に固定した座標系の、頭部前方に対応する座標軸にお
ける対応座標と観察者との距離を演算」する（請求項
７）ようにすればよい。

【００１４】請求項８〜１４記載の頭部搭載型画像表示
装置は「撮像対象物を撮像する撮像手段と、所望の画像
を左右両眼に独立に表示する表示手段とを有し、撮像手
段により撮像された画像を表示手段に実オブジェクトと
して表示するとともに、所望の仮想オブジェクトを実オ
ブジェクトと共に表示手段に表示し、両オブジェクトを
同時に観察可能とする頭部搭載型画像表示装置」であ
る。この頭部搭載型画像表示装置は、例えば、危険物の
取扱を学習する場合等に以下のように使用できる。即
ち、危険物は学習者から離れた場所におき、学習者は安
全な場所にいて、撮像手段が撮像した画像を表示手段に
より実オブジェクトとして観察しつつ、実オブジェクト
と同時に仮想オブジェクト（危険物の名称や取扱を記し
たテキスト等）を表示する。学習者（観察者）は、両オ
ブジェクトを観察しつつ、あたかも現実且つ直接に危険
物を扱うかのような臨場感をもって取扱の学習を行うこ
とできる。従って、請求項８〜１４記載の発明における
「頭部搭載型画像表示装置」は、シースルー型である必
要はない。観察者が「表示装置を介して観察できる視野
空間」を仮に「外界空間」と呼ぶと、実オブジェクトも
仮想オブジェクトも外界空間に表示されたイメージであ
り、実イメージといえども実際にその位置に存在すると
は限らない。請求項８記載の頭部搭載型画像表示装置
は、撮像距離検出手段と、輻輳制御手段とを有する。
「撮像距離検出手段」は、撮像手段と撮像対象物との距
離（撮像距離）を検出する手段である。「輻輳制御手
段」は、撮像距離検出手段により検出された距離に応じ
て、所望の仮想オブジェクトに対して表示手段の輻輳を
制御する手段である。表示手段に表示される実オブジェ
クトは、撮像手段が撮像した撮像対象物を表示した画像
（立体画像であることができる）であるから、表示手段
に表示されたときの実オブジェクト距離は、撮像手段と
撮像対象物との距離に等しい。そこで、仮想オブジェク
トの表示を、仮想オブジェクト距離の実オブジェクト距
離との差が融像限界以内となるように、輻輳制御手段に
よる輻輳制御を行うことにより、実オブジェクトと仮想
オブジェクトを融像して観察できるようにするのであ
る。

【００１５】上記撮像距離検出手段としては、前述の音
響式や光学式の公知の距離検出手段を適宜に用いること
もできるが、請求項９記載の発明のように、撮像手段が
「観察者の両目間隔に等しい距離をおいて、水平方向に
互いに平行に配備された１対のビデオカメラ」を有する
ように、また、撮像距離検出手段が「観察者の両眼の視
線を検出する視線検出手段」と、「視線検出手段により
検出された視線の輻輳点座標を演算する視線輻輳点座標
演算手段」と、「視線輻輳点座標演算手段により演算さ
れた輻輳点座標と観察者との距離を、観察者の注視する
実オブジェクトと観察者との知覚距離として演算する知
覚距離演算手段」とを有するようにして撮像距離の検出
を行うこともできる。

【００１６】これら請求項８または９記載の頭部搭載型
画像表示装置において、輻輳制御手段が「仮想オブジェ
クトを、実オブジェクトの注視部位と略等しい知覚距離
で、視野内の所定の位置に表示する」ように表示手段の
輻輳を制御することができる（請求項１０）。また、輻
輳制御手段が「仮想オブジェクトを、実オブジェクトの
注視位置と略等しい知覚距離で、かつ輻輳点座標と異な
る位置に、実オブジェクトに近接して表示する」ように
表示手段の輻輳を制御することもでき（請求項１１）、
さらには、輻輳制御手段が「仮想オブジェクトを、輻輳
点座標の位置に表示する」ように表示手段の輻輳を制御
することもできる（請求項１２）。また、視線輻輳点座
標演算手段は「観察者の右目の視線ベクトルを延長した
空間直線と、観察者の左目の視線ベクトルを延長した空
間直線とが最近接する部位における両直線の中点位置を
輻輳点座標とする演算」を行うことにより輻輳点座標を
決定するようにできる（請求項１３）。また、請求項１
０または１３に記載の頭部搭載型画像表示装置において
は、距離検出手段の距離演算手段が「視点輻輳点座標演
算手段が演算した輻輳点座標の、観察者の頭部に固定し
た座標系の、頭部前方に対応する座標軸における対応座
標と観察者との距離を演算する」ようにできる（請求項
１４）。

【００１７】請求項１〜１４の何れに記載の発明におい
ても、仮想オブジェクトは「所望のもの」即ち、仮想オ
ブジェクトとして表示したい任意の画像でありうる。仮
想オブジェクトの画像の種類としては、実オブジェクト
の説明書のようなテキストオブジェクトや、実オブジェ
クトの操作を指示するポインタや補助線のような図形オ
ブジェクトが可能である。

【００１８】請求項７または１４記載の発明において
「視点輻輳点座標演算手段が演算した輻輳点座標の、観
察者の頭部に固定した座標系の、頭部前方に対応する座
標軸における対応座標」とは、上記座標系原点から輻輳
点座標に向かうベクトルを、頭部前方に対応する座標軸
に射影したときの上記ベクトル先端部の射影点の座標、
もしくは、上記ベクトルを上記原点を中心として回転さ
せて上記座標軸に合致させたときのベクトル先端の座標
を意味する。

【００１９】

【発明の実施の形態】図１は、請求項１記載の発明の実
施の１形態を説明するための図である。繁雑を避けるた
め、混同の虞れがないと思われるものに就いては、図１
以下の図面において同一の符号を用いるものとする。図
１において、（ａ）は、観察者８が、東部搭載型画像表
示装置におけるヘッドマウント１０を介して実オブジェ
クト４と仮想スオブジェクト５とを観察する状態を示し
ている。（ｂ）の上の図は、上記観察状態を図１２
（ｂ）に倣って描いたものである。図１においても、図
１２と同様、符号２は「観察者８の（間隔：Ｄｅを隔し
て位置する）両眼」を示し、符号１は１対の「表示デバ
イス」を、符号７は１対の「レンズ」を示し、表示デバ
イス１、レンズ７は観察者の両目のそれぞれに応じて１
系統ずつ配備されている。（ａ）に示すように、観察者
８の両眼２の前方にはハーフミラー３が観察方向に対し
て４５度をなすように設けられ、１対の表示デバイス
１、１対のレンズ７は、ハーフミラー３の上側に配備さ
れている。従って、観察者８はハーフミラー３を通して
「外界視野」内の実オブジェクト４を、両眼で観察で
き、同時に、表示デバイス１の個々（液晶パネルとい
う）に表示される所望の画像３０を、仮想オブジェクト
５として観察することができる。符号２０で示す距離セ
ンサは、（ｃ）に示すように、観察者８の頭部にヘッド
マウント１０に一体化されて装着され、超音波のパルス
を実オブジェクト４に対して発信し、実オブジェクト４
による反射パルスを受信する。ヘッドマウント１０と距
離センサ２０との幾何学的な位置関係の調整により、パ
ルスの発・受信は「観察者８の外界視野の中心部」に対
して行われるようになっている。符号９はヘッドマウン
ト１０のケーシングを示す。距離センサ２０は、パルス
発信から反射パルス受信までの所要時間を「遅延時間情
報」として、リアルタイムで距離演算装置１１に送る。
距離演算装置１１は入力された遅延時間情報に基づき、
観察者８と実オブジェクト４との距離、即ち、実オブジ
ェクト距離：Ｄをリアルタイムで演算する。即ち、距離
センサ２０と距離演算装置１１とは「距離検出手段」を
構成する。

【００２０】距離演算装置１１は、演算した実オブジェ
クト距離：Ｄをリアルタイムで輻輳演算装置（左）１２
および同（右）１３に向けて出力する。これら輻輳演算
装置１２，１３は、入力された実オブジェクト距離：Ｄ
に基づき、実オブジェクトの輻輳角：θ₀を求め、表示
すべき仮想オブジェクト５の輻輳角：θが、θ₀±４０
分となる輻輳角を演算し、その結果を仮想オブジェクト
画像生成装置（左）１４と同（右）１５に送る。これら
仮想オブジェクト画像生成装置１４，１５とは、表示す
べき仮想オブジェクト５に応じた左右の目用画像３０
を、表示デバイス１の各液晶パネルに、上記輻輳角を実
現するように表示する。このとき、図１（ｂ）の上の図
に示す輻輳角：θは実質的に輻輳角：θ₀に等しく、仮
想オブジェクト距離：ｄは、実質的に実オブジェクト距
離：Ｄに等しい。従って、観察者８は、実オブジェクト
４と仮想オブジェクト５とを「視野内で融像して同時に
観察する」ことができる。従って、輻輳演算装置（左）
１２および輻輳演算装置（右）１３は「輻輳制御手段」
を構成し、仮想オブジェクト画像生成装置（左）１４と
仮想オブジェクト画像生成装置（右）１５は、ヘッドマ
ウント１０とともに「表示手段」を構成する。即ち、図
１に示す実施の形態は、観察者８が観察している外界視
野内の実オブジェクト４と、所望の画像３０を左右両眼
に独立に表示する表示手段１０，１４，１５により表示
された仮想オブジェクト５とを重ねて同時に観察可能と
するシースルー型の頭部搭載型画像表示装置であって、
観察者８により観察されている実オブジェクト４の、観
察者８からの距離：Ｄをリアルタイムで検出する距離検
出手段１１，２０と、該距離検出手段により検出された
距離：Ｄに応じて、所望の仮想オブジェクト５に対して
表示手段の輻輳をリアルタイムで制御する輻輳制御手段
１２，１３とを有する（請求項１）。

【００２１】上の説明では、仮想オブジェクト５を表示
すべき仮想オブジェクト距離に関して、これが実オブジ
ェクト距離と実質的に同じになるべきことを説明した
が、仮想オブジェクト５の表示にはまだ自由度が残って
いる。即ち、仮想オブジェクト５を表示すべき位置であ
る。仮想オブジェクトの表示位置に関しては「実オブジ
ェクトの観察が妨げられず、仮想オブジェクトが良好に
観察できる」という条件が満足される限りにおいて基本
的に任意であり、表示位置は、表示を制御するプログラ
ム（輻輳制御手段を制御するプログラム）により適宜に
設定することができる。以下には、図１の実施の形態に
おける仮想オブジェクト５の「表示位置」の３例を、図
２および図３を参照して説明する。説明の具体性のた
め、図３に示すように、実オブジェクト４は「花」で、
仮想オブジェクト５は「これは・・の花です。」という
ような、実オブジェクト４に対する説明等の「付加情
報」を表示した「付加情報ウインドウ」であるとする。
図２を参照すると（この図では、図の繁雑をさけるた
め、レンズ７の図示を省略している。）、仮想オブジェ
クト５は、輻輳制御手段１２，１３により、実オブジェ
クト４の輻輳角：θ₀ に実質的に等しい輻輳角：θで
「実オブジェクト４の左脇の位置」に表示されている。
θ＝θ₀ であれば、両眼２と「実オブジェクト４の中心
と仮想オブジェクト５の中心と」は、同一円周状にある
が、両眼２の間隔（前記「Ｄｅ」）は実オブジェクト距
離：Ｄに比して十分に小さいから、輻輳角：θ( ≒θ₀)
で表示される仮想オブジェクトは、「外界視野」のどの
部分に表示されても、その仮想オブジェクト距離：ｄは
実オブジェクト距離：Ｄと実質的に等しく、実オブジェ
クトと融像可能である。

【００２２】仮想オブジェクト５の輻輳角は、表示パネ
ルの個々に表示される左右の目用の画像３０の間隔で決
まり、仮想オブジェクト５の表示位置は、各画像３０の
表示デバイス１上の表示位置に応じて定まるから「一方
の目用の画像表示位置（表示手段における表示を決定す
るプログラムで定める）と、両目用の画像の表示間隔
（輻輳制御手段が決定する）」とを指定することによ
り、仮想オブジェクトを所望の表示位置に、実オブジェ
クト距離に略等しい距離で表示可能である。図３（ａ）
は、仮想オブジェクト５を「視野３０Ａ内の左上端」に
表示する場合を示し、同（ｂ）は仮想オブジェクト５を
「視野３０Ａの中央部」に表示する場合である。図１に
示した実施の形態では、ヘッドマウント１０と距離セン
サ２０との幾何学的な位置関係の調整により、パルスの
発・受信が、観察者８の外界視野の中心部に対して行わ
れるようになっている。このことは、観察者８が「観察
対象である実オブジェクト４が外界視野の中央部に位置
するように観察を行う」ことを意味する。従って、実オ
ブジェクト４は常に外界視野中央部即ち、視野内の定位
置にあるから、上に説明した図２の場合（仮想オブジェ
クト５が実オブジェクト４の左脇に表示される）も、図
３（ａ）の場合（仮想オブジェクト５が、視野３０Ａの
左上端に表示される）も、同（ｂ）の場合（仮想オブジ
ェクト５が視野３０Ａの中央部に実オブジェクト４と重
ねて表示される）も、輻輳制御手段により輻輳制御され
た仮想オブジェクトは「実オブジェクトと略等しい距離
で、視野内の所定の位置」に表示される（請求項３）。
別の見方をすれば、図２の場合の表示は「仮想オブジェ
クト５を、実オブジェクト４と略等しい距離で、かつ輻
輳点座標（実オブジェクト４の位置）と異なる位置（左
脇）に、実オブジェクト４に近接して表示する」表示方
式でもあり（請求項４）、図３（ｂ）の場合の表示は
「仮想オブジェクト５を、輻輳点座標の位置に表示す
る」表示方式でもある（請求項５）。もちろん、図２の
場合のみならず、図３（ａ），（ｂ）の場合も、仮想オ
ブジェクト５の輻輳角は、実質的に実オブジェクト４の
輻輳角：θ₀に等しい。

【００２３】図４には、請求項２記載の発明の実施の１
形態を示す。図１の実施の形態と異なる点は、第１に、
図４（ａ）に示すように、ヘッドマウント１０’のケー
シング９’には、表示デバイス１、１対のレンズ７、ハ
ーフミラー３の他に、ハーフミラー３’と光源４１と撮
影カメラ４０とが装備されていることであり、第２に、
撮影カメラ４０の出力が、視線演算装置（右）４３およ
び同（左）４２に入力され、これら視線演算装置４２，
４３の出力が、視線輻輳点演算装置４４と実オブジェク
ト距離演算装置４５とを介して仮想オブジェクト輻輳制
御装置４６に入力するようになっていることである。ま
た、仮想オブジェクト用の画像３０は、ビデオ信号発生
装置（左）１４’および同（右）１５’で生成される。
光源４１および撮像カメラ４０は共に、観察者８の両眼
用に１個ずつ独立して設けられている。ハーフミラー
３’はハーフミラー３と平行に設けられる。従って、観
察者８は２枚のハーフミラー３，３’を介して外界視野
内に実オブジェクト４を観察できる。光源４１は、観察
者８の観察を妨げないように、例えば、赤外領域で発光
するＬＥＤが用いられる。光源４１の左（右）目用のも
のからの赤外光はハーフミラー３’，３を介して観察者
８の左（右）目を照明する。左（右）目による反射光は
ハーフミラー３を透過し、ハーフミラー３’により反射
されて左（右）目用の撮影カメラ４０に入射し、各撮影
カメラ４０は左（右）目を撮影する。撮影カメラ４０
は、例えば「ＣＣＤカメラ」である。撮影カメラ４０か
らの左（右）目像のデータは、視線演算装置４２，４３
に入力する。視線演算装置（左）４２は左目像のデータ
に基づき、ヘッドマウント１０’に固定的な座標系で左
目の視線を「左目直線データ」として演算する。同様
に、視線演算装置（右）４３は右目像のデータに基づ
き、上記座標系で右目の視線を「右目直線データ」とし
て演算する。

【００２４】このようにして得られた左・右目直線デー
タは、視線輻輳点演算装置４４に送られ、同装置４４
は、入力された１対の直線データの交点として「輻輳点
座標」を演算で求める。左右の視線の直線が現実の交点
を持たない場合（左・右目直線データで表される直線の
連立方程式が解を持たない場合）は後述する方法で、こ
れら２直線が再近接する部分での両直線の中点を輻輳点
座標として決定する。このようにして輻輳点座標が決定
されたら、実オブジェクト距離演算装置４５が、輻輳点
座標に基づき実オブジェクト距離：Ｄを演算する。実オ
ブジェクト距離：Ｄが決定されると、仮想オブジェクト
輻輳制御装置４６は、仮想オブジェクト５の輻輳角を
「仮想オブジェクト５が実オブジェクト４と実質的に同
じ距離の所に表示される」ように定め、その結果を、ビ
デオ信号発生装置（左）１４’と同（右）１５’に印加
する。これらビデオ信号発生装置１４’，１５’はそれ
ぞれ、表示デバイス１に、仮想オブジェクト５に対応す
る画像３０の右目用および左目用画像を独立に、且つ、
上記決定された輻輳角に応じて表示する。これにより、
仮想オブジェクト５が実オブジェクト距離：Ｄと実質的
に等しい距離の位置に表示され、観察者は、実オブジェ
クト４と仮想オブジェクト５を融像して同時に観察する
ことができる。なお、上記輻輳点座標の決定から輻輳角
の演算を経て仮想オブジェクトの表示に至る一連の手順
は「リアルタイム」で行われるので、仮想オブジェクト
５は常に実オブジェクト４と同じ距離に表示されること
になる。仮想オブジェクト５の表示位置は、輻輳制御手
段を制御するソフトウエアにより決定される。

【００２５】上の説明から明らかなように、撮影カメラ
４０、光源４１、ハーフミラー３’、視線演算装置
（左）４２、視線演算装置（右）４３、視線輻輳点演算
装置４４および実オブジェクト距離演算装置４５は「距
離検出手段」を構成し、仮想オブジェクト輻輳制御装置
４６は「輻輳制御手段」を構成する。また、撮影カメラ
４０、光源４１、ハーフミラー３’、視線演算装置
（左）４２、視線演算装置（右）４３は「視線検出手
段」を構成し、視線輻輳点演算装置４４は「視線輻輳点
座標演算手段」を構成し、実オブジェクト距離演算装置
４５は「距離演算手段」を構成する。即ち、図４の実施
の形態は、観察者８が観察している外界視野内の実オブ
ジェクト４と、所望の画像３０を左右両眼に独立に表示
する表示手段１０’，１４’，１５’により表示された
仮想オブジェクト５とを重ねて同時に観察可能とするシ
ースルー型の頭部搭載型画像表示装置であって、観察者
８により観察されている実オブジェクト４の、観察者か
らの距離：Ｄをリアルタイムで検出する距離検出手段
と、距離検出手段により検出された距離：Ｄに応じて、
所望の仮想オブジェクト５に対して表示手段１０’の輻
輳をリアルタイムで制御する輻輳制御手段４６とを有し
（請求項１）、「距離検出手段」が、観察者８の両眼の
視線を検出する視線検出手段４０，４１，３’，４２，
４３と、該視線検出手段により検出された視線の輻輳点
座標を演算する視線輻輳点座標演算手段４４と、該視線
輻輳点座標演算手段４４により演算された輻輳点座標と
観察者８との距離を、観察者の注視する実オブジェクト
４と観察者との距離として演算する距離演算手段４５と
を有する（請求項２）。

【００２６】前述した図１の実施の形態では、距離検出
手段が「観察者の観察視野中央部に位置する実体を実オ
ブジェクトとして距離検出を行う」ものであるので、視
野内で実オブジェクトの占めるべき位置は「視野中央
部」に限定され、観察者は常に実オブジェクトを視野中
央部に位置させねばならなかった。これに対し、図４の
実施の形態においては、実オブジェクトの位置を「観察
者の両眼の視線の輻輳点座標」として決定できるので、
実オブジェクトを視野中央部に位置させなくても、外界
に存在する観察対象を「注視」するのみで、その観察対
象を実オブジェクトとして特定できる。例えば、図５に
示すように、表示手段の外界視野（四角い外枠）３０Ａ
内に、２つの観察対象４，４’（ともに「花」であると
する）が存在する場合、図１の実施の形態においては、
これら観察対象４，４’のうち、観察したい方を視野３
０Ａの中央部に位置させるようにしたとき、その観察対
象が実オブジェクトとなるが、図４の実施の形態におい
ては、図５に示すような場合、観察対象４，４’のうち
の任意の一方を注視すれば、注視された側の観察対象が
実オブジェクトとなる。図５に示す観察対象４，４’
が、図６に示すように、観察者（の両眼２）から異なる
距離に存在する場合、観察者が「観察対象４を実オブジ
ェクトとして注視する場合」の輻輳角をθ₀とすると、
このとき仮想オブジェクト５（図５に示すように「これ
は・・の花です。」というような「付加情報ウインド
ウ」であるとする。）を表示するときの輻輳角：θは実
質的にθ₀に等しい。同様に、観察対象４’を実オブジ
ェクトとして注視する場合の輻輳角をθ₀’とすると、
このとき仮想オブジェクト５’を表示するときの輻輳
角：θ’は実質的にθ₀’に等しい。図５は、付加情報
ウインドウである仮想オブジェクトの表示位置を視野内
の所定の位置である「視野の左上端」に設定（輻輳制御
手段を制御するソフトウエアで行う）したときの表示の
様子を示している。図５（ａ）では、観察者は実オブジ
ェクト４の注視部３３を注視しており、このとき実オブ
ジェクト４に関する仮想オブジェクト５は、視野３０Ａ
内の左上端に、実オブジェクト４の実オブジェクト距離
と実質的に等しい仮想オブジェクト距離で表示される。
（ｂ）では、観察者は実オブジェクト４’の注視部３４
を注視しており、このとき実オブジェクト４’に関する
仮想オブジェクト５’は、視野３０Ａ内の左上端に、実
オブジェクト４’の実オブジェクト距離と実質的に等し
い仮想オブジェクト距離で表示される。なお、図３およ
び図５において、符号３１で示す位置は、視野３０Ａ内
における［仮想オブジェクト表示の基準点］であり、図
５の実施の形態においては「視野内の定点」である（請
求項３）。

【００２７】仮想オブジェクトの表示方法としては他
に、図７の（ａ），（ｂ）に示すように、対応する実オ
ブジェクトの「すぐ左脇の位置」に表示する方法があ
る。図７（ａ）では、観察者は実オブジェクト４の注視
部３３を注視しており、対応する仮想オブジェクト５は
「実オブジェクト４の左脇の部分」に表示される。同様
に、（ｂ）では、観察者は実オブジェクト４’の注視部
３４を注視しており、対応する仮想オブジェクト５は
「実オブジェクト４’の左脇の部分」に表示される。仮
想オブジェクト表示の規準位置３１は、この場合、実オ
ブジェクトの注視位置に相対的に定められる。即ち、図
７に示す仮想オブジェクト表示方式は「仮想オブジェク
トを、実オブジェクトと略等しい距離で、かつ輻輳点座
標と異なる位置に、実オブジェクトに近接して表示す
る」表示方式である（請求項４）。図７における注視部
３３，３４の中心部はまた「観察者の実オブジェクト観
察における輻輳点座標」であるから、仮想オブジェクト
の表示を、輻輳点座標の位置に表示するようにしてもよ
い（請求項５）。

【００２８】上記の説明において、仮想オブジェクトの
表示位置はソフトウエアにより決定されるが、このソフ
トウエアは勿論「輻輳制御手段」の制御のためのソフト
ウエアである。

【００２９】ここで、観察者の両眼の視線の「輻輳点座
標」を求める演算を説明する。ベクトル演算であるの
で、ベクトルの表示を以下のように定める。即ち、例え
ば［Ａ］のように、アルファベットを鉤括弧でかこった
ものをベクトルとする。上記［Ａ］はベクトルＡであ
る。なお、図面上では通常のベクトル表記にしたがう。
図８において、左目ＥＬからの視線ベクトルを［Ｖ
Ｌ］、右目ＥＲからの視線ベクトルを［ＶＲ］とする。
これらは「単位ベクトル」である。図８において符号
ｍ，ｌはそれぞれ、視線ベクトル［ＶＬ］、［ＶＲ］を
含む直線である。適当な規準位置（例えば、両目ＥＬ、
ＥＲの中点位置）を規準として、左目ＥＬおよび右目Ｅ
Ｒの位置ベクトルを［ＥＬ］，［ＥＲ］とし、直線：
ｌ、ｍ上の位置ベクトルをそれぞれ［ｐ］，［ｑ］とす
ると、パラメータ：ｔ，ｓを用いて、 ［ｐ］＝［ＥＬ］＋ｔ［ＶＬ］ （１） ［ｑ］＝［ＥＲ］＋ｓ［ＶＲ］ （２） と表すことができる。

【００３０】ベクトル［ｐ］と［ｑ］の先端を結ぶ直線
ベクトル：［ｑ］−［ｐ］が、直線：ｌ，ｍと直交する
条件は、直線ベクトル：［ｑ］−［ｐ］とベクトル［Ｖ
Ｌ］、［ＶＲ］とのスカラー積が０になること、即ち、 （［ｑ］−［ｐ］）・［ＶＬ］＝０ （３） （［ｑ］−［ｐ］）・［ＶＲ］＝０ （４） である。従って、式（１），（２）を用いると、 ｔ|[ＶＬ]|²−ｓ[ＶＲ]・[ＶＬ]＝([ＥＲ]−[ＥＬ])・[ＶＬ] （５） ｔ[ＶＬ]・[ＶＲ]−ｓ|[ＶＲ]|²＝([ＥＲ]−[ＥＬ])・[ＶＲ] （６） 式（５），（６）をｓ，ｔに対する連立方程式として解
くとき、解を「ｓ₀」および「ｔ₀」とする。

【００３１】Ｔ₁₁＝ｔ₀，Ｔ₂₁＝ｓ₀を要素とする２行１
列の「列マトリックス」を（Ｔ）、Ｓ₁₁＝([ＥＲ]−[Ｅ
Ｌ])・[ＶＬ]，Ｓ₂₁＝([ＥＲ]−[ＥＬ])・[ＶＲ]を要素
とする２行１列の「列マトリックス」を（Ｓ）、Ｕ₁₁＝
|[ＶＬ]|²，Ｕ₁₂＝[ＶＲ]・[ＶＬ]，Ｕ₂₁＝[ＶＬ]・[Ｖ
Ｒ]，Ｕ₂₂＝|[ＶＲ]|²を要素とする２行２列のマトリッ
クスを（Ｕ）とし、その逆マトリックスを（Ｕ）~¹で表
すと、これらは、マトリックス方程式： （Ｔ）＝（Ｕ）~¹（Ｓ） （７） を満足するので、式（７）の右辺の演算を行うことによ
り、ｔ₀，ｓ₀を得ることができる。図８に示すように、
直線：ｌ，ｍ上における、方程式（５），（６）を満足
する点：ＣＬ、ＣＲの位置ベクトルをそれぞれ、[Ｃ
Ｌ],[ＣＲ]とすると 、 [ＣＬ]＝［ＥＬ］＋ｔ₀「ＶＬ］ （８） [ＣＲ]＝［ＥＲ］＋ｓ₀［ＶＲ］ （９） であるから、位置：ＣＬ、ＣＲの中点：Ｃの位置ベクト
ル[Ｃ]は、 [Ｃ]＝（[ＣＬ]＋[ＣＲ]）／２ ＝（［ＥＬ］＋ｔ₀「ＶＬ］＋［ＥＲ］＋ｓ₀［ＶＲ］）／２ （１０） である。このようにして、輻輳点座標として中点：Ｃの
座標を演算することができ、これに基づき、観察者の位
置（前記計算における規準位置）と輻輳点座標との距離
を知ることができる。図４の実施の形態において、上記
演算は、視線輻輳点演算装置４４が行い、演算された輻
輳点座標に基づく「実オブジェクト距離の演算」は実オ
ブジェクト距離演算装置４５が行う。

【００３２】前述したように、観察者が外界視野内の定
点を注視しているときでも、眼球は注視点によらず不随
意に微動することがある。このような眼球の微動が存在
する場合に、上記の如き方法で両眼の視線に基づく輻輳
点座標として注視点（実オブジェクト位置）を算出する
と、算出された注視点位置が変動することになる。特
に、観察されている実オブジェクトが観察者から比較的
に近い位置にある場合には、上記眼球微動の影響による
輻輳点座標の変動は大きい。

【００３３】このような場合、仮想オブジェクトの表示
方式が、図７に示した「実オブジェクトの近傍の位置に
仮想オブジェクトを表示する方式」だと、輻輳点座標の
変動に伴い、仮想オブジェクトの表示位置も変動してし
まう。このような場合、仮想オブジェクトの表示方式と
しては、図６に即して説明したように、実オブジェクト
の位置にかかわり無く、常に視野内の定位置に仮想オブ
ジェクトを表示する表示方式がよい。この場合、変動す
る輻輳点座標に応じて、実オブジェクト距離をどのよう
に定めるかが問題となるが、請求項７記載の発明のよう
に、視点輻輳点座標演算手段（図４の実施の形態におい
て、視線輻輳点演算装置４４）が演算した輻輳点座標の
「観察者の頭部に固定した座標系の、頭部前方に対応す
る座標軸における対応座標」と観察者との距離を演算し
て実オブジェクト距離とするのが妥当である。勿論、距
離演算は、距離演算手段（図４の実施の形態では、実オ
ブジェクト距離演算装置４５）が行う。図９を参照する
と、図９（ａ）、（ｂ）は、上記「輻輳点座標の、観察
者の頭部に固定した座標系の、頭部前方に対応する座標
軸における対応座標」を定める２方法を示している。

【００３４】図９（ａ）を参照すると、ＸＹＺ座標は
「観察者の頭部に固定した座標系」を表している。Ｘ軸
は両眼を結ぶ方向であり、左目ＥＬと右目ＥＲとは原
点：０に関してＸ軸の対称位置にある。Ｙ軸は、観察者
にとっての上方を正とする方向であり、Ｚ軸が「頭部前
方に対応する座標軸」であり、観察者にとっての前方で
ある。図９（ａ）で、Ｃ点は「視線に基づいて決定され
た輻輳点座標」である。例えば、実オブジェクトがＺ軸
方向にあり、観察者が実オブジェクトを注視していて
も、眼球微動により、輻輳点座標は図のようにＺ軸から
ずれてしまうことが考えられる。この場合、仮想オブジ
ェクト表示の規準となる実オブジェクト距離は以下のよ
うに定める。即ち、輻輳点座標：Ｃの「Ｚ軸に対応する
対応座標」として「輻輳点座標：Ｃの原点：０を基部と
する位置ベクトル」のＺ軸への正射影をとり、上記位置
ベクトル先端部の射影位置：Ｃｉを前記対応座標とし、
原点：０と座標点：Ｃｉの距離（即ち、距離：Ｃｉ）を
持って実オブジェクト距離：Ｄとするのである。そし
て、仮想オブジェクトは、仮想オブジェクト距離：Ｄと
して、視野内の定位置（例えば、図５に示すような視野
内左上端部）に表示する。

【００３５】図９（ｂ）においてもＸＹＺ座標は「観察
者の頭部に固定した座標系」で、Ｘ軸は「両眼を結ぶ方
向」、Ｙ軸は「観察者にとっての上方を正とする方向」
であり、Ｚ軸が「頭部前方に対応する座標軸」である。
図９（ｂ）で、Ｃ点は「視線に基づいて決定された輻輳
点座標」である。図９（ｂ）の場合においては、実オブ
ジェクト距離を以下のように定める。即ち、輻輳点座
標：Ｃの「Ｚ軸に対応する対応座標」として、輻輳点座
標：Ｃの原点：０を基部とする位置ベクトルを、原点：
０の回りに回転してＺ軸に重ね合わせ、上記位置ベクト
ル先端部が重なり合う位置：Ｃｉを持って前記対応座標
とし、原点：０と座標点：Ｃｉの距離（即ち、距離：Ｃ
ｉ）を持って実オブジェクト距離：Ｄとするのである。
仮想オブジェクトは、仮想オブジェクト距離：Ｄとし
て、視野内の定位置（例えば、図５に示すような視野内
左上端部）に表示する。

【００３６】図１０は、請求項８記載の頭部搭載型画像
表示装置の実施の１形態を示している。図の上の（ａ）
で示す部分は、観察者８が、頭部搭載型画像表示装置の
ヘッドマウント１０Ａに表示された「仮想オブジェクト
５と実オブジェクト４Ａ」を観察している状態を示して
いる。

【００３７】ヘッドマウント１０Ａは、図１０（ｂ）に
示すように、１対の表示デバイス１と１対のレンズ７を
有し、表示デバイス１、レンズ７は観察者の両目のそれ
ぞれに応じて１系統ずつ配備されている。（ａ）に示す
ように、観察者８の両眼２の前方に１対のレンズ７を介
して１対の表示デバイス１が配備され、表示デバイスの
個々（液晶パネル）に表示される所望の画像を観察する
ことができる。ヘッドマウント１０Ａに装備された表示
手段は「シースルー型」ではない。図１０（ｃ）は「撮
像手段」の一部である２個のビデオカメラ２１，２２
と、「撮像距離検出手段」の一部をなす距離センサ２０
とを示している。距離センサ２０は、図１の実施の形態
に即して説明したものと同様のもので、超音波のパルス
を撮像対象物４に対して発信し、反射パルスを受信す
る。撮像カメラ２１，２２と距離センサ２０との幾何学
的な位置関係の調整により、パルスの発・受信は「ビデ
オカメラ２１，２２の共通の撮像領域の中心部」に対し
て行われるようになっている。図１０下の（ｄ）に示す
ように、距離センサ２０は、パルス発信から反射パルス
受信までの所要時間を「遅延時間情報」としてリアルタ
イムで距離演算装置１１に送る。距離演算装置１１は入
力された遅延時間情報に基づき、ビデオカメラ２１，２
２と撮像対象物４との距離、即ち撮像距離：Ｄをリアル
タイムで演算する。即ち、距離センサ２０と距離演算装
置１１とは「撮像距離検出手段」を構成する。一方、ビ
デオカメラ２１，２２の出力はカメラ画像（左）２１’
およびカメラ画像（右）２２’となり、それぞれビデオ
信号合成装置（左）１７と同（右）１８を介して、それ
ぞれ表示デバイス１の左右の液晶パネルに表示される。
このように表示された左右の画像は「撮像対象物４の
像」として提示され、観察者８は、像４Ａを「実オブジ
ェクト」として観察する。撮像対象物４はビデオカメラ
２１，２２から撮像距離：Ｄの位置にあり、表示デバイ
スは、これを再現するから、観察者８にとって実オブジ
ェクト４Ａの実オブジェクト距離は撮像距離：Ｄに等し
い距離として知覚されることになる。即ち、観察者８に
とって実オブジェクト距離は「Ｄ」である。

【００３８】一方、距離演算手段１１は、演算した撮像
距離：Ｄをリアルタイムで輻輳演算装置１２’に向けて
出力する。輻輳演算装置１２’は、入力された撮像距
離：Ｄに基づき実オブジェクトの輻輳角：θ₀を求め、
表示すべき仮想オブジェクト５の輻輳角が、θ₀ ±４０
分となる輻輳角を演算し、その結果を仮想オブジェクト
画像生成装置（左）１４と同（右）１５に送る。仮想オ
ブジェクト画像生成装置（左）１７と同（右）１８と
は、表示すべき仮想オブジェクト５をなす画像３０の左
目用および右目用画像を表示デバイス１の各液晶パネル
に、上記輻輳角を実現するように表示する。このとき、
図１０（ｂ）に示す輻輳角：θは実質的に輻輳角：θ₀
に等しく、仮想オブジェクト距離：ｄは、実質的に実オ
ブジェクト距離：Ｄに等しい。従って、観察者８は、実
オブジェクト４Ａと仮想オブジェクト５とを「視野内で
融像して同時に観察する」ことができる。

【００３９】従って、輻輳演算装置１２’は「輻輳制御
手段」を構成し、仮想オブジェクト画像生成装置（左）
１４と同（右）１５、ビデオ信号合成装置（左）１７お
よび同（右）１８とヘッドマウント１０Ａとは「表示手
段」を構成する。即ち、図１０に示す実施の形態は「撮
像対象物４を撮像する撮像手段２１，２２と、所望の画
像を左右両眼に独立に表示する表示手段１４，１５，１
７，１８とを有し、撮像手段２１，２２により撮像され
た画像を、表示手段に実オブジェクト４Ａとして表示す
るとともに、所望の仮想オブジェクト５を実オブジェク
ト４Ａと共に表示手段に表示し、両オブジェクトを同時
に観察可能とする頭部搭載型画像表示装置」であって、
撮像手段と撮像対象物との距離をリアルタイムで検出す
る撮像距離検出手段２０，１１と、撮像距離検出手段に
より検出された距離に応じて、所望の仮想オブジェクト
５に対して表示手段の輻輳をリアルタイムで制御する輻
輳制御手段１２’とを有する（請求項８）。観察者にと
っての実オブジェクト４Ａは、撮像手段により撮像され
た撮像対象物４Ａを表示手段の表示デバイスに表示され
た像であるから「常に視野中央部」に位置する。従っ
て、仮想オブジェクト５の表示位置としては、図１に即
して説明した実施の形態に関して図２〜図３に示した場
合と同様、輻輳制御手段により「仮想オブジェクトを、
実オブジェクトの注視部位と略等しい知覚距離で、視野
内の所定の位置に表示するように表示手段の輻輳を制御
する」ようにでき（請求項１０）、この場合において、
仮想オブジェクトを「実オブジェクトの注視位置と略等
しい知覚距離で、かつ輻輳点座標（実オブジェクトの表
示位置）と異なる位置に、実オブジェクトに近接して表
示する」ようにしてもよく（請求項１１）、さらには、
仮想オブジェクトを「輻輳点座標の位置に表示する」よ
うにしてもよい（請求項１２）。これらの場合における
実オブジェクトと仮想オブジェクトの位置関係は、例え
ば、図３（ａ）、図２、図３（ｂ）の場合と同様にな
る。

【００４０】図１１は、請求項９記載の頭部搭載型画像
表示装置の実施の１形態を示している。（ａ）で示す部
分は、観察者８が、頭部搭載型画像表示装置のヘッドマ
ウント１０Ａ’に表示された仮想オブジェクト５と実オ
ブジェクト４Ａとを観察している状態を示している。

【００４１】ヘッドマウント１０Ａ’は、（ｂ）に示す
ように、１対の表示デバイス１と１対のレンズ７を有
し、表示デバイス１、レンズ７は観察者の両目のそれぞ
れに応じて１系統ずつ配備されている。また（ａ）に示
すように、観察者８の両眼２の前方にハーフミラー３’
を有し、観察者８はハーフミラー３’と１対のレンズ７
を介して、１対の表示デバイス１に表示される画像を観
察できるようになっている。また（ａ）に示すように、
ハーフミラー３’の上方には、図４の実施の形態におけ
ると同様、光源４１と撮影カメラ４０とが装備されてい
る。ハーフミラー３’、光源４１および撮像カメラ４０
は、図４の実施の形態に即して説明したのと同様のもの
で、観察者８の左右両眼に就き１系統ずつ配備されてい
る。図１０の実施の形態におけると同様、ヘッドマウン
ト１０Ａ’に装備された表示手段は「シースルー型」で
はない。一方、図１１（ｃ）に示すように、撮像手段の
一部をなす２個のビデオカメラ２１，２２が撮像対象物
４を撮像するようになっている。ビデオカメラ２１，２
２は、観察者の両目間隔に等しい距離をおいて、水平方
向に互いに平行に配備されている。ビデオカメラ２１，
２２の出力は、カメラ画像（左）２１’およびカメラ画
像（右）２２’となって、それぞれビデオ信号合成装置
（左）１４および同（右）１５を介して、それぞれ表示
デバイス１の左右の液晶パネルに表示される。このよう
に表示された左右の画像は撮像対象物４の像として提示
され、観察者８は、この像４Ａを「実オブジェクト」と
して観察する。

【００４２】ビデオカメラ２１，２２は「観察者の両目
間隔に等しい距離をおいて、水平方向に互いに平行に配
備されている」から、表示デバイス１に表示された実オ
ブジェクト４’は、観察者８があたかも、ビデオカメラ
２１，２２の位置に両眼を有して撮像対象物４を見たか
のように表示される。撮像対象物４はビデオカメラ２
１，２２から撮像距離：Ｄの位置にあるから、観察者８
にとって実オブジェクト４Ａの実オブジェクト距離は、
撮像距離：Ｄに等しい距離として知覚されることにな
る。即ち、観察者８にとって実オブジェクト距離は
「Ｄ」である。

【００４３】図１１（ａ）に示す撮影カメラ４０からの
左（右）目像のデータは、視線演算装置４２，４３に入
力する。視線演算装置（左）４２は左目像のデータに基
づき、ヘッドマウント１０Ａ’に固定的な座標系におい
て、左目の視線を「左目直線データ」として演算する。
同様に、視線演算装置（右）４３は右目像のデータに基
づき、上記座標系において、右目の視線を「右目直線デ
ータ」として演算する。このようにして得られた左・右
目直線データは視線輻輳点演算装置４４に送られ、同装
置４４は、入力された１対の直線データの交点として
「輻輳点座標」を、図８に即して説明した演算で求め
る。このようにして、輻輳点座標が決定されたら、実オ
ブジェクト距離演算装置４５が、輻輳点座標に基づき、
実オブジェクト距離：Ｄを演算する。実オブジェクト距
離：Ｄが決定されると、仮想オブジェクト輻輳制御装置
４６は、仮想オブジェクトの輻輳角を「仮想オブジェク
トが実オブジェクトと実質的に同じ距離の所に表示され
る」ように輻輳角を定める。即ち、実オブジェクト距
離：Ｄに応じて輻輳角：θ₀を求め、表示すべき仮想オ
ブジェクト５の輻輳角が、θ₀±４０分となる輻輳角を
決定するのである。そして、その結果を、仮想オブジェ
クト画像生成装置（左）１４および同（右）１５に入力
させ、これら装置１４，１５の出力はそれぞれ、ビデオ
信号合成装置（左）１７および同（右）１８に入力す
る。これらビデオ信号合成装置で合成された（各目用
の）実オブジェクト用画像と仮想オブジェクト用画像
は、それぞれ表示パネル１に右目用画像と左目用画像を
独立に、且つ、仮想オブジェクト画像は、上記決定され
た輻輳角に応じて表示する。これにより、仮想オブジェ
クト５が実オブジェクト距離：Ｄと実質的に等しい距離
の位置に表示され、観察者は実オブジェクト４’と仮想
オブジェクト５を融像して同時に観察できる。上記輻輳
点座標の決定から輻輳角の演算を経て仮想オブジェクト
の表示に至る一連の手順は「リアルタイム」で行われる
ので、仮想オブジェクトは常に実オブジェクトと同じ距
離に表示されることになる。仮想オブジェクト５の表示
位置は、輻輳制御手段を制御するソフトウエアにより決
定される。

【００４４】上記のように、撮影カメラ４０、光源４
１、ハーフミラー３’、視線演算装置（左）４２、視線
演算装置（右）４３、視線輻輳点演算装置４４および実
オブジェクト距離演算装置４５は「距離検出手段」を構
成し、仮想オブジェクト輻輳制御装置４６は「輻輳制御
手段」を構成する。また、撮影カメラ４０、光源４１、
ハーフミラー３’、視線演算装置（左）４２、視線演算
装置（右）４３は「視線検出手段」を、視線輻輳点演算
装置４４は「視線輻輳点座標演算手段」を構成し、実オ
ブジェクト距離演算装置４５は「知覚距離演算手段」を
構成する。仮想オブジェクト画像生成装置（左）１４お
よび仮想オブジェクト画像生成装置（右）１５、ビデオ
信号合成装置（左）１７とビデオ信号合成装置（右）１
８とヘッドマウント１０Ａ’とは「表示手段」を構成す
る。即ち、図１１に示す実施の形態は「撮像対象物４を
撮像する撮像手段と、所望の画像を左右両眼に独立に表
示する表示手段１０Ａ’，１４，１５，１７，１８とを
有し、撮像手段により撮像された画像を表示手段に実オ
ブジェクト４Ａとして表示するとともに、所望の仮想オ
ブジェクト５を実オブジェクト４Ａと共に表示手段に表
示し、両オブジェクトを同時に観察可能とする頭部搭載
型画像表示装置」であって、撮像手段と撮像対象物との
距離を、リアルタイムで検出する撮像距離検出手段と、
撮像距離検出手段により検出された距離に応じて、所望
の仮想オブジェクト５に対して表示手段の輻輳をリアル
タイムで制御する輻輳制御手段４６とを有する（請求項
８）。そして、上記「撮像手段」は、観察者８の両目間
隔に等しい距離をおいて、水平方向に互いに平行に配備
された１対のビデオカメラ２１，２２を有し、「撮像距
離検出手段」は、観察者８の両眼の視線を検出する視線
検出手段３’，４０，４１，４２，４３と、視線検出手
段により検出された視線の輻輳点座標を演算する視線輻
輳点座標演算手段４４と、該視線輻輳点座標演算手段に
より演算された輻輳点座標と観察者との距離を、観察者
８の注視する実オブジェクト４Ａと観察者との知覚距離
として演算する知覚距離演算手段４５とを有する（請求
項９）。

【００４５】この実施の形態においては、実オブジェク
ト距離：Ｄは、検出される視線の輻輳点座標として演算
で求められるのであるから、仮想オブジェクトの表示位
置としては、図４に即して説明した実施の形態に関して
説明した場合と同様、輻輳制御手段により「仮想オブジ
ェクトを、実オブジェクトの注視部位と略等しい知覚距
離で、視野内の所定の位置（例えば視野の左上端等）に
表示するように表示手段の輻輳を制御する」ようにして
もよいし（請求項１０）、仮想オブジェクトを「実オブ
ジェクトの注視位置と略等しい知覚距離で、かつ輻輳点
座標（実オブジェクトの表示位置）と異なる位置に、実
オブジェクトに近接して表示する」ようにしてもよく
（請求項１１）、仮想オブジェクトを「輻輳点座標の位
置に表示する」ようにしてもよい（請求項１２）。

【００４６】輻輳点座標の演算には、上に説明したよう
に「観察者の、右目の視線ベクトルを延長した空間直線
と、左目の視線ベクトルを延長した空間直線とが最近接
する部位における両直線の中点位置を輻輳点座標とする
演算」により求めることができる（請求項１３）。

【００４７】また、仮想オブジェクトの表示位置が視野
内の所定の位置に定められる場合には、図９に即して説
明したように、視点輻輳点座標演算手段４４が演算した
輻輳点座標の「観察者８の頭部に固定した座標系（ＸＹ
Ｚ）の、頭部前方に対応する座標軸：Ｚにおける対応座
標：Ｃｉと観察者８との距離：Ｄを演算する」ことによ
り実オブジェクト距離を決定することができる（請求項
１４）。

【００４８】

【発明の効果】以上に説明したように、この発明によれ
ば新規な頭部搭載型画像表示装置を実現できる。この発
明の頭部搭載型画像表示装置によれば、上記の如く、表
示手段の視野内に観察される実オブジェクトと確実に融
像できる位置に仮想オブジェクトを表示できる。請求項
１〜７記載の発明の頭部搭載型画像表示装置はシースル
ー型で、表示手段を介して観察される実オブジェクトに
対し、常に融像できる位置に仮想オブジェクトを表示で
き、請求項２記載の発明によれば、実オブジェクト距離
を観察者の視線が輻輳する輻輳点座標により決定できる
ので、視野内に複数の観察対象があるような場合にも、
所望の観察対象を注視するのみで、これを実オブジェク
トとし、実オブジェクトと融像できる位置に仮想オブジ
ェクトを表示することができる。また請求項６記載の発
明では、観察者の視線が現実に輻輳しない場合でも、妥
当な輻輳点座標を決定でき、請求項７記載の発明では、
観察者の眼球の微動の影響を除去して仮想オブジェクト
の表示を行うことができる。請求項８〜１４記載の発明
の頭部搭載型画像表示装置は、撮像手段により撮像され
た撮像対象物の像を実オブジェクトとし、この実オブジ
ェクトに常に融像できる位置に仮想オブジェクトを表示
でき、請求項９記載の発明によれば、実オブジェクト距
離を観察者の視線が輻輳する輻輳点座標により決定でき
るので、視野内に複数の観察対象（撮像画像）があるよ
うな場合にも、所望の観察対象を注視するのみで、これ
を実オブジェクトとし、実オブジェクトと融像できる位
置に仮想オブジェクトを表示することができる。また請
求項１３記載の発明では、観察者の視線が現実に輻輳し
ない場合でも、妥当な輻輳点座標を決定でき、請求項１
４記載の発明では、観察者の眼球の微動の影響を除去し
て仮想オブジェクトの表示を行うことができる。

【図面の簡単な説明】

【図１】請求項１記載の発明の実施の１形態を説明する
ための図である。

【図２】上記実施の形態における仮想オブジェクトの表
示位置の１例を説明するための図である。

【図３】上記実施の形態における仮想オブジェクトの表
示位置の２例を説明するための図である。

【図４】請求項２記載の発明の実施の１形態を説明する
ための図である。

【図５】図４の実施の形態における仮想オブジェクトの
表示位置を説明するための図である。

【図６】図５における仮想オブジェクトの表示を説明す
るための図である。

【図７】図４の実施の形態における仮想オブジェクトの
表示位置の別例を説明するための図である。

【図８】請求項６，１３記載の発明における輻輳点座標
の演算を説明するための図である。

【図９】請求項７，１４記載の発明における実オブジェ
クト距離演算を説明するための図である。

【図１０】請求項８記載の発明の実施の１形態を説明す
るための図である。

【図１１】請求項９記載の発明の実施の１形態を説明す
るための図である。

【図１２】頭部搭載型画像表示装置とその問題点を説明
するための図である。

【符号の説明】

１ 表示デバイス ３ ハーフミラー ７ レンズ ４ 実オブジェクト ５ 仮想オブジェクト １０ 表示手段のヘッドマウント ２０ 距離センサ

Claims (14)

【特許請求の範囲】
1. 【請求項１】観察者が観察している外界視野内の実オブ
   ジェクトと、所望の画像を左右両眼に独立に表示する表
   示手段により表示された仮想オブジェクトとを重ねて同
   時に観察可能とするシースルー型の頭部搭載型画像表示
   装置において、 観察者により観察されている実オブジェクトの、上記観
   察者からの距離をリアルタイムで検出する距離検出手段
   と、 該距離検出手段により検出された距離に応じて、所望の
   仮想オブジェクトに対して上記表示手段の輻輳をリアル
   タイムで制御する輻輳制御手段と、を有することを特徴
   とする頭部搭載型画像表示装置。
2. 【請求項２】請求項１記載の頭部搭載型画像表示装置に
   おいて、 距離検出手段が、 観察者の両眼の視線を検出する視線検出手段と、 該視線検出手段により検出された視線の輻輳点座標を演
   算する視線輻輳点座標演算手段と、 該視線輻輳点座標演算手段により演算された輻輳点座標
   と上記観察者との距離を、上記観察者の注視する実オブ
   ジェクトと上記観察者との距離として演算する距離演算
   手段とを有することを特徴とする頭部搭載型画像表示装
   置。
3. 【請求項３】請求項１または２記載の頭部搭載型画像表
   示装置において、 輻輳制御手段が、仮想オブジェクトを、実オブジェクト
   と略等しい距離で、視野内の所定の位置に表示するよう
   に表示手段の輻輳を制御することを特徴とする頭部搭載
   型画像表示装置。
4. 【請求項４】請求項１または２記載の頭部搭載型画像表
   示装置において、 輻輳制御手段が、仮想オブジェクトを、実オブジェクト
   と略等しい距離で、かつ輻輳点座標と異なる位置に、実
   オブジェクトに近接して表示するように表示手段の輻輳
   を制御することを特徴とする頭部搭載型画像表示装置。
5. 【請求項５】請求項１または２記載の頭部搭載型画像表
   示装置において、 輻輳制御手段が、仮想オブジェクトを、輻輳点座標の位
   置に表示するように表示手段の輻輳を制御することを特
   徴とする頭部搭載型画像表示装置。
6. 【請求項６】請求項２記載の頭部搭載型画像表示装置に
   おいて、 視線輻輳点座標演算手段は、観察者の右目の視線ベクト
   ルを延長した空間直線と、上記観察者の左目の視線ベク
   トルを延長した空間直線とが最近接する部位における両
   直線の中点位置を輻輳点座標とする演算を行うことを特
   徴とする頭部搭載型画像表示装置。
7. 【請求項７】請求項３または６に記載の頭部搭載型画像
   表示装置において、 距離検出手段の距離演算手段が、 視点輻輳点座標演算手段が演算した輻輳点座標の、 観察者の頭部に固定した座標系の、頭部前方に対応する
   座標軸における対応座標と上記観察者との距離を演算す
   ることを特徴とする頭部搭載型画像表示装置。
8. 【請求項８】撮像対象物を撮像する撮像手段と、所望の
   画像を左右両眼に独立に表示する表示手段とを有し、上
   記撮像手段により撮像された画像を上記表示手段に実オ
   ブジェクトとして表示するとともに、所望の仮想オブジ
   ェクトを上記実オブジェクトと共に上記表示手段に表示
   し、上記両オブジェクトを同時に観察可能とする頭部搭
   載型画像表示装置において、 撮像手段と撮像対象物との距離を、リアルタイムで検出
   する撮像距離検出手段と、 該撮像距離検出手段により検出された距離に応じて、所
   望の仮想オブジェクトに対して上記表示手段の輻輳をリ
   アルタイムで制御する輻輳制御手段と、を有することを
   特徴とする頭部搭載型画像表示装置。
9. 【請求項９】請求項８記載の頭部搭載型画像表示装置に
   おいて、 撮像手段は、観察者の両目間隔に等しい距離をおいて、
   水平方向に互いに平行に配備された１対のビデオカメラ
   を有し、 撮像距離検出手段が、 観察者の両眼の視線を検出する視線検出手段と、 該視線検出手段により検出された視線の輻輳点座標を演
   算する視線輻輳点座標演算手段と、 該視線輻輳点座標演算手段により演算された輻輳点座標
   と上記観察者との距離を、上記観察者の注視する実オブ
   ジェクトと上記観察者との知覚距離として演算する知覚
   距離演算手段とを有することを特徴とする頭部搭載型画
   像表示装置。
10. 【請求項１０】請求項８または９記載の頭部搭載型画像
    表示装置において、 輻輳制御手段が、仮想オブジェクトを、実オブジェクト
    の注視部位と略等しい知覚距離で、視野内の所定の位置
    に表示するように表示手段の輻輳を制御することを特徴
    とする頭部搭載型画像表示装置。
11. 【請求項１１】請求項８または９記載の頭部搭載型画像
    表示装置において、 輻輳制御手段が、仮想オブジェクトを、実オブジェクト
    の注視位置と略等しい知覚距離で、かつ輻輳点座標と異
    なる位置に、実オブジェクトに近接して表示するように
    表示手段の輻輳を制御することを特徴とする頭部搭載型
    画像表示装置。
12. 【請求項１２】請求項８または９記載の頭部搭載型画像
    表示装置において、 輻輳制御手段が、仮想オブジェクトを、輻輳点座標の位
    置に表示するように表示手段の輻輳を制御することを特
    徴とする頭部搭載型画像表示装置。
13. 【請求項１３】請求項９記載の頭部搭載型画像表示装置
    において、 視線輻輳点座標演算手段は、観察者の右目の視線ベクト
    ルを延長した空間直線と、上記観察者の左目の視線ベク
    トルを延長した空間直線とが最近接する部位における両
    直線の中点位置を輻輳点座標とする演算を行うことを特
    徴とする頭部搭載型画像表示装置。
14. 【請求項１４】請求項１０または１３に記載の頭部搭載
    型画像表示装置において、 距離検出手段の距離演算手段が、 視点輻輳点座標演算手段が演算した輻輳点座標の、 観察者の頭部に固定した座標系の、頭部前方に対応する
    座標軸における対応座標と上記観察者との距離を演算す
    ることを特徴とする頭部搭載型画像表示装置。