JPH08313843A

JPH08313843A - 視線追従方式による広視野高解像度映像提示装置

Info

Publication number: JPH08313843A
Application number: JP7116762A
Authority: JP
Inventors: Kazuyo Iwamoto; 和世岩本; Kazuo Tanie; 和雄谷江
Original assignee: Agency of Industrial Science and Technology
Current assignee: National Institute of Advanced Industrial Science and Technology
Priority date: 1995-05-16
Filing date: 1995-05-16
Publication date: 1996-11-29

Abstract

(57)【要約】【目的】広視野映像と狭視野映像を組合せ、同じ走査
線数のモニタを使用しても、周辺の背景を構成する広視
野映像を低解像度で表示し、視線に追従して注視点の狭
視野映像を高解像度で表示することができるので、現実
感の高い映像を装着者に与えることができ、また、特
に、視線追従範囲を垂直・水平の２次元に拡張した広視
野高解像度映像提示装置を得ることができる。【構成】装着者の視線に対応した映像を作成する作画
装置と、前記作画装置で作成した映像を装着者に提示す
る映像位置制御装置を含む映像提示装置と、前記装着者
の視線を検出する視線検出装置とを備え、かつ前記映像
位置制御装置は直角をなす２軸のまわりに回転可能なミ
ラーと前記ミラーを回転駆動する駆動装置とを有し、前
記視線検出装置からの信号によって前記作画装置を制御
しかつ前記映像位置制御装置を制御するように構成す
る。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、臨場感の高い映像を
人に提示するための視線追従方式による広視野高解像度
映像提示装置に関するものである。

【０００２】

【従来の技術】ＴＶカメラで撮影した情景を臨場感を持
って人に視覚的に表示したり、あるいはコンピュータの
中で作られた仮想的世界を人に臨場感を持ってグラフィ
ック表示するために、ヘッドマウントディスプレイが開
発されている。このヘッドマウントディスプレイは人の
左右両眼の前にそれぞれ独立に小形のＴＶモニタを配置
し、立体感のある映像を人に提示することを可能にする
装置である。

【０００３】一般には、ゴニオメータや磁気的な方法で
計測される頭の動きに応じて、ＴＶカメラあるいはコン
ピュータディスプレイ上に生成されるグラフィックス像
を操作し、そうして生成された映像を左右両眼のディス
プレイに提示することで、あたかもＴＶカメラの置かれ
た位置で外界を見ているかのような、あるいはコンピュ
ータグラフィックスが提示する映像の世界の中に実在し
てその世界を見ているかのような感覚を生成することが
できる。ヘッドマウントディスプレイはこうしたいわゆ
る人工現実感システムの視覚表示装置として注目されて
いるが、一方、左右両眼への映像提示に小形モニタを用
いるため、モニタの外枠が常に視野内に入り、臨場感が
損なわれるという欠点があることも指摘されている。

【０００４】

【発明が解決しようとする課題】人は通常眼球の中心を
軸として視野角±４０゜の視野を有するといわれてい
る。従って、ヘッドマウントディスプレイではこの領域
をカバーする画面の大きさを有するＴＶモニタを両眼の
前方に配置しないと、人はＴＶモニタの枠が見えるた
め、結果的に提示される映像は枠を通して情景をのぞい
ているような感じを持つようになる。こうした問題を解
決する一つの方法は人の最大視野をカバーする画面を有
するＴＶモニタを導入することであるが、一般にＴＶモ
ニタに映像を表示する走査線の数は制限があるため（例
えば通常のＮＴＳＣ方式では走査線は５２５本、高品位
ＴＶモニタの走査線は１１２５本程度）、大きな画面の
ＴＶモニタを使うと像の解像度が低下する。この解像度
の低下は人にぼけた像を提示することになり、臨場感を
損なう一因となる。

【０００５】この問題を解決するには、人の視力を損な
わない高解像度な映像を画面に表示できる走査線数の多
いＴＶモニタを開発することであるが、現状では人の視
野に対応する、高解像度ＴＶモニタを開発することは技
術的に困難である。この発明は、このような視野の狭い
現状のヘッドマウントディスプレイの視野を、解像度を
落とすことなく拡大する方法を提供すべく成されたもの
である。人は注視点（眼球の中心軸すなわち視線を向け
て見ている対象の位置）およびその狭い周囲でのみもの
がよく見えて（通常は視線を中心に±５゜の領域）、そ
れ以外の領域では像がぼけて見えるという現象が知られ
ている。この発明はこうした生体の特性に注目し、オプ
トメカトロニクス的方法により、広視野・高解像度なモ
ニタを用いたのと等価な像を操作者に提示できる装置に
関するものである。

【０００６】このような人の注視点及びその狭い周囲だ
けを高解像度に表示するためには、まず人の注視点すな
わち、人の視線を検出して、その人の視線に追従して高
解像度の映像を人に与えるのがうまい解決策である。こ
の特許出願の出願人は先にオプトメカトロニクス的方法
により人の視線を検出し、その人の視線に追従して高解
像度の映像を人に与えるヘッドマウントディスプレーを
提案した（平成５年特許願第１７４９３５号及び平成５
年特許願第２２２７９４号参照）。この先に提案された
視線追従型ヘッドマウントディスプレーは、作画装置と
映像提示装置と視線検出装置を備え、撮像装置はカメラ
装置と撮像方向制御装置とを有し、映像提示装置は、モ
ニタと接眼光学系とを備える。作画装置で撮影された映
像は処理されたのち、接眼光学系を通して装着者の眼球
に与えられる。装着者の眼球の視線が動くと、視線検出
装置で検出し、眼球の視線とモニタの中心とを一致さ
せ、また眼球の視線と一致するようにカメラ装置の向き
を変えるように構成したものであり、眼球の位置を正確
に測定して、その眼球の視線に対応した範囲の映像情報
だけを人の眼球に正面から与えるようにして映像情報を
絞り込んで解像度を上げることができるのであるが、視
線追従範囲が水平または垂直方向の一次元に制限される
という問題がある。

【０００７】この発明は上記の如き事情に鑑みてなされ
たものであって、広視野映像を提示することが可能であ
るとともに注視点において高解像度の映像を提示するこ
とができ、かつ、人の視線の検出が容易で、映像の追従
も良好に行うことができて、仮想現実感の実現を良好に
行うことができるとともに、装置の構成も簡単であり、
特に視線追従範囲を垂直・水平の２次元に拡張した投影
方式による眼球運動追従型視覚提示装置を提供すること
を目的とするものである。

【０００８】

【課題を解決するための手段】この目的に対応して、こ
の発明の視線追従方式による広視野高解像度映像提示装
置は、装着者の視線に対応した映像を作成する作画装置
と、前記作画装置で作成した映像を装着者に提示する映
像提示装置と、前記装着者の視線を検出する視線検出装
置とを備え、前記作画装置は広視野映像を作成する広視
野映像作画装置と前記広視野映像よりも狭い視野角で高
解像度の狭視野映像を作成する狭視野映像作画装置とを
含み、前記映像提示装置は、前記作画装置で作成した映
像を表示する表示装置と、前記装着者の眼球の前方に配
置されていて前記表示装置に表示された映像を透過する
接眼光学系と、前記接眼光学系に入射する狭視野映像の
位置を制御する映像位置制御装置とを備え、前記表示装
置は前記広視野映像を表示する広視野映像モニタと前記
狭視野映像を表示する狭視野映像モニタとを有しかつ前
記映像位置制御装置は直角をなす２軸のまわりに回転可
能なミラーと前記ミラーを回転駆動する駆動装置とを有
し、前記視線検出装置からの信号によって前記作画装置
を制御しかつ前記映像位置制御装置を制御するように構
成したことを特徴としている。

【０００９】

【作用】眼球の動きに対し光学系を操作して、常に視線
がモニタの中心一点を見つめるようにすると同時に、モ
ニタの中心領域には、直接眼球の前にモニタが置かれて
いる場合に眼球が注視するはずの領域の像を高解像度で
提示し、その領域の周囲の映像を低解像度で提示する装
置であり、その映像は映像を透過させる接眼光学系を用
いて装着者の正面から装着者に与えられる。

【００１０】まず、装着者の眼球の直前に接眼光学系を
配置し、接眼光学系の一点を見つめさせると、その視線
は接眼光学系を透過し、更にハーフミラーにより外部に
取り出される。その視線方向をモニタの中心を向くよう
に変更すると、光学系の双方向性から結果的に装着者は
接眼光学系を介して、モニタの中心を見ることが出来
る。一方、眼球が動き視線の向きが変わったときは、そ
れをモニタの中心を通る軸上に置かれたセンサで眼球の
動きを捉えて検知し、それに応じてミラーの向きを２次
元で制御して、常に視線の向きがモニタの中央に固定さ
れるようにする。また、これと同時に、眼球の動きに応
じて作画装置を制御して、眼球の運動に応じた視線方向
の映像がモニタ中央に映し出されるようにする。ミラー
の制御や作画装置の制御は視線信号発信装置からの眼球
の位置信号にもとづき、それぞれの制御装置が行う。

【００１１】

【実施例】図１（ａ），（ｂ）にこの発明の基本的考え
方を示す。例えば人が肉眼で対象物１０を見つめる場合
を考える。まず眼球が符号１５で示す位置にあってその
視線が５０の方向を向き、物体１０上の点Ｐ₁ を注視す
るとする。また次に視線の向きを変えて、眼球を１５′
の位置に動かし、視線を５０′の方向に向けて、点Ｐ₂
を注視する状況を想定する。この時、人の視覚系の特性
から、各眼球位置において人は注視点Ｐ₁ ，Ｐ₂ の近傍
で高分解能な映像を取得することができる。一方、注視
点からはなれた外方位置の状態は明瞭には判別できない
から、広画角・低分解能な映像を得ることができる。こ
うした視覚の特性を利用して、視線方向の注視点のみ常
に高分解能な映像を提示するようにして、等価的に広画
角・高分解能な映像を提示することを考える。

【００１２】そのために、図１（ａ）と等価なディスプ
レイ系として図１（ｂ）のような系を考える。すなわ
ち、まず図１（ｂ）の（イ）のように眼球の運動に応じ
てその視線方向にモニタの位置が動くディスプレイ系
と、図１（ｂ）の（ロ）に示すように、カメラの位置
Ｏ′および光軸が図１（ａ）の眼球の位置Ｏおよび視線
と一致するように置かれた撮像系を想定する。ここで眼
球が図１（ａ）の位置１５に対応する図１（ｂ）の位置
１５にある時に、カメラ装置５を視線５０の方向に向
け、点Ｐ₁ を撮像してその注視点像を高解像度で視線５
０方向にモニタ１２２に写し、また、眼球が１５′に移
動したときはその動きを検出して、それに追従するよう
にモニタ１２２を視線５０′方向の１２２′の位置に動
かすと同時に、カメラもまたその視線５０′に一致する
方向に動かし、点Ｐ₂ を撮像してその注視点像を高解像
度で位置１２２′にあるモニタ１２２に写す。ここでモ
ニタの大きさを高視力を有する眼球の狭視野をカバーす
る程度の大きさにすれば、人は図１（ｂ）のシステムで
も図１（ａ）とほぼ同様の映像を受容することができ
る。ここで、図１（ｂ）の（イ）のようにモニタ１２２
を動かせば、対象物１０の全面を一度に提示する固定モ
ニタを用いる場合よりも、小さい画面のモニタで同様の
像の提示効果を得ることが出来るから、同一走査線数の
モニタを利用する場合、より解像度の高い像を提示する
ことが可能になる。次に狭視野映像の作成と同様に、広
視野映像も装着者の視線と一致させて作成し、人が低視
力となる眼球の広視野をカバーする程度の大きさのモニ
タに提示し、狭視野映像を広視野映像中にスーパーイン
ポーズして装着者に与える。ただし、図１（ｂ）の
（イ）のようにモニタ１２２を高速な眼球の動きに応じ
て動かすのは困難であるから、この発明ではこれと等価
な効果を、光学系を用いて実現することを考える。

【００１３】以下に、その詳細を一実施例を示す図面を
用いて説明する。図２において、１は広視野高解像度映
像提示装置である。広視野高解像度映像提示装置１は右
眼用装置１００ａと左眼用装置１００ｂを備えている。
右眼用装置１００ａは装着者１４の右眼１５ａに与える
映像を取扱う装置であり、左眼用装置１００ｂは装着者
１４の左眼１５ｂに与える映像を取扱う装置であるが、
右眼用装置１００ａと左眼用装置１００ｂとは対称的な
構成であるので、ここでは右眼用装置１００ａについて
説明する。右眼用装置１００ａは作画装置２と映像提示
装置３と視線検出装置４とを備えている。作画装置２は
主としてモニタで提示すべき映像を作成するための装置
である。作画装置２はコンピュータグラフィックス装置
や対象物１０を撮影して映像を作成する撮像装置２ａで
構成することができるが、いずれの場合も、その作成さ
れる映像は装着者１４の視線５０に対応した内容のもの
であって、したがって装着者１４の視線５０が変われば
映像の内容も変るものである。以下に説明する実施例で
は作画装置２として対象物１０を撮影して映像を作成す
る撮像装置２ａを用いる場合について説明する。又、映
像提示装置３は、装着者１４に作画装置２で作成した映
像を提示するための装置である。又、視線検出装置４は
装着者１４の眼球運動を測定して視線を検出し作画装置
２（撮像装置２ａ）及び映像提示装置３を制御するため
の装置である。

【００１４】撮像装置２ａは対象物１０を撮影するカメ
ラ装置５とカメラ装置５の撮像方向を制御する撮像方向
制御装置６とを備えている。カメラ装置５はこの実施例
では一対の広視野用ＴＶカメラ５Ａ，狭視野用ＴＶカメ
ラ５ａを備え、また撮像方向制御装置６は、ハーフミラ
ー６０Ａ、ミラー６０ａ、スキャナー６１Ａ，６１ａ、
スキャナ駆動回路６２、スキャナコントローラー６３か
らなっている。

【００１５】広視野用ＴＶカメラ５Ａ、狭視野用ＴＶカ
メラ５ａは自動焦点機能を備えていて、ＴＶカメラ５
Ａ、及び５ａの焦点は対象物１０の表面上の同一点Ｐに
一致している。広視野用ＴＶカメラ５Ａで撮像された広
視野映像４０は画像処理装置１２Ａで画像処理された後
に広視野用モニタ２４Ａに表示される。狭視野用ＴＶカ
メラ５ａで撮像された狭視野映像４１は画像処理装置１
２ａで画像処理された後に狭視野用モニタ２４ａに表示
される。ここで注意すべき点は、広視野映像４０と狭視
野映像４１とは後にスーパーインポーズにより重ね合わ
されるのであるが、広視野映像４０中の中央で狭視野映
像４１が重ね合わされるべき部分は映像が欠除されて存
在しない。このような広視野映像４０の画像処理は画像
処理装置１２Ａで行われる。広視野映像４０と狭視野映
像４１は映像提示装置３の接眼光学系１３に送られる。

【００１６】映像提示装置３は一対の接眼光学系１３を
有する。また表示装置として広視野用モニタ２４Ａ、狭
視野用モニタ２４ａとを有する。更に映像位置制御装置
１０１を有する。接眼光学系１３は接眼レンズ２９ａ，
２９ｂで構成され、或るいは平成５年特許願第１７４９
３５号及び平成５年特許願第２２２７９４号明細書、図
面に記載されたものを使用することができる。

【００１７】この映像位置制御装置１０１は、人間の視
覚が視線方向の一定領域にのみ高解像度の像を受容する
能力を持つことに着目し、視線検出によって得られた視
線方向の一定領域に高解像度の狭視野映像４１を提示
し、その周囲には低解像度だが広視野の広視野映像４０
を提示することによって、広視野で高解像度の映像を提
示したのと同じ効果を得るためのものである。視線追従
範囲を垂直・水平の２次元に拡張した点がこの発明の視
線追従による映像位置制御装置１０１の特徴である。

【００１８】その基本原理は、図２に示すように、まず
同種の２つの広視野用モニタ２４Ａ、狭視野用モニタ２
４ａの映像から対物レンズ３０Ａ，３０ａにより、それ
ぞれ広視野・低解像度の広視野映像４０と狭視野・高解
像度の狭視野映像４１が生成する。低解像度の広視野映
像４０はハーフミラー３１を透過し、高解像度の狭視野
映像４１は、ハーフミラー３１を反射させることによっ
てスーパーインポーズした映像を装着者１４に投影す
る。そして後述する視線検出装置４によって検出された
視線方向データに応じて狭視野映像４１を常に視線方向
に一致するように提示させるものである。そして狭視野
映像の提示位置を視線方向に常に一致させるためには、
水平・垂直の両方向に視線追従範囲を拡張することは不
可欠であり、そのためには入射した狭視野映像４１をハ
ーフミラーなどの反射によって、２次元に移動追従させ
る機構が必要になる。高解像度の狭視野映像を２次元移
動を実現させる機構としてはジンバルを使用したジンバ
ル方式と分離した２軸を使用した分離制御方式が考えら
れる。

【００１９】まずジンバル方式を図３について説明す
る。図３はジンバル方式の構成を示している。ハーフミ
ラー３１を駆動する駆動装置であるスキャナー３５，３
６とハーフミラー３１の部分をジンバル３２によって２
軸化し直交する回転軸３３，３４に関して回転可能とし
たものである。この方式では映像光路が短く光学設計も
容易で、機器配置のための位置調整などが簡単である。
しかしながらこの方式では、狭視野映像４１を垂直に移
動させるために、スキャナー３５，３６で２軸とも動か
す必要があり、かつこの場合には図４に示すように映像
の回転が発生する。

【００２０】次に分離制御方式を図５について説明す
る。図５は分離制御方式の構成を示している。これは構
成にさらにミラー３７を追加し、駆動装置である２つの
スキャナー４２，４３によって別個に配置した回転軸４
４，４５に取付けた別個のハーフミラー３１、ミラー３
７を回転させ狭視野映像４１の水平・垂直方向移動を別
々に制御する方式である。この方式では、ジンバル方式
に比べ映像光路が長くなるが、図６に示すように狭視野
映像４１はスキャナー４２により垂直方向に、スキャナ
ー４３により水平方向に移動可能であるため、制御が容
易で、かつ映像の回転が発生しない。

【００２１】尚、図２には分離制御方式の映像位置制御
装置１０１が示されている。図７には分離制御方式の映
像位置制御装置１０１の構成が斜視図で示されている。

【００２２】一方、ハーフミラー７１の透過側には視線
検出装置４が配置されている。視線検出装置４はレンズ
７２、分割型光検出器（ＡＰＤ）、赤外ＣＣＤカメラ等
の光検出器７３及び眼球照明用光学装置７４を備えてい
る。眼球照明用光学装置７４は赤外ＬＥＤ７５を備えて
いる。光検出器７３は増幅回路７６を介して眼球位置演
算回路７７に接続し、眼球位置演算回路７７の出力はス
キャナコントローラー７８、スキャナコントローラー６
３、画像処理装置１２Ａに入力される。

【００２３】眼球位置演算回路７７は例えばコンピュー
タとソフトウェアによって構成することができ、光検出
器７３の出力信号に基づいて眼球の位置１５を演算し
て、スキャナコントローラー７８、スキャナコントロー
ラー６３、画像処理装置１２Ａに入力する。スキャナコ
ントローラー７８は例えばコンピュータとソフトウェア
とによって構成することができ、眼球位置演算回路７７
からの信号によってスキャナ４２，４３の駆動量を算出
しスキャナ駆動回路８１の動作を制御する。

【００２４】スキャナコントローラー６３は、例えばコ
ンピュータとソフトウェアとによって構成することがで
き、眼球位置演算回路７７からの信号によってスキャナ
６１の駆動量を算出し、スキャナ駆動回路６２の動作を
制御する。なお、図２において実線は電気的接続を示
し、破線は光軸を示している。

【００２５】このように構成された広視野高解像度映像
提示装置１における映像の提示操作は次の通りである。
遠隔の作業環境にある対象物１０は一対の広視野用ＴＶ
カメラ５Ａで撮影され、その信号は画像処理装置１２Ａ
で処理された後に広視野用モニタ２４Ａに表示される。
画像処理装置１２Ａにおける処理の内容としては、例え
ば、狭視野映像が表示されるべき画面の中央部の映像の
消去またはノイズの消去等の処理がある。一方、同じく
対象物１０は一対の狭視野用ＴＶカメラ５ａで撮影さ
れ、その信号は画像処理装置１２ａで処理された後に狭
視野用モニタ２４ａに表示される。画像処理装置１２ａ
における処理の内容としては映像の縮小またはノイズの
消去等の処理がある。

【００２６】広視野用モニタ２４Ａは映像を光路５４に
投入する。光路５４では広視野用モニタ２４Ａからの光
はハーフミラー３１を透過し、次に接眼光学系１３を通
して装着者１４の眼球１５に入射する。一方、狭視野用
モニタ２４ａの映像は光路５５からミラー３７で反射
し、ハーフミラー３１で反射されて光路５４に投入され
る。光路５４では広視野映像４０と狭視野映像４１とが
重なり合い、広視野映像４０の映像切欠き部分に狭視野
映像４１がはめ込まれた状態の図８に示すように合成映
像となり、この合成映像が装着者１４の眼球１５に与え
られて眼球１５の網膜上に結像する。これによって、装
着者１４の眼球１５の前方に対象物１０上の点Ｐの注視
点像と周辺像が合成映像により形成される。このとき、
眼球１５の位置すなわち視線は視線検出装置４によって
測定されている。視線検出装置４では赤外ＬＥＤ７５か
ら赤外光が発光し、眼球１５を照明する。眼球１５から
の反射した赤外光は、接眼光学系１３を通して光路５４
に投入され、ハーフミラー７１を通過して、視線検出装
置４に達し、レンズ７２を通して光検出器７３に入射す
る。光検出器７３では眼球１５の位置の変化によって出
力に変化が生じ、その信号を増幅回路７６を介して眼球
位置演算回路７７に入力し、眼球位置演算回路７７が眼
球の位置１５を算出する。

【００２７】次に、装着者１４が視線を動かして、つま
り眼球１５を動かすと、その眼球１５の赤外光で照明さ
れた像は接眼光学系１３を通しハーフミラー７１を透過
して視線検出装置４に入る。視線検出装置４では眼球１
５の像はレンズ７２を通して光検出器７３で検出され、
その像の信号が増幅回路７６で増幅されて眼球位置演算
回路７７に入力され、そこで眼球の位置１５の移動量及
び位置が検出される。そしてその眼球位置信号を撮像方
向制御装置６に入力し、撮像方向制御装置６は眼球の視
線の方向に狭視野用ＴＶカメラ５ａの撮像方向を変え
る。

【００２８】これによって、装着者１４の視線と狭視野
用ＴＶカメラ５ａの視線とが一致する。こうして装着者
１４の視線が向いた方向の映像情報だけが狭視野用ＴＶ
カメラ５ａで撮影されて狭視野用モニタ２４ａ上に表示
されることになる。

【００２９】一方、装着者１４の眼球１５が動くことに
よって、眼球１５からモニタ２４ａに至る光路５４が変
化し、従って眼球１５がモニタ２４ａの中心を見なくな
るので、これを一致させるために眼球位置演算回路７７
で算出した眼球１５の回転角θの１／２すなわち（１／
２）θだけハーフミラー３１，ミラー３７を回転させて
眼球１５の視線をモニタ２４ａの中心に一致させる。こ
の狭視野映像４１の位置は、ミラー３７を回転させるこ
とにより垂直方向に、ハーフミラー３１を回転させるこ
とにより水平方向に制御可能である。

【００３０】このハーフミラー３１、ミラー３７の制御
はスキャナコントローラー７８からの眼球位置信号にも
とずいてスキャナ駆動回路８１がスキャナ４２，４３を
駆動して行う。このようにして眼球１５の視線とモニタ
２４ａの中心が一致すると、モニタ２４Ａ、２４ａの像
が、装着者１４の眼球１５に入射され、眼球前方に先ほ
どのＴＶカメラ５Ａ、５ａでとらえた視線方向の合成映
像情報が形成される。こうして、本装置は視線が変化し
ても視線方向の映像のみを眼球に入射することを可能に
し、図１ｂと等価な効果をもつ系の構成を可能にする。

【００３１】なお、本説明では視線方向に狭視野用ＴＶ
カメラ５ａを制御して狭視野用モニタ２４ａ上に像を提
示するシステムについて記述したが、眼球位置信号に応
じて、コンピュータグラフィックス像を制御すれば仮想
の世界を表示する仮想現実感システムを得ることも可能
である。

【００３２】

【発明の効果】このように、この発明の視線追従方式に
よる広視野高解像度映像提示装置においては、図８に示
すように、広視野映像と狭視野映像を組合せ、同じ走査
線数のモニタを使用しても、周辺の背景を構成する広視
野映像を低解像度で表示し、注視点の狭視野映像を高解
像度で表示することができるので、現実感の高い映像を
装着者に与えることができる。しかも特に重要の点とし
て、この発明の視線追従方式による広視野高解像度映像
提示装置では、映像を接眼光学系を通して装着者の前方
から入射するので、映像の光路を屈折させる回数が少な
くなるなど、光路の構成が簡単になるので、映像にゆが
みが発生することが少なく、良好な映像を与えることが
できる。装着者の視線に追従してＴＶカメラの視線が変
化し、装着者の視線が向いた方向における映像だけを装
着者に与えることができるので、その視線方向周囲の像
を高解像で提示することで比較的小画面でも画面の枠を
意識させない高精度な像を表示することができ、装着者
は良好な視覚人工現実感を得ることができる。また、視
線を正確に測定することを可能にするとともに、視線の
追跡も容易にし、また、回転楕円鏡の焦点に人の眼球を
一致させる必要もないので装置の構成も単純化する効果
をもつ。また、特に、視線追従範囲を垂直・水平の２次
元に拡張した広視野高解像度映像提示装置を得ることが
できる。

【図面の簡単な説明】

【図１】眼球と対象物、眼球とディスプレイ、及びＴＶ
カメラと対象物の関係を示す説明図。

【図２】広視野高解像度映像提示装置の構成説明図。

【図３】ジンバル方式による映像位置制御装置の基本構
成斜視説明図。

【図４】ジンバル方式による映像提示の状態を示す説明
図。

【図５】軸別制御方式による映像位置制御装置の基本構
成斜視説明図。

【図６】軸別制御方式による映像提示の状態を示す説明
図。

【図７】軸別制御方式による映像位置制御装置の斜視説
明図。

【図８】組合せ映像を示す説明図。

【符号の説明】

１広視野高解像度映像提示装置２作画装置２ａ撮像装置３映像提示装置４視線検出装置５カメラ装置５Ａ広視野用ＴＶカメラ５ａ狭視野用ＴＶカメラ６撮像方向制御装置１０対象物１２Ａ画像処理装置１２ａ画像処理装置１３接眼光学系１４装着者１５ａ右眼１５ｂ左眼２４Ａ広視野用モニタ２４ａ狭視野用モニタ２９ａ接眼レンズ２９ｂ接眼レンズ３０Ａ対物レンズ３０ａ対物レンズ３１ハーフミラー３２ジンバル３３回転軸３４回転軸３５スキャナ３６スキャナ４０広視野映像４１狭視野映像４２スキャナ４３スキャナ４４回転軸４５回転軸５０′ 方向５０視線５４光路５５光路６０Ａハーフミラー６０ａミラー６１Ａスキャナ６１ａスキャナ６２スキャナ駆動回路６３スキャナコントローラー７１ハーフミラー７２レンズ７３光検出器７４眼球照明用光学装置７５赤外ＬＥＤ７６増幅回路７７眼球位置演算回路７８スキャナコントローラー７９スキャナコントローラー８１スキャナ駆動回路１００ａ右眼用装置１００ｂ左眼用装置１０１映像位置制御装置１２２，１２２′ モニタ

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号庁内整理番号ＦＩ技術表示箇所Ｈ０４Ｎ 7/18 Ｈ０４Ｎ 13/04 13/04 Ｇ０６Ｆ 15/62 ３６０

Claims

【特許請求の範囲】

【請求項１】装着者の視線に対応した映像を作成する
作画装置と、前記作画装置で作成した映像を装着者に提
示する映像提示装置と、前記装着者の視線を検出する視
線検出装置とを備え、前記作画装置は広視野映像を作成
する広視野映像作画装置と前記広視野映像よりも狭い視
野角で高解像度の狭視野映像を作成する狭視野映像作画
装置とを含み、前記映像提示装置は、前記作画装置で作
成した映像を表示する表示装置と、前記装着者の眼球の
前方に配置されていて前記表示装置に表示された映像を
透過する接眼光学系と、前記接眼光学系に入射する狭視
野映像の位置を制御する映像位置制御装置とを備え、前
記表示装置は前記広視野映像を表示する広視野映像モニ
タと前記狭視野映像を表示する狭視野映像モニタとを有
しかつ前記映像位置制御装置は直角をなす２軸のまわり
に回転可能なミラーと前記ミラーを回転駆動する駆動装
置とを有し、前記視線検出装置からの信号によって前記
作画装置を制御しかつ前記映像位置制御装置を制御する
ように構成したことを特徴とする視線追従方式による広
視野高解像度映像提示装置。
【請求項２】前記映像位置制御装置は１個の前記ミラ
ーと前記ミラーを支持するジンバルと、前記ジンバルの
２個の回転軸のまわりに前記ミラーを駆動する駆動装置
を有することを特徴とする請求項１記載の視線追従方式
による広視野高解像度映像提示装置。
【請求項３】前記映像位置制御装置は一方の軸のまわ
りに回転可能な一方のミラーと前記一方のミラーを駆動
する一方の駆動装置と他方の軸の回りに回転可能な他の
ミラーと前記他方のミラーを駆動する他方の駆動装置と
を有することを特徴とする請求項１記載の視線追従方式
による広視野高解像度映像提示装置。
【請求項４】前記ミラーのうち、光路上において最も
前記接眼光学系寄りに位置するものはハーフミラーであ
ることを特徴とする請求項１記載の視線追従方式による
広視野高解像度映像提示装置。