JPH0777665A - 画像表示装置及びその為の画像撮影装置 - Google Patents

画像表示装置及びその為の画像撮影装置

Info

Publication number
JPH0777665A
JPH0777665A JP6048645A JP4864594A JPH0777665A JP H0777665 A JPH0777665 A JP H0777665A JP 6048645 A JP6048645 A JP 6048645A JP 4864594 A JP4864594 A JP 4864594A JP H0777665 A JPH0777665 A JP H0777665A
Authority
JP
Japan
Prior art keywords
image
observer
display device
image information
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP6048645A
Other languages
English (en)
Inventor
Takasato Taniguchi
尚郷 谷口
Hideki Morishima
英樹 森島
Toshiyuki Sudo
敏行 須藤
Tadashi Kaneko
正 金子
曜子 ▲吉▼永
Yoko Yoshinaga
Tatsu Kobayashi
辰 小林
Susumu Matsumura
進 松村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP6048645A priority Critical patent/JPH0777665A/ja
Priority to EP94104880A priority patent/EP0618471B1/en
Priority to DE69433556T priority patent/DE69433556T2/de
Publication of JPH0777665A publication Critical patent/JPH0777665A/ja
Priority to US08/950,507 priority patent/US6445365B1/en
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/08—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
    • G09B9/30—Simulation of view from aircraft
    • G09B9/307—Simulation of view from aircraft by helmet-mounted projector or display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B2027/0192—Supplementary details
    • G02B2027/0198—System for aligning or maintaining alignment of an image in a predetermined direction
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Optics & Photonics (AREA)

Abstract

(57)【要約】 【目的】 観察者の注視点付近が特に高精細である、広
い視野画像を観察できる画像表示装置を提供する。 【構成】 複数の画像表示素子からの画像情報を合成
し、該合成画像を観察する画像表示装置において、観察
者の注視点を検出する手段を設け、該注視点の移動に応
じて、一方の画像の周辺部を他方の画像を形成する画素
間の境界に一致させるようにすると共に、前記合成され
る複数の画像を相対的に移動させる。

Description

【発明の詳細な説明】
【０００１】
【産業上の利用分野】本発明は広画角の像を表示する装
置に関し、特に、画像を観察する者の頭部や顔面に装着
して、液晶表示素子やＣＲＴ等の小型表示素子の画像情
報を虚像として拡大して観察する画像表示装置及びその
為の画像撮影装置に関するものである。
【０００２】
【従来の技術】多層膜反射面やホログラム光学素子等の
光学的に透明な光束結合素子を用いて、表示素子からの
表示情報（画像情報）と外界の光景等の画像情報とを同
一視野内で空間的に重畳して観察するようにした表示装
置は、一般にヘッドアップディスプレイ装置と呼ばれ、
各分野で利用されている。又、該ヘッドアップディスプ
レイ装置の光学装置の部品を小型にする為に、前記光束
結合素子を観察者の眼に比較的近い場所に設け、光学装
置をヘルメットに装着した表示装置はヘルメットマウン
トディスプレイ装置（ＨＭＤ装置）と呼ばれ、航空機の
操縦時の表示装置、ゲーム等の娯楽用、又は仮想現実感
（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）用の表示装置等の
様々な応用が提案されている。
【０００３】図２は、米国特許第４，０２８，７２５号
公報に記載されている表示装置としてのＨＭＤ装置の概
略図である。ＣＲＴ１０１、１０２から射出した表示光
はコリメータレンズ１０３、１０８によって略平行光束
となり、夫々ミラー１０４、１０７によって反射され、
ダイクロミラー１０５、１０９によって２つのＣＲＴ１
０１、１０２からの表示光は重畳される。この様にして
重畳された表示光は、ミラー１０６によって再び方向を
変えられ、レンズ１１０を通して拡大され、ハーフミラ
ー１１１で観察者の瞳１１４へ導光される。このとき、
ＣＲＴ１０１は広い視野画像１１３を表示し、ＣＲＴ１
０２は狭い視野画像１１２を表示する。また、ダイクロ
ミラー１０９は、ダイクロミラー１０５の中心付近を遮
光する様に設置されている為に、観察者はＣＲＴ１０１
で表示された広い視野画像１１３と、その中心付近に表
示されたＣＲＴ１０２からの狭い視野画像１１２とをハ
ーフミラー１１１の背後の光景等へ重畳して観察でき
る。
【０００４】また、本従来例では、赤外線の光源１１５
からの光が観察者の瞳１１４で反射されたいわゆるプル
キンエ（Ｐｕｒｋｉｎｊｅ）像をビームスプリッタ１１
６、及びフォトダイオード１１７、１１８からなる検出
部１１９によって検出することによって観察者の視線方
向を検出している。
【０００５】この視線検出手段の出力は可動のハーフミ
ラー１１１のサーボシステム（不図示）へ入力され、前
記の２つの視野画像は常に観察者の視線方向の前方へ表
示されることになる。
【０００６】
【発明が解決しようとする課題】図２に示す従来例で
は、広い視野画像と狭い視野画像の視野角は夫々２５
°、５°であり、狭い視野画像を高解像度の表示にする
ことによって、高解像度の表示画像を視野中心にして、
その周辺に広い視野画像を常に観察することになってい
る。しかしながら、上記従来例では、広い視野画像と狭
い視野画像とを重畳した画像を、視野検出手段からの信
号で制御されたハーフミラー１１１で視野中心部に常に
呈示する様にされている為に、観察者が広い視野画像の
任意の点を注視したとしても、その画像は視野中心に視
認されることはなく、観察者の意図する部分を観察でき
ないという問題点があった。また、仮想現実感用の表示
装置としては、上記従来例の様な画角、例えば２５°よ
りもはるかに広画角なものが要求されており、例えば片
目で８８°の視野角を表示するディスプレイも商品化さ
れているが、これらの装置においては、表示画像の解像
度は使用する液晶表示素子の画素密度に依存しているた
め、現状では充分な解像度を有していないという欠点が
あった。
【０００７】本発明は、観察者が広い視野画像の中で、
観察者の見たい場所の画像を高精細な画像で観察できる
画像表示装置及びそのための画像撮影装置を提供するこ
とにある。
【０００８】
【課題を解決する為の手段】この目的を達成するための
特に観察者の見たい画像と背景の画像とが違和感を持た
ないように合成して広い視野画像を提供する為の本発明
の画像表示装置のある形態は、複数の画素によって第１
の画像情報を表示する第１の画像発生手段と、複数の画
素によって、前記第１の画像情報の一部である第２の画
像情報を表示する第２の画像発生手段と、観察者の視線
方向を検出する視線検出手段と、前記視線検出手段から
の出力信号に応じて前記第１の画像発生手段からの第１
の画像と前記第２の画像発生手段からの第２の画像とを
相対的に移動させて前記第２の画像の周辺部が前記第１
の画像の画素の境界に実質的に一致するように合成し
て、観察者の瞳に向ける光学手段と、前記視線検出手段
の出力信号に基づいて、前記第１の画像情報及び前記第
２の画像情報を変更する画像表示変更手段とを有するこ
とを特徴とする。
【０００９】更に好ましい形態は、画像が合成される
際、前記第１の画像の画素の間隔が、前記第２の画像の
画素の間隔の整数倍である。
【００１０】更に好ましい形態は、画像が合成される
際、前記第１の画像と前記第２の画像とが重畳する領域
の前記第１の画像情報を、前記第２の画像情報とする。
【００１１】更に好ましい形態は、前記重畳する画像の
領域は、前記第１の画像発生手段により表示しない。
【００１２】更に好ましい形態は、画像が合成される
際、前記第２の画像の中心部における画素密度は、前記
第１の画像の画素密度より高く、前記第２の画像の周辺
部における画素密度は、前記第１の画像の画素密度と実
質的に同一である。
【００１３】更に好ましい形態は、画像が合成される
際、前記第２の画像の中心部における輝度は、前記第１
の画像の輝度より高く、前記第２の画像の周辺部におけ
る輝度は、前記第１の画像の輝度と実質的に同一であ
る。
【００１４】更に好ましい形態は、前記第１、第２の画
像は、それぞれリレーレンズを介して中間結像面で合成
され、虚像として拡大され前記観察者の瞳に向けられ
る。
【００１５】更に好ましい形態は、前記リレーレンズは
それぞれ異なる結像倍率を有する。
【００１６】本発明の画像表示装置の他の形態は、前記
画像表示装置が、前記観察者の左右の目に対応して、そ
れぞれ設けられていることを特徴としている。
【００１７】更に好ましい形態は、左右の目に対応した
前記第２の画像発生手段は、それぞれの目に対応する視
差画像情報を表示する。
【００１８】更に好ましい形態は、前記第１の画像発生
手段は、兼用される。
【００１９】本発明の予め決められた位置の全周囲の画
像のうち観察者の見たい画像を観察者が観察する為の画
像表示装置の形態は、第１の画像情報を表示する第１の
画像発生手段と、前記第１の画像情報の一部である第２
の画像情報を表示する第２の画像発生手段と、観察者の
視線方向を検出する視線検出手段と、前記観察者の頭部
の位置を検出する頭部位置検出手段、前記第１の画像発
生手段からの第１の画像と前記第２の画像発生手段から
の第２の画像とを合成し、前記視線検出手段からの出力
信号に応じて、前記第１の画像に対して前記第２の画像
を相対的に移動させて、観察者の瞳に向ける光学手段
と、前記視線検出手段の出力信号及び前記頭部位置検出
手段の出力信号に基づいて、前記第１の画像情報及び前
記第２の画像情報を変更する画像情報変更手段とを有す
ることを特徴とする。
【００２０】更に好ましい形態は、予め決められた位置
の全周囲の画像を記録した画像メモリを有し、前記頭部
位置検出手段の出力信号に応じて該画像メモリの一部を
前記第１の画像発生手段に前記第１の画像情報として入
力する。
【００２１】本発明の画像撮影装置のある形態は、第１
の画像情報を表示する第１の画像発生手段からの第１の
画像を観察する観察者の視線方向を検出する視線検出手
段と前記観察者の頭部の位置を検出する頭部位置検出手
段とからの出力信号に基づいて、前記第１の画像に、前
記第１の画像情報の一部である第２の画像情報を表示す
る第２の画像発生手段からの第２の画像を合成した合成
画像を表示する画像表示装置のための画像撮影装置で、
前記第１の画像情報を得るための第１の撮像手段と、前
記第２の画像情報を得るための第２の撮像手段と、前記
頭部位置検出手段からの出力信号に応じて、前記第１の
撮像手段の撮影方向を制御する手段と、前記視線検出手
段からの出力信号に応じて、前記第２の撮像手段の撮影
方向を制御する手段とを有することを特徴としている。
【００２２】更に好ましい形態は、記第１の撮像手段か
ら得られた画像情報を、前記第２の撮像手段から得られ
た画像情報より、情報の圧縮率を高めて前記画像表示装
置に伝送する手段を有する。 更に好ましい形態は、前
記画像撮影装置が、前記観察者の左右の目に対応して、
それぞれ設けられている。
【００２３】更に好ましい形態は、前記第１の撮像手段
は、兼用される。
【００２４】
【実施例】図１は、本発明による画像表示装置の第１の
実施例を示す装置概略図である。蛍光灯などのバックラ
イト光源１からの光は液晶表示素子等の画像表示素子２
によって変調され、例えば点ａから射出される光束３が
表示される。この光束３は、ハーフミラー１６を通過し
レンズ４によって光束５へ変換され観察者の瞳６へ入射
する。このときレンズ４のパワー、及び光学装置を適宜
の値へ設定することによって、観察者は点ａ′から射出
された光束７として観察する。同様に、画像表示素子２
上の点ｂからの光束８は、レンズ４で光束９に変換さ
れ、点ｂ′から射出された光束１０として観察する。
【００２５】更に、バックライト光源１２からの光は液
晶表示素子等の画像表示素子１３によって変調され、例
えば点ｃから射出される光束１４が表示される。この光
束１４は、２軸に可動な駆動手段１５を有するハーフミ
ラー１６で反射され、レンズ４へ入射し、光束１７とな
って観察者の瞳６へ入射する。従って、観察者は点ｃ′
から射出された光束として観察することになる。同様
に、画像表示素子上の点ｄは虚像面１１上での点ｄ′と
して観察される。
【００２６】以上の様に、観察者は画像表示素子２の画
像情報を虚像２′として、更に画像表示素子１３の画像
情報を虚像１３′として、虚像の結像位置１１上に重畳
して２つの画像を拡大して観察することができる。これ
ら２つの虚像２′、１３′は背景としての画像情報２′
上のある部分に異なった画像情報１３′が重畳された合
成画像を形成しており、この画像情報１３′はコントロ
ーラ２６からの位置信号によって制御される駆動手段１
５によってハーフミラー１６を２軸に回転制御すること
によって、画像情報２′上の任意の場所に画像情報１
３′を表示させる。
【００２７】次に、画像情報１３′の表示位置について
説明する。本発明による画像表示装置は視線方向検出部
３５を有している。
【００２８】この視線検出方法としては従来から公知の
種々の方法、例えば、サーチコイル法、角膜反射法、リ
ンバストラッキング法などを用いることができるが、サ
ーチコイル法はコイルを巻き込んだ強膜コンタクトレン
ズ（通常のコンタクトレンズよりも大きい）を装着しな
ければならず、実用としては不向きであり、リンバスト
ラッキング法はしろめ（強膜）とくろめ（角膜）の境界
付近を照明する照明光のそれぞれでの部分での反射率の
差を反射光量を検出することで測定する方法であり、赤
外光源と２つの光検出素子で構成できるという利点はあ
るものの、垂直方向の測定は困難であるという問題が有
る。
【００２９】そのため本実施例では最も簡単な構成で、
十分な精度を有する角膜反射法による検出方法を用いて
いる。
【００３０】図１において、１８は観察者に対して不可
視の赤外光を放射する発光ダイオード等の光源であり、
投光レンズ１９の焦点面に配置されている。光源１８よ
り発光した赤外光は投光レンズ１９により平行光束２０
となり、ハーフミラー２２を通過し、ハーフミラー１６
で反射され、レンズ４を介して観察者の瞳６を入射照明
する。このとき、眼球の角膜（不図示）の表面で反射し
た赤外光の一部に基づく角膜反射像は、前述した光路を
再び戻り、ハーフミラー２２で反射され光束２１となっ
て、受光レンズ２３により集光され、イメージセンサ２
４上に角膜反射像を結像する。また虹彩（不図示）の２
つの端部からの反射光束も同様に受光レンズ２３によっ
てイメージセンサ２４上に像を結像する。これらの各特
異点（角膜反射像、虹彩の端部）を検出し、適宜の演算
処理を施すことによって、眼球光軸の回転角を求めるこ
とができる。たとえば β・L ・sin θ=(Za+Zb)/2-Zd により眼球光軸の回転角θを求めることが出来る。ここ
でβは各特異点のイメージセンサー24上への結像倍率で
あり、L は角膜の曲率中心から虹彩までの距離、Za,Zb,
Zdは夫々虹彩の2 つの端部及び角膜反射像のイメージセ
ンサー24上での像の位置である。
【００３１】上記の様な原理に基づいて構成された視線
方向検出部３５からの視線検出信号は検出回路２５で適
宜の演算処理を行い、コントローラ２６へ視線方向の出
力信号を入力する。
【００３２】この視線方向信号は、虚像１３′の位置信
号として駆動回路２７へ入力され、２軸方向（水平、垂
直方向）に回転可能な駆動手段１５によってハーフミラ
ー１６の傾きを制御し、虚像１３′は常に視線方向へ一
致させて表示されている。ハーフミラー１６を構成する
光学透明部材の厚みが厚いと、このハーフミラー１６の
回転によって画像２′の表示位置もわずかに移動してし
まうので、ハーフミラー１６の厚みはできるだけ薄い方
が望ましい。
【００３３】本実施例において、視線方向検出部３５
へ、バックライト光源１２、又は１からの光束が不要光
束となって入射するのを防ぐために、視線方向検出部３
５のハーフミラー２２とハーフミラー１６との間の適当
な位置に可視光を吸収又は反射し、赤外光のみを透過す
る光学フィルターを設ける事により、イメージセンサー
２４上への不要光の入射を防ぎ、検出信号の精度を高め
る事ができる。
【００３４】また、本実施例においては、視線方向検出
部のみを設けて、虚像１３′を表示する位置を制御する
場合についてのみ示したが、適宜の頭部位置検出方法
（後で詳しく説明を行う）、例えば周囲に磁場を形成し
て、頭部へ磁気センサを設ける方法等を用いて、観察者
の頭部の位置信号と視線検出信号を用いて、虚像１３′
の表示位置を制御することも可能である。
【００３５】特に、角膜反射法を用いた視線方向の検出
は、１ｍｍの反射像の動きが１０度の眼球運動に相当す
る為、頭の位置が平行に（回転しないで）１ｍｍ動いて
しまうと１０度の検出誤差を生じてしまう。その為、頭
部の位置検出手段の信号はこれをキャンセルするために
用いる事が望まれる。当然の事ながら、従来から公知の
水晶体後面からの反射像（第４プルキンエ像という）を
利用して、頭の動きをキャンセルする方法も用いること
ができるのは言うまでもない。しかしながら、後述する
様に本発明は頭部位置検出手段からの信号によって背景
としての画像情報２’を変化させることを特徴としてお
り、この特徴から頭部位置を常に検出しているので、第
１プルキンエ像を用いた簡単な角膜反射法を用いる視線
検出方法で十分である。
【００３６】以上の様に、本発明による画像表示装置
は、２つの画像表示素子２、１３からの画像情報を虚像
の結像位置１１上で相対的に移動させる手段を有するこ
とにより、背景としての画像情報２′上の任意の位置に
異なる画像情報１３′を表示することができる様にして
いる。
【００３７】このとき、画像情報１３′は視線方向検出
部３５による検出信号によってその位置を制御され常に
視線方向に一致させて表示される。
【００３８】ここで、画像情報１３′は画像情報２′の
一部分であって、その画質を高精細なものとすることに
よって、観察者は広画角な画像情報２′の見たい部分
（注視点付近）の画像情報１３′を高精細に観察するこ
とができる。
【００３９】また、頭部位置検出手段からの信号によっ
て背景としての画像情報２’を変化させ、更に、その画
像情報２’上の注視点を視線方向検出部からの信号によ
って抽出し、画像表示素子１３の表示情報を変更するこ
とで、観察者は頭と眼を移動させることにより非常に広
い、例えば、観察者の周囲３６０度の画像情報をあたか
もすべて高精細に表示されているかの様に観察すること
ができる。尚、上記の２つの画像の書き換えの順番は、
例えば注視点が移動した後に頭がその方向へ向く時など
の様に逆の場合もあるのは言うまでもない。
【００４０】一般にＬＣＤは、歩止まりとの兼ね合いか
ら、画素サイズが小さく且つ表示面積が大きいＬＣＤ
は、製造が困難であり、高価となる。本実施例において
は、ＬＣＤ２は表示面積が大きく、画素サイズも大きな
ＬＣＤ、ＬＣＤ１３は表示面積が小さく、画素サイズも
小さなＬＣＤであり、ＬＣＤ２の表示面積をＳ２、ＬＣ
Ｄ１３の表示面積をＳ１３とすれば、ＬＣＤ２の画面サ
イズとＬＣＤ１３の画面サイズは略
【００４１】
【外１】 となっている。又、ＬＣＤ２とＬＣＤ１３はレンズ４に
対しては、光学的に同一距離はなれた場所にあり、虚像
面１１上に拡大投影される像２′及び１３′の大きさの
比も略
【００４２】
【外２】 となっている。従って観察者は、ＬＣＤ２の像を虚像面
１１上の大きくて画素の粗い像、２′として又ＬＣＤ１
３の像を虚像面１１上の小さくて画素の細かな像１３′
として重畳して視認する事ができる。
【００４３】次に、ＬＣＤ２、ＬＣＤ１３に送られる画
像信号及び観察者の視認する画像について説明する。
【００４４】図３は本実施例において観察者が視認する
画像を説明する為の図である。図３（Ａ）は元の画像情
報であり、図３（Ｂ）は図３（Ａ）の元画像情報のうち
図１のＬＣＤ１３によって表示される画像情報であり、
前記頭部位置および方向検出手段により画像の切り出し
を行う場合は、図３（Ａ）は、前記広域表示する画像領
域２' の画像情報となる。
【００４５】図１で示したコントローラ２６は、前述の
検出回路２５からの視線位置信号を受け、元画像情報
（ア）のなかより視線位置を中心とし、虚像面１１上に
結像した時のＬＣＤ１３の表示領域に対応した大きさの
画像を元画像情報図３（Ａ）より切り出し、部分画像情
報図３（Ａ）とする。図１に示したコントローラ２６
は、元画像情報 図３（Ａ）を駆動回路２８に送るとと
もに画像情報 図３（Ｂ）を駆動回路２９に送り、駆動
回路２８及び駆動回路２９は、各々、従来ＬＣＤの駆動
に用いられているのと同様の方法で画像データのサンプ
リング等を用い、各々ＬＣＤ２、ＬＣＤ１３に画像を表
示する。
【００４６】図３の（Ａ′）は図１に示したＬＣＤ２
に、図３の（Ｂ′）はＬＣＤ１３に実際に表示される画
像であり、図１のＬＣＤ２は画素が大きく、表示面積が
大きいので、図３の（Ａ′）は表示画角が大きく粗い画
像となり、図３の（Ｂ′）は図１のＬＣＤ１３の画素が
細かく表示面積が小さいので、表示画角が小さく高精細
な画像となる。図１の駆動回路２７は、前述した視点位
置信号に従って図１のハーフミラー１６の２軸回転を行
い、ＬＣＤ１３のレンズ４による虚像の中心が観察者の
視点と一致する様な駆動信号をハーフミラー駆動系１５
に与える。従って観察者は、ＬＣＤ２に表示される図３
の（Ａ′）の画像とＬＣＤ１３に表示される図３の
（Ｂ′）の画像を重畳して虚像面１１上に視認し、且つ
ＬＣＤ１３に表示される画像図３の（Ｂ′）の中心は観
察者の視点と一致する事になる。図４は、本実施例にお
ける観察者の視認する画像であり、ＬＣＤ１３に表示さ
れた画像のレンズ４による虚像の中心と観察者の視点は
一致している。しかも、上述の処理によって、ＬＣＤ２
とＬＣＤ１３に表示された画像は重畳されて観察者に視
認され、注視点付近に高精細な画像を観察することがで
きる。
【００４７】このとき、ＬＣＤ１３に表示する画像を高
輝度で表示する様に駆動回路２９及び照明光源１２を設
定しておけば、注視点付近の高精細な画像の視認性を向
上することができる。さらにＬＣＤ１３の表示画像が中
心から周辺に行くに従って、輝度が徐々に落ちる様な手
段を講じれば、虚像面１１上に投影される狭い像１３′
と広い像２′の境界の部分における輝度差を目立たなく
できる。具体的には、駆動回路２９において、ＬＣＤ１
３に表示する画像の画像信号を中心から周辺に行くに従
い輝度が低くなる様な設定を行うか、ＬＣＤ１３に中心
部から周辺部に行くに従い光吸収率が高くなるＮＤフィ
ルター等の光学的フィルターを設置すればよい。
【００４８】画像の重畳部の境界における像の見にくさ
を解決する基本的方法としては、上述の方法の他に以下
に説明する方法がある。図５及び図６は、本発明におけ
るオーバラップをふせいだ実施例の画像の処理を説明す
るための図である。ただし、図５（Ｂ）（Ｃ’）、図６
（Ｂ）においては、説明のために実際の実施例より画素
を粗く描いてある。
【００４９】図５（Ａ）は、表示しようとしている元画
像情報であり、図６（Ａ）はＬＣＤ２に送られる画像情
報、図５（Ｃ）はＬＣＤ１３に送られる画像情報、図５
（Ｂ）は観察者が視認する合成された画像を示す。図６
（Ａ）内の黒色着色部（Ｅ）は、ＬＣＤ２が完全に黒色
を表示（画像を表示しない）する部分である。元画像情
報図５（Ａ）は、不図示の信号ラインにより図１のコン
トローラ２６に送られる。コントローラ２６は、前述の
検出回路２５からの視線位置信号を受け、元画像情報図
５（Ａ）を、元画像情報（Ａ）内の視線位置を中心と、
ＬＣＤ１３に表示すべき画像図５（Ｃ）と、該画像の元
画像情報図５（Ａ）のうち前述の画像情報図５（Ｃ）に
相当する部分を黒信号（輝度信号０）とした画像情報
図６（Ａ）に分割し、各々図１中の画像信号Ｂ及び画像
信号Ａとして駆動回路２９及び駆動回路２８に送る。
【００５０】駆動回路２９、駆動回路２８は、各々従来
ＬＣＤの駆動に用いられている方法で、画像データのサ
ンプリング等を行い、各々ＬＣＤ１３及びＬＣＤ２に前
述の画像信号Ｂ、Ａを送り画像を表示する。前述の様
に、図６（Ｂ）はＬＣＤ２に実際に表示される画像であ
り、画素が大きく表示面積が大きい事から、粗く表示画
角の大きな画像となる。図５（Ｃ’）は、ＬＣＤ１３に
実際に表示される画像であり、ＬＣＤ１３の画素が小さ
く表示面積が小さい事から、高精細で表示画角の小さな
画像となる。
【００５１】なおコントローラ２６から駆動回路２８に
送られる画像信号Ａは、コントローラ２６によって圧縮
された画像信号として送ることも出来る。
【００５２】本実施例においては、前述の様にＬＣＤ２
とＬＣＤ１３が図１のレンズ４に対して光学的に同一位
置に配置されている事及びハーフミラー１６の駆動によ
り、観察者の視認する画像は、図６（Ｂ）及び図５
（Ｃ′）を重ね合わせた画像図５（Ｂ）となる。ただ
し、観察者の視線の中心は、図５（Ｂ）の点Ｏであり、
これは、図１のＬＣＤ１３に実際に表示される画像図５
（Ｃ’）の略中心と一致している。
【００５３】図１の実施例において検出された視線中心
は、ＬＣＤ２の画素の大きさ及び画素配列とは関係なく
検出されたものである。図７は、図１のＬＣＤ２の画素
の大きさ及び配列と、ＬＣＤ１３に表示される画像の観
察者に対する表示位置の関係を説明するための図であ
る。
【００５４】図７において、格子状に表された図１のＬ
ＣＤ２の画素に対して、ＬＣＤ１３に表示される画像部
分を斜線によりぬりつぶされた部分で示す。
【００５５】前述の実施例では、視点中心が図１のＬＣ
Ｄ２の画素の大きさや画素配列を考慮せず決められてい
るので、ＬＣＤ１３に表示すべき画像情報図５の（Ｃ）
とＬＣＤ２に表示される画像情報図５の（Ａ）を重ね合
わせたときの境界は、ＬＣＤ２の実際の画素と画素の境
界と一致するとは限らず、一般にはＬＣＤ２の画素の一
部と重なる。従って駆動回路２８のサンプリング点が画
像情報図６の（Ａ）において、黒信号つまり輝度信号が
０の部分にかかる場合ＬＣＤ２に表示される黒部（画像
を表示しない部分）は、ＬＣＤ１３と重なる部分より大
きくなり、観察者の視認する画像のうち、ＬＣＤ２とＬ
ＣＤ１３の表示境界部に不必要な黒線（非表示部分）が
表れる。これを防ぐためには、ＬＣＤ１３の表示部の
縦、横の長さをＬＣＤ２の１つの画素の縦、横の長さの
夫々整数倍に設定するとともに、ＬＣＤ２の表示部の大
きさを、縦、横各々ＬＣＤ１３の整数倍に設定し、視線
センサーの視線位置信号をＬＣＤ２の画素配列にもとづ
く離散的な値に、コントローラ２６内で変換すればよ
い。
【００５６】たとえば、ＬＣＤ１３の表示部の縦、横の
長さを各々ＬＣＤ２の１つの画素の各々２倍、３倍と設
定し、ＬＣＤ２の表示部の縦、横をＬＣＤ１３の表示部
の縦、横の各々６倍と設定した場合を図８に示す。視線
センサーの出力が、虚像面１１上のＬＣＤ２の画素配列
の像（破線格子）及び、ＬＣＤ１３の虚像面１１上の像
の大きさで区切られたエリア群（実線格子）に対し、Ｌ
ＣＤ１３の虚像面１１上の像の大きさで区切られたエリ
アのいずれかのエリア内に入る場合（例えば、点Ａ）に
は、そのエリア内の中央の点Ｂ点を観察者が見ていると
判断し、前述の様に元画素情報図５（Ａ）を画像情報図
６（Ａ）及び図５（Ｃ）に分解する様にすればよい。上
述の視線出力の離散化は、図１のコントローラ２６内に
設置されたＣＰＵ、及び上述エリア群の位置データの記
録されたＲＯＭを用いて行う。
【００５７】このとき視線検知部３５のイメージセンサ
２４の画素の大きさと前記人眼の特異点のイメージセン
サ２４への結像倍率をＬＣＤ２の１画素が観察者に視認
される大きさに応じて適正に設定することにより、演算
処理を簡略化することが出来る。本発明においては、眼
球光軸の回転角θは、前に述べた様に β・Ｌ・ｓｉｎθ ＝ （Ｚａ＋Ｚｂ）／２−Ｚｄ により求められる。
【００５８】１画素が観察者に視認される大きさに対応
する眼球光軸の回転角にたいするＺａ、Ｚｂ、Ｚｄの値
がイメージセンサ２４の画素の整数倍になる様にβ及び
イメージセンサ２４の画素の大きさを設定すれば良い。
【００５９】視線検知の方法は、本発明で説明したもの
以外にも数多く提案されているがどの方法に対しても同
様の方法で演算処理を簡略化できる。また以上説明した
様に注視領域用のＬＣＤ１３による画像を広域表示用の
ＬＣＤ２による画像の画素ピッチを単位として移動する
場合には、ハーフミラー２２の駆動はＬＣＤ２による画
像の1 画素に対応した離散的な駆動でよく例えばステッ
ピングモーター等を用いることが出来る。
【００６０】尚、上述のＬＣＤ２の１つの画素の縦、横
の長さとＬＣＤ１３の表示部の縦、横の長さの夫々の
比、及びＬＣＤ２の表示部の縦、横の長さと、ＬＣＤ１
３の表示部の縦、横の長さの夫々の比は、説明の簡単の
ために設定した値であり、実際は使用目的に応じた数値
に設定できる。また、本実施例において、ＬＣＤ２の表
示画像とＬＣＤ１３の表示画像との境界において、画素
サイズの不連続な変化があり、目立つ場合がある。これ
を防ぐために、ＬＣＤ１３の表示画像の中心から周辺に
いくに従って表示画像を粗くしていくことで、該境界部
での画素サイズの変化を目立たなくする事ができる。
【００６１】図９は、上述の処理を説明するための図で
ある。図９（Ａ）は、図１のＬＣＤ１３に表示すべき画
像を示し、図９（Ｂ）に上述の処理を行い、周辺に行く
に従って表示画像を粗くして、ＬＣＤ１３に実際に表示
される画像を示す。図９（Ｂ）において、細い実線の格
子はＬＣＤ１３の画素を示し、太い実線はＬＣＤ１３の
中心を示すための中心線、斜めの２本の細い実線
（ａ）、（ｂ）は、図９（Ａ）の太い線の画像の境界を
示す。図９（Ｂ）の様に表示画像の表示方法を、ＬＣＤ
１３の中心から周辺にいくに従い粗くしていき、ＬＣＤ
１３と図１のＬＣＤ２の各々の表示画像の境界におい
て、ＬＣＤ１３の表示画像の粗さが、ＬＣＤ２の画素サ
イズによって定まる粗さと略等しくする様にして、画素
サイズの急激な変化による違和感を軽減させる事ができ
る。この処理を行うためには、図１の駆動回路２９での
サンプリングを図１のＬＣＤ１３の周辺部では粗く、中
心部では細かく行う様にすればよい。
【００６２】画素の平滑化のためには以下に述べる様に
注視部の画素に表示する画像信号を広域表示するＬＣＤ
２の画素の大きさに対応して粗くサンプリングした画像
信号ともとの画像信号との重み付き平均を取った信号と
し注視部画像の周辺に行くに従い粗くサンプリングした
画像信号の重みをおおきくして表示すると言う方法を用
いても良い。
【００６３】図１０は平滑化の方法を説明するための概
念図である。
【００６４】２' は、ＬＣＤ２による広域表示する画像
領域でありＬＣＤ２の画素に対応して（ａ−ｉ、Ａ−
ｊ）なる画素に別れている。（ｉ＝１..４、ｊ＝１..
５） １３' は、ＬＣＤ１３による注視部の画像領域でありＬ
ＣＤ１３の画素に対応して（ｂ−ｉ、Ｂ−ｊ）なる画素
に別れている。（ｉ＝１..７、ｊ＝１..７） 注視部の画像領域の内中心の９画素｛（ｂ−３、Ｂ−
３）、（ｂ−３、Ｂ−４）、（ｂ−３、Ｂ−５）、（ｂ
−２、Ｂ−３）、（ｂ−３、Ｂ−４）、（ｂ−３、Ｂ−
５）、（ｂ−４、Ｂ−３）、（ｂ−４、Ｂ−４）、（ｂ
−４、Ｂ−５）｝に対応する画像信号は、もとの画像信
号をそのまま流し注視部の画像領域の内中心をとりかこ
む１６画素 ｛（ｂ−２、Ｂ−２）、（ｂ−２、Ｂ−
３）、 （ｂ−２、Ｂ−４）、（ｂ−２、Ｂ−５）、
（ｂ−２、Ｂ−６）、（ｂ−３、Ｂ−２）、（ｂ−３、
Ｂ−６）、（ｂ−４、Ｂ−２）、（ｂ−５、Ｂ−２）、
（ｂ−５、Ｂ−６）、（ｂ−６、Ｂ−２）、（ｂ−６、
Ｂ−３）、（ｂ−６、Ｂ−４）、（ｂ−６、Ｂ−５）、
（ｂ−６、Ｂ−６）｝には、もとの画像信号と粗くサン
プリングされた画像信号との1 対1 の重みで平均を取っ
た信号を流し、注視部の画像領域の内最も周辺の２４画
素｛（ｂ−１、Ｂ−１）、（ｂ−１、Ｂ−２）、（ｂ−
１、Ｂ−３）、（ｂ−１、Ｂ−４）、（ｂ−１、Ｂ−
５）、（ｂ−１、Ｂ−６）、（ｂ−１、Ｂ−７）、（ｂ
−２、Ｂ−１）、（ｂ−２、Ｂ−７）、（ｂ−３、Ｂ−
１）、（ｂ−３、Ｂ−７）、（ｂ−３、Ｂ−１）、（ｂ
−３、Ｂ−７）、（ｂ−４、Ｂ−１），（ｂ−４、Ｂ−
７）、（ｂ−５、Ｂ−１）、（ｂ−５、Ｂ−７）、（ｂ
−６、Ｂー１）、（ｂ−６、Ｂ−７）、 （ｂ−７、Ｂ
−１）、（ｂ−７、Ｂ−２）、（ｂ−７、Ｂ−３）、
（ｂ−７、Ｂ−４）、（ｂ−７、Ｂ−５）、（ｂ−７、
Ｂ−６）、（ｂ−７、Ｂ−７）｝には、もとの画像信号
と粗くサンプリングされた画像信号との１対２の重みで
平均を取った信号を流す。
【００６５】粗くサンプリングされた画像信号は注視部
１３' の画素のある点例えば左上の点がかかる広域表示
する画像領域２' の画素（例えば（ｂ−４、Ｂ−２）に
対しては（ａ−２、Ａ−２）が対応する）に表示される
画像信号となる。注視部の画素の左上の点が広域表示す
る画像領域２' の画素の境界にかかる場合には注視部の
画素の右下の点がかかる広域表示する画像領域２' の画
素に表示される画像信号との重み付き平均をとるように
すれば良い。
【００６６】またＬＣＤ１３の画素サイズが実際に中心
部で小さく周辺部で大きく、中心から周辺部にいくに従
って徐々に大きくなっていく様に設計してもよい。図１
１は、上述のＬＣＤ１３の画素の大きさ及び配列を示す
ものである。最周辺部の画素の大きさは、図１のＬＣＤ
２の画素の大きさと略同じに設定してある。
【００６７】第１の実施例においては、前述のように表
示可能領域全域に渡り高精細な表示が可能な画像情報を
元に、高精細に表示する小画角部分（図１のＬＣＤ１３
に表示する画像）の画像情報と、粗く表示する大画角部
分（図１のＬＣＤ２に表示する画像）に分け、粗く表示
する画像部分では、サンプリング回路により、画像信号
の高周波成分を捨てていた。このような方法において
は、元画像を作成するための、ＴＶカメラやコンピュー
タ、または画像データを記録するための記録手段に対し
て高いスペックが要求されるか、若しくは画像情報を作
成するために、時間及びコストがかかる。
【００６８】以上の点に改良を加えたのが、図１２に示
した第２の実施例である。本実施例において、装置構成
はほとんど本発明第１の実施例と同じであり、元画像の
作成方法及び画像のコントロール法のみが異なる。本実
施例の説明においては、図１の実施例と異なる部分を重
点的に行い、図１の実施例と共通する部分については、
説明を簡単に行うかまたは省略する。
【００６９】図１２は、本発明第２の実施例の信号処理
部を説明するためのブロック図であり、図１の実施例と
同一部材には同一記号を付してある。
【００７０】５０は、ＣＰＵまたはグラフィックワーク
ステーション等のコンピュータか、またはプロセス間通
信等を行い、同期のとれた演算処理を行う複数のコンピ
ュータ等により構成される画像情報発生部である。画像
情報発生部５０は、不図示の外部記録装置または画像情
報発生部５０の内部の記録装置に画像表示領域内の画像
情報発生に必要なデータ、例えば、表示領域内の表示物
の３次元データ等を持ち、検出回路２５からの視線信号
を受け、視線を中心として、ＬＣＤ１３に高精細に表示
すべき注視部画像、及び該画像以外のＬＣＤ２に表示す
べきバックグランド画像を上記画像情報発生に必要なデ
ータをもとに、各々のＬＣＤに表示する画像に必要なだ
けの精細さで、画像情報発生部５０内の注視部画像発生
部５０−２及びバックグランド画像発生部５０−１で発
生させ、各々駆動回路２９及び駆動回路２８に送り、各
々ＬＣＤ１３及びＬＣＤ２に画像を表示する。注視部画
像発生部５０−２及びバックグランド画像発生部５０−
１は、各々ＬＣＤ１３、ＬＣＤ２の画素サイズ及び表示
部の大きさにより決定される精細さで、表示すべき画像
情報を従来用いられているグラフィック演算によって発
生させる。注視部画像発生部５０−２、バックグランド
画像発生部５０−１は、各々上記の演算を行うプロセッ
サ、またはコンピュータ、または並列的に一つのコンピ
ュータではしる２つのプログラムであってもよい。
【００７１】コントローラ２６は、視線信号を検出回路
２５より受け、ハーフミラー１６を２軸回転させるため
の駆動回路２７に駆動信号を送る。
【００７２】本実施例における画像情報の注視部、バッ
クグランド部への分割は本発明第１の実施例における分
割と同様の演算、操作を画像情報発生部５０内部で行え
ばよい。更に図６（Ｂ）に当たるＬＣＤ２に表示すべき
画像のうち、ＬＣＤ１３の画像により重畳される黒信号
（輝度信号０）の部分（Ｅ）にあたる画像情報は、まっ
たく発生する必要がなくその部分に黒色表示信号を入れ
ておけばよい。また本実施例においては、前記注視部画
像と前記バックグランド画像を本発明第１の実施例や上
述した本実施例の信号処理の様に基本的に一つの画面を
注視部とバックグランド部に分離するという処理の他
に、注視部を前景、バックグランド部を背景に割り当て
るという処理も可能である。図１３は、本実施例を上述
の様に注視部を前景、バックグランド部を背景に割り当
てるという処理を説明するための図である。図１３
（Ｃ）は、背景となる画像であり、図１２のバックグラ
ンド画像発生部５０−１により発生される。図１３
（Ａ）は、表示可能領域内の全画像情報を示し、同図内
ａ、ｂは前景となる人物を示す。ｃは、検出回路２５に
より検出された視線を中心に、ＬＣＤ１３に表示される
べき領域を示す。領域ｃが前景となるべき人物ａ、また
はｂにかかった場合、領域ｃ内に入る前景ａ、またはｂ
の部分の画像を図１２の注視部画像発生部５０−２が行
う。領域ｃ内の前景ａ、ｂ以外の部分は、黒色表示信号
でうめる。図１３（Ｂ）は、以上説明した処理により、
注視部画像発生部５０−２で発生され、駆動回路２９に
送られる画像情報であり、斜線部は黒色表示信号を示
す。観察者は、ＬＣＤ２に表示されたバックグランド画
像図１３（Ｃ）と、ＬＣＤ１３に表示された注視部画像
図１３（Ｂ）を重畳して観察できる。尚、領域Ｃが前景
ＡまたはＢにかからない場合は、図１２の注視部画像発
生部５０−２は全面黒色表示信号（輝度信号０）を発生
する。従って、観察者はバックグランド画像のみを視認
する。
【００７３】以上述べた処理においては、ＬＣＤ２に表
示されるバックグランド画像図１３（Ｃ）は、ＬＣＤ１
３に表示される画像と重畳する部分を黒色表示するとい
う処理は含まれていないので、観察者は２つの画像を完
全に重畳して観察する。この場合バックグランド画像全
体を注視画像にくらべて暗く表示する様にすることが好
ましい。
【００７４】以上の処理は、図１２の画像情報発生部５
０により行われる。また、注視領域画像とバックグラン
ド画像の重畳部におけるバックグランド画像の処理や、
注視領域画像とバックグランド画像の境界に対する処理
については、すでに述べた方法を行える事が可能である
事は言うまでもない。
【００７５】図１４は、本発明による画像表示装置の第
３の実施例を示す装置概略図であり、第１実施例で示し
た要素と同一要素には同符番を付している。本実施例
は、第１実施例に比べてリレーレンズ３１、３２を用い
たこと及び中間結像をさせていることが異なり、その他
の構成は同じである。
【００７６】図１４において、画像表示素子２、１３か
らの画像情報光は夫々リレーレンズ３１、３２によって
中間結像面３３上へ結像される。このとき、画像情報１
３の中間結像は画像情報２の中間結像のある一部分の画
像情報となる様に、該中間結像面上での結像位置を不図
示のコントローラ、駆動回路によって制御された駆動手
段１５を有するハーフミラー１６で制御され、中間結像
面３３上で該２つの画像情報を合成する。この様にして
合成された画像をレンズ４を介して観察することによ
り、観察者は虚像面１１で２つの画像を重畳して観察す
ることができる。
【００７７】本実施例においても、前記の視線方向検出
部３５を適宜の位置へ配置することによって、前記第１
実施例と同様に、画像表示素子１３の画像情報の表示位
置を制御する。この様にして、背景としての画像表示素
子２からの画像情報上の注視点近傍に表示された高精細
な画像情報を観察することができる。
【００７８】また、２つの画像を合成するものが中間結
像面３３であることから、可動のハーフミラー１６の移
動量（回転角度）も小さくて良いという効果もある。
【００７９】また、本実施例においては、高精細表示用
のＬＣＤ１３のリレーレンズ３２及びレンズ４による虚
像の大きさが、広域表示用のＬＣＤ２の画素のリレーレ
ンズ３１及びレンズ４による虚像の大きさの整数倍とな
る様にＬＣＤ１３の表示部の大きさ、リレーレンズ３２
の焦点距離、ＬＣＤ２の画素の大きさリレーレンズ３１
の焦点距離及びレンズ４の焦点距離が、設定されてお
り、視線方向検知部３５の視線位置信号をＬＣＤ２の画
素配列に基づく離散的な値にコントローラ２６で変換
し、ＬＣＤ１３の表示画像を移動させればＬＣＤ１３に
よる表示画像とＬＣＤ２による表示画像の境界は、ＬＣ
Ｄ２による画像の画素の境界と一致させることが出来
る。
【００８０】更に、本実施例において、中間結像面３３
の位置にスクリーンを設け、該スクリーン上で画像を合
成し、レンズ４を介して観察することもできる。この場
合は、スクリーンによって拡散される合成画像の光を観
察できるので、レンズ４のＮ．Ａを小さくすることが可
能となり、装置の小型化が図れるという効果もある。
【００８１】レンズ４は、図２、図１４では簡単化のた
め単一レンズとしているが、色消しされた二枚貼り合わ
せレンズが結像性能上望ましい。
【００８２】図１５は、本発明による画像表示装置の第
４の実施例を示す装置概略図であり、第３実施例で示し
た要素と同一要素には同符番を付している。
【００８３】本実施例は、第３実施例に比べて凹面ハー
フミラー等のコンバイナ素子３６を用いて、自然風景等
の他の画像情報と画像表示素子２、１３からの虚像を重
畳して、３つの画像情報を観察することができる。図１
５において、画像表示素子２、１３からの画像情報光
は、夫々リレーレンズ３１、３２によって中間結像面３
３上へ結像される。この中間結像面３３上で合成された
２つの画像情報は凹面ハーフミラーからなるコンバイナ
素子３６によって所定の発散光となって観察者の瞳６へ
入射し、虚像面１１に虚像として観察できる。
【００８４】本実施例では、コンバイナ素子３６として
凹面のハーフミラーを模式的に図示したが、平面ハーフ
ミラー又は平面ハーフミラーと接眼レンズの組合せ、あ
るいは非球面ハーフミラーや反射型ホログラムレンズ素
子など種々の光学素子が用いることができる。
【００８５】更に、本実施例では凹面ハーフミラーの結
像面が湾曲しているため、いわゆる“あおり光学系”と
いう配置にして、画像表示素子２、１３からの画像情報
のリレーレンズ３１、３２の中間結像面とこの凹面ハー
フミラー３６の結像面とを一致させる様にしているが、
これらは前述した様な種々のコンバイナ素子の夫々の特
性に応じて適宜変更されて設計される。
【００８６】以上の様に、本発明の画像表示装置では、
自然風景等の画像をコンバイナ素子３６を通して観察し
ながら、画像表示素子２及び１３の画像を同時に観察
し、且つ、視線方向検出部３５からの信号によってその
表示位置を制御された高精細な画像表示素子１３からの
画像情報を常に視線方向に観察することができる。尚、
リレーレンズ３１、３２は、本実施例の必須の構成要件
ではない。
【００８７】以上、第１実施例から第４実施例において
画像表示素子２、１３として、例えば単一の液晶表示素
子を用いて説明したが、Ｒ、Ｇ、Ｇ信号を夫々入力され
て、夫々の色画像を表示する液晶素子を備えて、ダイク
ロイックミラー等によって該色画像を合成表示する画像
表示素子を本発明に用いることも可能であり、特に高精
細に表示したい画像表示素子１３としてそのような複数
の液晶素子及び色合成系を用いるとよい。更に、画像表
示素子１３及びバックライト光源１２の代わりに、１次
元のＬＥＤアレイをビデオ信号で駆動し、該同期信号に
合わせてハーフミラー１６を回転させ、ＬＥＤ光を走査
して残像効果によって２次元画像を表示する画像表示機
構を用いることもできる。このとき、Ｒ、Ｇ、Ｂ夫々の
１次元ＬＥＤアレイを用いたとしても、その駆動回路は
簡単であり、しかもハーフミラー１６は、ＬＥＤアレイ
からの光の走査及び、残像としての２次元画像の位置を
偏向させる手段としての２通りの部品として兼用してい
ることや、その他の構成部品が少ないことから、本発明
による画像表示装置の小型、軽量化が図れるという効果
を有する。
【００８８】図１６は、本発明による画像表示装置の第
５の実施例を示す装置概略図である。本実施例は、両眼
視差に基づく視差画像を夫々の眼で観察することによっ
て立体画像を観察できる様にした画像表示装置である。
バックライト光源１からの光は液晶表示素子等の画像表
示素子２で変調され、ハーフミラー１６Ｒ 、１６Ｌ
を通過して、両眼の前に配置されたレンズ４Ｒ、４Ｌに
よって、夫々の眼６Ｒ 、６Ｌ へ入射し、虚像２′Ｒ
、２′Ｌ を虚像面１１に結像する。不図示の視線方
向検出部は、夫々の眼の視線方向４１、４２を検出し、
不図示のコントローラ及び駆動回路によって、ハーフミ
ラー１６Ｒ 、１６Ｌ の駆動手段１５Ｒ 、１５Ｌ
を制御して、夫々１３′Ｒ 及び１３′Ｌ なる方向
へ、バックライト光源１２Ｒ 、１２Ｌ によって照射
された画像表示素子１３Ｒ 、１３Ｌ からの画像情報
を虚像として結像する。このとき、画像表示素子２は背
景としての画像情報を表示しているが、画像表示素子１
３Ｒ 、１３Ｌ は、注視点ｅ近傍の画像１３′の視差
画像として夫々少し異なった画像情報を表示している。
このため、観察者は画像情報２′の見たい注視点ｅ近傍
の画像を立体的に観察することが可能となる。また、本
実施例においては、第１〜第４実施例では詳細に説明し
なかった不図示の頭部位置検出手段を装置の例えば頭頂
部に装着している。この位置検出手段は、適宜の方法が
利用でき、 Polhemus センサと呼ばれる磁気を用いるも
の、これはSourceと呼ばれる互いに直交する３個のコイ
ルから畤分割で発生する磁場を、同様の３個のコイル
（Sensor）で計測し、その３Ｘ３個の情報からSensorの
位置と姿勢を求めるという原理のものであり、また別な
方法としては、２台のカメラの画像から３角測量の原理
で求める光学的方法や、さらには、超音波発信機からの
信号が受信機に到達するまでの時間をいくつかの発信機
あるいは受信機の組み合わせについて計測し、それから
算出する超音波による方法、I. E. Sutherland が Pro
c. of the fulljoint Computer Conference Vol.33, p
p.757-764, (1968) で開示したメカニカルなリンク機
構を用いる方法などが挙げられるが、 本実施例では、
周囲に磁場を形成して、その磁場を検出する磁気センサ
を頭部に装着する方法を用いている。この様な頭部位置
検出手段からの頭部位置信号と、前記視線方向検出信号
とを用いて、適宜の演算処理を施して、不図示のコント
ローラへ入力し、背景としての画像情報２′を表示して
いる画像表示素子２の画像を変化させる。つまり、頭部
を固定したまま視線を動かして観察している場合は、画
像情報２′は変更されないが、頭部を移動、回転させる
ことによって、その移動、回転に応じて画像情報２′を
変更する。これとともに、視線方向検出信号によって注
視点ｅを求めて、その近傍の画像情報１３′を変更させ
る。ここで、上記の頭部位置信号と前記視線方向検出信
号との演算処理及び、そのときの表示画像との関係につ
いて、図１７、１８を用いて説明する。
【００８９】一般に、観察する対象物（見たい画像）に
対して注視点が移動すると、眼球はそれに対応して動く
し、この代わりに、頭部を移動させて追従することも可
能である。しかし、普通は両者の動きを併用して視線を
追従させている。
【００９０】ここでは、簡単の為に、眼球の回転中心と
頭部位置の原点とを一致させて考える。厳密には、頭部
の平行移動によっても視線方向は変化するのでこの補正
を行う必要が有るし、しかも頭部位置の原点（センサ位
置）と眼球の回転中心は一致することはないので、あら
かじめその相対位置をキャリブレーションしておく必要
がある。
【００９１】図１７において、Ｘを観察者の正面とする
直交座標系を考える。ここで、θ：頭部の左右方向の回
転、φ：首の上下方向の回転、ψ：首の左右方向の傾
き、α：視線の水平方向の回転、β：視線の垂直方向の
回転、を表している。
【００９２】また、図中１０１は、図１６の虚像面１１
に相当し、ここでは観察者から常に一定の距離Ｒだけ離
れた半球を模式的に示しているが、実際には虚像面は観
察者の頭部の方向１０２が法線となる平面である。当然
の事ながら、この平面（虚像面）は表示装置のレンズ４
Ｒ、４Ｌの収差特性に依存して厳密な平面でないことも
あるし、所謂「取り囲み効果」を与える為に、意識的に
観察者に対して湾曲させることもある。
【００９３】この時、図示する様に観察者は正面からθ
1 だけ左へ頭を回転させ、φ1 上方に首を回転させ、し
かもψ1 の角度で首を右へ傾けた状態で、左下隅（α1
の角度で左方向、β1 の角度で下方）の点 e を注視し
ている。前記の仮定により、頭部の水平移動は０である
から、首を傾けることによる眼球運動座標系の変化を元
の直交座標系へ変換することにより視線の方向を算出で
き、それと同時に頭の位置やその方向も決定できる。
【００９４】ところで、視線の追従においては、注視点
が有効視野（一般には左右１５度といわれている）にあ
るときは眼球の運動のみで画像を認識でき、この範囲を
超えて注視点が移動すると頭部の動きも必要となる。
【００９５】従って、本実施例では、注視点近傍の高精
細な画像１３’の画角を３０度、広画角な画像２’の画
角を８０度としているが、図１８（Ａ）に示す様な極端
な場合（注視点 e が広画角な画像情報２’の左下隅に
ある場合）、視線方向の角度α、βはそれぞれ２５度と
なり（ここでは簡単の為に、画像２’、１３’の形状を
正方形として考えている）、前述の有効視野の範囲を超
えている。従って、この画像２’の内容を詳しく認識す
るためには、注視点 e が有効視野内に入る様に頭部を
その方向へ回転させる必要がある。
【００９６】その結果、図１８（Ｃ）に示す様に、画像
１３’が画像２’のほぼ中心の部分の画像とならなけれ
ばならないので、それに応じて背景画像を表示している
画像２’の表示画像情報を変更する。なお、図１８
（Ｂ）に示した画像２’と１３’との関係は図１８
（Ａ）の表示状態から観察者が頭部を回転させて図１８
（Ｃ）の表示状態へ変化する場合の途中の画像表示状態
を模式的に示す図である。
【００９７】この様に本実施例の画像表示装置は、頭部
の位置も検出することにより、頭部の位置の変化に応じ
て画像情報２′を変化させ、且つ見たい部分（注視点近
傍）の画像を高精細に表示することができる。もちろん
前述のことは第１実施例から第４実施例においても可能
である。そして、本発明はある画像情報２′のうちの見
たい部分（注視点近傍）を高精細に表示することを特徴
としているが、本実施例では、更にこの見たい部分を立
体画像として観察することができる。
【００９８】この場合には、画像表示素子１３Ｒ 、１
３Ｌ に表示する画像情報をそれぞれの眼に対応した視
差画像にすれば良い。
【００９９】しかも、立体画像は同周波数帯域の平面画
像に比べて画質が良いことが知られている。（例えば、
ＮＨＫ技研Ｒ＆Ｄ、Ｎｏ１５ １９９１年９月Ｐ６９−
Ｐ７５を参照）よって、本発明による画像表示装置を構
成することによって、注視点近傍の画質を更に向上させ
ることができるという効果も有する。また、当然なが
ら、前記第１実施例から第４実施例において説明した装
置構成を２系統用意して、夫々の眼へ夫々の視差画像を
表示すれば本実施例と同様の効果を得ることができる。
この場合、背景としての画像情報２′も、夫々の眼へ視
差画像として表示することも可能で、このときは全画面
が立体的に観察されていて、且つ注視点近傍をより高精
細な立体画像として観察できる画像表示装置を実現でき
る。各実施例において、背景として広い範囲を表示する
画像情報のうち、狭い範囲を表示する画像情報が重畳さ
れる領域については、何も表示しない状態にしてもよい
し、双方の重複する領域は同じ画像を重ねて表示するよ
うにしてもよい。
【０１００】また、各液晶表示素子の画面サイズ及び画
素密度が同じものを２つ用いて夫々に対応するリレーレ
ンズの倍率を変えれば、背景を示す比較的画素の粗い画
像と、注視点近傍に対応する比較的画素の細かい画像を
作り出すことができる。この場合２つの液晶表示素子
は、同じものを用いることができるので量産性に優れ
る。
【０１０１】次に、上記の画像表示装置に表示する画像
の撮影装置について説明する。
【０１０２】図１９は、本発明による画像撮影装置の第
１の実施例を示す装置概略図である。
【０１０３】広角レンズ１０４を装着したＴＶカメラ１
０３はハーフミラー１０５を介して、前方視野１０６を
比較的広範囲に撮影している。また、ＴＶカメラ１０７
は標準レンズまたは望遠レンズ等のレンズを用いて、比
較的狭い画角の前方視野１０９をハーフミラー１０５ご
しに撮影し、不図示の画像メモリに画像を記録してい
る。本実施例では前者の画角を約８０度、後者を約３０
度と設定している。この時、撮影方向コントローラ１２
１は撮影者の意図する撮影方向を適宜の方法により入力
され、コントローラ１１７によりパルスモータ等の駆動
部を有するゴニオステージ１１３や自動回転ステージ１
１４をそれぞれの駆動回路１１６、１１５で制御して、
広角の画像１０６を撮影する。
【０１０４】そして、撮影者が特に注目する位置の画像
をコントローラ１２０で制御して、駆動回路１１９、１
１８によりそれぞれパルスモータ等の駆動部を有するゴ
ニオステージ１１０や自動回転ステージ１１１を駆動し
高精細な画像１１９を取り込んでいる。
【０１０５】本実施例の撮影装置と例えば図２に示す表
示装置とを用いると、テレイグジスタンス技術における
視角センサとして非常に効果のあるシステムを構成でき
る。即ち、上記では撮影者の意図により撮影された画像
を、しかも撮影者の注目する部分のみを高精細に記録し
ているが、図２の表示装置では観察者（表示装置の装着
者）の頭の位置や視線を検出している。この信号を前記
撮影方向コントローラ１２１に入力して、広画角な画像
と高精細な画像とをそれぞれ撮影して、広角な画像（Ｔ
Ｖカメラ１０３からの出力）を図２の画像表示素子２
へ、高精細な画像（ＴＶカメラ１０７からの出力）を画
像表示素子１３へそれぞれ表示することにより、観察者
は本実施例の撮影装置が配置してある場所の周囲の画像
をあたかもそこにいるかの様に観察することができる。
【０１０６】また、本発明の撮影装置に用いる駆動手段
は、上記のパルスモータ等の駆動部を有するゴニオステ
ージや自動回転ステージなどに限られず、例えば２軸に
回転駆動できる駆動手段１２２を有するハーフミラー１
０５などを用いても実現でき、その時の構成例を図２０
に示す。この様な駆動手段の構成は、広角の画像を撮影
する手段と高精細な画像を撮影する手段が上下左右にパ
ン＆チルトでき、さらにその中で高精細な撮影手段が上
下左右にパン＆チルトできれば様々なものが用いること
ができるのは言うまでもない。
【０１０７】図２１は、本発明による画像撮影装置の第
２の実施例を示す装置概略図である。
【０１０８】本実施例においても、撮影方向コントロー
ラ１２１を用いて撮影者の意図を反映した画像の取り込
みが可能であるが、ここでは図４に示す画像表示装置と
供に用いた場合について説明する。
【０１０９】図１６において説明した不図示の頭部位置
検出手段及び視線検出手段からの信号は撮影方向コント
ローラ１２１にほとんどリアルタイムで入力される。こ
のコントローラ１２１で頭部位置検出信号を用いて視線
方向検出信号に対する頭の移動を補正し、観察者が向い
ている方向と、注視している方向とを求め、コントロー
ラ１１７及び駆動回路１１５・１１６により撮影装置全
体１１２を観察者の向いている方向へ向け、広角レンズ
１０４を装着したＴＶカメラ１０３で広角な画像１０６
を撮影する。また、右眼と左眼の方向から見た画像１０
９Ｒ、１０９ＬとをそれぞれのＴＶカメラ１０７Ｒ、１
０７Ｌで撮影するために、２軸に回転可能なミラー１２
６Ｒ、１２６Ｌの方向を、前記視線検出手段からの信号
に基づきコントローラ１２４Ｒ、１２４Ｌで制御する。
【０１１０】このようにして撮影された画像はそれぞれ
のＴＶカメラコントローラ１２７、１２８Ｒ、１２８Ｌ
から出力され、前述の表示装置へ入力される。
【０１１１】即ち、本装置で撮影された広角な画像１０
６は、図１６の画像表示素子２に表示され、虚像２’を
形成する。また、ＴＶカメラ１０７Ｒ、１０７Ｌからの
画像は、それぞれ図１６の画像表示素子１３Ｒ、１３Ｌ
に表示され虚像１３’となる。このとき図より明かな様
にそれぞれの画像には視差を生じている。従って、観察
者は本実施例の撮影装置で撮影した１０９の方向の画像
を、図１６の表示装置を用いて立体的な画像１３’を観
察することができる。このとき、前述した様に画像２’
は画素密度が低くて良く、もしＴＶカメラの撮像素子密
度が１０３と１０７で同一であった場合には、ＴＶカメ
ラコントローラ１２７からの画像表示装置への画像伝送
は、ＴＶカメラコントローラ１２８からの画像伝送より
も画像圧縮率をたかめ、転送レートを高くすることもで
きる。
【０１１２】ここで用いる画像圧縮方法としては、従来
より公知の方法 H.261, JPEG, MPEG等様々な方法が用い
ることができる。
【０１１３】更に、本実施例の画像を記録するには、図
１６の表示装置で見た時に観察者が向いている方向と、
注視している方向との情報を必要とするために、それぞ
れの画像に頭部位置検出手段からの信号や視線検出信号
を同時に記録しておき、表示装置を装着して観察した時
の頭部位置及び視線方向に一致する画像を画像メモリ１
２９からランダムアクセスして読み出した後に、表示装
置のそれぞれの表示素子へ入力すれば良い。
【０１１４】
【発明の効果】以上の様に、本発明による画像表示装置
は、複数の画像表示素子からの画像を合成し、該合成画
像を観察する画像表示装置において、前記複数の画像を
違和感なく合成すると共に相対的に移動させる手段を設
け、その移動場所に応じて表示画像を変化させることに
より、見たい部分の画像を高精細に表示できる効果を有
する。更に、両眼視差に基づく視差画像を夫々の眼へ入
射させて観察する様に構成することにより、見たい部分
（注視点近傍）を立体画像として観察でき、この場合は
立体画像による画質の向上も付加されて更に高精細な画
像を観察できる効果を有している。
【図面の簡単な説明】
【図１】本発明の画像表示装置の第１実施例を表わす
図。
【図２】画像表示装置の従来例を表わす図。
【図３】観察者が視認する画像を説明する為の図。
【図４】観察者が視認する画像を示す図。
【図５】画像処理を説明する為の図。
【図６】画像処理を説明する為の図。
【図７】合成画像の画素配列を説明する為の図。
【図８】合成画像の画素配列を説明する為の図。
【図９】合成画像の画素配列を説明する為の図。
【図１０】平滑化の方法を説明する為の図。
【図１１】合成画像の画素配列を説明する為の図。
【図１２】本発明の画像表示装置の第２実施例を表わす
図。
【図１３】合成画像を説明する為の図。
【図１４】本発明の画像表示装置の第３実施例を表わす
図。
【図１５】本発明の画像表示装置の第４実施例を表わす
図。
【図１６】本発明の画像表示装置の第５実施例を表わす
図。
【図１７】頭部位置検出信号と視線検出信号との関係を
説明する為の図。
【図１８】検出信号と画像表示状態との関係を説明する
為の図。
【図１９】本発明の画像撮影装置の第１実施例を表わす
図。
【図２０】本発明の画像撮影装置の第１実施例の変形例
を表わす図。
【図２１】本発明の画像撮影装置の第２実施例を表わす
図。
【符号の説明】
１、１２ バックライト光源 ２、１３ 画像表示素子 ６ 観察者の瞳 １１ 虚像面 １５ 駆動手段 １６ ハーフミラー ３３ 中間結像面 ３５ 視線検出部 ３６ コンバイナ素子 １０３、１０７ ＴＶカメラ １１０、１１１、１１３、１１４、１２２ 駆動手段
───────────────────────────────────────────────────── フロントページの続き (72)発明者 金子 正 東京都大田区下丸子３丁目30番２号キヤノ ン株式会社内 (72)発明者 ▲吉▼永 曜子 東京都大田区下丸子３丁目30番２号キヤノ ン株式会社内 (72)発明者 小林 辰 東京都大田区下丸子３丁目30番２号キヤノ ン株式会社内 (72)発明者 松村 進 東京都大田区下丸子３丁目30番２号キヤノ ン株式会社内

Claims (17)

    【特許請求の範囲】
  1. 【請求項１】 複数の画素によって第１の画像情報を表
    示する第１の画像発生手段と；複数の画素によって、前
    記第１の画像情報の一部である第２の画像情報を表示す
    る第２の画像発生手段と；観察者の視線方向を検出する
    視線検出手段と；前記視線検出手段からの出力信号に応
    じて前記第１の画像発生手段からの第１の画像と前記第
    ２の画像発生手段からの第２の画像とを相対的に移動さ
    せて前記第２の画像の周辺部が前記第１の画像の画素の
    境界に実質的に一致するように合成して、観察者の瞳に
    向ける光学手段と；前記視線検出手段の出力信号に基づ
    いて、前記第１の画像情報及び前記第２の画像情報を変
    更する画像表示変更手段とを有することを特徴とする画
    像表示装置。
  2. 【請求項２】 画像が合成される際、前記第１の画像の
    画素の間隔が、前記第２の画像の画素の間隔の整数倍で
    あることを特徴とする請求項１の画像表示装置。
  3. 【請求項３】 画像が合成される際、前記第２の画像の
    中心部における画素密度は、前記第１の画像の画素密度
    より高く、前記第２の画像の周辺部における画素密度
    は、前記第１の画像の画素密度と実質的に同一であるこ
    とを特徴とする請求項１の画像表示装置。
  4. 【請求項４】 第１の画像情報を表示する第１の画像発
    生手段と；前記第１の画像情報の一部である第２の画像
    情報を表示する第２の画像発生手段と；観察者の視線方
    向を検出する視線検出手段と；前記観察者の頭部の位置
    を検出する頭部位置検出手段；前記第１の画像発生手段
    からの第１の画像と前記第２の画像発生手段からの第２
    の画像とを合成し、前記視線検出手段からの出力信号に
    応じて、前記第１の画像に対して前記第２の画像を相対
    的に移動させて、観察者の瞳に向ける光学手段と；前記
    視線検出手段の出力信号及び前記頭部位置検出手段の出
    力信号に基づいて、前記第１の画像情報及び前記第２の
    画像情報を変更する画像情報変更手段と有することを特
    徴とする画像表示装置。
  5. 【請求項５】 予め決められた位置の全周囲の画像を記
    録した画像メモリを有し、前記頭部位置検出手段の出力
    信号に応じて該画像メモリの一部を前記第１の画像発生
    手段に前記第１の画像情報として入力することを特徴と
    する請求項４の画像表示装置。
  6. 【請求項６】 画像が合成される際、前記第１の画像と
    前記第２の画像とが重畳する領域の前記第１の画像情報
    を、前記第２の画像情報とすることを特徴とする請求項
    １、２、４、５の画像表示装置。
  7. 【請求項７】 前記重畳する画像の領域は、前記第１の
    画像発生手段により表示しないことを特徴とする請求項
    ６の画像表示装置。
  8. 【請求項８】 画像が合成される際、前記第２の画像の
    中心部における輝度は、前記第１の画像の輝度より高
    く、前記第２の画像の周辺部における輝度は、前記第１
    の画像の輝度と実質的に同一であることを特徴とする請
    求項１、２、３、４の画像表示装置。
  9. 【請求項９】 前記第１、第２の画像は、それぞれリレ
    ーレンズを介して中間結像面で合成され、虚像として拡
    大され前記観察者の瞳に向けられることを特徴とする請
    求項１、４の画像表示装置。
  10. 【請求項１０】 前記リレーレンズはそれぞれ異なる結
    像倍率を有することを特徴とする請求項９の画像表示装
    置。
  11. 【請求項１１】 前記画像表示装置が、前記観察者の左
    右の目に対応して、それぞれ設けられていることを特徴
    とする請求項１、４の画像表示装置。
  12. 【請求項１２】 左右の目に対応した前記第２の画像発
    生手段は、それぞれの目に対応する視差画像情報を表示
    することを特徴とする請求項１１の画像表示装置。
  13. 【請求項１３】 前記第１の画像発生手段は、兼用され
    ることを特徴とすることを特徴とする請求項１１の画像
    表示装置。
  14. 【請求項１４】 第１の画像情報を表示する第１の画像
    発生手段からの第１の画像を観察する観察者の視線方向
    を検出する視線検出手段と前記観察者の頭部の位置を検
    出する頭部位置検出手段とからの出力信号に基づいて、
    前記第１の画像に、前記第１の画像情報の一部である第
    ２の画像情報を表示する第２の画像発生手段からの第２
    の画像を合成した合成画像を表示する画像表示装置のた
    めの画像撮影装置において、 前記第１の画像情報を得るための第１の撮像手段と；前
    記第２の画像情報を得るための第２の撮像手段と；前記
    頭部位置検出手段からの出力信号に応じて、前記第１の
    撮像手段の撮影方向を制御する手段と；前記視線検出手
    段からの出力信号に応じて、前記第２の撮像手段の撮影
    方向を制御する手段とを有することを特徴とする画像撮
    影装置。
  15. 【請求項１５】 前記第１の撮像手段から得られた画像
    情報を、前記第２の撮像手段から得られた画像情報よ
    り、情報の圧縮率を高めて前記画像表示装置に伝送する
    手段を有することを特徴とする請求項１４の画像撮影装
    置。
  16. 【請求項１６】 前記画像撮影装置が、前記観察者の左
    右の目に対応して、それぞれ設けられていることを特徴
    とする請求項１４の画像撮影装置。
  17. 【請求項１７】 前記第１の撮像手段は、兼用されるこ
    とを特徴とする請求項１６の画像撮影装置。
JP6048645A 1993-03-29 1994-03-18 画像表示装置及びその為の画像撮影装置 Pending JPH0777665A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP6048645A JPH0777665A (ja) 1993-03-29 1994-03-18 画像表示装置及びその為の画像撮影装置
EP94104880A EP0618471B1 (en) 1993-03-29 1994-03-28 Image display apparatus
DE69433556T DE69433556T2 (de) 1993-03-29 1994-03-28 Bildanzeigevorrichtung
US08/950,507 US6445365B1 (en) 1993-03-29 1997-09-16 Image display apparatus and image photographing apparatus therefor

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP6993793 1993-03-29
JP5-69937 1993-07-16
JP17677793 1993-07-16
JP5-176777 1993-07-16
JP6048645A JPH0777665A (ja) 1993-03-29 1994-03-18 画像表示装置及びその為の画像撮影装置

Publications (1)

Publication Number Publication Date
JPH0777665A true JPH0777665A (ja) 1995-03-20

Family

ID=27293365

Family Applications (1)

Application Number Title Priority Date Filing Date
JP6048645A Pending JPH0777665A (ja) 1993-03-29 1994-03-18 画像表示装置及びその為の画像撮影装置

Country Status (4)

Country Link
US (1) US6445365B1 (ja)
EP (1) EP0618471B1 (ja)
JP (1) JPH0777665A (ja)
DE (1) DE69433556T2 (ja)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08313843A (ja) * 1995-05-16 1996-11-29 Agency Of Ind Science & Technol 視線追従方式による広視野高解像度映像提示装置
JP2006284877A (ja) * 2005-03-31 2006-10-19 Olympus Medical Systems Corp 医療用立体画像表示制御装置
JP2007528023A (ja) * 2003-12-31 2007-10-04 シンボル テクノロジーズ， インコーポレイテッド レーザープロジェクションディスプレイ
JP2009145617A (ja) * 2007-12-14 2009-07-02 Canon Inc 画像表示装置
JP2012039479A (ja) * 2010-08-09 2012-02-23 Canon Inc 表示装置及びその制御方法
WO2015198502A1 (ja) * 2014-06-27 2015-12-30 株式会社Ｆｏｖｅ 視線検知のための装置
JP2016038484A (ja) * 2014-08-08 2016-03-22 セイコーエプソン株式会社 虚像表示装置及び方法
JP2016197830A (ja) * 2015-04-06 2016-11-24 セイコーエプソン株式会社 表示装置、表示装置の制御方法、および、プログラム
JP2017044768A (ja) * 2015-08-25 2017-03-02 株式会社ジャパンディスプレイ 表示装置および頭部装着型の表示装置
KR20180062947A (ko) * 2016-12-01 2018-06-11 바르요 테크놀로지 오와이 디스플레이 장치 및 프로젝터를 이용하여 디스플레이하는 방법
JP2018113675A (ja) * 2016-12-01 2018-07-19 ヴァルヨ テクノロジーズ オーユー 表示装置、およびコンテキストディスプレイとプロジェクタを用いた表示方法
US10185212B1 (en) 2017-07-24 2019-01-22 Samsung Electronics Co., Ltd. Projection display apparatus including eye tracker
JP2019507380A (ja) * 2016-02-17 2019-03-14 グーグル エルエルシー 中心窩レンダリングされるディスプレイ
WO2019221105A1 (ja) * 2018-05-15 2019-11-21 ソニーセミコンダクタソリューションズ株式会社 表示装置
KR20200063589A (ko) * 2018-11-28 2020-06-05 한국광기술원 다초점 광학계 및 이를 이용한 헤드마운트 디스플레이
US10725300B2 (en) 2014-07-31 2020-07-28 Seiko Epson Corporation Display device, control method for display device, and program
JP2020528564A (ja) * 2017-05-29 2020-09-24 アイウェイ ビジョン リミテッドＥｙｅＷａｙ Ｖｉｓｉｏｎ Ｌｔｄ． 画像投影システム
US10789671B2 (en) 2016-12-28 2020-09-29 Ricoh Company, Ltd. Apparatus, system, and method of controlling display, and recording medium
JP2025000843A (ja) * 2017-03-27 2025-01-07 エイヴギャント コーポレイション 操作可能な中心窩ディスプレイ
WO2025047508A1 (ja) * 2023-08-25 2025-03-06 パナソニックＩｐマネジメント株式会社 画像生成装置およびヘッドマウントディスプレイ
WO2025047507A1 (ja) * 2023-08-25 2025-03-06 パナソニックＩｐマネジメント株式会社 画像生成装置およびヘッドマウントディスプレイ
WO2025057624A1 (ja) * 2023-09-11 2025-03-20 ソニーグループ株式会社 画像表示装置
JP2025041611A (ja) * 2017-03-22 2025-03-26 マジック リープ， インコーポレイテッド ディスプレイシステムのための深度ベース中心窩化レンダリング

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7262919B1 (en) 1994-06-13 2007-08-28 Canon Kabushiki Kaisha Head-up display device with curved optical surface having total reflection
EP0687932B1 (en) * 1994-06-13 2005-05-25 Canon Kabushiki Kaisha Display device
DE69635347T2 (de) * 1995-07-10 2006-07-13 Sarnoff Corp. Verfahren und system zum wiedergeben und kombinieren von bildern
JPH09274144A (ja) 1996-04-02 1997-10-21 Canon Inc 画像表示装置
WO1998010322A1 (en) * 1996-09-05 1998-03-12 Holakovszky Laszlo Head worn stereoscopic display device, particularly for displaying television pictures
US5764280A (en) * 1997-03-20 1998-06-09 Silicon Light Machines Inc. Display system including an image generator and movable scanner for same
US6151081A (en) * 1997-12-02 2000-11-21 Raytheon Company Large screen display with projected overlay and method of using same
JP2000098293A (ja) 1998-06-19 2000-04-07 Canon Inc 画像観察装置
TW501079B (en) * 1999-09-17 2002-09-01 Matsushita Electric Industrial Co Ltd Image display device
US7053928B1 (en) * 2000-03-20 2006-05-30 Litton Systems, Inc. Method and system for combining multi-spectral images of a scene
US6490095B2 (en) 2000-03-23 2002-12-03 Canon Kabushiki Kaisha Image display apparatus
JP2001311904A (ja) 2000-04-28 2001-11-09 Canon Inc 画像表示装置および画像表示システム
JP4194218B2 (ja) 2000-04-28 2008-12-10 キヤノン株式会社 画像表示装置および画像表示システム
JP4387554B2 (ja) 2000-04-28 2009-12-16 キヤノン株式会社 画像表示装置および画像表示システム
US7365766B1 (en) 2000-08-21 2008-04-29 Marie Lapalme Video-assisted apparatus for hearing impaired persons
JP4529263B2 (ja) * 2000-09-18 2010-08-25 沖電気工業株式会社 アイリス認識装置
US6953249B1 (en) 2001-01-29 2005-10-11 Maguire Jr Francis J Method and devices for displaying images for viewing with varying accommodation
DE10103922A1 (de) * 2001-01-30 2002-08-01 Physoptics Opto Electronic Gmb Interaktives Datensicht- und Bediensystem
KR100406945B1 (ko) * 2001-02-19 2003-11-28 삼성전자주식회사 착용형 디스플레이 장치
US7333071B2 (en) 2001-05-11 2008-02-19 Xerox Corporation Methods of using mixed resolution displays
US7546540B2 (en) 2001-05-11 2009-06-09 Xerox Corporation Methods of using mixed resolution displays
US7475356B2 (en) 2001-05-11 2009-01-06 Xerox Corporation System utilizing mixed resolution displays
US7629945B2 (en) 2001-05-11 2009-12-08 Xerox Corporation Mixed resolution displays
JP4109012B2 (ja) * 2001-05-11 2008-06-25 ゼロックス コーポレイション 解像度混合ディスプレイ
US7012756B2 (en) 2001-11-14 2006-03-14 Canon Kabushiki Kaisha Display optical system, image display apparatus, image taking optical system, and image taking apparatus
US7019909B2 (en) 2001-11-14 2006-03-28 Canon Kabushiki Kaisha Optical system, image display apparatus, and image taking apparatus
US7495638B2 (en) * 2003-05-13 2009-02-24 Research Triangle Institute Visual display with increased field of view
EP1658553B1 (en) * 2003-08-19 2014-11-19 TP Vision Holding B.V. A visual content signal apparatus and a method of displaying a visual content signal thereof
US8130330B2 (en) * 2005-12-05 2012-03-06 Seiko Epson Corporation Immersive surround visual fields
US20070141545A1 (en) * 2005-12-05 2007-06-21 Kar-Han Tan Content-Based Indexing and Retrieval Methods for Surround Video Synthesis
US7802883B2 (en) 2007-12-20 2010-09-28 Johnson & Johnson Vision Care, Inc. Cosmetic contact lenses having a sparkle effect
US9244275B1 (en) * 2009-07-10 2016-01-26 Rockwell Collins, Inc. Visual display system using multiple image sources and heads-up-display system using the same
US8237375B2 (en) * 2010-03-10 2012-08-07 Capella Microsystems (Taiwan) Ltd. Illuminating system and method thereof
US8740382B1 (en) * 2010-09-30 2014-06-03 Cognex Corporation System and method for automatically tracking a contact lens in a wearer's eye
KR102262086B1 (ko) * 2014-05-28 2021-06-09 삼성전자 주식회사 이미지 처리 방법 및 장치
US9711072B1 (en) * 2016-12-01 2017-07-18 Varjo Technologies Oy Display apparatus and method of displaying using focus and context displays
US10916191B2 (en) * 2017-02-13 2021-02-09 Samsung Display Co., Ltd. Display device and method of driving the same
US10602033B2 (en) * 2017-05-02 2020-03-24 Varjo Technologies Oy Display apparatus and method using image renderers and optical combiners
WO2018218512A1 (en) * 2017-05-31 2018-12-06 Goertek Inc. Image display device and its manufacture method
US20210286426A1 (en) * 2017-07-03 2021-09-16 Hewlett-Packard Development Company, L.P. Rotating micro led displays based on eye movements
US10969877B2 (en) * 2018-05-08 2021-04-06 Artilux, Inc. Display apparatus

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4028725A (en) * 1976-04-21 1977-06-07 Grumman Aerospace Corporation High-resolution vision system
US4348186A (en) * 1979-12-17 1982-09-07 The United States Of America As Represented By The Secretary Of The Navy Pilot helmet mounted CIG display with eye coupled area of interest
US4348185A (en) * 1980-02-14 1982-09-07 The United States Of America As Represented By The Secretary Of The Navy Wide angle infinity display system
US4479784A (en) * 1981-03-03 1984-10-30 The Singer Company Eye line-of-sight responsive wide angle visual system
US4439157A (en) * 1982-05-03 1984-03-27 The United States Of America As Represented By The Secretary Of The Navy Helmet mounted display projector
JPS59117876A (ja) * 1982-12-24 1984-07-07 Seiko Epson Corp パ−ソナル液晶映像表示器
US4641255A (en) * 1985-05-22 1987-02-03 Honeywell Gmbh Apparatus for simulation of visual fields of view
US4884137A (en) * 1986-07-10 1989-11-28 Varo, Inc. Head mounted video display and remote camera system
GB8701288D0 (en) * 1987-01-21 1987-02-25 Waldern J D Perception of computer-generated imagery
GB2207020B (en) * 1987-07-08 1991-08-21 Gec Avionics Imaging system
DE58902538D1 (de) * 1988-05-19 1992-12-03 Siemens Ag Verfahren zur beobachtung einer szene und einrichtung zur durchfuehrung des verfahrens.
US5113177A (en) * 1988-10-04 1992-05-12 Allied-Signal Inc. Apparatus for a display system
JP3129719B2 (ja) * 1989-04-21 2001-01-31 株式会社パルカ ビデオディスプレイ装置
JP2741063B2 (ja) * 1989-05-02 1998-04-15 株式会社エイ・ティ・アール通信システム研究所 広視野表示装置
JP3000621B2 (ja) * 1990-05-17 2000-01-17 ソニー株式会社 視覚補助装置
US5320534A (en) * 1990-11-05 1994-06-14 The United States Of America As Represented By The Secretary Of The Air Force Helmet mounted area of interest (HMAoI) for the display for advanced research and training (DART)
US5136675A (en) * 1990-12-20 1992-08-04 General Electric Company Slewable projection system with fiber-optic elements
US5331149A (en) * 1990-12-31 1994-07-19 Kopin Corporation Eye tracking system having an array of photodetectors aligned respectively with an array of pixels
GB2259213A (en) * 1991-08-29 1993-03-03 British Aerospace Variable resolution view-tracking display
US5242306A (en) * 1992-02-11 1993-09-07 Evans & Sutherland Computer Corp. Video graphic system and process for wide field color display
US5326266A (en) * 1992-09-02 1994-07-05 Evans & Sutherland Computer Corporation Area of interest display system with opto/mechanical image combining

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08313843A (ja) * 1995-05-16 1996-11-29 Agency Of Ind Science & Technol 視線追従方式による広視野高解像度映像提示装置
JP2007528023A (ja) * 2003-12-31 2007-10-04 シンボル テクノロジーズ， インコーポレイテッド レーザープロジェクションディスプレイ
JP2006284877A (ja) * 2005-03-31 2006-10-19 Olympus Medical Systems Corp 医療用立体画像表示制御装置
JP2009145617A (ja) * 2007-12-14 2009-07-02 Canon Inc 画像表示装置
JP2012039479A (ja) * 2010-08-09 2012-02-23 Canon Inc 表示装置及びその制御方法
US10445573B2 (en) 2014-06-27 2019-10-15 Fove, Inc. Gaze detection device
WO2015198502A1 (ja) * 2014-06-27 2015-12-30 株式会社Ｆｏｖｅ 視線検知のための装置
US10817721B2 (en) 2014-06-27 2020-10-27 Fove, Inc. Gaze detection device
JPWO2015198502A1 (ja) * 2014-06-27 2017-04-20 フォーブ インコーポレーテッド 視線検知のための装置
US10725300B2 (en) 2014-07-31 2020-07-28 Seiko Epson Corporation Display device, control method for display device, and program
JP2016038484A (ja) * 2014-08-08 2016-03-22 セイコーエプソン株式会社 虚像表示装置及び方法
JP2016197830A (ja) * 2015-04-06 2016-11-24 セイコーエプソン株式会社 表示装置、表示装置の制御方法、および、プログラム
JP2017044768A (ja) * 2015-08-25 2017-03-02 株式会社ジャパンディスプレイ 表示装置および頭部装着型の表示装置
JP2019507380A (ja) * 2016-02-17 2019-03-14 グーグル エルエルシー 中心窩レンダリングされるディスプレイ
JP2018109746A (ja) * 2016-12-01 2018-07-12 ヴァルヨ テクノロジーズ オーユー 表示装置、およびプロジェクタを用いた表示方法
JP2018113675A (ja) * 2016-12-01 2018-07-19 ヴァルヨ テクノロジーズ オーユー 表示装置、およびコンテキストディスプレイとプロジェクタを用いた表示方法
KR20180062947A (ko) * 2016-12-01 2018-06-11 바르요 테크놀로지 오와이 디스플레이 장치 및 프로젝터를 이용하여 디스플레이하는 방법
US10789671B2 (en) 2016-12-28 2020-09-29 Ricoh Company, Ltd. Apparatus, system, and method of controlling display, and recording medium
US12547005B2 (en) 2017-03-22 2026-02-10 Magic Leap, Inc. Depth based foveated rendering for display systems
JP2025041611A (ja) * 2017-03-22 2025-03-26 マジック リープ， インコーポレイテッド ディスプレイシステムのための深度ベース中心窩化レンダリング
JP2025000843A (ja) * 2017-03-27 2025-01-07 エイヴギャント コーポレイション 操作可能な中心窩ディスプレイ
JP2020528564A (ja) * 2017-05-29 2020-09-24 アイウェイ ビジョン リミテッドＥｙｅＷａｙ Ｖｉｓｉｏｎ Ｌｔｄ． 画像投影システム
US11131861B2 (en) 2017-05-29 2021-09-28 Eyeway Vision Ltd Image projection system
US10185212B1 (en) 2017-07-24 2019-01-22 Samsung Electronics Co., Ltd. Projection display apparatus including eye tracker
WO2019221105A1 (ja) * 2018-05-15 2019-11-21 ソニーセミコンダクタソリューションズ株式会社 表示装置
US11328643B2 (en) 2018-05-15 2022-05-10 Sony Semiconductor Solutions Corporation Display unit
JPWO2019221105A1 (ja) * 2018-05-15 2021-07-08 ソニーセミコンダクタソリューションズ株式会社 表示装置
KR20200063589A (ko) * 2018-11-28 2020-06-05 한국광기술원 다초점 광학계 및 이를 이용한 헤드마운트 디스플레이
WO2025047508A1 (ja) * 2023-08-25 2025-03-06 パナソニックＩｐマネジメント株式会社 画像生成装置およびヘッドマウントディスプレイ
WO2025047507A1 (ja) * 2023-08-25 2025-03-06 パナソニックＩｐマネジメント株式会社 画像生成装置およびヘッドマウントディスプレイ
WO2025057624A1 (ja) * 2023-09-11 2025-03-20 ソニーグループ株式会社 画像表示装置

Also Published As

Publication number Publication date
EP0618471B1 (en) 2004-02-18
EP0618471A3 (en) 1995-11-08
DE69433556D1 (de) 2004-03-25
EP0618471A2 (en) 1994-10-05
DE69433556T2 (de) 2005-01-05
US6445365B1 (en) 2002-09-03

Similar Documents

Publication Publication Date Title
JPH0777665A (ja) 画像表示装置及びその為の画像撮影装置
US6078427A (en) Smooth transition device for area of interest head-mounted display
US6890077B2 (en) Method and apparatus for high resolution video image display
US6222675B1 (en) Area of interest head-mounted display using low resolution, wide angle; high resolution, narrow angle; and see-through views
JP3129719B2 (ja) ビデオディスプレイ装置
US5815741A (en) Image observing apparatus and imaging apparatus utilizing the image observing apparatus
US5790284A (en) Display apparatus and displaying method for image display producing stereoscopic effect
JP2762677B2 (ja) 光学装置
Kiyokawa et al. An optical see-through display for mutual occlusion with a real-time stereovision system
US6215532B1 (en) Image observing apparatus for observing outside information superposed with a display image
CN100429559C (zh) 虚像显示设备
US20120013988A1 (en) Head mounted display having a panoramic field of view
JPH09105885A (ja) 頭部搭載型の立体画像表示装置
JPH08313843A (ja) 視線追従方式による広視野高解像度映像提示装置
JP2003050374A (ja) ヘッドマウント式表示装置
JPH0824358B2 (ja) 画像ディスプレー装置
Kiyokawa An introduction to head mounted displays for augmented reality
Kiyokawa Head-mounted display technologies for augmented reality
JP2006308674A (ja) 画像表示装置
JP7118650B2 (ja) 表示装置
WO2020095556A1 (ja) 虚像表示装置、および虚像表示方法
JPH0738825A (ja) 眼鏡型表示装置
JP2000214408A (ja) 画像表示装置
KR101941880B1 (ko) 자유 초점 디스플레이 장치
JP2000105348A (ja) 画像観察装置

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20031222

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20040127