JP3325323B2 - 表示装置 - Google Patents

表示装置

Info

Publication number
JP3325323B2
JP3325323B2 JP604293A JP604293A JP3325323B2 JP 3325323 B2 JP3325323 B2 JP 3325323B2 JP 604293 A JP604293 A JP 604293A JP 604293 A JP604293 A JP 604293A JP 3325323 B2 JP3325323 B2 JP 3325323B2
Authority
JP
Japan
Prior art keywords
image
display
user
point
blur
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP604293A
Other languages
English (en)
Other versions
JPH06215092A (ja
Inventor
薫 鈴木
和田  隆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP604293A priority Critical patent/JP3325323B2/ja
Publication of JPH06215092A publication Critical patent/JPH06215092A/ja
Application granted granted Critical
Publication of JP3325323B2 publication Critical patent/JP3325323B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、使用者に距離感覚を知
覚させる両眼視の表示装置に係り、特にぼけを制御する
ことによって自然な距離感覚を知覚させる両眼視の表示
装置に関するものである。
【0002】
【従来の技術】従来、使用者に距離感覚を知覚させる代
表的な表示装置として両眼視表示装置が提案されてい
る。
【0003】この種の装置は、両眼輻輳角に基づいて距
離情報を獲得する人間の両眼視の原理を利用している。
この原理を図1に示す。図中の符号101、102は各
々観察者の左右眼球であり、符号103、104は、各
々空間中の点である。このとき、前記観察者は前記点1
03を注視している状態にあり、前記左右眼球101と
102の視線がなす角すなわち両眼輻輳角ωによって該
点103の空間位置を知覚している。
【0004】両眼視表示装置は上記原理に基づいて機能
するものである。該装置の原理を図2に示す。図中の符
号201、202は各々使用者の左右眼球であり、符号
203は該装置により生成された画像が表示される表示
面であり、符号204、205は各々該表示面に呈示さ
れる左右眼球の各々に向けて生成された画像を選択的に
各々の眼球に観察させるためのフィルタであり、符号2
06〜209は各々該表示面上に表示される点である。
このとき、使用者は前記点206を右眼球で、点207
を左眼球で各々観察することにより空間中に点210を
知覚し、また、点208を左眼球で、点209を右眼球
で各々観察することにより空間中に点211を知覚す
る。
【0005】ところで、従来の両眼視表示装置は、使用
者の左右の目に映るはずの画像を呈示するに際して、全
ての箇所を鮮明に呈示している。しかしながら、図1に
示したように、自然な状態における人間の両眼視では、
左右眼球101と102の焦点が前記注視点103に合
っているため、該点103の左右網膜上における像10
5と106は各網膜上で各々鮮明に結像されているもの
の、前記点103より前後する距離にある例えば点10
4の左右網膜上における像107と108は、該像が前
記網膜上で結像しないために不鮮明なものとなってい
る。また、観察者には左右の網膜像が各々独立に知覚さ
れているのではなく、前記注視点103の像105と1
06を一致させるように、左右網膜像を位置合わせして
総合的に知覚されているものと考えられる。このとき、
点103に前後する箇所の像は左右網膜上で一致しない
ためにだぶって知覚される。例えば、人差し指を目の前
に立て、眼の焦点を該指からずらして遠くの景色に移し
た場合、該指が2本に見えることからも明らかである。
しかしながら、このときの指の像は十分にぼけているの
で、遠景を観察する際の支障と感じられないはずであ
る。このように人間における両眼視では、各網膜上の像
は注視箇所が鮮明化され、該注視箇所より前後する箇所
がぼかされることにより、観察者に余分な情報を排除し
た良好な状態で該注視箇所を観察することを可能とさ
せ、かつ、注視箇所が最も鮮明な像を有するために、該
像の鮮明度に刺激されて注視状態を維持することを容易
にしていると考えられる。
【0006】
【発明が解決しようとする課題】これに対して、図2に
示したように、従来の両眼視表示装置では両眼輻輳角に
よって知覚される空間中の2点210と211の例えば
右眼球202に対する距離差212が大きくても、網膜
上の結像状態に関係する実際の表示面上の距離差213
は僅かであり、このため、2点210と211が右網膜
上でいずれも鮮明に結像されてしまう。この結像は同時
に左網膜上でも起こっている。この結果、観察される像
が網膜上のいたるところで鮮明となるために注視箇所が
移ろいやすく、目的の箇所を注視し続けるための精神集
中が使用者に要求される。すなわち、従来の両眼視表示
装置では、該呈示画像の過剰な鮮明さが両眼輻輳角に基
づく距離知覚における注視制御を妨害し、使用者の疲労
を誘って長時間作業を困難とさせ、作業効率の低下を招
くという問題点があった。
【0007】一方、前述したように、使用者の眼球は装
置表示面に焦点を合わせているので、もし、ぼけを含ん
だ画像を呈示したなら、該画像の全ての箇所が該ぼけた
状態も含めて網膜上で鮮明に結像されるはずである。従
って、従来の両眼視表示装置が抱える前述の問題点を解
決するためには、注視すべき箇所を鮮明化し、該箇所か
らずれた領域に対しては、該領域と前記注視箇所との奥
行き差に応じたぼけを付加した画像を呈示すれば良いこ
とがわかる。また、人間の瞳孔の開度は外光の強度変化
に伴って変化し、該瞳孔開度の変化に伴って眼球光学系
の物体深度が変化するので、同一光景に対するぼけの程
度は外光強度、すなわち、瞳孔開度に応じて変動するこ
とが知られている。もし、上記のようにぼけを含んだ画
像を呈示することによって網膜上に目的とする結像状態
を発生させるならば、瞳孔開度に応じたぼけ量の制御、
あるいは瞳孔開度を一定に保つための外光制御もまた必
要であることがわかる。しかしながら、従来の両眼視表
示装置には、以上で述べた対策を施されたものは存在し
なかった。
【0008】このように従来の両眼視表示装置には、網
膜上の結像状態への配慮を欠くために、使用者の疲労を
誘い、作業効率を低下させるという問題点があった。
【0009】本発明はこのような問題点に鑑みて成され
たものであり、その目的とするところは、網膜上のある
べき結像状態を再現できるぼけを含んだ画像を生成して
呈示することにより、使用者に疲労の少ない距離知覚を
行なわせる表示装置を提供することである。
【0010】
【課題を解決するための手段】本発明の請求項1の表示
装置は、使用者が表示対象上の注視する箇所を、前記使
用者の両眼視線の交点から指定する注視箇所指定手段
と、前記表示対象についてぼけを含まない画像を生成す
る前描画手段と、前記ぼけを含まない画像の各画素の空
間位置と、前記注視箇所の空間位置とに基づいて各画素
毎にぼけ直径を算出し、前記各画素のぼけ直径を直径と
する円パターンを加え合わせて輝度分布を生成する画像
生成手段と、前記生成された画像を表示可能な表示手段
とを具備したものである。
【0011】請求項2の表示装置は、請求項1のものに
おいて、使用者の瞳径を計測する瞳径推定手段と、画像
生成手段が表示対象上の各箇所の空間位置と、注視箇所
の空間位置と、前記瞳径推定手段によって計測した瞳径
とに基づいて前記各箇所を所定の要領でぼかした画像を
生成する手段を具備したものである。
【0012】請求項3の表示装置は、請求項1のものに
おいて、使用者の瞳径を計測する瞳径計測手段と、画像
生成手段が表示対象上の各箇所の空間位置と注視箇所の
空間位置とに基づいて前記各箇所を所定の要領でぼかす
と同時に、前記瞳径計測手段によって計測した瞳径に基
づいて輝度調整された画像を生成する手段を具備したも
のである。
【0013】請求項4の表示装置は、請求項1のものに
おいて、前記注視箇所指定手段は、前記表示対象をマル
チウインドウとなし、前記マルチウインドウの各ウイン
ドウに奥行き距離z値を与え、最も手前に表示されるウ
インドウのz値をz として、前記使用者が注視する
箇所とするものである。
【0014】
【0015】
【作 用】本発明の請求項1の表示装置は、注視箇所指
定手段が、使用者が注視する個所もしくは表示対象上の
注視したい箇所を指定可能とし、画像生成手段が前記表
示対象上の各箇所の空間位置と、前記注視箇所の空間位
置とに基づいて前記各箇所を所定の要領でぼかした両眼
画像を生成し、表示手段が前記生成された画像を使用者
に呈示する。
【0016】請求項2の表示装置であると、画像生成手
段が表示対象上の各箇所の空間位置と、注視箇所の空間
位置と、瞳径推定手段によって計測した瞳径とに基づい
て前記各箇所を所定の要領でぼかした画像を生成でき
る。
【0017】請求項3の表示装置であると、画像生成手
段が表示対象上の各箇所の空間位置と、注視箇所の空間
位置とに基づいて前記各箇所を所定の要領でぼかすと同
時に、瞳径計測手段によって計測した瞳径に基づいて輝
度調整された画像を生成できる。
【0018】請求項4の表示装置であると、予め設定さ
れる特定空間位置を注視箇所指定手段が出力する。この
ような例として、マルチウインドウシステムなどにおい
て各ウインドウに奥行き距離を与え、例えば最も手前に
表示されるウインドウを注視個所とし、後方のウインド
ウをぼかして表示することが考えられる。
【0019】
【0020】
【実施例】本発明に係る表示装置の実施例を図面に従っ
て説明する。
【0021】図3は、本発明に係る表示装置の第1の実
施例の全体構成図である。
【0022】符号301は、表示対象上の注視したい箇
所を使用者が指定可能な注視箇所指定部であり、符号3
02は、前記対象上の各箇所の空間位置と、前記注視箇
所指定部301により得られた注視箇所の空間位置とに
応じて前記各箇所に所定のぼけ具合を与えた両眼画像を
生成する画像生成部であり、符号303は、前記画像生
成部302により生成された両眼画像を使用者の両眼に
各々呈示可能な表示部である。
【0023】次に前記各部を詳説する。
【0024】注視箇所指定部301は図4に示す構成と
なっている。
【0025】符号401は、使用者の両眼に向けて設置
されたテレビカメラなどの画像入力手段によって、該使
用者の眼球画像を撮影する画像撮影部であり、符号40
2は、前記眼球画像から使用者の瞳を表す楕円形黒領域
を抽出する瞳抽出部であり、符号403は、前記楕円形
黒領域の長軸と短軸の比と該楕円形の中心の前記眼球画
像上の変移量とから、本来円形であるはずの瞳が、該楕
円形に変換されるアフィン変換量を逆算することによっ
て左右眼球の視線方向を求める視線計算部であり、符号
404は、前記左右眼球の視線が空間中で最も近接する
箇所において、該2視線を最短距離で結ぶ線分の中点を
計算し、該中点の空間座標値(x0 ,y0 ,z0 )を前
記注視箇所として出力する注視座標計算部である。
【0026】なお、前記注視箇所指定部301は、上記
の例に代表される使用者の視線を直接検出する手段の他
に、使用者の操作入力を受理するキーボード、マウス、
3次元デジィタイザのような操作手段、使用者の音声入
力を受理する音声入力手段、使用者の身振り手振りを認
識する画像認識手段などによって使用者が注視したい箇
所を間接的に指定可能な手段を用いても良い。すなわ
ち、使用者が発する何等かの信号によって前記表示対象
上の特定箇所を使用者の意思に従って指定可能であれ
ば、前記注視箇所指定部301の実現手段は問わない。
【0027】画像生成部302は、図5に示す構成とな
っている。
【0028】符号501は、従来の両眼視表示装置が行
なうのと同様のぼけを含まない両眼画像を高速に生成す
る前描画部であり、符号502は、前描画部501によ
って描画される前描画バッファである。前記前描画バッ
ファ502の各画素は輝度ベクトル(カラー画像であれ
ば、例えばRGBの3次元)と該輝度ベクトルを与える
表示対象上の点の少なくとも奥行き座標を含む空間座標
値とを1組にして格納する。一般に前記空間座標値とし
て奥行き座標値のみを扱う前描画バッファはzバッファ
とよばれている。前記前描画部501は、前記表示対象
上の各点から所定の変換に従って該点に対応する前描画
バッファ502上の画素を求め、既に別の点の輝度ベク
トルと空間座標値が該画素に格納されていれば両者の空
間座標を比較し、手前に存在する方の点の輝度ベクトル
と空間座標値を新たに格納して前描画バッファ502の
内容を更新する。また、該画素に別の点が格納されてい
なければ、該点の輝度ベクトルと空間座標値を該画素に
格納する。この結果、前描画バッファ502の各画素に
は表示対象上の該画素に対応する最も手前にある点の輝
度ベクトルと空間座標値が格納される。前描画処理は本
装置の起動時、もしくは、前記表示対象に変更のあった
場合、もしくは、前記所定の変換に変更のあった場合に
のみ実行される。符号503は、前記前描画バッファ上
の全画素について各画素の空間位置と前記注視点座標と
に基づいてぼけの直径を計算するぼけ直径算出部であ
る。符号504は前記ぼけ直径に基づいて当該画素を中
心とするぼけパターンを描画するぼけパターン描画部で
ある。符号505は、前記ぼけパターン描画部504が
ぼけパターンを描画するフレームバッファであり、該フ
レームバッファの画素の数と各画素の位置とは前記前描
画バッファ502に一致している。符号506は、前記
注視点を示すパターンを前記フレームバッファ505に
上書きする注視点描画部である。
【0029】ぼけ直径算出部503におけるぼけ直径算
出の原理を図6に示す。点603は、光軸607を持つ
理想的なレンズ601によって画像面602上の点60
4に結像される空間中の点である。また、点605は点
603より光軸上で奥行き方向にずれた位置に存在する
空間中の点であり、点606に結像される。このとき、
点605から発せられる光束は画像面602上では結像
しないために画像面602上を直径εの大きさの円形の
広がりで通過している。このεの大きさの円形の広がり
がぼけである。ここで、物体深度の計算式より前記εを
誘導すると次式のようになる。なお、奥行き座標値はレ
ンズ601の中心を原点とし、光軸607上の左向きを
正として定義される。
【0030】 ε=β×D×|z−z0 |/|z| …………(a) z0 : 点603の奥行き座標値 z : 点605の奥行き座標値 β : 光学系の横倍率(>0) D : レンズの開口径(≧0) z0 は前記注視箇所指定部301により得られているの
で、前記β×Dとして適当な定数を与えると、ぼけ直径
εはzが決定されれば算出可能となる。このとき、εは
前記β×Dに比例しており、適当なぼけ具合となるよう
にβとDを各々調節可能である。前記ぼけパターン描画
部504は、中心を前記ぼけ直径εが算出されるもとと
なった画素の位置、直径を前記ぼけ直径εとする円パタ
ーンを前記フレームバッファ505上に加え合わせてゆ
く。なお、該円パターンを描画されるフレームバッファ
505上の画素は直径εの円周がかかる画素と該円周内
に含まれる画素であり、該円パターンとは該描画される
画素に所定の輝度ベクトルiを与えるパターンである。
ここで、該所定の輝度ベクトルは次式で与えられる。こ
の式は、前描画バッファ502上の輝度ベクトルがフレ
ームバッファ505上の対応するパターンに分配される
ことを表している。
【0031】 i=i0 /A …………(b) i0 : 前描画バッファ502における輝度ベクトル A : 当該円パターンにより描画される画素数 この結果、フレームバッファ505には前描画バッファ
502上の各画素に対するぼけパターンを加え合わせた
輝度分布が生成される。この輝度分布が前記表示部30
3によって表示される画像である。
【0032】上記処理を図9のフローチャートにもとづ
いて簡単に説明すると、注視箇所指定部301で注視個
所検出処理を行い、画像生成部302の前描画部501
で前描画処理を行い、同じくぼけパターン描画部504
でぼけ画像描画処理を行って、両者を合成して表示部3
03に表示する。
【0033】以上の構成による表示装置は、所定の奥行
き距離からはずれる対象をぼかして表示可能であり、従
来の両眼視表示装置における問題点を解決するという点
において利便性が向上している。
【0034】なお、本実施例では、前記表示部303と
して、使用者の頭部に固定装着可能なヘッドマウントデ
ィスプレイ(HMD)を使用し、前記注視箇所指定部3
01における眼球画像撮影用の小形テレビカメラを該H
MDに固定設置する態様が可能である。また、前記表示
部303を液晶シャッタディスプレイなどのように使用
者の頭部ではなく環境に固定設置することも可能である
し、前記テレビカメラを環境に固定設置することも可能
である。
【0035】ところで、上記の実施例における前描画部
501は、一般にzバッファアルゴリズムと呼ばれる方
法によって描画を行なうものであった。しかしながら、
この描画アルゴリズムにはマッピングテクニックによっ
て疑似的に描画しない限り、透過屈折物体や鏡面反射物
体を扱えないという欠点がある。このため、一般にレイ
トレーシングと呼ばれる透過屈折と鏡面反射を扱える描
画アルゴリズムが提案されている。
【0036】図7にレイトレーシングの原理を示す。こ
の図において、視点701から光軸702の方向に見る
とき、画像面703上の画素704の輝度ベクトルを決
定する場合を考える。視点701を出発した視線705
を追跡すると、該視線705は、透過反射面706と点
707において交差している。透過反射面706に斜め
から突入する視線705は、屈折されて、散乱面708
と点709との交差する成分と、反射されて散乱面71
0と点711で交差する成分とに分割される。各々の成
分は、散乱面と交差した時点で追跡を終了する。このと
き、視点701から画素704に見える点は、前記70
7と709と711の3点であり、各点における輝度ベ
クトルを適当にブレンドしたベクトルが、前記画素70
4の輝度ベクトルとして与えられる。
【0037】ここで、レイトレーシングに対応した前描
画部と前描画バッファとを持つ本発明に係る第2の実施
例を説明する。本実施例の全体構成および各部構成は前
記第1の実施例と同一であるので、ここでは相違点のみ
を説明する。
【0038】図7における2点709と711は見かけ
上、視線705の延長上の点712と713に各々存在
する。点707と点712の距離は点707と点709
の距離に等しく、また、点707と点713の距離は点
707と点711の距離に等しい。このとき、前描画バ
ッファ502が1つの画素に対して多数の輝度ベクトル
と空間座標値の組を格納可能であるとすれば、3点70
7と712と713の輝度ベクトルと空間座標値の組を
格納させ、さらに、ぼけ直径算出部503とぼけパター
ン描画部504とが前記前描画バッファ502に格納さ
れる輝度ベクトルと空間座標値の全ての組についてのぼ
けパターンをフレームバッファ505に描画させること
によって透過屈折と鏡面反射を扱ったぼけ画像が生成可
能である。第2の実施例は第1の実施例よりも前描画部
における処理コストが増大しているものの、透過屈折と
鏡面反射を扱えるという点において一層利便性が向上し
ている。
【0039】本発明に係る表示装置の第3の実施例を説
明する。
【0040】図8は本実施例の全体構成図である。
【0041】符号801は、表示対象上の注視したい箇
所を使用者が指定可能な注視箇所指定部であり、上記第
1の実施例における注視箇所指定部301と同様に使用
者の眼球に向けて設置された画像入力手段によって得ら
れた使用者の眼球画像から、瞳を表す楕円形黒領域を抽
出し、その長軸と短軸の比と画像中の位置とから使用者
の視線方向を検出して注視箇所を計算するものである。
【0042】符号802は、使用者の瞳径を計測する瞳
径推定部であり、前記注視箇所指定部801において得
られた楕円形黒領域の長軸の長さを瞳径Dとして出力す
るものである。
【0043】符号803は、前記対象上の各箇所の奥行
き距離zと前記注視箇所指定部801により得られた注
視箇所の奥行き距離z0 と前記瞳径推定部802により
得られた使用者の瞳径Dとに応じて計算されるぼけ直径
εのぼけパターンを与えた画像を生成する画像生成部で
ある。
【0044】符号804は、前記画像生成部803によ
り生成された画像を表示する表示部である。このとき前
記ぼけ直径εの計算式は前述した式(a)を引用して次
式のように定義され、この結果、ぼけ直径εはβに適当
な定数を与えた場合、zとz0 とDの関数となる。
【0045】 ε=β×D×|z−z0 |/|z| …………(a1) z0 : 注視箇所の奥行き座標値 z : 当該箇所の奥行き座標値 β : 定数(>0) D : 瞳径(≧0) 以上の構成による表示装置は、表示輝度や外光強度が変
化することに起因する使用者の瞳孔開度の変化に追随し
てぼけ量を制御可能である。したがって、暗くなると物
がぼやけ、明るいと鮮明に見えるという実際の視知覚現
象を良く模擬できるという忠実性において、第1の実施
例よりも一層利便性が向上している。
【0046】ところで、上記第3の実施例は、使用者の
瞳径の変動に対応してぼけ量を制御するものであった
が、これとは別に、前記瞳径を一定に保つ制御を行なう
ことも考えられる。このようにすると前記ぼけ量は前記
瞳径に影響されない。
【0047】この例として本発明に係る表示装置の第4
の実施例を説明する。本実施例の全体構成は図8に示し
たものと同じであるので、ここでは相違点のみを説明す
る。本実施例における画像生成部803は以下の2式に
よって計算されるぼけ直径εと輝度ベクトルi’とに基
づいて、該εを直径とする円パターンを構成する画素に
輝度ベクトルi’を与えたぼけパターンを加え合わせた
画像を生成する。
【0048】 ε=β×D0 ×|z−z0 |/|z| …………(a2) z0 : 注視箇所の奥行き座標値 z : 当該箇所の奥行き座標値 β : 定数(>0) D : 基準瞳径(≧0) i’=IS ×i=IS ×i0 /A …………(b1) i0 : 前描画バッファ502における輝度ベクトル A : 当該円パターンにより描画される画素数 IS : 輝度調整係数 使用者の目に入射する光の量Jと瞳径Dの2乗と表示輝
度I1 と外光強度I2との関係は次式で与えられると考
えられる。
【0049】 J=π×D2 ×(m×I1 +I2 )/4 …………(c) m : 定数(>0) 瞳孔の開度は入射光量Jを一定に保つように働くので、
表示輝度I1 に変化が無いなら、瞳径Dの変化は外光強
度I2 の変化によって引き起こされたことになる。この
影響を排除して瞳径Dを基準瞳径D0 に保つために、画
像生成部803は前記IS を変化させてDがD0 に一致
するIS を発見するサーボ機構を備えている。すなわ
ち、瞳径DがD0 に比して大きい場合には入射光量が少
ないとしてIS を増加させて表示輝度I1 を増加し、逆
の場合にはIS を減少させて表示輝度I1 を減少させ
る。この増加、減少の度合い△IS を本実施例では次式
で定義する。
【0050】 △IS =n×|D−D0 | …………(d) D0 : 基準瞳径(≧0) D : 実際の瞳径(≧0) n : 定数(>0) なお、上記△IS の定義は式(d)に限定されるもので
はない。例えば、下記の2式のいずれでも良い。要する
に、前記輝度調整係数IS を決定可能であれば細部の差
異は問題とはならない。
【0051】 △IS =n×|D2 −D0 2 | …………(d1) △IS =n×(D−D0 2 …………(d2) 以上の構成による表示装置は瞳孔開度を一定に保つよう
に表示輝度を制御して、使用者に知覚されるぼけ量を安
定に保つという点において第1の実施例より一層利便性
が向上している。
【0052】以下、本発明に係る表示装置の変形実施例
を説明する。
【0053】例えば、上記実施例における前描画部はz
バッファアルゴリズムとレイトレーシングのみを対象と
したが、使用される描画アルゴリズムは上記の例に限定
されない。要するに、本発明においては、ぼけ生成に必
要とされる輝度ベクトルと空間座標値の組が計算可能で
ありさえすれば、描画アルゴリズムの差異は問題とはな
らない。
【0054】また、上記各実施例および変形例における
注視箇所指定部が表示対象上のある箇所を検出するので
はなく、注視箇所の奥行き距離z0 に相当する特定の奥
行き距離を使用者の操作により指定可能としても良い。
また、前記z0 が使用者により指定されるのではなく、
装置により自動的に設定されるようにしても良い。ある
いは、前記z0 が予め設定されており、使用者の操作に
よって表示対象が空間中を移動するようにしても良い。
このような例として、マルチウインドウシステムなどに
おいて各ウインドウに奥行き距離z値を与え、例えば最
も手前に表示されるウインドウのz値をz0 として、後
方のウインドウをぼかして表示することが考えられる。
要するに、本発明に係る表示装置においては少なくとも
前記z0が与えられ、少なくとも該z0 と前記表示対象
の特定箇所の奥行き座標zとの関係が使用者によって指
定可能でありさえすれば、細部の差異は問題とはならな
い。
【0055】さらに、画像生成部が使用するぼけパター
ンとして、上記実施例および変形例では輝度分布が一様
な直径εの円パターンを使用している。しかしながら、
これは使用者の視線が表示面と垂直に交差する場合には
図6に示す根拠により正しいが、視線が斜めに表示面と
交差する場合には正しくはない。表示面を斜め方向から
観察する眼球網膜上に円形ぼけパターンを結像させるた
めには、卵型のぼけパターンを該表示面上に呈示する必
要がある。しかし、表示面が十分小さい場合や、使用者
から十分遠い場合には、使用者の視線はほぼ垂直に該表
示面と交差すると考えられるので、呈示すべきパターン
を円パターンに近似することができる。無論、本来呈示
すべき卵型パターンを計算して呈示しても良いことは言
うまでもない。また、前述したように呈示画像中でぼけ
パターンは重ね描きされているので、各ぼけパターンの
境界や輝度分布は使用者には明確に識別できない場合が
多い。従って、ぼけパターンの形状、大きさ、輝度分布
は厳密に計算される必要はなく、様々なものが使用可能
であると考えて良い。すなわち、本来結像されて1点に
集中されるべき光がぼけパターンの内部に適当に配分さ
れるならば、任意の大きさと形状に任意の輝度分布を与
えたパターンをぼけパターンとして用いることが可能で
ある。例えば、ぼけパターンの形状として1辺がぼけ直
径εの正方形でも良いし、例えば、輝度分布としてガウ
ス分布を利用しても良い。また、ぼけ直径εの計算式と
して以下のいずれを用いても良い。
【0056】 ε=β×D×|z−z0 |/|z0 | …………(a3) ε=a×D×|z−z0 | …………(a4) a : 定数(>0) ε=b×|z−z0 | …………(a5) b : 定数(>0) 要するに、本発明に係る表示装置においては、前記ぼけ
パターンの大きさと形と輝度分布とは、表示対象上の各
箇所の空間位置と所定の空間位置とに応じてぼけて知覚
される画像を生成可能であるならば、どのようにでも定
義可能である。
【0057】あるいは、上記実施例および変形例におけ
る瞳径推定部が、使用者の瞳径を直接計測するのではな
く、使用者の目に飛び込むであろう使用者周囲の明るさ
を計測して、間接的に現在の瞳径を割り出しても良い。
前記使用者周囲の明るさは表示輝度と外光の和であると
考えられるから、式(c)からDを計算するための式が
以下のように誘導される。
【0058】 D2 ×I=D0 2 ×I0 …………(e) D0 : 基準瞳径 D : 現在の瞳径 I0 : 瞳孔開度が基準瞳径となる周囲光強度 I : 現在の周囲光強度 D=D0 ×IR …………(f) IR : I0 /Iの平方根 周囲光強度に基づく瞳径推定部は、瞳径を直接計測しな
いために精度の点で多少劣るものと考えられるが、光セ
ンサのみで簡便に実現可能であり、装置規模を非常にコ
ンパクトにできるという点において利便性が高い。
【0059】また、画像生成部が使用者の瞳径に応じて
表示輝度を変更する上記実施例および変形例において、
画像生成部が表示される画素の輝度ベクトルの合計値を
一定に保つ表示輝度の制御を行なうようにしても良い。
この場合、外光は一定であるとの仮定を必要とするが、
瞳径推定部全体と画像生成部におけるサーボ機構とを排
除したコンパクトな装置規模にできる利点があり、その
利便性はより一層向上する。あるいは、外光が制御可能
であるとして、表示輝度と外光の少なくとも1つを制御
することも可能である。
【0060】さらに、瞳径推定部を有する上記の実施例
および変形例において、注視箇所指定部と瞳径推定部は
効率を上げるために前記楕円形長軸の情報を共用する構
成となっているが、例えば、眼球を動かす筋肉の電位を
計測することによって視線を推定し、瞳径を周囲光強度
から推定するなど、実現方式によっては各々独立の構成
とすることも可能である。
【0061】あるいは、注視箇所指定部を有し、前描画
部がzバッファアルゴリズムで描画を行なう上記の実施
例および変形例において、注視箇所指定部がマウスなど
の手段で指定される表示画面上の座標を検出し、該座標
に対応する前描画バッファ上の画素に格納される座標を
注視座標として出力するか、前記図4における注視座標
計算部404が、2視線を最短距離で結ぶ線分の中点に
対応する前描画バッファ上の画素の座標を注視座標とし
て出力しても良い。このようにすると、注視箇所は必ず
視点から可視である表示対象表面上にある点となるの
で、注視することが無意味であったり、不可視であった
りする表示対象の手前や内部の点に不本意に焦点を合わ
せてしまうことを防止できるので、その利便性は一層向
上する。
【0062】なお、本発明に係る表示装置に補助的な手
段を付加してその利便性を向上させることも可能であ
る。例えば、上記実施例および変形例に新たに通信手段
を付加し、表示対象や表示結果やその他の情報を他の外
部装置とやりとりしても良い。あるいは、装置の各構成
要素間を有線/無線のいずれかによって結び付けるため
の補助的通信手段を設けても良い。また、新たに印刷手
段や記録手段を付加し、表示結果を印刷出力や録画出力
しても良い。さらに、新たに記憶手段を付加し、各構成
要素に別々に格納される諸情報を一括して記憶格納する
構成としても良い。
【0063】以上で述べたように、本発明に係る表示装
置はその要旨を逸脱しない限りにおいて種々変形組み合
わせて実施可能である。
【0064】
【発明の効果】本発明に係る表示装置によれば、使用者
は両眼視において両眼輻輳角に基づく距離感覚に矛盾し
ないぼかし処理を施された画像を観察することができ、
疲労の少ない状態で該表示装置を使用でき、作業効率を
上げることができる。
【図面の簡単な説明】
【図1】両眼輻輳角に基づく人間の距離知覚の原理図。
【図2】両眼視表示装置の原理図。
【図3】本発明に係る表示装置の第1と第2の実施例の
全体構成図。
【図4】本発明に係る表示装置の注視箇所指定部の構成
図。
【図5】本発明に係る表示装置の画像生成部の構成図。
【図6】本発明に係る表示装置のぼけ生成の原理図。
【図7】レイトレーシングの原理図。
【図8】本発明に係る表示装置の第3と第4の実施例の
全体構成図。
【図9】本発明に係る表示装置の処理状態を示すフロー
チャート。
【符号の説明】
301……注視個所指定部 302……画像生成部 303……表示部
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平3−129573(JP,A) 特開 昭63−66682(JP,A) 特開 昭63−259778(JP,A) 特開 昭64−1082(JP,A) ”視覚のぼけ特性のモデル化と両眼立 体表示”,電子情報通信学会論文誌,社 団法人電子情報通信学会,1990年9月25 日,Vol.J73−D−II,No. 9,p.1571−1573 (58)調査した分野(Int.Cl.7,DB名) G06T 11/80 G06T 15/00 G06T 17/40 G09G 5/36 CSDB(日本国特許庁)

Claims (4)

    (57)【特許請求の範囲】
  1. 【請求項1】使用者が表示対象上の注視する箇所を、前
    記使用者の両眼視線の交点から指定する注視箇所指定手
    段と、前記表示対象についてぼけを含まない画像を生成する前
    描画手段と、 前記ぼけを含まない画像の各画素の空間位置と、前記注
    視箇所の空間位置とに基づいて各画素毎にぼけ直径を算
    出し、前記各画素のぼけ直径を直径とする円パターンを
    加え合わせて輝度分布を 生成する画像生成手段と、 前記生成された画像を表示可能な表示手段とを具備した
    ことを特徴とする表示装置。
  2. 【請求項2】使用者の瞳径を計測する瞳径推定手段と、 画像生成手段が、表示対象上の各箇所の空間位置と、注
    視箇所の空間位置と、前記瞳径推定手段によって計測し
    た瞳径とに基づいて前記各箇所を所定の要領でぼかした
    画像を生成する手段を具備したことを特徴とする請求項
    1記載の表示装置。
  3. 【請求項3】使用者の瞳径を計測する瞳径計測手段と、 画像生成手段が、表示対象上の各箇所の空間位置と注視
    箇所の空間位置とに基づいて前記各箇所を所定の要領で
    ぼかすと同時に、前記瞳径計測手段によって計測した瞳
    径に基づいて輝度調整された画像を生成する手段を具備
    したことを特徴とする請求項1記載の表示装置。
  4. 【請求項4】前記注視箇所指定手段は、 前記表示対象をマルチウインドウとなし、前記マルチウ
    インドウの各ウインドウに奥行き距離z値を与え、最も
    手前に表示されるウインドウのz値をz として、前
    記使用者が注視する箇所とする ことを特徴とする請求項
    1記載の表示装置。
JP604293A 1993-01-18 1993-01-18 表示装置 Expired - Fee Related JP3325323B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP604293A JP3325323B2 (ja) 1993-01-18 1993-01-18 表示装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP604293A JP3325323B2 (ja) 1993-01-18 1993-01-18 表示装置

Publications (2)

Publication Number Publication Date
JPH06215092A JPH06215092A (ja) 1994-08-05
JP3325323B2 true JP3325323B2 (ja) 2002-09-17

Family

ID=11627576

Family Applications (1)

Application Number Title Priority Date Filing Date
JP604293A Expired - Fee Related JP3325323B2 (ja) 1993-01-18 1993-01-18 表示装置

Country Status (1)

Country Link
JP (1) JP3325323B2 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008176522A (ja) * 2007-01-18 2008-07-31 Sgi Japan Ltd デフォーカス画像の生成方法及び生成装置
JP2009003812A (ja) * 2007-06-22 2009-01-08 Sgi Japan Ltd デフォーカス画像の生成方法及び生成装置
WO2012086362A1 (ja) * 2010-12-22 2012-06-28 コニカミノルタホールディングス株式会社 画像処理装置、そのプログラム、および画像処理方法
EP3286915B1 (en) 2015-04-23 2021-12-08 Apple Inc. Digital viewfinder user interface for multiple cameras
US9912860B2 (en) 2016-06-12 2018-03-06 Apple Inc. User interface for camera effects
DK180859B1 (en) 2017-06-04 2022-05-23 Apple Inc USER INTERFACE CAMERA EFFECTS
US11112964B2 (en) 2018-02-09 2021-09-07 Apple Inc. Media capture lock affordance for graphical user interface
US11722764B2 (en) 2018-05-07 2023-08-08 Apple Inc. Creative camera
DK201870623A1 (en) * 2018-09-11 2020-04-15 Apple Inc. User interfaces for simulated depth effects
US11321857B2 (en) 2018-09-28 2022-05-03 Apple Inc. Displaying and editing images with depth information
US11770601B2 (en) 2019-05-06 2023-09-26 Apple Inc. User interfaces for capturing and managing visual media
US11054973B1 (en) 2020-06-01 2021-07-06 Apple Inc. User interfaces for managing media
US11212449B1 (en) 2020-09-25 2021-12-28 Apple Inc. User interfaces for media capture and management
US11778339B2 (en) 2021-04-30 2023-10-03 Apple Inc. User interfaces for altering visual media
US12506953B2 (en) 2021-12-03 2025-12-23 Apple Inc. Device, methods, and graphical user interfaces for capturing and displaying media
US20250238129A1 (en) 2024-01-18 2025-07-24 Apple Inc. User interfaces integrating hardware buttons

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"視覚のぼけ特性のモデル化と両眼立体表示",電子情報通信学会論文誌,社団法人電子情報通信学会,1990年9月25日,Vol.J73−D−II,No.9,p.1571−1573

Also Published As

Publication number Publication date
JPH06215092A (ja) 1994-08-05

Similar Documents

Publication Publication Date Title
JP3787939B2 (ja) 立体映像表示装置
JP3325323B2 (ja) 表示装置
US11736674B2 (en) Dynamic convergence adjustment in augmented reality headsets
US9720238B2 (en) Method and apparatus for a dynamic “region of interest” in a display system
CN109979016B (zh) 一种ar设备显示光场影像的方法、ar设备和存储介质
US11550151B2 (en) Method of determining an eye parameter of a user of a display device
JP2019091051A (ja) 表示装置、およびフォーカスディスプレイとコンテキストディスプレイを用いた表示方法
US12299192B2 (en) Visual assistance
KR20210005555A (ko) 디지털 가능하게 보정된 수차가 있는 혼합 현실 광학 시스템
US12181648B2 (en) Image compensation device for image for augmented reality
KR20210072348A (ko) 사실적인 가상 현실을 위한 동적 포비티드 렌더링 방법
CN110794590A (zh) 虚拟现实显示系统及其显示方法
US20250240400A1 (en) Methods for controlling performance of extended reality display systems
US20200304778A1 (en) Display apparatus and method of producing images having spatially-variable angular resolutions
CN111587397B (zh) 图像生成装置、眼镜片选择系统、图像生成方法以及程序
KR101817436B1 (ko) 안구 전위 센서를 이용한 영상 표시 장치 및 제어 방법
CN117998071B (zh) 眼动追踪光场3d显示方法、装置、电子设备及存储介质
JP2018157276A (ja) 画像表示装置、画像表示方法及びプログラム
WO2024122191A1 (ja) 画像処理装置及び方法、プログラム、記憶媒体
KR20230065846A (ko) 스마트안경
US20250239010A1 (en) Saccade contingent reduced resolution rendering
JP4102410B2 (ja) 立体映像ディスプレイ装置
US12058452B2 (en) Image blending
JP2024008006A (ja) 画像処理装置、表示装置、画像処理方法、およびプログラム
HK40058405A (en) Dynamic convergence adjustment in virtual reality headsets

Legal Events

Date Code Title Description
FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080705

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees