JPH09191438A - 視線検出機能を有する表示装置 - Google Patents

Abstract

(57)【要約】 【課題】 使用者の視線が向いている領域の表示を目立
つようにする。 【解決手段】 使用者の視線Ｓ１を検出するための視線
検出手段Ｄによって検出された使用者の視線が表示手段
Ｃの画面上におけるいずれの領域を注視しているのか検
出するための注視点領域検出手段Ｅと、上記注視点領域
検出手段Ｅによって検出された領域における表示の形態
を変化させるようにする表示形態制御手段Ｆとを設け、
上記使用者の視線が向いていない領域においては表示が
目立たないようにするとともに、上記使用者の視線が向
いている領域の表示は目立つように表示形態を制御する
ようにすることにより、視線による機能選択を容易に行
うことができるようにするとともに、上記使用者の視線
Ｓ１が向いていない領域の表示が作図作業の邪魔になら
ないようにする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は視線検出機能を有す
る表示装置に係わり、例えば、ヘッドマウントディスプ
レイ／パソコン／ビデオカメラ／スチルカメラ等に使用
される表示装置に用いて好適なものである。

【０００２】

【従来の技術】図１３は、パソコン用ディスプレイの表
示画面を示しており、表示画面の一部に文字および記号
等が表示される作図ソフトを使用している例である。図
１３において、９０１はパソコン表示画面、９０２は作
図表示、９０３はメニューエリア、９０４、９０５、９
０６はメニュー表示である。

【０００３】ここで、メニューエリア９０３に表示され
ているＬＩＮＥ９０４、ＣＩＲＣＬＥ９０５、ＬＩＭＩ
Ｔ９０６などを、例えばマウス等の指示手段で選択する
ことにより、作図機能を実行することができるようにな
されている。

【０００４】

【発明が解決しようとする課題】このような構成におい
ては、上記メニュー／字幕等の表示を目立つようにした
方が上記指示手段による選択を容易に行うことができ
る。しかしながら、作図作業を行っているときに上記メ
ニュー／字幕等の表示が目立ち過ぎると、作図作業を行
うときに邪魔になってしまうことがある問題点があっ
た。

【０００５】また、その反対に上記メニュー／字幕等の
表示を目立たないように表示すると、作業者が表示内容
を見ずらいので、上記指示手段による選択がしにくくな
ってしまうという欠点があった。特に、作業者の視線に
よって上記メニュー／字幕等の表示を指示する場合に
は、所望の項目を指示することができたか否かが分かり
にくい問題があった。

【０００６】本発明は上述の問題点にかんがみ、使用者
の視線に応じて表示形態を変化させることができるよう
にすることを目的とする。

【０００７】

【課題を解決するための手段】本発明の視線検出機能を
有する表示装置は、使用者の視線を検出するための視線
検出手段と、上記視線検出手段によって検出された使用
者の視線が、上記使用者が見ている表示手段の画面上に
おけるいずれの領域を注視しているのか検出する注視点
検出手段と、上記注視点検出手段によって検出された使
用者の視線に応じて所定の領域における表示の形態を変
化させるように制御する表示形態制御手段とを具備する
ことを特徴としている。

【０００８】また、本発明の他の特徴とするところは、
上記表示手段は、ヘッドマウントディスプレイ、パソコ
ン用表示装置、ビデオカメラ、スチルカメラのいずれか
に設けられているものであることを特徴としている。

【０００９】また、本発明のその他の特徴とするところ
は、使用者の視線を検出するための視線検出手段と、上
記使用者が見ている表示手段の画面に表示する表示デー
タを生成する表示データ生成手段と、上記視線検出手段
によって検出された使用者の視線が上記表示手段の画面
上におけるいずれの領域を注視しているのか検出する注
視点検出手段と、上記注視点検出手段によって検出され
た使用者の視線に応じて所定の領域における表示の形態
を変化させるように上記表示データ生成手段を制御する
表示形態制御手段とを具備することを特徴としている。

【００１０】また、本発明のその他の特徴とするところ
は、上記表示データ生成手段は、上記表示手段の画面に
所定の表示形態で表示するようにするための表示データ
を、表示データを記憶している表示データ記憶手段から
読みだして生成することを特徴としている。

【００１１】また、本発明のその他の特徴とするところ
は、上記表示形態制御手段は、常時は細文字で行われて
いた表示を、使用者の視線が検出されたときには太文字
に変化させることを特徴としている。

【００１２】

【作用】本発明は上記技術手段を有するので、使用者に
注視されているか否かに応じて所定領域における表示の
形態を変化させることができるようになるので、常時は
目立たないように表示することにより、上記所定領域外
で行う作図作業の邪魔にならないようにすることができ
るとともに、視線によって機能選択を行うときには上記
所定領域における表示を目立つようにして、上記使用者
が視線により表示項目を選択する操作をし易くすること
ができる。

【００１３】

【発明の実施の形態】以下、本発明の視線検出機能を有
する表示装置の実施形態を図面を参照して説明する。図
１は、本実施形態の視線検出機能を有する表示装置の要
部を示す機能構成図である。図１において、Ａは表示デ
ータ記憶手段、Ｂは表示データ生成手段、Ｃは表示手
段、Ｄは視線検出手段、Ｅは注視点領域検出手段、Ｆは
表示形態制御手段である。

【００１４】表示データ記憶手段Ａは、表示手段Ｃの表
示面に表示するための表示データを記憶しておくための
ものであり、上記表示手段Ｃは、例えばヘッドマウント
ディスプレイ、パソコン用表示装置、ビデオカメラ、ス
チルカメラのいずれかに設けられるものである。

【００１５】表示データ生成手段Ｂは、上記表示データ
記憶手段Ａに記憶されている表示データを読みだし、こ
れを所定の表示形態で表示するようにするための表示デ
ータを生成する。視線検出手段Ｄは、本実施形態の表示
装置を使用する者の視線を検出するためのものである。

【００１６】注視点領域検出手段Ｅは、上記視線検出手
段Ｄによって検出された使用者の視線が上記表示手段Ｃ
の画面上におけるいずれの領域を注視しているのか検出
するためのものである。表示形態制御手段Ｆは、上記注
視点領域検出手段Ｅによって検出された領域の表示形態
を変化させるように上記表示データ生成手段Ｂの動作を
制御するためのものである。

【００１７】本実施形態の視線検出機能を有する表示装
置は、上述のように構成されているので、使用者の視線
に応じて表示形態を変化させるようにすることができ
る。これにより、例えば、作図作業を行う場合に、使用
者の視線が向いていない領域における表示が邪魔になら
ないように表示形態を変化させるようにすることができ
る。

【００１８】また、使用者の視線が向いている領域にお
いては、表示が目立つように表示形態を変化させること
ができる。これにより、例えば、画面の一部にメニュー
／字幕等の表示行われている場合に、上記メニュー／字
幕等が表示されていない領域において作図作業が行われ
ている場合には、上記メニュー／字幕等が目立たないよ
うに表示形態を変化させるようにする。このように表示
形態を変化させることにより、使用者が視線によって表
示項目を指示して機能選択を行う操作が容易となる。

【００１９】次に、本発明の視線検出機能を有する表示
装置のより具体的な構成および動作を、視線検出機能を
有するヘッドマウントディスプレイパソコンへ応用した
例について説明する。図２は、ヘッドマウントディスプ
レイパソコンで作図ソフトを使用しているときのパソコ
ンの画面を示している。

【００２０】図２において、１０１はパソコン表示画
面、１０６は作図表示、１０２はメニューエリアであ
る。また、１０３、１０４および１０５はメニュー表示
であり、１０３はＬＩＮＥ、１０４はＣＩＲＣＬＥ、１
０５はＬＩＭＩＴをそれぞれ示している。

【００２１】ここで、ＬＩＮＥ１０３、ＣＩＲＣＬＥ１
０４、ＬＩＭＩＴ１０５などのメニュー表示をマウス等
で選択することにより、パソコンの作図機能を実行する
ことができる。また、第１の範囲α、第２の範囲β、第
３の範囲γはそれぞれのメニューを注視したかどうかを
判断するための座標群エリアである。

【００２２】図３は、使用者の眼球３００がＬＩＮＥ１
０３のメニュー表示を注視したときの表示形態の変化を
示す図である。図３に示したように、ＬＩＮＥ１０３は
上記使用者の眼球３００によって注視される前は細い線
によって表示されていて、メニューエリア１０２以外の
領域で行う作図作業の邪魔にならないようになされてい
る。

【００２３】しかし、上記使用者の眼球３００によって
注視されると、図３において２０４の符号を付して示し
たように、白抜きの太い線によって表示されるようにな
る。これにより、使用者は、眼球３００によってＬＩＮ
Ｅ１０３を注視したことを確実に認識することができる
ので、メニュー表示を指示する作業を容易に行うことが
できるようになる。なお、他のメニュー表示、すなわ
ち、ＣＩＲＣＬＥ１０４、ＬＩＭＩＴ１０５のときも同
様に表示形態を変化させるようにしている。

【００２４】次に、本実施形態の表示装置の具体的な構
成および動作原理を説明する。まず、視線検出原理につ
いて説明する。使用者が注視しているファインダー画面
上の位置を検出する手段は、いくつか提案されている
が、以下に、そのひとつの原理を説明する。

【００２５】図４および図５は、視線検出方法の原理を
説明するための図であり、図４は、上面図、図５は側面
図である。図４および図５において、７０６ａ、７０６
ｂは使用者に対して不感の赤外光を放射する発光ダイオ
ード（ＩＲＥＤ）等の光源である。

【００２６】図４に示すように、第１の光源７０６ａ、
第２の７０６ｂは、結像レンズ７１１の光軸に対してｘ
方向（水平方向）に略対象に配置されている。また、図
５に示すように、ｙ方向（垂直方向）に対してやや下側
に配置されており、使用者の眼球７０８を発散照明して
いる。上記使用者の眼球７０８で反射した照明光の一部
は、結像レンズ７１１によってイメージセンサー７１２
に結像する。

【００２７】以下、各図を用いて視線の検出方法を説明
する。図６（ａ）は、上記イメージセンサー７１２に投
影される眼球像の概略図であり、図６（ｂ）はイメージ
センサー７１２の出力強度を示す図である。

【００２８】まず、水平面で考えると、図４において第
２の光源７０６ｂより放射された赤外光は、使用者の眼
球７０８の角膜７１０を照明する。このとき、上記角膜
７１０の表面で反射した赤外光により形成される角膜反
射像ｄ（虚像）は、結像レンズ７１１により集光され、
イメージセンサー７１２上の位置ｄ′に結像する。

【００２９】同様に、第１の光源７０６ａより放射され
た赤外光は、使用者の眼球の角膜７１０を照明する。こ
のとき、上記角膜７１０の表面で反射した赤外光により
形成された角膜反射像ｅ（虚像）は、結像レンズ７１１
により集光され、イメージセンサー７１２上の位置ｅ′
に結像する。

【００３０】また、虹彩７０４の端部ａ，ｂからの光束
は、結像レンズ７１１を介してイメージセンサー７１２
上の位置ａ′、ｂ′に入射して上記端部ａ，ｂの像を結
像する。ここで、上記結像レンズ７１１の光軸に対する
眼球７０８の光軸の回転角θが小さい場合、虹彩７０４
の端部ａ，ｂのｘ座標をｘａ，ｘｂとすると、これらの
ｘａ，ｘｂは、図６（ａ）中のＸ印で示したように、イ
メージセンサー７１２上で多数点求めることができる。

【００３１】そこで、まず円の最小自乗法にて瞳孔中心
ｘｃ７０３を算出する。一方、角膜７１０の曲率中心ｏ
のｘ座標をｘｏとすると、眼球７０８の光軸に対する回
転角θｘは、 ｏｃ＊sin θｘ= ｘｃ−ｘｏ …（１式）となる。

【００３２】また、角膜反射像ｄとｅの中心ｋに所定の
補正値δｘを考慮して上記座標ｘｏを求めると、 ｘｋ= ( ｘｄ＋ｘｅ) ／２ ｘｏ= ( ｘｄ＋ｘｅ) ／２＋δｘ …（２式）となる。

【００３３】ここで、２式中のδｘは装置の設置方法／
眼球距離等から幾何学的に求められる数値であり、その
算出方法は省略する。よって、（１式）を（２式）へ代
入してθｘを求めると、 θｘ=arc sin〔〔ｘｃ−｛( ｘｄ＋ｘｅ) ／２＋δ
ｘ｝〕／ｏｃ〕 …（３式）となる。

【００３４】さらに、イメージセンサー７１２上に投影
された各々の特徴点の座標を、′（ダッシュ）をつけて
書き換えると、 θｘ=arc sin〔〔ｘｃ′−｛ｘｄ′＋ｘｅ′) ／２＋δ
ｘ′｝〕／ｏｃ／β〕…（４式）となる。

【００３５】ここで、βは結像レンズ１１に対する眼球
の距離ｓｚｅにより決まる倍率であり、実際は角膜反射
像の間隔｜ｘｄ′−ｘｅ′｜の関数として求められる。

【００３６】また、垂直面で考えると、図５のような構
成となる。ここで２個のＩＲＥＤ７０６ａ、７０６ｂに
より生じる角膜反射像は同位置に発生し、これをｉとす
る。眼球の回転角θｙの算出方法は、水平面の時とほぼ
同一であるが、上記（２式）のみ異なり、角膜曲率中心
ｏのｙ座標をｙｏとすると、 ｙｏ= ｙｉ＋δｙ …（５式）となる。

【００３７】ここで、δｙは装置の配置方法、眼球距離
等から幾何学に求められる数値であり、その算出法は省
略する。よって、垂直方向の回転角θｙは、 θｙ=arc sin〔〔ｙｃ′−( ｙｉ′＋δｙ′) 〕／ｏｃ
／β〕 …（６式）となる。

【００３８】さらに、ビデオカメラのファインダー画面
上の位置座標（ｘｎ、ｙｎ）はファインダー光学系で決
まる定数ｍを用いると、水平面上、垂直面上それぞれ、 ｘｎ= ｍ＊arc sin 〔〔ｘｃ′−｛ｘｄ′＋ｘｅ′) ／
２＋δｘ′｝〕／ｏｃ／β〕…（７式）となり、 ｙｎ= ｍ＊arc sin 〔｛ｙｃ′−( ｙｉ′＋δｙ′) ｝
／ｏｃ／β …（８式）となる。

【００３９】図６（ｂ）で明らかなように、瞳孔エッヂ
の検出はイメージセンサー出力波形の立ち上がり（ｘ
ｂ′）、立ち下がり（ｘａ′）を利用する。また、角膜
反射像の座標は鋭い立ち上がり部（ｘｅ′およびｘ
ｄ′）を利用する。

【００４０】次に、視線検出機能をポインティングデバ
イスとして利用したヘッドマウントディスプレイパソコ
ンの構成について説明する。図７は、その構成を示すブ
ロック図である。図７において、８１０はヘッドマウン
トディスプレイユニットであり、ゴーグル、メガネ等の
ように使用者の顔面に装着可能な形状に構成され、使用
者の目の近傍に固定される。

【００４１】ここで、８０８は液晶表示素子、８０９は
液晶表示回路であり、パソコン画面の表示を行う。ま
た、８０７は特殊プリズム、８０１は人の目であり、上
記特殊プリズム８０７により上記液晶表示素子８０８の
画面が拡大されて使用者の目８０１に観察されるように
なされている。

【００４２】上記特殊プリズム８０７は、第１の光学作
用面８０７ａ、第２の光学作用面８０７ｂ、第３の光学
作用面８０７ｃを有し、全体として正の屈折力を有する
観察光学系である。

【００４３】さらに、８０２は使用者の目８０１を照明
する赤外発光ダイオード、８０３は使用者の目８０１お
よび角膜反射像を縮小して結像する結像レンズ系で、８
０４は上記角膜反射像を検出するイメージセンサーであ
る。

【００４４】上記特殊プリズム８０７の第２光学作用面
８０７ｂは、使用者の目８０１の上下方向に傾斜してお
り、液晶表示素子８０８は使用者の上方（または下方）
に配置されている。

【００４５】図８は、特殊プリズム８０７の第２の光学
作用面８０７ｂから見た側面図であり、第２の光学作用
面８０７ｂには、光を反射するための反射層（斜線部）
が設けられており、その中央部には開口部８０７Ａが形
成されている。

【００４６】上記赤外発光ダイオード８０２は、光軸を
含み紙面に平行な平面に対して対称に２個、少なくとも
１対の光源を目の下方から使用者の目８０１を照明する
ように配置されている。

【００４７】次に、観察系の光学作用について説明す
る。液晶表示素子８０８からの光は、上記特殊プリズム
８０７の第３の光学作用面８０７ｃで屈折透過し、第１
の光学作用面８０７ａで全反射する。その後、第２の光
学作用面８０７ｂの反射層で反射し、再び第１の光学作
用面８０７ａを屈折透過し、使用者の視度に適合した拡
がり角（収束角、平行）の光束となり、使用者の目８０
１側に射出する。

【００４８】ここで、使用者の目８０１と液晶表示素子
８０８の中心とを結ぶ線を基本光軸Ｌとして示してい
る。使用者の視度に対する調整は、液晶表示素子８０８
を、特殊プリズム８０７の光軸に沿って平行移動するこ
とにより可能となる。

【００４９】次に、視線検出系の光学作用について説明
する。上記赤外発光ダイオード８０２から発した光は、
視線検出系の光軸とは異なる方向から使用者の目８０１
を照明する。

【００５０】上記照明光は使用者の角膜、瞳孔で反射散
乱され、角膜で反射した光は角膜反射像を形成し、瞳孔
で散乱した光は瞳孔像を形成する。これらの光は、上記
特殊プリズム８０７の第２の光学作用面８０７ｂに設け
られた開口部８０７Ａを通して、結像レンズ系８０３に
よりイメージセンサー８０４上に結像される。

【００５１】上記イメージセンサー８０４から得られる
使用者の目８０１の画像は、上述した視線検出原理に基
づいて構成された視線検出回路８０５によって検出さ
れ、注視点データがパソコンユニット８２０へ出力され
る。

【００５２】上記特殊プリズム８０７は、像性能と歪み
を補正してテレセントリックな系とするために、３つの
作用面８０７ａ、８０７ｂ、８０７ｃはそれぞれ回転対
称軸を有しない３次元曲面で構成するのが望ましい。こ
こでは、基本光軸Ｌを含み、紙面に平行な平面にのみ対
称な曲面構造をしている。

【００５３】また、上記結像レンズ系８０３のレンズ
は、くさび形状をしたレンズである。これにより結像レ
ンズ系を、少ないレンズで構成することができるので、
小型化に適している。このレンズの斜めの面に、曲率を
つけることで、第２の光学作用面８０７ｂで発生する偏
心収差を有効に補正することができる。

【００５４】さらに、結像レンズ系には少なくとも非球
面を１面設けると、軸外の結像性能を補正する上で有効
である。結像レンズ系の絞りは、上記第２の光学作用面
８０７ｂに設けた開口部８０７Ａに近い方が、上記開口
部８０７Ａを小さくすることができるので、観察系に対
する中抜けを防ぐのに有効であり、できれば上記開口部
８０７Ａと絞りとが一致しているのが望ましい。

【００５５】上記開口部８０７Ａは、２ｍｍより小さく
設定すれば、使用者の目８０１の瞳孔より小さくなり、
さらに観察系に対する中抜けを防ぐのに有効である。ま
た、使用者の目８０１を照明する光は、視感度の低い光
がよいので、赤外光を使用している。このとき、結像レ
ンズ系に可視光をカットする部材のレンズを少なくとも
１個設けると、視線の検出精度を向上させることができ
る。

【００５６】また、照明光源を、プリズム８０７を挟ん
で使用者の目８０１と反対側に配置すると、プリズム８
０７の屈折力を強くして高視野化した場合でも、使用者
の目８０１を適切に照明することができるので望まし
い。

【００５７】このときは、第２の光学作用面８０７ｂの
反射層の光源の部分に開口部を設けるようにする。赤外
発光ダイオード８０２から発した光は、第２の光学作用
面８０７ｂの光源部分の開口部（図示せず）を透過し、
次いで、第１の光学作用面８０７ａを透過し、視線検出
系の光軸と異なる方向から使用者の目８０１を照明す
る。

【００５８】次に、図７を参照しながらパソコンユニッ
ト８２０について説明する。図７において、８１４はＣ
ＰＵであり、プログラムやデータの演算処理を行うため
のものである。８１３は各デバイスを結ぶためのシステ
ムバス、８１８は、ＲＯＭ８１６やＲＡＭ８１７の制御
を行うメモリコントローラ、８１２はビデオＲＡＭ８１
１に書かれた内容がパソコンディスプレイに表示される
ように制御するビデオグラフィックコントローラであ
る。

【００５９】８１５はアクセサリーデバイスコントロー
ラであり、ポインティングデバイス、キーボードをコン
トロールするためのものであり、本実施形態においては
ヘッドマウントディスプレイ８１０の、視線検出回路８
０５に接続される。８１９は周辺装置制御用のＩ／Ｏチ
ャネルであり、本実施形態においては、ヘッドマウント
ディスプレイ８１０の液晶表示回路８０９に接続され
る。

【００６０】次に、本実施形態におけるＣＰＵ８１４の
動作を、図９の流れ図に従って具体的に説明する。それ
ぞれのメニュー表示のＬＩＮＥ１０３、ＣＩＲＣＬＥ１
０４およびＬＩＭＩＴ１０５を含む所定の範囲α、β、
γの座標群はそれぞれＲＯＭ８１６に記憶されており、
各座標群は図２に示した範囲の座標を全て含んでいる。

【００６１】まず、ステップ９１０において電源がＯＮ
されて処理が開始されると、次のステップ９１１におい
て変数ｌ，ｍ，ｎが０にリセットされ、準備ができる。
なお、これらの変数ｌ，ｍ，ｎはそれぞれ使用者の注視
点が座標群αのいずれかの座標、座標群βのいずれかの
座標、座標群γのいずれかの座標と一致した回数をカウ
ントする変数である。

【００６２】次のステップ９１２においては、使用者が
画面を覗いて視線検出が正常に行われている間、ＣＰＵ
８１４は使用者のファインダー上の注視点座標を視線検
出回路８０５から絶えず受け取って視線検出を行う。上
記視線検出は、まず、注視点座標が座標群αの内のいず
れかの座標に一致したか否かを判断する。

【００６３】そして、使用者の視線が上記座標群αの内
のいずれかの座標に略一致すると、次に、ステップ９１
３に進み、座標群αにおける視線検出処理を行い、その
後、ステップ９１４において視線検出処理を終了するか
否かを判断する。そして、視線検出処理を続ける場合に
はステップ９１１に戻る。

【００６４】一方、上記ステップ９１２の判別結果、使
用者の視線が座標群αの内のいずれかの座標と一致して
いない場合には、ステップ９１２からステップ９１５に
進み、使用者の視線が上記座標群βの内のいずれかの座
標に一致したか否かを判断する。

【００６５】そして、使用者の視線が上記座標群βの内
のいずれかの座標に略一致すると、次に、ステップ９１
６に進み、座標群βにおける視線検出処理を行い、その
後、ステップ９１４に進んで視線検出処理を終了するか
否かを判断する。そして、視線検出処理を続ける場合に
はステップ９１１に戻る。

【００６６】また、上記ステップ９１５の判別結果、使
用者の視線が座標群βの内のいずれかの座標と一致して
いない場合には、ステップ９１５からステップ９１７に
進み、使用者の視線が上記座標群γの内のいずれかの座
標に一致したか否かを判断する。

【００６７】そして、使用者の視線が上記座標群γの内
のいずれかの座標に略一致すると、次に、ステップ９１
８に進み、座標群γにおける視線検出処理を行い、その
後、ステップ９１４に進んで視線検出処理を終了するか
否かを判断する。そして、視線検出処理を続ける場合に
はステップ９１１に戻る。

【００６８】また、ステップ９１７の判別結果、使用者
の視線が上記座標群γの内のいずれの座標にも一致しな
い場合には、ステップ９１９に進み、メニュー表示を全
て初期状態にする処理を行い、その後、ステップ９１４
に進んで視線検出処理を終了するか否かを判断する。そ
して、視線検出処理を続ける場合にはステップ９１１に
戻る。

【００６９】次に、各座標群α、β、γにおける視線検
出処理について説明する。最初に、座標群αにおける視
線検出処理の詳細を、図１０のフローチャートに従って
説明する。

【００７０】まず、ステップ６０１においてメニュー表
示ＣＩＲＣＬＥ１０４、ＬＩＭＩＴ１０５を初期表示状
態（細文字状態）にする。次に、ステップ６０２に進
み、変数ｍ，ｎを０にリセットする。

【００７１】次に、ステップ６０３に進み、変数ｌが所
定の回数（本実施形態では５回）より多いかどうか判断
する。ステップ６０３の判別結果、変数ｌが５回よりも
少なければ、次のステップ６０４に進んで変数ｌに１を
加える。その後、ステップ６０５に進み、変数ｌが５よ
り多いか否かを再び判断する。そして、ステップ６０５
の判別結果、上記変数ｌが５より少ない場合にはリター
ンして（メインルーチンに戻り）、視線検出回路８０５
から注視点座標を再び受け取る。

【００７２】一方、上記ステップ６０３および上記ステ
ップ６０５の判別結果、上記変数ｌが５以上であれば、
ステップ６０６に進んでＬＩＮＥ文字を太く表示する処
理を行い、その後リターンして、視線検出回路８０５か
ら注視点座標を再び受け取る。

【００７３】なお、座標群αの内のいずれかの座標と視
線座標とが一致した回数が５回に満たないうちに、座標
群αの内のいずれかの座標から一度でも外れると変数ｌ
は０にリセットされる。

【００７４】上述の説明は、使用者がＬＩＮＥ１０３を
見た時を例にして説明したが、使用者がメニュー表示Ｃ
ＩＲＣＬＥ１０４を見たときの処理は、図１１のステッ
プ６１１〜ステップ６１６のように行われ、ＬＩＭＩＴ
１０５を見たときの処理は、図１２のステップ６２１〜
ステップ６２６のように行われる。すなわち、メニュー
表示ＣＩＲＣＬＥ１０４およびＬＩＭＩＴ１０５を見た
ときも、上記ＬＩＮＥ１０３を見た時と略同様な処理が
行われる。

【００７５】なお、本実施形態では、視線により表示文
字の太さを変更するようにした例を示したが、文字の濃
淡、大きさ、色、立体化、その他飾り形状等を変更して
表示形態を変更するようにしてもよい。

【００７６】

【発明の効果】本発明は上述したように、本発明によれ
ば、使用者の視線を検出し、上記使用者の視線が向いて
いない領域においては表示が目立たないようにする表示
制御を行い、上記使用者の視線が向いていない領域で行
われている表示が作図作業の邪魔にならないようにする
とともに、使用者の視線が向いている領域においては、
表示が目立つように表示形態を変更することができる。
これにより、使用者の視線で機能選択を行い易くなり、
ディスプレイ機器の操作性をより向上させることができ
る。

【図面の簡単な説明】

【図１】本発明の視線検出機能を有する表示装置の要部
を示す機能構成図である。

【図２】本発明の一実施形態を示し、ヘッドマウントデ
ィスプレイパソコンで作図ソフトを使用しているときの
パソコンの画面を示している図である。

【図３】使用者の眼球がＬＩＮＥのメニュー表示を注視
したときの表示形態の変化を示す図である。

【図４】視線検出方法の原理を説明するための図であ
る。

【図５】視線検出方法の原理を説明するための図であ
る。

【図６】（ａ）は、イメージセンサーに投影される眼球
像の概略図であり、（ｂ）はイメージセンサーの出力強
度を説明する図である。

【図７】ヘッドマウントディスプレイパソコンの構成を
示すブロック図である。

【図８】特殊プリズムを第２の光学作用面から見た側面
図である。

【図９】実施形態におけるＣＰＵの動作を説明するため
のフローチャートである。

【図１０】座標群αにおける視線検出処理の詳細を示す
フローチャートである。

【図１１】座標群βにおける視線検出処理の詳細を示す
フローチャートである。

【図１２】座標群γにおける視線検出処理の詳細を示す
フローチャートである。

【図１３】従来例を示し、パソコン画面の様子を示す図
である。

【符号の説明】

Ａ 表示データ記憶手段 Ｂ 表示データ生成手段 Ｃ 表示手段 Ｄ 視線検出手段 Ｅ 注視点領域検出手段 Ｆ 表示形態制御手段 Ｓ１ 使用者の視線 １０１ パソコン表示画面 １０２ メニューエリア １０３〜１０５ 初期のメニュー表示 １０６ 作図表示 ２０４ 注視時のメニュー表示

Claims (5)

【特許請求の範囲】
1. 【請求項１】 使用者の視線を検出するための視線検出
   手段と、 上記視線検出手段によって検出された使用者の視線が、
   上記使用者が見ている表示手段の画面上におけるいずれ
   の領域を注視しているのか検出する注視点検出手段と、 上記注視点検出手段によって検出された使用者の視線に
   応じて所定の表示領域における表示の形態を変化させる
   ように制御する表示形態制御手段とを具備することを特
   徴とする視線検出機能を有する表示装置。
2. 【請求項２】上記表示手段は、ヘッドマウントディスプ
   レイ、パソコン用表示装置、ビデオカメラ、スチルカメ
   ラのいずれかに設けられているものであることを特徴と
   する請求項１に記載の視線検出機能を有する表示装置。
3. 【請求項３】 使用者の視線を検出するための視線検出
   手段と、 上記使用者が見ている表示手段の画面に表示する表示デ
   ータを生成するための表示データ生成手段と、 上記視線検出手段によって検出された使用者の視線が上
   記表示手段の画面上におけるいずれの領域を注視してい
   るのか検出する注視点検出手段と、 上記注視点検出手段によって検出された使用者の視線に
   応じて所定の表示領域における表示の形態を変化させる
   ように上記表示データ生成手段を制御する表示形態制御
   手段とを具備することを特徴とする視線検出機能を有す
   る表示装置。
4. 【請求項４】 上記表示データ生成手段は、上記表示手
   段の画面に所定の表示形態で表示するようにするための
   表示データを、表示データを記憶している表示データ記
   憶手段から読みだして生成することを特徴とする請求項
   ３に記載の視線検出機能を有する表示装置。
5. 【請求項５】 上記表示形態制御手段は、常時は細文字
   で行われていた表示を、使用者の視線が検出されたとき
   には太文字に変化させることを特徴とする請求項１〜４
   のいずれか１項に記載の視線検出機能を有する表示装
   置。