JPH0749744A

JPH0749744A - 頭部搭載型表示入力装置

Info

Publication number: JPH0749744A
Application number: JP5193469A
Authority: JP
Inventors: Michihiro Kaneko; 道浩金子
Original assignee: Pioneer Electronic Corp
Current assignee: Pioneer Corp
Priority date: 1993-08-04
Filing date: 1993-08-04
Publication date: 1995-02-21
Also published as: GB9415530D0; GB2281838A

Abstract

(57)【要約】【目的】目を画像認識としてばかりではなく方向指示
入力もしくは確認入力にも利用し、情報の表示と入力と
を同時に行う携帯性のある頭部搭載型表示入力装置を提
供する。【構成】表示画面が眼前部に位置する状態で頭部に装
着可能であり、表示画面上に被選択情報を表示すること
が可能な情報入出力装置において、瞼の開閉状態を検出
する検出手段５と、瞼の検出信号を被選択情報の選択指
示信号として出力する出力手段２とを備えて第１の発明
を構成し、また、眼球の動きに伴う視線の方向を検出手
段５と、視線の変化を表す検出信号を被選択情報の選択
指示信号として出力する出力手段６とを備えて第２の発
明が構成される。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、いわゆる仮想現実感シ
ステムに係り、特に人間が頭部に装着して使用する頭部
搭載型表示入力装置に関する。

【０００２】

【従来の技術】近年、コンピュータ（Computer）装置等
が仮想的な現実の世界を創り出し、ユーザは特殊な入出
力機器を用いてその仮想現実感の中に疑似的に入り込
み、仮想的な物体を自由自在に操ることを目的とした、
いわゆる仮想現実感（ＶＲ：Vertual reality ）システ
ムが注目されている。

【０００３】仮想現実感技術における入力装置として
は、電磁場や光等を利用して人間の各関節や全体の動き
を感知し、パラメータに変換する手段が代表的である。
具体的には、前者は励磁コイルにより送出された電磁界
空間の中を人間の頭部等に計測コイルを付けてその人間
が移動し、計測コイルに誘導される電流をパラメータと
して３次元の計算を行い人間の位置を演算して求めるも
のであり、後者は光ファイバ等を取り付けたグローブを
ユーザが手に装着し、指を曲げた場合における光ファイ
バの光透過率が曲げの程度により変化することを利用し
たものである。さらに、グローブにおけるセンサの原理
を全身に拡大し、動きを感知するためのスーツを構成し
た技術もある。

【０００４】また、表示装置としては、双眼鏡や潜望鏡
の接眼部の構造を用いた立体表示の為の全方向モニタ
や、頭部に装着して内部のディスプレイに立体画像等を
表示するＨＭＤ（Head Mounted Display：ヘッド・マウ
ント・ディスプレイ）が公知である。なお、ここでいう
立体表示とは、何らかの画像分離手段によって左右の目
に個別の画像表示が届くような構成で生成された原画像
表示のことをいう。

【０００５】システム全体として考えた場合、入力装
置、表示装置等が単体で用いられる事は無く、入力から
出力までの総合的な環境を構築するため、仮想現実感の
ために開発された上記したような各装置を組み合わせて
用いることが行われている。

【０００６】従来の仮想現実感システムの１例を図９に
基づいて説明する。図５に示すように、従来例における
仮想現実感表示入力装置は、入力手段であって各所に設
けられた光ファイバ等のセンサが手の位置や各指の屈曲
に応じた電気信号に変換するグローブ８、その電気信号
を幾つかのパラメータ信号に変換する状態検出手段９、
それらパラメータ信号によりユーザの手の３次元空間的
な位置や各指の屈曲度を演算し所定の座標フォーマット
に変換する座標出力手段２、立体画像の生成を行いその
中に座標出力手段２によって演算された座標フォーマッ
トにより仮想空間内での手の位置を再現情報として合成
する表示制御手段３、表示制御手段３から出力された画
像情報を画像として表示する表示手段４により構成され
ている。

【０００７】上記したように、仮想現実感システムにお
けるユーザの仮想現実世界への参加は、全身や手をその
入力装置として仮想現実世界に参加させる事を主眼にし
ていた。つまり、あたかも仮想の世界のものを触ってい
るように仮想の手（グローブ）を用いて感じ、仮想の世
界を歩いているように仮想のスーツを着用して参加して
いた。

【０００８】

【発明が解決しようとする課題】しかしながら、従来の
仮想現実感システムにおいては、入力装置に用いられる
グローブ等のセンサの検出パラメータが大変多く、必然
的に大型のシステムになり機動性が少なかった。さら
に、グローブのように指の屈曲に応じて仮想現実世界の
位置を決めるシステムではセンサの特性から精度が高く
なく、例えば、複数並んでいるメニュー・バー（Menu b
ar）の内から１のバーを選ぶといった座標をある程度正
確に出す用途としては、決して最善の方法とは言えなか
った。

【０００９】一方、仮想現実感システム等を考える場
合、用途によっては人間の手若しくは全身の全てが仮想
現実世界に存在する必要はない場合がある。つまり、入
力するパラメータとして、単なる合図としてのオン・オ
フ（入り切り）情報を伝えれば良いシステムや、２次元
的座標を位置情報として装置側に伝えられればそれで十
分であるものも少なくない。例えば、コンピュータ装置
の表示画面上の選択肢にあたるメニュー・バー等を表示
系に送出させて、それに対し選択と入力合図を行えれば
よい場合がそれに当たる。

【００１０】そして、ＨＭＤ等の限られた空間内で人間
の手等の入力手段に代われるものを考えたとき、人間の
目が考えられる。手や全身の動きに３次元的な空間の位
置があるのと同じく、目には視線若しくは焦点による空
間位置というものがある。つまり、人間の視線や焦点を
検出することにより、オペレータが見たいと思う場所や
ものの位置を装置が認識出来れば、目の動きによる入力
方法というものを考えに入れる事が出来る。

【００１１】そこで、上記事情に鑑み、第１の発明の目
的は、瞼の開閉を選択入力の選択確認情報として利用可
能な頭部搭載型表示入力装置を提供することにある。ま
た、第２の発明の目的は、目の動きに伴う視線の方向を
画像認識としてばかりではなく選択指示情報として利用
可能な頭部搭載型表示入力装置を提供することにある。

【００１２】

【課題を解決するための手段】上記第１の発明の目的
は、表示画面が眼前部に位置する状態で頭部に装着可能
であり、表示画面上に被選択情報を表示することが可能
な情報入出力装置において、瞼の開閉状態を検出する検
出手段と、瞼の検出信号を被選択情報の選択指示信号と
して出力する出力手段とを備えた頭部搭載型表示入力装
置によって達成される。

【００１３】また、第２の発明の目的は、表示画面が眼
前部に位置する状態で頭部に装着可能であり、表示画面
上に被選択情報を表示することが可能な情報入出力装置
において、眼球の動きに伴う視線の方向を検出する検出
手段と、視線の変化を表す検出信号を被選択情報の選択
指示信号として出力する出力手段とを備えた頭部搭載型
表示入力装置によって達成される。

【００１４】

【作用】第１の発明は次のように作用する。まず、オペ
レータは本発明による頭部搭載型表示入力装置を装着
し、その表示画面上に、例えばメニュー・バー等の被選
択情報が表示されたとする。このとき、オペレータは所
望する被選択情報が表示された場所若しくはタイミング
で瞼を閉じる。検出手段はこの瞼の開閉状態を入力信号
の変化として検出し、出力手段はそこから供給された検
出信号を判定して、予め決められた所定の開閉状態であ
る場合、被選択情報の入力選択確認を示す選択指示信号
を出力する。よって、瞼の開閉によって選択確認を行う
ことが出来る。

【００１５】また、上記第２の発明は以下のように作用
する。まず、上記と同じようにオペレータが頭部搭載型
表示入力装置を装着しており、表示画面には被選択情報
が表示されているとする。次に、オペレータが所望の被
選択情報表示に視線を動かす。そのとき、眼球運動等を
検出する検出手段が眼球の動きを測定することによりそ
れに伴う視線の方向を検出する。次に、出力手段がこの
検出信号を演算し視線の変化を表す検出信号を被選択情
報の複数の選択肢等から１の選択肢を選ぶ座標等の選択
指示信号として出力することで、視線によって選択動作
を行うことが出来る。

【００１６】

【実施例】本発明の頭部搭載型表示入力装置による好適
な実施例を図面に基づいて説明する。（ｉ）第１実施例本発明の第１実施例を図１および図２に基づいて説明す
る。本実施例は第１の発明を適応し、目の瞬きをトリガ
にして画面切換等のきっかけにした頭部搭載型表示入力
装置である。

【００１７】まず、第１実施例における構成を図１に示
す。図１に示すように、開閉検出手段１は、ＨＭＤを装
着したユーザの目の開閉を観察しその状態に応じた電気
信号を開閉情報として出力し判定出力手段２に伝達す
る。開閉検出手段としては、本実施例では各種の眼球運
動検出方法で用いられているような、目の反射率の違い
を検出する装置での代用を想定しているが、直接肌にセ
ンサを付け瞼の動き等を司る顔面の筋肉の動きを検出す
るものでもよい。要するに、目の開いている状態と閉じ
ている状態とで異なる電気信号が検出出来るものならば
よい。判定出力手段２は、内部的に時間を測るクロック
等の時間経過判断手段を用い、入力されている開閉情報
により瞼の閉じている時間等を計測出来るようになって
いる。そして、閉じている時間や単位時間当たりの瞬き
回数等により所定の瞬きであると判定した時、その所定
の瞬きであることを示す判定信号を出力する。つまり、
ユーザが目のみで与えることの出来るある決められた手
順（例えば、右目を０．５秒以上瞑ればユーザの「送
り」の合図を、左目を０．５秒以上瞑れば「戻し」の合
図を、両目を３秒以上瞑れば「終了」等というように決
めておく）によって、片方の目を感知するセンサ（図示
せず）の入力のみが０．５秒以上無信号状態であった
時、それが右左どちらの目であるかの種類を判別し、所
定の判定信号を表示制御手段３に供給するのである。こ
れら合図は、通常の人間の目の乾燥を防ぐための生理的
な瞬きと混同されないような、意識的に行わなければ成
されない動作をその所定の瞬きとしておけばよく、長時
間の瞬きのほかに短時間に数回瞬く等を合図としてもよ
い。なお、開閉検出手段１を設けるのは両目である必要
はなく、その時は合図を片方の目のみで行うよう手順を
決めておけばよい。また、上記判定信号は、「送り」を
‘１’、「戻し」を‘２’というように、必要な判定種
類に応じて適当に決めればよい。

【００１８】さて、表示制御手段３では画像の表示制御
を行い、開閉情報から得られる判定信号の種類によっ
て、図示しない画像メモリ等に記憶されている幾種類か
の画像を送出することが出来るようになっている。そし
て、「送り」の判定信号であるときは順送り方向に画像
情報を切り換えて出力し、「戻し」の判定信号であると
きは逆方向に画像情報を戻して送出する。また、「終
了」の判定信号であるときは、処理を終了するように動
作を決めてある。

【００１９】表示手段４は従来のＨＭＤに当たる部分
で、表示制御手段３から供給された画像情報を表示す
る。次に、第１実施例における動作手続例を図２に示
す。

【００２０】図２に示すように、最初、表示手段４は画
面Ａを送出しているとする。次に、右目を０．５秒以上
閉じて、「送り」の合図をユーザが行ったとする。この
時、開閉検出手段１にて検出された開閉信号は、判定出
力手段２において、閉じられた時の時間長と左右どちら
の目が閉じられたのかを判定し、「右目が０．５秒以上
閉じられたこと」を確認し、「送り」を示す判定信号を
出力し、表示制御装置３に送る。

【００２１】さて、「送り」の判定信号を受け取った画
像制御手段３は、「送り」の動作、ここでは次の画像情
報（画面Ｂ）を画像メモリから呼び出し、表示手段４に
送る。これによって、ユーザは右目を“ウインク”した
ことにより画面を画面Ａから画面Ｂに切り換えることが
出来る。

【００２２】同じように、「戻し」の合図である左目の
“ウインク”を行えば、今度は画面Ｂから画面Ａに切り
換えることが出来る。ユーザは、順方向の「送り」動作
を続ければ画面ｎまで切り換えることが出来、逆方向に
戻すのも自由である。

【００２３】さらに、両目を瞑り「終了」を行えば表示
動作を終了することも出来る。上記したように第１実施
例によれば、ユーザは開閉検出手段１および表示装置４
を有するＨＭＤを装着するだけで、表示を認識しながら
目以外の部分を使わずにシステムの簡単な制御を出来る
ことになる。

【００２４】本実施例の目の開閉検出や視線検出では、
目の小さな動きを正確に電気信号に変換して行かねばな
らないが、その点、目の状態検出のためのセンサと両眼
との距離が固定であり、外部の光の乱入の無いＨＭＤの
ような状態は目を入力方法として用いる場合に適する。

【００２５】なお、通常のスイッチ動作と同様に、瞬き
の手順と動作の関係は自由に決めることが出来、また、
変更可能なように目の入力合図を変更する手段を設け
て、ユーザの適性に合わせるように出来る。（ii）第２実施例本発明の第２実施例を図３乃至図５に基づいて説明す
る。第１実施例の瞬きを入力情報としたのに対し、本実
施例では第２の発明を適用し視線検出手段によって得ら
れる視線の方向を入力パラメータとして利用するもので
ある。

【００２６】まず、第２実施例における構成を図３に示
す。図３に示すように、視線検出手段５は常にユーザの
目の動きを観察しており、これを電気信号である視線情
報として送出している。視線検出は眼球運動検出とも呼
ばれており、いくつかの方式が開発されている。例え
ば、角膜強膜反射方式：角膜（黒目）と強膜（白目）との
反射率の違いにより、赤外線ＬＥＤ、フォトダイオード
等を利用して視線の方向を検出する方式、ＥＯＧ（Electro-Oculogram ）方式：角膜部と網膜部
の電位差を利用する方式、角膜反射方式：角膜の曲率中心が眼球の回転中心と異
なる事を利用し、眼球に入力したスポットライトの角膜
内部の虚像が眼球の動きと共に相対的に移動するのをカ
メラ等で撮影する方式、等が知られている。これらは、ある信号値、例えば正面
を正視した際の各方式による信号値等を基準値とし、基
準値および入力される検出信号の差信号と実際の眼球運
動による変位を関係付け座標に変換していく技術であ
る。本発明においては何れの方式を用いても良いが１つ
のＨＭＤに少なくとも表示装置４と視線検出手段５とを
内蔵するため、小型の装置である必要がある。

【００２７】さて、この視線情報信号は座標出力手段６
に供給され、この座標出力手段６は視線情報信号から得
られる視線の収斂している場所、つまり視点の仮想現実
座標系での視点座標に変換する。これが表示制御手段３
に供給される。表示制御手段３では、ある原画像情報に
座標出力手段６から得られた視点座標を位置指示画像で
ある手形、矢印等のアイコン（icon）として該当する座
標位置に重ね、送出する。この出来上がった画像情報が
表示装置４に加えられている。

【００２８】次に、第２実施例における動作を説明す
る。視線検出手段５にて変換された視点情報の電気信号
は、座標出力手段６において単純な座標値である視点座
標に変換される。一般に、視点の座標を演算する方法と
しては、視点は図４に示すように右目および左目の視線
の交点（Ａ点）と考えられるため両眼の視線を検出しそ
の交点を計算する方法がある。しかし、本実施例の場合
は２次元座標上での視点位置のため、右目および左目ど
ちらかの視線と固定値である表示画面位置との交点位置
を求めることで、比較的簡単に２次元座標を演算するこ
とが出来、演算の負担が少ない。

【００２９】この視点の位置が、図４に示すようにＨＭ
Ｄの表示手段４で与えられる画像表示範囲上に存在する
時に、座標出力手段６は表示画面上の単純な座標系（例
えば６４０ドット×４００ドットの画素で表された座標
系）の該当する視点位置の座標値を演算によって求め、
これを視点座標として表示制御手段３に供給する。これ
は、例えば図４に示すＡ点、（ｘ、ｙ）＝（２９０、１０５）というように変換される。

【００３０】表示制御手段３では、さらに座標出力手段
２によって与えられた視点座標に対応した表示画面上の
位置にアイコンの画像情報がスーパーインポーズされ表
示手段４によって表示される。

【００３１】図５はこの表示例であり、手型のアイコン
がユーザの目の動きにしたがってアイコンＤ_iの位置か
らアイコンＤ_i’の位置へと自然に移動して行く場合が
示されている（図中の破線の動き）。つまり、見ている
位置には必ずアイコンが示されていることになる。

【００３２】上記したように第２実施例によれば、今ま
で手で行っていたような人間の動きに合わせた入力を目
のみの自然な動きによって行えるようになり、この視点
座標をパラメータにして画像表示を行えば視線方向に応
じて画像表示を変えていくことが出来るようになる。こ
れは例えば、新聞の紙面や地図情報のような大きな表示
面積を有するファイルの一部のみを十分な解像度で表示
しておき、視線が縁に近づいた時に視線方向の画像が移
動して適当な位置に表示されるような装置に用いること
が出来る。

【００３３】なお、第２実施例においては、２次元の視
線検出について想定していたが、視点座標が３次元も必
要であるときは、第４実施例に挙げてあるように、両眼
の視線の交点を空間的に求める方法を採用してもよい。（iii ）第３実施例本発明の第３実施例を図６および図７に基づいて説明す
る。本実施例は、第１の発明と第２の発明を併用し、目
の動きにより視線方向および瞬き等トリガ情報を共に入
力パラメータとして利用するための例であり、仮想現実
感技術において、用いられる立体画像に適用したもので
ある。

【００３４】まず、第３実施例における構成を図６に示
す。視線検出手段５は、ＨＭＤを装着したユーザの視線
を検出し所定の形式の視線情報信号に変換する。なお、
瞼の開閉状態を検出するための開閉検出および視線検出
は、構成上同一手段で双方の検出を出来ることが多く、
本実施例においても視線検出手段５にて視線検出および
開閉検出を行うものとする。

【００３５】さて、この視線情報信号は座標出力手段６
に供給され、この座標演算手段６は視線情報信号から得
られる視線の収斂している場所、つまり、視点の仮想現
実座標系での視点座標に変換する。これが表示制御手段
３に供給される。

【００３６】画像生成手段４では仮想現実世界の中心と
なる仮想現実画像が生成されている。これは、コンピュ
ータ・グラフィックス（ＣＧ：Computer graphics ）等
で生成される架空の３次元的映像世界であってもよい
し、立体画像を生成するための立体カメラなどで撮影さ
れた映像を再生若しくは直接入力するものであってもよ
い。また、表示手段４が平面（２次元）画像を表示可能
なものであるならば平面画像情報であってもよい。これ
は表示制御手段３に供給される。

【００３７】表示制御手段３では、仮想現実感システム
を制御するための画面表示上の操作部としてメニュー・
バーの画像情報を生成し、内蔵の図示しない画像メモリ
等に記憶しておく。このメニュー・バーは必要な時に画
像メモリから読出され、簡単な座標を与えることによっ
て仮想現実画像の適当な位置に表示出来るようになって
いる（もちろん固定の位置でも構わない）。そして、画
像生成手段４から供給された仮想現実画像、その上にメ
ニュー・バー、さらに座標出力手段６によって与えられ
た視点座標に対応した仮想現実画面上の位置に矢印等の
アイコンの画像情報が表示される。これら完成した一組
の仮想現実感画像情報は立体表示機能を持つ表示装置４
に送出され、立体表示を行う。

【００３８】一方、開閉信号を含む視線検出手段５の出
力は判定出力手段２に加えられており、そこで目の開閉
状態に応じた判定信号が生成され表示制御手段３に加え
られている。表示制御手段３では、この判定信号に基づ
き対応する表示画像の制御を行う。

【００３９】次に、第３実施例における動作を図７に基
づいて説明する。図７に示すように、画像生成手段７に
より供給された仮想現実画像である立体画像Ｄ_3dの座標
系が６４０ドット×４００ドットの画素による座標を成
し、左上の座標を（０、０）とし右下の座標を（６３
９、３９９）とするよう設定されているとする。この場
合において、表示制御手段３はメニュー・バーＤ_mを図
７のように表示するために、例えばメニュー・バーＤ_m
の基準座標（図では左上とする）を（４８５、１０）と
いうように与えて表示を行う。これは与える座標を変更
する事によりメニュー・バーＤ_mの移動が行える事を示
している。このメニュー・バーＤ_mには選択用の‘１’
から‘５’までのバーが並んでおり、座標出力手段６か
ら与えられた視点座標が各バーに該当する範囲内に存在
する時に判定出力手段２から「入力」の判定信号が供給
されると、表示制御手段３はそのバーが押されたと疑似
的に解釈し、そのバーが押された時に行う事になってい
る所定の装置制御若しくは画面表示制御等を行う。

【００４０】図７（ａ）において、ユーザはＣ点（４８
０、５０）に相当する画面上の位置を見つめているとす
ると、その位置に対応する視点座標が座標出力手段６に
よって生成され表示制御手段３に与えられ、所定のアイ
コン（矢印）がそのＣ点に表示される。Ｃ点をユーザが
見ている場合において、ユーザが所定の「入力」の瞬き
（例えば、右目を０．５秒間瞑る等）をしても装置は範
囲外なので何もしない。しかし、ユーザが視線を図７
（ｂ）におけるＣ’点の位置に移すと、アイコンが画面
上のＣ’点（５２１、２１０）に表示される。この状態
においてユーザが「入力」の瞬きをすると、表示制御手
段３は‘３’に対応するバーの位置で「入力」の判定信
号を受ける事になるので、‘３’が押された時にする事
になっている所定の作業を行う事になる。同じように
「取消」の合図（例えば、左目を０．５秒以上瞑る等）
も使える。

【００４１】これらの一連の作業は、いわゆるコンピュ
ータ装置における入力装置であるマウス（Mouse ）等の
移動に該当する働きを本実施例では視線が担当し、入力
確認の作業を行う入力ボタンの働きを瞬きが行っている
と考えればよい。

【００４２】上記したように第３実施例によれば、ユー
ザは視線検出手段５および表示手段４を有するＨＭＤを
装着するだけで、仮想現実感世界における表示を認識し
ながら目以外の部分を使わずにシステムを制御出来るこ
とになり、従来の仮想現実感システムにおいて拘束され
ていた両手等を別の用途、例えばゲーム機器において両
手で操縦桿を握る等、に使える。

【００４３】また、視線座標が２次元であるため、仮想
現実感装置でなくとも２次元のみの表示を行う入力表示
装置に適用する事も可能である。なお、第３実施例にお
いては、２次元の視線検出について想定していたが、視
点座標が３次元も必要であるときは、両眼の視線の交点
を空間的に求める方法を採用してもよい。（iv）第４実施例本発明の第４実施例は、視点座標を表示画面に対応した
２次元座標から発展させ、３次元座標系で視点検出を行
うものである。

【００４４】第４実施例における構成は、第３実施例と
同様（図６）である。次に、第４実施例における動作を
説明する。仮想現実感システムにおいては、そもそも現
実の３次元空間を体験させることが目的であるため視点
も３次元で与えられることがあり、図４のＢ点のような
位置に視点が存在する場合がある。この場合、目から遠
ざかる方向の座標をｚとして、適当な基準で数値化して
ｚ座標の値を決めることが出来る。例えば、図４のＢ点
は、（ｘ、ｙ、ｚ）＝（２９０、１０５、９０）というように与えられる。

【００４５】視線検出手段５は両眼について設けてある
場合には、視線検出をそれぞれの目について行い視線の
方向を検出し、その両眼の視線の交点を演算することで
得ることが出来る。つまり、それぞれの目の基準軸から
の角度が判れば幾何学的な計算で両眼と対象物との成す
角度θ（図４）が得られこれからｚ座標を計算すること
が出来るのである。

【００４６】このように、視線検出手段５で認識され座
標出力手段６によって得られた視線座標は、表示制御装
置３において実際の画像情報として合成される。第３実
施例においては、画像生成手段４で作られる画像情報の
みが立体画像情報を有するとしたが、本実施例において
は座標系は目から遠ざかる方向、つまりｚ座標を有して
いるので、各画像情報の表示位置（ｚ座標に関して）の
前後関係がある。つまり、ユーザは仮想現実空間におい
て入力手段として目が使えるようになる。

【００４７】例えば、図８ではある仮想現実（立体）画
像を示してあり、表示画面上に飛来する岩石Ｒ、メニュ
ー・バーＤ_mおよびアイコンによる指示点Ｆが表示して
あるとする。ここで、実際の画面表示はＨＭＤで規定さ
れるユーザの目と表示画面との距離ｄ₁であるが、立体
表示であるため目は焦点距離ｄ₁に合いながらも、岩石
を認識できる視点位置は岩石Ｒ’の距離ｄ₂、つまり仮
想現実空間の中での位置に合わせることが出来る。同じ
理屈で、メニュー・バーＤ_mの表示座標は認識上メニュ
ー・バーＤ_m’の位置、距離ｄ₃の位置に感じられる。
さらに、アイコンはユーザの視点位置であるため、ｚ軸
方向に自由に移動出来ることになる。例えば、ユーザは
飛来する岩石上のＥ’点を見つめ岩石の接近を観察する
ことも出来、同じように、メニュー・バーＤ_mを操作し
たいときは、ユーザはＦ’点（距離ｄ₃）に視点を移し
合図を行えばよい。仮に、ここで視線がメニュー・バー
Ｄ _mの裏側のＦ”点に存在すると、アイコンはメニュー
・バーＤ_mの背後に隠れ事実上見えなくなってしまう。
つまり、２次元的な座標（表示画面上の位置）が同じで
も焦点の位置によってアイコン前後に移動し、異なる物
体を指示することが出来る。

【００４８】上記のように第４実施例によれば、アイコ
ンが視点と共に３次元空間を自由に移動出来るという非
常に面白い映像効果が得られる。ゲーム機器をはじめ多
くの応用範囲があるといえる。

【００４９】なお、上記第３実施例および第４実施例で
は、いつもアイコンが視線のある場所に表示されて邪魔
に感じる時は、ある特定領域、例えばメニュー・バーが
表示してある領域に視点が入ったときのみアイコンの表
示を有効にするようにしてもよい。もちろん、開閉検出
は必ずしも必要なく、従来通り装置に対する確認指示は
手等によるスイッチ等で行うものであってもよい。

【００５０】また、上記各実施例によれば、画像による
仮想現実空間をＨＭＤ内で実現しているが、さらにＨＭ
Ｄ内にステレオヘッドフォン（Stereo head receiver）
等を設け、視点の位置と発音の位置とをほぼ一致させ、
入力の確認音や効果音等を創出することも出来る。つま
り、音源とＤＳＰ（Digital signal processor）等を用
い、座標出力手段によって得られた視点座標をＤＳＰの
入力パラメータとし音源の周波数成分を加工すること
で、人間に認識される音像位置を３次元的に変化させる
ことが出来る。

【００５１】一方、表示手段としては、立体表示を行い
得る画像送出装置であればカラー表示、白黒表示を問わ
ない。例えば、直視型の液晶ディスプレイ、半透明スク
リーン（Screen）の背後から画像を投写する背面投写型
ディスプレイや、ＣＲＴ（Cathode-ray tube）、ＰＤＰ
（Plasma display panel）、ＥＬ（Electro luminecen
t）等、平坦な画面を持つ表示装置であれば広く適用可
能である。また、立体表示を行い得るような機能とし
て、表示画面上に画像分離手段を有し左目用画像と右目
用画像とを分離表示する円筒形のレンズを設けたレンチ
キュラ方式、スリット板を設け左右の目からスリットを
通して見える画素が異なることを利用して立体表示を行
うパララックスバリア方式等、若しくは視線検出手段５
を設けるのに空間的な妨げにならない、左右それぞれの
目に別々の画像を認識させる電子シャッター機能等を有
する表示装置であってもよい。

【００５２】

【発明の効果】以上の通り、第１の発明によれば、目の
瞬き等のみで装置に対し入力指示を行うことが出来、手
を使わず表示入力装置に係る制御が出来るようになる。

【００５３】また、第２の発明によれば、視点があたか
もポインディング・ディバイス（Pointing device ）の
ような役目をさせることが出来、人間の無意識の視線の
動きに敏感に反応する装置を構築することが出来る。

【００５４】さらに、第１の発明および第２の発明を組
み合わせて用いることにより、ほぼマウス装置並の入力
能力を持たせることが出来、これらをＨＭＤに内蔵する
ことで、携帯性がありまた目以外の部位を使用せずに仮
想現実感装置が制御出来る。

【００５５】仮想現実感を送出したゲーム機器や、実際
の乗り物の操縦装置におけるＨＭＤに適応することが出
来、目を入力手段とした応用範囲の広い技術である。

【図面の簡単な説明】

【図１】本発明の第１実施例による頭部搭載型表示入力
装置を示すブロック図である。

【図２】第１実施例における動作例を示す説明図であ
る。

【図３】本発明の第２実施例による頭部搭載型表示入力
装置を示すブロック図である。

【図４】実際の視線と視線座標との関係を説明する図で
ある。

【図５】第２実施例における画像表示の一例を示す説明
図である。

【図６】本発明の第３実施例による頭部搭載型表示入力
装置を示すブロック図である。

【図７】第３実施例における画像表示例を示す説明図で
ある。

【図８】第４実施例における画像表示例を示す説明図で
ある。

【図９】従来例における仮想現実感表示入力装置を説明
するブロック図である。

【符号の説明】

１…開閉検出手段２…判定出力手段３…表示制御手段４…表示手段５…視線検出手段６…座標出力手段７…画像生成手段８…グローブ９…状態検出部Ｄ_3d…立体画像Ｄ_m、Ｄ_m’…メニュー・バー表示Ｄ_i、Ｄ_i’…アイコン（Icon）表示ｄ₁…目と表示画面との距離ｄ₂…目と仮想現実空間における岩石表示との距離ｄ₃…目と仮想現実空間におけるメニュー・バー表示と
の距離

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号庁内整理番号ＦＩ技術表示箇所Ｈ０４Ｎ 15/00

Claims

【特許請求の範囲】

【請求項１】表示画面が眼前部に位置する状態で頭部
に装着可能であり、前記表示画面上に被選択情報を表示
することが可能な情報入出力装置において、瞼の開閉状態を検出する検出手段と、前記検出手段によって検出された瞼の開閉状態の検出信
号を前記被選択情報の選択指示信号として出力する出力
手段と、を備えたことを特徴とする頭部搭載型表示入力装置。
【請求項２】表示画面が眼前部に位置する状態で頭部
に装着可能であり、前記表示画面上に被選択情報を表示
することが可能な情報入出力装置において、眼球の動きに伴う視線の方向を検出する検出手段と、前記検出手段によって検出された視線の方向を表す検出
信号を前記被選択情報の選択指示信号として出力する出
力手段と、を備えたことを特徴とする頭部搭載型表示入力装置。