JPH09204287A - 処理選択方法及び装置 - Google Patents
処理選択方法及び装置Info
- Publication number
- JPH09204287A JPH09204287A JP8011164A JP1116496A JPH09204287A JP H09204287 A JPH09204287 A JP H09204287A JP 8011164 A JP8011164 A JP 8011164A JP 1116496 A JP1116496 A JP 1116496A JP H09204287 A JPH09204287 A JP H09204287A
- Authority
- JP
- Japan
- Prior art keywords
- window
- gaze
- screen
- line
- sight
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
- Input From Keyboards Or The Like (AREA)
- Digital Computer Display Output (AREA)
Abstract
(57)【要約】
【課題】 利用者がキーボード等の入力装置からポイン
ティング・デバイス等の補助入力装置に手を移動させる
ことなくウィンドウ、メニュー等を制御することが可能
な、入力作業を効率良く行うことができる処理選択装置
を提供する。 【解決手段】 利用者が仮想ウィンドウ５３の一部を凝
視すると、この注視点を検知して検知した注視点位置に
ある例えば５５に示す仮想ウィンドウ５３の外枠だけが
表示される。そして、図９の右側下部に５６で示す様
に、下部にこのウィンドウをアクティブ化してよいかど
うかを確認するためのメッセージを表示する。そして、
画面中央より右か左を見ることによって、メッセージ５
６のどちらかが反転表示される。このため、使用者は反
転表示されているメッセージの処理を選択する。『ＹＥ
Ｓ』を選択した場合には当該選択されたウインドウに対
応する処理が行われる。
ティング・デバイス等の補助入力装置に手を移動させる
ことなくウィンドウ、メニュー等を制御することが可能
な、入力作業を効率良く行うことができる処理選択装置
を提供する。 【解決手段】 利用者が仮想ウィンドウ５３の一部を凝
視すると、この注視点を検知して検知した注視点位置に
ある例えば５５に示す仮想ウィンドウ５３の外枠だけが
表示される。そして、図９の右側下部に５６で示す様
に、下部にこのウィンドウをアクティブ化してよいかど
うかを確認するためのメッセージを表示する。そして、
画面中央より右か左を見ることによって、メッセージ５
６のどちらかが反転表示される。このため、使用者は反
転表示されているメッセージの処理を選択する。『ＹＥ
Ｓ』を選択した場合には当該選択されたウインドウに対
応する処理が行われる。
Description
【０００１】
【発明の属する技術分野】本発明は複数の仮想ディスプ
レイ画面を表示するマルチウィンドウ操作が可能な物理
ディスプレイ画面上の処理を選択する処理選択方法及び
装置に関するものである。
レイ画面を表示するマルチウィンドウ操作が可能な物理
ディスプレイ画面上の処理を選択する処理選択方法及び
装置に関するものである。
【０００２】
【従来の技術】一般に、マルチウィンドウシステムにお
いては、アプリケーション等のプログラム選択の入力等
の操作は、キーボード、タブレット、ペン等の入力装置
から行われていた。また、ウィンドウの移動や選択、メ
ニューの選択などは、ポインティング・デバイス等の補
助入力装置によって行われることが多かった。
いては、アプリケーション等のプログラム選択の入力等
の操作は、キーボード、タブレット、ペン等の入力装置
から行われていた。また、ウィンドウの移動や選択、メ
ニューの選択などは、ポインティング・デバイス等の補
助入力装置によって行われることが多かった。
【０００３】
【発明が解決しようとする課題】しかしながら、上記従
来例では、すべて手動操作が必要であり、アプリケーシ
ョン、或はウィンドウに対して入力作業を行っている時
に別のアプリケーション或はウィンドウへの入力を行な
いたい場合においては、別のアプリケーション或はウィ
ンドウを選択するために手をキーボード等の入力装置か
らポインティング・デバイス等の補助入力装置に移動さ
せる必要があった。
来例では、すべて手動操作が必要であり、アプリケーシ
ョン、或はウィンドウに対して入力作業を行っている時
に別のアプリケーション或はウィンドウへの入力を行な
いたい場合においては、別のアプリケーション或はウィ
ンドウを選択するために手をキーボード等の入力装置か
らポインティング・デバイス等の補助入力装置に移動さ
せる必要があった。
【０００４】また、入力作業を行ないながらアプリケー
ションのメニューを選択、実行したい場合も、同様の手
動作業が必要であった。
ションのメニューを選択、実行したい場合も、同様の手
動作業が必要であった。
【０００５】
【課題を解決しようとする手段】本発明は上述した課題
を解決することを目的としてなされたもので、かかる目
的を達成する一手段として、例えば以下の構成を備え
る。
を解決することを目的としてなされたもので、かかる目
的を達成する一手段として、例えば以下の構成を備え
る。
【０００６】即ち、複数の仮想ディスプレイ画面を表示
するマルチウィンドウ操作が可能なディスプレイ画面上
の処理を選択する処理選択装置であって、利用者が前記
ディスプレイ画面の一部を凝視した場合に凝視画面位置
を検出する視線検出手段と、前記視線検出手段での検出
視線位置にあるウインドウを選択して他のウインドウと
判別可能に表示する選択ウインドウ表示手段と、前記選
択ウインドウ表示手段で選択したウインドウに対応する
処理を実行させるか否かを確認する確認手段とを備える
ことを特徴とする。
するマルチウィンドウ操作が可能なディスプレイ画面上
の処理を選択する処理選択装置であって、利用者が前記
ディスプレイ画面の一部を凝視した場合に凝視画面位置
を検出する視線検出手段と、前記視線検出手段での検出
視線位置にあるウインドウを選択して他のウインドウと
判別可能に表示する選択ウインドウ表示手段と、前記選
択ウインドウ表示手段で選択したウインドウに対応する
処理を実行させるか否かを確認する確認手段とを備える
ことを特徴とする。
【０００７】そして例えば、前記選択表示手段は、前記
ディスプレイ画面とは別個に備えた補助表示部に選択ウ
インドウを表示することを特徴とする。あるいは、前記
ウインドウ表示手段は、前記視線検出手段による利用者
の視線凝視位置により利用者が前記仮想ディスプレイ画
面のどの部分を見ているかを判断し、凝視画面に応じた
ウインドウを選択することを特徴とする。
ディスプレイ画面とは別個に備えた補助表示部に選択ウ
インドウを表示することを特徴とする。あるいは、前記
ウインドウ表示手段は、前記視線検出手段による利用者
の視線凝視位置により利用者が前記仮想ディスプレイ画
面のどの部分を見ているかを判断し、凝視画面に応じた
ウインドウを選択することを特徴とする。
【０００８】また、複数の仮想ディスプレイ画面を表示
するマルチウィンドウ操作が可能なディスプレイ画面上
の処理を選択する処理選択装置であって、利用者が前記
ディスプレイ画面の一部を凝視した場合に凝視画面位置
を検出する視線検出手段と、前記視線検出手段での検出
視線位置にある凝視画面の状況に応じた制御を行う制御
手段とを備えることを特徴とする。
するマルチウィンドウ操作が可能なディスプレイ画面上
の処理を選択する処理選択装置であって、利用者が前記
ディスプレイ画面の一部を凝視した場合に凝視画面位置
を検出する視線検出手段と、前記視線検出手段での検出
視線位置にある凝視画面の状況に応じた制御を行う制御
手段とを備えることを特徴とする。
【０００９】そして例えば、更に、前記視線検出手段で
の検出視線位置にある凝視画面の選択を有効とするか否
かの確認を行う確認手段を備え、前記制御手段は前記確
認手段の確認後に凝視画面の状況に応じた制御を行うこ
とを特徴とする。
の検出視線位置にある凝視画面の選択を有効とするか否
かの確認を行う確認手段を備え、前記制御手段は前記確
認手段の確認後に凝視画面の状況に応じた制御を行うこ
とを特徴とする。
【００１０】
【発明の実施の形態】以下、図面を参照して本発明に係
る発明の実施の形態の一例を詳細に説明する。 （発明の実施の形態の第１の例）図１は本発明に係る発
明の実施の形態の一例が適用される情報処理装置の構成
を示す概略構成図である。図１において、１１はシステ
ムを立ち上げるのに必要なプログラムが記憶されている
リードオンリメモリ（ＲＯＭ）、１２は本例の装置全体
の制御と共に、演算や処理の制御を行う中央処理装置
（ＣＰＵ）、１３は文字、記号、画等を表示するディス
プレイ表示装置（ＣＲＴ）である。
る発明の実施の形態の一例を詳細に説明する。 （発明の実施の形態の第１の例）図１は本発明に係る発
明の実施の形態の一例が適用される情報処理装置の構成
を示す概略構成図である。図１において、１１はシステ
ムを立ち上げるのに必要なプログラムが記憶されている
リードオンリメモリ（ＲＯＭ）、１２は本例の装置全体
の制御と共に、演算や処理の制御を行う中央処理装置
（ＣＰＵ）、１３は文字、記号、画等を表示するディス
プレイ表示装置（ＣＲＴ）である。
【００１１】また、１４は各種データを一時的に記憶す
るランダムアクセスメモリ（ＲＡＭ）、１５はデータを
保存する外部記憶装置（ＭＤ）、１６は文字等を入力す
るキーボード（ＫＢ）、１７は表示された文字等をカー
ソルで指示するポインティングデバイス（ＰＤ）、１８
は視線入力を行い、半透明表示機能を有する補助表示装
置としても機能する視線入力装置（ＨＭＤ）である。
るランダムアクセスメモリ（ＲＡＭ）、１５はデータを
保存する外部記憶装置（ＭＤ）、１６は文字等を入力す
るキーボード（ＫＢ）、１７は表示された文字等をカー
ソルで指示するポインティングデバイス（ＰＤ）、１８
は視線入力を行い、半透明表示機能を有する補助表示装
置としても機能する視線入力装置（ＨＭＤ）である。
【００１２】以上に説明した視線入力装置（ＨＭＤ）１
８における視線入力における注視点位置（どこを見てい
るか）検出等の技術の概略を以下に説明する。なお、こ
の技術については、他に伴野明、岸野文郎らによる論文
「注視点検出のための特徴点３次元位置計測法」（Feat
ure Point 3D Posision Measuring System for Detecti
ng Fixation Point on the Screen,Akira TOMONO and F
umio KISINO,Members（電子情報通信学会論文誌 D-II V
ol.J77-D-II No.9 pp.1830-1840 1994年9月））等によ
っても報告されている。
８における視線入力における注視点位置（どこを見てい
るか）検出等の技術の概略を以下に説明する。なお、こ
の技術については、他に伴野明、岸野文郎らによる論文
「注視点検出のための特徴点３次元位置計測法」（Feat
ure Point 3D Posision Measuring System for Detecti
ng Fixation Point on the Screen,Akira TOMONO and F
umio KISINO,Members（電子情報通信学会論文誌 D-II V
ol.J77-D-II No.9 pp.1830-1840 1994年9月））等によ
っても報告されている。
【００１３】本例の視線入力の検知方法は、以下の原理
等により実現可能である。
等により実現可能である。
【００１４】図２は視線検出方法の原理図（上面図）、
図３は視線検出方法の原理図（側面図）である。以下、
図２及び図３を参照して本例の視線検出方法を説明す
る。
図３は視線検出方法の原理図（側面図）である。以下、
図２及び図３を参照して本例の視線検出方法を説明す
る。
【００１５】図２及び図３において、７０６ａ，７０６
ｂは観察者に対して不感の赤外光を放射する発光ダイオ
ード（ＩＲＥＤ）などの光源であり、各光源は結像レン
ズ７１１の光軸に対してｘ方向（水平方向）に略対称に
（図２参照）、またｙ方向（垂直方向）にはやや下側に
（図３参照）配置され、観察者の眼球を発散照明してい
る。
ｂは観察者に対して不感の赤外光を放射する発光ダイオ
ード（ＩＲＥＤ）などの光源であり、各光源は結像レン
ズ７１１の光軸に対してｘ方向（水平方向）に略対称に
（図２参照）、またｙ方向（垂直方向）にはやや下側に
（図３参照）配置され、観察者の眼球を発散照明してい
る。
【００１６】眼球では、反射した照明光の一部は結像レ
ンズ７１１によってイメージセンサ７１２に結像する。
このイメージセンサ７１２に投影される眼球像の概略図
を図４に、その場合におけるイメージセンサ７１２の出
力強度を図５に示す。以下、この図４及び図５も参照し
て本例における視線入力装置（ＨＭＤ）１８における視
線の検出方法を説明する。
ンズ７１１によってイメージセンサ７１２に結像する。
このイメージセンサ７１２に投影される眼球像の概略図
を図４に、その場合におけるイメージセンサ７１２の出
力強度を図５に示す。以下、この図４及び図５も参照し
て本例における視線入力装置（ＨＭＤ）１８における視
線の検出方法を説明する。
【００１７】まず、水平面で考えると、図２において光
源７０６ｂより放射された赤外光は観察者の眼球７０８
の角膜７１０を照明する。このとき角膜７１０の表面で
反射した赤外光により形成される角膜反射ｄ（虚像）
は、結像レンズ７１１により集光され、イメージセンサ
７１２上の位置ｄ’に結像する。
源７０６ｂより放射された赤外光は観察者の眼球７０８
の角膜７１０を照明する。このとき角膜７１０の表面で
反射した赤外光により形成される角膜反射ｄ（虚像）
は、結像レンズ７１１により集光され、イメージセンサ
７１２上の位置ｄ’に結像する。
【００１８】同様に光源７０６ａより放射された赤外光
は眼球の角膜７１０を照明する。このとき角膜７１０の
表面で反射した赤外光により形成された角膜反射像ｅ
（虚像）は、結像レンズ７１１により集光され、イメー
ジセンサ７１２上の位置ｅ’に結像する。また虹彩７０
４の端部ａ，ｂからの光束は結像レンズ７１１を介して
イメージセンサ７１２上の位置ａ’，ｂ’に該端部ａ，
ｂの像を結像する。
は眼球の角膜７１０を照明する。このとき角膜７１０の
表面で反射した赤外光により形成された角膜反射像ｅ
（虚像）は、結像レンズ７１１により集光され、イメー
ジセンサ７１２上の位置ｅ’に結像する。また虹彩７０
４の端部ａ，ｂからの光束は結像レンズ７１１を介して
イメージセンサ７１２上の位置ａ’，ｂ’に該端部ａ，
ｂの像を結像する。
【００１９】結像レンズ７１１の光軸に対する眼球７０
８の光軸の回転角θが小さい場合、虹彩７０４の端部
ａ，ｂのｘ座標をｘａ，ｘｂとすると、ｘａ，ｘｂはイ
メージセンサ上で多数点求めることができる（図４中の
Ｘ印）。
８の光軸の回転角θが小さい場合、虹彩７０４の端部
ａ，ｂのｘ座標をｘａ，ｘｂとすると、ｘａ，ｘｂはイ
メージセンサ上で多数点求めることができる（図４中の
Ｘ印）。
【００２０】そこで、まず円の最小自乗法にて瞳孔中心
ｘｃを算出する。一方、角膜７１０の極率中心ｏのｘ座
標をｘｏとすると、眼球７０８の光軸に対する回転角θ
は、 ｏｃ＊ｓｉｎθ＝ｘｃ−ｘｏ …（１） となる。
ｘｃを算出する。一方、角膜７１０の極率中心ｏのｘ座
標をｘｏとすると、眼球７０８の光軸に対する回転角θ
は、 ｏｃ＊ｓｉｎθ＝ｘｃ−ｘｏ …（１） となる。
【００２１】また角膜反射像ｄとｅの中心ｋに所定の補
正値δｘを考慮してｘｏを求めると、 ｘｋ＝（ｘｄ＋ｘｅ）／２ ｘｏ＝（ｘｄ＋ｘｅ）／２＋δｘ …（２） ここでδｘは装置の設置方法／眼球距離等から幾何学的
に求められる数値であり、その算出方法は省略する。
正値δｘを考慮してｘｏを求めると、 ｘｋ＝（ｘｄ＋ｘｅ）／２ ｘｏ＝（ｘｄ＋ｘｅ）／２＋δｘ …（２） ここでδｘは装置の設置方法／眼球距離等から幾何学的
に求められる数値であり、その算出方法は省略する。
【００２２】よって、（１）を（２）ヘ代入してθｘを
求めると、 θｘ＝ａｒｃｓｉｎ［［ｘｃ−｛（ｘｄ＋ｘｅ）／２＋
δｘ｝］／ｏｃ｝］ となる。さらに、イメージセンサ７１２上に投影された
各々の特徴点の座標を、（ダッシュ）を付けて（４）式
に書き換えると、 θｘ＝ａｒｃｓｉｎ［［ｘｃ’−｛（ｘｄ’＋ｘｅ’）／２＋δｘ’｝］／ｏ ｃ／β］ …（４） となる。
求めると、 θｘ＝ａｒｃｓｉｎ［［ｘｃ−｛（ｘｄ＋ｘｅ）／２＋
δｘ｝］／ｏｃ｝］ となる。さらに、イメージセンサ７１２上に投影された
各々の特徴点の座標を、（ダッシュ）を付けて（４）式
に書き換えると、 θｘ＝ａｒｃｓｉｎ［［ｘｃ’−｛（ｘｄ’＋ｘｅ’）／２＋δｘ’｝］／ｏ ｃ／β］ …（４） となる。
【００２３】ここで、βは結像レンズ７１１に対する眼
球の距離ｓｚｅにより決まる倍率で、実際は角膜反射像
の間隔｜ｘｄ’−ｘｅ’｜の関数として求められる。
球の距離ｓｚｅにより決まる倍率で、実際は角膜反射像
の間隔｜ｘｄ’−ｘｅ’｜の関数として求められる。
【００２４】次に垂直面で考えると、図３のような構成
となる。ここで２個のＩＲＥＤ７０６ａ，７０６ｂによ
り生じる角膜反射像は、同位置に発生し、これをｉとす
る。眼球の回転角θｙの算出方法は水平面の時とほぼ同
一であるが、（２）式のみ異なり、角膜極率中心ｏｈの
ｙ座標をｙｏとすると、 ｙｏ＝ｙｉ＋δｙ …（５） となる。ここで、δｙは装置の配置方法、眼球距離等か
ら幾何学的に求められる数値であり、その算出方法は省
略する。
となる。ここで２個のＩＲＥＤ７０６ａ，７０６ｂによ
り生じる角膜反射像は、同位置に発生し、これをｉとす
る。眼球の回転角θｙの算出方法は水平面の時とほぼ同
一であるが、（２）式のみ異なり、角膜極率中心ｏｈの
ｙ座標をｙｏとすると、 ｙｏ＝ｙｉ＋δｙ …（５） となる。ここで、δｙは装置の配置方法、眼球距離等か
ら幾何学的に求められる数値であり、その算出方法は省
略する。
【００２５】よって垂直方向の回転角θｙは、 θｙ＝ａｒｃｓｉｎ［［ｙｃ’−（ｙｉ’＋δｙ’）］／ｏｃ／β］ …（６） となる。
【００２６】さらに、視線入力装置（ＨＭＤ）１８上の
位置座標（ｘｎ，ｙｎ）は視線入力装置（ＨＭＤ）１８
の光学系で決まる定数ｍを用いると、水平面上、垂直面
上それぞれ、 ｘｎ＝ｍ＊ａｒｃｓｉｎ［［ｘｃ’−｛（ｘｄ’＋ｘｅ’）／２＋δｘ’｝］ ／ｏｃ／β］ …（７） ｙｎ＝ｍ＊ａｒｃｓｉｎ［［ｙｃ’−（ｙｉ’＋δｙ’）］／ｏｃ／β］ …（８） となる。
位置座標（ｘｎ，ｙｎ）は視線入力装置（ＨＭＤ）１８
の光学系で決まる定数ｍを用いると、水平面上、垂直面
上それぞれ、 ｘｎ＝ｍ＊ａｒｃｓｉｎ［［ｘｃ’−｛（ｘｄ’＋ｘｅ’）／２＋δｘ’｝］ ／ｏｃ／β］ …（７） ｙｎ＝ｍ＊ａｒｃｓｉｎ［［ｙｃ’−（ｙｉ’＋δｙ’）］／ｏｃ／β］ …（８） となる。
【００２７】図２で明らかなように、瞳孔エッジの検出
はイメージセンサ出力波形の立ち上がり（ｘｂ’）、立
ち下がり（ｘａ’）を利用する。また、角膜反射像の座
標は鋭い立ち上がり部（ｘｅ’およびｘｄ’）を利用す
る。
はイメージセンサ出力波形の立ち上がり（ｘｂ’）、立
ち下がり（ｘａ’）を利用する。また、角膜反射像の座
標は鋭い立ち上がり部（ｘｅ’およびｘｄ’）を利用す
る。
【００２８】上述の構成よりなる本例におけるマルチウ
インドウを採用した制御を次に詳述する。
インドウを採用した制御を次に詳述する。
【００２９】本例における情報処理装置は、キーボード
１６の操作により装置が起動される。キーボード１６が
操作されると、キーボード１６より発生するインタラプ
ト信号が中央処理装置（ＣＰＵ）１２に伝えられ、これ
によりＣＰＵ１２を介して制御メモリ（ＲＯＭ）１１内
に記憶されている前記キーボード１６より発生するイン
タラプト信号に対応した制御手順を読み出し読み出した
制御手順に従って各制御が行われる。
１６の操作により装置が起動される。キーボード１６が
操作されると、キーボード１６より発生するインタラプ
ト信号が中央処理装置（ＣＰＵ）１２に伝えられ、これ
によりＣＰＵ１２を介して制御メモリ（ＲＯＭ）１１内
に記憶されている前記キーボード１６より発生するイン
タラプト信号に対応した制御手順を読み出し読み出した
制御手順に従って各制御が行われる。
【００３０】図６はマルチウィンドウシステムの特徴を
表す概念図である。同図において、２０は１つの物理デ
ィスプレイ表示装置、２１はマルチウィンドウを利用す
るアプリケーション、２２はディスプレイ装置２０の桁
数に対応する行数と桁数からなる論理画面バッファで、
ここにはアプリケーション（２１）のコードデータが格
納されており、仮想ディスプレイとなっている。
表す概念図である。同図において、２０は１つの物理デ
ィスプレイ表示装置、２１はマルチウィンドウを利用す
るアプリケーション、２２はディスプレイ装置２０の桁
数に対応する行数と桁数からなる論理画面バッファで、
ここにはアプリケーション（２１）のコードデータが格
納されており、仮想ディスプレイとなっている。
【００３１】アプリケーション（２１）は、仮想ディス
プレイである論理画面バッファ（２２）に結合してお
り、１つの物理ディスプレイ画面として扱えるようにな
っている。ディスプレイ表示装置（２０）上には、論理
画面バッファ（２２）の内容が重ねられて２３のように
ウィンドウ表示されている。実際にはこのようなウィン
ドウが複数存在する。
プレイである論理画面バッファ（２２）に結合してお
り、１つの物理ディスプレイ画面として扱えるようにな
っている。ディスプレイ表示装置（２０）上には、論理
画面バッファ（２２）の内容が重ねられて２３のように
ウィンドウ表示されている。実際にはこのようなウィン
ドウが複数存在する。
【００３２】上述のマルチウインドウの制御のための機
能ブロック図を図７に示す。
能ブロック図を図７に示す。
【００３３】本例においては、視線入力装置（ＨＭＤ）
１８は補助表示装置としても機能するものであり、例え
ば図１に示す他の構成を備えるハードウェア３１に接続
されている。ハードウェア３１は、視線入力装置１８を
通して利用者が画面の一部を凝視するとハードウェア割
り込みを生成する。次にシステム３２に対し、利用者が
凝視した位置の座標をわたす。このとき、補助表示装置
を兼ねている視線入力装置１８には利用者が見ているも
のが半透明表示でグラフィカルに表示される。システム
３２は、ハードウェア割り込みを受け取るとシステムキ
ュー３３と呼ばれるバッファに、視線入力メッセージと
利用者が凝視した位置の座標に対応する制御コードを格
納する。この制御コードにより、実行する命令を特定す
ることができる。この制御コードと対応メッセージの例
を表１に示す。
１８は補助表示装置としても機能するものであり、例え
ば図１に示す他の構成を備えるハードウェア３１に接続
されている。ハードウェア３１は、視線入力装置１８を
通して利用者が画面の一部を凝視するとハードウェア割
り込みを生成する。次にシステム３２に対し、利用者が
凝視した位置の座標をわたす。このとき、補助表示装置
を兼ねている視線入力装置１８には利用者が見ているも
のが半透明表示でグラフィカルに表示される。システム
３２は、ハードウェア割り込みを受け取るとシステムキ
ュー３３と呼ばれるバッファに、視線入力メッセージと
利用者が凝視した位置の座標に対応する制御コードを格
納する。この制御コードにより、実行する命令を特定す
ることができる。この制御コードと対応メッセージの例
を表１に示す。
【００３４】
【表１】
【００３５】制御コードと対応メッセージの例 0001 Menu ExecMenuCommand 0002 SubMenu DisplaySubMenu 0003 Eindow ActivWindow 0004 CloseBox CloseWindow 0005 MiniBox MinimizeWindow 0006 MaxBox MaximizeWindow .... ........ ............... この場合、利用者がウィンドウの一部を凝視した時、補
助表示装置を兼ねている視線入力装置１８で、そのウィ
ンドウの輪郭がブリンク、或は強調表示されている。
助表示装置を兼ねている視線入力装置１８で、そのウィ
ンドウの輪郭がブリンク、或は強調表示されている。
【００３６】次に、システムはActiveWindowというメッ
セージを発行し、そのウィンドウをアクティブ化する。
また、視線入力データ管理部３４には、画面上で現在利
用者が見ている部分の座標が常に格納されている。個人
データ記憶部３５には、視線入力に要する時間等の個人
データが格納されており、これにより視線入力の個人差
を吸収する。
セージを発行し、そのウィンドウをアクティブ化する。
また、視線入力データ管理部３４には、画面上で現在利
用者が見ている部分の座標が常に格納されている。個人
データ記憶部３５には、視線入力に要する時間等の個人
データが格納されており、これにより視線入力の個人差
を吸収する。
【００３７】以上の説明における視線入力装置１８及び
ハードウエア部３１を除く構成は、ＲＯＭ１１内に格納
されている制御手順をＣＰＵ１２が実行することで実現
できる。
ハードウエア部３１を除く構成は、ＲＯＭ１１内に格納
されている制御手順をＣＰＵ１２が実行することで実現
できる。
【００３８】次に本例の動作の詳細を順を追って説明す
る。
る。
【００３９】まず、システムが視線入力を制御するため
の基準となる基準位置を設定する。この例を図８に示
す。システムは画面中央にポインタを表示し、利用者が
このポインタを正面から凝視することにより視線入力の
基準位置を設定する。また、このときシステムは利用者
の視線のばらつき具合や瞬きのタイミング、視線入力に
要する時間等を個人データ記憶部に記憶する。
の基準となる基準位置を設定する。この例を図８に示
す。システムは画面中央にポインタを表示し、利用者が
このポインタを正面から凝視することにより視線入力の
基準位置を設定する。また、このときシステムは利用者
の視線のばらつき具合や瞬きのタイミング、視線入力に
要する時間等を個人データ記憶部に記憶する。
【００４０】本例における視線入力によりウィンドウを
アクティブ化する時の例を図９に、またこの処理の流れ
を図１０のフローチャートに示す。
アクティブ化する時の例を図９に、またこの処理の流れ
を図１０のフローチャートに示す。
【００４１】以下に示す説明は、図７に示す物理ディス
プレイ５１上に表示されている仮想ウィンドウ５２がア
クティブな状態で、仮想ウィンドウ５３は仮想ウィンド
ウ５２の下に隠れている状態である場合を例として説明
する。
プレイ５１上に表示されている仮想ウィンドウ５２がア
クティブな状態で、仮想ウィンドウ５３は仮想ウィンド
ウ５２の下に隠れている状態である場合を例として説明
する。
【００４２】まずステップＳ１で視線入力装置ＨＭＤ１
８が使用者の視線入力を検知したか否かを調べる。視線
入力がなければ実行中の他のアプリケーションを実行す
る。ここで例えば、利用者が図９の左側に示す仮想ウィ
ンドウ５３の一部を凝視するとステップＳ１よりステッ
プＳ２に進み、視線入力装置１８でこの注視点を検知し
て検知した注視点がシステム３２に送られる。
８が使用者の視線入力を検知したか否かを調べる。視線
入力がなければ実行中の他のアプリケーションを実行す
る。ここで例えば、利用者が図９の左側に示す仮想ウィ
ンドウ５３の一部を凝視するとステップＳ１よりステッ
プＳ２に進み、視線入力装置１８でこの注視点を検知し
て検知した注視点がシステム３２に送られる。
【００４３】この注視点座標を受け取ったシステム３２
は、システム内の視線入力データ管理部３４を起動し、
視線入力データ管理部３４から視線入力装置ＨＭＤ１８
に仮想ウィンドウ５３の座標が送られ、視線入力装置Ｈ
ＭＤ上の補助表示部５４には図９の右側の５５に示す仮
想ウィンドウ５３の外枠だけが、物理ディスプレイ５１
上と同じ位置に半透明表示される。補助表示部は半透明
で表示されるため、物理ディスプレイ５１上の表示は補
助表示部５４を通して見えている。そして続くステップ
Ｓ４で視線入力をロックする。
は、システム内の視線入力データ管理部３４を起動し、
視線入力データ管理部３４から視線入力装置ＨＭＤ１８
に仮想ウィンドウ５３の座標が送られ、視線入力装置Ｈ
ＭＤ上の補助表示部５４には図９の右側の５５に示す仮
想ウィンドウ５３の外枠だけが、物理ディスプレイ５１
上と同じ位置に半透明表示される。補助表示部は半透明
で表示されるため、物理ディスプレイ５１上の表示は補
助表示部５４を通して見えている。そして続くステップ
Ｓ４で視線入力をロックする。
【００４４】そしてステップＳ５において、図９の右側
下部に５６で示す様に、補助表示部５４の下部にこのウ
ィンドウをアクティブ化してよいかどうかを確認するた
めのメッセージを表示する。そして、画面中央より右か
左を見ることによって、メッセージ５６のどちらかが反
転表示される。このため、使用者はステップＳ６におい
て反転表示されているメッセージでよいか否かを判断す
る。このウィンドウをアクティブ化しない場合には『Ｎ
Ｏ』処理を終了し、次のウインドウを開く場合には再び
以上の選択処理を行う。
下部に５６で示す様に、補助表示部５４の下部にこのウ
ィンドウをアクティブ化してよいかどうかを確認するた
めのメッセージを表示する。そして、画面中央より右か
左を見ることによって、メッセージ５６のどちらかが反
転表示される。このため、使用者はステップＳ６におい
て反転表示されているメッセージでよいか否かを判断す
る。このウィンドウをアクティブ化しない場合には『Ｎ
Ｏ』処理を終了し、次のウインドウを開く場合には再び
以上の選択処理を行う。
【００４５】一方、ステップＳ６で選択されたウインド
ウを実行してよい場合にはメッセージの『ＹＥＳ』を選
択してステップＳ７の処理に進み、システムに制御コー
ドと対応するメッセージが渡されて当該選択されたウイ
ンドウに対応する処理が行われる。
ウを実行してよい場合にはメッセージの『ＹＥＳ』を選
択してステップＳ７の処理に進み、システムに制御コー
ドと対応するメッセージが渡されて当該選択されたウイ
ンドウに対応する処理が行われる。
【００４６】なお、視線入力装置１８における補助表示
部での半透明表示は、図９に示した上記例に限らず、図
１１に示すように仮想ウィンドウ５３の実際に見えてい
る部分だけを補助表示部に半透明標示する、という方法
や、利用者が見ているものだけを例えば赤→黄→青とい
うように表示色を時間毎に変えて補助表示部に半透明表
示する方法、或は利用者が見ているもの、または利用者
が見ているもの以外を補助表時部に反転表示させる方法
等、使用者がシステムで認識されているウインドウが認
識可能な様に、他のウインドウと異なる形態で表示する
ものであれば種々の表示方法を採用できる。
部での半透明表示は、図９に示した上記例に限らず、図
１１に示すように仮想ウィンドウ５３の実際に見えてい
る部分だけを補助表示部に半透明標示する、という方法
や、利用者が見ているものだけを例えば赤→黄→青とい
うように表示色を時間毎に変えて補助表示部に半透明表
示する方法、或は利用者が見ているもの、または利用者
が見ているもの以外を補助表時部に反転表示させる方法
等、使用者がシステムで認識されているウインドウが認
識可能な様に、他のウインドウと異なる形態で表示する
ものであれば種々の表示方法を採用できる。
【００４７】以上説明した様に本例によれば、マルチウ
ィンドウシステムにおいて利用者が画面のどこを見てい
るかを監視し、補助表示スクリーンを通して対話的にシ
ステムを制御する機能を設けることによって、利用者が
手を入力装置から補助入力装置に移動させることなく、
ウィンドウあるいはメニュー等を制御することができ
る。 ＜本発明に係る発明の実施の態様の第２の例＞本発明に
よれば、視線入力装置は以上に説明したヘッドマウント
ディスプレイ・タイプに限らず、物理ディスプレイ装置
の上に設置する、視線入力機能を有するカメラであって
も問題はない。この場合の補助表示は物理ディスプレイ
装置上で３次元的に表示する方法、利用者が見ているも
のだけ、或は利用者が見ているもの以外を反転表示する
方法、利用者が見ているものを表示色を変えて表示す
る、等が考えられる。
ィンドウシステムにおいて利用者が画面のどこを見てい
るかを監視し、補助表示スクリーンを通して対話的にシ
ステムを制御する機能を設けることによって、利用者が
手を入力装置から補助入力装置に移動させることなく、
ウィンドウあるいはメニュー等を制御することができ
る。 ＜本発明に係る発明の実施の態様の第２の例＞本発明に
よれば、視線入力装置は以上に説明したヘッドマウント
ディスプレイ・タイプに限らず、物理ディスプレイ装置
の上に設置する、視線入力機能を有するカメラであって
も問題はない。この場合の補助表示は物理ディスプレイ
装置上で３次元的に表示する方法、利用者が見ているも
のだけ、或は利用者が見ているもの以外を反転表示する
方法、利用者が見ているものを表示色を変えて表示す
る、等が考えられる。
【００４８】なお、この場合にも、視線入力における注
視点位置（どこを見ているか）検出等の技術について
は、伴野明、岸野文郎らによる論文「注視点検出のため
の特徴点３次元位置計測法」（Feature Point 3D Posis
ion Measuring System for Detecting Fixation Point
on the Screen,Akira TOMONO and Fumio KISINO,Member
s（電子情報通信学会論文誌 D-II Vol.J77-D-II No.9 p
p.1830-1840 1994年9月））等によって報告されてお
り、実現できるものとして詳しくは触れない。
視点位置（どこを見ているか）検出等の技術について
は、伴野明、岸野文郎らによる論文「注視点検出のため
の特徴点３次元位置計測法」（Feature Point 3D Posis
ion Measuring System for Detecting Fixation Point
on the Screen,Akira TOMONO and Fumio KISINO,Member
s（電子情報通信学会論文誌 D-II Vol.J77-D-II No.9 p
p.1830-1840 1994年9月））等によって報告されてお
り、実現できるものとして詳しくは触れない。
【００４９】以上説明したように本例によれば、マルチ
ウィンドウシステム上で視線入力を管理、制御すること
ができ、さらに補助表示部ヘの半透明表示によるグラフ
ィカル・インターフェースを提供することにより、利用
者は手をキーボード等の入力装置からポインティング・
デバイス等の補助入力装置に移動させることなくウィン
ドウ、メニュー等を制御することが可能となり、これに
より入力作業を効率良く行うことができる。
ウィンドウシステム上で視線入力を管理、制御すること
ができ、さらに補助表示部ヘの半透明表示によるグラフ
ィカル・インターフェースを提供することにより、利用
者は手をキーボード等の入力装置からポインティング・
デバイス等の補助入力装置に移動させることなくウィン
ドウ、メニュー等を制御することが可能となり、これに
より入力作業を効率良く行うことができる。
【００５０】尚、本発明は、複数の機器から構成される
システムに適用しても、１つの機器から成る装置に適用
しても良い。また、本発明はシステム或は装置にプログ
ラムを供給することによって実施される場合にも適用で
きることはいうまでもない。この場合、本発明に係るプ
ログラムを格納した記憶媒体が、本発明を構成すること
になる。そして、該記憶媒体からそのプログラムをシス
テム或は装置に読み出すことによって、そのシステム或
は装置が、予め定められたし方で動作する。
システムに適用しても、１つの機器から成る装置に適用
しても良い。また、本発明はシステム或は装置にプログ
ラムを供給することによって実施される場合にも適用で
きることはいうまでもない。この場合、本発明に係るプ
ログラムを格納した記憶媒体が、本発明を構成すること
になる。そして、該記憶媒体からそのプログラムをシス
テム或は装置に読み出すことによって、そのシステム或
は装置が、予め定められたし方で動作する。
【００５１】
【発明の効果】以上説明したように本発明によれば、マ
ルチウィンドウシステム上で視線入力を管理、制御する
ことができ、利用者は手をキーボード等の入力装置から
ポインティング・デバイス等の補助入力装置に移動させ
ることなくウィンドウ、メニュー等を制御することが可
能となり、これにより入力作業を効率良く行うことがで
きる。
ルチウィンドウシステム上で視線入力を管理、制御する
ことができ、利用者は手をキーボード等の入力装置から
ポインティング・デバイス等の補助入力装置に移動させ
ることなくウィンドウ、メニュー等を制御することが可
能となり、これにより入力作業を効率良く行うことがで
きる。
【００５２】
【図１】本発明に係る発明の実施の形態の一例である情
報処理装置の構成を示す概略構成図である。
報処理装置の構成を示す概略構成図である。
【図２】本例における視線入力装置（ＨＭＤ）における
視線検出方法の原理を説明するための図である。
視線検出方法の原理を説明するための図である。
【図３】本例における視線入力装置（ＨＭＤ）における
視線検出方法の原理を説明するための図である。
視線検出方法の原理を説明するための図である。
【図４】本例における視線入力装置（ＨＭＤ）における
視線検出方法と眼球像との関係を説明するための概略図
である。
視線検出方法と眼球像との関係を説明するための概略図
である。
【図５】本例における視線入力装置（ＨＭＤ）における
センサの出力強度図である。
センサの出力強度図である。
【図６】マルチウィンドウシステムの特徴を表す概念図
である。
である。
【図７】本例におけるマルチウインドウ制御のための機
能ブロック図である。
能ブロック図である。
【図８】本例におけるシステムが視線入力を制御するた
めの基準となる基準位置を設定する例を示す図である。
めの基準となる基準位置を設定する例を示す図である。
【図９】本例における視線入力によりウィンドウをアク
ティブ化する時の例を示す図である。
ティブ化する時の例を示す図である。
【図１０】本例における視線入力によりウィンドウをア
クティブ化する時の処理の流れを示すフローチャートで
ある。
クティブ化する時の処理の流れを示すフローチャートで
ある。
【図１１】本例における視線入力によりウィンドウをア
クティブ化する時の他の例を示す図である。
クティブ化する時の他の例を示す図である。
１１ リードオンリメモリ（ＲＯＭ） １２ 中央処理装置（ＣＰＵ） １３ ディスプレイ表示装置（ＣＲＴ） １４ ランダムアクセスメモリ（ＲＡＭ）、 １５ 外部記憶装置（ＭＤ） １６ キーボード（ＫＢ） １７ ポインティングデバイス（ＰＤ） １８ 視線入力装置（ＨＭＤ）
Claims (10)
- 【請求項１】 複数の仮想ディスプレイ画面を表示する
マルチウィンドウ操作が可能なディスプレイ画面上の処
理を選択する処理選択装置であって、 利用者が前記ディスプレイ画面の一部を凝視した場合に
凝視画面位置を検出する視線検出手段と、 前記視線検出手段での検出視線位置にあるウインドウを
選択して他のウインドウと判別可能に表示する選択ウイ
ンドウ表示手段と、 前記選択ウインドウ表示手段で選択したウインドウに対
応する処理を実行させるか否かを確認する確認手段とを
備えることを特徴とする処理選択装置。 - 【請求項２】 前記選択表示手段は、前記ディスプレイ
画面とは別個に備えた補助表示部に選択ウインドウを表
示することを特徴とする請求項１記載の処理選択装置。 - 【請求項３】 前記ウインドウ表示手段は、前記視線検
出手段による利用者の視線凝視位置により利用者が前記
仮想ディスプレイ画面のどの部分を見ているかを判断
し、凝視画面に応じたウインドウを選択することを特徴
とする請求項１又は請求項２のいずれかに記載の処理選
択装置。 - 【請求項４】 複数の仮想ディスプレイ画面を表示する
マルチウィンドウ操作が可能なディスプレイ画面上の処
理を選択する処理選択装置であって、 利用者が前記ディスプレイ画面の一部を凝視した場合に
凝視画面位置を検出する視線検出手段と、 前記視線検出手段での検出視線位置にある凝視画面の状
況に応じた制御を行う制御手段とを備えることを特徴と
する処理選択装置。 - 【請求項５】 更に、前記視線検出手段での検出視線位
置にある凝視画面の選択を有効とするか否かの確認を行
う確認手段を備え、 前記制御手段は前記確認手段の確認後に凝視画面の状況
に応じた制御を行うことを特徴とする請求項４記載の処
理選択装置。 - 【請求項６】 複数の仮想ディスプレイ画面を表示する
マルチウィンドウ操作が可能なディスプレイ画面上の処
理を選択する処理選択装置における処理選択方法であっ
て、 利用者が前記ディスプレイ画面の一部を凝視した場合に
凝視画面位置を検出して、検出視線位置にあるウインド
ウを選択してこの選択ウインドウに対応する処理を実行
させるか否かを確認させることにより実行させるべき処
理を選択することを特徴とする処理選択方法。 - 【請求項７】 前記確認は、前記ディスプレイ画面とは
別個に備えた補助表示部に選択ウインドウを他のウイン
ドウと異なる形態で表示させて確認させることを特徴と
する請求項６記載の処理選択方法。 - 【請求項８】 利用者の視線凝視位置により利用者が前
記仮想ディスプレイ画面のどの部分を見ているかを判断
し、凝視画面に応じたウインドウを選択することを特徴
とする請求項６又は請求項７のいずれかに記載の処理選
択方法。 - 【請求項９】 複数の仮想ディスプレイ画面を表示する
マルチウィンドウ操作が可能なディスプレイ画面上の処
理を選択する処理選択装置における処理選択方法であっ
て、 利用者が前記ディスプレイ画面の一部を凝視した場合に
凝視画面位置を検出して、検出視線位置にある凝視画面
の状況に応じた制御を実行させることを特徴とする処理
選択方法。 - 【請求項１０】 更に、検出視線位置にある凝視画面の
選択を有効とするか否かの確認可能に構成し、確認後に
凝視画面の状況に応じた制御を行うことを特徴とする請
求項９記載の処理選択方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP8011164A JPH09204287A (ja) | 1996-01-25 | 1996-01-25 | 処理選択方法及び装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP8011164A JPH09204287A (ja) | 1996-01-25 | 1996-01-25 | 処理選択方法及び装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH09204287A true JPH09204287A (ja) | 1997-08-05 |
Family
ID=11770410
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP8011164A Pending JPH09204287A (ja) | 1996-01-25 | 1996-01-25 | 処理選択方法及び装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH09204287A (ja) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2003019343A1 (en) * | 2001-08-29 | 2003-03-06 | Techous Co., Ltd. | A anti keylog editor of activex base |
| JP2008523517A (ja) * | 2004-12-22 | 2008-07-03 | 聯想（北京）有限公司 | 表示装置のカーソルの制御システム及び方法 |
| JP2013143736A (ja) * | 2012-01-12 | 2013-07-22 | Toshiba Corp | 情報処理装置および表示制御方法 |
| JP2014504413A (ja) * | 2010-12-16 | 2014-02-20 | マイクロソフト コーポレーション | 理解および意図に基づく拡張現実表示用コンテンツ |
| EP2784632A2 (en) | 2013-03-25 | 2014-10-01 | Seiko Epson Corporation | Head-mounted display device and method of controlling head-mounted display device |
| JP2016530600A (ja) * | 2013-06-18 | 2016-09-29 | マイクロソフト テクノロジー ライセンシング，エルエルシー | 多ステップ仮想オブジェクト選択 |
| US10019962B2 (en) | 2011-08-17 | 2018-07-10 | Microsoft Technology Licensing, Llc | Context adaptive user interface for augmented reality display |
| US10223832B2 (en) | 2011-08-17 | 2019-03-05 | Microsoft Technology Licensing, Llc | Providing location occupancy analysis via a mixed reality device |
| US11127210B2 (en) | 2011-08-24 | 2021-09-21 | Microsoft Technology Licensing, Llc | Touch and social cues as inputs into a computer |
-
1996
- 1996-01-25 JP JP8011164A patent/JPH09204287A/ja active Pending
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2003019343A1 (en) * | 2001-08-29 | 2003-03-06 | Techous Co., Ltd. | A anti keylog editor of activex base |
| CN100394360C (zh) * | 2001-08-29 | 2008-06-11 | 泰克豪斯有限公司 | 保护计算机中的键盘数据的方法 |
| JP2008523517A (ja) * | 2004-12-22 | 2008-07-03 | 聯想（北京）有限公司 | 表示装置のカーソルの制御システム及び方法 |
| JP2014504413A (ja) * | 2010-12-16 | 2014-02-20 | マイクロソフト コーポレーション | 理解および意図に基づく拡張現実表示用コンテンツ |
| US10019962B2 (en) | 2011-08-17 | 2018-07-10 | Microsoft Technology Licensing, Llc | Context adaptive user interface for augmented reality display |
| US10223832B2 (en) | 2011-08-17 | 2019-03-05 | Microsoft Technology Licensing, Llc | Providing location occupancy analysis via a mixed reality device |
| US11127210B2 (en) | 2011-08-24 | 2021-09-21 | Microsoft Technology Licensing, Llc | Touch and social cues as inputs into a computer |
| JP2013143736A (ja) * | 2012-01-12 | 2013-07-22 | Toshiba Corp | 情報処理装置および表示制御方法 |
| EP2784632A2 (en) | 2013-03-25 | 2014-10-01 | Seiko Epson Corporation | Head-mounted display device and method of controlling head-mounted display device |
| US9335547B2 (en) | 2013-03-25 | 2016-05-10 | Seiko Epson Corporation | Head-mounted display device and method of controlling head-mounted display device |
| US9921646B2 (en) | 2013-03-25 | 2018-03-20 | Seiko Epson Corporation | Head-mounted display device and method of controlling head-mounted display device |
| JP2016530600A (ja) * | 2013-06-18 | 2016-09-29 | マイクロソフト テクノロジー ライセンシング，エルエルシー | 多ステップ仮想オブジェクト選択 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US12578835B2 (en) | Devices, methods, and graphical user interfaces for interacting with three-dimensional environments | |
| AU2021242208B2 (en) | Devices, methods, and graphical user interfaces for gaze-based navigation | |
| CN109564472B (zh) | 用于选取与虚拟对象的交互方法的方法、介质和系统 | |
| US20190385372A1 (en) | Positioning a virtual reality passthrough region at a known distance | |
| JP5528476B2 (ja) | 電子データ入力システム | |
| CN120353342A (zh) | 用于三维环境中的选项卡式浏览的设备、方法和介质 | |
| US12561042B2 (en) | Devices, methods, and graphical user interfaces for interacting with three-dimensional environments | |
| US10890967B2 (en) | Systems and methods for using eye gaze to bend and snap targeting rays for remote interaction | |
| CN121569266A (zh) | 用于在通信会话中共享内容的设备、方法和图形用户界面 | |
| EP3388921A1 (en) | Control device of head mounted display; operation method and operation program thereof; and image display system | |
| CN120813918A (zh) | 用于响应于注视和/或手势输入来显示多组控件的设备、方法和图形用户界面 | |
| US20260093392A1 (en) | Devices, Methods, and Graphical User Interfaces For Interacting with Three-Dimensional Environments | |
| US10747308B2 (en) | Line-of-sight operation apparatus, method, and medical device | |
| JPH08272517A (ja) | 視線対応選択装置及び方法並びに情報処理装置 | |
| JP6092173B2 (ja) | 電子装置とその操作方法 | |
| JP2009514090A (ja) | 視覚的フィードバックを有するアイトラッカー | |
| JP2024137998A (ja) | ウェアラブル端末装置、プログラム及び表示方法 | |
| US20240201502A1 (en) | Wearable terminal device, program, and display method | |
| JP7633452B2 (ja) | ウェアラブル端末装置、プログラムおよび表示方法 | |
| CN119200818A (zh) | 用于与三维环境交互的设备、方法和图形用户界面 | |
| JPH09293147A (ja) | 視線検出を用いた画像処理装置 | |
| US12064180B2 (en) | Display apparatus, display method, and display program | |
| CN119948434A (zh) | 包括环境表示的用户界面 | |
| US12366917B1 (en) | Modifying display of content based on gaze and head movement | |
| JP7862526B2 (ja) | 網膜投影ディスプレイシステム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050609 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051222 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060220 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070326 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070720 |