JPH1097376A - 視線操作装置 - Google Patents

視線操作装置

Info

Publication number
JPH1097376A
JPH1097376A JP8271817A JP27181796A JPH1097376A JP H1097376 A JPH1097376 A JP H1097376A JP 8271817 A JP8271817 A JP 8271817A JP 27181796 A JP27181796 A JP 27181796A JP H1097376 A JPH1097376 A JP H1097376A
Authority
JP
Japan
Prior art keywords
eye
gaze
pupil
line
sight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP8271817A
Other languages
English (en)
Inventor
Yoshi Kobayakawa
嘉 小早川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP8271817A priority Critical patent/JPH1097376A/ja
Publication of JPH1097376A publication Critical patent/JPH1097376A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Position Input By Displaying (AREA)

Abstract

(57)【要約】 【目的】 楽な姿勢で短時間に確実な視線操作を行う。 【構成】 装置の操作を行う場合は、種々の操作スイッ
チが表示部材6に表示され、操作者の眼Eが操作のため
にその内の1個のスイッチを見ると、撮像面上の瞳孔P
の位置と合焦信号から眼Eの方向と距離が演算により特
定される。このときの瞳孔P内の赤外光源1による角膜
反射像の相対位置関係から視線方向が演算されて、表示
部材6上のどのスイッチを見ているかが特定される。こ
のようにして、視線方向が認識されて種々のスイッチの
入力が行われ、その信号が図示しないアクチュエータに
伝達され装置の操作が行われる。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、眼線方向を検出し
て視線により操作を行う視線操作装置に関するものであ
る。
【0002】
【従来の技術】従来から視線操作装置は、飛行機や自動
車の操縦装置、コンピュータ、ワープロ、福祉機器、ゲ
ーム機等に使用されている。
【0003】
【発明が解決しようとする課題】しかしながら上述の従
来例においては、操作中に眼の位置が動くと誤差が生ず
るために、被検者は姿勢が変えられず非常に疲れるとい
う問題がある。また、入力時には所定方向を一定時間見
ていなければならず、見詰める時間を短くすると誤動作
になり易く、逆に長くすると操作に時間が掛かり、更に
操作入力の意志がなくとも視線がその方向に向くと入力
されてしまうという問題が発生する。
【0004】本発明の目的は、上述の問題点を解消し、
楽な姿勢で短時間に視線による確実な操作が可能な視線
操作装置を提供することにある。
【0005】
【課題を解決するための手段】上記目的を達成するため
の本発明に係る視線操作装置は、眼の前眼部を撮像する
撮像手段と、眼の前眼部を照明する照明手段と、眼の位
置を検知する検知手段とを有し、該検知手段から得られ
た眼の位置情報及び前記照明手段の角膜反射像と瞳孔と
の位置関係から視線方向を求めることを特徴とする。
【0006】第2発明に係る視線操作装置は、視線方向
を検出して視線で操作を行う視線操作装置において、所
定時間内に2度目に所定方向に視線が向いたことを検出
して入力操作を行うことを特徴とする。
【0007】
【発明の実施の形態】本発明を図示の実施例に基づいて
詳細に説明する。図1は実施例の視線操作装置の構成図
を示し、視線操作装置は操作者の眼の前方にあり、操作
者の眼Eの周囲を照明するLEDなどの赤外光源1、駆
動手段2により駆動されて自動的に合焦する撮影レンズ
3、この撮影レンズ3の後方に配置され映像のぼけを検
知する赤外テレビカメラから成る撮像手段4、校正用視
標a、bや操作スイッチ5a、5bを表示するCRTで
ある表示部材6、角膜反射像の位置計算を行う演算制御
手段7により構成されている。なお、演算制御手段7に
は、表示部材6に表示する記号の発生回路、その表示制
御プログラム、視線演算プログラム、小画面M用のメモ
リなどが含まれている。
【0008】図2、図3は表示部材6の画面を示し、図
2には装置を使用する前に視線方向の較正に使用する較
正用視標a、bが表示されており、図3には装置の操作
をするための種々の操作スイッチ5a、5b等が記号発
生回路から発生されて表示され、画面の右下角には図4
に示すような前眼部像を表示する小画面Mが設けられて
いる。
【0009】装置を使用する前に表示部材6に校正用視
標a、bを逐次に表示し、操作者眼Eはそれらを見て予
め眼Eの視線方向を校正しておく。次に、操作者は眼E
で表示部材6に表示された操作スイッチ5a、5bを見
て視線によって装置の操作を行う。
【0010】赤外光源1からの光束は鎖線で示すように
操作者の眼Eの周囲を照明し、眼Eの瞳孔P内には赤外
光源1による角膜反射像が生ずる。赤外光源1に照明さ
れた眼Eの前眼部像は撮影レンズ3を介して撮像手段4
に撮像され、この前眼部像を基に演算制御手段7により
演算が行われて映像のぼけが検知され、駆動手段2によ
り撮影レンズ3が駆動されて自動的に合焦が行われる。
そして、合焦時の撮影レンズ3の位置が検知されて、演
算制御手段7により眼Eまでの距離が算出される。
【0011】また、演算制御手段7では撮像手段4の映
像信号から瞳孔Pと赤外光源1の角膜反射像の位置が演
算されるが、このとき赤外光源1が点滅することによっ
て外光と区別され外光による映像は差し引かれる。角膜
反射光は非常に強いので閾値を設けて検出し、瞳孔Pは
その周りの暗い丸い領域として認識される。赤外光源1
と眼Eの眼底はほぼ共役なので、眼底反射光は赤外光源
1に戻り撮像手段4には入射することはないので、瞳孔
Pの内側は黒く映り、瞳孔Pの縁を容易に認識すること
ができる。また、瞳孔Pの画面内の位置が分かれば撮像
手段4から見た眼Eの方向が分かるので、眼Eの距離と
合わせて眼Eの位置を特定することができ、この眼Eの
位置情報を使って視線方向を演算する。
【0012】図5は表示部材6中の視標a、bを見たと
きの瞳孔P内の角膜反射像1a、1bを示している。同
じ瞳孔P内に複数の角膜反射像1a、1bが描かれてい
るが、実際には角膜反射像1a、1bは1個ずつ発生さ
れ、逐次に演算が行われて、瞳孔Pの中心PoをXY座標
の原点とした撮像面上の座標位置が求められる。角膜反
射像位置は赤外光源1から眼Eへ向かう方向線L1と視線
L2、L3との成す角度A、Bから決定することができる。
【0013】即ち、眼Eの位置が特定されることによっ
て、図1における線L1、L2、L3が決定され、赤外光源1
と眼Eを結ぶ線L1の方向と視線が一致していれば、その
反射像1kは瞳孔Pの中心Po付近に発生する。いま、視
標a、bを見ている線L2、L3と線L1との成す角度A、B
が、像1kから赤外光源1の角膜反射像1a、1bまで
の距離に比例するものとすると、角度AとBの角度差B
−Aと像1aから1bまでの距離abとから、比例常数
CはC=(B−A)/(ab)と表すことができ、比例
常数Cと角度A、Bの値から像1kの位置を算出するこ
とができる。
【0014】比例常数Cには角膜の曲率半径と前房深度
が関係し、像1kの位置も個人差があるので、操作者毎
に装置を使う前に校正を行う。このとき、同じ眼Eでも
乱視が強い場合には、乱視の視度は方向により異なるの
で、X方向とY方向を分けて校正しておくとよい。この
ためには、視標a、bは表示部材6の画面上で縦と横に
分離した位置に配置し、角度変化B−Aと距離abのX
成分とY成分とで別々に比例常数Cx 、Cy を演算す
る。
【0015】装置の操作を行う場合は、図3に示すよう
に種々の操作スイッチ5a、5bが表示部材6に記号発
生回路から発生されて表示され、操作者の眼Eが操作の
ためにその内の1個のスイッチ5bを見ると、撮像面上
の瞳孔Pの位置と合焦信号から眼Eの方向と距離が演算
により特定される。このときの赤外光源1による角膜反
射像5b’の位置と像1kの相対位置関係及び比例常数
Cから、スイッチ5bを見ている視線方向が演算され
て、表示面上のどのスイッチを見ているかが特定され
る。
【0016】このようにして、視線方向を認識して種々
のスイッチ5a、5bの入力が行われ、その信号は図示
しないアクチュエータに伝達される。なお、装置がコン
ピュータやワープロの場合はアクチュエータは演算手段
や表示手段であり、機械装置ではモータなどの駆動手段
である。
【0017】撮像手段4の映像は小画面Mとして表示部
材6の画面上に表示されており、操作者は自分の眼Eが
適当な位置にあるかどうかを操作中に確認することがで
きる。また、操作者は操作前に自分の操作し易い位置に
座り、眼Eが良く映るように撮像手段4の方向を調整し
た後に、視標a、bで校正を行うので、楽な姿勢で視線
操作を行うことができる。
【0018】また、操作中に顔が多少動いても眼Eが画
面に映る範囲内であれば、撮像画面内の瞳孔Pの位置を
演算により検出し、その方向を特定することは可能であ
る。更に、眼Eまでの距離を検知して眼Eの位置を特定
することができるので、距離に拘わらず視線方向を演算
することができる。なお、眼Eの距離が一定になる装置
では方向のみを検出してもよく、また方向が一定なら距
離のみを検出してもよい。
【0019】上述の説明では合焦信号から距離を求めて
いるが、距離測定用の光学系を別途設けてもよい。この
場合には、撮像手段4の近くから眼Eの付近に光束を投
影し、顔面からの反射光を光源から離れた位置で受光し
て検出する三角測量の原理を用いて測定を行い、その測
定距離から上述のようにして視線検出の計算を行う。
【0020】眼Eがスイッチ5bを見て演算制御手段7
がそれを認識すると、スイッチ5bの明るさが変化し、
認識されたことを操作者に知らせる。スイッチ5bを入
力するには、一旦、視線をそのスイッチ5bから外し、
所定の時間例えば1秒以内に再度視線を向け、2回目の
視線が認識されたときに入力されるようにする。このよ
うにすれば、一定時間見詰めていなくともよいので、短
時間で視線によるスイッチ操作が可能となり、かつ入力
の意志がないときはこのような眼Eの動きはしないの
で、誤動作することがない。
【0021】スイッチ5a、5bは表示部材6に表示し
たものに限らず、操作者が装置の所定部分を見たらアク
チュエータで所定の実行操作をするように定めておけ
ば、その部分をスイッチとして使用することができる。
この場合には、演算制御手段7が視線を認識したことを
操作者に表示するために音声を使用し、表示部材6上の
小画面Mの代りに、撮影レンズ3の前に赤外光を透過し
可視光を反射するミラーを取り付けて眼Eの位置を確認
する。このミラーは撮像手段4で映る範囲が見える大き
さにしておき、校正に使う視標となる印を装置上に設け
ておくか、又は装置の特定できる2つの部分を校正視標
として使う。
【0022】実施例では、瞳孔P上の角膜反射像から視
線を測定する撮像手段と眼Eの方向を特定する撮像手段
を同一の撮像手段としたが、それぞれ別々の撮像手段を
用いてもよい。その場合には、後者の撮像手段の撮像範
囲を広くしておき、顔が大きく動いても眼Eを確実に検
出できるようにし、これに基づいて瞳孔Pを検出する撮
像手段の方向を眼Eの方向に駆動して拡大撮像すること
により、精度の良い検出を行うことができる。
【0023】
【発明の効果】以上説明したように第1発明に係る視線
操作装置は、眼の位置情報を検出して視線方向を求める
ことにより、眼の位置に拘わらず精度良く視線を検出す
ることができ、楽な姿勢での操作が可能となる。
【0024】第2発明に係る視線操作装置は、所定時間
内の2度目の視線を認識して入力することにより、短時
間で確実な視線操作が可能となる。
【図面の簡単な説明】
【図1】実施例の構成図である。
【図2】表示部材の校正用視標の説明図である。
【図3】表示部材の操作スイッチの説明図である。
【図4】撮像手段の前眼部の説明図である。
【図5】瞳孔内の角膜反射像の説明図である。
【符号の説明】
1 赤外光源 2 駆動手段 3 撮影レンズ 4 撮像手段 5a、5b 操作スイッチ 6 表示部材 7 演算制御手段

Claims (3)

    【特許請求の範囲】
  1. 【請求項1】 眼の前眼部を撮像する撮像手段と、眼の
    前眼部を照明する照明手段と、眼の位置を検知する検知
    手段とを有し、該検知手段から得られた眼の位置情報及
    び前記照明手段の角膜反射像と瞳孔との位置関係から視
    線方向を求めることを特徴とする視線操作装置。
  2. 【請求項2】 前記位置情報は眼の距離又は方向とした
    請求項1に記載の視線操作装置。
  3. 【請求項3】 視線方向を検出して視線で操作を行う視
    線操作装置において、所定時間内に2度目に所定方向に
    視線が向いたことを検出して入力操作を行うことを特徴
    とする視線操作装置。
JP8271817A 1996-09-20 1996-09-20 視線操作装置 Pending JPH1097376A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP8271817A JPH1097376A (ja) 1996-09-20 1996-09-20 視線操作装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP8271817A JPH1097376A (ja) 1996-09-20 1996-09-20 視線操作装置

Publications (1)

Publication Number Publication Date
JPH1097376A true JPH1097376A (ja) 1998-04-14

Family

ID=17505266

Family Applications (1)

Application Number Title Priority Date Filing Date
JP8271817A Pending JPH1097376A (ja) 1996-09-20 1996-09-20 視線操作装置

Country Status (1)

Country Link
JP (1) JPH1097376A (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004355336A (ja) * 2003-05-29 2004-12-16 Misawa Homes Co Ltd キー入力装置
KR100749033B1 (ko) 2004-03-03 2007-08-13 학교법인 한국정보통신학원 두 눈에서 반사되는 빛을 추적하여 단말기를 조작하는방법, 및 그 장치
KR101094766B1 (ko) 2009-10-08 2011-12-20 동국대학교 산학협력단 시선 위치 추적 장치 및 방법
JP2017526096A (ja) * 2014-08-01 2017-09-07 マイクロソフト テクノロジー ライセンシング,エルエルシー 反射に基づくコントロールのアクティブ化
JP2017191377A (ja) * 2016-04-11 2017-10-19 株式会社バンダイナムコエンターテインメント シミュレーション制御装置及びシミュレーション制御プログラム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004355336A (ja) * 2003-05-29 2004-12-16 Misawa Homes Co Ltd キー入力装置
KR100749033B1 (ko) 2004-03-03 2007-08-13 학교법인 한국정보통신학원 두 눈에서 반사되는 빛을 추적하여 단말기를 조작하는방법, 및 그 장치
KR101094766B1 (ko) 2009-10-08 2011-12-20 동국대학교 산학협력단 시선 위치 추적 장치 및 방법
JP2017526096A (ja) * 2014-08-01 2017-09-07 マイクロソフト テクノロジー ライセンシング,エルエルシー 反射に基づくコントロールのアクティブ化
JP2017191377A (ja) * 2016-04-11 2017-10-19 株式会社バンダイナムコエンターテインメント シミュレーション制御装置及びシミュレーション制御プログラム

Similar Documents

Publication Publication Date Title
JP3709335B2 (ja) 眼科装置
US5604818A (en) Apparatus for measuring sighting direction
JPH05199996A (ja) 視線方向検出装置及びこれを用いた光学装置
US5757461A (en) Method for displaying a photographing point of a cornea in an apparatus for obtaining video images of corneal cells
EP1442698B1 (en) Ophthalmologic apparatus
JP2005185431A (ja) 視線検出方法および視線検出装置
JP2019146915A (ja) 評価装置、評価方法、及び評価プログラム
JPH11225964A (ja) 眼科検査装置
WO2020179351A1 (ja) 視標視認判定システム及び視野検査装置
US5614966A (en) Ophthalmologic instrument
JP3726122B2 (ja) 視線検出システム
JPH1097376A (ja) 視線操作装置
JPH08252224A (ja) 眼科装置
JP2015046111A (ja) 視点検出装置および視点検出方法
CN111479494B (zh) 眼屈光力测定装置
JP7063045B2 (ja) 視線検出装置、視線検出方法及び視線検出プログラム
JP7027958B2 (ja) 評価装置、評価方法、及び評価プログラム
JP2001061785A (ja) 視線検出方法及びその装置
JPH0779914A (ja) 視野計及び視線操作装置
JP4136691B2 (ja) 眼科装置
JP4551283B2 (ja) 眼科装置
JPH06323832A (ja) 車両用インターフェイス
JP3376207B2 (ja) 視線検出装置及びその方法
JPH09251539A (ja) 視線計測装置
JP3257823B2 (ja) 眼科装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060426

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060502

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060703

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20060725