JPH0694977A - 視線検出装置 - Google Patents
視線検出装置Info
- Publication number
- JPH0694977A JPH0694977A JP4245141A JP24514192A JPH0694977A JP H0694977 A JPH0694977 A JP H0694977A JP 4245141 A JP4245141 A JP 4245141A JP 24514192 A JP24514192 A JP 24514192A JP H0694977 A JPH0694977 A JP H0694977A
- Authority
- JP
- Japan
- Prior art keywords
- line
- sight
- light source
- eyeball
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B2213/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
- G03B2213/02—Viewfinders
- G03B2213/025—Sightline detection
Landscapes
- Eye Examination Apparatus (AREA)
- Focusing (AREA)
- Viewfinders (AREA)
- Automatic Focus Adjustment (AREA)
Abstract
(57)【要約】
【目的】 有限距離にある光源を用いても眼球の視線を
正確に求めることを可能にする。 【構成】 観察者の眼球を照明する照明手段101と、
照明手段101により照明された前記眼球の反射像から
眼球の視線を算出する視線算出手段102とを備えた視
線検出装置において、照明手段101と眼球の角膜曲率
中心位置との間の距離を用いて視線算出手段102が視
線を算出するようにした。
正確に求めることを可能にする。 【構成】 観察者の眼球を照明する照明手段101と、
照明手段101により照明された前記眼球の反射像から
眼球の視線を算出する視線算出手段102とを備えた視
線検出装置において、照明手段101と眼球の角膜曲率
中心位置との間の距離を用いて視線算出手段102が視
線を算出するようにした。
Description
【0001】
【産業上の利用分野】本発明は、たとえば光学装置内に
設けられた視野画面上において観察者が観察している注
視点方向の軸、すなわち、いわゆる視線を検出する視線
検出装置に関する。
設けられた視野画面上において観察者が観察している注
視点方向の軸、すなわち、いわゆる視線を検出する視線
検出装置に関する。
【0002】
【従来の技術】従来、観察者の視線を検出する装置とし
ては、例えば、特開平3−109029号公報に開示さ
れたようなものがあった。この公報に開示された装置
は、観察者の眼球を光源によって照明し、この光源によ
って照明された眼球の瞳孔と虹彩との境界を読み取って
瞳孔中心位置を求めるとともに、光源からの照明光によ
る角膜反射像の位置を求め、この瞳孔中心位置と角膜反
射像の位置との相対的関係から視線を求めていた。以
下、図36を参照して上述の公報による視線検出装置の
動作について説明する。
ては、例えば、特開平3−109029号公報に開示さ
れたようなものがあった。この公報に開示された装置
は、観察者の眼球を光源によって照明し、この光源によ
って照明された眼球の瞳孔と虹彩との境界を読み取って
瞳孔中心位置を求めるとともに、光源からの照明光によ
る角膜反射像の位置を求め、この瞳孔中心位置と角膜反
射像の位置との相対的関係から視線を求めていた。以
下、図36を参照して上述の公報による視線検出装置の
動作について説明する。
【0003】図36は人間の眼球を水平方向に切断した
断面図である。この図において、1は眼球であり、この
眼球1は、略球形の強膜2の中に硝子体3が充満され、
この強膜2の前部(図中左部)に水晶体4、虹彩5およ
び角膜6が形成されて概略構成されている。虹彩5は一
種の絞りであり、開口部は瞳孔7と呼ばれる。角膜6の
曲率は強膜2(硝子体3)の曲率と異なり、図に示すご
とく、角膜曲率中心Cと眼球回転中心O′との間にはほ
ぼ一定と仮定できる距離ρが生じる。また、瞳孔中心D
と眼球回転中心O′との間の距離Aもほぼ一定と仮定で
きる。
断面図である。この図において、1は眼球であり、この
眼球1は、略球形の強膜2の中に硝子体3が充満され、
この強膜2の前部(図中左部)に水晶体4、虹彩5およ
び角膜6が形成されて概略構成されている。虹彩5は一
種の絞りであり、開口部は瞳孔7と呼ばれる。角膜6の
曲率は強膜2(硝子体3)の曲率と異なり、図に示すご
とく、角膜曲率中心Cと眼球回転中心O′との間にはほ
ぼ一定と仮定できる距離ρが生じる。また、瞳孔中心D
と眼球回転中心O′との間の距離Aもほぼ一定と仮定で
きる。
【0004】図36に示すように水平方向(図中上下方
向)にx軸をとり、不図示の視野画面の中心に眼球1が
正対するときの眼球回転中心O′のx軸の位置を原点O
とする。このときの瞳孔中心Dのx軸上の位置(これも
Dで示す)および角膜反射像Pのx軸上の位置(これも
Pで示す)は、眼球回転角θを図示のごとく定義すれ
ば、
向)にx軸をとり、不図示の視野画面の中心に眼球1が
正対するときの眼球回転中心O′のx軸の位置を原点O
とする。このときの瞳孔中心Dのx軸上の位置(これも
Dで示す)および角膜反射像Pのx軸上の位置(これも
Pで示す)は、眼球回転角θを図示のごとく定義すれ
ば、
【数1】 D=L+A×sinθ (1) P=L+ρ×sinθ (2) と表される。ここにいう角膜反射像Pはプルキンエ第1
像と呼ばれるものであり、角膜6を凸レンズと考えたと
きにその表面で反射する光線の虚像である。(1)式から
(2)式を減算すると、眼球回転中心の平行移動成分Lを
打ち消す事ができて、
像と呼ばれるものであり、角膜6を凸レンズと考えたと
きにその表面で反射する光線の虚像である。(1)式から
(2)式を減算すると、眼球回転中心の平行移動成分Lを
打ち消す事ができて、
【数2】 D−P=(A−ρ)×sinθ (3) が得られる。このとき、眼球回転角θが小さいと仮定
し、sinθ≒θが成り立っているとして眼球回転角θ
を計算すると、
し、sinθ≒θが成り立っているとして眼球回転角θ
を計算すると、
【数3】 θ=(D−P)/(A−ρ) (4) となる。
【0005】
【発明が解決しようとする課題】しかしながら、上述の
公報に開示された従来の視線検出装置にあっては、(1)
〜(3)式が本来は平行光線によって結像する角膜反射像
にしか成り立たないにもかかわらず、有限距離にある視
線検出用光源についてもこれら(1)〜(3)式を用いて視
線検出演算を行っている為、求まった視線が観察者の視
線とずれが生じるおそれがある、という問題があった。
これを、図37を参照して説明する。図37(a)は平行
光線PLが眼球1の正面から入射した場合を示し、角膜
反射像Pは角膜曲率中心Cから距離r/2(rは角膜6
の曲率半径)だけ光源に近寄った位置に生じ、かつ、眼
球回転中心O′、角膜曲率中心Cおよび角膜反射像Pは
一直線上にある。この光源Sが図37(b)に示すように
有限距離に位置すると、有限距離にある光源Sからの光
線が発散光DLであることから角膜反射像P′は平行光
線の場合に比較してΔrだけ光源Sに近接した位置に生
じる。さらに、図37(c)に示すように眼球が図中下方
に距離Lだけ平行移動すると、角膜反射像P′は角膜曲
率中心Cの回りにαだけ回転した位置に生じ、正面から
見るとΔLだけ図中上方にずれている。一方、平行光線
が眼球1の正面から入射していれば、図37(c)のよう
に眼球1が平行移動しても図中Pの位置に角膜反射像が
生じる。したがって、ΔLが光源Sを有限距離に置いた
ことによるずれとなる。
公報に開示された従来の視線検出装置にあっては、(1)
〜(3)式が本来は平行光線によって結像する角膜反射像
にしか成り立たないにもかかわらず、有限距離にある視
線検出用光源についてもこれら(1)〜(3)式を用いて視
線検出演算を行っている為、求まった視線が観察者の視
線とずれが生じるおそれがある、という問題があった。
これを、図37を参照して説明する。図37(a)は平行
光線PLが眼球1の正面から入射した場合を示し、角膜
反射像Pは角膜曲率中心Cから距離r/2(rは角膜6
の曲率半径)だけ光源に近寄った位置に生じ、かつ、眼
球回転中心O′、角膜曲率中心Cおよび角膜反射像Pは
一直線上にある。この光源Sが図37(b)に示すように
有限距離に位置すると、有限距離にある光源Sからの光
線が発散光DLであることから角膜反射像P′は平行光
線の場合に比較してΔrだけ光源Sに近接した位置に生
じる。さらに、図37(c)に示すように眼球が図中下方
に距離Lだけ平行移動すると、角膜反射像P′は角膜曲
率中心Cの回りにαだけ回転した位置に生じ、正面から
見るとΔLだけ図中上方にずれている。一方、平行光線
が眼球1の正面から入射していれば、図37(c)のよう
に眼球1が平行移動しても図中Pの位置に角膜反射像が
生じる。したがって、ΔLが光源Sを有限距離に置いた
ことによるずれとなる。
【0006】本発明の目的は、有限距離にある光源を用
いても眼球の視線を正確に求めることの可能な視線検出
装置を提供することにある。
いても眼球の視線を正確に求めることの可能な視線検出
装置を提供することにある。
【0007】
【課題を解決するための手段】クレーム対応図である図
1に対応付けて説明すると、請求項1の発明は、観察者
の眼球を照明する照明手段101と、前記照明手段10
1により照明された前記眼球の反射像から前記眼球の視
線を算出する視線算出手段102とを備えた視線検出装
置に適用される。そして、上述の目的は、前記照明手段
101と前記眼球の角膜曲率中心位置との間の距離を用
いて前記視線算出手段102が前記視線を算出すること
により達成される。この際、前記視線が特定の方向に向
いているときの前記照明手段101と前記角膜曲率中心
位置との間の距離を代表値として用いて前記視線を算出
してもよい。あるいは、視野画面を複数の領域に分割
し、前記視線が前記分割した領域のいずれに向いている
かを判断する視線判断手段103を設け、前記分割した
領域毎に予め定められた前記照明手段101と前記角膜
曲率中心位置との間の距離を代表値として用いて前記視
線を算出してもよい。請求項4の発明は、観察者の眼球
を照明する照明手段101と、前記照明手段101によ
り照明された前記眼球の反射像から前記眼球の視線を算
出する視線算出手段102とを備えた視線検出装置に適
用される。そして、上述の目的は、前記照明手段101
と前記角膜曲率中心位置との間の距離に代えて前記照明
手段101と前記瞳孔中心位置との間の距離を用いて前
記視線算出手段102が前記視線を算出することにより
達成される。さらに、前記視線算出手段102によって
算出された視線に基づいて前記照明手段101と前記角
膜曲率中心位置との間の距離を算出する距離算出手段1
04と、この算出結果に基づいて前記視線算出手段10
2により前記視線を再度算出し、算出結果が収束するま
で繰り返し前記距離算出手段104および前記視線算出
手段102を動作させる制御手段105とを設けてもよ
い。前記照明手段101を複数個設け、前記視線算出手
段102が前記各照明手段101毎に前記視線を独立に
算出する場合、前記視線算出手段102により算出され
た前記各照明手段101毎の視線に基づいて前記視線を
決定する視線決定手段106を設けてもよい。
1に対応付けて説明すると、請求項1の発明は、観察者
の眼球を照明する照明手段101と、前記照明手段10
1により照明された前記眼球の反射像から前記眼球の視
線を算出する視線算出手段102とを備えた視線検出装
置に適用される。そして、上述の目的は、前記照明手段
101と前記眼球の角膜曲率中心位置との間の距離を用
いて前記視線算出手段102が前記視線を算出すること
により達成される。この際、前記視線が特定の方向に向
いているときの前記照明手段101と前記角膜曲率中心
位置との間の距離を代表値として用いて前記視線を算出
してもよい。あるいは、視野画面を複数の領域に分割
し、前記視線が前記分割した領域のいずれに向いている
かを判断する視線判断手段103を設け、前記分割した
領域毎に予め定められた前記照明手段101と前記角膜
曲率中心位置との間の距離を代表値として用いて前記視
線を算出してもよい。請求項4の発明は、観察者の眼球
を照明する照明手段101と、前記照明手段101によ
り照明された前記眼球の反射像から前記眼球の視線を算
出する視線算出手段102とを備えた視線検出装置に適
用される。そして、上述の目的は、前記照明手段101
と前記角膜曲率中心位置との間の距離に代えて前記照明
手段101と前記瞳孔中心位置との間の距離を用いて前
記視線算出手段102が前記視線を算出することにより
達成される。さらに、前記視線算出手段102によって
算出された視線に基づいて前記照明手段101と前記角
膜曲率中心位置との間の距離を算出する距離算出手段1
04と、この算出結果に基づいて前記視線算出手段10
2により前記視線を再度算出し、算出結果が収束するま
で繰り返し前記距離算出手段104および前記視線算出
手段102を動作させる制御手段105とを設けてもよ
い。前記照明手段101を複数個設け、前記視線算出手
段102が前記各照明手段101毎に前記視線を独立に
算出する場合、前記視線算出手段102により算出され
た前記各照明手段101毎の視線に基づいて前記視線を
決定する視線決定手段106を設けてもよい。
【0008】
【作用】上述した従来の視線検出装置においては、照明
手段が無限遠にあると考えて視線検出を行っていたが、
実際の照明手段は有限距離から発散光を照射している。
したがって、照明手段101と眼球の角膜曲率中心位置
との間の距離を用いて視線を算出することにより、照明
手段101が有限距離にあるときでも、観察者の視線を
正しく求めることができる。
手段が無限遠にあると考えて視線検出を行っていたが、
実際の照明手段は有限距離から発散光を照射している。
したがって、照明手段101と眼球の角膜曲率中心位置
との間の距離を用いて視線を算出することにより、照明
手段101が有限距離にあるときでも、観察者の視線を
正しく求めることができる。
【0009】
(1) 実施例共通の説明 まず、各実施例に共通する構成および本発明の原理につ
いて説明する。なお、以下の説明において、図36で用
いた符号も使用して観察者の眼球およびその内部につい
て説明を行う。図2は本発明にかかる視線検出装置の構
成図であり、この図において、11はカメラ等の光学装
置内に設けられた観察面であり、観察者はこの観察面1
1内の特定の点(注視点)を注視している。12は観察
者眼、13は視線検出用光源駆動手段、14は視線検出
用光源であり、この視線検出用光源14は観察者眼12
の近傍においてこの観察者眼12が観察面11を観察す
る視野を妨げないような位置に配置されている。15は
可視領域を透過して赤外領域を反射するダイクロイック
ミラー、16は結像レンズ、17は光電変換素子であ
り、この光電変換素子17及び結像レンズ16の光軸L
Aは、観察面11の中心と図36における原点O(観察
面の中心に正対する位置に眼球1がある場合の眼球回転
中心O′と一致)とを通る軸CAと一致し、かつ、ダイ
クロイックミラー15によってその光軸LAが曲げられ
て観察面11を観察する視野を妨げないように配置され
ている。18は光電変換素子17の出力を処理する信号
処理手段、19は演算装置であり、この演算装置19
は、視線検出用光源駆動手段13の制御、光電変換素子
17の駆動の制御、および信号処理手段18の出力から
視線を算出する。
いて説明する。なお、以下の説明において、図36で用
いた符号も使用して観察者の眼球およびその内部につい
て説明を行う。図2は本発明にかかる視線検出装置の構
成図であり、この図において、11はカメラ等の光学装
置内に設けられた観察面であり、観察者はこの観察面1
1内の特定の点(注視点)を注視している。12は観察
者眼、13は視線検出用光源駆動手段、14は視線検出
用光源であり、この視線検出用光源14は観察者眼12
の近傍においてこの観察者眼12が観察面11を観察す
る視野を妨げないような位置に配置されている。15は
可視領域を透過して赤外領域を反射するダイクロイック
ミラー、16は結像レンズ、17は光電変換素子であ
り、この光電変換素子17及び結像レンズ16の光軸L
Aは、観察面11の中心と図36における原点O(観察
面の中心に正対する位置に眼球1がある場合の眼球回転
中心O′と一致)とを通る軸CAと一致し、かつ、ダイ
クロイックミラー15によってその光軸LAが曲げられ
て観察面11を観察する視野を妨げないように配置され
ている。18は光電変換素子17の出力を処理する信号
処理手段、19は演算装置であり、この演算装置19
は、視線検出用光源駆動手段13の制御、光電変換素子
17の駆動の制御、および信号処理手段18の出力から
視線を算出する。
【0010】図3〜図5は、視線検出用光源14、光電
変換素子17の配置の他の例である。図3に示す例で
は、観察面11の中心を通る軸CAと一致しない位置に
結像レンズ16および光電変換素子17を配置してい
る。図4に示す例では、視線検出用光源14と結像レン
ズ16、光電変換素子17の位置を入れ換えて配置して
おり、視線検出用光源14は、観察面11の中心を通る
軸CA上に配置され、かつ、ダイクロイックミラー15
によって観察者の視野を妨げないようにされている。図
5に示す例では、視線検出用光源14と結像レンズ1
6、光電変換素子17の双方が観察面11の中心を通る
軸CA上に配置され、かつ、ダイクロイックミラー1
5、20によって観察者の視野を妨げないようにされて
いる。
変換素子17の配置の他の例である。図3に示す例で
は、観察面11の中心を通る軸CAと一致しない位置に
結像レンズ16および光電変換素子17を配置してい
る。図4に示す例では、視線検出用光源14と結像レン
ズ16、光電変換素子17の位置を入れ換えて配置して
おり、視線検出用光源14は、観察面11の中心を通る
軸CA上に配置され、かつ、ダイクロイックミラー15
によって観察者の視野を妨げないようにされている。図
5に示す例では、視線検出用光源14と結像レンズ1
6、光電変換素子17の双方が観察面11の中心を通る
軸CA上に配置され、かつ、ダイクロイックミラー1
5、20によって観察者の視野を妨げないようにされて
いる。
【0011】図6(A)〜(F)、図7(A)〜(B)および図
8(A)〜(E)は、観察者眼12が観察面11の中心に正
対する位置にあるとき、この観察者眼12が観察面11
を観察したときの視線検出用光源14の配置状態を示す
図である。図示例では、視線検出用光源14にIRED
141〜143を用いている。図中の枠21は、図9に示
すように観察者眼12が観察面11の中心に正対する位
置にあるときに観察面11の範囲を決定する枠を仮定し
たものであり、観察面11と等しい視野を持つ。以下こ
の枠を「視野枠」と呼ぶ。この視野枠21は、観察者眼
12が観察する枠を決定する枠であるので、観察者眼1
2の直前から観察面11までのどの位置に設定しても良
い。
8(A)〜(E)は、観察者眼12が観察面11の中心に正
対する位置にあるとき、この観察者眼12が観察面11
を観察したときの視線検出用光源14の配置状態を示す
図である。図示例では、視線検出用光源14にIRED
141〜143を用いている。図中の枠21は、図9に示
すように観察者眼12が観察面11の中心に正対する位
置にあるときに観察面11の範囲を決定する枠を仮定し
たものであり、観察面11と等しい視野を持つ。以下こ
の枠を「視野枠」と呼ぶ。この視野枠21は、観察者眼
12が観察する枠を決定する枠であるので、観察者眼1
2の直前から観察面11までのどの位置に設定しても良
い。
【0012】図6(A)〜(F)、図7(A)〜(B)では観察
者が観察する視野をIRED141〜143が妨げないよ
うにこのIRED141〜143を視野枠21の外周に配
置している。図6(A)および(B)に示す例ではIRED
141が1個配置されており、(A)は視野枠21の上部
中央に、(B)は視野枠21の左側中央に配置されてい
る。図6(C)〜(E)に示す例ではIRED141、142
が2個配置されており、(C)は視野枠21の上部中央と
左側中央に、(D)は視野枠21の上部に、(E)は視野枠
21の中央を挾んで上下対称な位置に配置されている。
図6(F)、図7(A)〜(B)に示す例ではIRED141
〜143が3個配置されており、図6(F)は視野枠21
の上部に、図7(A)は視野枠21の上部に2個、下部に
1個配置され、図7(B)は視野枠21の上部中央に1
個、左側中央に1個、右側中央に1個配置されている。
者が観察する視野をIRED141〜143が妨げないよ
うにこのIRED141〜143を視野枠21の外周に配
置している。図6(A)および(B)に示す例ではIRED
141が1個配置されており、(A)は視野枠21の上部
中央に、(B)は視野枠21の左側中央に配置されてい
る。図6(C)〜(E)に示す例ではIRED141、142
が2個配置されており、(C)は視野枠21の上部中央と
左側中央に、(D)は視野枠21の上部に、(E)は視野枠
21の中央を挾んで上下対称な位置に配置されている。
図6(F)、図7(A)〜(B)に示す例ではIRED141
〜143が3個配置されており、図6(F)は視野枠21
の上部に、図7(A)は視野枠21の上部に2個、下部に
1個配置され、図7(B)は視野枠21の上部中央に1
個、左側中央に1個、右側中央に1個配置されている。
【0013】また、図8(A)〜(E)に示す例では、ダイ
クロイックミラー等を用いて、IRED141〜143を
視野枠21の内側に配置され、(A)は1個のIRED1
41が視野枠21の中央に配置され、(B)は1個のIR
ED141が視野枠21の上部中央に、もう1個のIR
ED142が視野枠21の内側に配置され、(C)は2個
のIRED141、142がともに視野枠21の内部に配
置されている。図8(D)および(E)に示す例では3個の
IRED141〜143が配置され、(D)は視野枠21の
外周と内側の両方に配置され、(E)はすべて視野枠21
の内側に配置されている。なお、IRED141〜143
の配置については図示例に限られるものではなく、観察
者眼の周囲に1個または複数個のIREDを配置すれば
良い。
クロイックミラー等を用いて、IRED141〜143を
視野枠21の内側に配置され、(A)は1個のIRED1
41が視野枠21の中央に配置され、(B)は1個のIR
ED141が視野枠21の上部中央に、もう1個のIR
ED142が視野枠21の内側に配置され、(C)は2個
のIRED141、142がともに視野枠21の内部に配
置されている。図8(D)および(E)に示す例では3個の
IRED141〜143が配置され、(D)は視野枠21の
外周と内側の両方に配置され、(E)はすべて視野枠21
の内側に配置されている。なお、IRED141〜143
の配置については図示例に限られるものではなく、観察
者眼の周囲に1個または複数個のIREDを配置すれば
良い。
【0014】図11は本発明の原理を説明する為に導入
する座標系を示す図である。図11において、観察者の
眼球が観察面の中心に正対する位置にある時の眼球回転
中心位置O′を原点Oとして、この原点Oと観察面11
の中心を通る軸方向にY軸を、観察面11の一方向にX
軸を、このX軸及びY軸に共に垂直な方向にZ軸をとる
三次元座標を設定し、以下これを「実空間座標」と呼
ぶ。
する座標系を示す図である。図11において、観察者の
眼球が観察面の中心に正対する位置にある時の眼球回転
中心位置O′を原点Oとして、この原点Oと観察面11
の中心を通る軸方向にY軸を、観察面11の一方向にX
軸を、このX軸及びY軸に共に垂直な方向にZ軸をとる
三次元座標を設定し、以下これを「実空間座標」と呼
ぶ。
【0015】図10は、本発明の光学原理を示す図であ
る。視線検出用光源14は観察者眼12の近傍にあり、
光源14は観察者眼12に角膜反射像の虚像をP点に結
ぶ。この虚像は結像レンズ16を介して、光電変換素子
上のP′点に再結像する。この時、光電変換素子17の
受光面の一方向をX′軸に、このX′軸に垂直な方向に
Z′軸をとる座標系を設定し、以下これを「観察平面座
標」と呼ぶ。P点は実空間座標上で、P:(Px,P
y,Pz)と表され、P′点は観察平面座標上でP′:
(Px′,Pz′)と表される。この時、P点とP′点と
の関係は実空間座標系に対する光電変換素子の受光面の
角度、すなわち、実空間座標系に対する観察平面座標系
の角度を考慮した関数fx、fzを用いれば、
る。視線検出用光源14は観察者眼12の近傍にあり、
光源14は観察者眼12に角膜反射像の虚像をP点に結
ぶ。この虚像は結像レンズ16を介して、光電変換素子
上のP′点に再結像する。この時、光電変換素子17の
受光面の一方向をX′軸に、このX′軸に垂直な方向に
Z′軸をとる座標系を設定し、以下これを「観察平面座
標」と呼ぶ。P点は実空間座標上で、P:(Px,P
y,Pz)と表され、P′点は観察平面座標上でP′:
(Px′,Pz′)と表される。この時、P点とP′点と
の関係は実空間座標系に対する光電変換素子の受光面の
角度、すなわち、実空間座標系に対する観察平面座標系
の角度を考慮した関数fx、fzを用いれば、
【数4】 Px=fx(Px′,Pz′) (5) Pz=fz(Px′,Pz′) (6) のように、実空間座標系のx−z平面に変換可能であ
る。ゆえに、光電変換素子17上に観察され、観察平面
座標系で表された角膜反射像及び、瞳孔中心位置の光電
変換素子17上の結像点の座標は実空間座標系のx−z
平面上に任意に変換可能である。ゆえに、光電変換素子
17上に結像した結像点の座標は、変換式(5)、(6)を
用いて実空間座標系のx−z平面座標での計算が可能で
ある。以上に述べたことは、P点、結像レンズ16及び
光電変換素子17の位置関係が変わっても、変換式
(5)、(6)の具体的な形が変わるだけで、P点とP′点
が変換式(5)、(6)を用いて変換可能であることには変
わりがない。
る。ゆえに、光電変換素子17上に観察され、観察平面
座標系で表された角膜反射像及び、瞳孔中心位置の光電
変換素子17上の結像点の座標は実空間座標系のx−z
平面上に任意に変換可能である。ゆえに、光電変換素子
17上に結像した結像点の座標は、変換式(5)、(6)を
用いて実空間座標系のx−z平面座標での計算が可能で
ある。以上に述べたことは、P点、結像レンズ16及び
光電変換素子17の位置関係が変わっても、変換式
(5)、(6)の具体的な形が変わるだけで、P点とP′点
が変換式(5)、(6)を用いて変換可能であることには変
わりがない。
【0016】次に、本発明に用いている視線検出用光源
14は有限距離にある点光源であり、発散光として眼球
を照明していることに注意して、本発明の視線の検出手
順の原理について前述の実空間座標系を用いて説明す
る。図11に示すように、実空間座標系において光源1
4によるプルキンエ第1像P:(Xp1,Yp1,Zp1)と瞳
孔中心D:(Xd、Yd,Zd)の座標値は、光源S:
(Sx,Sy,Sz)、角膜曲率中心C:(Cx,Cy,
Cz)=(L+ρcosφsinθ,ρcosφcosθ,k+ρsin
φ)の座標値を用いて次のように表される。ここで、f
は角膜表面反射の焦点距離、ρは眼球回転中心と角膜曲
率中心との距離、LはX軸方向の眼球回転中心の平行移
動、θはX軸方向の眼球回転角、kはZ軸方向の眼球回
転中心の平行移動、φはZ軸方向の眼球回転角である。
まず、プルキンエ第1像位置Pの座標値は、
14は有限距離にある点光源であり、発散光として眼球
を照明していることに注意して、本発明の視線の検出手
順の原理について前述の実空間座標系を用いて説明す
る。図11に示すように、実空間座標系において光源1
4によるプルキンエ第1像P:(Xp1,Yp1,Zp1)と瞳
孔中心D:(Xd、Yd,Zd)の座標値は、光源S:
(Sx,Sy,Sz)、角膜曲率中心C:(Cx,Cy,
Cz)=(L+ρcosφsinθ,ρcosφcosθ,k+ρsin
φ)の座標値を用いて次のように表される。ここで、f
は角膜表面反射の焦点距離、ρは眼球回転中心と角膜曲
率中心との距離、LはX軸方向の眼球回転中心の平行移
動、θはX軸方向の眼球回転角、kはZ軸方向の眼球回
転中心の平行移動、φはZ軸方向の眼球回転角である。
まず、プルキンエ第1像位置Pの座標値は、
【数5】 Xp1=f/(σ−f)×Sx+(σ−2f)/(σ−f)×(L+ρcosφsinθ) (7) Yp1=f/(σ−f)×Sy+(σ−2f)/(σ−f)×(ρcosφcosθ) (8) Zp1=f/(σ−f)×Sz+(σ−2f)/(σ−f)×(k+ρsinφ) (9) 但し、 σ=√((Sx−Cx)2+(Sy−Cy)2+(Sz−Cz)2) (10) となる。ここでσは光源Sと角膜曲率中心Cとの距離を
表している。
表している。
【0017】また、瞳孔中心Dの座標値は、眼球回転中
心O′から瞳孔中心Dまでの距離をAとして、
心O′から瞳孔中心Dまでの距離をAとして、
【数6】 Xd=L+Acosφsinθ (11) Zd=k+Asinφ (12) となる。以上の(7)〜(9),(11),(12)式を連立さ
せればθ,L,φ,kが求まり、視線が求まるが、以
下、本発明ではσが特定の値をとるものと仮定してθ,
L,φ,kを求めることにする。また、眼球回転角θ,
φは十分に小さいとみなしてsinθ≒θ,cosθ≒1,si
nφ≒φ,cosφ≒1を利用する。このときの(7)〜
(9),(11),(12)式は、
せればθ,L,φ,kが求まり、視線が求まるが、以
下、本発明ではσが特定の値をとるものと仮定してθ,
L,φ,kを求めることにする。また、眼球回転角θ,
φは十分に小さいとみなしてsinθ≒θ,cosθ≒1,si
nφ≒φ,cosφ≒1を利用する。このときの(7)〜
(9),(11),(12)式は、
【数7】 Xp1=f/(σ−f)×Sx+(σ−2f)/(σ−f)×(L+ρθ) (7′) Yp1=f/(σ−f)×Sy+(σ−2f)/(σ−f)×ρ (8′) Zp1=f/(σ−f)×Sz+(σ−2f)/(σ−f)×(k+ρφ) (9′) Xd=L+Aθ (11′) Zd=k+Aφ (12′) となる。これを解くと、
【数8】 θ=1/(A−ρ)×{f/(σ−2f)×Sx+Xd−(σ−f)/(σ−2f)× Xp1} (13) L=−A/(A−ρ)×f/(σ−2f)×Sx−ρ/(A−ρ)×Xd+A/(A −ρ)×(σ−f)/(σ−2f)×Xp1 (14) φ=1/(A−ρ)×{f/(σ−2f)×Sz+Zd−(σ−f)/(σ−2f)× Zp1} (15) k=−A/(A−ρ)×f/(σ−2f)×Sz−ρ/(A−ρ)×Zd+A/(A −ρ)×(σ−f)/(σ−2f)×Zp1 (16) となる。但し、 σ=√((Sx−(L+ρθ))2+(Sy−ρ)2+(Sz−(k+ρφ))2) (10′) である。ここで、σの式に、求めるべき視線θ,L,
φ,kが含まれているため、これらの値を何等かの値で
代用する必要が出て来る。以下にその実施例を述べる。
φ,kが含まれているため、これらの値を何等かの値で
代用する必要が出て来る。以下にその実施例を述べる。
【0018】(2) 光源が1個の場合 まず、図6(A)、(B)および図8(A)で示した、視線検
出用光源14として1個のIRED141を用いる場合
の視線検出装置の実施例を説明する。
出用光源14として1個のIRED141を用いる場合
の視線検出装置の実施例を説明する。
【0019】−第1実施例− 第1実施例は、(10′)式内の求めるべき視線θ,L,
φ,kをそれぞれ一つの値で代表させる手法を用いたも
のである。本実施例では、観察者が観察面11を観察す
るとき、眼球1が最も多くかつ自然に位置すると思われ
るθ=L=φ=k=0に固定する。このとき、光源Sと
角膜曲率中心Cとの距離σは、
φ,kをそれぞれ一つの値で代表させる手法を用いたも
のである。本実施例では、観察者が観察面11を観察す
るとき、眼球1が最も多くかつ自然に位置すると思われ
るθ=L=φ=k=0に固定する。このとき、光源Sと
角膜曲率中心Cとの距離σは、
【数9】 σ=√(Sx2+(Sy−ρ)2+Sz2) (17) となる。このようにして固定したσの値を用いて、(1
3)〜(16)式を計算して視線θ,L,φ,kを求め
る。
3)〜(16)式を計算して視線θ,L,φ,kを求め
る。
【0020】図12は、本実施例の視線検出装置による
視線検出演算を示すフローチャートである。まず、ステ
ップS101では視線検出用光源14であるIRED1
41によって観察者眼12を照明し、このIRED141
によって照明された眼球1の瞳孔7と虹彩5の境界を、
光電変換素子17上の二点x′dL,z′dL、x′dR,
z′dRの座標値として読み取る。境界検出手法は周知で
あり(たとえば上述の特開平3−109029号公
報)、ここでは詳細を省略する。ステップS102で
は、ステップS101において読み取られた光電変換素
子17上の二点の座標値x′dL,z′dL、x′dR,z′
dRを実空間座標に変換し、実空間座標上の瞳孔7と虹彩
7の境界の座標値xdL,zdL、xdR,zdRを求める。ス
テップS103では、実空間上における瞳孔7と虹彩5
との境界の中点を瞳孔中心位置Dとし、この瞳孔中心D
の座標値Xd,Zdを求める。
視線検出演算を示すフローチャートである。まず、ステ
ップS101では視線検出用光源14であるIRED1
41によって観察者眼12を照明し、このIRED141
によって照明された眼球1の瞳孔7と虹彩5の境界を、
光電変換素子17上の二点x′dL,z′dL、x′dR,
z′dRの座標値として読み取る。境界検出手法は周知で
あり(たとえば上述の特開平3−109029号公
報)、ここでは詳細を省略する。ステップS102で
は、ステップS101において読み取られた光電変換素
子17上の二点の座標値x′dL,z′dL、x′dR,z′
dRを実空間座標に変換し、実空間座標上の瞳孔7と虹彩
7の境界の座標値xdL,zdL、xdR,zdRを求める。ス
テップS103では、実空間上における瞳孔7と虹彩5
との境界の中点を瞳孔中心位置Dとし、この瞳孔中心D
の座標値Xd,Zdを求める。
【0021】次に、ステップS104では、IRED1
41からの発散光の照明によって生じたプルキンエ第1
像(角膜反射像)Pの位置を、光電変換素子17上の座
標値Xp1′,Zp1′として検出する。このプルキンエ第
1像検出手法も周知であり、ここでは詳細を省略する。
ステップS105では、光電変換素子17上のプルキン
エ第1像Pの座標値X′p1,Z′p1を実空間座標に変換
し、実空間座標上のプルキンエ第1像Pの座標値Xp1,
Zp1を求める。さらに、ステップS106では、プルキ
ンエ第1像Pの座標値Xp1,Zp1、瞳孔中心Dの座標値
Xd,Zd、および光源Sの座標値を(17)式に代入し
て得られたσを(13)〜(16)式へ代入し、視線θ,
L,φ,kを求める。
41からの発散光の照明によって生じたプルキンエ第1
像(角膜反射像)Pの位置を、光電変換素子17上の座
標値Xp1′,Zp1′として検出する。このプルキンエ第
1像検出手法も周知であり、ここでは詳細を省略する。
ステップS105では、光電変換素子17上のプルキン
エ第1像Pの座標値X′p1,Z′p1を実空間座標に変換
し、実空間座標上のプルキンエ第1像Pの座標値Xp1,
Zp1を求める。さらに、ステップS106では、プルキ
ンエ第1像Pの座標値Xp1,Zp1、瞳孔中心Dの座標値
Xd,Zd、および光源Sの座標値を(17)式に代入し
て得られたσを(13)〜(16)式へ代入し、視線θ,
L,φ,kを求める。
【0022】このようにしてx軸方向の眼球回転角θを
求めた計算結果を図13に示す。グラフの横軸は実際の
x軸方向の眼球回転角を表し、縦軸は本実施例の視線検
出装置で算出したx軸方向の眼球回転角を表す(いずれ
も単位は「ラジアン」)。なお、眼球回転中心O′はx
−z平面内で移動するものとし、光源S(IRED14
1)は図6(A)の位置に配置され、その座標値は(0、2
8、8)である(単位は「ミリメートル」)。図13に
おいて、原点を通る曲線S0は実際の視線であり、演算
によって正しく求められた場合、直線S0に一致する直
線が得られる。一方、原点を通らない曲線S1は本実施
例を用いて算出した視線の一例で、L=φ=k=0の場
合以外は原点を通らず、光源Sと角膜曲率中心Cとの距
離σを固定したことによる誤差δを持つが、この誤差δ
の大きさは無視できる範囲内であると考えられるため、
ステップS106で求められたθ,L,φ,kが求める
視線となる。なお、上述の説明ではθ=L=φ=k=0
に固定したが、他の適当な値に固定しても良く、θ,
L,φ,kは互いに異なった値でも良い。
求めた計算結果を図13に示す。グラフの横軸は実際の
x軸方向の眼球回転角を表し、縦軸は本実施例の視線検
出装置で算出したx軸方向の眼球回転角を表す(いずれ
も単位は「ラジアン」)。なお、眼球回転中心O′はx
−z平面内で移動するものとし、光源S(IRED14
1)は図6(A)の位置に配置され、その座標値は(0、2
8、8)である(単位は「ミリメートル」)。図13に
おいて、原点を通る曲線S0は実際の視線であり、演算
によって正しく求められた場合、直線S0に一致する直
線が得られる。一方、原点を通らない曲線S1は本実施
例を用いて算出した視線の一例で、L=φ=k=0の場
合以外は原点を通らず、光源Sと角膜曲率中心Cとの距
離σを固定したことによる誤差δを持つが、この誤差δ
の大きさは無視できる範囲内であると考えられるため、
ステップS106で求められたθ,L,φ,kが求める
視線となる。なお、上述の説明ではθ=L=φ=k=0
に固定したが、他の適当な値に固定しても良く、θ,
L,φ,kは互いに異なった値でも良い。
【0023】−第2実施例− 第2実施例は、プルキンエ第1像Pまたは瞳孔中心Dの
位置、もしくはその両者の位置によって(10′)式内の
値θ,L,φ,kを数種類に分別し、これにより光源S
と角膜曲率中心Cとの距離σを数種類の値に固定する手
法を用いたものである。本実施例では、x軸を三つの領
域に分割し、σを三種類の値に固定している。具体的に
は、瞳孔中心Dのx座標値Xdがχ1未満、χ1以上χ
2以下、χ2を超える値のとき、x軸方向の眼球回転中
心の平行移動量Lの値をそれぞれλ1,λ2,λ3に固
定し、他はθ=φ=k=0に固定する。このときのσ
は、x軸方向の眼球回転中心O′の平行移動量Lを便宜
上L′で表すと
位置、もしくはその両者の位置によって(10′)式内の
値θ,L,φ,kを数種類に分別し、これにより光源S
と角膜曲率中心Cとの距離σを数種類の値に固定する手
法を用いたものである。本実施例では、x軸を三つの領
域に分割し、σを三種類の値に固定している。具体的に
は、瞳孔中心Dのx座標値Xdがχ1未満、χ1以上χ
2以下、χ2を超える値のとき、x軸方向の眼球回転中
心の平行移動量Lの値をそれぞれλ1,λ2,λ3に固
定し、他はθ=φ=k=0に固定する。このときのσ
は、x軸方向の眼球回転中心O′の平行移動量Lを便宜
上L′で表すと
【数10】 σ=√((Sx−L′)2+(Sy−ρ)2+Sz2) (18) として表される。
【0024】図14は、本実施例の視線検出装置による
視線検出演算を示すフローチャートである。まず、ステ
ップS201〜S205では、上述の第1実施例のステ
ップS101〜105と同様の動作が行われる。ステッ
プS206では、瞳孔中心Dのx座標値Xdが予め定め
た値χ1より小さいか否かが判定され、判定が肯定され
るとステップS207に飛んでx軸方向の眼球回転中心
O′の平行移動量L′をλ1に設定し、判定が否定され
るとステップS208へ移行する。ステップS208で
は、瞳孔中心Dのx座標値Xdが予め定めた値χ2より
大きいか否かが判定され、判定が肯定されるとステップ
S209に飛んでx軸方向の眼球回転中心O′の平行移
動量L′をλ3に設定し、判定が否定されるとステップ
S210へ飛んでx軸方向の眼球回転中心O′の平行移
動量L′をλ2に設定する。さらにステップS211で
は、プルキンエ第1像Pの座標値Xp1,Zp1、瞳孔中心
Dの座標値Xd,Zd、光源Sの座標値およびx軸方向
の眼球回転中心O′の平行移動量L′を(18)式に代入
して得られたσを(13)〜(16)式へ代入し、視線θ,
L,φ,kを求める。
視線検出演算を示すフローチャートである。まず、ステ
ップS201〜S205では、上述の第1実施例のステ
ップS101〜105と同様の動作が行われる。ステッ
プS206では、瞳孔中心Dのx座標値Xdが予め定め
た値χ1より小さいか否かが判定され、判定が肯定され
るとステップS207に飛んでx軸方向の眼球回転中心
O′の平行移動量L′をλ1に設定し、判定が否定され
るとステップS208へ移行する。ステップS208で
は、瞳孔中心Dのx座標値Xdが予め定めた値χ2より
大きいか否かが判定され、判定が肯定されるとステップ
S209に飛んでx軸方向の眼球回転中心O′の平行移
動量L′をλ3に設定し、判定が否定されるとステップ
S210へ飛んでx軸方向の眼球回転中心O′の平行移
動量L′をλ2に設定する。さらにステップS211で
は、プルキンエ第1像Pの座標値Xp1,Zp1、瞳孔中心
Dの座標値Xd,Zd、光源Sの座標値およびx軸方向
の眼球回転中心O′の平行移動量L′を(18)式に代入
して得られたσを(13)〜(16)式へ代入し、視線θ,
L,φ,kを求める。
【0025】このようにしてx軸方向の眼球回転角θを
求めた計算結果を図15に示す。グラフの横軸は実際の
x軸方向の眼球回転角を表し、縦軸は本実施例の視線検
出装置で算出したx軸方向の眼球回転角を表す(いずれ
も単位は「ラジアン」)。なお、眼球回転中心O′はx
−z平面内で移動するものとし、光源位置Sは図6(A)
の位置に配置され、その座標値は(0、28、8)である
(単位は「ミリメートル」)。また、χ1〜χ3および
λ1〜λ3の値は、実空間座標上に変換された値を用い
て、χ1=-2.5,χ2=2.5,λ1=−5,λ2=0,
λ3=5とされる(単位は「ミリメートル」)。すなわ
ち、(18)式中のXdの値を表1に示すように「-2.5未
満」、「-2.5以上2.5以下」、「2.5を超える」の3種類
に分け、このときのL′の値をそれぞれ「−5」,
「0」,「5」に固定し、他はθ=φ=k=0に固定し
ている。
求めた計算結果を図15に示す。グラフの横軸は実際の
x軸方向の眼球回転角を表し、縦軸は本実施例の視線検
出装置で算出したx軸方向の眼球回転角を表す(いずれ
も単位は「ラジアン」)。なお、眼球回転中心O′はx
−z平面内で移動するものとし、光源位置Sは図6(A)
の位置に配置され、その座標値は(0、28、8)である
(単位は「ミリメートル」)。また、χ1〜χ3および
λ1〜λ3の値は、実空間座標上に変換された値を用い
て、χ1=-2.5,χ2=2.5,λ1=−5,λ2=0,
λ3=5とされる(単位は「ミリメートル」)。すなわ
ち、(18)式中のXdの値を表1に示すように「-2.5未
満」、「-2.5以上2.5以下」、「2.5を超える」の3種類
に分け、このときのL′の値をそれぞれ「−5」,
「0」,「5」に固定し、他はθ=φ=k=0に固定し
ている。
【表1】 図15において、原点を通る直線S0は実際の視線であ
り、演算によって正しく求められた場合は直線S0に一
致する直線が得られる。一方、原点を通らない曲線S2
は本実施例を用いて算出した視線の一例で、L=−5,
φ=k=0、L=0,φ=k=0、およびL=5,φ=
k=0の場合以外は原点を通らず、光源Sと角膜曲率中
心Cとの距離σを固定したことによる誤差δを持つが、
本実施例によれば、表1に示すように瞳孔中心Dの位置
(x座標値Xd)に応じて眼球回転中心O′のx軸方向
移動量L′を適宜変更しているので、いずれの場合にお
いてもLの値がひとつの値に固定されている第1実施例
に比較して誤差δを小さくすることができる。
り、演算によって正しく求められた場合は直線S0に一
致する直線が得られる。一方、原点を通らない曲線S2
は本実施例を用いて算出した視線の一例で、L=−5,
φ=k=0、L=0,φ=k=0、およびL=5,φ=
k=0の場合以外は原点を通らず、光源Sと角膜曲率中
心Cとの距離σを固定したことによる誤差δを持つが、
本実施例によれば、表1に示すように瞳孔中心Dの位置
(x座標値Xd)に応じて眼球回転中心O′のx軸方向
移動量L′を適宜変更しているので、いずれの場合にお
いてもLの値がひとつの値に固定されている第1実施例
に比較して誤差δを小さくすることができる。
【0026】なお、本実施例では、瞳孔中心Dの位置を
実空間座標上に変換してからχ1、χ2と比べたが、光
電変換素子17上の値を直接用いて適当なχ1、χ2と
比べることもできる。また、本実施例では、x軸方向を
三分割してσを三個の値に固定したが、z軸方向も同様
にして分割することができ、分割数についても二分割に
したり、もっと多く分割したりすることができる。
実空間座標上に変換してからχ1、χ2と比べたが、光
電変換素子17上の値を直接用いて適当なχ1、χ2と
比べることもできる。また、本実施例では、x軸方向を
三分割してσを三個の値に固定したが、z軸方向も同様
にして分割することができ、分割数についても二分割に
したり、もっと多く分割したりすることができる。
【0027】−第3実施例− 第3実施例は、(10)式における角膜曲率中心位置C
x,Czを瞳孔中心位置Xd,Zdで代用する手法を用
いたものである。すなわち、眼球回転角θ,φがともに
小さいときは、角膜曲率中心位置Cx=L+ρθ,Cz
=k+ρφの値と瞳孔中心位置Xd=L+Aθ,Zd=
k+Aφの値が大きくは違わないものとして、(10′)
式内において、L+ρθ≒L+Aθ,k+ρφ≒k+A
φとする。このときの光源Sと角膜曲率中心Cとの距離
σは
x,Czを瞳孔中心位置Xd,Zdで代用する手法を用
いたものである。すなわち、眼球回転角θ,φがともに
小さいときは、角膜曲率中心位置Cx=L+ρθ,Cz
=k+ρφの値と瞳孔中心位置Xd=L+Aθ,Zd=
k+Aφの値が大きくは違わないものとして、(10′)
式内において、L+ρθ≒L+Aθ,k+ρφ≒k+A
φとする。このときの光源Sと角膜曲率中心Cとの距離
σは
【数11】 σ=√((Sx−Xd)2+(Sy−ρ)2+(Sz−Zd)2) (19) となる。このようにして求めたこのσの値を(13)〜
(16)式に用いて視線を求める。
(16)式に用いて視線を求める。
【0028】図16は、本実施例の視線検出装置による
視線検出演算を示すフローチャートである。まず、ステ
ップS301〜S305では、上述の第1実施例のステ
ップS101〜105と同様の動作が行われる。ステッ
プS306では、プルキンエ第1像Pの座標値Xp1,Z
p1、瞳孔中心Dの座標値Xd,Zd、および角膜曲率C
の座標値を瞳孔中心Dの座標値で代用した(19)式で得
られるσを(13)〜(16)式へ代入し、視線θ,L,
φ,kを求める。
視線検出演算を示すフローチャートである。まず、ステ
ップS301〜S305では、上述の第1実施例のステ
ップS101〜105と同様の動作が行われる。ステッ
プS306では、プルキンエ第1像Pの座標値Xp1,Z
p1、瞳孔中心Dの座標値Xd,Zd、および角膜曲率C
の座標値を瞳孔中心Dの座標値で代用した(19)式で得
られるσを(13)〜(16)式へ代入し、視線θ,L,
φ,kを求める。
【0029】このようにしてx軸方向の眼球回転角θを
求めた結果を図17に示す。グラフの横軸は実際のx軸
方向の眼球回転角を表し、縦軸は本実施例の視線検出装
置で算出したx軸方向の眼球回転角を表す(単位は「ラ
ジアン」)。なお、眼球回転中心O′はx−z平面内で
移動するものとし、光源S(IRED141)は図6
(A)の位置に配置され、その座標値は(0、28、8)で
ある(単位は「ミリメートル」)。図17において原点
を通る直線S0は実際の視線であり、演算によって正し
く求められた場合は直線S0に一致する直線が得られ
る。一方、原点を通らない曲線S3は本実施例を用いて
算出した視線の一例である。光源Sと角膜曲率中心Cと
の距離σを固定したことによる誤差δは、x軸方向の眼
球回転角θが小さいときは、L,φ,kの値が変化して
も誤差δは小さく、眼球回転角θが大きくなるに従っ
て、L,φ,kの値が変化することによる誤差δは大き
くなるが、このときの誤差δの大きさは無視できる範囲
内であると考えられるため、ステップS306で求めら
れたθ,L,φ,kが求める視線となる。
求めた結果を図17に示す。グラフの横軸は実際のx軸
方向の眼球回転角を表し、縦軸は本実施例の視線検出装
置で算出したx軸方向の眼球回転角を表す(単位は「ラ
ジアン」)。なお、眼球回転中心O′はx−z平面内で
移動するものとし、光源S(IRED141)は図6
(A)の位置に配置され、その座標値は(0、28、8)で
ある(単位は「ミリメートル」)。図17において原点
を通る直線S0は実際の視線であり、演算によって正し
く求められた場合は直線S0に一致する直線が得られ
る。一方、原点を通らない曲線S3は本実施例を用いて
算出した視線の一例である。光源Sと角膜曲率中心Cと
の距離σを固定したことによる誤差δは、x軸方向の眼
球回転角θが小さいときは、L,φ,kの値が変化して
も誤差δは小さく、眼球回転角θが大きくなるに従っ
て、L,φ,kの値が変化することによる誤差δは大き
くなるが、このときの誤差δの大きさは無視できる範囲
内であると考えられるため、ステップS306で求めら
れたθ,L,φ,kが求める視線となる。
【0030】−第4実施例− 第4実施例は、上述の第1〜第3実施例をそのまま用い
て、光源Sと角膜曲率中心Cとの距離σを固定したこと
による誤差δを小さくする手法を用いたものである。す
なわち、第1〜第3実施例で求まった視線θ,L,φ,
kは誤差δが大きい仮の視線であるとしてこれらを
θ′,L′,φ′,k′とおき、(10′)式中のθ,
L,φ,kをθ′,L′,φ′,k′に置き換えた式
て、光源Sと角膜曲率中心Cとの距離σを固定したこと
による誤差δを小さくする手法を用いたものである。す
なわち、第1〜第3実施例で求まった視線θ,L,φ,
kは誤差δが大きい仮の視線であるとしてこれらを
θ′,L′,φ′,k′とおき、(10′)式中のθ,
L,φ,kをθ′,L′,φ′,k′に置き換えた式
【数12】 σ=√((Sx−(L′+ρθ′))2+(Sy−ρ)2+(Sz−(k′+ρφ′))2) (20) にθ′,L′,φ′,k′を再度代入して新たなσを求
め直し、再度(13)〜(16)式を計算することによっ
て、誤差δを小さくすることができる。この作業を、視
線θ,L,φ,kが収束するまで計算を繰り返せば良
い。
め直し、再度(13)〜(16)式を計算することによっ
て、誤差δを小さくすることができる。この作業を、視
線θ,L,φ,kが収束するまで計算を繰り返せば良
い。
【0031】図18は、本実施例の視線検出装置による
視線検出演算を示すフローチャートである。まず、ステ
ップS401では、上述の第1〜第3実施例のうちいず
れかの手法、もしくは、光源Sと角膜曲率中心Cとの間
の距離σを何等かの方法で固定して視線θ,L,φ,k
を求める手法によって視線θ,L,φ,kを求める。ス
テップS402では、ステップS401において算出さ
れた視線θ,L,φ,kは、σを固定したことによる誤
差δの大きい仮の視線であるとして、θ,L,φ,kを
それぞれ仮の値θ′,L′,φ′,k′とおく。ステッ
プS403では、ステップS402で置き換えられた
θ′,L′,φ′,k′および光源Sの座標値を(20)
式に代入して新たなσを求め、このσを(13)〜(16)
式へ代入して再度視線θ,L,φ,kを求める。ステッ
プS404では、ステップS401で求まったx軸方向
の仮の眼球回転角θ′と、ステップS403で新たに求
まったx軸方向の眼球回転角θの大きさを比べ、両者の
差|θ′−θ|が予め定めた閾値ε以下であるか否かを判
定する。その結果、判定が肯定されるとステップS40
3のθ,L,φ,kを求める視線とし、判定が否定され
るとステップS402に戻って上述の手順を繰り返す。
このようにして、|θ′−θ|の値が閾値ε以下に収束す
るまで視線検出動作が継続される。
視線検出演算を示すフローチャートである。まず、ステ
ップS401では、上述の第1〜第3実施例のうちいず
れかの手法、もしくは、光源Sと角膜曲率中心Cとの間
の距離σを何等かの方法で固定して視線θ,L,φ,k
を求める手法によって視線θ,L,φ,kを求める。ス
テップS402では、ステップS401において算出さ
れた視線θ,L,φ,kは、σを固定したことによる誤
差δの大きい仮の視線であるとして、θ,L,φ,kを
それぞれ仮の値θ′,L′,φ′,k′とおく。ステッ
プS403では、ステップS402で置き換えられた
θ′,L′,φ′,k′および光源Sの座標値を(20)
式に代入して新たなσを求め、このσを(13)〜(16)
式へ代入して再度視線θ,L,φ,kを求める。ステッ
プS404では、ステップS401で求まったx軸方向
の仮の眼球回転角θ′と、ステップS403で新たに求
まったx軸方向の眼球回転角θの大きさを比べ、両者の
差|θ′−θ|が予め定めた閾値ε以下であるか否かを判
定する。その結果、判定が肯定されるとステップS40
3のθ,L,φ,kを求める視線とし、判定が否定され
るとステップS402に戻って上述の手順を繰り返す。
このようにして、|θ′−θ|の値が閾値ε以下に収束す
るまで視線検出動作が継続される。
【0032】第1実施例で求まった視線θ,L,φ,k
に対して、値が十分に集束するまで繰り返し計算してx
軸方向の眼球回転角θを求めた計算結果を図19に示
す。グラフの横軸は実際のx軸方向の眼球回転角を表
し、縦軸は本実施例の視線検出装置で算出したx軸方向
の眼球回転角を表す(単位は「ラジアン」)。なお、眼
球回転中心O′はx−z平面内で移動するものとし、光
源Sは図6(A)の位置に配置され、その座標値は(0、
28、8)である(単位は「ミリメートル」)。図19
において、図示できる精度の範囲内では、正確に視線が
求まった場合の直線S0に収束している。ゆえに、ステ
ップS404で判定が肯定されたときの値θ,L,φ,
kが求める視線となる。
に対して、値が十分に集束するまで繰り返し計算してx
軸方向の眼球回転角θを求めた計算結果を図19に示
す。グラフの横軸は実際のx軸方向の眼球回転角を表
し、縦軸は本実施例の視線検出装置で算出したx軸方向
の眼球回転角を表す(単位は「ラジアン」)。なお、眼
球回転中心O′はx−z平面内で移動するものとし、光
源Sは図6(A)の位置に配置され、その座標値は(0、
28、8)である(単位は「ミリメートル」)。図19
において、図示できる精度の範囲内では、正確に視線が
求まった場合の直線S0に収束している。ゆえに、ステ
ップS404で判定が肯定されたときの値θ,L,φ,
kが求める視線となる。
【0033】なお、本実施例では、ステップS404に
おいて値|θ′−θ|を用いて視線が収束したか否かを判
断したが、値|θ′−θ|,|L′−L|,|φ′−φ|,|
k′−k|のうちいずれの値を用いても良く、さらに複
数もしくは全てを用いて判断しても良い。また、本実施
例によれば、繰り返し演算を行うことによって光源Sと
角膜曲率中心Cとの距離σを固定したことによる誤差δ
を小さくできるのであるから、ステップS404におい
て視線θ,L,φ,kの値が収束したか否かの判断をせ
ずに、予め定められた回数だけ計算を繰り返した結果を
求める視線θ,L,φ,kとすることもできる。さら
に、収束するまで計算を繰り返す手法と予め定められた
回数だけ計算を繰り返す手法とを併用し、予め定められ
た回数だけ計算をしても収束しない場合には繰り返し計
算を打ち切り、その時点で求まっている視線を求める視
線θ,L,φ,kとすることもできる。また、仮の視線
を求める手法は上述の第1〜第3実施例に限定されず、
光源Sと角膜曲率中心Cとの距離σを何等かの方法で固
定して視線θ,L,φ,kを求める手法であれば、本実
施例で紹介していない手法であっても良い。
おいて値|θ′−θ|を用いて視線が収束したか否かを判
断したが、値|θ′−θ|,|L′−L|,|φ′−φ|,|
k′−k|のうちいずれの値を用いても良く、さらに複
数もしくは全てを用いて判断しても良い。また、本実施
例によれば、繰り返し演算を行うことによって光源Sと
角膜曲率中心Cとの距離σを固定したことによる誤差δ
を小さくできるのであるから、ステップS404におい
て視線θ,L,φ,kの値が収束したか否かの判断をせ
ずに、予め定められた回数だけ計算を繰り返した結果を
求める視線θ,L,φ,kとすることもできる。さら
に、収束するまで計算を繰り返す手法と予め定められた
回数だけ計算を繰り返す手法とを併用し、予め定められ
た回数だけ計算をしても収束しない場合には繰り返し計
算を打ち切り、その時点で求まっている視線を求める視
線θ,L,φ,kとすることもできる。また、仮の視線
を求める手法は上述の第1〜第3実施例に限定されず、
光源Sと角膜曲率中心Cとの距離σを何等かの方法で固
定して視線θ,L,φ,kを求める手法であれば、本実
施例で紹介していない手法であっても良い。
【0034】(3) 光源が複数個の場合 次に、図6(C)〜(F)、図7(A)、(B)および図8(B)
〜(E)で示すように、視線検出用光源14であるIRE
D141〜143を複数個配置する場合について説明す
る。本発明において、視線検出用光源14であるIRE
D141〜143を複数個設けると次のような利点が得ら
れる。n番目の視線検出用光源14であるIRED14
nによるプルキンエ第1像Pnの位置と瞳孔中心Dの位置
とを用いて、IRED141が1個のみ設けられている
ときの上述の視線検出手法を用いてそれぞれのIRED
141〜14nによるプルキンエ第1像P1〜Pnの位置を
求め、これからそれぞれの視線θ1〜θn,L1〜Ln,φ
1〜φn,k1〜knを求める。そして、各IRED141
〜14nによるプルキンエ第1像P1〜Pnの位置を用い
て得られたそれぞれの視線θ1〜θn,L1〜Ln,φ1〜
φn,k1〜knの値を各々比較すれば、n番目の光源Sn
(すなわちIRED14n)と角膜曲率中心Cとの距離
σnを固定したことによる誤差δnの大きさを判断した
り、演算処理をして視線θ,L,φ,kの値を求めるこ
とができ、IRED141が1個のみ設けられている場
合よりも誤差δを小さくしたり、演算を速くすることが
できる。IRED141〜143を複数個設けることの別
の利点は、このIRED141〜143が複数個あること
により、一つのIREDの照明光がまつ毛や瞼等によっ
て遮られてプルキンエ第1像を結像できなかった場合、
別のIREDによるプルキンエ第1像を用いて視線の検
出が可能な点である。以下に視線検出用光源14として
2個のIRED141〜142を用いた場合の視線検出装
置について説明する。
〜(E)で示すように、視線検出用光源14であるIRE
D141〜143を複数個配置する場合について説明す
る。本発明において、視線検出用光源14であるIRE
D141〜143を複数個設けると次のような利点が得ら
れる。n番目の視線検出用光源14であるIRED14
nによるプルキンエ第1像Pnの位置と瞳孔中心Dの位置
とを用いて、IRED141が1個のみ設けられている
ときの上述の視線検出手法を用いてそれぞれのIRED
141〜14nによるプルキンエ第1像P1〜Pnの位置を
求め、これからそれぞれの視線θ1〜θn,L1〜Ln,φ
1〜φn,k1〜knを求める。そして、各IRED141
〜14nによるプルキンエ第1像P1〜Pnの位置を用い
て得られたそれぞれの視線θ1〜θn,L1〜Ln,φ1〜
φn,k1〜knの値を各々比較すれば、n番目の光源Sn
(すなわちIRED14n)と角膜曲率中心Cとの距離
σnを固定したことによる誤差δnの大きさを判断した
り、演算処理をして視線θ,L,φ,kの値を求めるこ
とができ、IRED141が1個のみ設けられている場
合よりも誤差δを小さくしたり、演算を速くすることが
できる。IRED141〜143を複数個設けることの別
の利点は、このIRED141〜143が複数個あること
により、一つのIREDの照明光がまつ毛や瞼等によっ
て遮られてプルキンエ第1像を結像できなかった場合、
別のIREDによるプルキンエ第1像を用いて視線の検
出が可能な点である。以下に視線検出用光源14として
2個のIRED141〜142を用いた場合の視線検出装
置について説明する。
【0035】−第5実施例− 第5実施例は、1番目の視線検出用光源14であるIR
ED141および2番目の視線検出用光源14であるI
RED142による視線をそれぞれ独立に求め、求まっ
た両者の値を用いて演算を行って視線を決定する手法を
用いたものである。すなわち、IRED141、142の
それぞれによって生じるプルキンエ第1像P1、P2の位
置および瞳孔中心Dの位置から上述の第1〜第4実施例
に従って視線θ1,L1,φ1,k1および視線θ2,L2,
φ2,k2を独立に求め、これらの値θ1,L1,φ1,k1
およびθ2,L2,φ2,k2の平均値をとることにより視
線θ,L,φ,kを決定する。図20は、本実施例の視
線検出装置による視線検出演算を示すフローチャートで
ある。まず、ステップS501では、上述の第1〜第4
実施例に従って1番目の視線検出用光源14であるIR
ED141を用いて視線θ1,L1,φ1,k1を求める。
同様に、ステップS502では、上述の第1〜第4実施
例に従って2番目の視線検出用光源14であるIRED
142を用いて視線θ2,L2,φ2,k2を求める。ステ
ップS503では、ステップS501、S502でそれ
ぞれ求められたIRED141による視線θ1,L1,
φ1,k1とIRED142による視線θ2,L2,φ2,k
2との平均値をとることによって、視線θ,L,φ,k
の値を決定する。
ED141および2番目の視線検出用光源14であるI
RED142による視線をそれぞれ独立に求め、求まっ
た両者の値を用いて演算を行って視線を決定する手法を
用いたものである。すなわち、IRED141、142の
それぞれによって生じるプルキンエ第1像P1、P2の位
置および瞳孔中心Dの位置から上述の第1〜第4実施例
に従って視線θ1,L1,φ1,k1および視線θ2,L2,
φ2,k2を独立に求め、これらの値θ1,L1,φ1,k1
およびθ2,L2,φ2,k2の平均値をとることにより視
線θ,L,φ,kを決定する。図20は、本実施例の視
線検出装置による視線検出演算を示すフローチャートで
ある。まず、ステップS501では、上述の第1〜第4
実施例に従って1番目の視線検出用光源14であるIR
ED141を用いて視線θ1,L1,φ1,k1を求める。
同様に、ステップS502では、上述の第1〜第4実施
例に従って2番目の視線検出用光源14であるIRED
142を用いて視線θ2,L2,φ2,k2を求める。ステ
ップS503では、ステップS501、S502でそれ
ぞれ求められたIRED141による視線θ1,L1,
φ1,k1とIRED142による視線θ2,L2,φ2,k
2との平均値をとることによって、視線θ,L,φ,k
の値を決定する。
【0036】なお、本実施例では、視線θ1,L1,
φ1,k1およびθ2,L2,φ2,k2の平均値により視線
θ,L,φ,kを求めたが、IRED141による視線
θ1,L1,φ1,k1とIRED142による視線θ2,L
2,φ2,k2の値や両者の差|θ1−θ2|,|L1−L2|,|
φ1−φ2|,|k1−k2|、もしくはその両方を参考にし
て、重み付け計算を行って視線θ,L,φ,kの値を決
定することもできる。また、IRED141による視線
θ1,L1,φ1,k1および、IRED142による視線
θ2,L2,φ2,k2を求める手法は上述の第1〜第4実
施例に限定されず、光源Sと角膜曲率中心Cとの距離σ
を何等かの方法で固定して視線θ,L,φ,kを求める
手法であれば、本実施例で紹介していない手法であって
も良い。
φ1,k1およびθ2,L2,φ2,k2の平均値により視線
θ,L,φ,kを求めたが、IRED141による視線
θ1,L1,φ1,k1とIRED142による視線θ2,L
2,φ2,k2の値や両者の差|θ1−θ2|,|L1−L2|,|
φ1−φ2|,|k1−k2|、もしくはその両方を参考にし
て、重み付け計算を行って視線θ,L,φ,kの値を決
定することもできる。また、IRED141による視線
θ1,L1,φ1,k1および、IRED142による視線
θ2,L2,φ2,k2を求める手法は上述の第1〜第4実
施例に限定されず、光源Sと角膜曲率中心Cとの距離σ
を何等かの方法で固定して視線θ,L,φ,kを求める
手法であれば、本実施例で紹介していない手法であって
も良い。
【0037】−第6実施例− 第6実施例は、1番目の視線検出用光源14であるIR
ED141および2番目の視線検出用光源14であるI
RED142による視線をそれぞれ独立に求め、求まっ
た両者の値が同じ値に収束するまで繰り返し演算を行っ
て視線を求める手法を用いたものである。すなわち、I
RED141、142のそれぞれによって生じるプルキン
エ第1像P1、P2の位置および瞳孔中心Dの位置から上
述の第1〜第4実施例に従って視線θ1,L1,φ1,k1
および視線θ2,L2,φ2,k2を独立に求め、これらの
値θ1,L1,φ1,k1およびθ2,L2,φ2,k2がほぼ
同じ値をとらない場合、言い換えれば両者の差|θ1−θ
2|がある程度以上の大きさを持つ場合、第4実施例と同
様に繰り返し演算を行う。具体的には、IRED141
による視線θ1,L1,φ1,k1が、このIRED141
と角膜曲率中心Cとの距離σ1を固定したことによる誤
差δ1の大きな仮の視線であるとしてθ1′,L1′,
φ1′,k1′とおき、IRED142による視線θ2,L
2,φ2,k2が、このIRED142と角膜曲率中心Cと
の距離σ2を固定したことによる誤差δ2の大きな仮の視
線であるとしてθ2′,L2′,φ2′,k2′とおき、各
視線に対して独立に繰り返し計算することによって|θ1
−θ2|が収束するまで計算するか、予め定められた回数
だけ計算して視線θ,L,φ,kの値を決定する。この
とき、何等かの原因により、IRED141による視線
θ1,L1,φ1,k1とIRED142による視線θ2,L
2,φ2,k2が違う値に収束した場合、両者の平均値を
とって、求める視線θ,L,φ,kとする。
ED141および2番目の視線検出用光源14であるI
RED142による視線をそれぞれ独立に求め、求まっ
た両者の値が同じ値に収束するまで繰り返し演算を行っ
て視線を求める手法を用いたものである。すなわち、I
RED141、142のそれぞれによって生じるプルキン
エ第1像P1、P2の位置および瞳孔中心Dの位置から上
述の第1〜第4実施例に従って視線θ1,L1,φ1,k1
および視線θ2,L2,φ2,k2を独立に求め、これらの
値θ1,L1,φ1,k1およびθ2,L2,φ2,k2がほぼ
同じ値をとらない場合、言い換えれば両者の差|θ1−θ
2|がある程度以上の大きさを持つ場合、第4実施例と同
様に繰り返し演算を行う。具体的には、IRED141
による視線θ1,L1,φ1,k1が、このIRED141
と角膜曲率中心Cとの距離σ1を固定したことによる誤
差δ1の大きな仮の視線であるとしてθ1′,L1′,
φ1′,k1′とおき、IRED142による視線θ2,L
2,φ2,k2が、このIRED142と角膜曲率中心Cと
の距離σ2を固定したことによる誤差δ2の大きな仮の視
線であるとしてθ2′,L2′,φ2′,k2′とおき、各
視線に対して独立に繰り返し計算することによって|θ1
−θ2|が収束するまで計算するか、予め定められた回数
だけ計算して視線θ,L,φ,kの値を決定する。この
とき、何等かの原因により、IRED141による視線
θ1,L1,φ1,k1とIRED142による視線θ2,L
2,φ2,k2が違う値に収束した場合、両者の平均値を
とって、求める視線θ,L,φ,kとする。
【0038】図21は、本実施例の視線検出装置による
視線検出演算を示すフローチャートである。まず、ステ
ップS601、S602では、上述の第5実施例のステ
ップS501、S502と同様の動作が行われる。ステ
ップS603ではカウンタcountの値がリセットさ
れ、ステップS604ではステップS602、S602
で求められたIRED141、IRED142によるx軸
方向の眼球回転角θ1、θ2の大きさを比べ、両者の差|
θ1−θ2|が予め定めた閾値ε12以下であるか否かを判
定する。その結果、判定が肯定されるとステップS61
1においてIRED141による視線θ1,L1,φ1,k
1またはIRED142による視線θ2,L2,φ2,k2を
求める視線θ,L,φ,kとし、判定が否定されるとス
テップS605に進む。
視線検出演算を示すフローチャートである。まず、ステ
ップS601、S602では、上述の第5実施例のステ
ップS501、S502と同様の動作が行われる。ステ
ップS603ではカウンタcountの値がリセットさ
れ、ステップS604ではステップS602、S602
で求められたIRED141、IRED142によるx軸
方向の眼球回転角θ1、θ2の大きさを比べ、両者の差|
θ1−θ2|が予め定めた閾値ε12以下であるか否かを判
定する。その結果、判定が肯定されるとステップS61
1においてIRED141による視線θ1,L1,φ1,k
1またはIRED142による視線θ2,L2,φ2,k2を
求める視線θ,L,φ,kとし、判定が否定されるとス
テップS605に進む。
【0039】ステップS605では、IRED141に
よる視線θ1,L1,φ1,k1は1番目の光源S1と角膜
曲率中心Cとの距離σ1を固定したことによる誤差δ1の
大きい仮の視線であるとしてθ1′,L1′,φ1′,
k1′とおき、ステップS606では、IRED142に
よる視線θ2,L2,φ2,k2は2番目の光源S2と角膜
曲率中心Cとの距離σ2を固定したことによる誤差δ2の
大きい仮の視線であるとしてθ2′,L2′,φ2′,
k2′とおく。ステップS607では、仮の視線値
θ1′,L1′,φ1′,k1′、IRED141によるプ
ルキンエ第1像P1および瞳孔中心Dを再度(13)〜(1
6)式および(20)式に代入して計算することにより、
IRED141による視線θ1,L1,φ1,k1を再度算
出する。同様にステップS608では、仮の視線値
θ2′,L2′,φ2′,k2′、IRED142によるプ
ルキンエ第1像P2および瞳孔中心Dを再度(13)〜(1
6)式および(20)式に代入して計算することにより、
IRED142による視線θ2,L2,φ2,k2を再度算
出する。
よる視線θ1,L1,φ1,k1は1番目の光源S1と角膜
曲率中心Cとの距離σ1を固定したことによる誤差δ1の
大きい仮の視線であるとしてθ1′,L1′,φ1′,
k1′とおき、ステップS606では、IRED142に
よる視線θ2,L2,φ2,k2は2番目の光源S2と角膜
曲率中心Cとの距離σ2を固定したことによる誤差δ2の
大きい仮の視線であるとしてθ2′,L2′,φ2′,
k2′とおく。ステップS607では、仮の視線値
θ1′,L1′,φ1′,k1′、IRED141によるプ
ルキンエ第1像P1および瞳孔中心Dを再度(13)〜(1
6)式および(20)式に代入して計算することにより、
IRED141による視線θ1,L1,φ1,k1を再度算
出する。同様にステップS608では、仮の視線値
θ2′,L2′,φ2′,k2′、IRED142によるプ
ルキンエ第1像P2および瞳孔中心Dを再度(13)〜(1
6)式および(20)式に代入して計算することにより、
IRED142による視線θ2,L2,φ2,k2を再度算
出する。
【0040】ステップS609では、カウンタcoun
tの値が予め定められた上限値mに至ったか否かが判定
され、判定が肯定されるとステップS610へ進み、判
定が否定されるとステップS612でカウンタcoun
tの値をインクリメントしてステップS604へ戻る。
このようにして、|θ1−θ2|の値が閾値ε12以下に収束
するか、あるいはm回繰り返して視線算出動作が行われ
るまで視線検出動作が継続される。
tの値が予め定められた上限値mに至ったか否かが判定
され、判定が肯定されるとステップS610へ進み、判
定が否定されるとステップS612でカウンタcoun
tの値をインクリメントしてステップS604へ戻る。
このようにして、|θ1−θ2|の値が閾値ε12以下に収束
するか、あるいはm回繰り返して視線算出動作が行われ
るまで視線検出動作が継続される。
【0041】回数m回は、繰り返し計算する回数を制限
する目的で定めても良いが、何等かの原因によってIR
ED141によるθ1,L1,φ1,k1とIRED142に
よるθ2,L2,φ2,k2が違う値に収束した場合にステ
ップS604〜S609のループから抜け出す目的で定
める必要もある。したがって、ステップS610ではI
RED141によるθ1,L1,φ1,k1とIRED142
によるθ2,L2,φ2,k2との平均値をとることによっ
て視線θ,L,φ,kを求める。なお、以上の説明では
1番目の視線検出用光源14であるIRED141を用
いて得られた視線θ1,L1,φ1,k1と、2番目の視線
検出用光源14であるIRED142を用いて得られた
視線θ2,L2,φ2,k2とがほぼ同じ値に収束したか否
かの判断に、眼球回転角の差|θ1−θ2|を用いたが、値
|θ1−θ2|,|L1−L2|,|φ1−φ2|,|k1−k2|のう
ちいずれの値を用いても良く、さらに複数もしくは全て
を用いて判断しても良い。また、本実施例では、IRE
D141による視線θ1,L1,φ1,k1と、IRED1
42による視線θ2,L2,φ2,k2とが違う値に収束し
た場合、両者の平均値を求める視線θ,L,φ,kとし
たが、両者の値θ1,L1,φ1,k1およびθ2,L2,φ
2,k2や、両者の差|θ1−θ2|,|L1−L2|,|φ1−φ
2|,|k1−k2|、もしくはその両方を参考にして重み付
け計算を行って、求める視線θ,L,φ,kとすること
もできる。さらに、本実施例によれば、繰り返し演算を
行うことによって光源(IRED141、142)と角膜
曲率中心Cとの間の距離σ1、σ2を固定したことによる
誤差δ1、δ2をそれぞれ小さくできるのであるから、|
θ1−θ2|,|L1−L2|,|φ1−φ2|,|k1−k2|の値
が収束したか否かの判断をせずに、予め定められた回数
だけ計算を繰り返したのち両者の平均値をとるか、両者
の値θ1,L1,φ1,k1およびθ2,L2,φ2,k2や両
者の差|θ1−θ2|,|L1−L2|,|φ1−φ2|,|k1−k
2|、もしくはその両方を参考にして重み付け計算を行っ
て、求める視線θ,L,φ,kとすることもできる。ま
た、IRED141による視線θ1,L1,φ1,k1およ
び、IRED142による視線θ2,L2,φ2,k2を求
める手法は、上述の第1〜第4実施例に限定されず、光
源Sと角膜曲率中心Cとの距離σを何等かの方法で固定
して視線θ,L,φ,kを求める手法であれば、本実施
例で紹介していない手法であっても良い。
する目的で定めても良いが、何等かの原因によってIR
ED141によるθ1,L1,φ1,k1とIRED142に
よるθ2,L2,φ2,k2が違う値に収束した場合にステ
ップS604〜S609のループから抜け出す目的で定
める必要もある。したがって、ステップS610ではI
RED141によるθ1,L1,φ1,k1とIRED142
によるθ2,L2,φ2,k2との平均値をとることによっ
て視線θ,L,φ,kを求める。なお、以上の説明では
1番目の視線検出用光源14であるIRED141を用
いて得られた視線θ1,L1,φ1,k1と、2番目の視線
検出用光源14であるIRED142を用いて得られた
視線θ2,L2,φ2,k2とがほぼ同じ値に収束したか否
かの判断に、眼球回転角の差|θ1−θ2|を用いたが、値
|θ1−θ2|,|L1−L2|,|φ1−φ2|,|k1−k2|のう
ちいずれの値を用いても良く、さらに複数もしくは全て
を用いて判断しても良い。また、本実施例では、IRE
D141による視線θ1,L1,φ1,k1と、IRED1
42による視線θ2,L2,φ2,k2とが違う値に収束し
た場合、両者の平均値を求める視線θ,L,φ,kとし
たが、両者の値θ1,L1,φ1,k1およびθ2,L2,φ
2,k2や、両者の差|θ1−θ2|,|L1−L2|,|φ1−φ
2|,|k1−k2|、もしくはその両方を参考にして重み付
け計算を行って、求める視線θ,L,φ,kとすること
もできる。さらに、本実施例によれば、繰り返し演算を
行うことによって光源(IRED141、142)と角膜
曲率中心Cとの間の距離σ1、σ2を固定したことによる
誤差δ1、δ2をそれぞれ小さくできるのであるから、|
θ1−θ2|,|L1−L2|,|φ1−φ2|,|k1−k2|の値
が収束したか否かの判断をせずに、予め定められた回数
だけ計算を繰り返したのち両者の平均値をとるか、両者
の値θ1,L1,φ1,k1およびθ2,L2,φ2,k2や両
者の差|θ1−θ2|,|L1−L2|,|φ1−φ2|,|k1−k
2|、もしくはその両方を参考にして重み付け計算を行っ
て、求める視線θ,L,φ,kとすることもできる。ま
た、IRED141による視線θ1,L1,φ1,k1およ
び、IRED142による視線θ2,L2,φ2,k2を求
める手法は、上述の第1〜第4実施例に限定されず、光
源Sと角膜曲率中心Cとの距離σを何等かの方法で固定
して視線θ,L,φ,kを求める手法であれば、本実施
例で紹介していない手法であっても良い。
【0042】−第7実施例− 第7実施例は、第6実施例において仮の視線θ1,L1,
φ1,k1およびθ2,L2,φ2,k2をそのまま式に代入
するかわりに、仮の視線θ1,L1,φ1,k1および
θ2,L2,φ2,k2を用いて演算した値を式に代入して
距離σ1およびσ2を求め直す手法を用いたものである。
すなわち、繰り返し演算により視線θ1,L1,φ1,k1
および視線θ2,L2,φ2,k2の値を収束させる場合、
仮の視線θ1,L1,φ1,k1と仮の視線θ2,L2,
φ2,k2の平均をとった値をθ1′,L1′,φ1′,
k1′およびθ2′,L2′,φ2′,k2′とおいて、各
視線に対して独立に繰り返し計算することによって|θ1
−θ2|が収束するまで計算するか、予め定められた回数
だけ計算して視線θ,L,φ,kの値を決定する。この
とき、何等かの原因により、IRED141による視線
θ1,L1,φ1,k1とIRED142による視線θ2,L
2,φ2,k2が違う値に収束した場合、両者の平均値を
とって、求める視線θ,L,φ,kとする。
φ1,k1およびθ2,L2,φ2,k2をそのまま式に代入
するかわりに、仮の視線θ1,L1,φ1,k1および
θ2,L2,φ2,k2を用いて演算した値を式に代入して
距離σ1およびσ2を求め直す手法を用いたものである。
すなわち、繰り返し演算により視線θ1,L1,φ1,k1
および視線θ2,L2,φ2,k2の値を収束させる場合、
仮の視線θ1,L1,φ1,k1と仮の視線θ2,L2,
φ2,k2の平均をとった値をθ1′,L1′,φ1′,
k1′およびθ2′,L2′,φ2′,k2′とおいて、各
視線に対して独立に繰り返し計算することによって|θ1
−θ2|が収束するまで計算するか、予め定められた回数
だけ計算して視線θ,L,φ,kの値を決定する。この
とき、何等かの原因により、IRED141による視線
θ1,L1,φ1,k1とIRED142による視線θ2,L
2,φ2,k2が違う値に収束した場合、両者の平均値を
とって、求める視線θ,L,φ,kとする。
【0043】図22は、本実施例の視線検出装置による
視線検出演算を示すフローチャートである。まず、ステ
ップS701〜S704では、上述の第6実施例のステ
ップS601〜S604と同様の動作が行われる。ステ
ップS705、S706では、IRED141による視
線θ1,L1,φ1,k1は1番目の光源S1と角膜曲率中
心Cとの距離σ1を固定したことによる誤差δ1の大きい
仮の視線であり、また、IRED142による視線θ2,
L2,φ2,k2は2番目の光源S2と角膜曲率中心Cとの
距離σ2を固定したことによる誤差δ2の大きい仮の視線
であるとして、仮の視線θ1,L1,φ1,k1と仮の視線
θ2,L2,φ2,k2の平均値(θ1−θ2)/2,(L1−L
2)/2,(φ1−φ2)/2,(k1−k2)/2をθ1′,
L1′,φ1′,k1′およびθ2′,L2′,φ2′,
k2′とおく。この後、ステップS707〜S712で
は、上述の第6実施例のステップS607〜S612と
同様の動作が行われる。
視線検出演算を示すフローチャートである。まず、ステ
ップS701〜S704では、上述の第6実施例のステ
ップS601〜S604と同様の動作が行われる。ステ
ップS705、S706では、IRED141による視
線θ1,L1,φ1,k1は1番目の光源S1と角膜曲率中
心Cとの距離σ1を固定したことによる誤差δ1の大きい
仮の視線であり、また、IRED142による視線θ2,
L2,φ2,k2は2番目の光源S2と角膜曲率中心Cとの
距離σ2を固定したことによる誤差δ2の大きい仮の視線
であるとして、仮の視線θ1,L1,φ1,k1と仮の視線
θ2,L2,φ2,k2の平均値(θ1−θ2)/2,(L1−L
2)/2,(φ1−φ2)/2,(k1−k2)/2をθ1′,
L1′,φ1′,k1′およびθ2′,L2′,φ2′,
k2′とおく。この後、ステップS707〜S712で
は、上述の第6実施例のステップS607〜S612と
同様の動作が行われる。
【0044】なお、上述の第6実施例と同様に、値|θ1
−θ2|,|L1−L2|,|φ1−φ2|,|k1−k2|のうちい
ずれの値を用いて視線の収束状況を判断しても良く、さ
らに複数もしくは全てを用いて判断しても良い。また、
ステップS710において視線θ1,L1,φ1,k1およ
びθ2,L2,φ2,k2の値や両者の差|θ1−θ2|,|L1
−L2|,|φ1−φ2|,|k1−k2|、もしくはその両方を
参考にして重み付け計算を行って、求める視線θ,L,
φ,kとすることもできる。さらに、|θ1−θ2|,|L1
−L2|,|φ1−φ2|,|k1−k2|の値が収束したか否か
の判断をせずに、予め定められた回数だけ計算を繰り返
したのち両者の平均値をとるか、両者の値θ1,L1,φ
1,k1およびθ2,L2,φ2,k2や両者の差|θ1−θ
2|,|L1−L2|,|φ1−φ2|,|k1−k2|、もしくはそ
の両方を参考にして重み付け計算を行って、求める視線
θ,L,φ,kとすることもできる。また、IRED1
41による視線θ1,L1,φ1,k1および、IRED1
42による視線θ2,L2,φ2,k2を求める手法は上述
の第1〜第4実施例に限定されず、光源Sと角膜曲率中
心Cとの距離σを何等かの方法で固定して視線θ,L,
φ,kを求める手法であれば、本実施例で紹介していな
い手法であっても良い。
−θ2|,|L1−L2|,|φ1−φ2|,|k1−k2|のうちい
ずれの値を用いて視線の収束状況を判断しても良く、さ
らに複数もしくは全てを用いて判断しても良い。また、
ステップS710において視線θ1,L1,φ1,k1およ
びθ2,L2,φ2,k2の値や両者の差|θ1−θ2|,|L1
−L2|,|φ1−φ2|,|k1−k2|、もしくはその両方を
参考にして重み付け計算を行って、求める視線θ,L,
φ,kとすることもできる。さらに、|θ1−θ2|,|L1
−L2|,|φ1−φ2|,|k1−k2|の値が収束したか否か
の判断をせずに、予め定められた回数だけ計算を繰り返
したのち両者の平均値をとるか、両者の値θ1,L1,φ
1,k1およびθ2,L2,φ2,k2や両者の差|θ1−θ
2|,|L1−L2|,|φ1−φ2|,|k1−k2|、もしくはそ
の両方を参考にして重み付け計算を行って、求める視線
θ,L,φ,kとすることもできる。また、IRED1
41による視線θ1,L1,φ1,k1および、IRED1
42による視線θ2,L2,φ2,k2を求める手法は上述
の第1〜第4実施例に限定されず、光源Sと角膜曲率中
心Cとの距離σを何等かの方法で固定して視線θ,L,
φ,kを求める手法であれば、本実施例で紹介していな
い手法であっても良い。
【0045】−第8実施例− 第8実施例は、複数の視線検出用光源14のうち一つの
照明光がまつ毛や瞼等によって遮られてプルキンエ第1
像を結像できなかった場合に別の光源14によるプルキ
ンエ第1像を用いて視線検出を行って視線を求める手法
を用いたものである。すなわち、通常は1番目の視線検
出用光源14であるIRED141によるプルキンエ第
1像P1の位置および瞳孔中心Dの位置から上述の第1
〜第4実施例に従って視線を求め、何等かの原因によっ
てIRED141によるプルキンエ第1像P1が検出でき
ない場合に、2番目の視線検出用光源14であるIRE
D142によるプルキンエ第1像P2の位置および瞳孔中
心Dの位置から視線を求める。
照明光がまつ毛や瞼等によって遮られてプルキンエ第1
像を結像できなかった場合に別の光源14によるプルキ
ンエ第1像を用いて視線検出を行って視線を求める手法
を用いたものである。すなわち、通常は1番目の視線検
出用光源14であるIRED141によるプルキンエ第
1像P1の位置および瞳孔中心Dの位置から上述の第1
〜第4実施例に従って視線を求め、何等かの原因によっ
てIRED141によるプルキンエ第1像P1が検出でき
ない場合に、2番目の視線検出用光源14であるIRE
D142によるプルキンエ第1像P2の位置および瞳孔中
心Dの位置から視線を求める。
【0046】図23は、本実施例の視線検出装置による
視線検出演算を示すフローチャートである。まず、ステ
ップS801では、IRED141によりプルキンエ第
1像が検出できたか否かが判定され、判定が肯定される
とステップS802に移行してこのIRED141によ
るプルキンエ第1像および瞳孔中心Dの位置を用いて上
述の第1〜第4実施例に従って視線θ,L,φ,kを求
める。一方、判定が否定されるとステップS803にお
いてIRED142によりプルキンエ第1像が検出でき
たか否かが判定され、判定が肯定されるとステップS8
04に移行してこのIRED142によるプルキンエ第
1像および瞳孔中心Dの位置を用いて上述の第1〜第4
実施例に従って視線θ,L,φ,kを求める。一方、判
定が否定されると視線検出を終了する。なお、IRED
141による視線θ1,L1,φ1,k1および、IRED
142による視線θ2,L2,φ2,k2を求める手法は、
上述の第1〜第4実施例に限定されず、光源Sと角膜曲
率中心Cとの距離σを何等かの方法で固定して視線θ,
L,φ,kを求める手法であれば、本実施例で紹介して
いない手法であっても良い。
視線検出演算を示すフローチャートである。まず、ステ
ップS801では、IRED141によりプルキンエ第
1像が検出できたか否かが判定され、判定が肯定される
とステップS802に移行してこのIRED141によ
るプルキンエ第1像および瞳孔中心Dの位置を用いて上
述の第1〜第4実施例に従って視線θ,L,φ,kを求
める。一方、判定が否定されるとステップS803にお
いてIRED142によりプルキンエ第1像が検出でき
たか否かが判定され、判定が肯定されるとステップS8
04に移行してこのIRED142によるプルキンエ第
1像および瞳孔中心Dの位置を用いて上述の第1〜第4
実施例に従って視線θ,L,φ,kを求める。一方、判
定が否定されると視線検出を終了する。なお、IRED
141による視線θ1,L1,φ1,k1および、IRED
142による視線θ2,L2,φ2,k2を求める手法は、
上述の第1〜第4実施例に限定されず、光源Sと角膜曲
率中心Cとの距離σを何等かの方法で固定して視線θ,
L,φ,kを求める手法であれば、本実施例で紹介して
いない手法であっても良い。
【0047】−第9実施例− 第9実施例は、視線検出用光源14を二つ用いて通常は
視線検出を行い、まつ毛や瞼等によって一方の光源14
の照明光が遮られてプルキンエ第1像を結像できなかっ
た場合に他方の光源14によるプルキンエ第1像を用い
て視線の検出を行う手法を用いたものである。すなわ
ち、通常は、視線検出用光源14であるIRED1
41、142によるプルキンエ第1像P1、P2および瞳孔
中心Dの位置を用いて上述の第5〜第7実施例に従って
視線を求め、何等かの原因によって一方のIREDによ
るプルキンエ第1像が検出できない場合に、他方のIR
EDによるプルキンエ第1像を用いて、上述の第1〜第
4実施例に従って視線を決定する。
視線検出を行い、まつ毛や瞼等によって一方の光源14
の照明光が遮られてプルキンエ第1像を結像できなかっ
た場合に他方の光源14によるプルキンエ第1像を用い
て視線の検出を行う手法を用いたものである。すなわ
ち、通常は、視線検出用光源14であるIRED1
41、142によるプルキンエ第1像P1、P2および瞳孔
中心Dの位置を用いて上述の第5〜第7実施例に従って
視線を求め、何等かの原因によって一方のIREDによ
るプルキンエ第1像が検出できない場合に、他方のIR
EDによるプルキンエ第1像を用いて、上述の第1〜第
4実施例に従って視線を決定する。
【0048】図24は、本実施例の視線検出装置による
視線検出演算を示すフローチャートである。まず、ステ
ップS901では、IRED141によりプルキンエ第
1像が検出できたか否かが判定され、判定が肯定される
とステップS902に移行し、判定が否定されるとステ
ップS905に移行する。ステップS902ではIRE
D142によりプルキンエ第1像が検出できたか否かが
判定され、判定が肯定されるとステップS903に移行
し、判定が否定されるとステップS904に移行する。
ステップS903では、双方のIRED141、142に
よるプルキンエ第1像P1、P2および瞳孔中心Dの位置
を用いて上述の第5〜第7実施例に従って視線θ,L,
φ,kを求める。ステップS904では、IRED14
1によるプルキンエ第1像P1および瞳孔中心Dの位置を
用いて上述の第1〜第4実施例に従って視線θ,L,
φ,kを求める。また、ステップS905ではIRED
142によりプルキンエ第1像が検出できたか否かが判
定され、判定が肯定されるとステップS906に移行
し、IRED142によるプルキンエ第1像P2および瞳
孔中心Dの位置を用いて上述の第1〜第4実施例に従っ
て視線θ,L,φ,kを求める。一方、判定が否定され
ると視線検出を終了する。
視線検出演算を示すフローチャートである。まず、ステ
ップS901では、IRED141によりプルキンエ第
1像が検出できたか否かが判定され、判定が肯定される
とステップS902に移行し、判定が否定されるとステ
ップS905に移行する。ステップS902ではIRE
D142によりプルキンエ第1像が検出できたか否かが
判定され、判定が肯定されるとステップS903に移行
し、判定が否定されるとステップS904に移行する。
ステップS903では、双方のIRED141、142に
よるプルキンエ第1像P1、P2および瞳孔中心Dの位置
を用いて上述の第5〜第7実施例に従って視線θ,L,
φ,kを求める。ステップS904では、IRED14
1によるプルキンエ第1像P1および瞳孔中心Dの位置を
用いて上述の第1〜第4実施例に従って視線θ,L,
φ,kを求める。また、ステップS905ではIRED
142によりプルキンエ第1像が検出できたか否かが判
定され、判定が肯定されるとステップS906に移行
し、IRED142によるプルキンエ第1像P2および瞳
孔中心Dの位置を用いて上述の第1〜第4実施例に従っ
て視線θ,L,φ,kを求める。一方、判定が否定され
ると視線検出を終了する。
【0049】なお、IRED141による視線θ1,
L1,φ1,k1および、IRED142による視線θ2,
L2,φ2,k2を求める手法は上述の第1〜第4実施例
に限定されず、光源Sと角膜曲率中心Cとの距離σを何
等かの方法で固定して視線θ,L,φ,kを求める手法
であれば、本実施例で紹介していない手法であっても良
い。また、複数のIRED141、142を用いて視線を
決定する手法も上述の第5〜第7実施例に限定されな
い。以上に述べた、第5〜第9実施例は、視線検出用光
源14であるIREDを2個用いた場合だけでなく、I
REDを2個以上用いて視線を求める場合全てに適用で
きる。
L1,φ1,k1および、IRED142による視線θ2,
L2,φ2,k2を求める手法は上述の第1〜第4実施例
に限定されず、光源Sと角膜曲率中心Cとの距離σを何
等かの方法で固定して視線θ,L,φ,kを求める手法
であれば、本実施例で紹介していない手法であっても良
い。また、複数のIRED141、142を用いて視線を
決定する手法も上述の第5〜第7実施例に限定されな
い。以上に述べた、第5〜第9実施例は、視線検出用光
源14であるIREDを2個用いた場合だけでなく、I
REDを2個以上用いて視線を求める場合全てに適用で
きる。
【0050】(4) カメラへの適用例 以下に本発明の視線検出装置を一眼レフレックスカメラ
(以下単にカメラという)に搭載した場合の実施例を述べ
る。
(以下単にカメラという)に搭載した場合の実施例を述べ
る。
【0051】−第10実施例− 図25は、図2に示した視線検出装置をカメラに搭載し
た場合の実施例を示す概略図である。この図において、
31は便宜上一枚のレンズで示してあるが、実際は複数
のレンズからなる撮影レンズ、32はクイックリターン
ミラー、33は表示装置、34は焦点板、35はコンデ
ンサーレンズ、36はペンタプリズム、37は便宜上一
枚のレンズで示してあるが、実際は複数のレンズからな
る場合もある接眼レンズで、光分割装置として、ダイク
ロイックミラー37aを有している。38は接眼部から
内部にほこりや水滴等が入るのを防止する、度を持たな
い接眼ガラス、39は観察者眼である。40は視線検出
用光源であり、接眼ガラスの周囲から直接観察者眼39
を照射する位置に配置されている。本実施例のようにカ
メラに搭載する場合、視線検出用光源は、赤外発光ダイ
オードのように眼に見えない波長域の光を発光する光源
を使用することが望ましい。41は結像レンズ、42は
光電変換素子であり、CCDのような面受光素子が適し
ている。本実施例と上述の図9とを対比すると、図9に
おける観察面11はカメラのファインダー視野に相当
し、視野枠21は観察者がカメラを覗くときのファイン
ダー接眼窓に相当する。従って視線検出用光源は、ファ
インダー接眼窓の周囲に配置するのが最も良い。具体例
を図26に示す。
た場合の実施例を示す概略図である。この図において、
31は便宜上一枚のレンズで示してあるが、実際は複数
のレンズからなる撮影レンズ、32はクイックリターン
ミラー、33は表示装置、34は焦点板、35はコンデ
ンサーレンズ、36はペンタプリズム、37は便宜上一
枚のレンズで示してあるが、実際は複数のレンズからな
る場合もある接眼レンズで、光分割装置として、ダイク
ロイックミラー37aを有している。38は接眼部から
内部にほこりや水滴等が入るのを防止する、度を持たな
い接眼ガラス、39は観察者眼である。40は視線検出
用光源であり、接眼ガラスの周囲から直接観察者眼39
を照射する位置に配置されている。本実施例のようにカ
メラに搭載する場合、視線検出用光源は、赤外発光ダイ
オードのように眼に見えない波長域の光を発光する光源
を使用することが望ましい。41は結像レンズ、42は
光電変換素子であり、CCDのような面受光素子が適し
ている。本実施例と上述の図9とを対比すると、図9に
おける観察面11はカメラのファインダー視野に相当
し、視野枠21は観察者がカメラを覗くときのファイン
ダー接眼窓に相当する。従って視線検出用光源は、ファ
インダー接眼窓の周囲に配置するのが最も良い。具体例
を図26に示す。
【0052】図26は、図25に示すカメラのファイン
ダー部を取り出して示した正面図である。図26(A)に
おいて、40は視線検出用光源、50はファインダー接
眼窓、51は接眼目当て、52はファインダー本体、5
3はクリップオン式のアクセサリーシュー、54はアイ
ピースシャターレバーである。また、図26(A)では視
線検出用光源40をファインダー接眼窓50の上方に配
置したが、図26(B)の斜線部55の位置、すなわちフ
ァインダー接眼窓50の上下左右のどの位置に配置して
も良い。また、ファインダー接眼窓50の周囲に視線検
出用光源40を2個以上配置することも可能であり、そ
の場合、図26(B)の斜線部55の位置の内のいずれか
に、すなわちファインダー接眼窓50の上下左右の内の
いずれかの位置に配置すれば良い。本実施例における視
線検出用光源40、接眼ガラス38および接眼目当て5
1の位置関係は図27に示すような関係にある。接眼ガ
ラス38はファインダー本体52の接眼窓50に取り付
けられ、かつ、接眼目当て51が何ら光学系を持たない
構成にすることにより、視線検出用光源40が接眼ガラ
ス38を照射しないようにされている。
ダー部を取り出して示した正面図である。図26(A)に
おいて、40は視線検出用光源、50はファインダー接
眼窓、51は接眼目当て、52はファインダー本体、5
3はクリップオン式のアクセサリーシュー、54はアイ
ピースシャターレバーである。また、図26(A)では視
線検出用光源40をファインダー接眼窓50の上方に配
置したが、図26(B)の斜線部55の位置、すなわちフ
ァインダー接眼窓50の上下左右のどの位置に配置して
も良い。また、ファインダー接眼窓50の周囲に視線検
出用光源40を2個以上配置することも可能であり、そ
の場合、図26(B)の斜線部55の位置の内のいずれか
に、すなわちファインダー接眼窓50の上下左右の内の
いずれかの位置に配置すれば良い。本実施例における視
線検出用光源40、接眼ガラス38および接眼目当て5
1の位置関係は図27に示すような関係にある。接眼ガ
ラス38はファインダー本体52の接眼窓50に取り付
けられ、かつ、接眼目当て51が何ら光学系を持たない
構成にすることにより、視線検出用光源40が接眼ガラ
ス38を照射しないようにされている。
【0053】−第11実施例− 図28は、図3に示した視線検出装置をカメラに搭載し
た場合の実施例を示す概略図、図29はファインダー部
のみを取り出して示した正面図である。図示のごとく、
結像レンズ41および光電変換素子42は視線検出用光
源40と同様に接眼ガラス38の周囲に配置されてい
る。本実施例では接眼レンズ37は必然的にダイクロイ
ックミラー37aを持たない。図28および図29(A)
に示すように、視線検出用光源40はファインダー接眼
窓50の上方に、光電変換素子42はファインダー接眼
窓50の下方に配置されている、図29(B)の斜線部5
5の位置、すなわちファインダー接眼窓50の上下左右
のどの位置に配置しても良い。また、ファインダー接眼
窓50の周囲に視線検出用光源を2個以上配置すること
も可能であり、その場合、図29(B)の斜線部55の位
置の内のいずれかに、すなわちファインダー接眼窓50
の上下左右の内のいずれかの位置に配置すれば良い。図
30は視線検出用光源40および結像レンズ41、光電
変換素子42と接眼ガラス38および接眼目当て51と
の位置関係を示す図である。
た場合の実施例を示す概略図、図29はファインダー部
のみを取り出して示した正面図である。図示のごとく、
結像レンズ41および光電変換素子42は視線検出用光
源40と同様に接眼ガラス38の周囲に配置されてい
る。本実施例では接眼レンズ37は必然的にダイクロイ
ックミラー37aを持たない。図28および図29(A)
に示すように、視線検出用光源40はファインダー接眼
窓50の上方に、光電変換素子42はファインダー接眼
窓50の下方に配置されている、図29(B)の斜線部5
5の位置、すなわちファインダー接眼窓50の上下左右
のどの位置に配置しても良い。また、ファインダー接眼
窓50の周囲に視線検出用光源を2個以上配置すること
も可能であり、その場合、図29(B)の斜線部55の位
置の内のいずれかに、すなわちファインダー接眼窓50
の上下左右の内のいずれかの位置に配置すれば良い。図
30は視線検出用光源40および結像レンズ41、光電
変換素子42と接眼ガラス38および接眼目当て51と
の位置関係を示す図である。
【0054】−第12実施例− 図31は、図4に示した視線検出装置をカメラに搭載し
た場合の実施例を示す概略図である。図31に示す例
は、図25に示す例において視線検出用光源40と光電
変換素子42との位置関係を入れ替えたものであるた
め、詳細な説明は省略する。
た場合の実施例を示す概略図である。図31に示す例
は、図25に示す例において視線検出用光源40と光電
変換素子42との位置関係を入れ替えたものであるた
め、詳細な説明は省略する。
【0055】−第13実施例− 図32は、図5に示した視線検出装置をカメラに搭載し
た場合の実施例を示す概略図である。図32に示す例で
は、上述のごとく2枚のダイクロイックミラー37a、
43aを用いて、ファインダー接眼窓50内に視線検出
用光源40を、光軸上に光電変換素子42を配置してい
る。
た場合の実施例を示す概略図である。図32に示す例で
は、上述のごとく2枚のダイクロイックミラー37a、
43aを用いて、ファインダー接眼窓50内に視線検出
用光源40を、光軸上に光電変換素子42を配置してい
る。
【0056】なお、上述したカメラへの適用例は、その
細部が上述の各実施例に限定されない。図33は図2に
示す視線検出装置を別な形状のファインダーに搭載した
場合を示す正面図である。図33において、40は視線
検出用光源、50はファインダー接眼窓、53はクリッ
プオン式のアクセサリーシュー、56は図24における
接眼目当てに相当する部材で、接眼枠という。57はカ
メラボデー、58はポップアップ式のカメラ本体内蔵閃
光装置、59は閃光装置のポップアップボタンである。
図示のカメラは、接眼枠56をカメラボデー57に直接
固定する構成であるため、接眼枠56上に視線検出用光
源40を直接配置できる。図34は図3に示す視線検出
装置を別な形状のファインダーに搭載した場合を示す正
面図であり、結像レンズ41および光電変換素子42
(図示せず)も接眼枠56上に配置した例を示している。
上述のようなファインダーにおいては、図35のように
ファインダー接眼窓50の四隅にも視線検出用光源40
を配置することができので、設計上の自由度が大きくな
る。
細部が上述の各実施例に限定されない。図33は図2に
示す視線検出装置を別な形状のファインダーに搭載した
場合を示す正面図である。図33において、40は視線
検出用光源、50はファインダー接眼窓、53はクリッ
プオン式のアクセサリーシュー、56は図24における
接眼目当てに相当する部材で、接眼枠という。57はカ
メラボデー、58はポップアップ式のカメラ本体内蔵閃
光装置、59は閃光装置のポップアップボタンである。
図示のカメラは、接眼枠56をカメラボデー57に直接
固定する構成であるため、接眼枠56上に視線検出用光
源40を直接配置できる。図34は図3に示す視線検出
装置を別な形状のファインダーに搭載した場合を示す正
面図であり、結像レンズ41および光電変換素子42
(図示せず)も接眼枠56上に配置した例を示している。
上述のようなファインダーにおいては、図35のように
ファインダー接眼窓50の四隅にも視線検出用光源40
を配置することができので、設計上の自由度が大きくな
る。
【0057】
【発明の効果】以上詳細に説明したように、本発明によ
れば、照明手段が有限距離にあるときでも観察者の視線
を正しく求めることができる。このため、光学系を用い
ることなく照明手段により直接観察者の眼球を照明して
観察者の視線を検出でき、装置の構成を簡略化すること
ができる。
れば、照明手段が有限距離にあるときでも観察者の視線
を正しく求めることができる。このため、光学系を用い
ることなく照明手段により直接観察者の眼球を照明して
観察者の視線を検出でき、装置の構成を簡略化すること
ができる。
【図1】本発明のクレーム対応図である。
【図2】本発明の視線検出装置の構成の一例を示す図で
ある。
ある。
【図3】本発明の視線検出装置の構成の他の例を示す図
である。
である。
【図4】本発明の視線検出装置の構成のまた他の例を示
す図である。
す図である。
【図5】本発明の視線検出装置の構成のさらに他の例を
示す図である。
示す図である。
【図6】本発明の視線検出用光源の配置の一例を示す図
である。
である。
【図7】本発明の視線検出用光源の配置の他の例を示す
図である。
図である。
【図8】本発明の視線検出用光源の配置のまた他の例を
示す図である。
示す図である。
【図9】観察面と視野枠の関係を表す図である。
【図10】本発明の視線検出系を示す光学説明図であ
る。
る。
【図11】本発明の原理を説明するための図である。
【図12】本発明の第1実施例の動作を説明するための
フローチャートである。
フローチャートである。
【図13】本発明の第1実施例を用いて実際に演算を行
った結果を示す図である。
った結果を示す図である。
【図14】本発明の第2実施例の動作を説明するための
フローチャートである。
フローチャートである。
【図15】本発明の第2実施例を用いて実際に演算を行
った結果を示す図である。
った結果を示す図である。
【図16】本発明の第3実施例の動作を説明するための
フローチャートである。
フローチャートである。
【図17】本発明の第3実施例を用いて実際に演算を行
った結果を示す図である。
った結果を示す図である。
【図18】本発明の第4実施例の動作を説明するための
フローチャートである。
フローチャートである。
【図19】本発明の第4実施例を用いて実際に演算を行
った結果を示す図である。
った結果を示す図である。
【図20】本発明の第5実施例の動作を説明するための
フローチャートである。
フローチャートである。
【図21】本発明の第6実施例の動作を説明するための
フローチャートである。
フローチャートである。
【図22】本発明の第7実施例の動作を説明するための
フローチャートである。
フローチャートである。
【図23】本発明の第8実施例の動作を説明するための
フローチャートである。
フローチャートである。
【図24】本発明の第9実施例の動作を説明するための
フローチャートである。
フローチャートである。
【図25】本発明の第10実施例が適用されたカメラの
光学系を示す概略図である。
光学系を示す概略図である。
【図26】第10実施例のカメラのうちファインダー部
を取り出して示した正面図である。
を取り出して示した正面図である。
【図27】第10実施例のファインダー部を示す断面図
である。
である。
【図28】本発明の第11実施例が適用されたカメラの
光学系を示す概略図である。
光学系を示す概略図である。
【図29】第11実施例のカメラのうちファインダー部
を取り出して示した正面図である。
を取り出して示した正面図である。
【図30】第11実施例のファインダー部を示す断面図
である。
である。
【図31】本発明の第12実施例が適用されたカメラの
光学系を示す概略図である。
光学系を示す概略図である。
【図32】本発明の第13実施例が適用されたカメラの
光学系を示す概略図である。
光学系を示す概略図である。
【図33】第10実施例の視線検出用光源を別の形状を
したカメラのファインダー部に配置した状態を示す正面
図である。
したカメラのファインダー部に配置した状態を示す正面
図である。
【図34】第11実施例の視線検出用光源および光電変
換素子を別の形状をしたカメラのファインダー部に配置
した状態を示す正面図である。
換素子を別の形状をしたカメラのファインダー部に配置
した状態を示す正面図である。
【図35】図33における視線検出用光源をファインダ
ー部の右上に配置した例である。
ー部の右上に配置した例である。
【図36】人間の眼球を示す水平断面図である。
【図37】光線が平行光線である場合と発散光である場
合とによる角膜反射像位置のずれを説明するための図で
ある。
合とによる角膜反射像位置のずれを説明するための図で
ある。
11 観察面 12、39 観察者眼 14、40 視線検出用光源 141〜143 IRED 17、42 光電変換素子 19 演算装置 21 視野枠
フロントページの続き (51)Int.Cl.5 識別記号 庁内整理番号 FI 技術表示箇所 G03B 13/02 7139−2K 7316−2K G03B 3/00 A (72)発明者 鈴木 章夫 東京都千代田区丸の内3丁目2番3号 株 式会社ニコン内
Claims (6)
- 【請求項1】 観察者の眼球を照明する照明手段と、 前記照明手段により照明された前記眼球の反射像から前
記眼球の視線を算出する視線算出手段とを備えた視線検
出装置において、 前記視線算出手段は、前記照明手段と前記眼球の角膜曲
率中心位置との間の距離を用いて前記視線を算出するこ
とを特徴とする視線検出装置。 - 【請求項2】 請求項1に記載の視線検出装置におい
て、 前記視線算出手段は、前記視線が特定の方向に向いてい
るときの前記照明手段と前記角膜曲率中心位置との間の
距離の代表値を用いて前記視線を算出することを特徴と
する視線検出装置。 - 【請求項3】 請求項1の視線検出装置において、 視野画面を複数の領域に分割し、前記視線が前記分割し
た領域のいずれに向いているかを判断する視線判断手段
を備え、 前記視線算出手段は、前記分割した領域毎に予め定めら
れた前記照明手段と前記角膜曲率中心位置との間の距離
の代表値を用いて前記視線を算出することを特徴とする
視線検出装置。 - 【請求項4】 観察者の眼球を照明する照明手段と、 前記照明手段により照明された前記眼球の反射像から前
記眼球の視線を算出する視線算出手段とを備えた視線検
出装置において、 前記視線算出手段は、前記照明手段と前記角膜曲率中心
位置との間の距離に代えて前記照明手段と前記瞳孔中心
位置との間の距離を用いて前記視線を算出することを特
徴とする視線検出装置。 - 【請求項5】 請求項1〜4のいずれかの項に記載の視
線検出装置において、 前記視線算出手段によって算出された視線に基づいて前
記照明手段と前記角膜曲率中心位置との間の距離を算出
する距離算出手段と、 この算出結果に基づいて前記視線算出手段により前記視
線を再度算出し、算出結果が収束するまで繰り返し前記
距離算出手段および前記視線算出手段を動作させる制御
手段とを備えたことを特徴とする視線検出装置。 - 【請求項6】 請求項1〜5のいずれかの項に記載の視
線検出装置において、 前記照明手段は複数個設けられているとともに、前記視
線算出手段は前記各照明手段毎に前記視線を独立に算出
し、 前記視線算出手段により算出された前記各照明手段毎の
視線に基づいて前記視線を決定する視線決定手段を備え
たことを特徴とする視線検出装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP4245141A JPH0694977A (ja) | 1992-09-14 | 1992-09-14 | 視線検出装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP4245141A JPH0694977A (ja) | 1992-09-14 | 1992-09-14 | 視線検出装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH0694977A true JPH0694977A (ja) | 1994-04-08 |
Family
ID=17129236
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP4245141A Pending JPH0694977A (ja) | 1992-09-14 | 1992-09-14 | 視線検出装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH0694977A (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007209384A (ja) * | 2006-02-07 | 2007-08-23 | Gen Tec:Kk | 視線ベクトル検出方法及び同装置 |
| JP2012065719A (ja) * | 2010-09-21 | 2012-04-05 | Fujitsu Ltd | 視線検出装置、視線検出方法及び視線検出用コンピュータプログラムならびに携帯端末 |
| JP2014504762A (ja) * | 2011-01-19 | 2014-02-24 | マチック ラブズ | 視線方向を求めるための方法とその装置 |
-
1992
- 1992-09-14 JP JP4245141A patent/JPH0694977A/ja active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007209384A (ja) * | 2006-02-07 | 2007-08-23 | Gen Tec:Kk | 視線ベクトル検出方法及び同装置 |
| JP2012065719A (ja) * | 2010-09-21 | 2012-04-05 | Fujitsu Ltd | 視線検出装置、視線検出方法及び視線検出用コンピュータプログラムならびに携帯端末 |
| JP2014504762A (ja) * | 2011-01-19 | 2014-02-24 | マチック ラブズ | 視線方向を求めるための方法とその装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2859270B2 (ja) | カメラの視線方向検出装置 | |
| US5225862A (en) | Visual axis detector using plural reflected image of a light source | |
| JP3309615B2 (ja) | 画像観察装置及びこれを用いた両眼画像観察装置 | |
| JPH0265836A (ja) | 視線検出装置及び視線検出装置を有するカメラ | |
| JPH0694978A (ja) | 視線検出装置 | |
| US20250352056A1 (en) | Ophthalmic apparatus and ophthalmic information processing apparatus | |
| JPH02189128A (ja) | 注視点検出手段を有した光学装置 | |
| JP2749818B2 (ja) | 視線検出装置 | |
| JPH06230271A (ja) | 視線検出装置 | |
| JPH0694977A (ja) | 視線検出装置 | |
| JPH02264632A (ja) | 視線検出装置 | |
| JP2911125B2 (ja) | 視線検出装置 | |
| JPH10307314A (ja) | 観察光学装置 | |
| JP2939982B2 (ja) | 視線検出装置 | |
| JP2831546B2 (ja) | 角膜撮影位置表示方法およびその装置 | |
| JPH05100147A (ja) | 視線検出装置を有するカメラ | |
| JP2939989B2 (ja) | 視線検出装置 | |
| JP3344757B2 (ja) | フォーカスエリア設定装置 | |
| JP2995739B2 (ja) | 視線検出装置 | |
| JP2733260B2 (ja) | 検出装置及び光学機器 | |
| JP2925147B2 (ja) | 視線検出装置及び光学機器 | |
| JP2000296109A (ja) | 検眼装置 | |
| JPH08201681A (ja) | 視線検出装置を有する光学機器 | |
| JP2001258841A (ja) | 検眼装置 | |
| JPH08140937A (ja) | 瞳孔中心位置検出装置および視線検出装置 |