JPH08140937A - 瞳孔中心位置検出装置および視線検出装置 - Google Patents

Abstract

(57)【要約】 【目的】 瞳孔中心位置を正確に検出する瞳孔中心位置
検出装置と、それにより検出された瞳孔中心位置に基づ
いて正確な観察者の視線方向を検出する視線検出装置を
提供する。 【構成】 撮像された眼球像に基づいて瞳孔を検出し、
最大の瞳孔径を示す線分の中点を瞳孔中心位置とする。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、光学装置の視野画面に
おける観察者の視線方向を検出する視線検出装置および
瞳孔中心位置検出装置に関する。

【０００２】

【従来の技術】光学装置内に設けられた視野画面上にお
いて、観察者の瞳孔中心位置を検出する方法が知られて
いる（例えば、特開平３−１０９０２９号公報、特開平
４−２２５４７８号公報参照）。前者の公報に開示され
た方法では、瞳孔と紅彩との境界に直交する二本の弦を
引き、それらの弦の中点を直交する二本の弦をＸ軸、Ｙ
軸とする二次元平面の瞳孔中心位置としている。また、
後者の公報に開示された方法では、目の画像から眼球の
紅彩のエッジを検出し、そのエッジを円で近似して近似
円の中心を瞳孔中心位置としている。

【０００３】

【発明が解決しようとする課題】しかしながら、図７に
示すように、瞳孔３０１は暗いところでは大きく開き、
瞳孔３０１と紅彩３０２の境界１１８が上瞼と下瞼によ
ってけられ、境界１１８の上端および下端が検出できな
い場合がある。このような場合には、後者の方法を用い
ることになるが、図８に示すように、瞳孔と紅彩との境
界像１１９を円近似することが適当でない形状の場合に
は、近似円の中心が実際の瞳孔中心位置からずれてしま
うため、瞳孔中心位置を正しく検出できないという問題
がある。なお、図７において２０９は観察者の眼球、３
０１は瞳孔、３０２は紅彩、３０３は強膜、３０４は涙
腺、３０５は目尻、３０６は睫であり、図８において１
１７は観察者の眼球の瞳孔、１１９は瞳孔と紅彩との境
界１１８の像である。また、図８における斜線部１２０
ｔ、１２０ｂはそれぞれ上瞼、下瞼によるけられであ
り、実際には観察されない部分である。

【０００４】本発明の目的は、瞳孔中心位置を正確に検
出する瞳孔中心位置検出装置と、それにより検出された
瞳孔中心位置に基づいて正確な観察者の視線方向を検出
する視線検出装置を提供することにある。

【０００５】

【課題を解決するための手段】上記目的を達成するため
に、請求項１の発明は、観察者の眼球を撮像する撮像手
段と、この撮像手段により撮像された眼球像に基づいて
眼球の瞳孔中心位置を算出する瞳孔中心算出手段とを備
えた瞳孔中心位置検出装置に適用され、前記瞳孔中心算
出手段によって、前記撮像手段により撮像された眼球像
に基づいて瞳孔を検出し、最大の瞳孔径を示す線分の中
点を瞳孔中心位置とする。請求項２の発明は、観察者の
眼球を撮像する撮像手段と、この撮像手段により撮像さ
れた眼球像に基づいて眼球の瞳孔中心位置を算出する瞳
孔中心算出手段とを備えた瞳孔中心位置検出装置に適用
され、前記瞳孔中心算出手段によって、前記撮像手段に
より撮像された眼球像に基づいて瞳孔径を検出し、その
瞳孔径に応じて異なる瞳孔中心位置算出方法を選択す
る。請求項３の瞳孔中心位置検出装置は、前記瞳孔中心
算出手段によって、瞳孔径が所定値より大きい場合は最
大の瞳孔径を示す線分の中点を瞳孔中心位置とし、瞳孔
径が前記所定値以下の場合は瞳孔上の直交する２方向に
おいてそれぞれ最大の瞳孔径を示す位置を瞳孔中心位置
とするようにしたものである。請求項４の瞳孔中心位置
検出装置は、前記瞳孔中心算出手段によって、前記撮像
手段により予め観察者の眼球を撮像して瞳孔径の前記所
定値を決定するようにしたものである。請求項５の瞳孔
中心位置検出装置は、瞳孔径の前記所定値を予め適当な
値に設定したものである。請求項６の瞳孔中心位置検出
装置は、前記瞳孔中心算出手段によって、観察者の周囲
の明るさを測定し、その測定結果に基づいて瞳孔径の前
記所定値を決定するようにしたものである。請求項７の
発明は、観察者の眼球を照射する複数の照明手段と、こ
れらの照明手段により照射された前記眼球の角膜反射像
を撮像する複数の撮像手段と、これらの撮像手段により
撮像された複数の角膜反射像に基づいて前記眼球の角膜
曲率中心位置を算出する角膜曲率中心算出手段と、前記
複数の撮像手段により撮像された眼球像に基づいて前記
眼球の瞳孔中心位置を算出する瞳孔中心算出手段と、前
記角膜曲率中心算出手段により算出された角膜曲率中心
位置と前記瞳孔中心算出手段により算出された瞳孔中心
位置とに基づいて、前記観察者の視線方向を算出する視
線算出手段とを備えた視線検出装置に適用され、前記瞳
孔中心算出手段によって、前記撮像手段により撮像され
た眼球像に基づいて瞳孔を検出し、最大の瞳孔径を示す
線分の中点を瞳孔中心位置とする。請求項８の発明は、
観察者の眼球を照射する複数の照明手段と、これらの照
明手段により照射された前記眼球の角膜反射像を撮像す
る複数の撮像手段と、これらの撮像手段により撮像され
た複数の角膜反射像に基づいて前記眼球の角膜曲率中心
位置を算出する角膜曲率中心算出手段と、前記複数の撮
像手段により撮像された眼球像に基づいて前記眼球の瞳
孔中心位置を算出する瞳孔中心算出手段と、前記角膜曲
率中心算出手段により算出された角膜曲率中心位置と前
記瞳孔中心算出手段により算出された瞳孔中心位置とに
基づいて、前記観察者の視線方向を算出する視線算出手
段とを備えた視線検出装置に適用され、前記瞳孔中心算
出手段によって、前記撮像手段により撮像された眼球像
に基づいて瞳孔径を検出し、その瞳孔径に応じて異なる
瞳孔中心位置算出方法を選択する。請求項９の視線検出
装置は、前記瞳孔中心算出手段によって、瞳孔径が所定
値より大きい場合は最大の瞳孔径を示す線分の中点を瞳
孔中心位置とし、瞳孔径が前記所定値以下の場合は瞳孔
上の直交する２方向においてそれぞれ最大の瞳孔径を示
す位置を瞳孔中心位置とするようにしたものである。請
求項１０の視線検出装置は、前記瞳孔中心算出手段によ
って、前記撮像手段により予め観察者の眼球を撮像して
瞳孔径の前記所定値を決定するようにしたものである。
請求項１１の視線検出装置は、瞳孔径の前記所定値を予
め適当な値に設定するようにしたものである。請求項１
２の視線検出装置は、前記瞳孔中心算出手段によって、
観察者の周囲の明るさを測定し、その測定結果に基づい
て瞳孔径の前記所定値を決定するようにしたものであ
る。請求項１３の視線検出装置は、前記照明手段を、視
野画面の略上下左右方向に対してそれぞれ平行でない角
度で交わる直線上に一対以上配置したものである。請求
項１４の視線検出装置は、前記撮像手段を、視野画面の
略上下左右方向に対してそれぞれ平行でない角度で交わ
る直線上に一対以上配置したものである。請求項１５の
視線検出装置は、前記視野画面の略上下左右方向に対し
てそれぞれ平行でない二本の対角線を有する略正方形
の、一方の対角線上の各頂点に一対の前記照明手段を配
置し、他方の対角線上の各頂点に一対の前記撮像手段を
配置したものである。請求項１６の視線検出装置は、前
記略正方形の一辺が水平方向と平行にしたものである。

【０００６】

【作用】請求項１の瞳孔中心位置検出装置では、撮像さ
れた眼球像に基づいて瞳孔を検出し、最大の瞳孔径を示
す線分の中点を瞳孔中心位置とする。例えば図７に示す
ように暗所では瞳孔が大きく開くので、瞳孔３０１と紅
彩３０２との境界１１８の一部が上瞼と下瞼によってけ
られることが多い。そこで、最大の瞳孔径を示す線分の
中点を瞳孔中心位置とすることにより、瞳孔３０１と紅
彩３０２の境界１１８の一部が上瞼と下瞼によってけら
れるような場合でも、瞳孔中心位置を正確に検出するこ
とができる。請求項２〜６の瞳孔中心位置検出装置で
は、撮像された眼球像に基づいて瞳孔径を検出し、その
瞳孔径に応じて異なる瞳孔中心位置算出方法を選択す
る。例えば図７に示すように暗所では瞳孔が大きく開く
ので、瞳孔３０１と紅彩３０２との境界１１８の一部が
上瞼と下瞼によってけられることが多い。そこで、瞳孔
径が所定値よりも大きい場合は、最大の瞳孔径を示す線
分の中点を瞳孔中心位置とする。一方、例えば図１４に
示すように明るいところでは瞳孔が閉じるので、瞳孔３
０１と紅彩３０２の境界１１８が全周にわたって検出で
きる。そこで、瞳孔径が所定値以下の場合は、瞳孔上の
直交する２方向においてそれぞれ最大の瞳孔径を示す位
置を瞳孔中心位置とする。これにより、どのような場合
でも瞳孔中心位置を正確に検出することができる。請求
項７〜１２の視線検出装置は、上述した請求項１〜６の
瞳孔中心位置検出装置により検出された正確な瞳孔中心
位置に基づいて観察者の視線方向を検出する。これによ
り、観察者の瞳孔がどのような状態でも、正確に観察者
の視線方向を検出することができる。請求項１３の視線
検出装置では、照明手段を上述した配置とすることによ
り、少なくとも２個の照明手段により直交する２方向の
視線検出が可能になり、照明手段の個数を減らすことが
できる。請求項１４〜１６の視線検出装置では、照明手
段と撮像手段を略正方形の頂点に配置することによっ
て、視線検出装置を横位置で使用する場合でも縦位置で
使用する場合でも、２つのプルキンエ第１像が眼球像の
中心に対して右上と左下の点対象な位置に結像する。こ
れにより、視線検出装置の姿勢によって別の照明手段を
用いる必要がない。

【０００７】

【実施例】

−第１の実施例− 図１は第１の実施例の構成を示す図である。図におい
て、１０１はカメラなどの光学装置内に設けられて観察
者が観察する観察面（視野画面）、１０２は観察者の眼
球であり、観察者は観察面１０１を介して図中左方向の
特定の点を注視しているものとする。１０３は視線検出
用光源駆動回路、１０４ａ、１０４ｂはそれぞれＩＲＥ
Ｄなどの視線検出用光源である。これらの視線検出用光
源１０４ａ、１０４ｂは、観察者の眼球１０２の近く
の、観察面１０１を観察する視野を妨げないような位
置、または観察者の注意を引かないような目立たない位
置に配置されている。

【０００８】１０５、１０６はともに結像レンズ、１０
７、１０８はそれぞれ２次元ＣＣＤなどの光電変換素子
である。これらの光電変換素子１０７、１０８は、観察
面１０１に平行な受光面を備えている。結像レンズ１０
５は光電変換素子１０７上に観察者の眼球１０２の像を
結像させ、結像レンズ１０６は光電変換素子１０８上に
観察者の眼球１０２の像を結像させる。これらの結像レ
ンズ１０５、１０６と光電変換素子１０７、１０８によ
り視線検出光学系が構成される。視線検出光学系は、観
察者が観察する視野外の、観察者の眼球１０２を観察で
きる位置に、観察者の観察視野を妨げないように配置さ
れる。なお、観察者の注意を引かないような目立たない
位置に配置するならば、視線検出光学系を観察者の観察
視野内に配置してもよい。

【０００９】１０９、１１０はそれぞれ光電変換素子１
０７、１０８の出力信号を処理する信号処理回路、１１
１は中央処理装置である。中央処理装置１１１は、視線
検出用光源駆動回路１０３および光電変換素子１０７、
１０８を駆動制御するとともに、信号処理回路１０９、
１１０の出力信号に基づいて観察者の視線方向を演算す
る。

【００１０】図２は本発明の原理を説明するために導入
する座標系を示す。図において、１１５は観察者の眼球
１０２の角膜、１１６は観察者の眼球１０２の紅彩であ
る。観察者の注視する観察面１０１に対して、観察者の
眼球の回転中心Ｏ”と観察面１０１との距離が変化する
方向にＹ軸を設定し、観察面１０１の一方向（図中では
観察面１０１の左右方向）にＸ軸を設定し、Ｘ軸とＹ軸
に直交する方向（図中では観察面１０１の上下方向）に
Ｚ軸を設定する。以下では、この三次元座標系を「実空
間座標系」と呼ぶ。実空間座標系の原点Ｏは、観察者の
眼球１０２が観察面１０１の中心に正対する位置にある
時に、その回転中心Ｏ”がＹ軸上に位置するように定め
られる。

【００１１】さらに、実空間座標系において観察者の眼
球の回転中心Ｏ”を含むＸ−Ｚ平面を考える。この平面
を「回転中心面」と呼び、回転中心面のＹ座標を実空間
座標系のｙ＝ｙ’に設定する。さらに、回転中心面とＹ
軸との交点をＯ’とし、Ｏ’を原点とするＸ’軸および
Ｚ’軸を、実空間座標系のＸ軸およびＺ軸にそれぞれ平
行となるように回転中心面上に設定する。ｙ’は観察者
の眼球１０２が前後することによって変化するが、眼球
１０２の回転中心Ｏ”は必ず回転中心面に含まれてい
る。そして、回転中心Ｏ”と角膜曲率中心Ｃとを結ぶ線
分Ｏ”ＣとＸ−Ｙ平面とのなす角をφ、線分Ｏ”ＣをＸ
−Ｙ平面に投影した線分とＹ軸とのなす角をθとする。

【００１２】図３は本発明の光学原理を説明するための
図である。視線検出用光源１０４ａおよび１０４ｂ（図
では代表して符号１０４で示す）は、観察者の眼球１０
２の近くにある。２灯の視線検出用光源１０４ａ、１０
４ｂの内の一方（図では１０４）に注目すると、この視
線検出用光源１０４は観察者の眼球１０２のＰ点に角膜
反射像の虚像を結ぶ。この虚像はプルキンエ第１像と呼
ばれる。プルキンエ第１像は、結像レンズ１０５を介し
て光電変換素子１０７上のＰｉ点に再結像するととも
に、結像レンズ１０６を介して光電変換素子１０８上の
Ｐｊ点に再結像する。

【００１３】ここで、光電変換素子１０７、１０８の各
受光面に共通な一方向をＸ”軸にとり、このＸ”軸に垂
直な方向にＺ”軸をとる座標系を設定し、以下これを
「観察平面座標系」と呼ぶ。光電変換素子１０７、１０
８の受光面上に設定された共通の観察平面座標系によっ
て、Ｐ点は、光電変換素子１０７上にＰｉ（Ｐｉｘ，Ｐ
ｉｚ）と観測され、光電変換素子１０８上にＰｊ（Ｐｊ
ｘ，Ｐｊｚ）と観測される。Ｐ点の実空間座標系におけ
る位置Ｐ（Ｐｘ，Ｐｙ，Ｐｚ）は、実空間座標系と観察
平面座標系との間で一意に定まる関数ｆｘ、ｆｙ、ｆｚ
を用いることにより、観察平面座標Ｐｉ（Ｐｉｘ，Ｐｉ
ｚ）、Ｐｊ（Ｐｊｘ，Ｐｊｚ）に基づいて次のように表
わされる。

【数１】 Ｐｘ＝ｆｘ（Ｐｉｘ，Ｐｉｚ，Ｐｊｘ，Ｐｊｚ）， Ｐｙ＝ｆｙ（Ｐｉｘ，Ｐｉｚ，Ｐｊｘ，Ｐｊｚ）， Ｐｚ＝ｆｚ（Ｐｉｘ，Ｐｉｚ，Ｐｊｘ，Ｐｊｚ）

【００１４】このように、それぞれの光電変換素子１０
７、１０８の受光面上に結像される一対の角膜反射像お
よび紅彩の結像位置を実空間座標系に任意に変換するこ
とができる。したがって、視線検出用光源１０４の角膜
反射像と紅彩を一対の光電変換素子１０７、１０８上に
結像させることによって、実空間座標系における角膜反
射像および瞳孔中心位置を知ることができる。なお、Ｐ
点、結像レンズ１０５、１０６および光電変換素子１０
７、１０８の位置関係が変っても、光電変換素子１０
７、１０８の観察平面座標Ｐｉ、Ｐｊから数式１を用い
て実空間座標系のＰ点の位置に変換可能である。ここ
で、関数ｆｘ、ｆｙ、ｆｚは結像レンズ１０５、１０６
の倍率や収差などによって決定される。

【００１５】次に、本発明の検出原理を説明する。本発
明では、図４に示すように、角膜曲率中心位置Ｃおよび
瞳孔中心位置Ｄの実空間座標と、瞳孔中心位置Ｄと角膜
曲率中心位置Ｃとの間の距離Ａ−ρとに基づいて観察者
の眼球の視線方向を求める。ここで、Ａは眼球回転中心
位置Ｏ”から瞳孔中心位置Ｄまでの距離であり、ρは眼
球回転中心位置Ｏ”から角膜曲率中心位置Ｃまでの距離
である。

【００１６】角膜曲率中心位置Ｃおよび瞳孔中心位置Ｄ
の実空間座標と、観察者の眼球に依存する距離Ａ−ρと
の関係は、実空間座標系を用いると次のような関係式で
表わされる。ここで、角膜曲率中心位置Ｃを（Ｃｘ，Ｃ
ｙ，Ｃｚ）とし、瞳孔中心位置Ｄを（Ｄｘ，Ｄｙ，Ｄ
ｚ）とする。また、θを上述の定義によるＸ軸方向の眼
球回転角、ＬをＸ軸方向の眼球回転中心の平行移動量、
φを上述の定義によるＺ軸方向の眼球回転角、ＫをＺ軸
方向の眼球回転中心の平行移動量とすれば、角膜曲率中
心位置Ｃの各座標は、

【数２】Ｃｘ＝Ｌ＋ρｃｏｓφｓｉｎθ， Ｃｙ＝ｙ’＋ρｃｏｓφｃｏｓθ， Ｃｚ＝Ｋ＋ρｓｉｎφ と表わされ、また、瞳孔中心位置Ｄの各座標は、

【数３】Ｄｘ＝Ｌ＋Ａｃｏｓφｓｉｎθ， Ｄｙ＝ｙ’＋Ａｃｏｓφｃｏｓθ， Ｄｚ＝Ｋ＋Ａｓｉｎφ と表わされる。数式２から数式３を並び順に減算すれ
ば、これらの式に含まれる平行移動量Ｌ、ｙ’、Ｋを消
去することができ、次式が得られる。

【数４】Ｃｘ−Ｄｘ＝（Ａ−ρ）ｃｏｓφｓｉｎθ， Ｃｙ−Ｄｙ＝（Ａ−ρ）ｃｏｓφｓｉｎθ， Ｃｚ−Ｄｚ＝（Ａ−ρ）ｓｉｎφ したがって、求める眼球回転角θとφは、

【数５】 θ＝ｔａｎ^-1｛（Ｄｘ−Ｃｘ）／（Ｄｙ−Ｃｙ）｝， φ＝ｓｉｎ^-1［（Ｄｚ−Ｃｚ）／√｛（Ｄｘ−Ｃｘ）²
＋（Ｄｙ−Ｃｙ）²＋（Ｄｚ−Ｃｚ）²｝］ と表わすことができ、瞳孔中心位置Ｄと角膜曲率中心位
置Ｃとの間の距離Ａ−ρを含まない式となる。

【００１７】観察者の視線方向は眼球回転角θとφから
求めることができるので、角膜曲率中心位置Ｃの実空間
座標（Ｃｘ，Ｃｙ，Ｃｚ）および瞳孔中心位置Ｄの実空
間座標（Ｄｘ，Ｄｙ，Ｄｚ）を求めれば視線方向が求ま
る。

【００１８】以下、角膜曲率中心位置Ｃの座標（Ｃｘ，
Ｃｙ，Ｃｚ）、瞳孔中心位置Ｄの座標（Ｄｘ，Ｄｙ，Ｄ
ｚ）を測定によって具体的に求める手順について述べ
る。まず、瞳孔中心位置の求め方について説明する。瞳
孔と紅彩との境界１１８は、図５に示すように、実空間
座標系における閉曲線であり、多くの場合、ある平面上
の円に近似することができる。この近似円を含む平面の
法線は実空間座標系のＹ軸方向と一致しない場合がある
ため、Ｘ−Ｚ平面と受光面が平行に配置された光電変換
素子１０７、１０８上には歪んで結像するが、通常はこ
の法線とＹ軸のなす角が小さいので、この像もほぼ円形
とみなすことができる。

【００１９】図６は、瞳孔と紅彩との境界が光電変換素
子１０７の受光面上に結像している様子を示す。１１７
は観察者の眼球１０２の瞳孔、１１９は瞳孔と紅彩との
境界１１８の像である。図６に示すように、瞳孔と紅彩
との境界の像１１９の上下左右の端の点の座標を求めれ
ば、実空間座標系における瞳孔中心位置の座標Ｄが求ま
るはずであり、瞳孔中心位置Ｄ（Ｄｘ，Ｄｙ，Ｄｚ）
は、右端の点Ｄ_Rの実空間座標を（Ｄ_Rｘ，Ｄ_Rｙ，Ｄ
_Rｚ）、左端の点Ｄ_Lの実空間座標を（Ｄ_Lｘ，Ｄ_Lｙ，Ｄ
_Lｚ）、上端の点Ｄ_Tの実空間座標を（Ｄ_Tｘ，Ｄ_Tｙ，Ｄ
_Tｚ）、下端の点Ｄ_Bの実空間座標を（Ｄ_Bｘ，Ｄ_Bｙ，Ｄ
_Bｚ）とすると、次のように表わされる。

【数６】Ｄｘ＝（Ｄ_Rｘ＋Ｄ_Lｘ）／２， Ｄｙ＝（Ｄ_Rｙ＋Ｄ_Lｙ）／２， Ｄｚ＝（Ｄ_Tｚ＋Ｄ_Bｚ）／２ ところが、上述したように、人間の瞳孔は暗所では大き
く開き、瞳孔３０１と紅彩３０２との境界１１８が上瞼
と下瞼によってけられ、境界１１８の上端と下端が検出
できない場合がある。このような場合には、境界１１８
の像１１９を円近似し、近似円上の点を瞳孔と紅彩との
境界として３点以上求め、近似円の方程式から瞳孔中心
位置を算出する方法が提案されている。しかし、図８に
示すように、像１１９が円近似することが適当でない形
状の場合には、近似に用いる点によって円の中心が大き
くずれてしまうため、瞳孔中心位置の座標を正しく求め
ることができない。なお、図８では像１１９が円でない
様子を誇張して描いてある。そこで、この第１の実施例
では、以下のようにして瞳孔中心位置を求める。図８に
おいて、斜線部１２０ｔ、１２０ｂはそれぞれ上瞼、下
瞼によるけられであり、実際には観察されない部分であ
る。この第１の実施例では、けられていない場合もけら
れがある場合も同様の方法で瞳孔中心位置を求めること
ができる。この第１の実施例では、像１１９とＺ軸に平
行な直線との交点Ｄ_RとＤ_Lを結ぶ線分が最長になる位置
を求め、これらの交点Ｄ_R、Ｄ_LのＺ座標を瞳孔中心位置
のＺ座標Ｄｚとし、交点Ｄ_RとＤ_Lとを結ぶ線分の中点を
瞳孔中心のＸ座標ＤｘおよびＹ座標Ｄｙとする。すなわ
ち、

【数７】Ｄｘ＝（Ｄ_Rｘ＋Ｄ_Lｘ）／２， Ｄｙ＝（Ｄ_Rｙ＋Ｄ_Lｙ）／２， Ｄｚ＝Ｄ_Rｚ＝Ｄ_Lｚ である。

【００２０】次に、角膜曲率中心位置Ｃの求め方につい
て述べる。角膜曲率中心位置Ｃは、図９に示すように、
視線検出用光源Ｓ１とこの光源Ｓ１によって生じるプル
キンエ第１像Ｐ１とを結ぶ直線と、視線検出用光源Ｓ２
とこの光源Ｓ２によって生じるプルキンエ第１像Ｐ２と
を結ぶ直線との交点である。したがって、実空間座標系
における角膜曲率中心位置Ｃの実空間座標（Ｃｘ，Ｃ
ｙ，Ｃｚ）は、視線検出用光源Ｓ１の実空間座標を（Ｓ
１ｘ，Ｓ１ｙ，Ｓ１ｚ）とし、視線検出用光源Ｓ２の実
空間座標を（Ｓ２ｘ，Ｓ２ｙ，Ｓ２ｚ）とし、また、視
線検出用光源Ｓ１によるプルキンエ第１像Ｐ１の実空間
座標を（Ｐ１ｘ，Ｐ１ｙ，Ｐ１ｚ）とし、視線検出用光
源Ｓ２によるプルキンエ第１像Ｐ２の実空間座標を（Ｐ
２ｘ，Ｐ２ｙ，Ｐ２ｚ）とすると、

【数８】Ｃｘ＝｛S1xP1z(S2x-P2x)-S2xP2z(S1x-P1x)-S1
zP1x(S2x-P2x)+S2zP2x(S1x-P1x)｝／｛(S1x-P1x)×(S2z
-P2z)-(S2x-P2x)×(S1z-P1z)｝， Ｃｙ＝｛S1yP1x(S2y-P2y)-S2yP2x(S1y-P1y)-S1xP1y(S2y
-P2y)+S2xP2y(S1y-P1y)｝／｛(S1y-P1y)×(S2x-P2x)-(S
2y-P2y)×(S1x-P1x)｝， Ｃｚ＝｛S1zP1x(S2z-P2z)-S2zP2x(S1z-P1z)-S1xP1z(S2z
-P2z)+S2xP2z(S1z-P1z)｝／｛(S1z-P1z)×(S2x-P2x)-(S
2z-P2z)×(S1x-P1x)｝ と表すことができる。ただし、角膜曲率中心位置Ｃが第
１視線検出用光源Ｓ１と第２視線検出用光源Ｓ２を通る
直線上に観察される場合など、数式８の分母が０になる
ことがある。この場合は、例えば数式８のＣｘとＣｚの
計算ではＸ座標値とＹ座標値を用いて角膜曲率中心位置
Ｃを算出することになる。

【００２１】ここで、視線検出用光源Ｓ１（Ｓ１ｘ，Ｓ
１ｙ，Ｓ１ｚ）およびＳ２（Ｓ２ｘ，Ｓ２ｙ，Ｓ２ｚ）
の座標は実空間座標系で予め定められた固定値である。
一方、プルキンエ第１像Ｐ１（Ｐ１ｘ，Ｐ１ｙ，Ｐ１
ｚ）およびＰ２（Ｐ２ｘ，Ｐ２ｙ，Ｐ２ｚ）の座標は、
上述したように一対の光電変換素子１０７、１０８の受
光面上に結像されたそれぞれのプルキンエ第１像Ｐ１、
Ｐ２の位置から求めることができる。このようにして実
空間座標系における角膜曲率中心位置Ｃと瞳孔中心位置
Ｄの座標を求めることができたので、これらにより眼球
回転角θとφを求めることができる。

【００２２】図１０は第１の実施例の視線検出演算処理
を示すフローチャートである。ステップＳ１において、
一対の視線検出用光源１０４ａ、１０４ｂにより観察者
の眼球１０２を照明し、この光源１０４ａ、１０４ｂに
よって照明された眼球１０２の反射像を一対の光電変換
素子１０７、１０８の受光面上に結像させる。そして、
光電変換素子１０７、１０８から眼球１０２の反射像デ
ータを取り込み、中央処理装置１１１のメモリに記憶す
る。続くステップＳ２で、眼球１０２の反射像データを
中央処理装置１１１のメモリから読み出し、光電変換素
子１０７の受光面上の、虹彩１１６と瞳孔１１７との境
界１１８の左端の点Ｄ_Lｉと右端の点Ｄ_Rｉを読み取り、
さらに、光電変換素子１０８の受光面上の境界１１８の
左端の点Ｄ_Lｊと右端の点Ｄ_Rｊを読み取る。ステップＳ
３で、点Ｄ_Lｉ、Ｄ_Lｊに基づいて虹彩１１６と瞳孔１１
７との境界１１８の左端Ｄ_Lの実空間座標系における座
標を算出する。さらに、点Ｄ_Rｉ、Ｄ_Rｊに基づいて境界
１１８の右端Ｄ_Rの実空間座標系における座標を算出す
る。ステップＳ４では、二点Ｄ_L、Ｄ_Rの実空間座標に基
づいて数式７により瞳孔中心位置Ｄの実空間座標を求め
る。

【００２３】ステップＳ５において、中央処理装置１１
１のメモリから眼球１０２の反射像データを読み出し、
２つのプルキンエ第１像Ｐ１、Ｐ２の位置Ｐ１ｉ、Ｐ２
ｉ、Ｐ１ｊ、Ｐ２ｊの観察平面座標系における座標を読
み取る。続くステップＳ６で、一方のプルキンエ第１像
Ｐ１の位置Ｐ１ｉ、Ｐ１ｊに基づいて実空間座標系にお
ける座標Ｐ１（Ｐ１ｘ，Ｐ１ｙ，Ｐ１ｚ）を算出し、他
方のプルキンエ第１像Ｐ２の位置Ｐ２ｉ、Ｐ２ｊに基づ
いて実空間座標系における座標Ｐ２（Ｐ２ｘ，Ｐ２ｙ，
Ｐ２ｚ）を算出する。ステップＳ７では、実空間座標系
におけるプルキンエ第１像の座標Ｐ１、Ｐ２と二つの視
線検出用光源１０２ａ、１０４ｂの座標Ｓ１、Ｓ２とに
基づいて、数式８により角膜曲率中心Ｃの実空間座標を
求める。ステップＳ８で、瞳孔中心位置Ｄの実空間座標
と角膜曲率中心位置Ｃの実空間座標に基づいて数式５に
より眼球回転角θとφを算出する。以上の手順により、
瞳孔中心位置Ｄの実空間座標と角膜曲率中心位置Ｃの実
空間座標とに基づいて観察者の眼球回転角θとφを算出
することができ、これにより、観察者の眼球１０２の視
線方向を正確に求めることができる。

【００２４】図１１は視線検出に必要な眼球のずれ角γ
の測定方法を示す図である。ここで、ずれ角γとは、観
察者の視線方向と瞳孔中心位置Ｄと角膜曲率中心位置Ｃ
を結ぶ直線とのなす角である。なお以下では、視線検出
に先立ってずれ角γを測定することを予備測定動作と呼
ぶ。観察者の視線方向は検出される眼球回転角θからず
れ角γを補正した値、θ−γとなる。なお、図１１で
は、眼球１０２の眼球回転中心Ｏ”が実空間座標系のＹ
軸上にあるものとしているが、眼球回転中心Ｏ”は図２
に示すようにＹ軸から外れた位置にあっても構わない。
図１１において、１２１は、観察者の眼球１０２の瞳孔
中心位置Ｄと角膜曲率中心位置Ｃを通る直線である。ま
た、１２２は観察面１０１の中央にある、観察者が注視
するための指標である。この指標１２２は、その中心が
Ｙ軸と観察面１０１と交わる点、すなわち、実空間座標
系の原点Ｏと一致するように配置される。なお、指標１
２２は原点Ｏ上に配置する必要はなく、観察面１０１の
どこに配置してもよい。観察者は観察面１０１の中央に
ある指標１２２を注視しているから、この時の眼球回転
角θは０度であるはずである。ところが、実際に検出さ
れる眼球回転角θは０度にならない。観察者の視線方向
と瞳孔中心位置Ｄと角膜曲率中心位置Ｃを結ぶ直線１２
１とのなす角がずれ角γであるから、実際に検出される
眼球回転角θはずれ角γに等しい。したがって、指標１
２２を注視している時の眼球回転角θを検出すれば、観
察者の眼球１０２のずれ角γを求めることができる。そ
して、この観察者の眼球１０２のずれ角γに基づいて正
しい視線方向を検出することができる。なお、ずれ角γ
の検出作業を繰り返し行なうことによって、より正確な
ずれ角γを求めることができる。

【００２５】図１２は、第１の実施例の予備測定動作を
示すフローチャートである。ステップＳ１１において、
観察面１０１の所定位置に指標１２２を表示し、観察者
に注視させる。ステップＳ１２で、一対の視線検出用光
源１０４ａ、１０４ｂにより観察者の眼球１０２を照明
し、この光源１０４ａ、１０４ｂによって照明された眼
球１０２の反射像を一対の光電変換素子１０７、１０８
の受光面上に結像させる。そして、光電変換素子１０
７、１０８から眼球１０２の反射像データを取り込み、
中央処理装置１１１のメモリに記憶する。ステップＳ１
３で、眼球１０２の反射像データを中央処理装置１１１
のメモリから読み出し、光電変換素子１０７の受光面上
の、虹彩１１６と瞳孔１１７との境界１１８の左端の点
Ｄ_Lｉと右端の点Ｄ_Rｉを読み取り、さらに、光電変換素
子１０８の受光面上の境界１１８の左端の点Ｄ_Lｊと右
端の点Ｄ_Rｊを読み取る。ステップＳ１４では、読み取
った点Ｄ_Lｉ、Ｄ_Lｊに基づいて虹彩１１６と瞳孔１１７
との境界１１８の左端Ｄ_Lの実空間座標系における座標
を算出する。さらに、点Ｄ_Rｉ、Ｄ_Rｊに基づいて境界１
１８の右端Ｄ_Rの実空間座標系における座標を算出す
る。ステップＳ１５では、二点Ｄ_L、Ｄ_Rの実空間座標に
基づいて数式７により瞳孔中心位置Ｄの実空間座標を求
める。

【００２６】ステップＳ１６において、中央処理装置１
１１のメモリから観察者の眼球１０２の反射像データを
読み出し、２つのプルキンエ第１像Ｐ１、Ｐ２の位置Ｐ
１ｉ、Ｐ２ｉ、Ｐ１ｊ、Ｐ２ｊの観察平面座標系におけ
る座標を読み取る。ステップＳ１７では、一方のプルキ
ンエ第１像Ｐ１の位置Ｐ１ｉ、Ｐ１ｊに基づいて実空間
座標系における座標Ｐ１（Ｐ１ｘ，Ｐ１ｙ，Ｐ１ｚ）を
算出し、他方のプルキンエ第１像Ｐ２の位置Ｐ２ｉ、Ｐ
２ｊに基づいて実空間座標系における座標Ｐ２（Ｐ２
ｘ，Ｐ２ｙ，Ｐ２ｚ）を算出する。ステップＳ１８で
は、実空間座標系におけるプルキンエ第１像の座標Ｐ
１、Ｐ２と二つの視線検出用光源１０４ａ、１０４ｂの
座標Ｓ１、Ｓ２とに基づいて、数式８により角膜曲率中
心位置Ｃの実空間座標を求める。ステップＳ１９で、瞳
孔中心位置Ｄおよび角膜曲率中心位置Ｃの実空間座標と
眼球回転角θ＝０、φ＝０を数式５へ代入し、ずれ角γ
を算出する。

【００２７】図１３は、第１の実施例の焦点検出動作を
示すフローチャートである。ステップＳ１００におい
て、ずれ角γを決定する予備測定動作を行うか否かを判
別する。この判別条件は任意であるが、例えば、予備測
定動作を起動するための操作スイッチを設け、観察者が
その操作スイッチを操作した場合に予備測定動作を行な
うようにしてもよい。予備測定動作を行なう場合はステ
ップＳＳ１へ進み、図１２に示す予備測定動作を実行す
る。次に、ステップＳ１０１で視線検出動作を行うか否
かを判別する。この判別条件は任意であるが、例えば、
観察者が装置の電源を切った場合は視線検出動作を行な
わず、そうでなければ視線検出動作を行なうようにして
もよい。視線検出動作を行なう場合はステップＳＳ２へ
進み、図１０に示す視線検出動作を実行する。

【００２８】−第２の実施例− 図１４に示すように比較的明るい場所では瞳孔３０１が
閉じられるので、瞳孔３０１と虹彩３０２との境界１１
８は上瞼と下瞼によりけられなくなる。図１５は、瞳孔
が閉じている場合の光電変換素子上の眼球像１１９を示
す図である。瞳孔３０１が閉じられている場合には、図
６により説明した方法で瞳孔中心を求める方が、第１の
実施例による方法よりも演算量は多くなるが正確に瞳孔
中心位置Ｄを求めることができる。そこで、この第２の
実施例では、瞳孔３０１が開いている時は上述した第１
の実施例の方法で瞳孔中心位置Ｄを求め、瞳孔３０１が
閉じている時は図６により説明した方法で瞳孔中心位置
Ｄを求める。この第２の実施例では、実際の瞳孔径を測
定し、測定結果に基づいて二つの瞳孔中心位置Ｄの検出
方法の内のどちらを用いるかを決定する。

【００２９】図１６、図１７は第２の実施例の視線検出
演算処理を示すフローチャートである。ステップＳ２１
において、一対の視線検出用光源１０４ａ、１０４ｂに
より観察者の眼球１０２を照明し、この光源１０４ａ、
１０４ｂによって照明された眼球１０２の反射像を一対
の光電変換素子１０７、１０８の受光面上に結像させ
る。そして、一対の光電変換素子１０７、１０８から眼
球１０２の反射像データを取り込み、中央処理装置１１
１のメモリに記憶する。ステップＳ２２で、眼球１０２
の反射像データを中央処理装置１１１のメモリから読み
出し、光電変換素子１０７の受光面上の、虹彩１１６と
瞳孔１１７との境界１１８の左端の点Ｄ_Lｉと右端の点
Ｄ_Rｉを読み取り、さらに、光電変換素子１０８の受光
面上の境界１１８の左端の点Ｄ_Lｊと右端の点Ｄ_Rｊを読
み取る。ステップＳ２３で、点Ｄ_Lｉ、Ｄ_Lｊとに基づい
て虹彩１１６と瞳孔１１７との境界１１８の左端Ｄ_Lの
実空間座標系における座標を算出する。さらに、点Ｄ_R
ｉ、Ｄ_Rｊに基づいて境界１１８の右端Ｄ_Rの実空間座標
系における座標を算出する。

【００３０】ステップＳ２４で二点Ｄ_LとＤ_Rに基づいて
瞳孔径を求め、ステップＳ２５で瞳孔径が予め定めた値
以下であるか否かを判別する。瞳孔径が所定値以下であ
ればステップＳ２７へ進み、そうでなければステップＳ
２６へ進む。ここで、瞳孔径の所定値は予備測定動作で
決定する。同じ瞳孔径でも目の細い人と目の大きい人と
ではけられない最大の瞳孔径が異なるので、予備測定動
作でけられのない瞳孔径を検出し、それを所定値とす
る。瞳孔径が所定値より大きい場合は、ステップＳ２６
で、二点Ｄ_L、Ｄ_Rの実空間座標に基づいて数式７により
瞳孔中心位置Ｄの実空間座標を求める。一方、瞳孔径が
所定値以下の場合は、ステップＳ２７で、眼球１０２の
反射像データを中央処理装置１１１のメモリから読み出
す。そして、虹彩１１６と瞳孔１１７との境界１１８の
内、光電変換素子１０７の受光面上の上端の点Ｄ_Tｉと
下端の点Ｄ_Bｉを読み取る。さらに、光電変換素子１０
８の受光面上の上端の点Ｄ_Tｊと下端の点Ｄ_Bｊを読み取
る。続くステップＳ２８で、点Ｄ_Lｉ、Ｄ_Lｊに基づいて
虹彩１１６と瞳孔１１７との境界１１８の左端Ｄ_Lの実
空間座標系における座標を算出し、点Ｄ_Rｉ、Ｄ_Rｊに基
づいて境界１１８の右端Ｄ_Rの実空間座標系における座
標を算出する。また、点Ｄ_Tｉ、Ｄ_Tｊに基づいて境界１
１８の上端Ｄ_Tの実空間座標系における座標を算出し、
点Ｄ_Bｉ、Ｄ_Bｊに基づいて境界１１８の下端Ｄ_Bの実空
間座標系における座標を算出する。ステップＳ２９で
は、４点Ｄ_L、Ｄ_R、Ｄ_T、Ｄ_Bの実空間座標に基づいて数
式７により瞳孔中心位置Ｄの実空間座標を求める。

【００３１】ステップＳ３０において、中央処理装置１
１１のメモリから観察者の眼球１０２の反射像データを
読み出し、２つのプルキンエ第１像Ｐ１、Ｐ２の位置Ｐ
１ｉ、Ｐ２ｉ、Ｐ１ｊ、Ｐ２ｊの観察平面座標系におけ
る座標を読み取る。続くステップＳ３１では、一方のプ
ルキンエ第１像Ｐ１の位置Ｐ１ｉ、Ｐ１ｊに基づいて実
空間座標系における座標Ｐ１（Ｐ１ｘ，Ｐ１ｙ，Ｐ１
ｚ）を算出する。また、他方のプルキンエ第１像Ｐ２の
位置Ｐ２ｉ、Ｐ２ｊに基づいて実空間座標系における座
標Ｐ２（Ｐ２ｘ，Ｐ２ｙ，Ｐ２ｚ）を算出する。ステッ
プＳ３２で、実空間座標系におけるプルキンエ第１像の
座標Ｐ１、Ｐ２と、二つの視線検出用光源１０４ａ、１
０４ｂの座標Ｓ１、Ｓ２とに基づいて数式８により角膜
曲率中心位置Ｃの実空間座標を求める。ステップＳ３３
では、瞳孔中心位置Ｄの実空間座標と角膜曲率中心位置
Ｃの実空間座標に基づいて数式５により眼球回転角θと
φを算出する。以上の手順により、瞳孔中心位置Ｄおよ
び角膜曲率中心位置Ｃの実空間座標を用いて観察者の眼
球回転角θとφを求めることができ、これにより、観察
者の眼球１０２の視線方向を正確に求めることができ
る。なお、ステップＳ２９において、

【数９】Ｄｙ＝（Ｄ_Tｙ＋Ｄ_Bｙ）／２ を用いても計算できる。また、ステップＳ２５の判定に
用いる所定値は予備測定動作で測定した値を用いている
が、所定値に観察者の目の大きさに左右されない範囲で
予め適当な値を設定してもよい。さらに、観察者の瞳孔
径が周囲の明るさに応じて変化するので、ステップＳ２
５における判別を観察者の周囲の明るさに基づいて行な
うようにしてもよい。

【００３２】−第３の実施例− 図１８は第３の実施例の構成を示す図である。第３の実
施例では、ハーフミラー１１２により観察者の眼球１０
２からの反射光を観察者の視野外へ導き、結像レンズ１
２３により光電変換素子１１３上に結像させる。ここ
で、光電変換素子１１３の受光面は観察面１０１と共役
にすることが望ましい。また、図１８では観察者の眼球
１０２からの反射光をハーフミラー１１２と結像レンズ
１２３により観察者の視野外の光電変換素子１１３へ導
いているが、観察者の視野を妨げない位置であれば結像
レンズ１２３および光電変換素子１１３をどこに配置し
てもよいし、観察する視野内であっても観察者の注意を
引かないように目立たない位置に配置すればよい。

【００３３】この第３の実施例では瞳孔中心位置Ｄおよ
び角膜曲率中心位置ＣのＹ軸方向の位置は求められない
が、後述する予備測定動作で観察者の眼球の距離Ａ−ρ
とずれ角γを検出し、観察者の視線を検出する方法が知
られている。すなわち、光電変換素子の出力に基づいて
最大の瞳孔径を検出し、瞳孔中心位置Ｄを検出する。ま
た、角膜曲率中心位置Ｃは数式８により算出できる。そ
して、瞳孔中心位置Ｄと角膜曲率中心位置Ｃと距離Ａ−
ρとに基づいて次式により視線方向を求める。

【数１０】 θ＝tan^-1｛（Ｄｘ−Ｃｘ）／（Ａ−ρ）｝， φ＝sin^-1｛（Ｄｚ−Ｃｚ）／（Ａ−ρ）｝

【００３４】図１９は、第３の実施例の視線検出演算処
理を示すフローチャートである。ステップＳ４１におい
て、一対の視線検出用光源１０４ａ、１０４ｂにより観
察者の眼球１０２を照明し、この光源１０４ａ、１０４
ｂによって照明された眼球１０２の反射像を光電変換素
子１１３の受光面上に結像させる。そして、光電変換素
子１１３から眼球１０２の反射像データを取り込み、中
央処理装置１１１のメモリに記憶する。続くステップＳ
４２で、眼球１０２の反射像データを中央処理装置１１
１のメモリから読み出し、光電変換素子１１３の受光面
上の、虹彩と瞳孔との境界１１８の左端の点Ｄ_Lと右端
の点Ｄ_Rを読み取る。ステップＳ４３で二点Ｄ_L、Ｄ_Rに
基づいて次式により瞳孔中心位置Ｄを求める。

【数１１】Ｄｘ＝（Ｄ_Lｘ＋Ｄ_Rｘ）／２， Ｄｚ＝Ｄ_Lｚ＝Ｄ_Rｚ ステップＳ４４では、中央処理装置１１１のメモリから
眼球１０２の反射像データを読み出し、２つのプルキン
エ第１像の位置Ｐ１、Ｐ２の座標を読み取る。ステップ
Ｓ４５で、プルキンエ第１像の位置Ｐ１、Ｐ２と二つの
視線検出用光源１０４ａ、１０４ｂの位置Ｓ１、Ｓ２と
に基づいて、数式８により角膜曲率中心位置Ｃを求め
る。ステップＳ４６で、瞳孔中心位置Ｄと角膜曲率中心
位置Ｃとに基づいて数式５により眼球回転角θとφを算
出する。以上の手順により、瞳孔中心位置Ｄおよび角膜
曲率中心位置Ｃを用いて観察者の眼球回転角θとφを求
めることができ、これにより、観察者の眼球１０２の視
線方向を算出できる。

【００３５】図２０は観察者の眼球の距離Ａ−ρとずれ
角γの測定方法を示す図である。まず、観察者に対して
指標１２５ａが表示され、観察者が指標１２５ａを注視
している時の瞳孔中心位置Ｄと角膜曲率中心位置Ｃを測
定する。次に、観察者に対して指標１２５ｂを表示し、
観察者が指標１２５ｂを注視している時の瞳孔中心位置
Ｄと角膜曲率中心Ｃを測定する。これらの測定データか
ら、観察者の眼球の距離Ａ−ρとずれ角γを求めること
ができる。なお、この作業を繰り返し行うことによっ
て、距離Ａ−ρとずれ角γの値をより正確に求めること
もできる。

【００３６】図２１、図２２は第３の実施例の予備測定
動作を示すフローチャートである。ステップＳ５１にお
いて、観察面１０１の所定位置に指標１２５ａを表示
し、観察者に注視させる。次に、ステップＳ５２で、一
対の視線検出用光源１０４ａ、１０４ｂによって照明さ
れた眼球１０２の反射像を光電変換素子１１３の受光面
上に結像させる。そして、光電変換素子１１３から眼球
１０２の反射像データを取り込み、中央処理装置１１１
のメモリに記憶する。ステップＳ５３では、眼球１０２
の反射像データを中央処理装置１１１のメモリから読み
出し、光電変換素子１１３の受光面上の、虹彩と瞳孔と
の境界１１８の左端の点Ｄ_Lと右端の点Ｄ_Rを読み取る。
ステップＳ５４では、二点Ｄ_L、Ｄ_Rに基づいて数式１１
により瞳孔中心位置Ｄを求める。ステップＳ５５では、
中央処理装置１１１のメモリから観察者の眼球１０２の
反射像データを読み出し、２つのプルキンエ第１像Ｐ
１、Ｐ２の座標を読み取る。ステップＳ５６で、プルキ
ンエ第１像の位置Ｐ１、Ｐ２と二つの視線検出用光源１
０４ａ、１０４ｂの位置Ｓ１、Ｓ２とに基づいて、数式
８により角膜曲率中心位置Ｃを求める。

【００３７】ステップＳ５７で指標１２５ａを消灯して
指標１２５ｂを表示し、観察者に注視させる。ステップ
Ｓ５８で、一対の視線検出用光源１０４ａ、１０４ｂに
より観察者の眼球１０２を照明し、この光源１０４ａ、
１０４ｂによって照明された眼球１０２の反射像を一対
の光電変換素子１１３の受光面上に結像させる。そし
て、光電変換素子１１３から眼球１０２の反射像を取り
込み、中央処理装置１１１のメモリに記憶する。ステッ
プＳ５９で、眼球１０２の反射像データを中央処理装置
１１１のメモリから読み出し、光電変換素子１１３の受
光面上の、虹彩と瞳孔との境界１１８の左端の点Ｄ_Lと
右端の点Ｄ_Rを読み取る。ステップＳ６０で、二点Ｄ_L、
Ｄ_Rに基づいて数式１１により瞳孔中心位置Ｄを求め
る。ステップＳ６１で、中央処理装置１１１のメモリか
ら観察者の眼球１０２の反射像データを読み出し、２つ
のプルキンエ第１像Ｐ１、Ｐ２の座標を読み取る。ステ
ップＳ６２で、プルキンエ第１像の位置Ｐ１、Ｐ２と二
つの視線検出用光源１０４ａ、１０４ｂの位置Ｓ１、Ｓ
２とに基づいて、数式８により角膜曲率中心位置Ｃを求
める。ステップＳ６３で、瞳孔中心位置Ｄおよび角膜曲
率中心位置Ｃと、それぞれの指標１２５ａ、１２５ｂを
注視している時の眼球回転角θ１、θ２、φ１、φ２と
に基づいて、数式１０により距離Ａ−ρとずれ角γを算
出する。

【００３８】−第４の実施例− 第１の実施例を一眼レフレックスカメラ（以下単にカメ
ラという）に搭載した場合の第４の実施例を説明する。
図２３は、図２に示す第１の実施例の視線検出装置を搭
載したカメラの構成を示す。２０１は撮影レンズ、２０
２はクイックリターンミラー、２０３は表示装置、２０
４は焦点板、２０５はコンデンサーレンズ、２０６はペ
ンタプリズム、２０７は接眼レンズである。また、２０
８は接眼部から内部へほこりや水滴などが侵入するのを
防止する接眼ガラス、２０９は観察者の眼球である。さ
らに、２１０ａは視線検出用光源の内の一灯であり、接
眼ガラス２０８の周囲から直接観察者の眼球２０９を照
射する位置に配置される。なおこの他に、図示しない少
なくとも１個の視線検出用光源が、接眼ガラス２０８の
周囲から直接観察者の眼球２０９を照射する位置に配置
されている。なお、カメラに搭載する視線検出装置の視
線検出用光源２１０ａは、赤外発光ダイオードのように
眼に見えない波長域の光を発光する光源が望ましい。２
１１ａは複数の光電変換素子のそれぞれに対応して設け
られた複数の結像レンズの内の一つであり、２１２ａは
結像レンズ２１１ａに対応する光電変換素子である。な
お、光電変換素子はＣＣＤのような平面上の受光素子が
適している。さらに、図示しない少なくとも１組の結像
レンズと光電変換素子が接眼ガラス２０８の周囲に配置
されている。

【００３９】図２４は第４の実施例のカメラのファイン
ダー部の拡大図であり、視線検出用光源と結像レンズ、
光電変換素子の配置を示している。２１０ａと２１０ｃ
は視線検出用光源、２１１ａと２１１ｃは結像レンズで
ある。二個の結像レンズ２１１ａ、２１１ｃに対して、
その後方（図中で紙面の奥）に図示しない光電変換素子
が１つずつ配置されている。２個の視線検出用光源２１
０ａ、２１０ｃと２個の結像レンズ２１１ａ、２１１ｃ
は、ファインダー接眼レンズ窓２２０の中心とほぼ等し
い位置に重心を持つ略正方形の四つの頂点の位置に配置
される。２２１は接眼目当て、２２２はファインダー本
体、２２３はクリップオン式のアクセサリーシュー、２
２４はアイピースシャッターレバーである。

【００４０】このような視線検出用光源２１０ａ、２１
０ｃと光電変換素子２１１ａ、２１１ｃの配置によっ
て、図２５に示すようにカメラを横位置で構えた場合で
も、図２６に示すようにカメラを縦位置に構えた場合で
も、図２７、図２８に示すように、二つのプルキンエ第
１像が眼球像の中心に対して右上と左下の点対象な位置
に結像する。これにより、カメラが横位置に構えられて
も縦位置に構えられても、同じ視線検出アルゴリズムで
処理できる。なお、第４の実施例において視線検出用光
源と検出光学系の配置は上述した配置に限定されず、図
２９に示すように、斜線部２２５のいずれかの位置に２
灯以上の視線検出用光源と２個以上の検出光学系とを任
意に配置することができる。

【００４１】図３０は第４の実施例のカメラの動作を示
すフローチャートである。ステップＳ２００において、
ずれ角γを決定するための予備測定動作を行うか否かを
判別する。この判別条件は任意であるが、例えば、予備
測定動作を起動するための操作スイッチを設け、観察者
がその操作スイッチを操作した場合に予備測定動作を行
なうようにしてもよい。予備測定動作を行なう場合はス
テップＳＳ１へ進み、図１２に示す予備測定動作を実行
する。ステップＳ２０１で、カメラのメインスイッチが
オフされているか否かを判別し、オフされていれば動作
を終了し、オンされていればステップＳ２０２へ進む。
ステップＳ２０２で、不図示の選択スイッチによりメモ
リに記憶されている複数のずれ角γの中から撮影者のず
れ角γを選択する。次にステップＳ２０３で、レリーズ
ボタンが半押しされるとオンするスイッチＳＷ１によ
り、レリーズボタンが半押しされたか否かを判別する。
レリーズボタンが半押しされるとステップＳＳ４へ進
み、図３１に示す視線検出および撮影動作を行う。

【００４２】図３１は、第４の実施例の視線検出および
撮影動作を示すフローチャートである。ステップＳ２１
２において、撮影者がカメラのファインダー窓２２０を
覗いているか否かを判別し、覗いていればステップＳ２
１３へ進み、そうでなければステップＳ２１７へ進む。
撮影者がファインダーを覗いていいる時は、ステップＳ
２１３で、図１０に示す手順で撮影者の眼球を観察して
視線方向を算出する。ステップＳ２１４では、算出され
た撮影者の視線方向に基づいて測光、測距、レンズ駆動
などの撮影準備動作を行う。ステップＳ２１５で、レリ
ーズボタンが全押しされるとオンするスイッチＳＷ２に
より、シャッターがレリーズされたか否かを判別し、レ
リーズされるとステップＳ２１６でシャッターレリーズ
動作を行う。なお、シャッターレリーズ動作を行なう直
前に、改めて撮影者の視線方向に基づく測光、測距、レ
ンズ駆動などを行うようにしてもよい。ステップＳ２１
７では、スイッチＳＷ１によりレリーズボタンが半押し
されているか否かを判別し、半押しされていればステッ
プＳ２１２へ戻り、そうでなければ動作を終了する。な
お、第４の実施例では第１の実施例の視線検出装置をカ
メラに搭載した例を説明したが、第２の実施例または第
３の実施例の視線検出装置をカメラに搭載することもで
きる。

【００４３】以上の実施例の構成において、光電変換素
子１０７、１０８が撮像手段を、中央処理装置１１１が
瞳孔中心算出手段、角膜曲率中心算出手段および視線算
出手段を、視線検出用光源１０４、１０４ａ、１０４ｂ
が照明手段をそれぞれ構成する。

【００４４】

【発明の効果】以上説明したように請求項１の発明によ
れば、撮像された眼球像に基づいて瞳孔を検出し、最大
の瞳孔径を示す線分の中点を瞳孔中心位置とするように
したので、瞳孔と紅彩の境界の一部が上瞼と下瞼によっ
てけられるような場合でも、瞳孔中心位置を正確に検出
することができる。請求項２〜６の発明によれば、撮像
された眼球像に基づいて瞳孔径を検出し、その瞳孔径に
応じて異なる瞳孔中心位置算出方法を選択する。例えば
瞳孔径が所定値よりも大きい場合は、最大の瞳孔径を示
す線分の中点を瞳孔中心位置とし、瞳孔径が所定値以下
の場合は、瞳孔上の直交する２方向においてそれぞれ最
大の瞳孔径を示す位置を瞳孔中心位置とするようにした
ので、どのような場合でも瞳孔中心位置を正確に検出す
ることができる。請求項７〜１２の発明によれば、上述
した請求項１〜６の瞳孔中心位置検出装置により検出さ
れた正確な瞳孔中心位置に基づいて観察者の視線方向を
検出するようにしたので、観察者の瞳孔がどのような状
態でも、正確に観察者の視線方向を検出することができ
る。請求項１３の視線検出装置では、視野画面の略上下
左右方向に対してそれぞれ平行でない角度で交わる直線
上に一対以上の照明手段を配置するようにしたので、少
なくとも２個の照明手段により直交する２方向の視線検
出が可能になり、照明手段の個数を減らすことができ
る。請求項１４〜１６の発明では、照明手段と撮像手段
を略正方形の頂点に配置するようにしたので、視線検出
装置を横位置で使用する場合でも縦位置で使用する場合
でも、２つのプルキンエ第１像が眼球像の中心に対して
右上と左下の点対象な位置に結像するようになり、視線
検出装置の姿勢によって別の照明手段を用いる必要がな
い。

【図面の簡単な説明】

【図１】第１の実施例の構成を示す図。

【図２】視線検出原理を示す図。

【図３】視線検出光学系を示す図。

【図４】視線検出原理を示す図。

【図５】瞳孔中心位置の求め方を示す図。

【図６】瞳孔中心位置の求め方を示す図。

【図７】暗所における人間の眼球を示す図。

【図８】暗所における眼球の像を捉えた光電変換素子を
示す図。

【図９】角膜曲率中心位置の求め方を示す図。

【図１０】第１実施例の視線検出演算処理を示すフロー
チャート。

【図１１】予備測定原理を示す図。

【図１２】予備測定動作を示すフローチャート。

【図１３】第１実施例の全体動作を示すフローチャー
ト。

【図１４】明るい場所における人間の眼球を示す図。

【図１５】明るい場所における眼球の像を捉えた光電変
換素子を示す図。

【図１６】第２の実施例の動作を示すフローチャート。

【図１７】図１６に続く、第２の実施例の動作を示すフ
ローチャート。

【図１８】第３の実施例の構成を示す図。

【図１９】第３の実施例の動作を示すフローチャート。

【図２０】予備測定原理を示す図。

【図２１】予備測定動作を示すフローチャート。

【図２２】図２１に続く、予備測定動作を示すフローチ
ャート。

【図２３】第４の実施例のカメラの構成を示す図。

【図２４】第４実施例のカメラのファインダーの正面
図。

【図２５】カメラを横位置に構えた図。

【図２６】カメラを縦位置に構えた図。

【図２７】視線検出用光源と眼球との位置関係を示す
図。

【図２８】視線検出用光源と眼球との位置関係を示す
図。

【図２９】第４の実施例の視線検出用光源および検出光
学系の配置範囲を示す図。

【図３０】第４の実施例の全体動作を示すフローチャー
ト。

【図３１】第４の実施例の視線検出および撮影動作を示
すフローチャート。

【符号の説明】

１０１ 観察面 １０２ 眼球 １０３ 視線検出用光源駆動回路 １０４，１０４ａ、１０４ｂ 視線検出用光源 １０５，１０６ 結像レンズ １０７，１０８ 光電変換素子 １０９，１１０ 信号処理回路 １１１ 中央処理装置 １１５ 角膜 １１６ 紅彩 １１７ 瞳孔 １１８ 境界 １１９ 境界像 １２２ 指標 １２３ 結像レンズ １２５ａ，１２５ｂ 指標 ２０１ 撮影レンズ ２０２ クイックリターンミラー ２０３ 表示装置 ２０４ 焦点板 ２０５ コンデンサーレンズ ２０６ ペンタプリズム ２０７ 接眼レンズ ２０８ 接眼ガラス ２０９ 眼球 ２１０ａ 視線検出用光源 ２１１ａ 結像レンズ ２１２ａ 光電変換素子 ２２１ 接眼目当て ２２２ ファインダー本体 ２２３ クリップオン式アクセサリーシュー ２２４ アイピースシャッターレバー ３０１ 瞳孔 ３０２ 紅彩 ３０３ 強膜 ３０４ 涙腺 ３０５ 目尻 ３０６ 睫

Claims (16)

【特許請求の範囲】
1. 【請求項１】 観察者の眼球を撮像する撮像手段と、 この撮像手段により撮像された眼球像に基づいて眼球の
   瞳孔中心位置を算出する瞳孔中心算出手段とを備えた瞳
   孔中心位置検出装置において、 前記瞳孔中心算出手段は、前記撮像手段により撮像され
   た眼球像に基づいて瞳孔を検出し、最大の瞳孔径を示す
   線分の中点を瞳孔中心位置とすることを特徴とする瞳孔
   中心位置検出装置。
2. 【請求項２】 観察者の眼球を撮像する撮像手段と、 この撮像手段により撮像された眼球像に基づいて眼球の
   瞳孔中心位置を算出する瞳孔中心算出手段とを備えた瞳
   孔中心位置検出装置において、 前記瞳孔中心算出手段は、前記撮像手段により撮像され
   た眼球像に基づいて瞳孔径を検出し、その瞳孔径に応じ
   て異なる瞳孔中心位置算出方法を選択することを特徴と
   する瞳孔中心位置検出装置。
3. 【請求項３】 請求項２に記載の瞳孔中心位置検出装置
   において、 前記瞳孔中心算出手段は、瞳孔径が所定値より大きい場
   合は最大の瞳孔径を示す線分の中点を瞳孔中心位置と
   し、瞳孔径が前記所定値以下の場合は瞳孔上の直交する
   ２方向においてそれぞれ最大の瞳孔径を示す位置を瞳孔
   中心位置とすることを特徴とする瞳孔中心位置検出装
   置。
4. 【請求項４】 請求項３に記載の瞳孔中心位置検出装置
   において、 前記瞳孔中心算出手段は、前記撮像手段により予め観察
   者の眼球を撮像して瞳孔径の前記所定値を決定すること
   を特徴とする瞳孔中心位置検出装置。
5. 【請求項５】 請求項３に記載の瞳孔中心位置検出装置
   において、 瞳孔径の前記所定値を予め適当な値に設定することを特
   徴とする瞳孔中心位置検出装置。
6. 【請求項６】 請求項３に記載の瞳孔中心位置検出装置
   において、 前記瞳孔中心算出手段は、観察者の周囲の明るさを測定
   し、その測定結果に基づいて瞳孔径の前記所定値を決定
   することを特徴とする瞳孔中心位置検出装置。
7. 【請求項７】 観察者の眼球を照射する複数の照明手段
   と、 これらの照明手段により照射された前記眼球の角膜反射
   像を撮像する複数の撮像手段と、 これらの撮像手段により撮像された複数の角膜反射像に
   基づいて前記眼球の角膜曲率中心位置を算出する角膜曲
   率中心算出手段と、 前記複数の撮像手段により撮像された眼球像に基づいて
   前記眼球の瞳孔中心位置を算出する瞳孔中心算出手段
   と、 前記角膜曲率中心算出手段により算出された角膜曲率中
   心位置と前記瞳孔中心算出手段により算出された瞳孔中
   心位置とに基づいて、前記観察者の視線方向を算出する
   視線算出手段とを備えた視線検出装置において、 前記瞳孔中心算出手段は、前記撮像手段により撮像され
   た眼球像に基づいて瞳孔を検出し、最大の瞳孔径を示す
   線分の中点を瞳孔中心位置とすることを特徴とする視線
   検出装置。
8. 【請求項８】 観察者の眼球を照射する複数の照明手段
   と、 これらの照明手段により照射された前記眼球の角膜反射
   像を撮像する複数の撮像手段と、 これらの撮像手段により撮像された複数の角膜反射像に
   基づいて前記眼球の角膜曲率中心位置を算出する角膜曲
   率中心算出手段と、 前記複数の撮像手段により撮像された眼球像に基づいて
   前記眼球の瞳孔中心位置を算出する瞳孔中心算出手段
   と、 前記角膜曲率中心算出手段により算出された角膜曲率中
   心位置と前記瞳孔中心算出手段により算出された瞳孔中
   心位置とに基づいて、前記観察者の視線方向を算出する
   視線算出手段とを備えた視線検出装置において、 前記瞳孔中心算出手段は、前記撮像手段により撮像され
   た眼球像に基づいて瞳孔径を検出し、その瞳孔径に応じ
   て異なる瞳孔中心位置算出方法を選択することを特徴と
   する視線検出装置。
9. 【請求項９】 請求項８に記載の視線検出装置におい
   て、 前記瞳孔中心算出手段は、瞳孔径が所定値より大きい場
   合は最大の瞳孔径を示す線分の中点を瞳孔中心位置と
   し、瞳孔径が前記所定値以下の場合は瞳孔上の直交する
   ２方向においてそれぞれ最大の瞳孔径を示す位置を瞳孔
   中心位置とすることを特徴とする視線検出装置。
10. 【請求項１０】 請求項８に記載の視線検出装置におい
    て、 前記瞳孔中心算出手段は、前記撮像手段により予め観察
    者の眼球を撮像して瞳孔径の前記所定値を決定すること
    を特徴とする視線検出装置。
11. 【請求項１１】 請求項８に記載の視線検出装置におい
    て、 瞳孔径の前記所定値を予め適当な値に設定することを特
    徴とする視線検出装置。
12. 【請求項１２】 請求項８に記載の視線検出装置におい
    て、 前記瞳孔中心算出手段は、観察者の周囲の明るさを測定
    し、その測定結果に基づいて瞳孔径の前記所定値を決定
    することを特徴とする視線検出装置。
13. 【請求項１３】 請求項７〜１２のいずれかの項に記載
    の視線検出装置において、 前記照明手段は、視野画面の略上下左右方向に対してそ
    れぞれ平行でない角度で交わる直線上に一対以上配置さ
    れることを特徴とする視線検出装置。
14. 【請求項１４】 請求項７〜１３のいずれかの項に記載
    の視線検出装置において、 前記撮像手段は、視野画面の略上下左右方向に対してそ
    れぞれ平行でない角度で交わる直線上に一対以上配置さ
    れることを特徴とする視線検出装置。
15. 【請求項１５】 請求項１４に記載の視線検出装置にお
    いて、 前記視野画面の略上下左右方向に対してそれぞれ平行で
    ない二本の対角線を有する略正方形の、一方の対角線上
    の各頂点に一対の前記照明手段を配置し、他方の対角線
    上の各頂点に一対の前記撮像手段を配置することを特徴
    とする視線検出装置。
16. 【請求項１６】 請求項１５に記載の視線検出装置にお
    いて、 前記略正方形の一辺が水平方向と平行であることを特徴
    とする視線検出装置。