JPH0694978A

JPH0694978A - 視線検出装置

Info

Publication number: JPH0694978A
Application number: JP4245143A
Authority: JP
Inventors: Hitoshi Nishimura; 仁西村
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 1992-09-14
Filing date: 1992-09-14
Publication date: 1994-04-08
Also published as: EP0588431A2; EP0588431A3; US5552854A

Abstract

(57)【要約】【目的】有限距離にある光源を用いても眼球の視線を
正確に求めることを可能にする。【構成】観察者の眼球を照明する２個以上の照明手段
１０１と、照明手段１０１により照明された眼球の反射
像から眼球の視線を算出する視線算出手段１０２とを備
えた視線検出装置において、視線算出手段１０２が各照
明手段１０１からの各照明光によって形成される眼球の
各角膜反射像に基づいてこの眼球の角膜曲率中心位置を
求め、さらにこの角膜曲率中心位置を用いて視線を算出
するようにした。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、たとえば光学装置内に
設けられた視野画面上において観察者が観察している注
視点方向の軸、すなわち、いわゆる視線を検出する視線
検出装置に関する。

【０００２】

【従来の技術】従来、観察者の視線を検出する装置とし
ては、例えば、特開平３−１０９０２９号公報に開示さ
れたようなものがあった。この公報に開示された装置
は、観察者の眼球を光源によって照明し、この光源によ
って照明された眼球の瞳孔と虹彩との境界を読み取って
瞳孔中心位置を求めるとともに、光源からの照明光によ
る角膜反射像の位置を求め、この瞳孔中心位置と角膜反
射像の位置との相対的関係から視線を求めていた。以
下、図３１を参照して上述の公報による視線検出装置の
動作について説明する。

【０００３】図３１は人間の眼球を水平方向に切断した
断面図である。この図において、１は眼球であり、この
眼球１は、略球形の強膜２の中に硝子体３が充満され、
この強膜２の前部（図中左部）に水晶体４、虹彩５およ
び角膜６が形成されて概略構成されている。虹彩５は一
種の絞りであり、開口部は瞳孔７と呼ばれる。角膜６の
曲率は強膜２（硝子体３）の曲率と異なり、図に示すご
とく、角膜曲率中心Ｃと眼球回転中心Ｏ′との間にはほ
ぼ一定と仮定できる距離ρが生じる。また、瞳孔中心Ｄ
と眼球回転中心Ｏ′との間の距離Ａもほぼ一定と仮定で
きる。

【０００４】図３１に示すように水平方向（図中上下方
向）にｘ軸をとり、不図示の視野画面の中心に眼球１が
正対するときの眼球回転中心Ｏ′のｘ軸の位置を原点Ｏ
とする。このときの瞳孔中心Ｄのｘ軸上の位置（これも
Ｄで示す）および角膜反射像Ｐのｘ軸上の位置（これも
Ｐで示す）は、眼球回転角θを図示のごとく定義すれ
ば、

【数１】Ｄ＝Ｌ＋Ａ×ｓｉｎθ (１) Ｐ＝Ｌ＋ρ×ｓｉｎθ (２) と表される。ここにいう角膜反射像Ｐはプルキンエ第１
像と呼ばれるものであり、角膜６を凸レンズと考えたと
きにその表面で反射する光線の虚像である。(１)式から
(２)式を減算すると、眼球回転中心の平行移動成分Ｌを
打ち消す事ができて、

【数２】Ｄ−Ｐ＝(Ａ−ρ)×ｓｉｎθ (３) が得られる。このとき、眼球回転角θが小さいと仮定
し、ｓｉｎθ≒θが成り立っているとして眼球回転角θ
を計算すると、

【数３】 θ＝(Ｄ−Ｐ)／(Ａ−ρ) (４) となる。

【０００５】

【発明が解決しようとする課題】しかしながら、上述の
公報に開示された従来の視線検出装置にあっては、(１)
〜(３)式が本来は平行光線によって結像する角膜反射像
にしか成り立たないにもかかわらず、有限距離にある視
線検出用光源についてもこれら(１)〜(３)式を用いて視
線検出演算を行っている為、求まった視線が観察者の視
線とずれが生じるおそれがある、という問題があった。
これを、図３２を参照して説明する。図３２(ａ)は平行
光線ＰＬが眼球１の正面から入射した場合を示し、角膜
反射像Ｐは角膜曲率中心Ｃから距離ｒ／２（ｒは角膜６
の曲率半径）だけ光源に近寄った位置に生じ、かつ、眼
球回転中心Ｏ′、角膜曲率中心Ｃおよび角膜反射像Ｐは
一直線上にある。この光源Ｓが図３２(ｂ)に示すように
有限距離に位置すると、有限距離にある光源Ｓからの光
線が発散光ＤＬであることから角膜反射像Ｐ′は平行光
線の場合に比較してΔｒだけ光源Ｓに近接した位置に生
じる。さらに、図３２(ｃ)に示すように眼球が図中下方
に距離Ｌだけ平行移動すると、角膜反射像Ｐ′は角膜曲
率中心Ｃの回りにαだけ回転した位置に生じ、正面から
見るとΔＬだけ図中上方にずれている。一方、平行光線
が眼球１の正面から入射していれば、図３２(ｃ)のよう
に眼球１が平行移動しても図中Ｐの位置に角膜反射像が
生じる。したがって、ΔＬが光源Ｓを有限距離に置いた
ことによるずれとなる。

【０００６】本発明の目的は、有限距離にある光源を用
いても眼球の視線を正確に求めることの可能な視線検出
装置を提供することにある。

【０００７】

【課題を解決するための手段】クレーム対応図である図
１に対応付けて説明すると、本発明は、観察者の眼球を
照明する２個以上の照明手段１０１と、前記照明手段１
０１により照明された前記眼球の反射像から前記眼球の
視線を算出する視線算出手段１０２とを備えた視線検出
装置に適用される。そして、上述の目的は、前記視線算
出手段１０２が前記各照明手段１０１からの各照明光に
よって形成される前記眼球の各角膜反射像に基づいてこ
の眼球の角膜曲率中心位置を求め、この角膜曲率中心位
置を用いて視線を算出することにより達成される。この
とき、前記照明手段１０１のうち少なくとも１個の照明
手段１０１が前記眼球を直接照明することもできる。ま
た、前記照明手段１０１を３個以上設けたとき、前記各
照明手段１０１からの各照明光によって形成される前記
眼球の各角膜反射像から２個の角膜反射像を選択する選
択手段１０３を設け、前記選択手段１０３により選択さ
れた２個の角膜反射像に基づいて前記視線算出手段１０
２が前記視線を算出するようにしてもよい。

【０００８】

【作用】視線算出手段１０２は、各照明手段１０１から
の各照明光によって形成される眼球の各角膜反射像に基
づいてこの眼球の角膜曲率中心位置を求め、この角膜曲
率中心位置を用いて視線を算出する。照明手段１０１か
らの照明光によって形成される眼球の角膜反射像の位置
と角膜曲率中心位置との間には所定の関係式が成立す
る。したがって、照明手段１０１を２個以上設け、これ
ら各照明手段１０１からの照明光によって形成される眼
球の角膜反射像の位置を求めれば、上述の関係式を連立
方程式として立て、この連立方程式を解くことにより視
線を求めるために必要な角膜曲率中心位置を直接的に求
めることができる。

【０００９】

【実施例】以下、図面を参照して実施例の説明を行う。
なお、以下の説明においては、図３１で用いた符号も使
用して観察者の眼球およびその内部について説明を行
う。

【００１０】−第１実施例（光源が２個の場合）− 図２は本発明による視線検出装置の第１実施例を示す構
成図であり、この図において、１１はカメラ等の光学装
置内に設けられた観察面であり、観察者はこの観察面１
１内の特定の点（注視点）を注視している。１２は観察
者眼、１３は視線検出用光源駆動手段、１４ａ、１４ｂ
はともに視線検出用光源であり、これら視線検出用光源
１４ａ、１４ｂは観察者眼１２の近傍においてこの観察
者眼１２が観察面１１を観察する視野を妨げないような
位置に配置されている。なお、両者を区別せずに単に光
源を示す場合は符号１４で代表して示す。１５は可視領
域を透過して赤外領域を反射するダイクロイックミラ
ー、１６は結像レンズ、１７は光電変換素子であり、こ
の光電変換素子１７及び結像レンズ１６の光軸ＬＡは、
観察面１１の中心と図３６における原点Ｏ（観察面１１
の中心に正対する位置に眼球１がある場合の眼球回転中
心Ｏ′と一致）とを通る軸ＣＡと一致し、かつ、ダイク
ロイックミラー１５によってその光軸ＬＡが曲げられて
観察面１１を観察する視野を妨げないように配置されて
いる。１８は光電変換素子１７の出力を処理する信号処
理手段、１９は演算装置であり、この演算装置１９は、
視線検出用光源駆動手段１３の制御、光電変換素子１７
の駆動の制御、および信号処理手段１８の出力から視線
を算出する。

【００１１】図３は、視線検出用光源１４、光電変換素
子１７の配置の他の例を示す構成図である。図３に示す
例では、観察面１１の中心を通る軸ＣＡと一致しない位
置に結像レンズ１６および光電変換素子１７を配置して
いる。

【００１２】図４(Ａ)、(Ｂ)は、観察者眼１２が観察面
１１の中心に正対する位置にあるとき、この観察者眼１
２が観察面１１を観察したときの視線検出用光源１４の
配置状態を示す図である。図中の枠２１は、図５に示す
ように観察者眼１２が観察面１１の中心に正対する位置
にあるときに観察面１１の範囲を決定する枠を仮定した
ものであり、観察面１１と等しい視野を持つ。以下この
枠を「視野枠」と呼ぶ。この視野枠２１は、観察者眼１
２が観察する枠を決定する枠であるので、観察者眼１２
の直前から観察面１１までのどの位置に設定しても良
い。

【００１３】図４(Ａ)、(Ｂ)では、視線検出用光源１４
に２個のＩＲＥＤ１４₁〜１４₂を用いている。ＩＲＥＤ
１４₁、１４₂は、これらＩＲＥＤ１４₁、１４₂を結ぶ直
線が視野枠２１と重ならないような位置に配置され、具
体的には、視野枠２１の外周にＩＲＥＤ１４₁〜１４₂が
配置されている。観察者眼１２の角膜曲率中心Ｃが視野
枠２１内にある限り、ＩＲＥＤ１４₁、１４₂を結ぶ直線
上にこの角膜曲率中心Ｃが位置することはなく、これに
より、後述する視線検出が不能になる事態を避けること
ができる。図４(Ａ)は２個のＩＲＥＤ１４₁、１４₂を視
野枠２１の上部に配置した例であり、視野枠２１の水平
方向にｘ軸を、垂直方向にｚ軸をとったときの各ＩＲＥ
Ｄ１４の座標値（Ｓｘ，Ｓｙ）はＳｘ₁＝−Ｓｘ₂，Ｓｚ
₁＝Ｓｚ₂とされている。同様に、図４(Ｂ)は２個のＩＲ
ＥＤ１４₁、１４₂を視野枠２１の下部に配置した例であ
り、Ｓｘ₁＝０，Ｓｚ₁＝Ｓｚ₂とされている。なお、Ｉ
ＲＥＤ１４₁〜１４₂の配置については図示例に限られる
ものではなく、観察者眼の周囲に２個のＩＲＥＤを配置
すれば良い。

【００１４】図７は本発明の原理を説明する為に導入す
る座標系を示す図である。図７において、観察者の眼球
が観察面の中心に正対する位置にある時の眼球回転中心
位置Ｏ′を原点Ｏとして、この原点Ｏと観察面１１の中
心を通る軸方向にＹ軸を、観察面１１の一方向にＸ軸
を、このＸ軸及びＹ軸に共に垂直な方向にＺ軸をとる三
次元座標を設定し、以下これを「実空間座標」と呼ぶ。

【００１５】図６は、本発明の光学原理を示す図であ
る。視線検出用光源１４ａ、１４ｂは観察者眼１２の近
傍にあり、これら光源１４ａ、１４ｂのうち一方の光源
１４ａは観察者眼１２に角膜反射像の虚像をＰ点に結
ぶ。この虚像は結像レンズ１６を介して、光電変換素子
上のＰ′点に再結像する。この時、光電変換素子１７の
受光面の一方向をＸ′軸に、このＸ′軸に垂直な方向に
Ｚ′軸をとる座標系を設定し、以下これを「観察平面座
標」と呼ぶ。Ｐ点は実空間座標上で、Ｐ：(Ｐｘ，Ｐ
ｙ，Ｐｚ)と表され、Ｐ′点は観察平面座標上でＰ′：
(Ｐｘ′，Ｐｚ′)と表される。この時、Ｐ点とＰ′点と
の関係は実空間座標系に対する光電変換素子の受光面の
角度、すなわち、実空間座標系に対する観察平面座標系
の角度を考慮した関数ｆ_x、ｆ_zを用いれば、

【数４】Ｐｘ＝ｆ_x(Ｐｘ′，Ｐｚ′) (５) Ｐｚ＝ｆ_z(Ｐｘ′，Ｐｚ′) (６) のように、実空間座標系のｘ−ｚ平面に変換可能であ
る。ゆえに、光電変換素子１７上に観察され、観察平面
座標系で表された角膜反射像及び、瞳孔中心位置の光電
変換素子１７上の結像点の座標は実空間座標系のｘ−ｚ
平面上に任意に変換可能である。ゆえに、光電変換素子
１７上に結像した結像点の座標は、変換式(５)、(６)を
用いて実空間座標系のｘ−ｚ平面座標での計算が可能で
ある。以上に述べたことは、Ｐ点、結像レンズ１６及び
光電変換素子１７の位置関係が変わっても、変換式
(５)、(６)の具体的な形が変わるだけで、Ｐ点とＰ′点
が変換式(５)、(６)を用いて変換可能であることには変
わりがない。

【００１６】次に、本発明に用いている視線検出用光源
１４は有限距離にある点光源であり、発散光として眼球
を照明していることに注意して、本発明の視線の検出手
順の原理について前述の実空間座標系を用いて説明す
る。図７および図８に示すように、実空間座標系におい
て光源１４によるプルキンエ第１像Ｐ：(Ｘ_p1，Ｙ_p1，
Ｚ_p1)と瞳孔中心Ｄ：(Ｘｄ、Ｙｄ，Ｚｄ)の座標値は、
光源Ｓ：(Ｓｘ，Ｓｙ，Ｓｚ)、角膜曲率中心Ｃ：(Ｃ
ｘ，Ｃｙ，Ｃｚ)＝(Ｌ＋ρcosφsinθ，ρcosφcosθ，
ｋ＋ρsinφ)の座標値を用いて次のように表される。こ
こで、ｆは角膜表面反射の焦点距離、ρは眼球回転中心
と角膜曲率中心との距離、ＬはＸ軸方向の眼球回転中心
の平行移動、θはＸ軸方向の眼球回転角、ｋはＺ軸方向
の眼球回転中心の平行移動、φはＺ軸方向の眼球回転角
である。まず、プルキンエ第１像位置Ｐの座標値は、

【数５】Ｘ1_p1＝ｆ／(σ₁−ｆ)×Ｓｘ₁＋(１−ｆ／(σ₁−ｆ))×Ｃｘ (７) Ｚ1_p1＝ｆ／(σ₁−ｆ)×Ｓｚ₁＋(１−ｆ／(σ₁−ｆ))×Ｃｚ (８) Ｘ2_p1＝ｆ／(σ₂−ｆ)×Ｓｘ₂＋(１−ｆ／(σ₂−ｆ))×Ｃｘ (９) Ｚ2_p1＝ｆ／(σ₂−ｆ)×Ｓｚ₂＋(１−ｆ／(σ₂−ｆ))×Ｃｚ (１０) 但し、 σ₁＝√((Ｓｘ₁−Ｃｘ)²＋(Ｓｙ₁−Ｃｙ)²＋(Ｓｚ₁−Ｃｚ)²) (１１) σ₂＝√((Ｓｘ₂−Ｃｘ)²＋(Ｓｙ₂−Ｃｙ)²＋(Ｓｚ₂−Ｃｚ)²) (１２) となる。ここで、σ₁は光源Ｓ₁と角膜曲率中心Ｃとの距
離を、σ₂は光源Ｓ₂と角膜曲率中心Ｃとの距離を表して
いる。以上の(７)〜(１０)式においてσ₁、σ₂を変数と
考えて角膜曲率中心Ｃの座標値を求めると、

【数６】Ｃｘ=(Sx₁Z1_p1(Sx₂-X2_p1)-Sx₂Z2_p1(Sx₁-X1_p1)-Sz₁X1_p1(Sx₂-X2_p1)+Sz₂X2_p1(Sx ₁-X1_p1))/((Sx₁-X1_p1)×(Sz₂-Z2_p1)-(Sx₂-X2_p1)×(Sz₁-Z1_p1)) (１３) Ｃｚ=(Sz₁X1_p1(Sz₂-Z2_p1)-Sz₂X2_p1(Sz₁-Z1_p1)-Sx₁Z1_p1(Sz₂-Z2_p1)+Sx₂Z2_p1(Sz ₁-Z1_p1))/((Sz₁-Z1_p1)×(Sx₂-X2_p1)-(Sz₂-Z2_p1)×(Sx₁-X1_p1)) (１４) となる。一方、上述のごとく角膜曲率中心Ｃの座標値
(Ｃｘ，Ｃｚ)は

【数７】Ｃｘ＝Ｌ＋ρcosφsinθ (１３′) Ｃｚ＝ｋ＋ρsinφ (１４′) と表せる。

【００１７】また、瞳孔中心Ｄの座標値(Ｘｄ，Ｚｄ)
は、眼球回転中心Ｏ′から瞳孔中心Ｄまでの距離をＡと
して、

【数８】Ｘｄ＝Ｌ＋Ａcosφsinθ (１５) Ｚｄ＝ｋ＋Ａsinφ (１６) となる。以上の(１３′)，(１４′)，(１５)，(１６)式
を連立させればθ，Ｌ，φ，ｋが求まり、視線が求ま
る。

【数９】 θ＝sin^-1((Ｘｄ−Ｃｘ)／((Ａ−ρ)cos(sin^-1(Ｚｄ−Ｃｚ)／(Ａ−ρ)))) (１７) Ｌ＝−ρ／(Ａ−ρ)×Ｘｄ＋Ａ／(Ａ−ρ)×Ｃｘ (１８) φ＝sin^-1((Ｚｄ−Ｃｚ)／(Ａ−ρ)） (１９) ｋ＝−ρ／(Ａ−ρ)×Ｚｄ＋Ａ／(Ａ−ρ)×Ｃｚ (２０) ここで注意すべきことは、角膜曲率中心Ｃが第１の光源
Ｓ₁および第２の光源Ｓ₂を結ぶ直線上にあるときは(１
３)、(１４)式の分母が０になり、計算不能となってし
まうため、光源Ｓ₁、Ｓ₂の配置位置を工夫する必要があ
る。

【００１８】図９は、本実施例の視線検出装置による視
線検出演算を示すフローチャートである。まず、ステッ
プＳ１０１では、視線検出用光源１４であるＩＲＥＤ１
４₁、１４₂によって観察者眼１２を照明し、このＩＲＥ
Ｄ１４₁、１４₂によって照明された眼球１の瞳孔７と虹
彩５の境界を、光電変換素子１７上の二点ｘ′_dL，ｚ′
_dL、ｘ′_dR，ｚ′_dRの座標値として読み取る。境界検出
手法は周知であり（たとえば上述の特開平３−１０９０
２９号公報）、ここでは詳細を省略する。ステップＳ１
０２では、ステップＳ１０１において読み取られた光電
変換素子１７上の二点の座標値ｘ′_dL，ｚ′_dL、
ｘ′_dR，ｚ′_dRを実空間座標に変換し、実空間座標上の
瞳孔７と虹彩７の境界の座標値ｘ_dL，ｚ_dL、ｘ_dR，ｚ_dR
を求める。ステップＳ１０３では、実空間上における瞳
孔７と虹彩５との境界の中点を瞳孔中心位置Ｄとし、こ
の瞳孔中心Ｄの座標値Ｘｄ，Ｚｄを求める。

【００１９】次に、ステップＳ１０４では、第１の視線
検出用光源であるＩＲＥＤ１４₁からの発散光の照明に
よって生じたプルキンエ第１像（角膜反射像）Ｐ₁の位
置を、光電変換素子１７上の座標値Ｘ1′_p1，Ｚ1′_p1と
して検出する。このプルキンエ第１像検出手法も周知で
あり、ここでは詳細を省略する。ステップＳ１０５で
は、光電変換素子１７上のプルキンエ第１像Ｐ₁の座標
値Ｘ1′_p1，Ｚ1′_p1を実空間座標に変換し、実空間座標
上のプルキンエ第１像Ｐ₁の座標値Ｘ1_p1，Ｚ1_p1を求め
る。同様に、ステップＳ１０６では、第２の視線検出用
光源であるＩＲＥＤ１４₂からの発散光の照明によって
生じたプルキンエ第１像（角膜反射像）Ｐ₂の位置を、
光電変換素子１７上の座標値Ｘ2′_p1，Ｚ2′_p1として検
出する。ステップＳ１０７では、光電変換素子１７上の
プルキンエ第１像Ｐ₂の座標値Ｘ1′_p1，Ｚ1′_p1を実空
間座標に変換し、実空間座標上のプルキンエ第１像Ｐ₂
の座標値Ｘ1_p1，Ｚ1_p1を求める。

【００２０】さらに、ステップＳ１０８では、プルキン
エ第１像Ｐ₁，Ｐ₂の座標値Ｘ1_p1，Ｚ1_p1、Ｘ2_p1，Ｚ2_p1
および光源Ｓ₁、Ｓ₂の座標値Ｓｘ₁，Ｓｚ₁、Ｓｘ₂，Ｓ
ｚ₂を(１３)、(１４)式に代入して角膜曲率中心Ｃの座
標値Ｃｘ，Ｃｚを求め、この角膜曲率中心Ｃの座標値Ｃ
ｘ，Ｃｚ、およびプルキンエ第１像Ｐ₁，Ｐ₂の座標値Ｘ
1_p1，Ｚ1_p1、Ｘ2_p1，Ｚ2_p1、瞳孔中心Ｄの座標値Ｘｄ，
Ｚｄを(１７)〜(２０)式へ代入し、視線θ，Ｌ，φ，ｋ
を求める。なお、(１７)〜(２０)式には未知の変数Ａ、
ρが含まれているが、これらの値は眼球個体によって大
きく変化するものではないため、これらは一定値をとる
ものとして適切な値を代入すればよい。以上の手順によ
り、角膜曲率中心Ｃの位置を用いて観察者眼１２の視線
θ，Ｌ，φ，ｋを正確に求めることができる。

【００２１】−第２実施例（光源が３個以上の場合）− 以下、視線検出用光源を３個以上用いた場合の実施例に
ついて説明する。上述のごとく、２個の視線検出用光源
１４ａ、１４ｂを結ぶ直線上に観察者眼１２の角膜曲率
中心Ｃが位置した場合、本発明の原理では角膜曲率中心
Ｃの位置を求めることができない。そこで、視線検出用
光源を３個以上設け、いずれか２個の視線検出用光源を
結ぶ直線上に観察者眼１２の角膜曲率中心Ｃが位置した
ときは、光源を結ぶ直線上に角膜曲率中心Ｃが位置しな
い視線検出用光源の組合せを探して視線検出を行う。し
たがって、全ての視線検出用光源が同一直線上にあるこ
とは好ましくなく、任意の２個の視線検出用光源を結ん
だ直線上に他の視線検出用光源が位置しないことが好ま
しい。

【００２２】図１０は本発明による視線検出装置の第２
実施例を示す構成図である。なお、以下の説明におい
て、上述の第１実施例と同様な構成要素については同一
の符号を付し、その説明を省略する。図１０に示す装置
では、３個の視線検出用光源１４ａ〜１４ｃが用いら
れ、これら視線検出用光源１４ａ〜１４ｃは、観察者眼
１２の近傍においてこの観察者眼１２が観察面１１を観
察する視野を妨げないような位置に配置されている。図
１１は、視線検出用光源１４、光電変換素子１７の配置
の他の例を示す構成図である。図１１に示す例では、観
察面１１の中心を通る軸ＣＡと一致しない位置に結像レ
ンズ１６および光電変換素子１７を配置している。図１
２〜図１４は、視線検出用光源１４、光電変換素子１７
の配置のまた他の例を示す構成図である。これらの図に
示す例では、３個の視線検出用光源１４ａ〜１４ｃのう
ちいくつかの光源が、ダイクロイックミラー等を介して
観察面１１内の観察者の視野を妨げない位置に配置され
ている。これら図では光電変換素子１７の図示を省略し
ているが、光電変換素子１７は、観察面１１と観察者眼
１２との間においてこの観察面１１の中心を通る軸ＣＡ
上、あるいはこの軸ＣＡから外れた位置に配置されてい
る。図１２では、１つの視線検出用光源１４ａをダイク
ロイックミラー１５を介して観察面１１内に配置し、残
りの視線検出用光源１４ｂ、１４ｃを観察者眼１２の近
傍に配置している。図１３では、２つの視線検出用光源
１４ａ、１４ｂをダイクロイックミラー１５を介して観
察面１１内に配置し、残りの視線検出用光源１４ｃを観
察者眼１２の近傍に配置している。図１４では、全ての
視線検出用光源１４ａ〜１４ｃをダイクロイックミラー
１５を介して観察面１１内に配置している。

【００２３】図１５(Ａ)〜(Ｄ)は、観察者眼１２が観察
面１１の中心に正対する位置にあるとき、この観察者眼
１２が観察面１１を観察したときの視線検出用光源１４
の配置状態を示す図である。この図１５(Ａ)〜(Ｄ)で
は、視線検出用光源１４に３個のＩＲＥＤ１４₁〜１４₃
を用いている。図１５(Ａ)はＩＲＥＤ１４₁を視野枠２
１の上部に、ＩＲＥＤ１４₂、１４₃を視野枠２１の左右
にそれぞれ配置した例であり、各ＩＲＥＤ１４₁〜１４₃
の座標値（Ｓｘ，Ｓｙ）はＳｘ₁＝０，Ｓｘ₂＝−Ｓ
ｘ₃，Ｓｚ₂＝−Ｓｚ₃＝０とされている。図１５(Ｂ)
は、図１２に示すようにダイクロイックミラー等を介し
てＩＲＥＤ１４1を視野枠２１の中央に配置し、ＩＲＥ
Ｄ１４₂、１４₃を視野枠２１の上部および右部にそれぞ
れ配置した例である。図１５(Ｃ)は、図１４に示すよう
にダイクロイックミラー等を介して全てのＩＲＥＤ１４
₁〜１４₃を視野枠２１の中央に配置した例である。図１
５(Ｄ)は２個のＩＲＥＤ１４₁、１４₂を視野枠２１の上
部に、ＩＲＥＤ１４₃を視野枠２１の下部にそれぞれ配
置した例であり、各ＩＲＥＤ１４₁〜１４₃の座標値はＳ
ｘ₁＝−Ｓｘ₂，Ｓｘ₃＝０，Ｓｚ₁＝Ｓｚ₂＝−Ｓｚ₃とさ
れている。なお、図１５(Ｄ)に示す例ではＩＲＥＤ１４
₁、１４₂を結ぶ直線が視野枠２１の外側を通っている
が、この場合であっても視線検出は可能である。なお、
ＩＲＥＤ１４₁〜１４₃の配置については図示例に限られ
るものではなく、観察者眼の周囲に３個のＩＲＥＤを配
置し、かつ、２個のＩＲＥＤを結んだ直線上に他のＩＲ
ＥＤが存在しないようにすれば良い。

【００２４】図１６および図１７は、本実施例の視線検
出装置による視線検出演算を示すフローチャートであ
る。まず、図１６のステップＳ２０１〜Ｓ２０７では、
上述の第１実施例のステップＳ１０１〜Ｓ１０７と同様
の手順が実行される。ステップＳ２０８では、上述の
(１３)式の分母(Ｓｘ₁−Ｘ1_p1)×(Ｓｚ₂−Ｚ2_p1)−(Ｓ
ｘ₂−Ｘ_2p1)×(Ｓｚ₁−Ｚ1_p1)が０とみなせる程度の微
小値ε以下であるか否かが判定され、判定が肯定される
とＩＲＥＤ１４₁、１４₂を結ぶ直線上に観察者眼１２の
角膜反射中心Ｃが位置しているものと判断してステップ
Ｓ２０９に移行し、判定が否定されるとＩＲＥＤ１
４₁、１４₂を結ぶ直線上に観察者眼１２の角膜反射中心
Ｃは位置していないものと判断してステップＳ２１２に
移行する。

【００２５】ステップＳ２０９およびＳ２１０では、第
３の視線検出用光源であるＩＲＥＤ１４₃について、上
述のステップＳ２０４およびＳ２０５と同様の手順を実
行し、実空間座標上のプルキンエ第１像Ｐ₃の座標値Ｘ3
_p1，Ｚ3_p1を求める。ステップＳ２１１では、Ｘ3_p1，Ｚ
3_p1をそれぞれＸ1_p1，Ｚ1_p1に代入する。そして、ステ
ップＳ２１２では、プルキンエ第１像Ｐ₁，Ｐ₂の座標値
Ｘ1_p1，Ｚ1_p1、Ｘ2_p1，Ｚ2_p1および光源Ｓ₁、Ｓ₂の座標
値Ｓｘ₁，Ｓｚ₁、Ｓｘ₂，Ｓｚ₂を(１３)、(１４)式に代
入して角膜曲率中心Ｃの座標値Ｃｘ，Ｃｚを求め、この
角膜曲率中心Ｃの座標値Ｃｘ，Ｃｚ、およびプルキンエ
第１像Ｐ₁，Ｐ₂の座標値Ｘ1_p1，Ｚ1_p1、Ｘ2_p1，Ｚ2_p1、
瞳孔中心Ｄの座標値Ｘｄ，Ｚｄを(１７)〜(２０)式へ代
入し、視線θ，Ｌ，φ，ｋを求める。以上の手順によ
り、角膜曲率中心Ｃの位置を用いて観察者眼１２の視線
θ，Ｌ，φ，ｋを正確に求めることができる。なお、本
実施例では、ＩＲＥＤ１４₁、１４₂を結ぶ直線上に角膜
曲率中心Ｃが位置したときにＩＲＥＤ１４₂、１４₃を用
いて視線検出動作を行ったが、ＩＲＥＤ１４₁、１４₃を
用いて視線検出動作を行ってもよい。また、ＩＲＥＤを
４個設け、２個のＩＲＥＤを結ぶ直線上に角膜曲率中心
Ｃが位置したときは残りの２個のＩＲＥＤを用いて視線
検出動作を行ってもよい。

【００２６】−カメラへの適用例− 以下に本発明の視線検出装置を一眼レフレックスカメラ
(以下単にカメラという)に搭載した場合の実施例を述べ
る。

【００２７】図１８は、図２に示した視線検出装置をカ
メラに搭載した場合の実施例を示す概略図である。この
図において、３１は便宜上一枚のレンズで示してある
が、実際は複数のレンズからなる撮影レンズ、３２はク
イックリターンミラー、３３は表示装置、３４は焦点
板、３５はコンデンサーレンズ、３６はペンタプリズ
ム、３７は便宜上一枚のレンズで示してあるが、実際は
複数のレンズからなる場合もある接眼レンズで、光分割
装置として、ダイクロイックミラー３７ａを有してい
る。３８は接眼部から内部にほこりや水滴等が入るのを
防止する、度を持たない接眼ガラス、３９は観察者眼で
ある。４０ａは視線検出用光源であり、接眼ガラス３８
の周囲から直接観察者眼３９を照射する位置に配置され
ている。なお、本実施例では、図示しない１個以上の視
線検出用光源が、同様に接眼ガラス３８の周囲から直接
観察者眼３９を照射する位置に配置されている。本実施
例のようにカメラに搭載する場合、視線検出用光源は、
赤外発光ダイオードのように眼に見えない波長域の光を
発光する光源を使用することが望ましい。４１は結像レ
ンズ、４２は光電変換素子であり、ＣＣＤのような面受
光素子が適している。本実施例と上述の図５とを対比す
ると、図５における観察面１１はカメラのファインダー
視野に相当し、視野枠２１は観察者がカメラを覗くとき
のファインダー接眼窓に相当する。従って視線検出用光
源は、ファインダー接眼窓の周囲に配置するのが最も良
い。具体例を図１９に示す。

【００２８】図１９は、図１８に示すカメラのファイン
ダー部を取り出して示した正面図である。図１９(Ａ)に
おいて、４０ａ、４０ｂはともに視線検出用光源、５０
はファインダー接眼窓、５１は接眼目当て、５２はファ
インダー本体、５３はクリップオン式のアクセサリーシ
ュー、５４はアイピースシャターレバーである。また、
図１９(Ａ)では視線検出用光源４０ａ、４０ｂをファイ
ンダー接眼窓５０の上方に配置したが、図１９(Ｂ)の斜
線部５５の位置、すなわちファインダー接眼窓５０の上
下左右のどの位置に配置しても良い。また、ファインダ
ー接眼窓５０の周囲に視線検出用光源４０を３個以上配
置することも可能であり、その場合、図１９(Ｂ)の斜線
部５５の位置の内のいずれかに、すなわちファインダー
接眼窓５０の上下左右の内のいずれかの位置に配置すれ
ば良い。本実施例における視線検出用光源４０ａ、接眼
ガラス３８および接眼目当て５１の位置関係は図２０に
示すような関係にある。接眼ガラス３８はファインダー
本体５２の接眼窓５０に取り付けられ、かつ、接眼目当
て５１が何ら光学系を持たない構成にすることにより、
視線検出用光源４０ａが直接観察者眼１２を照射し、接
眼ガラス３８を照射しないようにされている。視線検出
用光源４０ａが直接観察者眼１２を照射するメリットは
次の点にある。すなわち、光電変換素子４２のごとくダ
イクロイックミラー３７ａを介して観察者眼１２を照射
した場合、接眼レンズ３７内での反射等によりゴースト
が生じ、これが光電変換素子４２に結像されると視線検
出に影響を及ぼすおそれがある。図１８に示すように光
源４０ａにより直接観察者眼１２を照射すれば、接眼レ
ンズ３７内での反射等によるゴーストが生じるおそれも
なく、視線検出への影響もない。また、ダイクロイック
ミラー３７ａ等を介して観察者眼１２を照射する場合に
比較して、光源４０ａの配置位置の自由度が高まる。

【００２９】図２１は、図３に示した視線検出装置をカ
メラに搭載した場合の実施例を示す概略図、図２２はフ
ァインダー部のみを取り出して示した正面図である。図
示のごとく、結像レンズ４１および光電変換素子４２は
視線検出用光源４０ａ、４０ｂ（図２１では光源４０ｂ
の図示を省略）と同様に接眼ガラス３８の周囲に配置さ
れている。本実施例では接眼レンズ３７は必然的にダイ
クロイックミラー３７ａを持たない。図２１および図２
２(Ａ)に示すように、視線検出用光源４０ａ、４０ｂは
ファインダー接眼窓５０の上方に、光電変換素子４２は
ファインダー接眼窓５０の下方に配置されているが、図
２２(Ｂ)の斜線部５５の位置、すなわちファインダー接
眼窓５０の上下左右のどの位置に配置しても良い。ま
た、ファインダー接眼窓５０の周囲に視線検出用光源を
３個以上配置することも可能であり、その場合、図２２
(Ｂ)の斜線部５５の位置の内のいずれかに、すなわちフ
ァインダー接眼窓５０の上下左右の内のいずれかの位置
に配置すれば良い。図２３は視線検出用光源４０ａおよ
び結像レンズ４１、光電変換素子４２と接眼ガラス３８
および接眼目当て５１との位置関係を示す図である。

【００３０】図２４は、図１２に示した視線検出装置を
カメラに搭載した場合の実施例を示す概略図である。図
２４に示す例では、ダイクロイックミラー３７ａを介し
て１個の光源４０ａのみをファインダー接眼窓５０内に
配置している。ダイクロイックミラー３７ａを介して光
源４０ａを配置した場合、各光源４０ａ、４０ｂから観
察者眼１２までの距離は光源４０ａ、４０ｂ毎に比較的
大きく異なるが、視線検出動作に影響を及ぼすものでは
ない。図２５は、図２４に示した実施例において、２枚
のダイクロイックミラー３７ａ、４３ａを用いて、ファ
インダー接眼窓５０内に視線検出用光源４０ａを、光軸
上に光電変換素子４２を配置している。

【００３１】図２６は、図１４に示した視線検出装置を
カメラに搭載した場合の実施例を示す概略図である。図
中では１個の光源４０ａのみ図示してあるが、全ての光
源４０はダイクロイックミラー３７ａを介してファイン
ダー接眼窓５０内に配置されている。また、光電変換素
子４２は接眼ガラス３８の周囲に配置されている。図２
７は、図２６に示した実施例において、２枚のダイクロ
イックミラー３７ａ、４３ａを用いて、ファインダー接
眼窓５０内に視線検出用光源４０（図中では１個のみ図
示）を、光軸上に光電変換素子４２を配置している。

【００３２】なお、上述したカメラへの適用例は、その
細部が上述の各実施例に限定されない。図２８は図２に
示す視線検出装置を別な形状のファインダーに搭載した
場合を示す正面図である。図２８において、４０ａ、４
０ｂはともに視線検出用光源、５０はファインダー接眼
窓、５３はクリップオン式のアクセサリーシュー、５６
は図１９における接眼目当てに相当する部材で、接眼枠
という。５７はカメラボデー、５８はポップアップ式の
カメラ本体内蔵閃光装置、５９は閃光装置のポップアッ
プボタンである。図示のカメラは、接眼枠５６をカメラ
ボデー５７に直接固定する構成であるため、接眼枠５６
上に視線検出用光源４０ａ、４０ｂを直接配置できる。
図２９は図３に示す視線検出装置を別な形状のファイン
ダーに搭載した場合を示す正面図であり、結像レンズ４
１および光電変換素子４２(ともに図示せず)も接眼枠５
６上に配置した例を示している。上述のようなファイン
ダーにおいては、図３０のようにファインダー接眼窓５
０の四隅にも視線検出用光源４０ａ、４０ｂを配置する
ことができので、設計上の自由度が大きくなる。

【００３３】

【発明の効果】以上詳細に説明したように、請求項１の
発明によれば、２個以上の照明手段により直接的に角膜
曲率中心位置を求めることができるので、照明手段が有
限距離にあるときでも観察者の視線を正しく求めること
ができる。このため、請求項２の発明のように、光学系
を用いることなく照明手段により直接観察者の眼球を照
明して観察者の視線を検出することができ、確実な視線
検出が可能となるとともに照明手段の配置の自由度を高
めることができる。また、請求項３の発明によれば、３
個以上の中から２個の照明手段を選択することによりど
んな場合でも直接的に角膜曲率中心位置を求めることが
でき、視線検出の確実性を高めることができる。

【図面の簡単な説明】

【図１】本発明のクレーム対応図である。

【図２】本発明の第１実施例である視線検出装置の構成
の一例を示す図である。

【図３】第１実施例の視線検出装置の構成の他の例を示
す図である。

【図４】第１実施例の視線検出用光源の配置の一例を示
す図である。

【図５】観察面と視野枠の関係を表す図である。

【図６】本発明の視線検出系を示す光学説明図である。

【図７】本発明の原理を説明するための図である。

【図８】図７と同様の図である。

【図９】本発明の第１実施例の動作を説明するためのフ
ローチャートである。

【図１０】本発明の第２実施例である視線検出装置の構
成の一例を示す図である。

【図１１】第２実施例の視線検出装置の構成の他の例を
示す図である。

【図１２】第２実施例の視線検出装置の構成のまた他の
例を示す図である。

【図１３】第２実施例の視線検出装置の構成のさらに他
の例を示す図である。

【図１４】第２実施例の視線検出装置の構成のさらに他
の例を示す図である。

【図１５】第２実施例の視線検出用光源の配置の一例を
示す図である。

【図１６】本発明の第２実施例の動作を説明するための
フローチャートである。

【図１７】図１６に続くフローチャートである。

【図１８】本発明が適用されたカメラの一例を示す光学
系の概略図である。

【図１９】図１８のカメラのうちファインダー部を取り
出して示した正面図である。

【図２０】図１８のファインダー部を示す断面図であ
る。

【図２１】本発明が適用されたカメラの他の例を示す光
学系の概略図である。

【図２２】図２１のカメラのうちファインダー部を取り
出して示した正面図である。

【図２３】図２２のファインダー部を示す断面図であ
る。

【図２４】本発明が適用されたカメラのまた他の例を示
す光学系の概略図である。

【図２５】本発明が適用されたカメラのさらに他の例を
示す光学系の概略図である。

【図２６】本発明が適用されたカメラのさらに他の例を
示す光学系の概略図である。

【図２７】本発明が適用されたカメラのさらに他の例を
示す光学系の概略図である。

【図２８】図２の視線検出用光源を別の形状をしたカメ
ラのファインダー部に配置した状態を示す正面図であ
る。

【図２９】図３の視線検出用光源および光電変換素子を
別の形状をしたカメラのファインダー部に配置した状態
を示す正面図である。

【図３０】図２９における視線検出用光源をファインダ
ー部の右上に配置した例である。

【図３１】人間の眼球を示す水平断面図である。

【図３２】光線が平行光線である場合と発散光である場
合とによる角膜反射像位置のずれを説明するための図で
ある。

【符号の説明】

１１観察面１２、３９観察者眼１４ａ〜１４ｃ、４０ａ〜４０ｃ視線検出用光源１４₁〜１４₃ ＩＲＥＤ１７、４２光電変換素子１９演算装置２１視野枠

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁵ 識別記号庁内整理番号ＦＩ技術表示箇所Ｇ０３Ｂ 13/02 7139−2Ｋ 7316−2ＫＧ０３Ｂ 3/00 Ａ

Claims

【特許請求の範囲】

【請求項１】観察者の眼球を照明する２個以上の照明
手段と、前記照明手段により照明された前記眼球の反射像から前
記眼球の視線を算出する視線算出手段とを備えた視線検
出装置において、前記視線算出手段は、前記各照明手段からの各照明光に
よって形成される前記眼球の各角膜反射像に基づいてこ
の眼球の角膜曲率中心位置を求め、この角膜曲率中心位
置を用いて視線を算出することを特徴とする視線検出装
置。
【請求項２】請求項１に記載の視線検出装置におい
て、前記照明手段のうち少なくとも１個の照明手段が前記眼
球を直接照明することを特徴とする視線検出装置。
【請求項３】請求項１または２に記載の視線検出装置
において、前記照明手段は３個以上設けられ、前記各照明手段からの各照明光によって形成される前記
眼球の各角膜反射像から２個の角膜反射像を選択する選
択手段を備え、前記視線算出手段は前記選択手段により選択された２個
の角膜反射像に基づいて前記視線を算出することを特徴
とする視線検出装置。
【請求項４】請求項３に記載の視線検出装置におい
て、前記照明手段のそれぞれは同一直線上にない位置に配置
されていることを特徴とする視線検出装置。