JPH0265835A

JPH0265835A - 視線検出装置

Info

Publication number: JPH0265835A
Application number: JP63216672A
Authority: JP
Inventors: Tokuichi Tsunekawa; 恒川　十九一; Akihiko Nagano; 明彦長野; Kazuki Konishi; 一樹小西
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1988-08-31
Filing date: 1988-08-31
Publication date: 1990-03-06
Anticipated expiration: 2012-11-17
Also published as: JP2677393B2

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】［産業上の利用分野コ本発明は、観察者の視線位置を検出する視線検知装置に
関するものである。

［従来の技術］従来、観察者の視線（視軸）を光学的に検出する視線検
知装置として、特開昭６１−１７２５５２号がある。

これは、観察者の眼球を平行光で照射することにより発
生する角膜前面からの反射像である第１プルキンエ像と
Ｏ１孔中心の位置より検出するようにしたもので、第６
図に基づいて説明する。

図中、５０１は角膜、５０２はＲ膜、５０３は虹彩、５
０４は光源、５０６は投光レンズ、５０７は受光レンズ
、５０９はイメージセンサ−１５１０はハーフミラであ
る。０゛は眼球の回転中心、０は角膜５０１の曲率中心
、ａ、ｂは虹彩５０３の端部、Ｃは虹彩の中心、ｄは第
１プルキンエ像発生位置である。アは受光レンズ５０７
の光軸で図中Ｘ軸と一致している。イは眼球の光軸であ
る。

光源５０４は観察者に対して不感の赤外発行ダイオード
で、投光レンズ５０６の焦点面に配置されている。光源
５０４より発行した赤外光は投光レンズ５０６により平
行光となりハーフミラ５１０により反射され角膜５０１
を照明する。角膜５０１の表面で反射した赤外光の一部
はハーフミラ５１０を透過し受光レンズ５０７によりイ
メージセンサ５０９上の位置ｄ°に結像する。また虹彩
５０３の端部ａ、ｂはハーフミラ５１０、受光レンズ５
０７を介してイメージセンサ５０９上の位置ａ°。

ｂｏに結像する。受光レンズ５０７の光軸アに対する。

眼球の光軸イの回転角θが小さい場合、虹彩５０３の端
部ａ、ｂのＺ座標をｚａ、　Ｚｌ）とすると、虹彩５０
３の中心位置Ｃの座標ｚＣはＺａ＋Ｚｈｚｃ岬□　と表わされる。

また、第１プルキンエ像発生位置ｄのＺ座標をＺｄ、角
膜５０１の曲率中心０と虹彩５０３の中心Ｃまでの距ｍ
ｔｏｃとすると眼球光軸イの回転角Ｏは畳・ｓｉ口θ＃Ｚｃ−Ｚ６　　　　　　　　　　　　　
　　　・・・　（１）の関係式を略満足する。このため
イメージセンサ５０９上に投影された各特異点（第１プ
ルキンエ像ｚｄ゛及び虹彩端部Ｚ１°、　Ｚｂ’）の位
置を検出することにより眼球光軸イの回転角θは明らか
となる。この時　（１）式は β・ｏｃ−ｓｉｎθ〜−Ｚｄ’　　　　＋＋　（２）と
かきかえられる。但し、βは第１プルキンエ像発生位置
と受光レンズ５０７との距離文、と受光レンズ５０７　
とイメージセンサ５０９　との距１１ｉｆｆＲ８で決ま
る倍率で、通常はぼ一定の値をとる。

以上の如き原理により視線の方向の検知が可能になる。

［発明が解決しようとする課題］ところで、この種の従来の視線検知装置では、角膜の反
射率が約２．５零あり、眼球に赤外光を照射し、その反
射像をリニア又はエリア型の固体撮像素子上に結像させ
、眼球中央部を水平に走査したときの眼球の位置に対応
する水平走査信号Ｂは第２図に示すようになり、角膜反
射像は非常に強く正確に検知できるが、他の組織の境の
コントラストは低く、虹彩と瞳孔の境や、白目と黒目の
境である虹彩輪部を精度良く検知することはかなり困難
である。

本発明の目的は、虹彩と瞳孔の境や、電膜（白目）と虹
彩（黒目）の境である虹彩輪部を精度良く検知して、視
線の正確な検知を行なえる視線検知装置を提供するもの
である。

［課題を解決するための手段］本発明の目的を達成するための要旨とするところは、眼
を照明する照明手段と、該照明手段により照明された眼
からの反射光でプルキンエ像位置及び眼の他の組織の像
位置を検知する固体撮像素子からなる像検知手段と、該
像検知手段で検知したプルキンエ像位置と眼の他の組織
の像位置との相対関係から視線方向を検知する視線演算
手段と、該固体撮像素子の蓄積時間を制御する蓄積時間
制御手段とを備え、該像検知手段は画像情報のピーク値
をリアルタイムに出力する方式のラインセンサを該反射
光の光軸に対し直交方向に複数並設した構造とし、また
該蓄積時間制御手段は、該像検知手段の各ラインセンサ
における画像の蓄積開始から画像情報のピーク値が一定
値に達するまで各ラインセンサ毎に画像の蓄積を行なわ
せると共に、各ラインセンサ毎の蓄積時間を検知し、検
知した蓄積時間に基づいて各ラインセンサで検知すべき
画像情報の選択を行なうことを特徴とする視線検知装置
にある。

［作　　　用］上記の如く淘成した視線検知装置は、固体撮像素子から
なる像検知手段を複数のラインセンサの中で、画像情報
の蓄積時間の最も短い情報をプルキンエ像として検知し
、他の画像情報を他のラインセンサから得るようにした
ものであり、他の画像情報は画像情報のピーク値が一定
値になるまで蓄積され、高精度に検知されることとなる
。

［実　施　例］以下、本発明の実施例を図面を用いて詳細に説明する。

第１図は本発明に関わる視線検知装置を有するカメラの
光学ブロックの一実施例である。

１は撮影レンズ、２はクイックリターンミラー　３はピ
ント板、４はコンデンサレンズ、５はペンタプリズムで
あり通常のファインダー光学系を形成している。

６は内部に可視光透過で赤外光反射のビームスプリッタ
−を有するアイピースレンズ、７はビームスプリッタ−
８は投光レンズ、９は受光レンズ、１０は投光用赤外Ｌ
ＥＤ、１１はリニアまたはエリア型のＤＤＤ等の光電変
換素子であり視線検知装置を形成している。１２は撮景
三者の目である。

赤外ＬＥＤＩＯから投光された光は投光レンズ８で平行
光束に変換され目１２に照射される。目の角膜や、虹彩
からの反射光は、ビームスプリッタ−７で反射し、受光
レンズ９を介して、光電変換素子（固定撮像素子）１１
上に結像するように構成されている。

この固体撮像素子１１は、フローテングゲート等の各画
素に蓄積されている画像の情報を非破壊にリアルタイム
で直接モニターできる機能と、モニター出力の最大値を
出力する、所謂リアルタイムビーク値出力機能とを有す
るもので、その構成を第３図に示す。

第３図は固体撮像素子１１の構成の一例を示すブロック
図である。

図中、３１．３２．３３は画像情報を蓄えるための第１
光電変換蓄積部、第２九電変換蓄積部、第３光電変換蓄
積部で上下方向に並設されている。３４．３５．３６は
第１〜第３光電変換蓄積部３１〜３３の情報を夫々読み
出し用の第１アナログシフトレジスタ３７、第２アナロ
グシフトレシス３８、第３アナログシフトレジス３９に
移送するための第１電荷移送ゲート、第２電荷移送ゲー
ト、第３電荷移送ゲートであり、第１Ｂ端子Ｂ、から電
荷移送パルスが人力されると、第１アナログシフトレジ
スタ３７への情報の移送を行ない、その情報が第１Ｃ端
子Ｃ１から出力され、同様に第２Ｂ端子Ｂ２、第３Ｂ端
子Ｂ、から電荷移送パルスが入力されると、第２アナロ
グジフトレジスタ３８、第３アナログシフトレジスタ３
９への情報の移送を夫々行ない、その情報が第２０端子
０２％第３Ｃ４子Ｃ３から夫々出力される。

４０．４１．４２は第１〜第３光電変換蓄積部３１〜３
３の各情報を非破壊的に検知し、それらの最大値を第１
Ａ端子Ａ１　第２Ａ端子Ａ２．第３Ａｉ子Ａ３から出力
するリアルタイムピーク出力回路である。

本実施例の固体撮像素子１１は、眼球からの反射光軸に
対し直交する方向において、光電変換蓄積部を上下方向
３段に並設することにより、例えば固体撮像素子１１に
対する角膜反射像が第２光電変換蓄積部３２の４３の位
置にある場合には、第２０端子Ｃ２からの出力信号に基
づいて角膜反射像の検知を行ない、第１Ｃ端子Ｃ３又は
第３０端子Ｃ３からの出力信号に基づいて、虹彩と瞳孔
の境や、虹彩輪部の検知を行ない、その際第１光電変換
蓄積部３１．第２光電変換蓄積部３２又は第３光電変換
蓄積部３３は各々独立にの蓄積時間を制御して第１Ｃ端
子ＣＩ、第２０端子Ｃ２，第３０端子Ｃ８からの出力信
号のＳ／Ｎを高めるようにしている。また例えば固体撮
像素子１１に対する角膜反射像が第１光電変換蓄積部３
１と第２光電変換蓄積部３２との間の４４の位置にある
場合には、第１光電変換蓄積部３１と第２光電変換蓄積
部３２のうち蓄積時間の短い方の光電変換蓄積部からの
出力信号に基ついて角膜反射像の検知を行ない、第３光
電変換蓄積部３３からの出力信号に基づいて、虹彩と瞳
孔の境や、虹彩輪部の検知を行なうようにしたもので、
第４図（Ａ）に示す制御装置によってこのような制御を
行ない、例えは第５図（Ａ）　に示すような角膜反射像
の信号を取出し、また第５図（Ｂ）に示すように虹彩輪
部を拡大した信号を得るようにしている。

なお、角膜反射像が第３図の４３の位置にある場合には
、虹彩と瞳孔の境や、虹彩輪部の検知を行なうために、
第１光電変換蓄積部３１からの出力信号を用いても良い
し、第３光電変換蓄積部３３からの出力信号を用いても
よい。

しかし、角膜反射像が第３図の４４の位置にある場合に
は、２つの光電変換蓄積部にまたがっているので、第３
光電変換蓄積部３３からの出力信号を用いて虹彩と瞳孔
の境や、虹彩輪部の検知を行なう必要があるが、実際に
は角膜反射像の位置はわからないので、３つの光電変換
蓄積部を有する固体撮像素子で視線検知を行なう場合に
は、蓄積時間の最も短い光電変換蓄積部からの出力信号
に基づいて角膜反射像位置の検知を行ない、蓄積時間の
最も長い光電変換蓄積部からの出力信号に基づいて虹彩
と瞳孔の境や虹彩輪部の検知を行なうのが最も合理的で
あり高精度に視線の方向の検知を可能とするものである
。

第４図（八）は制御装置のブロック図である。

５１は固体撮像素子（第３図に示す固体撮像素子１１と
同構造）、５２．５３はリファレンス電圧Ｖ。発生用の
抵抗、５４，５５．５６は第１〜第３コンパレータ、５
７，５８．５９は第１〜第３ラツチ回路、６０はカウン
タ、６１〜６３は第１〜第３ワンシヨツト回路、６４６
５は上限レヘル電圧ｖ１発生用の抵抗、６６゜６７は下
限レベル電圧ｖ２発生用の抵抗、６８゜６９．７０は第
１〜第３八／Ｄ変換回路、７１は視線演算処理回路で、
この視線演算処理回路７１の詳細については後記する。

このように構成した制御装置は、固体撮像素子５１の第
１〜第３Ａ端子Ａ＋〜Ａ、から各画素のピークの出力が
コンパレータ５４〜５６にリアルタイムに人力され、そ
の値がリファレンス電圧ｖｏに達すると該当する第１〜
第３コンパレータ５４〜５６の出力が反転し、固体撮像
素子５１の画像情報の蓄積開始と共に、カウントを開始
しているカウンタ６０のカウント値を夫々各コンパレー
タの出力反転時に対応する各第１〜第３ラツチ回路５７
〜５９でラッチする。

一方、第１〜第３コンパレータ５４〜５６の出力反転に
同期して、各コンパレータに対応する第１〜第３ワンシ
ヨツト回路６１〜６３からワンショットパルスが発生し
、固体撮像素子５１の対応する第１〜第３Ｂ端子Ｂ　＋
、　Ｂ　２．　Ｂ　。

に電荷移送パルスが加わり、電荷移送パルスの加えられ
た電荷移送ゲートに対応する光電変換蓄積部の画像情報
がそのアナログシフトレジスタに移送され、第１〜第３
Ｃ端子Ｃ１〜Ｃ５から出力されはじめる。

すなわち、固体撮像素子５１に受光される眼球からの反
射像において、角膜反射像、瞳孔反射像、虹彩反射像や
白目の反射像は１ライン分に全て結像されず、目の動き
により、角膜反射像が例えば第３図中符合４３．４４に
示す位置に結像され、瞳孔反射像、虹彩反射像や白目の
反射像が他の光電変換蓄積部にも結像されることになる
。そのため、例えば第３図中符合４３で示す位置に角膜
反射像が結像される場合には、第２光電変換蓄積部３２
に対応する第２リアルタイムビーク出力回路４１からの
ピーク出力値が他の第１．３リアルタイムピ一ク出力回
路４０．４２からのピーク出力値より大きい。

そこで、先ず第２リアルタイムビーク出力回路４１から
のピーク出力値がリファレンス電圧Ｖ０に達すると、第
２コンパレータ５５が最初に反転することになり、同時
に第２ラッチ回路５８にそのとき迄のカウント値がラッ
チされることになる。第２コンパレータ５５の反転で第
２ワンショット回路６２がワンショットパルスを発生し
、第２Ｂ端子Ｂ２に電荷移送パルスが加わって、第２Ｃ
端子Ｃ２から画像情報が出力され、第５図（Ａ）　に示
す如く、第２図の場合と同様に、角膜反射像が大きく、
虹彩輪部等の他の情報の判別か困難な水平走査信号が得
られることになる。しかし、ここでは角膜反射像の情報
のみを必要としているので、他の情報の精度は関係ない
ものである。

一方、他の第１、第３光電変換蓄積部３１．３３におい
ては瞳孔、虹彩、白目からの反射像等の角膜反射像以外
の画像情報のピーク値が第１、第３Ａ端子Ａ　＋　、　
Ａ　３から出力されるが、その値はまだリファレンス電
圧Ｖ０に達していないので、第１、第３光電変換蓄積部
３１．３３には第２コンパレータ５５の反転後も画像情
報の蓄積が行なわれる。この場合、瞳孔より虹彩、虹彩
より白目の方が反射率が大きいので、白目の部分のピー
ク値が次にリファレンス電圧ｖ０に達する。

やがて第１光電変換蓄積部３１又は第３光電変換蓄積部
３３における積分値のピークがリファレンス電圧Ｖ。に
達すると、それに対応する第１コンパレータ５４又は第
３コンパレータ５６が反転し、例えは第３コンパレータ
５６が反転した場合には第３ワンショット回１ｉ８６３
　ｈ）らワンショットパルスが発生して第３８ｉ子Ｂ、
に電荷移送パルスが加わり、第３０瑞子Ｃ３から画像情
報が出力され、第５図（Ｂ）に示す如く、画像情報の積
分によって虹彩輪部が拡大されると共に、角膜反射像の
情報が含まれない水平走査信号が得られることになる。

また第３コンパレータ５６の反転に同期して、第３ラッ
チ回路５９にそこまでのカウント値がう・ソチされる。

そして、最後に残った光電変換蓄積部、この場合は第１
光電変換蓄積部３１の情報のピーク値がリファレンス電
圧Ｖ。に達すると、それに対応する第１コンパレータ５
４が反転して、第１ワンショット回路６１からワンショ
ットパルスが発生して第１Ｂ端子Ｂ１に電荷移送パルス
が加わり、第１Ｃ端子Ｃ３から画像情報が出力され、同
時に第１ラッチ回路５７にそこまでのカウント値がラッ
チされる。

固体撮像素子５１の第１〜第３Ｃ端子Ｃ１〜Ｃ３からの
画像情報は、撮影者の視線の方向を視線演算／Ａ埋回路
７１にて処理するために、上下限の電圧レベルＶ　、、
Ｖ　２の設定されている第１〜第３　Ａ／Ｄ変換回路６
８〜７０によりＡ／Ｄ変換されることになる。第５図（
Ａ）　、　（Ｂ）　　に示すように、画像信号はＡ／Ｄ
変換の上下限の電圧レベルＶ　＋　、　Ｖ　２に対して
常にｍＡのレベルに入るようになる。

視線演算処理回路７１では、角膜反射像位置、虹彩と瞳
孔の境界、虹彩輪部の情報に基づいて視線方向の検知を
行なうが、第１〜第３Ａ／Ｄ変ｔＡ回路６８〜７０から
人力される情報がどの種類の情報であるかが判別できな
いが、第２図に示すように、眼球の反射特性から、最初
にリファレンス電圧■。に達するのは角膜反射像、次が
白目の反射像であるから、第１〜第３ラツチ回路５７〜
５９でラッチしたカウント値で最も小さい値の画像情報
を角膜反射像、その次のカウント値が角膜反射像の一部
が入る可能性のある虹彩輪部の情報、最後が虹彩輪部と
瞳孔との境界の情報とし、例えば第２図の原理に従って
視線方向の検知を行ない、得られた視線情報をカメラの
不図示の露出制御回路や焦点検出回路に導入することに
より、撮影者が写したい被写体に露出やピントを合わせ
ることができる。

この視線演算処理口ｉ７１は、第４図（Ｂ）に示すよう
に構成されている。

１０１は瞳孔のエツジを検知する瞳孔エツジ検知部、１
０２は瞳孔エツジ検知部１０１から出力される情報から
瞳孔の中心を検知する瞳孔中心検知部、１０３は角膜反
射像位置を検知する角膜反射像位置検知部、１０４は角
膜反射像位置検知部１０３からの角膜反射像位置（第１
プルキンエ像）と瞳孔中心検知部１０２からの瞳孔中心
情報とに基づき、第６図に示す方法にて視線の方向を演
算処理する視軸演算部、１０５は第１〜第３Ａ／Ｄ変換
回路６８〜７０からの信号を瞳孔エツジ検知部１０１、
角膜反射像位置検知部１０３に選択的に出力する信号選
択部、１０６は第１〜第３ラツチ回路５７〜５９からの
カウント値から固体撮像素子５１の各光電変換蓄積部の
蓄積時間長を判定する蓄積時間長判定部である。

すなわち、蓄積時間長判定部１０６は第１〜第３ラツチ
回路５７〜５９にラッチされているカウント値に基づき
蓄積時間長の判別を行ない、固体撮像素子の各ラインの
中で、蓄積時間の最も短いラインからの信号を角膜反射
像位置検知部１０３に入力すべく信号選択部１０５を制
御して角膜反射像位置の検知を行ない、＃積時間の長い
ラインからの信号を瞳孔エツジ検知部１０１に出力すべ
く信号選択部１０５を制御して瞳孔中心位置の検知を行
なう。

［発明の効果］以上説明してきたように、本発明によれば、固体撮像素
子からなる複数のラインセンサ上に眼からの反射像を結
像させ、個々のラインセンサ毎に角膜反射像位置、虹彩
と瞳孔の境界や、虹彩輪部の情報を検知、しかも検知さ
れる虹彩と瞳孔の境界や、虹彩輪部の情報は長時間積分
された高Ｓ／Ｎの値であることから、視線の検知を高精
度に得ることができる効果がある。

【図面の簡単な説明】

第１図は本発明による視線検知装置の一実施例を有する
カメラの光学ブロック図、第２図は眼球の位置に対応す
る固体撮像素子の水平走査信号を示す図、第３図は固体
撮像素子の１例を示すブロック図、第４図（Ａ）はその
視線検知装置の制御装置の１例を示すシステムブロック
図、第４図（Ｂ）はその視線演算処理回路の詳細を示す
ブロック図、第５図（八）　、　ＣＢ）　は固体撮像素
子からの出力波形の１例を示す図、第６図は角膜反射像
と瞳孔中心を用いて視線の検知を行なう従来の視線検知
装置の概略図である。７・・・ビームスプリッタ− ８・・・投光レンズ、９・・・受光レンズ、１０・・・赤外ＬＥＤ、１２・・・目（眼球）。第１図土上序〉第３図

Claims

【特許請求の範囲】１　眼を照射する照明手段と、該照明手段により照明さ
れた眼からの反射光でプルキンエ像位置及び眼の他の組
織の像位置を検知する固体撮像素子からなる像検知手段
と、該像検知手段で検知したプルキンエ像位置と眼の他
の組織の像位置との相対関係から視線方向を検知する視
線演算手段と、該固体撮像素子の蓄積時間を制御する蓄
積時間制御手段とを備え、該像検知手段は画像情報のピーク値をリアルタイムに出
力する方式のラインセンサを該反射光の光軸に対し直交
方向に複数並設した構造とし、また該蓄積時間制御手段
は、該像検知手段の各ラインセンサにおける画像の蓄積
開始から画像情報のピーク値が一定値に達するまで各ラ
インセンサ毎に画像の蓄積を行なわせると共に、各ライ
ンセンサ毎の蓄積時間を検知し、検知した蓄積時間に基
づいて各ラインセンサで検知すべき画像情報の選択を行
なうことを特徴とする視線検知装置。