JPH0265834A - 視線検知装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［産業上の利用分野コ 本発明は、観察者の視線位置を検出する視線検知装置に
関するものである。

［従来の技術］ 従来、観察者の視線（視軸）を光学的に検出する視線検
知装置として、特開昭６１−１７２５５２号がある。

これは、観察者の眼球を平行光で照射することにより発
生する角膜前面からの反射像である第１プルキンエ像と
瞳孔中心の位置より検出するようにしたもので、第６図
に基づいて説明する。

図中、５０１は角膜、５０２は氷膜、５０３は虹彩、５
０４は光源、５０６は投光レンズ、５０７は受光レンズ
、５０９はイメージセンサ−５１０はハーフミラである
。Ｏｏは眼球の回転中心、０は角膜５０（の曲率中心、
ａ、ｂは虹彩５０３の端部、Ｃは虹彩の中心、ｄは第１
プルキンエ像発生位置である。アは受光レンズ５０７の
光軸で図中Ｘ軸と一致している。イは眼球の光軸である
。

光源５０４は観察者に対して不感の赤外発行ダイオード
で、投光レンズ５０６の焦点面に配置されている。光源
５０４より発行した赤外光は投光レンズ５０６により平
行光となりハーフミラ５１０により反射され角膜５０１
を照明する。角１］１５０１の表面で反射した赤外光の
一部はハーフミラ５１０を透過し受光レンズ５０７によ
りイメージセンサ５０９上の位置ｄ°に結像する。また
虹彩５０３の端部ａ、ｂはハーフミラ５１０　、受光レ
ンズ５０７を介してイメージセンサ５０９上の位置ａ°
。

ｂｏに結像する。受光レンズ５０７の光軸アに対する。

眼球の光軸イの回転角θが小さい場合、虹彩５０３の端
部ａ、ｂのＺ座標をＺｌｌ＋　ｚｂとすると、虹彩５０
３の中心位置Ｃの座標１０はＺｃ＃−□　と表わされる
。

また、第１プルキンエ像発生位置ｄのＺ座標をｚｄ、角
膜５０１の曲率中心０と虹彩５０３の中心Ｃまでの距離
をｉとすると眼球光軸イの回転角θは ｏυｓｉｎθ＃ｚｃ−ｚ、、　　　　　　　　　”’　
（１）の関係式を略満足する。このためイメージセンサ
５０９上に投影された各特異点（第１プルキンエ像ｚｄ
ｌ及び虹彩端部ｚ、’、　Ｚｂ’）の位置を検出するこ
とにより眼球光軸イの回転角θは明らかとなる。この時
　（１）式は とかきかえられる。但し、βは第１プルキンエ像発生位
置と受光レンズ５０７　との距離交、と受光レンズ５０
７とイメージセンサ５０９　との距１１１１２゜で決ま
る倍率で、通常はぼ一定の値をとる。

以上の如き原理により視線の方向の検知が可能になる。

［発明が解決しようとする課題］ しかし、この種の従来の視線検知装置では、角膜の反射
率が約２．５！６あり、例えば第２図に示すように、角
膜反射像の光量は充分に大きく、確実にその位置を検知
できるが、虹彩の反射率は極めて小さく、瞳孔の中心位
置を決めるための虹彩と瞳孔の境を精度良く検知するこ
とは実際にはかなり固定であった。

本発明の目的は、虹彩と瞳孔の境や、Ｒ膜（白目）と虹
彩（黒目）の境である虹彩輪部を精度良く検知して、視
線の正確な検知を行なえる視線検知装置を提供するもの
である。

［課題を解決するための手段］ 本発明の目的を達成するための要旨とするところは、眼
を照明する照明手段と、該照明手段により照明された眼
からの反射光でプルキンエ像位置及び眼の他の組織の像
位置を検知する固体撮像素子からなる像検知手段と、該
像検知手段で検知したプルキンエ像位置と眼の他の組織
の像位置との相対関係から視線方向を検知する視線演算
手段と、該固体撮像素子の蓄積時間をを制御する蓄積時
間制御手段とを備え、該像検知出手段は一定量以上蓄積
された画像情報をすてるオーバーフロートレイン機能及
び各画素の画像情報のピーク値を出力するピーク値出力
機能を有する構造とし、また該蓄積時間制御手段は該像
検知手段の画像蓄積開始から画像情報のピーク値が一定
値に達するまでの時間を角膜と虹彩又は電膜の反射特性
の比に基づいて一定倍した値を蓄積時間とし、その蓄積
時間に達すると順次蓄積された画像情報を出力させるこ
とを特徴とする視線検知装置にある。

［作　　　用］ 上記の如く構成した視線検知装置は、検出したい画像情
報を、画像の蓄積時間を制御することで比倍し、夫々拡
大した情報として取出すことができる。

［実　施　例］ 以下、本発明を図面に示す実施例に基づいて詳細に説明
する。

第１図は本発明に関わる視線検知装置を有するカメラの
光学ブロックの一実施例である。

１は撮影レンズ、２はクイックリターンミラー、３はピ
ント板、４はコンデンサレンズ、５はペンタプリズムで
あり通常のファインダー光学系を形成している。

６は内部に可視光透過で赤外光反射のビームスプリッタ
−を有するアイピースレンズ、７はビームスプリッタ−
８は投光レンズ、９は受光レンズ、１０は投光用赤外Ｌ
ＥＤ、１１はリニアまたはエリア型のＣＣＤ等の光電変
換素子であり視線検知装置を形成している。１２は撮影
者の目である。

赤外ＬＥＤＩＯから投光された光は投光レンズ８で平行
光束に変換され目１２に照射される。目の角膜や、虹彩
からの反射光は、ビームスプリッタ−７で反射し、受光
レンズ９を介して、光電変換素子（固体撮像素子）１１
上に結像するように構成されている。

この固体撮像素子１１は、一部の画素の信号が飽和して
も隣接画素へ悪影５を与えないオーバーフロートレイン
機能と、フローテングケート等の各画素に蓄積されてい
る画像の情報を非破壊にリアルタイムで直接モニターで
きる機能と、モニター出力の最大値をモニターする、所
謂リアルタイムビーク値出力機能とを有するもので、そ
の構成を第３図に示す。

第３図は固体撮像素子１１の構成の一例を示すブロック
図である。

図中３１は画像情報を蓄えるための光電変換蓄積部、３
２は光電変換蓄積部３１の情報を読み出し用のアナログ
シフトレジスタ３３に移送するための電荷移送ゲートで
あり、Ｂ　ＯＳ子から電荷８送パルスが入力されると、
アナログシフトレジスタ３３への情報の移送を行ない、
その情報が端子Ｃから出力される。３４は光電変換蓄積
部３１の情報がある一定値に達すると、それ以上の情報
を棄てるオーバーフロードレイン、３５は光電変換蓄積
部３１の各情報を非破壊的に検知し、それらの最大値を
端子Ａから出力するリアルタイムピーク出力回路である
。

ところで、眼球１２に赤外ＬＥＤＩＯからの光を照射し
、その反射像を固体撮像素子１１上に結像させ、眼球中
央部を水平に走査したときの眼球の位置に対応する水平
走査信号Ｂは第２図に示すようになる。

図からも明らかなように、角膜反射像は非常に強く正確
に検知できるが、他の組織の境のコントラストは低く、
虹彩と瞳孔の境や、白目と黒目の境である虹彩輪部を精
度良く検知することは前述したようにかなり困難である
。

本実施例はこのような水平走査信号Ｂにおける虹彩と瞳
孔の境や、白目と黒目の境である虹彩輪部の高精度検知
を、固体撮像素子１１に蓄積する画像の蓄積時間を第４
図（Ａ）に示す制御装置によって制御し、例えば第５図
に示すように虹彩輪部を拡大した信号を得ることによっ
て実現している。

第４図は、固体撮像素子１１への情報蓄積時間を制御し
て、その出力情報を処理する制御装置のブロック図であ
る。

この制御装置のブロック図を説明する前に、制御の基本
的な原理を固体撮像素子１１の構造特性に基づき説明す
る。

固体撮像素子１１は眼球１２で反射した赤外ＬＥＤＩＯ
からの反射像が照射されると、出力端子Ａからリアルタ
イムにピーク値が出力されることになり、そのピーク値
は第２図から明らかなように角膜反射像であるが、この
角膜反射像のピーク値が飽和レベル付近の一定レベルに
達した時点でＢ端子に電荷移送パルスを人力して出力端
子Ｃから蓄積された画像情報を出力すると、第２図に示
す水平走査信号Ｂしか得られなくなる。そこで、角膜反
射像のピーク値が飽和レベル付近の一定レベルに達して
も電荷移送パルスの人力は行なわず、そのまま反射像を
蓄積させておくと、固体撮像素子１１の光電変換蓄積部
３１には角膜反射像の情報、虹彩と瞳孔の境や、白目と
黒目の境である虹彩輪部の各情報が蓄積され、その値が
夫々大きくなり、やがて角膜反射像の情報が飽和しオー
バーフローすることになるが、オーバーフロードレイン
機能を有しているので隣接画素への悪影響はない。

次に飽和レベル付近の一定レベルに達する情報は、第２
図から明らかなように虹彩輪部の情報であるが、この時
点での虹彩輪部の情報はその蓄積時間比倍された値にな
っている。

したがって、虹彩輪部の正確な情報が必要な場合には、
角膜反射像の情報が飽和レベル付近の一定レベルに達す
るのに要する時間から角膜と白目の反射特性の比に基づ
く一定時間経過後に電荷９送パルスの入力を行なうこと
で、拡大した虹彩輪部の情報を出力端子Ｃから取出しで
きることになる。

また、虹彩と瞳孔の境の正確な情報を必要とする場合に
は、角膜反射像の情報が飽和レベル付付近の一定しヘル
に達するのに要する時間から角膜と虹彩の反射特性の比
に基づく一定時間経過後に電荷９送パルスの人力を行な
えば良いことになる。

次に制御装置を説明する。

４２．４３はリファレンス電圧ｖ０発生用の抵抗、４４
はコンパレータ、４５はラッチ回路、４６はカウンタ、
４７は第１情報部、４８は第２情報部、４９は選択スイ
ッチ、５０は乗算器、５１はメモリー、５２はマグニチ
ュードコンパレータ、５３はＡ／Ｄ変換回路、５４．５
５は上限レベル電圧Ｖ１発生用の抵抗、５６．５７は下
限レヘル電圧ｖ２発生用の抵抗、５８は視線演算処理回
路で、第１情報部４７には角膜と白目の反射特性の比、
すなわち第２図において、角膜反射像のピークレベルａ
、と虹彩輪部のピークレベルａ２との比に基づいて決ま
る情報が人力され、第２情報部４８には角膜と虹彩の反
射特性の比、すなわち第２図において、角膜反射像のピ
ークレベルａ、と虹彩のピークレベルａ３との比に基づ
いて決まる情報が入力されている。なおこの視線演算処
理回路５８の詳細については後記する。

このように構成した制御装置は、固体撮像素子１１のＡ
端子からの各画素のピークの出力がコンパレータ４４に
リアルタイムに人力され、その値がリファレンス電圧Ｖ
０に達するとコンパレータ４４出力が反転し、固体撮像
素子１１の画像情報の蓄積開始と共に、カウントを開始
しているカウンタ４６のカウント値をラッチ回路４５で
ラッチする。

一方、虹彩輪部の情報または虹彩と瞳孔との境の情報の
どちらの情報を必要とするかを選択スイッチ４９により
予め選択し、ラッチ回路４５でラッチした情報と選択ス
イッチ４９で選択した情報とを乗算器５０で乗算し、メ
モリー５１に才各納する。ここで、マグニチュードコン
パレータ５２は、カウンタ４６のカウント値とメモリー
５１に格納されたデータとを比較し、カウンタ４６のカ
ウント値がメモリー５１のデータと合致すると合致信号
を発生し２．固体撮像素子１１の入力端子Ｂに電荷９送
パルスが加わり、出力端子Ｃから画像情報が出力されは
しめる。

すなわち、固体撮像素子１１への画像情報の蓄積が開始
され、コンパレータ４４が反転する迄の時間を、第１情
報部４７又は第２情報部４８からの情報に基づいて一定
時間比倍した後に画像情報が出力されることになる。

固体撮像素子１１の出力端子Ｃからの画像情報は、撮影
者視線の方向を視線演算処理回路５８にて処理するため
に、上下限の電圧レベルＶ、、Ｖ、の設定されているＡ
／Ｄ変換回路５３によりＡ／Ｄ変換されることになり、
例えば第１情報部４７を選択して虹彩輪部を検知する場
合には、第５図に示すように、画像信号■、はＡ／Ｄ変
換の上下限の電圧レベルＶ、、Ｖ２に対して常に最適の
レベルに入るようになる。なお下限の電圧レベル■２は
、例えは固体撮像素子１１の暗電流信号レベル付近に設
定すればよい。

視線演算処理回路５８は、角膜反射像、虹彩と瞳孔の境
界、虹彩輪部の情報等に基づいて撮影者の視線の方向を
検知し、その検知情報に基づき不図示のカメラの露出制
御回路、焦点検出回路等を制御し、撮影者が写したいも
のに露出やピントを合せるようにしている。

この視線演算処理回路５８は、第４図＜８）に示すよう
に構成されている。

１０１はＡ／Ｄ変換回路５３からの出力信号に基づいて
、瞳孔のエツジを検知する瞳孔エツジ検知部、１０２は
瞳孔エツジ検知部１０１から出力される情報から瞳孔の
中心を検知する瞳孔中心検知部、１０３はＡ／Ｄ変換回
路５３からの出力信号に基づいて角膜反射像位置を検知
する角膜反射像位置検知部、１０４は角膜反射像位置検
知部１０３からの角膜反射像位置（第１プルキンエ像）
と瞳孔中心検知部１０２からの瞳孔中心情報とに基づき
、第６図に示す方法にて視線の方向を演算処理する視軸
演算部である。

なお上記の実施例において、固体撮像素子１１からの出
力画像信号中、角膜反射像の信号は飽和したものであり
、角膜反射像のボケが予めわかっていれば、飽和した信
号から角膜反射像位置を精度良く検知することもできる
。

また、西洋人と東洋人等の人種によって、角膜と虹彩ま
たは白目の反射特性の比が異なるが、第４図（Ａ）の第
１．第２寸青十艮部４７．４８に対応する情報を設定す
れは良い。

［発明の効果］ 以上の如く本発明を用いると、瞳孔と虹彩の境や虹彩輪
部をＳ／Ｎ良く検知できるので、高精度の視線検知が可
能になる著しい効果がある。

また、投光用ＬＥＤ等の照明手段の光パワーが変動して
も固体撮像素子のピーク出力回路を介して、素子の蓄積
時間が自動的に補正されるので常にｔｉＭな出力レベル
の虹彩や白目の信号が得られ、高精度の視線検知が可能
になる効果もある。

【図面の簡単な説明】

第１図は本発明による視線検知装置の一実施例を有する
カメラの光学ブロック図、第２図は眼球の位置に対応す
る固体撮像素子の水平走査信号を示す図、第３図は固体
撮像素子の１例を示すブロック図、第４図（Ａ）はその
視線検知装置の制御装置の１例を示すシステムブロック
図、第４図（Ｂ）はその視線演算処理回路の詳細を示す
ブロック図、第５図は固体撮像素子からの出力波形の１
例を示す図、第６図は角膜反射像と瞳孔中心を用いて視
線の検知を行なう従来の視線検知装置の概略図である。 ７・・・ビームスプリッタ− ８・・・投光レンズ、 ９・・・受光レンズ、 １０・・・赤外ＬＥＤ。 １２・・・目（眼球）。 他４名 第２図 ：虹彩： 第４図 （Ｂ） 第５図 一一一一一：−− ：虹　′ｆ／。

Claims (1)

1. 【特許請求の範囲】 １　眼を照明する照明手段と、該照明手段により照明さ
   れた眼からの反射光でプルキンエ像位置及び眼の他の組
   織の像位置を検知する固体撮像素子からなる像検知手段
   と、該像検知手段で検知したプルキンエ像位置と眼の他
   の組織の像位置との相対関係から視線方向を検知する視
   線演算手段と、該固体撮像素子の蓄積時間をを制御する
   蓄積時間制御手段とを備え、 該像検知出手段は一定量以上蓄積された画像情報をすて
   るオーバーフロードレイン機能及び各画素の画像情報の
   ピーク値を出力するピーク値出力機能を有する構造とし
   、また該蓄積時間制御手段は該像検知手段の画像蓄積開
   始から画像情報のピーク値が一定値に達するまでの時間
   を角膜と虹彩又は鞏膜の反射特性の比に基づいて一定倍
   した値を蓄積時間とし、その蓄積時間に達すると順次蓄
   積された画像情報を出力させることを特徴とする視線検
   知装置。