JPH06304142A - 視線検出装置 - Google Patents

Abstract

(57)【要約】 【目的】 ノイズに対する影響を低減させ、視線検出の
精度を向上させる。 【構成】 受光手段１４からの光電変換信号の特徴量の
モーメントによって眼球像中の瞳孔部と虹彩部の境界位
置を抽出する処理手段１０１と、抽出された複数の境界
位置情報に基づいて使用者の視線を算出する演算手段１
０１とを備え、光電変換信号の特徴量のモーメントによ
って、具体的には、瞳孔エッジ部分の信号の変化量を求
め、その変化量の重心によって、眼球像中の瞳孔部と虹
彩部の境界位置を抽出するようにしている。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、使用者が観察している
注視点方向の軸、いわゆる視線（視軸）を検出する、カ
メラ等の光学機器に配置される視線検出装置の改良に関
するものである。

【０００２】

【従来の技術】従来より、観察者が観察面上のどの位置
を観察しているかを検出する、いわゆる視線（視軸）を
検出する装置（例えばアイカメラ）が種々提案されてい
る。

【０００３】例えば特開平１−２７４７３６号公報にお
いては、光源からの平行光束を観察者の眼球の前眼部へ
投射し、角膜からの反射光による角膜反射像と瞳孔の結
像位置を利用して視軸を求めている。

【０００４】図８及び図９は視線検出方法の原理説明図
である。

【０００５】先ず、図８について説明すると、それぞれ
の赤外発光ダイオード（以下、ＩＲＥＤと記す）１３
ａ，１３ｂは受光レンズ１２の光軸アに対してｘ方向に
略対称に配置され、各々撮影者の眼球１５を発散照明し
ている。

【０００６】ＩＲＥＤ１３ａ，１３ｂより投射された赤
外光は、眼球１５の角膜１６を照明し、この時角膜１６
の表面で反射したそれぞれの赤外光の一部による角膜反
射像ｄ，ｅは受光レンズ１２により集光され、イメージ
センサ１４上の位置ｄ´，ｅ´に再結像する。また、Ｉ
ＲＥＤ１３ａ，１３ｂにより照明された眼球１５の瞳孔
部の像も、イメージセンサ１４上に結像する。

【０００７】瞳孔１９と虹彩１７の境界（ａ，ｂ）が有
す円（これを瞳孔円と称する）の中心ｃのｘ座標をｘｃ
としたとき、イメージセンサ１４上でのｘ座標は不図示
のｘｃ’となる。

【０００８】図９（ａ）は、図８のイメージセンサ１４
面上に投影される眼球像を示しており、図９（ｂ）は、
図９（ａ）中のライン（Ｉ）−（Ｉ’）でのイメージセ
ンサ１４よりの像信号の出力波形を示している。

【０００９】図９（ａ）において、５０は眼球１５のい
わゆる白目の部分、５１は瞳孔部のそれぞれ反射像を示
している。また、５２ａ，５２ｂは一対のＩＲＥＤ１３
ａ，１３ｂの角膜反射像を表しており、この角膜反射像
はプルキンエ像と呼ばれるものである。

【００１０】図９（ｂ）において、像信号６０中の極大
点２つが一対のプルキンエ像に対応している。

【００１１】図８に戻って、プルキンエ像ｄ及びｅの中
点のｘ座標と角膜１６の曲率中心Ｏのｘ座標ｘｏとは一
致するため、プルキンエ像ｄ，ｅの発生位置のｘ座標を
ｘｄ，ｘｅ、角膜１６の曲率中心Ｏと瞳孔１９の中心ｃ
までの標準的な距離をＬ_ocとし、距離Ｌ_ocに対する個人
差を考慮する係数をＡ１とすると、眼球１５の光軸イの
回転角θは、 （Ａ１＊Ｌ_oc）＊ｓｉｎθ≒ｘｃ−（ｘｄ＋ｘｅ）／２ ………（１） の関係式を略満足する。このため、視線演算処理装置に
おいて、イメージセンサ１４上の一部に投影された各特
徴点（プルキンエ像ｄ，ｅ及び瞳孔中心ｃ）の位置を検
出することにより、眼球１５の光軸イの回転角θを求め
ることができる。この時上記（１）式は、 β（Ａ１＊Ｌ_oc）＊ｓｉｎθ≒ｘｃ´−（ｘｄ´＋ｘｅ´）／２…（２） と書き換えられる。但し、βは受光レンズ１２に対する
眼球１５の位置により決まる倍率で、実質的にはプルキ
ンエ像の間隔｜ｘｄ′−ｘｅ′｜の関数として求められ
る。眼球１５の光軸イの回転角θは θ≒ＡＲＣＳＩＮ｛（ｘｃ′−ｘｆ′）／β／（Ａ１＊Ｌ_oc）｝…（３） と書き換えられる。但し ｘｆ′≒（ｘｄ′＋ｘｅ′）／２ である。

【００１２】ところで、撮影者の眼球１５の光軸イと視
軸とは一致しないため、光軸イの水平方向の回転角θが
算出されると、光軸イと視軸との角度補正δをすること
により撮影者の水平方向の視線θＨは求められる。眼球
１５の光軸イと視軸との補正角度δに対する個人差を考
慮する係数をＢ１とすると、撮影者の水平方向の視線θ
Ｈは θＨ＝θ±（Ｂ１＊δ） ………………（４） で求められる。ここで符号±は、撮影者に関して右への
回転角を正とすると、観察装置を覗く撮影者の目が左目
の場合は＋、右目の場合は−の符号が選択される。

【００１３】また同図においては、撮影者の眼球がｚ−
ｘ平面（例えば水平面）内で回転する例を示している
が、撮影者の眼球がｚ−ｙ平面（例えば垂直面）内で回
転する場合においても同様に検出可能である。但し、撮
影者の視線の垂直方向の成分は眼球１５の光軸イの垂直
方向の成分θ′と一致するため垂直方向の視線θＶは θＶ＝θ′ となる。更に、視線デ−タθＨ、θＶより撮影者が見て
いるファインダ視野内のピント板上の位置（ｘｎ，ｙ
ｎ）は ｘｎ≒ｍ＊θＨ ≒ｍ＊［ＡＲＣＳＩＮ｛（ｘｃ′−ｘｆ′）／β／（Ａ１＊Ｌ_oc）｝ ±（Ｂ＊α）］ ………………（５） ｙｎ≒ｍ＊θＶ で求められる。但し、ｍはカメラのファインダ光学系で
決まる定数である。

【００１４】ここで、撮影者の眼球１５の個人差を補正
する係数Ａ１，Ｂ１の値は撮影者にカメラのファインダ
内の所定の位置に配設された視標を固視してもらい、該
視標の位置と上記（５）式に従い算出された固視点の位
置とを一致させることにより求められる。

【００１５】通常、撮影者の視線及び注視点を求める演
算は、前記各式に基づき視線演算処理装置のマイクロコ
ンピュータのソフトで実行している。

【００１６】視線の個人差を補正する係数が求まると、
上記（５）式を用いてカメラのファインダを覗く撮影者
の視線のピント板上の位置を算出し、その視線情報を撮
影レンズの焦点調節あるいは露出制御等に利用してい
る。

【００１７】実際に視線を求めるには、イメージセンサ
１４上の眼球像をマイクロコンピュータ等で処理して、
上述したプルキンエ像，瞳孔円を検出し、その位置情報
に基づいて視線を算出する。

【００１８】具体的な手法としては、本出願人によって
特開平４−３４７１３１号公報等にて開示されている。

【００１９】同公報によれば、瞳孔円の求め方として、
イメージセンサから眼球像信号を読み出しながら、瞳孔
と虹彩の境界の輝度差を信号エッジとして抽出し、その
座標を記憶してゆく。そして、眼球像の読み出しを終了
すると、記憶している複数の瞳孔のエッジ座標を例えば
最小２乗法を用いて円を推定し、これを瞳孔円としてい
る。

【００２０】図１０はこの概要を説明するための図であ
る。

【００２１】図１０（ａ）は眼球像を表し、ここではプ
ルキンエ像は省略している。瞳孔円５１の回りに配置さ
れている複数の白丸が瞳孔エッジであり、７０−１がそ
の１つを表している。また、図１０（ｂ）は、図１０
（ａ）の瞳孔エッジのみを抽出して表したものである。

【００２２】これらのエッジ・データに基づいて最小二
乗法を用いて推定した円が７５である。この推定円の中
心座標を（ｘｃ，ｙｃ），半径をｒｃとすると、図１０
の（ｃ）のようになる。

【００２３】

【発明が解決しようとする課題】ところで、従来の瞳孔
エッジ抽出方法は、眼球像中の虹彩部と瞳孔部の輝度変
化をエッジ特徴とし、エッジの開始点、あるいは、終了
点、あるいは、両者の中点の座標をもって瞳孔エッジ座
標とするのが一般的である。

【００２４】別の抽出方法としては、特開平３−１７７
８２７に開示されているように、エッジ部の各点の情報
から、ニュートン法を用いてエッジ座標を決定する方法
も考案されている。

【００２５】しかし、いずれの方法にしろ、エッジ座標
を決定するために参加する信号の数が少数であるため、
ノイズに対して非常に弱い抽出手法ということができ
る。

【００２６】（発明の目的）本発明の目的は、ノイズに
対する影響を低減させ、視線検出精度を向上させること
のできる視線検出装置を提供することである。

【００２７】

【課題を解決するための手段】本発明は、受光手段から
の光電変換信号の特徴量のモーメントによって眼球像中
の瞳孔部と虹彩部の境界位置を抽出する処理手段と、抽
出された複数の境界位置情報に基づいて使用者の視線を
算出する演算手段とを備え、また、標本化された光電変
換信号の特徴量のモーメントによって眼球像中の瞳孔部
と虹彩部の境界位置を標本化単位以下の値で抽出する処
理手段と、該処理手段にて抽出された境界位置を記憶す
る記憶手段と、記憶された複数の境界位置情報に基づい
て使用者の視線を算出する演算手段とを備え、光電変換
信号の特徴量のモーメントによって、具体的には、瞳孔
エッジ部分の信号の変化量を求め、その変化量の重心に
よって、眼球像中の瞳孔部と虹彩部の境界位置を抽出す
るようにしている。別言すれば、瞳孔エッジの座標決定
に多数の信号を用いるようにして、眼球像中の瞳孔部と
虹彩部の境界位置を抽出するようにしている。

【００２８】

【実施例】以下、本発明を図示の実施例に基づいて詳細
に説明する。

【００２９】図１は本発明第１の実施例における視線検
出装置を具備した一眼レフカメラを示す要部概略図であ
る。

【００３０】図１において、１は撮影レンズで、便宜上
２枚のレンズで示したが、実際はさらに多数のレンズか
ら構成されている。２は主ミラーで、ファインダ系によ
る被写体像の観察状態と被写体像の撮影状態に応じて撮
影光路へ斜設され或は退去される。３はサブミラーで、
主ミラー２を透過した光束をカメラボディの下方の後述
する焦点検出装置６へ向けて反射する。

【００３１】４はシャッタ、５は感光部材で、銀塩フィ
ルム或はＣＣＤやＭＯＳ型等の固体撮像素子、或はビデ
ィコン等の撮像管である。

【００３２】６は焦点検出装置であり、結像面近傍に配
置されたフィールドレンズ６ａ，反射ミラー６ｂ及び６
ｃ，二次結像レンズ６ｄ，絞り６ｅ、複数のＣＣＤから
成るラインセンサ６ｆ等から構成されている。

【００３３】本実施例における焦点検出装置６は、周知
の位相差方式にて焦点検出を行うものである。

【００３４】７は撮影レンズ１の予定結像面に配置され
たピント板、８はファインダ光路変更用のペンタプリズ
ム、９，１０は各々観察画面内の被写体輝度を測定する
ための結像レンズと測光センサである。結像レンズ９は
ペンタプリズム８内の反射光路を介してピント板７と測
光センサ１０を共役に関係付けている。

【００３５】次に、ペンタプリズム８の射出後方には光
分割器１１ａを備えた接眼レンズ１１が配置され、撮影
者の眼球１５によるピント板７の観察に使用される。光
分割器１１ａは、例えば可視光を透過し赤外光を反射す
るダイクロイックミラーより成っている。

【００３６】１２は受光レンズ、１４はＣＣＤ等の光電
変換素子列を二次元的に配したイメージセンサ（エリア
センサとも記している）で、受光レンズ１２に関して所
定の位置にある撮影者の眼球１５の瞳孔近傍と共役にな
るように配置されている。１３ａ〜１３ｆは各々照明光
源であるところのＩＲＥＤ（赤外発光ダイオード）であ
る。

【００３７】２１は明るい被写体の中でも視認できる高
輝度のスーパーインポーズ用ＬＥＤで、ここから発光さ
れた光は投光用プリズム２２を介し、主ミラー２で反射
されてピント板７の表示部に設けた微小プリズムアレイ
７ａで垂直方向に曲げられ、ペンタプリズム８，接眼レ
ンズ１１を通って撮影者の眼１５に達する。

【００３８】そこで、ピント板７の焦点検出領域に対応
する複数の位置（測距点）にこの微小プリズムアレイ７
ａを枠状に形成し、これを各々に対応した５つのスーパ
ーインポーズ用ＬＥＤ２１（各々をＬＥＤ−Ｌ１，ＬＥ
Ｄ−Ｌ２，ＬＥＤ−Ｃ，ＬＥＤ−Ｒ１，ＬＥＤ−Ｒ２と
する）によって照明する。

【００３９】２３はファインダ視野領域を形成する視野
マスク、２４はファインダ視野外に撮影情報を表示する
ためのファインダ内ＬＣＤで、照明用ＬＥＤ（Ｆ−ＬＥ
Ｄ）２５によって照明される。

【００４０】ファインダ内ＬＣＤ２４を透過した光は三
角プリズム２６によってファインダ視野内に導かれ、そ
してファインダ視野外に表示され、撮影者は撮影情報を
知ることができる。

【００４１】３１は撮影レンズ１内に設けた絞り、３２
は図２により後述する絞り駆動回路１１１を含む絞り駆
動装置、３３はレンズ駆動用モータ、３４は駆動ギヤ等
から成るレンズ駆動部材である。３５はフォトカプラ
で、前記レンズ駆動部材３４に連動するパルス板３６の
回転を検知してレンズ焦点調節回路１１０に伝えてい
る。焦点調節回路１１０は、この情報とカメラ側からの
レンズ駆動量の情報に基づいて前記レンズ駆動用モータ
３３を所定量駆動させ、撮影レンズ１を合焦位置に移動
させるようになっている。３７は公知のカメラとレンズ
とのインターフェイスとなるマウント接点である。

【００４２】図２は上記構成の一眼レフカメラに内蔵さ
れた電気的構成を示す回路図であり、図１と同じ部分は
同一符号を付してある。

【００４３】カメラ本体に内蔵されたマイクロコンピュ
ータの中央処理装置（ＣＰＵ）１００には、視線検出回
路１０１，測光回路１０２，自動焦点検出回路１０３，
信号入力回路１０４，ＬＣＤ駆動回路１０５，ＬＥＤ駆
動回路１０６，ＩＲＥＤ駆動回路１０７，シャッタ制御
回路１０８，モータ制御回路１０９，発音体１１２が接
続されている。また、撮影レンズ１内に配置された焦点
調節回路１１０，絞り駆動回路１１１とは、図１で示し
たマウント接点３７を介して信号の伝達がなされる。

【００４４】ＣＰＵ１００に付随したＥＥＰＲＯＭ１０
０ａは記憶手段としての視線の個人差を補正する視線補
正データの記憶機能を有している。

【００４５】前記視線検出回路１０１は、イメージセン
サ１４（ＣＣＤ−ＥＹＥ）からの眼球像の信号をＡ／Ｄ
変換し、この像情報をＣＰＵ１００に送信する。ＣＰＵ
１００は後述するように視線検出に必要な眼球像の各特
徴点を所定のアルゴリズムにしたがって抽出し、さらに
各特徴点の位置から撮影者の視線を算出する。

【００４６】前記測光回路１０２は、測光センサ１０か
らの信号を増幅後、対数圧縮，Ａ／Ｄ変換し、各センサ
の輝度情報としてＣＰＵ１００に送信する。本実施例で
の測光センサ１０は、４つの領域を測光するＳＰＣ−
Ｌ，ＳＰＣ−Ｃ，ＳＰＣ−Ｒ，ＳＰＣ−Ａから成るフォ
トダイオードにて構成されている。

【００４７】ラインセンサ６ｆは、画面内の５つの測距
点に対応した５組のラインセンサＣＣＤ−Ｌ２，ＣＣＤ
−Ｌ１，ＣＣＤ−Ｃ，ＣＣＤ−Ｒ１，ＣＣＤ−Ｒ２から
構成される公知のＣＣＤラインセンサである。

【００４８】前記自動焦点検出回路１０３は、上記のラ
インセンサ６ｆから得た電圧をＡ／Ｄ変換し、ＣＰＵ１
００に送る。

【００４９】ＳＷ−１は不図示のレリーズボタンの第１
ストロークでＯＮし、測光，ＡＦ，視線検出動作等を開
始させる為のスイッチ、ＳＷ−２は不図示のレリーズボ
タンの第２ストロークでＯＮするレリーズスイッチ、Ｓ
Ｗ−ＡＥＬは不図示のＡＥロックボタンを押すことによ
ってＯＮするＡＥロックスイッチ、ＳＷ−ＤＩＡＬ１と
ＳＷ−ＤＩＡＬ２は、不図示の電子ダイヤル内に設けら
れたダイヤルスイッチで、信号入力回路１０４のアップ
ダウンカウンタに入力され、該電子ダイヤルの回転クリ
ック量をカウントする。

【００５０】前記ＬＣＤ駆動回路１０５は、液晶表示素
子ＬＣＤを表示駆動させるための公知の構成よりなるも
ので、ＣＰＵ１００からの信号にしたがい、絞り値，シ
ャッタ秒時，設定した撮影モード等の表示をモニタ用Ｌ
ＣＤ４２とファインダ内ＬＣＤ２４の両方に同時に表示
させることができる。

【００５１】前記ＬＥＤ駆動回路１０６は、照明用ＬＥ
Ｄ（Ｆ−ＬＥＤ）２５とスーパーインポーズ用ＬＥＤ２
１を点灯，点滅制御する。前記ＩＲＥＤ駆動回路１０７
は、赤外発光ダイオード（ＩＲＥＤ１〜６）１３ａ〜１
３ｆを状況に応じて選択的に点灯させる。前記シャッタ
制御回路１０８は、通電すると先幕を走行させるマグネ
ットＭＧ−１と、後幕を走行させるマグネットＭＧ−２
を制御し、感光部材に所定光量を露光させる。前記モー
タ制御回路１０９は、フィルムの巻き上げ、巻き戻しを
行うモータＭ１と主ミラー２及びシャッタ４のチャージ
を行うモータＭ２を制御するためのものである。

【００５２】上記シャッタ制御回路１０８とモータ制御
回路１０９によって一連のカメラのレリーズシーケンス
が動作する。

【００５３】図３は上記ＣＰＵ１００及び視線検出回路
１０１における視線検出動作を示すフローチャートであ
り、以下これにしたがって説明する。

【００５４】この動作はステップ２００より開始され
る。

【００５５】先ず、ＣＰＵ１００は撮影者の眼球１５を
照明するためにＩＲＥＤ１３ａ〜１３ｆの内から適切な
組み合わせのＩＲＥＤを選んで点灯させる（ステップ２
０１）。このＩＲＥＤの選択は、不図示の姿勢スイッチ
によりカメラが横位置か縦位置か、あるいは、撮影者が
眼鏡をかけているか否かによってなされる。

【００５６】次に、イメージセンサ１４により所定の蓄
積時間で電荷蓄積を行う（ステップ２０２）。そして、
この蓄積が終了すると、同時にＩＲＥＤも消灯させる
（ステップ２０３）。次いで、ＣＰＵ１００は蓄積の終
了したイメージセンサ１４から撮影者の眼球像を読み出
すと同時に、逐次的にプルキンエ像や瞳孔部の特徴抽出
の処理を行う（ステップ２０４）。

【００５７】具体的な方法は本出願人によって特開平４
−３４７１３１号公報に詳述されており、基本的にはこ
れと同じであるが、本実施例では、その内の瞳孔エッジ
の抽出方法が異なっている。

【００５８】この抽出方法について、図４を用いて説明
する。

【００５９】図４（ａ）は、瞳孔の左側のエッジ部分の
光電変換信号の一例であり、横軸はエリアセンサの横
（水平）方向の座標を表し、縦軸は出力（輝度）を表
す。

【００６０】図４において、信号８１より次第に輝度が
低下し始め、信号８２で輝度の低下が終わる。信号８１
より図中左側は眼球１５の虹彩部であり、信号８２より
右側が瞳孔部である。そして、信号８１から８２に至る
部分が、いわゆる瞳孔エッジである。

【００６１】瞳孔エッジにこのような特徴が認められる
とき、従来においては、信号８１の座標、あるいは、信
号８２の座標、あるいは、信号８１と８２の中点の座標
をもって瞳孔エッジの座標とする方法が一般的である。
しかし、この従来方法では、１つあるいは２つの信号の
情報に基づいて座標を決定するために、座標が画素単位
でしか求まらず、かつ、ノイズに対して非常に不安定と
なる。

【００６２】そこで、この実施例では、信号８１から８
２までの間の信号の全てを用いて瞳孔エッジ座標を決定
するようにしている。

【００６３】具体的には、瞳孔エッジ部分の信号の差分
をとり、その信号の重心位置をもってエッジ座標と見な
すわけである。

【００６４】図４（ａ）の信号をｄ（ｋ）とすると、例
えば ｅ（ｋ）＝ｄ（ｋ−１）−ｄ（ｋ） …………（６） なる計算を行う。ｋは検出座標を表す。

【００６５】ｅ（ｋ）をプロットすると、図４（ｂ）の
ようになる（これは、光電変換信号のフィルタ出力信号
である）。信号ｅ（ｋ）は一次差分であるため、信号ｄ
（ｋ）の変化が最大の座標で該ｅ（ｋ）は最大値（信号
８３）となる。最大値をもって瞳孔エッジとするので
は、ノイズに対して不安定であるから、本実施例では、
ｅ（ｋ）の重心ｇを求めて、これを瞳孔エッジ座標とす
る。重心座標ｇは次式によって算出される。

【００６６】 ｇ＝〔Σｋ・ｅ（ｋ）〕／Σｅ（ｋ） …………（７） ｇは画素単位以下の値（実数値）で求めることができ
る。

【００６７】ところで、上記式（６）では、図４（ａ）
のような減少信号ではｅ（ｋ）は正値をとるが、瞳孔の
右側エッジのように増加信号では負値をとる。その場
合、式（７）の重心計算は正しく機能しないので、式
（６）は絶対値をとるように次のように計算する。

【００６８】 ｅ（ｋ）＝｜ｄ（ｋ−１）−ｄ（ｋ）｜ ………（６）′ 以上のように、瞳孔エッジを重心で検出することによ
り、画素単位以下の精度で、しかも、ノイズに対して安
定した座標検出が出来る。

【００６９】再び図３に戻って、眼球像全体の読み出し
が終わり、プルキンエ像，瞳孔の特徴抽出が完了した後
は、これらの情報に基づいて１組のプルキンエ像位置を
検出する（ステップ２０５）。

【００７０】先にも述べたように、プルキンエ像は眼球
照明用ＩＲＥＤの角膜反射像であるから、図９（ａ）の
５２ａ，５２ｂのように像信号中には光強度の強い接点
として現れるため、その特徴をもって１組のプルキンエ
像を検出し、その位置（ｘｄ′，ｙｄ′），（ｘｅ′，
ｙｅ′）を求めることが出来る。

【００７１】検出した１組のプルキンエ像の座標を矩形
の光電変換素子の縦横比に基づいて補正を行う。

【００７２】今、素子（イメージセンサ１４の光電変換
素子）の縦横比が「２：１」の矩形であるとすると、画
素単位で表した座標は２倍に横長となっているから、眼
球像中の水平検出座標を１／２にすれば良い。

【００７３】即ち、１つのプルキンエ像座標（ｘｄ′，
ｙｄ′）の縦座標ｙｄ′はそのままにして、横座標ｘ
ｄ′を１／２にする変換をいう。

【００７４】ｙｄ′←ｙｄ′ ｘｄ′←ｘｄ′／２ 同様に、もう一つのプルキンエ像（ｘｅ′，ｙｅ′）に
ついても、 ｙｅ′←ｙｅ′ ｘｅ′←ｘｅ′／２ なる変換を行う。

【００７５】次に、上記ステップ２０４の逐次処理過程
で抽出した瞳孔エッジの座標情報から、瞳孔円の中心
（ｘｃ′，ｙｃ′）および半径ｒｃの検出を行う（ステ
ップ２０６）。

【００７６】瞳孔中心、瞳孔径の検出には、抽出された
瞳孔エッジデータに基づく円の最小二乗推定を用いる。
その基準の計算式は、本出願人による特開平４−３４７
１３１号公報に開示されているが、ここに再び説明して
おく。

【００７７】ｎ個の瞳孔エッジの座標を各々（ｘ₁ ，ｙ
₁ ）、（ｘ₂ ，ｙ₂ ），……，（ｘｎ，ｙｎ）とする
と、これらのデータに基づく最小二乗法を用いた推定円
の中心座標（ｘｃ，ｙｃ），半径ｒｃ，推定誤差量ＥＲ
は ｘｃ＝｛（Ｗ１・Ｖ２−Ｗ２・Ｗ４−（Ｗ６−Ｙ１・Ｚ１）・Ｗ３｝ ／｛２・（Ｙ２・Ｖ１−Ｗ５−Ｗ６・Ｘ１／ｎ） ……（１０） ｙｃ＝｛（Ｗ２・Ｖ１−Ｗ１・Ｗ４−（Ｗ７−Ｘ１・Ｚ１）・Ｗ３｝ ／｛２・（Ｙ２・Ｖ１−Ｗ５−Ｗ７・Ｘ１／ｎ） ……（１１） ｒｃ＝√｛Ｗ３−２・（ｘｃ・Ｘ１＋ｙｃ・Ｙ１）／ｎ ＋ｘｃ² ＋ｙｃ² ｝ ……（１２） ＥＲＸ＝Ｘ４−４・ｘｃ・Ｘ３＋２（２・ｘｃ² ＋ｄ）・Ｘ２ −４・ｘｃ・ｄ・Ｘ１＋Ｙ４−４・ｙｃ・Ｙ３ ＋２（２・ｙｃ² ＋ｄ）・Ｙ２−４・ｙｃ・ｄ・Ｙ１ ＋２（Ｚ４−２・ｘｃ・Ｚ３−２・ｙｃ・Ｚ２ ＋４・ｘｃ・ｙｃ・Ｚ１） ＋（ｄ² ・ｎ） …………（１３） ＥＲ＝√（ＥＲＸ／ｎ） …………（１４） 但し、 Ｘ１＝Σｘｉ，Ｘ２＝Σｘｉ² ，Ｘ３＝Σｘｉ³ ，Ｘ４＝Σｘｉ⁴ …………（１５）〜（１８） Ｙ１＝Σｙｉ，Ｙ２＝Σｙｉ² ，Ｙ３＝Σｙｉ³ ，Ｙ４＝Σｙｉ⁴ …………（１９）〜（２２） Ｚ１＝Σｘｉ・ｙｉ，Ｚ２＝Σｘｉ² ・ｙｉ ……（２５）〜（２６） Ｚ３＝Σｘｉ・ｙｉ² ，Ｚ４＝ｘｉ² ・ｙｉ² ……（２５）〜（２６） さらに、 Ｖ１＝Ｘ２−Ｘ１² ／ｎ ………………（２７） Ｖ２＝Ｙ２−Ｙ１² ／ｎ ………………（２８） Ｗ１＝Ｘ３＋Ｙ３ ………………（２９） Ｗ２＝Ｙ３＋Ｚ３ ………………（３０） Ｗ３＝（Ｘ２＋Ｙ２）／ｎ ………………（３１） Ｗ４＝Ｚ１−Ｘ１・Ｙ１／ｎ ………………（３２） Ｗ５＝（Ｚ１−２・Ｘ１・Ｙ１／ｎ）・Ｚ１ ………………（３３） Ｗ６＝Ｘ１・Ｙ２ ………………（３４） Ｗ７＝Ｘ２・Ｙ１ ………………（３５） ｄ＝ｘｃ² ＋ｙｃ² −ｒｃ² ………………（３６） 以上の数値計算を行えば、円の中心（ｘｃ，ｙｃ）、半
径ｒｃと最小二乗推定誤差量ＥＲを求めることができ
る。

【００７８】さて、上述の演算に先立って瞳孔エッジに
対しても、プルキンエ像と同様に、光電変換素子の形状
に応じた座標変換を行う。

【００７９】素子（イメージセンサ１４の光電変換素
子）の縦横比を２：１とすると、ｎ個の瞳孔エッジ座標
（ｘ₁ ，ｙ₁ ），（ｘ₂ ，ｙ₂ ），……，（ｘｎ，ｙ
ｎ）に対して、 ｘｉ←ｘｉ／２ ……………（４０） なる変換を絶した後に、上述の式（１０）〜（３６）の
演算を実行すれば良い。変換前の長方形の画素形状をも
つエリアセンサの画素形状と瞳孔形を図５（ａ），
（ｂ）に示している。また、変換後の瞳孔エッジ座標は
図５（ｃ）のようになる。

【００８０】なお、図６（ａ）のように正方形の画素形
状を持つエリアセンサの場合は、縦横の画素ピッチは等
しいので、抽出した瞳孔エッジのセンサ上のアドレスで
瞳孔円を求めると、図６（ｂ）の様に正しく瞳孔円を求
めることができることから、上記のような変換処理は不
必要となる。

【００８１】図３のステップ２０６にて、撮影者の眼球
像からプルキンエ像位置と瞳孔位置を検出することがで
きれば、ステップ２０７にて、撮影者の視線方向あるい
はファインダ上での座標を式（５）から算出することが
出来、視線検出サブルーチンをリターンする（ステップ
２０８）。

【００８２】（第２の実施例）上記第１の実施例におい
ては、重心を求めるための変化量として、式（６）のよ
うに一次の差分をとるようにしているが、瞳孔エッジの
特徴やノイズの特性によっては、例えば、 ｅ（ｋ）＝ｄ（ｋ−１）＋ｄ（ｋ−１）−ｄ（ｋ）−ｄ（ｋ＋１） …………（６）″ というように変えても良い。

【００８３】この式に基づくｅ（ｋ）のプロットと重心
ｇを図７に示している（これは、光電変換信号のフィル
タ出力信号である）。

【００８４】なお、その他の部分は第１の実施例と同様
であるので、その説明はここでは省略する。

【００８５】上記の実施例によれば、眼球像信号の変化
量を求め、その変化量の重心座標を瞳孔エッジ座標とし
て、エッジ座標の決定に多数の信号を参加せしめ、瞳孔
エッジ抽出を行うようにしている為、ノイズに対する影
響を減少させることができ、ひいては視線検出の精度を
向上させることが可能となる。

【００８６】

【発明の効果】以上説明したように、本発明によれば、
受光手段からの光電変換信号の特徴量のモーメントによ
って眼球像中の瞳孔部と虹彩部の境界位置を抽出する処
理手段と、抽出された複数の境界位置情報に基づいて使
用者の視線を算出する演算手段とを備え、また、標本化
された光電変換信号の特徴量のモーメントによって眼球
像中の瞳孔部と虹彩部の境界位置を標本化単位以下の値
で抽出する処理手段と、該処理手段にて抽出された境界
位置を記憶する記憶手段と、記憶された複数の境界位置
情報に基づいて使用者の視線を算出する演算手段とを備
え、光電変換信号の特徴量のモーメントによって、具体
的には、瞳孔エッジ部分の信号の変化量を求め、その変
化量の重心によって、眼球像中の瞳孔部と虹彩部の境界
位置を抽出するようにしている。

【００８７】よって、ノイズに対する影響を低減させ、
視線検出の精度を向上させることが可能となる。

【図面の簡単な説明】

【図１】本発明の第１の実施例装置を一眼レフカメラに
適用した場合の要部を示す概略図である。

【図２】図１の第１の眼レフカメラの要部構成を示すブ
ロック図である。

【図３】本発明の第１の実施例における視線検出時の概
略動作を示すフローチャートである。

【図４】本発明の第１の実施例における瞳孔エッジ抽出
時の説明を助けるための図である。

【図５】本発明の第１の実施例において長方形の画素形
状を持つエリアセンサの画素形状と瞳孔形を示す図であ
る。

【図６】図５のエリアセンサが正方形の画素形状であっ
た場合の画素形状と瞳孔形を示す図である。

【図７】本発明の第２の実施例における瞳孔エッジ抽出
時の説明を助けるための図である。

【図８】視線検出方法の原理を説明するための図であ
る。

【図９】観察者のイメージセンサ上での眼球像の一例を
示す図である。

【図１０】一般的な瞳孔円検出について説明するための
図である。

【符号の説明】 １３ａ，１３ｂ ＩＲＥＤ（赤外発光ダイオード） １４ イメージセンサ １５ 眼球 １６ 角膜 １７ 虹彩 １００ ＣＰＵ １０１ 視線検出回路 １０７ ＩＲＥＤ駆動回路

Claims (4)

【特許請求の範囲】
1. 【請求項１】 使用者の眼球像を受光し、光電変換信号
   を出力する受光手段と、該受光手段からの光電変換信号
   の特徴量のモーメントによって眼球像中の瞳孔部と虹彩
   部の境界位置を抽出する処理手段と、抽出された複数の
   境界位置情報に基づいて使用者の視線を算出する演算手
   段とを備えた視線検出装置。
2. 【請求項２】 使用者の眼球像を受光し、標本化された
   光電変換信号を出力する受光手段と、前記標本化された
   光電変換信号の特徴量のモーメントによって眼球像中の
   瞳孔部と虹彩部の境界位置を標本化単位以下の値で抽出
   する処理手段と、該処理手段にて抽出された境界位置を
   記憶する記憶手段と、記憶された複数の境界位置情報に
   基づいて使用者の視線を算出する演算手段とを備えた視
   線検出装置。
3. 【請求項３】 光電変換信号の特徴量のモーメントは、
   該信号の変化量の重心であることを特徴とする請求項１
   又は２記載の視線検出装置。
4. 【請求項４】 光電変換信号の特徴量は、該信号のフィ
   ルタ出力信号であることを特徴とする請求項１，２又は
   ３記載の視線検出装置。