JPH06125874A

JPH06125874A - 視線検出装置

Info

Publication number: JPH06125874A
Application number: JP4278723A
Authority: JP
Inventors: Akira Akashi; 彰明石
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1992-10-16
Filing date: 1992-10-16
Publication date: 1994-05-10
Anticipated expiration: 2016-06-11
Also published as: JP3176147B2

Abstract

(57)【要約】【目的】観察者の注視点を検出するにあたりメガネ等
の原因によって生じるゴーストによる誤検出を軽減する
こと。【構成】観察者の眼球を照明する手段と、観察者の眼
球像から瞳孔部を検出する手段と、観察者の眼球像から
角膜反射像を検出する手段と、該検出手段により得られ
た複数の角膜反射像からある角膜反射像を選択する手段
と、前記瞳孔と選択された角膜反射像の位置関係から観
察者の視線を検出する手段とを有する視線検出装置であ
って、検出された視線の結果が正常か否かを判別する手
段と、判別手段の結果に応じて角膜反射像を再選択する
手段を具備すること。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は視線検出手段を有した光
学装置に関し、特に撮影系による被写体像が形成されて
いる観察面（ピント面）上のファインダー系を介して観
察者（撮影者）が観察している注視点方向の軸、いわゆ
る視線（視軸）を、観察者の眼球面上を照明したときに
得られる眼球の反射像を利用して検出し、各種の撮影操
作を行うようにした視線検出手段を有した光学装置に関
するものである。

【０００２】

【従来の技術】従来より観察者が観察面上のどの位置を
観察しているかを検出する、いわゆる視線（視軸）を検
出する装置（例えばアイカメラ）が種々提案されてい
る。

【０００３】例えば特開平１−２７４７３６号公報にお
いては、光源からの平行光束を観察者の眼球の前眼部へ
投射し、角膜からの反射光による角膜反射像と瞳孔の結
像位置を利用して視軸を求めている。

【０００４】図１０は視線検出方法の原理説明図であ
る。

【０００５】図１（Ａ）は図１０のイメージセンサ１４
面上に投影されるごく通常の場合の眼球像であり、
（Ｂ）の６０はライン（Ｉ）−（Ｉ）′での像信号出力
を示している。

【０００６】図中５０は眼球のいわゆる白目の部分、５
１は瞳孔を表わし、５２ａ，５２ｂは眼球照明光源の角
膜反射像を表わしている。

【０００７】図２はメガネをかけた撮影者での眼球像例
である。（５２ａ，５２ｂ）は角膜反射像、（５３ａ，
５３ｂ），（５４ａ，５４ｂ）はメガネによる光源のゴ
ースト像を表わしている。

【０００８】次に図１０、図１（Ａ），（Ｂ）を用いて
視線検出方法について説明する。各赤外発光ダイオード
１３ａ、１３ｂは受光レンズ１２の光軸アに対してＺ方
向に略対称に配置され、各々撮影者の眼球を発散照明し
ている。

【０００９】赤外発光ダイオード１３ｂより放射された
赤外光は眼球１５の角膜１６を照明する。このとき角膜
１６の表面で反射した赤外光の一部による角膜反射像ｄ
は受光レンズ１２により集光されイメージセンサー１４
上の位置ｄ′に再結像する。

【００１０】同様に赤外発光ダイオード１３ａより放射
された赤外光は眼球の角膜１６を照明する。このとき角
膜１６の表面で反射した赤外光の一部による角膜反射像
ｅは受光レンズ１２により集光されイメージセンサー１
４上の位置ｅ′に再結像する。

【００１１】又、虹彩１７の端部ａ，ｂからの光束は受
光レンズ１２を介してイメージセンサー１４上の位置
ａ′，ｂ′に該端部ａ，ｂの像を結像する。受光レンズ
１２の光軸（光軸ア）に対する眼球１５の光軸イの回転
角θが小さい場合、虹彩１７の端部ａ，ｂのＺ座標をＺ
ａ，Ｚｂとすると、瞳孔１９の中心位置ｃの座標ＺｃはＺｃ≒（Ｚａ＋Ｚｂ）／２と表わされる。

【００１２】又、角膜反射像ｄ及びｅの中点のＺ座標と
角膜１６の曲率中心ＯのＺ座標Ｚｏとは一致するため、
角膜反射像の発生位置ｄ，ｅのＺ座標をＺｄ，Ｚｅ、角
膜１６の曲率中心Ｏから瞳孔１９の中心Ｃまでの標準的
な距離をＬ_OCとし、距離Ｌ_OCに対する個人差を考慮する
係数をＡｌとすると眼球光軸イの回転角θは（Ａｌ＊Ｌ_OC）＊ｓｉｎθ≒Ｚｃ−（Ｚｄ＋Ｚｅ）／２・・・（１）の関係式を略満足する。このため視線演算処理装置にお
いて図２７（Ｂ）のごとくイメージセンサー上の一部に
投影された各特徴点（角膜反射像ｄ，ｅ及び虹彩の端部
ａ，ｂ）の位置を検出することにより眼球の光軸イの回
転角θを求めることができる。このとき（１）式は、 β（Ａｌ＊Ｌ_OC）＊ｓｉｎθ≒（Ｚａ′＋Ｚｂ′）／２ −（Ｚｄ′＋Ｚｅ′）／２・・・（２）とかきかえられる。但し、βは受光レンズ１２に対する
眼球の位置により決まる倍率で、実質的には角膜反射像
の間隔｜Ｚｄ′−Ｚｅ′｜の関数として求められる。眼
球１５の回転角θは θ≒ＡＲＣＳＩＮ｛（Ｚｃ′−Ｚｆ′）／β／（Ａｌ＊Ｌ_OC）｝・・（３）とかきかえらえる。但しＺｃ′≒（Ｚａ′＋Ｚｂ′）／２Ｚｆ′≒（Ｚｄ′＋Ｚｅ′）／２である。ところで撮影者の眼球の光軸イとは一致しない
為、撮影者の眼球の光軸イの水平方向の回転角θが算出
されると眼球の光軸と視軸との角度補正δをすることに
より撮影者の水平方向の視線θＨは求められる。眼球の
光軸イと視軸との補正角度δに対する個人差を考慮する
係数をＢ１とすると撮影者の水平方向の視線θＨは θＨ＝θ±（Ｂ１＊δ）・・・（４）と求められる。ここで符号±は、撮影者に関して右への
回転角を正とすると、観察装置をのぞく撮影者の目が左
目の場合は＋、右目の場合は−の符号が選択される。

【００１３】又、同図においては撮影者の眼球がＺ−Ｘ
平面（例えば水平面）内で回転する例を示しているが、
撮影者の眼球がＸ−Ｙ平面（例えば垂直面）内で回転す
る場合においても同様に検出可能である。ただし、撮影
者の視線の垂直方向の成分は眼球の光軸の垂直方向の成
分θ′と一致するため垂直方向の視線θＶは θＶ＝θ′ となる。更に視線データθＨ，θＶより撮影者が見てい
るファインダー視野内のピント板上の位置（Ｚｎ，Ｙ
ｎ）はＺｎ≒ｍ＊θＨ ≒ｍ＊［ＡＲＣＳＩＮ｛（Ｚｃ′−Ｚｆ′）／β／（Ａｌ＊Ｌ_OC）｝ ±（Ｂ１＊δ）］・・・（５）Ｙｎ≒ｍ＊θＶと求められる。ただし、ｍはカメラのファインダー光学
系で決まる定数である。

【００１４】ここで撮影者の眼球の個人差を補正する係
数Ａｌ，Ｂ１の値は撮影者にカメラのファインダー内の
所定の位置に配設された指標を固視してもらい、該指標
の位置と（５）式に従い算出された固視点の位置とを一
致させることにより求められる。

【００１５】本実施例における撮影者の視線及び注視点
を求める演算は、前記各式に基づき視線演算処理装置の
マイクロコンピュータのソフトで実行している。

【００１６】視線の個人差を補正する係数が求まり
（５）式を用いてカメラのファインダーを覗く観察者の
視線のピント板上の位置を算出し、その視線情報を撮影
レンズの焦点調節あるいは露出制御等に利用している。

【００１７】

【発明が解決しようとする課題】上述したように、撮影
者の視線方向／座標は、照明用の赤外発光ダイオード
（以下「ＩＲＥＤ」と称する）の角膜反射像（「プルキ
ニエ像」、以下「Ｐ像」と称する）と、眼球像中の瞳孔
の位置関係から算出することができる。この具体的な検
出方式は本出願人による特願平３−１２１０９８号に開
示されている。

【００１８】Ｐ像はＩＲＥＤの角膜反射像であるから、
眼球像全体の中では輝度が高く、またその像はＩＲＥＤ
のチップ発光面の反射像であるから、その大きさも極く
小さいものである。従って、その特徴を利用すれば眼球
像信号からＰ像を抽出することができる。具体的には、
眼球像信号中のある画素の輝度値が所定値以上あり、か
つその画素と周辺の画素の輝度差が所定以上ある場合
に、その画素（あるいはその画素を含めた周辺画素領
域）をＰ像の候補とするようにしている。

【００１９】さらに、カメラと眼球の距離を検出するた
めにＩＲＥＤは２個１組で点灯し、Ｐ像はペアで用いる
ようにしているから、Ｐ像ペアの候補が複数あるときに
は、適切な間隔を持つＰ像ペアを選択するようにしてい
る。

【００２０】図１のように、高輝度部分が図中（５２
ａ，５２ｂ）の１組しかない場合には、先に述べた条件
でもって、この高輝度部分が正しいＰ像であることが容
易に検出できる。

【００２１】ところが、図２のように高輝度部分が複数
組ある場合には、前述の条件だけでは正しいＰ像を誤選
択してしまう場合がしばしば起こり、視線検出にとって
非常に都合は悪い。

【００２２】

【課題を解決するための手段】本発明は、上述した課題
の解決を目的とする。

【００２３】即ち、最初に選択されたＰ像ペアに基づい
て算出した視線の結果が明らかに正常でないときに、図
２のように候補となるＰ像ペアがさらにある場合には、
別のＰ像ペアを用いて視線の算出を試みることによっ
て、正しいＰ像の選択を可能にしようとするものであ
る。

【００２４】そして具体的には、観察者の眼球を照明す
る手段と、観察者の眼球像から瞳孔部を検出する手段
と、観察者の眼球像から角膜反射像を検出する手段と、
該検出手段により得られた複数の角膜反射像からある角
膜反射像を選択する手段と、前記瞳孔と選択された角膜
反射像の位置関係から観察者の視線を検出する手段とを
有する視線検出装置であって、検出された視線の結果が
正常か否かを判別する手段と、判別手段の結果に応じて
角膜反射像を再選択する手段とを具備することにある。

【００２５】

【実施例】図３は本発明を一眼レフカメラに適用したと
きの実施例１の要部概略図を示す。

【００２６】各図において、１は撮影レンズで便宜上２
枚のレンズで示したが、実際はさらに多数のレンズから
構成されている。２は主ミラーで、ファインダー系によ
る被写体像の観察状態と被写体像の撮影状態に応じて撮
影光路へ斜接されあるいは退去される。３はサブミラー
で、主ミラー２を透過した光束をカメラボディの下方の
後述する焦点検出装置６へ向けて反射する。

【００２７】４はシャッター、５は感光部材で、銀塩フ
ィルムあるいはＣＣＤやＭＯＳ型等の固体撮像素子ある
いはビディコン等の撮像管より成っている。

【００２８】６は焦点検出装置であり、結像面近傍に配
置されたフィールドレンズ６ａ，反射ミラー６ｂ及び６
ｃ，２次結像レンズ６ｄ，絞り６ｅ，複数のＣＣＤから
なるラインセンサー６ｆ等から構成されている。

【００２９】本実施例における焦点検出装置６は周知の
位相差方式を用いており、図４に示すように観察画面内
（ファインダー視野内）の複数の領域（５箇所）を測距
点として、該測距点が焦点検出可能となるように構成さ
れている。

【００３０】７は撮影レンズ１の予定結像面に配置され
たピント板、８はファインダー光路変更用のペンタプリ
ズム、９，１０は各々観察画面内の被写体輝度を測定す
るための結像レンズと測光センサーである。結像レンズ
９はペンタダハプリズム８内の反射光路を介してピント
板７と測光センサー１０を共役に関係付けている。

【００３１】次にペンタダハプリズム８の射出面後方に
は光分割器１１ａを備えた接眼レンズ１１が配され、撮
影者眼１５によるピント板７の観察に使用される。光分
割器１１ａは、例えば可視光を透過し赤外光を反射する
ダイクロイックミラーより成っている。

【００３２】１２は受光レンズ、１４はＣＣＤ等の光電
素子列を２次元的に配したイメージセンサーで受光レン
ズ１２に関して所定の位置にある撮影者眼１５の瞳孔近
傍と共役になるように配置されている。１３ａ〜１３ｆ
は各々照明光源であるところの赤外発光ダイオードであ
る。

【００３３】２１は明るい被写体の中でも視認できる高
輝度のスーパーインポーズ用ＬＥＤで、発光された光は
投光用プリズム２２を介し、主ミラー２で反射してピン
ト板７の表示部に設けた微小プリズムアレー７ａで垂直
方向に曲げられ、ペンタプリズム８、接眼レンズ１１を
通って撮影者眼１５に達する。

【００３４】そこでピント板７の焦点検出領域に対応す
る複数の位置（測距点）にこの微小プリズムアレイ７ａ
を枠状に形成し、これを各々に対応した５つのスーパー
インポーズ用ＬＥＤ２１（各々をＬＥＤ−Ｌ１，ＬＥＤ
−Ｌ２，ＬＥＤ−Ｃ，ＬＥＤ−Ｒ１，ＬＥＤ−Ｒ２とす
る）によって照明する。

【００３５】これによって図３に示したファインダー視
野から分かるように、各々の測距点マーク２００，２０
１，２０２，２０３，２０４がファインダー視野内で光
り、焦点検出領域（測距点）を表示させることができる
ものである（以下これをスーパーインポーズ表示とい
う）。

【００３６】２３はファインダー視野領域を形成する視
野マスク。２４はファインダー視野外に撮影情報を表示
するためのファインダー内ＬＣＤで、照明用ＬＥＤ（Ｆ
−ＬＥＤ）２５によって照明されている。

【００３７】ＬＣＤ２４を透過した光は三角プリズム２
６によってファインダー視野内に導かれ、図４の２０７
で示したようにファインダー視野外に表示され、撮影者
は撮影情報を知ることができる。

【００３８】３１は撮影レンズ１内に設けた絞り、３２
は後述する絞り駆動回路１１１を含む絞り駆動装置、３
３はレンズ駆動用モーター、３４は駆動ギヤ等からなる
レンズ駆動部材、３５はフォトカプラーでレンズ駆動部
材３４に連動するパルス板３６の回転を検知してレンズ
焦点調節回路１１０に伝えている。焦点調節回路１１０
は、この情報とカメラ側からのレンズ駆動量の情報に基
づいてレンズ駆動用モーターを所定量駆動させ、撮影レ
ンズ１を合焦位置に移動させるようになっている。３７
は公知のカメラとレンズとのインターフェイスとなるマ
ウント接点である。

【００３９】図５は本発明のカメラに内蔵された電気回
路図の説明図である。図３と同一のものは同一番号をつ
けている。

【００４０】カメラ本体に内蔵されたマイクロコンピュ
ータの中央処理装置（以下ＣＰＵ）１００には視線検出
回路１０１、測光回路１０２、自動焦点検出回路１０
３、信号入力回路１０４、ＬＣＤ駆動回路１０５、ＬＥ
Ｄ駆動回路１０６、ＩＲＥＤ駆動回路１０７、シャッタ
ー制御回路１０８、モーター制御回路１０９が接続され
ている。又、撮影レンズ内に配置された焦点調節回路１
１０、絞り駆動回路１１１とは図３で示したマウント接
点３７を介して信号の伝達がなされる。

【００４１】ＣＰＵ１００に付随したＥＥＰＲＯＭ１０
０ａは記憶手段としての視線の個人差を補正する視線補
正データの記憶機能を有している。

【００４２】視線検出回路１０１は、イメージセンサー
１４（ＣＣＤ−ＥＹＥ）からの眼球像の出力をＡ／Ｄ変
換し、この像情報をＣＰＵ１００に送信する。ＣＰＵ１
００は後述するように視線検出に必要な眼球像の各特徴
点を所定のアルゴリズムに従って抽出し、さらに各特徴
点の位置から撮影者の視線を算出する。

【００４３】測光回路１０２は測光センサー１０からの
出力を増幅後、対数圧縮、Ａ／Ｄ変換し、各センサーの
輝度情報としてＣＰＵ１００に送られる。測光センサー
１０は図４に示したファインダー視野内の左側測距点２
００，２０１を含む左領域２１０を測光するＳＰＣ−Ｌ
と中央の測距点２０２を含む中央領域２１１を測光する
ＳＰＣ−Ｃと右側の測距点２０３，２０４を含む右側領
域２１２を測光するＳＰＣ−Ｒとこれらの周辺領域２１
３を測光するＳＰＣ−Ａとの４つの領域を測光するフォ
トダイオードから構成されている。

【００４４】図５のラインセンサー６ｆは前述の図４に
示すように画面内の５つの測距点２００〜２０４に対応
した５組のラインセンサーＣＣＤ−Ｌ２，ＣＣＤ−Ｌ
１，ＣＣＤ−Ｃ，ＣＣＤ−Ｒ１，ＣＣＤ−Ｒ２から構成
される公知のＣＣＤラインセンサーである。

【００４５】自動焦点検出回路１０３は、これらライン
センサー６ｆから得た電圧をＡ／Ｄ変換し、ＣＰＵ１０
０に送る。ＳＷ−１はレリーズ釦４１の第一ストローク
でＯＮし、測光、ＡＦ、視線検出動作等を開始するスイ
ッチ、ＳＷ−２はレリーズ釦の第二ストロークでＯＮす
るレリーズスイッチ、ＳＷ−ＡＥＬはＡＥロック釦４３
を押すことによってＯＮするＡＥロックスイッチ、ＳＷ
−ＤＩＡＬ１とＳＷ−ＤＩＡＬ２は、不図示の電子ダイ
ヤル内に設けたダイヤルスイッチで信号入力回路１０４
のアップダウンカウンターに入力され、電子ダイヤルの
回転クリック量をカウントする。

【００４６】１０５は液晶表示素子ＬＣＤを表示駆動さ
せるための公知のＬＣＤ駆動回路で、ＣＰＵ１００から
の信号に従い絞り値、シャッター秒時、設定した撮影モ
ード等の表示をモニター用ＬＣＤ４２とファインダー内
ＬＣＤ２４の両方に同時に表示させることができる。Ｌ
ＥＤ駆動回路１０６は照明用ＬＥＤ（Ｆ−ＬＥＤ）２５
とスーパーインポーズ用ＬＥＤ２１を点灯、点滅制御す
る。ＩＲＥＤ駆動回路１０７は赤外発光ダイオード（Ｉ
ＲＥＤ１〜６）１３ａ〜１３ｆを状況に応じて選択的に
点灯させる。

【００４７】シャッター制御回路１０８は通電すると先
幕を走行させるマグネットＭＧ−１と、後幕を走行させ
るマグネットＭＧ−２を制御し、感光部材に所定光量を
露光させる。モーター制御回路１０９はフィルムの巻き
上げ、巻戻しを行なうモーターＭ１と主ミラー２及びシ
ャッター４のチャージを行なうモーターＭ２を制御する
ためのものである。これらシャッター制御回路１０８、
モーター制御回路１０９によって一連のカメラのレリー
ズシーケンスが動作する。

【００４８】次に、視線検出装置を有したカメラの動作
のフローチャートを図６に示し、これらをもとに以下説
明する。

【００４９】不図示のモードダイヤルを回転させてカメ
ラを不作動状態から所定の撮影モードに設定すると（本
実施例ではシャッター優先ＡＥに設定された場合をもと
に説明する）カメラの電源がＯＮされ（＃１００）、Ｃ
ＰＵ１００の視線検出に使われる変数がリセットされ
る。

【００５０】そしてカメラはレリーズ釦４１が押し込ま
れてスイッチＳＷ１がＯＮされるまで待機する（＃１０
２）。レリーズ釦４１が押し込まれスイッチＳＷ１がＯ
Ｎされたことを信号入力回路１０４が検知すると、ＣＰ
Ｕ１００は視線検出回路１０１に確認する（＃１０
３）。

【００５１】この時、視線禁止モードに設定されていた
ら、視線検出は実行せずにすなわち視線情報を用いずに
測距点自動選択サブルーチン（＃１１６）によって特定
の測距点を選択する。この測距点において自動焦点検出
回路１０３は焦点検出動作を行なう（＃１０７）。

【００５２】このように視線情報を用いずに測距点選択
を行う撮影モード（視線禁止自動焦点撮影モード）と視
線情報を用いて測距点選択を行う撮影モード（視線自動
焦点撮影モード）の両方を備え、視線禁止モードに設定
するかどうかで撮影者が任意に選択できるようになって
いる。

【００５３】尚、測距点自動選択のアルゴリズムとして
はいくつかの方法が考えられるが、中央測距点に重み付
けを置いた近点優先アルゴリズムが有効であり、ここで
は本発明に直接関係がないので説明は省略する。

【００５４】そして視線検出モードに設定されている場
合には視線検出を実行する（＃１０４）。この時ＬＥＤ
駆動回路１０６は照明用ＬＥＤ（Ｆ−ＬＥＤ）２５を点
灯させ、ＬＣＤ駆動回路１０５はファインダー内ＬＣＤ
２４の視線入力マーク７８を点灯させ、ファインダー画
面外２０７で撮影者はカメラが視線検出を行なっている
状態であることを確認することができるようになってい
る。

【００５５】ここで視線検出回路１０１において検出さ
れた視線はピント板７上の注視点座標に変換される。Ｃ
ＰＵ１００は該注視点座標に近接した測距点を選択し、
ＬＥＤ駆動回路１０６に信号を送信してスーパーインポ
ーズ用ＬＥＤ２１を用いて前記測距点マークを点滅表示
させる（＃１０５）。

【００５６】撮影者が該撮影者の視線によって選択され
た測距点が表示されたのを見て、その測距点が正しくな
いと認識してレリーズ釦４１から手を離しスイッチＳＷ
１をＯＦＦすると（＃１０６）、カメラはスイッチＳＷ
１がＯＮされるまで待機する（＃１０２）。

【００５７】このように視線情報によって測距点が選択
されたことをファインダー視野内の測距点マークを点滅
表示させて撮影者に知らせるようになっているので撮影
者は意志どうりに選択されたかどうか確認することがで
きる。

【００５８】又、撮影者が視線によって選択された測距
点が表示されたのを見て、引続きスイッチＳＷ１をＯＮ
し続けたならば（＃１０６）、自動焦点検出回路１０３
は検出された視線情報を用いて１つ以上の測距点の焦点
検出を実行する（＃１０７）。

【００５９】ここで選択された測距点が測距不能である
かを判定し（＃１０８）、不能であればＣＰＵ１００は
ＬＣＤ駆動回路１０５に信号を送ってファインダー内Ｌ
ＣＤ２４の合焦マークを点滅させ、測距がＮＧ（不能）
であることを撮影者に警告し（＃１１８）、ＳＷ１が離
されるまで続ける（＃１１９）。

【００６０】測距が可能であり、所定のアルゴリズムで
選択された測距点の焦点調節状態が合焦でなければ（＃
１０９）、ＣＰＵ１００はレンズ焦点調節回路１１０に
信号を送って所定量撮影レンズ１を駆動させる（＃１１
７）。レンズ駆動後自動焦点検出回路１０３は再度焦点
検出を行ない（＃１０７）、撮影レンズ１が合焦してい
るか否かの判定を行なう（＃１０９）。

【００６１】所定の測距点において撮影レンズ１が合焦
していたならば、ＣＰＵ１００はＬＣＤ駆動回路１０５
に信号を送ってファインダー内ＬＣＤ２４の合焦マーク
を点灯させるとともに、ＬＥＤ駆動回路１０６にも信号
を送って合焦している測距点２０１に合焦表示させる
（＃１１０）。

【００６２】この時、前記視線によって選択された測距
点の点滅表示は消灯するが合焦表示される測距点と前記
視線によって選択された測距点とは一致する場合が多い
ので、合焦したことを撮影者に認識させるために合焦測
距点は点灯状態に設定される。合焦した測距点がファイ
ンダー内に表示されたのを撮影者が見て、その測距点が
正しくないと認識してレリーズ釦４１から手を離しスイ
ッチＳＷ１をＯＦＦすると（＃１１１）、引続きカメラ
はスイッチＳＷ１がＯＮされるまで待機する（＃１０
２）。

【００６３】又、撮影者が合焦表示された測距点を見
て、引続きスイッチＳＷ１をＯＮし続けたならば（＃１
１１）、ＣＰＵ１００は測光回路１０２に信号を送信し
て測光を行なわせる（＃１１２）。この時合焦した測距
点を含む測光領域２１０〜２１３に重み付けを行なった
露出値が演算される。

【００６４】更にレリーズ釦４１が押し込まれてスイッ
チＳＷ２がＯＮされているかどうかの判定を行ない（＃
１１３）、スイッチＳＷ２がＯＦＦ状態であれば再びス
イッチＳＷ１の状態の確認を行なう（＃１１１）。又、
スイッチＳＷ２がＯＮされたならばＣＰＵ１００はシャ
ッター制御回路１０８、モーター制御回路１０９、絞り
駆動回路１１１にそれぞれ信号を送信する。

【００６５】まずＭ２に通電し主ミラー２をアップさ
せ、絞り３１を絞り込んだ後、ＭＧ１に通電しシャッタ
ー４の先幕を開放する。絞り３１の絞り値及びシャッタ
ー４のシャッタースピードは、前記測光回路１０２にて
検知された露出値とフィルム５の感度から決定される。
所定のシャッター秒時（例えば１／２５０秒）経過後Ｍ
Ｇ２に通電し、シャッター４の後幕を閉じる。フィルム
５への露光が終了すると、Ｍ２に再度通電し、ミラーダ
ウン、シャッターチャージを行なうとともにＭ１にも通
電し、フィルムのコマ送りを行ない、一連のシャッター
レリーズシーケンスの動作が終了する（＃１１４）。そ
の後、カメラは再びスイッチＳＷ１がＯＮされるまで待
機する（＃１０２）。

【００６６】図７、図８は本発明の視線検出のフローチ
ャートである。

【００６７】前述のように視線検出回路１０１はＣＰＵ
１００より信号を受け取ると視線検出を実行する（＃１
０４）。

【００６８】先ずＣＰＵ１００は撮影者の眼を照明する
ための赤外発光ダイオード（ＩＲＥＤ）１３ａ〜１３ｆ
の内から適切な組み合わせのＩＲＥＤを選んで点灯する
（＃２０１）。ＩＲＥＤの選択は不図示の姿勢スイッチ
によりカメラが横位置か縦位置か、あるいは撮影者が眼
鏡をかけているか否かによってなされる。

【００６９】次にイメージセンサ１４を所定の蓄積時間
で電荷蓄積を行う（＃２０２）。蓄積が終了するとそれ
とともにＩＲＥＤも消灯される（＃２０３）。

【００７０】ＣＰＵ１００は蓄積の終了したイメージセ
ンサ１４から撮影者の眼球像を読み出すと同時に、逐次
的にＰ像や瞳孔部の特徴抽出の処理を行う（＃２０
４）。具体的な方法は本出願人によって特願平３−１２
１９０９８号に詳述されているので、ここでの詳細な説
明は省略する。

【００７１】さて、眼球像全体の読み出しが終わり、複
数のＰ像、瞳孔の特徴抽出が完了した後は、これらの情
報に基づいて一組のＰ像位置を検出する（＃２０５）。
先にも述べたようにＰ像は眼球照明用ＩＲＥＤの角膜反
射像であるから、像信号中には光強度の強い輝点として
現われるため、その特徴をもって１組のＰ像を検出し、
その位置（ｘｄ′，ｙｄ′），（ｘｅ′，ｙｅ′）を求
めることが出来る。図１に示したような眼球像の場合は
Ｐ像らしき輝点は１組しかないのでその検出は容易であ
るが、図２に示したように撮影者のかけている眼鏡に起
因するゴーストが発生している場合には、正しいＰ像の
ペアを検出することをしばしば失敗することがある。Ｐ
像であることを認識するには輝点条件以外にも、ペアと
なすＰ像間の間隔、あるいは輝点のセンサ上での大きさ
も条件に加えることが望ましい。なぜなら眼鏡によるゴ
ーストは一般に輝点が大きく存在するからである。

【００７２】ともかく、一組のＰ像ペアが（＃２０５）
にて決定できれば、次に瞳孔中心（ｘｅ′，ｙｅ′）及
び瞳孔径（νｃ）の検出を行う（＃２０６）。

【００７３】撮影者の眼球像の中からＰ像位置と瞳孔が
検出できれば撮影者の視線方向あるいはファインダ上で
の座標を式（５）から算出することができる（＃２０
７）。

【００７４】図８において、次にＣＰＵ１００は検出し
た視線の結果が使用可能かどうかの判定を行う（＃２０
８）。具体的には検出した眼球の回転角が横／縦方向と
もに異常に大きくないかどうかを判定する。撮影者が通
常にファインダをのぞいている限りあまりに大きな回転
角とするはずがないからであり、回転角が所定以上（例
えば２０°程度）大きく算出された場合にはＰ像を誤検
出したおそれがある、と考えるわけである。尚、この判
定基準は、回転角だけでなく注視点が視野座標の内か外
であるかを判定基準としてもよい。

【００７５】検出結果がＯＫならば「視線検出成功」と
見なし（＃２０９）視線検出のルーチンをリターンする
（＃２１０）。

【００７６】検出結果が正常でない場合には、Ｐ像ペア
を誤選択した可能性があるとして、別のＰ像ペアがある
かどうかを調べてみる（＃２１１）。図２のような眼球
像の場合、Ｐ像のペアとしては、（５２ａ，５２ｂ），
（５３ａ，５３ｂ），（５４ａ，５４ｂ）の３組があ
る。もちろん、正しいＰ像のペアは（５２ａ，５２ｂ）
であり、（５３ａ，５３ｂ），（５４ａ，５４ｂ）のペ
アは眼鏡によるゴーストである。（５２ａ，５２ｂ）の
Ｐ像ペアが最初から選択されている場合は正しい検出結
果を与えるが、最初に（５３ａ，５３ｂ）のペアが選択
されて視線検出を行うと検出結果が正常でなくなる。そ
こで、図２の例のようにＰ像ペアの候補が複数あれば他
のＰ像ペアを選択して（＃２１２）、再度視線検出を試
みる（Ｔ１）。

【００７７】図１のようにそもそもＰ像ペアが１組しか
ない場合には仮にそれが正しくないＰ像ペアであったと
しても、別のペアを選択し直すことは不可能なので、そ
の場合には「視線検出失敗」と見なし（＃２１３）、視
線検出のルーチンをリターンする（＃２１４）。

【００７８】以上説明してきた実施例では、最初に選択
したＰ像ペアに基づいて算出した視線の結果が正常であ
れば、そこで処理を終了し、そうでない場合に別のＰ像
ペアを再選択するようにし、結果が正常になった時点で
視線検出の処理は終了するようにしている。

【００７９】しかし、Ｐ像ペアの候補が複数ある場合、
特にメガネによるゴーストが真のＰ像のごく近傍に存在
している場合では、そのゴーストをＰ像として視線算出
を行うと程々の結果を呈し、それで処理が終了となって
しまうことも起こり得る。

【００８０】そこで、本発明の第２の実施例では、総て
のＰ像ペア候補で一通り視線の算出を実行し、その結果
の内から最も確からしい結果を採用するような処理方法
を提案している。

【００８１】図９に第２の実施例のフローチャートを示
す。

【００８２】図７のステップ＃２０７にて視線の算出が
終了すると、ステップ＃２２０へ移行し、すべてのＰ像
ペア候補について視線算出が終了したかどうかを判定す
る。図１に示したような眼球像の例ではＰ像ペアは１組
しかないので、１回で計算は終了し、その結果をもって
最終結果とし（＃２２２）、視線計算のルーチンをリタ
ーンする（＃２２３）。

【００８３】図２に示したような眼球像の例ではＰ像ペ
アは３組あることになるので（実際には拡がりの大きい
高輝度領域はゴーストと見なして最初に排斥されて、そ
もそもＰ像ペア候補に入らないようにすべきであるが、
ここでは説明のため図２の眼球像の例では３組のＰ像ペ
ア候補があるものとする）、最初に選択したＰ像ペアで
の視線の結果が仮に良好なものであったとしても、別の
Ｐ像ペアを再設定し（＃２２１）、再び視線の算出処理
を行わせる。

【００８４】３つのＰ像ペアでの計算が終了すると、そ
れらの結果の中から最も確からしい視線結果を採用する
（＃２２２）。具体的には各Ｐ像ペアでの検出眼球回転
角の内、最も角度の小さい結果を採用するという方法が
現実的である。そして、最終的な視線の結果が採用され
れば視線検出ルーチンをリターンする（＃２２３）。

【００８５】

【発明の効果】以上説明したように、本発明によれば選
択されたＰ像ペアに基づいて算出された視線の検出結果
が明らかに正常でないときに、さらに別のＰ像の候補が
あれば、そのＰ像ペアに基づいて再度視線の算出を行う
ことによって、メガネをかけた撮影者の場合にも良好な
視線検出動作を可能にすることができる。

【図面の簡単な説明】

【図１】ごく通常の撮影者の眼球像を示す図

【図２】メガネを装着した撮影者の眼球像を示す図

【図３】本発明を一眼レフカメラに適用した実施例１の
要部概略図

【図４】図３のファインダー視野内の説明図

【図５】本発明に係る光学装置の電気回路図

【図６】図６の動作のフローチャート

【図７】本発明に係る視線検出のフローチャート

【図８】本発明に係る視線検出のフローチャート（第１
の実施例）

【図９】本発明に係る視線検出のフローチャート（第２
の実施例）

【図１０】従来の視線検出方法の原理説明図

【符号の説明】

１撮影レンズ２主ミラー６焦点検出装置６ｆイメージセンサー７ピント板１０測光センサー１１接眼レンズ１３赤外発光ダイオード（ＩＲＥＤ）１４イメージセンサー（ＣＣＤ−ＥＹＥ）１５眼球１６角膜１７虹彩２１スーパーインポーズ用ＬＥＤ２４ファインダー内ＬＣＤ２５照明用ＬＥＤ３１絞り５０眼球の白目部分５１眼球の瞳孔部分１００ＣＰＵ１０１視線検出回路１０３焦点検出回路１０４信号入力回路１０５ＬＣＤ駆動回路１０６ＬＥＤ駆動回路１０７ＩＲＥＤ駆動回路１１焦点調節回路２００〜２０４測距点マーク

Claims

【特許請求の範囲】

【請求項１】観察者の眼球を照明する手段と、観察者の眼球像から瞳孔部を検出する手段と、観察者の眼球像から角膜反射像を検出する手段と、該検
出手段により得られた複数の角膜反射像からある角膜反
射像を選択する手段と、前記瞳孔と選択された角膜反射像の位置関係から観察者
の視線を検出する手段とを有する視線検出装置におい
て、検出された視線の結果が正常か否かを判別する手段と、判別手段の結果に応じて角膜反射像を再選択する手段と
を有することを特徴とする視線検出装置。
【請求項２】観察者の眼球を照明する手段と、観察者の眼球像から瞳孔部を検出する手段と、観察者の眼球像から角膜反射像を検出する手段と、該手
段によって得られた複数の角膜反射像の中からある角膜
反射像を選択する手段と、前記瞳孔と選択された角膜反射像の位置関係から観察者
の視線を検出する手段とを有する視線検出装置であっ
て、検出された視線の結果に応じて最も確からしい角膜反射
像を決定する手段とを有することを特徴とする視線検出
装置。