JPH06294930A

JPH06294930A - 視線検出機能付カメラ

Info

Publication number: JPH06294930A
Application number: JP5104926A
Authority: JP
Inventors: Kazuki Konishi; 一樹小西
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1993-04-08
Filing date: 1993-04-08
Publication date: 1994-10-21

Abstract

(57)【要約】【目的】撮影者の意図する撮影画面内の点を正確に注
視点として判別する。【構成】撮影画面内における視点を表示する表示手段
９によって表示された点とその点が表示された時点にお
いて視線検出手段にて検出された視点を比較する比較手
段１と、該比較手段の比較結果に基づいて、前記表示手
段に表示された点が撮影者の注視点か否かを判別する判
別手段１とを備え、表示された点とその点が表示された
時点での撮影者の視点が略等しい場合、この点を注視点
として用いるようにしている。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、撮影者の視点を検出す
る視線検出手段を備え、撮影者が撮影画面内のどの位置
を見ているかを自動的に検出することの機能を有するカ
メラの改良に関するものである。

【０００２】

【従来の技術】従来より、観察者（撮影者）が観察面上
のどの位置を観察しているかを検出する、いわゆる視線
を検出する視線検出装置は種々提案されている。

【０００３】例えば特開昭６１−１７２５５２号広報に
おいては、光源からの平行光束を被検者の前眼部へ投射
し、角膜からの反射光に基づく角膜反射像（プルキンエ
像）と瞳孔の結像位置を利用して視軸（注視点）を求め
ている。

【０００４】図４は視線検出方法の原理図である。

【０００５】同図において、２０４は観察者に対して不
感の赤外光を放射する発光ダイオ−ド等の光源であり、
投光レンズ２０６の焦点面に配置されている。

【０００６】この光源２０４より発せられた赤外光は、
投光レンズ２０６により平行光となり、ハーフミラー２
０５で反射し、眼球２００の角膜２０１を照明する。こ
の時、角膜２０１の表面で反射した赤外光の一部に基づ
くプルキンエ像ｄは、ハーフミラー２０５を通過し受光
レンズ２０７により集光され、イメージセンサ２０９上
の位置ｄ’にプルキンエ像ｄを再結像する。

【０００７】また、虹彩２０３の端部ａ，ｂからの光束
は、ハーフミラー２０５，受光レンズ２０７を介してイ
メージセンサ２０９上に導光され、その位置ａ’，ｂ’
に該端部ａ，ｂの像を結像する。

【０００８】前記受光レンズ２０７の光軸アに対する眼
球の光軸イの回転角θが小さい場合、虹彩２０３の端部
ａ，ｂのＺ座標をＺａ，Ｚｂとすると、虹彩２０３の中
心位置ｃの座標ＺｃはＺｃ≒（Ｚａ＋Ｚｂ）／２と表される。

【０００９】また、プルキンエ像の発生位置ｄのＺ座標
をＺｄ、角膜２０１の曲率中心ｏと虹彩２０３の中心ｃ
までの距離をＬｏｃとすると、眼球光軸イの回転角θはＬｏｃ・ｓｉｎθ≒Ｚｃ−Ｚｄ ………………（１）の関係式を略満足する。このため、イメージセンサ２０
９上に投影された各特徴点（プルキンエ像の発生位置ｄ
及び虹彩２０３の端部ａ，ｂのイメージセンサ２０９上
の像Ｚａ’，Ｚｂ’，Ｚｄ’）の位置を検出する事によ
り、眼球光軸イの回転角θを求める事ができる。この
時、上記（１）式は β・Ｌｏｃ・ｓｉｎθ＝（Ｚａ’−Ｚｂ’）／２−Ｚｄ’ ……（２）と書き換えられる。但し、βはプルキンエ像の発生位置
ｄと受光レンズ２０７との距離Ｌ₁ と受光レンズ２０７
とイメージセンサ２０９との距離Ｌ₀ で決る倍率で、通
常ほぼ一定の値となっている。

【００１０】この様に、観察者の眼球２００の視線の方
向（注視点）を検出することにより、例えば一眼レフカ
メラやビデオカメラにおいては撮影者がピント面上のど
の位置を観察しているかを知ることができる。

【００１１】これは、例えば自動焦点検出装置におい
て、測距点を画面中心のみならず画面内の複数箇所に設
けた場合、観察者がそのうちの１つの測距点を選択して
自動焦点検出を行うとする場合、その１つを選択入力す
る手間を省き、観察者が観察している点を測距点とみな
し、該測距点を自動的に選択して自動焦点検出を行うの
に有効である。

【００１２】又、撮影範囲内を複数の領域に分割し、各
領域において測光を行う分割測光においても、各領域の
測光情報の重み付けに前述した注視点の情報を用いるこ
とにより、観察者の意図する範囲に露出が合う確率が著
しく向上する等の効果がある。

【００１３】

【発明が解決しようとする課題】しかしながら、一般に
人の眼球の運動には、画像特徴を抽出する際に生じる運
動で最高速度が３００度／秒に達する跳躍的運動と、３
０〜３５度／秒以下の移動対象に対して生じる低速平滑
な随従運動があり、そのほかに中心に対象物体を捉える
ために不随的に生じる不規則な微小運動である固視微動
等が存在する。又スチルカメラ・ビデオカメラ等におい
ては、ファインダ内の視野外の表示を見ることもある。

【００１４】このため、従来例に示す様な視線検出装置
では、観察者（すなわち撮影者）の意図する対象に対す
る視線方向（すなわち注視点）を正確に検出することが
困難であった。

【００１５】（発明の目的）本発明の目的は、撮影者の
意図する撮影画面内の点を正確に注視点として判別する
ことのできる視線検出機能付カメラを提供することであ
る。

【００１６】

【課題を解決するための手段】本発明は、撮影画面内に
おける視点を表示する表示手段によって表示された点と
その点が表示された時点において視線検出手段にて検出
された視点を比較する比較手段と、該比較手段の比較結
果に基づいて、前記表示手段に表示された点が撮影者の
注視点か否かを判別する判別手段とを備え、表示された
点とその点が表示された時点での撮影者の視点が略等し
い場合、この点を注視点として用いるようにしている。

【００１７】

【実施例】以下、本発明を図示の実施例に基づいて詳細
に説明する。

【００１８】図１は本発明の第１の実施例における視線
検出機能付カメラの概略構成を示すブロック図である。

【００１９】図１において、１はＭＰＵ（マイクロプロ
セッシングユニット）、２はメモリ、３は後述のＣＣＤ
及びＩＲＥＤ（赤外発光ダイオード）を駆動する為のド
ライバ回路、４は二次元撮像素子であるところのＣＣ
Ｄ、５は観察者の眼球に対して不感の赤外光を投射する
複数のＩＲＥＤから構成されるＩＲＥＤ群であり、水平
・垂直方向に所定間隔をもってペアとなって配置されて
いる。６はＡＦ（オートフォーカス）を行うためのレン
ズ駆動ユニット、７は絞り駆動ユニット、８はシャッタ
ユニットである。９は、ファインダ内に配置され、後述
の様な視線検出のルーチンによって得られる視線位置な
どを表示するファインダ内表示器である。

【００２０】図２は上記構成から成る視線検出機能付カ
メラのメイン動作を示すフローチャートである。

【００２１】カメラの不図示のレリーズ釦の第１ストロ
ーク操作に連動するスイッチＳＷ１のＯＮなどにより視
線検出の要求がなされると（ステップ１０１）、ＭＰＵ
１はステップ１０２からの視線検出のルーチンに入る。

【００２２】ステップ１０２においては、演算に使用す
る変数の初期化処理を行い、次のステップ１０３におい
て、蓄積時間の設定を行う（ステップ１０３）。これは
眼鏡の有無・外光の強度等を考慮して行い、同時にＩＲ
ＥＤ群５内より点灯させるべくＩＲＥＤペアの選択も行
う。そして、ステップ１０４以降の蓄積制御動作へと移
る。

【００２３】まず、ステップ１０４においては、ＣＣＤ
４の電荷クリア動作を行うための指示をドライバ回路３
に対して行う。この指示を受けたドライバ回路３はクリ
ア動作を行い、ＣＣＤ４のメモリゾーン、電荷転送ライ
ン等に残っている電荷を消去する。次いで、ステップ１
０５において、上記ステップ１０３において選択したＩ
ＲＥＤペアを点灯させるためにＩＲＥＤ選択信号をドラ
イバ回路３に送信すると同時に、蓄積信号をハイレベル
にしてＣＣＤ４による蓄積を開始し、上記の設定した蓄
積時間が経過したら蓄積信号をローレベルにし、蓄積を
終了する。この蓄積に同期して選択されたＩＲＥＤペア
は点灯することになる。

【００２４】次いで、ＭＰＵ１は光像ブロック（プルキ
ンエ像候補），瞳孔エッジ候補抽出の処理を行うステッ
プ１０６以降の動作へと移る。

【００２５】まず、ステップ１０６においては、ドライ
バ回路３を介してＣＣＤ４の１ライン分の画像信号を順
次読み込み、Ａ／Ｄ変換を行い、メモリ２にその値を記
憶していく。そして、次のステップ１０７において、こ
のデータを使って光像ブロック（プルキンエ像候補）並
びに瞳孔エッジ候補の抽出処理を行っていく。この処理
はＣＣＤ４のライン数分だけ行う。

【００２６】ここで、上記ステップ１０７において行わ
れる「光像ブロック（プルキンエ像候補）に関して、図
３のフローチャートを用いて説明する。

【００２７】ＭＰＵ１は、ステップ２０１において、１
ライン分のデータを読み込む。そして、ＴＵＧＩＮＯス
テップ１０２，１０３において、光像ブロックの立上
り、立下り条件を満たすか否かの判別を行う。すなわ
ち、ある一定値以上の輝度を持ち、その両端の傾斜があ
る程度急峻か否かを判別する。なお、光像ブロック幅、
例えばある一定値以上の輝度である画素数が一定値以上
のもののみを有効とみなしてもよい。

【００２８】今、あるラインのｉ番目の画素の輝度をｄ
［ｉ］とした時、次に示す条件（１）ｄ［ｉ］≧Ｃonst１ＡＮＤｄ［ｉ］−ｄ［ｉ
−ａ］≧Ｃonst２（２）ｄ［ｊ］≧Ｃonst１ＡＮＤｄ［ｊ］−ｄ［ｊ
＋ａ］≧Ｃonst２但し、Ｃonst１，Ｃonst２，ａは定数、ｊはｉ＋１以上
の変数を満たした場合、これを光像ブロック（プルキン
エ像候補）と認識し、ステップ２０４において、ｉを立
上り点座標、ｊを立下り点座標として記憶する。

【００２９】そして、ステップ２０５において、それ以
前に光像ブロックが抽出されていると判別した場合は、
次のステップ２０６において、いま記憶した立上り点、
立下り点がその光像ブロックと同一か否かの判定を行
う。すなわち［抽出済光像ブロックの右側境界≦現光像ブロックの右
端と左端の平均〔（ｉ＋ｊ）／２〕≦抽出済光像ブロッ
クの左側境界］の条件を満たしたならば、同一の光像ブロックとみな
し、ステップ２０７へ移行し、このステップにおいて、
光像ブロック立上り点（光像ブロックの右側境界）、光
像ブロック立下り点（光像ブロックの左側境界）、並び
に、光像ブロックの下側境界（垂直方向の光像ブロック
幅）の値を更新する。ｎ番目の抽出済の光像ブロックの
上下左右の境界の座標を各々Ｂｎｙ１，Ｂｎｙ２，Ｂｎ
ｘ１，Ｂｎｘ２とした時、Ｂｎｘ１＞ｉならＢｎｘ１＝ｉＢｎｘ２＜ｊならＢｎｘ２＝ｊＢｎｙ２＝Ｂｎｙ２＋１と各境界の値を更新する。

【００３０】また、条件を満していなかった場合には、
新たな光像ブロックが生じたと判断してステップ２０８
へ移行し、このステップにおいて、光像ブロックの上下
左右の境界の座標を以下のように記憶する。

【００３１】Ｂｎｘ１＝ｉＢｎｘ２＝ｊＢｎｙ１＝（読み出したラインのライン数）Ｂｎｙ２＝（読み出したラインのライン数）そして、ステップ２０９において、１ライン分の動作が
終了したことを判別すると、次のステップ２１０におい
て、瞳孔エッジ抽出処理を行う。

【００３２】再び図２に戻り、次のステップ１０８にお
いて、全ラインについてこの処理が終了したことを判別
すると、ステップ１０９へ移り、「プルキンエ像選択」
の処理を開始する。

【００３３】この「プルキンエ像選択」動作は、以下の
ようにして行われる。

【００３４】ここにおける一番目の処理では、各々の光
像ブロックの水平・垂直方向のブロック幅を調べ、その
幅がともに定数Ｃonst３以下のもののみ採用する。これ
以上ブロック幅が大きいものは、眼鏡のゴースト、外光
に照明された瞼等での反射などプルキンエ像以外の光像
である為、排除する。

【００３５】二番目の処理では、一番目の処理で採用し
た光像ブロックの垂直方向座標を調べる。もし、ある光
像ブロックとある光像ブロックが、垂直方向に重なって
いるか接している時は、この二つの光像ブロックの垂直
方向座標は略等しいと判断する。すなわち、ｎ番目の光
像ブロックの上下左右の境界位置を各々Ｂｎｙ１，Ｂｎ
ｙ２，Ｂｎｘ１，Ｂｎｘ２とした時、ｍ番目の光像ブロ
ックの上下左右の境界位置を各々Ｂｍｙ１，Ｂｍｙ２，
Ｂｍｘ１，Ｂｍｘ２とした時、Ｂｎｙ１≦Ｂｍｙ２かつＢｎｙ２≧Ｂｍｙ１の条件式が成り立った場合、二つの光像ブロックの垂直
方向座標は略等しいと判断する。次いで、この垂直方向
座標の略等しいものの無い光像ブロックを排除する。そ
の後、略等しいものの有る光像ブロックについて各々の
水平方向のブロック間隔Δｍｎを調べ、その値が所定範
囲内（Δ１≦Δｍｎ≦Δ２）のもののみを採用する（但
し、Δ１，Δ２は定数）。

【００３６】例えば、光像ブロックＢ１，Ｂ２，Ｂ３の
三つの垂直方向座標が略等しい場合、Ｂ１とＢ２の間隔
Δ１２，Ｂ２とＢ３の間隔Δ２３，Ｂ３とＢ１の間隔Δ
３１を求め、それが所定値内にあるか否かを調べ、その
結果、Δ１２，Δ２３が所定値内にあれば、プルキンエ
像候補ペアとして［Ｂ１，Ｂ２］［Ｂ２，Ｂ３］の組み
合わせを採用する。この時点でプルキンエ像候補ペアが
一つあれば（光像ブロックの数が二つであれば）、これ
をプルキンエ像として採用する。もしこの時点でプルキ
ンエ像が決定できない場合には次の処理を行う。

【００３７】三番目の処理では、プルキンエ像ペアの中
心座標とこれとは別個に求められる瞳孔中心の座標を比
較し、瞳孔中心の座標に最も近いもの、すなわちプルキ
ンエ像ペアの中心座標と瞳孔中心の座標の距離が最小と
なるものをプルキンエ像として選択する。（説明の都合
上、プルキンエ像選択の三つのステップをまとめて記載
したが、実際の処理においては次に説明する瞳孔円演算
の後にこの三番目の処理は行われる。）以上のようにし
て決定されたプルキンエ像ペアＰ１，Ｐ２及びプルキン
エ像Ｐｃの座標はＰ１ｘ＝（Ｂｎｘ１＋Ｂｎｘ２）／２Ｐ１ｙ＝（Ｂｎｙ１＋Ｂｎｙ２）／２Ｐ２ｘ＝（Ｂｍｘ１＋Ｂｍｘ２）／２Ｐ２ｙ＝（Ｂｍｙ１＋Ｂｍｙ２）／２Ｐｃｘ＝（Ｐ１ｘ＋Ｐ２ｘ）／２Ｐｃｙ＝（Ｐ１ｙ＋Ｐ２ｙ）／２のように計算する。但し、Ｐ１ｘ，Ｐ１ｙ，Ｐ２ｘ，Ｐ
２ｙ，Ｐｃｘ，Ｐｃｙはプルキンエ像ペアＰ１，Ｐ２及
びプルキンエ像Ｐｃの水平垂直座標である。また、ｎ番
目，ｍ番目の光像ブロックがプルキンエ像として選択し
たものとする。

【００３８】次に、ステップ１１０へ移り、瞳孔円の演
算を以下のようにして行う。

【００３９】上記の瞳孔エッジ抽出処理においてＭＰＵ
１は、抽出した瞳孔エッジの座標、そのラインＬの最低
輝度ＭＩＮ(L) 及び画像全体の最低輝度ＭＩＮ０をメモ
リ２に記憶している。

【００４０】そこで、まずＭＰＵ１は、瞳孔エッジが抽
出されているエリアの最低輝度（ＭＩＮ(L) ）と画像全
体の最低輝度（ＭＩＮ０＋定数）を比較し、ＭＩＮ(L) ≦ＭＩＮ０＋定数の条件を満たさない場合は、そのエリアに存在する瞳孔
エッジは不適切なものとしてこれを排除する。

【００４１】次いで、先のプルキンエ像選択の二番目ま
でのステップ１０９で求めたプルキンエ像（候補）の周
辺の瞳孔エッジを排除する。これは、プルキンエ像候補
（光像ブロック）の水平垂直座標（Ｐｎｘ，Ｐｎｙ）を
中心にしたエリア内のもの、例えば、（Ｐｎｘ−定数，
Ｐｎｙ−定数），（Ｐｎｘ−定数，Ｐｎｙ＋定数），
（Ｐｎｘ＋定数，Ｐｎｙ−定数），（Ｐｎｘ＋定数，Ｐ
ｎｙ＋定数）の４点で囲まれた四角形内のものを排除す
ることにより行われる。プルキンエ像は２個存在するの
で、この処理は各々のプルキンエ像について行う。

【００４２】さらに、これまでに選択した瞳孔エッジ候
補の座標の平均値ｍと標準偏差σを求め、［平均値ｍ−
ａ＊標準偏差σ〜平均値ｍ＋ａ＊標準偏差σ（但し、ａ
は定数）］の範囲内のもののみを採用する。

【００４３】この演算は水平方向のみに関して行っても
よいし、水平垂直両方向に関して行ってもよい。また、
この処理を二重に行ってもよい。すなわち、［平均値ｍ
−ａ＊標準偏差σ〜平均値ｍ＋ａ＊標準偏差σ］の範囲
内に入ったものの平均値ｍ′と標準偏差σ′を再び求
め、この二量によって定められる範囲［平均値ｍ′−ａ
＊標準偏差σ′〜平均値ｍ′＋ａ＊標準偏差σ′］内の
もののみを採用する。

【００４４】次いで、以上に様にして選択した瞳孔エッ
ジを用い、瞳孔中心及び瞳孔半径を求める。この方法と
しては最小二乗法を用いれば良い。

【００４５】その後、ステップ１１１へ移り、プルキン
エ像と瞳孔中心の位置を用いて眼球の回転角、さらには
カメラのピント板上での視点位置を演算する。

【００４６】次に、ステップ１１２において、視線検出
の１回目か否かの判別を行い、１回目の場合はステップ
１１３へ移り、上記ステップ１１１にて得られた視線位
置をメモリ２に記憶する。そして、次のステップ１１４
において、ファインダ内表示器９に上記の視点位置を表
示する。

【００４７】そして、ＭＰＵ１はステップ１０２へ戻
り、再び視線検出のルーチン（ステップ１０２〜１１
１）を繰り返す。

【００４８】つまり、先ず演算に使用する変数の初期化
等の初期化処理を行い、その後蓄積時間の設定を行う。
この際、同時に点灯するＩＲＥＤペアの選択も行われ
る。この後蓄積制御のステップに移り、クリアモードの
動作を行うための指示をドライバ回路３に対して行う。
指示を受けたドライバ回路３はクリア動作を行い、ＣＣ
Ｄ４のメモリゾーン・電荷転送ライン等に残っている電
荷を消去する。次いで、選択したＩＲＥＤペアを点灯さ
せるためにＩＲＥＤ選択信号をドライバ回路３に送信す
る。その後蓄積信号をハイレベルにして蓄積を開始し、
設定された蓄積時間が経過したら蓄積信号をローレベル
にして蓄積を終了する。そして、この蓄積に同期してＩ
ＲＥＤが点灯される。次いで、光像ブロック（プルキン
エ像候補）・瞳孔エッジ候補抽出の処理を行う。まず、
ドライバ回路３を介して１ライン分の画像信号を順次読
み込み、Ａ／Ｄ変換を行い、メモリ２にその値を記憶し
ていく。そして、このデータを使って光像ブロック（プ
ルキンエ像候補）並びに瞳孔エッジ候補の抽出処理を行
っていく。この処理をＣＣＤのライン数分だけ行う。そ
の後プルキンエ像・瞳孔エッジの選択、さらにプルキン
エ像・瞳孔中心の決定、眼球の回転角、視点位置の演算
を行う。

【００４９】以上の視線検出ルーチンを終了すると、前
述と同様ステップ１１２へ進み、視線検出の１回目か否
かの判別を行うが、この際は１回目ではないのでステッ
プ１１５へ移る。そして、このステップ１１５におい
て、今回（二回目に）得られた視点位置と前記ステップ
１１４において表示された点（視線位置）とを比較し、
この二点が略等しくなければ、前述したステップ１１３
へと移り、同様の動作を繰り返す。

【００５０】一方、ステップ１１５において、今回（二
回目に）得られた視点位置と前記ステップ１１４におい
て表示された点（視線位置）が略等しいと判別した場合
は、ステップ１１６へ移り、この二点の平均値を注視点
位置として採用する。

【００５１】ここで、例えば、二点の距離が一定値以下
の場合に略等しいというようにすれば、ソフト的にもハ
ード的にも簡単に実現することができる。また、この一
定値は使用されているレンズの焦点距離・撮影シーン
（測光値より明暗を知り室内外を判断する）などにより
変化させれば効果的である。

【００５２】このように表示・視線の再検出を行うこと
で一定の遅延時間を設け、二度の視線検出を行い、その
結果が略等しければこの一定時間視線が略等しい点に停
留していたと判断することができる。また、見ている点
と同一の点に表示が行われた場合は、人間の眼球は（眼
球を移動する意志の無い場合）ほとんど動かないが、異
なる点が表示された場合、これに刺激され人間の眼球は
移動してしまうという生理的特性からも、この判断は妥
当である。

【００５３】そして、次のステップ１１７において、こ
の注視点と判断された点を基にＡＦポイント等を決定
し、カメラの制御を行う。

【００５４】（第２の実施例）本発明の第２の実施例と
して、光像ブロック（プルキンエ像候補）抽出に輝度を
考慮した視線検出機能付カメラについて説明する。

【００５５】なお、回路構成は図１に示した第１の実施
例と同様であり、また、該カメラのメインルーチンも図
２に示した第１の実施例と基本的には同一であるので、
この動作に関わる部分の説明では同一の回路番号及びス
テップ番号を付すものとする。

【００５６】第１の実施例と同様、カメラの不図示のレ
リーズ釦の第１ストローク操作に連動するスイッチＳＷ
１のＯＮなどにより視線検出の要求がなされると、ＭＰ
Ｕ１はステップ１０２からの視線検出のルーチンに入
る。

【００５７】ステップ１０２においては、演算に使用す
る変数の初期化処理を行い、次のステップ１０３におい
て、蓄積時間の設定を行う（ステップ１０３）。これは
眼鏡の有無・外光の強度等を考慮して行い、同時にＩＲ
ＥＤ群５内より点灯させるべくＩＲＥＤペアの選択も行
う。そして、ステップ１０４以降の蓄積制御動作へと移
る。

【００５８】まず、ステップ１０４においては、ＣＣＤ
４の電荷クリアモードの動作を行うための指示をドライ
バ回路３に対して行う。この指示を受けたドライバ回路
３はクリア動作を行い、ＣＣＤ４のメモリゾーン、電荷
転送ライン等に残っている電荷を消去する。次いで、ス
テップ１０５において、上記ステップ１０３において選
択したＩＲＥＤペアを点灯させるためにＩＲＥＤ選択信
号をドライバ回路３に送信すると同時に、蓄積信号をハ
イレベルにしてＣＣＤ４による蓄積を開始し、上記の設
定した蓄積時間が経過したら蓄積信号をローレベルに
し、蓄積を終了する。この蓄積に同期して選択されたＩ
ＲＥＤペアは点灯することになる。

【００５９】次いで、ＭＰＵ１は光像ブロック（プルキ
ンエ像候補），瞳孔エッジ候補抽出の処理を行うステッ
プ１０６以降の動作へと移る。

【００６０】まず、ステップ１０６においては、ドライ
バ回路３を介してＣＣＤ４の１ライン分の画像信号を順
次読み込み、Ａ／Ｄ変換を行い、メモリ２にその値を記
憶していく。そして、次のステップ１０７において、こ
のデータを使って光像ブロック（プルキンエ像候補）並
びに瞳孔エッジ候補の抽出処理を行っていく。この処理
はＣＣＤ４のライン数分だけ行う。

【００６１】ここで、上記ステップ１０７において行わ
れる「光像ブロック抽出」に関して、前出の図３のフロ
ーチャートにより説明する。

【００６２】まず、ＭＰＵ１はステップ２０１におい
て、１ライン分のデータを読み込み、次のステップ２０
２及び２０３において、光像ブロックの立上り、立下り
条件を満たすか否かの判別を行う。すなわち、ある一定
値以上の輝度を持ち、その両端の傾斜がある程度急峻か
否かを判別する。

【００６３】今、あるラインのＩ番目の画素の輝度をｄ
［ｉ］とした時、次に示す条件（１）ｄ［ｉ］≧Ｃonst１ＡＮＤｄ［ｉ］−ｄ［ｉ
ーａ］≧Ｃonst２（２）ｄ［ｊ］≧Ｃonst１ＡＮＤｄ［ｊ］−ｄ［ｊ
＋ａ］≧Ｃonst２但し、Ｃonst１，Ｃonst２，ａは定数、ｊはｉ＋１以上
の変数を満たした場合、これを光像ブロック（プルキンエ像候
補）と認識し、ステップ２０４において、ｉを立上り点
座標、ｊを立下り点座標として記憶する。

【００６４】この抽出演算は左方（画素番号の小さい
方）から順次行った場合、立上り点座標ｉは初めに上記
（１）の条件を満たした点を採用するが、立下り点座標
ｊは上記（２）の条件を満たす最後の点を採用する。ま
た、当然のことながら１ラインに複数の光像ブロックが
存在することが十分に考えられるので、この抽出演算処
理は、そのラインの有効とみなされる全ての画素につい
て行う。

【００６５】そして、ステップ２０５において、それ以
前に光像ブロックを抽出していると判別した場合は、次
のステップ２０６において、いま記憶した立上り点、立
下り点がその光像ブロックと同一か否かの判定を行う。
すなわち［抽出済光像ブロックの右側境界≦現光像ブロックの右
端と左端の平均〔（ｉ＋ｊ）／２〕≦抽出済光像ブロッ
クの左側境界］の条件を満たしたならば、同一の光像ブロックとみな
し、ステップ２０７へ移行し、このステップにおいて、
光像ブロック立上り点（光像ブロックの右側境界）、光
像ブロック立下り点（光像ブロックの左側境界）、並び
に、光像ブロックの下側境界（垂直方向の光像ブロック
幅）の値を更新する。ｎ番目の抽出済ブロックの上下左
右の境界の座標を各々Ｂｎｙ１，Ｂｎｙ２，Ｂｎｘ１，
Ｂｎｘ２とした時、Ｂｎｘ１＞ｉならＢｎｘ１＝ｉＢｎｘ２＜ｊならＢｎｘ２＝ｊＢｎｙ２＝Ｂｎｙ２＋１と各境界の値を更新する。さらに、この範囲内の像信号
に関して輝度（信号強度）の和Ｓｉ［ｎ］及び輝度とそ
の水平座標、垂直座標の積の和Ｓｉｘ［ｎ］，Ｓｉｙ
［ｎ］を次式にしたがって求め、その値を記憶してい
く。

【００６６】Ｓｉ［ｎ］＝Ｓｉ［ｎ］＋Σ（ｄ［ｘ］）Ｓｉｘ［ｎ］＝Ｓｉ［ｎ］＋Σ（ｄ［ｘ］＊ｘ］Ｓｉｙ［ｎ］＝Ｓｉ［ｎ］＋Σ（ｄ［ｘ］＊処理中のラ
イン数Ｌ）また、条件を満たさなかった場合には、新たな光像ブロ
ックが生じたと判断してステップ２０８へ移行し、この
ステップにおいて、上下左右の境界の座標を以下のよう
に記憶する。

【００６７】Ｂｎｘ１＝ｉＢｎｘ２＝ｊＢｎｙ１＝（読み出したラインのライン数）Ｂｎｙ２＝（読み出したラインのライン数）さらに、この範囲内の像信号に関して輝度（信号強度）
の和Ｓｉ［ｎ］及び輝度とその水平座標、垂直座標の積
の和Ｓｉｘ［ｎ］，Ｓｉｙ［ｎ］を次式にしたがって求
め、その値を更新し記憶していく。

【００６８】Ｓｉ［ｎ］＝Σ（ｄ［ｘ］）Ｓｉｘ［ｎ］＝Σ（ｄ［ｘ］＊ｘ）Ｓｉｙ［ｎ］＝Σ（ｄ［ｘ］＊処理中のライン数Ｌ）そして、ステップ２０９において、１ライン分の動作が
終了したことを判別すると、次のステップ２１０におい
て、瞳孔エッジ抽出処理を行う。

【００６９】再び図２に戻り、ステップ１０８におい
て、全ラインについてこの処理が終了したことを判別す
ると、ステップ１０９へ移り、「プルキンエ像選択」の
処理を開始する。

【００７０】この「プルキンエ像選択」動作は、以下の
ようにして行われる。

【００７１】ここにおける一番目の処理では、各々の光
像ブロックの水平・垂直方向のブロック幅を調べ、その
幅がともに定数Ｃonst３以下のもののみ採用する。これ
以上ブロック幅が大きいものは、眼鏡のゴースト、外光
に照明された瞼等での反射などプルキンエ像以外の光像
である為、排除する。

【００７２】二番目の処理では、一番目の処理で採用し
た光像ブロックの垂直方向座標を調べる。もし、ある光
像ブロックとある光像ブロックが、垂直方向に重なって
いるか接している時は、この二つの光像ブロックの垂直
方向座標は略等しいと判断する。すなわち、ｎ番目の光
像ブロックの上下左右の境界位置を各々Ｂｎｙ１，Ｂｎ
ｙ２，Ｂｎｘ１，Ｂｎｘ２とした時、ｍ番目の光像ブロ
ックの上下左右の境界位置を各々Ｂｍｙ１，Ｂｍｙ２，
Ｂｍｘ１，Ｂｍｘ２とした時、Ｂｎｙ１≦Ｂｍｙ２かつＢｎｙ２≧Ｂｍｙ１の条件式が成り立った場合、二つの光像ブロックの垂直
方向座標は略等しいと判断する。次いで、この垂直方向
座標の略等しいものの無い光像ブロックを排除する。そ
の後、略等しいものの有る光像ブロックについて各々の
水平方向のブロック間隔Δｍｎを調べ、その値が所定範
囲内（Δ１≦Δｍｎ≦Δ２）のもののみを採用する（但
し、Δ１，Δ２は定数）。この時点でプルキンエ像候補
ペアが一つあれば（光像ブロックの数が二つであれ
ば）、これをプルキンエ像として採用する。もしこの時
点でプルキンエ像が決定できない場合には次の処理を行
う。

【００７３】三番目の処理では、プルキンエ像ペアの中
心座標とこれとは別個に求められる瞳孔中心の座標を比
較し、瞳孔中心の座標に最も近いもの、すなわちプルキ
ンエ像ペアの中心座標と瞳孔中心の座標の距離が最小と
なるものをプルキンエ像として選択する。（説明の都合
上、プルキンエ像選択の三つのステップをまとめて記載
したが、実際の処理においては次に説明する瞳孔円演算
の後にこの三番目の処理は行われる。）以上のようにし
て決定されたプルキンエ像ペアＰ１，Ｐ２及びプルキン
エ像Ｐｃの座標はＰ１ｘ＝Ｓｉｘ［ｎ］／Ｓｉ［ｎ］Ｐ１ｙ＝Ｓｉｙ［ｎ］／Ｓｉ［ｎ］Ｐ２ｘ＝Ｓｉｘ［ｍ］／Ｓｉ［ｍ］Ｐ２ｙ＝Ｓｉｙ［ｍ］／Ｓｉ［ｍ］Ｐｃｘ＝（Ｐ１ｘ＋Ｐ２ｘ）／２Ｐｃｙ＝（Ｐ１ｙ＋Ｐｙｘ）／２のように計算される。但し、Ｐ１ｘ，Ｐ１ｙ，Ｐ２ｘ，
Ｐ２ｙ，Ｐｃｘ，Ｐｃｙはプルキンエ像ペアＰ１，Ｐ２
及びプルキンエ像Ｐｃの水平垂直座標である。また、ｎ
番目，ｍ番目の光像ブロックがプルキンエ像として選択
されたものとする。

【００７４】次に、ステップ１１０へ移り、瞳孔円の演
算を以下のようにして行う。

【００７５】前述の瞳孔エッジ抽出処理においてＭＰＵ
１は、抽出した瞳孔エッジの座標、そのラインＬの最低
輝度ＭｉＮ(L) 及び画像全体の最低輝度ＭｉＮ０をメモ
リ２に記憶している。

【００７６】そこで、まずＭＰＵ１は、瞳孔エッジが抽
出されているエリアの最低輝度（ＭｉＮ(L) ）と画像全
体の最低輝度（ＭｉＮ０＋定数）を比較し、ＭｉＮ(L) ≦ＭｉＮ０＋定数の条件を満たさない場合は、そのエリアに存在する瞳孔
エッジは不適切なものとしてこれを排除する。

【００７７】次いで、先のプルキンエ像選択の二番目ま
でのステップで求めたプルキンエ像（候補）の周辺の瞳
孔エッジを排除する。これは、プルキンエ像候補（光像
ブロック）の水平垂直座標（Ｐｎｘ，Ｐｎｙ）を中心に
したエリア内のもの、例えば、（Ｐｎｘ−定数，Ｐｎｙ
−定数），（Ｐｎｘ−定数，Ｐｎｙ＋定数），（Ｐｎｘ
＋定数，Ｐｎｙ−定数），（Ｐｎｘ＋定数，Ｐｎｙ＋定
数）の４点で囲まれた四角形内のものを排除することに
より行われる。プルキンエ像は２個存在するので、この
処理は各々のプルキンエ像について行われる。

【００７８】さらに、これまでに選択した瞳孔エッジ候
補の座標の平均値ｍと標準偏差σを求め、［平均値ｍ−
ａ＊標準偏差σ〜平均値ｍ＋ａ＊標準偏差σ（但し、ａ
は定数）］の範囲内のもののみを採用する。

【００７９】この演算は水平方向のみに関して行っても
よいし、水平垂直両方向に関して行ってもよい。また、
この処理を二重に行ってもよい。すなわち、［平均値ｍ
−ａ＊標準偏差σ〜平均値ｍ＋ａ＊標準偏差σ］の範囲
内に入ったものの平均値ｍ′と標準偏差σ′を再び求
め、この二量によって定められる範囲［平均値ｍ′−ａ
＊標準偏差σ′〜平均値ｍ′＋ａ＊標準偏差σ′］内の
もののみを採用する。

【００８０】次いで、以上に様にして選択した瞳孔エッ
ジを用い、瞳孔中心及び瞳孔半径を求める。この方法と
しては最小二乗法を用いれば良い。

【００８１】その後、ステップ１１１へ移り、プルキン
エ像と瞳孔中心の位置を用いて眼球の回転角、さらには
カメラのピント板上での視点位置を演算する。

【００８２】次に、ステップ１１２において、視線検出
の１回目か否かの判別を行い、１回目の場合はステップ
１１３へ移り、上記ステップ１１１にて得られた視線位
置をメモリ２に記憶する。そして、次のステップ１１４
において、ファインダ内表示器９に上記の視点位置を表
示する。

【００８３】そして、ＭＰＵ１はステップ１０２へ戻
り、再び視線検出のルーチン（ステップ１０２〜１１
１）を繰り返す。

【００８４】つまり、先ず演算に使用する変数の初期化
等の初期化処理を行い、その後蓄積時間の設定を行う。
この際、同時に点灯するＩＲＥＤペアの選択も行われ
る。この後蓄積制御のステップに移り、クリアモードの
動作を行うための指示をドライバ回路３に対して行う。
指示を受けたドライバ回路３はクリア動作を行い、ＣＣ
Ｄ４のメモリゾーン・電荷転送ライン等に残っている電
荷を消去する。次いで、選択したＩＲＥＤペアを点灯さ
せるためにＩＲＥＤ選択信号をドライバ回路３に送信す
る。その後蓄積信号をハイレベルにして蓄積を開始し、
設定された蓄積時間が経過したら蓄積信号をローレベル
にして蓄積を終了する。そして、この蓄積に同期してＩ
ＲＥＤが点灯される。次いで、光像ブロック（プルキン
エ像候補）・瞳孔エッジ候補抽出の処理を行う。まず、
ドライバ回路３を介して１ライン分の画像信号を順次読
み込み、Ａ／Ｄ変換を行い、メモリ２にその値を記憶し
ていく。そして、このデータを使って光像ブロック（プ
ルキンエ像候補）並びに瞳孔エッジ候補の抽出処理を行
っていく。この処理をＣＣＤのライン数分だけ行う。そ
の後プルキンエ像・瞳孔エッジの選択、さらにプルキン
エ像・瞳孔中心の決定、眼球の回転角、視点位置の演算
を行う。

【００８５】以上の視線検出ルーチンを終了すると、前
述と同様ステップ１１２へ進み、視線検出の１回目か否
かの判別を行うが、この際は１回目ではないのでステッ
プ１１５へ移る。そして、このステップ１１５におい
て、今回（二回目に）得られた視点位置と前記ステップ
１１４において表示された点（視線位置）とを比較し、
この二点が略等しくなければ、前述したステップ１１３
へと移り、同様の動作を繰り返す。

【００８６】一方、ステップ１１５において、今回（二
回目に）得られた視点位置と前記ステップ１１４におい
て表示された点（視線位置）が略等しいと判別した場合
は、ステップ１１６へ移り、この二点の平均値を注視点
位置として採用する。

【００８７】ここで、例えば、初めの視点を対角線の交
点とする四角形の内部に二回目の視点が存在する場合に
略等しいというようにすれば、簡単に実現することがで
きる。四角形の縦横の辺の長さを異ならせることで、水
平垂直方向の検出精度の違いによる影響を除去できる。
この水平垂直方向の精度の違いは、眼球の生理的特性
（縦方向に眼球は回転しにくい）・エリアセンサの読出
し方向・読出し方向に関連する視線演算の仕方等により
生じるので、基本的に避けることはできない。また、こ
の四角形の辺の長さは、使用されているレンズの焦点距
離・撮影シーン（測光値より明暗を知り室内外を判断す
る）などにより変化させれば効果的である。

【００８８】このように表示・視線の再検出を行うこと
で、一定の遅延時間を設け、二度の視線検出を行い、そ
の結果が略等しければ、この一定時間視線が略等しい点
に停留していたと判断することができる。また、見てい
る点と同一の点に表示が行われた場合は、人間の眼球は
（眼球を移動する意志の無い場合）ほとんど動かない
が、異なる点が表示された場合これに刺激され人間の眼
球は移動してしまうという生理的特性からもこの判断は
妥当である。

【００８９】そして、次のステップ１１７において、こ
の注視点と判断された点を基にＡＦポイント等を決定
し、カメラの制御を行う。

【００９０】以上の各実施例によれば、ファインダ内表
示器９によって表示された点とその点が表示された時点
の視線検出結果を比較し、表示された点とその点が表示
された時点での撮影者の視点が略等しい場合、この点を
注視点として用いるようにしている為、正確に注視点を
検出することが可能となる。

【００９１】

【発明の効果】以上説明したように、本発明によれば、
撮影画面内における視点を表示する表示手段によって表
示された点とその点が表示された時点において視線検出
手段にて検出された視点を比較する比較手段と、該比較
手段の比較結果に基づいて、前記表示手段に表示された
点が撮影者の注視点か否かを判別する判別手段とを備
え、表示された点とその点が表示された時点での撮影者
の視点が略等しい場合、この点を注視点として用いるよ
うにしている。

【００９２】よって、撮影者の意図する撮影画面内の点
を正確に注視点として判別することが可能となる。

【図面の簡単な説明】

【図１】本発明の第１の実施例における視線検出機能付
カメラの要部構成を示すブロック図である。

【図２】図１のＭＰＵの主要部分の動作を示すフローチ
ャートである。

【図３】図２のステップ１０７での詳細な動作を示すフ
ローチャートである。

【図４】視線検出原理について説明する為の図である。

【符号の説明】

１ＭＰＵ２メモリ４ＣＣＤ５ＩＲＥＤ群９ファインダ内表示器

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁵ 識別記号庁内整理番号ＦＩ技術表示箇所Ｇ０３Ｂ 13/02 9120−2Ｋ 9119−2ＫＧ０３Ｂ 3/00 Ａ

Claims

【特許請求の範囲】

【請求項１】撮影者の視点を検出する視線検出手段
と、該視線検出手段にて得られた、撮影画面内における
視点を表示する表示手段と、該表示手段によって表示さ
れた点とその点が表示された時点において前記視線検出
手段にて検出された視点を比較する比較手段と、該比較
手段の比較結果に基づいて、前記表示手段に表示された
点が撮影者の注視点か否かを判別する判別手段とを備え
た視線検出機能付カメラ。
【請求項２】判別手段は、表示手段にて表示された点
とその点が表示された時点において視線検出手段にて検
出された視点が略等しい場合、この点を撮影者の注視点
とする手段であることを特徴とする請求項１記載の視線
検出機能付カメラ。