JPH04101126A

JPH04101126A - 視線検出装置及び視線検出装置を有する機器

Info

Publication number: JPH04101126A
Application number: JP2220790A
Authority: JP
Inventors: Kazuki Konishi; 一樹小西
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1990-08-21
Filing date: 1990-08-21
Publication date: 1992-04-02
Anticipated expiration: 2014-11-10
Also published as: JP2974383B2; US5857120A

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】〔産業上の利用分野〕本発明は視線検出装置または視線検出装置を有するスチ
ル・カメラ、ビデオ・カメラなどにおいて、使用者もし
くは撮影者の注視点を特定するものに関する。

〔従来の技術〕

従来より使用者（撮影者）が観察面上のどの位置を観察
しているのかを検知する、いわゆる視線検出装置が種々
提案されている。

例えば特開昭６１−１７２５５２号公報においては、光
源からの平行光束を被検眼の前眼部へ投射し、角膜から
の反射光に基づく角膜反射像と瞳孔中心の位置の結像状
態を利用して視軸（注視点）を求めている。

第８図は同公報で提案されている視線検出方法の原理説
明図である。

同図において７０４は観察者に対して不感の赤外光を放
射する発光ダイオード等の光源であり、投光レンズ７０
６の焦点面に配置されている。

光源７０４より発光した赤外光は投光レンズ７０６によ
り平行光となりハーフミラ−７１０で反射し、眼球７０
０の角膜７０１を照射する。このとき角膜７０１の表面
で反射した赤外光の一部はハーフミラ−７１０を透過し
受光レンズ７０７により集光されてイメージセンサ７０
９上の位置ｄ′　に結像する。

また、虹彩７０３の端部ａ、　　ｂからの光束はハーフ
ミラ−７１０、受光レンズ７０７を介してイメージセン
サ７０９上に導光され、その位置ａ　　　ｂ’　　に該
端部ａ、　　ｂの像を結像する。受光レンズ７０７の光
軸アに対する眼球の光軸イの回転角θが小さい場合、虹
彩７０３の端部ａ、　　ｂの２座標をＺａ、　Ｚｂとす
ると、虹彩７０３の中心位ｆｉｃの座標ＺＣはＺａ十Ｚ
ｂと表わされる。

また、角膜反射像の発生位置ｄのＺ座標をＺｄ。

角膜７０１の曲率中心Ｏと虹彩７０３の中心Ｃまての距
離を■とすると眼球光軸イの回転角θはＱＣ・ｓｉｎθ
＝Ｚｃ−Ｚｄ　　　　　　　−（１）の関係式を略満足
する。このためイメージセンサ７０９上に投影された各
特異点（角膜反射像の発生位置ｄ及び虹彩の端部ａ、　
　ｂのイメージセンサ７０９上の像Ｚｄ’　、　　Ｚａ
’　、　Ｚｂ’　）の位置を検出することにより眼球光
軸イの回転角θを求め、これより被検者の視線を求める
ことができる。この時（］）式とかきかえられる。但し
、βは角膜反射像の発生位ｌｉｄと受光レンズ７０７と
の距離ｌと受光レンズ７０７とイメージセンサ７０９と
の距離１゜で決まる倍率で、通常はぼ一定の値となって
いる。

このように観察者の被検眼の視線の方向（注視点）を検
出することにより、例えば−眼レフカメラにおいては撮
影者がピント面上のどの位置を観察しているかを知るこ
とができる。

これは例えば自動焦点検出装置において測距点を画面中
心のみならず画面内の複数箇所に設けた場合、観察者が
そのうちの１つの測距点を選択して自動焦点検出を行う
とする場合、その１つを選択入力する手間を省き観察者
が観察している点を測距点と見なし、該測距点を自動的
に選択して自動焦点検出を行うのに有効である。

又、撮影範囲内を複数の領域に分割し、各領域において
測光を行う分割測光においても各領域の測光情報の重み
付けに前述した注視点の情報を用いることにより、観察
者の意図する範囲に露出が合う確率が著しく向上する等
の効果がある。

〔発明が解決しようとしている課題〕

しかしながら、一般に人の眼球の運動には、画像特徴を
抽出する際に生じる運動で最高速度が３００度／秒に達
する跳躍的運動と、３０〜３５度／秒／以下の移動対象
に対して生じる低速平滑な随従運動があり、そのほかに
中心窩に対象物体を捉えつづけるために付随量的に生じ
る不規則な微少運動である固視微動等が存在する。また
スチルカメラ、ビデオカメラ等においては、ファインダ
ー内の視野外の表示を見る事もある。このため従来例に
示す様な視線検出装置では、観察者（すなわち撮影者）
の意図する対象に対する視線方向、すなわち注視点を正
確に検出することが困難であった。

〔課題を解決するための手段〕

本発明においては、使用者の観察画面（カメラの場合は
ファインダー画面）を多分割し、その分割された画面に
おける撮影者の視線の向いた頻度停留時間、直前もしく
はある一定時間前（大きく視線が移動した第−点）の視
線の向きとの現在の視線の差に基づく相関度（いわゆる
軌跡情報）などの複数の視線に関する情報を用いること
により使用者の意図する注視点の抽出を可能としたもの
である。

〔実施例］本発明第１実施例の構成図を第１図、動作のフローチャ
ートを第２図に示す。ｌはマイクロプロセッシングユニ
ット（Ｍ、Ｐ、Ｕ）、２はメモリー、３はＡ／Ｄ変換機
能を有するインターフェイス回路、４はイメージセンサ
−及びその駆動回路、５は赤外発光ダイオードの発生制
御回路、６はカメラの横位置、縦位置を検知する位置セ
ンサ、７は赤外発光ダイオード、８は測光センサ、９は
測光センサの出力に応じてイメージセンサの積分時間を
制御する積分時間制御回路、１０はズーム情報検知手段
、１１はパンニング情報検知手段、ＳＷは視線モードス
イッチである。

次に動作手順について説明する。（第２図（Ａ）参照）カメラに設けられた視線モードスイッチＳＷが押される
などの視線検出要求が有ると（ステップ１）、Ｍ、Ｐ、
Ｕｌは視線検出−注視点抽出のルーチンへ制御を移す。

まず、初期化の処理を行い、すべての変数の値を零にす
る（ステップ２）。そしてそのときのカメラの位置（縦
位置か横位置か）の情報を位置センサ６から受は発光す
る赤外発光ダイオード（ＩＲＥＤ）７の設定をした発光
制御回路５にイメージセンサ−の積分時間に同期した発
光制御信号を与える。これによりそのときのカメラの位
置に対応した赤外発光グイオートがイメージセンサ−の
蓄積に同期して発光される（ステップ３）。つづいてイ
メージセンサ−４上に結像したプルキニエ像の生じた眼
球前眼部の画像をインターフェイス回路３を介して読み
込む（ステップ４）。そしてその画像を処理することに
より、プルキニエ像の位置Ｐと少なくとも３つの瞳孔輪
部（いわゆる瞳孔のエツジ）の位置り、、Ｄ２．Ｄ３を
検出する（ステップ５）。この検出された諸量より眼球
の水平方向、鉛直方向の回転角θＨ１θ■を算出する（
ステップ６．７）。その算出の仕方は従来例と同様に上
記（２）式が適用される。本実施例の様にカメラに適用
される視線検出装置においては眼球の回転角と同時に、
カメラ本体に対する眼球の相対的変位量も求めなければ
ならない。なぜなら、カメラにおいてはカメラ本体と撮
影者の位置関係が自由なので、撮影者がファインダーを
のぞく位置によって視線の位置が変わるからである。し
かしカメラのファインダーの場合はその光学的特性によ
り回転角が同じであれば相対的変位量が異なっていても
、ピント板上での見ている点が一致するので、眼球の回
転角のみを求めてやれば良い。

そしてこの後、算出された視線が例えば第３図の様に多
分割された観察画面のどの位置にあるのかを求め、その
分割画面の番号をｉｊとしてメモリーに記憶する（ステ
ップ８）。さらにＭ、Ｐ、Ｕｌは頻度、停留時間、軌跡
の視線に関する情報の算出をΔを秒毎に行い、その結果
を記憶する（ステップ９〜１１）。

この視線算出、エリア判別、視線情報算出の動作はレリ
ーズの要求があるまで繰返される。

頻度Ｎ　（ｉｊ）の算出は分割画面数と同じ数のメモリ
ー領域をつくり、視線が算出される毎に、その分割画面
に対応するメモリーに１を加えていく。

すなわち、視線検出開始からレリーズ要求の有るまでの
間、Δを秒の間各分割画面に視線が存在した回数をカウ
ントするのである。

停留時間Ｔ　（ｉＤの算出については第２図（Ｂ）に示
しである。停留時間算出のルーチンに入るとまず、それ
が第１回の視線算出であったか否かを判別しくステップ
２０）、この判断はメモリーＪの値が「１」か「０」て
行う。Ｊ＝０ならば第１回の視線算出である。ステップ
２０にて第１回と判断されたならばメモリーＴの値に「
０」をセットしくステップ２１）、さらに現在、視線の
存在する分割画面の番号ｌｊをｉ、−＋　（−回前の視
線算出のときに視線の存在した分割画面番号）として記
憶する。また第２回以降（すなわちｊ二１）の場合は、
それが前回の視線の存在した分割画面ｉ、−１と等しい
か否かを判断しくステップ２２）、もし等しければ（ｉ
ｊ　”　ｉｒ−＋　）メモリーＴの値に「１」を加え、
その値を新たなメモリーＴの値とする（ステップ２３）
。そして、分割画面の数だけ用意された停留時間算出の
為のメモリーのうち、現在視線の存在する分割画面に対
応するメモリーＴ　（ｉＤとＴの値を比較する（ステッ
プ２４）。もしＴの値がＴ（ｉｊ）より大きければ、Ｔ
　（ｉｊ）の値をＴの値で置換える（ステップ２５）。

そして最後に現在視線の存在する分割画面番号ｉｊをｉ
；−＋とじて記憶する（ステップ２６）。また現在視線
の存在する分割画面ｉＪが前回のそれｉＨ−＋と等しく
ない（ｉｊ≠ｉＨ−＋）場合は、メモリーＴの値を「０
」としたのち、ＩＪを１．−１として記憶し、ルーチン
を抜ける。

すなわちこのルーチンでは、Δを秒の間である分割画面
の中に視線が停留した時間の最大値を求めている。

軌跡情報Ｌ　（ｉＤの算出については第２図（Ｃ）。

（Ｄ）に示す。第２図（Ｃ）は現在の視線の位置と直前
の視線の位置を比較し、その相関度を求めるもの。第２
図（Ｄ）は現在の視線の位置と跳躍後の第−点（相関が
零となった最初の点）との相関度を求めるものである。

第２図（Ｃ）の方法ではまず、算出された視線が第１回
のものか否かを判断しくステップ３０）、第１回であっ
たならば」の値を「０」からｒｌＪに変えたのち（ステ
ップ３１）、４ｊ（現在の視線の存在する分割画面番号
）をｉ；−＋　（前回の視線の存在する分割画面番号）
として記憶してルーチンを抜ける（ステップ３５）。逆
に第２回以降の場合は、まずｌＪと１、＝１の相関係数
ｆ　（ｉｊ、　　１　ｒ−＋）を求める（ステップ３２
）。例えば、これは第４図に示す様な値をとる。

図中の斜線部は前回の視線の位置、すなわち１ｊ−１で
あり、現在の視線の位置ｉｊが１．−１と一致していれ
ばｆ（ｉｊ、　　ｉＨ−＋）　＝１となり、この斜線部
より離れるに従って値がｆ　（ｉｊ＋　　ｉ、−＋）　
＝０．５．　　ｆ　（ｉｊ。

ｉＨ−＋）　＝０．２．・・・と小さ（なる様、そしで
ある一定値以上熱れたらｆ　（’Ｌ　’ｔ−＋）　”０
となる様になっている。この様にｆ　（ｉｊ、　　ｉＨ
−＋）は２つの値１ｊとｉ、−１の間隔の逆数に比例す
る様な形で定められている。この様にして求められた相
関係数ｆ　（ｉｊ、　　ｉｒ−＋）をｌ」に対する軌跡
情報Ｌ（’））＋　＋１　＋に対する軌跡情報Ｌ　（ｒ
　＋−＋　）に各々加え（ステップ３３．３４）、それ
を新たなｊｊ、ｉｌ−＋に対する軌跡情報Ｌ（ｉｊ）、
Ｌ（１＋−＋　）とする。その後ｉＪをｉ、−１として
記憶して（ステップ３５）ルーチンを抜ける。

第２図（Ｄ）の方法でも、まず算出された視線が第１回
のものか否かを判断しくステップ４０）、第１回のもの
であったなら、ｊの値を「０」から「１」に変えたのち
（ステップ４１）、ｉＪをｉｋ　（跳躍後の最初の視線
の存在する分割画面番号）として記憶して（ステップ４
４）、ルーチンを抜ける。逆に第２回以降の場合はｉｊ
と１にの相関係数ｆ　（ｉｊ、　　ｉｋ）を求める（ス
テップ４２）。この値は第２図（Ｃ）と同様に、ＩＪと
ｉｋの間隔の逆数に比例する様な形で定められる。つい
てこの求められた相関係数ｆ　（ｉｊ。

ｉｋ）が零か否かを判定しくステップ４３）、零の場合
にはｉｊを１にとして記憶する（ステップ４４）。すな
わち、それまで相関係数の算出に用いられていた視線の
位置ｉｋよりある一定間隔以上の間隔が生じ相関係数が
零になった際はその視線の位置から大きく移動したと判
断して、現在の視線の位置ｉｊを新たな相関係数算出の
視線位置とするのである。

そして、この１にの変更が終了したら軌跡情報算出のル
ーチンを抜ける。また零でない場合には、求められた相
関係数ｆ　（ｉｊ、　　ｉｋ）を、ｉｊに対する軌跡情
報Ｌ　（ｉｊ）、　　ｉｋに対する軌跡情報Ｌ　（ｉｋ
）に各々加え（ステップ４５．４６）、その結果を新た
な軌跡情報Ｌ　（ｉｊ）、　Ｌ　（ｉｋ）として記憶し
たのち、ルーチンを抜ける。

また、上記の第２図（Ｃ）、（Ｄ）の方法を併用しても
よい。その場合のフローチャートを第２図（Ｅ）に示す
。（Ｃ）、（Ｄ）同様に（Ｅ）の方法の場合もまず第１
回の視線算出か否かの判断を行い（ステップ５０）、第
１回のものであったならば、Ｊの値を「０」から「１」
に変えたのち（ステップ５１）、ｉｊを１にとして記憶
しくステップ５６）、さらにｉ　Ｈ−１としても記憶し
くステップ５９）、そののちルーチンを抜ける。逆に第
２回以降の場合はｉｊとｉ、−１の相関係数ｆ　（ｉｊ
、　ｉＨ−＋）、ｉｊとｉｋの相関係数ｆ　（ｉｊ、　
ｉｋ）を算出する（ステップ５２．５３）。これらの値
は（Ｃ）。

（Ｄ）同様にｉｊと’ｊｌ＋ｉＪとｉｋの間隔の逆数に
比例する様な形で定められる。ついて、１ｊとｉＨ−＋
の相関係数ｆ　（ｉｊ、　　ｉＨ−＋）に任意の定数ａ
（ただし０≦ａ≦１）を掛けたものをｉｊ、　　ｉＨ−
＋に対する軌跡情報Ｌ　（ｉｊ）、　Ｌ　（ｉＨ−＋）
に各々加える（ステップ５３．５４）。そしてｉｊとｉ
ｋの相関係数ｆ　（ｉｊ、　　ｉｋ）が零か否か調べ（
ステップ５５）、零でなければｌｊと】ｋの相関係数ｆ
　（ｉｊ、　　ｉｋ）に任意の定数ｂ（ただしＯ≦ｂ≦
１、かつａ＋ｂ＝１）を掛けたものを’Ｊ＋ｉｋに対す
る軌跡情報Ｌ　（ｉｊ）、　　Ｌ　（ｉｋ）に各々加え
る（ステップ５７．５８）。また、零の場合は、ｌｊを
新たな相関係数算出の視線位置とするためにｉｋとして
記憶する（ステップ５６）。そして最後にｌｊをｉ　Ｈ
−＋とじて記憶して（ステップ５９）、ルーチンを抜け
る。

第２図（Ａ）のフローチャートに戻る。

この様な軌跡情報の算出をΔを秒毎に行い（ステップ１
５）、各々の値をメモリーするのである。パンニング、
ズーミングが行われるとパンニング検知手段１１、ズー
ミング検知手段１２がそれを検知し、割込みの指示を与
える（ステップ１２）。この割込みが生じるとＭ、Ｐ、
Ｕｌは、それまでに算出された視線に関する頻度、停留
時間、軌跡の情報などを全てクリアし、定数の設定を行
い、視線算出のルーチンを初期の状態にする（ステップ
２）。その後、視線算出、エリア判別、頻度算出、停留
時間算出、軌跡情報算出の処理及び記憶（ステップ１６
）、定数の設定（ステップ１７）をレリーズ要求がある
まで繰返す。

以上の様にして頻度、停留時間、軌跡の視線に関する情
報が求められる。

レリーズの要求があると（ステップ１２）　Ｍ、Ｐ。

Ｕｌは注視点抽出を以下の様にして行う。

Ｍ、Ｐ、Ｕｌはメモリーに記憶されている各分割画面の
各時間毎の頻度、停留時間、軌跡の各情報を用いて、ト
ータルの頻度ＮＴ　（ｉ）、停留時間ＴＴ　（ｉ）、た
だしＮｍ　（＋）、　Ｔ　ＩＴｌ（＋）、　Ｌｍ　（ｉ
）は最後（レリーズ直前）の頻度、停留時間、軌跡情報
Ｎｍ−ｋ（ｉ）。

Ｔ　ｍ−ｋ　（ｉ　）　、　Ｌ　ｍ−ｋ　（ｉ　）はそ
のに番目前の情報である。レリーズ直前とそのひとつ前
の情報の重みを“ｌ”にするのはレリーズのタイミング
によらず、レリーズの直前Δｔの情報を重視するためで
ある。

そして、その前のΔを秒間の情報も用いることで、撮影
者の意志をより一層反映している。なおＡは１／２程度
の値が望ましい。

ついでＭ、Ｐ、Ｕｌはメモリに記憶されている各分割画
面の頻度、停留時間、軌跡の各情報の加重平均をｉ：分割画面番号の様にしてとり各分割画面の注視度数Ｗ（ｉ）を求める
（ステップ１３）。そして、この注視度数が最大となる
分割画面を、もしくは最大に近い分割画面群を注視点と
みなす（ステップ１４）。分割画面群は、最大の注視度
数との差が一定値Ｋ（これは撮影レンズの焦点距離、絞
り値、視線算出を行った期間などより定める）以内のも
のであるが、この中で注視度数最少のものとの差が一定
値に以内のものは分割画面群に含める。さらに新たに求
めた分割画面群の中で注視度数最少のものとの差が一定
値に以内のものも含めてもよい。よって注視点は複数の
場合もある。

例えば、Ｗｌ〉Ｗ２〉Ｗ３〉Ｗ４〉Ｗ５〉Ｗ６・・、と
各分割画面に対する注視度数が求まっている場合、最大
値Ｗ１に対して以下の様であればＷｌ−Ｗ２≦ＫＷ、−Ｗ３≦ｋＷ、−Ｗ４＞ＫＷ３−Ｗ４≦ＫＷ４−Ｗ５〉Ｋｗ、、　　ｗ２．　　ｗ３．　ｗ４の注視度数をもつ分
割画面を注視点と見なす（ステップ１４）。

その後カメラの制御はレリーズの他のルーチンへ移行し
、上記の様にして求められた注視点て測距、測光を行い
、その結果に基づいて焦点制御。

露出制御などが行われる。

またレリーズ動作が行われたあとは、カメラのメインス
イッチがオフされない限り、視線検出要求待ちの状態と
なる。

なお視線検出装置は、第５図に示すようにイメージセン
サ−４、赤外発光ダイオード７、受光レンズ１２、グイ
クロイックミラー１３（可視透過赤外反射）などで構成
されており、ペンタプリズム１４付近に配置されている
。

〔他の実施例〕

本発明第２実施例のブロック図、回路図を第６図（Ａ）
、（Ｂ）、（Ｃ）、（Ｄ）、（Ｅ）に示す。

４０はイメージセンサ−の駆動回路、４１はイメージセ
ンサ−１２１は視線算出回路、２２は視線エリア判別回
路、１００，１１０，１２０，１３０は頻度算出回路、
２００，２１０，２２０，２３０は停留時間算出回路、
２４０は停留判別回路、３００．３１０．３２０．３３
０は軌跡情報算出回路、３５０は相関係数を求める際の
対象となるエリアを求める相関対象演算回路、３６０は
演算回路３５０で決定されたエリアとの相関係数を求め
る相関係数演算回路、３７０．４００はデコーダー、４
１０，４１１，４１２，４１３は加重平均回路、４２０
はデコーダ４１０〜４１３で求められた加重平均値が最
大のもの、すなわち注視点であるエリアを抽出するため
の最大値エリア判定回路である。

駆動回路４１からの読み出し信号によりイメージセンサ
−４０から眼球前眼部の画像が読み出されると、視線算
出回路２１によって、プルキニエ像、瞳孔中心ついて視
線位置が算出される。また駆動回路４Ｉからは読み出し
終了に同期してエリア確定信号が出力され、これに同期
して視線エリア判別回路２２よりエリアに対応する信号
が出力される。この信号はデコーダ４００てデコードさ
れ、そのエリアに対応する頻度算出回路、停留時間算出
回路、軌跡情報算出回路へデコート出力が送られる。

デコード出力が送られてきた頻度算出回路では、その内
部のカウンターでデコード出力がカウントされ、頻度Ｎ
　（ｉ）が求められる。このカウンターはレリーズ、ズ
ーミング、パンニングやＲＥＡＤ信号の発生などにより
ＣＬＥＡＲ信号が生じるとその出力を消去する。（ＲＥ
ＡＤ信号やレリーズやΔを秒が経過したとき生じる。第
６図（Ｂ）参照）第６図（Ｃ）に示す様に停留判別回路
２４０ではデイレイ回路２４１を通った一つ前のエリア
情報と現在のエリア情報を比較し、それが等しければ停
留時間算出回路へカウントアツプを指示する信号を送出
する。デコード出力が送られてきた停留時間算出回路２
００では、ＡＮＤ回路２０１の出力がＨｉｇｈとなるの
でカウンター２０２がカウントアツプされる。なお、こ
のカウンター２０２は停留判別回路で、一つ前のエリア
と現在のエリアが等しくないと判断されたとき及びＣＬ
ＥＡＲ信号が生じた際にクリアされる。カウンター２０
２の出力は、カウントアツプされたのちメモリー２０５
に記憶されている。

それまでの停留時間の最大値と比較され、カウンターの
出力の方が大きければ新たな最大値としてバッファ２０
４を介してメモリー２０５に記憶される。

このメモリーの内容はカウントアツプされた時のほか、
レリーズが指示された際（ＲＥＡＤ信号が生じた際）に
も読み出される。またＣＬＥＡＲ信号が生じたときには
消去される。

第６図（Ｄ）に直前（ひとつ前）のエリア情報との相関
係数を求める場合の軌跡情報算出回路について示す。

相関係数演算回路３６０はデイレイ回路３５１を通った
一つ前のエリア情報と現在のエリア情報の差を減算器３
６１で求めその差に対応する相関係数をＲＯＭにより構
成された相関係数演算器３６２で演算する。またデイレ
イ回路３５１の出力はデコーダー３７０にも入力する。

デコーダー３７０．４００の出力のＯＲをＯＲ回路３０
５でとることにより、現在のエリアとその直前のエリア
の双方に、上記演算器３６２の演算結果が加算される。

すなわちＯＲ回路３０５の出力がＨｉｇｈになるとメモ
リー３０３からそれまでのデータ（軌跡情報）が読み出
され、加算器３０１で該演算器３６２の演算結果との和
が求められる。ＯＲ回路３０５の出力はデイレイ回路３
０４を通り、その一定時間後にメモリー３０３のＷＲＩ
ＴＥ端子に与えられるので、加算器３０１の結果はこの
タイミングでバッファ３０２を介してメモリーに記憶さ
れる。このメモリーの内容はレリーズが指示された際（
ＲＥＡＤ信号が生じた際）にも読み出される。またＣＬ
ＥＡＲ信号が生じたときにはその内容が消去される。

第６図（Ｅ）に相関係数が零になった点（大きく視線が
動いたあとの第−点）との相関係数を求める場合の軌跡
情報算出回路について示す。

相関係数演算回路３６０では、メモリー３５２に記憶さ
れているエリア情報と現在のエリア情報の差を減算器３
６１で求め、その差に対応する相関係数を相関係数演算
器３６２で演算する。この結果が零であった場合はメモ
リー３５２のＷＲＩＴＥ端子にＷＲＩＴＥ命令が与えら
え、バッファ３５３を介してそのときのエリア情報をメ
モリー３５２に記憶する。よってメモリー３５２には相
関係数が零となった際のエリア情報、すなわち視線が大
きく移動し、それまでの視線Φ軌跡との相関関係の無く
なったあとの第−点の情報が記憶されることになる。ま
た相関係数演算器３６２の結果は加算器３０１にも与え
られる。

一方、現在のエリアの情報はデコーダー４００にメモリ
ー３５２のエリア情報はデコーダー３７０に入力する。

そして、この二つのデコーダーの出力のＯＲを３０５で
とることにより、現在のエリア、メモリー３５２に記憶
されたエリアの双方に３６２の演算結果が加算される。

すなわち、ＯＲ回路３０５の出方がＨｉｇｈとなるとメ
モリー３０３がらそれまでの軌跡情報が読み出され、加
算器３０１で３６２の演算結果との和が求められ、３０
５の出力がデイレイ回路３０４を通ることで、読み出し
の一定時間後にバッファ３０２を介してメモリー３０３
に記憶される。なお、このメモリー３０３の内容はレリ
ーズが指示された際（ＲＥＡＤ信号が生じた際）にも読
み出され、ＣＬＥＡＲ信号が生じた際にはその内容が消
去される。また、ＣＬＥＡＲ信号が生じた際には、メモ
リー３５２の内容も消去される。

以上の様にして頻度算出回路、停留時間算出回路、軌跡
情報算出回路で求められた数値は、ＲＥＡＤ信号が生じ
ると、それぞれのエリアに対応する加重平均回路へ送ら
れる。例えば、第０エリアであれば加重平均回路４１０
、第１エリアであれば４１１゜第２エリアであれば４１
２、第３エリアであれば４１３へといった具合である。

そして各々の加重平均回路ではＲＥＡＤ信号に同期して
そのとき入力された頻度、停留時間、軌跡の各情報をメ
モリーする。

そしてレリーズ信号が生じた際には頻度算出回路、停留
時間算出回路、軌跡情報算出回路で求められた数値は再
びそれぞれのエリアに対する加重平均回路へ送られる。

加重平均回路はそれまでにメモリーされた演算結果のう
ちから最後の２つを読み出し、トータルの頻度、停留時
間、軌跡情報、ついで各々のエリアにおける注視度数Ｗ
（ｉ）を求める。この演算結果を送られた最大値エリア
判定回路４２０では、各々の注視度数の比較を行い、そ
の最大値を与えるエリア（注視点エリア）を判定しその
エリアの番号を出力する。

なお、ＲＥＡＤ信号はレリーズが指示された場合と、計
時回路においてΔＴが計時されたとき、すなわちレリー
ズ時と視線検知が開始されてからΔＴ間隔に出力される
。またＣＬＥＡＲ信号はカメラのレリーズ動作が終了し
た際、ズーミング、パンニングが行われた際に生じる様
になっている。

本発明第３実施例のブロック図を第７図に示す。

第３実施例の特徴はＭ、Ｐ、ＵＩて視線算出並びにエリ
アの判定を行い、その結果をインターフェイス回路３を
介して、注視点抽出のための回路群へ送信している点で
ある。

Ｍ、Ｐ、Ｕｌはイメージセンサ−４の出力画像をインタ
ーフェイス回路３を介して読み込み、この画像をもとに
プルキンエ像、瞳孔中心、そして視線を算出し、この視
線が画面上のどのエリアに位置するかを求め、その値を
注視点抽出のための回路群へ送信する。Ｍ、Ｐ、Ｕｌか
らの信号を受けた回路群では、第２実施例と同様の動作
により、頻度、停留時間、軌跡情報が算出され、その結
果が加重平均回路、さらに最大値エリア判定回路に送ら
れ、注視点エリアが求められる。

なお第３実施例においては、ＣＬＥＡＲ信号、ＲＥＡＤ
信号などはＭ、Ｐ、Ｕ　１より与えられる。

第４実施例はファジィ−理論を用いて撮影者の注視点を
決定するものである。すなわち、ある時刻ｔ＝Ｔにおけ
る視線の位置を（ｉ、　ＤとしたときのＴＳＬａｓＬ≦
ｔ≦Ｔｆｉｎａｌにおける（ｉ、　Ｄにおける頻度Ｎ（
１゜Ｊ）、停留時間Ｔ（ｉ、ｊ）から注視点（ＩＣ１）
Ｃ）をファジィ理論を用いて決定するものである。

ファジィ−理論は１９６５年カリフォルニア大学バーク
レイ校のり、Ａ、Ｚａｄｃｈ教授によって提唱された理
論で、例えば［行動軽量学１３巻２号（通巻２５号）１
９８６ＰＰ６４〜ＰＰ８９にファジィ理論とその応用」
として発表されている。ファジィ理論は言葉のもってい
るノウハウを定量化するのに適している。そこで以下に
示すノウハウをルール１１ルール２として定量化する。

（１）注視点とその視線頻度は関係がある。すなわち頻
度が高ければ高いほど注視点の可能性が高い。

（２）注視点とその停留時間は関係がある。すなわち停
留時間が長いほど、注視点の可能性が高い。

（３）注視点とシャッターを切るまでの時間は関係があ
る。すなわち、シャッターを切る直前の視線はど、注視
点の可能性が高い。

ルールｌは「シャッターを切る直前の頻度の高い点はど
注視点の可能性が高い」と表現される。すなわち、ＴＳ
ｔａｒｌ≦ｔ≦Ｔ＋ｉｎｓ＋における（ｉ、　０点の頻
度Ｎ（ｉ、　　ｊ）の評価関数Ｅｖ　ａ　ｌ　Ｎ　（ｒ
　＋　ｊ）はＥｖａｌ　Ｎ（ｉ、　Ｄ　＝Σｆｎ（ｔ）
　−Ｎ（ｉ、　ｊ）となる。ここて、ｆｎ　（ｔ）は、
例えば第９図（Ａ）に示す様なファジィ集合で表わした
関数である。ただし、ｆｎ　（ｔ）はンヤツターを切る
時刻に応じた関数であるので上記例に限るものではなく
、第９図（Ｂ）。

（Ｃ）の様な関数でもかまわない。

ルール２は「ンヤツターを切る直前の停留時間の長い点
はど、注視点の可能性が高いＪと表現される。すなわち
、Ｔｓｌａｒｌ≦ｔ≦Ｔｌ１ｎａｌにおける（ｉ、　ｊ
）点の停留時間Ｔ（ｉ、ｊ）の評価関数Ｅ　ｖ　ａ　］
　Ｔ　（１１Ｊ　）はＥｖａｌ　Ｔ（ｊ、　Ｄ　”Σｆｎ（ｔ）　＠　Ｔ（＋
、　Ｊ）と表わされる。ここてｒｎ（ｔ）はルール１同
様フアジイ集合で表わした関数である。注視点はルール
ドルール２のＭ　ａ　ｘ演算で求められるので、Ｍａｘ
（Ｅｖａｌ　Ｎ（ｉ、　　ｊ）　Ｅｖａｌ　Ｔ（ｉ、　
ｊ））を最大とする（ｉ、　　Ｄを求めれることにより
注視点（ｉｃ、　　ｊｃ）を決定する。

Ｍ、Ｐ、Ｕｌは、イメージセンサ−４の出力画像をイン
ターフェイス回路３を介して読み込みこの画像を処理す
ることにより、プルキニエ像、瞳孔中心、そして視線の
位置（ｉ、　Ｄを算出する。そののちＭ、Ｐ、Ｕｌは上
記のファジィ演算を行い注視点の位置（ｔｃ、　ＪＣ）
を求める。すなわち第１Ｏ図に示すようにレリーズ要求
後に頻度、停留時間の評価関数Ｅｖａｌ　Ｎ（ｉ、　ｊ
）、Ｅｖａｌ　Ｔ（Ｌ　ｊ）を求める（ステップ６０．
６１）。そのためにまず、そのときの時刻Ｓと、そのと
きの視線のエリアを記憶しくステップ６４）、レリーズ
要求後のこの値を用いてＥｖａｌＮ（ｉ、ｊ）をＥｖａｌ　Ｎ（ｉ、　ｊ）　＝Ｅｖａｌ　Ｎ（ｉ、　ｊ
）　＋ｆ　（ｓ）の演算をＳ＝１からＳ＝Ｓまで繰返す
ことにより求める（ステップ６６）。また停留時間は第
１実施例と同様にして求め、この値Ｔ　（Ｓ、　　ｉ、
　　ｊ）とそのときの時刻Ｓを記憶する（ステップ６４
）。そしてレリーズ要求後Ｅｖａｌ　Ｔ（ｉ、　Ｄ　＝ΣＴ（ｓ、　ｉ、　ｊ）　
・ｆ　（ｓ）としてＥｖａｌ　Ｔ（ｉ、　ｊ）を求める
（ステップ６１）。

そして、その後Ｍａｘ　（Ｅｖａｌ　Ｎ（ｉ＋　ｊ）、
ＥｖａｌＴ（ｉ、　　ｊ）を算出しくステップ６２）、
この値が最大となる（ｉ、　　ｊ）を求め、この（ｉ、
　　ｊ）を注視点とする（ステップ６３）。

〔発明の効果〕

以上説明してきた様に本発明においては、画面を多分割
し、その分割された画面における使用者もしくは撮影者
の視線の頻度、停留時間、直前もしくはある一定時間前
（太き（視線が移動した第−点）の視線の位置と現在の
視線の差に基づく相関度（軌跡情報）等の複数の情報を
用いることにより、使用者もしくは撮影者の意図する対
象に値する注視点の抽出を可能にすることができた。

【図面の簡単な説明】

第１図は本発明のブロック図、第２図は本発明の動作を示すフローチャート、第３図は
画面分割の一例を示す図、第４図は相関係数の一例を示す図、第５図は視線検知装置の配置図、第６図は本発明第２実施例の回路ブロック図、第７図は
本発明第３実施例の回路ブロック図、第８図は従来例の
説明図、第９図はファジィ−集合で表わされた関数を示す図、第１０図は第４実施例のフローチャートである。１はマイクロ・プロセッシング・ユニット（Ｍ。Ｐ、Ｕ）、２はメモリー、３はインターフェイス回路、
４はイメージセンサ−及びその駆動回路、５は発光制御
回路、６は位置センサ、７は赤外発光ダイオード、８は
測光センサ、９は積分時間制御回路、１０はズーム情報
検知手段、１１はパンニング情報検知手段である。 θ１ｂ≦ 淳イ比のルーチンへ

Claims

【特許請求の範囲】

（１）画面内のどの位置に使用者の視線が向いているか
を検知する視線検出装置において、前記画面を複数に分
割し、この分割された画面内の各エリアの視線に関する
複数種の視線情報を用いて、使用者の注視点を抽出する
手段を設けたことを特徴とする視線検出装置。
（２）上記注視点を抽出するために用いる複数種の視線
情報のひとつとして、上記各エリアにおける視線の存在
する頻度の情報を用いたことを特徴とする請求項（１）
記載の視線検出装置。
（３）上記注視点を抽出するために用いる複数種の視線
情報のひとつとして、上記各エリアにおける視線の停留
時間の情報を用いたことを特徴とする請求項（１）また
は（２）記載の視線検出装置。
（４）上記注視点を抽出するために用いる複数種の視線
情報のひとつとして、上記エリアにおける視線の軌跡の
情報を用いたことを特徴とする請求項（１）、（２）ま
たは（３）記載の視線検出装置。
（５）上記各エリアにおける視線に関する情報は、所定
時間ごとに求め、かつその情報はメモリーに記憶される
ことを特徴とする請求項（１）、（２）、（３）または
（４）記載の視線検出装置。
（６）ファインダー画面内のどの位置に撮影者の視線が
向いているかを検知する視線検出装置を有するカメラに
おいて、前記画面を複数に分割し、この分割された画面
内の各エリアの視線に関する複数種の視線情報を用いて
、撮影者の注視点を抽出する手段を設けたことを特徴と
する視線検出装置を有するカメラ。
（７）上記注視点を抽出するために用いる複数種の視線
情報のひとつとして、上記各エリアにおける視線の存在
する頻度の情報を用いたことを特徴とする請求項（６）
記載の視線検出装置を有するカメラ。
（８）上記注視点を抽出するために用いる複数種の視線
情報のひとつとして、上記各エリアにおける視線の停留
時間の情報を用いたことを特徴とする請求項（６）また
は（７）記載の視線検出装置を有するカメラ。
（９）上記注視点を抽出するために用いる複数種の視線
情報のひとつとして、上記エリアにおける視線の軌跡の
情報を用いたことを特徴とする請求項（６）、（７）ま
たは（８）記載の視線検出装置を有するカメラ。
（１０）上記各エリアにおける視線に関する情報は、所
定時間ごとに求め、かつその情報はメモリーに記憶され
ることを特徴とする請求項（６）、（７）、（８）また
は（９）記載の視線検出装置を有するカメラ。
（１１）ズーミングまたはパンニングが行われた際には
、注視点を抽出するための演算結果を消去する制御手段
を設けたことを特徴とする請求項（６）、（７）、（８
）、（９）または（１０）記載の視線検出装置を有する
カメラ。
（１２）上記視線に関する複数種の情報は、レリーズタ
イミングに近いものほど優先させたことを特徴とする請
求項（６）、（７）、（８）、（９）、（１０）または
（１１）記載の視線検出装置を有するカメラ。