JPH09281385A - 視線検出機能付きカメラ - Google Patents

視線検出機能付きカメラ

Info

Publication number
JPH09281385A
JPH09281385A JP11301096A JP11301096A JPH09281385A JP H09281385 A JPH09281385 A JP H09281385A JP 11301096 A JP11301096 A JP 11301096A JP 11301096 A JP11301096 A JP 11301096A JP H09281385 A JPH09281385 A JP H09281385A
Authority
JP
Japan
Prior art keywords
line
sight
detection
camera
sight detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP11301096A
Other languages
English (en)
Inventor
Shinichi Hagiwara
伸一 萩原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP11301096A priority Critical patent/JPH09281385A/ja
Publication of JPH09281385A publication Critical patent/JPH09281385A/ja
Withdrawn legal-status Critical Current

Links

Landscapes

  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

(57)【要約】 【課題】 撮影動作開始を意図したレリーズ釦の操作が
為された際のレリーズタイムラグを最小にし、シャッタ
チャンスに強いものにする。 【解決手段】 撮影準備動作開始用の第1のスイッチ手
段が閉成されると電源供給を開始し、予め決められた時
間が経過すると、前記電源供給を停止する電源供給手段
112,113と、前記電源供給が為されている間は、
視線検出手段14,101に繰り返し視線検出を行わせ
る制御手段100とを設けている。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、レリーズ釦の第1
段階までの押圧により閉成する撮影準備動作開始用の第
1のスイッチ手段と、レリーズ釦の第2段階までの押圧
により閉成する撮影動作開始用の第2のスイッチ手段
と、視線を検出する視線検出手段とを備えた視線検出機
能付きカメラの改良に関するものである。
【0002】
【従来の技術】従来より、観察者が観察している「観察
面上の位置」を検出する、いわゆる視線(視軸)を検出
する装置(例えばアイカメラ)が種々提供されている。
【0003】その視線を検出する方法として、例えば特
開平1−274736号公報においては、光源からの平
行光束を観察者の眼球の前眼部へ投射し、角膜からの反
射光による角膜反射像と瞳孔の結像位置を利用して視軸
を求めている。
【0004】また、観察者がファインダ視野内のどの領
域(位置)を観察しているか、いわゆる撮影者の注視方
向を、カメラの一部に設けた視線検出手段により検出
し、該視線検出手段からの信号に基づいて自動焦点検出
や自動露出等の各種の撮影機能を制御するようにしたカ
メラが種々提案されている。
【0005】例えば、特開昭61−61135号公報で
は、視線検出手段からの出力に基づいて焦点検出の為の
信号投射方向を制御し、測距することで撮影系の焦点状
態を調節するようにしたカメラが提案されている。
【0006】また、特開平1−241511号公報で
は、撮影者の注視方向を検出する視線検出手段と、複数
個の測距(焦点検出)視野をもつ焦点検出手段と、複数
個の測光感度分布をもつ自動露出制御手段とを有し、前
記視線検出手段からの出力信号に基づいて焦点検出手段
と自動露出制御手段の駆動を制御するようにしたカメラ
を提案している。
【0007】上述の視線検出手段では、眼球から反射光
を数千画素から成るエリアイメージセンサで受光し、像
信号を読み出して、眼球像からの特徴を抽出するもので
ある。
【0008】また、上述の視線検出手段を取り入れたオ
ートフォーカスカメラのオートフォーカス動作は、レリ
ーズ釦を軽く押すとオンするスイッチSW1をオンする
と、焦点検出に先立って視線検出手段により、撮影者の
ファインダ内の注視点を求めるものである。
【0009】この手順は、視線検出手段の眼球照明光を
発光させ、眼球からの反射光をエリアイメージセンサで
受光し蓄積を行った後に像信号を読み出して、撮影者の
視線方向を求め、続いて、視線方向からファインダ内の
どの部分を注目しているか、すなわち注視点を求める。
【0010】この注視点はファインダ内の座標で表さ
れ、この座標から対応する測距点(焦点検出点)を決定
するものである。
【0011】さらに最近では、高精度を維持しつつ高速
に視線検出を行う工夫がなされている。
【0012】例えば、視線検出手段を具備したオートフ
ォーカスカメラにおいて、サーボモードという、主に動
いている被写体を撮影する時に使う合焦動作では、所定
の間隔で繰り返し焦点検出とレンズ駆動を行って、合焦
させる。
【0013】このとき、焦点調節すべき測距点は視線検
出を繰り返し行うことで求めるが、2回目以降の視線検
出動作では、前回の視線検出結果からエリアイメージセ
ンサ上の眼球位置が判るので、エリアイメージセンサ上
の像信号を読み出す領域を限定する方法等が考えられて
いる。
【0014】
【発明が解決しようとする課題】上記従来例は、視線検
出装置のカメラへの利用であり、視線検出情報によりカ
メラに搭載されている機能を操作,制御するものであ
る。
【0015】この時、視線検出装置へはスピードが要求
される。それは、例えば焦点検出装置への応用では、撮
影画面内のいずれか撮影者の意図する領域(部分)に瞬
時に焦点調節する必要があるからである。
【0016】しかしながら、従来の視線検出装置を具備
したオートフォーカスカメラにおいては、レリーズ釦を
押すと焦点調節を行う前に視線検出を行う為に、撮影者
がレリーズを意図してレリーズ釦を最後まで押したにも
かかわらず、合焦するまでに時間を要し、視線検出を行
わない時との違和感があるとともに、シャッタチャンス
を捉えることが難しく、安心して使うことができなかっ
た。
【0017】(発明の目的)本発明の第1の目的は、撮
影動作開始を意図したレリーズ釦の操作が為された際の
レリーズタイムラグを最小にし、シャッタチャンスに強
い視線検出機能付きカメラを提供することにある。
【0018】本発明の第2の目的は、視線により焦点検
出位置を選択する場合であっても、焦点検出位置を自動
的に決定して撮影処理を進める場合とほぼ同様の応答性
をもって撮影処理を進めることのできる視線検出機能付
きカメラを提供することにある。
【0019】
【課題を解決するための手段】上記第1の目的を達成す
るために、請求項1記載の本発明は、レリーズ釦の第1
段階までの押圧により閉成する撮影準備動作開始用の第
1のスイッチ手段と、レリーズ釦の第2段階までの押圧
により閉成する撮影動作開始用の第2のスイッチ手段
と、視線を検出する視線検出手段とを備えた視線検出機
能付きカメラにおいて、前記第1のスイッチ手段が閉成
されると電源供給を開始し、予め決められた時間が経過
すると、前記電源供給を停止する電源供給手段と、前記
電源供給が為されている間は、前記視線検出手段に繰り
返し視線検出を行わせる制御手段とを設け、撮影準備動
作開始用の第1のスイッチ手段が閉成されて電源が供給
されることにより視線検出動作を繰り返し行わせ、電源
供給が為されている間は視線入力される焦点検出位置の
監視をし続け、第2のスイッチ手段の閉成が為された際
には直ちに撮影動作を開始できるようにしている。つま
り、撮影動作を行う為に再度第1のスイッチ手段が閉成
されたとしても、新たに視線検出手段を最初から動作さ
せるのではなく、電源が供給されている最中は繰り返し
視線検出を行わせておき、この際の視線検出の為の蓄積
時間や演算処理時間等の短縮を図るようにしている。
【0020】同じく上記第1の目的を達成するために、
請求項2記載の本発明は、レリーズ釦の第1段階までの
押圧により閉成する撮影準備動作開始用の第1のスイッ
チ手段と、レリーズ釦の第2段階までの押圧により閉成
する撮影動作開始用の第2のスイッチ手段と、視線を検
出する視線検出手段とを備えた視線検出機能付きカメラ
において、前記第1のスイッチ手段が閉成されると計時
動作を開始し、予め決められた時間の計時後にその動作
を終了する計時手段と、該計時手段にて計時動作が為さ
れている間は、前記視線検出手段に繰り返し視線検出を
行わせる制御手段とを設け、撮影準備動作開始用の第1
のスイッチ手段が閉成されてから予め決められた時間視
線検出動作を繰り返し行わせ、この予め決められた時間
の間は視線入力される焦点検出位置の監視をし続け、第
2のスイッチ手段の閉成が為された際には直ちに撮影動
作を開始できるようにしている。つまり、撮影動作を行
う為に再度第1のスイッチ手段が閉成されたとしても、
新たに視線検出手段を最初から動作させるのではなく、
予め決められた時間の間は繰り返し視線検出を行わせて
おき、この際の視線検出の為の蓄積時間や演算処理時間
等の短縮を図るようにしている。
【0021】また、上記第2の目的を達成するために、
請求項3記載の本発明は、レリーズ釦の第1段階までの
押圧により閉成する撮影準備動作開始用の第1のスイッ
チ手段と、レリーズ釦の第2段階までの押圧により閉成
する撮影動作開始用の第2のスイッチ手段と、視線を検
出する視線検出手段とを備えた視線検出機能付きカメラ
において、前記第1のスイッチ手段が閉成される事によ
り、前記視線検出手段に所定の間隔で繰り返し視線検出
を行わせ、この繰り返し視線検出が行われている際に、
前記第1のスイッチ手段が再度閉成された場合には、直
前に行われた視線検出結果を用いて焦点検出位置を決定
し、焦点検出情報を算出してこれに基づいて調節を行う
制御手段を設け、第1のスイッチ手段が再度閉成された
場合には、第2のスイッチ手段が閉成するまで一気にレ
リーズ釦の押圧操作が為される場合が殆どであるので、
換言すれば、撮影動作開始を意図してのレリーズ釦操作
であることが殆どであるので、今回の第1のスイッチ手
段の閉成時には視線検出は行わず、直前に行われた視線
検出結果を用いて焦点検出位置を決定し、ここで得られ
た焦点検出情報に基づいて焦点調節を行うようにしてい
る。
【0022】
【発明の実施の形態】以下、本発明を図示の実施の形態
に基づいて詳細に説明する。
【0023】図1は本発明の実施の第1の形態に係る一
眼レフカメラの要部を示す構成図、図2は図1の一眼レ
フカメラの上面及び背面を示す図、図3は図1のカメラ
のファインダ内を示す図である。
【0024】図1〜図3において、1は撮影レンズであ
り、図では便宜上2枚のレンズ1a、1bで示したが、
実際は多数のレンズから構成されている。
【0025】2は主ミラーで、観察状態と撮影状態に応
じて撮影光路へ斜設され、あるいは退去される。3はサ
ブミラーで、主ミラー2を透過した光束をカメラボディ
の下方へ向けて反射する。4はシャッタ、5は感光部材
で、銀塩フィルムあるいはCCD等の固体撮影素子ある
いはビディコン等の撮像管よりなっている。
【0026】6は焦点検出装置であり、結像面近傍に配
置されたフォールドレンズ6a,反射ミラー6b及び6
c,2次結像レンズ6d,絞り6e,複数の光電変換素
子から成るCCD等のラインセンサ6fから構成されて
いる。
【0027】本実施の形態における焦点検出装置6は周
知の位相差方式を採用しており、図3に示す様に、観察
画面内(ファインダ視野内)の複数の領域(5箇所)を
測距点として、該測距点が焦点検出可能となるように構
成されている。
【0028】7は撮影レンズ1の予定結像面に配置され
たピント板、8はファインダ光路変更用のペンタプリズ
ム、9,10は観察画面内の被写体輝度を測定するため
の結像レンズと測光センサで、結像レンズはペンタダハ
プリズム8内の反射光路を介してピント板7と測光セン
サを共役に関係付けている。
【0029】11はペンタダハプリズム8の射出面後方
に配置された接眼レンズで、光分割器11aを有してお
り、撮影者の眼15によるピント板7の観察に使用され
る。前記光分割器11aは、例えば可視光を透過し赤外
光を反射するダイクロイックミラーより成っている。1
2は受光レンズ、14はCCD等の光電素子列を2次元
的に配したオメージセンサで受光レンズ12に関して所
定の位置にある撮影者眼15の瞳孔近傍と共役になるよ
うに配置されている。前記イメージセンサ14と受光レ
ンズ12は受光手段の一要素を構成している。
【0030】13(13a〜13d)は各々撮影者の眼
15の照明光源(投光手段)であるところの赤外発光ダ
イオードで、図2(B)に示す様に、接眼レンズ11の
回りに配置されている。
【0031】21は明るい被写体の中でも視認できる高
輝度のスーパーインポーズ用LEDであり、該スーパー
インポーズ用LED21から発せられた光は投光用プリ
ズム22,主ミラー2で反射してピント板7の表示部に
設けた微小プリズムアレー7aで垂直方向に曲げられ、
ペンタプリズム8,接眼レンズ11を通って撮影者の眼
15に達する。そこでピント板7の焦点検出領域に対応
する位置にこの微小プリズムアレイ7aを枠状に形成
し、これを各々に対応した5つのスーパーインポーズ用
LED21(各々をLED−L1,LED−L2,LE
D−C,LED−R1,LED−R2とする)によって
照明する。
【0032】これによって、図3に示したファインダ視
野図から分かるように、各々の測距点マーク200,2
01,202,203,204がファインダ視野内で光
り、焦点検出領域(測距点)を表示させている(以下、
これをスーパーインポーズ表示という)。
【0033】23はファインダ視野領域を形成する視野
マスク、24はファインダ視野外に撮影情報を表示する
ためのファインダ内LCDで、照明用LED(F−LE
D)25によって照明され、該ファインダ内LCD24
を透過した光が三角プリズム26によってファインダ内
に導かれ、図3のファインダ視野外に表示され、撮影者
は該撮影情報を観察している。27は姿勢検知手段であ
り、カメラの姿勢を検知する姿勢検知センサである。
【0034】31は撮影レンズ1内に設けた絞り、32
は後述する絞り駆動回路111を含む絞り駆動装置、3
3はレンズ駆動用モータ、34は駆動ギヤ等から成るレ
ンズ駆動部材である。35はフォトカプラで、レンズ駆
動部材34に連動するパルス板36の回転を検知してレ
ンズ焦点調節回路110に伝えており、該焦点調節回路
110は、この情報とカメラ側からのレンズ駆動量の情
報に基づいてレンズ駆動用モータを所定量駆動させ、撮
影レンズ1を合焦位置に移動させるようになっている。
37は公知のカメラとレンズとのインターフェイスとな
るマウント接点である。
【0035】図2において、41はレリーズ釦、42は
外部モニタ表示装置としてのモニタ用LCDであり、予
め決められたパターンを表示する固定セグメント表示部
42aと可変数値表示用の7セグメント表示部42bと
から成っている。43は測光値を保持するAEロック
釦、44はモードダイヤルで、撮影モード等の選択を行
っている。45は電子ダイヤルである。他の操作部材に
ついては本発明の理解において特に必要ないので省略す
る。
【0036】図4は、上記構成の一眼レフカメラに内蔵
された電気回路の要部を示すブロック図である。
【0037】図4は本発明の実施の第1の形態が適用さ
れたカメラの電気要部構成を示すブロック図であり、ま
ず各部の構成について説明する。なお、図1と同一のも
のは同一番号をつけている。
【0038】図4において、PRSはカメラの制御回路
であり、例えば内部にCPU(中央演算処理部),RA
M,ROM及びファインダ内ポート等が配置されたワン
チップのマイクロコンピュータ(以下、マイコンと記
す)である。
【0039】前記マイコンPRS100には、視線検出
路101,測光回路102,自動焦点検出回路103,
信号入力回路104,LCD駆動回路105,LED駆
動回路106,IRED駆動回路107,シャッタ制御
回路108、及び、モータ制御回路109が接続されて
おり、ROM及びEEPROMに格納されたカメラのシ
ーケンスプログラム及び制御パラメータに従って、上述
の各回路を制御することで、カメラの一連の動作を行っ
ている。
【0040】また、撮影レンズ1内に配置された焦点調
節回路110,絞り駆動回路111とは、図1で示した
マウント接点37を介して信号の伝達がなされる。
【0041】マイコンPRS100に付随したEEPR
OM(電気的消去可能プログラマブルROM)100a
には、視線の個人差を補正する視線補正データ(以下、
キャリブレーションデータと記す)や、露出制御や焦点
調節に関する調整値等を含む一連のカメラの制御パラメ
ータが格納されている。
【0042】前記視線検出回路101は、イメージセン
サ14(CCD−EYE)からの眼球像の出力をA/D
変換し、この像情報をマイコンPRS100に送信す
る。マイコンPRS100は後述するように視線検出に
必要な眼球像の各特徴点を所定のアルゴリズムに従って
抽出し、さらに各特徴点の位置から撮影者の視線を算出
する。マイコンPRS100と視線検出回路101、そ
してイメージセンサ14は視線検出装置の一要素を構成
している。
【0043】前記測光回路102は、測光センサ10か
らの出力を増幅後、対数圧縮,A/D変換し、各センサ
の輝度情報としてマイコンPRS100へ出力する。測
光センサ10は、図3に示したファインダ画面内の左側
の測距点200,201を含む左領域210を測光する
SPC−Lと、中央の測距点202を含む中央領域21
1を測光するSPC−Cと、右側の測距点203,20
4を含む右側領域212を測光するSPC−Rと、これ
らの周辺領域213を測光するSPC−Aとの、4つの
フォトダイオードから構成されている。
【0044】ラインセンサ6fは、前述のように画面内
の5つの測距点200〜204に対応した5組のライン
センサCCD−L2,CCD−L1,CCD−C,CC
D−R1,CCD−R2から構成される公知のCCDラ
インセンサである。自動焦点検出回路103はこれらラ
インセンサ6fから得た電圧をA/D変換し、マイコン
PRS100に送る。
【0045】SW1は測光,AF(オートフォーカ
ス),視線検出動作等を開始する為の、つまり撮影準備
動作を開始させる為のスイッチ、SW2は撮影動作を開
始させる為のレリーズスイッチ、SW−ANGは視線検
知センサ27によって検知されるところの姿勢検知スイ
ッチ、SW−AELはAEロック釦43を押すことによ
ってオンするAEロックスイッチ、SW−DIAL1と
SW−DIAL2は既に説明した電子ダイヤル内に設け
たダイヤルスイッチである。
【0046】前記スイッチSW1はレリーズ釦41の第
1段階の押下(第1ストローク)によりオンするスイッ
チであり、前記レリーズスイッチSW2は引き続いてレ
リーズ釦41の第2段階の押下(第2ストローク)によ
りオンするスイッチである。これらスイッチSW1,S
W2ともに、片方は接地されており、もう一方はマイコ
ンPRS100の端子に並列に接続されている。これら
スイッチSW1,SW2が接続しているマイコンPRS
100の端子は、不図示のプルアップ抵抗にて電池のプ
ラス端子に接続されている。
【0047】上述の各種のスイッチの状態信号は信号入
力回路104に入力しており、これらスイッチのオン,
オフ状態が切り換わるときに生ずるチャタリングの影響
を受けずにスイッチ状態を検知するようになっている。
【0048】ダイヤルスイッチSW−DIAL1とSW
−DIAL2は、信号入力回路104に内蔵のアップダ
ウンカウンタに入力され、電子ダイヤル45の回転クリ
ック量をカウントする。SW−M1〜M4も既に説明し
たモードダイヤル44内に設けたダイヤルスイッチであ
る。これらスイッチの信号が信号入力回路104に入力
され、データバスによってマイコンPRS100に送信
される。
【0049】マイコンPRS100はスイッチSW1が
オンしたことを知ると、トランジスタPTR112をオ
ンすべく抵抗を介して接続されている端子をLOWレベ
ルに引き下げる。そして、前回のスイッチSW1がオン
してから内蔵タイマにより計時して所定時間が経過する
と、電源供給をオフしていた電気素子へ電源供給を行う
とともに、測光,焦点検出など一連の制御を開始し、電
源供給制御を行う内蔵タイマをリセットし、計時を再び
開始する。そして、内蔵タイマの計時により所定時間が
経過するとトランジスタPTR112をオフして電気素
子への電源供給を停止する。さらにスイッチSW2がオ
ンされたならば、これをトリガとして露出制御とその後
のフィルム巻き上げ等からなるレリーズ動作を行う。
【0050】電源回路112は定電圧電源であり、不図
示の電池出力VBAT が入力されており、その出力はマイ
コンPRS100の電源端子と信号入力回路104に接
続している。また、マイコンPRS100の制御により
トランジスタPTR113を介して、VCCに出力され
た後、各電気素子に供給されるようになっている。同図
ではVCCは電気素子全てに接続されているが、その表
記は省略している。
【0051】105は液晶表示素子LCDを表示駆動さ
せるための公知のLCD駆動回路であり、マイコンPR
S100からの信号に従い、絞り値,シャッタ秒時,設
定した撮影モード等の表示をモニタ用LCD42とファ
インダ内LCD24の両方に同時に表示させている。
【0052】LED駆動回路106は、照明用LED
(F−LED)22とスーパーインポーズ用LED21
を点灯,点滅制御する。IRED駆動回路107は、赤
外発光ダイオード(IRED1〜6)13a〜13dを
状況に応じて選択的に点灯させる。
【0053】シャッタ制御回路108は、通電すると先
幕を走行させるマグネットMG−1と後幕を走行させる
マグネットMG−2を制御し、感光部材に所定光量を露
光させる。モータ制御回路109は、フィルムの巻き上
げ,巻き戻しを行うモータM1と、主ミラー2及びシャ
ッタ4のチャージを行うモータM2とを制御している。
これらシャッタ制御回路108,モータ制御回路109
によって一連のカメラのレリーズシーケンスが動作す
る。
【0054】図5は視線検出方法の原理を説明する為の
図である。また、図6(A)はイメージセンサ14面上
に投影される眼球像の概略図、図6(B)は同図(A)
に示す光彩の端部a,bを通過する直線上のイメージセ
ンサ14の像信号出力を示している。
【0055】図6(A)において、17は眼球の光彩の
部分、19は瞳孔を表し、e,dは眼球照明光源の角膜
反射像を表している。
【0056】同図において、13a,13bは観察者に
対して不感の赤外光を放射する発光ダイオード等の光源
であり、各光源は受光レンズ12の光軸に対してx方向
に略対称に配置され、観察者の眼球を発散照明してい
る。眼球で反射した照明光の一部は受光レンズ11によ
ってイメージセンサ14に集光する。
【0057】次に、図5及び図6(A),(B)を用い
て、視線検出方法について説明する。
【0058】光源13bより放射された赤外光は、観察
者の眼球15の角膜16を照明する。このとき角膜16
の表面で反射した赤外光の一部により形成される角膜反
射像d(虚像)は受光レンズ11により集光され、イメ
ージセンサ14上の位置d´に結像する。同様に光源5
aより放射された赤外光は、眼球の角膜16を照明す
る。このとき角膜16の表面で反射した赤外光の一部に
より形成された角膜反射像eは受光レンズ11により集
光され、イメージセンサ14上の位置e´に結像する。
また、虹彩17の端部a,bからの光束は受光レンズ1
1を介してイメージセンサ14上の位置a´,b´に該
端部a,bの像を結像する。
【0059】受光レンズ11の光軸に対する眼球15の
光軸の回転角θが小さい場合、虹彩17の端部a,bの
x座標をxa,xbとすると、瞳孔19の中心位置cの
座標xcは、 xc≒(xa+xb)/2 と表される。
【0060】また、角膜反射像d及びeの中点のx座標
と角膜16の曲率中心Oのx座標xoとはほぼ一致する
ため、角膜反射像の発生位置d,eのx座標をxd,x
e、角膜16の曲率中心Oと瞳孔19の中心Cまでの標
準的な距離を/OCとし、距離/OCに対する個人差を
考慮する係数をAとすると眼球15の光軸の回転角θ
は、 (A*/OC)*SINθ≒xc(xd+xe)/2 …………(1) の関係式を略満足する。このため、図6(A)に示した
ようにイメージセンサ14上に投影された眼球15の各
特徴点(角膜反射像d,e及び虹彩の端部a,b)の位
置を検出することにより、眼球15の光軸の回転角θを
求めることができる。この時(1)式は、 β*(A*/OC)*SINθ≒(xa´+xb´)/2 −(xd´+xe´)/2…(2) と書き換えられる。但し、βは受光レンズ11に対する
眼球の位置により決まる倍率で、実質的には角膜反射像
の間隔|xd´−xe´|の関数として求められる。
【0061】眼球15の光軸の回転角θは θ≒ARCSIN{(xc´−xf´)/β/(A*/OC} …(3) と書き換えられる。但し xc´≒(xa´+xb´)/2 xf´≒(xd´+xe´)/2 である。
【0062】ところで、観察者の眼球の光軸と視軸とは
一致しないため、観察者の眼球の光軸の水平方向の回転
角θが算出されると、眼球の光軸と視軸との角度差αを
補正することにより観察者の水平方向の視線θxは求め
られる。眼球の光軸と視軸との補正角度αに対する個人
差を考慮する係数をBとすると観察者の水平方向の視線
θxは θx=θ±(B*α) …………(4) と求められる。ここで符号±は、観察者に関して右への
回転角を正とすると、観察装置を覗く観察者の目が左目
の場合は+、右目の場合は−の符号が選択される。また
同図においては、観察者の眼球がz−x平面(例えば水
平面)内で回転する例を示しているが、観察者の眼球が
y−z平面(例えば垂直面)内で回転する場合において
も同様に検出可能である。但し、観察者の視線の垂直方
向の成分は眼球の光軸の垂直方向の成分θ´と一致する
ため垂直方向の視線θyは θy=θ´ となる。
【0063】さらに、一眼レフカメラにおいては、視線
データθx,θyより観察者が見ているピント板上の位
置(xn,yn)は xn≒m*θx ≒m*[ARCSIN{(xc´−xf´)/β/(A*/OC)} ±(B*α)] …………(5) yn≒m*θy と求められる。但し、mはカメラのファインダ光学系で
決まる定数である。
【0064】ここで、視線の個人差を補正する係数、す
なわち個人差補正係数はAであり、Bの値は撮影者にカ
メラのファインダ内の所定の位置に配設された指標を固
視してもらい、該指標の位置と(5)式に従い算出され
た固視点位置とを一致させることにより求められる。
【0065】本実施の形態における撮影者の視線及び注
視点を求める演算は、前記各式に基づき視線演算処理装
置のマイコンのプログラムを実行させて行っている。
【0066】カメラのファインダを覗く撮影者の視線の
ピント板上の位置を正しく算出し、その視線情報を撮影
レンズの焦点調節、あるいは、露出制御等に利用する。
【0067】次に、図7〜図15に示したフローチャー
トに基づいて動作説明を行う。
【0068】まず、カメラのメイン動作について、図7
のフローチャートにより説明をする。
【0069】モードダイヤル44を回転操作してカメラ
を不動作状態から所定の撮影モードに設定すると、信号
入力回路104は、モードダイヤル44の回転操作を検
知してマイコンPRS100への通信を行う(ステップ
#001)。
【0070】ステップ#002では、信号入力回路10
4からの信号を受けてマイコンPRS100は、フラ
グ,レジスタ,ポート等の初期化や、内蔵のROMから
必要に応じてデータを読み出し、メモリの予め決めてお
いた所定の位置に格納するとともに、モニタ用LCD4
2にカメラの撮影モードなどのデータをLCD駆動回路
105に送信するなどの一連の初期化動作を行う。この
時、マイコンPRS100内のレジスタには、それぞれ
適切な値が代入されるとともに、後述するSW0F,S
W1F,PTRF,AFF,TIMERF等のマイコン
PRS100内のフラグは、それぞれ“0”にクリアさ
れ、各出力ポートもそれぞれ初期化されている。
【0071】初期化動作が終了すると、レリーズ釦41
の第1段階の押下により作動するスイッチSW1がオン
であるかどうかを調べる(ステップ#003)。該スイ
ッチSW1がオンであれば、続いてフラグPTRFを調
べる(ステップ#007)。このフラグPTRFは、ト
ランジスタPTR113のベースに抵抗を介して接続し
ているマイコンPRS100のポートの状態を示してお
り、“0”であるときにはトランジスタPTR113は
オフし、“1”であるときにはトランジスタPTR11
3はオンする。
【0072】モードダイヤル44を回転操作して、カメ
ラを不動作状態から所定の撮影状態に設定しようとする
時、フラグPTRFは未だ“0”である。そこで、上述
のトランジスタPTR113に接続しているマイコンP
RS100のポートをLOWレベルに引き下げてトラン
ジスタPTR113をオンにするとともに、フラグPT
RFに“1”をセットする(ステップ#008)。トラ
ンジスタPTR113がオンすると、電源回路112か
らVCCに電源供給され、測光回路102や自動焦点検
出回路103等の必要時のみ給電される電気素子に電源
が供給されることになる。
【0073】電源供給された各電気素子と測光演算や焦
点調節制御等の一連のデータ処理に必要なデータを、マ
ウント37を介して取り付けられている撮影レンズ1の
焦点調節回路110及び絞り駆動回路111と通信し
て、メモリの予め決めておいた所定の位置に格納する
(ステップ#009)。
【0074】続いて、トランジスタPTR113のオン
を持続する時間を決めるマイコンPRS100に内蔵の
タイマの設定及び動作を行い、内蔵タイマが計時動作中
であることを示すフラグTIMEFに“1”を設定する
(ステップ#010)。このフラグTIMEFはタイマ
計時動作中に“1”、計時完了あるいは計時開始前には
“0”が設定されるようになっている。
【0075】ここで、上述のマイコンPRS100に内
蔵されたタイマの1回の計時時間は、ステップ#003
からステップ#030まで、あるいは、ステップ#00
3からステップ#045までの処理動作を行い、再びス
テップ#003に戻ることに要する時間よりも長い時間
である。
【0076】続いて、「設定」サブルーチンにて各スイ
ッチ操作による情報入力と入力された情報に基づいた表
示を行う(ステップ#011)。
【0077】続いてステップ#012では、測光回路か
らの出力をマイコンPRS100に内蔵のA/D変換器
によるデジタル値に変換して取り込み、測光データを求
めるとともに、前述の撮影レンズからの情報を使って、
そのとき設定されているカメラの撮影モードに応じた演
算により最適な露出制御情報を算出する等の一連の測光
処理を行う。そして、マイコンPRS100は得られた
測光処理結果をLCD駆動回路105に出力し、ファイ
ンダ内LCD24及びモニタ用LCD42に表示する。
【0078】ステップ#015では、視線検出を実行す
る。視線検出の詳細説明は後述する。
【0079】この時、LED駆動回路106は照明用L
ED(F−LED)25を点灯させ、LCD駆動回路1
05はファインダ内LCD24の視線入力マーク78を
点灯させて、ファインダ画面外207で撮影者がカメラ
が視線検出を行っている状態であることを確認すること
ができるようになっている。
【0080】ステップ#016では、視線検出回路10
1において検出された視線をピント板7上の注視点座標
に変換し、マイコンPRS100は得られた注視点座標
に近接した測距点を選択し、LED駆動回路106に信
号を送信してスーパーインポーズ用LED21を用いて
前記測距点マークを点滅表示させる。
【0081】このように、視線情報によって測距点が選
択されたことをファインダ視野内の測距マークを点滅表
示させて撮影者に知らせるようになっているので、撮影
者は意志通りに選択されたかどうか確認することができ
る。
【0082】ステップ#019では、撮影者が該撮影者
の視線によって選択された測距点が表示されたのを見
て、さらにスイッチSW1が押し続けられているか否か
を見ている。すなわち、撮影者は選択された測距点が意
図と一致していなければ、正しくないと認識してレリー
ズ釦41から手を離してスイッチSW1をオフし、一致
していれば引き続き該スイッチSW1を押し続けるから
である。前記スイッチSW1がオフであれば、ステップ
#041に移行する。
【0083】撮影者が視線によって選択された測距点が
表示されたのを見て、引き続きスイッチSW1をオンし
続けたならば、ステップ#021に移行し、このステッ
プ#021では、一連のAF処理及びAF動作を行う。
すなわち、自動焦点検出回路103は検出された視線情
報を用いて、1つ以上の測距点の焦点検出を実行する。
そして、選択された測距点の焦点調節状態が合焦でなけ
れば、マイコンPRS100はレンズ焦点調節回路11
0に信号を送って所定量撮影レンズ1を駆動させる。又
レンズ駆動後、自動焦点検出回路103は、再度焦点検
出を行い、合焦していなければ、再び撮影レンズ1を駆
動して焦点調節を行う。
【0084】次のステップ#022では、撮影レンズ1
が合焦、すなわち焦点調節できたか否かの判定を行う。
所定の測距点において撮影レンズ1が焦点調節された合
焦できたならば、マイコンPRS100はLCD駆動回
路105に信号を送ってファインダ内LCD24の合焦
マーク79を点灯させるとともに、LED駆動回路10
6にも信号を送って合焦している測距点201に合焦表
示させる。この時、前記視線によって選択された測距点
の点滅表示は消灯するが、合焦表示される測距点と、前
記視線によって選択された測距点とは一致する場合が多
いから、合焦したことを撮影者に認識させるために合焦
測距点は点灯状態に設定される。
【0085】前記ステップ#022において、撮影レン
ズ1が合焦しない時、すなわち焦点調節不能である時
は、ステップ#023に移行して、マイコンPRS10
0はLCD駆動回路105に信号を送ってファインダ内
LCD24の合焦マーク79を点滅させて、焦点調節が
NG(不能)で、合焦させることができないことを撮影
者に警告する。
【0086】さらに、ステップ#024では、スイッチ
SW1がオフしているか否かを検出し、該スイッチSW
1がオンしている間、すなわち撮影者がレリーズ釦41
を押している間は、焦点調節NG表示を続ける。そし
て、撮影者がレリーズ釦41から手を離しスイッチSW
1をオフすると、ステップ#041に移行する。
【0087】ステップ#025では、合焦した測距点が
ファインダ内に表示されたのを撮影者が見て、その測距
点が正しくないと認識してレリーズ釦41から手を離し
スイッチSW1をオフすると、ステップ#041に移行
する。
【0088】また、スイッチSW1が引き続きオンであ
るときには、ステップ#026において、上記ステップ
#012の「測光」にて求めた結果と、上記ステップ#
021にて焦点調節された、各測距点の焦点状態とか
ら、露出制御値を決定する。
【0089】続くステップ#030では、スイッチSW
2がオンであるか否かを調べ、スイッチSW2がオンで
あればステップ#040へ移行し、レリーズ処理を行
う。
【0090】このステップ#040のレリーズ処理で
は、まず、モータ制御回路109を介してモータM2に
通電し、主ミラー2をアップさせ、絞り31を絞り込ん
だ後、マグネットMG1に通電してシャッタ4の先幕を
開放する。絞り31の絞り値及びシャッタ4のシャッタ
スピードは、前記測光回路102にて検知された露出値
とフィルム5の感度から決定される。所定のシャッタ秒
時経過後、シャッタ制御回路108を介してマグネット
MG2に通電し、シャッタ4の後幕を閉じる。フィルム
5への露光が終了すると、モータM2に再度通電し、ミ
ラーダウン、シャッタチャージを行うとともにモータM
1にも通電し、フィルムの駒送りを行い、一連のレリー
ズ処理動作が終了する。
【0091】前記ステップ#030においてスイッチS
W2がオフであるときは、前述した様にステップ#00
3に移り、再びスイッチSW1がオンであるか否かを調
べる。そして、ステップ#003では再びスイッチSW
1がオンであるか否かを調べ、オフであるときは、ステ
ップ#041へ進む。前記ステップ#019,#02
4,#025にてスイッチSW1がOFFであった場合
も、前述した様にステップ#041へ進む。そして、こ
のステップ#041では、フラグSW1Fに“0”を設
定する。
【0092】続くステップ#042では、フラグTIM
EFを調べる。もしフラグTIMEFが“1”でないな
らば、既に内蔵タイマは所定時間の計時を完了している
ことを意味し、計時完了によりマイコンPRS100は
トランジスタPTR113をオフする。この時、カメラ
は不要な電源の消費が行われないようにVCCによる給
電を停止する給電停止状態にあり、撮影状態にするか否
かを判断するために、再びスイッチSW1がオンしてい
るか否かを調べる動作に戻る、つまりステップ#003
に戻る。
【0093】また、ステップ#043でフラグTIME
Fが“1”であるときは、次のステップ#043にて、
内蔵タイマが計時終了か否かを調べる。そして、内蔵タ
イマが計時終了でなければ、撮影状態であるので、再び
ステップ#010に移る。また、内蔵タイマが計時終了
であれば、先述したように余計に電源を消費しないよう
にカメラを撮影準備状態にする処理を行う。
【0094】つまり、まずステップ#044にて、フラ
グTIMEFに“0”を設定し、内蔵タイマ計時完了で
あることを示した後、次のステップ#045にて、トラ
ンジスタPTR113をオフする。さらに、フラグPT
RFに“0”を設定して、トランジスタPTR113が
オフであることを示す処理を行い、カメラは撮影準備状
態となる。
【0095】そして、ステップ#003に戻り、カメラ
を撮影状態にするか否かを判断するために、スイッチS
W1がオンしているか否かを調べる動作に戻る。
【0096】このように、カメラのメイン動作は、電源
供給用トランジスタPTR113がオフして、電源供給
が停止している状態からスイッチSW1をオンした時に
は、視線検出(ステップ#015),測距点選択(ステ
ップ#016),AF(ステップ#021)と処理が進
み、一度電源供給が開始されると、タイマにより所定時
間が経過して電源供給が再び停止するまでの間に、撮影
者がレリーズ釦41から指を離してスイッチSW1がオ
フである状態であっても、設定(ステップ#011),
測光(ステップ#012),視線検出(ステップ#01
5),測距点選択(ステップ#016)を、この順に従
って繰り返し行うものである。
【0097】図8は視線検出動作を示すフローチャート
であり、以下、これを用いて視線検出動作について詳細
に説明する。
【0098】図8に示すフローチャートにおいて、視線
検出回路101はマイコンPRS100より信号を受け
取ると、視線検出を実行する。これは、図5のステップ
#015での動作に相当する。
【0099】視線検出を開始すると、図8におけるステ
ップ#050を経て、ステップ#051にて、データの
初期化を実行する。
【0100】変数EYEMINは、眼球反射像の光電変
換信号の中の最小の輝度値を記憶する変数であり、マイ
コンPRS100に内蔵されているA/D変換器の分解
能を8ビットと想定し、像信号の読み込みに伴って、逐
次的に最低値を比較、更新してゆく。初期値は8ビット
での最大値を表す「255」を格納しておく。
【0101】また、変数EDGCNTは、光彩と瞳孔の
境界をエッジとして抽出した個数をカウントする変数で
ある。
【0102】又、変数IP1,IP2,JP1,JP2
は、発光ダイオード5a,5bの角膜反射像(以下、P
像(プルキンエ像)と記す)の位置を表す変数であり、
横方向(X軸)の範囲IP1〜IP2、横方向(Y軸)
の範囲JP1〜JP2で囲まれる眼球反射像の領域内
に、2個のP像が存在する。
【0103】今、イメージセンサ(エリアセンサとも記
す)14の画素数は横方向に150画素、縦方向に10
0画素のサイズを想定しており、変数IP1,IP2,
JP1,JP2は全体の丁度真ん中の位置(75,5
0)を初期値として格納しておく。
【0104】データの初期化後は、次のステップ#05
2へ移行する。
【0105】ステップ#052では、P像用の発光ダイ
オード5a,5bと眼球照明用の発光ダイオード5c,
5dを点灯する。そして、次のステップ#053にて、
エリアセンサ14の蓄積動作を開始させる。
【0106】該エリアセンサ14の制御は、本発明と直
接関係ないので、詳細な説明は省略する。
【0107】ステップ#054において、エリアセンサ
14の蓄積終了を待つ。所定の電荷が入射光に応じて蓄
積し、蓄積が終了すると、次のステップ#055にて、
発光ダイオードを消灯する。
【0108】さて、次のステップ#058以降から、エ
リアセンサ14の光電変換信号の読み込みを開始する。
【0109】ステップ#058では、ループ変数Jを
“0”から“99”までカウントアップしながら、枠内
の処理を実行する、いわゆる「ループ処理」を表してい
る。
【0110】ステップ#058内のループ処理では、ま
ずステップ#059にて、エリアセンサ14の横方向
(X軸)の1ラインの光電変換信号の読み込みを行う。
1ラインの読み込みはサブルーチン形式となっており、
このサブルーチン「1ライン読み込み」について、図9
のフローチャートを用いて説明する。
【0111】サブルーチン「1ライン読み込み」がコー
ルされると、図9のステップ#100)を経て、次のス
テップ#101を実行する。
【0112】ステップ#101とその枠内のステップ#
102は、前述したステップ#058と同様のループ処
理を表し、ステップ#101では、前述のステップ#0
58と同様のループ処理を表している。さらにステップ
#101では、変数Kを“0”から“3”へカウントア
ップさせながら、そしてステップ#102では、変数I
を“0”から“149”へカウントアップさせながら、
それぞれの枠内の処理を実行してゆく。従って、ステッ
プ#101とステップ#102は、変数Kと変数Iのい
わゆる「入れ子」となったループ処理を表している。
【0113】ステップ#102のループ処理内のステッ
プ#103では、配列変数IM(i,k)の再格納作業
を行っている。
【0114】本実施の形態では、マイコンPRS100
が信号処理を行っている訳であるが、一般にマイコンの
内蔵RAMの記憶容量は、エリアセンサの全画素情報を
一度に記憶できる程大きくはない。
【0115】そこで、本実施の形態では、エリアセンサ
17から出力される像信号を逐次読み出したが、横方向
(X軸)5ライン分に相当する最新の像信号のみをマイ
コンPRS100の内蔵RAMに記憶させ、1ラインの
読み込み毎に視線検出のための処理を実行するようにし
ている。
【0116】ステップ#101からステップ#103の
二重ループ処理で実行している内容は、新たな1ライン
分の像信号を読み込むために、記憶している過去5ライ
ン分の像信号データを更新する作業である。すなわち、
配列変数IM(i,k)のうち、IM(i,0)[i=
0〜149]が最も過去の、また、IM(i,4)[i
=0〜149]が最も最近の1ラインの像データを表し
ており、次のようにデータを更新して新たな1ライン分
の像信号をIM(i,4)[i=0〜149]に格納で
きるように準備する。
【0117】IM(i,0)←IM(i,1) IM(i,1)←IM(i,2) IM(i,2)←IM(i,3) IM(i,3)←IM(i,4) [i=0〜149] さて、ステップ#101〜ステップ#103のデータ更
新のためのループ処理が終了すると、次のステップ#1
04のループ処理を実行する。
【0118】ステップ#104のループ処理では、エリ
アセンサ17の横方向の(X軸)の1ライン分(指定さ
れた画素)の像信号を逐次的にA/D変換しながら、R
AMに格納し、また像信号の最小値を検出している。
【0119】ステップ#104のループ内の最初のステ
ップ#105では、マイコンPRS100の内蔵A/D
変換器から、像信号をA/D変換したデジタル値ADC
を取り出し、その値を一時的に変換して変数EYEDT
に格納する。そして、次のステップ#106にて、変数
EYEDTの値を配列変数IM(i,4)に格納する。
変数iは外側のループ処理ステップ#104にて変数
“0”から“149”までカウントアップされる。
【0120】ステップ#107とステップ#108は、
像信号の最小値を検出する処理である。変数EYEIN
は像信号の最小値を保持する変数であり、ステップ#1
07)において、変数EYEMINより変数EYEDT
の方が小さければ、ステップ#108)へ分岐し、変数
EYEMINをこの小さな変数EYEDTの値で更新す
る。
【0121】ステップ#104〜ステップ#108のル
ープ処理が終了し、新たな1ライン分の像信号の格納と
最小値の検出が終わると、次のステップ#109でサブ
ルーチン「1ラインの読み込み」をリターンする。
【0122】図8のフローチャートに戻って、ステップ
#059のサブルーチン「1ラインの読み込み」が完了
すると、次のステップ#060へ移行し、外側のループ
処理ステップ#058のループ変数Jが“5”以上か否
か調べる。
【0123】ループ変数Jはエリアセンサ17の縦方向
(Y軸)の画素ラインを表している。ステップ#060
にて、ループ変数Jが“5”以上の場合にはステップ#
061へ分岐する。これは、読み込んだ像信号のライン
数が5以上になると、エリアセンサ17の縦方向(Y
軸)の処理ができるようになるからである。
【0124】分岐した先のステップ#061では、サブ
ルーチン「P像の検出」を実行する。
【0125】サブルーチン「P像の検出」は、前述した
角膜反射像(P像)の位置を検出するための処理であ
り、エリアセンサ17の横方向(X軸)の1ラインの読
み込み毎に実行する。そのフローチャートを図10に示
し、以下これについて説明する。
【0126】サブルーチン「P像の検出」がコールされ
ると、ステップ#200を経てステップ#201のルー
プ処理を実行する。ループ処理内では、像データ(配列
変数IM(i,k)に記憶)中のP像の位置を検索し、
もし見つかればエリアセンサ17上でのその位置を記憶
する。本実施の形態では、P像は2個発生するので、記
憶する位置情報も2個となる。
【0127】ループ内の最初のステップ#202では、
所定位置の像データがP像としての条件を満足するか否
かを判定する。条件としては、次のようなものである。
【0128】ステップ#202)の「P像条件」 IM(1,2)>C2 かつ IM(1,1)>C2 かつ IM(1,3)>C2 かつ IM(I−1,2)>C2 かつ IM(I+1,2)>C2 但し、C1,C2は□値定数で、C1≧C2なる関係が
あり、例えば、C1=230,C2=200である。ま
た、変数Iはループ処理のループ変数であり、エリアセ
ンサ17の横方向(X軸)の位置を表している。
【0129】上記条件は、P像が図6(A),(B)に
示すように、スポット像のようなものであることに注目
して、横/縦方向(X/Y軸)の両方向に定義したもの
である。この条件が満足されたとき、位置(1,2)に
P像が存在するものと見なす。
【0130】前述したように配列変数IM(i,k)は
エリアセンサの横方向(X軸)の1ライン読み込み毎に
更新しており、縦方向(Y軸)位置JラインはIM
(i,4)[i=0〜149]に格納されている。従っ
て、変数IMに対するアドレス(1,2)は、エリアセ
ンサ17上では、位置(I,J−2)となる。
【0131】ステップ#202にて、P像の条件を満足
する像データがあった場合、ステップ#203以降へ分
岐しない場合には外側のループ変数Iがカウントアップ
される。
【0132】ステップ#203以降は、2個のP像の存
在範囲(X軸方向の範囲[IP1〜IP2],Y軸方向
の範囲[JP1〜JP2])を決定する処理である。
【0133】まず、ステップ#203では、エリアセン
サ17の横方向(X軸)の位置を表す変数Iと変数IP
1を比較して、I<IP1ならばステップ#204へ分
岐する。すなわち、P像の存在範囲のうち、横方向の左
方にあるP像位置IP1の位置よりも、変数Iの位置の
方が左にあれば、変数IP1を書き換えようとするもの
である。
【0134】ステップ#204では、変数IP1に変数
Iの値を格納し、そのときの縦方向の位置(J−2)を
変数JP1に格納する。続くステップ#205,ステッ
プ#206では、P像存在範囲のうち、横方向の右方に
あるP像位置IP2と、その縦方向位置を表すJP2の
更新の判定を行う。
【0135】以上のようにして、ステップ#201のル
ープ処理で、横方向(X軸)の位置Iが“0”から“1
49”まで、1ライン毎になす処理が終了すると次のス
テップ#207へ移行する。
【0136】ステップ#207では、後の処理で参照す
る変数XP1,XP2,YP1,YP2の図中の式の如
く計算する。これらの変数の意味については、図14の
円の最小2乗推定サブルーチンの説明のところで詳述す
るが、簡単に述べるならば、瞳孔中心を検出する際に、
P像位置周辺に発生する偽の瞳孔エッジ情報を排除する
ために使用するものである。
【0137】ステップ#207の処理が終了すると、次
のステップ#208でサブルーチン「P像の検出」をリ
ターンする。
【0138】再び、図8のフローチャートに戻る。
【0139】ステップ#061のサブルーチン「P像の
検出」が完了すると、次のステップ#062でサブルー
チン「瞳孔エッジの検出」を実行する。「瞳孔エッジの
検出」は眼球反射像中の瞳孔エッジ(光彩と瞳孔の境
界)の位置検出を行うサブルーチンであり、図11にそ
のフローチャートを示しており、以下これについて説明
する。
【0140】サブルーチン「瞳孔エッジの検出」がコー
ルされると、ステップ#300を経て、次のステップ#
301のループ処理が実行する。ステップ#301は、
図10のステップ#201と同様に、エリアセンサ17
の横方向(X軸)の位置を表す変数Iをループ変数とす
るループ処理である。
【0141】ステップ#301のループ処理内では、像
データ中に瞳孔のエッジを表す特徴があるかどうかを検
索し、もしあれば、その位置情報を記憶する。瞳孔エッ
ジ位置情報は、配列変数EDGDTP(m,n)に格納
される。配列変数EDGDT(m,n)のデータ形式は
以下のように設定している。
【0142】 EDGDT(m,1)………m番目のエッジ点の輝度 EDGDT(m,2)………m番目のエッジ点のX軸座
標 EDGDT(m,3)………m番目のエッジ点のY軸座
標 但し、mは瞳孔エッジ検出の逐次処理の過程で見つかっ
たエッジ点の順番である。従って、エッジがm個検出さ
れたならば、配列変数EDGDTの容量は[M×3]バ
イト程が必要となる。フローチャートでは、エッジの検
出個数は変数EDGCNTでカウントしている。
【0143】さて、ループ内の最初のステップ#302
では、像データIM(I,2)の近傍に、過去に検出さ
れたエッジ点があるか否かを判定している。もう少し詳
しく説明すると次のようになる。
【0144】外側のループ処理のループ変数Iは、エリ
アセンサ17の横方向(X軸)の位置を表し、像データ
を格納している配列変数IM(i,k)に対するアドレ
ス(I,2)は、今まさに瞳孔エッジであるか否かを検
出しようとしている点(画素の座標)である。この
(I,2)の点に隣接する各点が、過去の逐次処理の過
程で瞳孔エッジと判定されたかどうかを、エッジ位置情
報を格納している配列変数EDGDT(m,n)から調
べようとするものである。
【0145】ステップ#302の判定条件を具体的に記
述すると、次の様になる。
【0146】ステップ#302の「判定条件」 なる{EDGDT(m,2) ,EDGDT(m,3)}
が存在する。但し、m=0〜(EDGCNT−1)であ
る。
【0147】現在検定しようとしている座標は、
{(I),(J−2)}であるから、上記座標は現在の
座標に対して順に左隣、左上隣、上隣、右上隣の位置を
表している。
【0148】また、EDGDT(m,2)、EDGDT
(m,3)はそれぞれm番目のエッジ点のX軸座標,Y
軸座標を表しているから、結局上記条件は、現在座標の
左隣,左上隣,上隣,右上隣の位置にエッジ点があった
かどうかを判定していることになる。
【0149】ステップ#302において、座標(I,J
−2)の近傍にエッジ点があると判定された場合には、
ステップ#304へ、そうでない場合にはステップ#3
03へ分岐し、それぞれ別の条件を用いて瞳孔エッジの
判定を行う。
【0150】近傍にエッジ点が無い場合について先に説
明する。
【0151】ステップ#303では、現在検定しようと
している座標(I,J−2)の像データが瞳孔エッジの
条件(ステップ#303での判定条件を「エッジ条件
1」と記す)を満たすか否かを判定している。座標
(I,J−2)の像データは配列変数IM(I,2)に
格納されていることに留意されたい。
【0152】判定条件は以下のようになる。
【0153】ステップ#303の「エッジ条件1」 1.{IM(I−1,2)−IM(1,2)}>C3か
つ {IM(I−2,2)−IM(I−1,2)}<C3か
つ IM(I,2)<a 2.{IM(I+1,2)−IM(1,2)}>C3か
つ {IM(I+2,2)−IM(I+1,2)}>C3か
つ IM(I,2)<a 3.{IM(I,1)−IM(1,2)}>C3かつ {IM(I,0)−IM(I,1)}>C3かつ IM(I,2)<a 4.{IM(I,3)−IM(1,2)}>C3かつ {IM(I,4)−IM(I,3)}>C3かつ IM(I,2)<a 上記1.〜4.を満足すれば、座標(I,J−2)をエ
ッジ点と見なす。但し、a=EYEIN+4で、EYE
MINは現在の逐次処理までの像データ中の最低輝度値
である。
【0154】上記C3,C4の値は、例えば、C3=
3,C4=20である。
【0155】上記条件は、瞳孔エッジ(光彩と瞳孔の境
界)においては連続して所定の輝度差があり、同時に瞳
孔部は眼球反射像の中で最も低い輝度となることを特徴
として捉えている。上記1.と2.の条件はエリアセン
サ17の横方向(X軸)のエッジを抽出し、上記3.と
4.の条件は縦方向(Y軸)のエッジを抽出する。
【0156】座標(I,J−2)が瞳孔エッジ点として
抽出された場合には、ステップ#303からステップ#
305へ分岐し、エッジ点の輝度値と座標を記憶する。
【0157】ステップ#305では、エッジ位置情報格
納用の配列変数EDGDT(m,k)に、次のように情
報を格納する。
【0158】 EDGDT(EDGCNT,1)←IM(I,2) EDGDT(EDGCNT,2)←I) EDGDT(EDGCNT,3)←J−2 なお、IM(I,2)はEDGCNT番目に検出された
エッジ点の輝度、Iは同X座標、(J−2)は同Y座標
である。
【0159】そして、検出されたエッジ点の個数をカウ
ントする変数EDGCNTを1つカウントアップする。
【0160】ステップ#305の処理が終了すると、外
側のループ処理のループ変数I(横方向、X軸の座標を
表す)をカウントアップし、再びステップ#302以降
のフローチャートを実行する。
【0161】さて、ステップ#302において、現在座
標(I,J−2)の近傍にエッジ点があると判定された
場合について説明する。
【0162】その場合、ステップ#304へ分岐し、ス
テップ#303と同じように、現在検定しようとしてい
る座標(I,J−2)の像データが瞳孔エッジの条件
(ステップ#304での判定条件を「エッジ条件2」と
記す)を満たすか否かを判定する。
【0163】ここで、「エッジ条件2」は「エッジ条件
1」よりも、いわば緩い条件を設定してある。本実施の
形態では、条件式に同じで値C3,C4を、それぞれC
3´,C4´とし、次のように変えている。
【0164】C3´=2,C4´=30 のように設定することで、「エッジ条件1」よりもエッ
ジと判定される率が向上する。
【0165】エッジ判定をこのように2種類用意する理
由は、そもそもエッジ点は独立して存在するものではな
く、連続しているものであり、ある点がエッジ点である
ならば、その近傍が同じエッジ点である可能性が高いで
あろうという観点に基づいている。
【0166】ステップ#304の「エッジ条件2」でエ
ッジ点と判定された場合には、ステップ#305へ分岐
して、その座標の情報を記憶する。
【0167】以上のようにしてループ変数Iが“14
9”となるまでステップ#301のループ処理を実行
し、エリアセンサ17の横方向(X軸)の1ライン分の
エッジ検出の処理を終了すると、ステップ#306へ移
行し、サブルーチン「瞳孔エッジの検出」をリターンす
る。
【0168】再び、図8の説明に戻る。
【0169】ステップ#062のサブルーチン「瞳孔エ
ッジの検出」が完了すると、外側のループ処理ステップ
#058のループ変数J(エリアセンサ17の縦方向、
Y軸の座標を表す)をカウントアップし、Jが“99”
となるまで再びステップ#059以降の処理を実行す
る。
【0170】ループ変数Jが“99”となり、エリアセ
ンサ17の指定された画素の読み込みと処理を終了する
と、ステップ#058からステップ#062へ移行す
る。
【0171】ステップ#063〜#065では、ステッ
プ#058のループ処理内で検出されたP像位置及び瞳
孔エッジ情報から、瞳孔の中心座標の検出と視線の検出
を行う。
【0172】まず、ステップ#063では、サブルーチ
ン「瞳孔推定範囲の設定」をコールする。
【0173】ステップ#062のサブルーチン「瞳孔エ
ッジの検出」で検出された複数の瞳孔エッジ点には、実
際に瞳孔円(光彩と瞳孔の境界が形成する円)を表して
いるエッジ点以外にも、種々のノイズによって発生した
偽のエッジ点も含まれている。
【0174】「瞳孔推定範囲の設定」は、上記偽のエッ
ジ点を排除するために、P像位置情報に基づいて、確か
らしいエッジ点の座標範囲を限定するためのサブルーチ
ンであり、そのフローチャートを図12に示し、以下こ
れについて説明する。
【0175】サブルーチン「瞳孔推定範囲の設定」がコ
ールされると、ステップ#400を経て、ステップ#4
01を実行する。
【0176】ステップ#401では、先に「P像の検
出」サブルーチンで説明したP像位置範囲、すなわち横
方向(X軸)にIP1〜IP2、縦方向(Y軸)にJP
1〜JP2の情報を用いて、瞳孔円の座標範囲IS1,
IS2,JS1,JS2を次の式に従って計算する。
【0177】IS1←IP1−20 IS2←IP2+20 JS1←(JP1+JP2)/2−20 JS2←(JP1+JP2)/2+40 確からしい瞳孔エッジ点は、エリアセンサ17の横方向
(X軸)の範囲IS1〜IS2、縦方向(Y軸)の範囲
JS1〜JS2に存在する点である、と設定する。
【0178】本実施の形態の光学系では、図6(A)示
した様に、2個のP像は常に瞳孔円の円内の上部に存在
するようになっており、これから上記計算式が成立す
る。
【0179】ステップ#401の計算の後は、ステップ
#402へ移行し、サブルーチン「瞳孔推定範囲の設
定」をリターンする。
【0180】図8に戻って、次にステップ#062のサ
ブルーチン「瞳孔中心の検出」をコールする。
【0181】「瞳孔中心の検出」は確からしい瞳孔エッ
ジ点の座標から瞳孔円の形状(中心の座標と大きさ)を
推定するサブルーチンであり、そのフローチャートを図
13〜図15に示した。
【0182】瞳孔円の形状の推定には「最小の2乗法」
を用いる。その考え方について先に述べておく。
【0183】円の公式は周知のように、中心座標を
(a,b)、半径をcとすると、 (X−a)2 +(Y−b)2 =C2 ……(10) で与えられる。
【0184】複数の観測点(x1,y1)、(x2,y
2)……(xn,yn)から、次式の誤差量ERが最小
となるように、a,b,cを決定することを考える。
【0185】 ER=Σ[(xi−a)2 +(yi−b)2 −C2 ] ……(11) ERは各観測点とa,b,cで決定される円の法線方向
の距離(誤差)の2乗和であり、これを最小にする。
【0186】ERをa,b,cで各々偏微分し、0とお
く。
【0187】 δER/δa=Σ[−4(xi−a)3 −4(xi−a)(yi−b)2 +4c2 (xi−a)]=0 ……(12) δER/δb=Σ[−4(xi−b)3 −4(xi−a)2 (yi−b) +4c2 (xi−b)]=0 ……(13) δER/δc=Σ[−4c3 −4(yi−b)2 c +4c(xi−a)2 ] =0 ……(14) 但し、f=1〜nyとする。
【0188】上記式(14)より δER/δc=Σ C2 =Σ[(xi−a)2 +(yi−b)2 ]/n =0 ……(15) 上記式(15)を式(13),(14)に代入し、ここ
で X1=Σxi ………(16) X2=Σxi2 ………(17) X3=Σxi3 ………(18) Y1=Σyi ………(19) Y2=Σyi2 ………(20) Y3=Σyi3 ………(21) Z1=Σxiyi ………(22) Z2=Σxi2 yi ………(23) Z3=Σxiyi2 ………(24) とおき、さらに、 V1=X2−X12 /n ………(25) V2=Y2−Y1/n ………(26) W1=X3−Z3 ………(27) W2=Y3−Z3 ………(28) W3=(X2+Y2)/n ………(29) W4=Z1−X1Y1/n ………(30) W5=(Z1−2・X1Y1/n)Z1 ………(31) W6=X1Y2 ………(32) W7=X2Y1 ………(33) とおいて整理すると、円の中心座標a,bは a={W1V2−W2W4−(W6−Y1Z1)W3} /2(X2V2−W5−W6X1/n) ………(34) b={W2V1−W1W4−(W7−Y1Z1)W3} /2(X2V2−W5−W7X1/n) ………(35) で計算される。
【0189】また、視線(注視点)の計算には直接関係
ないが、半径cは c={W3−2(aX1+bY1)/n+a2 +b21/2 …(36) で計算される。
【0190】本発明の実施の形態では、さらに誤差量E
Rを瞳孔中心検出の信頼性判定に用いており、ERは次
の式で与えられる。
【0191】 ER=X4−4aX3+2(2a2 +d)X2−4adX1 +Y4−4bY3+2(2b2 +d)Y2−4dbY1 +2(Z4−2aZ3−2bZ2+4abZ1)+d2 n ………(37) 但し、 X4=Σxi4 ………(38) X4=Σyi4 ………(39) Z4=Σxi2 yi2 ………(40) d=a2 +b2 +c2 ………(41) としている。
【0192】さて、以上のような数値計算の裏付けに従
って、図13〜図15のフローチャートの説明を行う。
【0193】サブルーチン「瞳孔中心の検出」がコール
されると、図13に示すステップ#500を経て、ステ
ップ#501の「円の最小2乗推定」サブルーチンをコ
ールする。
【0194】「円の最小2乗推定」は上記式に従って瞳
孔円の中心座標(a,b)と誤差量をERを計算するサ
ブルーチンであり、そのフローチャートを図14に示し
ており、以下これについて説明する。
【0195】同サブルーチンでは、さらに最低輝度の見
直しと、P像による偽の瞳孔エッジの排除を行ってい
る。
【0196】サブルーチン「円の最小2乗推定」がコー
ルされると、ステップ#600を経て、ステップ#60
1へ移行する。
【0197】ステップ#601では、上述した最小2乗
推定式のワーク変数の初期化を行っている。次のステッ
プ#602は、変数Lをループ変数とするループ処理で
あり、記憶している瞳孔エッジ情報を基に最小2乗法の
計算の前半を行う部分である。
【0198】いま、瞳孔エッジ点として、(EDGCN
T−1)個の情報が配列変数EDGDTに記憶されてい
る。ループ変数Lは記憶された順番を表している。
【0199】ループ処理内の最初のステップ#603で
は、L番目のエッジ点の輝度値EDGDT(L,1)と
(EYRMIN+C5)を比較し、輝度値の方が大きけ
れば分岐し、現在のリープ変数Lの処理を終了する。
【0200】本実施の形態では、エリアセンサ17の光
電変換信号を読み込みながら、逐次的な処理を行ってい
るため、エッジ点検出の部分で使用している最低輝度値
も、その時点までの最低輝度値にすぎない。
【0201】ゆえに、エッジ点として検出された点も、
実は本当の最低輝度値で判定されたものではなく、実際
にはエッジ点としてふさわしくない点も含まれている可
能性がある。そこで、このステップの目的は、最終的に
決定された最低輝度値に基づいて、もう一度最低輝度値
の判定を行い、瞳孔エッジとしてふさわしくない点を排
除しようとするものである。
【0202】値C5としては、例えば、C5=20であ
る。
【0203】ステップ#603にて、輝度値が小さいと
判断された場合は、ステップ#604)へ移行し、横方
向(X軸)座標と縦方向(Y軸)座標をそれぞれ変数
X,Yに一時的に格納する。
【0204】次のステップ#605では、L番目のエッ
ジ点の横方向座標Xが、横方向の範囲IS1〜IS2に
適合しているか否かを判断する。IS1,IS2はサブ
ルーチン「瞳孔推定範囲の設定」で求められた値であ
り、この範囲に入っていないエッジ点は瞳孔のエッジ点
として認めないように分岐し、現在のループ変数Lの処
理を終了する。
【0205】その次のステップ#606は、今度は縦方
向について同様の判定を行っている。L番目のエッジ点
が瞳孔推定範囲に存在していれば、ステップ#607へ
移行する。
【0206】ステップ#607,ステップ#608は、
L番目のエッジ点の座標がP像の近傍であるかどうかを
判断している。
【0207】XP1,XP2,YP1,YP2はサブル
ーチン「P像の検出」で決定された値であり、エッジ点
の座標が横方向の範囲XP1〜XP2,縦方向の範囲Y
P1〜YP2に入っている場合には分岐し、現在のルー
プ変数Lの処理を終了するようにしている。
【0208】これは、本実施の形態の光学系では、2個
のP像が瞳孔円内の上部に存在するようになっているた
め、スポット像的な形状をしているP像の「すそ」の部
分が前述した瞳孔エッジの条件に適合し易く、偽の瞳孔
エッジとして検出されてしまっているのを排除するため
である。
【0209】以上のステップ#603〜#608の判定
をパスしたエッジ点の座標情報がステップ#609にお
ける最小2乗法の計算に供される。
【0210】ステップ#609の計算は、前述の式(1
6)〜(24),(38)〜(40)を実行し、さら
に、計算に用いたエッジ点の個数Nをカウントアップす
る。
【0211】ステップ#602のループ処理にて、記憶
していたエッジ点(EDGCNT−1)個の処理が全て
終了すると、ステップ#610へ移行する。
【0212】ステップ#610では、式(25)〜(3
5),(37)〜(41)を計算し、瞳孔円の中心座標
(a,b)と誤差ERを求める。
【0213】そして、次のステップ#611へ移行し、
サブルーチン「円の最小2乗推定」をリターンする。
【0214】図13に戻って、ステップ#501のサブ
ルーチン「円の最小2乗推定」をリターンすると、次の
ステップ#502へ移行する。
【0215】ステップ#502では、円の推定に用いた
データの個数Nを値NTHRと比較して、N<NTHR
ならば、データ数が少ないために結果の信頼性が低いと
見なして、ステップ#512へ分岐し、検出失敗である
とする。NTHRとしては、例えば、NTHR=30で
ある。
【0216】ステップ#502にて、N≧NTHRなら
ば、次のステップ#503にて、誤差量ERと値ERT
HRを比較する。この結果、ER<ERTHRならば、
誤差量が小さく検出結果が充分信頼できるものと見なし
て、ステップ#514へ分岐し、検出成功であるとす
る。値ERTHRとしては、例えば、ERTHR=10
000である。
【0217】ステップ#503において、ER≧ERY
HRならば、データ数が充分にも拘らず誤差が大き過ぎ
るとして、ステップ#504以下の再計算を実施する。
誤差が大きくなってしまった原因としては、瞳孔円以外
の偽のエッジ点を計算に入れてしまったことが考えられ
る。
【0218】そこで、各エッジ点の座標の内、縦/横方
向で端の座標のエッジ点を計算から除外していって、誤
差が減少するかどうかを調べてゆく。
【0219】ステップ#504では、サブルーチン「円
の最小2乗推定 再計算1」をコールする。
【0220】「円の最小2乗推定 再計算1」は、最小
2乗推定の計算に用いたエッジ点の内、エリアセンサ1
7の縦方向上部にあるエッジ点(全体の1/5)を除外
して、再び最小2乗法推定の計算を行うサブルーチンで
あり、そのフローチャートを図15に示し、以下これに
ついて説明する。
【0221】サブルーチン「円の最小2乗推定 再計算
1」がコールされると、図15(A)に示すステップ#
700を経て、次のステップ#701にて図中のように
変数の格納を行う。
【0222】変数XS1〜ZS4は、ステップ#501
で計算した全エッジ点を使用したときの対応するワーク
変数の値を記憶する。そして、除外するエッジ点の個数
を全エッジ点の個数Nの1/5として変数Mに記憶して
おく。
【0223】次のステップ#702では、上記ステップ
#601と同様の計算のワークを初期化し、ステップ#
703へ移行する。ステップ#703は、上記ステップ
#602と同様のループ処理であり、このループ内で除
外するエッジ点の最小2乗法の計算を行う。
【0224】本発明の実施の形態では、エリアセンサ1
7を縦方向上部から読み込む構成にしているから、エッ
ジ情報を記憶している配列変数EDGDT(m,k)に
は、縦方向の上部のエッジから順に格納されている。従
って、EDGDT(m,k)のmを0からカウントアッ
プしていけば、縦方向のエッジ点から撮り出せることに
なる。
【0225】さて、ステップ#703のループ内の最初
のステップ#704ではエッジ点(X,Y)が瞳孔エッ
ジとして有効か否かを判断しているが、これはステップ
#603〜#608と全く同様である。
【0226】瞳孔エッジ点として有効と見なされた場合
にはステップ#705へ移行し、これもまたステップ#
609と同じ計算を実行する。
【0227】そして、次のステップ#706にて、新た
に計算したエッジ点の個数Nと除外すべきエッジ点の個
数Mを比較して、M個の計算を終了すれば分岐し、外側
のステップ#703のループ処理を中止する。M個に達
していない場合は、ループ変数Lをカウントアップし、
再びステップ#704へ移行する処理を続行する。
【0228】M個の計算が終了するとステップ#708
へ分岐し、瞳孔円の中心(a,b)及び誤差量ER´を
再計算する。
【0229】再計算の式は、次のようになる。
【0230】 X1=X1S−X1 ………(16´) X2=X2S−X2 ………(17´) X3=X3S−X3 ………(18´) Y1=Y1S−Y1 ………(19´) Y2=Y2S−Y2 ………(20´) Y3=Y3S−Y3 ………(21´) Z1=Z1S−Z1 ………(22´) Z2=Z2S−Z2 ………(23´) Z3=Z3S−Z3 ………(24´) X4=X4S−X4 ………(38´) Y4=Y4S−Y4 ………(39´) Z4=Z4S−Z4 ………(40´) そして、式(25)〜(35),(37)〜(41)を
計算し直せば、新たな瞳孔中心(a,b)と誤差量ER
´を得ることができる。式(16)〜(40)はもとも
と逐次形式になっているため、再び全データを計算し直
す必要はなく、除外したいデータの加算(あるいは累乗
加算)を計算して、基の値から減算すれば済む。
【0231】再計算が終わった後は、ステップ#709
へ移行し、サブルーチン「円の最小2乗推定 再計算
1」をリターンする。
【0232】図13に戻って、ステップ#504を完了
すると、ステップ#505へ移行し、再計算した誤差量
ER´と値ERTHRを比較する。ER´が小さい場合
は、除外操作が効を奏したものとして、ステップ#51
4へ分岐し、検出成功とする。
【0233】未だ誤差量ER´が大きい場合には、ステ
ップ#506へ移行し、別のサブルーチン「円の最小2
乗推定 再計算2」をコールする。
【0234】「円の最小2乗推定 再計算2」は、最小
2乗推定の計算に用いたエッジ点の内、エリアセンサの
縦方向下部にあるエッジ点(全体の1/5)を除外し
て、再び最小2乗推定の計算を行うサブルーチンであ
り、そのフローチャートを図15(B)に示している。
【0235】「再計算2」は、「再計算1」とほとんど
同様であるが、「再計算1」と違って 縦方向下部のエ
ッジ点から除外してゆくため、ステップ#712におい
て、ループ変数Lを(EDGCNT−1)からダウンカ
ウントさせている。その他は、「再計算1」と全く同様
であるため、説明を省略する。
【0236】再び図13に戻って、説明を続ける。
【0237】ステップ#506のサブルーチン「円の最
小2乗推定 再計算2」を完了すると、ステップ#50
7へ移行し、再計算した誤差量ER´と値ERYHRを
比較する。ER´が小さい場合は、除外操作が有効であ
ったものとして、ステップ#514へ分岐し、検出成功
と見なす。
【0238】サブルーチン「再計算3」がコールされる
と、図15(C)のステップ#720を経て、ステップ
#721にて、エッジ情報を記憶している配列変数ED
GDT(m,k)の並べ換えを行う。
【0239】先にも説明したように、EDGDT(m,
k)にはエリアセンサ17の縦方向のエッジ点から順に
格納されているため、横方向に注目して処理を行うため
には、EDGDTに格納されているデータの並べ換えが
必要である。
【0240】EDGDT(m,2)にはエッジ点の横方
向(X軸座標)の値が格納されているから、この値に対
して公知の「ソート操作」を実施すれば、EDGDTに
は横方向の左からの順となったエッジ情報の再格納が可
能である。
【0241】並べ換えを実行すると、図15(A)のス
テップ#702へ分岐し、後は「再計算1」と全く同様
の処理を行えば、エリアセンサ17の横方向左右のエッ
ジ点を除外した再計算ができる。
【0242】再び図13に戻って、ステップ#508の
サブルーチン「円の最小2乗推定再計算3」を完了する
と、ステップ#509へ移行し、再計算した誤差量ER
´と□値ERTHRを比較する。ER´が小さい場合は
除外操作が有効であったものとして、ステップ#514
へ分岐し検出成功と見なす。
【0243】未だ、誤差量ER´が大きい場合には、ス
テップ#510へ移行し、さらに別のサブルーチン「円
の最小2乗推定 再計算4」をコールする。
【0244】「円の最小2乗推定 再計算4」では、今
度は最小2乗推定の計算に用いたエッジ点の内、エリア
センサ17の横方向右部にあるエッジ点(全体の1/
5)を除外して、再び最小2乗推定の計算を行うサブル
ーチンであり、そのフローチャートを図15(D)に示
している。
【0245】いま、配列変数EDGDT(m,k)に
は、横方向の左から順にエッジ点が格納されているか
ら、右から順にエッジ点を除外しようとすれば、EDG
DT(m,k)を「再計算2」と同じように散り扱えば
よい。そこで、図15(D)のサブルーチン「再計算
4」をコールされれば、直ちにステップ#711へ分岐
して、「再計算2」と同様の処理を行うようにしてい
る。
【0246】再び図13に戻って、説明を続ける。
【0247】ステップ#510のサブルーチン「円の最
小2乗推定 再計算4」を完了すると、ステップ#51
1へ移行し、再計算した誤差量ER´と値ERTHRを
比較する。ER´が小さい場合は、除外操作が有効であ
ったものとして、ステップ#512へ移行し検出成功と
見なす。
【0248】未だ、誤差量ER´が大きい場合には、ス
テップ#512へ移行し、上述の操作が有効に働かなか
ったものとして検出失敗とする。
【0249】ステップ#512、あるいは、ステップ#
514で瞳孔中心の検出が最終判断されると、ステップ
#515へ移行し、サブルーチン「瞳孔中心の検出」を
リターンする。
【0250】図16に、本発明の実施の形態における最
小2乗法の一例を紹介する。
【0251】図中の黒塗り部分が1つのエッジ点を示
し、これらのエッジ点に基づいて瞳孔円を推定したもの
である。
【0252】図8の説明に戻る。
【0253】ステップ#064での「瞳孔中心の検出」
が完了すると、ステップ#065へ移行し、サブルーチ
ン「視線の検出」をコールする。
【0254】「視線の検出」は、これまでの処理で検出
したP像位置及び瞳孔円の中心位置から、視線(注視
点)を検出するサブルーチンである。
【0255】基本的には、前述した公知例と同様に、式
(2)に従って眼球光軸の回転角θを計算すればよい。
本発明の実施の形態では、瞳孔中心を横方向(X軸)、
縦方向(Y軸)の2次元で検出しているので、公知例の
ように横方向のみではなく、縦方向の視線の方向も横方
向の検出と同様な考え方で検出することができる。
【0256】視線の検出が完了すると、ステップ#06
6へ移行し、視線検出の一連の処理を終了する。
【0257】(実施の第2の形態)以下、本発明の実施
の第2の形態に係る一眼レフカメラについて詳細に説明
する。なお、該カメラの光学的,電気的な構成は上記実
施の第1の形態と同様であるので、ここではその説明は
省略する。
【0258】図17は本発明の実施の第2の形態におけ
る、カメラのメイン動作を示すフローチャートである。
【0259】図17において、図7と同じ処理には、同
じステップ番号を付けている。従って、ここでは、図7
と異なる処理を中心に説明する。
【0260】モードダイヤル44のオンであるステップ
#001からステップ#012は、図7と同じであり、
スイッチSW1が閉じてオンしたことを検知し(ステッ
プ#003)、測光処理等(ステップ#012)をする
ものである。
【0261】ステップ#014では、フラグSW1Fが
“0”であるか否かを調べる。SW1Fが“0”でない
時にはステップ#015へ移行し、視線検出を行い、続
いてステップ#016にて測距点選択を行った後に、ス
イッチSW1がオンであるか否かを調べる。
【0262】ステップ#015,ステップ#016,ス
テップ#017の処理内容は、先述の図7と同じであ
る。
【0263】ステップ#014にてフラグSW1Fが
“0”である時には、ステップ#017に移行して、ス
イッチSW1がオンであるかを否かを調べる。そして、
スイッチSW1がオンではない時は、先述のステップ#
015へ移行し、視線検出を行う。
【0264】ステップ#017にてスイッチSW1が
“0”である時には、ステップ#021に移行して、先
述した一連のAF処理を行う。
【0265】ステップ#015の視線検出サブルーチン
は、図8〜図15に示した実施の第1の形態と同じ処理
内容であるから、ここでは説明を省略する。
【0266】以上が、図17の動作説明である。
【0267】このように、トランジスタPTR113が
オフして、電源供給が停止している状態からスイッチS
W1をオンした時には、視線検出(ステップ#01
5),測距点選択(ステップ#016),AF(ステッ
プ#021)と処理が移行し、一度電源が供給されステ
ップ#043からの分岐でステップ#011へ移行した
時には、直前に行われた前回の視線検出結果が使えるの
で、ステップ#043からの分岐であるか否かを、ステ
ップ#014でのフラグSW1Fの結果から判断してい
る。
【0268】そして、ステップ#017にて、スイッチ
SW1がオンであれば、直前に行った前回の視線検出結
果に基づき選択した測距点により、一連のAF処理を行
うべくステップ#021へ移行する処理が実行されるの
が、実施の第2の形態のカメラの動作フローである。
【0269】また、変形例として、ステップ#011,
ステップ#015,ステップ#016)の各処理実行中
に所定の間隔、あるいは、所定の処理動作の中でスイッ
チSW1がオンであるか否かを調べ、オンでない時はそ
のまま処理を進め、オンである時には処理を中止してス
テップ#021に移行する方法もある。
【0270】以上の実施の各形態によれば、タイマ作動
中は視線検出動作を所定の間隔で繰り返し行うようにし
たから、シャッタレリーズまでの時間を最小にした視線
検出装置を備えたカメラを実現できる。
【0271】また、通電中は視線検出動作を所定の間隔
で繰り返し行うようにしたから、シャッタチャンスを逃
しにくいカメラを実現できる。
【0272】更に、一度スイッチSW1がオンすると、
予め決められた間は、視線検出動作を繰り返し行うよう
にしたから、オートフォーカス機能を有するカメラへの
適用では、レリーズ釦の押下にスイッチSW1がオンし
て一連のレンズ合焦までの制御が行われる時、前記スイ
ッチSW1がオンする直前に検出した視線検出情報に基
づき測距点選択が行われ、そして焦点調節が為されるか
ら、視線検出動作に伴う応答性の低下が最小となり、違
和感が無く安心して使えるカメラを提供することができ
る。
【0273】(発明と実施の形態の対応)上記実施の第
1及び第2の形態において、スイッチSW1がレリーズ
釦41の第1段階までの押圧(押下)により閉成する第
1のスイッチ手段に相当し、スイッチSW2がレリーズ
釦41の第2段階までの押圧により閉成する第2のスイ
ッチ手段に相当し、視線検出回路101及びCCD−E
YE14が視線検出手段に相当し、自動焦点検出回路1
03及びラインセンサ6fが焦点調整を行う手段に相当
し、電源回路111及び電源供給用トランジスタPTR
113が電源供給手段に相当し、PRS100が制御手
段に相当する。
【0274】以上が実施の形態の各構成と本発明の各構
成の対応関係であるが、本発明は、これら実施の形態の
構成に限られるものではなく、請求項で示した機能が達
成できる構成であればどのようなものであっても良いこ
とは云うまでもない。
【0275】また、本発明は、複数の光電変換素子列よ
り構成されるエリアセンサであれば、エリアセンサを構
成する画素数及びライン数に関係なく適用できるもので
ある。
【0276】また本発明は、一眼レフカメラに限らず、
レンズシャッタカメラ、ビデオカメラ、さらにはカメラ
以外の光学機器や他の装置など、視線検出装置を有する
ものであれば適用できるものである。
【0277】
【発明の効果】以上説明したように、本発明によれば、
撮影準備動作開始用の第1のスイッチ手段が閉成されて
電源が供給されることにより視線検出動作を繰り返し行
わせ、電源供給が為されている間は視線入力される焦点
検出位置の監視をし続け、第2のスイッチ手段の閉成が
為された際には直ちに撮影動作を開始できるようにして
いる。つまり、撮影動作を行う為に再度第1のスイッチ
手段が閉成されたとしても、新たに視線検出手段を最初
から動作させるのではなく、電源が供給されている最中
は繰り返し視線検出を行わせておき、この際の視線検出
の為の蓄積時間等の短縮を図るようにしている。
【0278】よって、撮影動作開始を意図したレリーズ
釦の操作が為された際のレリーズタイムラグを最小に
し、シャッタチャンスに強い視線検出機能付きカメラと
することができる。
【0279】また、本発明によれば、撮影準備動作開始
用の第1のスイッチ手段が閉成されてから予め決められ
た時間視線検出動作を繰り返し行わせ、この予め決めら
れた時間の間は視線入力される焦点検出位置の監視をし
続け、第2のスイッチ手段の閉成が為された際には直ち
に撮影動作を開始できるようにしている。つまり、撮影
動作を行う為に再度第1のスイッチ手段が閉成されたと
しても、新たに視線検出手段を最初から動作させるので
はなく、予め決められた時間の間は繰り返し視線検出を
行わせておき、この際の視線検出の為の蓄積時間等の短
縮を図るようにしている。
【0280】よって、撮影動作開始を意図したレリーズ
釦の操作が為された際のレリーズタイムラグを最小に
し、シャッタチャンスに強い視線検出機能付きカメラと
することができる。
【0281】また、本発明によれば、第1のスイッチ手
段が再度閉成された場合には、第2のスイッチ手段が閉
成するまで一気にレリーズ釦の押圧操作が為される場合
が殆どであるので、換言すれば、撮影動作開始を意図し
てのレリーズ釦操作であることが殆どであるので、今回
の第1のスイッチ手段の閉成時には視線検出は行わず、
直前に行われた視線検出結果を用いて焦点検出位置を決
定し、ここで得られた焦点検出情報に基づいて焦点調節
を行うようにしている。
【0282】よって、視線により焦点検出位置を選択す
る場合であっても、焦点検出位置を自動的に決定して撮
影処理を進める場合とほぼ同様の応答性をもって撮影処
理を進めることが可能になる。
【図面の簡単な説明】
【図1】本発明の実施の一形態に係る一眼フレカメラの
要部を示す構成図である。
【図2】図1の一眼フレカメラの上面及び背面を示す図
である。
【図3】図1の一眼フレカメラのファインダ内を示す図
である。
【図4】図1の一眼フレカメラの電気的構成を示すブロ
ック図である。
【図5】視線検出の原理を説明する為の図である。
【図6】眼球像の要部及び信号レベルを示す図である。
【図7】図1の一眼フレカメラのメイン動作を示すフロ
ーチャートである。
【図8】図7のステップ#015にて実行される「視線
検出」の動作を示すフローチャートである。
【図9】図8のステップ#059にて実行される「1ラ
イン読込み」の動作を示すフローチャートである。
【図10】図8のステップ#061にて実行される「P
像の検出」の動作を示すフローチャートである。
【図11】図8のステップ#062にて実行される「瞳
孔エッジの検出」の動作を示すフローチャートである。
【図12】図8のステップ#063にて実行される「瞳
孔推定範囲の設定」の動作を示すフローチャートであ
る。
【図13】図8のステップ#064にて実行される「瞳
孔中心の検出」の動作を示すフローチャートである。
【図14】図13のステップ#501にて実行される
「円の最小2乗推定」の動作を示すフローチャートであ
る。
【図15】図13のステップ#504,#506,#5
08,#510にて実行される「円の最小2乗推定 再
計算1,再計算2,再計算3,再計算4」の動作を示す
フローチャートである。
【図16】最小2乗法の一例を示す図である。
【図17】本発明の実施の第2の形態に係る一眼レフカ
メラのメイン動作を示すフローチャートである。
【符号の説明】
11 接眼レンズ 14 イメージセンサ 25 照明用LED 41 レリーズ釦 100 PRS 101 視線検出回路 103 焦点検出回路 110 焦点調節回路 112 電源回路 113 電源供給用のトランジスタ(PTR)

Claims (3)

    【特許請求の範囲】
  1. 【請求項1】 レリーズ釦の第1段階までの押圧により
    閉成する撮影準備動作開始用の第1のスイッチ手段と、
    レリーズ釦の第2段階までの押圧により閉成する撮影動
    作開始用の第2のスイッチ手段と、視線を検出する視線
    検出手段とを備えた視線検出機能付きカメラにおいて、 前記第1のスイッチ手段が閉成されると電源供給を開始
    し、予め決められた時間が経過すると、前記電源供給を
    停止する電源供給手段と、前記電源供給が為されている
    間は、前記視線検出手段に繰り返し視線検出を行わせる
    制御手段とを設けたことを特徴とする視線検出機能付き
    カメラ。
  2. 【請求項2】 レリーズ釦の第1段階までの押圧により
    閉成する撮影準備動作開始用の第1のスイッチ手段と、
    レリーズ釦の第2段階までの押圧により閉成する撮影動
    作開始用の第2のスイッチ手段と、視線を検出する視線
    検出手段とを備えた視線検出機能付きカメラにおいて、 前記第1のスイッチ手段が閉成されると計時動作を開始
    し、予め決められた時間の計時後にその動作を終了する
    計時手段と、該計時手段にて計時動作が為されている間
    は、前記視線検出手段に繰り返し視線検出を行わせる制
    御手段とを設けたことを特徴とする視線検出機能付きカ
    メラ。
  3. 【請求項3】 レリーズ釦の第1段階までの押圧により
    閉成する撮影準備動作開始用の第1のスイッチ手段と、
    レリーズ釦の第2段階までの押圧により閉成する撮影動
    作開始用の第2のスイッチ手段と、視線を検出する視線
    検出手段とを備えた視線検出機能付きカメラにおいて、 前記第1のスイッチ手段が閉成される事により、前記視
    線検出手段に所定の間隔で繰り返し視線検出を行わせ、
    この繰り返し視線検出が行われている際に、前記第1の
    スイッチ手段が再度閉成された場合には、直前に行われ
    た視線検出結果を用いて焦点検出位置を決定し、焦点検
    出情報を算出してこれに基づいて焦点調節を行う制御手
    段を設けたことを特徴とする視線検出機能付きカメラ。
JP11301096A 1996-04-11 1996-04-11 視線検出機能付きカメラ Withdrawn JPH09281385A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP11301096A JPH09281385A (ja) 1996-04-11 1996-04-11 視線検出機能付きカメラ

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP11301096A JPH09281385A (ja) 1996-04-11 1996-04-11 視線検出機能付きカメラ

Publications (1)

Publication Number Publication Date
JPH09281385A true JPH09281385A (ja) 1997-10-31

Family

ID=14601183

Family Applications (1)

Application Number Title Priority Date Filing Date
JP11301096A Withdrawn JPH09281385A (ja) 1996-04-11 1996-04-11 視線検出機能付きカメラ

Country Status (1)

Country Link
JP (1) JPH09281385A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022027841A (ja) * 2017-10-17 2022-02-14 キヤノン株式会社 電子機器、プログラムおよび記憶媒体

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022027841A (ja) * 2017-10-17 2022-02-14 キヤノン株式会社 電子機器、プログラムおよび記憶媒体

Similar Documents

Publication Publication Date Title
JPH06304142A (ja) 視線検出装置
JP3352238B2 (ja) 視線検出装置及びカメラ
JP2004008323A (ja) 視線機能付光学装置
JPH05333259A (ja) 視線検出手段を有した光学装置
JP3297481B2 (ja) 視線検出装置
US5402199A (en) Visual axis detecting apparatus
JP3313803B2 (ja) 視線検出装置
US5737642A (en) Camera having a line-of-sight detecting means
JPH09281385A (ja) 視線検出機能付きカメラ
JP3256294B2 (ja) 視線検出装置および視線検出方法
US5717959A (en) Apparatus for detecting a sight axis
JPH07151958A (ja) 視線検出機能付光学機器
JP3176147B2 (ja) 視線検出装置
JP3391892B2 (ja) 視線検出装置、光学装置及び視線検出方法
JP3352195B2 (ja) 視線検出装置、光学装置及び視線検出方法
JP3184634B2 (ja) 視線検出装置を有する光学装置
JP3647088B2 (ja) 視線検出手段を有するカメラ
JP3219491B2 (ja) 視線検出装置
JP3186249B2 (ja) 視線検出装置及び視線検出方法
JP3332581B2 (ja) 光学装置、カメラ、視線検出装置、視線検出方法、及び、接眼部と眼球位置の相対位置判別方法。
JP3530648B2 (ja) 視線検出装置及び光学装置
JP3211427B2 (ja) 視線検出装置
JPH06138370A (ja) 視線検出装置
JPH07255676A (ja) 視線検出装置を有した光学装置
JP2000121917A (ja) 視線検出機能を有する装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20051021

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20051101

A761 Written withdrawal of application

Effective date: 20060301

Free format text: JAPANESE INTERMEDIATE CODE: A761