JPH09281385A - Camera with line-of-sight detection function - Google Patents

Camera with line-of-sight detection function

Info

Publication number
JPH09281385A
JPH09281385A JP11301096A JP11301096A JPH09281385A JP H09281385 A JPH09281385 A JP H09281385A JP 11301096 A JP11301096 A JP 11301096A JP 11301096 A JP11301096 A JP 11301096A JP H09281385 A JPH09281385 A JP H09281385A
Authority
JP
Japan
Prior art keywords
line
sight
detection
camera
sight detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP11301096A
Other languages
Japanese (ja)
Inventor
Shinichi Hagiwara
伸一 萩原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP11301096A priority Critical patent/JPH09281385A/en
Publication of JPH09281385A publication Critical patent/JPH09281385A/en
Withdrawn legal-status Critical Current

Links

Landscapes

  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

(57)【要約】 【課題】 撮影動作開始を意図したレリーズ釦の操作が
為された際のレリーズタイムラグを最小にし、シャッタ
チャンスに強いものにする。 【解決手段】 撮影準備動作開始用の第1のスイッチ手
段が閉成されると電源供給を開始し、予め決められた時
間が経過すると、前記電源供給を停止する電源供給手段
112,113と、前記電源供給が為されている間は、
視線検出手段14,101に繰り返し視線検出を行わせ
る制御手段100とを設けている。
(57) [Abstract] [PROBLEMS] To minimize a release time lag when a release button is operated for the purpose of starting a shooting operation and to have a strong shutter chance. SOLUTION: Power supply is started when a first switch means for starting a shooting preparation operation is closed, and power supply is stopped when a predetermined time elapses, and power supply means 112 and 113, While the power is being supplied,
A control means 100 for causing the visual axis detection means 14 and 101 to repeatedly perform visual axis detection is provided.

Description

【発明の詳細な説明】Detailed Description of the Invention

【0001】[0001]

【発明の属する技術分野】本発明は、レリーズ釦の第1
段階までの押圧により閉成する撮影準備動作開始用の第
1のスイッチ手段と、レリーズ釦の第2段階までの押圧
により閉成する撮影動作開始用の第2のスイッチ手段
と、視線を検出する視線検出手段とを備えた視線検出機
能付きカメラの改良に関するものである。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a first release button.
The first switch means for starting the photographing preparation operation that is closed by pressing up to the second stage, the second switch means for starting the shooting operation that is closed by pressing the release button up to the second step, and detecting the line of sight. The present invention relates to an improvement of a camera with a visual line detection function, which includes a visual line detection means.

【0002】[0002]

【従来の技術】従来より、観察者が観察している「観察
面上の位置」を検出する、いわゆる視線(視軸)を検出
する装置(例えばアイカメラ)が種々提供されている。
2. Description of the Related Art Conventionally, various devices (for example, eye cameras) for detecting a so-called line of sight (visual axis) for detecting a "position on an observing surface" observed by an observer have been provided.

【0003】その視線を検出する方法として、例えば特
開平1−274736号公報においては、光源からの平
行光束を観察者の眼球の前眼部へ投射し、角膜からの反
射光による角膜反射像と瞳孔の結像位置を利用して視軸
を求めている。
As a method of detecting the line of sight, for example, in Japanese Unexamined Patent Publication No. 1-274736, a parallel light flux from a light source is projected onto the anterior segment of an eyeball of an observer to form a corneal reflection image by reflected light from the cornea. The visual axis is obtained by using the imaging position of the pupil.

【0004】また、観察者がファインダ視野内のどの領
域(位置)を観察しているか、いわゆる撮影者の注視方
向を、カメラの一部に設けた視線検出手段により検出
し、該視線検出手段からの信号に基づいて自動焦点検出
や自動露出等の各種の撮影機能を制御するようにしたカ
メラが種々提案されている。
Further, which region (position) in the finder field of view the observer is observing, the so-called gaze direction of the photographer, is detected by the line-of-sight detecting means provided in a part of the camera, and from this line-of-sight detecting means. Various cameras have been proposed in which various photographing functions such as automatic focus detection and automatic exposure are controlled on the basis of the signal.

【0005】例えば、特開昭61−61135号公報で
は、視線検出手段からの出力に基づいて焦点検出の為の
信号投射方向を制御し、測距することで撮影系の焦点状
態を調節するようにしたカメラが提案されている。
For example, in Japanese Patent Laid-Open No. 61-61135, the signal projection direction for focus detection is controlled based on the output from the line-of-sight detection means, and the focus state of the photographing system is adjusted by measuring the distance. A camera that has been proposed is proposed.

【0006】また、特開平1−241511号公報で
は、撮影者の注視方向を検出する視線検出手段と、複数
個の測距(焦点検出)視野をもつ焦点検出手段と、複数
個の測光感度分布をもつ自動露出制御手段とを有し、前
記視線検出手段からの出力信号に基づいて焦点検出手段
と自動露出制御手段の駆動を制御するようにしたカメラ
を提案している。
Further, in Japanese Patent Laid-Open No. 1-241511, a line-of-sight detecting means for detecting a gaze direction of a photographer, a focus detecting means having a plurality of distance measuring (focus detecting) fields of view, and a plurality of photometric sensitivity distributions. And an automatic exposure control unit having the above-mentioned, and the camera which controls the drive of the focus detection unit and the automatic exposure control unit based on the output signal from the line-of-sight detection unit is proposed.

【0007】上述の視線検出手段では、眼球から反射光
を数千画素から成るエリアイメージセンサで受光し、像
信号を読み出して、眼球像からの特徴を抽出するもので
ある。
In the above-mentioned line-of-sight detecting means, the reflected light from the eyeball is received by the area image sensor consisting of several thousand pixels, the image signal is read out, and the feature from the eyeball image is extracted.

【0008】また、上述の視線検出手段を取り入れたオ
ートフォーカスカメラのオートフォーカス動作は、レリ
ーズ釦を軽く押すとオンするスイッチSW1をオンする
と、焦点検出に先立って視線検出手段により、撮影者の
ファインダ内の注視点を求めるものである。
Further, in the autofocus operation of the autofocus camera incorporating the above-mentioned line-of-sight detecting means, when the switch SW1 which is turned on by lightly pressing the release button is turned on, the line-of-sight detecting means is used to detect the viewfinder of the photographer before focus detection. It seeks the point of gaze inside.

【0009】この手順は、視線検出手段の眼球照明光を
発光させ、眼球からの反射光をエリアイメージセンサで
受光し蓄積を行った後に像信号を読み出して、撮影者の
視線方向を求め、続いて、視線方向からファインダ内の
どの部分を注目しているか、すなわち注視点を求める。
In this procedure, the eyeball illuminating light of the line-of-sight detecting means is emitted, the reflected light from the eyeball is received by the area image sensor and accumulated, and then the image signal is read to obtain the line-of-sight direction of the photographer. Then, which part in the viewfinder is focused from the line-of-sight direction, that is, the gazing point is obtained.

【0010】この注視点はファインダ内の座標で表さ
れ、この座標から対応する測距点(焦点検出点)を決定
するものである。
This gazing point is represented by coordinates in the finder, and the corresponding distance measuring point (focus detection point) is determined from this coordinate.

【0011】さらに最近では、高精度を維持しつつ高速
に視線検出を行う工夫がなされている。
More recently, a device has been devised to detect the line of sight at high speed while maintaining high accuracy.

【0012】例えば、視線検出手段を具備したオートフ
ォーカスカメラにおいて、サーボモードという、主に動
いている被写体を撮影する時に使う合焦動作では、所定
の間隔で繰り返し焦点検出とレンズ駆動を行って、合焦
させる。
[0012] For example, in an autofocus camera equipped with a line-of-sight detecting means, a servo mode, which is a focusing operation mainly used when photographing a moving subject, repeatedly performs focus detection and lens driving at predetermined intervals, Focus.

【0013】このとき、焦点調節すべき測距点は視線検
出を繰り返し行うことで求めるが、2回目以降の視線検
出動作では、前回の視線検出結果からエリアイメージセ
ンサ上の眼球位置が判るので、エリアイメージセンサ上
の像信号を読み出す領域を限定する方法等が考えられて
いる。
At this time, the range-finding point to be focused is determined by repeatedly detecting the line of sight, but in the second and subsequent line-of-sight detection operations, the eyeball position on the area image sensor can be known from the previous line-of-sight detection result. A method of limiting an area for reading an image signal on the area image sensor has been considered.

【0014】[0014]

【発明が解決しようとする課題】上記従来例は、視線検
出装置のカメラへの利用であり、視線検出情報によりカ
メラに搭載されている機能を操作,制御するものであ
る。
The above-mentioned conventional example is the use of the line-of-sight detection device in a camera, and operates and controls the function mounted in the camera according to the line-of-sight detection information.

【0015】この時、視線検出装置へはスピードが要求
される。それは、例えば焦点検出装置への応用では、撮
影画面内のいずれか撮影者の意図する領域(部分)に瞬
時に焦点調節する必要があるからである。
At this time, the gaze detecting device is required to have a high speed. This is because, for example, in an application to a focus detection device, it is necessary to instantly adjust the focus to a region (portion) intended by the photographer in the photographing screen.

【0016】しかしながら、従来の視線検出装置を具備
したオートフォーカスカメラにおいては、レリーズ釦を
押すと焦点調節を行う前に視線検出を行う為に、撮影者
がレリーズを意図してレリーズ釦を最後まで押したにも
かかわらず、合焦するまでに時間を要し、視線検出を行
わない時との違和感があるとともに、シャッタチャンス
を捉えることが難しく、安心して使うことができなかっ
た。
However, in the conventional autofocus camera equipped with the visual axis detecting device, when the release button is pressed, the visual axis is detected before the focus adjustment, so that the photographer intends to release the release button to the end. Despite pressing the button, it took time to focus, and there was a feeling of discomfort compared to when the line-of-sight detection was not performed, and it was difficult to capture a photo opportunity, and it was not possible to use it with confidence.

【0017】(発明の目的)本発明の第1の目的は、撮
影動作開始を意図したレリーズ釦の操作が為された際の
レリーズタイムラグを最小にし、シャッタチャンスに強
い視線検出機能付きカメラを提供することにある。
(Object of the Invention) A first object of the present invention is to provide a camera with a line-of-sight detection function that minimizes a release time lag when a release button is operated to start a photographing operation and is strong against shutter chances. To do.

【0018】本発明の第2の目的は、視線により焦点検
出位置を選択する場合であっても、焦点検出位置を自動
的に決定して撮影処理を進める場合とほぼ同様の応答性
をもって撮影処理を進めることのできる視線検出機能付
きカメラを提供することにある。
A second object of the present invention is to perform a photographing process with substantially the same responsiveness as in the case of automatically determining the focus detection position and proceeding with the photographing process even when the focus detection position is selected by the line of sight. It is to provide a camera with a line-of-sight detection function that can advance.

【0019】[0019]

【課題を解決するための手段】上記第1の目的を達成す
るために、請求項1記載の本発明は、レリーズ釦の第1
段階までの押圧により閉成する撮影準備動作開始用の第
1のスイッチ手段と、レリーズ釦の第2段階までの押圧
により閉成する撮影動作開始用の第2のスイッチ手段
と、視線を検出する視線検出手段とを備えた視線検出機
能付きカメラにおいて、前記第1のスイッチ手段が閉成
されると電源供給を開始し、予め決められた時間が経過
すると、前記電源供給を停止する電源供給手段と、前記
電源供給が為されている間は、前記視線検出手段に繰り
返し視線検出を行わせる制御手段とを設け、撮影準備動
作開始用の第1のスイッチ手段が閉成されて電源が供給
されることにより視線検出動作を繰り返し行わせ、電源
供給が為されている間は視線入力される焦点検出位置の
監視をし続け、第2のスイッチ手段の閉成が為された際
には直ちに撮影動作を開始できるようにしている。つま
り、撮影動作を行う為に再度第1のスイッチ手段が閉成
されたとしても、新たに視線検出手段を最初から動作さ
せるのではなく、電源が供給されている最中は繰り返し
視線検出を行わせておき、この際の視線検出の為の蓄積
時間や演算処理時間等の短縮を図るようにしている。
In order to achieve the first object, the present invention according to claim 1 provides a first release button.
The first switch means for starting the photographing preparation operation that is closed by pressing up to the second stage, the second switch means for starting the shooting operation that is closed by pressing the release button up to the second step, and detecting the line of sight. In a camera with a line-of-sight detection function including line-of-sight detection means, power supply is started when the first switch means is closed, and power supply is stopped after a lapse of a predetermined time. While the power is being supplied, a control means for causing the visual axis detecting means to repeatedly perform visual axis detection is provided, and the first switch means for starting the photographing preparation operation is closed to supply power. By doing so, the visual axis detection operation is repeatedly performed, and while the power is being supplied, the focus detection position at which the visual axis is input is continuously monitored, and when the second switch means is closed, the image is taken immediately. motion And to be able to start. In other words, even if the first switch means is closed again to perform the photographing operation, the visual axis detection means is not newly activated from the beginning, but repeated visual axis detection is performed while power is being supplied. At the same time, the accumulation time and the calculation processing time for detecting the line of sight at this time are shortened.

【0020】同じく上記第1の目的を達成するために、
請求項2記載の本発明は、レリーズ釦の第1段階までの
押圧により閉成する撮影準備動作開始用の第1のスイッ
チ手段と、レリーズ釦の第2段階までの押圧により閉成
する撮影動作開始用の第2のスイッチ手段と、視線を検
出する視線検出手段とを備えた視線検出機能付きカメラ
において、前記第1のスイッチ手段が閉成されると計時
動作を開始し、予め決められた時間の計時後にその動作
を終了する計時手段と、該計時手段にて計時動作が為さ
れている間は、前記視線検出手段に繰り返し視線検出を
行わせる制御手段とを設け、撮影準備動作開始用の第1
のスイッチ手段が閉成されてから予め決められた時間視
線検出動作を繰り返し行わせ、この予め決められた時間
の間は視線入力される焦点検出位置の監視をし続け、第
2のスイッチ手段の閉成が為された際には直ちに撮影動
作を開始できるようにしている。つまり、撮影動作を行
う為に再度第1のスイッチ手段が閉成されたとしても、
新たに視線検出手段を最初から動作させるのではなく、
予め決められた時間の間は繰り返し視線検出を行わせて
おき、この際の視線検出の為の蓄積時間や演算処理時間
等の短縮を図るようにしている。
Similarly, in order to achieve the above first object,
According to a second aspect of the present invention, there is provided a first switch means for starting the photographing preparation operation which is closed by pressing the release button up to the first stage, and an imaging operation which is closed by pressing the release button up to the second stage. In a camera with a line-of-sight detection function, which includes a second switch unit for starting and a line-of-sight detection unit for detecting a line of sight, when the first switch unit is closed, a timekeeping operation is started and is predetermined. A timer means for ending the operation after the time is counted, and a control means for causing the eye-gaze detecting means to repeatedly perform the eye-gaze detection while the time-measuring means is performing the time-of-day preparatory operation start. First of
After the switch means is closed, the visual axis detection operation is repeatedly performed for a predetermined time, and during this predetermined time, the focus detection position at which the visual axis is input is continuously monitored and the second switch means When it is closed, the shooting operation can be started immediately. That is, even if the first switch means is closed again to perform the shooting operation,
Instead of newly operating the line-of-sight detection means from the beginning,
The line-of-sight detection is repeatedly performed during a predetermined time, and the accumulation time for the line-of-sight detection at this time and the calculation processing time are shortened.

【0021】また、上記第2の目的を達成するために、
請求項3記載の本発明は、レリーズ釦の第1段階までの
押圧により閉成する撮影準備動作開始用の第1のスイッ
チ手段と、レリーズ釦の第2段階までの押圧により閉成
する撮影動作開始用の第2のスイッチ手段と、視線を検
出する視線検出手段とを備えた視線検出機能付きカメラ
において、前記第1のスイッチ手段が閉成される事によ
り、前記視線検出手段に所定の間隔で繰り返し視線検出
を行わせ、この繰り返し視線検出が行われている際に、
前記第1のスイッチ手段が再度閉成された場合には、直
前に行われた視線検出結果を用いて焦点検出位置を決定
し、焦点検出情報を算出してこれに基づいて調節を行う
制御手段を設け、第1のスイッチ手段が再度閉成された
場合には、第2のスイッチ手段が閉成するまで一気にレ
リーズ釦の押圧操作が為される場合が殆どであるので、
換言すれば、撮影動作開始を意図してのレリーズ釦操作
であることが殆どであるので、今回の第1のスイッチ手
段の閉成時には視線検出は行わず、直前に行われた視線
検出結果を用いて焦点検出位置を決定し、ここで得られ
た焦点検出情報に基づいて焦点調節を行うようにしてい
る。
In order to achieve the second object,
According to a third aspect of the present invention, there is provided a first switch means for starting a photographing preparation operation which is closed by pressing the release button up to the first step, and an imaging operation which is closed by pressing the release button up to the second step. In a camera with a line-of-sight detection function, which includes a second switch unit for starting and a line-of-sight detection unit for detecting a line of sight, the first switch unit is closed so that the line-of-sight detection unit has a predetermined interval. To repeatedly perform line-of-sight detection, and when this repeated line-of-sight detection is being performed,
When the first switch means is closed again, the focus detection position is determined by using the result of the line-of-sight detection performed immediately before, the focus detection information is calculated, and the adjustment is performed based on this. In most cases, when the first switch means is closed again, the release button is pressed at once all at once until the second switch means is closed.
In other words, since it is almost the case that the release button operation is intended to start the photographing operation, the line-of-sight detection is not performed when the first switch means is closed this time, and the result of the line-of-sight detection performed immediately before is displayed. The focus detection position is determined by using the focus detection position, and the focus adjustment is performed based on the focus detection information obtained here.

【0022】[0022]

【発明の実施の形態】以下、本発明を図示の実施の形態
に基づいて詳細に説明する。
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, the present invention will be described in detail based on illustrated embodiments.

【0023】図1は本発明の実施の第1の形態に係る一
眼レフカメラの要部を示す構成図、図2は図1の一眼レ
フカメラの上面及び背面を示す図、図3は図1のカメラ
のファインダ内を示す図である。
FIG. 1 is a configuration diagram showing a main part of a single lens reflex camera according to a first embodiment of the present invention, FIG. 2 is a diagram showing an upper surface and a back surface of the single lens reflex camera of FIG. 1, and FIG. 3 is a diagram showing the inside of a viewfinder of the camera of FIG.

【0024】図1〜図3において、1は撮影レンズであ
り、図では便宜上2枚のレンズ1a、1bで示したが、
実際は多数のレンズから構成されている。
1 to 3, reference numeral 1 denotes a taking lens, which is illustrated as two lenses 1a and 1b for convenience of illustration.
Actually, it is composed of many lenses.

【0025】2は主ミラーで、観察状態と撮影状態に応
じて撮影光路へ斜設され、あるいは退去される。3はサ
ブミラーで、主ミラー2を透過した光束をカメラボディ
の下方へ向けて反射する。4はシャッタ、5は感光部材
で、銀塩フィルムあるいはCCD等の固体撮影素子ある
いはビディコン等の撮像管よりなっている。
Reference numeral 2 is a main mirror, which is obliquely installed in the photographing optical path or retreated according to the observation state and the photographing state. A sub-mirror 3 reflects a light beam transmitted through the main mirror 2 toward the lower side of the camera body. Reference numeral 4 is a shutter, and 5 is a photosensitive member, which comprises a solid-state image pickup device such as a silver salt film or a CCD or an image pickup tube such as a vidicon.

【0026】6は焦点検出装置であり、結像面近傍に配
置されたフォールドレンズ6a,反射ミラー6b及び6
c,2次結像レンズ6d,絞り6e,複数の光電変換素
子から成るCCD等のラインセンサ6fから構成されて
いる。
Reference numeral 6 denotes a focus detection device, which is a fold lens 6a and reflection mirrors 6b and 6 arranged near the image plane.
c, a secondary imaging lens 6d, a diaphragm 6e, and a line sensor 6f such as a CCD including a plurality of photoelectric conversion elements.

【0027】本実施の形態における焦点検出装置6は周
知の位相差方式を採用しており、図3に示す様に、観察
画面内(ファインダ視野内)の複数の領域(5箇所)を
測距点として、該測距点が焦点検出可能となるように構
成されている。
The focus detection device 6 in this embodiment employs a well-known phase difference method, and as shown in FIG. 3, distances are measured in a plurality of regions (5 places) within the observation screen (in the viewfinder field). As a point, the focus detection point is configured to be capable of focus detection.

【0028】7は撮影レンズ1の予定結像面に配置され
たピント板、8はファインダ光路変更用のペンタプリズ
ム、9,10は観察画面内の被写体輝度を測定するため
の結像レンズと測光センサで、結像レンズはペンタダハ
プリズム8内の反射光路を介してピント板7と測光セン
サを共役に関係付けている。
Reference numeral 7 is a focusing plate arranged on the planned image forming surface of the taking lens 1, 8 is a pentaprism for changing the optical path of the finder, and 9 and 10 are image forming lenses and photometry for measuring the brightness of the subject in the observation screen. In the sensor, the image forming lens conjugately connects the focusing plate 7 and the photometric sensor via the reflected light path in the penta roof prism 8.

【0029】11はペンタダハプリズム8の射出面後方
に配置された接眼レンズで、光分割器11aを有してお
り、撮影者の眼15によるピント板7の観察に使用され
る。前記光分割器11aは、例えば可視光を透過し赤外
光を反射するダイクロイックミラーより成っている。1
2は受光レンズ、14はCCD等の光電素子列を2次元
的に配したオメージセンサで受光レンズ12に関して所
定の位置にある撮影者眼15の瞳孔近傍と共役になるよ
うに配置されている。前記イメージセンサ14と受光レ
ンズ12は受光手段の一要素を構成している。
Reference numeral 11 denotes an eyepiece lens arranged behind the exit surface of the penta roof prism 8, which has a light splitter 11a and is used for observing the focusing plate 7 by the eye 15 of the photographer. The light splitter 11a is formed of, for example, a dichroic mirror that transmits visible light and reflects infrared light. 1
Reference numeral 2 is a light receiving lens, and 14 is an image sensor in which a photoelectric element array such as CCD is two-dimensionally arranged so as to be conjugated with the vicinity of the pupil of the photographer's eye 15 at a predetermined position with respect to the light receiving lens 12. The image sensor 14 and the light receiving lens 12 constitute one element of the light receiving means.

【0030】13(13a〜13d)は各々撮影者の眼
15の照明光源(投光手段)であるところの赤外発光ダ
イオードで、図2(B)に示す様に、接眼レンズ11の
回りに配置されている。
Reference numerals 13 (13a to 13d) each denote an infrared light emitting diode which is an illuminating light source (projecting means) of the photographer's eye 15, and is provided around the eyepiece lens 11 as shown in FIG. 2B. It is arranged.

【0031】21は明るい被写体の中でも視認できる高
輝度のスーパーインポーズ用LEDであり、該スーパー
インポーズ用LED21から発せられた光は投光用プリ
ズム22,主ミラー2で反射してピント板7の表示部に
設けた微小プリズムアレー7aで垂直方向に曲げられ、
ペンタプリズム8,接眼レンズ11を通って撮影者の眼
15に達する。そこでピント板7の焦点検出領域に対応
する位置にこの微小プリズムアレイ7aを枠状に形成
し、これを各々に対応した5つのスーパーインポーズ用
LED21(各々をLED−L1,LED−L2,LE
D−C,LED−R1,LED−R2とする)によって
照明する。
Reference numeral 21 is a high-intensity superimposing LED that can be visually recognized even in a bright subject. The light emitted from the superimposing LED 21 is reflected by the projection prism 22 and the main mirror 2 to focus the focus plate 7. Is bent in the vertical direction by the micro prism array 7a provided in the display section of
It reaches the photographer's eye 15 through the pentaprism 8 and the eyepiece lens 11. Therefore, the minute prism array 7a is formed in a frame shape at a position corresponding to the focus detection area of the focusing plate 7, and the five superimposing LEDs 21 (each of which are LED-L1, LED-L2, LE) corresponding thereto are formed.
D-C, LED-R1, LED-R2).

【0032】これによって、図3に示したファインダ視
野図から分かるように、各々の測距点マーク200,2
01,202,203,204がファインダ視野内で光
り、焦点検出領域(測距点)を表示させている(以下、
これをスーパーインポーズ表示という)。
As a result, as can be seen from the viewfinder field view shown in FIG. 3, the distance measuring point marks 200, 2 respectively.
01, 202, 203, and 204 illuminate in the finder field to display the focus detection area (distance measuring point) (hereinafter,
This is called the superimpose display).

【0033】23はファインダ視野領域を形成する視野
マスク、24はファインダ視野外に撮影情報を表示する
ためのファインダ内LCDで、照明用LED(F−LE
D)25によって照明され、該ファインダ内LCD24
を透過した光が三角プリズム26によってファインダ内
に導かれ、図3のファインダ視野外に表示され、撮影者
は該撮影情報を観察している。27は姿勢検知手段であ
り、カメラの姿勢を検知する姿勢検知センサである。
Reference numeral 23 is a field mask for forming a finder field area, and 24 is an LCD in the finder for displaying photographing information outside the field of view of the finder, which is an illumination LED (F-LE).
D) Illuminated by 25, LCD 24 in the viewfinder
The light transmitted through is guided by the triangular prism 26 into the finder and displayed outside the finder field of view of FIG. 3, and the photographer observes the photographing information. 27 is a posture detection means, which is a posture detection sensor for detecting the posture of the camera.

【0034】31は撮影レンズ1内に設けた絞り、32
は後述する絞り駆動回路111を含む絞り駆動装置、3
3はレンズ駆動用モータ、34は駆動ギヤ等から成るレ
ンズ駆動部材である。35はフォトカプラで、レンズ駆
動部材34に連動するパルス板36の回転を検知してレ
ンズ焦点調節回路110に伝えており、該焦点調節回路
110は、この情報とカメラ側からのレンズ駆動量の情
報に基づいてレンズ駆動用モータを所定量駆動させ、撮
影レンズ1を合焦位置に移動させるようになっている。
37は公知のカメラとレンズとのインターフェイスとな
るマウント接点である。
Reference numeral 31 denotes an aperture provided in the taking lens 1, 32
Is a diaphragm driving device including a diaphragm driving circuit 111 described later, 3
Reference numeral 3 is a lens driving motor, and 34 is a lens driving member including a driving gear and the like. A photocoupler 35 detects the rotation of the pulse plate 36 interlocked with the lens driving member 34 and transmits it to the lens focus adjustment circuit 110. The focus adjustment circuit 110 indicates this information and the lens drive amount from the camera side. The lens driving motor is driven by a predetermined amount based on the information to move the taking lens 1 to the in-focus position.
A mount contact 37 serves as an interface between a known camera and lens.

【0035】図2において、41はレリーズ釦、42は
外部モニタ表示装置としてのモニタ用LCDであり、予
め決められたパターンを表示する固定セグメント表示部
42aと可変数値表示用の7セグメント表示部42bと
から成っている。43は測光値を保持するAEロック
釦、44はモードダイヤルで、撮影モード等の選択を行
っている。45は電子ダイヤルである。他の操作部材に
ついては本発明の理解において特に必要ないので省略す
る。
In FIG. 2, reference numeral 41 is a release button, 42 is a monitor LCD as an external monitor display device, and a fixed segment display portion 42a for displaying a predetermined pattern and a 7-segment display portion 42b for displaying variable numerical values. And consists of. Reference numeral 43 is an AE lock button for holding a photometric value, and 44 is a mode dial for selecting a shooting mode or the like. Reference numeral 45 is an electronic dial. The other operating members are omitted because they are not particularly necessary for understanding the present invention.

【0036】図4は、上記構成の一眼レフカメラに内蔵
された電気回路の要部を示すブロック図である。
FIG. 4 is a block diagram showing a main part of an electric circuit built in the single-lens reflex camera having the above-mentioned structure.

【0037】図4は本発明の実施の第1の形態が適用さ
れたカメラの電気要部構成を示すブロック図であり、ま
ず各部の構成について説明する。なお、図1と同一のも
のは同一番号をつけている。
FIG. 4 is a block diagram showing the configuration of electrical main parts of a camera to which the first embodiment of the present invention is applied. First, the structure of each part will be described. The same parts as those in FIG. 1 are designated by the same reference numerals.

【0038】図4において、PRSはカメラの制御回路
であり、例えば内部にCPU(中央演算処理部),RA
M,ROM及びファインダ内ポート等が配置されたワン
チップのマイクロコンピュータ(以下、マイコンと記
す)である。
In FIG. 4, PRS is a camera control circuit, for example, a CPU (central processing unit), RA
This is a one-chip microcomputer (hereinafter, referred to as a microcomputer) in which an M, a ROM, an in-finder port, and the like are arranged.

【0039】前記マイコンPRS100には、視線検出
路101,測光回路102,自動焦点検出回路103,
信号入力回路104,LCD駆動回路105,LED駆
動回路106,IRED駆動回路107,シャッタ制御
回路108、及び、モータ制御回路109が接続されて
おり、ROM及びEEPROMに格納されたカメラのシ
ーケンスプログラム及び制御パラメータに従って、上述
の各回路を制御することで、カメラの一連の動作を行っ
ている。
The microcomputer PRS100 includes a line-of-sight detection path 101, a photometric circuit 102, an automatic focus detection circuit 103,
A signal input circuit 104, an LCD drive circuit 105, an LED drive circuit 106, an IRED drive circuit 107, a shutter control circuit 108, and a motor control circuit 109 are connected, and a camera sequence program and control stored in a ROM and an EEPROM. The series of operations of the camera is performed by controlling the above-mentioned circuits according to the parameters.

【0040】また、撮影レンズ1内に配置された焦点調
節回路110,絞り駆動回路111とは、図1で示した
マウント接点37を介して信号の伝達がなされる。
Signals are transmitted to the focus adjusting circuit 110 and the diaphragm driving circuit 111 arranged in the photographing lens 1 through the mount contact 37 shown in FIG.

【0041】マイコンPRS100に付随したEEPR
OM(電気的消去可能プログラマブルROM)100a
には、視線の個人差を補正する視線補正データ(以下、
キャリブレーションデータと記す)や、露出制御や焦点
調節に関する調整値等を含む一連のカメラの制御パラメ
ータが格納されている。
EEPR attached to the microcomputer PRS100
OM (electrically erasable programmable ROM) 100a
Includes line-of-sight correction data (hereinafter,
It is stored as a series of control parameters for the camera, including calibration data) and adjustment values for exposure control and focus adjustment.

【0042】前記視線検出回路101は、イメージセン
サ14(CCD−EYE)からの眼球像の出力をA/D
変換し、この像情報をマイコンPRS100に送信す
る。マイコンPRS100は後述するように視線検出に
必要な眼球像の各特徴点を所定のアルゴリズムに従って
抽出し、さらに各特徴点の位置から撮影者の視線を算出
する。マイコンPRS100と視線検出回路101、そ
してイメージセンサ14は視線検出装置の一要素を構成
している。
The line-of-sight detection circuit 101 A / D outputs the output of the eyeball image from the image sensor 14 (CCD-EYE).
After conversion, this image information is transmitted to the microcomputer PRS100. As will be described later, the microcomputer PRS100 extracts each feature point of the eyeball image necessary for sight line detection according to a predetermined algorithm, and further calculates the photographer's sight line from the position of each feature point. The microcomputer PRS100, the visual axis detection circuit 101, and the image sensor 14 constitute one element of the visual axis detection device.

【0043】前記測光回路102は、測光センサ10か
らの出力を増幅後、対数圧縮,A/D変換し、各センサ
の輝度情報としてマイコンPRS100へ出力する。測
光センサ10は、図3に示したファインダ画面内の左側
の測距点200,201を含む左領域210を測光する
SPC−Lと、中央の測距点202を含む中央領域21
1を測光するSPC−Cと、右側の測距点203,20
4を含む右側領域212を測光するSPC−Rと、これ
らの周辺領域213を測光するSPC−Aとの、4つの
フォトダイオードから構成されている。
The photometric circuit 102 amplifies the output from the photometric sensor 10, performs logarithmic compression and A / D conversion, and outputs it to the microcomputer PRS100 as brightness information of each sensor. The photometric sensor 10 includes an SPC-L for photometry of a left area 210 including the left focus points 200 and 201 in the finder screen shown in FIG. 3 and a central area 21 including a central focus area 202.
SPC-C for metering 1 and distance measuring points 203, 20 on the right side
It is composed of four photodiodes, that is, an SPC-R that photometers the right side region 212 including 4 and an SPC-A that photometers these peripheral regions 213.

【0044】ラインセンサ6fは、前述のように画面内
の5つの測距点200〜204に対応した5組のライン
センサCCD−L2,CCD−L1,CCD−C,CC
D−R1,CCD−R2から構成される公知のCCDラ
インセンサである。自動焦点検出回路103はこれらラ
インセンサ6fから得た電圧をA/D変換し、マイコン
PRS100に送る。
The line sensor 6f includes five sets of line sensors CCD-L2, CCD-L1, CCD-C and CC corresponding to the five distance measuring points 200 to 204 on the screen as described above.
This is a known CCD line sensor composed of D-R1 and CCD-R2. The automatic focus detection circuit 103 A / D converts the voltage obtained from these line sensors 6f and sends it to the microcomputer PRS100.

【0045】SW1は測光,AF(オートフォーカ
ス),視線検出動作等を開始する為の、つまり撮影準備
動作を開始させる為のスイッチ、SW2は撮影動作を開
始させる為のレリーズスイッチ、SW−ANGは視線検
知センサ27によって検知されるところの姿勢検知スイ
ッチ、SW−AELはAEロック釦43を押すことによ
ってオンするAEロックスイッチ、SW−DIAL1と
SW−DIAL2は既に説明した電子ダイヤル内に設け
たダイヤルスイッチである。
SW1 is a switch for starting photometry, AF (autofocus), line-of-sight detecting operation, etc., that is, for starting the shooting preparation operation, SW2 is a release switch for starting the shooting operation, and SW-ANG is Attitude detection switch detected by the line-of-sight detection sensor 27, SW-AEL is an AE lock switch that is turned on by pressing the AE lock button 43, and SW-DIAL1 and SW-DIAL2 are dials provided in the electronic dial already described. It is a switch.

【0046】前記スイッチSW1はレリーズ釦41の第
1段階の押下(第1ストローク)によりオンするスイッ
チであり、前記レリーズスイッチSW2は引き続いてレ
リーズ釦41の第2段階の押下(第2ストローク)によ
りオンするスイッチである。これらスイッチSW1,S
W2ともに、片方は接地されており、もう一方はマイコ
ンPRS100の端子に並列に接続されている。これら
スイッチSW1,SW2が接続しているマイコンPRS
100の端子は、不図示のプルアップ抵抗にて電池のプ
ラス端子に接続されている。
The switch SW1 is a switch which is turned on by pressing the release button 41 in the first step (first stroke), and the release switch SW2 is subsequently pressed by the second step of pressing the release button 41 (second stroke). This is a switch that turns on. These switches SW1, S
One of both W2 is grounded and the other is connected in parallel to the terminal of the microcomputer PRS100. Microcomputer PRS to which these switches SW1 and SW2 are connected
The terminal 100 is connected to the positive terminal of the battery by a pull-up resistor (not shown).

【0047】上述の各種のスイッチの状態信号は信号入
力回路104に入力しており、これらスイッチのオン,
オフ状態が切り換わるときに生ずるチャタリングの影響
を受けずにスイッチ状態を検知するようになっている。
The status signals of the various switches described above are input to the signal input circuit 104.
The switch state is detected without being affected by chattering that occurs when the OFF state is switched.

【0048】ダイヤルスイッチSW−DIAL1とSW
−DIAL2は、信号入力回路104に内蔵のアップダ
ウンカウンタに入力され、電子ダイヤル45の回転クリ
ック量をカウントする。SW−M1〜M4も既に説明し
たモードダイヤル44内に設けたダイヤルスイッチであ
る。これらスイッチの信号が信号入力回路104に入力
され、データバスによってマイコンPRS100に送信
される。
Dial switches SW-DIAL1 and SW
-DIAL2 is input to the up / down counter built in the signal input circuit 104 and counts the rotation click amount of the electronic dial 45. SW-M1 to M4 are also dial switches provided in the mode dial 44 already described. The signals of these switches are input to the signal input circuit 104 and transmitted to the microcomputer PRS100 via the data bus.

【0049】マイコンPRS100はスイッチSW1が
オンしたことを知ると、トランジスタPTR112をオ
ンすべく抵抗を介して接続されている端子をLOWレベ
ルに引き下げる。そして、前回のスイッチSW1がオン
してから内蔵タイマにより計時して所定時間が経過する
と、電源供給をオフしていた電気素子へ電源供給を行う
とともに、測光,焦点検出など一連の制御を開始し、電
源供給制御を行う内蔵タイマをリセットし、計時を再び
開始する。そして、内蔵タイマの計時により所定時間が
経過するとトランジスタPTR112をオフして電気素
子への電源供給を停止する。さらにスイッチSW2がオ
ンされたならば、これをトリガとして露出制御とその後
のフィルム巻き上げ等からなるレリーズ動作を行う。
When the microcomputer PRS100 learns that the switch SW1 is turned on, it pulls down the terminal connected through the resistor to turn on the transistor PTR112 to LOW level. Then, when a predetermined time has elapsed since the last time the switch SW1 was turned on by the built-in timer, power is supplied to the electric elements that have been powered off, and a series of controls such as photometry and focus detection are started. , Resets the built-in timer that controls power supply and restarts clocking. Then, when a predetermined time has elapsed according to the time measured by the built-in timer, the transistor PTR112 is turned off to stop the power supply to the electric element. Further, when the switch SW2 is turned on, the release operation including exposure control and subsequent film winding is performed by using this as a trigger.

【0050】電源回路112は定電圧電源であり、不図
示の電池出力VBAT が入力されており、その出力はマイ
コンPRS100の電源端子と信号入力回路104に接
続している。また、マイコンPRS100の制御により
トランジスタPTR113を介して、VCCに出力され
た後、各電気素子に供給されるようになっている。同図
ではVCCは電気素子全てに接続されているが、その表
記は省略している。
The power supply circuit 112 is a constant voltage power supply, to which a battery output VBAT (not shown) is input, and its output is connected to the power supply terminal of the microcomputer PRS100 and the signal input circuit 104. Further, under the control of the microcomputer PRS100, after being output to VCC via the transistor PTR113, it is supplied to each electric element. In the figure, VCC is connected to all electric elements, but its description is omitted.

【0051】105は液晶表示素子LCDを表示駆動さ
せるための公知のLCD駆動回路であり、マイコンPR
S100からの信号に従い、絞り値,シャッタ秒時,設
定した撮影モード等の表示をモニタ用LCD42とファ
インダ内LCD24の両方に同時に表示させている。
Reference numeral 105 denotes a known LCD drive circuit for driving the liquid crystal display element LCD to display, and the microcomputer PR
In accordance with the signal from S100, the display of the aperture value, shutter speed, set shooting mode, etc. is simultaneously displayed on both the monitor LCD 42 and the in-finder LCD 24.

【0052】LED駆動回路106は、照明用LED
(F−LED)22とスーパーインポーズ用LED21
を点灯,点滅制御する。IRED駆動回路107は、赤
外発光ダイオード(IRED1〜6)13a〜13dを
状況に応じて選択的に点灯させる。
The LED drive circuit 106 is an LED for illumination.
(F-LED) 22 and LED 21 for superimpose
Is turned on and off. The IRED drive circuit 107 selectively lights the infrared light emitting diodes (IRED1 to 6) 13a to 13d according to the situation.

【0053】シャッタ制御回路108は、通電すると先
幕を走行させるマグネットMG−1と後幕を走行させる
マグネットMG−2を制御し、感光部材に所定光量を露
光させる。モータ制御回路109は、フィルムの巻き上
げ,巻き戻しを行うモータM1と、主ミラー2及びシャ
ッタ4のチャージを行うモータM2とを制御している。
これらシャッタ制御回路108,モータ制御回路109
によって一連のカメラのレリーズシーケンスが動作す
る。
The shutter control circuit 108 controls the magnet MG-1 which runs the front curtain and the magnet MG-2 which runs the rear curtain when energized to expose the photosensitive member with a predetermined amount of light. The motor control circuit 109 controls a motor M1 that winds and rewinds the film and a motor M2 that charges the main mirror 2 and the shutter 4.
These shutter control circuit 108 and motor control circuit 109
The series of camera release sequences operates.

【0054】図5は視線検出方法の原理を説明する為の
図である。また、図6(A)はイメージセンサ14面上
に投影される眼球像の概略図、図6(B)は同図(A)
に示す光彩の端部a,bを通過する直線上のイメージセ
ンサ14の像信号出力を示している。
FIG. 5 is a diagram for explaining the principle of the visual axis detection method. 6A is a schematic diagram of an eyeball image projected on the surface of the image sensor 14, and FIG. 6B is the same diagram as FIG.
The image signal output of the image sensor 14 on a straight line passing through the ends a and b of the iris shown in FIG.

【0055】図6(A)において、17は眼球の光彩の
部分、19は瞳孔を表し、e,dは眼球照明光源の角膜
反射像を表している。
In FIG. 6 (A), 17 is the iris portion of the eyeball, 19 is the pupil, and e and d are the corneal reflection images of the eyeball illumination light source.

【0056】同図において、13a,13bは観察者に
対して不感の赤外光を放射する発光ダイオード等の光源
であり、各光源は受光レンズ12の光軸に対してx方向
に略対称に配置され、観察者の眼球を発散照明してい
る。眼球で反射した照明光の一部は受光レンズ11によ
ってイメージセンサ14に集光する。
In the figure, 13a and 13b are light sources such as light emitting diodes that emit infrared light insensitive to the observer, and each light source is substantially symmetrical with respect to the optical axis of the light receiving lens 12 in the x direction. It is placed and divergently illuminates the eyes of the observer. A part of the illumination light reflected by the eyeball is focused on the image sensor 14 by the light receiving lens 11.

【0057】次に、図5及び図6(A),(B)を用い
て、視線検出方法について説明する。
Next, the visual axis detection method will be described with reference to FIGS. 5 and 6A and 6B.

【0058】光源13bより放射された赤外光は、観察
者の眼球15の角膜16を照明する。このとき角膜16
の表面で反射した赤外光の一部により形成される角膜反
射像d(虚像)は受光レンズ11により集光され、イメ
ージセンサ14上の位置d´に結像する。同様に光源5
aより放射された赤外光は、眼球の角膜16を照明す
る。このとき角膜16の表面で反射した赤外光の一部に
より形成された角膜反射像eは受光レンズ11により集
光され、イメージセンサ14上の位置e´に結像する。
また、虹彩17の端部a,bからの光束は受光レンズ1
1を介してイメージセンサ14上の位置a´,b´に該
端部a,bの像を結像する。
The infrared light emitted from the light source 13b illuminates the cornea 16 of the eyeball 15 of the observer. At this time, the cornea 16
The corneal reflection image d (virtual image) formed by a part of the infrared light reflected by the surface of the light is condensed by the light receiving lens 11 and imaged at the position d ′ on the image sensor 14. Similarly, light source 5
The infrared light emitted from a illuminates the cornea 16 of the eyeball. At this time, the corneal reflection image e formed by a part of the infrared light reflected on the surface of the cornea 16 is condensed by the light receiving lens 11 and imaged at the position e ′ on the image sensor 14.
Further, the light flux from the ends a and b of the iris 17 is received by the light receiving lens 1
The images of the end portions a and b are formed at the positions a ′ and b ′ on the image sensor 14 via 1.

【0059】受光レンズ11の光軸に対する眼球15の
光軸の回転角θが小さい場合、虹彩17の端部a,bの
x座標をxa,xbとすると、瞳孔19の中心位置cの
座標xcは、 xc≒(xa+xb)/2 と表される。
When the rotation angle θ of the optical axis of the eyeball 15 with respect to the optical axis of the light receiving lens 11 is small, and the x coordinates of the ends a and b of the iris 17 are xa and xb, the coordinate xc of the center position c of the pupil 19 is represented. Is expressed as xc≈ (xa + xb) / 2.

【0060】また、角膜反射像d及びeの中点のx座標
と角膜16の曲率中心Oのx座標xoとはほぼ一致する
ため、角膜反射像の発生位置d,eのx座標をxd,x
e、角膜16の曲率中心Oと瞳孔19の中心Cまでの標
準的な距離を/OCとし、距離/OCに対する個人差を
考慮する係数をAとすると眼球15の光軸の回転角θ
は、 (A*/OC)*SINθ≒xc(xd+xe)/2 …………(1) の関係式を略満足する。このため、図6(A)に示した
ようにイメージセンサ14上に投影された眼球15の各
特徴点(角膜反射像d,e及び虹彩の端部a,b)の位
置を検出することにより、眼球15の光軸の回転角θを
求めることができる。この時(1)式は、 β*(A*/OC)*SINθ≒(xa´+xb´)/2 −(xd´+xe´)/2…(2) と書き換えられる。但し、βは受光レンズ11に対する
眼球の位置により決まる倍率で、実質的には角膜反射像
の間隔|xd´−xe´|の関数として求められる。
Since the x-coordinate of the midpoint of the corneal reflection images d and e and the x-coordinate xo of the center of curvature O of the cornea 16 substantially coincide with each other, the x-coordinates of the corneal reflection image generation positions d and e are xd, x
e, the standard distance between the center of curvature O of the cornea 16 and the center C of the pupil 19 is / OC, and the coefficient considering the individual difference for the distance / OC is A, the rotation angle θ of the optical axis of the eyeball 15
Substantially satisfies the relational expression of (A * / OC) * SIN θ≈xc (xd + xe) / 2 (1). Therefore, as shown in FIG. 6A, by detecting the position of each feature point of the eyeball 15 projected onto the image sensor 14 (corneal reflection images d and e and iris edges a and b). The rotation angle θ of the optical axis of the eyeball 15 can be obtained. At this time, the expression (1) is rewritten as β * (A * / OC) * SINθ≈ (xa ′ + xb ′) / 2− (xd ′ + xe ′) / 2 (2). However, β is a magnification determined by the position of the eyeball with respect to the light receiving lens 11, and is substantially obtained as a function of the interval | xd′−xe ′ | of corneal reflection images.

【0061】眼球15の光軸の回転角θは θ≒ARCSIN{(xc´−xf´)/β/(A*/OC} …(3) と書き換えられる。但し xc´≒(xa´+xb´)/2 xf´≒(xd´+xe´)/2 である。The rotation angle θ of the optical axis of the eyeball 15 can be rewritten as θ≈ARCSIN {(xc′−xf ′) / β / (A * / OC} (3), where xc′≈ (xa ′ + xb ′) ) / 2 xf'≈ (xd '+ xe') / 2.

【0062】ところで、観察者の眼球の光軸と視軸とは
一致しないため、観察者の眼球の光軸の水平方向の回転
角θが算出されると、眼球の光軸と視軸との角度差αを
補正することにより観察者の水平方向の視線θxは求め
られる。眼球の光軸と視軸との補正角度αに対する個人
差を考慮する係数をBとすると観察者の水平方向の視線
θxは θx=θ±(B*α) …………(4) と求められる。ここで符号±は、観察者に関して右への
回転角を正とすると、観察装置を覗く観察者の目が左目
の場合は+、右目の場合は−の符号が選択される。また
同図においては、観察者の眼球がz−x平面(例えば水
平面)内で回転する例を示しているが、観察者の眼球が
y−z平面(例えば垂直面)内で回転する場合において
も同様に検出可能である。但し、観察者の視線の垂直方
向の成分は眼球の光軸の垂直方向の成分θ´と一致する
ため垂直方向の視線θyは θy=θ´ となる。
Since the optical axis of the eyeball of the observer and the visual axis do not coincide with each other, when the horizontal rotation angle θ of the optical axis of the eyeball of the observer is calculated, the optical axis of the eyeball and the visual axis of the eyeball are calculated. By correcting the angle difference α, the horizontal line of sight θx of the observer can be obtained. Letting B be a coefficient that takes into account individual differences with respect to the correction angle α between the optical axis of the eyeball and the visual axis, the horizontal line of sight θx of the observer is calculated as θx = θ ± (B * α) (4) To be Here, if the angle of rotation to the right with respect to the observer is positive, the sign ± is selected as + when the eye of the observer looking into the observation device is the left eye, and when the eye of the observer is the right eye. Further, in the figure, an example in which the observer's eyeball rotates in the z-x plane (for example, horizontal plane) is shown, but when the observer's eyeball rotates in the y-z plane (for example, vertical plane) Can be similarly detected. However, since the vertical component of the line of sight of the observer matches the vertical component θ ′ of the optical axis of the eyeball, the vertical line of sight θy is θy = θ ′.

【0063】さらに、一眼レフカメラにおいては、視線
データθx,θyより観察者が見ているピント板上の位
置(xn,yn)は xn≒m*θx ≒m*[ARCSIN{(xc´−xf´)/β/(A*/OC)} ±(B*α)] …………(5) yn≒m*θy と求められる。但し、mはカメラのファインダ光学系で
決まる定数である。
Further, in the single-lens reflex camera, the position (xn, yn) on the focus plate viewed by the observer from the line-of-sight data θx, θy is xn≈m * θx≈m * [ARCSIN {(xc'-xf ′) / Β / (A * / OC)} ± (B * α)] (5) yn≈m * θy However, m is a constant determined by the finder optical system of the camera.

【0064】ここで、視線の個人差を補正する係数、す
なわち個人差補正係数はAであり、Bの値は撮影者にカ
メラのファインダ内の所定の位置に配設された指標を固
視してもらい、該指標の位置と(5)式に従い算出され
た固視点位置とを一致させることにより求められる。
Here, the coefficient for correcting the individual difference of the line of sight, that is, the individual difference correction coefficient is A, and the value of B fixes the photographer's eye on the index arranged at a predetermined position in the viewfinder of the camera. It is obtained by matching the position of the index with the fixation point position calculated according to the equation (5).

【0065】本実施の形態における撮影者の視線及び注
視点を求める演算は、前記各式に基づき視線演算処理装
置のマイコンのプログラムを実行させて行っている。
The calculation for obtaining the line-of-sight and gazing point of the photographer in the present embodiment is executed by executing the program of the microcomputer of the line-of-sight calculation processing device based on the above equations.

【0066】カメラのファインダを覗く撮影者の視線の
ピント板上の位置を正しく算出し、その視線情報を撮影
レンズの焦点調節、あるいは、露出制御等に利用する。
The position of the line of sight of the photographer looking through the viewfinder of the camera on the focus plate is correctly calculated, and the line-of-sight information is used for focus adjustment of the photographing lens, exposure control, or the like.

【0067】次に、図7〜図15に示したフローチャー
トに基づいて動作説明を行う。
Next, the operation will be described with reference to the flow charts shown in FIGS.

【0068】まず、カメラのメイン動作について、図7
のフローチャートにより説明をする。
First, FIG. 7 shows the main operation of the camera.
This will be described with reference to the flowchart of.

【0069】モードダイヤル44を回転操作してカメラ
を不動作状態から所定の撮影モードに設定すると、信号
入力回路104は、モードダイヤル44の回転操作を検
知してマイコンPRS100への通信を行う(ステップ
#001)。
When the mode dial 44 is rotated to set the camera to the predetermined photographing mode from the inoperative state, the signal input circuit 104 detects the rotation operation of the mode dial 44 and communicates with the microcomputer PRS100 (step # 001).

【0070】ステップ#002では、信号入力回路10
4からの信号を受けてマイコンPRS100は、フラ
グ,レジスタ,ポート等の初期化や、内蔵のROMから
必要に応じてデータを読み出し、メモリの予め決めてお
いた所定の位置に格納するとともに、モニタ用LCD4
2にカメラの撮影モードなどのデータをLCD駆動回路
105に送信するなどの一連の初期化動作を行う。この
時、マイコンPRS100内のレジスタには、それぞれ
適切な値が代入されるとともに、後述するSW0F,S
W1F,PTRF,AFF,TIMERF等のマイコン
PRS100内のフラグは、それぞれ“0”にクリアさ
れ、各出力ポートもそれぞれ初期化されている。
In step # 002, the signal input circuit 10
In response to the signal from 4, the microcomputer PRS100 initializes flags, registers, ports, etc., reads data from the built-in ROM as needed, stores the data in a predetermined position in the memory, and monitors it. LCD4
2, a series of initialization operations such as transmitting data such as the shooting mode of the camera to the LCD drive circuit 105 is performed. At this time, appropriate values are respectively assigned to the registers in the microcomputer PRS100, and SW0F,
Flags in the microcomputer PRS100 such as W1F, PTRF, AFF, and TIMERF are cleared to "0", and each output port is also initialized.

【0071】初期化動作が終了すると、レリーズ釦41
の第1段階の押下により作動するスイッチSW1がオン
であるかどうかを調べる(ステップ#003)。該スイ
ッチSW1がオンであれば、続いてフラグPTRFを調
べる(ステップ#007)。このフラグPTRFは、ト
ランジスタPTR113のベースに抵抗を介して接続し
ているマイコンPRS100のポートの状態を示してお
り、“0”であるときにはトランジスタPTR113は
オフし、“1”であるときにはトランジスタPTR11
3はオンする。
When the initialization operation is completed, the release button 41
It is checked whether or not the switch SW1 which is operated by pressing in the first step is ON (step # 003). If the switch SW1 is on, then the flag PTRF is checked (step # 007). This flag PTRF indicates the state of the port of the microcomputer PRS100 connected to the base of the transistor PTR113 via a resistor. When it is "0", the transistor PTR113 turns off, and when it is "1", the transistor PTR11.
3 turns on.

【0072】モードダイヤル44を回転操作して、カメ
ラを不動作状態から所定の撮影状態に設定しようとする
時、フラグPTRFは未だ“0”である。そこで、上述
のトランジスタPTR113に接続しているマイコンP
RS100のポートをLOWレベルに引き下げてトラン
ジスタPTR113をオンにするとともに、フラグPT
RFに“1”をセットする(ステップ#008)。トラ
ンジスタPTR113がオンすると、電源回路112か
らVCCに電源供給され、測光回路102や自動焦点検
出回路103等の必要時のみ給電される電気素子に電源
が供給されることになる。
When the mode dial 44 is rotated to set the camera from the inoperative state to the predetermined photographing state, the flag PTRF is still "0". Therefore, the microcomputer P connected to the above-mentioned transistor PTR113
The port of RS100 is pulled down to LOW level to turn on the transistor PTR113, and the flag PT
"1" is set to RF (step # 008). When the transistor PTR113 is turned on, power is supplied from the power supply circuit 112 to VCC, and power is supplied to electric elements such as the photometry circuit 102 and the automatic focus detection circuit 103 that are supplied only when necessary.

【0073】電源供給された各電気素子と測光演算や焦
点調節制御等の一連のデータ処理に必要なデータを、マ
ウント37を介して取り付けられている撮影レンズ1の
焦点調節回路110及び絞り駆動回路111と通信し
て、メモリの予め決めておいた所定の位置に格納する
(ステップ#009)。
The focus adjustment circuit 110 and the diaphragm drive circuit of the photographing lens 1 mounted via the mount 37 store the data required for a series of data processing such as photometric calculation and focus adjustment control with each electric element supplied with power. It communicates with 111 and stores it in a predetermined location of the memory (step # 009).

【0074】続いて、トランジスタPTR113のオン
を持続する時間を決めるマイコンPRS100に内蔵の
タイマの設定及び動作を行い、内蔵タイマが計時動作中
であることを示すフラグTIMEFに“1”を設定する
(ステップ#010)。このフラグTIMEFはタイマ
計時動作中に“1”、計時完了あるいは計時開始前には
“0”が設定されるようになっている。
Then, the timer built in the microcomputer PRS100 which determines the duration for which the transistor PTR113 is kept on is set and operated, and "1" is set in the flag TIMEF indicating that the built-in timer is in the time counting operation ( Step # 010). The flag TIMEF is set to "1" while the timer is operating, and is set to "0" before the time is completed or before the time is started.

【0075】ここで、上述のマイコンPRS100に内
蔵されたタイマの1回の計時時間は、ステップ#003
からステップ#030まで、あるいは、ステップ#00
3からステップ#045までの処理動作を行い、再びス
テップ#003に戻ることに要する時間よりも長い時間
である。
Here, the time counted once by the timer built in the above-mentioned microcomputer PRS100 is the same as that in step # 003.
To step # 030 or step # 00
This time is longer than the time required to perform the processing operations from Step 3 to Step # 045 and return to Step # 003 again.

【0076】続いて、「設定」サブルーチンにて各スイ
ッチ操作による情報入力と入力された情報に基づいた表
示を行う(ステップ#011)。
Subsequently, in the "setting" subroutine, information is input by operating each switch and display based on the input information is performed (step # 011).

【0077】続いてステップ#012では、測光回路か
らの出力をマイコンPRS100に内蔵のA/D変換器
によるデジタル値に変換して取り込み、測光データを求
めるとともに、前述の撮影レンズからの情報を使って、
そのとき設定されているカメラの撮影モードに応じた演
算により最適な露出制御情報を算出する等の一連の測光
処理を行う。そして、マイコンPRS100は得られた
測光処理結果をLCD駆動回路105に出力し、ファイ
ンダ内LCD24及びモニタ用LCD42に表示する。
Then, in step # 012, the output from the photometric circuit is converted into a digital value by the A / D converter incorporated in the microcomputer PRS100 and taken in to obtain photometric data, and the information from the above-mentioned taking lens is used. hand,
At that time, a series of photometric processing such as calculation of optimum exposure control information is performed by calculation according to the shooting mode of the camera set. Then, the microcomputer PRS100 outputs the obtained photometric processing result to the LCD drive circuit 105 and displays it on the in-finder LCD 24 and the monitor LCD 42.

【0078】ステップ#015では、視線検出を実行す
る。視線検出の詳細説明は後述する。
At step # 015, line-of-sight detection is executed. A detailed description of the gaze detection will be given later.

【0079】この時、LED駆動回路106は照明用L
ED(F−LED)25を点灯させ、LCD駆動回路1
05はファインダ内LCD24の視線入力マーク78を
点灯させて、ファインダ画面外207で撮影者がカメラ
が視線検出を行っている状態であることを確認すること
ができるようになっている。
At this time, the LED drive circuit 106 is the L for illumination.
The ED (F-LED) 25 is turned on, and the LCD drive circuit 1
Reference numeral 05 indicates that the line-of-sight input mark 78 of the LCD 24 in the finder is turned on so that the photographer can confirm on the outside 207 of the finder screen that the camera is performing line-of-sight detection.

【0080】ステップ#016では、視線検出回路10
1において検出された視線をピント板7上の注視点座標
に変換し、マイコンPRS100は得られた注視点座標
に近接した測距点を選択し、LED駆動回路106に信
号を送信してスーパーインポーズ用LED21を用いて
前記測距点マークを点滅表示させる。
In step # 016, the line-of-sight detection circuit 10
The line of sight detected in 1 is converted into the gazing point coordinates on the focus plate 7, the microcomputer PRS100 selects a distance measuring point close to the obtained gazing point coordinates, and sends a signal to the LED drive circuit 106 to superimpose. The distance measuring point mark is made to blink by using the pause LED 21.

【0081】このように、視線情報によって測距点が選
択されたことをファインダ視野内の測距マークを点滅表
示させて撮影者に知らせるようになっているので、撮影
者は意志通りに選択されたかどうか確認することができ
る。
As described above, the fact that the distance measuring point is selected by the line-of-sight information is indicated by blinking the distance measuring mark in the viewfinder to notify the photographer, so that the photographer can select as desired. You can check whether or not.

【0082】ステップ#019では、撮影者が該撮影者
の視線によって選択された測距点が表示されたのを見
て、さらにスイッチSW1が押し続けられているか否か
を見ている。すなわち、撮影者は選択された測距点が意
図と一致していなければ、正しくないと認識してレリー
ズ釦41から手を離してスイッチSW1をオフし、一致
していれば引き続き該スイッチSW1を押し続けるから
である。前記スイッチSW1がオフであれば、ステップ
#041に移行する。
In step # 019, the photographer sees that the distance measuring point selected by the photographer's line of sight is displayed and further sees whether or not the switch SW1 is continuously pressed. That is, if the selected focus detection point does not match the intention, the photographer recognizes that it is incorrect and releases the release button 41 to turn off the switch SW1. If they match, the switch SW1 is continuously operated. Because it keeps pushing. If the switch SW1 is off, the process proceeds to step # 041.

【0083】撮影者が視線によって選択された測距点が
表示されたのを見て、引き続きスイッチSW1をオンし
続けたならば、ステップ#021に移行し、このステッ
プ#021では、一連のAF処理及びAF動作を行う。
すなわち、自動焦点検出回路103は検出された視線情
報を用いて、1つ以上の測距点の焦点検出を実行する。
そして、選択された測距点の焦点調節状態が合焦でなけ
れば、マイコンPRS100はレンズ焦点調節回路11
0に信号を送って所定量撮影レンズ1を駆動させる。又
レンズ駆動後、自動焦点検出回路103は、再度焦点検
出を行い、合焦していなければ、再び撮影レンズ1を駆
動して焦点調節を行う。
When the photographer sees that the distance measuring point selected by the line of sight is displayed and continues to turn on the switch SW1, the process proceeds to step # 021, and in this step # 021, a series of AF is performed. Perform processing and AF operation.
That is, the automatic focus detection circuit 103 uses the detected line-of-sight information to detect the focus of one or more focus detection points.
If the focus adjustment state of the selected focus detection area is not in focus, the microcomputer PRS100 causes the lens focus adjustment circuit 11
A signal is sent to 0 to drive the taking lens 1 by a predetermined amount. After driving the lens, the automatic focus detection circuit 103 performs focus detection again, and if the subject is not in focus, drives the taking lens 1 again to perform focus adjustment.

【0084】次のステップ#022では、撮影レンズ1
が合焦、すなわち焦点調節できたか否かの判定を行う。
所定の測距点において撮影レンズ1が焦点調節された合
焦できたならば、マイコンPRS100はLCD駆動回
路105に信号を送ってファインダ内LCD24の合焦
マーク79を点灯させるとともに、LED駆動回路10
6にも信号を送って合焦している測距点201に合焦表
示させる。この時、前記視線によって選択された測距点
の点滅表示は消灯するが、合焦表示される測距点と、前
記視線によって選択された測距点とは一致する場合が多
いから、合焦したことを撮影者に認識させるために合焦
測距点は点灯状態に設定される。
In the next step # 022, the taking lens 1
Is in focus, that is, it is determined whether or not focus adjustment was possible.
When the photographic lens 1 is focused and focused at a predetermined distance measuring point, the microcomputer PRS100 sends a signal to the LCD drive circuit 105 to turn on the focus mark 79 of the LCD 24 in the finder and the LED drive circuit 10
A signal is also sent to 6 to display a focus on the focus detection point 201 which is in focus. At this time, the blinking display of the focus detection point selected by the line of sight is turned off, but the focus detection displayed focus point and the focus detection point selected by the line of sight are often coincident with each other. In order to let the photographer recognize that this has been done, the focusing distance measuring point is set to a lighting state.

【0085】前記ステップ#022において、撮影レン
ズ1が合焦しない時、すなわち焦点調節不能である時
は、ステップ#023に移行して、マイコンPRS10
0はLCD駆動回路105に信号を送ってファインダ内
LCD24の合焦マーク79を点滅させて、焦点調節が
NG(不能)で、合焦させることができないことを撮影
者に警告する。
If it is determined in step # 022 that the taking lens 1 is out of focus, that is, if the focus cannot be adjusted, the process proceeds to step # 023 and the microcomputer PRS10 is operated.
0 sends a signal to the LCD drive circuit 105 to blink the focus mark 79 of the in-viewfinder LCD 24 to warn the photographer that the focus adjustment is NG (disabled) and the focus cannot be achieved.

【0086】さらに、ステップ#024では、スイッチ
SW1がオフしているか否かを検出し、該スイッチSW
1がオンしている間、すなわち撮影者がレリーズ釦41
を押している間は、焦点調節NG表示を続ける。そし
て、撮影者がレリーズ釦41から手を離しスイッチSW
1をオフすると、ステップ#041に移行する。
Further, in step # 024, it is detected whether or not the switch SW1 is off, and the switch SW1 is detected.
1 is on, that is, the photographer releases the release button 41.
While pressing, the focus adjustment NG display is continued. Then, the photographer releases the release button 41 and the switch SW
When 1 is turned off, the process proceeds to step # 041.

【0087】ステップ#025では、合焦した測距点が
ファインダ内に表示されたのを撮影者が見て、その測距
点が正しくないと認識してレリーズ釦41から手を離し
スイッチSW1をオフすると、ステップ#041に移行
する。
In step # 025, the photographer sees the focused focus detection point displayed in the viewfinder, recognizes that the focus detection point is not correct, and releases the release button 41 to release the switch SW1. When turned off, the process proceeds to step # 041.

【0088】また、スイッチSW1が引き続きオンであ
るときには、ステップ#026において、上記ステップ
#012の「測光」にて求めた結果と、上記ステップ#
021にて焦点調節された、各測距点の焦点状態とか
ら、露出制御値を決定する。
Further, when the switch SW1 is still on, in step # 026, the result obtained in the "photometry" of step # 012 and the above step # 0
The exposure control value is determined from the focus state of each focus detection point, the focus of which is adjusted in 021.

【0089】続くステップ#030では、スイッチSW
2がオンであるか否かを調べ、スイッチSW2がオンで
あればステップ#040へ移行し、レリーズ処理を行
う。
At the following step # 030, the switch SW
2 is turned on. If the switch SW2 is turned on, the process proceeds to step # 040 to perform a release process.

【0090】このステップ#040のレリーズ処理で
は、まず、モータ制御回路109を介してモータM2に
通電し、主ミラー2をアップさせ、絞り31を絞り込ん
だ後、マグネットMG1に通電してシャッタ4の先幕を
開放する。絞り31の絞り値及びシャッタ4のシャッタ
スピードは、前記測光回路102にて検知された露出値
とフィルム5の感度から決定される。所定のシャッタ秒
時経過後、シャッタ制御回路108を介してマグネット
MG2に通電し、シャッタ4の後幕を閉じる。フィルム
5への露光が終了すると、モータM2に再度通電し、ミ
ラーダウン、シャッタチャージを行うとともにモータM
1にも通電し、フィルムの駒送りを行い、一連のレリー
ズ処理動作が終了する。
In the release processing of step # 040, first, the motor M2 is energized via the motor control circuit 109 to raise the main mirror 2 and the diaphragm 31 is narrowed down, and then the magnet MG1 is energized to energize the shutter 4. Open the first curtain. The aperture value of the aperture 31 and the shutter speed of the shutter 4 are determined from the exposure value detected by the photometric circuit 102 and the sensitivity of the film 5. After a lapse of a predetermined shutter time, the magnet MG2 is energized via the shutter control circuit 108 to close the rear curtain of the shutter 4. When the exposure of the film 5 is completed, the motor M2 is energized again to perform mirror down and shutter charging, and
Power is also supplied to 1 to feed the film frame, and a series of release processing operations is completed.

【0091】前記ステップ#030においてスイッチS
W2がオフであるときは、前述した様にステップ#00
3に移り、再びスイッチSW1がオンであるか否かを調
べる。そして、ステップ#003では再びスイッチSW
1がオンであるか否かを調べ、オフであるときは、ステ
ップ#041へ進む。前記ステップ#019,#02
4,#025にてスイッチSW1がOFFであった場合
も、前述した様にステップ#041へ進む。そして、こ
のステップ#041では、フラグSW1Fに“0”を設
定する。
In step # 030, the switch S
When W2 is off, as described above, step # 00.
Then, the process goes to 3 to check again whether the switch SW1 is on. Then, in step # 003, the switch SW is turned on again.
It is checked whether or not 1 is on. If it is off, the process proceeds to step # 041. Steps # 019 and # 02
Even when the switch SW1 is OFF in 4 and # 025, the process proceeds to step # 041 as described above. Then, in this step # 041, the flag SW1F is set to "0".

【0092】続くステップ#042では、フラグTIM
EFを調べる。もしフラグTIMEFが“1”でないな
らば、既に内蔵タイマは所定時間の計時を完了している
ことを意味し、計時完了によりマイコンPRS100は
トランジスタPTR113をオフする。この時、カメラ
は不要な電源の消費が行われないようにVCCによる給
電を停止する給電停止状態にあり、撮影状態にするか否
かを判断するために、再びスイッチSW1がオンしてい
るか否かを調べる動作に戻る、つまりステップ#003
に戻る。
In the following step # 042, the flag TIM is set.
Check the EF. If the flag TIMEF is not "1", it means that the built-in timer has already finished counting the predetermined time, and upon completion of the timing, the microcomputer PRS100 turns off the transistor PTR113. At this time, the camera is in a power supply stop state in which power supply by VCC is stopped so that unnecessary power is not consumed, and whether or not the switch SW1 is turned on again in order to determine whether or not the camera is in the shooting state. Return to the operation for checking whether or not, that is, step # 003.
Return to

【0093】また、ステップ#043でフラグTIME
Fが“1”であるときは、次のステップ#043にて、
内蔵タイマが計時終了か否かを調べる。そして、内蔵タ
イマが計時終了でなければ、撮影状態であるので、再び
ステップ#010に移る。また、内蔵タイマが計時終了
であれば、先述したように余計に電源を消費しないよう
にカメラを撮影準備状態にする処理を行う。
In step # 043, the flag TIME is set.
When F is “1”, in the next step # 043,
Check whether the built-in timer has finished timing. If the built-in timer has not finished timing, it means that the camera is in the shooting state, and the process moves to step # 010 again. If the built-in timer has finished measuring time, as described above, processing is performed to put the camera into a shooting preparation state so as not to consume extra power.

【0094】つまり、まずステップ#044にて、フラ
グTIMEFに“0”を設定し、内蔵タイマ計時完了で
あることを示した後、次のステップ#045にて、トラ
ンジスタPTR113をオフする。さらに、フラグPT
RFに“0”を設定して、トランジスタPTR113が
オフであることを示す処理を行い、カメラは撮影準備状
態となる。
That is, first, in step # 044, the flag TIMEF is set to "0" to indicate that the built-in timer has been timed, and then in step # 045, the transistor PTR113 is turned off. Furthermore, the flag PT
RF is set to "0" to perform a process indicating that the transistor PTR113 is off, and the camera is ready for shooting.

【0095】そして、ステップ#003に戻り、カメラ
を撮影状態にするか否かを判断するために、スイッチS
W1がオンしているか否かを調べる動作に戻る。
Then, the process returns to step # 003, and the switch S is pressed to determine whether or not the camera is set in the photographing state.
The procedure returns to the operation for checking whether W1 is on.

【0096】このように、カメラのメイン動作は、電源
供給用トランジスタPTR113がオフして、電源供給
が停止している状態からスイッチSW1をオンした時に
は、視線検出(ステップ#015),測距点選択(ステ
ップ#016),AF(ステップ#021)と処理が進
み、一度電源供給が開始されると、タイマにより所定時
間が経過して電源供給が再び停止するまでの間に、撮影
者がレリーズ釦41から指を離してスイッチSW1がオ
フである状態であっても、設定(ステップ#011),
測光(ステップ#012),視線検出(ステップ#01
5),測距点選択(ステップ#016)を、この順に従
って繰り返し行うものである。
As described above, the main operation of the camera is to detect the line of sight (step # 015) and measure the distance when the switch SW1 is turned on while the power supply transistor PTR113 is off and the power supply is stopped. Once the power supply is started once the selection (step # 016), AF (step # 021) and processing proceed, the timer allows the photographer to release before the power supply is stopped again after a predetermined time elapses. Even if the switch SW1 is off by releasing the finger from the button 41, the setting (step # 011),
Photometry (step # 012), line-of-sight detection (step # 01
5) and distance measuring point selection (step # 016) are repeated in this order.

【0097】図8は視線検出動作を示すフローチャート
であり、以下、これを用いて視線検出動作について詳細
に説明する。
FIG. 8 is a flow chart showing the line-of-sight detection operation, and the line-of-sight detection operation will be described in detail below using this.

【0098】図8に示すフローチャートにおいて、視線
検出回路101はマイコンPRS100より信号を受け
取ると、視線検出を実行する。これは、図5のステップ
#015での動作に相当する。
In the flow chart shown in FIG. 8, when the visual axis detection circuit 101 receives a signal from the microcomputer PRS100, the visual axis detection circuit 101 executes visual axis detection. This corresponds to the operation in step # 015 in FIG.

【0099】視線検出を開始すると、図8におけるステ
ップ#050を経て、ステップ#051にて、データの
初期化を実行する。
When line-of-sight detection is started, data initialization is executed in step # 051 through step # 050 in FIG.

【0100】変数EYEMINは、眼球反射像の光電変
換信号の中の最小の輝度値を記憶する変数であり、マイ
コンPRS100に内蔵されているA/D変換器の分解
能を8ビットと想定し、像信号の読み込みに伴って、逐
次的に最低値を比較、更新してゆく。初期値は8ビット
での最大値を表す「255」を格納しておく。
The variable EYEMIN is a variable for storing the minimum luminance value in the photoelectric conversion signal of the eyeball reflection image, and assuming that the resolution of the A / D converter built in the microcomputer PRS100 is 8 bits, As the signal is read, the lowest value is sequentially compared and updated. As the initial value, “255” indicating the maximum value of 8 bits is stored.

【0101】また、変数EDGCNTは、光彩と瞳孔の
境界をエッジとして抽出した個数をカウントする変数で
ある。
The variable EDGCNT is a variable for counting the number of extracted edges of the boundary between the iris and the pupil.

【0102】又、変数IP1,IP2,JP1,JP2
は、発光ダイオード5a,5bの角膜反射像(以下、P
像(プルキンエ像)と記す)の位置を表す変数であり、
横方向(X軸)の範囲IP1〜IP2、横方向(Y軸)
の範囲JP1〜JP2で囲まれる眼球反射像の領域内
に、2個のP像が存在する。
Variables IP1, IP2, JP1, JP2
Is a corneal reflection image of the light emitting diodes 5a and 5b (hereinafter, P
Image (Purkinje image)) is a variable that represents the position of
Horizontal direction (X axis) range IP1 to IP2, horizontal direction (Y axis)
There are two P images in the area of the eyeball reflection image surrounded by the ranges JP1 and JP2.

【0103】今、イメージセンサ(エリアセンサとも記
す)14の画素数は横方向に150画素、縦方向に10
0画素のサイズを想定しており、変数IP1,IP2,
JP1,JP2は全体の丁度真ん中の位置(75,5
0)を初期値として格納しておく。
The number of pixels of the image sensor (also referred to as an area sensor) 14 is 150 pixels in the horizontal direction and 10 pixels in the vertical direction.
Assuming a size of 0 pixels, variables IP1, IP2,
JP1 and JP2 are at the exact middle position (75,5
0) is stored as an initial value.

【0104】データの初期化後は、次のステップ#05
2へ移行する。
After data initialization, the next step # 05
Move to 2.

【0105】ステップ#052では、P像用の発光ダイ
オード5a,5bと眼球照明用の発光ダイオード5c,
5dを点灯する。そして、次のステップ#053にて、
エリアセンサ14の蓄積動作を開始させる。
At step # 052, the light emitting diodes 5a and 5b for P image and the light emitting diodes 5c and 5c for eyeball illumination are
Turn on 5d. Then, in the next step # 053,
The accumulation operation of the area sensor 14 is started.

【0106】該エリアセンサ14の制御は、本発明と直
接関係ないので、詳細な説明は省略する。
Since the control of the area sensor 14 is not directly related to the present invention, detailed description will be omitted.

【0107】ステップ#054において、エリアセンサ
14の蓄積終了を待つ。所定の電荷が入射光に応じて蓄
積し、蓄積が終了すると、次のステップ#055にて、
発光ダイオードを消灯する。
In step # 054, the end of storage of the area sensor 14 is awaited. When a predetermined charge is accumulated according to the incident light and the accumulation is completed, in the next step # 055,
Turn off the light emitting diode.

【0108】さて、次のステップ#058以降から、エ
リアセンサ14の光電変換信号の読み込みを開始する。
From the next step # 058 onward, the reading of the photoelectric conversion signal of the area sensor 14 is started.

【0109】ステップ#058では、ループ変数Jを
“0”から“99”までカウントアップしながら、枠内
の処理を実行する、いわゆる「ループ処理」を表してい
る。
In step # 058, so-called "loop processing" is executed in which the processing within the frame is executed while counting up the loop variable J from "0" to "99".

【0110】ステップ#058内のループ処理では、ま
ずステップ#059にて、エリアセンサ14の横方向
(X軸)の1ラインの光電変換信号の読み込みを行う。
1ラインの読み込みはサブルーチン形式となっており、
このサブルーチン「1ライン読み込み」について、図9
のフローチャートを用いて説明する。
In the loop processing in step # 058, first in step # 059, the photoelectric conversion signal of one line in the lateral direction (X axis) of the area sensor 14 is read.
Reading one line is in a subroutine format,
This subroutine "reading one line" is shown in FIG.
This will be described with reference to the flowchart of.

【0111】サブルーチン「1ライン読み込み」がコー
ルされると、図9のステップ#100)を経て、次のス
テップ#101を実行する。
When the subroutine "read one line" is called, the next step # 101 is executed through step # 100) in FIG.

【0112】ステップ#101とその枠内のステップ#
102は、前述したステップ#058と同様のループ処
理を表し、ステップ#101では、前述のステップ#0
58と同様のループ処理を表している。さらにステップ
#101では、変数Kを“0”から“3”へカウントア
ップさせながら、そしてステップ#102では、変数I
を“0”から“149”へカウントアップさせながら、
それぞれの枠内の処理を実行してゆく。従って、ステッ
プ#101とステップ#102は、変数Kと変数Iのい
わゆる「入れ子」となったループ処理を表している。
Step # 101 and steps within the frame #
Reference numeral 102 represents the same loop processing as in step # 058 described above, and in step # 101, the above-mentioned step # 0.
The same loop processing as 58 is shown. Further, in step # 101, the variable K is incremented from “0” to “3”, and in step # 102, the variable I is incremented.
Counting up from "0" to "149",
The processing within each frame is executed. Therefore, step # 101 and step # 102 represent so-called “nested” loop processing of variable K and variable I.

【0113】ステップ#102のループ処理内のステッ
プ#103では、配列変数IM(i,k)の再格納作業
を行っている。
In step # 103 in the loop processing of step # 102, the re-storing work of the array variable IM (i, k) is performed.

【0114】本実施の形態では、マイコンPRS100
が信号処理を行っている訳であるが、一般にマイコンの
内蔵RAMの記憶容量は、エリアセンサの全画素情報を
一度に記憶できる程大きくはない。
In this embodiment, the microcomputer PRS100 is used.
However, in general, the storage capacity of the built-in RAM of the microcomputer is not large enough to store all the pixel information of the area sensor at once.

【0115】そこで、本実施の形態では、エリアセンサ
17から出力される像信号を逐次読み出したが、横方向
(X軸)5ライン分に相当する最新の像信号のみをマイ
コンPRS100の内蔵RAMに記憶させ、1ラインの
読み込み毎に視線検出のための処理を実行するようにし
ている。
Therefore, in the present embodiment, the image signals output from the area sensor 17 are sequentially read out, but only the latest image signals corresponding to 5 lines in the horizontal direction (X axis) are stored in the built-in RAM of the microcomputer PRS100. It is stored and the process for detecting the line of sight is executed every time one line is read.

【0116】ステップ#101からステップ#103の
二重ループ処理で実行している内容は、新たな1ライン
分の像信号を読み込むために、記憶している過去5ライ
ン分の像信号データを更新する作業である。すなわち、
配列変数IM(i,k)のうち、IM(i,0)[i=
0〜149]が最も過去の、また、IM(i,4)[i
=0〜149]が最も最近の1ラインの像データを表し
ており、次のようにデータを更新して新たな1ライン分
の像信号をIM(i,4)[i=0〜149]に格納で
きるように準備する。
The contents executed in the double loop processing from step # 101 to step # 103 is that the image signal data for the past five lines stored is updated in order to read a new image signal for one line. It is a task to do. That is,
Of the array variables IM (i, k), IM (i, 0) [i =
0-149] is the oldest, and IM (i, 4) [i
= 0 to 149] represents the most recent one-line image data, and the data is updated as follows to generate a new one-line image signal IM (i, 4) [i = 0 to 149]. Prepare to store in.

【0117】IM(i,0)←IM(i,1) IM(i,1)←IM(i,2) IM(i,2)←IM(i,3) IM(i,3)←IM(i,4) [i=0〜149] さて、ステップ#101〜ステップ#103のデータ更
新のためのループ処理が終了すると、次のステップ#1
04のループ処理を実行する。
IM (i, 0) ← IM (i, 1) IM (i, 1) ← IM (i, 2) IM (i, 2) ← IM (i, 3) IM (i, 3) ← IM (I, 4) [i = 0 to 149] Now, when the loop process for updating the data in steps # 101 to # 103 ends, the next step # 1
The loop processing of 04 is executed.

【0118】ステップ#104のループ処理では、エリ
アセンサ17の横方向の(X軸)の1ライン分(指定さ
れた画素)の像信号を逐次的にA/D変換しながら、R
AMに格納し、また像信号の最小値を検出している。
In the loop processing of step # 104, the image signal of one line (designated pixel) in the horizontal direction (X axis) of the area sensor 17 is sequentially A / D converted and R
It is stored in AM and the minimum value of the image signal is detected.

【0119】ステップ#104のループ内の最初のステ
ップ#105では、マイコンPRS100の内蔵A/D
変換器から、像信号をA/D変換したデジタル値ADC
を取り出し、その値を一時的に変換して変数EYEDT
に格納する。そして、次のステップ#106にて、変数
EYEDTの値を配列変数IM(i,4)に格納する。
変数iは外側のループ処理ステップ#104にて変数
“0”から“149”までカウントアップされる。
At the first step # 105 in the loop of step # 104, the built-in A / D of the microcomputer PRS100 is
Digital value ADC obtained by A / D converting the image signal from the converter
Is taken out, the value is temporarily converted, and the variable EYEDT
To be stored. Then, in the next step # 106, the value of the variable EYEDT is stored in the array variable IM (i, 4).
The variable i is counted up from the variable “0” to “149” in the outer loop processing step # 104.

【0120】ステップ#107とステップ#108は、
像信号の最小値を検出する処理である。変数EYEIN
は像信号の最小値を保持する変数であり、ステップ#1
07)において、変数EYEMINより変数EYEDT
の方が小さければ、ステップ#108)へ分岐し、変数
EYEMINをこの小さな変数EYEDTの値で更新す
る。
Step # 107 and step # 108 are
This is a process of detecting the minimum value of the image signal. Variable EYEIN
Is a variable that holds the minimum value of the image signal, and step # 1
07), from the variable EYEMIN to the variable EYEDT
Is smaller, the process branches to step # 108) and the variable EYEMIN is updated with the value of this small variable EYEDT.

【0121】ステップ#104〜ステップ#108のル
ープ処理が終了し、新たな1ライン分の像信号の格納と
最小値の検出が終わると、次のステップ#109でサブ
ルーチン「1ラインの読み込み」をリターンする。
When the loop processing of steps # 104 to # 108 is completed and the storage of the image signal for one new line and the detection of the minimum value are completed, the subroutine "read one line" is executed in the next step # 109. To return.

【0122】図8のフローチャートに戻って、ステップ
#059のサブルーチン「1ラインの読み込み」が完了
すると、次のステップ#060へ移行し、外側のループ
処理ステップ#058のループ変数Jが“5”以上か否
か調べる。
Returning to the flowchart of FIG. 8, when the subroutine "reading one line" of step # 059 is completed, the process proceeds to the next step # 060, and the loop variable J of the outer loop processing step # 058 is "5". Check whether the above.

【0123】ループ変数Jはエリアセンサ17の縦方向
(Y軸)の画素ラインを表している。ステップ#060
にて、ループ変数Jが“5”以上の場合にはステップ#
061へ分岐する。これは、読み込んだ像信号のライン
数が5以上になると、エリアセンサ17の縦方向(Y
軸)の処理ができるようになるからである。
The loop variable J represents the pixel line of the area sensor 17 in the vertical direction (Y axis). Step # 060
If the loop variable J is "5" or more, step #
Branch to 061. This is because when the number of lines of the read image signal becomes 5 or more, the vertical direction (Y
This is because it becomes possible to process (axis).

【0124】分岐した先のステップ#061では、サブ
ルーチン「P像の検出」を実行する。
In step # 061, which is a branch destination, a subroutine "detection of P image" is executed.

【0125】サブルーチン「P像の検出」は、前述した
角膜反射像(P像)の位置を検出するための処理であ
り、エリアセンサ17の横方向(X軸)の1ラインの読
み込み毎に実行する。そのフローチャートを図10に示
し、以下これについて説明する。
The subroutine "detection of P image" is a process for detecting the position of the above-mentioned corneal reflection image (P image), and is executed every time one line of the area sensor 17 is read in the lateral direction (X axis). To do. The flowchart is shown in FIG. 10, which will be described below.

【0126】サブルーチン「P像の検出」がコールされ
ると、ステップ#200を経てステップ#201のルー
プ処理を実行する。ループ処理内では、像データ(配列
変数IM(i,k)に記憶)中のP像の位置を検索し、
もし見つかればエリアセンサ17上でのその位置を記憶
する。本実施の形態では、P像は2個発生するので、記
憶する位置情報も2個となる。
When the subroutine "P image detection" is called, the loop processing of step # 201 is executed after step # 200. In the loop processing, the position of the P image in the image data (stored in the array variable IM (i, k)) is searched,
If found, its position on the area sensor 17 is stored. In this embodiment, since two P images are generated, the number of pieces of position information to be stored is also two.

【0127】ループ内の最初のステップ#202では、
所定位置の像データがP像としての条件を満足するか否
かを判定する。条件としては、次のようなものである。
In the first step # 202 in the loop,
It is determined whether the image data at the predetermined position satisfies the condition for the P image. The conditions are as follows.

【0128】ステップ#202)の「P像条件」 IM(1,2)>C2 かつ IM(1,1)>C2 かつ IM(1,3)>C2 かつ IM(I−1,2)>C2 かつ IM(I+1,2)>C2 但し、C1,C2は□値定数で、C1≧C2なる関係が
あり、例えば、C1=230,C2=200である。ま
た、変数Iはループ処理のループ変数であり、エリアセ
ンサ17の横方向(X軸)の位置を表している。
"P image condition" of step # 202) IM (1,2)> C2 and IM (1,1)> C2 and IM (1,3)> C2 and IM (I-1,2)> C2 IM (I + 1,2)> C2 However, C1 and C2 are square value constants, and have a relationship of C1 ≧ C2. For example, C1 = 230 and C2 = 200. A variable I is a loop variable for loop processing and represents the position of the area sensor 17 in the horizontal direction (X axis).

【0129】上記条件は、P像が図6(A),(B)に
示すように、スポット像のようなものであることに注目
して、横/縦方向(X/Y軸)の両方向に定義したもの
である。この条件が満足されたとき、位置(1,2)に
P像が存在するものと見なす。
With the above conditions, paying attention to the fact that the P image is like a spot image as shown in FIGS. 6 (A) and 6 (B), the horizontal / vertical directions (X / Y axes) in both directions. As defined in. When this condition is satisfied, it is considered that the P image exists at the position (1,2).

【0130】前述したように配列変数IM(i,k)は
エリアセンサの横方向(X軸)の1ライン読み込み毎に
更新しており、縦方向(Y軸)位置JラインはIM
(i,4)[i=0〜149]に格納されている。従っ
て、変数IMに対するアドレス(1,2)は、エリアセ
ンサ17上では、位置(I,J−2)となる。
As described above, the array variable IM (i, k) is updated each time the area sensor reads one line in the horizontal direction (X axis), and the vertical direction (Y axis) position J line is IM.
It is stored in (i, 4) [i = 0 to 149]. Therefore, the address (1, 2) for the variable IM is the position (I, J-2) on the area sensor 17.

【0131】ステップ#202にて、P像の条件を満足
する像データがあった場合、ステップ#203以降へ分
岐しない場合には外側のループ変数Iがカウントアップ
される。
At step # 202, if there is image data satisfying the P image condition, and if the process does not branch to step # 203 and thereafter, the outer loop variable I is incremented.

【0132】ステップ#203以降は、2個のP像の存
在範囲(X軸方向の範囲[IP1〜IP2],Y軸方向
の範囲[JP1〜JP2])を決定する処理である。
Step # 203 and subsequent steps are the processes for determining the existence range of the two P images (range in the X-axis direction [IP1 to IP2], range in the Y-axis direction [JP1 to JP2]).

【0133】まず、ステップ#203では、エリアセン
サ17の横方向(X軸)の位置を表す変数Iと変数IP
1を比較して、I<IP1ならばステップ#204へ分
岐する。すなわち、P像の存在範囲のうち、横方向の左
方にあるP像位置IP1の位置よりも、変数Iの位置の
方が左にあれば、変数IP1を書き換えようとするもの
である。
First, in step # 203, a variable I and a variable IP representing the lateral (X-axis) position of the area sensor 17 are displayed.
1 is compared, and if I <IP1, the process branches to step # 204. That is, if the position of the variable I is on the left side of the position of the P image position IP1 on the left side in the horizontal direction in the existence range of the P image, the variable IP1 is rewritten.

【0134】ステップ#204では、変数IP1に変数
Iの値を格納し、そのときの縦方向の位置(J−2)を
変数JP1に格納する。続くステップ#205,ステッ
プ#206では、P像存在範囲のうち、横方向の右方に
あるP像位置IP2と、その縦方向位置を表すJP2の
更新の判定を行う。
At step # 204, the value of the variable I is stored in the variable IP1, and the vertical position (J-2) at that time is stored in the variable JP1. In subsequent steps # 205 and # 206, it is determined whether or not the P image position IP2 on the right side in the horizontal direction of the P image existing range and JP2 representing the vertical position thereof are updated.

【0135】以上のようにして、ステップ#201のル
ープ処理で、横方向(X軸)の位置Iが“0”から“1
49”まで、1ライン毎になす処理が終了すると次のス
テップ#207へ移行する。
As described above, in the loop process of step # 201, the position I in the horizontal direction (X axis) is changed from "0" to "1".
When the processing for each line is completed up to 49 ", the process proceeds to the next step # 207.

【0136】ステップ#207では、後の処理で参照す
る変数XP1,XP2,YP1,YP2の図中の式の如
く計算する。これらの変数の意味については、図14の
円の最小2乗推定サブルーチンの説明のところで詳述す
るが、簡単に述べるならば、瞳孔中心を検出する際に、
P像位置周辺に発生する偽の瞳孔エッジ情報を排除する
ために使用するものである。
At step # 207, the variables XP1, XP2, YP1 and YP2 to be referred to in the subsequent processing are calculated according to the equations in the figure. The meanings of these variables will be described in detail in the explanation of the least squares estimation subroutine for the circle in FIG. 14. Briefly speaking, when detecting the center of the pupil,
This is used to eliminate false pupil edge information generated around the P image position.

【0137】ステップ#207の処理が終了すると、次
のステップ#208でサブルーチン「P像の検出」をリ
ターンする。
When the processing in step # 207 is completed, the subroutine "P image detection" is returned in step # 208.

【0138】再び、図8のフローチャートに戻る。Returning again to the flowchart of FIG.

【0139】ステップ#061のサブルーチン「P像の
検出」が完了すると、次のステップ#062でサブルー
チン「瞳孔エッジの検出」を実行する。「瞳孔エッジの
検出」は眼球反射像中の瞳孔エッジ(光彩と瞳孔の境
界)の位置検出を行うサブルーチンであり、図11にそ
のフローチャートを示しており、以下これについて説明
する。
When the subroutine "P image detection" in step # 061 is completed, the subroutine "pupil edge detection" is executed in step # 062. The "pupil edge detection" is a subroutine for detecting the position of the pupil edge (border between the iris and the pupil) in the eyeball reflection image, and its flowchart is shown in FIG. 11, which will be described below.

【0140】サブルーチン「瞳孔エッジの検出」がコー
ルされると、ステップ#300を経て、次のステップ#
301のループ処理が実行する。ステップ#301は、
図10のステップ#201と同様に、エリアセンサ17
の横方向(X軸)の位置を表す変数Iをループ変数とす
るループ処理である。
When the subroutine "pupil edge detection" is called, the process proceeds to step # 300 and then to the next step #.
The loop process 301 is executed. Step # 301 is
As in step # 201 of FIG. 10, the area sensor 17
Is a loop process in which a variable I representing the position in the horizontal direction (X axis) is used as a loop variable.

【0141】ステップ#301のループ処理内では、像
データ中に瞳孔のエッジを表す特徴があるかどうかを検
索し、もしあれば、その位置情報を記憶する。瞳孔エッ
ジ位置情報は、配列変数EDGDTP(m,n)に格納
される。配列変数EDGDT(m,n)のデータ形式は
以下のように設定している。
In the loop processing of step # 301, it is searched whether or not the image data has a feature representing the edge of the pupil, and if there is, the position information is stored. The pupil edge position information is stored in the array variable EDGDTP (m, n). The data format of the array variable EDGDT (m, n) is set as follows.

【0142】 EDGDT(m,1)………m番目のエッジ点の輝度 EDGDT(m,2)………m番目のエッジ点のX軸座
標 EDGDT(m,3)………m番目のエッジ点のY軸座
標 但し、mは瞳孔エッジ検出の逐次処理の過程で見つかっ
たエッジ点の順番である。従って、エッジがm個検出さ
れたならば、配列変数EDGDTの容量は[M×3]バ
イト程が必要となる。フローチャートでは、エッジの検
出個数は変数EDGCNTでカウントしている。
EDGDT (m, 1) ... Luminance of the mth edge point EDGDT (m, 2) .... X-axis coordinate of the mth edge point EDGDT (m, 3). However, m is the order of the edge points found during the sequential processing of pupil edge detection. Therefore, if m edges are detected, the capacity of the array variable EDGDT requires about [M × 3] bytes. In the flowchart, the number of detected edges is counted by the variable EDGCNT.

【0143】さて、ループ内の最初のステップ#302
では、像データIM(I,2)の近傍に、過去に検出さ
れたエッジ点があるか否かを判定している。もう少し詳
しく説明すると次のようになる。
Now, the first step # 302 in the loop
Then, it is determined whether or not there is an edge point detected in the past in the vicinity of the image data IM (I, 2). The more detailed explanation is as follows.

【0144】外側のループ処理のループ変数Iは、エリ
アセンサ17の横方向(X軸)の位置を表し、像データ
を格納している配列変数IM(i,k)に対するアドレ
ス(I,2)は、今まさに瞳孔エッジであるか否かを検
出しようとしている点(画素の座標)である。この
(I,2)の点に隣接する各点が、過去の逐次処理の過
程で瞳孔エッジと判定されたかどうかを、エッジ位置情
報を格納している配列変数EDGDT(m,n)から調
べようとするものである。
The loop variable I of the outer loop processing represents the lateral (X-axis) position of the area sensor 17, and the address (I, 2) for the array variable IM (i, k) that stores the image data. Is the point (pixel coordinate) that is about to be detected whether or not it is the pupil edge. It will be checked from the array variable EDGDT (m, n) that stores edge position information whether or not each point adjacent to the point (I, 2) has been determined to be a pupil edge in the course of past sequential processing. It is what

【0145】ステップ#302の判定条件を具体的に記
述すると、次の様になる。
The determination condition of step # 302 will be described in detail as follows.

【0146】ステップ#302の「判定条件」 なる{EDGDT(m,2) ,EDGDT(m,3)}
が存在する。但し、m=0〜(EDGCNT−1)であ
る。
"Judgment condition" in step # 302 Becomes {EDGDT (m, 2), EDGDT (m, 3)}
Exists. However, m = 0 to (EDGCNT-1).

【0147】現在検定しようとしている座標は、
{(I),(J−2)}であるから、上記座標は現在の
座標に対して順に左隣、左上隣、上隣、右上隣の位置を
表している。
The coordinates currently being tested are:
Since it is {(I), (J-2)}, the above-mentioned coordinates represent the positions of the left side, the upper left side, the upper side, and the upper right side in order with respect to the current coordinates.

【0148】また、EDGDT(m,2)、EDGDT
(m,3)はそれぞれm番目のエッジ点のX軸座標,Y
軸座標を表しているから、結局上記条件は、現在座標の
左隣,左上隣,上隣,右上隣の位置にエッジ点があった
かどうかを判定していることになる。
Further, EDGDT (m, 2), EDGDT
(M, 3) is the X-axis coordinate of the m-th edge point, Y
Since the axis coordinates are represented, the above condition is, after all, determined whether or not there is an edge point at the position of the left side, the upper left side, the upper side, and the upper right side of the current coordinate.

【0149】ステップ#302において、座標(I,J
−2)の近傍にエッジ点があると判定された場合には、
ステップ#304へ、そうでない場合にはステップ#3
03へ分岐し、それぞれ別の条件を用いて瞳孔エッジの
判定を行う。
At step # 302, the coordinates (I, J
If it is determined that there is an edge point in the vicinity of -2),
Go to step # 304, otherwise step # 3
The process branches to 03, and the pupil edge is determined using different conditions.

【0150】近傍にエッジ点が無い場合について先に説
明する。
The case where there is no edge point in the vicinity will be described first.

【0151】ステップ#303では、現在検定しようと
している座標(I,J−2)の像データが瞳孔エッジの
条件(ステップ#303での判定条件を「エッジ条件
1」と記す)を満たすか否かを判定している。座標
(I,J−2)の像データは配列変数IM(I,2)に
格納されていることに留意されたい。
At step # 303, it is determined whether or not the image data of the coordinate (I, J-2) currently to be verified satisfies the condition of the pupil edge (the judgment condition at step # 303 is referred to as "edge condition 1"). Is being determined. Note that the image data at coordinates (I, J-2) is stored in the array variable IM (I, 2).

【0152】判定条件は以下のようになる。The judgment conditions are as follows.

【0153】ステップ#303の「エッジ条件1」 1.{IM(I−1,2)−IM(1,2)}>C3か
つ {IM(I−2,2)−IM(I−1,2)}<C3か
つ IM(I,2)<a 2.{IM(I+1,2)−IM(1,2)}>C3か
つ {IM(I+2,2)−IM(I+1,2)}>C3か
つ IM(I,2)<a 3.{IM(I,1)−IM(1,2)}>C3かつ {IM(I,0)−IM(I,1)}>C3かつ IM(I,2)<a 4.{IM(I,3)−IM(1,2)}>C3かつ {IM(I,4)−IM(I,3)}>C3かつ IM(I,2)<a 上記1.〜4.を満足すれば、座標(I,J−2)をエ
ッジ点と見なす。但し、a=EYEIN+4で、EYE
MINは現在の逐次処理までの像データ中の最低輝度値
である。
"Edge condition 1" in step # 303 1. {IM (I-1,2) -IM (1,2)}> C3 and {IM (I-2,2) -IM (I-1,2)} <C3 and IM (I, 2) <a 2. {IM (I + 1,2) -IM (1,2)}> C3 and {IM (I + 2,2) -IM (I + 1,2)}> C3 and IM (I, 2) <a3. 3. {IM (I, 1) -IM (1,2)}> C3 and {IM (I, 0) -IM (I, 1)}> C3 and IM (I, 2) <a4. {IM (I, 3) -IM (1,2)}> C3 and {IM (I, 4) -IM (I, 3)}> C3 and IM (I, 2) <a Above 1. ~ 4. If is satisfied, the coordinate (I, J-2) is regarded as an edge point. However, if a = EYEIN + 4, EYE
MIN is the lowest luminance value in the image data until the current sequential processing.

【0154】上記C3,C4の値は、例えば、C3=
3,C4=20である。
The values of C3 and C4 are, for example, C3 =
3, C4 = 20.

【0155】上記条件は、瞳孔エッジ(光彩と瞳孔の境
界)においては連続して所定の輝度差があり、同時に瞳
孔部は眼球反射像の中で最も低い輝度となることを特徴
として捉えている。上記1.と2.の条件はエリアセン
サ17の横方向(X軸)のエッジを抽出し、上記3.と
4.の条件は縦方向(Y軸)のエッジを抽出する。
The above condition is characterized in that there is a predetermined brightness difference continuously at the pupil edge (border between the iris and the pupil), and at the same time, the pupil part has the lowest brightness in the eyeball reflection image. . Above 1. And 2. The condition (3) is that the edge of the area sensor 17 in the lateral direction (X axis) is extracted, and the above 3. And 4. The condition is to extract edges in the vertical direction (Y axis).

【0156】座標(I,J−2)が瞳孔エッジ点として
抽出された場合には、ステップ#303からステップ#
305へ分岐し、エッジ点の輝度値と座標を記憶する。
When the coordinate (I, J-2) is extracted as the pupil edge point, steps # 303 to #
The flow branches to 305 to store the brightness value and coordinates of the edge point.

【0157】ステップ#305では、エッジ位置情報格
納用の配列変数EDGDT(m,k)に、次のように情
報を格納する。
In step # 305, information is stored in the array variable EDGDT (m, k) for storing edge position information as follows.

【0158】 EDGDT(EDGCNT,1)←IM(I,2) EDGDT(EDGCNT,2)←I) EDGDT(EDGCNT,3)←J−2 なお、IM(I,2)はEDGCNT番目に検出された
エッジ点の輝度、Iは同X座標、(J−2)は同Y座標
である。
EDGDT (EDGCNT, 1) ← IM (I, 2) EDGDT (EDGCNT, 2) ← I) EDGDT (EDGCNT, 3) ← J-2 Note that IM (I, 2) was detected at the EDGCNT position. The brightness of the edge point, I is the same X coordinate, and (J-2) is the same Y coordinate.

【0159】そして、検出されたエッジ点の個数をカウ
ントする変数EDGCNTを1つカウントアップする。
Then, the variable EDGCNT for counting the number of detected edge points is incremented by one.

【0160】ステップ#305の処理が終了すると、外
側のループ処理のループ変数I(横方向、X軸の座標を
表す)をカウントアップし、再びステップ#302以降
のフローチャートを実行する。
When the process of step # 305 ends, the loop variable I (lateral direction, which represents the coordinate of the X axis) of the outer loop process is counted up, and the flowcharts of step # 302 and thereafter are executed again.

【0161】さて、ステップ#302において、現在座
標(I,J−2)の近傍にエッジ点があると判定された
場合について説明する。
Now, a case will be described in which it is determined in step # 302 that there is an edge point near the current coordinate (I, J-2).

【0162】その場合、ステップ#304へ分岐し、ス
テップ#303と同じように、現在検定しようとしてい
る座標(I,J−2)の像データが瞳孔エッジの条件
(ステップ#304での判定条件を「エッジ条件2」と
記す)を満たすか否かを判定する。
In this case, the process branches to step # 304, and as in step # 303, the image data of the coordinates (I, J-2) currently to be verified is the condition of the pupil edge (the judgment condition in step # 304). Is described as “edge condition 2”).

【0163】ここで、「エッジ条件2」は「エッジ条件
1」よりも、いわば緩い条件を設定してある。本実施の
形態では、条件式に同じで値C3,C4を、それぞれC
3´,C4´とし、次のように変えている。
Here, the “edge condition 2” is set so to speak, as it were, than the “edge condition 1”. In this embodiment, the values C3 and C4 are the same as in the conditional expression,
3 ', C4', and changed as follows.

【0164】C3´=2,C4´=30 のように設定することで、「エッジ条件1」よりもエッ
ジと判定される率が向上する。
By setting C3 '= 2 and C4' = 30, the rate of being judged as an edge is improved as compared with "edge condition 1".

【0165】エッジ判定をこのように2種類用意する理
由は、そもそもエッジ点は独立して存在するものではな
く、連続しているものであり、ある点がエッジ点である
ならば、その近傍が同じエッジ点である可能性が高いで
あろうという観点に基づいている。
The reason for preparing two types of edge judgments in this way is that edge points do not exist independently in the first place but are continuous, and if a certain point is an edge point, its vicinity is It is based on the viewpoint that they are likely to be at the same edge point.

【0166】ステップ#304の「エッジ条件2」でエ
ッジ点と判定された場合には、ステップ#305へ分岐
して、その座標の情報を記憶する。
If the edge point is determined in the "edge condition 2" of step # 304, the process branches to step # 305 and the information of the coordinates is stored.

【0167】以上のようにしてループ変数Iが“14
9”となるまでステップ#301のループ処理を実行
し、エリアセンサ17の横方向(X軸)の1ライン分の
エッジ検出の処理を終了すると、ステップ#306へ移
行し、サブルーチン「瞳孔エッジの検出」をリターンす
る。
As described above, the loop variable I is "14".
The loop process of step # 301 is executed until the number becomes 9 ″, and when the edge detection process for one line in the horizontal direction (X axis) of the area sensor 17 is completed, the process proceeds to step # 306, and the subroutine “pupil edge "Detection" is returned.

【0168】再び、図8の説明に戻る。Returning again to the description of FIG.

【0169】ステップ#062のサブルーチン「瞳孔エ
ッジの検出」が完了すると、外側のループ処理ステップ
#058のループ変数J(エリアセンサ17の縦方向、
Y軸の座標を表す)をカウントアップし、Jが“99”
となるまで再びステップ#059以降の処理を実行す
る。
When the subroutine "pupil edge detection" in step # 062 is completed, the loop variable J in the outer loop processing step # 058 (vertical direction of the area sensor 17,
Counts up (representing the Y-axis coordinate) and J is "99"
The processings of step # 059 and thereafter are executed again until it becomes.

【0170】ループ変数Jが“99”となり、エリアセ
ンサ17の指定された画素の読み込みと処理を終了する
と、ステップ#058からステップ#062へ移行す
る。
When the loop variable J becomes "99" and the reading and processing of the designated pixel by the area sensor 17 are completed, the process proceeds from step # 058 to step # 062.

【0171】ステップ#063〜#065では、ステッ
プ#058のループ処理内で検出されたP像位置及び瞳
孔エッジ情報から、瞳孔の中心座標の検出と視線の検出
を行う。
In steps # 063 to # 065, the center coordinates of the pupil and the line of sight are detected from the P image position and the pupil edge information detected in the loop processing of step # 058.

【0172】まず、ステップ#063では、サブルーチ
ン「瞳孔推定範囲の設定」をコールする。
First, in step # 063, a subroutine "pupil estimation range setting" is called.

【0173】ステップ#062のサブルーチン「瞳孔エ
ッジの検出」で検出された複数の瞳孔エッジ点には、実
際に瞳孔円(光彩と瞳孔の境界が形成する円)を表して
いるエッジ点以外にも、種々のノイズによって発生した
偽のエッジ点も含まれている。
In addition to the edge points that actually represent the pupil circle (the circle formed by the boundary between the iris and the pupil), the plurality of pupil edge points detected by the "pupil edge detection" subroutine of step # 062 , False edge points caused by various noises are also included.

【0174】「瞳孔推定範囲の設定」は、上記偽のエッ
ジ点を排除するために、P像位置情報に基づいて、確か
らしいエッジ点の座標範囲を限定するためのサブルーチ
ンであり、そのフローチャートを図12に示し、以下こ
れについて説明する。
The "pupil estimation range setting" is a subroutine for limiting the probable edge point coordinate range based on the P image position information in order to eliminate the false edge points. As shown in FIG. 12, this will be described below.

【0175】サブルーチン「瞳孔推定範囲の設定」がコ
ールされると、ステップ#400を経て、ステップ#4
01を実行する。
When the subroutine "pupil estimation range setting" is called, through step # 400, step # 4
Execute 01.

【0176】ステップ#401では、先に「P像の検
出」サブルーチンで説明したP像位置範囲、すなわち横
方向(X軸)にIP1〜IP2、縦方向(Y軸)にJP
1〜JP2の情報を用いて、瞳孔円の座標範囲IS1,
IS2,JS1,JS2を次の式に従って計算する。
In step # 401, the P image position range described previously in the "P image detection" subroutine, that is, IP1 to IP2 in the horizontal direction (X axis) and JP in the vertical direction (Y axis).
Using the information of 1 to JP2, the pupil circle coordinate range IS1,
IS2, JS1, and JS2 are calculated according to the following formula.

【0177】IS1←IP1−20 IS2←IP2+20 JS1←(JP1+JP2)/2−20 JS2←(JP1+JP2)/2+40 確からしい瞳孔エッジ点は、エリアセンサ17の横方向
(X軸)の範囲IS1〜IS2、縦方向(Y軸)の範囲
JS1〜JS2に存在する点である、と設定する。
IS1 ← IP1-20 IS2 ← IP2 + 20 JS1 ← (JP1 + JP2) / 2-20 JS2 ← (JP1 + JP2) / 2 + 40 Probable pupil edge points are in the lateral direction (X axis) range IS1 to IS2 of the area sensor 17. It is set as a point existing in the range JS1 to JS2 in the vertical direction (Y axis).

【0178】本実施の形態の光学系では、図6(A)示
した様に、2個のP像は常に瞳孔円の円内の上部に存在
するようになっており、これから上記計算式が成立す
る。
In the optical system of this embodiment, as shown in FIG. 6 (A), the two P images are always present in the upper part of the circle of the pupil circle. To establish.

【0179】ステップ#401の計算の後は、ステップ
#402へ移行し、サブルーチン「瞳孔推定範囲の設
定」をリターンする。
After the calculation in step # 401, the process proceeds to step # 402, and the subroutine "set pupil estimation range" is returned.

【0180】図8に戻って、次にステップ#062のサ
ブルーチン「瞳孔中心の検出」をコールする。
Returning to FIG. 8, the subroutine "pupil center detection" in step # 062 is called next.

【0181】「瞳孔中心の検出」は確からしい瞳孔エッ
ジ点の座標から瞳孔円の形状(中心の座標と大きさ)を
推定するサブルーチンであり、そのフローチャートを図
13〜図15に示した。
"Detection of pupil center" is a subroutine for estimating the shape (coordinates and size of the center) of the pupil circle from the coordinates of probable pupil edge points, and the flowcharts thereof are shown in FIGS.

【0182】瞳孔円の形状の推定には「最小の2乗法」
を用いる。その考え方について先に述べておく。
For estimating the shape of the pupil circle, the “least square method” is used.
Is used. I will explain the idea first.

【0183】円の公式は周知のように、中心座標を
(a,b)、半径をcとすると、 (X−a)2 +(Y−b)2 =C2 ……(10) で与えられる。
As is well known, the circle formula is given by (X−a) 2 + (Y−b) 2 = C 2 (10) where the center coordinates are (a, b) and the radius is c. To be

【0184】複数の観測点(x1,y1)、(x2,y
2)……(xn,yn)から、次式の誤差量ERが最小
となるように、a,b,cを決定することを考える。
A plurality of observation points (x1, y1), (x2, y
2) Considering that a, b, and c are determined from (xn, yn) so that the error amount ER in the following equation is minimized.

【0185】 ER=Σ[(xi−a)2 +(yi−b)2 −C2 ] ……(11) ERは各観測点とa,b,cで決定される円の法線方向
の距離(誤差)の2乗和であり、これを最小にする。
ER = Σ [(xi−a) 2 + (yi−b) 2 −C 2 ] ... (11) ER is the normal direction of the circle determined by each observation point and a, b, c. It is the sum of squares of the distance (error) and minimizes this.

【0186】ERをa,b,cで各々偏微分し、0とお
く。
ER is partially differentiated by a, b, and c, and is set to 0.

【0187】 δER/δa=Σ[−4(xi−a)3 −4(xi−a)(yi−b)2 +4c2 (xi−a)]=0 ……(12) δER/δb=Σ[−4(xi−b)3 −4(xi−a)2 (yi−b) +4c2 (xi−b)]=0 ……(13) δER/δc=Σ[−4c3 −4(yi−b)2 c +4c(xi−a)2 ] =0 ……(14) 但し、f=1〜nyとする。ΔER / δa = Σ [-4 (xi-a) 3 -4 (xi-a) (yi-b) 2 + 4c 2 (xi-a)] = 0 (12) δER / δb = Σ [-4 (xi-b) 3 -4 (xi-a) 2 (yi-b) + 4c 2 (xi-b)] = 0 ...... (13) δER / δc = Σ [-4c 3 -4 (yi -b) 2 c + 4c (xi -a) 2] = 0 ...... (14) where the f = 1~ny.

【0188】上記式(14)より δER/δc=Σ C2 =Σ[(xi−a)2 +(yi−b)2 ]/n =0 ……(15) 上記式(15)を式(13),(14)に代入し、ここ
で X1=Σxi ………(16) X2=Σxi2 ………(17) X3=Σxi3 ………(18) Y1=Σyi ………(19) Y2=Σyi2 ………(20) Y3=Σyi3 ………(21) Z1=Σxiyi ………(22) Z2=Σxi2 yi ………(23) Z3=Σxiyi2 ………(24) とおき、さらに、 V1=X2−X12 /n ………(25) V2=Y2−Y1/n ………(26) W1=X3−Z3 ………(27) W2=Y3−Z3 ………(28) W3=(X2+Y2)/n ………(29) W4=Z1−X1Y1/n ………(30) W5=(Z1−2・X1Y1/n)Z1 ………(31) W6=X1Y2 ………(32) W7=X2Y1 ………(33) とおいて整理すると、円の中心座標a,bは a={W1V2−W2W4−(W6−Y1Z1)W3} /2(X2V2−W5−W6X1/n) ………(34) b={W2V1−W1W4−(W7−Y1Z1)W3} /2(X2V2−W5−W7X1/n) ………(35) で計算される。
From the above equation (14), δER / δc = ΣC 2 = Σ [(xi-a) 2 + (yi-b) 2 ] / n = 0 (15) The above equation (15) is changed to the equation (15). 13) and (14), where X1 = Σxi ... (16) X2 = Σxi 2 (17) X3 = Σxi 3 (18) Y1 = Σyi (19) Y2 = Σyi 2 (20) Y3 = Σyi 3 (21) Z1 = Σxiiy (22) Z2 = Σxi 2 yi (23) Z3 = Σxii 2 (24) Further, V1 = X2-X1 2 / n (25) V2 = Y2-Y1 / n (26) W1 = X3-Z3 (27) W2 = Y3-Z3 (28) W3 = (X2 + Y2) / n (29) W4 = Z1-X1Y1 / n (30) W5 = (Z1- 2 · X1Y1 / n) Z1 (31) W6 = X1Y2 (32) W7 = X2Y1 (33) When arranged as follows, the center coordinates a and b of the circle are a = {W1V2-W2W4 -(W6-Y1Z1) W3} / 2 (X2V2-W5-W6X1 / n) ... (34) b = {W2V1-W1W4- (W7-Y1Z1) W3} / 2 (X2V2-W5-W7X1 / n) … Calculated by (35).

【0189】また、視線(注視点)の計算には直接関係
ないが、半径cは c={W3−2(aX1+bY1)/n+a2 +b21/2 …(36) で計算される。
[0189] Also, although not directly related to the calculation of the line of sight (fixation point), the radius c is calculated as c = {W3-2 (aX1 + bY1 ) / n + a 2 + b 2} 1/2 ... (36).

【0190】本発明の実施の形態では、さらに誤差量E
Rを瞳孔中心検出の信頼性判定に用いており、ERは次
の式で与えられる。
In the embodiment of the present invention, the error amount E is further added.
R is used for the reliability determination of pupil center detection, and ER is given by the following equation.

【0191】 ER=X4−4aX3+2(2a2 +d)X2−4adX1 +Y4−4bY3+2(2b2 +d)Y2−4dbY1 +2(Z4−2aZ3−2bZ2+4abZ1)+d2 n ………(37) 但し、 X4=Σxi4 ………(38) X4=Σyi4 ………(39) Z4=Σxi2 yi2 ………(40) d=a2 +b2 +c2 ………(41) としている。[0191] ER = X4-4aX3 + 2 (2a 2 + d) X2-4adX1 + Y4-4bY3 + 2 (2b 2 + d) Y2-4dbY1 +2 (Z4-2aZ3-2bZ2 + 4abZ1) + d 2 n ......... (37) However, X4 = Σxi 4 (38) X4 = Σyi 4 (39) Z4 = Σxi 2 yi 2 (40) d = a 2 + b 2 + c 2 (41)

【0192】さて、以上のような数値計算の裏付けに従
って、図13〜図15のフローチャートの説明を行う。
Now, the flowcharts of FIGS. 13 to 15 will be described in accordance with the above-described proof of the numerical calculation.

【0193】サブルーチン「瞳孔中心の検出」がコール
されると、図13に示すステップ#500を経て、ステ
ップ#501の「円の最小2乗推定」サブルーチンをコ
ールする。
When the subroutine "pupil center detection" is called, the "circle least square estimation" subroutine of step # 501 is called after step # 500 shown in FIG.

【0194】「円の最小2乗推定」は上記式に従って瞳
孔円の中心座標(a,b)と誤差量をERを計算するサ
ブルーチンであり、そのフローチャートを図14に示し
ており、以下これについて説明する。
"Least square estimation of circle" is a subroutine for calculating the ER of the central coordinates (a, b) of the pupil circle and the error amount according to the above equation, and its flowchart is shown in FIG. explain.

【0195】同サブルーチンでは、さらに最低輝度の見
直しと、P像による偽の瞳孔エッジの排除を行ってい
る。
In the same sub-routine, the minimum luminance is further reviewed and the false pupil edge due to the P image is eliminated.

【0196】サブルーチン「円の最小2乗推定」がコー
ルされると、ステップ#600を経て、ステップ#60
1へ移行する。
When the subroutine "least square estimation of circle" is called, the process goes through step # 600 to step # 60.
Move to 1.

【0197】ステップ#601では、上述した最小2乗
推定式のワーク変数の初期化を行っている。次のステッ
プ#602は、変数Lをループ変数とするループ処理で
あり、記憶している瞳孔エッジ情報を基に最小2乗法の
計算の前半を行う部分である。
At step # 601, the work variables of the above least squares estimation formula are initialized. The next step # 602 is a loop process in which the variable L is a loop variable, and is the part that performs the first half of the least squares method calculation based on the stored pupil edge information.

【0198】いま、瞳孔エッジ点として、(EDGCN
T−1)個の情報が配列変数EDGDTに記憶されてい
る。ループ変数Lは記憶された順番を表している。
Now, as the pupil edge point, (EDGCN
T-1) pieces of information are stored in the array variable EDGDT. The loop variable L represents the stored order.

【0199】ループ処理内の最初のステップ#603で
は、L番目のエッジ点の輝度値EDGDT(L,1)と
(EYRMIN+C5)を比較し、輝度値の方が大きけ
れば分岐し、現在のリープ変数Lの処理を終了する。
At the first step # 603 in the loop processing, the brightness values EDGDT (L, 1) of the Lth edge point are compared with (EYRMIN + C5), and if the brightness value is larger, the process branches and the current leap variable is reached. The process of L is completed.

【0200】本実施の形態では、エリアセンサ17の光
電変換信号を読み込みながら、逐次的な処理を行ってい
るため、エッジ点検出の部分で使用している最低輝度値
も、その時点までの最低輝度値にすぎない。
In this embodiment, since the photoelectric conversion signal of the area sensor 17 is read and the sequential processing is performed, the lowest luminance value used in the edge point detection portion is also the lowest until that point. It is just a brightness value.

【0201】ゆえに、エッジ点として検出された点も、
実は本当の最低輝度値で判定されたものではなく、実際
にはエッジ点としてふさわしくない点も含まれている可
能性がある。そこで、このステップの目的は、最終的に
決定された最低輝度値に基づいて、もう一度最低輝度値
の判定を行い、瞳孔エッジとしてふさわしくない点を排
除しようとするものである。
Therefore, the points detected as edge points are also
Actually, it is not determined by the true minimum luminance value, and there may be a point that is actually not suitable as an edge point. Therefore, the purpose of this step is to determine the lowest luminance value again based on the finally determined lowest luminance value, and to eliminate points that are not suitable as pupil edges.

【0202】値C5としては、例えば、C5=20であ
る。
The value C5 is, for example, C5 = 20.

【0203】ステップ#603にて、輝度値が小さいと
判断された場合は、ステップ#604)へ移行し、横方
向(X軸)座標と縦方向(Y軸)座標をそれぞれ変数
X,Yに一時的に格納する。
If it is determined in step # 603 that the luminance value is small, the process proceeds to step # 604), and the horizontal (X-axis) coordinates and the vertical (Y-axis) coordinates are set to variables X and Y, respectively. Store temporarily.

【0204】次のステップ#605では、L番目のエッ
ジ点の横方向座標Xが、横方向の範囲IS1〜IS2に
適合しているか否かを判断する。IS1,IS2はサブ
ルーチン「瞳孔推定範囲の設定」で求められた値であ
り、この範囲に入っていないエッジ点は瞳孔のエッジ点
として認めないように分岐し、現在のループ変数Lの処
理を終了する。
In the next step # 605, it is determined whether or not the horizontal coordinate X of the L-th edge point is within the horizontal range IS1-IS2. IS1 and IS2 are values obtained by the subroutine "setting of pupil estimation range". Edge points that are not within this range are branched so as not to be recognized as edge points of the pupil, and the processing of the current loop variable L ends. To do.

【0205】その次のステップ#606は、今度は縦方
向について同様の判定を行っている。L番目のエッジ点
が瞳孔推定範囲に存在していれば、ステップ#607へ
移行する。
At the next step # 606, the same judgment is made in the vertical direction. If the L-th edge point exists in the pupil estimation range, the process proceeds to step # 607.

【0206】ステップ#607,ステップ#608は、
L番目のエッジ点の座標がP像の近傍であるかどうかを
判断している。
Steps # 607 and # 608 are
It is determined whether the coordinates of the L-th edge point are near the P image.

【0207】XP1,XP2,YP1,YP2はサブル
ーチン「P像の検出」で決定された値であり、エッジ点
の座標が横方向の範囲XP1〜XP2,縦方向の範囲Y
P1〜YP2に入っている場合には分岐し、現在のルー
プ変数Lの処理を終了するようにしている。
XP1, XP2, YP1 and YP2 are values determined in the subroutine "P image detection", and the coordinates of the edge points are in the horizontal directions XP1 to XP2 and the vertical range Y.
If it is in P1 to YP2, the process branches to end the processing of the current loop variable L.

【0208】これは、本実施の形態の光学系では、2個
のP像が瞳孔円内の上部に存在するようになっているた
め、スポット像的な形状をしているP像の「すそ」の部
分が前述した瞳孔エッジの条件に適合し易く、偽の瞳孔
エッジとして検出されてしまっているのを排除するため
である。
This is because in the optical system of the present embodiment, two P images are present in the upper part of the pupil circle, so that the "tail" of the P image having a spot image shape is formed. This is because it is easy to meet the above-mentioned condition of the pupil edge, and it is excluded that the portion is detected as a false pupil edge.

【0209】以上のステップ#603〜#608の判定
をパスしたエッジ点の座標情報がステップ#609にお
ける最小2乗法の計算に供される。
The coordinate information of the edge point that has passed the above determinations in steps # 603 to # 608 is used for the calculation of the least squares method in step # 609.

【0210】ステップ#609の計算は、前述の式(1
6)〜(24),(38)〜(40)を実行し、さら
に、計算に用いたエッジ点の個数Nをカウントアップす
る。
The calculation in step # 609 is performed by the above equation (1
6) to (24) and (38) to (40) are executed, and the number N of edge points used in the calculation is counted up.

【0211】ステップ#602のループ処理にて、記憶
していたエッジ点(EDGCNT−1)個の処理が全て
終了すると、ステップ#610へ移行する。
When all the stored edge points (EDGCNT-1) have been completed in the loop processing of step # 602, the routine proceeds to step # 610.

【0212】ステップ#610では、式(25)〜(3
5),(37)〜(41)を計算し、瞳孔円の中心座標
(a,b)と誤差ERを求める。
At step # 610, equations (25) to (3)
5), (37) to (41) are calculated to obtain the center coordinates (a, b) of the pupil circle and the error ER.

【0213】そして、次のステップ#611へ移行し、
サブルーチン「円の最小2乗推定」をリターンする。
Then, the process proceeds to the next Step # 611,
The subroutine "least square estimation of circle" is returned.

【0214】図13に戻って、ステップ#501のサブ
ルーチン「円の最小2乗推定」をリターンすると、次の
ステップ#502へ移行する。
Returning to FIG. 13, when the subroutine "estimation of least squares of circle" in step # 501 is returned, the process proceeds to the next step # 502.

【0215】ステップ#502では、円の推定に用いた
データの個数Nを値NTHRと比較して、N<NTHR
ならば、データ数が少ないために結果の信頼性が低いと
見なして、ステップ#512へ分岐し、検出失敗である
とする。NTHRとしては、例えば、NTHR=30で
ある。
At step # 502, the number N of data used for estimating the circle is compared with the value NTHR, and N <NTHR.
If so, it is considered that the reliability of the result is low because the number of data is small, and the process branches to step # 512 and the detection fails. As the NTHR, for example, NTHR = 30.

【0216】ステップ#502にて、N≧NTHRなら
ば、次のステップ#503にて、誤差量ERと値ERT
HRを比較する。この結果、ER<ERTHRならば、
誤差量が小さく検出結果が充分信頼できるものと見なし
て、ステップ#514へ分岐し、検出成功であるとす
る。値ERTHRとしては、例えば、ERTHR=10
000である。
If N ≧ NTHR in step # 502, the error amount ER and the value ERT are calculated in the next step # 503.
Compare HR. As a result, if ER <ERTHR,
Considering that the error amount is small and the detection result is sufficiently reliable, the process branches to step # 514 and the detection is successful. As the value ERTHR, for example, ERTHR = 10
000.

【0217】ステップ#503において、ER≧ERY
HRならば、データ数が充分にも拘らず誤差が大き過ぎ
るとして、ステップ#504以下の再計算を実施する。
誤差が大きくなってしまった原因としては、瞳孔円以外
の偽のエッジ点を計算に入れてしまったことが考えられ
る。
At step # 503, ER ≧ ERY
If it is HR, it is assumed that the error is too large even though the number of data is sufficient, and the recalculation from step # 504 onward is executed.
The reason why the error becomes large may be that false edge points other than the pupil circle are included in the calculation.

【0218】そこで、各エッジ点の座標の内、縦/横方
向で端の座標のエッジ点を計算から除外していって、誤
差が減少するかどうかを調べてゆく。
Therefore, among the coordinates of each edge point, the edge point at the end coordinate in the vertical / horizontal direction is excluded from the calculation, and it is investigated whether or not the error is reduced.

【0219】ステップ#504では、サブルーチン「円
の最小2乗推定 再計算1」をコールする。
At step # 504, the subroutine "least square estimation recalculation 1" is called.

【0220】「円の最小2乗推定 再計算1」は、最小
2乗推定の計算に用いたエッジ点の内、エリアセンサ1
7の縦方向上部にあるエッジ点(全体の1/5)を除外
して、再び最小2乗法推定の計算を行うサブルーチンで
あり、そのフローチャートを図15に示し、以下これに
ついて説明する。
The "least square estimation recalculation 1" is the area sensor 1 among the edge points used for the least square estimation calculation.
This is a subroutine for excluding the edge points (⅕ of the whole) at the upper part of the vertical direction of 7 and performing the calculation of the least squares method again, and its flowchart is shown in FIG. 15, which will be described below.

【0221】サブルーチン「円の最小2乗推定 再計算
1」がコールされると、図15(A)に示すステップ#
700を経て、次のステップ#701にて図中のように
変数の格納を行う。
When the subroutine "circle least squares estimation recalculation 1" is called, step # shown in FIG.
After 700, variables are stored in the next step # 701 as shown in the figure.

【0222】変数XS1〜ZS4は、ステップ#501
で計算した全エッジ点を使用したときの対応するワーク
変数の値を記憶する。そして、除外するエッジ点の個数
を全エッジ点の個数Nの1/5として変数Mに記憶して
おく。
Variables XS1 to ZS4 are set in step # 501.
The values of the corresponding work variables when all the edge points calculated in step 3 are used are stored. Then, the number of edge points to be excluded is stored in the variable M as ⅕ of the number N of all edge points.

【0223】次のステップ#702では、上記ステップ
#601と同様の計算のワークを初期化し、ステップ#
703へ移行する。ステップ#703は、上記ステップ
#602と同様のループ処理であり、このループ内で除
外するエッジ点の最小2乗法の計算を行う。
At the next step # 702, the same calculation work as at step # 601 is initialized, and step #
Move to 703. Step # 703 is a loop process similar to step # 602, and the least squares method of the edge points to be excluded in this loop is calculated.

【0224】本発明の実施の形態では、エリアセンサ1
7を縦方向上部から読み込む構成にしているから、エッ
ジ情報を記憶している配列変数EDGDT(m,k)に
は、縦方向の上部のエッジから順に格納されている。従
って、EDGDT(m,k)のmを0からカウントアッ
プしていけば、縦方向のエッジ点から撮り出せることに
なる。
In the embodiment of the present invention, the area sensor 1
Since 7 is read from the upper part in the vertical direction, the array variable EDGDT (m, k) storing the edge information is sequentially stored from the upper edge in the vertical direction. Therefore, if m of EDGDT (m, k) is counted up from 0, it is possible to take a picture from the edge point in the vertical direction.

【0225】さて、ステップ#703のループ内の最初
のステップ#704ではエッジ点(X,Y)が瞳孔エッ
ジとして有効か否かを判断しているが、これはステップ
#603〜#608と全く同様である。
Now, in the first step # 704 in the loop of step # 703, it is judged whether or not the edge point (X, Y) is effective as a pupil edge. This is exactly the same as steps # 603 to # 608. It is the same.

【0226】瞳孔エッジ点として有効と見なされた場合
にはステップ#705へ移行し、これもまたステップ#
609と同じ計算を実行する。
If the pupil edge point is considered to be effective, the process proceeds to step # 705, which is also performed at step # 705.
Perform the same calculation as 609.

【0227】そして、次のステップ#706にて、新た
に計算したエッジ点の個数Nと除外すべきエッジ点の個
数Mを比較して、M個の計算を終了すれば分岐し、外側
のステップ#703のループ処理を中止する。M個に達
していない場合は、ループ変数Lをカウントアップし、
再びステップ#704へ移行する処理を続行する。
Then, in the next step # 706, the number N of newly calculated edge points is compared with the number M of edge points to be excluded, and when the calculation of M pieces is completed, the process branches to the outside step. The loop process of # 703 is stopped. If the number has not reached M, the loop variable L is counted up,
The process of moving to step # 704 again is continued.

【0228】M個の計算が終了するとステップ#708
へ分岐し、瞳孔円の中心(a,b)及び誤差量ER´を
再計算する。
When M calculations are completed, step # 708.
And the center (a, b) of the pupil circle and the error amount ER 'are recalculated.

【0229】再計算の式は、次のようになる。The formula for recalculation is as follows.

【0230】 X1=X1S−X1 ………(16´) X2=X2S−X2 ………(17´) X3=X3S−X3 ………(18´) Y1=Y1S−Y1 ………(19´) Y2=Y2S−Y2 ………(20´) Y3=Y3S−Y3 ………(21´) Z1=Z1S−Z1 ………(22´) Z2=Z2S−Z2 ………(23´) Z3=Z3S−Z3 ………(24´) X4=X4S−X4 ………(38´) Y4=Y4S−Y4 ………(39´) Z4=Z4S−Z4 ………(40´) そして、式(25)〜(35),(37)〜(41)を
計算し直せば、新たな瞳孔中心(a,b)と誤差量ER
´を得ることができる。式(16)〜(40)はもとも
と逐次形式になっているため、再び全データを計算し直
す必要はなく、除外したいデータの加算(あるいは累乗
加算)を計算して、基の値から減算すれば済む。
X1 = X1S-X1 (16 ') X2 = X2S-X2 (17') X3 = X3S-X3 (18 ') Y1 = Y1S-Y1 (19') ) Y2 = Y2S-Y2 (20 ') Y3 = Y3S-Y3 (21') Z1 = Z1S-Z1 (22 ') Z2 = Z2S-Z2 (23') Z3 = Z3S-Z3 ... (24 ') X4 = X4S-X4 ... (38') Y4 = Y4S-Y4 ... (39 ') Z4 = Z4S-Z4 ... (40') By recalculating (25) to (35) and (37) to (41), the new pupil center (a, b) and the error amount ER are calculated.
´ can be obtained. Since equations (16) to (40) are originally in a sequential form, it is not necessary to recalculate all data, and addition (or power addition) of data to be excluded is calculated and subtracted from the base value. I'm done.

【0231】再計算が終わった後は、ステップ#709
へ移行し、サブルーチン「円の最小2乗推定 再計算
1」をリターンする。
After recalculation is completed, step # 709.
And the subroutine "least squares circle recalculation 1" is returned.

【0232】図13に戻って、ステップ#504を完了
すると、ステップ#505へ移行し、再計算した誤差量
ER´と値ERTHRを比較する。ER´が小さい場合
は、除外操作が効を奏したものとして、ステップ#51
4へ分岐し、検出成功とする。
Returning to FIG. 13, when step # 504 is completed, the process proceeds to step # 505, and the recalculated error amount ER 'is compared with the value ERTHR. If ER 'is small, it is determined that the exclusion operation is effective, and step # 51 is performed.
It branches to 4 and the detection is successful.

【0233】未だ誤差量ER´が大きい場合には、ステ
ップ#506へ移行し、別のサブルーチン「円の最小2
乗推定 再計算2」をコールする。
If the error amount ER 'is still large, the routine proceeds to step # 506, and another subroutine "minimum circle 2
Call the power estimation recalculation 2 ".

【0234】「円の最小2乗推定 再計算2」は、最小
2乗推定の計算に用いたエッジ点の内、エリアセンサの
縦方向下部にあるエッジ点(全体の1/5)を除外し
て、再び最小2乗推定の計算を行うサブルーチンであ
り、そのフローチャートを図15(B)に示している。
The "least square estimation recalculation 2" excludes the edge points (1/5 of the whole) located vertically below the area sensor among the edge points used for the least square estimation calculation. This is a subroutine for calculating the least squares estimation again, and its flowchart is shown in FIG.

【0235】「再計算2」は、「再計算1」とほとんど
同様であるが、「再計算1」と違って 縦方向下部のエ
ッジ点から除外してゆくため、ステップ#712におい
て、ループ変数Lを(EDGCNT−1)からダウンカ
ウントさせている。その他は、「再計算1」と全く同様
であるため、説明を省略する。
"Recalculation 2" is almost the same as "Recalculation 1", but unlike "Recalculation 1", it is excluded from the lower edge point in the vertical direction. Therefore, in step # 712, the loop variable is calculated. L is down-counted from (EDGCNT-1). Others are exactly the same as “Recalculation 1”, and thus the description is omitted.

【0236】再び図13に戻って、説明を続ける。Returning to FIG. 13 again, the description will be continued.

【0237】ステップ#506のサブルーチン「円の最
小2乗推定 再計算2」を完了すると、ステップ#50
7へ移行し、再計算した誤差量ER´と値ERYHRを
比較する。ER´が小さい場合は、除外操作が有効であ
ったものとして、ステップ#514へ分岐し、検出成功
と見なす。
When the subroutine "least squares circle recalculation 2" of step # 506 is completed, step # 50
7, the recalculated error amount ER 'is compared with the value ERYHR. If ER 'is small, it is determined that the exclusion operation is valid, and the process branches to step # 514, and it is considered that the detection is successful.

【0238】サブルーチン「再計算3」がコールされる
と、図15(C)のステップ#720を経て、ステップ
#721にて、エッジ情報を記憶している配列変数ED
GDT(m,k)の並べ換えを行う。
When the subroutine "recalculation 3" is called, in step # 721 of FIG. 15C, the array variable ED storing the edge information is processed in step # 721.
Rearrange GDT (m, k).

【0239】先にも説明したように、EDGDT(m,
k)にはエリアセンサ17の縦方向のエッジ点から順に
格納されているため、横方向に注目して処理を行うため
には、EDGDTに格納されているデータの並べ換えが
必要である。
As described above, EDGDT (m,
In k), the data are stored in order from the edge points in the vertical direction of the area sensor 17, so that the data stored in the EDGDT needs to be rearranged in order to perform processing while paying attention to the horizontal direction.

【0240】EDGDT(m,2)にはエッジ点の横方
向(X軸座標)の値が格納されているから、この値に対
して公知の「ソート操作」を実施すれば、EDGDTに
は横方向の左からの順となったエッジ情報の再格納が可
能である。
Since the value of the edge point in the horizontal direction (X-axis coordinate) is stored in EDGDT (m, 2), if a known "sort operation" is performed on this value, EDGDT has a horizontal value. It is possible to restore the edge information in the order from the left of the direction.

【0241】並べ換えを実行すると、図15(A)のス
テップ#702へ分岐し、後は「再計算1」と全く同様
の処理を行えば、エリアセンサ17の横方向左右のエッ
ジ点を除外した再計算ができる。
When the rearrangement is executed, the process branches to step # 702 in FIG. 15A, and if the same process as "Recalculation 1" is performed thereafter, the edge points on the left and right in the horizontal direction of the area sensor 17 are excluded. Can be recalculated.

【0242】再び図13に戻って、ステップ#508の
サブルーチン「円の最小2乗推定再計算3」を完了する
と、ステップ#509へ移行し、再計算した誤差量ER
´と□値ERTHRを比較する。ER´が小さい場合は
除外操作が有効であったものとして、ステップ#514
へ分岐し検出成功と見なす。
Returning to FIG. 13 again, when the subroutine "circle least squares estimation recalculation 3" of step # 508 is completed, the process proceeds to step # 509, and the recalculated error amount ER is calculated.
'And the □ value ERTHR are compared. If ER 'is small, it is determined that the exclusion operation is effective, and step # 514
It branches to and is regarded as a detection success.

【0243】未だ、誤差量ER´が大きい場合には、ス
テップ#510へ移行し、さらに別のサブルーチン「円
の最小2乗推定 再計算4」をコールする。
If the error amount ER 'is still large, the routine proceeds to step # 510, and another subroutine "circle least square estimation recalculation 4" is called.

【0244】「円の最小2乗推定 再計算4」では、今
度は最小2乗推定の計算に用いたエッジ点の内、エリア
センサ17の横方向右部にあるエッジ点(全体の1/
5)を除外して、再び最小2乗推定の計算を行うサブル
ーチンであり、そのフローチャートを図15(D)に示
している。
In the “least square estimation recalculation 4”, the edge points at the right side in the lateral direction of the area sensor 17 (1/1 / of the whole) among the edge points used in the calculation of the least square estimation are calculated.
This is a subroutine for excluding step 5) and calculating the least squares estimation again, and its flowchart is shown in FIG.

【0245】いま、配列変数EDGDT(m,k)に
は、横方向の左から順にエッジ点が格納されているか
ら、右から順にエッジ点を除外しようとすれば、EDG
DT(m,k)を「再計算2」と同じように散り扱えば
よい。そこで、図15(D)のサブルーチン「再計算
4」をコールされれば、直ちにステップ#711へ分岐
して、「再計算2」と同様の処理を行うようにしてい
る。
Since the array variable EDGDT (m, k) stores the edge points in order from the left in the horizontal direction, if the edge points are to be excluded in order from the right, EDG will be stored.
DT (m, k) may be scattered and treated in the same manner as “Recalculation 2”. Therefore, when the subroutine "recalculation 4" of FIG. 15D is called, the process immediately branches to step # 711 and the same processing as "recalculation 2" is performed.

【0246】再び図13に戻って、説明を続ける。Returning to FIG. 13 again, the description will be continued.

【0247】ステップ#510のサブルーチン「円の最
小2乗推定 再計算4」を完了すると、ステップ#51
1へ移行し、再計算した誤差量ER´と値ERTHRを
比較する。ER´が小さい場合は、除外操作が有効であ
ったものとして、ステップ#512へ移行し検出成功と
見なす。
When the subroutine "least squares circle recalculation 4" of step # 510 is completed, step # 51
The process proceeds to 1 and the recalculated error amount ER 'is compared with the value ERTHR. When ER 'is small, it is determined that the exclusion operation is valid, and the process proceeds to step # 512 and it is considered that the detection is successful.

【0248】未だ、誤差量ER´が大きい場合には、ス
テップ#512へ移行し、上述の操作が有効に働かなか
ったものとして検出失敗とする。
If the error amount ER 'is still large, the process proceeds to step # 512, and it is determined that the above-mentioned operation did not work effectively and the detection fails.

【0249】ステップ#512、あるいは、ステップ#
514で瞳孔中心の検出が最終判断されると、ステップ
#515へ移行し、サブルーチン「瞳孔中心の検出」を
リターンする。
Step # 512 or Step #
When the final determination of the pupil center detection is made in 514, the process proceeds to step # 515, and the subroutine "pupil center detection" is returned.

【0250】図16に、本発明の実施の形態における最
小2乗法の一例を紹介する。
FIG. 16 shows an example of the least squares method according to the embodiment of the present invention.

【0251】図中の黒塗り部分が1つのエッジ点を示
し、これらのエッジ点に基づいて瞳孔円を推定したもの
である。
The black portion in the figure indicates one edge point, and the pupil circle is estimated based on these edge points.

【0252】図8の説明に戻る。Returning to the description of FIG.

【0253】ステップ#064での「瞳孔中心の検出」
が完了すると、ステップ#065へ移行し、サブルーチ
ン「視線の検出」をコールする。
[Detection of pupil center] in step # 064
Is completed, the process proceeds to step # 065 to call a subroutine "line of sight detection".

【0254】「視線の検出」は、これまでの処理で検出
したP像位置及び瞳孔円の中心位置から、視線(注視
点)を検出するサブルーチンである。
"Detection of line of sight" is a subroutine for detecting the line of sight (gazing point) from the P image position and the center position of the pupil circle detected by the above processing.

【0255】基本的には、前述した公知例と同様に、式
(2)に従って眼球光軸の回転角θを計算すればよい。
本発明の実施の形態では、瞳孔中心を横方向(X軸)、
縦方向(Y軸)の2次元で検出しているので、公知例の
ように横方向のみではなく、縦方向の視線の方向も横方
向の検出と同様な考え方で検出することができる。
Basically, the rotation angle θ of the optical axis of the eyeball may be calculated according to the equation (2) as in the known example described above.
In the embodiment of the present invention, the center of the pupil is set in the lateral direction (X axis),
Since the detection is performed two-dimensionally in the vertical direction (Y axis), not only the horizontal direction as in the known example but also the direction of the line of sight in the vertical direction can be detected by the same idea as the detection in the horizontal direction.

【0256】視線の検出が完了すると、ステップ#06
6へ移行し、視線検出の一連の処理を終了する。
When the detection of the line of sight is completed, step # 06
6, the series of processing for detecting the line of sight is terminated.

【0257】(実施の第2の形態)以下、本発明の実施
の第2の形態に係る一眼レフカメラについて詳細に説明
する。なお、該カメラの光学的,電気的な構成は上記実
施の第1の形態と同様であるので、ここではその説明は
省略する。
(Second Embodiment) The single lens reflex camera according to the second embodiment of the present invention will be described in detail below. Since the optical and electrical configuration of the camera is the same as that of the first embodiment, the description thereof will be omitted here.

【0258】図17は本発明の実施の第2の形態におけ
る、カメラのメイン動作を示すフローチャートである。
FIG. 17 is a flowchart showing the main operation of the camera in the second embodiment of the invention.

【0259】図17において、図7と同じ処理には、同
じステップ番号を付けている。従って、ここでは、図7
と異なる処理を中心に説明する。
In FIG. 17, the same steps as those in FIG. 7 are given the same step numbers. Therefore, here, in FIG.
The processing different from that will be mainly described.

【0260】モードダイヤル44のオンであるステップ
#001からステップ#012は、図7と同じであり、
スイッチSW1が閉じてオンしたことを検知し(ステッ
プ#003)、測光処理等(ステップ#012)をする
ものである。
Steps # 001 to # 012 in which the mode dial 44 is turned on are the same as those in FIG.
It detects that the switch SW1 is closed and turned on (step # 003), and performs photometric processing and the like (step # 012).

【0261】ステップ#014では、フラグSW1Fが
“0”であるか否かを調べる。SW1Fが“0”でない
時にはステップ#015へ移行し、視線検出を行い、続
いてステップ#016にて測距点選択を行った後に、ス
イッチSW1がオンであるか否かを調べる。
At step # 014, it is checked whether the flag SW1F is "0". When SW1F is not "0", the process proceeds to step # 015 to detect the line of sight, and subsequently, at step # 016, the distance measuring point is selected, and then it is checked whether or not the switch SW1 is on.

【0262】ステップ#015,ステップ#016,ス
テップ#017の処理内容は、先述の図7と同じであ
る。
The processing contents of step # 015, step # 016, and step # 017 are the same as those in FIG. 7 described above.

【0263】ステップ#014にてフラグSW1Fが
“0”である時には、ステップ#017に移行して、ス
イッチSW1がオンであるかを否かを調べる。そして、
スイッチSW1がオンではない時は、先述のステップ#
015へ移行し、視線検出を行う。
When the flag SW1F is "0" in step # 014, the process proceeds to step # 017 to check whether or not the switch SW1 is on. And
When the switch SW1 is not on, the above step #
The process moves to 015 to detect the line of sight.

【0264】ステップ#017にてスイッチSW1が
“0”である時には、ステップ#021に移行して、先
述した一連のAF処理を行う。
When the switch SW1 is "0" in step # 017, the process shifts to step # 021 to perform the series of AF processes described above.

【0265】ステップ#015の視線検出サブルーチン
は、図8〜図15に示した実施の第1の形態と同じ処理
内容であるから、ここでは説明を省略する。
The line-of-sight detection subroutine of step # 015 has the same processing contents as in the first embodiment shown in FIGS. 8 to 15, and therefore its explanation is omitted here.

【0266】以上が、図17の動作説明である。The above is the description of the operation of FIG.

【0267】このように、トランジスタPTR113が
オフして、電源供給が停止している状態からスイッチS
W1をオンした時には、視線検出(ステップ#01
5),測距点選択(ステップ#016),AF(ステッ
プ#021)と処理が移行し、一度電源が供給されステ
ップ#043からの分岐でステップ#011へ移行した
時には、直前に行われた前回の視線検出結果が使えるの
で、ステップ#043からの分岐であるか否かを、ステ
ップ#014でのフラグSW1Fの結果から判断してい
る。
As described above, the transistor PTR113 is turned off and the switch S is turned off from the state where the power supply is stopped.
When W1 is turned on, line-of-sight detection (step # 01
5), focus detection point selection (step # 016), AF (step # 021), and the like. When power is once supplied and the process branches from step # 043 to step # 011, the process is performed immediately before. Since the previous line-of-sight detection result can be used, whether the branch from step # 043 or not is determined from the result of the flag SW1F in step # 014.

【0268】そして、ステップ#017にて、スイッチ
SW1がオンであれば、直前に行った前回の視線検出結
果に基づき選択した測距点により、一連のAF処理を行
うべくステップ#021へ移行する処理が実行されるの
が、実施の第2の形態のカメラの動作フローである。
If the switch SW1 is turned on in step # 017, the process proceeds to step # 021 in order to perform a series of AF processing by the distance measuring point selected based on the result of the previous line-of-sight detection performed immediately before. The processing is executed in the operation flow of the camera of the second embodiment.

【0269】また、変形例として、ステップ#011,
ステップ#015,ステップ#016)の各処理実行中
に所定の間隔、あるいは、所定の処理動作の中でスイッ
チSW1がオンであるか否かを調べ、オンでない時はそ
のまま処理を進め、オンである時には処理を中止してス
テップ#021に移行する方法もある。
As a modification, step # 011,
During execution of each process of step # 015, step # 016), it is checked whether or not the switch SW1 is on at a predetermined interval or during a predetermined process operation. If not, the process proceeds as it is, and the switch is turned on. There is also a method of stopping the process at some time and shifting to step # 021.

【0270】以上の実施の各形態によれば、タイマ作動
中は視線検出動作を所定の間隔で繰り返し行うようにし
たから、シャッタレリーズまでの時間を最小にした視線
検出装置を備えたカメラを実現できる。
According to each of the above embodiments, since the visual axis detecting operation is repeatedly performed at a predetermined interval while the timer is operating, a camera equipped with a visual axis detecting device that minimizes the time until the shutter release is realized. it can.

【0271】また、通電中は視線検出動作を所定の間隔
で繰り返し行うようにしたから、シャッタチャンスを逃
しにくいカメラを実現できる。
Further, since the line-of-sight detection operation is repeatedly performed at a predetermined interval while power is being supplied, it is possible to realize a camera in which it is hard to miss a photo opportunity.

【0272】更に、一度スイッチSW1がオンすると、
予め決められた間は、視線検出動作を繰り返し行うよう
にしたから、オートフォーカス機能を有するカメラへの
適用では、レリーズ釦の押下にスイッチSW1がオンし
て一連のレンズ合焦までの制御が行われる時、前記スイ
ッチSW1がオンする直前に検出した視線検出情報に基
づき測距点選択が行われ、そして焦点調節が為されるか
ら、視線検出動作に伴う応答性の低下が最小となり、違
和感が無く安心して使えるカメラを提供することができ
る。
Further, once the switch SW1 is turned on,
Since the line-of-sight detection operation is repeatedly performed during a predetermined period, when applied to a camera having an autofocus function, the switch SW1 is turned on when the release button is pressed and a series of lens focusing control is performed. At this time, the distance measuring point is selected based on the sight line detection information detected immediately before the switch SW1 is turned on, and the focus adjustment is performed, so that the decrease in the responsiveness due to the sight line detecting operation is minimized and the sense of discomfort is felt. It is possible to provide a camera that can be used without worry.

【0273】(発明と実施の形態の対応)上記実施の第
1及び第2の形態において、スイッチSW1がレリーズ
釦41の第1段階までの押圧(押下)により閉成する第
1のスイッチ手段に相当し、スイッチSW2がレリーズ
釦41の第2段階までの押圧により閉成する第2のスイ
ッチ手段に相当し、視線検出回路101及びCCD−E
YE14が視線検出手段に相当し、自動焦点検出回路1
03及びラインセンサ6fが焦点調整を行う手段に相当
し、電源回路111及び電源供給用トランジスタPTR
113が電源供給手段に相当し、PRS100が制御手
段に相当する。
(Correspondence between Invention and Embodiment) In the first and second embodiments described above, the switch SW1 serves as a first switch means which is closed by pressing the release button 41 up to the first stage. Correspondingly, the switch SW2 corresponds to the second switch means that is closed by pressing the release button 41 up to the second stage, and the line-of-sight detection circuit 101 and the CCD-E.
YE14 corresponds to the line-of-sight detection means, and the automatic focus detection circuit 1
03 and the line sensor 6f correspond to means for performing focus adjustment, and include a power supply circuit 111 and a power supply transistor PTR.
Reference numeral 113 corresponds to a power supply means, and PRS100 corresponds to a control means.

【0274】以上が実施の形態の各構成と本発明の各構
成の対応関係であるが、本発明は、これら実施の形態の
構成に限られるものではなく、請求項で示した機能が達
成できる構成であればどのようなものであっても良いこ
とは云うまでもない。
The above is the correspondence relationship between each configuration of the embodiments and each configuration of the present invention, but the present invention is not limited to the configurations of these embodiments, and the functions shown in the claims can be achieved. It goes without saying that any structure may be used.

【0275】また、本発明は、複数の光電変換素子列よ
り構成されるエリアセンサであれば、エリアセンサを構
成する画素数及びライン数に関係なく適用できるもので
ある。
Further, the present invention can be applied to any area sensor composed of a plurality of photoelectric conversion element rows regardless of the number of pixels and the number of lines forming the area sensor.

【0276】また本発明は、一眼レフカメラに限らず、
レンズシャッタカメラ、ビデオカメラ、さらにはカメラ
以外の光学機器や他の装置など、視線検出装置を有する
ものであれば適用できるものである。
The present invention is not limited to single-lens reflex cameras,
A lens shutter camera, a video camera, an optical device other than the camera, or any other device having a line-of-sight detection device can be applied.

【0277】[0277]

【発明の効果】以上説明したように、本発明によれば、
撮影準備動作開始用の第1のスイッチ手段が閉成されて
電源が供給されることにより視線検出動作を繰り返し行
わせ、電源供給が為されている間は視線入力される焦点
検出位置の監視をし続け、第2のスイッチ手段の閉成が
為された際には直ちに撮影動作を開始できるようにして
いる。つまり、撮影動作を行う為に再度第1のスイッチ
手段が閉成されたとしても、新たに視線検出手段を最初
から動作させるのではなく、電源が供給されている最中
は繰り返し視線検出を行わせておき、この際の視線検出
の為の蓄積時間等の短縮を図るようにしている。
As described above, according to the present invention,
By closing the first switch means for starting the photographing preparation operation and supplying power, the visual axis detection operation is repeatedly performed, and the focus detection position at which the visual axis is input is monitored while the power is being supplied. Then, the photographing operation can be started immediately when the second switch means is closed. In other words, even if the first switch means is closed again to perform the photographing operation, the visual axis detection means is not newly activated from the beginning, but repeated visual axis detection is performed while power is being supplied. In addition, the accumulation time for detecting the line of sight at this time is shortened.

【0278】よって、撮影動作開始を意図したレリーズ
釦の操作が為された際のレリーズタイムラグを最小に
し、シャッタチャンスに強い視線検出機能付きカメラと
することができる。
Therefore, the release time lag when the release button is operated for the purpose of starting the photographing operation is minimized, and the camera with the line-of-sight detection function which is strong against the shutter chance can be obtained.

【0279】また、本発明によれば、撮影準備動作開始
用の第1のスイッチ手段が閉成されてから予め決められ
た時間視線検出動作を繰り返し行わせ、この予め決めら
れた時間の間は視線入力される焦点検出位置の監視をし
続け、第2のスイッチ手段の閉成が為された際には直ち
に撮影動作を開始できるようにしている。つまり、撮影
動作を行う為に再度第1のスイッチ手段が閉成されたと
しても、新たに視線検出手段を最初から動作させるので
はなく、予め決められた時間の間は繰り返し視線検出を
行わせておき、この際の視線検出の為の蓄積時間等の短
縮を図るようにしている。
Further, according to the present invention, the line-of-sight detection operation is repeatedly performed for a predetermined time after the first switch means for starting the photographing preparation operation is closed, and during this predetermined time. The focus detection position for line-of-sight input is continuously monitored, and the photographing operation can be started immediately when the second switch means is closed. That is, even if the first switch means is closed again to perform the photographing operation, the visual axis detection means is not newly activated from the beginning, but the visual axis detection is repeatedly performed for a predetermined time. It should be noted that the accumulation time for detecting the line of sight at this time is shortened.

【0280】よって、撮影動作開始を意図したレリーズ
釦の操作が為された際のレリーズタイムラグを最小に
し、シャッタチャンスに強い視線検出機能付きカメラと
することができる。
Therefore, the release time lag when the release button is operated for the purpose of starting the photographing operation is minimized, and the camera with the line-of-sight detection function which is strong against the shutter chance can be obtained.

【0281】また、本発明によれば、第1のスイッチ手
段が再度閉成された場合には、第2のスイッチ手段が閉
成するまで一気にレリーズ釦の押圧操作が為される場合
が殆どであるので、換言すれば、撮影動作開始を意図し
てのレリーズ釦操作であることが殆どであるので、今回
の第1のスイッチ手段の閉成時には視線検出は行わず、
直前に行われた視線検出結果を用いて焦点検出位置を決
定し、ここで得られた焦点検出情報に基づいて焦点調節
を行うようにしている。
Further, according to the present invention, when the first switch means is closed again, in most cases, the release button is pressed all at once until the second switch means is closed. In other words, in other words, since it is almost the case that the release button operation is intended to start the shooting operation, the line-of-sight detection is not performed when the first switch means is closed this time,
The focus detection position is determined using the line-of-sight detection result performed immediately before, and focus adjustment is performed based on the focus detection information obtained here.

【0282】よって、視線により焦点検出位置を選択す
る場合であっても、焦点検出位置を自動的に決定して撮
影処理を進める場合とほぼ同様の応答性をもって撮影処
理を進めることが可能になる。
Therefore, even when the focus detection position is selected by the line of sight, the shooting process can be advanced with substantially the same responsiveness as in the case where the focus detection position is automatically determined and the shooting process is advanced. ..

【図面の簡単な説明】[Brief description of drawings]

【図1】本発明の実施の一形態に係る一眼フレカメラの
要部を示す構成図である。
FIG. 1 is a configuration diagram showing a main part of a single-lens camera camera according to an embodiment of the present invention.

【図2】図1の一眼フレカメラの上面及び背面を示す図
である。
FIG. 2 is a diagram showing a top surface and a back surface of the single-lens camera of FIG.

【図3】図1の一眼フレカメラのファインダ内を示す図
である。
3 is a diagram showing the inside of a viewfinder of the single-lens camera of FIG.

【図4】図1の一眼フレカメラの電気的構成を示すブロ
ック図である。
FIG. 4 is a block diagram showing an electrical configuration of the single-lens camera of FIG.

【図5】視線検出の原理を説明する為の図である。FIG. 5 is a diagram for explaining the principle of line-of-sight detection.

【図6】眼球像の要部及び信号レベルを示す図である。FIG. 6 is a diagram showing a main part of an eyeball image and a signal level.

【図7】図1の一眼フレカメラのメイン動作を示すフロ
ーチャートである。
7 is a flowchart showing a main operation of the single-lens camera of FIG.

【図8】図7のステップ#015にて実行される「視線
検出」の動作を示すフローチャートである。
8 is a flowchart showing an operation of "visual axis detection" executed in step # 015 of FIG. 7. FIG.

【図9】図8のステップ#059にて実行される「1ラ
イン読込み」の動作を示すフローチャートである。
9 is a flowchart showing an operation of "reading one line" executed in step # 059 of FIG.

【図10】図8のステップ#061にて実行される「P
像の検出」の動作を示すフローチャートである。
10 is a flow chart of "P" executed in step # 061 of FIG. 8;
7 is a flowchart showing an operation of "image detection".

【図11】図8のステップ#062にて実行される「瞳
孔エッジの検出」の動作を示すフローチャートである。
FIG. 11 is a flowchart showing an operation of “pupil edge detection” executed in step # 062 of FIG. 8;

【図12】図8のステップ#063にて実行される「瞳
孔推定範囲の設定」の動作を示すフローチャートであ
る。
FIG. 12 is a flowchart showing an operation of “pupil estimation range setting” executed in step # 063 of FIG. 8;

【図13】図8のステップ#064にて実行される「瞳
孔中心の検出」の動作を示すフローチャートである。
FIG. 13 is a flowchart showing an operation of “pupil center detection” executed in step # 064 of FIG. 8;

【図14】図13のステップ#501にて実行される
「円の最小2乗推定」の動作を示すフローチャートであ
る。
14 is a flowchart showing the operation of "estimation of least square of circle" executed in step # 501 of FIG.

【図15】図13のステップ#504,#506,#5
08,#510にて実行される「円の最小2乗推定 再
計算1,再計算2,再計算3,再計算4」の動作を示す
フローチャートである。
FIG. 15 shows steps # 504, # 506, and # 5 of FIG.
It is a flowchart which shows operation | movement of "the least square estimation recalculation 1, recalculation 2, recalculation 3, recalculation 4 of a circle" performed in 08, # 510.

【図16】最小2乗法の一例を示す図である。FIG. 16 is a diagram showing an example of a least squares method.

【図17】本発明の実施の第2の形態に係る一眼レフカ
メラのメイン動作を示すフローチャートである。
FIG. 17 is a flowchart showing a main operation of the single-lens reflex camera according to the second embodiment of the present invention.

【符号の説明】[Explanation of symbols]

11 接眼レンズ 14 イメージセンサ 25 照明用LED 41 レリーズ釦 100 PRS 101 視線検出回路 103 焦点検出回路 110 焦点調節回路 112 電源回路 113 電源供給用のトランジスタ(PTR) 11 Eyepiece Lens 14 Image Sensor 25 Illumination LED 41 Release Button 100 PRS 101 Line-of-Sight Detection Circuit 103 Focus Detection Circuit 110 Focus Adjustment Circuit 112 Power Supply Circuit 113 Power Supply Transistor (PTR)

Claims (3)

【特許請求の範囲】[Claims] 【請求項1】 レリーズ釦の第1段階までの押圧により
閉成する撮影準備動作開始用の第1のスイッチ手段と、
レリーズ釦の第2段階までの押圧により閉成する撮影動
作開始用の第2のスイッチ手段と、視線を検出する視線
検出手段とを備えた視線検出機能付きカメラにおいて、 前記第1のスイッチ手段が閉成されると電源供給を開始
し、予め決められた時間が経過すると、前記電源供給を
停止する電源供給手段と、前記電源供給が為されている
間は、前記視線検出手段に繰り返し視線検出を行わせる
制御手段とを設けたことを特徴とする視線検出機能付き
カメラ。
1. A first switch means for starting a photographing preparation operation which is closed by pressing the release button up to the first stage,
A camera with a line-of-sight detection function, comprising: a second switch unit for starting a photographing operation, which is closed by pressing the release button up to the second stage, and a line-of-sight detection unit for detecting a line of sight. When the power supply is started, the power supply is started, and when a predetermined time has elapsed, the power supply is stopped and the line-of-sight detection unit repeatedly detects the line-of-sight while the power is being supplied. A camera with a line-of-sight detection function, characterized in that it is provided with a control means for performing.
【請求項2】 レリーズ釦の第1段階までの押圧により
閉成する撮影準備動作開始用の第1のスイッチ手段と、
レリーズ釦の第2段階までの押圧により閉成する撮影動
作開始用の第2のスイッチ手段と、視線を検出する視線
検出手段とを備えた視線検出機能付きカメラにおいて、 前記第1のスイッチ手段が閉成されると計時動作を開始
し、予め決められた時間の計時後にその動作を終了する
計時手段と、該計時手段にて計時動作が為されている間
は、前記視線検出手段に繰り返し視線検出を行わせる制
御手段とを設けたことを特徴とする視線検出機能付きカ
メラ。
2. A first switch means for starting a photographing preparation operation, which is closed by pressing the release button up to the first stage,
A camera with a line-of-sight detection function, comprising: a second switch unit for starting a photographing operation, which is closed by pressing the release button up to the second stage, and a line-of-sight detection unit for detecting a line of sight. When closed, the timekeeping operation is started, and the timekeeping means ends the operation after a predetermined time is counted, and while the timekeeping operation is being performed by the timekeeping means, the eye gaze detecting means repeatedly detects the line of sight. A camera with a line-of-sight detection function, which is provided with control means for performing detection.
【請求項3】 レリーズ釦の第1段階までの押圧により
閉成する撮影準備動作開始用の第1のスイッチ手段と、
レリーズ釦の第2段階までの押圧により閉成する撮影動
作開始用の第2のスイッチ手段と、視線を検出する視線
検出手段とを備えた視線検出機能付きカメラにおいて、 前記第1のスイッチ手段が閉成される事により、前記視
線検出手段に所定の間隔で繰り返し視線検出を行わせ、
この繰り返し視線検出が行われている際に、前記第1の
スイッチ手段が再度閉成された場合には、直前に行われ
た視線検出結果を用いて焦点検出位置を決定し、焦点検
出情報を算出してこれに基づいて焦点調節を行う制御手
段を設けたことを特徴とする視線検出機能付きカメラ。
3. A first switch means for starting a photographing preparation operation which is closed by pressing the release button up to the first step,
A camera with a line-of-sight detection function, comprising: a second switch unit for starting a photographing operation, which is closed by pressing the release button up to the second stage, and a line-of-sight detection unit for detecting a line of sight. By being closed, the line-of-sight detection means is made to repeatedly perform line-of-sight detection at predetermined intervals,
When the first switch means is closed again during the repeated line-of-sight detection, the focus detection position is determined using the result of the line-of-sight detection performed immediately before, and the focus detection information is obtained. A camera with a line-of-sight detection function, which is provided with control means for calculating and performing focus adjustment based on this.
JP11301096A 1996-04-11 1996-04-11 Camera with line-of-sight detection function Withdrawn JPH09281385A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP11301096A JPH09281385A (en) 1996-04-11 1996-04-11 Camera with line-of-sight detection function

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP11301096A JPH09281385A (en) 1996-04-11 1996-04-11 Camera with line-of-sight detection function

Publications (1)

Publication Number Publication Date
JPH09281385A true JPH09281385A (en) 1997-10-31

Family

ID=14601183

Family Applications (1)

Application Number Title Priority Date Filing Date
JP11301096A Withdrawn JPH09281385A (en) 1996-04-11 1996-04-11 Camera with line-of-sight detection function

Country Status (1)

Country Link
JP (1) JPH09281385A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022027841A (en) * 2017-10-17 2022-02-14 キヤノン株式会社 Electronic apparatus, program, and storage medium

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022027841A (en) * 2017-10-17 2022-02-14 キヤノン株式会社 Electronic apparatus, program, and storage medium

Similar Documents

Publication Publication Date Title
JPH06304142A (en) Device for detecting line of sight
JP3352238B2 (en) Eye gaze detection device and camera
JP2004008323A (en) Optical device with line-of-sight function
JPH05333259A (en) Optical device provided with means for detecting line of sight
JP3297481B2 (en) Eye gaze detection device
US5402199A (en) Visual axis detecting apparatus
JP3313803B2 (en) Eye gaze detection device
US5737642A (en) Camera having a line-of-sight detecting means
JPH09281385A (en) Camera with line-of-sight detection function
JP3256294B2 (en) Eye gaze detection apparatus and eye gaze detection method
US5717959A (en) Apparatus for detecting a sight axis
JPH07151958A (en) Optical device with gaze detection function
JP3176147B2 (en) Eye gaze detection device
JP3391892B2 (en) Eye gaze detecting device, optical device, and eye gaze detecting method
JP3352195B2 (en) Eye gaze detecting device, optical device, and eye gaze detecting method
JP3184634B2 (en) Optical device having line-of-sight detection device
JP3647088B2 (en) Camera having line-of-sight detection means
JP3219491B2 (en) Eye gaze detection device
JP3186249B2 (en) Eye gaze detection device and eye gaze detection method
JP3332581B2 (en) An optical device, a camera, a line-of-sight detection device, a line-of-sight detection method, and a relative position determination method between an eyepiece and an eyeball position.
JP3530648B2 (en) Eye gaze detecting device and optical device
JP3211427B2 (en) Eye gaze detection device
JPH06138370A (en) Sight line detecting device
JPH07255676A (en) Optical device having line-of-sight detection device
JP2000121917A (en) Apparatus having gaze detection function

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20051021

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20051101

A761 Written withdrawal of application

Effective date: 20060301

Free format text: JAPANESE INTERMEDIATE CODE: A761