JPH0868630A - Vehicle gaze direction measuring device and image input device used therefor - Google Patents
Vehicle gaze direction measuring device and image input device used thereforInfo
- Publication number
- JPH0868630A JPH0868630A JP6227351A JP22735194A JPH0868630A JP H0868630 A JPH0868630 A JP H0868630A JP 6227351 A JP6227351 A JP 6227351A JP 22735194 A JP22735194 A JP 22735194A JP H0868630 A JPH0868630 A JP H0868630A
- Authority
- JP
- Japan
- Prior art keywords
- image
- optical system
- driver
- image input
- angle optical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Input (AREA)
Abstract
(57)【要約】
【目的】 簡単な構成で運転者の頭部移動に追従し効率
良く視線方向を得る。
【構成】 画像入力部50は、照明1、2と、運転者D
の顔面画像を広く捉らえる広角光学系と眼球部を拡大し
て捉らえる狭角光学系を備える。両光学系は照明1と共
軸で、入射した光を光路分岐部52により各撮像素子5
1A、51Bへ分割する。広角光学系の撮像素子51A
の出力から瞳孔抽出部5Aで網膜反射像が抽出され、こ
の抽出結果から観測視野の中央に眼球を位置させるよう
に画像入力部回転量算出部6で画像入力部の回転方向と
回転量を算出する。これに基づき画像入力部駆動用アク
チュエータ7V、7Hが画像入力部の撮像方向を変え
る。このあと狭角光学系の撮像素子51Bの出力を用い
て、瞳孔抽出部5B、角膜反射像抽出部8を経て視線方
向算出のための各反射像位置を求める。狭角光学系で捉
えた画像には必ず運転者の瞳孔が写っており、抽出が簡
単にできる。
(57) [Summary] [Purpose] A simple configuration follows the movement of the driver's head to efficiently obtain the line-of-sight direction. [Structure] The image input unit 50 includes the lights 1 and 2 and the driver D.
It has a wide-angle optical system that captures a wide range of facial images and a narrow-angle optical system that magnifies and captures the eyeball. Both optical systems are coaxial with the illumination 1, and the incident light is guided by the optical path branching unit 52 to the image pickup devices 5.
Divide into 1A and 51B. Wide-angle optical system image sensor 51A
The retinal reflection image is extracted by the pupil extraction unit 5A from the output of 1. and the rotation direction and rotation amount of the image input unit are calculated by the image input unit rotation amount calculation unit 6 so that the eyeball is positioned in the center of the observation visual field from this extraction result. To do. Based on this, the image input section driving actuators 7V and 7H change the image pickup direction of the image input section. Then, using the output of the image sensor 51B of the narrow-angle optical system, each reflection image position for calculating the line-of-sight direction is obtained through the pupil extraction unit 5B and the cornea reflection image extraction unit 8. The image captured by the narrow-angle optics always shows the driver's pupil, which makes extraction easy.
Description
【0001】[0001]
【産業上の利用分野】本発明は、車両運転者の視線方向
を遠隔から非接触で計測する車両用視線方向計測装置に
関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a visual line direction measuring device for a vehicle for remotely measuring the visual line direction of a vehicle driver without contact.
【0002】[0002]
【従来の技術】このような、視線方向計測装置は、車両
用の非接触ヒューマンマシンインタフェイスとして、例
えば車両運転者の注目している方向に視覚情報を表示す
るとか、視線方向に応じてラジオやエアコン等の車載機
器の特定のスイッチを動作させる視線スイッチなど、種
々の目的への利用が期待されている。このようなインタ
フェイスを構成するために必要な、車両運転者の視線方
向の計測装置として、従来、眼球の角膜反射像の位置を
画像情報として取り入れて計測する装置が提案されてい
る。角膜反射像は、眼球への照射光が眼球を構成する光
学系の各面で反射、屈折することによって生じる像であ
り、プルキンエ像とも呼ばれている。2. Description of the Related Art Such a line-of-sight direction measuring device is used as a non-contact human machine interface for a vehicle, for example, to display visual information in the direction in which a vehicle driver is paying attention, or to display radio information in accordance with the line-of-sight direction. It is expected to be used for various purposes such as a line-of-sight switch that operates a specific switch of an in-vehicle device such as an air conditioner. As a device for measuring the line-of-sight direction of a vehicle driver, which is necessary to configure such an interface, a device for measuring the position of a corneal reflection image of an eyeball as image information has been conventionally proposed. The corneal reflection image is an image generated by the irradiation light to the eyeball being reflected and refracted by each surface of the optical system forming the eyeball, and is also called a Purkinje image.
【0003】ところで、運転者は運転中その頭部位置が
常に移動しているため、これに追従しながらその視線を
計測する必要がある。このような追従型の視線方向計測
装置としては、2台のカメラを用いた方式が提案されて
いる(伴野他、「瞳孔の抽出処理と頭部の動きを許容す
る視線検出装置の試作」、電子情報通信学会論文誌、V
ol.J76−D−2No.3 pp.636〜64
6、1993年3月)。これは、運転者の眼球の位置
が、常に両カメラの視野の中央に捕捉されるようにカメ
ラの方向を制御しながら、視線方向を計測するものであ
る。By the way, since the driver's head position is constantly moving during driving, it is necessary to measure the line of sight of the driver while following it. As such a follow-up type gaze direction measuring device, a method using two cameras has been proposed (Beno et al., “Putting eye gaze detection device and prototype of gaze detection device allowing movement of head”). IEICE Transactions, V
ol. J76-D-2 No. 3 pp. 636-64
6, March 1993). This is to measure the line-of-sight direction while controlling the camera direction so that the position of the driver's eyeball is always captured in the center of the visual fields of both cameras.
【0004】[0004]
【発明が解決しようとする課題】しかしながら、このよ
うな従来の追従型視線計測装置にあっては、2台の独立
したカメラを用いるため、双方のカメラとも独立してそ
の方向を制御しなければならない。そのため、全体構成
が複雑となり、しかも特徴点抽出のため2台のカメラで
得た画像にそれぞれ同一処理を施さねばならず、効率が
低いという問題がある。したがって本発明は、上記従来
の問題点に鑑み、運転者の注視によって制御を行う車両
用インターフェイス装置を実現するための運転者の視線
方向計測装置において、計測対象である運転者の頭部が
大きく移動しても、簡単な構成で、効率良くこれに追従
して、迅速正確に視線方向を計測することができる車両
用視線方向計測装置を提供することを目的とする。However, in such a conventional tracking type eye-gaze measuring device, since two independent cameras are used, both cameras must control their directions independently. I won't. Therefore, the entire configuration becomes complicated, and the images obtained by the two cameras must be subjected to the same processing in order to extract the feature points, which causes a problem of low efficiency. Therefore, in view of the above-mentioned conventional problems, the present invention is a driver's gaze direction measuring device for realizing a vehicle interface device that performs control by the driver's gaze, and a driver's head that is a measurement target is large. It is an object of the present invention to provide a visual line direction measuring device for a vehicle, which has a simple configuration and can efficiently follow the visual line direction even when moving, and can measure the visual line direction quickly and accurately.
【0005】[0005]
【課題を解決するための手段】このため、請求項1記載
の車両用視線方向計測装置は、車両運転者の顔面を空間
的に互いに異なる位置に配置された複数の光源で照明
し、運転者の眼球部における反射像を撮像して画像デー
タを得る画像入力部と、画像データより網膜反射像と角
膜反射像を抽出する反射像抽出手段を備え、網膜反射像
と角膜反射像の各位置から運転者の視線方向を算出する
車両用視線方向計測装置において、画像入力部は、互い
に共軸系に配置された、運転者の顔面画像を広く捉らえ
る広角光学系と、運転者の眼球部を拡大して捉らえる狭
角光学系を備えるとともに、その撮像方向を変更可能の
方向可変手段を備え、広角光学系で得た画像データによ
る眼球部が画像視野の中央に位置するように画像入力部
の方向可変手段を制御する制御手段を有し、反射像抽出
手段は、眼球部が前記画像視野の中央に位置されたあ
と、狭角光学系で得た画像データに基づいて上記の網膜
反射像と角膜反射像を抽出するものとした。Therefore, the vehicle gaze direction measuring device according to claim 1 illuminates the face of the vehicle driver with a plurality of light sources spatially arranged at mutually different positions, and The image input unit for obtaining the image data by capturing the reflection image in the eyeball part of the eye, and the reflection image extraction means for extracting the retina reflection image and the corneal reflection image from the image data are provided, and from each position of the retina reflection image and the corneal reflection image. In a gaze direction measuring device for a vehicle for calculating a gaze direction of a driver, an image input section includes a wide-angle optical system which is arranged coaxially with each other and widely captures a facial image of the driver, and an eyeball section of the driver. In addition to the narrow-angle optical system that magnifies and captures the image, it also has a direction-changing unit that can change the imaging direction, and the image data obtained by the wide-angle optical system causes the eyeball to be positioned at the center of the image field. Controls the direction of the input section The reflection image extraction means has a control means for extracting the retinal reflection image and the corneal reflection image based on the image data obtained by the narrow-angle optical system after the eyeball portion is located in the center of the image visual field. I decided to do it.
【0006】また請求項6記載の発明は、空間的に互い
に異なる位置に配置された複数の光源と、この複数の光
源の1個と共軸で、それぞれ撮像素子を含み、運転者の
顔面画像を広く捉らえる広角光学系と運転者の眼球部を
拡大して捉らえる狭角光学系を備えた車両用視線方向計
測装置のための画像入力装置とした。According to a sixth aspect of the present invention, a plurality of light sources arranged spatially at mutually different positions, and a plurality of light sources which are coaxial with one of the plurality of light sources, each of which includes an image pickup device, are provided, and a facial image of a driver is included. An image input device for a line-of-sight direction measuring device for a vehicle, which is provided with a wide-angle optical system that captures a wide angle and a narrow-angle optical system that magnifies and captures a driver's eyeball.
【0007】[0007]
【作用】画像入力部が共軸系の広角光学系と狭角光学系
を備え、広角光学系で得た画像データによる眼球部が画
像視野の中央に位置するように制御手段が方向可変手段
を制御し画像入力部の向きが変更される。この結果、広
角光学系と狭角光学系は同時にその撮像方向が変更され
る。これにより運転者の頭部が大きく動いても、画像入
力部がこれに追従する。こうして眼球部へ方向づけられ
た状態の狭角光学系で得た画像データに基づいて、反射
像抽出手段が網膜反射像と角膜反射像を抽出する。この
際、画像の中央には必ず網膜反射像が観測されるため、
その抽出処理が非常に簡単になる。これらの反射像の位
置に基づいて運転者の視線方向が算出される。The image input unit is provided with the coaxial wide-angle optical system and the narrow-angle optical system, and the control means changes the direction changing means so that the eyeball portion based on the image data obtained by the wide-angle optical system is located in the center of the image visual field. The orientation of the image input unit is controlled and changed. As a result, the imaging directions of the wide-angle optical system and the narrow-angle optical system are changed at the same time. As a result, even if the driver's head moves greatly, the image input unit follows it. In this way, the reflection image extracting means extracts the retina reflection image and the cornea reflection image based on the image data obtained by the narrow-angle optical system in the state of being directed to the eyeball part. At this time, the retinal reflection image is always observed in the center of the image,
The extraction process becomes very simple. The line-of-sight direction of the driver is calculated based on the positions of these reflection images.
【0008】画像入力部の少なくとも広角光学系が縦横
のマトリクスに形成された撮像素子を含み、方向可変手
段は撮像素子の縦横各辺に平行な回転軸の周りに独立し
て回転可能とすることができる。この際、方向可変手段
の上記回転軸は、狭角光学系の焦点位置を通過するもの
とすると、画像入力部の回転量に対する眼球部位置の移
動量が簡単な関数で記述できるので好ましい。At least the wide-angle optical system of the image input unit includes an image pickup device formed in a vertical and horizontal matrix, and the direction changing means is independently rotatable about a rotation axis parallel to each vertical and horizontal sides of the image pickup device. You can At this time, it is preferable that the rotation axis of the direction changing means passes through the focal position of the narrow-angle optical system because the movement amount of the eyeball position with respect to the rotation amount of the image input unit can be described by a simple function.
【0009】[0009]
【実施例】以下、この発明を図面に基づいて説明する。
図1、図2および図3は、この発明を自動車のフロント
ウィンドゥにHUD表示したスイッチを運転者の注視に
よって作動させるインタフェースシステムに適用した実
施例を示す。 とくに、図1は視線方向計測機能部分の
構成を示し、図2は計測された視線方向を用いたスイッ
チ制御機能部分の構成を示す。また、図3はその車載レ
イアウトである。DESCRIPTION OF THE PREFERRED EMBODIMENTS The present invention will be described below with reference to the drawings.
FIG. 1, FIG. 2 and FIG. 3 show an embodiment in which the present invention is applied to an interface system in which a switch, which is HUD-displayed on a front window of an automobile, is operated by a driver's gaze. In particular, FIG. 1 shows the configuration of the gaze direction measuring function part, and FIG. 2 shows the configuration of the switch control function part using the measured gaze direction. Moreover, FIG. 3 is the vehicle-mounted layout.
【0010】まず、図1により視線方向計測機能部分の
概要を説明する。ステアリング42の近傍の計器盤上
に、運転者Dの顔面領域の画像を入力する画像入力部5
0が設置される。車両運転者の眼球位置は、例えばJI
S(日本工業規格)D0021に示されるように、自動
車の運転者のアイレンジとして統計的に示された限定領
域に存在するから、画像入力部50の撮像範囲はそこに
限定でき、車両運転者に比較的近接して設置できる。First, the outline of the gaze direction measuring function portion will be described with reference to FIG. The image input unit 5 for inputting an image of the driver's D face area on the instrument panel near the steering wheel 42.
0 is set. The eyeball position of the vehicle driver is, for example, JI
As shown in S (Japanese Industrial Standard) D0021, the image pickup unit 50 can limit the image pickup range of the vehicle driver because it exists in a limited area statistically shown as the eye range of the driver of the vehicle. Can be installed relatively close to.
【0011】画像入力部50は、共軸系に配置されたそ
れぞれCCD等からなる2枚の撮像素子51A、51B
を備える。2枚の撮像素子の前方には、入射した光をこ
れら2枚の撮像素子51A、51B方向に分割するため
の、ハーフミラーやビームスプリッタ等で構成される光
路分岐部52が設けられ、分割されて一方の撮像素子5
1Aに向かう光路にはリレーレンズ53が設置されてい
る。また、2枚の撮像素子との共軸系を形成して照明1
が設けられるとともに、照明1との相対関係が既知の位
置に照明2が設置されている。照明1と照明2は赤外L
ED等からなり、互いに同一スペックを有して不可視光
を照射する。The image input unit 50 includes two image pickup devices 51A and 51B arranged in a coaxial system, each of which is composed of a CCD or the like.
Is provided. In front of the two image pickup devices, an optical path branching unit 52 composed of a half mirror, a beam splitter, etc. for splitting the incident light in the directions of these two image pickup devices 51A and 51B is provided and divided. One image sensor 5
A relay lens 53 is installed on the optical path toward 1A. In addition, a coaxial system with two image sensors is formed to provide illumination 1.
And the illumination 2 is installed at a position where the relative relationship with the illumination 1 is known. Illumination 1 and illumination 2 are infrared L
The EDs and the like have the same specifications and irradiate invisible light.
【0012】ここで、撮像素子51Aおよびリレーレン
ズ53を含んで形成される光学系は広視野を観測する広
角光学系とされ、他方の撮像素子51Bを含んで形成さ
れる光学系は狭い視野を観測するように設定されてい
る。上記照明1および2の照射角は、画像入力部50に
おける広角光学系の画角以上に設定される。上記のよう
に構成された画像入力部50は、撮像素子51A、51
Bの縦辺および横辺方向の各軸周りに回転可能の図示し
ない回転機構を有している。なお、画像入力部50の回
転軸は、2軸とも、撮像素子51Bを含む狭角光学系の
焦点位置に設定するのが望ましい。これにより、画像入
力部50の回転量に対する眼球位置の移動量が、tan
(回転角)に比例など、簡単な関数で記述できる。Here, the optical system formed by including the image pickup device 51A and the relay lens 53 is a wide-angle optical system for observing a wide field of view, and the optical system formed by including the other image pickup device 51B has a narrow field of view. It is set to observe. The illumination angles of the illuminations 1 and 2 are set to be equal to or larger than the angle of view of the wide-angle optical system in the image input section 50. The image input unit 50 configured as described above includes the image pickup devices 51A and 51A.
It has a rotation mechanism (not shown) rotatable about each axis of the vertical side and the horizontal side of B. It should be noted that it is desirable that the rotation axes of the image input unit 50 are set at the focal position of the narrow-angle optical system including the image pickup device 51B for both axes. As a result, the movement amount of the eyeball position with respect to the rotation amount of the image input unit 50 becomes tan.
It can be described by a simple function such as proportional to (rotation angle).
【0013】撮像素子51Aの出力はA/D変換器4A
でA/D変換されたあと、瞳孔抽出部5Aに送られ、こ
こで網膜反射像が抽出される。画像入力部回転量算出部
6では、この抽出結果を基に、画像入力部50の観測視
野の中央に運転者Dの眼球を捕捉できるように、画像入
力部50の回転方向と回転量を算出する。画像入力部回
転量算出部6には画像入力部駆動用アクチュエータおよ
び7V、7Hが接続されている。アクチュエータ7Vは
撮像素子の縦軸に平行な軸周りに画像入力部50を回転
させ、アクチュエータ7Hは撮像素子の横軸に平行な軸
周りに画像入力部50を回転させる。各画像入力部駆動
用アクチュエータ7V、7Hは、算出された回転方向と
回転量に応じてそれぞれ駆動され、画像入力部50の撮
像方向が所定方向に制御される。画像入力部駆動用アク
チュエータ7V、7Hと前述の回転機構とで発明の方向
可変手段が構成されている。The output of the image pickup device 51A is the A / D converter 4A.
After being A / D converted by, the image is sent to the pupil extraction unit 5A, where the retina reflection image is extracted. The image input unit rotation amount calculation unit 6 calculates the rotation direction and the rotation amount of the image input unit 50 based on the extraction result so that the eyeball of the driver D can be captured in the center of the observation visual field of the image input unit 50. To do. The image input unit rotation amount calculation unit 6 is connected to an image input unit drive actuator and 7V and 7H. The actuator 7V rotates the image input unit 50 around an axis parallel to the vertical axis of the image sensor, and the actuator 7H rotates the image input unit 50 around an axis parallel to the horizontal axis of the image sensor. The image input section driving actuators 7V and 7H are respectively driven according to the calculated rotation direction and rotation amount, and the imaging direction of the image input section 50 is controlled to a predetermined direction. The image input section driving actuators 7V and 7H and the above-mentioned rotating mechanism constitute the direction changing means of the invention.
【0014】撮像素子51BにはA/D変換器4Bが接
続され、上述の画像入力部50の回転制御が完了した
後、その出力がA/D変換され、瞳孔抽出部5Bに送ら
れるようになっている。瞳孔抽出部5Bでは網膜反射像
が抽出され、さらに角膜反射像抽出部8で角膜反射像が
抽出される。そして、角膜反射像抽出部8と画像入力部
回転量算出部6とに接続されて視線方向算出部10が設
けられ、ここで、上記網膜反射像と角膜反射像の検出位
置、ならびに画像入力部回転量算出部6の算出結果に基
づく画像入力部50の撮像方向から、運転者Dの視線方
向が算出される。なお、照明1、照明2の点消灯は照明
発光制御部11により制御され、照明発光制御部11、
A/D変換器4A、4B等を含めた全体制御が全体制御
部12で行われるようになっている。An A / D converter 4B is connected to the image pickup device 51B, and after the rotation control of the image input section 50 is completed, its output is A / D converted and sent to the pupil extraction section 5B. Has become. The pupil extraction unit 5B extracts the retina reflection image, and the cornea reflection image extraction unit 8 extracts the corneal reflection image. A line-of-sight direction calculation unit 10 is provided connected to the corneal reflection image extraction unit 8 and the image input unit rotation amount calculation unit 6, where the detection positions of the retina reflection image and the corneal reflection image, and the image input unit. The line-of-sight direction of the driver D is calculated from the imaging direction of the image input unit 50 based on the calculation result of the rotation amount calculation unit 6. It is to be noted that turning on / off of the illumination 1 and the illumination 2 is controlled by the illumination light emission control unit 11, and the illumination light emission control unit 11,
Overall control including the A / D converters 4A and 4B is performed by the overall control unit 12.
【0015】次に、図2によりスイッチ制御機能部分に
ついて説明する。図2には、図1により説明した視線方
向計測機能部分が符号Zで示される。全体制御部12に
はメインスイッチ21が接続され、これを押すことによ
りシステム全体が動作を開始する。視線方向算出部10
で算出された視線方向情報は、視線停留判断部23にお
いて分析され、図3の(a)に例示するようにウインド
シールド41にHUD表示されたスイッチ表示エリア2
6のどこを見ているかが判断されるとともに、所定時間
注視しているかどうかが判断される。スイッチ表示エリ
ア26には、同図の(b)に示すように、後述する各制
御対象に対応するスイッチ名を備えたボタン表示が行な
われる。Next, the switch control function portion will be described with reference to FIG. In FIG. 2, the line-of-sight direction measuring function portion described with reference to FIG. A main switch 21 is connected to the overall control unit 12, and by pressing this switch, the entire system starts operating. Line-of-sight calculation unit 10
The line-of-sight direction information calculated in step 3 is analyzed by the line-of-sight stop determination unit 23, and the switch display area 2 is HUD-displayed on the windshield 41 as illustrated in FIG.
It is determined where the user is looking at 6 and whether the user is gazing for a predetermined time. In the switch display area 26, as shown in (b) of the figure, a button display having switch names corresponding to respective control targets described later is displayed.
【0016】この判断結果に基づいてHUD表示制御部
24がHUD表示を切り換えるとともに、コントローラ
切り換え部27が駆動され、エアコンコントローラ2
8、CDコントローラ29、ラジオコントローラ30、
ヘッドライトコントローラ31、ワイパコントローラ3
2等の制御対象から所定のコントローラが選択されその
制御モードへの切り換えが行われる。各制御対象の詳細
制御は、ステアリングスイッチ22によって行われる。Based on the result of this judgment, the HUD display control unit 24 switches the HUD display, and the controller switching unit 27 is driven to drive the air conditioner controller 2
8, CD controller 29, radio controller 30,
Headlight controller 31, wiper controller 3
A predetermined controller is selected from control objects such as 2 and switching to the control mode is performed. Detailed control of each control target is performed by the steering switch 22.
【0017】図3の(a)に示されるように、メインス
イッチ21およびステアリングスイッチ22はステアリ
ング42に設置され、また画像入力部50はウインドシ
ールド下方の計器盤の略中央部に配置されている。ま
た、ステアリングスイッチ22は、同図の(c)に示す
ような、エアコン設定温度の上下調節等に使用されるア
ップダウンボタン22Aを含んでいる。As shown in FIG. 3 (a), the main switch 21 and the steering switch 22 are installed on the steering 42, and the image input section 50 is arranged substantially in the center of the instrument panel below the windshield. . Further, the steering switch 22 includes an up / down button 22A used for adjusting the set temperature of the air conditioner up and down, as shown in FIG.
【0018】つぎに視線方向計測機能部分における処理
の流れについて、図4、図5により詳細に説明する。ま
ず、ステアリングに設けられたメインスイッチ21を押
すことにより制御が開始される。そして、ステップ10
1において、照明発光制御部11の制御信号により、照
明1が点灯される。照明2は消灯のままとされる。ステ
ップ102では、照明1による運転者Dの顔面画像が画
像入力部50の撮像素子51Aで取り込まれ、A/D変
換器4AでA/D変換される。この画像データをI1
(x,y)とする。ステップ103で、照明発光制御部
11の制御信号により、今度は照明1が消灯され、照明
2が点灯される。 そしてステップ104において、同
じく画像入力部50の撮像素子51Aにより顔面画像が
取り込まれ、A/D変換器4AでA/D変換される。こ
の画像データをI2(x,y)とする。Next, the flow of processing in the gaze direction measuring function portion will be described in detail with reference to FIGS. First, the control is started by pushing the main switch 21 provided on the steering wheel. And step 10
1, the illumination 1 is turned on by the control signal of the illumination light emission control unit 11. The illumination 2 remains off. In step 102, a face image of the driver D by the illumination 1 is captured by the image pickup device 51A of the image input unit 50 and A / D converted by the A / D converter 4A. This image data is I1
Let (x, y). In step 103, the control signal from the illumination light emission control unit 11 turns off the illumination 1 and turns on the illumination 2 this time. Then, in step 104, the face image is captured by the image pickup device 51A of the image input unit 50 and is A / D converted by the A / D converter 4A. This image data is I2 (x, y).
【0019】このあと、瞳孔抽出部5において、画像処
理により、画像データI1(x,y)中の網膜反射像を
抽出する。すなわち、ステップ105で、画像データI
1(x,y)からI2(x,y)を差し引き、画像デー
タI3(x,y)を生成し、ステップ106で、I3
(x,y)を固定しきい値Th1で2値化して、2値画
像I4(x,y)を生成する。つぎのステップ107
で、画像データI4(x,y)にラベリング処理を施
し、領域の番号付けを行う。Thereafter, the pupil extraction unit 5 extracts the retina reflection image in the image data I1 (x, y) by image processing. That is, in step 105, the image data I
I2 (x, y) is subtracted from 1 (x, y) to generate image data I3 (x, y).
(X, y) is binarized with a fixed threshold Th1 to generate a binary image I4 (x, y). Next step 107
Then, the labeling process is performed on the image data I4 (x, y) to number the regions.
【0020】そしてステップ108、109で、領域の
面積と形状による選別を行う。これは、ラベリングが施
された中には、網膜反射像の他に、例えば、眼鏡レンズ
反射像、眼鏡フレーム反射像、外部照明の変動で生じた
顔の一部等、様々なノイズが含まれる可能性がある。こ
れらのノイズは、一般に不定形状、かつ面積も不定であ
るため、予め予想される面積の円あるいは楕円として観
測される網膜反射像をこれらノイズから識別するもので
ある。Then, in steps 108 and 109, selection is performed according to the area and shape of the region. This is because, in addition to the retina reflection image, various noises are included in the labeled image, such as a spectacle lens reflection image, a spectacle frame reflection image, and a part of the face caused by a change in external illumination. there is a possibility. Since these noises generally have an indefinite shape and an indefinite area, a retinal reflection image observed as a circle or an ellipse having a previously predicted area is distinguished from these noises.
【0021】まずステップ108では、ラベリングの結
果得られた各領域の面積Siを、予め設定されたしきい
値S1、S2(S1<S2)と比較して、S1<Si<
S2を満足する領域のみ抜き出す。ここでS1、S2
は、カメラの撮影倍率から推定した予想される瞳孔径の
値(直径2〜8mmの瞳孔に対応する画素数で表わされ
る面積)に設定すればよい。眼鏡レンズ反射像も円形領
域として観測されるが、例えば、レンズの絞りを絞るこ
とによって、常に、網膜反射像の面積より、眼鏡レンズ
反射像の面積が小さくなるようにしておけば、面積によ
り、両者を識別可能である。First, in step 108, the area Si of each region obtained as a result of labeling is compared with preset threshold values S1 and S2 (S1 <S2), and S1 <Si <
Only the area that satisfies S2 is extracted. Where S1 and S2
May be set to an expected pupil diameter value estimated from the photographing magnification of the camera (area represented by the number of pixels corresponding to a pupil having a diameter of 2 to 8 mm). Although the spectacle lens reflection image is also observed as a circular area, for example, by narrowing the diaphragm of the lens, the area of the spectacle lens reflection image is always smaller than the area of the retinal reflection image, depending on the area, Both can be distinguished.
【0022】ステップ109では、上記面積による選別
の結果残った領域に対して、その外接長方形に対する領
域面積の比率Fを計算する。網膜反射像は円または楕円
形で観測されるため、比率Fがある一定値Fth以上で
あるのに対し、例えば眼鏡フレーム反射は、フレームに
沿った細長い領域になるため、仮に網膜反射像と同等の
面積を有していても、Fが小さくなるため識別可能であ
る。こうして選別されて残った領域を網膜反射像とし、
ステップ110において、その重心位置(xg1,yg
1)を求める。In step 109, the ratio F of the area of the circumscribed rectangle to the area remaining as a result of the selection based on the area is calculated. Since the retina reflection image is observed as a circle or an ellipse, the ratio F is equal to or greater than a certain fixed value Fth, whereas, for example, the spectacle frame reflection is an elongated area along the frame, and is therefore equivalent to the retinal reflection image. Even if it has the area of, it can be identified because F becomes small. In this way, the area that remains after being sorted is used as a retina reflection image,
At step 110, the position of the center of gravity (xg1, yg
Find 1).
【0023】このあと、画像入力部回転量算出部6にお
いて、上記抽出された網膜反射像を画面中央に捕捉する
ために必要な、画像入力部50の回転方向と回転量を算
出する。まずステップ111では、網膜反射像の重心位
置(xg1,yg1)の画面中央からのずれが、横方向
α、縦方向βとして求められる。そしてステップ112
で、これらの偏差が共に0になるように、画像入力部5
0の回転量が求められる。画像入力部50の回転角度と
網膜反射像の偏差の関係は、予めLUT(ルックアップ
テーブル)に登録しておけば、α、βに対する回転方向
と回転量は容易に算出可能である。Then, the image input unit rotation amount calculation unit 6 calculates the rotation direction and the rotation amount of the image input unit 50 necessary for capturing the extracted retina reflection image at the center of the screen. First, in step 111, the deviation of the barycentric position (xg1, yg1) of the retina reflection image from the center of the screen is obtained as the horizontal direction α and the vertical direction β. And step 112
Then, the image input unit 5
A rotation amount of 0 is obtained. If the relationship between the rotation angle of the image input unit 50 and the deviation of the retina reflection image is registered in the LUT (look-up table) in advance, the rotation direction and the rotation amount with respect to α and β can be easily calculated.
【0024】ステップ113においては、画像入力部回
転量算出部6で決定した回転方向と回転量信号によっ
て、画像入力部50が回転される。すなわち、画像入力
部駆動用アクチュエータ7Vが、偏差αを0にする方向
に画像入力部50を回転させ、画像入力部駆動用アクチ
ュエータ7Hが、偏差βを0にする方向に画像入力部5
0を回転させる。In step 113, the image input unit 50 is rotated by the rotation direction and the rotation amount signal determined by the image input unit rotation amount calculation unit 6. That is, the image input unit driving actuator 7V rotates the image input unit 50 in the direction to set the deviation α to 0, and the image input unit driving actuator 7H moves to the direction to set the deviation β to 0.
Rotate 0.
【0025】つぎにステップ114で、再び照明発光制
御部11の制御信号により、照明1が点灯され、照明2
が消灯される。そして、ステップ115で、今度は画像
入力部50の撮像素子51Bから画像信号が取り込ま
れ、A/D変換器4BでA/D変換される。この画像を
I5(x,y)とする。ステップ116で、照明1が消
灯され、照明2が点灯される。そして、ステップ117
で画像信号が撮像素子51Bから入力され、A/D変換
器4BでA/D変換される。この画像をI6(x,y)
とする。Next, at step 114, the illumination 1 is turned on again by the control signal from the illumination light emission control section 11, and the illumination 2 is turned on.
Is turned off. Then, in step 115, the image signal is taken in from the image pickup device 51B of the image input section 50 this time, and is A / D converted by the A / D converter 4B. This image is designated as I5 (x, y). In step 116, the illumination 1 is turned off and the illumination 2 is turned on. And step 117
Then, the image signal is input from the image pickup element 51B and is A / D converted by the A / D converter 4B. This image is I6 (x, y)
And
【0026】このあとステップ118で、瞳孔抽出部5
Bにおいて、画像データI5(x,y)からI6(x,
y)を差し引き、画像データI7(x,y)を生成し、
ステップ119で、画像データI7(x,y)を固定し
きい値Th1で2値化して、2値画像I8(x,y)を
生成する。そして、ステップ120において網膜反射像
(瞳孔)位置が求められる。ここでは、撮像素子51A
と撮像素子51Bが共軸系に設置されているため、画像
入力部50を回転制御した後に得た画像I8(x,y)
には、その中央に網膜反射像が観測されることになる。
したがって、画像I8(x,y)上に観測される領域の
重心(xg2,yg2)を算出し、これを瞳孔位置と決
定する。Thereafter, in step 118, the pupil extraction unit 5
In B, image data I5 (x, y) to I6 (x, y
y) is subtracted to generate image data I7 (x, y),
In step 119, the image data I7 (x, y) is binarized with the fixed threshold Th1 to generate a binary image I8 (x, y). Then, in step 120, the position of the retina reflection image (pupil) is obtained. Here, the image sensor 51A
Since the image pickup device 51B and the image pickup device 51B are installed in the coaxial system, the image I8 (x, y) obtained after the image input unit 50 is rotationally controlled.
At that time, the retina reflection image will be observed in the center.
Therefore, the center of gravity (xg2, yg2) of the region observed on the image I8 (x, y) is calculated, and this is determined as the pupil position.
【0027】ステップ121では、角膜反射像抽出部8
において、照明1の点灯時に撮像素子51Bに観測され
る角膜反射像と、照明2の点灯時に撮像素子51Bに観
測される角膜反射像をそれぞれ抽出する。すなわち、画
像データの差分I5(x,y)−I6(x,y)を求
め、このなかで最大輝度階調値を持つ画素を求める。求
めた画素(xp1,yp1)は、照明1による角膜反射
像である。つぎに差分I6(x,y)−I5(x,y)
を求め、このなかで最大輝度階調値を持つ画素を求め
る。求めた画素(xp2,yp2)が照明2による角膜
反射像となる。In step 121, the corneal reflection image extraction unit 8
In, the corneal reflection image observed by the image sensor 51B when the illumination 1 is turned on and the corneal reflection image observed by the image sensor 51B when the illumination 2 is turned on are extracted. That is, the difference I5 (x, y) -I6 (x, y) of the image data is obtained, and the pixel having the maximum luminance gradation value is obtained. The obtained pixel (xp1, yp1) is a corneal reflection image by the illumination 1. Next, the difference I6 (x, y) -I5 (x, y)
Then, the pixel having the maximum luminance gradation value is obtained. The obtained pixel (xp2, yp2) becomes a cornea reflection image by the illumination 2.
【0028】最後にステップ122で、視線方向算出部
10において、上に抽出した3つの反射像位置から、運
転者Dの視線方向を算出する。視線方向の算出は、3つ
の反射像の位置関係、2つの照明の設置位置の相対関
係、撮像素子51Bを含む光学系の光学パラメータ(焦
点距離、受光素子サイズ)、画像入力部回転量算出部6
で算出された画像入力部50の方向、および眼球の平均
サイズ(角膜球半径7.8mm、角膜球中心と瞳孔中心
の間の距離4.2mm)を用いて行う。Finally, at step 122, the line-of-sight direction calculation unit 10 calculates the line-of-sight direction of the driver D from the three reflection image positions extracted above. The line-of-sight direction is calculated by the positional relationship between the three reflected images, the relative relationship between the installation positions of the two lights, the optical parameters (focal length, light-receiving element size) of the optical system including the image sensor 51B, the image input unit rotation amount calculation unit. 6
The direction of the image input unit 50 calculated in step 1 and the average size of the eyeball (corneal sphere radius 7.8 mm, distance between corneal sphere center and pupil center 4.2 mm).
【0029】すなわち、図6に示されるように、照明1
の角膜反射像R1(xp1,yp1)と撮像素子51B
を含む光学系の焦点F、角膜球中心Oは直線L上に存在
する。照明2と、その角膜反射像R2(xp2,yp
2)を生じさせる照明2による角膜表面上の正反射点Q
を結ぶ線分と、角膜反射像R2と焦点Tを結ぶ線分のな
す角の2等分線は、直線Lと点Oで交わり、QとOの距
離は7.8mmである。図7のように、角膜球中心Oを
中心とする半径4.2mmの球面と、画像I8(x,
y)の網膜反射像の重心と焦点Tを結ぶ直線L1の交点
のうち、焦点Tに近い側の点は、瞳孔中心Pである。以
上の条件を満足する半直線OPが、運転者の視線方向を
与える。上記のステップ105〜112が発明の方向可
変手段を制御する制御手段を構成し、ステップ118〜
121が反射像抽出手段を構成している。That is, as shown in FIG. 6, the illumination 1
Corneal reflection image R1 (xp1, yp1) and image sensor 51B
The focal point F of the optical system including and the center O of the corneal sphere exist on the straight line L. Illumination 2 and its corneal reflection image R2 (xp2, yp
2) the specular reflection point Q on the corneal surface by the illumination 2
The line segment connecting the lines and the bisector of the angle formed by the line segment connecting the corneal reflection image R2 and the focal point T intersect the straight line L at the point O, and the distance between Q and O is 7.8 mm. As shown in FIG. 7, a spherical surface with a radius of 4.2 mm centered on the corneal sphere center O and an image I8 (x,
Of the intersections of the straight line L1 connecting the center of gravity of the retina reflection image of y) and the focus T, the point closer to the focus T is the pupil center P. The half line OP satisfying the above conditions gives the driver's line-of-sight direction. The above steps 105 to 112 constitute a control means for controlling the direction changing means of the invention, and steps 118 to 118
121 constitutes a reflection image extraction means.
【0030】つぎにスイッチ制御機能部分について説明
する。視線停留判断部23では、視線方向算出部10で
算出された運転者の視線方向が、スイッチ表示エリア2
6のどこを見ているかを判定する。ここでは、一定回数
連続して同一エリアを見ているか否かで注視状態を判定
する。視線方向算出に1回あたり400msec要する
とすれば、例えば連続して2回、すなわち同一視線方向
が約0.8sec継続することによって、同一エリアを
注視しているものとする。Next, the switch control function portion will be described. In the line-of-sight stop determination unit 23, the line-of-sight direction of the driver calculated by the line-of-sight direction calculation unit 10 is the switch display area 2
6. Determine where you are looking. Here, the gaze state is determined by whether or not the same area is continuously viewed a certain number of times. If it takes 400 msec to calculate the line-of-sight direction, it is assumed that the same area is being gazed at, for example, twice consecutively, that is, the same line-of-sight direction continues for about 0.8 sec.
【0031】視線停留判断部23において、スイッチ表
示エリア26の例えばエアコン部(A/C)を注視して
いると判断されると、図8に示すようにHUD表示エリ
ア25には現在のエアコン設定温度が表示される。エア
コン設定温度がHUD表示されると、ステアリングスイ
ッチのアップダウンボタン22Aが、設定温度の上下調
節を行うように機能する。運転者は、アップダウンボタ
ンを操作して、HUD表示を見ながら、所定の設定温度
にセットする。一定時間(例えば5秒間)アップダウン
ボタン22Aが操作されないと、操作が終了したものと
判断されて、スイッチ制御機能は全て停止する。また、
再びなんらかの操作の必要が生じたら、メインスイッチ
21を押すことによって、上述の動作が再度開始され
る。When the line-of-sight stop determination unit 23 determines that the operator is paying attention to, for example, the air conditioner unit (A / C) in the switch display area 26, the current air conditioner setting is set in the HUD display area 25 as shown in FIG. The temperature is displayed. When the air conditioner set temperature is displayed in HUD, the up / down button 22A of the steering switch functions to adjust the set temperature up and down. The driver operates the up / down button to set a predetermined set temperature while observing the HUD display. If the up / down button 22A is not operated for a fixed time (for example, 5 seconds), it is determined that the operation is completed, and the switch control functions are all stopped. Also,
When some operation needs to be performed again, the main switch 21 is pressed to restart the above operation.
【0032】本実施例は以上のように構成され、運転者
の眼球を撮像して非接触で視線方向を計測する車両用視
線方向計測装置において、それぞれ撮像素子を備え広視
野を観測する広角光学系と狭い視野を観測する光学系を
共軸に一体化して画像入力部50を構成し、広角光学系
で捉えた眼球位置に応じて画像入力部の撮像方向を制御
して観測視野の中央に運転者の眼球を位置させたうえ、
狭視野の光学系から画像入力しその画像データから視線
方向算出に必要な瞳孔、角膜反射像を求めるようにした
ので、運転者の頭部移動が大きくても1つの画像入力部
を回転するだけで、狭角光学系で捉えた画像には必ず瞳
孔が写っており、抽出処理が簡単である。The present embodiment is configured as described above, and in the vehicle gaze direction measuring device for imaging the driver's eyeball and measuring the gaze direction in a non-contact manner, the wide-angle optics for observing a wide field of view are provided with respective image pickup elements. The image input unit 50 is configured by coaxially integrating the system and an optical system for observing a narrow field of view, and the imaging direction of the image input unit is controlled according to the eyeball position captured by the wide-angle optical system to center the observation field of view. Position the driver's eyes and
Since an image is input from the narrow-field optical system and the pupil and corneal reflection image required for calculating the line-of-sight direction are obtained from the image data, only one image input unit is rotated even if the driver's head movement is large. Then, the pupil is always reflected in the image captured by the narrow-angle optical system, and the extraction process is easy.
【0033】またこれにより、簡単に追従して視線方向
が計測され、車両用インターフェイスとして視線スイッ
チに用いて運転者の意図する制御操作が確実に行なわれ
るから、運転中に前方から視線をそらさずにすむため、
予防安全性の向上に効果がある。なお、実施例はいわゆ
る視線スイッチに適用したものを示したが、これに限定
されることなく、運転者の覚醒状態検出やその他種々の
用途に適用することができる。In addition, the line-of-sight direction is easily tracked and the line-of-sight switch is used as the vehicle interface to reliably perform the control operation intended by the driver. To live
Effective in improving preventive safety. Although the embodiment has been described as being applied to a so-called line-of-sight switch, the present invention is not limited to this, and can be applied to driver's awakening state detection and various other applications.
【0034】[0034]
【発明の効果】以上のとおり、本発明は、複数の光源で
照明した眼球部における反射像の位置から運転者の視線
方向を求める車両用視線方向計測装置において、画像入
力部が共軸系の広角光学系と狭角光学系を備え、広角光
学系で得た画像データによる眼球部が画像視野の中央に
位置するように画像入力部の撮像方向を変更し、その後
狭角光学系で得た画像データに基づいて網膜反射像と角
膜反射像を抽出するようにしたので、運転者の頭部が大
きく動いても、1個の画像入力部の向きを変えるだけで
簡単にこれに追従し、狭角光学系で捉えた画像には必ず
瞳孔が写っており、抽出処理も簡単である。したがって
従来のような2台の独立したカメラをそれぞれ独立して
制御する必要がなく構成が簡単であるという効果を有す
る。また特徴点抽出のため2台のカメラの出力に対して
それぞれ同一の画像処理を施すような効率の低さもな
く、迅速な視線方向算出が行なわれる。As described above, according to the present invention, in the vehicular gaze direction measuring device for determining the gaze direction of the driver from the position of the reflected image in the eyeball portion illuminated by a plurality of light sources, the image input unit is a coaxial system. Equipped with a wide-angle optical system and a narrow-angle optical system, the imaging direction of the image input unit was changed so that the eyeball part based on the image data obtained by the wide-angle optical system was located in the center of the image field, and then obtained with the narrow-angle optical system. Since the retinal reflection image and the corneal reflection image are extracted based on the image data, even if the driver's head moves greatly, it is possible to easily follow this by changing the direction of one image input unit, The image captured by the narrow-angle optical system always shows the pupil, and the extraction process is easy. Therefore, there is an effect that the configuration is simple without the need to control two independent cameras independently as in the conventional case. In addition, quick line-of-sight direction calculation is performed without the low efficiency of performing the same image processing on the outputs of the two cameras for feature point extraction.
【図1】本発明の実施例における視線方向計測機能部分
の構成を示す図である。FIG. 1 is a diagram showing a configuration of a gaze direction measuring function portion in an embodiment of the present invention.
【図2】実施例におけるスイッチ制御機能部分の構成を
示す図である。FIG. 2 is a diagram showing a configuration of a switch control function portion in the embodiment.
【図3】実施例の車載レイアウトを示すである。FIG. 3 is a diagram showing an in-vehicle layout of the embodiment.
【図4】実施例の視線方向計測機能部分における処理の
流れを示すフローチャートである。FIG. 4 is a flowchart showing a flow of processing in a gaze direction measuring function portion of the embodiment.
【図5】実施例の視線方向計測機能部分における処理の
流れを示すフローチャートである。FIG. 5 is a flowchart showing a flow of processing in a gaze direction measuring function portion of the embodiment.
【図6】角膜反射像生成の説明図である。FIG. 6 is an explanatory diagram of corneal reflection image generation.
【図7】モデル化された眼球構成を示す図である。FIG. 7 is a diagram showing a modeled eyeball configuration.
【図8】HUD表示例を示す図である。FIG. 8 is a diagram showing a HUD display example.
1、2 照明 4A、4B A/D変換器 5A、5B 瞳孔抽出部 6 画像入力部回転量算出部 7V、7H 画像入力部駆動用アクチュエータ 8 角膜反射像抽出部 10 視線方向算出部 11 照明発光制御部 12 全体制御部 21 メインスイッチ 22 ステアリングスイッチ 22A アップダウンボタン 23 視線停留判断部 24 HUD表示制御部 25 HUD表示エリア 26 スイッチ表示エリア 27 コントローラ切り換え部 28 エアコンコントローラ 29 CDコントローラ 30 ラジオコントローラ 31 ヘッドライトコントローラ 32 ワイパコントローラ 41 ウインドシールド 42 ステアリング 50 画像入力部 51A、51B 撮像素子 52 光路分岐部 53 リレーレンズ 1, 2 Illumination 4A, 4B A / D converter 5A, 5B Pupil extraction unit 6 Image input unit Rotation amount calculation unit 7V, 7H Image input unit drive actuator 8 Corneal reflection image extraction unit 10 Eye direction calculation unit 11 Illumination emission control Part 12 Overall control part 21 Main switch 22 Steering switch 22A Up / down button 23 Line-of-sight stop determination part 24 HUD display control part 25 HUD display area 26 Switch display area 27 Controller switching part 28 Air conditioner controller 29 CD controller 30 Radio controller 31 Headlight controller 32 wiper controller 41 windshield 42 steering 50 image input unit 51A, 51B image pickup device 52 optical path branching unit 53 relay lens
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 FI 技術表示箇所 G06T 1/00 ─────────────────────────────────────────────────── ─── Continuation of the front page (51) Int.Cl. 6 Identification code Internal reference number FI technical display location G06T 1/00
Claims (7)
る位置に配置された複数の光源で照明し、運転者の眼球
部における反射像を撮像して画像データを得る画像入力
部と、画像データより網膜反射像と角膜反射像を抽出す
る反射像抽出手段を備え、網膜反射像と角膜反射像の各
位置から運転者の視線方向を算出する車両用視線方向計
測装置において、前記画像入力部は、互いに共軸系に配
置された、運転者の顔面画像を広く捉らえる広角光学系
と、運転者の眼球部を拡大して捉らえる狭角光学系を備
えるとともに、その撮像方向を変更可能の方向可変手段
を備え、前記広角光学系で得た画像データによる眼球部
が画像視野の中央に位置するように画像入力部の前記方
向可変手段を制御する制御手段を有し、前記反射像抽出
手段は、眼球部が前記画像視野の中央に位置されたあ
と、前記狭角光学系で得た画像データに基づいて前記網
膜反射像と角膜反射像を抽出するものであることを特徴
とする車両用視線方向計測装置。1. An image input unit for illuminating the face of a vehicle driver with a plurality of light sources arranged spatially at mutually different positions and capturing a reflected image of a driver's eyeball portion to obtain image data, and an image. In the vehicle gaze direction measuring device, which is provided with a reflection image extracting means for extracting a retinal reflection image and a corneal reflection image from data, and calculates a driver's gaze direction from each position of the retinal reflection image and the corneal reflection image, the image input unit Is equipped with a wide-angle optical system for widely capturing the driver's facial image and a narrow-angle optical system for enlarging and capturing the driver's eyeball, which are arranged coaxially with each other. The changeable direction changing means is provided, and the control means controls the direction changing means of the image input section so that the eyeball portion based on the image data obtained by the wide-angle optical system is located at the center of the image field of view. Image extraction means, the eyeball part is in front A visual line direction measuring device for a vehicle, characterized in that the retinal reflection image and the corneal reflection image are extracted based on the image data obtained by the narrow-angle optical system after being positioned at the center of the image visual field.
は縦横のマトリクスに形成された撮像素子を含み、前記
方向可変手段は前記撮像素子の縦横各辺に平行な回転軸
の周りに独立して回転可能とするものであることを特徴
とする請求項1記載の車両用視線方向計測装置。2. At least the wide-angle optical system of the image input unit includes an image sensor formed in a vertical and horizontal matrix, and the direction changing means is independently provided around a rotation axis parallel to each vertical and horizontal sides of the image sensor. The visual line direction measuring device for a vehicle according to claim 1, wherein the device is rotatable.
素子上に結像した眼球部位置に応じて、前記画像入力部
の回転方向および回転量を算出するものであることを特
徴とする請求項2記載の車両用視線方向計測装置。3. The control means calculates a rotation direction and a rotation amount of the image input section according to an eyeball position formed on an image sensor of the wide-angle optical system. The visual line direction measuring device for a vehicle according to claim 2.
角光学系の焦点位置を通過することを特徴とする請求項
2または3記載の車両用視線方向計測装置。4. The vehicle gaze direction measuring device according to claim 2, wherein the rotation axis of the direction varying means passes through a focal position of the narrow-angle optical system.
上に結像した眼球部位置の画像特定点からのずれに基づ
いて、画像入力部の前記回転方向および回転量を算出す
るものであることを特徴とする請求項3記載の車両用視
線方向計測装置。5. The control unit calculates the rotation direction and the rotation amount of the image input unit based on the deviation of the eyeball position formed on the image sensor of the wide-angle optical system from the image specific point. The gaze direction measuring device for a vehicle according to claim 3, wherein
複数の光源と、該複数の光源の1個と共軸で、それぞれ
撮像素子を含み、運転者の顔面画像を広く捉らえる広角
光学系と運転者の眼球部を拡大して捉らえる狭角光学系
を備えていることを特徴とする車両用視線方向計測装置
のための画像入力装置。6. Wide-angle optics for spatially capturing a driver's facial image, including a plurality of light sources spatially arranged at mutually different positions, and an image pickup element coaxial with one of the plurality of light sources. An image input device for a gaze direction measuring device for a vehicle, comprising a narrow-angle optical system for enlarging and capturing the system and a driver's eyeball.
部により分離され、少なくとも一方の光学系にリレーレ
ンズを設けて互いの画角を異ならせてあることを特徴と
する請求項6記載の車両用視線方向計測装置のための画
像入力装置。7. The wide-angle optical system and the narrow-angle optical system are separated by an optical path branching portion, and at least one of the optical systems is provided with a relay lens so as to have different field angles. An image input device for the vehicle gaze direction measuring device according to claim 1.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP6227351A JPH0868630A (en) | 1994-08-29 | 1994-08-29 | Vehicle gaze direction measuring device and image input device used therefor |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP6227351A JPH0868630A (en) | 1994-08-29 | 1994-08-29 | Vehicle gaze direction measuring device and image input device used therefor |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH0868630A true JPH0868630A (en) | 1996-03-12 |
Family
ID=16859444
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP6227351A Pending JPH0868630A (en) | 1994-08-29 | 1994-08-29 | Vehicle gaze direction measuring device and image input device used therefor |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH0868630A (en) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002254956A (en) * | 2001-03-02 | 2002-09-11 | Toyota Industries Corp | Device for detecting falling-off awakened condition |
| JP2005323905A (en) * | 2004-05-17 | 2005-11-24 | Nippon Hoso Kyokai <Nhk> | Eye movement measuring device and eye movement measuring program |
| JP2009128565A (en) * | 2007-11-22 | 2009-06-11 | Toshiba Corp | Display device, display method, and head-up display |
| WO2011033766A1 (en) * | 2009-09-16 | 2011-03-24 | 株式会社 東芝 | Display device for image information |
| US8340368B2 (en) | 2008-06-11 | 2012-12-25 | Hyundai Motor Company | Face detection system |
| JP2014039617A (en) * | 2012-08-21 | 2014-03-06 | Fujitsu Ltd | Visual axis detection device and visual axis detection method |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0355505U (en) * | 1989-10-04 | 1991-05-29 | ||
| JPH05304631A (en) * | 1991-12-09 | 1993-11-16 | Canon Inc | Image pickup device |
| JPH06187091A (en) * | 1992-12-21 | 1994-07-08 | Kokusai Electric Co Ltd | Coordinate input device |
| JPH06507470A (en) * | 1989-08-15 | 1994-08-25 | プレスコ テクノロジー,インコーポレーテッド | Dual image video inspection equipment |
-
1994
- 1994-08-29 JP JP6227351A patent/JPH0868630A/en active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06507470A (en) * | 1989-08-15 | 1994-08-25 | プレスコ テクノロジー,インコーポレーテッド | Dual image video inspection equipment |
| JPH0355505U (en) * | 1989-10-04 | 1991-05-29 | ||
| JPH05304631A (en) * | 1991-12-09 | 1993-11-16 | Canon Inc | Image pickup device |
| JPH06187091A (en) * | 1992-12-21 | 1994-07-08 | Kokusai Electric Co Ltd | Coordinate input device |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002254956A (en) * | 2001-03-02 | 2002-09-11 | Toyota Industries Corp | Device for detecting falling-off awakened condition |
| JP2005323905A (en) * | 2004-05-17 | 2005-11-24 | Nippon Hoso Kyokai <Nhk> | Eye movement measuring device and eye movement measuring program |
| JP2009128565A (en) * | 2007-11-22 | 2009-06-11 | Toshiba Corp | Display device, display method, and head-up display |
| US8340368B2 (en) | 2008-06-11 | 2012-12-25 | Hyundai Motor Company | Face detection system |
| WO2011033766A1 (en) * | 2009-09-16 | 2011-03-24 | 株式会社 東芝 | Display device for image information |
| JP2014039617A (en) * | 2012-08-21 | 2014-03-06 | Fujitsu Ltd | Visual axis detection device and visual axis detection method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3855439B2 (en) | Night driving visibility support device | |
| JP3324295B2 (en) | Gaze direction measuring device for vehicles | |
| JP5297486B2 (en) | Device for detecting and tracking the eye and its gaze direction | |
| JP2988178B2 (en) | Gaze direction measuring device | |
| US6397137B1 (en) | System and method for selection of vehicular sideview mirrors via eye gaze | |
| JP3228086B2 (en) | Driving operation assist device | |
| JPH0761257A (en) | Vehicle display | |
| JP3785669B2 (en) | Gaze direction measuring device | |
| JP2003200755A (en) | Display device for vehicles | |
| JPH06230132A (en) | Vehicle obstacle detection device | |
| JPH0796803A (en) | Vehicle interface | |
| JP3520618B2 (en) | Gaze direction measuring device for vehicles | |
| JP2001340300A (en) | Pupil detecting device and method, fixation point detecting device and method, and three-dimensional image display system | |
| JP3735947B2 (en) | Line-of-sight input device | |
| JPH0868630A (en) | Vehicle gaze direction measuring device and image input device used therefor | |
| JPH09167049A (en) | Eye-gaze input device for console | |
| JP3185522B2 (en) | Gaze direction measuring device for vehicles | |
| JP2988235B2 (en) | Gaze direction detection device for vehicles | |
| JPH08297019A (en) | Vehicle gaze direction measurement device | |
| JP3296119B2 (en) | Gaze direction measuring device for vehicles | |
| JP3342810B2 (en) | Iris image acquisition device | |
| JPH06323832A (en) | Interface for vehicle | |
| JPH05270296A (en) | Vehicle operating device | |
| JP3232873B2 (en) | Gaze direction detection device for vehicles | |
| JPH0735543A (en) | Vehicle gazing point measuring device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20011218 |