JPH041844B2 - - Google Patents
Info
- Publication number
- JPH041844B2 JPH041844B2 JP2398884A JP2398884A JPH041844B2 JP H041844 B2 JPH041844 B2 JP H041844B2 JP 2398884 A JP2398884 A JP 2398884A JP 2398884 A JP2398884 A JP 2398884A JP H041844 B2 JPH041844 B2 JP H041844B2
- Authority
- JP
- Japan
- Prior art keywords
- driver
- image
- light
- light emitting
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
【発明の詳細な説明】
[技術分野]
本発明は、車両運転者の位置を認識する車両運
転者位置認識装置に関し、特に1つの2次元画像
から運転者の車室内における3次元位置を認識す
る車両運転車位置認識装置に関する。[Detailed Description of the Invention] [Technical Field] The present invention relates to a vehicle driver position recognition device that recognizes the position of a vehicle driver, and in particular recognizes the three-dimensional position of the driver in a vehicle interior from one two-dimensional image. The present invention relates to a vehicle driving position recognition device.
[従来技術]
従来、例えば車間距離検出装置あるいは後方の
障害物を検出するバツクソナー等、車外の物体を
認識することにより、乗員の目の補助的役割を果
たし、安全運転を確保する装置が開発されてき
た。[Prior Art] Conventionally, devices have been developed that serve as an auxiliary eye for passengers and ensure safe driving by recognizing objects outside the vehicle, such as inter-vehicle distance detection devices or back sonar that detects obstacles behind the vehicle. It's here.
ところが、近年、安全運転確保の見地から自動
車等の車両における操作性、快適性の向上が強く
求められるようになり、運転者にとつて良好な車
両の操作性、快適性を実現する要素、例えば、バ
ツクミラーの角度調整やエアコン吹出口の方向の
調整、チルトハンドルのハンドルの高さの調整、
あるいはヘツドレストの高さの調整などを個々の
運転者に合わせて自動的に行うものが望まれるに
至つている。 However, in recent years, there has been a strong demand for improvements in the operability and comfort of vehicles such as automobiles from the perspective of ensuring safe driving. , adjust the angle of the back mirror, adjust the direction of the air conditioner outlet, adjust the height of the tilt handle,
Alternatively, it has become desirable to have a vehicle that automatically adjusts the height of the headrest to suit each driver.
この為には車両運転者の位置を知る必要がある
が、従来はせいぜい運転席の前後位置や高さ、あ
るいはリクライニングの状態等を検出して、運転
者の位置を推定していたにすぎず、ひとりひとり
異なつた運転者の身長や姿勢を考慮して運転者の
位置を正確に認識することはできないという問題
があつた。 For this purpose, it is necessary to know the position of the vehicle driver, but conventionally, the driver's position could only be estimated by detecting the front and back position and height of the driver's seat, or the reclining state. However, there was a problem in that it was not possible to accurately recognize the position of the driver, taking into account the height and posture of each driver.
[発明の目的]
そこで、本発明は、車室内に目を向け、車両運
転車の位置を画像により3次元位置として認識す
るという従来にない発想に基づき、良好な車両操
作性を実現し、安全運転を促進する車両運転車位
置認識装置を提供することを目的としている。[Objective of the Invention] Therefore, the present invention realizes good vehicle operability and improves safety based on an unprecedented idea of looking inside the vehicle interior and recognizing the position of the vehicle driver as a three-dimensional position using images. It is an object of the present invention to provide a vehicle driver position recognition device that facilitates driving.
[発明の構成]
かかる目的を達成するための本発明の構成は、
第1図の基本的構成図に示す如く、
車両運転者に光を照射する発光手段aと、
運転席の斜め前方に配置され、前記発光手段の
照射による前記車両運転者からの反射光を画像情
報として検知する画像検出手段bと、
前記車両運転者の位置が、前記運転席の前後・
上下方向のみに移動すると見なすことにより、前
記画像検出手段にて検知された2次元画像に基づ
いて、車室内における運転者の3次元位置を認識
する認識手段aとを備えたことを特徴とする車両
運転者位置認識装置を要旨としている。[Configuration of the invention] The configuration of the present invention to achieve the above object is as follows:
As shown in the basic configuration diagram of FIG. 1, there is a light-emitting means a that irradiates light to a vehicle driver, and a light-emitting means a that is disposed diagonally in front of the driver's seat to image the light reflected from the vehicle driver due to the irradiation of the light-emitting means. an image detection means b for detecting information;
and a recognition means (a) for recognizing the three-dimensional position of the driver in the vehicle interior based on the two-dimensional image detected by the image detection means by assuming that the driver moves only in the vertical direction. The main subject is a vehicle driver position recognition device.
[実施例]
以下に本発明を、実施例を挙げて図面と共に説
明する。本実施例は、本発明が自動車用に適用さ
れた実施例である。第2図、第3図は本実施例の
光学系1の車室内への取付図である。本実施例の
光学系1は、発光手段と画像検出手段に相当す
る。図において光学系1から照射する光が、運転
者2の頭部の存在する蓋然性の高い範囲を照射し
得る位置に光学系1は設けられる。[Example] The present invention will be described below by giving examples and referring to the drawings. This example is an example in which the present invention is applied to an automobile. FIGS. 2 and 3 are views of how the optical system 1 of this embodiment is installed in the vehicle interior. The optical system 1 of this embodiment corresponds to a light emitting means and an image detecting means. In the figure, the optical system 1 is provided at a position where the light emitted from the optical system 1 can irradiate a range where the head of the driver 2 is highly likely to be present.
本実施例では図示せぬ助手席の乗員に、照射す
る光が遮られない様に、助手席左上の取付けが簡
単な位置、例えば車室内の角に、光学系1は、ボ
ルト・ナツト等で固定されている。3はステアリ
ング、4は運転席、5は車体、6はステアリング
3の中心と、運転席4の中心を通る中心線であ
る。ここで、車の前後方向、即ち、中心線6方向
をx方向、左右方向をy方向、上下方向をz方向
とする。 In this embodiment, the optical system 1 is mounted in a position where it is easy to install, for example, in a corner of the vehicle interior, to the upper left of the passenger seat, using bolts, nuts, etc., so that the light irradiated to the passenger seat (not shown) is not obstructed. Fixed. 3 is a steering wheel, 4 is a driver's seat, 5 is a vehicle body, and 6 is a center line passing through the center of the steering wheel 3 and the center of the driver's seat 4. Here, the front-rear direction of the vehicle, that is, the direction of the center line 6, is the x direction, the left-right direction is the y-direction, and the up-down direction is the z-direction.
次に第4図、第5図は前述した光学系1の構成
図である。第4図は光学系1の平面図、第5図は
光学系のX−X断面図を表す。図において円筒形
のホルダ10の中心軸に合致させて、レンズ11
がホルダ10に接着剤等で固定され、レンズ11
と同様、レンズ11下部に画像検出手段としての
2次元固体撮像素子12が接着剤等で固定されて
いる。2次元固体撮像素子12は本実施例にて
は、2次元電荷結合素子(二次元CCD)が採用
されている。ホルダ10は、ケース13に接着剤
又はねじ止め等で固定されている。発光手段とし
ての補助照明用の発光素子14a〜14hは、略
円筒形に形成され、ホルダ10の中心軸と平行
に、ホルダ10、2次元固体撮像素子12から所
定間隔をおいて、ケース13に対し接着剤又はね
じ止め等で固定され、かつ、8個周設されてい
る。これは均等に光を運転者2に照射するためで
ある。 Next, FIGS. 4 and 5 are configuration diagrams of the optical system 1 described above. FIG. 4 is a plan view of the optical system 1, and FIG. 5 is a sectional view taken along line XX of the optical system. In the figure, the lens 11 is aligned with the central axis of the cylindrical holder 10.
is fixed to the holder 10 with adhesive or the like, and the lens 11
Similarly, a two-dimensional solid-state image sensor 12 as an image detection means is fixed to the lower part of the lens 11 with adhesive or the like. In this embodiment, the two-dimensional solid-state image sensor 12 employs a two-dimensional charge-coupled device (two-dimensional CCD). The holder 10 is fixed to the case 13 with adhesive, screws, or the like. The light emitting elements 14a to 14h for auxiliary illumination as light emitting means are formed in a substantially cylindrical shape, and are attached to the case 13 at a predetermined distance from the holder 10 and the two-dimensional solid-state image sensor 12, parallel to the central axis of the holder 10. On the other hand, they are fixed with adhesive or screws, and eight of them are provided around the circumference. This is to uniformly irradiate the driver 2 with light.
そして、この発光素子14a〜14hは、高輝
度型赤外発光ダイオードが使用されている。発光
素子14a〜14hは、複数本のリード線15を
介して光学系制御回路16に接続され、2次元固
体撮像素子12は、リード線17を介して光学系
制御回路16に接続されている。この光学系制御
回路16は、後述する演算制御回路から画像読み
出し同期信号を入力し、2次元固体撮像素子12
の画像データを演算制御回路へ出力する。また、
発光素子14a〜14hを駆動するための駆動電
流の大きさを制御する駆動制御信号を、リード線
15を介して発光素子14a〜14hへ出力す
る。 As the light emitting elements 14a to 14h, high brightness infrared light emitting diodes are used. The light emitting elements 14a to 14h are connected to an optical system control circuit 16 via a plurality of lead wires 15, and the two-dimensional solid-state image sensor 12 is connected to the optical system control circuit 16 via a lead wire 17. This optical system control circuit 16 inputs an image readout synchronization signal from an arithmetic control circuit to be described later, and inputs an image readout synchronization signal to the two-dimensional solid-state image sensor 12.
image data is output to the arithmetic control circuit. Also,
A drive control signal that controls the magnitude of the drive current for driving the light emitting elements 14a to 14h is output to the light emitting elements 14a to 14h via the lead wire 15.
次に第6図は、認識手段として運転者の位置認
識を行う演算制御回路100のブロツク図であ
る。101はA/D変換器、マルチプレクサ等が
備えられた入力ポート、102は中央処理演算装
置(以下、CPUと呼ぶ。)、103はCPU102
より書き込まれたデータに従つて所定間隔で
CPU102に対し、タイマ割り込みを発生させ
るタイマ、104は運転者2の画像認識演算やア
クチユエータを作動する処理プログラムを格納す
るリードオンリメモリ(以下、単にROMと呼
ぶ。)、105は画像認識処理のデータを一時的に
格納するためのランダムアクセスメモリ(以下、
単にRAMと呼ぶ。)、106は光学系1及び駆動
回路107に制御信号を出力する出力ポートであ
る。 Next, FIG. 6 is a block diagram of an arithmetic and control circuit 100 that recognizes the position of the driver as a recognition means. 101 is an input port equipped with an A/D converter, a multiplexer, etc., 102 is a central processing unit (hereinafter referred to as CPU), and 103 is a CPU 102
At predetermined intervals according to the data written by
A timer that generates a timer interrupt for the CPU 102; 104 is a read-only memory (hereinafter simply referred to as ROM) that stores image recognition calculations for the driver 2 and processing programs that operate the actuator; 105 is data for image recognition processing; Random access memory (hereinafter referred to as
It is simply called RAM. ), 106 are output ports that output control signals to the optical system 1 and the drive circuit 107.
また107はアクチユエータを駆動するアクチ
ユエータ駆動回路、108はアクチユエータ駆動
回路107からの信号に基づいて、車両装備の配
置を調整するアクチユエータである。このアクチ
ユエータには、例えばフエンダミラー調整装置、
エアコン吹出口のダンパ、安全枕調整装置、路側
検知装置、チルトハンドル調整装置、座席高さ自
動調整装置が挙げられる。 Further, 107 is an actuator drive circuit that drives an actuator, and 108 is an actuator that adjusts the arrangement of vehicle equipment based on a signal from the actuator drive circuit 107. This actuator includes, for example, a fender mirror adjustment device,
Examples include dampers for air conditioner outlets, safety pillow adjustment devices, roadside detection devices, tilt steering wheel adjustment devices, and automatic seat height adjustment devices.
109は入力ポート101,CPU102、タ
イマ103、ROM104、RAM105、出力
ポート106を相互に接続するバスライン、11
0はバツテリ111からの電源を、キースイツチ
112を介して演算制御回路100に供給する電
源回路を各々表している。また、これらはインタ
フエイス回路を有している。 109 is a bus line that interconnects the input port 101, CPU 102, timer 103, ROM 104, RAM 105, and output port 106;
0 represents a power supply circuit that supplies power from the battery 111 to the arithmetic control circuit 100 via the key switch 112. Additionally, these have an interface circuit.
以上述べた演算制御回路100により実行され
る画像認識処理について説明する。第7図にこの
処理の制御プログラムのフローチヤートを示す。
エンジンのキーがアクセサリー状態(ACC)又
はイグニツシヨン状態(IG)にされると、キー
スイツチ112が閉じられ、電源回路111から
必要な電源が供給され処理が開始される。詳細な
処理の説明に入る前に、まず処理の概略を説明す
る。画像認識処理は一般に観測、量子化、前処
理、特徴抽出、識別、後処理の各処理に分けられ
る。ステツプ201ないしステツプ203は観測、ス
テツプ204、205は量子化、ステツプ206ないしス
テツプ208は画像の変換、加工等の前処理、ステ
ツプ209とステツプ210は境界線抽出等のと特徴抽
出、ステツプ211ないしステツプ214は後処理を表
す。これらの処理を行うことにより、画像認識処
理が行われる。 The image recognition process executed by the arithmetic control circuit 100 described above will be described. FIG. 7 shows a flowchart of a control program for this process.
When the engine key is placed in the accessory state (ACC) or ignition state (IG), the key switch 112 is closed, the necessary power is supplied from the power supply circuit 111, and processing is started. Before entering into a detailed explanation of the processing, an outline of the processing will first be explained. Image recognition processing is generally divided into observation, quantization, preprocessing, feature extraction, identification, and postprocessing. Steps 201 to 203 are observation, steps 204 and 205 are quantization, steps 206 to 208 are image conversion, preprocessing such as processing, steps 209 and 210 are feature extraction such as boundary line extraction, and steps 211 to 205 are Step 214 represents post-processing. By performing these processes, image recognition processing is performed.
次にこの処理の詳細な説明に入る。ステツプ
201においては、別途設けられた処理要求信号が
あるか否かを判定する。この処理要求信号入力手
段はACC又はIGになると考えても良いが、図示
せぬ要求スイツチ、例えばハンドルに付設された
専用スイツチであつても良く、ハンドルから手を
離さずに操作し得る。尚、運転中、常に行わねば
ならぬアクチユエータ、例えばバツクミラー調整
装置の場合はキースイツチ連動が好ましく、座席
高さ調整装置や特別なアクチユエータの場合は専
用スイツチを設ける方が好ましい。操作性が良い
ためである。 Next, a detailed explanation of this process will be given. step
In 201, it is determined whether there is a separately provided processing request signal. This processing request signal input means may be considered to be ACC or IG, but it may also be a request switch (not shown), for example, a dedicated switch attached to the steering wheel, which can be operated without taking your hands off the steering wheel. Incidentally, in the case of an actuator that must be constantly operated during driving, such as a back mirror adjustment device, it is preferable to use a key switch, and in the case of a seat height adjustment device or a special actuator, it is preferable to provide a dedicated switch. This is because it is easy to operate.
そしてこの処理要求がない場合はそのまま待機
する。一方、処理要求が入力ポート101に入力
されるとCPU102は画像認識処理を開始する。
まず最初にステツプ202においては、CPU102
内部のレジスタ等のクリアや、パラメータのセツ
トの処理を行う。例えばRAM105の画像メモ
リにストアされる運転者の目の位置の座標P(x,
y,z)の初期化により座標をP(0,0,0)
に設定する。 If there is no request for this processing, it remains on standby. On the other hand, when a processing request is input to the input port 101, the CPU 102 starts image recognition processing.
First, in step 202, the CPU 102
Clears internal registers and sets parameters. For example, the coordinates P(x,
Initialization of y, z) changes the coordinates to P(0, 0, 0)
Set to .
次のステツプ203においては、出力ポート10
6を介して発光素子14a〜14hを発光させる
制御信号を光学系制御回路16に出力し、光学系
1を駆動する。発光素子14a〜14hは制御信
号を受けて直ちに発光され、運転者2に赤外光が
照射される。照射された赤外光は、運転者2に当
り反射し、当該反射光は、レンズ11を介して2
次元固体撮像素子12に取り込まれる。従つて、
レンズ11により2次元固体撮像素子12に運転
者の画像が結ばれる。2次元固体撮像素子12は
当該画像を512×400の画素に分割する電荷結合素
子、即ち光電変換−電荷蓄積素子より成つてお
り、2次元固体撮像素子12上の画像は、連続的
な光量を画素毎に設定された不連続な値にするい
わゆる量子化が行われ、2次元固体撮像素子12
に入射した反射光の光量に応じて光電変換が行わ
れた後、電荷として蓄積されてゆく。 In the next step 203, output port 10
A control signal for causing the light emitting elements 14a to 14h to emit light is outputted to the optical system control circuit 16 via the optical system control circuit 16, thereby driving the optical system 1. The light emitting elements 14a to 14h immediately emit light upon receiving the control signal, and the driver 2 is irradiated with infrared light. The irradiated infrared light hits the driver 2 and is reflected, and the reflected light passes through the lens 11 to the driver 2.
The image is taken into the dimensional solid-state image sensor 12. Therefore,
An image of the driver is focused on a two-dimensional solid-state image sensor 12 through a lens 11 . The two-dimensional solid-state image sensor 12 is composed of a charge-coupled device that divides the image into 512 x 400 pixels, that is, a photoelectric conversion/charge storage device. So-called quantization is performed to make discontinuous values set for each pixel, and the two-dimensional solid-state image sensor 12
After photoelectric conversion is performed according to the amount of reflected light incident on the light, it is accumulated as a charge.
続くステツプ204にて前記蓄積された電荷は、
画像読み出し同期信号により、左上隅より逐次走
査され、読み出されてゆくが、電荷量は読み出し
から次の読み出しまでに、2次元固体撮像素子1
2が受けとつた光量に応じて蓄積されるので、読
み出し間隔の間に2次元固体撮像素子12が受け
取つた光量の大きさに対応しており、読み出し順
に時系列化されたアナログ信号として光学系制御
回路16を介して演算制御回路100の入力ポー
ト101に出力される。 In the following step 204, the accumulated charge is
The image is sequentially scanned and read out from the upper left corner by the image readout synchronization signal, but the amount of charge changes from one readout to the next readout on the two-dimensional solid-state image sensor 1.
2 is accumulated according to the amount of light received, so it corresponds to the amount of light received by the two-dimensional solid-state image sensor 12 during the readout interval, and is sent to the optical system as a time-series analog signal in the order of readout. It is output to the input port 101 of the arithmetic control circuit 100 via the control circuit 16.
そして入力ポート101にて、A/D変換器に
より高速でA/D変換が行われ、デイジタル信号
に変換されて、6ビツトあるいは8ビツトの画像
情報としてRAM105の所定エリア、即ち画像
メモリにストアされる。当該画像メモリには、赤
外光によつて写しとられた時点での運転者2の上
半身を含む画像の情報が残されたことになる。こ
の操作を画像を固定したという意味でフリーズと
呼ぶが、フリーズ後のRAM105の画像メモリ
上には第8図イに示す如き画像情報が格納された
ことになる。 Then, at the input port 101, the A/D converter performs A/D conversion at high speed, converts it into a digital signal, and stores it in a predetermined area of the RAM 105, that is, the image memory, as 6-bit or 8-bit image information. Ru. Information on the image including the upper body of the driver 2 at the time it was captured using infrared light is left in the image memory. This operation is called "freezing" in the sense that the image is fixed, and after freezing, image information as shown in FIG. 8A is stored in the image memory of the RAM 105.
続くステツプ205においては、停止信号が入力
ポート101から光学系1へ出力され、光学系1
は停止され、不必要な電力を消費しないようにし
ステツプ206に移行する。 In the following step 205, a stop signal is output from the input port 101 to the optical system 1.
is stopped to avoid unnecessary power consumption, and the process moves to step 206.
ステツプ206においては、ステツプ204にて得ら
れた画像情報の、いわゆる前処理のうち、まず画
像の修正・強調を行う。画像の修正とは、外乱交
によるノイズを取り除く処理である。また画像の
強調はエツヂ強調とも呼ばれる処理であり、その
処理の一例を第9図に示す。縦3×横3の画素に
関して、中心の画素の値Pi,jと、となり合う4
つの画素の値Pi-1、j、Pi、j-1、Pi、j+1、Pi+1、
jを加え中心の画素の値Pi、jの4倍の値を引
き、当該値を4で割り、当該値を新たな中心の画
素値Pi、jとする。この演算を周縁の画素を除く
全ての画素に対して行う。これにより明暗部が強
調され、第8図イに示す如き画像が得られステツ
プ207へ移行する。 In step 206, among the so-called pre-processing of the image information obtained in step 204, the image is first corrected and enhanced. Image correction is a process of removing noise caused by external disturbances. Image enhancement is a process also called edge enhancement, and an example of this process is shown in FIG. Regarding the pixels of 3 vertically x 3 horizontally, the value Pi,j of the center pixel and the neighboring 4
pixel values Pi -1 , j, Pi, j -1 , Pi, j +1 , Pi +1 ,
Add j, subtract 4 times the center pixel value Pi, j, divide the value by 4, and use the value as the new center pixel value Pi, j. This calculation is performed for all pixels except peripheral pixels. As a result, bright and dark areas are emphasized, and an image as shown in FIG. 8A is obtained, and the process proceeds to step 207.
ステツプ207においては、前述ステツプ206にて
得られた画像を設定された値で2値化する処理が
行われる。ここで、2値化の処理とは、画像が持
つ濃淡、即ち6ビツトあるいは8ビツトの階調の
情報に対して、所定のレベル(スレツシヨルドレ
ベル)を設定して比較を行い、上記レベルよりも
濃い部分を黒、即ち「0」レベルに、上記レベル
よりも淡い部分を白、即ち「1」レベルに、截然
と分離する処理である。濃い部分は2次元固体撮
像素子12において電荷があまり蓄積されなかつ
た部分であり、淡い部分は電荷の蓄積が充分にな
された部分である。こうして、画像は1,0レベ
ルに分かれ、第8図ハに示す如き画像が得られ
る。 In step 207, the image obtained in step 206 is binarized using set values. Here, the binarization process involves setting a predetermined level (threshold level) for the gradation information of the image, that is, 6-bit or 8-bit gradation information, and comparing the above level. This is a process that clearly separates areas darker than the above level into black, ie, level "0," and areas lighter than the above level, into white, ie, level ``1.'' The dark portions are portions in which little charge was accumulated in the two-dimensional solid-state image sensor 12, and the light portions are portions where charge was sufficiently accumulated. In this way, the image is divided into 1 and 0 levels, and an image as shown in FIG. 8C is obtained.
尚、2値化された後の画像は、2値化の前記判
定レベルをどこに取るかで変化するが、例えば液
晶絞り素子を2次元固体撮像素子12上に設け、
入射する光量を調節して、運転者の顔を白レベル
とし、背景を黒レベルとするような判定レベルを
設定しておくことは容易である。 Note that the image after being binarized changes depending on the determination level of the binarization, but for example, if a liquid crystal aperture element is provided on the two-dimensional solid-state image sensor 12,
It is easy to adjust the amount of incident light and set a determination level such that the driver's face is at a white level and the background is at a black level.
続くステツプ208においては、前述ステツプ207
にて2値化された画像の境界線を細線化する。こ
の処理は、第8図ハにおける黒い部分の中心を求
めてゆくことにより、容易に実現され、第8図ニ
に示す如き画像が得られ、ステツプ209へ移行す
る。 In the following step 208, the above-mentioned step 207 is performed.
The boundary line of the binarized image is made thinner. This process is easily realized by finding the center of the black part in FIG. 8C, and an image as shown in FIG.
ステツプ209においては、前述ステツプ208にて
得られた画像に対し、画像の左上隅から横方向に
スキヤニングを行い、画像の上部にて図示する如
きXが最小かつ接線の傾きが垂直である点の検出
を行う。縦方向からスキヤニングしてもよい。ま
た、赤外光を斜め上から照射する為鼻の位置が位
置特定のためには一番良好であり、検出精度が高
い。また本実施例ではパターン認識のいわゆる形
が何であるかの識別処理をする時間はなく、複雑
なアルゴリズムは処理時間との兼ね合いもあり採
用されず、簡単な特徴抽出が行われているか、所
定条件により、例えば、めがねがあるとか髪の毛
が長いとかの条件では、複雑な特徴抽出処理につ
づいて、識別処理を行つても良い。こうして、運
転者の画像から周囲とその性質を異にする部位
(この場合は鼻)を特異点として検出する。 In step 209, the image obtained in step 208 is scanned in the horizontal direction from the upper left corner of the image, and the point where X is minimum and the slope of the tangent line is vertical as shown in the upper part of the image Perform detection. Scanning may also be performed from the vertical direction. In addition, since the infrared light is irradiated diagonally from above, the position of the nose is the best for localization, and detection accuracy is high. In addition, in this embodiment, there is no time to identify the so-called form of pattern recognition, and a complicated algorithm is not adopted due to the processing time. Therefore, for example, under conditions such as wearing glasses or having long hair, a complex feature extraction process may be followed by an identification process. In this way, a part (in this case, the nose) that has different characteristics from the surrounding area is detected as a singular point from the driver's image.
続くステツプ210においては、前記特異点の画
像メモリ上の2次元座標X、Zの値が求められ
る。この座標から、車室内の目の3次元位置の座
標を求める。即ち、光学系1の位置が固定されて
いることから、予めROM104に格納された日
本人の鼻と距離の平均値に基づいて演算し、目の
位置の座標が求められる。 In the following step 210, the values of the two-dimensional coordinates X and Z of the singular point on the image memory are determined. From these coordinates, the coordinates of the three-dimensional position of the eye within the vehicle interior are determined. That is, since the position of the optical system 1 is fixed, the coordinates of the eye position are calculated based on the average value of the distance from the Japanese person's nose stored in advance in the ROM 104.
第10図は、車室内の運転車を目の3次元位置
を示している。302aは原点を表し、302b
は移動後の目の3次元的位置を表している。第1
1図は演算処理後の画像メモリのイメージ300
を表している。302cは画像メモリ上での原点
であり、302dは画像メモリ上で、移動した後
の目の位置を示している。したがつて302aと
302c,302bと302dとはそれぞれ1対
1に対応している。 FIG. 10 shows the three-dimensional position of the driver's car in the passenger compartment. 302a represents the origin, 302b
represents the three-dimensional position of the eye after movement. 1st
Figure 1 is an image 300 of the image memory after calculation processing.
represents. 302c is the origin on the image memory, and 302d is the position of the eye after movement on the image memory. Therefore, 302a and 302c, and 302b and 302d have a one-to-one correspondence, respectively.
ここで、運転者2はステアリング3と運転席4
とにより、横方向、即ちy軸方向の動きが制限さ
れる、つまりy軸方向の動きが小さいものと考え
られるため、中心線6上を含み、運転席を中心と
して空間を左右に分ける面(x−z平面)上に運
転者2の目の位置がある、つまり運転席4の前
後、上下方向のみに移動すると見なすことができ
る。したがつて、演算処理後の画像メモリのイメ
ージ300による運転者2の目の位置302dは
メモリの原点302cからの座標(x1,z1)で求
められるため、結局運転者の目の3次元位置P
(x,O,z)を求めることができる。 Here, the driver 2 uses the steering wheel 3 and the driver's seat 4.
Because of this, the movement in the lateral direction, that is, in the y-axis direction, is restricted, that is, the movement in the y-axis direction is considered to be small. It can be assumed that the eyes of the driver 2 are located on the (x-z plane), that is, that the eyes of the driver 2 move only in the front, back, and up and down directions of the driver's seat 4. Therefore, the position 302d of the eyes of the driver 2 according to the image 300 in the image memory after calculation processing is determined by the coordinates (x 1 , z 1 ) from the origin 302c of the memory. Position P
(x, O, z) can be found.
続くステツプ211においては、前述ステツプ210
にて得られた運転者の目の3次元位置P(x,O,
z)と前回の処理にて得られる3次元位置の座標
P′(x′,O,z′)との距離|P−P′|、即ち√(
−x′)2+(z−z′)2を演算する。つまり、運転者2
のxz平面上での動きを演算する。 In the following step 211, the above-mentioned step 210 is performed.
The three-dimensional position P(x, O,
z) and the coordinates of the three-dimensional position obtained from the previous processing
Distance from P′(x′, O, z′) |P−P′|, that is, √(
−x′) 2 + (z−z′) 2 is calculated. In other words, driver 2
Compute the movement of on the xz plane.
ステツプ212においては、|P−P′|の値が、設
定値以上か否かを判定し、|P−P′|が設定値以
上と判定されたならば、ステツプ213へ移行し、|
P−P′|が設定値より小さいと判定されたなら
ば、ステツプ214へ移行する。このステツプは、
目の位置が小刻みに動くのにつれて、アクチユエ
ータと車両装備が小刻みに動くことにより、走行
フイーリングが悪くなるのを防止するために設け
られている。 In step 212, it is determined whether the value of |P-P'| is greater than or equal to the set value, and if it is determined that |P-P'| is greater than or equal to the set value, the process proceeds to step 213, where |
If it is determined that P-P'| is smaller than the set value, the process moves to step 214. This step is
This is provided to prevent the driving feeling from worsening due to the actuator and vehicle equipment moving gradually as the position of the eye moves little by little.
そして、|P−P′|が設定値以上と判定された
場合に処理されるステツプ213においては、Pの
値に基づいて、アクチユエータ108の駆動量を
演算し、アクチユエータ駆動回路107を介し
て、出力ポート106からアクチユエータ108
へ駆動信号が出力され、アクチユエータ108が
駆動され、ステツプ214へ移行する。 Then, in step 213, which is processed when it is determined that |P-P'| is greater than or equal to the set value, the drive amount of the actuator 108 is calculated based on the value of P, and the Output port 106 to actuator 108
A drive signal is output to the actuator 108, and the process moves to step 214.
ステツプ212にて、|P−P′|が設定値より小さ
くアクチユエータ108を駆動する必要がない旨
判定された場合、あるいは、ステツプ213のアク
チユエータ駆動処理の後、処理が行われるステツ
プ214においては、ステツプ201にて行われたと同
様に、最終的に処理要求があるか否かを再び判定
し、処理要求がある旨判定された場合には、ステ
ツプ203に戻り、再度画像認識のループ処理を行
う。1回のループ処理にて、運転者の3次元位置
データが1つ演算され、当該演算値に基づいて運
転者2の目の位置の動きを検出し、目の位置の変
化に従つてアクチユエータが駆動される。こうし
て処理要求がある限り、繰り返しループ処理が行
われる。また、処理要求がない旨判定された場合
は、本ルーチンの処理を終了する。 If it is determined in step 212 that |P-P'| is smaller than the set value and there is no need to drive the actuator 108, or in step 214 where the process is performed after the actuator drive process in step 213, As in step 201, it is determined again whether there is a final processing request, and if it is determined that there is a processing request, the process returns to step 203 and the image recognition loop processing is performed again. . In one loop process, one piece of three-dimensional position data of the driver is calculated, the movement of the eye position of the driver 2 is detected based on the calculated value, and the actuator is activated according to the change in the eye position. Driven. In this way, as long as there is a processing request, loop processing is performed repeatedly. Furthermore, if it is determined that there is no processing request, the processing of this routine is ended.
第12図は、本実施例に適用されるバツクミラ
ーとその駆動機構を示す。バツクミラーには、単
モータ式のアクチユエータが備えられている。こ
のアクチユエータは、小型直流モータ321と減
速歯車及びクラツチを有する機構部322とを備
え、ミラー320の背面に取り付けられたミラー
ケース324を水平方向及び垂直方向に角度調整
できるようにされている。またポジシヨンセンサ
325,326により機構部322の位置を検出
し、フイードバツク制御するよう構成されてい
る。 FIG. 12 shows a back mirror and its driving mechanism applied to this embodiment. The back mirror is equipped with a single motor actuator. This actuator is equipped with a small DC motor 321 and a mechanism section 322 having a reduction gear and a clutch, and is capable of adjusting the angle of a mirror case 324 attached to the back surface of the mirror 320 in the horizontal and vertical directions. Further, the position sensor 325, 326 is configured to detect the position of the mechanism section 322 and perform feedback control.
そして、他の制御方式としては、ステツプモー
タを使用してオープンループ制御する方式あるい
は、DCサーボモータを使用してフイードバツク
制御する方式等がある。このようなバツクミラー
を使用し、運転者2の目の位置に応じて、そのア
クチユエータを制御すればバツクミラーが駆動さ
れミラーを動かす煩しさがなくなる。また、例え
ば座席高さを調整する場合は、専用スイツチをオ
ンした後、目の位置を上に移動して座席を高くし
た後、専用スイツチをオフすれば、座席高さの調
整に伴う煩しさがなくなる。 Other control methods include an open loop control method using a step motor and a feedback control method using a DC servo motor. If such a rearview mirror is used and its actuator is controlled according to the position of the driver's eyes, the rearview mirror will be driven and the trouble of moving the mirror will be eliminated. Also, when adjusting the seat height, for example, turn on the dedicated switch, move your eyes upwards to raise the seat, and then turn off the dedicated switch to avoid the hassle associated with adjusting the seat height. disappears.
以上詳述した如く、本実施例が構成されている
ことにより、運転中は、運転者2は、ステアリン
グ3と運転席4によりy軸方向の動きが少なく、
x−z平面上に運転者2の目の位置がある、つま
り運転席の前後・上下方向のみに移動すると見な
すことができ、2次元固体撮像素子12を1個と
複数個の発光素子14a〜14hとを用いるのみ
で運転者の位置を3次元的に認識し得る。 As described in detail above, due to the configuration of this embodiment, the driver 2 has little movement in the y-axis direction due to the steering wheel 3 and the driver's seat 4 while driving.
It can be assumed that the eyes of the driver 2 are located on the x-z plane, that is, they move only in the front-rear and up-down directions of the driver's seat, and one two-dimensional solid-state image sensor 12 and a plurality of light emitting elements 14a to 14 are arranged on the x-z plane. 14h, the driver's position can be recognized three-dimensionally.
即ち、運転者2の上半身の存在する蓋然性の高
い範囲に発光素子14a〜14hにより赤外光を
照射し、その反射光を1つの2次元固体撮像素子
(2次元CCD)12によつて画像として検知し、
外画像情報により運転者の目の2次元位置を認識
し、これより運転者の目の3次元位置を認識して
いる。このように、運転者の実際の3次元位置を
精度良く、知ることができる。 That is, the light emitting elements 14a to 14h irradiate infrared light onto an area where the upper body of the driver 2 is likely to be present, and the reflected light is converted into an image by one two-dimensional solid-state image sensor (two-dimensional CCD) 12. detect,
The two-dimensional position of the driver's eyes is recognized from external image information, and from this the three-dimensional position of the driver's eyes is recognized. In this way, the driver's actual three-dimensional position can be known with high precision.
このため、ひとりひとり異なる運転者2の身長
や運転者2のx−z平面上での動きに左右される
ことなく、運転者2の実際の3次元位置を正確に
把握し、車室内の運転者2の3次元位置に従つ
て、アクチユエータを駆動できる。 Therefore, the actual three-dimensional position of the driver 2 can be accurately grasped, regardless of the height of the driver 2, which varies from person to person, or the movement of the driver 2 on the x-z plane. The actuator can be driven according to the two three-dimensional positions.
例えば、フエンダミラー、ルームミラーの自動
調整を行い、調整の煩しさから開放することがで
る。運転者2の位置へ空気調和装置のダンパを調
整して空気調和装置の吹出口を向けることにより
冷暖房効果を促進することができる。運転者2の
周期的な運動を検出し居眠りと判断し、光、音の
刺激などで警報し、居眠り運転を防止できる。鼻
の位置の検出から、脇見運転を防止できる。ダツ
シユボード上部からフロントガラス下部に光を利
用してスケール表示させ、個人差に応じた路側検
知を行うことができる。運転者の個人差に合せて
チルトハンドルの調整を自動的に行い最適位置に
設定できる。 For example, the fender mirror and rearview mirror can be automatically adjusted, freeing you from the hassle of adjusting them. By adjusting the damper of the air conditioner and directing the air outlet of the air conditioner toward the position of the driver 2, the heating and cooling effect can be promoted. It detects periodic movements of the driver 2, determines that the driver is dozing off, and issues a warning using light, sound stimulation, etc., thereby preventing drowsy driving. Distracted driving can be prevented by detecting the position of the nose. Using light to display a scale from the top of the dash board to the bottom of the windshield, roadside detection can be performed in accordance with individual differences. The tilt handle can be automatically adjusted and set to the optimal position according to individual differences between drivers.
このように個々の運転者に応じて良好な車両操
作性、快適性を実現することが可能となる。した
がつて、運転者をこれらアクチユエータ操作の煩
しさから解放するといつた効果を奏する。また、
運転者の運転を監視する観点から、安全運転を促
進することが可能となる。 In this way, it is possible to achieve good vehicle operability and comfort depending on the individual driver. Therefore, the driver is freed from the trouble of operating these actuators. Also,
From the perspective of monitoring the driver's driving, it is possible to promote safe driving.
そして、2次元固体撮像素子を用いているた
め、従来の撮像管と較べて検出部を小型化するこ
とができ、可動部がないため、耐振動性に優れて
おり、車両搭載用として高い信頼性を実現するこ
とができる。 Since it uses a two-dimensional solid-state image sensor, the detection unit can be made smaller compared to conventional image pickup tubes, and since there are no moving parts, it has excellent vibration resistance and is highly reliable for use in vehicles. You can realize your sexuality.
尚、本実施例にかかわらず、第7図のフローチ
ヤートにおいては、画像認識処理の要求信号は、
ソフトウエアタイマ又はハードウエアタイマにて
設定時間ごとに発生しても良い。つまりタイマ割
込処理をしても良く、これにより設定時間毎にア
クチユエータの駆動ができ、目の位置の動きに従
つた、アクチユエータの補正が可能となる。 Incidentally, regardless of this embodiment, in the flowchart of FIG. 7, the request signal for image recognition processing is
It may be generated at every set time using a software timer or a hardware timer. In other words, a timer interrupt process may be performed, which allows the actuator to be driven at every set time, making it possible to correct the actuator according to the movement of the eye position.
また、赤外発光素子14a〜14hより赤外光
を照射して運転者2の上半身を含む画像をフリー
ズした時、何らかの理由、例えば、運転者が車両
の一時停止時に横を見るとか、運転上の必要から
背後を振り向いた時など、目の位置が検出できな
かつたとすれば画像認識処理を保留するステツプ
を設けても良い。 Furthermore, when an image including the upper body of the driver 2 is frozen by irradiating infrared light from the infrared light emitting elements 14a to 14h, it may be necessary to freeze the image including the upper body of the driver 2 for some reason, such as when the driver looks to the side when the vehicle is temporarily stopped, or when driving. If the position of the eyes cannot be detected, such as when the user looks behind them due to a need for the camera, a step may be provided to suspend the image recognition process.
そして、ステツプ201の処理要求は、車速パル
スが所定値以上になるとか、ニユートラルスイツ
チがオフすると開始するようにしても良い。停止
信号等で一時停止中に顔を動かしたりすることが
あるからである。 The processing request in step 201 may be started when the vehicle speed pulse exceeds a predetermined value or when the neutral switch is turned off. This is because the driver may move his or her face during a temporary stop due to a stop signal or the like.
また、赤外発光ダイオードの発光時間を連続と
しても良く、発光・受光のタイミングをとる必要
がない。又運転車がまぶしさを感じない範囲で可
視光を用いても良い。 Furthermore, the light emitting time of the infrared light emitting diode may be continuous, and there is no need to time the light emission and light reception. Also, visible light may be used within a range where the driver does not feel glare.
次に光学系の他の例について説明する。本例は
実施例の光学系とほぼ同様の構成であるが、発光
素子の光量を制御可能な構成としている。実施例
においては、すべての発光素子を同時に駆動する
様に構成したが、明るい環境下においては、光量
が充分あるためその必要がない。また、光量が多
いため、いわゆるブルーミング現象が発生する。
そこで、入射する光量に応じて発光素子の駆動電
流を制御するようにしている。したがつて、本例
においては第4図、第5図に示す発光素子14a
と14eのみを駆動する、又は14a,14c,
14e及び14gの4つを駆動する方式あるいは
全体の発光素子14a〜14hのの駆動電流を制
御する方式を採用し、発光素子の明るさを制御し
ている。 Next, another example of the optical system will be explained. This example has almost the same configuration as the optical system of the example, but has a configuration in which the amount of light from the light emitting element can be controlled. In the embodiment, all the light emitting elements were configured to be driven at the same time, but in a bright environment, there is a sufficient amount of light, so this is not necessary. Furthermore, because the amount of light is large, so-called blooming phenomenon occurs.
Therefore, the driving current of the light emitting element is controlled according to the amount of incident light. Therefore, in this example, the light emitting element 14a shown in FIGS.
and 14e only, or 14a, 14c,
The brightness of the light emitting elements is controlled by a method of driving four light emitting elements 14e and 14g or a method of controlling the driving current of all the light emitting elements 14a to 14h.
以上のように本例によれば鮮明な画像が得ら
れ、運転者位置検出のアルゴリズムが簡素化さ
れ、演算の高速化が図られ、検出精度を高めうる
といつた効果がある。 As described above, according to this example, a clear image can be obtained, the algorithm for detecting the driver's position can be simplified, calculation speed can be increased, and detection accuracy can be improved.
次に第13図イ,ロに示す如き光学系の異なる
他の例について説明する。第13イは本例の平面
図、第13図ロはY−Y断面図を表す。本例は実
施例とほぼ同様の構成であるがホルダ10に、や
や長い筒状の長ホルダ510を用い、レンズ51
1の上側に、機械的な光絞り機構又は液晶による
電気的絞り機構520、又は発光手段として赤外
発光素子514a〜514hを用いている。ま
た、光量制御する機構として可視光カツトフイル
タを用いても良い。2次元固体撮像素子12に入
射する光量を最適に制御するためである。 Next, other examples with different optical systems as shown in FIGS. 13A and 13B will be explained. 13A represents a plan view of this example, and FIG. 13B represents a YY cross-sectional view. This example has almost the same configuration as the example, but a slightly longer cylindrical long holder 510 is used as the holder 10, and the lens 51
1, a mechanical optical aperture mechanism or an electric aperture mechanism 520 using liquid crystal, or infrared light emitting elements 514a to 514h are used as light emitting means. Further, a visible light cut filter may be used as a mechanism for controlling the amount of light. This is to optimally control the amount of light incident on the two-dimensional solid-state image sensor 12.
本例によれば鮮明な2次元画像が得られ、前の
例の効果と同様な効果がある。 According to this example, a clear two-dimensional image can be obtained, and the same effect as that of the previous example can be obtained.
そして、前記液晶絞り素子520により2次元
固体撮像素子に集められる光量が一定範囲に調量
されており、一般に固体撮像素子に見られるブル
ーミング現象の発生を防ぐ効果を奏する。 The liquid crystal aperture element 520 controls the amount of light collected on the two-dimensional solid-state image sensor within a certain range, which is effective in preventing the blooming phenomenon generally seen in solid-state image sensors.
更に光量の絞り機構として、液晶絞り素子又
は、通常の機械的な光量の絞りの代わりに、セラ
ミツクの複屈折電界異存性を利用した透明セラミ
ツク絞りを用いても良い。透明セラミツクは、優
れた耐久性を有し、経年変化が少ないので、装置
の信頼性を高めることができる。 Furthermore, as the light amount diaphragm mechanism, a transparent ceramic diaphragm that utilizes the birefringent electric field property of ceramic may be used instead of a liquid crystal diaphragm element or a normal mechanical light amount diaphragm. Transparent ceramic has excellent durability and does not change much over time, so it can increase the reliability of the device.
次に発光手段として赤外ストロボを使用する発
光手段の他の例について説明する。 Next, another example of the light emitting means using an infrared strobe as the light emitting means will be explained.
第14図イは赤外ストロボ605の側面図であ
るが、650は赤外発光体、651は赤外光を広
く運転者2に照射する為のレンズ、653は赤外
光を透過し可視光を通さない赤外フイルタ、65
5はケース、657はレンズ651とフイルタ6
53をケースに固定するインナを各々表してい
る。赤外ストロボ605はインストルメントパネ
ル604aのほぼ中心にボルト658a、ナツト
658bにより固定されている。 FIG. 14A is a side view of the infrared strobe 605, where 650 is an infrared emitter, 651 is a lens for irradiating a wide range of infrared light to the driver 2, and 653 is a lens that transmits infrared light and visible light. Infrared filter that does not pass through, 65
5 is a case, 657 is a lens 651 and a filter 6
53 to the case. The infrared strobe 605 is fixed approximately at the center of the instrument panel 604a with a bolt 658a and a nut 658b.
また、赤外発光体650の発光スペクトルを第
14図ロに示したが、一般に赤外光発光体といえ
ども可視光領域にもかなりの発光スペクトルを有
するので、赤外フイルタ653によつて波長
800nm以下の光はカツトし、赤外光のみを運転
者2の上半身に照射するように構成してある。本
例によれば運転者は赤外ストロボ605が発光し
てもまぶしさを感じることもなく、また画像が外
乱の影響を受けることもないといつた効果があ
る。 The emission spectrum of the infrared light emitter 650 is shown in FIG.
It is configured to cut out light of 800 nm or less and irradiate only infrared light to the upper body of the driver 2. According to this example, the driver does not feel dazzled even when the infrared strobe 605 emits light, and the image is not affected by external disturbances.
尚、本発明の要旨を変更しない範囲で次のよう
に、他の構成を用いることもできる。 Note that other configurations may be used as described below without changing the gist of the present invention.
即ち、発光手段、画像検出手段は運転者の左上
以外に設置しても良く、運転者の上半身を身近に
とらえる位置、例えば車両の右上に設けても良
い。 That is, the light emitting means and the image detecting means may be installed at a position other than the upper left of the driver, or may be installed at a position close to the driver's upper body, for example, at the upper right of the vehicle.
また発光手段は、発光素子がレンズ付きで照射
範囲の設定された光ビーム(例えば照射範囲は
60°)を持つ素子、あるいは通常の広角な光ビー
ムを持つ発光素子上に、小型レンズを装置し、や
や平行なビーム(照射範囲は10°)とし画像の感
度を高めるようにしても良い。尚、照射範囲の角
度は適宜補正され得る。 In addition, the light emitting means includes a light emitting element equipped with a lens and a light beam with a set irradiation range (for example, the irradiation range is
A small lens may be installed on a light-emitting element with a light beam of 60°) or a light-emitting element with a normal wide-angle light beam to create a slightly parallel beam (irradiation range of 10°) to increase the sensitivity of the image. Note that the angle of the irradiation range may be corrected as appropriate.
そして、画像検出手段の一部に用いた固体撮像
素子として用いられた、電荷結合素子(CCD)
のかわりにフオトダイオードアレイの出力を、
MOSトランジスタを切換えて読み出すMOS型の
固体撮像素子を用いても良い。MOS型の固体撮
像素子は画像の読み出し回路が簡単なので、画像
信号制御回路を簡単・小型化することができる。 A charge-coupled device (CCD) was used as a solid-state image sensor as part of the image detection means.
Instead, the output of the photodiode array,
A MOS type solid-state image sensor that reads out data by switching MOS transistors may also be used. Since the MOS type solid-state image sensor has a simple image readout circuit, the image signal control circuit can be simplified and miniaturized.
また、認識手段にて行われるパターン認識の処
理としては、2値化の処理のかわりに微分処理を
行い、顔面の輪郭線を求め、この輪郭線から目の
位置を求めても良い。また、顔面の2次元画像を
白と黒の開部分、閉部分に分け、そこから目の位
置を求めても良い。つまり、画像を水平に走査し
てゆき最初白ですぐ黒の存在する所を2個所検出
し、検出された位置を目の位置として特定しても
良い。 Further, as the pattern recognition processing performed by the recognition means, instead of the binarization processing, differentiation processing may be performed to obtain the contour line of the face, and the position of the eyes may be determined from this contour line. Alternatively, the two-dimensional image of the face may be divided into white and black open and closed parts, and the positions of the eyes may be determined from these parts. In other words, the image may be scanned horizontally, two places where first white and then black are present are detected, and the detected positions may be identified as the positions of the eyes.
更に、目の位置を認識する場合に、目の位置の
座標により表現するのではなく、運転者の口、あ
るいは肩の部分を検出して、この座標で表現して
も良い。更に、座標表現の型式として、光学系1
から見た座標位置ではなく、例えば、バツクミラ
ーの位置を原点とする極座標の形式により表現
し、位置を認識しても良い。バツクミラーの角度
を調整するような場合には、演算が簡素化され、
特に有効だからである。 Furthermore, when recognizing the position of the eyes, instead of expressing them using the coordinates of the eye positions, the driver's mouth or shoulder area may be detected and expressed using these coordinates. Furthermore, as a form of coordinate expression, optical system 1
For example, the position may be recognized by expressing it in the form of polar coordinates with the origin at the position of the rearview mirror, instead of the coordinate position as seen from the rear view mirror. In cases such as adjusting the angle of the rearview mirror, calculations are simplified and
This is because it is particularly effective.
[発明の効果]
本発明に係る車両運転者位置認識装置は、車両
運転者に光を照射する発光手段と、
運転席の斜め前方に配置され、前記発光手段の
照射による前記車両運転者からの反射光を画像情
報として検知する画像検出手段と、
前記車両運転者の位置が、前記運転席の前後・
上下方向のみに移動すると見なすことにより、前
記画像検出手段にて検知された2次元画像に基づ
いて、車室内における運転者の3次元位置を認識
する認識手段とを備えている。[Effects of the Invention] The vehicle driver position recognition device according to the present invention includes a light emitting means for emitting light to a vehicle driver, and a light emitting means disposed diagonally in front of the driver's seat, and the vehicle driver's position recognition device emits light from the vehicle driver by the light emitting means. an image detection means for detecting reflected light as image information; and an image detection means for detecting reflected light as image information;
and recognition means that recognizes the three-dimensional position of the driver in the vehicle interior based on the two-dimensional image detected by the image detection means by assuming that the driver moves only in the vertical direction.
このため運転者の個人差、あるいは前記面上の
運転者の動きに応じて運転者の実際の3次元位置
を精度良く認識し得る。このことから、車両装備
の位置を好適な位置に移動操作できる、つまり良
好な車両操作性、快適性が実現し得る。したがつ
て、運転者は、より一層安全運転を確保すること
が可能となる。また装置が簡単であり、故障が少
ないといつた副次的効果もある。 Therefore, the actual three-dimensional position of the driver can be recognized with high accuracy depending on individual differences between drivers or the movement of the driver on the surface. From this, it is possible to move the vehicle equipment to a suitable position, that is, it is possible to realize good vehicle operability and comfort. Therefore, the driver can ensure even safer driving. Another side effect is that the device is simple and has fewer failures.
第1図は本発明の基本的構成図、第2図は実施
例の自動車への取付位置を示す取付位置平面図、
第3図は同じく取付位置正面図、第4図は実施例
の光学系の正面図、第5図はそのX−X断面図、
第6図は実施例の概略系統図、第7図は制御プロ
グラムのフローチヤート、第8図イ,ロ,ハ及び
ニは画像処理の一例を示す説明図、第9図は画素
の階調を求める処理を示す説明図、第10図と第
11図は画像メモリ内の運転の目の位置の動きの
一例を示す説明図、第12図は実施例に適用され
るアクチユエータの一例としてのフエンダミラー
の構成図、第13図イは光学系の他の例の平面
図、第13図ロは同じくY−Y断面図、第14図
イは赤外ストロボの部分断面図、第14図ロは赤
外発光体の発光スペクトルを示すグラフを夫々表
す。
1……光学系、2……運転者、3……ステアリ
ング、4……運転席、5……中心線、12……2
次元固体撮像素子、14a〜14h……発光素
子、100……演算制御回路、104……
ROM、105……RAM。
Fig. 1 is a basic configuration diagram of the present invention, Fig. 2 is a plan view of the mounting position showing the mounting position of the embodiment on an automobile;
Fig. 3 is a front view of the mounting position, Fig. 4 is a front view of the optical system of the embodiment, Fig. 5 is its XX cross-sectional view,
FIG. 6 is a schematic system diagram of the embodiment, FIG. 7 is a flowchart of the control program, FIG. FIG. 10 and FIG. 11 are explanatory diagrams showing an example of the movement of the driver's eye position in the image memory, and FIG. 12 is an explanatory diagram showing an example of the movement of the driver's eye position in the image memory. 13A is a plan view of another example of the optical system, FIG. Graphs showing the emission spectra of the light emitters are respectively shown. 1...Optical system, 2...Driver, 3...Steering, 4...Driver's seat, 5...Center line, 12...2
Dimensional solid-state image sensor, 14a to 14h...Light emitting element, 100...Arithmetic control circuit, 104...
ROM, 105...RAM.
Claims (1)
照射による前記車両運転者からの反射光を画像情
報として検知する画像検出手段と、 前記車両運転者の位置が、前記運転席の前後・
上下方向のみに移動すると見なすことにより、前
記画像検出手段にて検知された2次元画像に基づ
いて、車室内における運転者の3次元位置を認識
する認識手段とを備えたことを特徴とする車両運
転者位置認識装置。 2 前記画像検出手段は、1個の2次元固体撮像
素子を有する特許請求の範囲第1項記載の車両運
転者位置認識装置。 3 前記発光手段は、前記2次元固体撮像素子と
近接配置された赤外発光素子である特許請求の範
囲第2項に記載の車両運転者位置認識装置。[Scope of Claims] 1. A light emitting device that irradiates light to a vehicle driver; and an image detection device that is disposed diagonally in front of the driver's seat and that detects light reflected from the vehicle driver due to the irradiation of the light emitting device as image information. means, and the position of the vehicle driver is in front of or behind the driver's seat.
A vehicle characterized by comprising: recognition means that recognizes the three-dimensional position of the driver in the vehicle interior based on the two-dimensional image detected by the image detection means by assuming that the driver moves only in the vertical direction. Driver position recognition device. 2. The vehicle driver position recognition device according to claim 1, wherein the image detection means includes one two-dimensional solid-state image sensor. 3. The vehicle driver position recognition device according to claim 2, wherein the light emitting means is an infrared light emitting element disposed close to the two-dimensional solid-state image sensor.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2398884A JPS60168004A (en) | 1984-02-10 | 1984-02-10 | Vehicle driver's position recognizing device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2398884A JPS60168004A (en) | 1984-02-10 | 1984-02-10 | Vehicle driver's position recognizing device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPS60168004A JPS60168004A (en) | 1985-08-31 |
| JPH041844B2 true JPH041844B2 (en) | 1992-01-14 |
Family
ID=12125956
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2398884A Granted JPS60168004A (en) | 1984-02-10 | 1984-02-10 | Vehicle driver's position recognizing device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPS60168004A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10960A (en) * | 1996-06-12 | 1998-01-06 | Yazaki Corp | Driver monitoring device |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3019654B2 (en) * | 1993-03-12 | 2000-03-13 | 日産自動車株式会社 | Automatic adjustment device |
-
1984
- 1984-02-10 JP JP2398884A patent/JPS60168004A/en active Granted
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10960A (en) * | 1996-06-12 | 1998-01-06 | Yazaki Corp | Driver monitoring device |
Also Published As
| Publication number | Publication date |
|---|---|
| JPS60168004A (en) | 1985-08-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP4002301B1 (en) | METHOD, DEVICE AND SYSTEM FOR CONTROLLING AT LEAST ONE DRIVER ASSISTANCE SYSTEM OF A MOTOR VEHICLE | |
| JP4922715B2 (en) | Occupant detection system, alarm system, braking system, vehicle | |
| JP4252938B2 (en) | Vehicle cabin lighting system | |
| JPH0545470B2 (en) | ||
| US20050232460A1 (en) | Safety device for a vehicle | |
| JP5761046B2 (en) | Anti-glare control device | |
| JP5030580B2 (en) | Vehicle actuation system, vehicle | |
| US20070229662A1 (en) | Object detecting system and method | |
| US20100289631A1 (en) | Dual-mode vehicle rear vision system | |
| US20190329671A1 (en) | Occupant information determination apparatus | |
| JP2007218626A (en) | Object detecting system, operation device control system, vehicle | |
| JP2009200718A (en) | Imaging device | |
| US7231051B2 (en) | Detection of viewing direction by microphone | |
| JP5573820B2 (en) | Condition monitoring device | |
| JPS60179357A (en) | Car actuator controller | |
| JP2007216722A (en) | Object detection system, actuator control system, vehicle | |
| JP2024029755A (en) | Automatic antiglare mirror | |
| JPH0349769B2 (en) | ||
| JP3019654B2 (en) | Automatic adjustment device | |
| JPS60168006A (en) | Vehicle driver's position recognizing device | |
| JPS60168004A (en) | Vehicle driver's position recognizing device | |
| CN116252711A (en) | Method for adjusting a vehicle mirror and mirror adjustment system | |
| JPS60166807A (en) | Operator position recognizing apparatus for vehicle | |
| KR20240163288A (en) | Apparatus and method for controlling an occupant's customized seat | |
| JP2005041398A (en) | Driving assistance device |