JPH10960A - 運転者監視装置 - Google Patents

運転者監視装置

Info

Publication number
JPH10960A
JPH10960A JP8151143A JP15114396A JPH10960A JP H10960 A JPH10960 A JP H10960A JP 8151143 A JP8151143 A JP 8151143A JP 15114396 A JP15114396 A JP 15114396A JP H10960 A JPH10960 A JP H10960A
Authority
JP
Japan
Prior art keywords
driver
face
data
bright spot
inclination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP8151143A
Other languages
English (en)
Inventor
Masato Nakajima
真人 中島
Kazuyuki Sasaki
佐々木一幸
Naoto Ishikawa
直人 石川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yazaki Corp
Original Assignee
Yazaki Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yazaki Corp filed Critical Yazaki Corp
Priority to JP8151143A priority Critical patent/JPH10960A/ja
Priority to US08/872,058 priority patent/US6049747A/en
Publication of JPH10960A publication Critical patent/JPH10960A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING SYSTEMS, e.g. PERSONAL CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2/00—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
    • B60N2/002—Seats provided with an occupancy detection means mounted therein or thereon
    • B60N2/0021—Seats provided with an occupancy detection means mounted therein or thereon characterised by the type of sensor or measurement
    • B60N2/0023—Seats provided with an occupancy detection means mounted therein or thereon characterised by the type of sensor or measurement for detection of driver fatigue
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2/00—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
    • B60N2/002—Seats provided with an occupancy detection means mounted therein or thereon
    • B60N2/0021—Seats provided with an occupancy detection means mounted therein or thereon characterised by the type of sensor or measurement
    • B60N2/0024—Seats provided with an occupancy detection means mounted therein or thereon characterised by the type of sensor or measurement for identifying, categorising or investigation of the occupant or object on the seat
    • B60N2/0027—Seats provided with an occupancy detection means mounted therein or thereon characterised by the type of sensor or measurement for identifying, categorising or investigation of the occupant or object on the seat for detecting the position of the occupant or of occupant's body part
    • B60N2/0028—Seats provided with an occupancy detection means mounted therein or thereon characterised by the type of sensor or measurement for identifying, categorising or investigation of the occupant or object on the seat for detecting the position of the occupant or of occupant's body part of a body part, e.g. of an arm or a leg
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B60R21/0153—Passenger detection systems using field detection presence sensors
    • B60R21/01538—Passenger detection systems using field detection presence sensors for image processing, e.g. cameras or sensor arrays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2210/00—Sensor types, e.g. for passenger detection systems or for controlling seats
    • B60N2210/10—Field detection presence sensors
    • B60N2210/16—Electromagnetic waves
    • B60N2210/22—Optical; Photoelectric; Lidar [Light Detection and Ranging]
    • B60N2210/24—Cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Emergency Management (AREA)
  • Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Auxiliary Drives, Propulsion Controls, And Safety Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

(57)【要約】 【課題】 車両への取り付けを考慮して、性能・信頼性
・安全性が確保され、運転者の運転の支障になることな
く簡易な運転者監視装置を提供する。 【解決手段】 直交して重ねた２枚のファイバグレイテ
ィングを有するパターン光投光手段Ｚが運転者の顔に投
影した輝点パターンを撮像手段４が撮像する。撮像して
得た画像をデータ処理手段６が処理して運転者の顔をサ
ンプリングし、各サンプリング点の３次元位置データを
求め、この３次元位置データを処理して運転者の顔の上
下、左右、斜めの傾きを求める。顔の傾きによって運転
者が危険な状態にあるかどうかを判定手段６２が判定す
る。警告手段８，９が危険状態となったとき運転者に警
告を行う。一体化されてパターン光投光手段及び撮像手
段が車両のステアリングコラム上に設置される。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は運転者監視装置に係
り、特に、運転者の脇見や居眠りなどの危険な状態での
運転を監視する運転者監視装置に関するものである。
【０００２】
【従来の技術】従来、運転者の脇見や居眠りなどの異常
運転状態を検出する方法として、運転者の生態的な現象
をセンシングすることによって検出する方法がある。こ
の方法のなかには生体信号を用いる方法と身体的反応を
用いる方法とがある。前者の場合、脳波、皮膚電位、心
拍などの生体信号を運転者から直接導いて観察するので
精度がよくできる可能性があるが、センサの装着が必要
なため、運転者にとって煩わしいという欠点がある。こ
れに対し、後者の場合、運転者の頭の動き、姿勢の変化
などを観察すればよいので、運転者にセンサを装着する
必要がないが、挙動から間接的に判断するため精度の向
上が問題となっている。また、この他に運転者の閉眼発
生頻度の変化を観察するものもある。
【０００３】
【発明が解決しようとする課題】しかし、車両にシステ
ムを実装する場合を考えたとき、システムは次のような
条件、すなわち、装置が簡易であること、装置の性能・
信頼性・安全性が確保されていること、運転者の運転の
支障にならないことを考慮に入れなければならない。
【０００４】以上の条件を考慮したとき、実際に有効で
あるものと考えられるのは、運転者の身体的反応をセン
サの装着なしに観察するもので、ほとんどの場合、画像
処理によって検出することになる。運転者にセンサの装
着を必要とせずに、顔の３次元情報を取得し、運転者の
顔の向きを検出することによって、運転者の居眠り・よ
そ見といった運転者の危険な状態を検知することが必要
である。
【０００５】よって本発明は、上述した状況に鑑み、車
両への取り付けを考慮して、性能・信頼性・安全性が確
保され、運転者の運転の支障になることなく簡易な運転
者監視装置を提供することを課題としている。
【０００６】
【課題を解決するための手段】上記課題を解決するため
本発明により成された請求項１記載の運転者監視装置
は、図１の基本構成図に示すように、運転者の顔に輝点
パターンを投影するパターン光投光手段Ｚと、運転者の
顔に投影した前記輝点パターンを撮像する撮像手段４
と、該撮像手段によって撮像して得た画像を処理し運転
者の顔をサンプリングし、各サンプリング点の３次元位
置データを求め、該求めた３次元位置データを処理して
運転者の顔の傾きを求めるデータ処理手段６１と、該デ
ータ処理手段により求めた顔の傾きによって運転者が危
険な状態にあるかどうかを判定する判定手段６２と備え
ることを特徴としている。
【０００７】上記構成において、パターン光投光手段Ｚ
が運転者の顔に投影した輝点パターンを撮像手段４が撮
像し、撮像手段によって撮像して得た画像をデータ処理
手段６１が処理して運転者の顔をサンプリングし、各サ
ンプリング点の３次元位置データを求め、この３次元位
置データを処理して運転者の顔の傾きを求める。そし
て、データ処理手段により求めた顔の傾きによって運転
者が危険な状態にあるかどうかを判定手段６２が判定す
るようになっている。
【０００８】以上のように、運転者が危険な状態にある
かどうかを判定するために、運転者の顔に投影した輝点
パターンにより、運転者の顔のサンプリング点の３次元
位置データを利用して運転者の顔の傾きを求めるように
しているので、サンプリング点はあらくてもよく、また
運転者の顔に輝点パターンを投影でき、かつ投影された
輝点パターンを撮像できる場所にパターン光投光手段Ｚ
と撮像手段４とを設置するだけで装着できる。
【０００９】上記課題を解決するため本発明により成さ
れた請求項２記載の運転者監視装置は、図１の基本構成
図に示すように、請求項１記載の運転者監視装置におい
て、前記判定手段による判定の結果、危険状態となった
とき運転者に警告を行う警告手段８，９をさらに備える
ことを特徴としている。
【００１０】上記構成において、危険状態になったこと
を警告手段が運転者に警告するようになっているので、
居眠りや脇見によって運転者の顔が傾いたときには、運
転者に対して行う警告によって、運転者を覚醒させた
り、あるいは、運転者に注意を喚起させることができ
る。
【００１１】上記課題を解決するため本発明により成さ
れた請求項３記載の運転者監視装置は、図１の基本構成
図に示すように、請求項１又は２記載の運転者監視装置
において、前記データ処理手段が、前記パターン光投光
手段が運転者の顔の背後の基準平面に輝点パターンを投
影したときに得られるサンプリング点に相当する参照デ
ータを格納する記憶手段７を有し、該記憶手段に格納し
た参照データのサンプリング点に対する前記運転者の顔
のサンプリング点の移動量を求め、該求めた移動量に基
づいて前記運転者の顔の各サンプリング点の３次元位置
データを求めることを特徴としている。
【００１２】上記構成において、運転者の顔に投影した
輝点パターンを撮像することによってサンプリングした
点が参照データの対応する点からどの程度移動している
かによって３次元位置データを求めているので、この３
次元位置データの変化によって簡単に運転者の顔の傾き
を求めることができる。
【００１３】上記課題を解決するため本発明により成さ
れた請求項４記載の運転者監視装置は、図１の基本構成
図に示すように、請求項１〜３のいずれかに記載の運転
者監視装置において、前記データ処理手段が、前記３次
元位置データを処理して運転者の顔の上下の向きの傾き
角度を求め、前記判定手段が、前記データ処理手段によ
り求めた顔の傾き角度が所定値以上でかつ所定時間以上
継続したとき危険状態と判定することを特徴としてい
る。
【００１４】上記構成において、運転者の顔の上下の向
きの傾き角度を求めているので、平常の運転のできない
ような角度のとき、その状態が所定時間以上継続したと
きには居眠り状態に入る前兆と判断できる。
【００１５】上記課題を解決するため本発明により成さ
れた請求項５記載の運転者監視装置は、図１の基本構成
図に示すように、請求項１〜４のいずれかに記載の運転
者監視装置において、前記データ処理手段が、前記３次
元位置データを処理して運転者の顔の左右の向きの傾き
角度を求め、前記判定手段が、前記データ処理手段によ
り求めた顔の傾き角度が所定値以上でかつ所定時間以上
継続したとき危険状態と判定することを特徴としてい
る。
【００１６】上記構成において、運転者の顔の左右の向
きの傾き角度を求めているので、平常の運転のできない
ような角度のとき、その状態が所定時間以上継続したと
きには脇見状態にあると判断できる。
【００１７】上記課題を解決するため本発明により成さ
れた請求項６記載の運転者監視装置は、図１の基本構成
図に示すように、請求項１〜５のいずれかに記載の運転
者監視装置において、前記データ処理手段が、前記３次
元位置データを処理して運転者の顔の斜めの傾きの角度
を求め、前記判定手段が、前記データ処理手段により求
めた顔の傾き角度が所定値以上でかつ所定時間以上継続
したとき危険状態と判定することを特徴としている。
【００１８】上記構成において、運転者の顔の斜めの傾
き角度を求めているので、平常の運転のできないような
角度のとき、その状態が所定時間以上継続したときには
居眠り状態あるいは運転者の疲れや肩こりをほぐすため
に顔を振った状態と判断できる。
【００１９】上記課題を解決するため本発明により成さ
れた請求項７記載の運転者監視装置は、図１の基本構成
図に示すように、請求項１〜６のいずれかに記載の運転
者監視装置において、前記パターン光投光手段が、光源
からの光を入力し、この入力した光により監視領域に輝
点マトリクスを投影する直交して重ねた２枚のファイバ
グレイティングを有することを特徴としている。
【００２０】上記構成において、パターン光投光手段が
２枚のファイバグレイティングを直交して重ねた簡単な
構成であるので構成が簡単で制作が容易で、しかも輝点
パターンとして輝点マトリクスを投影するための投光手
段として使いやすい。
【００２１】上記課題を解決するため本発明により成さ
れた請求項８記載の運転者監視装置は、図１の基本構成
図に示すように、請求項１〜７のいずれかに記載の運転
者監視装置において、前記パターン光投光手段及び前記
撮像手段が一体化されて車両のステアリングコラム上に
設置されたことを特徴としている。
【００２２】上記構成において、一体化されてパターン
光投光手段及び撮像手段が車両のステアリングコラム上
に設置されるので、運転者の顔を正面から見たときの３
次元位置データを容易に得られる。
【００２３】
【発明の実施の形態】以下、本発明の実施の形態を図面
に基づいて説明する。図２は本発明による運転者監視装
置の一実施の形態を示すブロック図である。同図におい
て、運転者監視装置は、レーザ光源１と、レーザ光源１
を駆動するレーザ光源駆動装置２と、レーザ光源１から
のレーザ光１ａを入力し、この入力したレーザ光１ａに
より監視領域に輝点マトリクスを投影するパターン光投
光素子３とを有する。レーザ光源１と、レーザ光源駆動
装置２と、パターン光投光素子３とは、運転者の顔に輝
点パターンを投影するパターン光投光手段Ｚを構成して
いる。
【００２４】同図において、運転者監視装置はまた、運
転者の顔に投影した輝点マトリクスからなる輝点パター
ンを撮像する撮像手段としてのＣＣＤカメラ４と、ＣＣ
Ｄカメラ４から得られる映像信号を一時的に蓄えるフレ
ームメモリ５と、予め定めたプログラムに従って動作す
るコンピュータによって構成されるデータ処理部６と、
所定位置に設置したスクリーンに投影したときに得られ
る輝点マトリクスの画像データを参照データとして予め
記憶した参照データ記憶部７と、運転者への危険を警告
する警報音を発するブザーや、運転者への危険を警告す
る警報メッセージを発するスピーカなどの発音手段８
と、運転者への危険を警告する警報表示などを行う表示
器９とを備えている。
【００２５】上記パターン光投光素子３としては、図３
（ａ）に示すように、２枚のファイバグレイティング
（ＦＧ）３１を直交して重ねたものが使用される。各Ｆ
Ｇ３１は、直径２０μｍから５０μｍ程度の光ファイバ
を約１００本シート状に並べた位相分布型の回折格子で
ある。図４（ａ）に示すように、このＦＧ３１にレーザ
光１ａが垂直入射されると、光ファイバ一本一本がそれ
ぞれシンドリカルレンズとして作用し、同図（ａ）に示
すように、レーザ光１ａはファイバの焦点で集光した
後、多数の球面波となり干渉しつつ広がっていき、その
結果投影面には同図（ｂ）に示すように一定の間隔で輝
点が投影されて回折パターンが形成される。なお、ＦＧ
３１を２枚直交して重ねた場合には、図３（ｂ）に示す
ように、ＦＧ３１後方の平面状の投影面には正方格子状
に輝点マトリクス１４が投影される。ＦＧ３１は構成が
簡単であるため制作が容易であること、微小幅のスリッ
ト列１５（図４（ａ））と見なすことができること、回
折光の強度分布が高次まで一様であることから、観察領
域に輝点マトリクスを投影するための投光素子として使
いやすいという利点がある。
【００２６】ＦＧ３１はＣＣＤカメラ４とともに一体化
されて視覚センサ部を構成し、図５の正面図（ａ）及び
側面図（ｂ）に示すように、視覚センサ部１０は車両の
ステアリングコラム１１上に設置され、このことで運転
者Ｄの顔Ｆを正面方向から見た場合の３次元位置計測を
行う。しかし、センサ部の設置位置はステアリングコラ
ム上に限らず、顔の３次元位置を検出し易い場所であれ
ば、他の場所に設置することも可能である。
【００２７】以上の構成により、パターン光投光素子３
により監視領域に投影された輝点マトリクス１４がＣＣ
Ｄカメラ４によって撮像され、ＣＣＤカメラ４から得ら
れる映像信号はフレームメモリ５に一時的に蓄えられた
後、データ処理部６に取り込まれる。データ処理部６
は、フレームメモリ５から得られる画像データと、参照
データ記憶部７に予め記憶された参照データとを比較す
ることによって、ＣＣＤカメラ４のイメージプレーン上
での輝点の移動量を求める。
【００２８】図２の運転者監視装置の光学配置は図６に
示すようになっており、ＣＣＤカメラ４のレンズ４ａを
原点とする座標系（ｘ1 ，ｙ1 ，ｚ1 ）において、ＦＧ
が（０, ｄ, ０）、ＣＣＤカメラ４のイメージプレーン
４ｂが（０，０，ｌ）にそれぞれ配置される。この光学
配置において、顔の３次元データの取得のために輝点が
顔に投影された場合、図中のａ及びｂに示すように、イ
メージプレーン４ｂ上では輝点が一定の方向に移動す
る。この際、輝点の３次元位置（ｘ，ｙ，ｚ）は、イメ
ージプレーン４ｂ上での輝点の移動量δを用いて基準平
面ＰＬ上に原点を持つ座標系（ｘ，ｙ，ｚ）において次
式(1)〜(3)によって与えられる。イメージプレーン４ｂ
のｕ，ｖ座標上のａは基準平面ＰＬに輝点が投光された
場合の点で、つまりａの座標（ｕa ，ｖa ）は参照デー
タである。ｂは輝点が運転者の顔にあたった場合の点
で、ａからδ移動している。
【００２９】
【数１】
【００３０】ここで、ｈは基準平面ＰＬからレンズ４ａ
までの距離、ｄはＦＧとレンズとの中心間距離、ｌはレ
ンズ４ａとイメージプレーン４ｂとの距離を示す。
【００３１】ＦＧにより取得される３次元情報は、ＦＧ
により投影される各輝点の基準位置（観察領域内に顔が
ない場合の輝点の位置）からの移動量より、輝点の高さ
を求めるものであるため、まずイメージプレーン４ｂ上
での各輝点の位置を求める必要がある。イメージプレー
ン４ｂ上における各輝点は、数ピクセルの大きさがある
ため、各輝点の位置は、輝点の重心座標を用いる。
【００３２】輝点の移動量は、基準平面ＰＬに投影され
た場合の対応する輝点からの距離である。従って、図７
（ａ）〜（ｃ）に示されるように、基準平面ＰＬ上の輝
点に対応する参照データとしての基準面データ（ａ）
と、顔上の輝点に対応する顔のデータ（ｂ）とに基づい
て、互いに対応する輝点の移動量（ｃ）を求めることが
できる。以下、移動量が検出される輝点を移動スポット
と呼ぶ。また、基準平面ＰＬに投影された輝点投影画像
を基準画面像、その画像中の輝点を基準スポットと呼
び、その画像中の位置を（ｕi ，ｖi ）とする。この際
ｉは輝点番号を示し、基準画面像において予めナンバリ
ングしておく。
【００３３】データ処理部６は、基準スポットからの移
動量δを求めたら、このδを使用して顔の３次元座標位
置（ｘ，ｙ，ｚ）を算出する。このように得られた３次
元データは、以後の処理を簡単にするために、計測され
たデータを用いてサンプリング点を正方格子上に並ぶよ
うに線形補間を用いてリサンプリングが行われる。デー
タ処理部６はまた、上述のようにして得られた顔の３次
元情報を用いて、運転者の顔の向きを検出し、この検出
した運転者の現在の顔の向きにより、運転者の危険を判
定して警報を発する。
【００３４】以上概略説明した運転者監視装置のデータ
処理部６における処理は、大別して、図８及び図９のフ
ローチャートに示す参照データの作成処理と運転者監視
処理とからなる。
【００３５】まず、参照データの作成処理を図８のフロ
ーチャートを参照して説明する。図示フローチャートに
示すように、ステップＳ１において、運転者はいない状
態で輝点パターンをスクリーン上に投光してＣＣＤカメ
ラ４が撮像して出力する輝点マトリクスの画像信号を入
力し、これを例えば５１２×５１２ピクセル、輝度０〜
２５５階調の画素データに変換してフレームメモリ５に
一時的に蓄える。フレームメモリ５に一時的に蓄えられ
た画素データは、ステップＳ２において、まず輝点抽出
を行う。その後、ステップＳ３において、輝点重心の座
標位置を決定する処理を行い、これを参照データとして
参照データ記憶部７に記憶させる。
【００３６】上記ステップＳ２の輝点抽出処理は、まず
フレームメモリ５の各画素データについて、画素の階調
値が予め設定されたしきい値より大きければその値を残
し、小さければその画素の階調値を０にする。以上の処
理を１画素づつずらして全ての画素について行い、この
処理によって、図１０に示すような画素のかたまり（輝
点）が抽出される。
【００３７】なお、各輝点間の輝度の差が大きく、固定
のしきい値では輝点の抽出ができない場合には、図１１
に示すようなある画素を中心にしたｍ×ｎピクセルの窓
内の輝度平均値を求め、この平均値をしきい値としてそ
の画素を残すか否かを決定し、他の画素についても同様
の処理でしきい値を求めて、画素毎に異なるしきい値で
輝点を抽出する。
【００３８】次に、上記ステップＳ３の輝点重心の座標
位置を決定する処理について説明する。この決定処理に
おいては、図１２に示すような輝点の重心座標（Ｕ，
Ｖ）を輝点内の各画素の輝点の座標から輝点の重み付け
た重心位置を求める。上述の処理を行うことにより、図
１３に示すように、各輝点のNo. に対する輝点重心座標
からなる最終基準輝点データ（参照データ）が得られ、
これが参照データ記憶部７に記憶される。データ処理部
６は、基準平面ＰＬであるスクリーンに投影された輝点
パターンを撮像したＣＣＤカメラ４からの画像信号によ
る画像データから各輝点座標を含む参照データを作成す
る手段として働く。
【００３９】上記説明ではセンサ部１０をステアリング
コラム上に設置し、スクリーンを運転者のヘッドレスト
周辺に設置した状態を示した。しかし、実際に車両にセ
ンサ部を設置しなくても、幾何学的に類似な状態であれ
ば、車両において、参照データ収集を行わなくても良
い。
【００４０】上記運転者監視処理においては、図９のフ
ローチャートに示すように、まずステップＳ１１におい
て参照データ記憶部７から参照データを取り込む処理を
行う。そして、続くステップＳ１２において、輝点パタ
ーンを運転者の顔に投光してＣＣＤカメラ４が撮像して
出力する輝点マトリクスの画像信号を入力し、これを例
えば５１２×５１２ピクセル、輝度０〜２５５階調の画
素データに変換してフレームメモリ５に一時的に蓄え
る。フレームメモリ５に一時的に蓄えられた画素データ
は、ステップＳ１３において、移動輝点の抽出と輝点移
動量の算出を行う。その後、ステップＳ１４において、
移動輝点の３次元座標位置の算出を行ってからステップ
Ｓ１５に進んでステップＳ１４で算出した３次元座標位
置に基づいて正方格子上の各格子点の３次元座標位置を
算出する、いわゆるリサンプリングを行う。
【００４１】続いて、ステップＳ１６において顔部分の
３次元座標データの抽出を行い、次のステップＳ１７に
おいてステップＳ１６において抽出した顔の３次元座標
データに外接四角形を当てはめを行ってからステップＳ
１８に進んで前後、左右、斜めの傾きを算出する。そし
て。ステップＳ１９において、ステップＳ１８で算出し
た傾きなどに基づいて危険な状態であるか否かを判定
し、この判定がＮ０のときには上記ステップＳ１２に戻
って上述の処理を繰り返し行う。ステップＳ１９の判定
がＹＥＳのときにはステップＳ２０に進んで発音手段８
や表示器９を介して運転者に警報を発してから上記ステ
ップＳ１２に戻る。
【００４２】以上の図９のフローチャートの説明から明
らかなように、データ処理部６は、ＣＣＤカメラ４によ
って撮像して得た画像を処理し運転者の顔をサンプリン
グし、各サンプリング点の３次元位置データを求め、該
求めた３次元位置データを処理して運転者の顔の傾きを
求めるデータ処理手段６１としての他、求めた顔の傾き
によって運転者が危険な状態にあるかどうかを判定する
判定手段６２として働いている。
【００４３】上記ステップＳ１３における移動輝点の抽
出処理及び移動量算出処理、ステップＳ１４における移
動輝点の３次元座標位置の算出処理は、具体的には、以
下の手順で行う。 処理１．まず、輝点投影画像から輝点部分の画素を抽出
する。しかし、顔に投影された輝点の輝度は、頬の部分
では明るく、鼻のわきの部分では暗いといったように顔
の各部分によってまちまちであるため、一定のしきい値
処理では、輝点構成画素を抽出することは困難である。
そこで、図１４（ａ）に示されるような監視領域内の輝
点投影画像の一走査線上の輝点をしきい値と比較して輝
点を抽出するに当たって、しきい値を固定することなく
着目画素の周囲の画素を考慮した、図１４（ｂ）に示さ
れるような浮動しきい値処理によって、図１４（ｃ）に
示されるように輝点構成画素以外の画素の輝度値を０に
する。ここでは、着目画素近傍15×15画素における平均
輝度値を計算し、その値をもとに着目画素のしきい値処
理を行う。
【００４４】処理２．座標位置（ｕj ，ｖj ）での画素
の輝度値Ｂ（ｕj ，ｖj ）が０である場合は、処理３を
行い、それ以外の場合は処理４に進む。輝度値Ｂ（ｕj
，ｖj ）が０という事は輝点が座標位置（ｕj ，ｖj
）から大きく移動した事を意味する。その場合、処理
３にて移動した輝点を抽出する。
【００４５】処理３．図１５に示されるように、イメー
ジプレーン４ｂ上における基準スポットｉの可動範囲
（四角の太枠内）を走査することにより、０ではない輝
度値を持つ画素の位置を検出する。
【００４６】処理４．輝点ｉの可動範囲内において０で
ない輝度値を持つ画素Ｉj について、ｕ，ｖの１次モー
メントの加算和SUM -ｕ及びSUM -ｖと０次モーメント加
算和SU -Ｂを次式(4)〜(6)により求める。
【００４７】
【数２】
【００４８】処理５．輝点の重心の位置ｇi （ｕ'i，
ｖ'i）を次式(7)により求める。
【００４９】
【数３】
【００５０】処理６．輝点ｉの移動量δi を次式(8)に
より求める。
【００５１】
【数４】
【００５２】ここで（ｕi ，ｖi ）は基準画像における
輝点ｉの座標位置、（ｕ'i，ｖ'i）は計測時の輝点ｉの
座標位置である。
【００５３】なお、図６に示す幾何学的配置においては
輝点はｕ方向にしか移動しない。しかし(8)式ではあえ
てｖ方向の移動（レンズ収差等により発生）も求め、移
動量算出に使用している。よって、ここはｕ方向のみの
移動量を輝点移動量としても良い。
【００５４】処理７．入力輝点投影画像の全ての輝点に
対して、上述の処理２〜６を行う。この処理によって基
準スポットからの移動量δが求められ、このδを使用し
て上式(1)〜(3)から顔の３次元座標位置（ｘ，ｙ，ｚ）
が算出できる。
【００５５】上述した輝点パターンを投影する技術を使
用して得られる輝点投影画像は輝点マトリクスにより粗
くサンプリングされていること、場所により輝点の輝度
が異なっていて、単純なしきい値処理によって輝点構成
画素を検出することは困難であることがわかる。視覚セ
ンサ１０では、機械的な走査なしにこの１枚の輝点投影
画像より３次元データが生成される。
【００５６】輝点の重心画像は、輝点投影画像を先に述
べた浮動しきい値処理により輝点構成画素を抽出して得
られ、浮動しきい値処理により、輝度の異なる輝点も正
確に抽出される。
【００５７】ところで、ステップＳ１５のリサンプリン
グは、視覚センサ１０により得られる３次元データが、
視覚センサ１０を構成するＦＧ３１及びＣＣＤカメラ４
と顔との位置関係によって、図１６（ａ）に示すように
Ｘ軸に対して、サンプリング点が傾斜している場合（図
１６（ａ）では約２０度回転）に必要となる。この場合
Ｘ軸と平行にサンプリング点が存在しないことになり、
以後の処理を簡単にするために、計測されたデータを用
いてサンプリング点をＸ−Ｙ平面上で図１６（ｂ）に示
す様に正方格子上に並ぶようにリサンプリングを行う。
このリサンプリングの方法には、線形補間を用いる。
【００５８】以上の手順にて得られた顔の３次元データ
からは、鼻の形状など大まかな顔の形状が表わされてい
る。視覚センサ１０は空間を粗くサンプリングするため
に空間分解能が低下する反面、機械的な走査なしに、１
枚の輝点投影画像上の輝点の可動範囲を走査することに
よって、距離データを高速に獲得することができる。
【００５９】上述のようにして視覚センサ１０により得
られた顔の３次元情報を用いて、運転者の顔の向きを検
出するためのステップＳ１６〜ステップＳ１８の処理
は、具体的には以下のように行う。
【００６０】ところで、顔の向きは、図１７に示すよう
に、 １．左右の耳を貫く直線を軸とした向き（Ｘ軸周り）
（ａ） ２．顎から頭の頂点を貫く直線を軸とした向き（Ｙ軸周
り）（ｂ） ３．後頭部から鼻の頂点を貫く直線を軸とした向き（Ｚ
軸周り）（ｃ） の３方向で表すことができる。よって、この３方向それ
ぞれについて運転者の顔の向きを検出すれば、現在の運
転者の顔の向きを検出することができる。
【００６１】上述のように視覚センサ１０により取得さ
れた３次元データは、顔の３次元情報だけでなく、運転
者の肩や車のシートといった３次元情報も得られてしま
う。運転者の顔の向きを検出するためには、この様な顔
以外の３次元情報は必要としない。そこで、取得される
３次元データの中から顔の情報のみを抽出する必要があ
る。以下、ステップＳ１６における顔のみの情報を抽出
する具体的な方法の一例を示す。
【００６２】まず、人の顔の形状について考える。人の
顔は、ほおや額などといった大まかな部分は、なめらか
な傾斜になっている。一方、顎の下や首は傾斜がやや大
きくなる。そこでリサンプリングに得られた３次元デー
タの各点（正方格子の各格子点の３次元データ）におけ
る法線ベクトルの傾きを考える。法線ベクトルの傾き
は、格子点の法線ベクトルが基準平面ＰＬとなす角度を
いい、法線ベクトルがｚ軸方向を示すときが最大値９０
°となる。ほおや額といった傾斜がなめらかな部分は、
法線ベクトルの傾きが大きく、顎の下や首といった部分
は、法線ベクトルの傾きが小さくなる。
【００６３】そこで、まず取得された３次元データの中
で法線ベクトルの傾きが大きい部分を抽出する。その結
果は図１８（ａ）のようになる。次に、Ｘ方向、Ｙ方向
それぞれのプロジェクションをとる。このプロジェクシ
ョンでは、各格子点の（ｘ，ｙ，ｚ）座標におけるＺ値
について、ｘ方向，ｙ方向に累積した値を算出する。例
えば、１列に並んだ格子点 のＺ値の累積がｙ方向プロ
ジェクションの１つの値となる。同様に他の列について
も累積値を求める事で図１８（ｂ）に示すｙ方向プロジ
ェクションが求められる。ｘ方向プロジェクションにつ
いても同様である。その結果は、図１８（ｂ）のよう
に、このプロジェクションによりしきい値処理をするこ
とにより首や肩などの必要としない３次元データを削除
することで顔部分の３次元座標データの抽出が行われ
る。
【００６４】これにより抽出された３次元データは、運
転者の顔の情報だけとなる。この抽出された顔の３次元
データに対して、ステップＳ１７において外接四角形を
当てはめ、ステップＳ１８における傾きの算出を行うた
めに、図１９のように３つの領域に分割する。中央の領
域には、運転者の鼻の部分が入るように設定する。中央
の領域は、縦方向に例えば８ｃｍとしている。以後、外
接四角形を分割した３つの領域を上から順に領域１、領
域２、領域３と呼ぶ。
【００６５】まず、ステップＳ１８において、運転者の
Ｘ軸周り（上下）の顔の向きを検出する具体的な方法の
一例について説明する。ここでは、図２０（ａ）のよう
に、先に当てはめた外接四角形の領域１と領域３の高さ
の変化に注目する。例えば、運転者の顔が前方に傾いた
場合、図２０（ｂ）にようになる。このとき、運転者の
額の部分、すなわち領域１の部分の高さは平常状態の場
合よりも高くなる。また、顎の部分、すなわち領域３の
部分の高さは平常状態の場合よりも低くなる。このよう
に、運転者の顔が前方、あるいは後方に傾いた場合、顔
に当てはめた外接四角形の領域１の部分の高さと領域３
の部分の高さに変化が現われる。そこで、領域１の部分
と領域３の部分のそれぞれの高さの平均値に注目し、各
領域の高さの平均値を結ぶベクトルとＹ軸との角度θを
運転者のＸ軸周り（上下）の顔の傾きとして決定する。
これにより、運転者が前方または後方へ傾いた場合、初
期状態（平常状態）からの前方または後方への傾きの変
化を取得することができる。
【００６６】次に、ステップＳ１８において、運転者の
Ｙ軸周り（左右）の顔の向きを検出する具体的な方法の
一例について説明する。ここでは、当てはめた外接四角
形の領域２に注目する。領域２には、鼻の部分が入って
いるので、この領域２についてＹ軸方向のプロジェクシ
ョンを行うと図２１（ａ）のように鼻のある部分が最も
高くなる。このピーク位置で鼻の大まかな位置が分か
り、この鼻の位置を顔のＹ軸周り（左右）の向きとして
検出することができる。しかし、顔が大きく横を向いた
場合、図２１（ｂ）のようにプロジェクションのピーク
が２つ存在してしまう。これは、ほおの部分が前に出て
来るため、Ｙ軸方向の高さの積分値が鼻を含む部分より
も高くなってしまうからである。このように、ピークが
２つある場合、正しく鼻の部分を選ぶ場合と誤って頬の
部分を選ぶ場合があり、正しく顔の向きを検出できない
結果となってしまう。
【００６７】そこで、ピークが複数現れた場合、図２１
（ｃ）のようにそのピーク付近での小領域を考える。そ
れぞれの小領域を領域ａ、領域ｂとする。このとき、ど
ちらかの領域には鼻が含まれていることになる。鼻が含
まれている領域では、鼻の凹凸により傾斜の変化が大き
くなっている。一方、頬の部分の領域では、なめらかな
傾斜になっている。そこで、それぞれの領域（領域ａ，
領域ｂ）の法線ベクトルの傾きの分散値に着目する。先
に述べたように、鼻を含む領域では、傾斜の変化が大き
いため法線ベクトルの傾きにはばらつきがあり、法線ベ
クトルの傾きの分散値は、大きくなる。一方、頬を含む
領域ではなめらかな傾斜のため法線ベクトルの傾きには
ほとんどばらつきがなく、法線ベクトルの傾きの分散値
は、小さくなる。したがって、領域ａと領域ｂにおい
て、法線ベクトルの傾きの分散値を比較し、分散値が大
きい方の領域に含まれるピークをとることにより正しい
ピークの位置が検出される。
【００６８】そして、図２１（ｄ）は上から見た図であ
るが、このように、検出された鼻の位置と頭の重心を結
ぶベクトルの角度θをＹ軸周り（左右）の顔の傾きとし
て決定する。これにより、運転者が外観に目を奪われた
り、助手席の人物との会話などで、よそ見をした場合、
初期状態（平常状態）からのＹ軸周り（左右）の顔の向
きの変化が検出できる。ただし、ここでは回転軸を固定
して考えている。回転中心は、個人差もありまた状況に
より異なってしまうためである。
【００６９】最後に、ステップＳ１８において、Ｚ軸周
りの顔の向きを検出する具体的な方法の一例について説
明する。ここでは、顔の形はほぼ楕円であると考え、顔
に当てはめた外接四角形中の高さを持った点に対して図
２２（ａ）に示すように慣性等価楕円をあてはめる。そ
して、図２２（ｂ）のように、この楕円の長軸の傾き
を、Ｚ軸周りの顔の傾きとする。ここで、慣性等価楕円
は、２次元平面上に存在する質点群の慣性主軸を長軸と
し、慣性主軸に関する慣性モーメントが等価な楕円板で
ある。以下に慣性等価楕円の長軸の傾きの求め方を示
す。
【００７０】１．高さを持つ点のイメージプレーン４ｂ
上での座標（ｕ，ｖ）に関する０次モーメントをｍ00、
１次モーメントをｍ01、ｍ10、２次モーメントをｍ20、
ｍ11、ｍ02として、これらを次式により求める。ここで
ｇ（ｕ，ｖ）はイメージプレーン上の座標（ｕ，ｖ）に
位置する輝点の基準平面ＰＬからの高さを示す。
【００７１】
【数５】
【００７２】２．高さを持つ点群の重心Ｇ（Ｕg ，Ｖg
) は次式(15)により求める。
【００７３】
【数６】
【００７４】３．慣性主軸の傾きθは次式(16)により求
める。
【００７５】
【数７】
【００７６】ここで、Ｍ20、Ｍ11、Ｍ02 は重心Ｇの周
りの２次モーメントであり、次式によって計算される。
【００７７】
【数８】
【００７８】以上で求まった慣性主軸の傾きθをＺ軸周
りの顔の傾きとして決定する。これにより、運転者が疲
れや肩のこりをほぐすために顔をふった場合の顔の向き
の検出ができる。
【００７９】以上の処理により、運転者の現在の顔の向
きが検出できる。以下では、ステップＳ１９における運
転者の危険の判定方法について述べる。
【００８０】運転者がよそ見をした場合、Ｙ軸周り（左
右）の顔の向きを検出した角度が大きく変化する。しか
し、Ｙ軸周り（左右）の向きは、運転者がサイドミラー
を確認した場合にも変化がでるため、検出された角度が
大きいからといってそのまま危険な状態とは言いがた
い。そこで、前フレームで検出した顔の傾きの情報を用
いて運転者の状態を判断することにする。数フレームに
わたって、検出された角度がしきい値以上であれば危険
であるとする。ここで、しきい値は例えば±７度とす
る。高速道路を走行している場合、２秒以上のよそ見
は、非常に危険であると考えられる。よって、検出され
た角度がしきい値以上の状態で例えば２秒以上続いた場
合は、運転者の状態が危険であるとする。
【００８１】次に、運転者が居眠り状態に陥った場合、
筋肉の緊張度が低下し、頭部を支える僧帽筋が弛緩し、
運転者の顔が前方あるいは後方へ傾くことが知られてい
る。そこで、運転者の危険状態は、前フレームの情報を
用いて、運転者の顔のＸ軸周り（上下）の顔の傾きが、
しきい値より大きい状態で例えば２秒以上続いた場合、
危険とみなす。ここでしきい値は、例えば±７度とす
る。
【００８２】最後に、Ｚ軸周りの動きに関してである
が、この状態でも検出される角度が大きい状態が続くと
いうことは、顔を斜めに傾けて運転していることになる
ので、危険であるとする。ここで、しきい値を例えば±
１５度として、しきい値以上の状態が例えば２秒以上続
いた場合は、危険であるとする。以上の説明では、傾斜
角度、時間を例示したが、これらの値に限定されるもの
ではない。
【００８３】なお、上述の実施の形態によれば、輝点パ
ターンを投影するために、レーザ光を使用しているが、
レーザ光に代えて赤外線を使用するようにしてもよい。
【００８４】また、運転者を監視して居眠りや脇見を運
転者に警告を発するようにしているが、監視結果を警告
以外の制御などに利用するようにしてもよい。
【００８５】さらに、上述した実施例では、センサ部１
０をステアリングコラム上に設置しているが、これ以外
の例えばルームミラー、フェンダーミラー、サンバイザ
部、ルーフ部、ダッシュボード上、Ａピラー部（ウイン
ドシールド両側の柱の部分）などに設置するようにして
もよい。
【００８６】
【発明の効果】以上説明したように請求項１記載の本発
明によれば、運転者が危険な状態にあるかどうかを判定
するために、運転者の顔に投影した輝点パターンによ
り、運転者の顔のサンプリング点の３次元位置データを
利用して運転者の顔の傾きを求めているだけでよいの
で、サンプリング点はあらくてもよく、また運転者の顔
に輝点パターンを投影でき、かつ投影された輝点パター
ンを撮像できる場所に装置を設置するだけで装着でき、
構成が簡単で、車両への取り付け性が良好で、性能・信
頼性・安全性が確保され、運転者の運転の支障になるこ
とがない。
【００８７】請求項２記載の本発明によれば、危険状態
になったことを警告手段が運転者に警告するようになっ
ているので、居眠りや脇見によって運転者の顔が傾いた
ときには、運転者に対して行う警告によって、運転者を
覚醒させたり、あるいは、運転者に注意を喚起させるこ
とができ、車両運転の安全性を向上させることができ
る。
【００８８】請求項３記載の本発明によれば、運転者の
顔に投影した輝点パターンを撮像することによってサン
プリングした点が参照データの対応する点からどの程度
移動しているかによって３次元位置データを求めている
ので、この３次元位置データの変化によって簡単に運転
者の顔の傾きを求めることができ、最小のデータ処理に
よって短い時間で３次元位置データを得ることができ
る。
【００８９】請求項４記載の本発明によれば、運転者の
顔の上下の向きの傾き角度を求めているので、平常の運
転のできないような角度のとき、その状態が所定時間以
上継続したときには居眠り状態に入る前兆と判断するこ
とができ、居眠り状態に入る前の運転者の様子を監視で
きる。
【００９０】請求項５記載の本発明によれば、運転者の
顔の左右の向きの傾き角度を求めているので、平常の運
転のできないような角度のとき、その状態が所定時間以
上継続したときには脇見状態にあると判断することがで
き、脇見状態の運転者を監視できる。
【００９１】請求項６記載の本発明によれば、運転者の
顔の斜めの傾き角度を求めているので、平常の運転ので
きないような角度のとき、その状態が所定時間以上継続
したときには居眠り状態あるいは運転者の疲れや肩こり
をほぐすために顔を振った状態と判断することができ、
居眠り状態に入る前、あるいは疲れや肩こりの生じてい
る運転者の様子を監視することができる。
【００９２】請求項７記載の本発明によれば、パターン
光投光手段が２枚のファイバグレイティングを直交して
重ねた簡単な構成であるので構成が簡単で制作が容易
で、しかも輝点パターンとして輝点マトリクスを投影す
るための手段として使いやすく、安価で車両への取り付
け性も良好である。
【００９３】請求項８記載の本発明によれば、一体化さ
れてパターン光投光手段及び撮像手段が車両のステアリ
ングコラム上に設置されるので、運転者の顔を正面から
見たときの３次元位置データを容易に得られ、しかも構
成が簡単で、車両への取り付け性が良好で、性能・信頼
性・安全性が確保され、運転者の運転の支障になること
がない。
【図面の簡単な説明】
【図１】本発明による運転手監視装置の基本構成を示す
図である。
【図２】本発明による運転手監視装置の一実施の形態を
示すブロック図である。
【図３】ＦＧによって生成される輝点マトリクスを示
し、（ａ）にＦＧが、（ｂ）に輝点マトリクスがそれぞ
れ示されている。
【図４】ＦＧにレーザ光を入射することによって生じる
回折パターンを示し、（ａ）にＦＧがスリットとして作
用している様子が、（ｂ）に回折パターンがそれぞれ示
されている。
【図５】車両のステアリングコラム上への視覚センサの
設置の様子を示し、（ａ）が正面図、（ｂ）が側面図で
ある。
【図６】視覚センサの光学配置を示す模式図である。
【図７】顔の３次元位置データを取得する原理を説明す
るための説明図である。
【図８】参照データを作成するための処理を示すフロー
チャートである。
【図９】運転者監視処理を示すフローチャートである。
【図１０】輝点抽出処理によって得られる輝点の画素デ
ータを示す図である。
【図１１】フレームメモリ内の画素データを示す図であ
る。
【図１２】輝点重心の求め方を説明するための図であ
る。
【図１３】作成された参照データを示す図である。
【図１４】浮動しきい値処理の仕方を示す図である。
【図１５】輝点構成画素の抽出の仕方を示す図である。
【図１６】リサンプリングの仕方を示す図である。
【図１７】顔の向きを示す図である。
【図１８】顔の３次元位置データの抽出の仕方を示す図
である。
【図１９】外接四角形の当てはめの仕方を示す図であ
る。
【図２０】上下の顔の向きの検出の仕方を示す図であ
る。
【図２１】左右の顔の向きの検出の仕方を示す図であ
る。
【図２２】斜めの傾きの検出の仕方を示す図である。
【符号の説明】 Ｚ パターン光投光手段 ４ 撮像手段（ＣＣＤカメラ） ６１ データ処理手段（データ処理部） ６２ 判定手段（データ処理部） ７ 記憶手段（参照データ記憶部） ８，９ 警告手段（発音手段、表示器）
─────────────────────────────────────────────────────
【手続補正書】
【提出日】平成９年３月２６日
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００２８
【補正方法】変更
【補正内容】
【００２８】図２の運転者監視装置の光学配置は図６に
示すようになっており、ＣＣＤカメラ４のレンズ４ａを
原点とする座標系（ｘ１，ｙ１，ｚ１）において、ＦＧ
が（ｄ，０，０）、ＣＣＤカメラ４のイメージプレーン
４ｂが（０，０，１）にそれぞれ配置される。この光学
配置において、顔の３次元データの取得のために輝点が
顔に投影された場合、図中のａ及びｂに示すように、イ
メージプレーン４ｂ上では輝点が一定の方向に移動す
る。この際、輝点の３次元位置（ｘ，ｙ，ｚ）は、イメ
ージプレーン４ｂ上での輝点の移動量δを用いて基準平
面ＰＬ上に原点を持つ座標系（ｘ，ｙ，ｚ）において次
式（１）〜（３）によって与えられる。イメージプレー
ン４ｂのｕ，ｖ座標上のａは基準平面ＰＬに輝点が投光
された場合の点で、つまりａの座標（ｕａ，ｖａ）は参
照データである。ｂは輝点が運転者の顔にあたった場合
の点で、ａからδ移動している。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００３８
【補正方法】変更
【補正内容】
【００３８】次に、上記ステップＳ３の輝点重心の座標
位置を決定する処理について説明する。この決定処理に
おいては、図１２に示すような輝点の重心座標（Ｕ，
Ｖ）を輝点内の各画素の輝点の座標から輝度の重み付け
た重心位置を求める。上述の処理を行うことにより、図
１３に示すように、各輝点のＮｏ．に対する輝点重心座
標からなる最終基準輝点データ（参照データ）が得ら
れ、これが参照データ記憶部７に記憶される。データ処
理部６は、基準平面ＰＬであるスクリーンに投影された
輝点パターンを撮像したＣＣＤカメラ４からの画像信号
による画像データから各輝点座標を含む参照データを作
成する手段として働く。

Claims (8)

    【特許請求の範囲】
  1. 【請求項１】 運転者の顔に輝点パターンを投影するパ
    ターン光投光手段と、 運転者の顔に投影した前記輝点パターンを撮像する撮像
    手段と、 該撮像手段によって撮像して得た画像を処理し運転者の
    顔をサンプリングし、各サンプリング点の３次元位置デ
    ータを求め、該求めた３次元位置データを処理して運転
    者の顔の傾きを求めるデータ処理手段と、 該データ処理手段により求めた顔の傾きによって運転者
    が危険な状態にあるかどうかを判定する判定手段とを備
    えることを特徴とする運転者監視装置。
  2. 【請求項２】 前記判定手段による判定の結果、危険状
    態となったとき運転者に警告を行う警告手段をさらに備
    えることを特徴とする請求項１記載の運転者監視装置。
  3. 【請求項３】 前記データ処理手段が、前記パターン光
    投光手段が運転者の顔の背後の基準平面に輝点パターン
    を投影したときに得られるサンプリング点に相当する参
    照データを格納する記憶手段を有し、該記憶手段に格納
    した参照データのサンプリング点に対する前記運転者の
    顔のサンプリング点の移動量を求め、該求めた移動量に
    基づいて前記運転者の顔の各サンプリング点の３次元位
    置データを求めることを特徴とする請求項１又は２記載
    の運転者監視装置。
  4. 【請求項４】 前記データ処理手段が、前記３次元位置
    データを処理して運転者の顔の上下の向きの傾き角度を
    求め、 前記判定手段が、前記データ処理手段により求めた顔の
    傾き角度が所定値以上でかつ所定時間以上継続したとき
    危険状態と判定することを特徴とする請求項１〜３のい
    ずれかに記載の運転者監視装置。
  5. 【請求項５】 前記データ処理手段が、前記３次元位置
    データを処理して運転者の顔の左右の向きの傾き角度を
    求め、 前記判定手段が、前記データ処理手段により求めた顔の
    傾き角度が所定値以上でかつ所定時間以上継続したとき
    危険状態と判定することを特徴とする請求項１〜４のい
    ずれかに記載の運転者監視装置。
  6. 【請求項６】 前記データ処理手段が、前記３次元位置
    データを処理して運転者の顔の斜めの傾きの角度を求
    め、 前記判定手段が、前記データ処理手段により求めた顔の
    傾き角度が所定値以上でかつ所定時間以上継続したとき
    危険状態と判定することを特徴とする請求項１〜５のい
    ずれかに記載の運転者監視装置。
  7. 【請求項７】 前記パターン光投光手段が、光源からの
    光を入力し、この入力した光により監視領域に輝点マト
    リクスを投影する直交して重ねた２枚のファイバグレイ
    ティングを有することを特徴とする請求項１〜６のいず
    れかに記載の運転者監視装置。
  8. 【請求項８】 前記パターン光投光手段及び前記撮像手
    段が車両のステアリングコラム上に設置したことを特徴
    とする請求項１〜７のいずれかに記載の運転者監視装
    置。
JP8151143A 1996-06-12 1996-06-12 運転者監視装置 Pending JPH10960A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP8151143A JPH10960A (ja) 1996-06-12 1996-06-12 運転者監視装置
US08/872,058 US6049747A (en) 1996-06-12 1997-06-10 Driver monitoring device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP8151143A JPH10960A (ja) 1996-06-12 1996-06-12 運転者監視装置

Publications (1)

Publication Number Publication Date
JPH10960A true JPH10960A (ja) 1998-01-06

Family

ID=15512316

Family Applications (1)

Application Number Title Priority Date Filing Date
JP8151143A Pending JPH10960A (ja) 1996-06-12 1996-06-12 運転者監視装置

Country Status (2)

Country Link
US (1) US6049747A (ja)
JP (1) JPH10960A (ja)

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002042115A (ja) * 2000-07-26 2002-02-08 Fujitsu Ltd 疲労緩和システム、疲労緩和方法及び記録媒体
JP2006205844A (ja) * 2005-01-27 2006-08-10 Aisin Seiki Co Ltd 乗員の頭部位置判定装置、及び該判定装置を備えた乗員保護装置
JP2007069680A (ja) * 2005-09-05 2007-03-22 Toyota Motor Corp 顔画像撮影カメラの搭載構造
JP2007524134A (ja) * 2003-11-30 2007-08-23 ボルボ テクノロジー コーポレイション 運転者の障害を認識するための方法およびシステム
JP2008065705A (ja) * 2006-09-08 2008-03-21 Toyota Motor Corp 居眠り検知装置、居眠り検知方法
JP2008084141A (ja) * 2006-09-28 2008-04-10 Takata Corp 乗員検出システム、警報システム、制動システム、車両
JP2008171108A (ja) * 2007-01-10 2008-07-24 Matsushita Electric Ind Co Ltd 顔状況判定処理装置および撮像装置
JP2008171107A (ja) * 2007-01-10 2008-07-24 Matsushita Electric Ind Co Ltd 顔状況判定処理装置および撮像装置
JP2009087204A (ja) * 2007-10-02 2009-04-23 Honda Motor Co Ltd 車両用電話通話判定装置
JP2010100142A (ja) * 2008-10-22 2010-05-06 Toyota Motor Corp 車両デバイス制御装置
JP2012123515A (ja) * 2010-12-07 2012-06-28 Denso Corp 顔向き検出装置
US8233046B2 (en) 2005-09-05 2012-07-31 Toyota Jidosha Kabushiki Kaisha Mounting construction for a facial image photographic camera
KR101212411B1 (ko) * 2006-03-08 2012-12-13 주식회사 현대오토넷 차량 탑승자 인식 시스템 및 방법
JP2016137155A (ja) * 2015-01-28 2016-08-04 京セラ株式会社 眼の開閉状態の判定方法、画像処理装置、および判定システム
KR20170135573A (ko) * 2016-05-31 2017-12-08 전자부품연구원 운전자 시선 방향 검출 장치
JP2018173996A (ja) * 2014-06-23 2018-11-08 株式会社デンソー ドライバの運転不能状態検出装置
US10160426B2 (en) 2014-08-08 2018-12-25 Denso Corporation Driver monitoring device
WO2019092986A1 (ja) * 2017-11-09 2019-05-16 株式会社デンソー 状態検出装置
WO2019111696A1 (ja) * 2017-12-08 2019-06-13 株式会社デンソー 異常検知装置、及び異常検知プログラム
WO2019117000A1 (ja) * 2017-12-11 2019-06-20 オムロン株式会社 画像処理装置および画像処理方法
US10503987B2 (en) 2014-06-23 2019-12-10 Denso Corporation Apparatus detecting driving incapability state of driver
JP2020135077A (ja) * 2019-02-13 2020-08-31 Ｎｅｃソリューションイノベータ株式会社 顔検出装置、顔検出方法、及びプログラム

Families Citing this family (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7983817B2 (en) * 1995-06-07 2011-07-19 Automotive Technologies Internatinoal, Inc. Method and arrangement for obtaining information about vehicle occupants
DE19743580B4 (de) * 1997-10-02 2004-12-02 Robert Bosch Gmbh Verfahren und Anordnung zur Ermittlung der Lichtverhältnisse in Front eines beweglichen Fahrzeuges, insbesondere vor einem Kraftfahrzeug
US6184791B1 (en) * 2000-01-27 2001-02-06 Gerald R. Baugh Vehicle safety warning and action system
US6445303B1 (en) * 2000-06-23 2002-09-03 Michael Aryeh Apparatus and method for producing an electric shock to wake sleeping drivers
AUPQ896000A0 (en) * 2000-07-24 2000-08-17 Seeing Machines Pty Ltd Facial image processing system
KR100736472B1 (ko) * 2000-11-14 2007-07-06 지멘스 악티엔게젤샤프트 차량 내부의 탑승 유무를 결정하는 방법 및 장치
WO2002046003A1 (de) 2000-12-07 2002-06-13 Siemens Aktiengesellschaft Vorrichtung und verfahren zum erfassen eines objekts in einem fahrzeug
US6496117B2 (en) * 2001-03-30 2002-12-17 Koninklijke Philips Electronics N.V. System for monitoring a driver's attention to driving
US6947575B2 (en) * 2001-05-24 2005-09-20 Trw Inc. Apparatus and method for determining vehicle occupant characteristic utilizing imaging with provided light
US6810133B2 (en) 2001-06-01 2004-10-26 Trw Inc. Occupant sensing system and method via imaging
DE10132386A1 (de) * 2001-07-06 2003-01-16 Volkswagen Ag Fahrerassistenzsystem
DE20116618U1 (de) * 2001-10-10 2002-02-21 Trw Automotive Safety Sys Gmbh Fahrzeuglenkvorrichtung
LU90879B1 (de) * 2001-12-12 2003-06-13 Hagen Hultzsch Verfahren und Vorrichtung zur Erkennung des Schlaefrigkeitszustandes von Fuehrern bewegter Objekte
US6937745B2 (en) * 2001-12-31 2005-08-30 Microsoft Corporation Machine vision system and method for estimating and tracking facial pose
US7138922B2 (en) * 2003-03-18 2006-11-21 Ford Global Technologies, Llc Drowsy driver monitoring and prevention system
JP2004297518A (ja) * 2003-03-27 2004-10-21 Matsushita Electric Ind Co Ltd 認証対象画像撮像装置及びその方法
JP4539348B2 (ja) * 2004-09-07 2010-09-08 日産自動車株式会社 衝突時間算出装置および障害物検出装置
DE102005025963A1 (de) * 2005-05-23 2006-12-14 Conti Temic Microelectronic Gmbh Verfahren zur Erfassung von Objekten auf dem Sitz eines Fahrzeugs
US7423540B2 (en) * 2005-12-23 2008-09-09 Delphi Technologies, Inc. Method of detecting vehicle-operator state
US7953253B2 (en) * 2005-12-31 2011-05-31 Arcsoft, Inc. Face detection on mobile devices
US7643659B2 (en) * 2005-12-31 2010-01-05 Arcsoft, Inc. Facial feature detection on mobile devices
EP1901252A3 (en) * 2006-09-12 2010-01-06 Deere & Company Method and system for detecting operator alertness
US7692548B2 (en) * 2006-09-12 2010-04-06 Deere & Company Method and system for detecting operator alertness
US7692551B2 (en) * 2006-09-12 2010-04-06 Deere & Company Method and system for detecting operator alertness
EP2084491A2 (en) * 2006-11-21 2009-08-05 Mantisvision Ltd. 3d geometric modeling and 3d video content creation
US8090194B2 (en) 2006-11-21 2012-01-03 Mantis Vision Ltd. 3D geometric modeling and motion capture using both single and dual imaging
US7877706B2 (en) * 2007-01-12 2011-01-25 International Business Machines Corporation Controlling a document based on user behavioral signals detected from a 3D captured image stream
US8269834B2 (en) 2007-01-12 2012-09-18 International Business Machines Corporation Warning a user about adverse behaviors of others within an environment based on a 3D captured image stream
US7840031B2 (en) * 2007-01-12 2010-11-23 International Business Machines Corporation Tracking a range of body movement based on 3D captured image streams of a user
US8588464B2 (en) * 2007-01-12 2013-11-19 International Business Machines Corporation Assisting a vision-impaired user with navigation based on a 3D captured image stream
US7971156B2 (en) * 2007-01-12 2011-06-28 International Business Machines Corporation Controlling resource access based on user gesturing in a 3D captured image stream of the user
US8295542B2 (en) 2007-01-12 2012-10-23 International Business Machines Corporation Adjusting a consumer experience based on a 3D captured image stream of a consumer response
US7792328B2 (en) * 2007-01-12 2010-09-07 International Business Machines Corporation Warning a vehicle operator of unsafe operation behavior based on a 3D captured image stream
US7801332B2 (en) * 2007-01-12 2010-09-21 International Business Machines Corporation Controlling a system based on user behavioral signals detected from a 3D captured image stream
JP4259587B2 (ja) * 2007-03-30 2009-04-30 株式会社デンソー データベース装置、注意喚起装置及び運転支援装置
JP4640404B2 (ja) * 2007-11-22 2011-03-02 トヨタ自動車株式会社 車両運転者状態検出装置
US9662977B2 (en) * 2008-01-02 2017-05-30 Hi Tech Robotic Systemz Ltd. Driver state monitoring system
JP4989762B2 (ja) * 2008-03-18 2012-08-01 パナソニック株式会社 運転者監視装置、運転者監視方法及び車両
US8369608B2 (en) * 2009-06-22 2013-02-05 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for detecting drowsy facial expressions of vehicle drivers under changing illumination conditions
US9460601B2 (en) 2009-09-20 2016-10-04 Tibet MIMAR Driver distraction and drowsiness warning and sleepiness reduction for accident avoidance
US9491420B2 (en) 2009-09-20 2016-11-08 Tibet MIMAR Vehicle security with accident notification and embedded driver analytics
DE102010013243A1 (de) * 2010-03-29 2011-09-29 Audi Ag Verfahren zur Ermittlung von auf die Blickrichtung eines Fahrers und die Position der Hände des Fahrers bezüglich des Lenkrads bezogenen Informationen in einem Kraftfahrzeug und Kraftfahrzeug
US9489782B2 (en) * 2010-07-28 2016-11-08 Hand Held Products, Inc. Collect vehicle performance with a PDT
US8880282B2 (en) 2010-10-04 2014-11-04 Toyota Motor Engineering & Manufacturing North America, Inc. Method and system for risk prediction for a support actuation system
DE102012208822A1 (de) * 2012-05-25 2013-11-28 Robert Bosch Gmbh Verfahren und Vorrichtung zur Fahrerzustandserkennung
TW201348038A (zh) * 2012-05-31 2013-12-01 Yottastor Information Technology Inc 行車警示系統
CN106471556B (zh) * 2014-06-23 2021-11-16 株式会社电装 驾驶员的驾驶不能状态检测装置
JP6372388B2 (ja) 2014-06-23 2018-08-15 株式会社デンソー ドライバの運転不能状態検出装置
KR101646401B1 (ko) * 2014-12-08 2016-08-12 현대자동차주식회사 운전자의 졸음상태 판단 시스템 및 그 판단 방법
WO2017073045A1 (ja) * 2015-10-28 2017-05-04 京セラ株式会社 撮像装置、撮像システム、対象者監視システム、および撮像装置の制御方法
US10909631B2 (en) * 2016-05-06 2021-02-02 Sony Corporation Information processing apparatus and method
US10821987B2 (en) 2016-07-20 2020-11-03 Ford Global Technologies, Llc Vehicle interior and exterior monitoring
US10318831B2 (en) * 2016-07-21 2019-06-11 Gestigon Gmbh Method and system for monitoring the status of the driver of a vehicle
EP3373037B1 (en) * 2017-03-10 2023-06-28 The Hi-Tech Robotic Systemz Ltd Single casing advanced driver assistance system
US11117515B2 (en) * 2017-05-19 2021-09-14 Yazaki Corporation Monitoring system
EP3480729B1 (en) * 2017-11-07 2023-03-01 Tata Consultancy Services Limited System and method for face position tracking and alerting user
JP7102850B2 (ja) * 2018-03-28 2022-07-20 マツダ株式会社 ドライバ状態判定装置
US10657396B1 (en) * 2019-01-30 2020-05-19 StradVision, Inc. Method and device for estimating passenger statuses in 2 dimension image shot by using 2 dimension camera with fisheye lens
US11823468B2 (en) * 2019-11-19 2023-11-21 Hyundai Mobis Co., Ltd. Driver state warning system and method of monitoring driver state
US11360552B1 (en) * 2020-06-02 2022-06-14 Rockwell Collins, Inc. High assurance headtracking via structured light projection for head worn display (HWD)
US11320650B1 (en) 2020-06-02 2022-05-03 Rockwell Collins, Inc. High assurance head tracking system incorporating ground truth fiducials
US12130374B2 (en) 2020-06-24 2024-10-29 Rockwell Collins, Inc. Optical reference for inertial drift mitigation
CN116863449A (zh) * 2022-03-28 2023-10-10 北京罗克维尔斯科技有限公司 驾驶状态分析方法、装置、设备、存储介质及车辆
IT202200022092A1 (it) 2022-10-26 2024-04-26 Marco Ceccarelli Dispositivo di monitoraggio per conducente di veicoli
US12546896B2 (en) * 2023-03-16 2026-02-10 Ford Global Technologies, Llc Steering interaction detection
IT202300010938A1 (it) 2023-05-30 2024-11-30 Marco Ceccarelli Corpetto di monitoraggio per conducente di veicoli

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60152904A (ja) * 1984-01-20 1985-08-12 Nippon Denso Co Ltd 車両運転者位置認識装置
JPS6199803A (ja) * 1984-10-22 1986-05-17 Nippon Denso Co Ltd 車両運転者位置認識装置
JPS63222940A (ja) * 1987-03-11 1988-09-16 Hitachi Ltd 自動車安全走行支援方式
JPH041844B2 (ja) * 1984-02-10 1992-01-14 Nippon Denso Co
JPH0426041B2 (ja) * 1984-02-09 1992-05-06 Nippon Denso Co
JPH0596971A (ja) * 1991-10-04 1993-04-20 Nissan Motor Co Ltd 居眠り運転防止装置
JPH05201298A (ja) * 1991-09-19 1993-08-10 Yazaki Corp 車両周辺監視装置
JPH05262161A (ja) * 1992-03-17 1993-10-12 Tamotsu Kawamata 居眠り防止装置
JPH06156285A (ja) * 1992-11-27 1994-06-03 Mitsubishi Electric Corp ハンドル及び運転者撮影装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2522859B2 (ja) * 1990-12-14 1996-08-07 日産自動車株式会社 眼位置検出装置
US5353013A (en) * 1993-05-13 1994-10-04 Estrada Richard J Vehicle operator sleep alarm
GB9323970D0 (en) * 1993-11-22 1994-01-12 Toad Innovations Ltd Safety device
JP3350296B2 (ja) * 1995-07-28 2002-11-25 三菱電機株式会社 顔画像処理装置
US5867587A (en) * 1997-05-19 1999-02-02 Northrop Grumman Corporation Impaired operator detection and warning system employing eyeblink analysis

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60152904A (ja) * 1984-01-20 1985-08-12 Nippon Denso Co Ltd 車両運転者位置認識装置
JPH0426041B2 (ja) * 1984-02-09 1992-05-06 Nippon Denso Co
JPH041844B2 (ja) * 1984-02-10 1992-01-14 Nippon Denso Co
JPS6199803A (ja) * 1984-10-22 1986-05-17 Nippon Denso Co Ltd 車両運転者位置認識装置
JPS63222940A (ja) * 1987-03-11 1988-09-16 Hitachi Ltd 自動車安全走行支援方式
JPH05201298A (ja) * 1991-09-19 1993-08-10 Yazaki Corp 車両周辺監視装置
JPH0596971A (ja) * 1991-10-04 1993-04-20 Nissan Motor Co Ltd 居眠り運転防止装置
JPH05262161A (ja) * 1992-03-17 1993-10-12 Tamotsu Kawamata 居眠り防止装置
JPH06156285A (ja) * 1992-11-27 1994-06-03 Mitsubishi Electric Corp ハンドル及び運転者撮影装置

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002042115A (ja) * 2000-07-26 2002-02-08 Fujitsu Ltd 疲労緩和システム、疲労緩和方法及び記録媒体
US7224834B2 (en) 2000-07-26 2007-05-29 Fujitsu Limited Computer system for relieving fatigue
JP2007524134A (ja) * 2003-11-30 2007-08-23 ボルボ テクノロジー コーポレイション 運転者の障害を認識するための方法およびシステム
JP2006205844A (ja) * 2005-01-27 2006-08-10 Aisin Seiki Co Ltd 乗員の頭部位置判定装置、及び該判定装置を備えた乗員保護装置
US8233046B2 (en) 2005-09-05 2012-07-31 Toyota Jidosha Kabushiki Kaisha Mounting construction for a facial image photographic camera
JP2007069680A (ja) * 2005-09-05 2007-03-22 Toyota Motor Corp 顔画像撮影カメラの搭載構造
KR101212411B1 (ko) * 2006-03-08 2012-12-13 주식회사 현대오토넷 차량 탑승자 인식 시스템 및 방법
JP2008065705A (ja) * 2006-09-08 2008-03-21 Toyota Motor Corp 居眠り検知装置、居眠り検知方法
JP2008084141A (ja) * 2006-09-28 2008-04-10 Takata Corp 乗員検出システム、警報システム、制動システム、車両
JP2008171107A (ja) * 2007-01-10 2008-07-24 Matsushita Electric Ind Co Ltd 顔状況判定処理装置および撮像装置
JP2008171108A (ja) * 2007-01-10 2008-07-24 Matsushita Electric Ind Co Ltd 顔状況判定処理装置および撮像装置
JP2009087204A (ja) * 2007-10-02 2009-04-23 Honda Motor Co Ltd 車両用電話通話判定装置
JP2010100142A (ja) * 2008-10-22 2010-05-06 Toyota Motor Corp 車両デバイス制御装置
JP2012123515A (ja) * 2010-12-07 2012-06-28 Denso Corp 顔向き検出装置
US10503987B2 (en) 2014-06-23 2019-12-10 Denso Corporation Apparatus detecting driving incapability state of driver
JP2018173996A (ja) * 2014-06-23 2018-11-08 株式会社デンソー ドライバの運転不能状態検出装置
US10909399B2 (en) 2014-06-23 2021-02-02 Denso Corporation Apparatus detecting driving incapability state of driver
DE112015003672B4 (de) 2014-08-08 2025-02-06 Denso Corporation Fahrerüberwachungsvorrichtung
US10160426B2 (en) 2014-08-08 2018-12-25 Denso Corporation Driver monitoring device
JP2016137155A (ja) * 2015-01-28 2016-08-04 京セラ株式会社 眼の開閉状態の判定方法、画像処理装置、および判定システム
KR20170135573A (ko) * 2016-05-31 2017-12-08 전자부품연구원 운전자 시선 방향 검출 장치
JP2019087934A (ja) * 2017-11-09 2019-06-06 株式会社デンソー 状態検出装置
WO2019092986A1 (ja) * 2017-11-09 2019-05-16 株式会社デンソー 状態検出装置
US11561408B2 (en) 2017-11-09 2023-01-24 Denso Corporation State detection device
WO2019111696A1 (ja) * 2017-12-08 2019-06-13 株式会社デンソー 異常検知装置、及び異常検知プログラム
JP2019105872A (ja) * 2017-12-08 2019-06-27 株式会社デンソー 異常検知装置、及び異常検知プログラム
US11615632B2 (en) 2017-12-08 2023-03-28 Denso Corporation Abnormality detection device and abnormality detection program
WO2019117000A1 (ja) * 2017-12-11 2019-06-20 オムロン株式会社 画像処理装置および画像処理方法
JP2019105480A (ja) * 2017-12-11 2019-06-27 オムロン株式会社 画像処理装置および画像処理方法
JP2020135077A (ja) * 2019-02-13 2020-08-31 Ｎｅｃソリューションイノベータ株式会社 顔検出装置、顔検出方法、及びプログラム

Also Published As

Publication number Publication date
US6049747A (en) 2000-04-11

Similar Documents

Publication Publication Date Title
JPH10960A (ja) 運転者監視装置
JP6036065B2 (ja) 注視位置検出装置及び注視位置検出方法
JP5083841B2 (ja) 車両周辺監視装置、車両周辺監視用プログラム、車両周辺監視方法
JP5207249B2 (ja) 運転者状態監視システム
US9073484B2 (en) Surrounding area monitoring apparatus for vehicle
JP6445607B2 (ja) 車両の表示システム及び車両の表示システムの制御方法
US20110216194A1 (en) Camera calibration apparatus
US20140375812A1 (en) Method for representing a vehicle's surrounding environment
CN102783144A (zh) 车辆的周围监测装置
JP2005267108A (ja) 運転支援装置
JP2014004968A (ja) 配光制御装置
JP2013024662A (ja) ３次元範囲計測システム、３次元範囲計測プログラムおよび記録媒体
JP7099036B2 (ja) データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、及びデータ処理プログラム
JP6669182B2 (ja) 乗員監視装置
JP3521859B2 (ja) 車両周辺画像処理装置及び記録媒体
JP7572237B2 (ja) 視線キャリブレーションシステム
JP2007293627A (ja) 車両の周辺監視装置、車両、車両の周辺監視方法、および車両の周辺監視用プログラム
JP2007310706A (ja) 車両周辺監視装置
JP4552636B2 (ja) ドライバモニタシステムおよびその処理方法
JP4528283B2 (ja) 車両周辺監視装置
CN112801874A (zh) 一种车辆图像拼接方法、装置和车辆
JP2008037118A (ja) 車両用表示装置
JP2022012829A (ja) ドライバモニタ装置及びドライバモニタ方法
JP4281405B2 (ja) 確認動作検出装置及び警報システム
JP4935387B2 (ja) 情報表示装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050510

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050706

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20060117