JPH10272961A - 居眠り警報装置 - Google Patents
居眠り警報装置Info
- Publication number
- JPH10272961A JPH10272961A JP9081534A JP8153497A JPH10272961A JP H10272961 A JPH10272961 A JP H10272961A JP 9081534 A JP9081534 A JP 9081534A JP 8153497 A JP8153497 A JP 8153497A JP H10272961 A JPH10272961 A JP H10272961A
- Authority
- JP
- Japan
- Prior art keywords
- image
- driver
- coordinate position
- eyes
- focal length
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000002207 retinal effect Effects 0.000 claims abstract description 21
- 230000037007 arousal Effects 0.000 claims description 33
- 230000007423 decrease Effects 0.000 claims description 21
- 230000004913 activation Effects 0.000 claims description 3
- 230000001678 irradiating effect Effects 0.000 claims description 2
- 238000005259 measurement Methods 0.000 claims 2
- 230000008859 change Effects 0.000 abstract description 2
- 239000000284 extract Substances 0.000 abstract description 2
- 238000000034 method Methods 0.000 description 5
- 230000001186 cumulative effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 206010041349 Somnolence Diseases 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 210000001525 retina Anatomy 0.000 description 3
- 206010062519 Poor quality sleep Diseases 0.000 description 2
- 230000004397 blinking Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
Landscapes
- Auxiliary Drives, Propulsion Controls, And Safety Devices (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Emergency Alarm Devices (AREA)
- Traffic Control Systems (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
Abstract
(57)【要約】 （修正有）
【課題】運転者の覚醒度を精度よく検出する。また、運
転者の顔の位置が変化しても、これに対応する適正な撮
影位置を取れるようにする。 【解決手段】運転者の顔を撮影する手段ａと、その画像
を特殊な画像フイルタを用いてその出力を２値化する画
像処理から目を抽出する手段ｂと、閉じ目時間を計測す
る手段ｃと、閉じ時間を覚醒度の閾値として設定する手
段ｄと、閾値を越えると覚醒度の低下を判定する手段ｅ
と、その際警報器を作動するよう制御する手段ｆと、着
座開始時にズームレンジの焦点距離をワイド側にセット
する手段ｍと、左右の目の中心が画像の中心にくるよう
にする手段ｋと、目の画像上の座標位置を計測する手段
ｈと、所定のズーム画像上における目の基準座標位置お
よび偏差の許容値を設定する手段ｉと、目の計測座標位
置と基準座標位置との偏差がその許容値内に納まるよう
ズームレンズの焦点距離を調整する手段ｊと、を備え
る。
転者の顔の位置が変化しても、これに対応する適正な撮
影位置を取れるようにする。 【解決手段】運転者の顔を撮影する手段ａと、その画像
を特殊な画像フイルタを用いてその出力を２値化する画
像処理から目を抽出する手段ｂと、閉じ目時間を計測す
る手段ｃと、閉じ時間を覚醒度の閾値として設定する手
段ｄと、閾値を越えると覚醒度の低下を判定する手段ｅ
と、その際警報器を作動するよう制御する手段ｆと、着
座開始時にズームレンジの焦点距離をワイド側にセット
する手段ｍと、左右の目の中心が画像の中心にくるよう
にする手段ｋと、目の画像上の座標位置を計測する手段
ｈと、所定のズーム画像上における目の基準座標位置お
よび偏差の許容値を設定する手段ｉと、目の計測座標位
置と基準座標位置との偏差がその許容値内に納まるよう
ズームレンズの焦点距離を調整する手段ｊと、を備え
る。
Description
【０００１】
【発明の属する技術分野】この発明は、運転者の居眠り
を検出して警報する装置の改良に関する。
を検出して警報する装置の改良に関する。
【０００２】
【従来の技術】運転者の居眠りによる事故を未然に防止
する目的から、運転者の顔を撮影する手段（ＣＣＤカメ
ラやＴＶカメラなど）をインストルパネルに配置し、そ
の画像から得られる目情報をもとに運転者の覚醒度を推
定し、覚醒度が閾値以下になると警報などを作動させる
ようにしたものが知られている（特開平７ー３２９０７
号公報，特開平７ー１５６６８２号公報，三菱電機技報
Vol.70 No.9 1996『居眠り検出技術』）。
する目的から、運転者の顔を撮影する手段（ＣＣＤカメ
ラやＴＶカメラなど）をインストルパネルに配置し、そ
の画像から得られる目情報をもとに運転者の覚醒度を推
定し、覚醒度が閾値以下になると警報などを作動させる
ようにしたものが知られている（特開平７ー３２９０７
号公報，特開平７ー１５６６８２号公報，三菱電機技報
Vol.70 No.9 1996『居眠り検出技術』）。
【０００３】
【発明が解決しようとする課題】このような従来装置に
おいて、運転者の覚醒度を適確に推定するのに最も重要
なことは、いかに運転者の目情報を精密に捕らえるかに
係っている。従来の方法では、運転者がシートポジショ
ン（運転席の前後方向や上下方向の位置）を変更した
り、運転者が交替したりすると、カメラの捕らえる画像
（視野）から運転者の顔が外れてしまうような可能性が
あり、その対策としてカメラの撮影範囲を広角度に設定
することが要求される。しかし、そのようにカメラの視
野を広角度に設定すると、カメラの画像中に占める運転
者の顔部分が小さくなり、そこから得られる目情報も減
少してしまう。つまり、覚醒度の高い推定精度を確保す
るのが難しいという不具合があった。
おいて、運転者の覚醒度を適確に推定するのに最も重要
なことは、いかに運転者の目情報を精密に捕らえるかに
係っている。従来の方法では、運転者がシートポジショ
ン（運転席の前後方向や上下方向の位置）を変更した
り、運転者が交替したりすると、カメラの捕らえる画像
（視野）から運転者の顔が外れてしまうような可能性が
あり、その対策としてカメラの撮影範囲を広角度に設定
することが要求される。しかし、そのようにカメラの視
野を広角度に設定すると、カメラの画像中に占める運転
者の顔部分が小さくなり、そこから得られる目情報も減
少してしまう。つまり、覚醒度の高い推定精度を確保す
るのが難しいという不具合があった。
【０００４】この発明は、このような問題点の有効な対
策手段の提供を目的とする。
策手段の提供を目的とする。
【０００５】
【課題を解決するための手段】第１の発明では、図５の
ように運転者の顔をズームレンズを通して撮影する手段
ａと、その画像を特殊な画像フイルタを用いてその出力
を２値化する画像処理から目を抽出する手段ｂと、画像
処理で抽出される目をもとに一定時間あたりの閉じ目時
間を計測する手段ｃと、所定の閉じ時間を覚醒度の閾値
として設定する手段ｄと、閉じ時間の計測値が閾値を越
えると運転者の覚醒度の低下を判定する手段ｅと、その
覚醒度の低下判定時に運転室の警報器を作動するよう制
御する手段ｆと、運転者の着座開始時にズームレンジの
焦点距離をワイド側にセットする手段ｍと、画像処理で
抽出される左右の目を結ぶ中心が画像の中心にくるよう
撮影位置を調整する手段ｋと、同じく抽出される目の画
像上の座標位置を計測する手段ｈと、所定のズーム画像
上における目の基準座標位置および偏差の許容値を設定
する手段ｉと、目の計測座標位置と基準座標位置との偏
差がその許容値内に納まるようズームレンズの焦点距離
を調整する手段ｊと、を備える。
ように運転者の顔をズームレンズを通して撮影する手段
ａと、その画像を特殊な画像フイルタを用いてその出力
を２値化する画像処理から目を抽出する手段ｂと、画像
処理で抽出される目をもとに一定時間あたりの閉じ目時
間を計測する手段ｃと、所定の閉じ時間を覚醒度の閾値
として設定する手段ｄと、閉じ時間の計測値が閾値を越
えると運転者の覚醒度の低下を判定する手段ｅと、その
覚醒度の低下判定時に運転室の警報器を作動するよう制
御する手段ｆと、運転者の着座開始時にズームレンジの
焦点距離をワイド側にセットする手段ｍと、画像処理で
抽出される左右の目を結ぶ中心が画像の中心にくるよう
撮影位置を調整する手段ｋと、同じく抽出される目の画
像上の座標位置を計測する手段ｈと、所定のズーム画像
上における目の基準座標位置および偏差の許容値を設定
する手段ｉと、目の計測座標位置と基準座標位置との偏
差がその許容値内に納まるようズームレンズの焦点距離
を調整する手段ｊと、を備える。
【０００６】第２の発明では、図６のように運転者の顔
に向けて赤外光を照射する手段ｎと、運転者の顔をズー
ムレンズを通して撮影する手段ａと、その画像処理を行
う手段ｂと、網膜反射像をもとに一定時間あたりの閉じ
目時間を計測する手段ｅと、所定の閉じ時間を覚醒度の
閾値として設定する手段ｄと、閉じ時間の計測値が閾値
を越えると運転者の覚醒度の低下を判定する手段ｅと、
その覚醒度の低下判定時に運転室の警報器を作動するよ
う制御する手段ｆと、運転者の着座開始時にズームレン
ジの焦点距離をワイド側にセットする手段ｍと、２点の
網膜反射光を結ぶ中心が画像の中心にくるよう撮影位置
を調整する手段ｋと、網膜反射光の画像上の座標位置を
計測する手段ｈと、所定のズーム画像上における目の基
準座標位置および偏差の許容値を設定する手段ｉと、網
膜反射光の計測座標位置と目の基準座標位置との偏差が
その許容値内に納まるようズームレンズの焦点距離を調
整する手段ｊと、を備える。
に向けて赤外光を照射する手段ｎと、運転者の顔をズー
ムレンズを通して撮影する手段ａと、その画像処理を行
う手段ｂと、網膜反射像をもとに一定時間あたりの閉じ
目時間を計測する手段ｅと、所定の閉じ時間を覚醒度の
閾値として設定する手段ｄと、閉じ時間の計測値が閾値
を越えると運転者の覚醒度の低下を判定する手段ｅと、
その覚醒度の低下判定時に運転室の警報器を作動するよ
う制御する手段ｆと、運転者の着座開始時にズームレン
ジの焦点距離をワイド側にセットする手段ｍと、２点の
網膜反射光を結ぶ中心が画像の中心にくるよう撮影位置
を調整する手段ｋと、網膜反射光の画像上の座標位置を
計測する手段ｈと、所定のズーム画像上における目の基
準座標位置および偏差の許容値を設定する手段ｉと、網
膜反射光の計測座標位置と目の基準座標位置との偏差が
その許容値内に納まるようズームレンズの焦点距離を調
整する手段ｊと、を備える。
【０００７】第３の発明では、図５または図６におい
て、覚醒度の低下判定時に車両を停止させるよう制御す
る手段ｇを設ける。
て、覚醒度の低下判定時に車両を停止させるよう制御す
る手段ｇを設ける。
【０００８】
【発明の効果】第１の発明では、運転者の顔はズームレ
ンズを通して撮影され、画像処理により目が抽出され
る。その目をもとに運転者の覚醒度が判定され、覚醒度
の低下時に居眠り警報が作動する。覚醒度は一定時間あ
たりの閉じ目時間から、これが閾値を越えると、意識レ
ベルの低下として判定される。運転者の着座開始時はズ
ームレンズがワイド側にセットされ、その撮影位置は画
像処理で抽出される左右の目を結ぶ中心が画像の中心に
くるよう調整される。そのため、運転者がシートポジシ
ョンを変更したり、交替したりすることにより、顔の位
置が変わっても、広い視野の中で画像の中心に左右の目
の中心がくるよう運転者の顔を適確に捕らえられる。そ
して、両目の画像上の座標位置が計測され、所定のズー
ム画像上における基準座標位置および偏差の許容値に基
づいて、目の計測位置と基準位置との偏差が許容値内に
納まるようズームレンズの焦点距離が調整される。これ
により、運転者の撮影される画像は、両目を中心にして
ズームアップされるため、覚醒度の推定精度を大幅に高
めることができる。
ンズを通して撮影され、画像処理により目が抽出され
る。その目をもとに運転者の覚醒度が判定され、覚醒度
の低下時に居眠り警報が作動する。覚醒度は一定時間あ
たりの閉じ目時間から、これが閾値を越えると、意識レ
ベルの低下として判定される。運転者の着座開始時はズ
ームレンズがワイド側にセットされ、その撮影位置は画
像処理で抽出される左右の目を結ぶ中心が画像の中心に
くるよう調整される。そのため、運転者がシートポジシ
ョンを変更したり、交替したりすることにより、顔の位
置が変わっても、広い視野の中で画像の中心に左右の目
の中心がくるよう運転者の顔を適確に捕らえられる。そ
して、両目の画像上の座標位置が計測され、所定のズー
ム画像上における基準座標位置および偏差の許容値に基
づいて、目の計測位置と基準位置との偏差が許容値内に
納まるようズームレンズの焦点距離が調整される。これ
により、運転者の撮影される画像は、両目を中心にして
ズームアップされるため、覚醒度の推定精度を大幅に高
めることができる。
【０００９】第２の発明では、運転者の顔に赤外光が照
射され、目の網膜反射光がズームレンズを通して撮影さ
れる。その画像上の網膜反射光をもとに運転者の覚醒度
が判定され、覚醒度の低下時に居眠り警報が作動する。
覚醒度は一定時間あたりの閉じ目時間から、これが閾値
を越えると、意識レベルの低下として判定される。運転
者の着座開始時はズームレンズがワイド側にセットさ
れ、その撮影位置は画像上の左右の網膜反射光を結ぶ中
心が画像の中心にくるよう調整される。そのため、運転
者がシートポジションを変更したり、交替したりするこ
とにより、顔の位置が変わっても、広い視野の中で画像
の中心に左右の網膜反射光の中心がくるよう運転者の顔
を適確に捕らえられる。そして、網膜反射光の画像上の
座標位置が計測され、所定のズーム画像上における基準
座標位置および偏差の許容値に基づいて、網膜反射光の
計測位置と基準位置との偏差が許容値内に納まるようズ
ームレンズの焦点距離が調整される。これにより、運転
者の撮影される画像は、両目を中心にしてズームアップ
されるため、覚醒度の推定精度を大幅に高めることがで
きる。
射され、目の網膜反射光がズームレンズを通して撮影さ
れる。その画像上の網膜反射光をもとに運転者の覚醒度
が判定され、覚醒度の低下時に居眠り警報が作動する。
覚醒度は一定時間あたりの閉じ目時間から、これが閾値
を越えると、意識レベルの低下として判定される。運転
者の着座開始時はズームレンズがワイド側にセットさ
れ、その撮影位置は画像上の左右の網膜反射光を結ぶ中
心が画像の中心にくるよう調整される。そのため、運転
者がシートポジションを変更したり、交替したりするこ
とにより、顔の位置が変わっても、広い視野の中で画像
の中心に左右の網膜反射光の中心がくるよう運転者の顔
を適確に捕らえられる。そして、網膜反射光の画像上の
座標位置が計測され、所定のズーム画像上における基準
座標位置および偏差の許容値に基づいて、網膜反射光の
計測位置と基準位置との偏差が許容値内に納まるようズ
ームレンズの焦点距離が調整される。これにより、運転
者の撮影される画像は、両目を中心にしてズームアップ
されるため、覚醒度の推定精度を大幅に高めることがで
きる。
【００１０】第３の発明では、覚醒度の低下時は車両が
停止するよう制御される。そのため、警報の作動に運転
者が反応しない場合においても、車両は停止状態（停
車）へと至るから、運転者の居眠りに対する安全性の向
上が得られる。
停止するよう制御される。そのため、警報の作動に運転
者が反応しない場合においても、車両は停止状態（停
車）へと至るから、運転者の居眠りに対する安全性の向
上が得られる。
【００１１】
【発明の実施の形態】図１において、運転室のインスト
ルメントパネル１に運転者の顔を撮影するＣＣＤカメラ
２と、運転者の覚醒度低下時に作動する警報器３が設置
される。ＣＣＤカメラ２は図２のようにズームレンズ４
が取り付けられ、その回りに近赤外ＬＥＤ５が配設され
る。また、ＣＣＤカメラ２はインストルパネル２に図示
しない支持機構を介して運転者に対向する撮影位置（こ
の例では支持角度）が調整可能に取り付けられる。
ルメントパネル１に運転者の顔を撮影するＣＣＤカメラ
２と、運転者の覚醒度低下時に作動する警報器３が設置
される。ＣＣＤカメラ２は図２のようにズームレンズ４
が取り付けられ、その回りに近赤外ＬＥＤ５が配設され
る。また、ＣＣＤカメラ２はインストルパネル２に図示
しない支持機構を介して運転者に対向する撮影位置（こ
の例では支持角度）が調整可能に取り付けられる。
【００１２】コントローラ１０は、近赤外ＬＥＤ５の照
射を制御する光源制御部１１と、ＣＣＤカメラ２の支持
角度およびズームレンズ４の焦点距離を制御するカメラ
制御部１２と、ＣＣＤカメラ２の画像処理部１３と、運
転者の覚醒度を推定する居眠り検出部１４と、警報器３
の作動を制御する警報部１５と、から構成される。光源
制御部１１は夜間など暗い状態のときにのみ、運転者の
顔へ向けて低照度の近赤外ＬＥＤ５を作動させるよう制
御する。
射を制御する光源制御部１１と、ＣＣＤカメラ２の支持
角度およびズームレンズ４の焦点距離を制御するカメラ
制御部１２と、ＣＣＤカメラ２の画像処理部１３と、運
転者の覚醒度を推定する居眠り検出部１４と、警報器３
の作動を制御する警報部１５と、から構成される。光源
制御部１１は夜間など暗い状態のときにのみ、運転者の
顔へ向けて低照度の近赤外ＬＥＤ５を作動させるよう制
御する。
【００１３】画像処理部１２に特殊な画像フィルタを備
える。画像フィルタは昼間など明るい状態において、Ｃ
ＣＤカメラ２の画像から目を精度よく抽出するために採
用したものであり、カメラで撮影された画像と顔の縦方
向の長さが短い黒領域（目など）を除去した画像との差
を出力する。その出力画像は２値化され、目などを抽出
する２値画像になる。
える。画像フィルタは昼間など明るい状態において、Ｃ
ＣＤカメラ２の画像から目を精度よく抽出するために採
用したものであり、カメラで撮影された画像と顔の縦方
向の長さが短い黒領域（目など）を除去した画像との差
を出力する。その出力画像は２値化され、目などを抽出
する２値画像になる。
【００１４】居眠り検出部１３は２値画像をもとに目尻
の傾きの変化から瞬きを検出する。そして、一定時間あ
たりの閉じ目（目尻の傾きが開き目の傾きよりも緩や
か）時間を計測し、その計測時間を覚醒度の閾値と比較
して閾値を越えるときに覚醒度の低下を判定する。
の傾きの変化から瞬きを検出する。そして、一定時間あ
たりの閉じ目（目尻の傾きが開き目の傾きよりも緩や
か）時間を計測し、その計測時間を覚醒度の閾値と比較
して閾値を越えるときに覚醒度の低下を判定する。
【００１５】夜間など暗い状態では、近赤外ＬＥＤ５の
作動により、ＣＣＤカメラ２に目の網膜反射像が撮影さ
れる。居眠り検出部１４は画像処理部１３を介してその
画像上に明るく光っている網膜反射の有無を検出する。
そして、一定時間あたりの閉じ目（網膜反射のない）時
間を計測し、その計測時間を覚醒度の閾値と比較して閾
値を越えるときに覚醒度の低下を判定する。
作動により、ＣＣＤカメラ２に目の網膜反射像が撮影さ
れる。居眠り検出部１４は画像処理部１３を介してその
画像上に明るく光っている網膜反射の有無を検出する。
そして、一定時間あたりの閉じ目（網膜反射のない）時
間を計測し、その計測時間を覚醒度の閾値と比較して閾
値を越えるときに覚醒度の低下を判定する。
【００１６】警報部１５は居眠り検出部１４において、
覚醒度の低下が判定されると、運転室の警報器３を作動
させる。なお、居眠り運転を有効に回避するため、運転
者の覚醒度低下時に車両の停止を制御するようにすると
良い。その停車制御の起動に警報器３への作動信号が利
用できる。
覚醒度の低下が判定されると、運転室の警報器３を作動
させる。なお、居眠り運転を有効に回避するため、運転
者の覚醒度低下時に車両の停止を制御するようにすると
良い。その停車制御の起動に警報器３への作動信号が利
用できる。
【００１７】カメラ制御部１２は運転者の着座開始時に
ＣＣＤカメラ２のズームレンズをワイド側にセットす
る。運転者の顔はそのときＣＣＤカメラ２のワイドな画
像の中で小さく捕らえられる。そして、画像処理部１３
の出力データに基づいて、昼間など明るい状態のとき
は、２値画像の両目を結ぶ中心が画像の中心にくるよ
う、ＣＣＤカメラ２の支持角度を調整する。
ＣＣＤカメラ２のズームレンズをワイド側にセットす
る。運転者の顔はそのときＣＣＤカメラ２のワイドな画
像の中で小さく捕らえられる。そして、画像処理部１３
の出力データに基づいて、昼間など明るい状態のとき
は、２値画像の両目を結ぶ中心が画像の中心にくるよ
う、ＣＣＤカメラ２の支持角度を調整する。
【００１８】カメラ制御部１２のメモリに所定のズーム
画像上における目の基準座標位置および偏差の許容値な
どが設定される。そして、２値画像上の両目の座標位置
を計測し、その計測座標位置と基準座標位置との偏差が
許容値内に納まるよう、ズームレンズ４の焦点距離を調
整する。
画像上における目の基準座標位置および偏差の許容値な
どが設定される。そして、２値画像上の両目の座標位置
を計測し、その計測座標位置と基準座標位置との偏差が
許容値内に納まるよう、ズームレンズ４の焦点距離を調
整する。
【００１９】夜間など暗い状態のときは、網膜反射像に
基づいて、同じく両目の中心が画像の中心にくるよう、
ＣＣＤカメラ２の支持角度を調整する一方、網膜反射像
上の両目の座標位置を計測し、基準座標位置との偏差が
許容値内に納まるよう、ズームレンズ４の焦点距離を調
整する。
基づいて、同じく両目の中心が画像の中心にくるよう、
ＣＣＤカメラ２の支持角度を調整する一方、網膜反射像
上の両目の座標位置を計測し、基準座標位置との偏差が
許容値内に納まるよう、ズームレンズ４の焦点距離を調
整する。
【００２０】このような構成により、運転者の顔はＣＣ
Ｄカメラ２で撮影される。２値画像または網膜反射像の
目をもとに運転者の覚醒度が判定され、覚醒度の低下時
に居眠り警報が作動する。運転者の着座開始時はズーム
レンズ４がワイド側にセットされ、ＣＣＤカメラ２の支
持角度は２値画像または網膜反射像上の両目を結ぶ中心
が画像の中心にくるよう調整される。そのため、運転者
がシートポジションを変更したり、交替したりすること
により、顔の位置が変わっても、広い視野の中で画像の
中心に両目の中心がくるよう運転者の顔を適確に捕らえ
られる。
Ｄカメラ２で撮影される。２値画像または網膜反射像の
目をもとに運転者の覚醒度が判定され、覚醒度の低下時
に居眠り警報が作動する。運転者の着座開始時はズーム
レンズ４がワイド側にセットされ、ＣＣＤカメラ２の支
持角度は２値画像または網膜反射像上の両目を結ぶ中心
が画像の中心にくるよう調整される。そのため、運転者
がシートポジションを変更したり、交替したりすること
により、顔の位置が変わっても、広い視野の中で画像の
中心に両目の中心がくるよう運転者の顔を適確に捕らえ
られる。
【００２１】また、両目の画像上の座標位置が計測さ
れ、所定のズーム画像上における基準座標位置および偏
差の許容値に基づいて、目の計測位置と基準位置との偏
差が許容値内に納まるようズームレンズ４の焦点距離が
調整される。運転者の撮影される画像は、両目を中心に
してズームアップされるため、覚醒度の推定精度を大幅
に高めることができる。
れ、所定のズーム画像上における基準座標位置および偏
差の許容値に基づいて、目の計測位置と基準位置との偏
差が許容値内に納まるようズームレンズ４の焦点距離が
調整される。運転者の撮影される画像は、両目を中心に
してズームアップされるため、覚醒度の推定精度を大幅
に高めることができる。
【００２２】図３は明るい状態での制御内容を説明する
フローチャートであり、ステップ１では、運転者の着座
時にＣＣＤカメラ２の焦点距離をワイド側（短め）にセ
ットする。ステップ２では、運転者の顔をＣＣＤカメラ
２で撮影する。ステップ３では、ＣＣＤカメラ２の画像
Ｇ０（原画）から、縦方向の長さが短い黒領域を除去す
る画像Ｇ１を得る。ステップ４では、原画Ｇ０と黒領域
を除去した画像Ｇ１との差Ｇ２を得る。ステップ５で
は、この画像差Ｇ２から原画Ｇ０を引き去る画像Ｇ３を
得る。ステップ６では画像Ｇ３を２値化することにより
目を抽出する。
フローチャートであり、ステップ１では、運転者の着座
時にＣＣＤカメラ２の焦点距離をワイド側（短め）にセ
ットする。ステップ２では、運転者の顔をＣＣＤカメラ
２で撮影する。ステップ３では、ＣＣＤカメラ２の画像
Ｇ０（原画）から、縦方向の長さが短い黒領域を除去す
る画像Ｇ１を得る。ステップ４では、原画Ｇ０と黒領域
を除去した画像Ｇ１との差Ｇ２を得る。ステップ５で
は、この画像差Ｇ２から原画Ｇ０を引き去る画像Ｇ３を
得る。ステップ６では画像Ｇ３を２値化することにより
目を抽出する。
【００２３】ステップ７，ステップ８において、この２
値画像上の両目を結ぶ中心がが画像の中心にくるよう、
ＣＣＤカメラ２の支持角度を調整する。ステップ９で
は、画像上の両目の座標位置を計測し、基準座標位置と
の偏差を求める。ステップ１０，ステップ１１におい
て、この偏差が許容値内に納まるよう、ＣＣＤカメラ２
の焦点距離をズーム側（長め）に調整する。なお、左右
の偏差はｅｌ，ｅｒの絶対値は、（ｅｌｘ2＋ｅｌｙ2）
1/2，（ｅｒｘ2＋ｅｒｙ2）1/2で与えられる。
値画像上の両目を結ぶ中心がが画像の中心にくるよう、
ＣＣＤカメラ２の支持角度を調整する。ステップ９で
は、画像上の両目の座標位置を計測し、基準座標位置と
の偏差を求める。ステップ１０，ステップ１１におい
て、この偏差が許容値内に納まるよう、ＣＣＤカメラ２
の焦点距離をズーム側（長め）に調整する。なお、左右
の偏差はｅｌ，ｅｒの絶対値は、（ｅｌｘ2＋ｅｌｙ2）
1/2，（ｅｒｘ2＋ｅｒｙ2）1/2で与えられる。
【００２４】ステップ１２では、目尻の傾きαを計測す
る。ステップ１３では、αが閾値（閉じ目を判定するた
めの基準値であり、メモリに予め設定される）未満かど
うかを判定する。ｙｅｓのときは、ステップ１４で閉じ
目フラグｆ1を１にする。ｎｏのときは、ステップ１５
で閉じ目フラグｆ1を０にする。ステップ１６では、閉
じ目フラグｆ1＝１かどうかを判定し、ｙｅｓのときは
ステップ１７に進み、ｎｏのときはステップ１８へ飛
ぶ。
る。ステップ１３では、αが閾値（閉じ目を判定するた
めの基準値であり、メモリに予め設定される）未満かど
うかを判定する。ｙｅｓのときは、ステップ１４で閉じ
目フラグｆ1を１にする。ｎｏのときは、ステップ１５
で閉じ目フラグｆ1を０にする。ステップ１６では、閉
じ目フラグｆ1＝１かどうかを判定し、ｙｅｓのときは
ステップ１７に進み、ｎｏのときはステップ１８へ飛
ぶ。
【００２５】ステップ１７では、閉じ目の持続時間を計
測し、その時間の累計を行う。ステップ１８，ステップ
１９において、一定時間が経過すると、閉じ目の累計時
間Ｓ-ｆ1が覚醒度の閾値を越えるかどうかを判定する。
ｙｅｓのときは、ステップ２０で覚醒度低下フラグｆ2
を１にする。ｎｏのときは、ステップ２１で覚醒度低下
フラグｆ2を０にする。
測し、その時間の累計を行う。ステップ１８，ステップ
１９において、一定時間が経過すると、閉じ目の累計時
間Ｓ-ｆ1が覚醒度の閾値を越えるかどうかを判定する。
ｙｅｓのときは、ステップ２０で覚醒度低下フラグｆ2
を１にする。ｎｏのときは、ステップ２１で覚醒度低下
フラグｆ2を０にする。
【００２６】ステップ２２では、閉じ目の累計時間Ｓ-
ｆ1を０にすると同時に一定時間のカウントを開始す
る。そして、ステップ２３，ステップ２４において、覚
醒度低下フラグｆ2＝１のときは警報器３（および車両
の停車制御）を作動させる。ステップ２〜ステップ２４
は所定の制御周期で繰り返し実行される。
ｆ1を０にすると同時に一定時間のカウントを開始す
る。そして、ステップ２３，ステップ２４において、覚
醒度低下フラグｆ2＝１のときは警報器３（および車両
の停車制御）を作動させる。ステップ２〜ステップ２４
は所定の制御周期で繰り返し実行される。
【００２７】図４は暗い状態での制御内容を説明するフ
ローチャトであり、ステップ１では、運転者の着座時に
ＣＣＤカメラ２の焦点距離をワイド側（短め）にセット
する。ステップ２では、近赤外ＬＥＤ５を作動させる。
ステップ３では運転者の顔をＣＣＤカメラ２で撮影す
る。ステップ４では、ＣＣＤカメラ２の網膜反射像Ｇ０
（原画）から、明るく光っている点を目として抽出す
る。
ローチャトであり、ステップ１では、運転者の着座時に
ＣＣＤカメラ２の焦点距離をワイド側（短め）にセット
する。ステップ２では、近赤外ＬＥＤ５を作動させる。
ステップ３では運転者の顔をＣＣＤカメラ２で撮影す
る。ステップ４では、ＣＣＤカメラ２の網膜反射像Ｇ０
（原画）から、明るく光っている点を目として抽出す
る。
【００２８】ステップ５，ステップ６において、この網
膜反射像上の両目を結ぶ中心がが画像の中心にくるよ
う、ＣＣＤカメラ２の支持角度を調整する。ステップ７
では、画像上の両目の座標位置を計測し、基準座標位置
との偏差を求める。ステップ８，ステップ９において、
この偏差が許容値内に納まるよう、ＣＣＤカメラ２の焦
点距離をズーム側（長め）に調整する。なお、左右の偏
差はｅｌ，ｅｒの絶対値は、（ｅｌｘ2＋ｅｌ
ｙ2）1/2，（ｅｒｘ2＋ｅｒｙ2）1/2で与えられる。
膜反射像上の両目を結ぶ中心がが画像の中心にくるよ
う、ＣＣＤカメラ２の支持角度を調整する。ステップ７
では、画像上の両目の座標位置を計測し、基準座標位置
との偏差を求める。ステップ８，ステップ９において、
この偏差が許容値内に納まるよう、ＣＣＤカメラ２の焦
点距離をズーム側（長め）に調整する。なお、左右の偏
差はｅｌ，ｅｒの絶対値は、（ｅｌｘ2＋ｅｌ
ｙ2）1/2，（ｅｒｘ2＋ｅｒｙ2）1/2で与えられる。
【００２９】ステップ１０では、網膜反射の有かどうか
を判定する。ｙｅｓのときは、ステップ１１で閉じ目フ
ラグｆ1を１にする。ｎｏのときは、ステップ１２で閉
じ目フラグｆ1を０にする。ステップ１３では、閉じ目
フラグｆ1＝１かどうかを判定し、ｙｅｓのときはステ
ップ１４に進み、ｎｏのときはステップ１５へ飛ぶ。
を判定する。ｙｅｓのときは、ステップ１１で閉じ目フ
ラグｆ1を１にする。ｎｏのときは、ステップ１２で閉
じ目フラグｆ1を０にする。ステップ１３では、閉じ目
フラグｆ1＝１かどうかを判定し、ｙｅｓのときはステ
ップ１４に進み、ｎｏのときはステップ１５へ飛ぶ。
【００３０】ステップ１４では、閉じ目の持続時間を計
測し、その時間の累計を行う。ステップ１５，ステップ
１６において、一定時間が経過すると、閉じ目の累計時
間Ｓ-ｆ1が覚醒度の閾値を越えるかどうかを判定する。
ｙｅｓのときは、ステップ１７で覚醒度低下フラグｆ2
を１にする。ｎｏのときは、ステップ１８で覚醒度低下
フラグｆ2を０にする。
測し、その時間の累計を行う。ステップ１５，ステップ
１６において、一定時間が経過すると、閉じ目の累計時
間Ｓ-ｆ1が覚醒度の閾値を越えるかどうかを判定する。
ｙｅｓのときは、ステップ１７で覚醒度低下フラグｆ2
を１にする。ｎｏのときは、ステップ１８で覚醒度低下
フラグｆ2を０にする。
【００３１】ステップ１９では、閉じ目の累計時間Ｓ-
ｆ1を０にすると同時に一定時間のカウントを開始す
る。そして、ステップ２０，ステップ２１において、覚
醒度低下フラグｆ2＝１のときは、警報器３（および車
両の停車制御）を作動させる。ステップ２〜ステップ２
１は所定の制御周期で繰り返し実行される。
ｆ1を０にすると同時に一定時間のカウントを開始す
る。そして、ステップ２０，ステップ２１において、覚
醒度低下フラグｆ2＝１のときは、警報器３（および車
両の停車制御）を作動させる。ステップ２〜ステップ２
１は所定の制御周期で繰り返し実行される。
【図１】この発明の実施形態を説明する概要図である。
【図２】同じくＣＣＤカメラの構成図である。
【図３】同じく制御内容を説明するフローチャートであ
る。
る。
【図４】同じく制御内容を説明するフローチャートであ
る。
る。
【図５】この発明のクレーム対応図である。
【図６】この発明のクレーム対応図である。
２ ＣＣＤカメラ ３ 警報器 ４ ズームレンズ ５ 近赤外ＬＥＤ １０ コントローラ １１ 光源制御部 １２ カメラ制御部 １３ 画像処理部 １４ 居眠り検出部 １５ 警報部
Claims (3)
- 【請求項１】運転者の顔をズームレンズを通して撮影す
る手段と、その画像を特殊な画像フイルタを用いてその
出力を２値化する画像処理から目を抽出する手段と、画
像処理で抽出される目をもとに一定時間あたりの閉じ目
時間を計測する手段と、所定の閉じ時間を覚醒度の閾値
として設定する手段と、閉じ時間の計測値が閾値を越え
ると運転者の覚醒度の低下を判定する手段と、その覚醒
度の低下判定時に運転室の警報器を作動するよう制御す
る手段と、運転者の着座開始時にズームレンジの焦点距
離をワイド側にセットする手段と、画像処理で抽出され
る左右の目を結ぶ中心が画像の中心にくるよう撮影位置
を調整する手段と、同じく抽出される目の画像上の座標
位置を計測する手段と、所定のズーム画像上における目
の基準座標位置および偏差の許容値を設定する手段と、
目の計測座標位置と基準座標位置との偏差がその許容値
内に納まるようズームレンズの焦点距離を調整する手段
と、を備えたことを特徴とする居眠り警報装置。 - 【請求項２】運転者の顔に向けて赤外光を照射する手段
と、運転者の顔をズームレンズを通して撮影する手段
と、その画像処理を行う手段と、網膜反射像をもとに一
定時間あたりの閉じ目時間を計測する手段と、所定の閉
じ時間を覚醒度の閾値として設定する手段と、閉じ時間
の計測値が閾値を越えると運転者の覚醒度の低下を判定
する手段と、その覚醒度の低下判定時に運転室の警報器
を作動するよう制御する手段と、運転者の着座開始時に
ズームレンジの焦点距離をワイド側にセットする手段
と、２点の網膜反射光を結ぶ中心が画像の中心にくるよ
う撮影位置を調整する手段と、網膜反射光の画像上の座
標位置を計測する手段と、所定のズーム画像上における
目の基準座標位置および偏差の許容値を設定する手段
と、網膜反射光の計測座標位置と目の基準座標位置との
偏差がその許容値内に納まるようズームレンズの焦点距
離を調整する手段と、を備えたことを特徴とする居眠り
警報装置。 - 【請求項３】覚醒度の低下判定時に車両を停止させるよ
う制御する手段を設けたことを特徴とする請求項１また
は請求項２に記載の居眠り警報装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP8153497A JP3815842B2 (ja) | 1997-03-31 | 1997-03-31 | 居眠り警報装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP8153497A JP3815842B2 (ja) | 1997-03-31 | 1997-03-31 | 居眠り警報装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10272961A true JPH10272961A (ja) | 1998-10-13 |
| JP3815842B2 JP3815842B2 (ja) | 2006-08-30 |
Family
ID=13748985
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP8153497A Expired - Fee Related JP3815842B2 (ja) | 1997-03-31 | 1997-03-31 | 居眠り警報装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3815842B2 (ja) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000280858A (ja) * | 1999-03-30 | 2000-10-10 | Toshiba Corp | 車載機器制御装置および方法 |
| JP2003112580A (ja) * | 2001-10-05 | 2003-04-15 | Alpine Electronics Inc | 車載カメラ装置 |
| JP2007264785A (ja) * | 2006-03-27 | 2007-10-11 | Toyota Motor Corp | 眠気検出装置 |
| JP2008171065A (ja) * | 2007-01-09 | 2008-07-24 | Denso Corp | 眠気検知装置 |
| US8144002B2 (en) | 2008-03-31 | 2012-03-27 | Hyundai Motor Company | Alarm system for alerting driver to presence of objects |
| CN105516759A (zh) * | 2015-12-08 | 2016-04-20 | 北海爱飞数码科技有限公司 | 基于眼部视频采集的车载电视 |
| WO2019097677A1 (ja) * | 2017-11-17 | 2019-05-23 | 三菱電機株式会社 | 撮像制御装置、撮像制御方法および撮像制御装置を備えるドライバモニタリングシステム |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06227278A (ja) * | 1993-02-03 | 1994-08-16 | Nissan Motor Co Ltd | 運転者の状態検出装置 |
| JPH06348980A (ja) * | 1993-06-14 | 1994-12-22 | Aisin Seiki Co Ltd | 車両上ドライバの眼を監視する装置 |
| JPH0776235A (ja) * | 1993-07-16 | 1995-03-20 | Toyota Motor Corp | 車両用灯火制御装置 |
| JPH07218989A (ja) * | 1994-02-04 | 1995-08-18 | Mitsubishi Electric Corp | 顔画像撮影装置 |
| JPH07249197A (ja) * | 1994-03-10 | 1995-09-26 | Mitsubishi Electric Corp | 人物状態検出装置 |
| JP2522859B2 (ja) * | 1990-12-14 | 1996-08-07 | 日産自動車株式会社 | 眼位置検出装置 |
| JPH1035320A (ja) * | 1996-07-24 | 1998-02-10 | Hitachi Ltd | 車両状況認識方法、車載用画像処理装置および記憶媒体 |
| JP3109230B2 (ja) * | 1992-03-17 | 2000-11-13 | 日産自動車株式会社 | 車両運転者の眼球位置検出装置 |
-
1997
- 1997-03-31 JP JP8153497A patent/JP3815842B2/ja not_active Expired - Fee Related
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2522859B2 (ja) * | 1990-12-14 | 1996-08-07 | 日産自動車株式会社 | 眼位置検出装置 |
| JP3109230B2 (ja) * | 1992-03-17 | 2000-11-13 | 日産自動車株式会社 | 車両運転者の眼球位置検出装置 |
| JPH06227278A (ja) * | 1993-02-03 | 1994-08-16 | Nissan Motor Co Ltd | 運転者の状態検出装置 |
| JPH06348980A (ja) * | 1993-06-14 | 1994-12-22 | Aisin Seiki Co Ltd | 車両上ドライバの眼を監視する装置 |
| JPH0776235A (ja) * | 1993-07-16 | 1995-03-20 | Toyota Motor Corp | 車両用灯火制御装置 |
| JPH07218989A (ja) * | 1994-02-04 | 1995-08-18 | Mitsubishi Electric Corp | 顔画像撮影装置 |
| JPH07249197A (ja) * | 1994-03-10 | 1995-09-26 | Mitsubishi Electric Corp | 人物状態検出装置 |
| JPH1035320A (ja) * | 1996-07-24 | 1998-02-10 | Hitachi Ltd | 車両状況認識方法、車載用画像処理装置および記憶媒体 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000280858A (ja) * | 1999-03-30 | 2000-10-10 | Toshiba Corp | 車載機器制御装置および方法 |
| JP2003112580A (ja) * | 2001-10-05 | 2003-04-15 | Alpine Electronics Inc | 車載カメラ装置 |
| JP2007264785A (ja) * | 2006-03-27 | 2007-10-11 | Toyota Motor Corp | 眠気検出装置 |
| JP2008171065A (ja) * | 2007-01-09 | 2008-07-24 | Denso Corp | 眠気検知装置 |
| US8144002B2 (en) | 2008-03-31 | 2012-03-27 | Hyundai Motor Company | Alarm system for alerting driver to presence of objects |
| CN105516759A (zh) * | 2015-12-08 | 2016-04-20 | 北海爱飞数码科技有限公司 | 基于眼部视频采集的车载电视 |
| WO2019097677A1 (ja) * | 2017-11-17 | 2019-05-23 | 三菱電機株式会社 | 撮像制御装置、撮像制御方法および撮像制御装置を備えるドライバモニタリングシステム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3815842B2 (ja) | 2006-08-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7202792B2 (en) | Drowsiness detection system and method | |
| JP4899059B2 (ja) | 眠気検知装置 | |
| JP4059224B2 (ja) | 運転者の外観認識システム | |
| JP4788624B2 (ja) | 不注意警告装置、不注意警告装置の車両機器制御方法及び車両制御装置のプログラム | |
| JP5233322B2 (ja) | 情報処理装置および方法、並びに、プログラム | |
| JP2002352229A (ja) | 顔部位検出装置 | |
| JP2001010368A (ja) | 居眠り運転警報システムの居眠り運転判断方法 | |
| JP2003260933A (ja) | 自動眩しさ調節装置 | |
| JP2002063668A (ja) | 車内の人検出通報装置及び危険状態回避装置 | |
| JP2002254956A (ja) | 覚醒状態低下検知装置 | |
| JPH11339200A (ja) | 居眠り運転検出装置 | |
| US12263860B2 (en) | System for preventing drunk driving and method for controlling the same | |
| JP2006248363A (ja) | 運転者照明装置、運転者撮影装置および運転者監視装置 | |
| JP2005108033A (ja) | 運転者状況判定装置および運転者状況判定方法 | |
| JP3815842B2 (ja) | 居眠り警報装置 | |
| JP2006096316A (ja) | 監視装置 | |
| JPH08290726A (ja) | 居眠り警報装置 | |
| JP2010100088A (ja) | 運転支援システム | |
| JPH0596971A (ja) | 居眠り運転防止装置 | |
| JP4888382B2 (ja) | 異常検出装置および方法、並びに、プログラム | |
| JP7046748B2 (ja) | 運転者状態判定装置および運転者状態判定方法 | |
| JP5050794B2 (ja) | 眠気検知装置、眠気検知方法 | |
| JP2018143285A (ja) | 生体状態判定装置、生体状態判定システム、及び、生体状態判定方法 | |
| JPH11342765A (ja) | 居眠り検出装置 | |
| JP7704008B2 (ja) | 運転者状態判定方法及びその装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051129 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060530 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060606 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120616 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120616 Year of fee payment: 6 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120616 Year of fee payment: 6 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120616 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150616 Year of fee payment: 9 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |