JPH0939603A - 居眠り判定装置 - Google Patents
居眠り判定装置Info
- Publication number
- JPH0939603A JPH0939603A JP7195491A JP19549195A JPH0939603A JP H0939603 A JPH0939603 A JP H0939603A JP 7195491 A JP7195491 A JP 7195491A JP 19549195 A JP19549195 A JP 19549195A JP H0939603 A JPH0939603 A JP H0939603A
- Authority
- JP
- Japan
- Prior art keywords
- eye
- time
- driver
- objective
- dozing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/80—Technologies aiming to reduce greenhouse gasses emissions common to all road transportation technologies
- Y02T10/84—Data processing systems or methods, management, administration
Landscapes
- Auxiliary Drives, Propulsion Controls, And Safety Devices (AREA)
- Image Processing (AREA)
- Emergency Alarm Devices (AREA)
Abstract
(57)【要約】
【課題】 運転者がかなり眠いだけで未だ居眠りをして
いるわけではないときに警報がなされ、運転者の感覚に
合わない警報が発せられわずらわしいという問題があっ
た。 【解決手段】 過去の閉眼時間の複数のデータに基づい
て、次の閉眼状態の継続時間を予測する閉眼時間予測手
段Ｍ２と、予測された次の閉眼状態の継続時間が所定時
間を超えたとき居眠りと判定する判定手段Ｍ３とを有す
るため、居眠りに入った場合は、予測される次の閉眼時
間は例えば２秒以上の大きな値となり、かなり眠い状態
では予測される次の閉眼時間は２秒未満の値となるた
め、閾値とする所定時間を例えば２秒とすることによ
り、居眠りを精度良く判定でき、かつ、居眠りが始まる
前に判定できる。
いるわけではないときに警報がなされ、運転者の感覚に
合わない警報が発せられわずらわしいという問題があっ
た。 【解決手段】 過去の閉眼時間の複数のデータに基づい
て、次の閉眼状態の継続時間を予測する閉眼時間予測手
段Ｍ２と、予測された次の閉眼状態の継続時間が所定時
間を超えたとき居眠りと判定する判定手段Ｍ３とを有す
るため、居眠りに入った場合は、予測される次の閉眼時
間は例えば２秒以上の大きな値となり、かなり眠い状態
では予測される次の閉眼時間は２秒未満の値となるた
め、閾値とする所定時間を例えば２秒とすることによ
り、居眠りを精度良く判定でき、かつ、居眠りが始まる
前に判定できる。
Description
【０００１】
【発明の属する技術分野】本発明は、居眠り判定装置に
関し、被験者の眼の開閉状態から被験者の居眠り判定を
行う居眠り判定装置に関する。
関し、被験者の眼の開閉状態から被験者の居眠り判定を
行う居眠り判定装置に関する。
【０００２】
【従来の技術】従来より運転者の顔を撮像した顔画像か
ら運転者の瞬きを検出し、この瞬きの状態から運転者の
居眠り等を検出する装置が提案されている。例えば、特
開平６−３２１５４号公報には、運転者の目の縦幅を検
出し、この目の縦幅の最大値及び最小値から閾値を設定
して瞬きを検出し、瞬きの時間変化から閉眼状態が所定
時間以上継続したとき運転者が居眠り状態にあると判定
している。
ら運転者の瞬きを検出し、この瞬きの状態から運転者の
居眠り等を検出する装置が提案されている。例えば、特
開平６−３２１５４号公報には、運転者の目の縦幅を検
出し、この目の縦幅の最大値及び最小値から閾値を設定
して瞬きを検出し、瞬きの時間変化から閉眼状態が所定
時間以上継続したとき運転者が居眠り状態にあると判定
している。
【０００３】
【発明が解決しようとする課題】例えば３０秒等の所定
時間当りの平均瞬き閉眼時間Ｔeav と、意識レベルＬｃ
とは図８に示す関係にある。このため、従来は平均瞬き
閉眼時間Ｔeav が閾値ＴＨ未満のとき居眠りと判定して
いた。
時間当りの平均瞬き閉眼時間Ｔeav と、意識レベルＬｃ
とは図８に示す関係にある。このため、従来は平均瞬き
閉眼時間Ｔeav が閾値ＴＨ未満のとき居眠りと判定して
いた。
【０００４】ここで、車両運転中の覚醒状態から居眠り
状態へと変化する場合は、瞬き閉眼時間Ｔe 、意識レベ
ルＬｃは図９に示すように変化する。図８に示す意識レ
ベルＬｃが眠いからかなり眠いまでの間は平均瞬き閉眼
時間Ｔeav の変化が大きいのに対し、かなり眠いから居
眠りまでの間は平均瞬き閉眼時間Ｔeav の変化が小さ
い。
状態へと変化する場合は、瞬き閉眼時間Ｔe 、意識レベ
ルＬｃは図９に示すように変化する。図８に示す意識レ
ベルＬｃが眠いからかなり眠いまでの間は平均瞬き閉眼
時間Ｔeav の変化が大きいのに対し、かなり眠いから居
眠りまでの間は平均瞬き閉眼時間Ｔeav の変化が小さ
い。
【０００５】これはかなり眠いから居眠りまでの過程で
は、閉眼時間が比較的長い１〜２秒の瞬きが多発し、平
均値であるＴeav も微増するが、居眠りは突発的に閉眼
時間が２秒以上の瞬きが発生したときにおちいると考え
られるので、平均値であるＴeav は微増にとどまるため
である。従って、従来、閾値ＴＨは１．８秒程度に設定
している。
は、閉眼時間が比較的長い１〜２秒の瞬きが多発し、平
均値であるＴeav も微増するが、居眠りは突発的に閉眼
時間が２秒以上の瞬きが発生したときにおちいると考え
られるので、平均値であるＴeav は微増にとどまるため
である。従って、従来、閾値ＴＨは１．８秒程度に設定
している。
【０００６】従来は、平均瞬き閉眼時間Ｔeav が例えば
１．８秒の閾値ＴＨを超えた時点で居眠りと判定し、警
報を行っているが、この時点では運転者はかなり眠いだ
けで未だ居眠りをしているわけではないため、この警報
が運転者の感覚に合わず、わずらわしいという問題があ
った。
１．８秒の閾値ＴＨを超えた時点で居眠りと判定し、警
報を行っているが、この時点では運転者はかなり眠いだ
けで未だ居眠りをしているわけではないため、この警報
が運転者の感覚に合わず、わずらわしいという問題があ
った。
【０００７】ところで、閾値ＴＨを２秒と設定すること
も考えられるが、この場合には運転者が居眠りを始め、
閉眼から２秒経過して警報が発せられるため、警報が遅
いという問題がある。本発明は、上記の点に鑑みなされ
たもので、次の閉眼状態の継続時間を予測し、この予測
された次の閉眼時間により居眠り判定を行うことによ
り、居眠りを精度良く判定し、運転者の感覚に合った居
眠りの警報を行うことのできる居眠り判定装置を提供す
ることを目的とする。
も考えられるが、この場合には運転者が居眠りを始め、
閉眼から２秒経過して警報が発せられるため、警報が遅
いという問題がある。本発明は、上記の点に鑑みなされ
たもので、次の閉眼状態の継続時間を予測し、この予測
された次の閉眼時間により居眠り判定を行うことによ
り、居眠りを精度良く判定し、運転者の感覚に合った居
眠りの警報を行うことのできる居眠り判定装置を提供す
ることを目的とする。
【０００８】
【課題を解決するための手段】請求項１に記載の発明
は、図１（Ａ）に示す如く、検出手段Ｍ１で被験者の眼
の開閉状態を検出し、閉眼状態が所定時間を超えて継続
したとき居眠り判定を行う居眠り判定装置において、過
去の閉眼時間の複数のデータに基づいて、次の閉眼状態
の継続時間を予測する閉眼時間予測手段Ｍ２と、上記予
測された次の閉眼状態の継続時間が所定時間を超えたと
き居眠りと判定する判定手段Ｍ３とを有する。
は、図１（Ａ）に示す如く、検出手段Ｍ１で被験者の眼
の開閉状態を検出し、閉眼状態が所定時間を超えて継続
したとき居眠り判定を行う居眠り判定装置において、過
去の閉眼時間の複数のデータに基づいて、次の閉眼状態
の継続時間を予測する閉眼時間予測手段Ｍ２と、上記予
測された次の閉眼状態の継続時間が所定時間を超えたと
き居眠りと判定する判定手段Ｍ３とを有する。
【０００９】このため、居眠りに入った場合は、予測さ
れる次の閉眼時間は例えば２秒以上の大きな値となり、
かなり眠い状態では予測される次の閉眼時間は２秒未満
の値となるため、閾値とする所定時間を例えば２秒とす
ることにより、居眠りを精度良く判定でき、かつ、居眠
りが始まる前に判定できる。
れる次の閉眼時間は例えば２秒以上の大きな値となり、
かなり眠い状態では予測される次の閉眼時間は２秒未満
の値となるため、閾値とする所定時間を例えば２秒とす
ることにより、居眠りを精度良く判定でき、かつ、居眠
りが始まる前に判定できる。
【００１０】請求項２に記載の発明は、図１（Ｂ）に示
す如く、検出手段Ｍ１で被験者の眼の開閉状態を検出
し、閉眼状態が所定時間を超えて継続したとき居眠り判
定を行う居眠り判定装置において、過去の閉眼時間の複
数のデータに基づいて、次の閉眼時期及び閉眼状態の継
続時間を予測する閉眼時期及び時間予測手段Ｍ４と、上
記予測された次の閉眼状態の継続時間が上記所定時間を
超えたとき居眠りと判定する判定手段Ｍ３と、居眠りと
判定されたとき次の閉眼時期に警報を行う警報制御手段
Ｍ５とを有する。
す如く、検出手段Ｍ１で被験者の眼の開閉状態を検出
し、閉眼状態が所定時間を超えて継続したとき居眠り判
定を行う居眠り判定装置において、過去の閉眼時間の複
数のデータに基づいて、次の閉眼時期及び閉眼状態の継
続時間を予測する閉眼時期及び時間予測手段Ｍ４と、上
記予測された次の閉眼状態の継続時間が上記所定時間を
超えたとき居眠りと判定する判定手段Ｍ３と、居眠りと
判定されたとき次の閉眼時期に警報を行う警報制御手段
Ｍ５とを有する。
【００１１】このため、請求項１と同様に居眠りを精度
良く判定でき、かつ居眠りが始まる前に判定できると共
に、居眠りが始まるタイミングで警報を行うことができ
るため、運転者の感覚に合った居眠り警報を行うことが
できる。
良く判定でき、かつ居眠りが始まる前に判定できると共
に、居眠りが始まるタイミングで警報を行うことができ
るため、運転者の感覚に合った居眠り警報を行うことが
できる。
【００１２】
【発明の実施の形態】図２は本発明のブロック図を示
す。同図中、運転者を撮像するカメラ１０が車両の所定
位置に設けられ、運転者の顔画像を撮像する。カメラ１
０には画像処理装置１２が接続されており、得られた運
転者の顔画像を画像処理装置１２に供給する。画像処理
装置１２にはＡ／Ｄ変換器、正規化回路及び相関演算回
路を備えており、入力された画像信号をデジタル信号に
変換し、更に濃淡正規化処理を行う。画像処理装置１２
はメモリ１４が接続されている。メモリ１４には標準テ
ンプレート（基準顔テンプレート、標準目近傍テンプレ
ート、標準目テンプレート）及び眉毛や目などの顔要素
の配置データが予め格納されている。配置データの内容
は、「眉毛、目は横方向（ｘ方向）に平行して存在す
る」、「目は眉毛の下方にある」等である。
す。同図中、運転者を撮像するカメラ１０が車両の所定
位置に設けられ、運転者の顔画像を撮像する。カメラ１
０には画像処理装置１２が接続されており、得られた運
転者の顔画像を画像処理装置１２に供給する。画像処理
装置１２にはＡ／Ｄ変換器、正規化回路及び相関演算回
路を備えており、入力された画像信号をデジタル信号に
変換し、更に濃淡正規化処理を行う。画像処理装置１２
はメモリ１４が接続されている。メモリ１４には標準テ
ンプレート（基準顔テンプレート、標準目近傍テンプレ
ート、標準目テンプレート）及び眉毛や目などの顔要素
の配置データが予め格納されている。配置データの内容
は、「眉毛、目は横方向（ｘ方向）に平行して存在す
る」、「目は眉毛の下方にある」等である。
【００１３】画像処理装置１２ではメモリ１４に格納さ
れた標準テンプレートを用いて対象運転者の対象テンプ
レート（対象顔テンプレート、対象目近傍テンプレー
ト、対象目テンプレート）を相関演算により検出する。
対象テンプレートを作成するに際し、メモリ１４に格納
された顔配置データが用いられる。作成された対象テン
プレート２２はメモリ１４に格納され、この対象テンプ
レートを用いて運転者の顔画像から運転者の目の開閉状
態の変化を相関演算により監視する。この結果はＥＣＵ
１６に供給され、運転者の異常状態の有無が判定され、
異常時には警報が出される。
れた標準テンプレートを用いて対象運転者の対象テンプ
レート（対象顔テンプレート、対象目近傍テンプレー
ト、対象目テンプレート）を相関演算により検出する。
対象テンプレートを作成するに際し、メモリ１４に格納
された顔配置データが用いられる。作成された対象テン
プレート２２はメモリ１４に格納され、この対象テンプ
レートを用いて運転者の顔画像から運転者の目の開閉状
態の変化を相関演算により監視する。この結果はＥＣＵ
１６に供給され、運転者の異常状態の有無が判定され、
異常時には警報が出される。
【００１４】図３はＥＣＵ１６が実行する居眠り判定処
理のフローチャートを示す。この処理は所定時間毎に繰
り返し実行される。同図中、ステップＳ１０では予測用
マップをロードし、ステップＳ１２で瞬きカウンタｉを
０にリセットする。次にステップＳ１４で瞬きデータを
取得する。ここで、瞬きデータとは、図４に示す如く、
今回の瞬きの閉眼時間Ｔｅ（ｉ）と、前回の瞬きとの間
隔である瞬き間隔Ｉｅ（ｉ）とである。次にステップＳ
１６で瞬きカウンタｉを１だけインクリメントし、ステ
ップＳ１８で瞬きカウンタｉが所定値Ｎ−１未満か否か
を判別する。ｉ＜Ｎ−１の場合はステップＳ１４に進ん
で瞬きデータの取得を繰り返す。
理のフローチャートを示す。この処理は所定時間毎に繰
り返し実行される。同図中、ステップＳ１０では予測用
マップをロードし、ステップＳ１２で瞬きカウンタｉを
０にリセットする。次にステップＳ１４で瞬きデータを
取得する。ここで、瞬きデータとは、図４に示す如く、
今回の瞬きの閉眼時間Ｔｅ（ｉ）と、前回の瞬きとの間
隔である瞬き間隔Ｉｅ（ｉ）とである。次にステップＳ
１６で瞬きカウンタｉを１だけインクリメントし、ステ
ップＳ１８で瞬きカウンタｉが所定値Ｎ−１未満か否か
を判別する。ｉ＜Ｎ−１の場合はステップＳ１４に進ん
で瞬きデータの取得を繰り返す。
【００１５】ｉ≧Ｎ−１となるとステップＳ２０で瞬き
データを取得した後、ステップＳ２２に進んで瞬きデー
タセット｛Ｔｅ（ｉ），Ｔｅ（ｉ−１），…，Ｔｅ（ｉ
−Ｎ＋１）｝及び｛Ｉｅ（ｉ），Ｉｅ（ｉ−１），…，
Ｉｅ（ｉ−Ｎ＋１）｝を作成する。この後、次のステッ
プＳ２４で状態ベクトルＶＴｅ（ｉ），ＶＩｅ（ｉ）か
ら次の瞬きデータＴｅ（ｉ＋１），Ｉｅ（ｉ＋１）を予
測する。この後、ステップＳ２６で予測された次の瞬き
の閉眼時間Ｔｅ（ｉ＋１）が所定の閾値ＴＨＥを超えて
いるかどうかを判別し、Ｔｅ（ｉ＋１）≦ＴＨＥであれ
ばステップＳ２７でｉを１だけインクリメントしてステ
ップＳ２０に進み、瞬きデータの取得及び次の瞬きデー
タの予測を繰り返す。ここで、閾値ＴＨＥは例えば２秒
に相当する値とされている。Ｔｅ（ｉ＋１）＞ＴＨＥで
あればステップＳ２８に進み、予測された次の瞬きまで
の間隔Ｉｅ（ｉ）だけ時間経過後、警報装置１８を用い
て居眠り警報を行って処理を終了する。つまり、この処
理は運転中は全時間動作するものであり、イグニッショ
ンオフ、又は居眠り警報を行ったときに終了する。上記
のステップＳ２４が閉眼時間予測手段Ｍ２又は閉眼時期
及び閉眼時間予測手段Ｍ４に対応し、ステップＳ２６が
判定手段Ｍ３に対応し、ステップＳ２８が警報制御手段
Ｍ５に対応する。
データを取得した後、ステップＳ２２に進んで瞬きデー
タセット｛Ｔｅ（ｉ），Ｔｅ（ｉ−１），…，Ｔｅ（ｉ
−Ｎ＋１）｝及び｛Ｉｅ（ｉ），Ｉｅ（ｉ−１），…，
Ｉｅ（ｉ−Ｎ＋１）｝を作成する。この後、次のステッ
プＳ２４で状態ベクトルＶＴｅ（ｉ），ＶＩｅ（ｉ）か
ら次の瞬きデータＴｅ（ｉ＋１），Ｉｅ（ｉ＋１）を予
測する。この後、ステップＳ２６で予測された次の瞬き
の閉眼時間Ｔｅ（ｉ＋１）が所定の閾値ＴＨＥを超えて
いるかどうかを判別し、Ｔｅ（ｉ＋１）≦ＴＨＥであれ
ばステップＳ２７でｉを１だけインクリメントしてステ
ップＳ２０に進み、瞬きデータの取得及び次の瞬きデー
タの予測を繰り返す。ここで、閾値ＴＨＥは例えば２秒
に相当する値とされている。Ｔｅ（ｉ＋１）＞ＴＨＥで
あればステップＳ２８に進み、予測された次の瞬きまで
の間隔Ｉｅ（ｉ）だけ時間経過後、警報装置１８を用い
て居眠り警報を行って処理を終了する。つまり、この処
理は運転中は全時間動作するものであり、イグニッショ
ンオフ、又は居眠り警報を行ったときに終了する。上記
のステップＳ２４が閉眼時間予測手段Ｍ２又は閉眼時期
及び閉眼時間予測手段Ｍ４に対応し、ステップＳ２６が
判定手段Ｍ３に対応し、ステップＳ２８が警報制御手段
Ｍ５に対応する。
【００１６】次に、ステップＳ２４で実行する瞬きデー
タ予測ルーチンについて説明する。まず、カオス理論に
よる予測を説明する。ｉ番目の瞬きの閉眼時間Ｔｅ
（ｉ），間隔Ｉｅ（ｉ）をタケンスの理論に基づいて埋
め込みを行い、状態ベクトルＶＴｅ（ｉ），ＶＩｅ
（ｉ） ＶＴｅ（ｉ）＝｛Ｔｅ（ｉ），Ｔｅ（ｉ−１），…Ｔｅ（ｉ−Ｎ＋１）｝ ＶＩｅ（ｉ）＝｛Ｉｅ（ｉ），Ｉｅ（ｉ−１），…Ｉｅ（ｉ−Ｎ＋１）｝ を図５（Ａ），（Ｂ）に示す状態空間上に変換する。こ
こでＮはフラクタル次元解析により決定される埋め込み
次元であり、例えばＮ＝２である。
タ予測ルーチンについて説明する。まず、カオス理論に
よる予測を説明する。ｉ番目の瞬きの閉眼時間Ｔｅ
（ｉ），間隔Ｉｅ（ｉ）をタケンスの理論に基づいて埋
め込みを行い、状態ベクトルＶＴｅ（ｉ），ＶＩｅ
（ｉ） ＶＴｅ（ｉ）＝｛Ｔｅ（ｉ），Ｔｅ（ｉ−１），…Ｔｅ（ｉ−Ｎ＋１）｝ ＶＩｅ（ｉ）＝｛Ｉｅ（ｉ），Ｉｅ（ｉ−１），…Ｉｅ（ｉ−Ｎ＋１）｝ を図５（Ａ），（Ｂ）に示す状態空間上に変換する。こ
こでＮはフラクタル次元解析により決定される埋め込み
次元であり、例えばＮ＝２である。
【００１７】状態ベクトルＶＴｅ（ｉ）がカオスである
ならば、ＶＴｅ（ｉ）の近傍にある状態ＶＴｅ（ｊ）と
ＶＴｅ（ｉ）とは、ＶＴｅ（ｉ）近傍の状態変化関数Ｆ
ａのヤコビ行列ＤＦａにより次の関係がある。なお、図
５（Ａ）のＦａ（＝〔Ｆａ（ｉ）、…、Ｆａ（ｉ−ｎ＋
１〕）は既に学習済みとする。 ＶＴｅ（ｊ＋１）−ＶＴｅ（ｉ＋１）＝ＤＦａ（ＶＴｅ（ｊ）−ＶＴｅ（ｉ）） …（１）
ならば、ＶＴｅ（ｉ）の近傍にある状態ＶＴｅ（ｊ）と
ＶＴｅ（ｉ）とは、ＶＴｅ（ｉ）近傍の状態変化関数Ｆ
ａのヤコビ行列ＤＦａにより次の関係がある。なお、図
５（Ａ）のＦａ（＝〔Ｆａ（ｉ）、…、Ｆａ（ｉ−ｎ＋
１〕）は既に学習済みとする。 ＶＴｅ（ｊ＋１）−ＶＴｅ（ｉ＋１）＝ＤＦａ（ＶＴｅ（ｊ）−ＶＴｅ（ｉ）） …（１）
【００１８】
【数１】
【００１９】従って、ＶＴｅ（ｉ）の次の状態であるＶ
Ｔｅ（ｉ＋１）は、 ＶＴｅ（ｉ＋１）＝ＤＦａ（ＶＴｅ（ｊ）−ＶＴｅ（ｉ））＋ＶＴｅ（ｊ＋１） …（２） と表わされ、この状態ベクトルＶＴｅ（ｉ＋１）の要素
である次の瞬きの閉眼時間Ｔｅ（ｉ＋１）を予測するこ
とができる。
Ｔｅ（ｉ＋１）は、 ＶＴｅ（ｉ＋１）＝ＤＦａ（ＶＴｅ（ｊ）−ＶＴｅ（ｉ））＋ＶＴｅ（ｊ＋１） …（２） と表わされ、この状態ベクトルＶＴｅ（ｉ＋１）の要素
である次の瞬きの閉眼時間Ｔｅ（ｉ＋１）を予測するこ
とができる。
【００２０】同様に状態ベクトルＶＩｅ（ｉ）がカオス
であるならば、ＶＩｅ（ｉ）の近傍にある状態ＶＩｅ
（ｊ）とＶＩｅ（ｉ）とは、ＶＩｅ（ｉ）近傍の状態変
化関数Ｆｂのヤコビ行列ＤＦｂにより次の関係がある。
なお、図５（Ｂ）のＦｂは既に学習済みとする。 ＶＩｅ（ｊ＋１）−ＶＩｅ（ｉ＋１）＝ＤＦｂ（ＶＩｅ（ｊ）−ＶＩｅ（ｉ）） …（３）
であるならば、ＶＩｅ（ｉ）の近傍にある状態ＶＩｅ
（ｊ）とＶＩｅ（ｉ）とは、ＶＩｅ（ｉ）近傍の状態変
化関数Ｆｂのヤコビ行列ＤＦｂにより次の関係がある。
なお、図５（Ｂ）のＦｂは既に学習済みとする。 ＶＩｅ（ｊ＋１）−ＶＩｅ（ｉ＋１）＝ＤＦｂ（ＶＩｅ（ｊ）−ＶＩｅ（ｉ）） …（３）
【００２１】
【数２】
【００２２】従って、ＶＩｅ（ｉ）の次の状態であるＶ
Ｉｅ（ｉ＋１）は、 ＶＩｅ（ｉ＋１）＝ ＤＦｂｉ（ＶＩｅ（ｊ）−ＶＩｅ（ｉ））＋ＶＩｅ（ｊ＋１） …（４） と表わされ、この状態ベクトルＶＩｅ（ｉ＋１）の要素
である次の瞬きの間隔Ｉｅ（ｉ＋１）を予測することが
できる。
Ｉｅ（ｉ＋１）は、 ＶＩｅ（ｉ＋１）＝ ＤＦｂｉ（ＶＩｅ（ｊ）−ＶＩｅ（ｉ））＋ＶＩｅ（ｊ＋１） …（４） と表わされ、この状態ベクトルＶＩｅ（ｉ＋１）の要素
である次の瞬きの間隔Ｉｅ（ｉ＋１）を予測することが
できる。
【００２３】図６はカオス理論を用いた瞬きデータ予測
ルーチンのフローチャートを示す。同図中、ステップＳ
３２ではステップＳ２２で作成した瞬きデータセット
｛Ｔｅ（ｉ），Ｔｅ（ｉ−１），…，Ｔｅ（ｉ−Ｎ＋
１）｝，｛Ｉｅ（ｉ），Ｉｅ（ｉ−１），…，Ｉｅ（ｉ
−Ｎ＋１）｝を夫々状態ベクトルＶＴｅ（ｉ），ＶＩｅ
（ｉ）とする。次にステップＳ３４で図４（Ａ），
（Ｂ）に示す状態変化関数Ｆａ，Ｆｂ上のＴｅ（ｉ），
Ｉｅ（ｉ）の近傍点Ｔｅ（ｊ），Ｉｅ（ｊ）を設定す
る。ステップＳ３６ではＴｅ（ｉ），Ｉｅ（ｉ）夫々の
ヤコビ行列ＤＦａ，ＤＦｂを計算する。次にステップＳ
３８で（２）式，（４）式を用いて状態ベクトルＶＴｅ
（ｉ＋１），ＶＩｅ（ｉ＋１）夫々を計算し、この状態
ベクトルから次の瞬きの閉眼時間Ｔｅ（ｉ＋１）及び瞬
き間隔Ｉｅ（ｉ＋１）夫々を得て処理を終了する。
ルーチンのフローチャートを示す。同図中、ステップＳ
３２ではステップＳ２２で作成した瞬きデータセット
｛Ｔｅ（ｉ），Ｔｅ（ｉ−１），…，Ｔｅ（ｉ−Ｎ＋
１）｝，｛Ｉｅ（ｉ），Ｉｅ（ｉ−１），…，Ｉｅ（ｉ
−Ｎ＋１）｝を夫々状態ベクトルＶＴｅ（ｉ），ＶＩｅ
（ｉ）とする。次にステップＳ３４で図４（Ａ），
（Ｂ）に示す状態変化関数Ｆａ，Ｆｂ上のＴｅ（ｉ），
Ｉｅ（ｉ）の近傍点Ｔｅ（ｊ），Ｉｅ（ｊ）を設定す
る。ステップＳ３６ではＴｅ（ｉ），Ｉｅ（ｉ）夫々の
ヤコビ行列ＤＦａ，ＤＦｂを計算する。次にステップＳ
３８で（２）式，（４）式を用いて状態ベクトルＶＴｅ
（ｉ＋１），ＶＩｅ（ｉ＋１）夫々を計算し、この状態
ベクトルから次の瞬きの閉眼時間Ｔｅ（ｉ＋１）及び瞬
き間隔Ｉｅ（ｉ＋１）夫々を得て処理を終了する。
【００２４】次に、線形予測法による予測を説明する。
この方法では次に示す線形予測式を用いる。 Ｔｅ（ｉ＋１）＝ａ0 Ｔｅ（ｉ）＋ａ1 Ｔｅ（ｉ−１）… ＋ａN-1 Ｔｅ（ｉ−Ｎ＋１） ＝ｆ（ＶＴｅ（ｉ）） …（５） Ｉｅ（ｉ＋１）＝ｂ0 Ｉｅ（ｉ）＋ｂ1 Ｉｅ（ｉ−１）… ＋ｂN-1 Ｉｅ（ｉ−Ｎ＋１） ＝ｇ（ＶＩｅ（ｉ）） …（６） 上記（５），（６）式の係数ａ0 〜ａN-1 ，ｂ0 〜ｂ
N-1 夫々は予め採取した閉眼時間データセット｛Ｖ
ｘ0 ，…ＶｘM-1 ｝，Ｖｘｉ=(ｘi ，…，ｘi-m1）、瞬
き間隔データセット｛Ｖｙ0 ，…ＶｙN-1 ｝，Ｖｙｉ=
(ｙi ，…，ｙi-m2）但し、ｘｉ，ｙｉ夫々はｉ番目の
瞬きの閉眼時間，瞬き間隔であり、Ｎ，Ｍは例えば１０
００、ｍ１，ｍ２は例えば１００である。各採取データ
を（５），（６）式に当てはめることにより次式の如く
なる。
この方法では次に示す線形予測式を用いる。 Ｔｅ（ｉ＋１）＝ａ0 Ｔｅ（ｉ）＋ａ1 Ｔｅ（ｉ−１）… ＋ａN-1 Ｔｅ（ｉ−Ｎ＋１） ＝ｆ（ＶＴｅ（ｉ）） …（５） Ｉｅ（ｉ＋１）＝ｂ0 Ｉｅ（ｉ）＋ｂ1 Ｉｅ（ｉ−１）… ＋ｂN-1 Ｉｅ（ｉ−Ｎ＋１） ＝ｇ（ＶＩｅ（ｉ）） …（６） 上記（５），（６）式の係数ａ0 〜ａN-1 ，ｂ0 〜ｂ
N-1 夫々は予め採取した閉眼時間データセット｛Ｖ
ｘ0 ，…ＶｘM-1 ｝，Ｖｘｉ=(ｘi ，…，ｘi-m1）、瞬
き間隔データセット｛Ｖｙ0 ，…ＶｙN-1 ｝，Ｖｙｉ=
(ｙi ，…，ｙi-m2）但し、ｘｉ，ｙｉ夫々はｉ番目の
瞬きの閉眼時間，瞬き間隔であり、Ｎ，Ｍは例えば１０
００、ｍ１，ｍ２は例えば１００である。各採取データ
を（５），（６）式に当てはめることにより次式の如く
なる。
【００２５】 ｘｉ＝ａ0 ｘi-1 ＋ａ1 ｘi-2 ＋…＋ａm1-1ｘi-m1（ｉ
＝０〜Ｍ−１） ｙｉ＝ｂ0 ｙi-1 ＋ｂ1 ｙi-2 ＋…＋ｂm2-1ｙi-m2（ｉ
＝０〜Ｎ−１） ここで、Ｖｘｉのｊ成分Ｘi-j をＸij、Ｖｙｉのｊ成分
ｙi-j をｙijと表わすと以下に示す如くなる。
＝０〜Ｍ−１） ｙｉ＝ｂ0 ｙi-1 ＋ｂ1 ｙi-2 ＋…＋ｂm2-1ｙi-m2（ｉ
＝０〜Ｎ−１） ここで、Ｖｘｉのｊ成分Ｘi-j をＸij、Ｖｙｉのｊ成分
ｙi-j をｙijと表わすと以下に示す如くなる。
【００２６】 ｘi0＝ａ0 ｘi1＋ａ1 ｘi2＋…＋ａm1-1ｘim1 ｙi0＝ｂ0 ｙi1＋ｂ1 ｙi2＋…＋ｂm2-1ｙim2 ここで、ａi （i=0,…m1-1）、ｂj （j=0,…m2-1）は次
の（７），（８）式で与えられる。
の（７），（８）式で与えられる。
【００２７】
【数３】
【００２８】図７は線形予測法を用いたデータ予測ルー
チンのフローチャートを示す。同図中、ステップＳ４２
ではステップＳ２２で作成した瞬きデータセット｛Ｔｅ
（ｉ），Ｔｅ（ｉ−１），…，Ｔｅ（ｉ−Ｎ＋１）｝，
｛Ｉｅ（ｉ），Ｉｅ（ｉ−１），…，Ｉｅ（ｉ−Ｎ＋
１）｝を夫々状態ベクトルＶＴｅ（ｉ），ＶＩｅ（ｉ）
とする。次にステップＳ４４で（５），（６）式を用い
て次の瞬きの閉眼時間Ｔｅ（ｉ＋１）及び瞬き間隔Ｉｅ
（ｉ＋１）を計算して処理を終了する。
チンのフローチャートを示す。同図中、ステップＳ４２
ではステップＳ２２で作成した瞬きデータセット｛Ｔｅ
（ｉ），Ｔｅ（ｉ−１），…，Ｔｅ（ｉ−Ｎ＋１）｝，
｛Ｉｅ（ｉ），Ｉｅ（ｉ−１），…，Ｉｅ（ｉ−Ｎ＋
１）｝を夫々状態ベクトルＶＴｅ（ｉ），ＶＩｅ（ｉ）
とする。次にステップＳ４４で（５），（６）式を用い
て次の瞬きの閉眼時間Ｔｅ（ｉ＋１）及び瞬き間隔Ｉｅ
（ｉ＋１）を計算して処理を終了する。
【００２９】ここで、居眠りに入った場合は予測される
閉眼時間Ｔｅ（ｉ＋１）は例えば２秒以上の大きな値と
なり、かなり眠い状態では予測される次の閉眼時間Ｔｅ
（ｉ＋１）は２秒未満の値となる。このため、閾値ＴＨ
Ｅを例えば２秒とすることにより、かなり眠い状態を居
眠りと判定することなく、居眠りを精度良く判定でき
る。また、この判定は居眠りが始まる前に行われる。更
に、居眠りが始まるタイミングで警報を行うため、運転
者の感覚に合った居眠り警報を行うことができる。
閉眼時間Ｔｅ（ｉ＋１）は例えば２秒以上の大きな値と
なり、かなり眠い状態では予測される次の閉眼時間Ｔｅ
（ｉ＋１）は２秒未満の値となる。このため、閾値ＴＨ
Ｅを例えば２秒とすることにより、かなり眠い状態を居
眠りと判定することなく、居眠りを精度良く判定でき
る。また、この判定は居眠りが始まる前に行われる。更
に、居眠りが始まるタイミングで警報を行うため、運転
者の感覚に合った居眠り警報を行うことができる。
【００３０】
【発明の効果】上述の如く、請求項１に記載の発明は、
被験者の眼の開閉状態を検出し、閉眼状態が所定時間を
超えて継続したとき居眠り判定を行う居眠り判定装置に
おいて、過去の閉眼時間の複数のデータに基づいて、次
の閉眼状態の継続時間を予測する閉眼時間予測手段と、
上記予測された次の閉眼状態の継続時間が所定時間を超
えたとき居眠りと判定する判定手段とを有する。
被験者の眼の開閉状態を検出し、閉眼状態が所定時間を
超えて継続したとき居眠り判定を行う居眠り判定装置に
おいて、過去の閉眼時間の複数のデータに基づいて、次
の閉眼状態の継続時間を予測する閉眼時間予測手段と、
上記予測された次の閉眼状態の継続時間が所定時間を超
えたとき居眠りと判定する判定手段とを有する。
【００３１】このため、居眠りに入った場合は、予測さ
れる次の閉眼時間は例えば２秒以上の大きな値となり、
かなり眠い状態では予測される次の閉眼時間は２秒未満
の値となるため、閾値とする所定時間を例えば２秒とす
ることにより、居眠りを精度良く判定でき、かつ、居眠
りが始まる前に判定できる。
れる次の閉眼時間は例えば２秒以上の大きな値となり、
かなり眠い状態では予測される次の閉眼時間は２秒未満
の値となるため、閾値とする所定時間を例えば２秒とす
ることにより、居眠りを精度良く判定でき、かつ、居眠
りが始まる前に判定できる。
【００３２】請求項２に記載の発明は、被験者の眼の開
閉状態を検出し、閉眼状態が所定時間を超えて継続した
とき居眠り判定を行う居眠り判定装置において、過去の
閉眼時間の複数のデータに基づいて、次の閉眼時期及び
閉眼状態の継続時間を予測する閉眼時期及び時間予測手
段と、上記予測された次の閉眼状態の継続時間が上記所
定時間を超えたとき居眠りと判定する判定手段と、居眠
りと判定されたとき次の閉眼時期に警報を行う警報制御
手段とを有する。
閉状態を検出し、閉眼状態が所定時間を超えて継続した
とき居眠り判定を行う居眠り判定装置において、過去の
閉眼時間の複数のデータに基づいて、次の閉眼時期及び
閉眼状態の継続時間を予測する閉眼時期及び時間予測手
段と、上記予測された次の閉眼状態の継続時間が上記所
定時間を超えたとき居眠りと判定する判定手段と、居眠
りと判定されたとき次の閉眼時期に警報を行う警報制御
手段とを有する。
【００３３】このため、請求項１と同様に居眠りを精度
良く判定でき、かつ居眠りが始まる前に判定できると共
に、居眠りが始まるタイミングで警報を行うことができ
るため、運転者の感覚に合った居眠り警報を行うことが
できる。
良く判定でき、かつ居眠りが始まる前に判定できると共
に、居眠りが始まるタイミングで警報を行うことができ
るため、運転者の感覚に合った居眠り警報を行うことが
できる。
【図１】本発明の原理図である。
【図２】本発明装置のブロック図である。
【図３】本発明の居眠り判定処理のフローチャートであ
る。
る。
【図４】閉眼時間と瞬き間隔を示す図である。
【図５】カオス理論による居眠り判定を説明するための
図である。
図である。
【図６】瞬き予測ルーチンのフローチャートである。
【図７】瞬き予測ルーチンのフローチャートである。
【図８】平均閉眼時間と意識レベルとの関係を示す図で
ある。
ある。
【図９】平均閉眼時間と意識レベルとの関係を示す図で
ある。
ある。
１０ カメラ １２ 画像処理装置 １４ メモリ １５ ＥＣＵ １８ 警報装置 Ｍ１ 検出手段 Ｍ２ 閉眼時間予測手段 Ｍ３ 判定手段 Ｍ４ 閉眼時期及び閉眼時間予測手段 Ｍ５ 警報制御手段
Claims (2)
- 【請求項１】 被験者の眼の開閉状態を検出し、閉眼状
態が所定時間を超えて継続したとき居眠り判定を行う居
眠り判定装置において、 過去の閉眼時間の複数のデータに基づいて、次の閉眼状
態の継続時間を予測する閉眼時間予測手段と、 上記予測された次の閉眼状態の継続時間が所定時間を超
えたとき居眠りと判定する判定手段とを有することを特
徴とする居眠り判定装置。 - 【請求項２】 被験者の眼の開閉状態を検出し、閉眼状
態が所定時間を超えて継続したとき居眠り判定を行う居
眠り判定装置において、 過去の閉眼時間の複数のデータに基づいて、次の閉眼時
期及び閉眼状態の継続時間を予測する閉眼時期及び時間
予測手段と、 上記予測された次の閉眼状態の継続時間が上記所定時間
を超えたとき居眠りと判定する判定手段と、 居眠りと判定されたとき次の閉眼時期に警報を行う警報
制御手段とを有することを特徴とする居眠り判定装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP7195491A JPH0939603A (ja) | 1995-07-31 | 1995-07-31 | 居眠り判定装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP7195491A JPH0939603A (ja) | 1995-07-31 | 1995-07-31 | 居眠り判定装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH0939603A true JPH0939603A (ja) | 1997-02-10 |
Family
ID=16341978
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP7195491A Pending JPH0939603A (ja) | 1995-07-31 | 1995-07-31 | 居眠り判定装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH0939603A (ja) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6571002B1 (en) * | 1999-05-13 | 2003-05-27 | Mitsubishi Denki Kabushiki Kaisha | Eye open/close detection through correlation |
| JP2008035964A (ja) * | 2006-08-02 | 2008-02-21 | Toyota Motor Corp | 眠気判定装置及び眠気判定プログラム |
| JP2009018091A (ja) * | 2007-07-13 | 2009-01-29 | Toyota Motor Corp | 居眠り検知装置 |
| WO2009054039A1 (ja) * | 2007-10-22 | 2009-04-30 | Pioneer Corporation | 音量制御装置、音量制御方法、音量制御プログラムおよび記録媒体 |
| JP2011086186A (ja) * | 2009-10-16 | 2011-04-28 | Aisin Seiki Co Ltd | 眠気判定装置 |
| WO2013031138A1 (en) | 2011-08-26 | 2013-03-07 | Canon Kabushiki Kaisha | Blink measurement device, method therefor and program |
| US8537000B2 (en) | 2007-01-24 | 2013-09-17 | Toyota Jidosha Kabushiki Kaisha | Anti-drowsing device and anti-drowsing method |
-
1995
- 1995-07-31 JP JP7195491A patent/JPH0939603A/ja active Pending
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6571002B1 (en) * | 1999-05-13 | 2003-05-27 | Mitsubishi Denki Kabushiki Kaisha | Eye open/close detection through correlation |
| JP2008035964A (ja) * | 2006-08-02 | 2008-02-21 | Toyota Motor Corp | 眠気判定装置及び眠気判定プログラム |
| US8537000B2 (en) | 2007-01-24 | 2013-09-17 | Toyota Jidosha Kabushiki Kaisha | Anti-drowsing device and anti-drowsing method |
| JP2009018091A (ja) * | 2007-07-13 | 2009-01-29 | Toyota Motor Corp | 居眠り検知装置 |
| WO2009054039A1 (ja) * | 2007-10-22 | 2009-04-30 | Pioneer Corporation | 音量制御装置、音量制御方法、音量制御プログラムおよび記録媒体 |
| JP2011086186A (ja) * | 2009-10-16 | 2011-04-28 | Aisin Seiki Co Ltd | 眠気判定装置 |
| WO2013031138A1 (en) | 2011-08-26 | 2013-03-07 | Canon Kabushiki Kaisha | Blink measurement device, method therefor and program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3652715B1 (en) | Integrated system for detection of driver condition | |
| EP3929824A2 (en) | Robust multimodal sensor fusion for autonomous driving vehicles | |
| JP2022523730A5 (ja) | ||
| Sigari et al. | A driver face monitoring system for fatigue and distraction detection | |
| Wohler et al. | An adaptable time-delay neural-network algorithm for image sequence analysis | |
| US20200334477A1 (en) | State estimation apparatus, state estimation method, and state estimation program | |
| Jodoin et al. | Behavior subtraction | |
| JP7328089B2 (ja) | 閉眼判定装置 | |
| CN111160237A (zh) | 头部姿态估计方法和装置、电子设备和存储介质 | |
| WO2008090451A2 (en) | Anti-drowsing device and anti-drowsing method | |
| WO2008127465A1 (en) | Real-time driving danger level prediction | |
| CN111488855A (zh) | 疲劳驾驶检测方法、装置、计算机设备和存储介质 | |
| CN115937830B (zh) | 一种面向特种车辆的驾驶员疲劳检测方法 | |
| JPH0939603A (ja) | 居眠り判定装置 | |
| CN113468956B (zh) | 注意力判定方法、模型训练方法及对应装置 | |
| JP7189564B2 (ja) | 眠気推定装置、眠気推定方法、および眠気推定プログラム | |
| Greer et al. | Driver activity classification using generalizable representations from vision-language models | |
| WO2024222971A1 (zh) | 一种视线分心范围的确定方法和装置 | |
| JP2020013554A (ja) | 覚醒度判定装置 | |
| JP2007122362A (ja) | ニューラルネットワークを用いた状態推定方法及びニューラルネットワークを用いた状態推定装置 | |
| JP2011003076A (ja) | リスク認識システム | |
| CN113043945A (zh) | 转向灯控制方法、系统、电子设备及计算机可读存储介质 | |
| JP2002279410A (ja) | 居眠り検出装置 | |
| KR20210126313A (ko) | 경로 예측 기반 영상 분석 시스템 | |
| CN120396969A (zh) | 基于分层动态反馈机制的行车记录仪驾驶异常行为监控方法 |