JPH03533A - 運転者の運転状態検出装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 産業上の利用分野 本発明は、運転者の眼が正面を向いているか、開いてい
るか、閉じているかというような、運転状態を検出する
装置に関する。

従来の技術 運転者の運転状態検出装置としては、例えば特開昭６０
−１５８３０３号公報、特開昭６０−１５８３０４号公
報、特開昭６１−７７７０５号公報、特開昭６１−７７
７０６号公報等に開示されたものがある。これらは、車
室内に設けられた赤外線照射手段から運転者の両眼を含
む顔に赤外線を照射し、この赤外線の反射パターンを車
室内に設けられた赤外線撮像手段で撮像して明暗領域に
画像処理する構造になっている。

発明が解決しようとする課題 しかし前述の装置は、画像の明暗領域の形状から運転者
の眼の位置を認識することはできるものの、運転者の眼
が開いているか、閉じているかまでは検出することがで
きず、場合によっては眼と眉毛との位置を誤認すること
がある。

課題を解決するための手段 運転者の両眼を含む顔面に照射する赤外線の反射パター
ンを画像処理して運転者の運転状態を検出する装置にお
いて、前記運転者の眼の位置検出用の参照点を指示する
参照点指示手段と、この参照点指示手段の参照点にもと
づいて前記画像処理した入力画像から運転者の眼の存在
領域を抽出する眼球存在領域規定手段と、この眼球存在
領域規定手段で抽出した眼球存在領域内で運転者の虹彩
相当部分を検出する虹彩検出手段と、この虹彩検出手段
の検出結果から運転者の運転状態を判別する運転状態判
別手段と、を備えている。

作用 画像処理された入力画像から参照点にもとづいて眼球存
在領域を抽出することができるため、正確に眼球位置を
測定することができ、更に虹彩相当部分を検出し、この
検出結果から運転者の眼が正面を向いているか、開いて
いるか、閉じているかというような、運転状態を判別す
る。

実施例 第１−１０図に示すように、この一実施例では大まかに
は、赤外線照射手段ｌと赤外線撮像手段２と同期信号出
力手段３と画像メモリ４と参照点指示手段５と眼球存在
領域規定手段６と虹彩検出手段７と運転状態判別手段８
と警報出力手段９とを備えている。

赤外線照射手段ｌは運転者の両眼を含む顔面に赤外線を
照射するものであって、所謂赤外線ストロボに構成され
ており、例えば自動車の車室内前部で運転者の前方と側
方との視認性を妨げない部分に取り付けられている。

赤外線撮像手段２は運転者に照射された赤外線の反射パ
ターンを撮像して画像信号を出力するものであって、所
謂赤外線カメラに構成されており、例えば自動車の車室
内前部で、赤外線の反射パターンが撮像できかつ運転者
の前方と側方との視認性を妨げない部分に取り付けられ
ている。

同期信号出力手段３は赤外線照射手段ｌの赤外線照射と
赤外線撮像手段２の反射パターン撮像とのタイミングを
合わせる同期信号Ｑ、を赤外線照射手段１と赤外線撮像
手段２とに出力する。

画像メモリ４は赤外線撮像手段２から出力された画像信
号としての画像１　（ｘ、ｙ）を−時記憶する。この画
像１　（ｘ、ｙ）は例えば横方向なるＸ方向にＭ画素、
縦方向なるＹ方向にＮ画素に構成されている。

参照点指示手段５は運転者の眼の位置検出用の参照点５
１，５ｔ、・・・・・・５、を指示するものであって、
複数個のＬＥＤのような発光体または鏡のような反射体
で構成されており、これら発光体または反射体が、赤外
線照射手段ｌから照射される赤外線の照射野内で運転者
の前方と側方との視認性を妨げない車室内の部分の１つ
であるヘッドレスト１０の頭部受は面に横一列で等間隔
に、例えば１０個装着されている。

眼球存在領域規定手段６は画像メモリ４に一時記憶され
た画像１　（ｘ、ｙ）を入力し、この入力画像Ｉ　（ｘ
、ｙ）から参照点指示手段５たる発光体または反射体に
よる参照点５．．５．、・・・・・・５１としての輝点
像にもとづいて運転者の眼の存在領域を抽出する。

虹彩検出手段７は眼球存在領域規定手段６で抽出した眼
球存在領域内で運転者の虹彩相当部分を検出する。

運転状態判別手段８は虹彩検出手段７の検出結果から例
えば正常運転状態、わき見運転状態、居眠り運転状態等
の運転者の運転状態を判別する。

警報出力手段９は車室内に取り付けられており、運転状
態判別手段８がわき見運転状態、居眠り運転状態を判別
したときにブザー、チャイムあるいは音声等による警報
を発生する。

なお、同期信号出力手段３９画像メモリ４．眼球存在領
域規定手段６．虹彩検出手段７．運転状態判別手段８等
はマイクロコンピュータに構成した制御装置として１つ
にまとめられて車体に取り付けられる。

以上の実施例構造によれば、第１図に示すように運転者
が運転席に着座し、その後頭部がヘッドレストＩＯの左
右方向（横方向）略中央部に位置されており、ヘッドレ
スト１０に配置された１０個の参照点５．．５．、・・
・・・・５ｏの中央部分の４個が運転者の頭で隠れ、左
右３個づつの参照点５１゜５、．５．．５．．５．．５
Ｉ、が点灯しているのが赤外線撮像手段２で捕らえられ
る状態において、同期信号出力手段３からの同期信号Ｑ
３により赤外線照射手段ｌから赤外線が運転者の両眼を
含む顔面に照射され、この赤外線の反射パターンと参照
点５．．５．．５．．５．．５．．５．の光とが赤外線
撮像手段２で撮像され、赤外線撮像手段２から画像１　
（ｘ、ｙ）が画像メモリ４に一時記憶される。そして眼
球存在領域規定手段６が画像メモリ４に一時記憶された
画像１　（ｘ、ｙ）を人力し、この入力画像■（ｘ、ｙ
）内に映し出された左右３個づつの参照点５．．５．．
５．．５．．５．．５゜による輝点像を抽出し、この抽
出した参照点５．。

５、．５３，５．．５．．５ｎから運転者の眼の存在領
域を規定する。ここで参照点５１〜５ゎは画像処理を行
うに際し、常に所定の位置で所定の波長の光を出してい
るため、基準点として利用できる。

次に眼球存在領域規定手段６の作用を第３図のフローチ
ャートと第４〜９図の作用説明図とにもとづいて詳述す
ると、先ずステップ１０１では画像メモリ４から第４図
に示す画像１（ｘ、ｙ）を入力する。

次にステップ１０２では参照点５．．５．．５３゜５、
．５．．５．、を抽出できるようなレベルに設定したし
きい値で、ステップ１０１での入力画像１　（ｘ、ｙ）
を２値化し、輝点像のみを抽出する。

こうして生成した画像を、第５図に示すように、Ｊ　（
ｘ、ｙ）とする。

ｌ・・・・・・参照点（輝点像） Ｊ（ｘ、ｙ）＝ ０・・・・・・その他 ステップ１０３では画像Ｊ　（ｘ、ｙ）にラベリングを
行うことにより、第６図に示すようにＸ座標の小さい方
の輝点像から大きい方の輝点像に領域数を表す算用数字
１，２，３，４，５．６を順次付けて、画像Ｋ（ｘ、ｙ
）を生成するとともに、領域数１〜６に相当する画素値
を一時記憶する。

具体的には領域数をｉとすると、ｉ番目の領域数に相当
する画素値ｉが一時記憶される。

ステップ１０４では最大領域数１　ｗａａｘが基準数ｎ
ｏ例えば７以下であるか否か、すなわち運転者の頭がヘ
ッドレスト１０の参照点５１〜５□の一部を遮っている
か否かを判定する。最大領域数ｉ、□が基準数ｎ０、つ
まり７以下であるときは運転者の頭が画像Ｋ（ｘ、ｙ）
のフレームに入りきっている通常運転位置のものとして
ステップ１０５に進む。最大領域数ｉ、。３が基準値ｎ
。よりも大きい、つまり８以上の場合は運転者の頭が画
像Ｋ（ｘ、ｙ）のフレームに入りきっていない乗降状態
等としてステップ１０１に戻る。

ステップ１０５では初期値ｉ、ｈを１．０にセットする
。

ステップ１０６では領域数量が最大領域数１　ｗａａｘ
であるか否かを判別する。領域数ｉが最大領域数（＠ａ
ｘ以下である場合はステップ１０７に進み、領域数ｉが
最大領域数ｆ　ｗａａｘである場合にはステップ１１１
に進む。

ステップ１０７ではラベリングされた隣り合う輝点像ｉ
と輝点像１＋１との間隔を判別する。つまりヘッドレス
ト１０上の参照点５１〜５ｎは等間隔に並んでいること
から、運転者の頭で参照点５、〜５ｎが遮られていない
場合は輝点像ｉと輝点像ｉ＋ｌとの間隔は規定値になる
。輝点像ｉと輝点像１＋１との間隔が規定値の場合はス
テップ１０８に進み、規定値でない場合はステップ１０
９に進む。

ステップ１０８ではステップ１０５でのｉに１を加算（
ｉ＝ｉ＋１）してステップ１０６に戻る。

ステップ１０９ではステップ１０７での輝点像ｉと輝点
像ｉ＋１とを一時記憶する。そしてステップ１１Ｏに進
む。

ステップ１１０ではステップ１０５でのｈに１を加算し
てステップ１０８に進む。

一方ステップ！１１では隣り合う輝点像ｉと輝点像ｉ＋
１との間隔が規定値以上である箇所が１箇所であるか否
かを判別する。具体的にはｈ＝１かｈ≧２かを判別する
。ｈ≧２であり、隣り合う輝点像ｉと輝点像ｉ＋１との
間隔が規定値以上である箇所が２筒所である場合は何等
かのノイズが混入したものとしてステップ１０１へ戻る
。ｈ−１であり、隣り合う輝点像ｉと輝点像１＋１との
間隔が規定値以上である箇所が１箇所である場合はステ
ップ１１２に進む。

ステップ１１２では予め定めた値ｒ、ｐ、−ｑにより、
第６図に示すように参照点ｉからＸ方向にｒの位置、ｙ
方向にｐ、−ｑの位置にある画素Ａ、Ｈの２点を決める
。そしてステップ１１３に進む。

ステップ１１３では予め定めた値−ｒ　、ｐ＋ｑにより
、第６図に示すように参照点ｉ＋１からＸ方向にｒの位
置、ｙ方向にｐ、−ｑの位置にある画素Ｃ，Ｄの２点を
決める。そしてステップｌ１４に進む。

ステップ１１４ではステップ１１２　１１３で求めた画
素Ａ、Ｂ、Ｃ，Ｄを各々連結して、第７図に示すように
画像Ｌ（ｘ、ｙ）を生成するとともに、画素Ａ、Ｂ、Ｃ
，Ｄで囲まれた領域の塗りつぶし処理を行う。この塗り
つぶし処理の結果、第８図に示す画像Ｍ（ｘ、ｙ）が生
成される。

ところで画像メモリ４に一時記憶された入力画像１　（
ｘ、ｙ）において、虹彩相当部分は、一般に暗い円形領
域として観測されることから、第９図に示すように、い
ま、半径Ｒ画素の暗い円形領域を検出するものと仮定し
、この円形領域に交差する各方向に矩形領域を設定し、 δ＝（矩形領域における第９図に斜線を付した部分の明
度値総和）−（矩形領域における第９図の白地部分の明
度値総和） を計算すれば、真の円形領域の中心に於いてδは突出し
た値を出力する。

このような原理を利用することにより、虹彩検出手段７
において、第８図のフローチャートに示すように、入力
画像１　（ｘ、ｙ）を変換した画像Ｍ（ｘ、ｙ）から運
転者の虹彩に相当する虹彩相当部分を検出する。なお第
８図に示すフローチャートは、検出する虹彩の半径は個
人あるいはカメラと乗員の距離によって異なるため、検
出半径にあるゾーンを設けている（Ｒ１１１ｔｎ〜Ｒ，
、、）とともに、最終出力として眼球存在領域内のΔ＝
δｗａｘを出力するようにしである。

ここで開眼時と閉眼時とを比較すると、先に設定した領
域Ｍ（ｘ、ｙ）内でのδ最大値δ、、８が開眼時には大
きくなるので、この最大値δｗａｘをしきい値処理する
ことによって開眼か閉眼かを判別することができる。

このようなことから、運転状態判別手段８が虹彩検出手
段７で求めたΔ＝δ、、８をしきい値Ｔｈと比較処理し
、Δ≧Ｔｈの場合は開眼、Δ＜Ｔｈの場合は閉眼と判別
し、閉眼と判別した場合には運転者が居眠りをしている
ものと見なして警報出力手段９に警報指令を出力し、警
報出力手段９が警報を発して運転者に注意を促す。この
場合、運転状態判別手段８における１度の閉眼判別をし
ただけで運転者が居眠りをしていると判断すると、誤警
報の可能性が高くなるので、同一処理を複数回繰り返し
、ある−足回数例えば３回以上連続して閉眼判別が観測
されたとき居眠りをしていると判断し、警報を発するよ
うにする。また、片目のみが閉眼と判別された場合は、
運転者がわき見をしているために入力画面１　（ｘ、ｙ
）から片目が外れているものと考えられる。したがって
、居眠り判断の場合と同様に３回連続して片目が閉眼で
あると判定したときわき見と判定する。

なお本発明は前記実施例に限定されるのではなく、例え
ば第１１．１２図に示すように、参照点指示手段５Ａを
シートベルト１１に設けることもできる。具体的には参
照点５．．５．、・・・・・・、５、をシートベルト１
１の表面に設け、シートベルト２裏面の参照点５．．５
．、・・・・・・、５ｎと対応する部分に圧力センサ１
２．．１２．．・・・・・・、１２ｎを設け、圧力セン
サ１２．．１２２．１２ｎの内で最も圧力の高い部分に
対応する参照点５．．５．。

・・・・・・、５アを点灯する発光制御部１３を設け、
発光制御部！３からの指令を前記実施例における輝点像
として眼球存在領域規定手段に入力するように構成しで
ある。

また前記実施例では虹彩検出手段７において４方向の矩
形領域のみで虹彩相当部分を検出したが、この矩形領域
の方向はもっと多くしてもよい。この場合、開眼、閉眼
を判定するしきい値Ｔｈは前記実施例とは異なる。

発明の効果 以上のように本発明によれば、参照点を参考にして狭い
領域を検索するだけで運転者の虹彩相当部分を検出し、
運転者の開眼、閉眼等運転状態を確実にかつ迅速にモニ
タリングすることができる。

又この実施例によれば、運転者の居眠り、わき見等の危
険な運転状態を的確に把握して検知警報を行うことがで
きるという効果が得られる。

【図面の簡単な説明】

第１図は本発明の一実施例を示す構成図、第２図は同実
施例の参照点指示手段を設けたヘッドレストの斜視図、
第３図は同実施例の眼球存在領域規定手段のフローチャ
ート、第４〜８図は同フローチャートの要部の説明図、
第９図は同実施例の虹彩検出の原理を示す説明図、第１
Ｏ図は同実施例の虹彩検出手段のフローチャート、第１
１図は本発明の参照点指示手段の異なる例を示す斜視図
、第１２図は第１１図の■−ＸＩ［線に沿う断面図であ
る。 ｌ・・・赤外線照射手段、２・・・赤外線撮像手段、４
・・・画像メモリ、５・・・参照点指示手段、６・・・
眼球存在領域規定手段、７・・・虹彩検出手段、８・・
・運転状態判別手段。 外３名 第１図 第１１図 第１２図 第 図 竺 図 第 図 第 図 第 図 第 図

Claims (1)

【特許請求の範囲】
1. （１）運転者の両眼を含む顔面に照射する赤外線の反射
   パターンを画像処理して運転者の運転状態を検出する装
   置において、 前記運転者の眼の位置検出用の参照点を指示する参照点
   指示手段と、 この参照点指示手段の参照点にもとづいて前記画像処理
   した入力画像から運転者の眼の存在領域を抽出する眼球
   存在領域規定手段と、 この眼球存在領域規定手段で抽出した眼球存在領域内で
   運転者の虹彩相当部分を検出する虹彩検出手段と、 この虹彩検出手段の検出結果から運転者の運転状態を判
   別する運転状態判別手段と、 を備えたことを特徴とする運転者の運転状態検出装置。