JP2000351337A - 移動体制御装置 - Google Patents

Abstract

(57)【要約】 【課題】 操作者の緊張状態の変化に応じて、移動体を
的確に制御する移動体制御装置の提供。 【解決手段】 ステップＳ６にてドライバによる危険回
避の余裕が有ると判断した場合において、ドライバの瞳
孔径の変化速度ＶＬが大きく変化すると共に、自車両が
所定の外部環境にあるときには(S10-S12)、ドライバの
緊張が高まり、運転操作に対する精神的な余裕が少なく
なると判断して、情報提供・警報発報の報知態様を切り
替え、優先度の低い情報の報知の中止する(S13-S15)。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、移動体制御装置に
関し、例えば、代表的な移動体である自動車に適用して
好適な制御装置に関する。

【０００２】

【従来の技術】従来より、代表的な移動体である自動車
においては、予防安全の観点から自動車を制御する制御
装置の一例として、ドライバ（操作者）の脇見に対する
警報装置が提案されており、例えば、特開平６−３２１
１０１１号には、ドライバの頭部の目の周辺の領域を撮
影した結果に基づいて該ドライバの視線方向を検出し、
その検出結果に応じて、車両に設けられた表示装置の制
御を行う技術が提案されている。

【０００３】また、特開平６−２７０７１１号には、ド
ライバの頭部の目の周辺の領域を撮影した結果に基づい
て該ドライバの瞳孔形状を検出し、その検出結果に基づ
いて該ドライバの覚醒状態を判定し、覚醒していない居
眠り状態等のときには警報を発報する装置が提案されて
いる。

【０００４】

【発明が解決しようとする課題】しかしながら、上記の
従来例においては、検出したある瞬間のドライバの状態
に基づいて制御が行われるため、ドライバに違和感を与
えることが予想される。また、ドライバは、覚醒状態に
あっても、恐怖や驚き等により過度な緊張状態に陥った
ときには、適切な運転操作を行えない場合もある。

【０００５】そこで本発明は、操作者の緊張状態の変化
に応じて、移動体を的確に制御する移動体制御装置の提
供を目的とする。

【０００６】

【課題を解決するための手段】上記の目的を達成するた
め、本発明に係る移動体制御装置、以下の構成を特徴と
する。

【０００７】即ち、移動体の操作者の頭顔部を撮影する
カメラと、前記カメラからの映像信号に基づいて、前記
操作者の瞳孔径に関する値を検出する瞳孔径検出手段
と、前記移動体の外部環境を検出する外部環境検出手段
と、前記外部環境検出手段により検出された外部環境が
所定の状態であり、且つ前記瞳孔径検出手段により検出
された瞳孔径の変化速度が所定値より大きいときに、前
記操作者が緊張状態にあると判定する緊張状態判定手段
と、前記緊張状態判定手段による判定結果に基づいて、
前記移動体を制御する制御手段とを備えることを特徴と
する。

【０００８】また、例えば前記外部環境検出手段は、検
出すべき外部環境として、前記移動体の走行環境及び／
または運転状態を検出する手段を含み、前記制御手段
は、前記外部環境検出手段により検出された前記移動体
の走行環境及び／または運転状態に関する緊急度の異な
る複数種類の情報を報知すると共に、前記緊張状態判定
手段により前記操作者が緊張状態にあると判定されたと
きには、前記走行環境及び運転状態に関する複数種類の
情報のうち、緊急度の高い情報を警報として選択的に報
知する報知手段含むと良い。

【０００９】または、移動体の操作者の頭顔部を撮影す
るカメラと、前記カメラからの映像信号に基づいて、前
記操作者の瞳孔径に関する値を検出する瞳孔径検出手段
と、前記瞳孔径検出手段により検出された瞳孔径の変化
速度が所定値より大きいときに、前記操作者が緊張状態
にあると判定する緊張状態判定手段と、前記緊張状態判
定手段による判定結果に基づいて、前記移動体を制御す
る制御手段とを備えることを特徴とする。

【００１０】または、移動体の操作者の頭顔部を撮影す
るカメラと、前記カメラからの映像信号に基づいて、前
記操作者の瞳孔径に関する値を検出すると共に、その検
出した瞳孔径の大きさが所定値より大きい、或いは所定
時間にわたって検出できないことを検出する瞳孔径検出
手段と、前記瞳孔径検出手段により、検出した瞳孔径の
大きさが所定値より大きい、或いは所定時間にわたって
検出できないときに、前記移動体に自動的に危険回避動
作をとらせる制御手段とを備えることを特徴とする。

【００１１】

【発明の実施の形態】以下、本発明に係る移動体制御装
置を、代表的な移動体である自動車に適用した実施形態
として、図面を参照して詳細に説明する。

【００１２】［第１の実施形態］図１は、第１の実施形
態における移動体制御装置を搭載する自動車のシステム
構成を示す図である。また、図２は、図１に示す自動車
の運転席を示す図である。

【００１３】図１及び図２において、１は、後述する制
御を行うコントロールユニットである。２は、前方の障
害物との距離を検出するレーザレーダである。３は、前
方を撮影する赤外線カメラである。４は、所定の走行位
置検出等を行うべく道路上に設けられた磁気マーカから
の磁気を検出する磁気マーカセンサである。５は、例え
ばサイドミラーや車体後方に設けられ、車両側方や後方
を撮影するラインＣＣＤ(Charge Coupled Device)であ
る。６は、道路上の白線等によって走行車線を検出すべ
く、車両前方を撮影する走行車線検出用ＣＣＤカメラで
ある。７は、走行速度を検出する車速センサである。８
は、車両の向きや横方向へのＧを検出すべく、ヨー角を
検出するヨーレートセンサである。９は、スロットル開
度を検出するスロットルセンサである。１０は、ブレー
キの操作状態を検出するブレーキスイッチである。１１
は、ステアリングホイールの操舵角度を検出する操舵角
センサである。１２は、ウインカスイッチの操作状態を
検出するウインカセンサである。１３は、後述する如く
ドライバの頭顔の位置や注視点の検出を行うドライバモ
ニタユニットである。１４は、地図情報と受信したＧＰ
Ｓ（Global Positioning System）信号等に基づいて、
車両の現在位置の検出や目的地までの経路誘導を行うナ
ビゲーションユニットである。１５は、交通情報、前方
の障害物に関する情報、或いは横断歩道を歩行している
歩行者の有無に関する情報等を道路上に設けられた無線
機と通信する路車間通信ユニットである。２１は、ナビ
ゲーションユニット１４の出力結果や各種の情報提供を
行う液晶表示器（ＬＣＤ）やヘッドアップディスプレイ
（ＨＵＤ）等のディスプレイである。２２は、各種の音
声出力や後述する脇見運転に対する情報提供・警報報知
を行うスピーカである。２３は、例えばステアリングホ
イールのコラムカバーに設けられ、ドライバの頭顔部に
赤外光を投光する赤外投光ランプである。そして、２４
は、例えばステアリングホイールのコラムカバーに設け
られ、赤外投光ランプ２３による頭顔からの反射光を撮
影する赤外投光領域撮像カメラである。

【００１４】ここで、上述したシステム構成における制
御の機能構成について説明する。

【００１５】図３は、第１の実施形態に係る移動体制御
装置における制御機能の構成を示すブロック図であり、
本実施形態において以下に説明する各モジュールは、コ
ントロールユニット１が備える不図示のＣＰＵが実行す
るソフトウエアの機能単位を表わす。

【００１６】同図に示すように、コントロールユニット
１の外部環境判断モジュールでは、レーザレーダ２、赤
外線カメラ３、磁気マーカセンサ４、ラインＣＣＤ５、
走行車線検出用ＣＣＤカメラ６の各出力信号と、ナビゲ
ーションユニット１４の検出結果、並びに路車間通信ユ
ニット１５による入手情報とを用いて、車両の外部環境
のセンシングが行われる。尚、これら各出力信号を用い
た外部環境のセンシングには、一般的な方法を採用する
ものとし、本実施形態における詳細な説明は省略する。
また、本実施形態では、一例として上記の如く複数種類
の検出信号を利用して外部環境のセンシングを行うが、
これに限られるものではなく、それら複数種類の検出信
号のうち一部の検出信号を適宜利用してセンシングを行
っても良い。

【００１７】また、コントロールユニット１の危険判断
モジュールでは、車両状態のセンシングとして、車速セ
ンサ７、ヨーレートセンサ８、スロットルセンサ９、ブ
レーキスイッチ１０、操舵角センサ１１、そしてウイン
カセンサ１２の各出力信号と、路車間通信ユニット１５
による入手情報とを用いて、危険状態の判断が行われ
る。この危険判断モジュールでは、切迫した危険状態、
即ちドライバによる危険回避の余裕が無いと判断したと
きには、ドライバによる危険回避を待つことなく、ブレ
ーキ操作、スロットル操作、或いはオートマチックトラ
ンスミッション（ＡＴ）の変速操作による自動制動、或
いは自動操舵等の車両制御を行う。尚、これら各出力信
号を用いた危険状態の判断、並びに車両制御には、一般
的な方法を採用するものとし、本実施形態における詳細
な説明は省略する。

【００１８】また、コントロールユニット１のドライバ
状態判断モジュールでは、ドライバモニタユニット１３
にて検出されたドライバの注視点、頭顔位置、そして瞳
孔径の検出結果と、検出した瞳孔径の変化速度（瞳孔径
の単位時間あたりの変化量）の検出結果とを用いて、ド
ライバの状態判断が行われる（詳細は後述する）。

【００１９】そして、コントロールユニット１の情報提
供・警報発報判定モジュールでは、危険判断モジュール
による判断結果と、ドライバ状態判断モジュールによる
判断結果とに基づいて、情報提供・警報発報の要否判断
や報知態様の切り替え判断が行われると共に、その判断
結果に応じたディスプレイ２１への情報表示と、スピー
カ２２による警報発報とが行われる（詳細は後述す
る）。

【００２０】＜注視点の検出＞次に、ドライバモニタユ
ニット１３によるドライバの注視点の検出方法について
説明する。

【００２１】図４は、第１の実施形態におけるドライバ
モニタユニットのシステム構成を示すブロック図であ
り、本実施形態において以下に説明する各モジュール
は、ドライバモニタユニット１３が備える不図示のＣＰ
Ｕが実行するソフトウエアの機能単位を表わす。

【００２２】同図に示すように、赤外投光ランプ２３の
投光部分と、赤外投光領域撮像カメラ２４の受光部に
は、赤外透過フィルタが設けられており、ドライバモニ
タユニット１３は、赤外投光領域撮像カメラ２４から出
力される映像信号に基づいて、画像処理モジュールにお
いて一般的な２値化処理や特徴点の抽出処理を行うこと
によってドライバの頭顔部の画像を抽出し、その抽出し
た頭顔部の画像に基づいて、注視点検出モジュールにお
いてドライバの注視点の検出すべく、頭顔方向Ｄｈの検
出、視線方向Ｄｓの検出、そして瞳孔径Ｌの検出を行
う。

【００２３】次に、ドライバモニタユニット１３の機能
について、図５から図８を参照して説明する。

【００２４】図５は、第１の実施形態における注視点検
出処理のフローチャートを示す図であり、画像処理モジ
ュール及び注視点検出モジュールにより実現される機能
を表わす。

【００２５】同図において、ステップＳ５１：赤外投光
ランプ２３によってドライバの頭顔部に投光を行うと共
に、赤外投光領域撮像カメラ２４によって撮影した当該
頭顔部のアナログ映像信号を画像処理モジュールに取り
込み、その映像信号に一般的な２値化処理を施すことに
より、ピクセル毎のデジタル多値画像データに変換す
る。

【００２６】ステップＳ５２：入手した多値画像データ
から、一般的な画像処理手法を用いてドライバの顔画像
部分を抽出し、その抽出した顔画像部分に含まれる複数
の特徴点（例えば目頭、目尻、鼻孔等）の位置を検出す
る。

【００２７】ステップＳ５３：抽出した顔画像部分の画
像データから、赤外投光によってドライバの眼球の角膜
に発生している反射点の位置と瞳孔の位置とを、一般的
な画像処理手法を用いて検出する。

【００２８】ステップＳ５４：検出した瞳孔の位置に対
応する画像データの水平方向のピクセル数のうちの最大
値を、瞳孔径Ｌとして検出する。ここで、水平方向に注
目するのは、垂直方向に注目した場合にはドライバによ
る「瞬き」が影響することによって正確な瞳孔径が検出
できないからである。

【００２９】ステップＳ５５：ステップＳ５２で検出し
た特徴点の位置に基づいて、所定の３次元座標空間にお
けるドライバの頭顔面の傾きを算出することにより、ド
ライバの頭顔が向けられている方向（頭顔方向）Ｄｓを
計測する。

【００３０】ステップＳ５６：ステップＳ５３で検出し
た角膜反射点と、ステップＳ５５で検出した頭顔方向Ｄ
ｓとに基づいて、ドライバの視線の方向（注視方向）Ｄ
ｓを検出する。

【００３１】ステップＳ５７：ステップＳ５６で検出し
た注視方向Ｄｓと、予め記憶している車両内外の所定位
置（前方位置、ルームミラー取り付け位置、左右のサイ
ドミラー取り付け位置等）とに基づいて、ドライバの注
視点を検出する。

【００３２】上述した注視点検出処理は、例えば、ドラ
イバモニタユニット１３のマイクロコンピュータ（不図
示）の制御周期毎に行われ、検出された頭顔方向Ｄｈ、
視線方向Ｄｓ、瞳孔径Ｌ、そして注視点の各値は、当該
マイクロコンピュータのＲＡＭ等に所定の検出回数分だ
け時系列に記憶される。

【００３３】＜コントロールユニット１による制御処理
＞次に、コントロールユニット１における制御処理につ
いて説明する。

【００３４】本実施形態では、ドライバモニタユニット
１３にて検出されたドライバの注視点、頭顔位置、そし
て瞳孔径の検出結果と、検出した瞳孔径の変化速度（瞳
孔径の単位時間あたりの変化量）の検出結果とを用い
て、ドライバの状態判断を行う。はじめに、刻々と変化
する人の瞳孔径と、緊張状態との関係について説明す
る。

【００３５】人の瞳孔径は、一般に、２．２ｍｍから１
３ｍｍ程度の範囲で変化し、興味の対象に対しては瞳孔
径が拡大することが知られており、例えば、車線変更等
の運転操作に先立って車両側方の障害物の有無を判断し
ているドライバの瞳孔径は、サイドミラー等を注視して
いるときに大きく変化する。ここで、ドライバの頭顔の
動きと瞳孔の動きとに関する実験結果の一例を、図６を
参照して説明する。

【００３６】図６は、車線変更時のドライバの頭顔の動
きと瞳孔の動きに関する実験結果を示す図である。

【００３７】同図に示すように、車線変更の可否を判断
する合流終了前３０秒から１５秒暗いまでの間において
は、ドライバの頭顔は車両後方を確認するために何度も
水平方向に大きく向けられ、且つ車線変更が終了するま
での間に渡って瞳孔が左右に激しく動いてサイドミラー
及びルームミラーを注視していることが判ると共に、一
方、垂直方向に対する頭顔部及び瞳孔の動きには大きな
変化が見られないことが判る。これにより、被験者の車
線変更時の運転操作には、脇見等の無駄な目視が含まれ
ていなかったと判断できる。即ち、ドライバの注視点が
前方に向けられているときであっても、瞳孔径が所定の
基準値より小さいときには、運転操作に対する注意力が
散漫になっていると判断することができ、また、ドライ
バの注視点が前方に向けられていないときであっても、
後側方の目視確認をすべくサイドミラー等を凝視する等
によって瞳孔径が所定の基準値より大きい場合もあるた
め、ドライバの瞳孔径の検出結果のみによってはそのド
ライバの運転操作に対する緊張状態を一概に判断するこ
とはできない。

【００３８】次に、ドライバの瞳孔径の大きさが、周囲
の環境（運転環境）に応じて変化することについて説明
する。

【００３９】図７及び図８は、実験的に求めた瞳孔径Ｌ
の変化の様子を示す図である。

【００４０】図７では、計測時間１３０から３８０にお
いて周囲を急に明るくしたことに応じて、被験者の瞳孔
径（ピクセル数）が急速に縮小していることが判る。こ
の状況は、例えば夜間やトンネル内でのすれちがい等の
暗い走行環境において対向車線を走行する他車両のヘッ
ドライトの光がドライバの目に入射した場合に相当す
る。

【００４１】また、図８では、計測時間１５０以降にお
いて被験者を驚かせたことにより、瞳孔径（ピクセル
数）が大きくなると共に激しく上下に変化していること
が判る。この状況は、例えば走行車線前方への他車両の
急な割り込み等により、ドライバが緊張や不安（恐怖）
を感じた場合に相当する。

【００４２】そこで、本実施形態では、車両外部の運転
環境の一例である外部の明暗状態に応じてドライバの瞳
孔径が変化すること、そして、驚きや不安（恐怖）を感
じたドライバの瞳孔径が激しく変化することに着目し
て、コントロールユニット１による情報提供・警報発報
の制御を行う。

【００４３】図９は、第１の実施形態における移動体制
御装置としてのコントロールユニットによる制御処理を
示すフローチャートであり、図１に示した当該ユニット
の外部環境判断モジュール、危険判断モジュール、ドラ
イバ状態判断モジュール、そして情報提供・警報発報判
定モジュールにより実現される機能を表わす。

【００４４】同図において、ステップＳ１：レーザレー
ダ２、赤外線カメラ３、磁気マーカセンサ４、ラインＣ
ＣＤ５、走行車線検出用ＣＣＤカメラ６の各出力信号と
を用いて、一般的な手法により、車両の外部環境のセン
シングを行う。

【００４５】ステップＳ２：ナビゲーションユニット１
４等から現在の時刻情報を入手し、その入手した時刻に
基づいて、周囲の明暗状態を判定する。即ち、入手した
時刻情報が、１９時から４時頃までであれば暗環境、５
時から１８時頃までであれば明環境と判断する。また、
好ましくは時刻情報と共に月日情報を入手し、季節によ
る明暗状態の変動を考慮すると良い。

【００４６】ステップＳ３：ナビゲーションユニット１
４により（路車間通信ユニット１５による入手情報を利
用しても良い）、一般的な手法により、車両の現在の走
行位置、並びに進路上の道路の形状等を検出する。

【００４７】ステップＳ４：車速センサ７、ヨーレート
センサ８、スロットルセンサ９、ブレーキスイッチ１
０、操舵角センサ１１、そしてウインカセンサ１２の各
出力信号を用いて、一般的な手法により、現在の車両状
態（直進や旋回状態等）を検出する。

【００４８】ステップＳ５：路車間通信ユニット１５を
介して、道路側の設備より道路に関する情報（カーブの
半径、速度規制情報、障害物情報等）を入手する。

【００４９】ステップＳ６：ステップＳ１からステップ
Ｓ５で検出した結果に基づいて、一般的な手法（例え
ば、上記の各ステップにおける検出結果を数値（ポイン
ト）化し、それら数値の積または和を採る等）により、
危険な状態（例えば、前方を走行する（或いは停車中
の）他車両への追突や、周囲の障害物との衝突等が発生
し得る状態等）か否かを判定する。このとき、判定結果
が所定の条件を満足するときには、ドライバによる危険
回避の余裕が無いと判断し、ブレーキ操作、スロットル
操作、或いはオートマチックトランスミッション（Ａ
Ｔ）の変速操作による自動制動、或いは自動操舵等の車
両制御を行う。

【００５０】ステップＳ７，ステップＳ８：ステップＳ
６における判定結果により、ドライバによる危険回避の
余裕が有ると判断したときには、情報提供・警報発報の
要否を判定し（ステップＳ７）、その判定結果がＮＯの
とき（必要無いとき）にはリターンし、ＹＥＳのとき
（必要なとき）にはステップＳ９に進む（ステップＳ
８）。

【００５１】ステップＳ９：図５を参照して上述したド
ライバモニタユニット１３より、所定の検出回数分だけ
時系列に記憶されているドライバの頭顔方向Ｄｈの検
出、視線方向Ｄｓの検出、瞳孔径Ｌ、そして注視点の検
出結果を入手する（尚、本実施形態では、少なくとも瞳
孔径Ｌを入手すれば良い）。

【００５２】ステップＳ１０，ステップＳ１１：ドライ
バの緊張状態を表わす指標として、ステップＳ９で入手
した瞳孔径Ｌの単位時間あたりの変化量（変化速度Ｖ
Ｌ）を算出し（ステップＳ１０）、その算出した変化速
度ＶＬの絶対値が所定の基準値ＶＳより大きいか否かを
判断し（ステップＳ１１）、ＹＥＳ（｜ＶＬ｜＞ＶＳ）
のときには、ドライバの緊張状態がある基準状態を越え
てかなり高まっている、或いは精神的に動揺しているた
めに運転操作に対する精神的な余裕が低減していると判
断してステップＳ１２に進み、ＮＯ（｜ＶＬ｜≦ＶＳ）
のときには、ドライバの緊張状態はそれ程高まっておら
ず、運転操作について平常時の精神的な余裕が有ると判
断してステップＳ１５に進む。ここで、基準値ＶＳとし
ては、ドライバに運転に対する精神的な負担の少ない走
行環境下であって、且つ運転開始初期のタイミングで実
験的に求めたドライバの平均的な瞳孔径の変化速度を使
用する。

【００５３】ステップＳ１２：所定の外部環境として、
例えば、ステップＳ２で検出した車両周囲の明暗状態が
夜間である、或いはステップＳ３で検出した自車両の現
在位置がトンネル内であるか否かを判断する。この判断
においてＹＥＳのとき（自車両が所定の外部環境下にあ
るとき）には、ステップＳ１１で瞳孔径の変化速度ＶＬ
が大きく変化したのは、夜間或いはトンネル内において
短期間に対向車のヘッドライトの光が頻繁に交差しなが
ら入射する状態にドライバの目が順応しようとしたため
である、及び／または係る環境において対向車とすれ違
うための運転操作によりドライバの緊張が高まったため
だと推定してステップＳ１３に進み、ＮＯのとき（自車
両が所定の外部環境下にはないとき）には、ステップＳ
１５に進む。このとき、対向車とのすれ違いの判定を確
実に行うためには、レーザレーダ２や赤外線カメラ３の
検出結果を利用すれば良い。

【００５４】ステップＳ１３：ステップＳ８で情報提供
・警報発報が必要と判断した情報のうち、ディスプレイ
２１に表示すべき視覚情報を、スピーカ２２による音声
情報による報知に切り替えるように設定する。

【００５５】ステップＳ１４：ステップＳ８で情報提供
・警報発報が必要と判断した情報が優先的に報知される
ように、優先度が低い情報（例えば、ＧＰＳ信号に基づ
いて検出された現在位置情報、エンターテイメント性が
高い音楽等の情報、或いは瞬間燃費等の緊急性が低い情
報）の報知を中止するように設定する。

【００５６】ステップＳ１５：ステップＳ１３及びステ
ップＳ１４にて報知態様を設定したときにはその設定し
た条件に従って、一方、ステップＳ１１或いはステップ
Ｓ１２でＮＯと判断したときには本来の報知態様のまま
で、ステップＳ８で情報提供・警報発報が必要と判断し
た情報をドライバに報知し、リターンする。

【００５７】尚、上述した図９の制御処理では、車両外
部の運転環境の一例として、ステップ１２では自車両外
部の明暗状態を判断したが、これに限られるものではな
く、例えば、ステップＳ３乃至ステップＳ５の処理によ
って入手可能な自車両前方の道路状態（急なカーブ、渋
滞等）、或いは操舵角の変化等を考慮することにより、
ドライバの緊張が高まっている、或いは緊張が高まりつ
つあることを推定しても良い。

【００５８】このように、本実施形態によれば、ステッ
プＳ６における判定結果においてドライバによる危険回
避の余裕が有ると判断した場合において、ドライバの瞳
孔径の変化速度ＶＬが大きく変化すると共に、自車両が
所定の外部環境の一例である暗状態にあるときには、ド
ライバの緊張が高まり、運転操作に対する精神的な余裕
が少なくなると判断して、情報提供・警報発報の報知態
様の切り替えや、優先度の低い情報の報知の中止を的確
に行うことができる。即ち、操作者の緊張状態の変化に
応じて、移動体を的確に制御することができ、予防安全
性を向上することができる。

【００５９】［第２の実施形態］次に、上述した第１の
実施形態に係る移動体制御装置を基本とする第２の実施
形態を説明する。以下の説明においては、第１の実施形
態と同様な構成については重複する説明を省略し、本実
施形態における特徴的な部分を中心に説明する。

【００６０】図７及び図８を参照して説明したように、
ドライバの瞳孔径は、周囲の環境変化や緊張状態の変化
に応じて刻々と変化するが、ある対象に対して驚きや恐
怖を感じるあまり、ドライバの緊張の度合が極度に高ま
ると、その緊張の対象に視線が向けられたまま、或いは
まぶたを閉じてしまい、危険回避のための運転操作を行
えない場合が想定される。

【００６１】そこで、本実施形態では、このような外部
環境の発生を、図１及び図２の如く設けられた各種セン
サ出力を利用して推定すると共に、ドライバの瞳孔径の
大きさの変化（まぶたが閉じられて瞳孔径が検出できな
い場合を含む）によって緊張の度合を推定し、その推定
した結果、危険回避のための運転操作を行えないと推定
した場合には、車両の走行を制動する。

【００６２】＜コントロールユニット１による制御処理
＞図１０は、第２の実施形態における移動体制御装置と
してのコントロールユニットによる制御処理を示すフロ
ーチャートである。

【００６３】同図において、ステップＳ２１からステッ
プＳ２５までの各ステップは、図９のステップＳ１から
ステップＳ５までの処理と同様なため、説明を省略す
る。

【００６４】ステップＳ２６，ステップＳ２７：ステッ
プＳ２１からステップＳ２５で検出した結果に基づい
て、一般的な手法（例えば、上記の各ステップにおける
検出結果を数値（ポイント）化し、それら数値の積また
は和を採る等）により、前方を走行する（或いは停車中
の）他車両への追突が発生し得る状態か否かを判定し
（ステップＳ２６）、追突の危険性が有るとき（ステッ
プＳ２７でＹＥＳのとき）にはステップＳ２８に進み、
追突の危険性がないとき（ステップＳ２７でＮＯのと
き）にはリターンする。

【００６５】ステップＳ２８：図９のステップＳ９と同
様に、ドライバモニタユニット１３より、所定の検出回
数分だけ時系列に記憶されているドライバの頭顔方向Ｄ
ｈの検出、視線方向Ｄｓの検出、瞳孔径Ｌ、そして注視
点の検出結果を入手する（尚、本実施形態では、少なく
とも瞳孔径Ｌを入手すれば良い）。

【００６６】ステップＳ２９：ドライバモニタユニット
１３より入手した瞳孔径Ｌが、所定の基準値Ｓと係数Ｋ
との積より大きいか否かを判断する。

【００６７】ここで、基準値Ｓには、運転操作中に驚き
や恐怖を感じて緊張状態が高まったときのドライバの平
均的な瞳孔径を実験的に求めて使用する。

【００６８】また、係数Ｋには、ステップＳ２３或いは
ステップＳ２４で検出した走行車線の旋回半径Ｒに応じ
て変化する値が出力されるマップ（テーブル）として予
め設定しておく。即ち、旋回半径Ｒが小さいときほどド
ライバは運転に集中しなければならないため、ドライバ
の瞳孔径は一般に大きくなる。そこで、このような場合
には、マップから出力される係数Ｋが大きくなるように
設定することにより、外部環境の変化に応じて変化する
ドライバの運転操作に対する精神的な負担を考慮する。

【００６９】そして、ステップＳ２９では、瞳孔径Ｌが
所定の基準値Ｓと係数Ｋとの積より大きいか否かを判断
することにより、ドライバの緊張状態を判断する。この
判断において、ＹＥＳのとき（瞳孔径Ｌが算出した積よ
り大きいとき）には、ドライバの緊張状態が過度に高ま
っており、危険回避のための運転操作を行う精神的余裕
が無いと判断してステップＳ３２に進み、ＮＯのとき
（瞳孔径Ｌが算出した積より小さいとき）にはステップ
Ｓ３０に進む。

【００７０】ステップＳ３０：ステップＳ２９の判断に
おいて瞳孔径Ｌが算出した積より小さいときには、ステ
ップＳ２８にて瞳孔径Ｌを所定の制御周期にわたって検
出できない状態が継続しているか否かを判断し、ＹＥＳ
のとき（瞳孔径Ｌが検出できな状態が継続していると
き）には、ドライバが恐怖のあまりまぶたを閉じてしま
い、危険回避のための運転操作を行う精神的余裕が無い
と判断してステップＳ３２に進み、ＮＯのとき（瞳孔径
Ｌが算出した積より小さいとき）には、危険回避のため
の運転操作がドライバ自身によって行われる可能性が高
いと判断してステップＳ３１に進む。

【００７１】ステップＳ３１：危険回避のための運転操
作が必要なことをドライバに報知すべく、追突の可能性
を報知する情報提供・警報発報を、ディスプレイ２１及
び／またはスピーカ２２により行い、リターンする。

【００７２】ステップＳ３２：危険回避のために必要な
運転操作を自動的に行うことにより、自車両を制動し、
リターンする。制動の方法としては、ブレーキ操作、ス
ロットル操作、或いはオートマチックトランスミッショ
ン（ＡＴ）の変速操作による自動制動が挙げられ、自動
操舵等の車両制御を行っても良い。

【００７３】尚、上述した図１０の制御処理において、
ステップＳ２８にて瞳孔径Ｌを所定の制御周期にわたっ
て検出できない状態としては、ドライバが恐怖のあまり
まぶたを閉じてしまった状態を想定したが、この状態に
は、ドライバが居眠りをすることによりまぶたを閉じて
しまった状態を含んでも良い。これは、ドライバが居眠
りをしているときにも、ドライバは危険回避のための適
切な運転操作を行えないことが予想されるため、ドライ
バが恐怖のあまりまぶたを閉じてしまった場合と同様に
ステップＳ３２において自車両を自動制動すべきだから
である。

【００７４】＜第２の実施形態の変形例＞尚、ステップ
Ｓ２９で使用する係数Ｋは、走行車線の旋回半径Ｒに応
じた値に限られるものではなく、本変形例で説明するよ
うに、ステップＳ２２で判定可能な明暗状態に応じた値
としても良い。

【００７５】図１１及び図１２は、第２の実施形態にお
ける移動体制御装置としてのコントロールユニットに予
め記憶するマップの特性例を示す図であり、図１１で
は、明環境及び暗環境のそれぞれについて、旋回半径が
大きくなるのに応じて、略直線とみなすＲ＝１０００ｍ
まで次第に係数Ｋが小さくなる特性を示しており、図１
２では、明環境及び暗環境のそれぞれについて、旋回半
径が大きくなるのに応じて、略直線とみなすＲ＝１００
０ｍまで係数Ｋが段階的に小さくなる特性を示してい
る。即ち、暗環境においては一般に運転操作に負担が掛
かり、瞳孔径が大きくなるため、そのような暗環境の場
合には、ドライバの緊張状態を判断するしきい値（基準
値Ｓと係数Ｋとの積）を大きな値にするために、係数Ｋ
が明環境のときより大きくなるように図１１または図１
２を設定している。尚、図１１及び図１２では、明環境
及び暗環境の２通りを例示しているが、それら２種類の
特性の間に挟まれる薄暮の環境等を複数設定すると良
い。

【００７６】尚、上述した本変形例では、周囲の運転環
境の一例として明暗状態を考慮したが、これに限られる
ものではなく、例えば、車速が早い場合、荒天の場合、
自車両の周囲に他車両が多く存在する渋滞等の場合に
は、何れの場合にも運転操作に対する精神的な負担が高
く、瞳孔径が大きくなる。そこで、ステップＳ２９にお
いて参照する図１１（図１２）のマップに、明暗の特性
の代わりに、車速センサ７により検出した車速、ワイパ
ースイッチの操作状態、或いは路車間通信ユニット１５
及び／またはナビゲーションユニット１４により入手可
能な周囲の他車両の状態を表わす特性を記憶しておき、
そのマップから係数Ｋを求めるように構成しても良い。

【００７７】このように、第２の実施形態及びその変形
例によれば、ドライバの瞳孔径の大きさの変化（まぶた
が閉じられて瞳孔径が検出できない場合を含む）によっ
て緊張の度合を推定し、その推定した結果、危険回避の
ための運転操作を行えないと推定した場合には、車両の
走行を的確に制動することができる。即ち、操作者の緊
張状態の変化に応じて、移動体を的確に制御することが
でき、予防安全性を向上することができる。

【００７８】［第３の実施形態］次に、上述した第１の
実施形態に係る移動体制御装置を基本とする第３の実施
形態を説明する。以下の説明においては、第１の実施形
態と同様な構成については重複する説明を省略し、本実
施形態における特徴的な部分を中心に説明する。

【００７９】本実施形態では、検出した瞳孔径Ｌの変化
速度ＶＬの状態だけを判断条件として、ディスプレイ２
１に情報を表示する際の表示態様を変更し、これによ
り、ドライバの緊張状態に応じた情報提供を行う。

【００８０】＜コントロールユニット１による制御処理
＞図１３は、第３の実施形態における移動体制御装置と
してのコントロールユニットによる制御処理を示すフロ
ーチャートである。

【００８１】同図において、ステップＳ５１：図９のス
テップＳ９と同様に、ドライバモニタユニット１３よ
り、所定の検出回数分だけ時系列に記憶されているドラ
イバの頭顔方向Ｄｈの検出、視線方向Ｄｓの検出、瞳孔
径Ｌ、そして注視点の検出結果を入手する（尚、本実施
形態では、少なくとも瞳孔径Ｌを入手すれば良い）。

【００８２】ステップＳ５２，ステップＳ５３：図９の
ステップＳ１０及びステップＳ１１と同様に、ドライバ
の緊張状態を表わす指標として、ステップＳ５１で入手
した瞳孔径Ｌの単位時間あたりの変化量（変化速度Ｖ
Ｌ）を算出し（ステップＳ５２）、その算出した変化速
度ＶＬの絶対値が所定の基準値ＶＳより大きいか否かを
判断し（ステップＳ５３）、ＹＥＳ（｜ＶＬ｜＞ＶＳ）
のときには、ドライバの緊張状態がある基準状態を越え
てかなり高まっている、或いは精神的に動揺しているた
めに運転操作に対する精神的な余裕が低減していると判
断してステップＳ５４に進み、ＮＯ（｜ＶＬ｜≦ＶＳ）
のときには、ドライバの緊張状態はそれ程高まっておら
ず、運転操作について平常時の判断を行う精神的な余裕
が有ると判断してリターンする。

【００８３】ステップＳ５４：ステップＳ５３にてドラ
イバが緊張状態にあると判断されたので、ディスプレイ
２１に情報を表示する際の表示態様を、表示画面に使用
する基準色、輝度、或いはコントラストを調節すること
により、緊張状態にないとき（ステップＳ５３にてＮＯ
と判断したとき）と比較してドライバの注意をひく明る
い表示態様に変更し、リターンする。このとき、表示態
様の調整度合の制御としては、ステップＳ５１にて入手
した瞳孔径Ｌの大きさが大きくなるのに応じて、ドライ
バの注意をひく明るい表示態様に変更すれば良い。

【００８４】このように、第３の実施形態によれば、ド
ライバの瞳孔径の大きさの変化によって緊張の度合を推
定し、その推定した結果に応じて、ディスプレイ２１に
情報を表示する際の表示態様を変更することができ、予
防安全性を向上することができる。

【００８５】尚、上述したステップＳ５４では、ディス
プレイ２１の表示の態様を調整したが、これに限られる
ものではなく、スピーカ２２への音声出力の音量を大き
く変更する、或いは所定の人工音声を出力するのに先立
て注意を喚起する所定の警報音を発報する等の処理を行
っても良い。

【００８６】尚、上述した各実施形態では自動車を対象
としたが、これに限られるものではなく、本発明に係る
移動体制御装置は、列車や航空機等の移動体にも適用で
き、その場合においても、外部環境判断モジュールで外
部より入手する各種情報を本発明を適用する移動体に応
じたセンサ出力にすれば良い。

【００８７】また、上述した各実施形態では、コントロ
ールユニット１にて行われる各モジュールの機能を当該
ユニット内に設けられたＣＰＵにて行われるソフトウエ
アとして説明したが、これに限られるものではなく、そ
れらのモジュールの機能を実現する専用のハードウエア
を採用しても良い。

【００８８】

【発明の効果】以上説明したように、本発明によれば、
操作者の緊張状態の変化に応じて、移動体を的確に制御
する移動体制御装置の提供が実現する。

【００８９】即ち、請求項１、請求項１０、請求項１２
の発明によれば、操作者の緊張状態の変化に応じて、移
動体を的確に制御することができる。

【００９０】また、請求項２の発明によれば、前記移動
体制御装置の制御対象である報知手段に情報を報知させ
るに際して、操作者の緊張状態の変化に応じて、必要性
の高い情報（例えば安全走行を維持するための情報：請
求項９）を、操作者が認識し易い音声情報により（請求
項３）、的確に選択して報知することができる。

【００９１】また、請求項４の発明によれば、現在位置
がトンネル内である（請求項６）、或いは夜間（請求項
７）の走行等のように、ドライバの目に対向車のヘッド
ランプの光が入射する眩しい外部環境にあっても（請求
項８）、係る外部環境によって変化する操作者の緊張状
態の変化に応じて、移動体を的確に制御することができ
る。

【００９２】また、請求項５の発明によれば、周囲が暗
い走行環境下においてドライバの目に対向車のヘッドラ
ンプの光が頻繁に交差しながら入射する状態を検出する
ことができ、そのような状況において移動体を的確に制
御することができる。

【００９３】また、請求項１１の発明によれば、前記移
動体制御装置の制御対象が表示器の表示態様である場合
に、操作者の緊張状態の変化に応じて、その表示の態様
を的確に制御することができる。

【００９４】また、請求項１３の発明によれば、検出し
た瞳孔径の大きさが所定値より大きい、或いは所定時間
にわたって検出できないときには、ドライバが極度の緊
張状態にある（居眠りを含む）と判断して前記移動体に
的確な危険回避動作（例えば自動制動：請求項１４）を
自動的にとらせると共に、それ以外の場合には警報を的
確に報知することができる。

【図面の簡単な説明】

【図１】第１の実施形態における移動体制御装置を搭載
する自動車のシステム構成を示す図である。

【図２】図１に示す自動車の運転席を示す図である。

【図３】第１の実施形態に係る移動体制御装置における
制御機能の構成を示すブロック図である。

【図４】第１の実施形態におけるドライバモニタユニッ
トのシステム構成を示すブロック図である。

【図５】第１の実施形態における注視点検出処理のフロ
ーチャートを示す図である。

【図６】車線変更時のドライバの頭顔の動きと瞳孔の動
きに関する実験結果を示す図である。

【図７】実験的に求めた瞳孔径Ｌの変化の様子を示す図
である。

【図８】実験的に求めた瞳孔径Ｌの変化の様子を示す図
である。

【図９】第１の実施形態における移動体制御装置として
のコントロールユニットによる制御処理を示すフローチ
ャートである。

【図１０】第２の実施形態における移動体制御装置とし
てのコントロールユニットによる制御処理を示すフロー
チャートである。

【図１１】第２の実施形態の変形例における移動体制御
装置としてのコントロールユニットに予め記憶するマッ
プの特性例を示す図である。

【図１２】第２の実施形態の変形例における移動体制御
装置としてのコントロールユニットに予め記憶するマッ
プの特性例を示す図である。

【図１３】第３の実施形態における移動体制御装置とし
てのコントロールユニットによる制御処理を示すフロー
チャートである。

【符号の説明】

１：コントロールユニット， ２：レーザレーダ， ３：赤外線カメラ， ４：磁気マーカセンサ， ５：ラインＣＣＤ， ６：走行車線検出用ＣＣＤカメラ， ７：車速センサ， ８：ヨーレートセンサ， ９：スロットルセンサ， １０：ブレーキスイッチ， １１：操舵角センサ， １２：ウインカセンサ， １３：ドライバモニタユニット， １４：ナビゲーションユニット， １５：路車間通信ユニット， ２１：ディスプレイ， ２２：スピーカ， ２３：赤外投光ランプ， ２４：赤外投光領域撮像カメラ，

Claims (14)

【特許請求の範囲】
1. 【請求項１】 移動体の操作者の頭顔部を撮影するカメ
   ラと、 前記カメラからの映像信号に基づいて、前記操作者の瞳
   孔径に関する値を検出する瞳孔径検出手段と、 前記移動体の外部環境を検出する外部環境検出手段と、 前記外部環境検出手段により検出された外部環境が所定
   の状態であり、且つ前記瞳孔径検出手段により検出され
   た瞳孔径の変化速度が所定値より大きいときに、前記操
   作者が緊張状態にあると判定する緊張状態判定手段と、 前記緊張状態判定手段による判定結果に基づいて、前記
   移動体を制御する制御手段と、を備えることを特徴とす
   る移動体制御装置。
2. 【請求項２】 前記外部環境検出手段は、検出すべき外
   部環境として、前記移動体の走行環境及び／または運転
   状態を検出する手段を含み、 前記制御手段は、前記外部環境検出手段により検出され
   た前記移動体の走行環境及び／または運転状態に関する
   緊急度の異なる複数種類の情報を報知すると共に、前記
   緊張状態判定手段により前記操作者が緊張状態にあると
   判定されたときには、前記走行環境及び運転状態に関す
   る複数種類の情報のうち、緊急度の高い情報を警報とし
   て優先的に報知する報知手段含むことを特徴とする請求
   項１記載の移動体制御装置。
3. 【請求項３】 前記報知手段は、画像表示と音声出力と
   が可能であって、 前記制御手段は、警報として前記緊急度の高い情報を報
   知するときには前記報知手段による報知の態様として音
   声出力を選択し、前記緊張状態判定手段により前記操作
   者が緊張状態にないと判定されたときには画像表示を選
   択することを特徴とする請求項２記載の移動体制御装
   置。
4. 【請求項４】 前記移動体は、車両であって、 前記外部環境検出手段により検出された前記所定の状態
   は、前記移動体が位置する周囲の環境が暗い環境である
   ことを特徴とする請求項３記載の移動体制御装置。
5. 【請求項５】 前記外部環境検出手段により検出された
   前記所定の状態は、前記周囲の環境が暗い環境において
   前記瞳孔径検出手段により検出された瞳孔径が所定の短
   期間に急激に変化する状態であることを特徴とする請求
   項４記載の移動体制御装置。
6. 【請求項６】 前記移動体の走行環境を検出する手段
   は、少なくともＧＰＳ信号と地図情報とに基づいて前記
   移動体の現在位置を検出するナビゲーション装置であっ
   て、 前記暗い環境とは、前記ナビゲーション装置によって前
   記移動体がトンネル内に位置することが検出されたとき
   に相当することを特徴とする請求項４記載の移動体制御
   装置。
7. 【請求項７】 前記移動体の走行環境を検出する手段
   は、前記暗い環境を、時刻情報に基づいて推定すること
   を特徴とする請求項４記載の移動体制御装置。
8. 【請求項８】 前記外部環境検出手段は、前記移動体の
   走行環境を検出する手段として、前記暗い環境において
   前記移動体と対向車とがすれ違うことを検出可能な、障
   害物検出手段を含むことを特徴とする請求項４記載の移
   動体制御装置。
9. 【請求項９】 前記移動体の走行環境及び／または運転
   状態を検出する手段は、前記緊急度の高い情報として、
   前記移動体の安全走行を維持するための情報を検出する
   ことを特徴とする請求項２記載の移動体制御装置。
10. 【請求項１０】 移動体の操作者の頭顔部を撮影するカ
    メラと、 前記カメラからの映像信号に基づいて、前記操作者の瞳
    孔径に関する値を検出する瞳孔径検出手段と、 前記瞳孔径検出手段により検出された瞳孔径の変化速度
    が所定値より大きいときに、前記操作者が緊張状態にあ
    ると判定する緊張状態判定手段と、 前記緊張状態判定手段による判定結果に基づいて、前記
    移動体を制御する制御手段と、 を備えることを特徴とする移動体制御装置。
11. 【請求項１１】 前記制御手段は、前記緊張状態判定手
    段により前記操作者が緊張状態にあると判定されたとき
    に、所定の情報を前記移動体の操作者に対して表示する
    表示器の表示態様を、前記瞳孔径検出手段により検出さ
    れた瞳孔径に応じて調整することを特徴とする請求項１
    ０記載の移動体制御装置。
12. 【請求項１２】 移動体の操作者の頭顔部を撮影するカ
    メラと、 前記カメラからの映像信号に基づいて、前記操作者の瞳
    孔径に関する値を検出すると共に、その検出した瞳孔径
    の大きさが所定値より大きい、或いは所定時間にわたっ
    て検出できないことを検出する瞳孔径検出手段と、 前記瞳孔径検出手段により、検出した瞳孔径の大きさが
    所定値より大きい、或いは所定時間にわたって検出でき
    ないときに、前記移動体に自動的に危険回避動作をとら
    せる制御手段と、を備えることを特徴とする移動体制御
    装置。
13. 【請求項１３】 更に、前記移動体の走行環境及び／ま
    たは運転状態を検出する外部状態検出手段と、 前記外部状態検出手段により検出された走行環境及び／
    または運転状態を、前記移動体の操作者に対して報知す
    る報知手段とを備え、 前記制御手段は、前記瞳孔径検出手段により検出した瞳
    孔径の大きさが所定値より小さく、且つゼロより大きい
    ときには、前記危険回避動作を前記操作者に行わせる旨
    の警報を、前記報知手段に報知させることを特徴とする
    請求項１２記載の移動体制御装置。
14. 【請求項１４】 前記制御手段による危険回避動作は、
    自動制動動作であることを特徴とする請求項１２記載の
    移動体制御装置。