JP2019091205A - 車載警報装置 - Google Patents

Abstract

【課題】一例として、誤警報の発生を低減することが可能な車載警報装置を得る。【解決手段】実施形態に係る車載警報装置は、所定のフレームレートで入力される画像データそれぞれに対して第１の顔検出処理を実行する第１処理部と、画像データに対して第１の顔検出処理とは異なる第２の顔検出処理を実行する第２処理部と、警報を発する警報出力部と、所定の条件が満たされた場合、入力された画像データに対する顔検出処理を、第１処理部による第１の顔検出処理から第２処理部による第２の顔検出処理に切り替え、第２の顔検出処理の結果、入力された画像データから検出された人物の状態が不注意状態である場合、警報出力部を制御して警報を発する状態判定部とを備える。【選択図】図５

Description

本発明の実施形態は、車載警報装置に関する。

近年、撮像された静止画像または動画像に含まれる顔の位置および向き、並びに目および口等の顔部品の状態を検出する顔検出技術の開発が進められている。例えば、特許文献１には、運転者を撮像対象として随時取得される画像データに顔検出処理を実行することで、運転者が脇見状態や居眠り状態等にあるかを検出し、その状態が所定時間以上継続された場合には、運転者に対して警告を発する車載警報装置が開示されている。

特開２００９−９３６７４号公報

しかしながら、車載された警報装置のような、安全性の観点から警報に対するリアルタイム性が求められつつも、設置スペースや消費電力等の観点から画像処理に割り当てることができる処理資源（ＣＰＵ（Central Processing Unit）リソース等）が制限される条件下では、十分な顔検出精度を得ることができない場合が存在する。そのような場合、一定以上の確率で、運転者の脇見や居眠り（閉眼）若しくは運転者の不在などの状態（以下、これらをまとめて不注意状態という）の誤検出が発生し、その結果、運転者や同乗者にとって誤警報が頻発する煩わしい警報装置となってしまう可能性が存在する。

そこで以下の実施形態では、誤警報の発生を低減することが可能な車載警報装置を提供することを目的とする。

本発明の実施形態に係る車載警報装置は、一例として、所定のフレームレートで入力される画像データそれぞれに対して第１の顔検出処理を実行する第１処理部と、画像データに対して前記第１の顔検出処理とは異なる第２の顔検出処理を実行する第２処理部と、警報を発する警報出力部と、所定の条件が満たされた場合、入力された画像データに対する顔検出処理を、前記第１処理部による前記第１の顔検出処理から前記第２処理部による前記第２の顔検出処理に切り替え、前記第２の顔検出処理の結果、前記入力された画像データから検出された人物の状態が不注意状態である場合、前記警報出力部を制御して前記警報を発する状態判定部とを備える。このような構成によれば、例えば、異なる顔検出処理の結果を総合的に判断したり、第２の顔検出処理に検出精度の高い顔検出処理を採用したりすることが可能となり、それにより、誤検出の発生を低減することが可能となる。その結果、誤警報の少ない車載警報装置を実現することが可能となる。

上記所定の条件は、前記所定のフレームレートで入力される画像データそれぞれから前記第１の顔検出処理によって検出された前記人物の不注意状態が所定時間以上継続していることである。このような構成によれば、例えば、平常時に実行される第１の顔検出処理を処理時間の短い処理としつつ、第１の顔検出処理によって運転者の不注意状態が検出された場合には、検出精度の高い第２の顔検出処理を実行するように構成することが可能となる。その結果、運転者の不注意状態に対する反応開始のタイミングを早めてリアルタイム性を維持しつつ、誤警報の少ない車載警報装置を実現することが可能となる。

上記所定の条件は、車両の自動制御において、前記車両が走行する車両通行帯を変更する制御の予定が発生したこと、若しくは、前記車両を右折又は左折する制御の予定が発生したことである。このような構成によれば、例えば、運転者の正常状態を確保する必要がある時に適宜、検出精度の高い第２の顔検出処理の結果に基づいて警報を発することが可能となるため、誤警報の少ない車載警報装置を実現することが可能となる。

上記第２の顔検出処理の顔検出精度は、前記第１の顔検出処理の顔検出精度よりも高い。このような構成によれば、例えば、検出精度の高い第２の顔検出処理の結果に基づいて警報を発することが可能となるため、誤警報の少ない車載警報装置を実現することが可能となる。

上記状態判定部は、前記第２の顔検出処理の結果、前記入力された画像データから検出された人物の状態が不注意状態である場合、新たに入力された画像データに対する顔検出処理を、前記第２処理部による前記第２の顔検出処理から再度、前記第１処理部による前記第１の顔検出処理に切り替え、前記第１の顔検出処理の結果、前記新たに入力された画像データから検出された前記人物の状態が前記不注意状態である場合、前記警報出力部を制御して前記警報を発する。このような構成によれば、例えば、第１の顔検出処理として処理時間の短い顔検出処理を採用することで、第２の顔検出処理の処理時間が長い場合であっても、直近の運転者の状態に基づいて警報を発することが可能となるため、誤警報の少ない車載警報装置を実現することが可能となる。

図１は、第１の実施形態に係る警報装置が搭載される車両の概略構成例を示す斜視図である。 図２は、第１の実施形態に係る車両のダッシュボードの概略構成例を示す図である。 図３は、第１の実施形態に係る撮像装置の取付け位置の例を示す図である。 図４は、第１の実施形態に係る制御システムの構成の一例を示すブロック図である。 図５は、第１の実施形態に係る車載警報装置の概略構成例を示す機能ブロック図である。 図６は、第１の実施形態に係る警報動作の概要を説明するための図である。 図７は、第１の実施形態に係る警報動作のメインフローの概略例を示すフローチャートである。 図８は、第１の実施形態に係る警報動作において実行される第１処理の例を示すフローチャートである。 図９は、第１の本実施形態に係る警報動作において実行される第２処理の例を示すフローチャートである。 図１０は、第２の実施形態に係る第２処理実行要求を発行する際の流れの一例を示すフローチャートである。 図１１は、第２の実施形態に係る警報動作のメインフローの概略例を示すフローチャートである。

以下、本発明の例示的な実施形態が開示される。以下に示される実施形態の構成、並びに当該構成によってもたらされる作用、結果、および効果は、一例である。本発明は、以下の実施形態に開示される構成以外によっても実現可能であるとともに、基本的な構成に基づく種々の効果や、派生的な効果のうち、少なくとも一つを得ることが可能である。

（第１の実施形態）
まず、第１の実施形態に係る車載警報装置について、図面を参照して詳細に説明する。図１は、第１の実施形態に係る警報装置が搭載される車両の概略構成例を示す斜視図である。図２は、第１の実施形態に係る車両のダッシュボードの概略構成例を示す図である。なお、本実施形態において、車両１は、例えば、ガソリンエンジン等の内燃機関を駆動源とする自動車（内燃機関自動車）であってもよいし、電動機（電気モータともいう）を駆動源とする自動車（電気自動車、燃料電池自動車等）であってもよいし、それらの双方を駆動源とする自動車（ハイブリッド自動車）であってもよい。また、車両１は、種々の変速装置を搭載することができ、さらに、内燃機関や電動機を駆動するのに必要な種々の装置（システム、部品等）を搭載することができる。さらにまた、車両１における車輪（以下、前輪の符号を３Ｆとし、後輪の符号を３Ｒとし、それらを区別しない場合を車輪３とする）の駆動に関わる装置の方式や、数、レイアウト等は、適宜変更することが可能である。

図１及び図２に示されるように、車両１の車体２は、内部に運転者を含む乗員が乗車する車室２ａを形成している。この車室２ａ内には、運転者の座席２ｂと向かい合う状態で、操舵部４、加速操作部５、制動操作部６、変速操作部７等が設けられている。本実施形態では、一例として、操舵部４は、ダッシュボード（インストルメントパネル）１２から突出したステアリングホイールである。加速操作部５は、例えば、運転者の足下に位置されたアクセルペダルである。制動操作部６は、例えば、運転者の足下に位置されたブレーキペダルである。変速操作部７は、例えば、センターコンソールから突出したシフトレバーである。なお、操舵部４や、加速操作部５、制動操作部６、変速操作部７等の構成は、種々変形することができる。

車室２ａ内のダッシュボード１２の車幅方向、即ち運転者から見て左右方向の中央部には、モニタ装置１１が設けられている。モニタ装置１１には、表示装置８や音声出力装置９（図４参照）が設けられている。表示装置８は、例えば、ＬＣＤ（Liquid Crystal Display）やＯＥＬＤ（Organic Electroluminescent Display）等である。音声出力装置９は、例えば、スピーカである。また、表示装置８は、タッチパネル等、透明な操作入力部１０（図４参照）で覆われていてもよい。乗員は、透明な操作入力部１０を介して表示装置８の表示画面に表示される画像を視認することができる。また、乗員は、表示装置８の表示画面に表示される画像に対応した位置を手指等で触れたり押したり動かしたりして操作することで、操作入力部１０に対する操作入力を実行することができる。

ダッシュボード１２における座席２ｂと向かい合う部分には、計器盤部２５が設けられている。計器盤部２５には、車両１の移動速度を表示する速度表示部２５ａと、動力源である内燃機関や電動機等の出力軸の回転数を表示する回転数表示部２５ｂとが設けられている。

車室２ａ内における座席２ｂと向かい合う位置には、車両１の前進方向を向いた状態で且つ座席２ｂに正しい姿勢（以下、正常状態という）で着座する運転者の顔を撮像することが可能な撮像装置２０１が設けられている。撮像装置２０１は、座席２ｂに正常状態で着座する運転者３０２の顔が撮影画角の中心に位置するように、その画角及び姿勢が調整されている。例えば、図３に示すように、撮像装置２０１は、車体２の天井部２ｃに設けられる。ただし、撮像装置２０１の設置位置は、天井部２ｃに限定されず、車体２のフロントガラス２ｄ上部やハンドルコラム２０２など、座席２ｂに正常状態で着座した運転者３０２の顔の少なくとも両目を撮像することができる位置であれば、種々変更することが可能である。

この撮像装置２０１は、例えば、ＣＣＤ（Charge Coupled Device）カメラ等である。撮像装置２０１は、例えば、車両１の走行中に、所定のフレームレートで運転者３０２の顔を撮影し、撮影により得た画像データを順次、ＥＣＵ１４へ出力する。

次に、本実施形態に係る車載警報装置を備えた車両１の制御システムについて説明する。図４は、本実施形態に係る制御システムの構成の一例を示すブロック図である。図４に例示されるように、制御システム１００は、ＥＣＵ（Engine Control Unit）１４、モニタ装置１１、操舵システム１３、測距部１６及び１７の他、ブレーキシステム１８、舵角センサ１９、アクセルセンサ２０、シフトセンサ２１及び車輪速センサ２２を備えている。ＥＣＵ１４、モニタ装置１１、操舵システム１３、測距部１６及び１７、ブレーキシステム１８、舵角センサ１９、アクセルセンサ２０、シフトセンサ２１及び車輪速センサ２２は、電気通信回線としての車内ネットワーク２３を介して相互に電気的に接続されている。車内ネットワーク２３は、例えば、ＣＡＮ（Controller Area Network）として構築されている。

ＥＣＵ１４は、車内ネットワーク２３を通じて制御信号を送ることで、操舵システム１３、ブレーキシステム１８等を制御することができる。操舵システム１３は、例えば、ＥＣＵ１４から受信した制御信号に基づいてアクチュエータ１３ａを駆動して前輪３Ｆに舵角を与えることで、車両１の進行方向を制御する。この操舵システム１３は、例えば、電動パワーステアリングシステムや、ＳＢＷ（Steer By Wire）システム等であってよい。ブレーキシステム１８は、例えば、ＥＣＵ１４から受信した制御信号に基づいてアクチュエータ１８ａを駆動して不図示の制動装置を動作させることで、車両１の減速や停止等を実行する。また、ＥＣＵ１４は、車内ネットワーク２３を介して、トルクセンサ１３ｂ、ブレーキセンサ１８ｂ、舵角センサ１９、測距部１６、測距部１７、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２等の検出結果や、操作入力部１０等の操作信号等を、受け取ることができる。

このＥＣＵ１４は、例えば、ＣＰＵ（Central Processing Unit）１４ａ、ＲＯＭ（Read Only Memory）１４ｂ、ＲＡＭ（Random Access Memory）１４ｃ、表示制御部１４ｄ、音声制御部１４ｅ、ＳＳＤ（Solid State Drive、フラッシュメモリ）１４ｆ等を有している。ＣＰＵ１４ａは、例えば、表示装置８で表示される画像に関連した画像処理や、車両１の移動目標位置（駐車目標位置、目標位置）の決定、車両１の誘導経路（駐車経路及び駐車誘導経路を含む）の演算、物体との干渉の有無の判断、車両１の自動制御、自動制御の解除等の、各種の演算処理および制御を実行することができる。ＣＰＵ１４ａは、ＲＯＭ１４ｂ等の不揮発性の記憶装置にインストールされ記憶されたプログラムを読み出し、当該プログラムにしたがって演算処理を実行することができる。ＲＡＭ１４ｃは、ＣＰＵ１４ａでの演算で用いられる各種のデータを一時的に記憶する。また、表示制御部１４ｄは、ＥＣＵ１４での演算処理のうち、主として、撮像部１５で得られた画像データを用いた画像処理や、表示装置８で表示される画像データの合成等を実行する。また、音声制御部１４ｅは、ＥＣＵ１４での演算処理のうち、主として、音声出力装置９で出力される音声データの処理を実行する。また、ＳＳＤ１４ｆは、書き換え可能な不揮発性の記憶部であって、ＥＣＵ１４の電源がオフされた場合にあってもデータを記憶することができる。

なお、上記構成において、ＣＰＵ１４ａ、ＲＯＭ１４ｂ、ＲＡＭ１４ｃ等は、ＳｏＣ（System-on-Chip）などのような単一チップで構成されてもよい。また、ＥＣＵ１４は、ＣＰＵ１４ａに替えて、ＤＳＰ（Digital Signal Processor）等の他の論理演算プロセッサや論理回路等を用いた構成であってもよい。さらに、ＥＣＵ１４は、ＳＳＤ１４ｆに替えてＨＤＤ（Hard Disk Drive）が用いられた構成であってもよい。さらにまた、ＳＳＤ１４ｆやＨＤＤは、ＥＣＵ１４に対して外付けされる構成であってもよい。

また、撮像部１５並びに測距部１６及び１７は、ＥＣＵ１４が車両１の自動制御を実行するにあたって必要となるデータを取得するための構成である。例えば、撮像部１５は、車両１が移動可能な路面や車両１が駐車可能な領域を含む車体２の周辺の外部の環境を逐次撮影し、この撮像により得られた画像データをＥＣＵ１４へ出力する。測距部１６及び１７は、例えば、超音波を発射してその反射波を捉えるソナーであり、車両１と車両１の周囲に存在する物体との距離を測定し、この測定により得られた距離情報をＥＣＵ１４へ出力する。

ブレーキシステム１８は、例えば、ブレーキのロックを抑制するＡＢＳ（Anti-lock Brake System）や、コーナリング時の車両１の横滑りを抑制する横滑り防止装置（ＥＳＣ：Electronic Stability Control）、ブレーキ力を増強させる（ブレーキアシストを実行する）電動ブレーキシステム、ＢＢＷ（Brake By Wire）等である。ブレーキシステム１８は、アクチュエータ１８ａを介して、車輪３ひいては車両１に制動力を与える。また、ブレーキシステム１８は、左右の車輪３の回転差などからブレーキのロックや、車輪３の空回り、横滑りの兆候等を検出して、各種制御を実行することができる。ブレーキセンサ１８ｂは、例えば、制動操作部６の可動部の位置を検出するセンサである。ブレーキセンサ１８ｂは、可動部としてのブレーキペダルの位置を検出することができる。ブレーキセンサ１８ｂは、変位センサを含む。

舵角センサ１９は、例えば、ステアリングホイール等の操舵部４の操舵量を検出するセンサである。舵角センサ１９は、例えば、ホール素子などを用いて構成される。ＥＣＵ１４は、運転者による操舵部４の操舵量や、自動操舵時の各車輪３の操舵量等を、舵角センサ１９から取得して各種制御を実行する。なお、舵角センサ１９は、操舵部４に含まれる回転部分の回転角度を検出する。舵角センサ１９は、角度センサの一例である。

アクセルセンサ２０は、例えば、加速操作部５の可動部の位置を検出するセンサである。アクセルセンサ２０は、可動部としてのアクセルペダルの位置を検出することができる。アクセルセンサ２０は、変位センサを含む。

シフトセンサ２１は、例えば、変速操作部７の可動部の位置を検出するセンサである。シフトセンサ２１は、可動部としての、レバーや、アーム、ボタン等の位置を検出することができる。シフトセンサ２１は、変位センサを含んでもよいし、スイッチとして構成されてもよい。また、変速操作部７の可動部の位置には、例えば、車両１を前進させるドライブレンジ、車両１を後進させるリバースレンジ、車輪３に前進又は後進の動力を与えないニュートラルレンジ、車両１を停止させるパーキングレンジ等が含まれるものとする。

車輪速センサ２２は、車輪３の回転量や単位時間当たりの回転数を検出するセンサである。車輪速センサ２２は、検出した回転数を示す車輪速パルス数をセンサ値として出力する。車輪速センサ２２は、例えば、ホール素子などを用いて構成されうる。ＥＣＵ１４は、車輪速センサ２２から取得したセンサ値に基づいて車両１の移動量などを演算し、各種制御を実行する。なお、車輪速センサ２２は、ブレーキシステム１８に設けられている場合もある。その場合、ＥＣＵ１４は、車輪速センサ２２の検出結果をブレーキシステム１８を介して取得する。

なお、上述した各種センサやアクチュエータ等の構成、配置、電気的な接続形態等は単なる一例であって、必要に応じて種々変更することが可能である。

また、上記構成おいて、撮像装置２０１、ＥＣＵ１４及びモニタ装置１１は、本実施形態に係る車載警報装置を構成する。以下に、本実施形態に係る車載警報装置の構成及び動作を、図面を参照して詳細に説明する。

車載警報装置における誤警報の発生を低減するための具体的な手法としては、例えば、運転者の不注意状態（脇見、居眠り（閉眼）、不在等）をより高精度に検出することが可能な顔検出処理を採用する手法や、異なる種類の顔検出処理の結果の論理積を取るなどして総合的に判断することで顔検出の精度を高める手法等が考えられる。そこで、本実施形態では、運転者の不注意状態をより高精度に検出することが可能な顔検出処理（以下、高精度顔検出処理という）が採用された場合を例に挙げて説明する。

高精度顔検出処理としては、例えば、ディープラーニングなどの機械学習を利用した顔検出処理が存在する。ただし、このような高精度顔検出処理は、一般的にはより多くの処理資源を必要とする。処理資源とは、例えば、処理時間に計算器の処理能力を乗算した値である。そのため、高精度顔検出処理のような処理時間の長い顔検出処理を採用した場合には、顔検出及びその結果に基づく警報のリアルタイム性を損なう可能性が存在する。

このように、顔検出処理の精度と顔検出処理のフレームレートとには、トレードオフの関係が存在する。そのため、車載される制御システム１００のような、処理資源が限られた状況下では、高い顔検出精度と高いフレームレートとの両方を達成することが難しい場合が存在する。

そこで本実施形態では、ある所定の条件が満たされた場合に高精度顔検出処理が実行される構成とする。このような構成とした場合、例えば、運転者の不注意状態が検出されていない期間などの平常時には、処理時間の短い顔検出処理を実行しておくことが可能となる。それにより、高いフレームレート（短い処理時間）で顔検出処理を実行することが可能となるため、運転者の不注意状態に対する反応開始のタイミングを早めることが可能となる。その結果、リアルタイム性を損なうことなく、高精度の顔検出処理の結果に基づいた、誤警報の少ない車載警報装置を実現することが可能となる。

また、平常時にフレームレートの高い顔検出処理を実行できる構成とすることで、運転者の瞬きや視線移動や口動作などを高いフレームレートで検出することが可能となる。それにより、平常時の顔検出処理の結果を、眠気推定や注視点推定や読唇術など、高いフレームレートでの顔検出処理が要求される他のアプリケーションに応用することが可能になるというメリットも得られる。

なお、以下の説明において、実行に必要な処理資源が比較的大きく処理時間が比較的長い処理を「重い処理」とも称する。これに対し、実行に必要な処理資源が比較的小さく処理時間が比較的短い処理を「軽い処理」とも称する。また、「軽い処理」は処理時間が短い反面、顔検出精度が低いのに対し、「重い処理」は処理時間が長いものの、顔検出精度が高いという場合を想定するが、このような関係に限定されるものではない。

本実施形態における「軽い処理」には、例えば、画像データより抽出した特徴点を既存のテンプレート（顔モデル）と照合（顔モデルフィッティング）して顔検出を実行するパターンマッチング（テンプレートマッチングともいう）や、入力層と出力層との間の隠れ層の層数が数層程度の比較的浅いディープラーニングを利用した顔検出処理などを適用することが可能である。一方、本実施形態における「重い処理」には、隠れ層の層数が十数層以上の比較的深いディープラーニングなどの機械学習を利用した顔検出処理などを適用することができる。

例えば、「軽い処理」にパターンマッチングによる顔検出処理を採用した場合、「重い処理」にはディープラーニングを利用した顔検出処理を採用することができる。また、例えば、「軽い処理」に隠れ層の層数が数層程度の比較的浅いディープラーニングを利用した顔検出処理を採用した場合、「重い処理」には隠れ層の層数が十数層以上の比較的深いディープラーニングを利用した顔検出処理を採用することができる。

さらに、上述のような組合せの他にも、画像データに対する顔検出処理における演算の桁数を変更することで、「軽い処理」と「重い処理」との違いを持たせることも可能である。その場合、例えば、「軽い処理」では少数点以下の桁を捨てて演算に使用する桁数を削減することで処理時間を短縮し、「重い処理」では小数点以下の数桁まで演算の対象とすることで顔検出精度を向上するように構成されてもよい。

つづいて、本実施形態に係る車載警報装置の概略構成例について説明する。図５は、本実施形態に係る車載警報装置であって、撮像装置２０１、ＥＣＵ１４及びモニタ装置１１によって構成される車載警報装置１１０の概略構成例を示す機能ブロック図である。図５に示すように、車載警報装置１１０は、状態判定部１１１と、第１処理部１１２と、第２処理部１１３と、タイマ１１４と、状態フラグメモリ１１５と、警報出力部１１６とを備える。

第１処理部１１２は、第１の顔検出処理（以下、第１処理という）を実行する構成であり、撮像装置２０１から状態判定部１１１を介して入力された画像データに対して第１処理を実行し、その結果を状態判定部１１１へ入力する。

ここで、第１処理は、例えば、処理時間が数１０ｍｓ（ミリ秒）程度以下と比較的短い、いわゆる「軽い処理」である。また、第１処理は、例えば、撮像装置２０１から状態判定部１１１を介して所定のフレームレートで入力された画像データに対して、当該所定のフレームレートで顔検出処理を実行する。この第１処理は、例えば、１回の実行に所定の時間を要する処理が繰り返し実行されるループ処理や、所定の実行周期で繰り返し実行されるようにスケジューリングされた周期タスクなどであってよい。

第１処理部１１２は、第１処理の結果として、運転者が正常状態であるか、若しくは、脇見状態、閉眼状態又は不在／異常姿勢状態であるかを特定し、特定した状態に関する情報を状態判定部１１１に入力する。

第２処理部１１３は、第２の顔検出処理（以下、第２処理という）を実行する構成であり、撮像装置２０１から状態判定部１１１を介して入力された画像データに対して第２処理を実行し、その結果を状態判定部１１１へ入力する。本実施形態において、第２処理は、例えば、処理時間が１００ｍｓ程度以上と比較的長い、いわゆる「重い処理」であり、第１処理よりも検出精度が高い高精度顔検出処理である。

第２処理部１１３も、第１処理部１１２と同様に、第２処理の結果として、運転者が正常状態であるか、若しくは、脇見状態、閉眼状態又は不在／異常姿勢状態であるかを特定し、特定した状態に関する情報を状態判定部１１１に入力する。

状態判定部１１１は、車載警報装置１１０内の各部を制御する。また、状態判定部１１１は、第１処理部１１２から入力された第１処理の結果が運転者の不注意状態を示していた場合など、所定の条件が満たされたことをトリガとして、第２処理部１１３による第２処理の実行を開始する。また、状態判定部１１１は、第２処理部１１３から入力された第２処理の結果に基づいて、運転者に対する警報の要否を判断し、要警報と判断した場合には、警報出力部１１６を駆動して運転者へ警報を発する。

なお、状態判定部１１１、第１処理部１１２及び第２処理部１１３は、例えばＥＣＵ１４のＣＰＵ１４ａがＲＯＭ１４ｂ等から所定のプログラムを読み出して実行することでＥＣＵ１４内に実現されるソフトウエア構成であってもよいし、ＣＰＵ１４ａとは別の専用のチップで実現されるハードウエア構成であってもよい。

タイマ１１４は、例えばＥＣＵ１４内に設けられたタイマであってよく、状態判定部１１１からの指示に基づいて、経過時間の計測、計測された経過時間の出力、及びリセットの動作を実行する。

状態フラグメモリ１１５は、例えばＲＡＭ１４ｃ内に確保された記憶領域であり、第１処理部１１２による顔検出処理の結果に基づいて運転者が正常状態であるか不注意状態であるかを保持する。例えば、状態フラグメモリ１１５は、運転者が、正常状態であるか、若しくは、脇見状態、閉眼状態又は不在／異常姿勢状態などの不注意状態であるかを、１ビット又は多ビットのフラグによって保持する。本実施形態では、状態フラグが脇見状態と閉眼状態と不在／異常姿勢状態とを区別して保持する場合を例示する。その場合、状態フラグには、正常状態と脇見状態と閉眼状態と不在／異常姿勢状態との４つの状態を区別して保持し得る２ビットフラグを用いることができる。ただし、脇見状態と閉眼状態と不在／異常姿勢状態とを区別しない場合には、状態フラグとして、正常状態と不注意状態との２つの状態を区別して保持し得る１ビットフラグを用いるなど、種々変形することができる。

警報出力部１１６は、例えば、ＥＣＵ１４内の表示制御部１４ｄ及び音声制御部１４ａ並びにモニタ装置１１内の音声出力装置９や表示装置８で構成され、状態判定部１１１を構成するＣＰＵ１４ａから入力された指示に従って、運転者に対する警報を発する。

次に、本実施形態において車載警報装置１１０が実行する警報動作の概要について、図６を用いて説明する。図６に示すように、車載警報装置１１０では、例えば制御システム１００が立ち上がると、撮像装置２０１で取得された画像データが所定のフレームレートで状態判定部１１１に入力される。状態判定部１１１は、平常時には、入力された画像データを順次、第１処理部１１２に入力する。第１処理部１１２は、所定のフレームレートで入力された画像データに対し、第１処理を繰り返し実行する。１回の第１処理に要する処理時間ｔ１は、例えば３３ｍｓである。そして、第１処理の結果として、運転者の不注意状態（本例では脇見状態）が検出されると（タイミングＴ１）、状態判定部１１１は、状態フラグメモリ１１５における、検出された不注意状態（脇見状態）のフラグをセットするとともに、タイマ１１４による経過時間ｔの計測を開始する。

その後、状態フラグメモリ１１５にセットされたフラグに対応する不注意状態が繰り返される第１処理によって継続して検出される時間（継続時間）ｔが予め設定しておいた所定時間ｔ２に達すると（タイミングＴ２）、状態判定部１１１は、第２処理部１１３を起動して第２処理を実行する。１回の第２処理に要する処理時間ｔ３は、１回の第１処理に要する処理時間ｔ１（例えば３３ｍｓ）よりも長い、例えば５００ｍｓである。また、所定時間ｔ２は、例えば１５００ｍｓである。なお、第２処理部１１３に入力される画像データは、例えばタイミングＴ２付近で撮像装置２０１から状態判定部１１１に入力された画像データであってよい。

そして、第２処理の結果として、運転者の不注意状態（脇見状態）が検出されると（タイミングＴ３）、状態判定部１１１は、例えば、再度、第１処理部１１２を起動して処理時間の短い第１処理を実行することで、運転者が直近まで継続して不注意状態（脇見状態）であるか否かを確認する。その後、状態判定部１１１は、運転者が直近まで継続して不注意状態（脇見状態）であると確認された場合には（タイミングＴ４）、警報出力部１１６を駆動することで、運転者に対して、音声や映像効果等による警報を発する。

以上のような構成によれば、上述の例のように、第１処理の処理時間ｔ１を３３ｍｓとし、所定時間ｔ２を１５００ｍｓとし、第２処理の処理時間ｔ３を５００ｍｓとした場合、車載警報装置１１０は、第１処理部１１２によって最初に運転者の不注意状態が検出されてから約２．０３３秒後に、運転者に対して警告を発することとなる。

ただし、第２処理の後に実行される第１処理、すなわち、タイミングＴ３で実行される第１処理は、省略することが可能である。その場合、状態判定部１１１は、タイミングＴ３の時点で警報出力部１１６を駆動することで、運転者に対して、音声や映像効果等による警報を発する。したがって、所定時間ｔ２が１５００ｍｓであって第２処理の処理時間ｔ３が５００ｍｓであれば、車載警報装置１１０は、第１処理部１１２によって最初に運転者の不注意状態が検出されてから約２秒後に、運転者に対して警告を発することとなる。

なお、上述した第１処理の処理時間ｔ１（３３ｍｓ）、及び、第２処理の処理時間ｔ３（５００ｍｓ）は単なる例にすぎず、第１処理及び第２処理として採用する顔検出処理に応じて変化する値である。また、所定時間ｔ２（１５００ｍｓ）は、任意に設定可能な値である。

つづいて、本実施形態に係る警報動作の流れについて、図面を参照して詳細に説明する。図７は、本実施形態に係る警報動作のメインフローの概略例を示すフローチャートである。図８は、本実施形態に係る警報動作において実行される第１処理の例を示すフローチャートである。図９は、本実施形態に係る警報動作において実行される第２処理の例を示すフローチャートである。なお、本動作の説明にあたって、ＥＣＵ１４には、制御システム１００の電源投入後、撮像装置２０１から所定のフレームレートで画像データが入力されるものとする。

図７に示すように、本警報動作では、まず、状態判定部１１１は、状態フラグメモリ１１５内のそれぞれの状態に関する状態フラグ及びタイマ１１４をリセットする（ステップＳ１０１）。なお、リセットされた状態では、状態フラグメモリ１１５内の状態フラグは、運転者が正常状態であることを示している。

次に、状態判定部１１１は、シフトセンサ２１から入力された変速操作部７の可動部の位置情報（以下、シフト位置情報という）に基づいて、可動部がドライブレンジに設定されているか否かを判定する（ステップＳ１０２）。ドライブレンジに設定されていない場合（ステップＳ１０２のＮＯ）、例えば、変速操作部７がリバースレンジやニュートラルレンジやパーキングレンジに設定されている場合、状態判定部１１１は、本動作を終了するか否かを判定し（ステップＳ１０３）、終了する場合（ステップＳ１０３のＹＥＳ）、本動作を終了する。一方、本動作を終了しない場合（ステップＳ１０３のＮＯ）、ステップＳ１０２へリターンする。

一方、変速操作部７の可動部がドライブレンジに設定されている場合（ステップＳ１０２のＹＥＳ）、状態判定部１１１は、第１処理部１１２を起動するとともに、撮像装置２０１から所定のフレームレートで入力された画像データを第１処理部１１２に順次入力するとともに、繰返し処理である第１処理の実行を開始する（ステップＳ１０４）。なお、第１処理部１１２の起動には、例えば第１処理部１１２に対するＣＰＵリソース（ＣＰＵ１４ａ）などの処理資源の割当てが含まれているものとする。また、繰り返し実行される第１処理それぞれの結果は、随時、第１処理部１１２から状態判定部１１１に入力される。

次に、状態判定部１１１は、第１処理によって運転者の不注意状態（脇見状態、閉眼状態及び不在／異常姿勢状態のいずれか）が検出されたか否かを判定する（ステップＳ１０５）。不注意状態が検出されていない場合（ステップＳ１０５のＮＯ）、状態判定部１１１は、ステップＳ１０１へリターンし、状態フラグメモリ１１５内の状態フラグ及びタイマ１１４をリセットして（ステップＳ１０１）、以降の動作を実行する。

一方、第１処理によって不注意状態が検出された場合（ステップＳ１０５のＹＥＳ）、状態判定部１１１は、第１処理で検出された運転者の状態を状態フラグメモリ１１５内の状態フラグにセット済みであるか否かを判定し（ステップＳ１０６）、セット済みでない場合（ステップＳ１０６のＮＯ）、状態フラグメモリ１１５内の状態フラグに第１処理で検出された運転者の状態をセットするとともに（ステップＳ１０７）、タイマ１１４による経過時間ｔの計測を開始し（ステップＳ１０８）、ステップＳ１０２へリターンする。

また、第１処理で検出された運転者の状態を状態フラグにセット済みである場合（ステップＳ１０６のＹＥＳ）、状態判定部１１１は、タイマ１１４により計測されている経過時間ｔが予め設定しておいた所定時間ｔ２以上となったか否か、すなわち、脇見状態、閉眼状態及び不在／異常姿勢状態のいずれかが所定時間ｔ２以上継続しているか否かを判定し（ステップＳ１０９）、所定時間ｔ２に達していなかった場合（ステップＳ１０９のＮＯ）、ステップＳ１０２へリターンする。

また、経過時間ｔが所定時間ｔ２以上となっていた場合（ステップＳ１０９のＹＥＳ）、状態判定部１１１は、第２処理部１１３を起動するとともに撮像装置２０１から入力された画像データを第２処理部１１３に入力して、第２処理を実行する（ステップＳ１１０）。なお、第２処理部１１３の起動では、例えば、第１処理部１１２に割り当てられていた処理資源が開放されて第２処理部１１３へ割り当てられる。

次に、状態判定部１１１は、第２処理によって運転者の不注意状態が検出されたか否かを判定し（ステップＳ１１１）、不注意状態が検出されなかった場合（ステップＳ１１１のＮＯ）、ステップＳ１０１へリターンし、状態フラグメモリ１１５内の状態フラグ及びタイマ１１４をリセットして（ステップＳ１０１）、以降の動作を実行する。

一方、第２処理によって運転者の不注意状態が検出された場合（ステップＳ１１１のＹＥＳ）、状態判定部１１１は、確認のため、再度、第１処理部１１２を起動して第１処理を実行する（ステップＳ１１２）。つづいて、状態判定部１１１は、ステップＳ１１２で実行した第１処理によって継続して不注意状態が検出されたか否かを判定し（ステップＳ１１３）、不注意状態が検出された場合（ステップＳ１１３のＹＥＳ）、警報出力部１１６を駆動して運転者へ警告を発する（ステップＳ１１４）。その後、状態判定部１１１は、ステップＳ１１０へリターンし、運転者の不注意状態が検出されなくなるまで（ステップＳ１１３のＮＯ）、第２処理及び第１処理の実行（ステップＳ１１０、Ｓ１１２）を繰り返す。

一方、ステップＳ１１２の第１処理によって運転者の不注意状態が検出されなかった場合（ステップＳ１１３のＮＯ）、状態判定部１１１は、ステップＳ１０１へリターンし、状態フラグメモリ１１５内の状態フラグ及びタイマ１１４をリセットして（ステップＳ１０１）、以降の動作を実行する。

なお、第２処理の実行後に確認のための第１処理を実行しない場合には、図７におけるステップＳ１１１〜Ｓ１１２が省略される。その場合、状態判定部１１１は、ステップＳ１１３において、第２処理によって運転者の不注意状態が検出された場合（ステップＳ１１３のＹＥＳ）、警報出力部１１６を駆動して運転者へ警告を発し（ステップＳ１１４）、運転者の不注意状態が検出されなかった場合（ステップＳ１１３のＮＯ）、ステップＳ１０１へリターンする。

つづいて、本実施形態に係る第１処理の流れの一例について説明する。図８に示すように、本実施形態に係る第１処理では、まず、第１処理部１１２は、撮像装置２０１が所定のフレームレートで取得した画像データを状態判定部１１１を介して入力する（ステップＳ１２１）。つづいて、第１処理部１１２は、入力された画像データから運転者の顔の特徴点を抽出し、抽出した特徴点に対してテンプレートを照合するテンプレートマッチング処理を実行する（ステップＳ１２２）。その結果、撮像された時点での運転者の状態が、正常状態であるか、若しくは、脇見状態、閉眼状態及び不在／異常姿勢状態のうちのいずれかであるかが検出される。

なお、第１処理部１１２は、例えば、画像データから運転者の片眼しか検出できなかった場合や、画像データから特定された運転者の目線が車両１の進行方向とは大きく異なっている場合などに、運転者が脇見状態にあると判断する。また、第１処理部１１２は、例えば、画像データから特定される運転者の両眼（片眼しか検出されなかった場合は片眼）が閉じている場合などに、運転者が閉眼状態（又は居眠り状態）にあると判断する。さらに、第１処理部１１２は、例えば、画像データから運転者の顔を検出できなかった場合や、検出された運転者の顔の位置が正常の位置である画像の中央付近から大きく外れている場合などに、運転者が不在／異常姿勢状態にあると判断する。

次に、第１処理部１１２は、ステップＳ１２２のテンプレートマッチング処理により検出された運転者の状態が脇見状態である場合（ステップＳ１２３のＹＥＳ）、状態判定部１１１に対して運転者が脇見状態にあることを出力し（ステップＳ１２４）、本動作を終了する。

また、第１処理部１１２は、ステップＳ１２２のテンプレートマッチング処理により検出された運転者の状態が閉眼状態である場合（ステップＳ１２３のＮＯ，Ｓ１２５のＹＥＳ）、状態判定部１１１に対して運転者が閉眼状態にあることを出力し（ステップＳ１２６）、本動作を終了する。

さらに、第１処理部１１２は、ステップＳ１２２のテンプレートマッチング処理により検出された運転者の状態が不在又は異常姿勢状態である場合（ステップＳ１２３のＮＯ，Ｓ１２５のＮＯ，Ｓ１２７のＹＥＳ）、状態判定部１１１に対して運転者が不在／異常姿勢状態にあることを出力し（ステップＳ１２８）、本動作を終了する。

一方、第１処理部１１２は、ステップＳ１２２のテンプレートマッチング処理により検出された運転者の状態が正常状態である場合（ステップＳ１２３のＮＯ，Ｓ１２５のＮＯ，Ｓ１２７のＮＯ）、状態判定部１１１に対して運転者が正常状態にあることを出力し（ステップＳ１２９）、本動作を終了する。

なお、図８に示す動作は、ステップＳ１２４、Ｓ１２６、Ｓ１２８又はＳ１２９の実行後にステップＳ１２１へリターンする流れであってもよい。その場合、第１処理部１１２は、例えば、外部からの割込み処理によって図８に示す動作を終了する。

つづいて、本実施形態に係る第２処理の流れの一例について説明する。図９に示すように、本実施形態に係る第２処理では、まず、第２処理部１１３は、撮像装置２０１が所定のフレームレートで取得した画像データの１つを状態判定部１１１を介して入力する（ステップＳ１４１）。つづいて、第２処理部１１３は、例えばディープラーニングなどの機械学習を用いた高精度顔検出処理を実行する（ステップＳ１４２）。

なお、高精度顔検出処理とは、上述したように、例えば、隠れ層の数が十数層以上の比較的深いディープラーニングなどの機械学習を利用した顔検出処理などであってよい。その結果、撮像された時点での運転者の状態が、正常状態であるか、若しくは、脇見状態、閉眼状態及び不在／異常姿勢状態のうちのいずれかであるかが検出される。なお、第２処理において、運転者が正常状態、脇見状態、閉眼状態及び不在／異常姿勢状態のうちのいずれの状態であるかの判断基準は、上述の第１処理で用いた判断基準と同様であってよい。

また、高精度顔検出処理である第２処理は、運転者によるサングラスやマスクの着脱についても検出することができるとよい。例えばサングラスの着用がされた場合には、第２処理では、顔の向き及び傾きや鼻及び口の位置関係及び形状等に基づいて、運転者が正常状態であるか、又は、いずれかの不注意状態であるかが判定され得る。また、例えばマスクの着用がされた場合には、第２処理では、両眼の位置関係及び形状等に基づいて、運転者が正常状態であるか、又は、いずれかの不注意状態であるかが判定され得る。さらに、サングラスとマスクの両方が着用された場合には、第２処理では、顔の向き等に基づいて、運転者が正常状態であるか、又は、いずれかの不注意状態であるかが判定され得る。これにより、顔検出におけるロバスト性を高めることが可能となり、誤警報の発生をより抑制することが可能となる。

次に、第２処理部１１３は、図８のステップＳ１２３〜Ｓ１２９と同様に、ステップＳ１４２の高精度顔検出処理により検出された運転者の状態が脇見状態である場合（ステップＳ１４３のＹＥＳ）、状態判定部１１１に対して運転者が脇見状態にあることを出力し（ステップＳ１４４）、閉眼状態である場合（ステップＳ１４３のＮＯ，Ｓ１４５のＹＥＳ）、閉眼状態にあることを出力し（ステップＳ１４６）、不在又は異常姿勢状態である場合（ステップＳ１４３のＮＯ，Ｓ１４５のＮＯ，Ｓ１４７のＹＥＳ）、不在／異常姿勢状態にあることを出力する（ステップＳ１４８）。その後、第２処理部１１３は、本動作を終了する。一方、運転者の状態が正常状態である場合（ステップＳ１４３のＮＯ，Ｓ１４５のＮＯ，Ｓ１４７のＮＯ）、第２処理部１１３は、状態判定部１１１に対して運転者が正常状態にあることを出力し（ステップＳ１４９）、本動作を終了する。

以上のように、本実施形態によれば、平常時には軽い処理である第１処理を実行することで、運転者の不注意状態に対する反応開始のタイミングを早め、第１処理によって運転者の不注意状態が検出された場合には、重い処理である第２処理を実行することで、高精度に運転者の不注意状態を検出することが可能となるため、誤警報の少ない車載警報装置を実現することが可能となる。

なお、上述した説明では、同一の不注意状態が継続して検出された経過時間ｔが所定時間ｔ２以上となった場合に第２処理を実行する場合を例示したが、本実施形態は、このような構成に限定されるものではない。例えば、同一の不注意状態が連続して所定回数検出された場合に、第２処理を実行するように構成するなど、種々変形することが可能である。

また、上述した説明では、脇見状態、閉眼状態及び不在／異常姿勢状態それぞれの不注意状態の経過時間ｔを共通の所定時間ｔ２と比較し、経過時間ｔが所定時間ｔ２以上となった場合に第２処理を実行する場合を例示したが、これに限定されない。例えば、脇見状態、閉眼状態及び不在／異常姿勢状態それぞれに対し、異なる所定時間ｔ２を設定してもよい。その際、不在／異常姿勢状態に対する所定時間ｔ２を０秒としてもよい。その場合、第１処理により不在／異常姿勢状態が検出された場合には、即座に第２処理が実行され、その結果に応じて運転者へ警報が発せられる。

（第２の実施形態）
次に、第２の実施形態に係る車載警報装置について、図面を参照して詳細に説明する。第１の実施形態では、短い周期で繰り返し実行される第１処理によって所定時間以上継続して不注意状態が検出されたことをトリガとして、第１処理とは異なる顔検出処理である第２処理が実行される場合を例示した。しかしながら、第２処理を実行するためのトリガは、第１の実施形態で例示したような、運転者が不注意状態であることに限定されない。そこで第２の実施形態では、運転者が不注意状態であることとは別の条件が満足された場合にも、そのことをトリガとして第２処理が実行される場合について、例を挙げて説明する。

運転者が所定時間以上継続して不注意状態であることとは別の条件としては、例えば車両１の自動制御において、車両通行帯を変更する制御や、右折又は左折をする制御など、運転者が正常状態で着座していることを確保する必要がある制御イベントが発生することなどを例示することができる。そこで、第２の実施形態では、車両１の自動制御において、車両通行帯を変更する制御、及び、右折又は左折をする制御が発生することをトリガとして、第２処理を実行する場合について、例を挙げて説明する。

本実施形態に係る車両及び車両に搭載される制御システムは、第１の実施形態において例示した車両１及び制御システム１００と同様であってよいため、ここではそれらを引用することで、重複する説明を省略する。

図１０は、制御システム１００が実行する自動制御において、ＥＣＵ１４のＣＰＵ１４ａが第２処理を実行するトリガとしての第２処理実行要求を発行する際の流れの一例を示すフローチャートである。図１０に示すように、本動作では、まず、ＣＰＵ１４ａは、車両１の自動制御が開始されるまで待機する（ステップＳ２０１のＮＯ）。その後、例えば、運転者が操作入力部１０や変速操作部７や操舵部４に設けられたスイッチ等を操作することで、ＥＣＵ１４による車両１の自動制御が開始されると（ステップＳ２０１のＹＥＳ）、ＣＰＵ１４ａは、自動制御において、車両通行帯を変更する制御の予定が発生したか否かを判定する（ステップＳ２０２）。また、ＣＰＵ１４ａは、自動制御において、右折又は左折の制御の予定が発生したか否かを判定する（ステップＳ２０３）。車両通行帯変更の制御予定、及び、右折又は左折の制御予定のいずれも発生していない場合（ステップＳ２０２のＮＯ、Ｓ２０３のＮＯ）、ＣＰＵ１４ａは、自動制御が終了されたか否かを判定し（ステップＳ２０６）、終了されていた場合（ステップＳ２０６のＹＥＳ）、本動作を終了する。一方、自動制御が終了されていない場合（ステップＳ２０６のＮＯ）、ＣＰＵ１４ａは、ステップＳ２０２へリターンし、以降の動作を継続する。

一方、自動制御において、車両通行帯の変更制御予定が発生した場合（ステップＳ２０２のＹＥＳ）、又は、右折又は左折の制御予定が発生した場合（ステップＳ２０３のＹＥＳ）、ＣＰＵ１４ａは、予定された車両通行帯を変更する制御若しくは予定された右折又は左折の制御において車両１の操舵を開始する予定時刻よりも所定時間前となるまで待機し（ステップＳ２０４のＮＯ）、当該操舵開始の予定時刻よりも所定時間前となったタイミングで（ステップＳ２０４のＹＥＳ）、第２処理の実行要求を発行する（ステップＳ２０５）。その後、ＣＰＵ１４ａは、ステップＳ２０６へ進む。

以上のようにして発行された第２処理実行要求は、状態判定部１１１に入力される。状態判定部１１１は、警報動作の実行中に第２処理実行要求が入力されると、この第２処理実行要求の入力をトリガとして第２処理を実行する。ここで、図１１に、本実施形態に係る警報動作の一例を示す。図１１に示すように、本実施形態に係る警報動作は、第１の実施形態において図７を用いて説明した警報動作と同様の動作において、例えばステップＳ１０４の実行前にステップＳ２１１を実行するように構成されている。

ステップＳ２１１では、状態判定部１１１は、第２処理実行要求が入力されたか否かを判定し、入力されていない場合（ステップＳ２１１のＮＯ）、ステップＳ１０４へ進んで第１処理を実行する。一方、第２処理実行要求が入力されていた場合（ステップＳ２１１のＹＥＳ）、状態判定部１１１は、ステップＳ１１０へ進んで第２処理を実行する。

以上のように構成及び動作することで、第２の実施形態では、運転者が不注意状態であることに限らず、車両１の自動制御において運転者が正常状態で着座していることを確保する必要がある制御イベントが発生することをトリガとして、第２処理を実行するように構成することが可能となる。その結果、車両通行帯を変更する制御や、右折又は左折をする制御など、運転者が正常状態で着座していることを確保する必要がある制御イベントが発生した場合でも、高精度の顔検出処理の結果に基づいて運転者に警報を発することが可能となるため、誤警報の少ない車載警報装置を実現することが可能となる。

なお、その他の構成、動作及び効果は、上述した実施形態と同様であってよいため、ここでは詳細な説明を省略する。

また、上述した実施形態では、第１処理を「軽い処理」とし、第２処理を「重い処理」とした場合を例示したが、このような構成に限定されない。例えば、異なる種類の顔検出処理の結果に基づくことで顔検出の精度を高める手法を用いることも可能である。その場合、例えば、第１処理として、数フレーム分の画像データを時系列情報として用いて顔検出処理を実行する、いわゆるＲＮＮ（Recurrent Neural Network）を利用した顔検出処理を採用し、第２処理として、１フレーム分の画像データを用いて顔検出処理を実行する、いわゆるＣＮＮ（Convolution Neural Network）を利用した顔検出処理を採用することができる。このような構成でも、上述した実施形態と同様に、平常時に実行された第１処理（例えばＲＮＮを利用した顔検出処理）の結果に基づいて第２処理（例えばＣＮＮを利用した顔検出処理）が実行される。ＲＮＮを利用した顔検出処理は数フレーム分の画像データを時系列情報として用いることから、ＲＮＮを第１処理に採用した場合には、各フレームから得られた顔検出結果の誤差が累積し、それにより、誤った顔検出結果が継続的に出力される可能性が存在する。そこで、運転者に対する警告の前に、単一フレーム分の画像データを用いるＣＮＮを利用した顔検出処理を第２処理として実行することで、累積した誤差の影響を受けずに、運転者の状態を確定することができる。その結果、誤警報の少ない車載警報装置を実現することが可能となる。

以上、本発明の実施形態を例示したが、上記実施形態および変形例はあくまで一例であって、発明の範囲を限定することは意図していない。上記実施形態や変形例は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、組み合わせ、変更を行うことができる。また、各実施形態や各変形例の構成や形状は、部分的に入れ替えて実施することも可能である。

１…車両、２…車体、２ａ…車室、２ｂ…座席、２ｃ…天井部、２ｄ…フロントガラス、３…車輪、３Ｆ…前輪、３Ｒ…後輪、４…操舵部、５…加速操作部、６…制動操作部、７…変速操作部、８…表示装置、９…音声出力装置、１０…操作入力部、１１…モニタ装置、１２…ダッシュボード、１３…操舵システム、１３ａ…アクチュエータ、１３ｂ…トルクセンサ、１４…ＥＣＵ、１４ａ…ＣＰＵ、１４ｂ…ＲＯＭ、１４ｃ…ＲＡＭ、１４ｄ…表示制御部、１４ｅ…音声制御部、１４ｆ…ＳＳＤ、１５…撮像部、１６，１７…測距部、１８…ブレーキシステム、１８ａ…アクチュエータ、１８ｂ…ブレーキセンサ、１９…舵角センサ、２０…アクセルセンサ、２１…シフトセンサ、２２…車輪速センサ、２３…車内ネットワーク、２５…計器盤部、２５ａ…速度表示部、２５ｂ…回転数表示部、１１０…車載警報装置、１１１…状態判定部、１１２…第１処理部、１１３…第２処理部、１１４…タイマ、１１５…状態フラグメモリ、１１６…警報出力部、２０１…撮像装置、２０２…ハンドルコラム。

Claims (5)

1. 所定のフレームレートで入力される画像データそれぞれに対して第１の顔検出処理を実行する第１処理部と、
   画像データに対して前記第１の顔検出処理とは異なる第２の顔検出処理を実行する第２処理部と、
   警報を発する警報出力部と、
   所定の条件が満たされた場合、入力された画像データに対する顔検出処理を、前記第１処理部による前記第１の顔検出処理から前記第２処理部による前記第２の顔検出処理に切り替え、前記第２の顔検出処理の結果、前記入力された画像データから検出された人物の状態が不注意状態である場合、前記警報出力部を制御して前記警報を発する状態判定部と、
   を備える車載警報装置。
2. 前記所定の条件は、前記所定のフレームレートで入力される画像データそれぞれから前記第１の顔検出処理によって検出された前記人物の不注意状態が所定時間以上継続していることである請求項１に記載の車載警報装置。
3. 前記所定の条件は、車両の自動制御において、前記車両が走行する車両通行帯を変更する制御の予定が発生したこと、若しくは、前記車両を右折又は左折する制御の予定が発生したことである請求項１又は２に記載の車載警報装置。
4. 前記第２の顔検出処理の顔検出精度は、前記第１の顔検出処理の顔検出精度よりも高い請求項１に記載の車載警報装置。
5. 前記状態判定部は、前記第２の顔検出処理の結果、前記入力された画像データから検出された人物の状態が不注意状態である場合、新たに入力された画像データに対する顔検出処理を、前記第２処理部による前記第２の顔検出処理から再度、前記第１処理部による前記第１の顔検出処理に切り替え、前記第１の顔検出処理の結果、前記新たに入力された画像データから検出された前記人物の状態が前記不注意状態である場合、前記警報出力部を制御して前記警報を発する請求項１に記載の車載警報装置。

Images