JP6676084B2 - 車両の乗員監視装置 - Google Patents

Description

本発明は、自動車などの車両の乗員を監視する装置に関する。

自動車などの車両では、乗車したドライバなどの乗員を監視することが望ましい場合がある（特許文献１〜３）。
乗員監視装置は、たとえば、乗車した乗員を認識し、乗員の脇見や居眠りを監視し、脇見や居眠りをした乗員に対して警告を与える。
これにより、乗員の注意を車両の走行に集中させるように仕向けて安全性を高めることが期待できる。

特開２０１３−１０３５３０号公報 特開２０１３−１０９４４７号公報 特開２００４−３３０９７９号公報

ところで、乗員によっては、乗員監視装置の警告を不要と考えたり煩わしく感じたりすると考えられる。
このため、乗員監視装置では、乗員の操作により起動または停止に設定できるようにすることが望ましい。

しかしながら、乗員監視装置が停止している場合、乗員監視装置を起動したとしても、乗員監視装置は、乗車した乗員を認識した後でなければ乗員の監視を開始することができない。
車両の移動中にドライバなどの乗員が入れ替わる場合、乗員は、乗員監視装置が乗員を認識し終えるまで待たなければならない。
仮に乗員監視装置が乗員を認識し終える前に移動が再開された場合、乗員監視装置は実際とは異なる乗員を認識した状態で、乗員の脇見や居眠りを監視する可能性がある。このような状態での使用を許容することは、好ましいこととは言えない。

このような車両では、乗員監視装置を好適に起動停止できるようにすることが望まれる。

本発明に係る車両の乗員監視装置は、車両に設けられ、前記車両に乗車した乗員を認識して監視する乗員監視装置であって、前記車両に乗車した乗員を認識する認識部と、前記認識部により認識された乗員に対応する設定データを記録するバッファと、前記認識部により認識された乗員の情報が登録される記憶部と、前記認識部とは別の処理により、前記認識部による乗員の認識結果に応じた前記バッファの設定データに基づいて、前記車両に乗車した乗員を監視する監視部と、前記認識部と前記監視部とに対して個別に設定される起動または停止の設定に基づいて、前記監視部の停止状態において前記認識部を起動できるように前記認識部と前記監視部とを個別に起動停止する起動制御部と、を有し、前記認識部は、前記監視部の起動状態において起動される場合には、認識した乗員の情報を前記記憶部に登録するとともに乗員の認識結果に応じて前記バッファを更新し、前記監視部の停止状態において起動される場合には、認識した乗員の情報を前記記憶部に登録し、前記バッファを更新しないようにし、前記監視部は、起動される場合には、前記認識部の起動停止状態にかかわらず、前記記憶部に登録されている乗員の情報に基づいて前記認識部による乗員の認識結果に応じて前記バッファを更新してから、前記バッファの設定データに基づいて乗員を監視する。

好適には、前記監視部は、前記認識部により特定の乗員が認識されている場合、その乗員の認識結果に応じて更新される前記バッファの設定データに基づいて、認識された乗員を監視し、前記認識部により特定の乗員が認識されない場合、その乗員の認識結果に応じて更新されていない前記バッファの設定データに基づいて、乗車している乗員を特定しない状態で監視する、とよい。

好適には、前記起動制御部は、前記車両への乗員の乗車を検出した場合、前記監視部の停止状態において前記認識部を起動する、とよい。

好適には、前記起動制御部は、前記車両が始動した場合、前記監視部の停止状態において前記認識部を起動する、とよい。

好適には、前記バッファに設定されている認識乗員の前記設定データを、前記車両に設けられる他の装置へ送信する通信部、を有する、とよい。

好適には、前記起動制御部は、前記車両の走行中には前記監視部を起動し、前記車両の停車中には前記認識部を起動する、とよい。

本発明では、車両に乗車した乗員を認識する認識部と、認識部による乗員の認識結果に応じて車両に乗車した乗員を監視する監視部とが、個別に起動停止する。たとえば認識部と監視部とに対して個別に起動または停止を設定することにより、認識部と監視部とを個別に起動停止できる。
そして、本発明では、監視部を停止する状態において認識部を起動できる。よって、監視部を停止する状態において、車両に乗車した乗員を認識することができる。また、その後に監視部を起動した場合には、監視部は、認識部による認識を待つことなく、停止中に乗車した乗員に対する監視を、適切に開始することができる。これにより、本発明では、乗員監視装置を好適に起動停止できる。

図１は、本発明の乗員監視装置が適用される自動車の説明図である。 図２は、図１の自動車の車載ネットワークシステムの一例の説明図である。 図３は、本発明の実施形態に係る乗員監視装置の説明図である。 図４は、図３の監視起動設定データの設定値および認識起動設定データの設定値と、乗員監視装置の起動停止状態との対応関係の説明図である。 図５は、図３の個人データベースのデータ構造の説明図である。 図６は、図２の乗員監視装置による乗員認識処理の流れを示すフローチャートである。 図７は、図２の乗員監視装置による監視起動処理の流れを示すフローチャートである。 図８は、図２の乗員監視装置での設定状態の遷移の説明図である。

以下、本発明の実施形態を、図面に基づいて説明する。

図１は、本発明の乗員監視装置が適用される自動車１の説明図である。
自動車１は、車両の一例である。自動車１は、内燃機関を走行の動力源としているものでも、バッテリの蓄電電力を走行の動力源としているものでも、それらを組み合わせたものでもよい。
図１の自動車１は、乗員室が形成された車体２、車体２の側面に設けられるドア３、を有する。
ドライバなどの乗員は、ドア３を開いて乗員室へ入り、シート４に着座する。ドライバ用のシート４の前側には、たとえばダッシュボード５から後向きに突出したハンドル６、イグニションスイッチ、アクセルペダル、ブレーキペダル、シフトレバー、パーキングレバーといった操作部材が配置される。
ドライバは、シート４に着座したまま、操作部材を操作する。自動車１は、ドライバの操作に応じて走行し、方向を変え、停止する。
また、ドライバなどの乗員は、イグニションスイッチを操作して自動車１を停止させた後、ドア３を開いて乗員室の外へ出る。

図２は、図１の自動車１の車載ネットワークシステム１０の一例の説明図である。
車載ネットワークシステム１０では、相互通信可能な複数の電子機器が、車内ネットワーク１１により、相互にデータ通信可能に接続されている。
図２では、複数の電子機器として、乗員監視装置１２、ドア開閉センサ１３、車速センサ１４、パークセンサ１５、ポジション設定装置１６、運転支援装置１７、車外通信装置１８、が例示されている。
車内ネットワーク１１には、たとえばＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＬＩＮ（Ｌｏｃａｌ Ｉｎｔｅｒｃｏｎｎｅｃｔ Ｎｅｔｗｏｒｋ）に準拠した有線の通信ネットワークがある。車内ネットワーク１１は、無線の通信ネットワークでもよい。
また、車内ネットワーク１１は、乗員が降車した後、通信を制限したスリープ状態になってよい。この場合、車内ネットワーク１１は、乗員が乗車する際に、通信が可能な起動状態になる。車内ネットワーク１１は、たとえば乗員が所持するキーレスエントリ機器の検出に基づいて、スリープ状態から起動状態になる。車内ネットワーク１１は、車内ネットワーク１１を自律的にオン状態とオフ状態との間で切り替えるネットワーク制御部を備えてよい。

乗員監視装置１２は、たとえば乗員室に乗車してドライバ用のシート４に着座した乗員を認識し、認識した乗員の脇見や居眠りを監視する。そして、乗員が脇見や居眠りをしていることを検出した場合、乗員監視装置１２は、音声などにより乗員に対して警告を発する。これにより、乗員の注意を自動車１の走行に集中させるように仕向けて安全性を高めることが期待できる。

ドア開閉センサ１３は、自動車１のドア３が閉じた状態から開いたこと、および、開いた状態のドア３が閉じられたことを検出する。
車速センサ１４は、自動車１の停止および走行を検出する。車速センサ１４は、自動車１の走行速度を検出してもよい。
パークセンサ１５は、自動車１が停車状態に維持されるパーキング状態を検出する。パーキング状態は、たとえばシフトレバーがパーキングポジションに操作されたこと、パーキングレバーが引かれたこと、により検出することができる。
ポジション設定装置１６は、たとえば、シート４の前後上下の位置および背もたれの角度、ハンドル６の前後上下の位置および角度、各種ペダルの前後上下の位置および角度を調整する。また、シート４に着差した乗員に対応する設定データを記録し、それに基づいてシート４、ハンドル６およびペダルの位置および角度を調整する制御を実行する。なお、ポジション設定装置１６は、自動運転中でのポジションの設定データを、手動運転中でのポジションの設定データと別に記録し、自動車１の運転状況に応じてポジションを変更してもよい。
運転支援装置１７は、乗員による自動車１の走行操作を支援するように、自動車１の走行、停止および操舵を制御する。また、運転支援装置１７は、全自動で、自動車１の走行、停止および操舵を制御してもよい。
車外通信装置１８は、たとえば公共無線通信網や商用無線通信網を用いて、地上に設置された通信設備や他の自動車１の車外通信装置１８と、双方向のデータ通信を実行する。これにより、自動車１は、交通情報、周囲を走行する自動車１の走行状態、自車の周囲の交通状況に関する情報を取得できる。また、車外通信装置１８は、たとえば自動運転中などの自車の走行状態の情報を送信できる。
そして、これらの電子機器は、車内ネットワーク１１を通じて相互にデータを送受する。これにより、たとえば乗員監視装置１２は、その制御に必要な情報を得たり、ポジション設定装置１６や運転支援装置１７が必要とする情報を提供したりできる。

ところで、乗員によっては、乗員監視装置１２の警告を不要と考えたり煩わしく感じたりすると考えられる。
このため、乗員監視装置１２では、乗員の操作により起動または停止に設定できるようにすることが望ましい。
しかしながら、乗員監視装置１２が停止している場合、乗員監視装置１２を起動したとしても、乗員監視装置１２は、乗車した乗員を認識した後でなければ乗員の監視を開始することができない。
自動車１の移動中にドライバなどの乗員が入れ替わる場合、乗員は、乗員監視装置１２が乗員を認識し終えるまで待たなければならない。
また、乗員監視装置１２が乗員を正しく認識し終える前に移動を再開した場合、乗員監視装置１２は実際とは異なる乗員を認識した状態で、乗員の脇見や居眠りを監視する可能性がある。このような不整合な状態での乗員を監視することを許容することは、好ましいこととは言えない。
このように自動車１では、乗員監視装置１２を好適に起動停止できるようにすることが望まれる。

図３は、本発明の実施形態に係る乗員監視装置１２の説明図である。
図３には、乗員監視装置１２とともに、乗員監視装置１２と車内ネットワーク１１を通じてデータを送受可能なドア開閉センサ１３、車速センサ１４、パークセンサ１５、が図示されている。ドア開閉センサ１３は、ドア３の開閉状態の情報を、乗員監視装置１２へ送信する。車速センサ１４は、自動車１の速度の情報を、乗員監視装置１２へ送信する。パークセンサ１５は、パーキング状態であるか否かの情報を、乗員監視装置１２へ送信する。これらのセンサを含めて、乗員監視システムが構成されている。これらのセンサは、乗員監視装置１２の一部として設けられてもよい。
図３の乗員監視装置１２は、モニタ２１、タッチパネル２２、車内カメラ２３、監視部２４および対処部２５を有する乗員監視部２６、スピーカ２７、シート振動部材２８、車内通信部２９、個人設定データバッファ３０、設定更新部３１、起動制御部３２、個人認識部３３、記録部３４、を有する。
スピーカ２７、シート振動部材２８は、乗員監視装置１２とは別体に自動車１に設けられ、車内ネットワーク１１を通じて乗員監視装置１２とデータを送受可能なものであってもよい。
なお、乗員監視部２６、設定更新部３１、起動制御部３２、および個人認識部３３は、乗員監視装置１２のＥＣＵ（Electric Control Unit）といったマイクロコンピュータ装置がプログラムを実行することにより乗員監視装置１２に実現されてよい。また、個人設定データバッファ３０、記録部３４、車内通信部２９は、マイクロコンピュータ装置に組み込まれた状態で乗員監視装置１２に設けられてよい。プログラムは、記録部３４に記録されてよい。

モニタ２１は、液晶デバイスといった表示部材である。モニタ２１は、たとえば操作画面、監視画面、警告画面を表示し、ユーザへ情報を提供する。

タッチパネル２２は、ユーザ操作される部材である。タッチパネル２２は、モニタ２１と重ねて設けられてよい。モニタ２１およびタッチパネル２２により、乗員監視装置１２のユーザインタフェースが形成される。

車内カメラ２３は、乗員室内を撮像する部材である。車内カメラ２３は、ドライバの頭部を撮像するものであっても、乗員室を全体的に３６０度方向で撮像するものであってもよい。

そして、図１に示すように、乗員監視装置１２の本体３５がダッシュボード５の中央部分に配置されることにより、ドライバおよび助手席の乗員は、モニタ２１の表示画面を閲覧し、タッチパネル２２を操作できる。また、車内カメラ２３は、ドライバの頭部を前側から撮像できる。

スピーカ２７は、乗員室内へ音声を出力する部材である。スピーカ２７は、乗員監視装置１２の本体３５と音声ケーブルで接続され、ドア３内に設けられてもよい。

シート振動部材２８は、振動する部材である。シート振動部材２８は、乗員監視装置１２の本体３５と信号ケーブルで接続され、ドライバ用のシート４に設けられる。なお、シート振動部材２８の替わりに、ハンドル６に内蔵された振動部材を設けてもよい。

車内通信部２９は、車内ネットワーク１１に接続される。車内通信部２９は、必要に応じてまたは周期的に乗員監視装置１２が必要とする情報を受信する。また、車内通信部２９は、必要に応じてまたは周期的に乗員監視装置１２の情報を送信する。車内通信部２９は、たとえばドア３の開閉状態の情報、自動車１の速度の情報、パーキング状態であるか否かの情報を受信する。

記録部３４は、記録されたデータを無給電時にも保持する部材である。記録部３４は、たとえば不揮発性メモリでよい。そして、記録部３４は、たとえば個人データベース３６、認識乗員データ３７、監視起動設定データ３８、認識起動設定データ３９、を保持する。

図４は、図３の監視起動設定データ３８の設定値および認識起動設定データ３９の設定値と、乗員監視装置１２の各機能の起動停止状態との対応関係の説明図である。

図４に示すように、監視起動設定データ３８（乗員監視）がＯＮの設定値である場合、脇見検出機能および居眠り検出機能が有効となる。起動制御部３２は、乗員監視部２６を起動する。乗員監視部２６は、監視を開始可能な状態になる。
これに対し、監視起動設定データ３８（乗員監視）がＯＦＦの設定値である場合、脇見検出機能および居眠り検出機能が無効となる。起動制御部３２は、乗員監視部２６を停止する。乗員監視部２６は、監視を終了する。

認識起動設定データ３９（個人認識）がＯＮの設定値である場合、個人認識機能が有効となる。起動制御部３２は、個人認識部３３を起動する。個人認識部３３は、認証を開始可能な状態になる。
これに対し、認識起動設定データ３９の設定値（個人認識）がＯＦＦ設定である場合、個人認識機能が無効となる。起動制御部３２は、個人認識部３３を停止する。個人認識部３３は、認証を終了する。

起動制御部３２は、車内ネットワーク１１のオンオフ状態に応じて、乗員監視部２６および個人認識部３３の起動停止を個別に制御する。
車内ネットワーク１１がオン状態になると、起動制御部３２は、その時点での監視起動設定データ３８の設定値および認識起動設定データ３９の設定値にて、乗員監視部２６および個人認識部３３を個別に起動させる。
車内ネットワーク１１がオフ状態になると、起動制御部３２は、乗員監視部２６および個人認識部３３をともに停止する。
なお、起動制御部３２は、自動車１の機能を起動するイグニションスイッチのオンオフ状態に応じて、乗員監視部２６および個人認識部３３の起動停止を個別に制御してもよい。
このように起動制御部３２は、乗員監視部２６を停止する設定状態において、個人認識部３３を起動する設定に基づいて個人認識部３３を起動することができる。
そして、監視を開始可能な乗員監視部２６は、走行中の安全性を確保するために、基本的に自動車１の走行中に、監視処理を実行する。
また、個人認識部３３は、乗員監視の必要性が低い自動車１の停車中に、必要に応じて個人認識処理を実行する。

図５は、図３の個人データベース３６のデータ構造の説明図である。
図５において各行で現わされている個人データベース３６の各レコードは、自動車１に乗車する各乗員に対応する。レコードは、たとえば個人ＩＤ、顔データ、監視起動の設定値、認識起動の設定値、個人設定データ、を有する。

個人ＩＤは、登録する乗員毎に重複が生じないように発行される識別番号である。

顔データは、登録する乗員の顔を撮像したデータである。

個人設定データは、登録する乗員についての登録された自動車１の設定データである。個人設定データは、たとえばスピーカ２７のオンオフの設定値、振動部材のオンオフの設定値、シート４やハンドル６などの乗員ポジションの設定値を有する。

個人設定データバッファ３０は、認識した乗員についての個人ＩＤや設定データを記憶する。設定データは、乗員監視部２６に利用される。個人ＩＤまたは設定データの一部は、車内通信部２９により他の電子機器へ送信される。
他の電子機器は、受信した個人ＩＤまたは設定データに基づいて、各種の個人設定制御を実行する。たとえばポジション設定装置１６は、受信した設定データに基づいて、または受信した個人ＩＤに対応して自身に記録している設定データに基づいて、シート４の前後上下の位置および背もたれの角度などを調整する。

個人認識部３３は、認識起動設定データ３９の設定値が認証を開始可能なＯＮ設定である場合、自動車１に乗車した乗員を認識する個人認識処理を実行する。
個人認識処理の詳細については後述するが、個人認識部３３は、車内カメラ２３により撮像される乗員の顔の画像と、個人データベース３６に登録されている複数の顔データとを比較する。
所定のマッチング値が得られる顔データが得られる場合、個人認識部３３は、最も高いマッチング値の顔データに対応して個人データベース３６に登録されている個人ＩＤにより、認識乗員データ３７を更新する。
これにより、自動車１に乗車した乗員に対応する個人ＩＤが、認識乗員データ３７に登録される。

設定更新部３１は、タッチパネル２２の操作に基づいて、監視起動設定データ３８および認識起動設定データ３９を更新する。
設定更新部３１は、タッチパネル２２の操作に基づいて、個人データベース３６のレコードを追加、削除、更新する。
設定更新部３１は、タッチパネル２２の操作に基づいて、個人設定データバッファ３０の設定値を更新する。
乗員監視部２６が監視開始可能な状態になった場合、また監視中に認識乗員データ３７が更新された場合、設定更新部３１は、個人データベース３６において認識乗員データ３７の個人ＩＤに対応するレコードを読み込み、これらを監視起動設定データ３８、認識起動設定データ３９、および個人設定データバッファ３０に設定する。
これにより、乗員監視部２６を起動する設定状態では、設定更新部３１は、個人設定データバッファ３０の設定データを、個人認識部３３による乗員の認証結果に応じて更新し、乗員監視部２６を停止する設定状態では更新しない。また、個人設定データバッファ３０には、個人認識部３３により認識された乗員に対応する設定データが記録される。
乗員監視部２６が監視を終了する場合、設定更新部３１は、監視起動設定データ３８、認識起動設定データ３９、および個人設定データバッファ３０の設定値により、個人データベース３６を更新する。
乗員監視部２６は、自動車１のイグニションスイッチがオフ操作された場合、その時点でのデータにより、個人データベース３６を更新する。バッファの退避処理がなされる。
なお、乗員監視部２６は、必要に応じて適宜、監視起動設定データ３８、認識起動設定データ３９、および個人設定データバッファ３０の設定値により、個人データベース３６を更新してよい。この更新は、個人データベース３６のすべての設定値を更新するものであっても、一部の設定値を更新するものであってもよい。たとえば乗員監視部２６は、乗員監視装置１２そのもので使用する設定値を、個人データベース３６への個人ＩＤの登録時に同時に登録し、その後のイグニションオフ操作時に自動車１の図示外の空調装置の温度といった他の装置の設定値を、個人データベース３６に登録してよい。

乗員監視部２６は、監視部２４および対処部２５を有する。
監視部２４は、監視起動設定データ３８の設定値が認証を開始可能なＯＮ設定である場合、個人認識部３３による乗員の認識結果に応じて、自動車１に乗車した乗員を監視する監視処理を実行する。

監視処理において、監視部２４は、認識乗員データ３７に登録されている個人ＩＤに対応して個人データベース３６に登録されている顔データを基準とし、車内カメラ２３により撮像される乗員の顔の画像が所定の監視対象状態に対応する状態にあるか否かを判断する。
たとえば脇見を監視対象とする場合、撮像画像における顔の向きが、進行方向前方からずれた状態が所定時間以上継続されているか否かを判断する。
また、居眠りを監視対象とする場合、撮像画像における目が所定回数以上または所定期間以上にわたって閉じられた状態が生じたか否かを判断する。
なお、監視部２４は、個人ＩＤが認識乗員データ３７に登録されていない場合、一般化された標準的な顔データを基準とし、車内カメラ２３により撮像される乗員の顔の画像が所定の監視対象状態に対応する状態にあるか否かを判断してよい。

対処部２５は、監視部２４により警告状態が生じたと判断された場合、警告処理を実施する。
警告処理において、対処部２５は、個人設定データバッファ３０の設定値を確認する。そして、スピーカ２７をオンとする設定値がある場合、対処部２５は、一定期間スピーカ２７から警告音を出力する。振動部材をオンとする設定値がある場合、対処部２５は、シート振動部材２８を一定期間振動させる。また、対処部２５は、個人設定データバッファ３０の設定値を確認し、表示オンとする設定値がある場合、モニタ２１に警告を表示する。
このように、乗員監視装置１２の乗員監視部２６は、個人認識部３３による乗員の認識結果に応じて、自動車１に乗車した乗員を監視し、必要に応じて表示や音などにより警告を発することができる。

車内通信部２９は、乗員監視部２６を起動する設定状態および停止する設定状態において、個人設定データバッファ３０に設定されている認識乗員の設定データを、自動車１に設けられる他の電子機器へ送信する。
車内通信部２９は、設定データを周期的に繰り返して他の電子機器へ送信してよい。

図６は、図２の乗員監視装置１２による乗員認識処理の流れを示すフローチャートである。
乗員監視装置１２の起動制御部３２は、図６の処理を周期的に繰り返し実行する。
図６の乗員認識処理において、起動制御部３２は、まず、自動車１の始動時であるか否かを判断する（ステップＳＴ１）。起動制御部３２は、たとえば自動車１のイグニションスイッチがオン操作されてから所定の期間内であるかに基づいて、自動車１の始動時であるか否かを判断してよい。自動車１の始動時である場合、個人認証部は、乗員監視部２６の起動停止にかかわらず、ステップＳＴ５の個人認証処理を実行する。

自動車１を始動してから所定の期間が経過している場合、起動制御部３２は、始動時でないと判断し、ドア３が閉操作されたか否かを判断する（ステップＳＴ２）。個人認証部は、たとえば車内通信部２９が受信したドア開閉センサ１３の検出値に基づいて、ドア３が閉操作されたか否かを判断してよい。ドア３は、乗員は、自動車１へ乗車する場合、ドア３を開いて乗車し、シート４に着座した状態でドア３を閉じる。ドア開閉センサ１３の検出値により、乗員の乗車を検出することができる。なお、起動制御部３２は、ドア３が開操作されたこと、ドア３が開閉されたこと、を判断してもよい。そして、ドア３の閉操作がなされていない場合、起動制御部３２は、図６の処理を終了する。

ドア３が閉操作された場合、起動制御部３２は、自動車１が停車中であるか否かを判断する（ステップＳＴ３）。起動制御部３２は、たとえば車内通信部２９が受信した車速センサ１４の検出速度が０キロメートル毎時であることに基づいて、停車中であると判断してよい。そして、停車中でない場合、起動制御部３２は、図６の処理を終了する。

停車中である場合、起動制御部３２は、認識起動設定データ３９に基づいて、個人認識がオン設定されているか否かを判断する（ステップＳＴ４）。個人認識がオン設定されていない場合、起動制御部３２は、図６の処理を終了する。

個人認識がオン設定されている場合、またはステップＳＴ１において始動時であると判断された場合、起動制御部３２は、個人認識部３３に個人認識処理を指示する（ステップＳＴ５）。個人認識部３３は、車内カメラ２３により撮像される乗員の顔の画像と、個人データベース３６に登録されている複数の顔データとを比較して、乗車している個人を認識して特定する処理を実行する。

次に、個人認識部３３は、マッチングする個人を認識できたか否かを判断する（ステップＳＴ６）。そして、マッチングする結果が得られなかった場合、個人認識部３３は、個人認識処理を終了する。この場合、認識乗員データ３７は、更新されない。

マッチングする結果が得られる場合、個人認識部３３は、監視起動設定データ３８に基づいて、乗員監視がオン設定されているか否かを判断する（ステップＳＴ７）。

乗員監視がオン設定されている場合、個人認識部３３は、マッチング判断した顔データに対応して登録されている個人ＩＤにより、認識乗員データ３７を更新する（ステップＳＴ８）。その後、設定更新部３１は、認識乗員データ３７に登録されている個人ＩＤに対応する設定データを個人データベース３６から読み込み、個人設定データバッファ３０を更新する（ステップＳＴ９）。これにより、個人設定データバッファ３０には、認識された乗員についての設定データが登録される。また、設定更新部３１は、乗員監視部２６へ乗員監視を指示する（ステップＳＴ１０）。乗員監視部２６は、更新された個人設定データバッファ３０の設定データに基づいて、乗員監視を開始できる。

乗員監視がオフ設定されている場合、個人認識部３３は、マッチング判断した顔データに対応して登録されている個人ＩＤにより、認識乗員データ３７を更新する（ステップＳＴ１１）。この場合、設定更新部３１は、個人設定データバッファ３０を更新しない。よって、乗員監視部２６は、以前に個人設定データバッファ３０に登録された設定データに基づいて、乗員監視を開始または継続するようになる。

図７は、図２の乗員監視装置１２による監視起動処理の流れを示すフローチャートである。
乗員監視装置１２の乗員監視部２６は、図７の処理を周期的に繰り返し実行する。

図７において、乗員監視部２６は、監視起動設定データ３８に基づいて、乗員監視がオン設定されているか否かを判断する（ステップＳＴ２１）。

乗員監視がオン設定されている場合、設定更新部３１は、乗員監視部２６の指示に基づき、認識乗員データ３７に登録されている個人ＩＤに対応する設定データを個人データベース３６から読み込み、個人設定データバッファ３０を更新する（ステップＳＴ２２）。これにより、個人設定データバッファ３０には、最後に認識された乗員についての設定データが登録される。その後、乗員監視部２６は、個人設定データバッファ３０から監視の制御に用いる設定データを読み込み、設定に応じた監視を実行する（ステップＳＴ２３）。

乗員監視がオフ設定されている場合、乗員監視部２６は、監視を終了する処理を実行する（ステップＳＴ２４）。設定更新部３１は、乗員監視部２６の指示に基づき、個人設定データバッファ３０の設定データを読み込み、個人データベース３６において対応する設定データを更新する。これにより、個人データベース３６には、常に乗員の最新の設定データが記録されることになる。

図８は、図２の乗員監視装置１２での設定状態の遷移の説明図である。図８は、個人認証がオン設定であることを前提としている。
図８に示すように、自動車１が始動されると、個人認識処理が実行可能になる。個人認識処理により、乗車した乗員が認識される。

そして、認識された乗員が個人データベース３６に登録されている場合、乗員監視装置１２の設定状態は、第１設定状態５１または第２設定状態５２となる。
第１設定状態５１は、乗員監視がオン設定である場合のものである。この場合、登録されたユーザＡが認証され、ユーザＡの設定値が乗員監視のために個人設定データバッファ３０に設定される。この場合、乗員監視装置１２は、乗車している乗員を特定して、その乗員を監視することになる。

第２設定状態５２は、乗員監視がオフ設定である場合のものである。この場合、ユーザＡが認証されるが、個人設定データバッファ３０にはユーザＡの設定値が設定されない。その後に、乗員監視がオン設定となるように操作されて第１設定状態５１となることにより、ユーザＡの設定値が設定される。ただし、その後に乗員監視がオフ設定となるように操作されて第１設定状態５１から遷移した場合には、個人設定データバッファ３０にはユーザＡの設定値が設定されることになる。

乗車が検出されると、再び個人認識処理により新たな乗車状態での乗員が認証される。
たとえば個人データベース３６に登録されたユーザＢが認識された場合、乗員監視装置１２の設定状態は、ユーザＢについての第１設定状態５１または第２設定状態５２となる。
これに対し、個人データベース３６に登録されていないユーザＣが認識された場合、乗員監視装置１２の設定状態は、第３設定状態５３または第４設定状態５４となる。

第３設定状態５３は、乗員監視がオン設定である場合のものである。この場合、ユーザＣが登録されていないため、ユーザ未設定となり、個人設定データバッファ３０も更新されない。個人設定データバッファ３０には、ユーザＣに関連付けられていない設定データが登録されたままになる。この場合、乗員監視装置１２は、乗車している乗員を特定しない状態で、乗車した乗員を監視することになる。その後に、乗員監視がオフ設定となるように操作されることにより、第４設定状態５４となる。

第４設定状態５４は、乗員監視がオフ設定である場合のものである。この場合にも、ユーザ未設定となり、個人設定データバッファ３０も更新されない。その後に、乗員監視がオン設定となるように操作されることにより、第３設定状態５３となる。
このように、本実施形態の乗員監視装置１２は、乗員監視のオンオフ設定と、個人認識の結果とに応じて異なる設定状態に遷移する。

以上のように、本実施形態では、自動車１に乗車した乗員を認識する個人認識部３３と、個人認識部３３により認識された乗員の設定に基づいて乗車した乗員を監視する乗員監視部２６とが、個別に起動停止できる。すなわち、個人認識部３３と乗員監視部２６とに対して個別に起動または停止を設定して、個人認識部３３と乗員監視部２６とを個別に起動停止できる。
そして、本実施形態では、乗員監視部２６を停止する設定状態において、個人認識部３３を起動する設定に基づいて個人認識部３３を起動できる。よって、乗員監視部２６を停止する設定状態において、自動車１に乗車した乗員を認識することができる。また、その後に乗員監視部２６を起動した場合には、乗員監視部２６は、個人認識部３３による認識を待つことなく、停止中に乗車して認識された乗員に対する監視を、即座に適切に開始することができる。乗員監視装置１２を好適に起動停止できる。
そして、乗員監視部２６は、個人認識部３３により特定の乗員が認識されている場合、認識された乗員を監視し、個人認識部３３により特定の乗員が認識されない場合、乗車している乗員を特定しない状態で、乗車した乗員を監視することができる。
これに対し、仮にたとえば、乗員監視装置１２の全体が１つの設定に基づいて全体的に起動停止制御される場合、乗員監視装置１２を起動したとしても、乗員監視装置１２は、乗車した乗員を認識した後でなければ乗員の監視を開始することができない。乗員が適宜乗車と降車とを繰り返す自動車１に特有の課題を解決することができない。自動車１の移動途中においてドライバなどの乗員が入れ替わる場合、交代した乗員は、乗員監視装置１２が自身を認識し終えるまで待たなければならない。そして、仮に乗員監視装置１２が乗員を認識する前に移動が再開されてしまった場合、乗員監視装置１２は実際とは異なる乗員を認識した状態で、乗員の脇見や居眠りを監視することになる。このような状態での監視を許容することは、望ましいことではない。

本実施形態では、乗員の乗車を検出した場合、乗員監視部２６を停止する設定状態においても個人認識部３３が起動する。よって、自動車１へ乗員が乗車する際には、乗員監視部２６の起動停止に関係なく乗車した乗員を認識できる。

本実施形態では、自動車１が始動した場合、乗員監視部２６を停止する設定状態において個人認識部３３を起動できる。よって、自動車１が始動した場合には、乗員監視部２６の起動停止に関係なく乗車した乗員を認識できる。
本実施形態では、自動車１の走行中には設定に基づいて乗員監視部２６を起動し、乗員監視部２６による監視の必要性が少ない停車中には設定に基づいて個人認識部３３を起動する。よって、走行中に乗員監視部２６が監視することを妨げることなく、個人認識部３３により乗員を識別することができる。

本実施形態では、乗員監視部２６により利用するための設定データを記録する個人設定データバッファ３０は、乗員監視部２６を起動する設定状態では、個人認識部３３による乗員の最新の認識結果に基づいて更新され、乗員監視部２６を停止する設定状態では、更新されない。
よって、乗員監視部２６を起動する設定状態では、監視部２４は、乗員の変更の認識に基づいて個人設定データバッファ３０を更新し、更新された乗員の設定で監視をすることができる。設定データを実際の乗員と整合させて監視することができる。
また、乗員監視部２６を停止する設定状態では、不用意に個人設定データバッファ３０が更新されないようにできる。
特に、車内通信部２９が、個人設定データバッファ３０に設定されている認識乗員の設定データを、乗員監視部２６を起動する設定状態において、自動車１に設けられる他の電子機器へ送信する場合、乗員監視部２６を停止する設定状態においてバッファが更新されてしまうと、不適切な設定データが乗員監視装置１２の外の他の電子機器へ送信されてしまう可能性がある。本実施形態では、このような不適切な設定データの送信を予防できる。

以上の実施形態は、本発明の好適な実施形態の例であるが、本発明はこれに限定されるものではなく、発明の要旨を逸脱しない範囲において種々の変形または変更が可能である。

たとえば上記実施形態では、ドア３の閉操作により、自動車１への乗員の乗車を検出している。この他にもたとえば、ドア３の開操作により、自動車１への乗員の乗車を検出してもよい。また、シート４の着座センサによる乗員検出により、自動車１への乗員の乗車を検出してもよい。

本実施形態では、自動車１のイグニションスイッチのオン操作により、自動車１の始動を検出している。この他にもたとえば、停車中のアクセルペダルの操作により、自動車１の始動を検出してもよい。

１…自動車（車両）、２…車体、３…ドア、４…シート、５…ダッシュボード、６…ハンドル、１０…車載ネットワークシステム、１１…車内ネットワーク、１２…乗員監視装置、１３…ドア開閉センサ、１４…車速センサ、１５…パークセンサ、１６…ポジション設定装置、１７…運転支援装置、１８…車外通信装置、２１…モニタ、２２…タッチパネル、２３…車内カメラ、２４…監視部、２５…対処部、２６…乗員監視部（監視部）、２７…スピーカ、２８…シート振動部材、２９…車内通信部、３０…個人設定データバッファ、３１…設定更新部、３２…起動制御部、３３…個人認識部（認識部）、３４…記録部、３５…本体、３６…個人データベース、３７…認識乗員データ、３８…監視起動設定データ、３９…認識起動設定データ、５１…第１設定状態、５２…第２設定状態、５３…第３設定状態、５４…第４設定状態

Claims (6)

1. 車両に設けられ、前記車両に乗車した乗員を認識して監視する乗員監視装置であって、
   前記車両に乗車した乗員を認識する認識部と、
   前記認識部により認識された乗員に対応する設定データを記録するバッファと、
   前記認識部により認識された乗員の情報が登録される記憶部と、
   前記認識部とは別の処理により、前記認識部による乗員の認識結果に応じた前記バッファの設定データに基づいて、前記車両に乗車した乗員を監視する監視部と、
   前記認識部と前記監視部とに対して個別に設定される起動または停止の設定に基づいて、前記監視部の停止状態において前記認識部を起動できるように前記認識部と前記監視部とを個別に起動停止する起動制御部と、を有し、
   前記認識部は、
   前記監視部の起動状態において起動される場合には、認識した乗員の情報を前記記憶部に登録するとともに乗員の認識結果に応じて前記バッファを更新し、
   前記監視部の停止状態において起動される場合には、認識した乗員の情報を前記記憶部に登録し、前記バッファを更新しないようにし、
   前記監視部は、
   起動される場合には、前記認識部の起動停止状態にかかわらず、前記記憶部に登録されている乗員の情報に基づいて前記認識部による乗員の認識結果に応じて前記バッファを更新してから、前記バッファの設定データに基づいて乗員を監視する、
   車両の乗員監視装置。
   
2. 前記監視部は、
   前記認識部により特定の乗員が認識されている場合、その乗員の認識結果に応じて更新される前記バッファの設定データに基づいて、認識された乗員を監視し、
   前記認識部により特定の乗員が認識されない場合、その乗員の認識結果に応じて更新されていない前記バッファの設定データに基づいて、乗車している乗員を特定しない状態で監視する、
   請求項１記載の車両の乗員監視装置。
   
3. 前記起動制御部は、前記車両への乗員の乗車を検出した場合、前記監視部の停止状態において前記認識部を起動する、
   請求項１または２記載の車両の乗員監視装置。
   
4. 前記起動制御部は、前記車両が始動した場合、前記監視部の停止状態において前記認識部を起動する、
   請求項１から３のいずれか一項記載の車両の乗員監視装置。
   
5. 前記バッファに設定されている前記設定データを、前記車両に設けられる他の装置へ送信する通信部、を有する、
   請求項１から４のいずれか一項記載の車両の乗員監視装置。
   
6. 前記起動制御部は、
   前記車両の走行中には前記監視部を起動し、
   前記車両の停車中には前記認識部を起動する、
   請求項１から５のいずれか一項記載の車両の乗員監視装置。
   

Images