JP7674853B2 - 車両の車内モニタリング装置 - Google Patents

Description

本発明は、車両の車内モニタリング装置に関する。

車両には、乗車しているドライバを監視するために、乗員監視装置が設けられる。
特許文献１は、ドライバの眼に焦点を合わせて撮像して監視する車両の乗員監視装置を開示する。
特許文献２は、衝突時に撮像される乗員の頭部へ強い光を照射する車両の乗員監視装置を開示する。

特開２０１８－０８８６４７号公報 特開２０２０－０５００７８号公報

ところで、車両の乗員監視では、さらなる監視機能を実現することが求められる。特に、自動運転や高度運転支援においては、ドライバといった乗員の状態について運転や移動に適した状態に維持されているのかを、より確からしく監視できるようにすることが求められてくる。

このように車両では、ドライバを含む乗員の状態についての新たな監視機能を実現することが求められる。

本発明の実施の一形態に係る車両の車内モニタリング装置は、車両の車室内を狭角に撮像する第一撮像部材と、前記第一撮像部材よりも前記車室内を広角に撮像する第二撮像部材と、前記第一撮像部材の撮像画像と前記第二撮像部材の撮像画像とに基づく監視処理を実行可能な制御部と、を有し、前記第一撮像部材と前記第二撮像部材とは、前記車両のステアリングよりも、前記車両の前方かつ前記車両の車幅方向の中央において、撮像範囲の少なくとも一部が重なるように、前記ステアリングが前にあるドライバの側から前記第二撮像部材、前記第一撮像部材の順に前記車幅方向に沿って並べて設けられる。

好適には、前記第一撮像部材が撮像する際に前記第一撮像部材の撮像範囲へ投光する第一投光部材と、前記第二撮像部材が撮像する際に前記第二撮像部材の撮像範囲へ投光する第二投光部材と、を有する、とよい。

好適には、前記第一投光部材は、前記車両の車幅方向において前記第一撮像部材より前記ステアリングが前にあるドライバから遠くに設けられる、とよい。

好適には、前記第一撮像部材は、前記第二撮像部材が撮像する周期より短い周期で撮像して、複数回に１回の割合で前記第二撮像部材と同期した撮像をし、前記第一投光部材は、前記第一撮像部材が周期的に撮像する際に周期的に投光し、前記第二投光部材が前記第二撮像部材の周期的な撮像に合わせて投光する場合には、出力する光量を下げて投光し、前記第二投光部材は、前記第一投光部材より少ない光量で、前記第二撮像部材が周期的に撮像する際に周期的に投光する、とよい。

好適には、前記制御部は、前記第一撮像部材の撮像画像のみに基づく監視処理、前記第二撮像部材の撮像画像のみに基づく監視処理、および前記第一撮像部材の撮像画像と前記第二撮像部材の撮像画像との相関に基づく監視処理、を実行する、とよい。

好適には、前記制御部は、前記第一撮像部材の撮像画像と前記第二撮像部材の撮像画像との相関に基づく監視処理として、乗員についての前記第一撮像部材の撮像画像での撮像位置と前記第二撮像部材の撮像画像での撮像位置との相違に基づいて、乗員の着座位置を判定する、とよい。
好適には、前記第一撮像部材は、前記車両の前記車室内において前記ステアリングの後側の乗員であるドライバを狭角に撮像し、前記第二撮像部材は、ドライバとともにドライバ以外の乗員を撮像できるように前記車室を広角に撮像し、前記第一撮像部材と前記第二撮像部材とは、前記車両のダッシュボードおよびセンターコンソールの車幅方向の中央部分に設けられ、前記第二撮像部材は、前記車両の車幅方向の中央を基準にしてドライバの側となるように設けられ、前記第一撮像部材は、前記車両の車幅方向の中央を基準にしてドライバとは反対側となるように、前記第二撮像部材よりドライバから遠くに設けられる、とよい。

本発明の車両の車内モニタリング装置は、車両の車室の乗員を撮像する撮像部材として、第一撮像部材および第二撮像部材の複数の撮像部材を有する。そして、制御部は、第一撮像部材の撮像画像と第二撮像部材の撮像画像とについての監視処理を実行可能である。
特に、本発明では、車両の車室の乗員を撮像する第一撮像部材と第二撮像部材とは、車両の車幅方向の中央部分において車幅方向に沿って並べられ、撮像範囲の少なくとも一部が重なるように設けられる。これにより、第一撮像部材の撮像画像と第二撮像部材の撮像画像とに同じ乗員を撮像可能として、これら複数の撮像部材の撮像画像の間に一定の関連性を持たせることができる。
その結果、制御部は、第一撮像部材の撮像画像のみに基づく監視処理や、第二撮像部材の撮像画像のみに基づく監視処理だけでなく、第一撮像部材の撮像画像と第二撮像部材の撮像画像との相関に基づく監視処理を実行することが可能になる。制御部は、第一撮像部材の撮像画像と第二撮像部材の撮像画像との相関に基づく監視処理として、たとえば、乗員についての第一撮像部材の撮像画像での撮像位置と第二撮像部材の撮像画像での撮像位置との相違に基づいて、乗員の着座位置を判定してよい。
このように本発明において制御部は、第一撮像部材と第二撮像部材とが車両の車幅方向の中央部分において車幅方向に沿って並べられて撮像範囲の少なくとも一部が重なるように設けられていることに起因して、車両のドライバといった乗員の状態についての新たな監視機能として、第一撮像部材の撮像画像と第二撮像部材の撮像画像との相関に基づく監視処理を実行することが可能となる。

図１は、本発明が適用される自動車の説明図である。 図２は、図１の自動車の制御装置の説明図である。 図３は、図２の自動車の乗員監視装置による監視種類の一例の説明図である。 図４は、図３の乗員監視装置の説明図である。 図５は、図４の表示操作パネルを有する液晶デバイスの配置の説明図である。 図６は、図４の第一カメラモジュールおよび第二カメラモジュールの配置の説明図である。 図７は、図４の第一カメラモジュールおよび第二カメラモジュールについての、基本的な撮像および発光のタイミングチャートである。 図８は、本実施形態での図４の第一カメラモジュールおよび第二カメラモジュールについての撮像および発光のタイミングチャートである。 図９は、図４の監視制御部によるメイン制御のフローチャートである。 図１０は、図４の監視制御部による複数の乗員の監視制御のフローチャートである。

以下、本発明の実施形態を、図面に基づいて説明する。

図１は、本発明が適用される自動車１の説明図である。
自動車１は、車両の一例である。自動車１は、内燃機関を走行の動力源としているものでも、バッテリの蓄電電力を走行の動力源としているものでも、それらを組み合わせたものでもよい。
また、自動車１は、ドライバの運転操作にしたがって走行するものでも、自動運転または運転支援により走行するものでも、それらを切り換えて使用できるものでもよい。
このような車両には、自動車１の他にも、パーソナルモビリティ、動力付き二輪車、動力付き三輪車、バス、トラック、航空機、鉄道車両、といったものが想定し得る。

図１の自動車１の車体２には、ドライバを含む複数の乗員が乗ることができる車室３、を有する。車室３には、ドライバなどの複数の乗員が個別に着座するための複数の前列のシート４と、複数の乗員が並んで着座するための長尺の後列のシート４と、が設けられる。走行中、ドライバなどの乗員は、基本的に、シート４に正しく着座し、シートベルトなどの安全具を装着することが求められる。
前列の複数のシート４の前側である車室３の前部には、車体２の車幅方向に沿って延在するダッシュボード５が設けられる。

図２は、図１の自動車１の制御装置１０の説明図である。
図２の制御装置１０は、ドア開閉センサ１１、車速センサ１２、パークセンサ１３、スピーカデバイス１４、乗員監視装置１５、ポジション設定装置１６、運転支援装置１７、車外通信装置１８、乗員保護装置１９、空調装置２０、および、これらが接続される車内ネットワーク２１、を有する。

車内ネットワーク２１は、自動車１のためのたとえばＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＬＩＮ（Ｌｏｃａｌ Ｉｎｔｅｒｃｏｎｎｅｃｔ Ｎｅｔｗｏｒｋ）に準拠した有線の通信ネットワークでよい。車内ネットワーク２１は、ＬＡＮなどの通信用ネットワークでも、これらを組み合わせたものであってもよい。車内ネットワーク２１の一部には、無線方式の通信ネットワークが含まれてよい。

ドア開閉センサ１１は、自動車１のドアの開閉を検出する。
車速センサ１２は、走行する自動車１の速度を検出する。車速センサ１２は、停止状態を検出してよい。
パークセンサ１３は、自動車１が停車状態に維持されるパーキング状態を検出する。パークセンサ１３は、たとえば不図示のシフトレバーがパーキング位置に操作されたこと、不図示のパーキングレバーが制動位置に操作されたこと、をパーキング状態として検出してよい。

乗員監視装置１５は、たとえばドア開閉センサ１１がドアの開閉を検出すると、車室３に乗る乗員の認識処理を実行し、その後に乗員の状態を監視する。複数の乗員を認識している場合、乗員監視装置１５は、複数の乗員を個別に監視してよい。
乗員監視装置１５は、認識した各乗員についての情報、監視に基づく情報を、車ネットワークを通じて制御装置１０の各部へ出力してよい。
ドライバなどの乗員が所定の状態にある場合、乗員監視装置１５は、乗員への注意喚起のための警告出力などの制御を実行したり、危険予防または回避のための制御を実行したりするとよい。この際、乗員監視装置１５は、制御情報などを、車ネットワークを通じて制御装置１０の各部へ出力してよい。

スピーカデバイス１４は、音声、警告音などを出力する。スピーカデバイス１４は、乗員監視装置１５によるドライバその他の乗員への警告を出力してよい。
ポジション設定装置１６は、たとえば、シート４の前後上下の位置および背もたれの角度、ハンドルの前後上下の位置および角度、各種ペダルの前後上下の位置および角度を調整する。ポジション設定装置１６は、乗員監視装置１５が出力する乗員の情報に基づいて、シートポジションを変更する。
運転支援装置１７は、ドライバによる手動運転による自動車１の走行操作を支援する制御をしたり、自動運転による自動車１の走行を制御したりする。運転支援装置１７は、自動車１の加速、減速、停止、操舵を制御する。運転支援装置１７は、乗員監視装置１５が出力するドライバの情報に基づいて、ドライバに応じた運転支援を実行してよい。
車外通信装置１８は、たとえば公共無線通信網の基地局、商用無線通信網の基地局、高度交通情報のための基地局との間に無線通信路を確立し、確立している無線通信路を用いてデータ通信を実行する。車外通信装置１８は、たとえば自動運転を支援するサーバ装置などとの双方向のデータ通信を実行してよい。車外通信装置１８は、乗員監視装置１５が出力するドライバを含む乗員の情報を、たとえば緊急支援情報として、サーバ装置へ送信してよい。
乗員保護装置１９は、自動車１の衝突を検出または予測した場合に、乗員を保護するための制御を実行する。乗員保護装置１９は、不図示のたとえばエアバッグを展開したり、シートベルトにテンションをかけたりすることにより、シート４に着座している乗員を保護する。乗員保護装置１９は、乗員監視装置１５が出力する乗員の情報に応じて、乗員に対する乗員保護を実行してよい。
空調装置２０は、車室３の温度、酸素濃度、を制御する。空調装置２０は、たとえば冷却した空気または過熱した空気を車室３へ供給し、これにより車室３を設定温度に調整する。空調装置２０は、乗員監視装置１５が出力する乗員の情報に応じた空調を実行してよい。
これらの乗員監視装置１５が出力する乗員の情報に基づく制御により、乗員は、たとえば自らに応じた設定の下で快適に乗車できる。ドライバは、たとえば自動車１の走行に集中することができる。

図３は、図２の自動車１の乗員監視装置１５による監視種類の一例の説明図である。
図３には、監視種類として、わき見、居眠り、着座姿勢、緊急事象、シートベルトの装着状態、チャイルドシートの装着状態、などが例示されている。
乗員監視装置１５は、これらの中の１つの監視制御を実行するだけでも意味があるが、好ましくは、車内モニタリング装置として、これらの中の複数の監視制御を実行したり、複数のすべての監視制御を実行したり、することが望まれる。
また、これらの監視種類の中で、特に、わき見、居眠りについては、ドライバについて必須であると考えられる。
着座姿勢、緊急事象、シートベルトの装着状態については、ドライバだけでなくドライバ以外の乗員についても監視することが望ましい。
チャイルドシートの装着状態は、既にそれを検出したり設定したりする機能を有する自動車１もあるため、これらと比べて監視の優先度を低くしてもよいと考えられる。

これら複数の種類の監視を実施することにより、自動車１の乗員監視装置１５の監視能力が高まる。自動運転や高度運転支援においては、ドライバといった乗員の状態が走行中であることに適した状態に維持されていることが望まれるところであり、複数の種類の監視の各々を、より正確に実行できるようにすることが望まれる。
しかしながら、上述した複数の種類の監視を自動車１に実装しようとする場合、乗員監視装置１５は、監視種類ごと且つ乗員ごとに撮像センサが必要となる可能性がある。その一方で、車室３の内部において撮像センサを設置できるスペースは有限である。自動車１の設置スペースの制約により撮像センサの増設が難しくなると、その結果として、自動車１の乗員監視装置１５の多機能化が制限されて、乗員監視装置１５は一定以上には多機能化を図ることができなくなる可能性がある。
このように自動車１では、ドライバを含む複数の乗員についての監視種類を多機能化するにあたり、それに用いる撮像センサの増加が制限となる可能性がある。また、撮像センサの撮像画像の数が増えると、その処理負荷も増加する。
本実施形態では、このような自動車１の乗員監視装置１５の制限を好適に回避して、上述したような複数の種類の監視の実現性を高める例を開示する。
本実施形態の乗員監視装置１５は、具体的には、ドライバのわき見、ドライバの居眠り、各乗員の着座位置若しくは着座姿勢、各乗員の緊急事象、各乗員のシートベルトの装着状態、チャイルドシートの装着状態、および、画像出力、といった複数の種類の制御を、２つの撮像センサの撮像画像に基づいて実現しようとするものである。

図４は、本発明の実施形態に係る自動車１の車内モニタリング装置としての、図３の乗員監視装置１５の説明図である。
図４の乗員監視装置１５は、ドライバだけでなく、ドライバ以外の複数のシート４に着座している複数の乗員を監視するものである。
図４の乗員監視装置１５は、第一カメラモジュール３１、第二カメラモジュール３２、表示操作パネル３４を有する液晶デバイス３３、入出力デバイス３５、メモリ３６、および、これらが接続される監視制御部３７、を有する。

入出力デバイス３５は、車内ネットワーク２１に接続される。入出力デバイス３５は、車内ネットワーク２１を通じて、自動車１に設けられる他の各部との間でデータを入出力する。

液晶デバイス３３は、液晶デバイス３３として、自動車１に乗る各乗員に視認させる画面を、表示操作パネル３４に表示する。表示画面には、たとえば乗員により操作される操作画面がある。
表示操作パネル３４は、液晶デバイス３３の表示面に重ねて設けられる透明または半透明のパネルである。表示操作パネル３４は、液晶デバイス３３の表示面に対する乗員の操作を検出して、操作位置などの情報を、監視制御部３７へ出力する。

第一カメラモジュール３１は、第一ＬＥＤ４３、第一撮像センサ４１、およびこれらが接続される第一デバイスコントローラ４５、を有する。

第一撮像センサ４１は、たとえばＣＣＤ、ＣＭＯＳセンサといった半導体光学センサでよい。第一撮像センサ４１は、撮像画像を含む撮像データを、監視制御部３７へ出力する。
第一撮像センサ４１には、挟角レンズ４２が重ねて設けられる。挟角レンズ４２は、画像の周縁部分の歪みを抑制するために、複数枚の光学レンズで構成されてよい。

第一ＬＥＤ４３は、半導体発光素子でよい。第一ＬＥＤ４３には、投光挟角レンズ４４が重ねて設けられる。第一ＬＥＤ４３は、たとえば赤外線を投光してよい。この場合、第一撮像センサ４１は、赤外線による撮像画像を含む撮像データを、監視制御部３７へ出力することになる。

第一デバイスコントローラ４５は、第一撮像センサ４１の動作と、第一ＬＥＤ４３の動作とを制御する。第一デバイスコントローラ４５は、第一撮像センサ４１が撮像する期間において、第一ＬＥＤ４３を発光させる。第一デバイスコントローラ４５の制御周期は、監視制御部３７により設定可能である。

第二カメラモジュール３２は、第二ＬＥＤ４６、第二撮像センサ４８、およびこれらが接続される第二デバイスコントローラ５０、を有する。

第二撮像センサ４８は、たとえばＣＣＤ、ＣＭＯＳセンサといった半導体光学センサでよい。第二撮像センサ４８は、撮像画像を含む撮像データを、監視制御部３７へ出力する。
第二撮像センサ４８には、広角レンズ４９が重ねて設けられる。広角レンズ４９は、画像の周縁部分の歪みを抑制するために、複数枚の光学レンズで構成されてよい。

第二ＬＥＤ４６は、半導体発光素子でよい。第二ＬＥＤ４６には、投光広角レンズ４７が重ねて設けられる。第二ＬＥＤ４６は、たとえば赤外線を投光してよい。この場合、第二撮像センサ４８は、赤外線による撮像画像を含む撮像データを、監視制御部３７へ出力することになる。

第二デバイスコントローラ５０は、第二撮像センサ４８の動作と、第二ＬＥＤ４６の動作とを制御する。第二デバイスコントローラ５０は、第二撮像センサ４８が撮像する期間において、第二ＬＥＤ４６を発光させる。第二デバイスコントローラ５０の制御周期は、監視制御部３７により設定可能である。

そして、図４に示すように、第一カメラモジュール３１の第一ＬＥＤ４３は、ドライバの上体または頭部へ挟角に投光し、第一撮像センサ４１は、ドライバの上体頭部または頭部を挟角に撮像する。これにより、第一撮像センサ４１は、ドライバの上体または頭部についての明るい高解像度の画像を撮像できる。第一撮像センサ４１の撮像画像には、ドライバの目、眼球、などが高解像度で撮像され得る。
これに対し、第二カメラモジュール３２の第二ＬＥＤ４６は、車室３の内部に対して全体的に広角に投光し、第二撮像センサ４８は、車室３の内部を全体的に広角に撮像する。これにより、第二撮像センサ４８は、ドライバとともにドライバ以外の複数の乗員を含む明るい画像を撮像できる。第二撮像センサ４８の画像には、ドライバとともに、ドライバ以外の助手席の同乗者、後席の同乗者が、撮像され得る。
自動車１の車室３の乗員を撮像する第一撮像センサ４１と第二撮像センサ４８とは、自動車１の車幅方向の中央部分において車幅方向に沿って並べられて、異なる画角または撮像範囲で車室３を撮像する。

また、第一撮像センサ４１と第二撮像センサ４８とは、ドライバを共通に撮像しているように、撮像範囲の一部が重なるように設けられている。

メモリ３６は、プログラムおよびデータを記憶する。メモリ３６は、不揮発性メモリと、揮発性メモリとで構成されてよい。不揮発性メモリには、たとえばＨＤＤ、ＳＳＤ、ＥＥＰＲＯＭ、などがある。揮発性メモリには、たとえばＲＡＭがある。

乗員監視装置１５のメモリ３６には、自動車１に登録されている複数の乗員のデータが、乗員ごとに管理して記録されてよい。図４には、第一乗員についての第一乗員データ６１と、第二乗員についての第二乗員データ６２と、が示されている。複数の乗員データにより、メモリ３６にはデータベースが構成される。

第一乗員データ６１、第二乗員データ６２といった各乗員データには、乗員ごとに固有の識別情報、たとえば乗員の頭部や目を撮像センサにより撮像した登録撮像データ、乗員がした各種の設定データ、が含まれてよい。設定データには、たとえば乗員の着座についてのシートポジション、運転支援の有無の初期設定、自動運転での走行嗜好情報、使用するサーバ装置の情報、乗員保護の設定、空調の設定、といった情報、が含まれてよい。
このように、メモリ３６は、液晶デバイス３３に所定の画面を表示している際の各乗員を正面から第一撮像センサ４１または第二撮像センサ４８により撮像した撮像データを、それぞれの乗員の登録撮像データとして記録できる。
また、メモリ３６は、登録されていない汎用の乗員についての乗員データを、記録してよい。

監視制御部３７は、たとえばＥＣＵ、ＣＰＵ、その他のマイクロコンピュータでよい。監視制御部３７は、メモリ３６からプログラムを読み込んで実行する。これにより、乗員監視装置１５の制御部としての監視制御部３７が実現される。
監視制御部３７は、第一撮像センサ４１の撮像画像と第二撮像センサ４８の撮像画像とについての処理を実行可能である。
監視制御部３７は、異なる画角または撮像範囲による第一撮像センサ４１の撮像画像と第二撮像センサ４８の撮像画像とに基づいて、車室３にいる乗員についての上述したような複数種類の処理を実行してよい。
たとえば、監視制御部３７は、自動車１に乗る乗員を識別または登録するための制御を実行してよい。監視制御部３７は、たとえば、液晶デバイス３３の操作画面に対する乗員の操作として判断された操作内容に応じた制御を実行してよい。
また、監視制御部３７は、自動車１に乗員が乗ると、乗員を識別して、乗員の状態の監視制御を実行する。
特に、ドライバとしての乗員については、監視制御部３７は、メモリ３６に登録されている各自の登録撮像データを判断の際の基準データとして用いて、各乗員の目の状態に基づいてわき見、居眠り、緊急事態といった状態を判断してよい。

図５は、図４の表示操作パネル３４を有する液晶デバイス３３の配置の説明図である。
図５には、車室３の前部に設けられるダッシュボード５およびセンターコンソール６が示されている。
そして、図４の表示操作パネル３４を有する液晶デバイス３３は、自動車１の車幅方向の中央部分において、自動車１の後方向へ向けて設けられる。表示操作パネル３４を有する液晶デバイス３３は、ダッシュボード５からセンターコンソール６までにかけて縦長に埋設して配置される。

図６は、図４の第一カメラモジュール３１および第二カメラモジュール３２の配置の説明図である。
図６に示すように、図４の第一カメラモジュール３１および第二カメラモジュール３２は、液晶デバイス３３の上に配置されるように、液晶デバイス３３の表示操作パネル３４の裏側に配置される。
第一カメラモジュール３１および第二カメラモジュール３２についての、第一ＬＥＤ４３、第一撮像センサ４１、第二撮像センサ４８、および第二ＬＥＤ４６は、自動車１の車幅方向に沿って並べて設けられる。

第一撮像センサ４１は、自動車１の車幅方向の中央位置Ｙ０を基準として、ドライバとは反対側に設けられる。第二撮像センサ４８は、自動車１の車幅方向の中央位置Ｙ０を基準として、ドライバの側に設けられる。これにより、ドライバの上体または頭部を挟角に撮像する第一撮像センサ４１は、車室３の内部を全体的に広角に撮像する第二撮像センサ４８より、自動車１の車幅方向においてドライバから遠くに並べられる。第一撮像センサ４１とドライバとの間には、図５に示すステアリング７が介在し難くなる。第一撮像センサ４１の撮像画像には、ステアリング７が映り込み難くなる。
このように、第一撮像センサ４１と第二撮像センサ４８とは、自動車１の車幅方向に並べて設けられているため、図６のドライバに対して視差を生じる。仮にたとえば第一撮像センサ４１と第二撮像センサ４８とが同一の画角または同一の撮像範囲を撮像するものであるとしても、第一撮像センサ４１の撮像画像でのドライバの撮像位置と、第二撮像センサ４８の撮像画像でのドライバの撮像位置とは、視差に応じて位置がずれることになる。この視差は、第一撮像センサ４１と第二撮像センサ４８とのセンサ間隔に応じたものになる。

第一ＬＥＤ４３は、自動車１の車幅方向において、第一撮像センサ４１よりドライバから離れるように遠くに設けられる。第一ＬＥＤ４３がドライバへ向けて出力する光は、ステアリング７により遮られ難くなる。
第二ＬＥＤ４６は、自動車１の車幅方向において、第二撮像センサ４８よりドライバの側に設けられる。第二ＬＥＤ４６は、自動車１の車幅方向において第二撮像センサ４８より自動車１の車幅方向の中央位置Ｙ０から遠くに設けられる。これにより、第二撮像センサ４８は、自動車１の車幅方向の中央部分において、中央位置Ｙ０に近づけて配置できる。中央位置Ｙ０に近づけて配置されることにより、第二撮像センサ４８は、自動車１の車幅方向の中央部分から広角に車室３の内部を全体的に撮像できる。第二撮像センサ４８は、前列の複数のシート４に着座している乗員だけでなく、後列のシート４に着座している複数の乗員についても撮像することが可能となる。

図７は、図４の第一カメラモジュール３１および第二カメラモジュール３２についての、基本的な撮像および発光のタイミングチャートである。
図７において、時間は左から右へ流れる。

図７（Ａ）は、第一撮像センサ４１の撮像状態である。第一撮像センサ４１は、一定の周期ごとに撮像を実行する。第一撮像センサ４１の撮像画像に基づいて、ドライバの監視についての挟角単眼処理が可能である。ハイレベルの期間において、第一撮像センサ４１は、撮像を実行する。他も同様である。
図７（Ｂ）は、第一ＬＥＤ４３の投光状態である。第一ＬＥＤ４３は、第一撮像センサ４１が撮像する期間において、第一撮像センサ４１の撮像範囲へ挟角に投光する。

図７（Ｃ）は、第二撮像センサ４８の撮像状態である。第二撮像センサ４８は、一定の周期ごとに撮像を実行する。第二撮像センサ４８の撮像画像に基づいて、ドライバおよびその他の乗員の監視についての広角単眼処理が可能である。広角単眼処理では、撮像画像に含まれる複数の乗員の各々についての状態を監視する処理だけでなく、その撮像画像を携帯端末などでビューイングするために送信する処理をしてもよい。ビューイングされる画像には、ドライバを含むすべての乗員が撮像され得る。この場合、図７（Ｃ）に示すように、第二撮像センサ４８の撮像画像は、監視処理と送信処理とに交互に利用されてもよい。この場合でも、ドライバの状態については、第一撮像センサ４１により短期間ごとに撮像して監視しているため、自動車１の移動に支障をきたすことはないと想定し得る。
また、第二撮像センサ４８の撮像周期は、第一撮像センサ４１の撮像周期の二倍である。また、第二撮像センサ４８の撮像タイミングは、第一撮像センサ４１の撮像タイミングと同期している。第一撮像センサ４１の撮像画像と第二撮像センサ４８の撮像画像とが同期している場合、それらの撮像画像におけるドライバの撮像位置のずれに基づいて、第一撮像センサ４１と第二撮像センサ４８とのセンサ間隔などに基づく視差を高精度に演算することが可能である。また、同期している第一撮像センサ４１の撮像画像と第二撮像センサ４８の撮像画像とを用いた複眼処理が可能である。
このように、ドライバの上体または頭部を挟角に撮像する第一撮像センサ４１は、車室３の内部を全体的に広角に撮像する第二撮像センサ４８より短い周期で撮像して、複数回に１回の割合で第二撮像センサ４８と同期した撮像をする。監視制御部３７は、第一撮像センサ４１と第二撮像センサ４８とが同期して撮像する場合には、第一撮像センサ４１の撮像画像と第二撮像センサ４８の撮像画像とに基づく監視処理を実行できる。監視制御部３７は、第一撮像センサ４１と第二撮像センサ４８とが同期して撮像する場合には、第一撮像センサ４１が単独で撮像する場合や、第二撮像センサ４８が単独で撮像する場合とは異なる処理を実行することが可能になる。
図７（Ｄ）は、第二ＬＥＤ４６の投光状態である。第二ＬＥＤ４６は、第二撮像センサ４８が撮像する期間において、第二撮像センサ４８の撮像範囲へ広角に投光する。

図７（Ｅ）は、図７（Ｂ）の第一ＬＥＤ４３の光と、図７（Ｄ）の第二ＬＥＤ４６の光とが投光されるドライバの投光量である。図７のように、第一ＬＥＤ４３と第二ＬＥＤ４６とが同じように光を出力する場合、ドライバの投光量は、撮像タイミングごとに増減することになる。撮像画像におけるドライバの明るさは、投光量に応じて変化してしまう。

図８は、本実施形態での図４の第一カメラモジュール３１および第二カメラモジュール３２についての撮像および発光のタイミングチャートである。
図８（Ａ）から図８（Ｅ）は、基本的に、図７（Ａ）から図７（Ｅ）に対応する。

ただし、図８（Ｄ）に示すように、第二ＬＥＤ４６の投光は、図８（Ｂ）に示す第一ＬＥＤ４３の投光量より低く抑えられる。第二ＬＥＤ４６は、第一ＬＥＤ４３より少ない光量を出力する。
また、第二ＬＥＤ４６が同期して投光する場合、第一ＬＥＤ４３の投光量は、第二ＬＥＤ４６が同期して投光していない通常時より低く抑えられる。第一ＬＥＤ４３は、第二ＬＥＤ４６が同期して投光する場合には、出力する光量を、略第二ＬＥＤ４６の出力光量に対応する分で下げられている。

これにより、図８（Ｅ）に示すように、第一ＬＥＤ４３と第二ＬＥＤ４６とが同期して投光する場合でのドライバの投光量は、第一ＬＥＤ４３のみが投光する場合でのドライバの投光量と、略同じになる。撮像画像におけるドライバの明るさは、一定になり得る。撮像画像についての投光状況に応じた明るさ補正の処理は、基本的に不要になる。
このように、本実施形態では、第一撮像センサ４１と第二撮像センサ４８とが同期して撮像するために、第一ＬＥＤ４３と第二ＬＥＤ４６とが同期して投光することがあるとしても、その同期した投光の場合とそれ以外の単独の投光の場合との間でたとえばドライバへの投光量が変化し難くできる。乗員を監視する監視制御部３７は、第一撮像センサ４１の撮像画像として、安定した明るさのものを継続的に取得し得る。

図９は、図４の監視制御部３７によるメイン制御のフローチャートである。
監視制御部３７は、自動車１に新たな乗員が乗ると、図９の処理を繰り返し実行する。

ステップＳＴ１において、監視制御部３７は、自動車１に新たな乗員が乗車するか否かを判断する。乗員は、自動車１の不図示のドアを開いて、シート４に着座する。監視制御部３７は、たとえばドア開閉センサ１１の開閉の検出信号に基づいて、自動車１に新たな乗員が乗ることを検知して判断してよい。この他にもたとえば、監視制御部３７は、撮像センサの撮像データに新たな乗員が撮像されていることに基づいて、自動車１に新たな乗員が乗車したか否かを判断してよい。自動車１に新たな乗員が乗車していない場合、監視制御部３７は、本処理を繰り返す。自動車１に新たな乗員が乗車すると、監視制御部３７は、処理をステップＳＴ２へ進める。

ステップＳＴ２において、監視制御部３７は、新たに乗った乗員の乗車位置を判定する。監視制御部３７は、車内を全体的に撮像する第二撮像センサ４８の撮像データに基づいて、新たに乗った乗員の乗車位置を判定してよい。監視制御部３７は、乗員がシート４に着座した状態で安定することを検出すると、その位置に乗員が乗車していると判定してよい。

ステップＳＴ３において、監視制御部３７は、新たに乗った乗員についての個人識別処理を実行する。監視制御部３７は、車内を全体的に撮像する第二撮像センサ４８の最新の撮像データに基づいて、新たに乗った乗員についての個人識別処理を実行してよい。
監視制御部３７は、たとえば、撮像データの画像に含まれている乗員の画像と、メモリ３６に記録されている複数の乗員の乗員データとを比較し、各乗員を高精度に識別してよい。この際、監視制御部３７は、メモリ３６に登録されている各乗員の登録撮像データの中の、正対視の画像成分のみに基づいて照合するようにしてもよい。また、監視制御部３７は、画像同士を直接比較するのではなく、それぞれの画像から抽出した特徴点同士を比較してもよい。監視制御部３７は、メモリ３６に登録されている乗員データに含まれる登録撮像データが一定確度以上で合致する場合、乗車している乗員をその登録撮像データの乗員であるとして特定してよい。この場合、監視制御部３７は、乗車している乗員を、メモリ３６に登録されている複数の乗員データとの照合により特定した乗員として識別することになる。メモリ３６に登録されている複数の乗員データにおいて一定確度以上で合致する登録撮像データがない場合、監視制御部３７は、登録がない乗員として識別してよい。
また、監視制御部３７は、メモリ３６に乗員データが記録されている乗員がいる場合、さらにその乗員データを用いて設定処理を実行してよい。この場合、監視制御部３７は、設定データの情報を、自動車１の各部へ出力する。これにより、乗員の着座についてのシートポジション、運転支援の有無の初期設定、自動運転での走行嗜好情報、使用するサーバ装置の情報、乗員保護の設定、空調の設定、などの処理が実行される。また、監視制御部３７は、取得している最新の撮像データに基づいて、たとえば助手席のシート４へのチャイルドバケットの装着を判断し、チャイルドバケットが装着されている場合には、助手席のシート４へ向けてのエアバッグ展開を禁止する設定を実行してよい。

ステップＳＴ４において、監視制御部３７は、新たに乗った乗員を、新規登録するか否かを判断する。監視制御部３７は、たとえば液晶デバイス３３に登録処理の確認画面を表示し、それに応じた乗員の操作が表示操作パネル３４に対してなされたら、新規登録すると判断し、処理をステップＳＴ５へ進める。登録不要の操作がなされたら、監視制御部３７は、処理をステップＳＴ６へ進める。

ステップＳＴ５において、監視制御部３７は、新たに乗った乗員を新規登録する処理を実行する。監視制御部３７は、メモリ３６に、新たな乗員の乗員データを追加して記録する。

ステップＳＴ６において、監視制御部３７は、新たに乗った乗員についての監視制御を開始する。

ステップＳＴ７において、監視制御部３７は、乗員の監視制御を終了するか否かを判断する。たとえば、自動車１が停止してイグニションがオフされた場合、目的地に到着して停止した場合、乗員が降車した場合、監視制御部３７は、乗員の監視制御を終了すると判断してよい。監視制御部３７は、たとえば、ドア開閉センサ１１による開閉検出、撮像センサの画像に基づいて、乗員の降車を判断してよい。乗員の監視制御を終了しない場合、監視制御部３７は、本処理を繰り返す。乗員の監視制御を終了する場合、監視制御部３７は、処理をステップＳＴ８へ進める。

ステップＳＴ８において、監視制御部３７は、乗員の監視についての終了処理を実行する。監視制御部３７は、たとえば各乗員の降車時の設定情報を自動車１の各部から取得し、メモリ３６に記録されている各乗員の乗員データを更新する。これにより、メモリ３６に登録されている乗員データは、乗員の嗜好に適応したものとなる。次回の乗車時には、乗員についての最新の設定が自動的になされることになる。また、監視制御部３７は、未登録の乗員についての乗員データを、メモリ３６に一時的に記録してよい。これにより、その後にその乗員が登録操作をした場合に、直ちに設定を紐付けることができる。
その後、監視制御部３７は、図９の監視制御を終了する。

図１０は、図４の監視制御部３７による複数の乗員の監視制御のフローチャートである。
監視制御部３７は、図９のステップＳＴ６において最初の乗員についての監視制御を開始すると判断すると、ステップＳＴ７において最後の乗員が降車して終了と判断するまで、図１０の監視制御を繰り返し実行する。

ステップＳＴ１１において、監視制御部３７は、撮像に基づく処理タイミングであるか否かを判断する。
ドライバの上体または頭部を挟角に撮像する第一撮像センサ４１と、車室３の内部を全体的に広角に撮像する第二撮像センサ４８とは、図８の各々の撮像タイミングにおいて撮像を実行して、撮像データを監視制御部３７へ出力する。監視制御部３７は、第一撮像センサ４１または第二撮像センサ４８から新たな撮像データを取得している場合、撮像に基づく処理タイミングであると判断し、処理をステップＳＴ１２へ進める。新たな撮像データを取得していない場合、監視制御部３７は、本処理を繰り返して待つ。

ステップＳＴ１２において、監視制御部３７は、基本的にドライバの上体または頭部を撮像する第一撮像センサ４１の撮像画像のみに基づく挟角単眼処理を開始する。

ステップＳＴ１３において、監視制御部３７は、第一撮像センサ４１の撮像画像に基づいて、ドライバのわき見を判定する。監視制御部３７は、第一撮像センサ４１の撮像画像から、たとえばドライバの目の画像成分を抽出する。監視制御部３７は、ドライバの目の画像成分により推定される視線が、自動車１の進行方向へ向いているか否かを判断する。ドライバの視線が自動車１の進行方向である場合、監視制御部３７は、ドライバはわき見をしていないと判定する。ドライバの視線が自動車１の進行方向ではない状態が複数回で連続している場合、監視制御部３７は、ドライバはわき見をしていると判定する。

ステップＳＴ１４において、監視制御部３７は、第一撮像センサ４１の撮像画像に基づいて、ドライバの居眠りを判定する。監視制御部３７は、第一撮像センサ４１の撮像画像から、たとえばドライバの目の画像成分を抽出する。監視制御部３７は、ドライバの目の画像成分により推定される開閉状態が開いているものである場合、ドライバは居眠りしていないと判定する。ドライバの目が複数回で連続して閉じている場合、監視制御部３７は、ドライバは居眠りをしていると判定する。

ステップＳＴ１５において、監視制御部３７は、第一撮像センサ４１の撮像画像に基づいて、ドライバの緊急事象を判定する。監視制御部３７は、第一撮像センサ４１の撮像画像から、たとえばドライバの着座姿勢の画像成分を抽出する。ドライバの着座姿勢がたとえば頭部が下がっている運転に適した状態にない場合、監視制御部３７は、ドライバに緊急事象があると判定する。この他にもたとえば、監視制御部３７は、第一撮像センサ４１の撮像画像から、ドライバの脈拍、血流量などの情報を得てもよい。この場合、監視制御部３７は、ドライバの脈拍が閾値より大きい場合、血流量の増減量が閾値以上である場合、ドライバに緊急事象があると判定する。
これにより、監視制御部３７は、挟角単眼処理を終了する。

ステップＳＴ１６において、監視制御部３７は、今回の処理タイミングが、広角同期撮像のタイミングであるか否かを判断する。
車室３の内部を全体的に広角に撮像する第二撮像センサ４８は、図８に示すように、第一撮像センサ４１と同時に撮像して、撮像データを監視制御部３７へ出力することがある。この同期撮像のタイミングでは、監視制御部３７は、今回の処理タイミングが広角同時撮像のタイミングであると判断し、処理をステップＳＴ１７へ進める。今回の処理タイミングが第一撮像センサ４１のみから新たな撮像データを取得している場合、監視制御部３７は、その他の判断処理を実行することなく、後処理のために、処理をステップＳＴ２８へ進める。

ステップＳＴ１７において、監視制御部３７は、同期撮像についての複眼処理のタイミングであるか否かを判断する。図８に示すように第二撮像センサ４８が第一撮像センサ４１と同期して撮像する場合、監視制御部３７は、第一撮像センサ４１の撮像画像と第二撮像センサ４８の撮像画像とを共に用いる複眼処理と、基本的に第二撮像センサ４８の撮像画像のみについて処理する広角単眼処理とを交互に実行する。図１０の監視制御を開始した最初の同期撮像である場合、前回に広角単眼処理を実行している場合、監視制御部３７は、複眼処理のタイミングであると判断し、処理をステップＳＴ１８へ進める。前回に複眼処理を実行している場合、監視制御部３７は、複眼処理のタイミングではなくて広角単眼処理のタイミングであると判断し、処理をステップＳＴ２２へ進める。前回の処理内容に関する情報は、メモリ３６に記録されていてよい。監視制御部３７は、ステップＳＴ１７での処理判断の後に、メモリ３６に記録されている前回の処理の情報を更新してよい。

ステップＳＴ１８において、監視制御部３７は、第一撮像センサ４１の撮像画像と第二撮像センサ４８の撮像画像とを共に用いる複眼処理を開始する。監視制御部３７は、第一撮像センサ４１の撮像画像と第二撮像センサ４８の撮像画像とに共に含まれるドライバの撮像位置を、第一撮像センサ４１の撮像画像と、第二撮像センサ４８の撮像画像とにおいて特定してよい。

ステップＳＴ１９において、監視制御部３７は、第一撮像センサ４１の撮像画像と第二撮像センサ４８の撮像画像との画角差の補正処理を実行する。監視制御部３７は、たとえば、第一撮像センサ４１の撮像画像に含まれるドライバの撮像位置と、第二撮像センサ４８の撮像画像に含まれるドライバの撮像位置とに基づいて、第一撮像センサ４１と第二撮像センサ４８とのセンサ間隔に応じた画角差を演算する。監視制御部３７は、演算により取得する画角差に基づいて、第一撮像センサ４１の撮像画像についての挟角単眼処理で使用する画素ごとの撮像位置情報、第二撮像センサ４８の撮像画像についての広角単眼処理で使用する画素ごとの撮像位置情報、を補正してよい。監視制御部３７は、取得した画角差の情報、画素ごとの撮像位置情報を、メモリ３６に記録してよい。

ステップＳＴ２０において、監視制御部３７は、第一撮像センサ４１と第二撮像センサ４８との視差を取得する。監視制御部３７は、第一撮像センサ４１の配設位置、第二撮像センサ４８の配設位置、センサ間隔、画角差、などに基づいて、第一撮像センサ４１と第二撮像センサ４８との視差を演算してよい。

ステップＳＴ２１において、監視制御部３７は、ドライバの着座位置を判定する。監視制御部３７は、第一撮像センサ４１の撮像画像と第二撮像センサ４８の撮像画像とに基づいて、ドライバのたとえば頭部、首、腰といった部位の方向や距離を演算し、その部位についてのシート４での位置を特定する。監視制御部３７は、ドライバの部位について特定した位置が、正しいシートポジションでの位置であるか否かを判定してよい。
これにより、監視制御部３７は、複眼処理を終了する。その後、監視制御部３７は、後処理のために、処理をステップＳＴ２８へ進める。

ステップＳＴ２２において、監視制御部３７は、基本的に第二撮像センサ４８の撮像画像のみについて処理する広角単眼処理を開始する。

ステップＳＴ２３において、監視制御部３７は、第二撮像センサ４８の撮像画像に基づいて、ドライバを含む複数の乗員の各々について、各自の着座位置（着座姿勢）を判定する。監視制御部３７は、第二撮像センサ４８の撮像画像から、たとえば各乗員の画像成分を抽出する。監視制御部３７は、各乗員の画像成分が、自動車１の移動中の着座位置（着座姿勢）として適したものであるか否かを判断する。たとえば乗員の着座位置（着座姿勢）が横になっているものである場合、監視制御部３７は、その乗員の着座位置（着座姿勢）は自動車１の移動中のとして適したものではないと判定する。

ステップＳＴ２４において、監視制御部３７は、第二撮像センサ４８の撮像画像に基づいて、ドライバを含む複数の乗員の各々について、各自の緊急事象を判定する。監視制御部３７は、第二撮像センサ４８の撮像画像から、たとえば各乗員の画像成分を抽出する。監視制御部３７は、各乗員の画像成分が、緊急事象に該当するものであるか否かを判断する。たとえば乗員の着座位置（着座姿勢）が横になっているものである場合、監視制御部３７は、その乗員の着座位置（着座姿勢）は緊急事象に該当するものであると判定する。

ステップＳＴ２５において、監視制御部３７は、第二撮像センサ４８の撮像画像に基づいて、ドライバを含む複数の乗員の各々について、各自のシートベルトの装着状態を判定する。監視制御部３７は、ドライバを含む複数の乗員の各々について、シートベルトの画像成分を抽出する。監視制御部３７は、シートベルトの画像成分が各乗員の上体の前に交差しているものでない場合、シートベルトが正しく装着されていないと判定する。

ステップＳＴ２６において、監視制御部３７は、第二撮像センサ４８の撮像画像に基づいて、チャイルドシートの装着状態を判定する。監視制御部３７は、チャイルドシートの画像成分を抽出を試みる。チャイルドシートの画像成分が抽出できる場合、監視制御部３７は、チャイルドシートが装着されていると判定する。

ステップＳＴ２７において、監視制御部３７は、第二撮像センサ４８の撮像画像に基づいて、携帯端末などでのビューイングのための監視画像を生成して出力する。
これにより、監視制御部３７は、広角単眼処理を終了する。その後、監視制御部３７は、後処理のために、処理をステップＳＴ２８へ進める。

ステップＳＴ２８において、監視制御部３７は、上述した複数の監視種類の判断に基づく後処理を開始する。監視制御部３７は、まず、上述した複数の監視種類の判断において警告を必要とするものが含まれているか否かを判断し、含まれている場合には処理をステップＳＴ２９へ進める。それ以外の場合には、監視制御部３７は、処理をステップＳＴ３０へ進める。

ステップＳＴ２９において、監視制御部３７は、警告を必要としている監視種類の内容に応じた警告を出力する。
ドライバへの警告は、たとえば液晶デバイス３３の警告表示、スピーカデバイス１４からの警告音の出力でよい。なお、所定の期間以上にわたって継続的に走行をしている場合、目が所定頻度で開閉している場合、頭部の向きが下がりぎみである場合、監視制御部３７は、制御要と判断し、ドライバに対して休憩などを促す出力を実行してよい。

ステップＳＴ３０において、監視制御部３７は、上述した複数の監視種類の判断において緊急事態の制御を必要とするものが含まれているか否かを判断し、含まれている場合には処理をステップＳＴ３１へ進める。それ以外の場合には、監視制御部３７は、図１０の制御を終了する。

ステップＳＴ３１において、監視制御部３７は、緊急処理を必要としている監視種類の内容に応じた緊急制御を実行する。
監視制御部３７は、警告を出力してもドライバが正面視とはならない場合、すなわち連続してドライバの視線が正面視ではないと判定している場合、自動車１の走行モードを自動運転へ切り替えて、自動車１の走行を減速停止してよい。自動車１の走行を減速停止する場合、監視制御部３７は、不図示のハザードランプの点灯、車外通信装置１８による緊急事態情報の送信を実行してよい。たとえばドライバが居眠りしているまたは高い脈拍であると判定している場合、監視制御部３７は、自動車１の走行の減速停止を実行してよい。自動車１の走行を減速停止する場合、監視制御部３７は、不図示のハザードランプの点灯、車外通信装置１８による緊急事態情報の送信を実行してよい。
その後、監視制御部３７は、図１０の制御を終了する。

このように監視制御部３７は、監視のための複数種類の処理として、第一撮像センサ４１の撮像画像に基づく挟角単眼処理と、第一撮像センサ４１とは異なる画角または撮像範囲で車室３を撮像する第二撮像センサ４８の撮像画像に基づく広角単眼処理と、第一撮像センサ４１の撮像画像と第二撮像センサ４８の撮像画像とに基づく複眼処理と、を実行する。
監視制御部３７は、第一撮像センサ４１と第二撮像センサ４８とが同期して撮像する場合と、第一撮像センサ４１および第二撮像センサ４８の一方のみが撮像する場合とで、異なる種類の処理を実行する。
監視制御部３７は、挟角単眼処理での第一撮像センサ４１の撮像画像のみに基づく複数種類の監視処理として、ドライバのわき見を判定し、ドライバの居眠りを判定し、ドライバの緊急事象を判定する。監視制御部３７は、挟角単眼処理において、これ以外の処理を実行しても、一部の処理を実行してもよい。
監視制御部３７は、複眼処理でのドライバの上体または頭部を撮像する第一撮像センサ４１の撮像画像と車室３の内部を全体的に撮像する第二撮像センサ４８の撮像画像とに基づく複数種類の監視処理として、同期した撮像における第一撮像センサ４１と第二撮像センサ４８との画角の差または撮像範囲の差を抑制する補正処理を実行し、第一撮像センサ４１と第二撮像センサ４８との視差情報を取得し、ドライバの着座位置を判定する。監視制御部３７は、第一撮像センサ４１の撮像画像と第二撮像センサ４８の撮像画像との相関に基づく監視処理として、乗員についての第一撮像センサ４１の撮像画像での撮像位置と第二撮像センサ４８の撮像画像での撮像位置との相違に基づいて、乗員の着座位置を判定する。監視制御部３７は、複眼処理において、これ以外の処理を実行しても、一部の処理を実行してもよい。
監視制御部３７は、広角単眼処理での第二撮像センサ４８の撮像画像のみに基づく複数種類の監視処理として、各乗員の着座位置若しくは着座姿勢を判定し、各乗員の緊急事象を判定し、各乗員のシートベルトの装着状態を判定し、チャイルドシートの装着状態を判定し、第二撮像センサ４８の撮像画像を出力する。監視制御部３７は、広角単眼処理において、これ以外の処理を実行しても、一部の処理を実行してもよい。

以上のように、本実施形態では、自動車１の車室３の乗員を撮像する撮像センサとして、第一撮像センサ４１および第二撮像センサ４８の複数の撮像センサを有する。そして、制御部は、第一撮像センサ４１の撮像画像と第二撮像センサ４８の撮像画像とについての監視処理を実行可能である。
特に、本実施形態では、自動車１の車室３の乗員を撮像する第一撮像センサ４１と第二撮像センサ４８とは、自動車１の車幅方向の中央部分において車幅方向に沿って並べられ、撮像範囲の少なくとも一部が重なるように設けられる。これにより、第一撮像センサ４１の撮像画像と第二撮像センサ４８の撮像画像とに同じ乗員を撮像可能として、これら複数の撮像センサの撮像画像の間に一定の関連性を持たせることができる。
その結果、制御部は、第一撮像センサ４１の撮像画像のみに基づく監視処理や、第二撮像センサ４８の撮像画像のみに基づく監視処理だけでなく、第一撮像センサ４１の撮像画像と第二撮像センサ４８の撮像画像との相関に基づく監視処理を実行することが可能になる。制御部は、第一撮像センサ４１の撮像画像と第二撮像センサ４８の撮像画像との相関に基づく監視処理として、たとえば、乗員についての第一撮像センサ４１の撮像画像での撮像位置と第二撮像センサ４８の撮像画像での撮像位置との相違に基づいて、乗員の着座位置を判定してよい。
このように本実施形態において制御部は、第一撮像センサ４１と第二撮像センサ４８とが自動車１の車幅方向の中央部分において車幅方向に沿って並べられて撮像範囲の少なくとも一部が重なるように設けられていることに起因して、自動車１のドライバといった乗員の状態についての新たな監視機能として、第一撮像センサ４１の撮像画像と第二撮像センサ４８の撮像画像との相関に基づく監視処理を実行することが可能となる。
また、本実施形態では、撮像センサより多い数の監視種類についての処理を実行することができる。本実施形態では、撮像センサの増加数を抑えつつ、ドライバを含む乗員についての監視処理を多機能化することも可能になる。

以上の実施形態は、本発明の好適な実施形態の例であるが、本発明は、これに限定されるものではなく、発明の要旨を逸脱しない範囲において種々の変形または変更が可能である。

たとえば上述した実施形態では、撮像センサは、第一撮像センサ４１と第二撮像センサ４８との２つである。撮像センサは、３つ以上あってもよい。発光部材としてのＬＥＤについても同様である。ＬＥＤは、撮像センサと異なる数で設けられてよい。

１…自動車（車両）、２…車体、３…車室、４…シート、５…ダッシュボード、６…センターコンソール、７…ステアリング、１０…制御装置、１１…ドア開閉センサ、１２…車速センサ、１３…パークセンサ、１４…スピーカデバイス、１５…乗員監視装置、１６…ポジション設定装置、１７…運転支援装置、１８…車外通信装置、１９…乗員保護装置、２０…空調装置、２１…車内ネットワーク、３１…第一カメラモジュール、３２…第二カメラモジュール、３３…液晶デバイス、３４…表示操作パネル、３５…入出力デバイス、３６…メモリ、３７…監視制御部、４１…第一撮像センサ、４２…挟角レンズ、４３…第一ＬＥＤ、４４…投光挟角レンズ、４５…第一デバイスコントローラ、４６…略第二ＬＥＤ、４６…第二ＬＥＤ、４７…投光広角レンズ、４８…第二撮像センサ、４９…広角レンズ、５０…第二デバイスコントローラ、６１…第一乗員データ、６２…第二乗員データ

Claims (7)

1. 車両の車室内を狭角に撮像する第一撮像部材と、
   前記第一撮像部材と撮像範囲の少なくとも一部が重なるように、前記第一撮像部材よりも前記車室内を広角に撮像する第二撮像部材と、
   前記第一撮像部材の撮像画像と前記第二撮像部材の撮像画像とに基づく監視処理を実行可能な制御部と、
   を有し、
   前記第一撮像部材と前記第二撮像部材とは、前記車両のステアリングよりも、前記車両の前方かつ前記車両の車幅方向の中央において、前記ステアリングが前にあるドライバの側から前記第二撮像部材、前記第一撮像部材の順に前記車幅方向に沿って並べて設けられる、
   車両の車内モニタリング装置。
   
2. 前記第一撮像部材が撮像する際に前記第一撮像部材の撮像範囲へ投光する第一投光部材と、
   前記第二撮像部材が撮像する際に前記第二撮像部材の撮像範囲へ投光する第二投光部材と、を有する、
   請求項１記載の、車両の車内モニタリング装置。
   
3. 前記第一投光部材は、前記車両の車幅方向において、前記第一撮像部材より、前記ステアリングが前にあるドライバから遠くに設けられる、
   請求項２記載の、車両の車内モニタリング装置。
   
4. 前記第一撮像部材は、前記第二撮像部材が撮像する周期より短い周期で撮像して、複数回に１回の割合で前記第二撮像部材と同期した撮像をし、
   前記第一投光部材は、前記第一撮像部材が周期的に撮像する際に周期的に投光し、前記第二投光部材が前記第二撮像部材の周期的な撮像に合わせて投光する場合には、出力する光量を下げて投光し、
   前記第二投光部材は、前記第一投光部材より少ない光量で、前記第二撮像部材が周期的に撮像する際に周期的に投光する、
   請求項２または３記載の、車両の車内モニタリング装置。
   
5. 前記制御部は、前記第一撮像部材の撮像画像のみに基づく監視処理、前記第二撮像部材の撮像画像のみに基づく監視処理、および前記第一撮像部材の撮像画像と前記第二撮像部材の撮像画像との相関に基づく監視処理、を実行する、
   請求項１から４のいずれか一項記載の、車両の車内モニタリング装置。
   
6. 前記制御部は、前記第一撮像部材の撮像画像と前記第二撮像部材の撮像画像との相関に基づく監視処理として、
   乗員についての前記第一撮像部材の撮像画像での撮像位置と前記第二撮像部材の撮像画像での撮像位置との相違に基づいて、乗員の着座位置を判定する、
   請求項５記載の、車両の車内モニタリング装置。
   
7. 前記第一撮像部材は、前記車両の前記車室内において前記ステアリングの後側のドライバであるドライバを狭角に撮像し、
   前記第二撮像部材は、ドライバとともにドライバ以外の乗員を撮像できるように前記車室を広角に撮像し、
   前記第一撮像部材と前記第二撮像部材とは、前記車両のダッシュボードおよびセンターコンソールの車幅方向の中央部分に設けられ、
   前記第二撮像部材は、前記車両の車幅方向の中央を基準にしてドライバの側となるように設けられ、
   前記第一撮像部材は、前記車両の車幅方向の中央を基準にしてドライバとは反対側となるように、前記第二撮像部材よりドライバから遠くに設けられる、
   請求項１から６のいずれか一項記載の、車両の車内モニタリング装置。
   

Images