JP7563196B2

JP7563196B2 - 制御装置

Info

Publication number: JP7563196B2
Application number: JP2021010149A
Authority: JP
Inventors: 祥山本
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2021-01-26
Filing date: 2021-01-26
Publication date: 2024-10-08
Anticipated expiration: 2041-01-26
Also published as: JP2022114043A

Description

本発明は、制御装置に関する。

従来、自動運転機能を有する車両が知られている（たとえば、特許文献１参照）。

特許文献１の車両は、運転席および助手席の向きを車両後方側に変更可能に構成されている。このため、自動運転が行われる場合に、運転席および助手席の向きが車両後方側にされることにより、運転席および助手席を後席と向かい合わせにすることが可能である。そして、車両は、運転席の向きを検出するシートセンサが設けられ、運転席の向きに応じて車載機器を制御するように構成されている。

特開２０１９－１５５９９１号公報

しかしながら、上記した車両では、運転席の向きを検出するためのシートセンサが設けられており、この点について改善の余地がある。

本発明は、上記の課題を解決するためになされたものであり、本発明の目的は、シートセンサによらずに前席の向きを判定することが可能な制御装置を提供することである。

本発明による制御装置は、自動運転機能を有し、前席の向きを車両後方側に変更可能に構成された車両に適用されるものである。制御装置は、車室内における車両前方側の端部から後方を撮像すると共に、撮像領域内に、運転席の背もたれ部分、助手席の背もたれ部分、および、後席それぞれが位置するように配置された前方カメラと、前記車室内における車両後方側の端部から前方を撮像するように配置された後方カメラと、前記前方カメラによって取得された撮像画像に基づいて前記運転席および前記助手席の向きを判定すると共に、その判定結果に基づいて前記車室内の監視に用いるカメラを決定する監視ＥＣＵとを備えている。前記前方カメラの撮像画像には、前記運転席および前記助手席の少なくとも一方が車両前方を向いている場合に、当該車両前方を向いている席に乗員が着座している場合の当該乗員、および、後席に乗員が着座している場合の当該乗員それぞれが映り込むようになっており、前記後方カメラの撮像画像には、前記運転席および前記助手席の少なくとも一方が車両後方を向いている場合に、当該車両後方を向いている席に乗員が着座している場合の当該乗員が映り込むようになっている。前記監視ＥＣＵは、前記運転席および前記助手席の両方が車両前方を向いている場合には、前記運転席に乗員が着座している場合の当該乗員、前記助手席に乗員が着座している場合の当該乗員、および、前記後席に乗員が着座している場合の当該乗員それぞれの状態を、前記前方カメラのみからの撮像画像を用いて監視し、前記運転席および前記助手席の少なくとも一方が車両後方を向いている場合には、そのことを条件として前記後方カメラを作動させ、前記運転席および前記助手席のうち車両後方を向いている席に乗員が着座している場合の当該乗員の状態を、前記後方カメラからの撮像画像を用いて監視すると共に、前記運転席および前記助手席のうち一方の席が車両前方を向いている場合には、当該車両前方を向いている席に乗員が着座している場合の当該乗員、および、前記後席に乗員が着座している場合の当該乗員それぞれの状態を、前記前方カメラからの撮像画像を用いて監視するように構成されている。

このように構成することによって、所定のカメラによる撮像画像に基づいて前席の向きを判定することにより、シートセンサによらずに前席の向きを判定することができる。

本発明の制御装置によれば、シートセンサによらずに前席の向きを判定することができる。

本実施形態による監視ＥＣＵが適用される車両を示した模式図である。図１の車両の前席の向きが変更された状態を示した模式図である。本実施形態による監視ＥＣＵの構成を示したブロック図である。図３の監視ＥＣＵの動作を説明するためのフローチャートである。

以下、本発明の一実施形態を説明する。

まず、図１～図３を参照して、本発明の一実施形態による監視ＥＣＵ２が適用される車両１００の構成について説明する。

車両１００は、図１に示すように、複数の車輪６０が設けられ、その車輪６０の回転によって走行するように構成されている。この車両１００は、自動運転機能を有するとともに、手動運転可能に構成されている。このため、車両１００は、自動運転時にはドライバが操作を行わなくても自動的に走行し、手動運転時にはドライバの操作によって走行するようにされている。

また、車両１００には車室５０が設けられ、車室５０内には乗員が着座するシートが設けられている。シートは、前席である運転席５１および助手席５２と、後席５３とを含んでいる。運転席５１、助手席５２および後席５３は、車両前方側（Ｘ１方向側）を向くように設けられている。すなわち、運転席５１の背もたれ部分５１ａが車両後方側（Ｘ２方向側）に配置され、助手席５２の背もたれ部分５２ａが車両後方側に配置され、後席５３の背もたれ部分５３ａが車両後方側に配置されている。なお、運転席５１の前方には、手動運転時にドライバによって操作されるステアリングホイール５４などが設けられている。

ここで、車両１００は、図２に示すように、運転席５１および助手席５２の向きを車両後方側に変更可能に構成されている。このため、自動運転が行われる場合に、運転席５１および助手席５２の向きが車両後方側にされることにより、運転席５１および助手席５２を後席５３と向かい合わせにすることが可能である。なお、このとき、運転席５１の背もたれ部分５１ａが車両前方側に配置され、助手席５２の背もたれ部分５２ａが車両前方側に配置されている。

そして、車両１００は、車室５０内を監視するとともに、車室５０内の状態に応じて制御されるように構成されている。たとえば、運転席５１の向きが車両後方側である場合には、自動運転から手動運転への切り替えが禁止されるようになっている。この車両１００は、図３に示すように、自動運転システム６１、警報装置６２および車室内監視装置などを含んでいる。自動運転システム６１は、車両周辺の情報や車室内監視装置による監視結果などに応じて自動運転を制御するように構成されている。警報装置６２は、車室内監視装置による監視結果をドライバなどの乗員に報知するように構成されている。たとえば、警報装置６２は、ドライバの眠気や疲労を警報するようにしてもよいし、シートベルトの非着用を警報するようにしてもよいし、乗員の体調不良を警報するようにしてもよい。

車室内監視装置は、前方カメラ１ａおよび後方カメラ１ｂと監視ＥＣＵ２とを含み、車室５０内を監視するように構成されている。前方カメラ１ａおよび後方カメラ１ｂは、車室５０内を撮像するように設けられている。前方カメラ１ａは、たとえば、ルーフ（図示省略）の車両前方側の端部に取り付けられ、後方（Ｘ２方向）を撮像するように配置されている。このため、前方カメラ１ａによる撮像領域内に、運転席５１の背もたれ部分５１ａおよび助手席５２の背もたれ部分５２ａが位置している。後方カメラ１ｂは、たとえば、ルーフの車両後方側の端部に取り付けられ、前方（Ｘ１方向）を撮像するように配置されている。なお、前方カメラ１ａおよび後方カメラ１ｂは、本発明の「カメラ」の一例である。

監視ＥＣＵ２は、前方カメラ１ａおよび後方カメラ１ｂを用いて車室５０内の監視を行い、その監視結果を自動運転システム６１および警報装置６２などに出力するように構成されている。この監視ＥＣＵ２は、制御部２１と記憶部２２と入出力部２３と通信部２４とを含み、前方カメラ１ａおよび後方カメラ１ｂを制御するように構成されている。なお、監視ＥＣＵ２は、本発明の「制御装置」の一例である。

制御部２１は、制御プログラムに基づいて演算処理を実行して、監視ＥＣＵ２を制御するように構成されている。記憶部２２には、制御部２１により実行される制御プログラムなどが記憶されている。入出力部２３には、前方カメラ１ａおよび後方カメラ１ｂが接続されている。通信部２４は、自動運転システム６１および警報装置６２などと通信するために設けられている。

そして、監視ＥＣＵ２は、前方カメラ１ａによる撮像画像に基づいて運転席５１および助手席５２の向きを判定するとともに、その判定結果に基づいて車室５０内の監視に用いるカメラを決定するように構成されている。すなわち、監視ＥＣＵ２は、運転席５１および助手席５２の向きに応じて、車室５０内の監視に用いるカメラを切り替えるように構成されている。具体的に、運転席５１および助手席５２の両方が車両前方を向いている場合には、前方カメラ１ａを用いて車室５０内の監視が行われ、運転席５１および助手席５２の少なくとも一方が車両後方を向いている場合には、前方カメラ１ａおよび後方カメラ１ｂを用いて車室５０内の監視が行われるようになっている。なお、前方カメラ１ａは、本発明の「所定のカメラ」の一例である。

－動作－
次に、図４を参照して、本実施形態による監視ＥＣＵ２の動作について説明する。なお、以下の各ステップは、制御部２１によって実行される。

まず、図４のステップＳ１において、前方カメラ１ａを作動させて画像が取得される。すなわち、前方カメラ１ａにより車室５０内が撮像され、その前方カメラ１ａによる撮像画像が入出力部２３に入力される。

次に、ステップＳ２において、前方カメラ１ａによる撮像画像に基づいて運転席５１および助手席５２の向きが認識される。なお、前方カメラ１ａによる撮像領域内に背もたれ部分５１ａおよび５２ａが含まれているため、前方カメラ１ａの撮像画像における背もたれ部分５１ａおよび５２ａの位置に基づいて運転席５１および助手席５２の向きを認識することが可能である。すなわち、前方カメラ１ａの撮像画像を処理して背もたれ部分５１ａおよび５２ａを検出し、その検出された背もたれ部分５１ａおよび５２ａの位置によって運転席５１および助手席５２の向きが判断される。

次に、ステップＳ３において、運転席５１が車両前方を向いているか否かが判定される。そして、運転席５１が車両前方を向いていると判定された場合には、ステップＳ４に移る。その一方、運転席５１が車両前方を向いていないと判定された場合（運転席５１が車両後方を向いている場合）には、ステップＳ６に移る。

次に、ステップＳ４において、助手席５２が車両前方を向いているか否かが判定される。そして、助手席５２が車両前方を向いていると判定された場合には、ステップＳ５に移る。その一方、助手席５２が車両前方を向いていないと判定された場合（助手席５２が車両後方を向いている場合）には、ステップＳ６に移る。

そして、ステップＳ５では、前方カメラ１ａの撮像画像を用いて車室５０内の監視が行われる。前方カメラ１ａの撮像画像には、運転席５１に着座する乗員、助手席５２に着座する乗員、および、後席５３に着座する乗員が映り込んでいる。このため、前方カメラ１ａの撮像画像から車室５０内の乗員の状態を監視することが可能である。すなわち、前方カメラ１ａのみを用いて車室５０内の監視が行われる。そして、監視結果が通信部２４から自動運転システム６１および警報装置６２に送信される。自動運転システム６１および警報装置６２は、受信した監視結果に応じて制御される。なお、監視結果の一例としては、ドライバの眠気や疲労の有無、シートベルトの着用の有無、および、乗員の体調変化などを挙げることができる。

また、ステップＳ６において、後方カメラ１ｂを作動させて画像が取得される。すなわち、後方カメラ１ｂにより車室５０内が撮像され、その後方カメラ１ｂによる撮像画像が入出力部２３に入力される。

次に、ステップＳ７では、前方カメラ１ａおよび後方カメラ１ｂの撮像画像を用いて車室５０内の監視が行われる。車両後方を向く運転席５１および助手席５２の少なくとも一方に着座する乗員は後方カメラ１ｂの撮像画像に映り込み、それ以外の乗員は前方カメラ１ａの撮像画像に映り込む。このため、前方カメラ１ａおよび後方カメラ１ｂの撮像画像から車室５０内の乗員の状態を監視することが可能である。すなわち、前方カメラ１ａおよび後方カメラ１ｂの両方を用いて車室５０内の監視が行われる。そして、監視結果が通信部２４から自動運転システム６１および警報装置６２に送信される。

－効果－
本実施形態では、上記のように、前方カメラ１ａの撮像画像に基づいて運転席５１および助手席５２の向きが判定されることによって、シートセンサによらずに運転席５１および助手席５２の向きを判定することができる。そして、運転席５１および助手席５２の両方が車両前方を向いている場合には、前方カメラ１ａを用いて車室５０内の監視が行われ、運転席５１および助手席５２の少なくとも一方が車両後方を向いている場合には、前方カメラ１ａおよび後方カメラ１ｂを用いて車室５０内の監視が行われる。これにより、コストの増加を抑制しながら、車室５０内を適切に監視することができる。

－他の実施形態－
なお、今回開示した実施形態は、すべての点で例示であって、限定的な解釈の根拠となるものではない。したがって、本発明の技術的範囲は、上記した実施形態のみによって解釈されるものではなく、特許請求の範囲の記載に基づいて画定される。また、本発明の技術的範囲には、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれる。

また、上記実施形態では、前方カメラ１ａがルーフに取り付けられる例を示したが、これに限らず、前方カメラが、バックミラーに取り付けられていてもよいし、インストルメントパネルに取り付けられていてもよい。

また、上記実施形態では、２つのカメラ（前方カメラ１ａおよび後方カメラ１ｂ）が設けられる例を示したが、これに限らず、設けられるカメラの数は複数であればいくつであってもよい。たとえば、前方カメラおよび後方カメラに加えて全方位カメラが設けられていてもよい。なお、全方位カメラは、たとえば、ルーフの車両前後方向における中央部に配置される。

また、上記実施形態では、背もたれ部分５１ａおよび５２ａの位置に基づいて運転席５１および助手席５２の向きが判断される例を示したが、これに限らず、ヘッドレストなどのその他の部分の位置に基づいて運転席および助手席の向きが判断されるようにしてもよい。

また、上記実施形態では、前席（運転席５１および助手席５２）と後席５３とが設けられた車両１００に本発明が適用される例を示したが、これに限らず、多数の乗員が搭乗可能な３列シートを有する車両やバスなどに本発明が適用されるようにしてもよい。

本発明は、自動運転機能を有し、前席の向きを車両後方側に変更可能に構成された車両に適用される制御装置に利用可能である。

１ａ前方カメラ（カメラ、所定のカメラ）
１ｂ後方カメラ（カメラ）
２監視ＥＣＵ（制御装置）
５０車室
５１運転席（前席）
５２助手席（前席）
１００車両

Claims

自動運転機能を有し、前席の向きを車両後方側に変更可能に構成された車両に適用される制御装置であって、
車室内における車両前方側の端部から後方を撮像すると共に、撮像領域内に、運転席の背もたれ部分、助手席の背もたれ部分、および、後席それぞれが位置するように配置された前方カメラと、
前記車室内における車両後方側の端部から前方を撮像するように配置された後方カメラと、
前記前方カメラによって取得された撮像画像に基づいて前記運転席および前記助手席の向きを判定すると共に、その判定結果に基づいて前記車室内の監視に用いるカメラを決定する監視ＥＣＵとを備え、
前記前方カメラの撮像画像には、前記運転席および前記助手席の少なくとも一方が車両前方を向いている場合に、当該車両前方を向いている席に乗員が着座している場合の当該乗員、および、後席に乗員が着座している場合の当該乗員それぞれが映り込むようになっており、
前記後方カメラの撮像画像には、前記運転席および前記助手席の少なくとも一方が車両後方を向いている場合に、当該車両後方を向いている席に乗員が着座している場合の当該乗員が映り込むようになっており、
前記監視ＥＣＵは、
前記運転席および前記助手席の両方が車両前方を向いている場合には、前記運転席に乗員が着座している場合の当該乗員、前記助手席に乗員が着座している場合の当該乗員、および、前記後席に乗員が着座している場合の当該乗員それぞれの状態を、前記前方カメラのみからの撮像画像を用いて監視し、
前記運転席および前記助手席の少なくとも一方が車両後方を向いている場合には、そのことを条件として前記後方カメラを作動させ、前記運転席および前記助手席のうち車両後方を向いている席に乗員が着座している場合の当該乗員の状態を、前記後方カメラからの撮像画像を用いて監視すると共に、前記運転席および前記助手席のうち一方の席が車両前方を向いている場合には、当該車両前方を向いている席に乗員が着座している場合の当該乗員、および、前記後席に乗員が着座している場合の当該乗員それぞれの状態を、前記前方カメラからの撮像画像を用いて監視するように構成されていることを特徴とする制御装置。