JP7674237B2 - 走行制御装置および走行制御方法 - Google Patents

Description

本開示は、車両の走行を自動的に制御する走行制御装置および走行制御方法に関する。

車両に搭載されたカメラにより生成された周辺画像に基づいて車両の走行を自動的に制御する走行制御装置が知られている。走行制御装置は、周辺画像から車両の周囲の物体を検出し、周囲の物体に衝突しないように車両の走行を制御する。

特許文献１には、自律走行車が手動運転モードで運転されている時に収集された運転統計情報に基づいてユーザの運転行動と好みを決定し、ユーザの運転行動と好みに基づいてユーザの運転プロファイルを生成するデータ処理システムが記載されている。特許文献１の技術によりルート選択、車線変更といった運転シーン生成された運転プロファイルは、類似する運転シーンでの自律走行車の走行制御に使用される。

特開２０１８－１０１４００号公報

ある運転シーンで運転者が所定の運転行動をとる傾向が確認されたとしても、運転者は必ずしもその運転シーンに注目してその運転行動をとったか否かは明らかではない。例えば信号のない交差点で徐行する運転行動が確認された場合において、運転者は、交差点そのものではなく、交差点近傍に存在する歩行者に注目して徐行していることが考えられる。このような場合、例えば交差点でないが道路を横断しそうな歩行者が存在する場所を走行する際には、徐行しないと運転者は不安を感じ、必ずしも適切な走行制御とは言えない。

本開示は、運転者が不安を感じないように車両の走行を制御することができる走行制御装置を提供することを目的とする。

本開示にかかる走行制御装置は、所定の安全基準を満たす自動運転制御により走行可能な車両の周辺が表された周辺画像から１以上の物体を検出する物体検出部と、車両の運転者の顔領域が表された顔画像から運転者の視線方向を検出する視線検出部と、１以上の物体のうち、運転者の視線方向にある物体を特定する特定部と、車両の走行中に、運転者による危険を回避するための危険回避操作を検出した場合、特定された物体と、特定された物体が検出されたときの状況を表す状況条件とを関連づけて記憶部に記憶させる条件記憶部と、車両の自動運転制御による走行中に、記憶部に記憶された物体が検出され、かつ、物体が検出されたときの状況が状況条件を満たす場合、運転者がより安全と感じられるように所定の安全基準を変更する基準変更部と、を備える。

本開示にかかる走行制御装置において、状況条件は、特定された物体の、少なくとも車両からの距離を含むことが好ましい。

本開示にかかる走行制御装置は、記憶部に記憶された物体のうちいずれかの物体に関連づけて異なる時刻に記憶された複数の状況条件に基づいて、当該物体が検出されたときに危険回避操作が検出される状況を表す学習状況条件を作成する条件学習部をさらに備え、基準変更部は、物体が検出されたときの状況が学習状況条件を満たす場合、物体が検出されたときの状況が状況条件を満たすと判定することが好ましい。

本開示にかかる走行制御装置において、条件記憶部は、車両の走行中に物体が検出されたときの状況が状況条件を満たした場合に危険回避操作が検出される割合をさらに記憶し、条件学習部は、危険回避操作の検出される割合の大きい状況条件の方が、危険回避操作が検出される割合の小さい状況条件よりも優先されるように学習状況条件を作成することが好ましい。

本開示にかかる走行制御方法は、所定の安全基準を満たす自動運転制御により走行可能な車両の周辺が表された周辺画像から１以上の物体を検出し、車両の運転者の顔領域が表された顔画像から運転者の視線方向を検出し、１以上の物体のうち、運転者の視線方向にある物体を特定し、車両の走行中に、運転者による危険を回避するための危険回避操作を検出した場合、特定された物体と、特定された物体が検出されたときの状況を表す状況条件とを関連づけて記憶部に記憶させ、車両の自動運転制御による走行中に、記憶部に記憶された物体が検出され、かつ、物体が検出されたときの状況が状況条件を満たす場合、運転者がより安全と感じられるように所定の安全基準を変更する、ことを含む。

本開示にかかる走行制御装置によれば、運転者が不安を感じないように車両の走行を制御することができる。

走行制御装置が実装される車両の概略構成図である。 走行制御装置のハードウェア模式図である。 走行制御装置が有するプロセッサの機能ブロック図である。 視線方向にある物体の特定を説明する図である。 状況テーブルの例を示す図である。 第１の走行制御処理のフローチャートである。 第２の走行制御処理のフローチャートである。

以下、図面を参照して、運転者が不安を感じないように車両の走行を制御することができる走行制御装置について詳細に説明する。走行制御装置は、車速、周辺物体との間隔といった所定の安全基準を満たす自動運転制御により走行可能な車両の周辺が表された周辺画像から１以上の物体を検出し、車両の運転者の顔領域が表された顔画像から運転者の視線方向を検出する。走行制御装置は、１以上の物体のうち、運転者の視線方向にある物体を特定する。また、走行制御装置は、車両の走行中に、運転者による危険を回避するための危険回避操作を検出した場合、特定された物体と、特定された物体が検出されたときの状況を表す状況条件とを関連づけて記憶部に記憶させる。そして、走行制御装置は、車両の自動運転制御による走行中に、記憶部に記憶された物体が検出され、かつ、物体が検出されたときの状況が状況条件を満たす場合、運転者がより安全と感じられるように所定の安全基準を変更する。

図１は、走行制御装置が実装される車両の概略構成図である。

車両１は、周辺カメラ２と、ドライバモニタカメラ３と、走行制御装置４とを有する。周辺カメラ２およびドライバモニタカメラ３と、走行制御装置４とは、コントローラエリアネットワークといった規格に準拠した車内ネットワークを介して通信可能に接続される。

周辺カメラ２は、車両の周辺が表された周辺画像を生成するための周辺撮影部の一例である。周辺カメラ２は、ＣＣＤあるいはＣ－ＭＯＳなど、可視光に感度を有する光電変換素子のアレイで構成された２次元検出器と、その２次元検出器上の撮影対象となる領域の像を結像する結像光学系とを有する。周辺カメラ２は、例えば車室内の前方上部に、前方を向けて配置され、所定の撮影周期（例えば1/30秒～1/10秒）ごとにフロントガラスを介して車両１の周辺の状況を撮影し、周辺の状況が表された周辺画像を出力する。

ドライバモニタカメラ３は、車両の運転者の顔領域を表す顔画像を生成するための運転者撮影部の一例である。ドライバモニタカメラ３は、ＣＣＤあるいはＣ－ＭＯＳなど、赤外光に感度を有する光電変換素子のアレイで構成された２次元検出器と、その２次元検出器上の撮影対象となる領域の像を結像する結像光学系とを有する。また、ドライバモニタカメラ３は、赤外光を発する光源を有する。ドライバモニタカメラ３は、例えば車室内の前方に、運転者シートに着座する運転者の顔に向けて取り付けられる。ドライバモニタカメラ３は、所定の撮影周期（例えば1/30秒～1/10秒）ごとに運転者に赤外光を照射し、運転者の顔が写った画像を出力する。

走行制御装置４は、通信インタフェースと、メモリと、プロセッサとを有するＥＣＵ（Electronic Control Unit）である。走行制御装置４は、所定の安全基準を満たすように車両１のエンジン、ブレーキ、ステアリングといった走行機構（不図示）に制御信号を出力し、車両１の自動運転制御を実行する。また、走行制御装置４は、通信インタフェースを介して周辺カメラ２から受信する周辺画像およびドライバモニタカメラ３から受信する顔画像から運転者の視線方向にある物体を検出し、物体が検出されたときの状況を記憶する。そして、走行制御装置４は、周辺画像から物体が検出されたときの状況に基づいて、車両１の自動運転制御における安全基準を変更する。

図２は、走行制御装置４のハードウェア模式図である。走行制御装置４は、通信インタフェース４１と、メモリ４２と、プロセッサ４３とを備える。

通信インタフェース４１は、通信部の一例であり、走行制御装置４を車内ネットワークへ接続するための通信インタフェース回路を有する。通信インタフェース４１は、受信したデータをプロセッサ４３に供給する。また、通信インタフェース４１は、プロセッサ４３から供給されたデータを外部に出力する。

メモリ４２は、記憶部の一例であり、揮発性の半導体メモリおよび不揮発性の半導体メモリを有する。メモリ４２は、プロセッサ４３による処理に用いられる各種データ、例えば周辺画像から物体を検出する物体識別器として動作するニューラルネットワークを規定するためのパラメータ群、自動運転制御に用いられる安全基準、検出された物体と物体が検出されたときの状況とが関連づけられた状況テーブル等を保存する。また、メモリ４２は、各種アプリケーションプログラム、例えば走行制御処理を実行する走行制御プログラム等を保存する。

プロセッサ４３は、制御部の一例であり、１以上のプロセッサおよびその周辺回路を有する。プロセッサ４３は、論理演算ユニット、数値演算ユニット、またはグラフィック処理ユニットといった他の演算回路をさらに有していてもよい。

図３は、走行制御装置４が有するプロセッサ４３の機能ブロック図である。

走行制御装置４のプロセッサ４３は、機能ブロックとして、物体検出部４３１と、視線検出部４３２と、特定部４３３と、条件記憶部４３４と、条件学習部４３５と、基準変更部４３６とを有する。プロセッサ４３が有するこれらの各部は、プロセッサ４３上で実行されるプログラムによって実装される機能モジュールである。あるいは、プロセッサ４３が有するこれらの各部は、独立した集積回路、マイクロプロセッサ、またはファームウェアとして走行制御装置４に実装されてもよい。

物体検出部４３１は、通信インタフェースを介して周辺カメラ２から受信する周辺画像を、物体を検出するように予め学習された物体識別器に入力することにより、車両１の周辺の物体を検出する。

物体識別器は、例えば、入力側から出力側に向けて直列に接続された複数の畳み込み層を有する畳み込みニューラルネットワーク（ＣＮＮ）とすることができる。予め物体を含む画像を教師データとして用いてＣＮＮに入力し、学習を行うことにより、ＣＮＮは画像から物体を検出する物体識別器として動作する。

視線検出部４３２は、通信インタフェースを介してドライバモニタカメラ３から受信する顔画像から、運転者の視線方向を検出する。視線方向は、車両１の進行方向と運転者の視線との間の水平方向の角度により表される。

視線検出部４３２は、瞳孔および光源の角膜反射の位置を検出するように予め学習された視線識別器に入力することにより、顔画像に含まれる運転者の目における瞳孔および角膜反射の位置を検出する。そして、視線検出部４３２は、瞳孔と角膜反射との位置関係に基づいて、視線方向を検出する。

視線識別器は、例えば、入力側から出力側に向けて直列に接続された複数の畳み込み層を有する畳み込みニューラルネットワーク（ＣＮＮ）とすることができる。予め瞳孔および角膜反射を含む顔画像を教師データとして用いてＣＮＮに入力し、学習を行うことにより、ＣＮＮは瞳孔および角膜反射の位置を特定する視線識別器として動作する。

特定部４３３は、周辺画像から検出された１以上の物体のうち、運転者の視線方向にある物体を特定する。

図４は、視線方向にある物体の特定を説明する図である。

図４の例では、車両１の前方を表す周辺画像から物体Ｏ１（歩行者）、Ｏ２（歩行者）、Ｏ３（他車両）および車線区画線Ｌ１、Ｌ２、Ｌ３が検出されている。また、顔画像から、視線方向ＤＲ１が検出されている。視線方向ＤＲ１は、進行方向ＤＲ０に対して角度αをなす方向である。特定部４３３は、車両１の位置から視線方向ＤＲ１に対応する位置にある物体Ｏ２（歩行者）を、運転者の視線方向にある物体として特定する。

条件記憶部４３４は、車両１の走行中に、運転者による危険回避操作を検出した場合、特定部４３３により特定された物体に関連づけて、特定された物体が検出されたときの状況を表す状況条件をメモリ４２に記憶させる。

危険回避操作とは、危険を回避するために運転者が車両１に対して行う操作である。危険回避操作は、例えば、車両１の手動運転制御による走行中における、運転者による減速または停止するためのブレーキペダルの踏み下げ、物体との接近を回避するためのステアリングホイールの回動などであってよい。また、危険回避操作は、車両１の自動運転制御による走行中における、運転者による危険回避意思を表示するためのブレーキペダルの踏み下げ、ステアリングホイールの回動、危険回避意思表示ボタンの押下といった操作であってよい。条件記憶部４３４は、車内ネットワークに接続されたブレーキペダル、ステアリングホイール、危険回避意思表示ボタンといった操作部から通信インタフェース４１を介して操作信号を受信することで、危険回避操作を検出する。

状況条件は、物体の車両からの距離、例えば車両から物体までの進行方向の距離（縦距離）または横方向の距離（横距離）を少なくとも含む。また、状況条件には、物体の向いている方向、道路環境（歩道と車線との段差の有無、車線数等）、車両の速度、加速度、物体までの車両の到達時間等が含まれていてもよい。

図４の例では、条件記憶部４３４は、特定された物体Ｏ２（歩行者）までの縦距離Ｄ１、横距離Ｄ２、物体Ｏ２（歩行者）の向いている方向ＤＲ２が自車向きか否かを示す情報と、物体Ｏ２（歩行者）とを関連づけて、メモリ４２に記憶させる。

図５は、状況テーブルの例を示す図である。

状況テーブル４２１には、検出された物体と物体が検出されたときの状況とが関連づけられて記憶されている。例えば時刻Ｔ１では、運転者の視線方向に歩行者が検出され、運転者の危険回避操作が検出され、このときの状況条件である縦距離、横距離、自車向きを表す値がそれぞれ記憶されている。また、時刻Ｔ１とは異なる時刻Ｔ２では、運転者の視線方向に歩行者が検出されたときの縦距離が時刻Ｔ１における縦距離の状況条件を満たしており、このときの状況条件である縦距離、横距離、自車向きを表す値がそれぞれ記憶されている。また、時刻Ｔ３では、運転者の視線方向に車両が検出され、このときの状況条件である縦距離、横距離、走行している道路の車線数、車両１の車速を表す値がそれぞれ記憶されている。

なお、状況テーブル４２１は物体と状況とが関連づけられていればよく、図５に示すような表形式でのデータ管理方式に限定されない。

条件学習部４３５は、メモリ４２に記憶された物体のうちいずれかの物体に関連づけて異なる時刻に記憶された複数の状況条件に基づいて、当該物体が検出されたときに危険回避操作が検出される状況を表す学習状況条件を作成する。

このとき、条件学習部４３５は、危険回避操作が検出される割合の大きい状況条件の方が、危険回避操作が検出される割合の小さい状況条件よりも優先されるように学習状況条件を作成することが好ましい。

図５に示す状況テーブル４２１の例では、歩行者の自車向きがYESである時刻Ｔ１、Ｔ４、Ｔ５において、時刻Ｔ１およびＴ５では危険回避操作が検出され、時刻Ｔ４では危険回避操作が検出されない（検出される割合は67%）。一方、歩行者の自車向きがNoであるとき（時刻Ｔ２）、危険回避操作は検出されない（検出される割合は0%）。したがって、条件学習部４３５は、歩行者が物体として検出された場合の自車向きについて、危険回避操作の検出される割合の大きいYESである状況条件が、危険回避操作の検出される割合の小さいNOである状況条件よりも優先されるように学習状況条件を作成する。

また、状況テーブル４２１の例において、歩行者との縦距離が20(m)である時刻Ｔ１、Ｔ２において、時刻Ｔ１では危険回避操作が検出され、時刻Ｔ２では危険回避操作が検出されない（検出される割合は50%）。歩行者との縦距離が30(m)である時刻Ｔ４では、危険回避操作が検出されない（検出される割合は0%）。歩行者との縦距離が15(m)である時刻Ｔ５では、危険回避操作が検出される（検出される割合は100%）。したがって、条件学習部４３５は、歩行者との縦距離について、危険回避操作の検出される割合の大きい状況条件（例えば15(m)）が、危険回避操作の検出される割合の小さい状況条件（例えば30(m)）よりも優先されるように学習状況条件を作成する。学習状況条件は、例えば「歩行者との縦距離が20(m)以下」といった条件式として作成される。

条件学習部４３５は、状況テーブル４２１に記憶された物体が検出されたときの状況が、運転者の危険回避操作が検出される状況であるか否かを分類する識別器を学習することで、学習状況条件を作成してもよい。

識別器は、ＳＶＭ（Support Vector Machine）とすることができる。条件学習部４３５は、関連づけてメモリ４２に記憶された物体および状況条件をＳＶＭに入力して学習させることで、学習状況条件を作成する。

また、識別器は、ニューラルネットワークとしてもよい。条件学習部４３５は、関連づけてメモリ４２に記憶された物体および状況条件をニューラルネットワークに入力して学習させることで、学習状況条件を作成する。

基準変更部４３６は、車両１の自動運転制御による走行中に、メモリ４２に記憶された物体が検出され、かつ、物体が検出されたときの状況が状況条件を満たす場合、運転者がより安全と感じられるように所定の安全基準を変更する。

例えば、車両１の自動運転制御による走行中に歩行者が検出され、歩行者との縦距離が20(m)、横距離が4(m)、かつ歩行者の自車向きがYesである場合、物体が検出されたときの状況は危険回避操作の検出された時刻Ｔ１における状況条件を満たす。このとき、基準変更部４３６は、運転者がより安全と感じられるように所定の運転基準を変更する。

安全基準が車速である場合、基準変更部４３６は、運転者がより安全と感じられるようにするために、車速を低く変更する。また、安全基準が周辺物体との間隔である場合、基準変更部４３６は、運転者がより安全と感じられるようにするために、間隔を大きく変更する。

物体が検出されたときの状況が条件学習部４３５により作成された学習状況条件を満たす場合、基準変更部４３６は、物体が検出されたときの状況が状況条件を満たすと判定する。例えば、「歩行者との縦距離が20(m)以下 and 歩行者との横距離が4(m)以下 and 歩行者の自車向きがYes」である学習状況条件が作成されているとする。検出された歩行者との縦距離が18(m)であり、当該歩行者との横距離が3.5(m)であり、当該歩行者の自車向きがYesである場合、物体が検出されたときの状況が学習状況条件を満たすため、基準変更部４３６は、物体が検出されたときの状況が状況条件を満たすと判定してよい。

図６は、第１の走行制御処理のフローチャートである。走行制御装置４は、車両１が走行する間、第１の走行制御処理を所定の時間間隔（例えば1/10秒間隔）で繰り返し実行する。

まず、走行制御装置４の物体検出部４３１は、周辺カメラ２により生成された周辺画像から１以上の物体を検出する（ステップＳ１１）。また、走行制御装置４の視線検出部４３２は、ドライバモニタカメラ３により生成された顔画像から車両１の運転者の視線方向を検出する（ステップＳ１２）。

次に、走行制御装置４の特定部４３３は、検出された１以上の物体のうち、運転者の視線方向にある物体を特定する（ステップＳ１３）。

走行制御装置４の条件記憶部４３４は、運転者による危険回避操作が検出されるか否かを判定する（ステップＳ１４）。危険回避操作が検出された場合（ステップＳ１４：Ｙ）、条件記憶部４３４は、特定された物体と、特定された物体が検出されたときの状況を表す状況条件とを関連づけてメモリ４２に記憶させ（ステップＳ１５）、第１の走行制御処理を終了する。

危険回避操作が検出されない場合（ステップＳ１４：Ｎ）、条件記憶部４３４は第１の走行制御処理を終了する。

図７は、第２の走行制御処理のフローチャートである。走行制御装置４は、車両１が自動運転制御により走行する間、第２の走行制御処理を所定の時間間隔（例えば1/10秒間隔）で繰り返し実行する。

まず、走行制御装置４の物体検出部４３１は、周辺カメラ２により生成された周辺画像から１以上の物体を検出する（ステップＳ２１）。

次に、走行制御装置４の基準変更部４３６は、検出された物体がメモリ４２の状況テーブル４２１に記憶された物体であるか否かを判定する（ステップＳ２２）。検出された物体が状況テーブル４２１に記憶された物体でないと判定された場合（ステップＳ２２：Ｎ）、基準変更部４３６は第２の走行制御処理を終了する。

また、走行制御装置の基準変更部４３６は、物体が検出されたときの状況が状況条件を満たすか否かを判定する（ステップＳ２３）。物体が検出されたときの状況が状況条件を満たさないと判定された場合（ステップＳ２３：Ｎ）、基準変更部４３６は第２の走行制御処理を終了する。

物体が検出されたときの状況が状況条件を満たすと判定された場合（ステップＳ２３：Ｙ）、基準変更部４３６は、運転者がより安全と感じられるように所定の安全基準を変更し（ステップＳ２４）、第２の走行制御処理を終了する。

このように第１および第２の走行制御処理を実行することにより、走行制御装置４は、運転者が不安を感じないように車両の走行を制御することができる。

当業者は、本開示の精神および範囲から外れることなく、種々の変更、置換および修正をこれに加えることが可能であることを理解されたい。

１ 車両
４ 走行制御装置
４３１ 物体検出部
４３２ 視線検出部
４３３ 特定部
４３４ 条件記憶部
４３５ 条件学習部
４３６ 基準変更部

Claims (5)

1. 所定の安全基準を満たす自動運転制御により走行可能な車両の周辺が表された周辺画像から１以上の物体を検出する物体検出部と、
   前記車両の運転者の顔領域が表された顔画像から前記運転者の視線方向を検出する視線検出部と、
   前記１以上の物体のうち、前記運転者の視線方向にある物体を特定する特定部と、
   前記車両の走行中に、前記運転者による危険を回避するための危険回避操作を検出した場合、前記特定された物体と、前記特定された物体が検出されたときの状況を表す状況条件とを関連づけて記憶部に記憶させる条件記憶部と、
   前記車両の前記自動運転制御による走行中に、前記記憶部に記憶された物体が検出され、かつ、前記物体が検出されたときの状況が前記状況条件を満たす場合、前記運転者がより安全と感じられるように前記所定の安全基準を変更する基準変更部と、
   を備える走行制御装置。
2. 前記状況条件は、前記特定された物体の、少なくとも前記車両からの距離を含む、請求項１に記載の走行制御装置。
3. 前記記憶部に記憶された物体のうちいずれかの物体に関連づけて異なる時刻に記憶された複数の前記状況条件に基づいて、当該物体が検出されたときに前記危険回避操作が検出される状況を表す学習状況条件を作成する条件学習部をさらに備え、
   前記基準変更部は、前記物体が検出されたときの状況が前記学習状況条件を満たす場合、前記物体が検出されたときの状況が前記状況条件を満たすと判定する、請求項１または２に記載の走行制御装置。
4. 前記条件記憶部は、前記車両の走行中に前記物体が検出されたときの状況が前記状況条件を満たした場合に前記危険回避操作が検出される割合をさらに記憶し、
   前記条件学習部は、前記危険回避操作の検出される割合の大きい前記状況条件の方が、前記危険回避操作が検出される割合の小さい前記状況条件よりも優先されるように前記学習状況条件を作成する、請求項３に記載の走行制御装置。
5. 所定の安全基準を満たす自動運転制御により走行可能な車両の周辺が表された周辺画像から１以上の物体を検出し、
   前記車両の運転者の顔領域が表された顔画像から前記運転者の視線方向を検出し、
   前記１以上の物体のうち、前記運転者の視線方向にある物体を特定し、
   前記車両の走行中に、前記運転者による危険を回避するための危険回避操作を検出した場合、前記特定された物体と、前記特定された物体が検出されたときの状況を表す状況条件とを関連づけて記憶部に記憶させ、
   前記車両の前記自動運転制御による走行中に、前記記憶部に記憶された物体が検出され、かつ、前記物体が検出されたときの状況が前記状況条件を満たす場合、前記運転者がより安全と感じられるように前記所定の安全基準を変更する、
   ことを含む走行制御方法。

Images