以下、添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
<1.運転支援システムの基本構成>
はじめに、本開示の実施の形態に係る運転支援システムの基本構成を説明する。
図1は、運転支援システム100の基本構成の一例を示す説明図である。
運転支援システム100は、第1の車両1a及び第2の車両1bと、例えば路上に設置される路上カメラ150と、情報処理装置110とを備える。本開示の技術の理解を容易にするために、図1に示す運転支援システム100は、第1の車両1a、第2の車両1b、路上カメラ150及び情報処理装置110を備えて構成されているが、車両、路上カメラ150及び情報処理装置110は、いずれも複数備えられていてよい。以下、特に区別を要しない限り、第1の車両1a及び第2の車両1bを車両1と総称し、運転支援装置50a,50bを運転支援装置50と表記する。
第1の車両1a及び第2の車両1bは、それぞれ一つ又は複数のプロセッサを備えて構成される運転支援装置50a,50bを備えている。路上カメラ150は、一つ又は複数のプロセッサを備えて構成される制御装置160を備えている。
運転支援装置50a,50b及び路上カメラ150の制御装置160は、それぞれ一つ又は複数の通信ネットワーク105を介して情報処理装置110と通信可能に接続されている。例えば運転支援装置50a,50bは、移動体通信ネットワークを介して情報処理装置110と通信可能に接続される。路上カメラ150の制御装置160は、無線又は有線の通信ネットワークを介して情報処理装置110と通信可能に接続される。また、第1の車両1aの運転支援装置50aと第2の車両1bの運転支援装置50bとは、車車間通信手段120により互いに通信可能に接続される。
車両1は、所定の演算周期で車両1の位置情報を情報処理装置110へ送信する。車両1の位置情報は、地図データ上における車両1の現在位置の情報、車両1の移動方向の情報及び車両1の移動速度の情報を含む。運転支援装置50は、車両1の現在位置の情報として、例えばGPS(Global Positioning System)等の衛星システムから送信される衛星信号に基づいて緯度及び経度の情報を取得する。また、運転支援装置50は、例えば時系列で取得される車両1の現在位置の変化に基づいて、車両1の移動方向及び移動速度の情報を算出する。
また、車両1は、周囲環境認識装置を備えている。第1の車両1aを支援対象の車両とした場合、第2の車両1bに備えられた周囲環境認識装置は、第1の車両1a以外に設けられた環境認識装置に相当する。周囲環境認識装置は、例えばカメラ、LiDAR、レーダセンサ及び超音波センサのうちの一つ又は複数のセンサを備えて構成される。車両1の運転支援装置50は、所定の演算周期で、それぞれの周囲環境認識装置から計測データを取得し、車両1の周囲環境を検出する周囲環境認識処理を実行する。
例えば運転支援装置50は、周囲環境認識処理により、それぞれの周囲環境認識装置の認識周囲に存在する車両や自転車、歩行者等の移動体、ガードレールや縁石、建造物その他の静止物、及び、走行車線の境界線等を検出する。また、第1の車両1a及び第2の車両1bの運転支援装置50a,50bは、周囲環境認識装置の計測データに基づく計測結果の情報を、周囲環境認識装置の計測範囲の情報及び車両1の位置情報とともに、車車間通信手段120により互いに送受信する。
「周囲環境認識装置による計測結果の情報」は、認識された物体の種類、周囲環境認識装置の計測範囲における物体の位置、移動方向及び移動速度の情報を含む。「周囲環境認識装置の計測範囲の情報」は、それぞれのセンサごとに計測結果の精度を保証し得る範囲として、あらかじめセンサの諸元等に応じて設定されて運転支援装置50に記録されている。「周囲環境認識装置の計測範囲の情報」は、例えば車両1の前後方向に対する計測範囲の中心軸の傾きの情報、中心軸を中心とする計測範囲の角度の情報、及び、中心軸に沿った方向の計測範囲の距離の情報を含む。
路上カメラ150は、環境認識装置の一態様であり、路上あるいは建造物等に設置される。路上カメラ150の制御装置160は、所定の演算周期で計測範囲を撮像した撮像データを取得し、撮像データを用いて物体認識処理を実行する。ただし、環境認識装置は、路上カメラ150に限定されるものではなく、所定の位置に設置されたLiDARやレーダセンサ、超音波カメラその他の物体認識処理を実行可能な装置であってもよい。
本開示において、路上カメラ150の制御装置160は、所定の演算周期で、車両や自転車、歩行者等の移動体を検出するとともに、検出した移動体の位置の時間変化に基づき移動体の移動方向及び移動速度を求める物体認識処理を実行する。路上カメラ150の制御装置160は、所定の演算周期で、物体認識処理による計測結果の情報と、地図データ上での路上カメラ150の計測範囲の情報とを情報処理装置110へ送信する。
「路上カメラ150による計測結果の情報」は、認識された物体の種類、路上カメラ150の計測範囲における物体の位置、移動方向及び移動速度の情報を含む。「路上カメラ150の計測範囲の情報」は、例えば路上カメラ150の設置位置の情報、及び、路上カメラ150の画角及び撮影方向の情報を含む。路上カメラ150の設置位置の情報は、例えば地図データ上の経度及び緯度の情報としてあらかじめ制御装置160に記録されている。また、路上カメラ150の画角及び撮影方向の情報は、例えば経度及び緯度をxy軸とする座標系におけるベクトルの値として制御装置160に記録されていてもよい。路上カメラ150の画角及び撮影方向の情報は、路上カメラ150が設置されている道路が延びる方向に対する傾きの情報として制御装置160に記録されていてもよい。
情報処理装置110は、例えばクラウドコンピューティングの技術により通信ネットワーク105を介して路上カメラ150の制御装置160、及び運転支援装置50a,50bと通信可能に接続されている。情報処理装置110は、所定の演算周期で路上カメラ150の制御装置160から、路上カメラ150の計測範囲の情報と計測結果の情報とを受信する。計測結果の情報は、検出された移動体の種類、及び、当該移動体の位置、移動方向並びに移動速度の情報を含む。
また、情報処理装置110は、所定の演算周期で運転支援装置50から車両1の位置情報を受信する。情報処理装置110は、支援対象の車両1の位置に応じた所定エリア内に存在する路上カメラ150を特定する。そして、情報処理装置110は、当該路上カメラ150の制御装置160から受信した路上カメラ150による計測範囲の情報及び計測結果の情報を運転支援装置50へ送信する。つまり、情報処理装置110は、路上カメラ150から情報を収集するとともに、支援対象の車両1の走行位置の周囲のエリア内に存在する他の移動体の情報を支援対象の車両1に提供する。
第1の車両1aを支援対象の車両とした場合、第1の車両1aの運転支援装置50aは、通信ネットワーク105を介して、路上カメラ150の計測範囲の情報及び計測結果の情報を取得する。また、支援対象の第1の車両1aの運転支援装置50aは、車車間通信手段120により、第2の車両1bに備えられた環境認識装置の計測範囲の情報及び計測結果の情報を取得する。第1の車両1aは、路上カメラ150の計測範囲の情報及び計測結果の情報と、第2の車両1bに備えられた環境認識装置の計測範囲の情報及び計測結果の情報とに基づいて、第1の車両1aのドライバが視認可能な所定の表示を行い、ドライバに注意を促す処理を実行する。
以下、路上カメラ150、情報処理装置110及び運転支援装置50それぞれの機能構成及び動作を具体的に説明する。
<2.路上カメラ>
まず、環境認識装置の一態様としての路上カメラ150について詳しく説明する。
(2-1.機能構成)
図2は、路上カメラ150の構成を示すブロック図である。
路上カメラ150は、画像生成ユニット151及び制御装置160を備える。画像生成ユニット151は、例えばCCD(Charge Coupled Device)又はCMOS(Complementary Metal-Oxide Semiconductor)等の撮像素子を備え、計測範囲の画像データを生成する。画像生成ユニット151は、所定の演算周期で画像データを生成し制御装置160へ送信する。
制御装置160は、通信部161、処理部163及び記憶部169を備える。通信部161は、通信ネットワーク105を介して情報処理装置110と通信するためのインタフェースである。処理部163は、GPU(Graphics Processing Unit)等の一つ又は複数のCPU(Central processing Unit)を備えて構成される。処理部163は、記憶部169に記憶されたコンピュータプログラムを実行することにより、所定の演算周期で画像生成ユニット151から送信される画像データに基づく計測結果の情報を情報処理装置110へ送信する。
記憶部169は、一つ又は複数のメモリを備え、処理部163により実行されるコンピュータプログラムや演算処理に用いられる各種パラメータ、演算結果の情報を記憶する。記憶部169の一部は、処理部163のワーク領域として利用される。
記憶部169は、ハードディスク、フロッピーディスク及び磁気テープ等の磁気媒体、CD-ROM(Compact Disk Read Only Memory)、DVD(Digital Versatile Disk)、及びBlu-ray(登録商標)等の光記録媒体、フロプティカルディスク等の磁気光媒体、RAM(Random Access Memory)及びROM(Read Only Memory)等の記憶素子、並びにUSB(Universal Serial Bus)メモリ及びSSD(Solid State Drive)等のフラッシュメモリ、その他の記録媒体であってよい。
処理部163は、画像処理部165及び通信制御部167を備える。これらの各部の機能は、プロセッサによるコンピュータプログラムの実行により実現される。画像処理部165は、所定の演算周期で画像生成ユニット151から送信される画像データに基づいて物体認識処理を実行する。路上カメラ150は、主に他車両や歩行者、自転車等の移動体を認識する。また、画像処理部165は、認識した移動体の位置、移動速度及び移動方向を求める処理を実行する。
通信制御部167は、所定の演算周期で、画像処理部165による物体の計測結果の情報を情報処理装置110へ送信する。物体の計測結果の情報は、物体の種類、路上カメラ150の計測範囲における物体の位置、移動速度及び移動方向の情報を含む。このとき、通信制御部167は、路上カメラ150の計測範囲の情報を併せて情報処理装置110へ送信する。路上カメラ150の計測範囲の情報は、路上カメラ150の設置位置、画角及び撮影方向の情報を含み、あらかじめ記憶部169に記録されている。情報処理装置110が、それぞれの路上カメラ150の計測範囲の情報を記録したデータベースを備えている場合、路上カメラ150は、個々の路上カメラ150を特定するための識別情報のみを情報処理装置110へ送信してもよい。
(2-2.処理動作)
図3は、路上カメラ150の制御装置160による処理動作のフローチャートを示す。図3に示すフローチャートは、所定の演算周期で繰り返し実行される。
処理部163の画像処理部165は、画像生成ユニット151から送信される画像データを取得する(ステップS11)。
次いで、画像処理部165は、受信した画像データに基づいて物体認識処理を実行する(ステップS13)。例えば画像処理部165は、画像データからエッジ検出処理等の技術を利用して特徴点を抽出し、あらかじめ記憶された種々の物体の特徴点のデータとのマッチング(パターンマッチング処理ともいう)を行い、計測範囲に存在する物体を認識する処理を実行する。路上カメラ150は、主に他車両や歩行者、自転車等の移動体を認識する。
また、画像処理部165は、認識した移動体の現実空間上での移動速度及び移動方向を演算により求める。例えば画像処理部165は、所定の演算周期で送信される画像データ中における移動体の位置及び大きさの時間変化に基づいて、現実空間上での移動体の移動速度及び移動方向を演算により求めることができる。ただし、認識された移動体の速度及び移動方向を求める方法は、従来公知の技術を利用して実行されればよく、特に限定されるものではない。
次いで、通信制御部167は、画像処理部165による物体の計測結果の情報及び路上カメラ150の計測範囲の情報を情報処理装置110へ送信する(ステップS15)。制御装置160は、上記のステップS11~ステップS15の処理を所定の演算周期で繰り返し実行する。
なお、制御装置160は、常時情報処理装置110へ路上カメラ150の計測範囲の情報及び計測結果の情報を送信してもよい。あるいは、制御装置160は、情報処理装置110からの送信要求を受けた後に、物体の計測範囲の情報及び計測結果の情報を送信してもよい。
<3.情報処理装置>
続いて、情報処理装置110について詳しく説明する。
(3-1.機能構成)
図4は、情報処理装置110の構成を示すブロック図である。
情報処理装置110は、通信部111、処理部113及び記憶部119を備える。通信部111は、通信ネットワーク105を介して路上カメラ150及び運転支援装置50と通信するためのインタフェースである。処理部113は、一つ又は複数のCPUを備え、所定の演算周期で路上カメラ150及び運転支援装置50から送信される情報を取得し、支援対象の車両1の運転支援装置50の位置に応じた所定エリア内に存在する路上カメラ150から取得した情報を、当該運転支援装置50に送信する。
記憶部119は、一つ又は複数のメモリを備え、処理部113により実行されるコンピュータプログラムや演算処理に用いられる各種パラメータ、演算結果の情報を記憶する。記憶部119の一部は、処理部113のワーク領域として使用される。記憶部119は、ハードディスク、フロッピーディスク及び磁気テープ等の磁気媒体、CD-ROM、DVD、及びBlu-ray(登録商標)等の光記録媒体、フロプティカルディスク等の磁気光媒体、RAM及びROM等の記憶素子、並びにUSBメモリ及びSSD等のフラッシュメモリ、その他の記録媒体であってよい。
処理部113は、データ処理部115及び通信制御部117を備える。これらの各部の機能は、プロセッサによるコンピュータプログラムの実行により実現される。データ処理部115は、運転支援装置50から送信される車両1の位置情報に基づいて支援対象の車両1の地図データ上の位置を特定し、当該車両1の位置から所定の半径のエリア内に存在する路上カメラ150を特定する。通信制御部117は、特定した路上カメラ150から受信した路上カメラ150の計測範囲の情報及び計測結果の情報を運転支援装置50へ送信する。
データ処理部115は、運転支援装置50から送信される車両1の位置情報、移動方向及び移動速度に基づいて、車両1の移動方向の道路に通じる(交差する)道路に設置された路上カメラ150を特定してもよい。これにより、支援対象の車両1と衝突のおそれのある移動体との衝突を予測するための情報以外の情報が運転支援装置50に送信されることを防ぐことができ、情報処理装置110及び運転支援装置50の演算処理の負荷を軽減することができる。
(3-2.処理動作)
図5は、情報処理装置110による処理動作のフローチャートを示す。図5に示すフローチャートは、所定の演算周期で繰り返し実行される。以下の説明では、第1の車両1aが支援対象の車両である例を説明する。
処理部113のデータ処理部115は、一つ又は複数の路上カメラ(環境認識装置)150から送信される路上カメラ150の計測範囲の情報及び計測結果の情報を取得する(ステップS21)。路上カメラ150の計測範囲の情報及び計測結果の情報は、どの種類の移動体が、どの位置をどの方向に向かってどれくらいの速度で移動しているかを把握することができる情報である。
次いで、データ処理部115は、支援対象の第1の車両1aに搭載された運転支援装置50aから、第1の車両1aの位置情報、移動方向及び移動速度の情報を取得する(ステップS23)。第1の車両1aの位置情報は、地図データ上の第1の車両1aの位置を示す情報であり、例えば経度及び緯度により示される。
次いで、データ処理部115は、支援対象の第1の車両1aの位置から所定距離内に存在する路上カメラ150を特定する(ステップS25)。例えばデータ処理部115は、第1の車両1aの位置から所定の半径のエリア内に存在する路上カメラ150を特定する。本実施形態では、データ処理部115は、さらに第1の車両1aの移動方向及び移動速度の情報に基づいて、第1の車両1aの移動方向の道路に通じる(交差する)道路に設置された路上カメラ150を特定する。
次いで、通信制御部117は、特定した路上カメラ150からそれぞれ取得した路上カメラ150の計測範囲の情報及び計測結果の情報を、支援対象の車両1へ送信する(ステップS27)。情報処理装置110は、上記のステップS21~ステップS27の処理を所定の演算周期で繰り返し実行する。
なお、情報処理装置110は、支援対象の車両1の位置から所定距離内に存在する路上カメラ150を特定した後で、当該路上カメラ150に対して路上カメラ150の計測範囲の情報及び計測結果の情報の送信要求をしてもよい。この場合、情報処理装置110は、送信要求をした後に、所定の演算周期で路上カメラ150から送信される路上カメラ150の計測範囲の情報及び計測結果の情報を取得する。
<4.運転支援装置>
(4-1.車両)
本開示の実施形態に係る運転支援装置50の構成を説明する前に、運転支援装置50を搭載した支援対象の車両1の全体構成の一例を説明する。
図6は、運転支援装置50を備えた車両1の構成例を示す模式図である。
車両1は、駆動トルクを生成する駆動力源9から出力される駆動トルクを左前輪及び右前輪に伝達する二輪駆動の四輪自動車として構成されている。駆動力源9は、ガソリンエンジンやディーゼルエンジン等の内燃機関であってもよく、駆動用モータであってもよい。また、車両1は、駆動力源9として、内燃機関及び駆動用モータをともに備えていてもよい。
なお、車両1は、駆動トルクを前輪及び後輪に伝達する四輪駆動車であってもよい。また、車両1は、例えば前輪駆動用モータ及び後輪駆動用モータの二つの駆動用モータを備えた電気自動車であってもよく、それぞれの車輪に対応する駆動用モータを備えた電気自動車であってもよい。また、車両1が電気自動車やハイブリッド電気自動車の場合、車両1には、駆動用モータへ供給される電力を蓄積する二次電池や、バッテリに充電される電力を発電するモータや燃料電池等の発電機が搭載される。
車両1は、車両1の運転制御に用いられる機器として、駆動力源9、電動ステアリング装置15及びブレーキ装置17LF,17RF,17LR,17RR(以下、特に区別を要しない場合には「ブレーキ装置17」と総称する)を備えている。駆動力源9は、図示しない変速機や差動機構7を介して前輪駆動軸5Fに伝達される駆動トルクを出力する。駆動力源9や変速機の駆動は、一つ又は複数の電子制御装置(ECU:Electronic Control Unit)を含んで構成された車両制御部41により制御される。
前輪駆動軸5Fには電動ステアリング装置15が設けられている。電動ステアリング装置15は図示しない電動モータやギヤ機構を含み、車両制御部41により制御されることによって前輪の操舵角を調節する。車両制御部41は、手動運転中には、ドライバによるステアリングホイール13の操舵角に基づいて電動ステアリング装置15を制御する。また、車両制御部41は、自動運転中には、設定される操舵角又は操舵角速度に基づいて電動ステアリング装置15を制御する。
ブレーキ装置17LF,17RF,17LR,17RRは、それぞれの車輪に制動力を付与する。ブレーキ装置17は、例えば油圧式のブレーキ装置として構成され、車両制御部41は、液圧ユニット16の駆動を制御することによりそれぞれのブレーキ装置17に供給する油圧を調節する。車両1が電気自動車あるいはハイブリッド電気自動車の場合、ブレーキ装置17は、駆動用モータによる回生ブレーキと併用される。
車両制御部41は、駆動力源9、電動ステアリング装置15及び液圧ユニット16の駆動を制御する一つ又は複数の電子制御装置を含む。車両1が駆動力源9から出力された出力を変速して車輪3へ伝達する変速機を備えている場合、車両制御部41は、変速機の駆動を制御する機能を備えている。車両制御部41は、運転支援装置50から送信される情報を取得可能に構成され、車両1の自動運転制御を実行可能に構成されている。
また、車両1は、前方撮影カメラ31LF,31RF、後方撮影カメラ31R、車両位置検出センサ33及び表示装置43を備えている。
前方撮影カメラ31LF,31RF及び後方撮影カメラ31Rは、車両1の周囲環境の情報を取得するための周囲環境認識装置を構成する。前方撮影カメラ31LF,31RFは、車両1の前方を撮影し、画像データを生成する。後方撮影カメラ31Rは、車両1の後方を撮影し、画像データを生成する。前方撮影カメラ31LF,31RF及び後方撮影カメラ31Rは、CCD(Charged Coupled Devices)又はCMOS(Complementary Metal Oxide Semiconductor)等の撮像素子を備え、生成した画像データを運転支援装置50へ送信する。図6に示した車両1では、前方撮影カメラ31LF,31RFは、左右一対のカメラを含むステレオカメラとして構成されているが、前方撮影カメラは単眼カメラであってもよい。
なお、周囲環境認識装置は、前方撮影カメラ31LF,31RF及び後方撮影カメラ31R以外に、例えばサイドミラーに設けられて左後方又は右後方を撮影するカメラを含んでいてもよい。この他、周囲環境センサは、LiDAR(Light Detection And Ranging)、ミリ波レーダ等のレーダセンサ及び超音波センサのうちのいずれか一つ又は複数のセンサを含んでいてもよい。
車両位置検出センサ33は、GPS(Global Positioning System)衛星に代表されるGNSS(Global Navigation Satellite System)の測位衛星からの衛星信号を受信する。車両位置検出センサ33は、受信した衛星信号に含まれる車両1の位置情報を運転支援装置50へ送信する。なお、車両位置検出センサ33は、GPSセンサ以外に、車両1の位置を特定する他の衛星システムからの衛星信号を受信するアンテナが備えられていてもよい。
表示装置43は、運転支援装置50により駆動され、ドライバに視認可能な種々の情報を表示する。表示装置43は、例えばインストルメントパネル内に設けられた表示装置であってもよく、ナビゲーションシステムの表示装置であってもよい。表示装置43が表示パネル等である場合、表示画面が画像表示部に相当する。また、表示装置43は、車両1の周囲の現実空間上に重畳して、ドライバが視認可能な情報をフロントウィンドウ上へ表示するHUD(ヘッドアップディスプレイ)であってもよい。表示装置43がHUDである場合、フロントウィンドウが画像表示部に相当する。
なお、以下の説明では、表示装置43が、HUDではない、地図データを表示可能な表示装置である場合を例に採って説明する。
(4-2.運転支援装置)
続いて、本実施形態に係る運転支援装置50を具体的に説明する。
(4-2-1.構成例)
運転支援装置50は、一つ又は複数のCPU等のプロセッサがコンピュータプログラムを実行することで、ドライバによる車両1の運転を支援する装置として機能する。当該コンピュータプログラムは、運転支援装置50が実行すべき後述する動作をプロセッサに実行させるためのコンピュータプログラムである。プロセッサにより実行されるコンピュータプログラムは、運転支援装置50に備えられた記憶部(メモリ)53として機能する記録媒体に記録されていてもよく、運転支援装置50に内蔵された記録媒体又は運転支援装置50に外付け可能な任意の記録媒体に記録されていてもよい。
コンピュータプログラムを記録する記録媒体としては、ハードディスク、フロッピーディスク及び磁気テープ等の磁気媒体、CD-ROM、DVD、及びBlu-ray(登録商標)等の光記録媒体、フロプティカルディスク等の磁気光媒体、RAM及びROM等の記憶素子、並びにUSBメモリ及びSSD等のフラッシュメモリ、その他のプログラムを格納可能な媒体であってよい。
図7は、本実施形態に係る運転支援装置50の構成例を示すブロック図である。
運転支援装置50には、専用線又はCAN(Controller Area Network)やLIN(Local Inter Net)等の通信手段を介して、周囲環境認識装置(前方撮影カメラ31LF,31RF、後方撮影カメラ31R等)31、車両位置検出センサ33、車両制御部41及び表示装置43が接続されている。なお、運転支援装置50は、車両1に搭載された電子制御装置に限られるものではなく、タッチパッドやウェアラブル機器等の端末装置であってもよい。
運転支援装置50は、通信部51、車車間通信部53、処理部55、記憶部57及び地図データ記憶部59を備えている。処理部55は、CPU等の一つ又は複数のプロセッサや種々の周辺部品を備えて構成される。処理部55の一部又は全部は、ファームウェア等の更新可能なもので構成されてもよく、また、CPU等からの指令によって実行されるプログラムモジュール等であってもよい。
(通信部)
通信部51は、情報処理装置110と通信するためのインタフェースである。運転支援装置50は、通信部51を介して情報処理装置110との間で情報の送受信を行う。
(車車間通信部)
車車間通信部53は、車両1から所定の距離内に存在する他車両と通信するためのインタフェースである。運転支援装置50は、車車間通信部53を介して他車両との間で情報の送受信を行う。
(記憶部)
記憶部57は、処理部55と通信可能に接続された一つ又は複数のRAM又はROM、HDDやCD、DVD、SSD、USBフラッシュ、ストレージ装置等の記憶媒体により構成される。ただし、記憶部57の種類や数は特に限定されない。記憶部57は、処理部55により実行されるコンピュータプログラムや、演算処理に用いられる種々のパラメータ、検出データ、演算結果等の情報を記憶する。記憶部57の一部は、処理部55のワーク領域として使用される。
本実施形態では、記憶部57は、周囲環境認識装置31を構成する前方撮影カメラ31LF,31RF及び後方撮影カメラ31Rの計測範囲の情報を記憶している。前方撮影カメラ31LF,31RF及び後方撮影カメラ31Rの計測範囲の情報は、例えば車両1の前後方向に対する計測範囲の中心軸の傾きの情報、中心軸を中心とする計測範囲の角度の情報、及び、中心軸に沿った方向の計測範囲の距離の情報を含む。
(地図データ記憶部)
地図データ記憶部59は、処理部55と通信可能に接続されたRAM又はROM等の記憶素子、あるいは、HDDやCD、DVD、SSD、USBフラッシュ、ストレージ装置等の記憶媒体により構成される。地図データ記憶部59に記憶される地図データは、車両位置検出センサ33により検出される位置情報に基づいて車両1の位置と関連付け可能に構成されている。例えば地図データは、緯度及び経度の情報に関連付けられており、処理部55は、車両位置検出センサ33により検出される車両1の緯度及び経度の情報に基づいて地図データ上の車両1の位置を特定することができる。
(処理部)
処理部55は、通信制御部61、車車間通信制御部63、車両情報取得部65、周囲環境認識処理部67及び表示制御部69を備える。これらの各部の機能は、プロセッサによるコンピュータプログラムの実行により実現される。なお、通信制御部61、車車間通信制御部63、車両情報取得部65、周囲環境認識処理部67及び表示制御部69のうちの一部が、アナログ回路等のハードウェアにより構成されていてもよい。
通信制御部61は、所定の演算周期で、車両位置検出センサ33から送信される車両1の位置情報を情報処理装置110へ送信する。通信制御部61は、車両1の位置情報と併せて、車両1の移動方向及び移動速度の情報を情報処理装置110へ送信してもよい。また、通信制御部61は、情報処理装置110から送信される路上カメラ150の計測範囲の情報及び計測結果の情報を取得する。
車車間通信制御部63は、所定の演算周期で、車両1から所定の距離内に存在する他車両と通信し、車両1の位置情報、車両1に搭載された周囲環境認識装置31の計測範囲の情報及び計測結果の情報を他車両へ送信する。周囲環境認識装置31による計測結果の情報は、周囲環境認識処理部67による周囲環境認識処理の結果を示す情報である。周囲環境認識装置31の計測範囲の情報は、あらかじめ記憶部57に記録されている。
また、車車間通信制御部63は、車両1から所定の距離内に存在する他車両と通信し、他車両の位置、他車両に搭載された周囲環境認識装置の計測範囲の情報及び計測結果の情報を取得する。
車両情報取得部65は、車両1の走行に関する情報を取得する。車両情報取得部65は、車両位置検出センサ33から送信される車両1の位置情報を取得する。また、車両情報取得部65は、車両1の位置情報の変化に基づいて、車両1の移動方向及び移動速度を算出する。車両情報取得部65は、例えば前回の演算周期で取得した車両1の位置から今回の演算周期で取得した車両1の位置までの距離を、演算周期に相当する単位時間で割ることにより車両1の移動速度を算出することができる。車両情報取得部65は、図示しない車輪速センサあるいは車速センサのセンサ信号に基づいて車両1の移動速度を算出してもよい。
周囲環境認識処理部67は、車両1に搭載された周囲環境認識装置31から送信された計測データを用いて周囲環境認識処理を実行する。周囲環境認識処理部67は、周囲環境認識処理により車両1の周囲の移動体及び静止物を検出する。周囲環境認識処理部67による処理内容は、後で詳しく説明する。
表示制御部69は、車両1以外に設けられた環境認識装置の計測範囲の情報及び計測結果の情報を、車両1のドライバが視認可能な情報として地図データ上に重畳して表示装置43に表示させる処理を実行する。車両1以外に設けられた環境認識装置の計測範囲の情報及び計測結果の情報は、情報処理装置110から取得した、路上カメラ150の計測範囲の情報及び計測結果の情報と、他車両から取得した、他車両に搭載された周囲環境認識装置の計測範囲の情報及び計測結果の情報とを含む。
(4-2-2.処理動作)
図8は、運転支援装置50の処理部55による処理動作のメインルーチンのフローチャートを示す。図8に示すフローチャートは、本開示の技術の機能が起動された状態において、所定の演算周期で繰り返し実行される。また、以下の説明では、第1の車両1aが支援対象の車両であり、第2の車両1bが他車両である例を説明する。
第1の車両1aに搭載された運転支援装置50aの処理部55が運転支援装置50aによる支援機能の起動を検知すると(ステップS31)、車両情報取得部65は、車両位置検出センサ33から送信される第1の車両1aの位置情報を取得する(ステップS33)。本開示の技術による支援機能は、第1の車両1aのシステムの起動に伴って起動されてもよく、ドライバ等による入力操作により起動されてもよい。第1の車両1aの位置情報は、例えば緯度及び経度の情報として特定される。
次いで、車両情報取得部65は、第1の車両1aの移動方向及び移動速度を算出する(ステップS35)。具体的に、車両情報取得部65は、取得した第1の車両1aの位置情報と、前回の演算周期以前に取得した第1の車両1aの位置情報に基づいて、第1の車両1aの移動方向及び移動速度を算出する。第1の車両1aの移動方向は、第1の車両1aの位置情報が示す位置が変化する方向として求められる。第1の車両1aの移動速度は、例えば前回の演算周期で取得した第1の車両1aの位置から今回の演算周期で取得した第1の車両1aの位置までの距離を、演算周期に相当する単位時間で割ることにより求められる。
ただし、車両情報取得部65は、車輪速センサあるいは車速センサのセンサ信号に基づいて第1の車両1aの移動速度を算出することもできる。また、車両位置検出センサ33から送信される車両1の位置情報に車両1の向きの情報が含まれる場合、車両情報取得部65は、当該情報に基づいて車両1の移動方向を求めてもよい。
次いで、通信制御部61は、今回の演算周期で取得した第1の車両1aの位置情報、移動方向及び移動速度の情報を情報処理装置110へ送信する(ステップS37)。ここで送信される第1の車両1aの位置情報、移動方向及び移動速度の情報は、図5に示した情報処理装置110の処理動作のステップS23で、情報処理装置110により取得される情報に相当する。
次いで、通信制御部61は、路上カメラ(環境認識装置)150の計測範囲の情報及び計測結果の情報を、情報処理装置110から取得する(ステップS39)。ここで受信される路上カメラ(環境認識装置)150の計測範囲の情報及び計測結果の情報は、図5に示した情報処理装置110の処理動作のステップS27で、情報処理装置110により送信された情報に相当する。つまり、運転支援装置50aは、第1の車両1aの位置から所定の距離内に存在する路上カメラ150により検出された物体の情報を、路上カメラ150の計測範囲の情報とともに情報処理装置110から取得する。
次いで、車車間通信制御部63は、車車間通信手段により、当該他車両(第2の車両1b)に搭載された周囲環境認識装置の計測範囲の情報及び計測結果の情報を、他車両(第2の車両1b)から取得する(ステップS41)。つまり、運転支援装置50aは、第1の車両1aから所定の距離内に存在する第2の車両1bと通信を行い、第2の車両1bの周囲環境認識装置により検出された物体の情報を、第2の車両1bの周囲環境認識装置の計測範囲の情報とともに、第2の車両1bの運転支援装置50bから取得する。
なお、ステップS41で第2の車両1bから取得される認識範囲の情報は、第2の車両1bにおいて実行される周囲環境認識処理の結果として得られる情報である。第2の車両1bは、周囲環境認識処理の結果の情報を、周囲環境認識装置の計測範囲の情報とともに第1の車両1aへ送信する。
例えば第2の車両1bが第1の車両1aと同様の構成を有する場合、第2の車両1bの運転支援装置50bは、例えば車両1の前後方向に対する前方撮影カメラ31LF,31RF及び後方撮影カメラ31Rの計測範囲の中心軸の傾きの情報、中心軸を中心とする計測範囲の角度の情報、及び、中心軸に沿った方向の計測範囲の距離の情報を、第1の車両1aの運転支援装置50aへ送信する。また、第2の車両1bの運転支援装置50bは、前方撮影カメラ31LF,31RF及び後方撮影カメラ31Rにより検出された物体の計測範囲内での位置、移動方向及び移動速度の情報を、第1の車両1aの運転支援装置50aへ送信する。
次いで、周囲環境認識処理部67は、第1の車両1aに備えられた周囲環境認識装置31(本実施形態では、前方撮影カメラ31LF,31RF及び後方撮影カメラ31R)から送信される計測データを取得する(ステップS43)。次いで、周囲環境認識処理部67は、取得した計測データを用いて周囲環境認識処理を実行する(ステップS45)。
図9は、周囲環境認識処理部67による周囲環境認識処理の一例を示すフローチャートである。
周囲環境認識処理部67は、周囲環境認識装置31から取得した計測データから特徴点を抽出する(ステップS51)。例えば周囲環境認識処理部67は、前方撮影カメラ31LF,31RF及び後方撮影カメラ31Rにより生成された画像データからエッジ検出処理等の技術を利用して特徴点を抽出する。
次いで、周囲環境認識処理部67は、マッチング処理により、抽出した特徴点と、あらかじめ記憶された種々の物体の特徴点のデータとのマッチング(パターンマッチング処理ともいう)を行い物体を検出するとともに、当該物体の種類及び現実空間上での物体の位置を特定する(ステップS53)。周囲環境認識処理部67は、例えば車両や自転車、歩行者等の移動体、ガードレールや縁石、建造物その他の静止物、及び、走行車線の境界線等を表す特徴点群のデータと抽出した特徴点群とを適合することにより、検出される物体の種類を特定する。また、周囲環境認識処理部67は、計測範囲における物体の位置と、物体までの距離とに基づいて、現実空間上での物体の位置を特定する。
次いで、周囲環境認識処理部67は、検出した物体の現実空間上での移動方向及び移動速度を算出する(ステップS55)。例えば周囲環境認識処理部67は、今回の演算周期で取得した計測データと、前回以前の演算周期で取得した計測データとを用いて、同一の物体の位置の時間変化に基づいて物体の現実空間上での移動方向及び移動速度を算出する。
なお、ステップS51及びステップS53において実行される周囲環境認識処理は従来公知の技術を利用して実行されればよく、特に限定されるものではない。例えば周囲環境認識装置の一つがLiDARである場合、計測データの情報は計測点の速度の情報を含むため、周囲環境認識処理部67による移動速度を算出する処理は省略されてもよい。
次いで、周囲環境認識処理部67は、検出した物体の種類、位置、移動方向及び移動速度の情報を、計測結果の情報として時刻のデータとともに記憶部57に記録する(ステップS57)。
次いで、周囲環境認識処理部67は、第1の車両1aと車車間通信を行う他車両(第2の車両1b)が存在するか否かを判定する(ステップS59)。例えば周囲環境認識処理部67は、車車間通信制御部63が車車間通信を行っている他車両が存在するか否かを判定する。周囲環境認識処理部67は、車車間通信を行う他車両が存在すると判定しない場合(S59/No)、周囲環境認識処理を終了する。
一方、周囲環境認識処理部67は、車車間通信を行う他車両が存在すると判定した場合(S59/Yes)、車車間通信制御部63に、あらかじめ記憶部57に記録されている周囲環境認識装置31の検出範囲の情報と、ステップS57で記憶部57に記録した検出結果の情報とを他車両に送信させる。ここで送信される検出範囲の情報及び検出結果の情報は、支援対象の車両が図8に示すフローチャートのステップS41で取得する情報に相当する。周囲環境認識処理部67は、検出範囲の情報及び検出結果の情報を他車両に送信させた後、周囲環境認識処理を終了する。
図8に戻り、次いで、表示制御部69は、情報処理装置110から取得した、路上カメラ150の計測範囲の情報及び計測結果の情報、及び、他車両から取得した、他車両の周囲環境認識装置の計測範囲の情報及び計測結果の情報を、第1の車両1aのドライバが視認可能な情報として、地図データ上に重畳して表示装置43に表示させる表示処理を実行する(ステップS47)。
本実施形態において、運転支援装置50aが計測範囲の情報及び計測結果の情報を取得する対象の環境認識装置は、位置が移動する環境認識装置と、位置が移動しない環境認識装置とを含む。具体的に、路上カメラ150は、設置位置が固定された環境認識装置であり、他車両の周囲環境認識装置は、位置が移動する環境認識装置である。
以下、表示制御部69による表示処理を、位置が移動しない環境認識装置の計測範囲の情報及び計測結果の情報を表示させる第1の表示処理と、位置が移動する環境認識装置の計測範囲の情報及び計測結果の情報を表示させる第2の表示処理とに分けて説明する。ただし、表示制御部69は、第1の表示処理及び第2の表示処理のいずれかを実行してもよく、両方を同時に実行してもよい。
まず、第1の表示処理を説明する。第1の表示処理は、環境認識装置の現実空間での計測範囲が変化しない場合の処理である。
図10は、表示制御部69による第1の表示処理のフローチャートを示す。
表示制御部69は、記憶部57に記録されている、情報処理装置110から取得した路上カメラ150の計測範囲及び計測結果の情報を読み出す(ステップS71)。
次いで、表示制御部69は、路上カメラ150の計測範囲及び計測結果の情報と、第1の車両1aの位置及び移動方向の情報とに基づいて、第1の車両1aの移動方向の前方に向かっている移動体が存在しているか否かを判定する(ステップS73)。具体的に、表示制御部69は、第1の車両1a及び検出されている移動体の位置情報(緯度及び経度)に応じて、第1の車両1a及び移動体を地図データ上にマッピングする。また、表示制御部69は、第1の車両1a及び移動体の移動方向の情報(地図データ上のベクトル)に基づいて、第1の車両1aが走行中の道路の前方に向かって移動する移動体が存在するか否かを判定する。
表示制御部69は、第1の車両1aの移動方向又は移動速度の少なくともいずれか一方に基づいて、移動体が存在するか否かを判定するエリアを制限してもよい。また、表示制御部69は、移動体の移動方向及び移動速度から推定される軌跡と、第1の車両1aの移動方向及び移動速度から推定される軌跡とに基づいて、第1の車両1aに衝突あるいは接近するおそれのない移動体については、判定対象から除外してもよい。
表示制御部69は、第1の車両1aの移動方向の前方に向かっている移動体が存在していると判定した場合(S73/Yes)、検出されている移動体を、現実空間上の検出位置に合わせて地図データ上に重畳表示させる(ステップS75)。また、表示制御部69は、第1の車両1aの周囲環境認識装置31の計測範囲及び路上カメラ150の計測範囲を地図データ上に重畳表示させる(ステップS77)。表示制御部69は、情報処理装置110から取得した路上カメラ150の計測範囲及び計測結果に含まれる位置情報と、第1の車両1aの周囲環境認識装置31の計測範囲及び計測結果に含まれる位置情報とをそれぞれ緯度及び経度の情報に変換し、地図データ上に重畳表示させる。
図11~図12は、第1の表示処理の作用を説明するために示す図である。
図11は、第1の車両1aが走行する第1の道路141に第2の道路143が交差し、第1の車両1aの位置からは、第1の道路141と第2の道路143との交差点を曲がった先の第2の道路143が死角領域121a,121bとなっている走行シーンを示している。なお、図11は、表示装置43による表示の内容を示すものではない。
図11において、第1の車両1aが走行する第1の道路141との間に一区画を挟んだ第3の道路145と第2の道路143とが交差する地点に、計測方向を第1の道路141の方に向けた路上カメラ150が設置されている。路上カメラ150に近い死角領域121aは、路上カメラ150の計測範囲153に含まれる一方、死角領域121bは路上カメラ150の計測範囲153の外となっている。
この状況において、第2の道路143の図示の上側から下側へ、車車間通信手段を持たない第1の他車両90が通過するとする。このとき、路上カメラ150の計測結果の情報を取得した第1の車両1aは、第1の他車両90の存在をドライバに通知する。したがって、ドライバは、第1の他車両90が交差点を通過することを事前に認識することができる。しかし、第1の他車両90が交差点を通過した後、第2の道路143の図示の下側から上側へ通過する第2の他車両が存在する場合、路上カメラ150は当該第2の他車両を検出しないため、第1の車両1aは、第2の他車両の存在を通知しない。このため、ドライバは、第1の他車両90が通過した後にさらなる他車両の通過は無いものと思い込み、確認あるいは回避行動が不十分なままで交差点に進入するおそれがある。
図12は、第1の表示処理による表示の内容を示す説明図である。図12は、図11に示す状況において検出されている第1の他車両90、第1の車両1aの周囲環境認識装置31の計測範囲125及び路上カメラ150の計測範囲153の情報を地図データ上に重畳表示させた例を示す。
表示制御部69は、情報処理装置110を介して取得される、路上カメラ150の計測結果の情報に基づいて特定される第1の他車両90を示す情報を、地図データ上の検出位置に重畳表示させる。また、表示制御部69は、第1の車両1aの計測範囲125を示す情報及び路上カメラ150の計測範囲153を示す情報を、地図データ上に重畳表示させる。図12に示した例では、地図データの全範囲が灰色の透過表示とされ、第1の車両1aの計測範囲125及び路上カメラ150の計測範囲153が白抜きで表示されている。
これにより、第1の車両1aのドライバは、情報処理装置110から取得した路上カメラ150の計測結果の情報及び第1の車両1aの周囲環境認識装置31の計測結果の情報が、どの領域をカバーしているか容易に理解することができる。したがって、運転支援装置50aが表示する移動体の有無の情報に対するドライバの信頼度を高めることができる。
また、ドライバに、検出されている移動体に注意を促すだけでなく、路上カメラ150や周囲環境認識装置31によって計測されていない領域に対しても注意を促すことができる。したがって、ドライバは、第1の他車両90が通過した後であっても、路上カメラ150の計測範囲153の外から別の他車両が交差点に進入する可能性に注意を払うことができる。
なお、図12に示した例では、諸元上、第1の車両1aの計測範囲125及び路上カメラ150の計測範囲153に入る領域であっても、車両又は歩行者等が通過できない領域は、灰色の透過表示とされている。これにより、ドライバは、他車両や自転車、歩行者等の移動体が移動可能な領域のうち、第1の車両1a及び路上カメラ150により計測されている範囲を容易に理解することができる。
地図データ上に重畳表示させる移動体の情報は、移動体の種類を判別可能な情報であれば図形、文字又はアイコンのいずれであってもよい。あるいは、地図データ上に重畳表示させる移動体の情報は、路上カメラ150により撮影された移動体の画像であってもよい。
また、路上カメラ150の計測範囲153及び周囲環境認識装置31の計測範囲125の情報は、計測範囲外の領域と区別可能な表示であれば特に限定されるものではない。例えば表示制御部69は、路上カメラ150の計測範囲153及び周囲環境認識装置31の計測範囲125をその他の領域と異なる色を付して表示させてもよい。また、表示制御部69は、路上カメラ150の計測範囲153及び周囲環境認識装置31の計測範囲125を鮮明な表示とし、その他の領域を不鮮明な表示としてもよい。
図10に戻り、表示制御部69は、第1の車両1aの移動方向の前方に向かっている移動体が存在していると判定しない場合(S73/No)、前回の演算周期以前に第1の車両1aの移動方向の前方に向かっている移動体が検出されていたか否かを判定する(ステップS79)。つまり、表示制御部69は、前回の演算周期まで検出されていたものの、今回の演算周期では検出されなくなった移動体が存在するか否かを判定する。
表示制御部69は、前回の演算周期以前に移動体が検出されていたと判定しない場合(S79/No)、ステップS77へ進み、第1の車両1aの周囲環境認識装置31の計測範囲及び路上カメラ150の計測範囲を地図データ上に重畳表示させる(ステップS77)。表示制御部69は、情報処理装置110から取得した路上カメラ150の計測範囲及び計測結果に含まれる位置情報と、第1の車両1aの周囲環境認識装置31の計測範囲及び計測結果に含まれる位置情報とをそれぞれ緯度及び経度の情報に変換し、地図データ上に重畳表示させる。これにより、ドライバは、少なくとも路上カメラ150の計測範囲内には移動体が存在しないこと、及び、路上カメラ150の計測範囲外では移動体の有無が不明であることを理解することができる。
一方、表示制御部69は、前回の演算周期以前に第1の車両1aの移動方向の前方に向かっている移動体が検出されていたと判定した場合(S79/Yes)、当該移動体が存在すると推定される移動範囲を演算する(ステップS81)。表示制御部69は、前回の演算周期以前において取得された路上カメラ150の計測結果の情報に含まれていた移動体の移動方向及び移動速度の情報に基づいて、当該移動体が最後に検出されてから今回の演算周期までの移動方向及び移動距離を求め、当該移動体の位置を推定する。
次いで、表示制御部69は、地図データ上の推定位置に移動体を重畳表示させる(ステップS83)。また、表示制御部69は、第1の車両1aの周囲環境認識装置31の計測範囲及び路上カメラ150の計測範囲を地図データ上に重畳表示させる(ステップS77)。表示制御部69は、情報処理装置110から取得した路上カメラ150の計測範囲及び計測結果に含まれる位置情報と、第1の車両1aの周囲環境認識装置31の計測範囲及び計測結果に含まれる位置情報とをそれぞれ緯度及び経度の情報に変換し、地図データ上に重畳表示させる。
また、表示制御部69は、表示される移動体の位置が推定した移動範囲であることをドライバに理解させるために、また、推定した移動範囲と実際の位置とのずれを考慮して、移動体が実際に検出されている場合の表示と異なる態様で重畳表示させる。例えば表示制御部69は、移動体の色を異ならせてもよく、輪郭をあいまいに表示させてもよく、点滅表示させてもよく、輪郭を拡大表示させてもよい。
このとき、表示制御部69は、移動体の表示を漸次変化させてもよい。例えば表示制御部69は、移動体が最後に検出されたときの移動体の位置、移動速度及び移動方向の情報に基づいて、当該移動体が最後に検出されたときの位置から第1の車両1aの移動方向の前方に進入する位置に到達するまでの所要時間を算出する。具体的には、表示制御部69は、当該移動体が最後に検出されたときの位置から第1の車両1aの移動方向の前方に進入する位置までの距離を、移動速度で割ることで、上記の所要時間を算出する。表示制御部69は、算出した所要時間を100(%)として、移動体が検出されなくなってからの経過時間の割合(%)に応じて、移動体の表示を漸次変化させる。
例えば表示制御部69は、移動体の表示を黄色から赤色へと遷移させてもよく、移動体を表示する輪郭線を「濃い色の細線」から「淡い色の太線」へと遷移させてもよい。これにより、移動体が路上カメラ150の計測範囲153から外れた後においても、移動体が検出されなくなってからの時間経過に伴って移動体の推定位置が不確かに表示され、第1の車両1aのドライバに対して、当該移動体が第1の車両1aの前方に接近していることを意識させることができる。
図13は、図12に示した状態の次の演算周期で、検出されていた第1の他車両90が検出されなくなった状況を示す説明図である。図13に示した例では、検出されなくなった第1の他車両90を示す情報が、図12に示した第1の他車両90を示す情報よりも拡大されて漸次変化するとともに、輪郭を点線で曖昧に表示されている。このため、ドライバは、第1の他車両90が路上カメラ150により検出されなくなったものの、第1の他車両90が存在する可能性の高い位置を知ることができる。したがって、ドライバに、引き続き当該第1の他車両90にも注意を払わせることができる。
なお、図13において、設置位置が固定されている路上カメラ150の計測範囲153の表示は図12の計測範囲153の表示と変わらない一方、第1の車両1aとともに移動する周囲環境認識装置31の計測範囲125の表示は、図12の計測範囲125の表示から変化している。
表示制御部69は、以上のようにして、位置が移動しない環境認識装置(路上カメラ150)の計測範囲の情報及び計測結果の情報を表示させる第1の表示処理を実行する。第1の表示処理では、表示制御部69は、位置が移動しない路上カメラ150の計測範囲を地図データ上に重畳して表示させるとともに、当該計測範囲において路上カメラ150により検出された移動体を地図データ上に重畳して表示させる。また、表示制御部69は、検出されていた移動体が検出されなくなった場合においても、当該移動体の移動範囲を地図データ上に重畳して表示させる。また、第1の表示処理では、表示制御部69は、第1の車両1aの周囲環境認識装置31の計測範囲及び計測結果を地図データ上に重畳して表示させる。
続いて、第2の表示処理を説明する。第2の表示処理は、環境認識装置の現実空間での計測範囲が変化する場合の処理である。
図14は、表示制御部69による第2の表示処理のフローチャートを示す。
表示制御部69は、記憶部57に記録されている、他車両(第2の車両1b)から取得した周囲環境計測装置の計測範囲及び計測結果の情報(以下、「第2の車両の計測範囲」あるいは「第2の車両による計測結果」ともいう)を読み出す(ステップS91)。
次いで、表示制御部69は、第2の車両1bの計測範囲及び計測結果の情報と、第1の車両1aの位置及び移動方向の情報とに基づいて、第1の車両1aの移動方向の前方に向かっている移動体が存在しているか否かを判定する(ステップS93)。具体的に、表示制御部69は、第1の表示処理のステップS73の処理と同様の手順で、第1の車両1aの移動方向の前方に向かっている移動体が存在しているか否かを判定する。
表示制御部69は、第1の車両1aの移動方向の前方に向かっている移動体が存在していると判定した場合(S93/Yes)、検出されている移動体を、現実空間上の検出位置に合わせて地図データ上に重畳表示させる(ステップS95)。表示制御部69は、第2の車両1bから取得した周囲環境認識装置の計測範囲及び計測結果に含まれる位置情報と、第1の車両1aの周囲環境認識装置31の計測範囲及び計測結果に含まれる位置情報とをそれぞれ緯度及び経度の情報に変換し、地図データ上に重畳表示させる。
また、表示制御部69は、第1の車両1aの周囲環境認識装置31の計測範囲及び第2の車両1bの周囲環境認識装置の計測範囲を地図データ上に重畳表示させる(ステップS97)。このとき、表示制御部69は、例えば前回以前の演算周期から今回の演算周期までの第2の車両1bの周囲環境認識装置の計測範囲を地図データ上に重畳表示させる。
図15~図21は、第2の表示処理の作用を説明するために示す図である。図15~図17は、本開示の技術を適用しない場合の課題を説明するための図を示している。なお、図15~図17は、表示装置43による表示の内容を示すものではない。
図15に示すように、第1の車両1aに先行して第2の車両1bが第1の道路141を走行している場合、第2の車両1bが、第1の道路141と第2の道路143との交差点を通過する時刻t1に、第2の道路143の死角領域121a,121bが第2の車両1bに備えられた周囲環境認識装置の計測範囲123aに入る。このため、この時刻t1での第2の車両1bの計測結果の情報を取得した第1の車両1aの運転支援装置50aは、死角領域121a,121bに移動体が存在しないことを認識することができる。
一方、図16~図17に示すように、時間が経過した時刻t2,t3では、第2の車両1bが第1の道路141と第2の道路143との交差点から離れるため、死角領域121a,121bが計測範囲123b,123cの外となる。このため、時刻t2,t3での第2の車両1bの計測結果の情報を取得した第1の車両1aの運転支援装置50aは、死角領域121a,121bに移動体が存在するかしないかを認識することができない。ただし、このケースでは、時刻t1以降に死角領域121a,121bへ他の移動体が進入する可能性がある。それにもかかわらず、第1の車両1aのドライバが、時刻t1において死角領域121a,121bに移動体が存在することの通知を受けていない場合、死角領域121a,121bに注意を払うことなく第1の道路141と第2の道路143との交差点を通過するおそれがある。したがって、第1の車両1aが当該交差点を通過する際に死角領域121a,121bから移動体が現れたときに、衝突を回避することができないおそれがある。
図18~図21は、表示制御部69による第2の表示処理を示す説明図であり、第1の車両1aの周囲環境認識装置31の計測範囲125a~125c及び第2の車両1bの周囲環境認識装置の計測範囲123a~123dの情報を地図データ上に重畳表示させた例を示す説明図である。図18~図20は、それぞれ図15~図17に示した時刻t1~t3における表示の内容を示し、図21は、さらに時間が経過した時刻t4における表示の内容を示す。
表示制御部69は、第2の車両1bから取得される、第2の車両1bの計測結果の情報に基づいて特定される移動体を示す情報を、地図データ上の検出位置に重畳表示させる。ただし、図18~図21に示した例では、第2の車両1bの周囲環境認識装置によって移動体は検出されていないため、移動体は表示されていない。
また、図18に示すように、表示制御部69は、時刻t1において、第1の道路141と第2の道路143との交差点を通過する第2の車両1bの運転支援装置50bから取得した第2の車両1bの計測範囲123aを示す情報を、地図データ上に重畳表示させる。図18に示した例では、地図データの全範囲が灰色の透過表示とされ、第2の車両1bの計測範囲123aが白抜きで表示されている。時刻t1において、第1の車両1aのドライバは、表示されている第2の車両1bの計測範囲123aの情報と、移動体の表示がないことから、この後に通過する交差点の死角領域121に移動体が存在しないことを認識する。
図19~図21に示すように、表示制御部69は、時刻t2~t4において、第2の車両1bの運転支援装置50bから取得した第2の車両1bの計測範囲123b~123dを示す情報を、地図データ上にそれぞれ重畳表示させる。このとき、表示制御部69は、それぞれの時刻t2~t4で取得した最新の計測範囲123b~123dを示す情報を白抜きで表示する。
また、表示制御部69は、それぞれの時刻t2~t4において、前回以前の時刻に取得した計測範囲123a~123cを示す情報を併せて表示する。このとき、表示制御部69は、時刻を遡るにしたがって、白抜きの表示から灰色の表示へと順次移り変わるように表示を変化させる。つまり、表示制御部69は、計測範囲123から外れた非計測範囲の表示を、時間の経過にしたがって非計測範囲の表示へと遷移させる。
したがって、第1の車両1aのドライバは、第2の車両1bの計測範囲123a~123dの変化とともに第2の車両1bの計測結果の情報を認識することができる。このため、それぞれの時刻t1~t4における、第2の車両1bによる計測結果だけでなく、過去の時刻における、第2の車両1bによる計測結果を同時に認識することができる。その結果、第1の車両1aのドライバは、第2の車両1bが交差点を通過した後であっても、当該交差点に他車両が進入する可能性が低いと考えて回避行動を判断することができる。
表示制御部69は、過去の計測範囲を計測範囲外の領域と同じ表示(上記の例では灰色の表示)に戻すまでの設定時間を、第2の車両1bに備えられた周囲環境認識装置の認識性能に基づいて決定してもよい。つまり、表示される前回以前の演算周期の計測範囲の数は、周囲環境認識装置の認識性能に基づいて決定されてよい。
例えば図18~図21に示した例において、第2の車両1bの横方向の計測範囲が50mであるとし、第2の道路143の制限速度が30km/時であるとすると、表示制御部69は、第2の道路143から40km/時で他車両が進入すると仮定して、上記の設定時間を4秒(50m÷40km/時×3.6=4.5の小数点以下を切り捨て)としてもよい。これにより、他車両が交差点に進入する4秒以内に当該交差点に進入した場合、第1の車両1aのドライバが、過去の計測結果の情報に基づいて不必要な回避行動(完全な停車など)を行うことを避けることができる。
なお、図18~図21に示した例においても、諸元上、第1の車両1aの計測範囲125及び第2の車両1bの周囲環境認識装置の計測範囲123に入る領域であっても、車両又は歩行者等が通過できない領域は、灰色の透過表示とされている。また、地図データ上に重畳表示させる移動体の情報は、移動体の種類を判別可能な情報であれば図形、文字又はアイコンのいずれであってもよい。あるいは、地図データ上に重畳表示させる移動体の情報は、第2の車両1bにより撮影された移動体の画像であってもよい。
図14に戻り、表示制御部69は、第1の車両1aの移動方向の前方に向かっている移動体が存在していると判定しない場合(S93/No)、前回の演算周期以前に移動体が検出されていたか否かを判定する(ステップS99)。つまり、表示制御部69は、前回の演算周期まで検出されていたものの、今回の演算周期では検出されなくなった移動体が存在するか否かを判定する。
表示制御部69は、前回の演算周期以前に移動体が検出されていたと判定しない場合(S99/No)、ステップS97へ進み、第1の車両1aの周囲環境認識装置31の計測範囲125及び第2の車両1bの周囲環境認識装置の計測範囲123を地図データ上に重畳表示させる(ステップS97)。表示制御部69は、第2の車両1bから取得した周囲環境認識装置の計測範囲及び計測結果に含まれる位置情報と、第1の車両1aの周囲環境認識装置31の計測範囲及び計測結果に含まれる位置情報とをそれぞれ緯度及び経度の情報に変換し、地図データ上に重畳表示させる。
また、表示制御部69は、例えば前回以前の演算周期から今回の演算周期までの第2の車両1bの周囲環境認識装置の計測範囲を地図データ上に重畳表示させる。これにより、ドライバは、少なくとも第2の車両1bの計測範囲123には移動体が存在しないこと、及び、第2の車両1bの計測範囲123の外では移動体の有無が不明であることを理解することができる。
一方、表示制御部69は、前回の演算周期以前に移動体が検出されていたと判定した場合(S99/Yes)、当該移動体が存在すると推定される移動範囲を演算する(ステップS101)。表示制御部69は、前回の演算周期以前において取得された第2の車両1bの計測結果の情報に含まれていた移動体の移動方向及び移動速度の情報に基づいて、当該移動体が最後に検出されてから今回の演算周期までの移動方向及び移動距離を求め、当該移動体の移動範囲を推定する。
次いで、表示制御部69は、地図データ上に移動体の移動範囲を重畳表示させる(ステップS103)。また、表示制御部69は、第1の車両1aの周囲環境認識装置31の計測範囲125及び第2の車両1bの計測範囲123を地図データ上に重畳表示させる(ステップS97)。表示制御部69は、第2の車両1bから取得した周囲環境認識装置の計測範囲及び計測結果に含まれる位置情報と、第1の車両1aの周囲環境認識装置31の計測範囲及び計測結果に含まれる位置情報とをそれぞれ緯度及び経度の情報に変換し、地図データ上に重畳表示させる。
このとき、表示制御部69は、例えば前回以前の演算周期から今回の演算周期までの第2の車両1bの周囲環境認識装置の計測範囲を地図データ上に重畳表示させる。また、表示制御部69は、表示される移動体の位置が推定した移動範囲であることをドライバに理解させるために、また、推定した移動範囲と実際の位置とのずれを考慮して、移動体が実際に検出されている場合の表示と異なる態様で重畳表示させる。例えば表示制御部69は、移動体の色を異ならせてもよく、輪郭をあいまいに表示させてもよく、点滅表示させてもよく、輪郭を拡大表示させてもよい。このとき、表示制御部69は、第1の表示処理と同様に、移動体の表示を漸次変化させてもよい。
図22~図25は、図18~図21に示した状況で、時刻t1(図22)では第2の車両1bにより歩行者127が検出されていたものの、以降の時刻t2以降(図23~図25)では歩行者127が検出されなくなった場合の表示の例を示す。
図23~図25に示した例では、検出されなくなった歩行者127を示す情報が、図22に示した歩行者127を示す情報よりも拡大されるとともに、輪郭を点線で曖昧に表示されている。また、歩行者127の移動範囲は、時間の経過とともに広がることから、表示される歩行者127を示す情報の大きさは時間の経過とともに拡大されて漸次変化する。このため、第1の車両1aのドライバは、歩行者127が第2の車両1bにより検出されなくなったものの、歩行者127が存在する可能性の高い位置を知ることができる。したがって、ドライバに、引き続き当該歩行者127にも注意を払わせることができる。
表示制御部69は、以上のようにして、位置が移動する環境認識装置(第2の車両1bの周囲環境認識装置)の計測範囲の情報及び計測結果の情報を表示させる第2の表示処理を実行する。第2の表示処理では、表示制御部69は、第2の車両1bの計測範囲123を地図データ上に重畳して表示させるとともに、当該計測範囲123において路上カメラ150により検出された移動体を地図データ上に重畳して表示させる。また、表示制御部69は、前回以前の演算周期に取得した第2の車両1bの計測範囲も併せて地図データ上に重畳して表示させる。また、表示制御部69は、検出されていた移動体が検出されなくなった場合においても、当該移動体の移動範囲を地図データ上に重畳して表示させる。また、第2の表示処理では、表示制御部69は、第1の車両1aの周囲環境認識装置31の計測範囲及び計測結果を地図データ上に重畳して表示させる。
図8に戻り、ステップS47において、表示制御部69が、第1の表示処理及び第2の表示処理のいずれか一方又は両方の処理を実行した後、処理部55は、運転支援装置50aによる支援機能の起動が停止されたか否かを判定する(ステップS49)。処理部55は、支援機能の起動が停止されたと判定しない場合(S49/No)、ステップS33に戻って、ここまでに説明した各ステップの処理の実行を繰り返す。一方、処理部55は、支援機能の起動が停止されたと判定した場合(S49/Yes)、一連の処理を終了させる。
以上説明したように、本実施形態に係る運転支援装置50aは、支援対象の第1の車両1a以外に設けられた環境認識装置(路上カメラ150及び第2の車両1bの周囲環境認識装置)から、計測範囲123,153の情報と計測結果の情報とを取得する。また、運転支援装置50aは、第1の車両1aのドライバが視認可能な計測範囲123,153の情報及び検出された移動体の情報を地図データ上に重畳して表示させる。
これにより、支援対象の第1の車両1aのドライバは、第1の車両1a以外の環境認識装置による移動体の有無だけでなく、環境認識装置の計測範囲を認識することができる。したがって、運転支援装置50aが表示する移動体の有無の情報に対するドライバの信頼度を高めることができる。その結果、第1の車両1aのドライバに、運転支援装置50aが実行する運転支援により期待される回避行動を行わせるように誘導することができる。
また、本実施形態に係る運転支援装置50aは、支援対象の第1の車両1aに備えられた周囲環境認識装置31の計測範囲125の情報及び検出された移動体の情報を地図データ上に重畳して表示させる。これにより、支援対象の第1の車両1aのドライバは、第1の車両1aの周囲環境認識装置31の計測範囲及び計測結果を認識することができ、第1の車両1aのドライバに、運転支援装置50aが実行する運転支援により期待される回避行動を行わせるように誘導することができる。
また、本実施形態に係る運転支援装置50aは、第1の車両1a以外の環境認識装置の現実空間での計測範囲が変化する場合、計測範囲から外れた非計測範囲の表示を、時間の経過にしたがって非計測範囲の表示へと遷移させる。これにより、第1の車両1aのドライバは、過去の時刻における、第2の車両1bによる計測結果を同時に認識することができ、計測範囲から外れた領域での過去の移動体の有無を考慮した回避行動を判断することができる。
また、本実施形態に係る運転支援装置50aは、第1の車両1a以外の環境認識装置により検出されていた移動体が検出されなくなった後においても、移動体の表示を継続させる。これにより、第1の車両1aから認識されない移動体が第1の車両1a以外の環境認識装置により計測されなくなった場合であっても、第1の車両1aのドライバに、引き続き当該移動体に注意を払わせることができる。
また、本実施形態に係る運転支援装置50aは、第1の車両1a以外の環境認識装置により検出された移動体が第1の車両1aの移動方向の前方の領域へ移動している場合、当該移動体が検出されなくなった後に移動体の表示を漸次変化させる。これにより、第1の車両1aから認識されない移動体が第1の車両1a以外の環境認識装置により計測されなくなった場合であっても、第1の車両1aのドライバは、当該移動体が存在する可能性が高い位置を知ることができ、適切な回避行動を判断することができる。
また、本実施形態に係る運転支援装置50aは、第1の車両1a以外の環境認識装置により移動体が検出されなくなった後、検出されていた移動体の位置及び移動速度に基づいて移動体の移動範囲を推定し、想定される移動体の存在範囲を表示させる。これにより、第1の車両1aのドライバに、移動体が存在し得る範囲を想定した回避行動を判断させることができる。
なお、上記実施形態の説明においては、表示制御部69が、路上カメラ150の計測範囲が変わらない場合に第1の表示処理を実行する例を説明した。ただし、例えば路上カメラ150の撮影方向が変化し、路上カメラ150の計測範囲が変化する場合には、表示制御部69は、路上カメラ150の計測範囲の情報及び計測結果の情報を用いて第2の表示処理を実行する。これにより、路上カメラ150の計測範囲が変化する場合であっても、第1の車両1aのドライバに、それぞれの時刻での計測範囲及び計測結果の情報に基づいて適切な運転行動を判断させることができる。
<5.その他の実施の形態>
ここまで、本開示の一実施形態の運転支援装置を説明したが、上記実施形態は、種々の変形が可能である。以下、変形例の幾つかを説明する。
(5-1.第1の変形例)
運転支援装置50aの表示制御部69は、第1の車両1a以外の環境認識装置によって検出されていた移動体が検出されなくなる直前に、当該移動体が停止し、又は、第1の車両1aの移動方向の前方の領域から遠ざかる方向へ移動していた場合、当該移動体が環境認識装置により検出されなくなる直前の位置での移動体の表示を継続させてもよい。
図26は、第1の変形例に係る運転支援装置の表示制御部による表示処理に適用されるフローチャートを示す。図26に示したフローチャートは、図10に示す第1の表示処理のステップS79が否定判定された後、及び、図14に示す第2の表示処理のステップS99が否定判定された後に実行される。
表示制御部69は、ステップS79又はステップS99が否定判定された場合(S79/No又はS99/No)、表示制御部69は、前回の演算周期以前に、停止又は第1の車両1aの移動方向の前方から遠ざかる方向へ移動していた移動体が存在したか否かを判定する(ステップS111)。
表示制御部69は、ステップS111を否定判定した場合(S111/No)、図10のステップS77、又は、図14のステップS97へ進んで、第1の車両1aの周囲環境認識装置31の計測範囲及び第1の車両1a以外の環境認識装置の計測範囲を表示させる。一方、表示制御部69は、ステップS111を肯定判定した場合(S111/Yes)、表示制御部69は、停止又は上記の遠ざかる方向へ移動していた移動体が検出されなくなる直前に検出されていた位置で、地図データ上に移動体の表示を継続させる(ステップS113)。その後、表示制御部69は、図10のステップS77、又は、図14のステップS97へ進んで、第1の車両1aの周囲環境認識装置31の計測範囲及び第1の車両1a以外の環境認識装置の計測範囲を表示させる。
第1の変形例に係る表示処理では、表示制御部69は、停止又は第1の車両1aの移動方向の前方の領域から遠ざかる方向へ移動していた移動体が検出されなくなった場合であっても、最後に移動体が検出されていた位置に当該移動体の表示を維持する。このため、第1の車両1aのドライバは、過去に第1の車両1aと衝突するおそれのなかった移動体が存在した位置を認識することができ、当該移動体が第1の車両1a以外の環境認識装置の計測範囲から外れた後に移動することを考慮しながら、回避行動を判断することができる。
(5-2.第2の変形例)
上記の実施の形態では、表示制御部69は、地図データ上に、ドライバが視認可能な情報を重畳表示していたが、現実空間上に、ドライバが視認可能な情報を重畳表示してもよい。第2の変形例では、例えば車両1は、表示装置43として、フロントウィンドウに表示を行うヘッドアップディスプレイを備える。
周囲環境認識処理部67は、車内撮影カメラから送信される画像データに基づいて検出された、現実空間でのドライバの目の位置及び視線の向きの情報を取得し、現実空間でのドライバの目の位置及び視線の向きの情報と、周囲環境認識装置31による計測結果の情報とに基づいて、ドライバから見た死角領域を求める。例えば周囲環境認識処理部67は、ドライバから見て、周囲環境認識装置31により検出された立体物の奥側の領域を死角領域として設定する。ドライバの目の位置及び視線の向きは、例えばパターンマッチング処理により検出することができる。死角領域を求める手法は特に限定されるものではない。
また、表示制御部69は、現実空間でのドライバの目の位置及び視線の向きの情報を取得し、ドライバの目の位置及び視線の向きの情報と、周囲環境認識装置31による計測結果の情報とに基づいて、ドライバからフロントウィンドウ越しに見える風景を特定する。また、表示制御部69は、ドライバからフロントウィンドウ越しに見える風景の情報と、死角領域の情報と、第1の車両1a以外の環境認識装置の計測範囲の情報及び計測結果の情報とに基づいて表示装置43を駆動し、第1の車両1a以外の環境認識装置の計測範囲の情報及び計測結果の情報を現実空間上に重畳表示させる。
図27~図29は、第2の変形例による表示処理を示す説明図である。図27~図29は、第1の車両1aと車車間通信可能な先行車両171が、第1の車両1aの前方を走行する状況を時系列(時刻t11~t13)で示している。
それぞれの時刻t11~t13において、表示制御部69は、第1の車両1aの周囲環境認識装置31による計測結果の情報と、ドライバの目の位置及び視線の向きの情報とに基づいて、ドライバからフロントウィンドウ177越しに見える風景を特定する。また、表示制御部69は、ドライバから見た死角領域の情報を取得し、先行車両171から取得した周囲環境認識装置の計測範囲の情報及び計測結果の情報に基づいて、当該死角領域における計測範囲173及び検出された移動体を算出する。
表示制御部69は、表示装置43を駆動し、ドライバから視認可能な計測範囲173a~173cの情報及び移動体(図示した例では歩行者)175a~175cの情報を現実空間上に重畳して表示させる。表示装置43を駆動して所定の情報を現実空間上に重畳して表示させる手法は、公知の技術により行われてよいため、詳細な説明は省略する。
図示した例では、表示制御部69は、前回以前の演算周期から今回の演算周期までの先行車両171の計測範囲173a~175cを現実空間上に重畳表示させている。例えば表示制御部69は、前方を見ているドライバが周辺視でも気づきやすいように、色違いで透明表示させる。これにより、ドライバに、周辺視であっても計測範囲の遷移を把握させやすくなり、前方注視等の安全確認から過度に注意資源を消費させることなく情報を提供することができる。
また、図示した例では、表示制御部69は、検出されていた移動体が先行車両171の計測範囲から外れた場合であっても、当該移動体が最後に検出されたときの位置から第1の車両1aの移動方向の前方に進入する位置に到達するまでの所要時間を100(%)として、移動体が検出されなくなってからの経過時間の割合(%)に応じて、移動体の表示を漸次変化させている。これにより、移動体が先行車両171の計測範囲173から外れた後においても、移動体が検出されなくなってからの時間経過に伴って移動体の推定位置が不確かに表示され、第1の車両1aのドライバに対して、当該移動体が第1の車両1aの前方に接近していることを意識させることができる。
なお、第2の変形例では、現実空間上に所定の情報を重畳表示させているが、現実空間を撮影した撮像画像上に所定の情報を重畳して、表示パネルやフロントウィンドウ等に表示させてもよい。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば上記実施形態において、運転支援装置は、表示の手段によってドライバに所定の情報を提供し、ドライバに適切な運転行動を判断させていたが、本開示の技術は上記の例に限定されない。例えば運転支援装置は、支援対象の車両以外の環境認識装置の計測範囲の情報及び計測結果の情報に基づいて、警告を通知したり、車両制御による運転支援あるいは自動運転を実行させてもよい。
また、上記実施形態で説明した情報処理装置及び運転支援装置がそれぞれ有する機能の一部が、他の装置に備えられていてもよい。
また、上記実施形態では、環境認識装置(路上カメラ等)が情報処理装置を介して運転支援装置へ情報を送信する構成となっていたが、本開示の技術はかかる例に限定されない。環境認識装置(路上カメラ等)が、路車間通信手段を介して直接運転支援装置へ情報を送信可能に構成されていてもよい。このように構成される場合であっても、上記実施形態と同様の効果を得ることができる。
また、上記実施形態では、運転支援装置は、車両に搭載された電子制御装置により構成されていたが、本開示の技術は上記の例に限定されない。例えば運転支援装置は、車両以外の環境認識装置と通信可能であり、表示装置に対して駆動指令信号を送信可能な携帯端末により構成されてもよい。
また、本開示の技術は、上記実施形態に記載された運転支援装置を搭載した車両、運転支援装置による運転支援方法、コンピュータを上記の運転支援装置として機能させるコンピュータプログラム、及び当該コンピュータプログラムを記録した非一時的な有形の記録媒体としても実現することができる。