以下の例示的な実施形態等の同様の構成要素には共通の符号を付与して、重複する説明を適宜省略する。
(車両の構成例)
図1は、実施形態にかかる運転支援装置20が搭載された車両10の上面図である。図1における車両10の前後左右は、車両10の運転席から見た場合の方向を示す。
実施形態の車両10は、例えば内燃機関を駆動源とする内燃機関自動車であってもよいし、電動機を駆動源とする電気自動車または燃料電池自動車等であってもよいし、それらの双方を駆動源とするハイブリッド自動車であってもよい。
また、車両10は、種々の変速装置を搭載することができ、内燃機関または電動機を駆動するために必要な種々のシステム、部品等の装置を搭載することができる。また、車両10における車輪13の駆動に関わる装置の方式、個数、及びレイアウト等は、種々に設定することができる。
図1に示すように、車両10は、車体12、複数の車輪13、複数の測距部14a~14l、及び複数の撮像部16a~16dを備える。なお、測距部14a~14lを区別する必要がない場合には単に測距部14と記載する。また、撮像部16a~16dを区別する必要がない場合には単に撮像部16と記載する。
車体12は、乗員が乗車する車室を構成する。車体12には、複数の車輪13、複数の測距部14、及び複数の撮像部16が取り付けられている。図1の例では、車体12は、4個の車輪13と、12個の測距部14と、4個の撮像部16とを備えている。ただし、車体12に取り付けられる測距部14及び撮像部16の個数は任意である。
4個の車輪13は、車体12の前後左右に設けられている。前側の2個の車輪13は例えば転舵輪として機能し、後側の2個の車輪13は例えば駆動輪として機能する。
センサとしての測距部14は、例えば車両10の外周部に設けられ、超音波等の音波を検出波として送信して、車両10の周辺に存在する障害物等の対象物が反射した検出波を捉えるソナーである。なお、測距部14は、レーザ光等の検出波を送信するレーダー、またはミリ波レーダー等であってもよい。
測距部14は、車両10の周辺の情報である周辺情報を収集して運転支援装置20に出力する。測距部14は、例えば検出波を送信してから受信するまでの時間である応答時間を、対象物と車両10との距離を特定するための周辺情報として収集する。運転支援装置20は、測距部14が収集した周辺情報に基づいて、車両10の周辺の障害物等の有無、及びその障害物までの距離を検出することができる。
なお、測距部14は、1回の検出波の送信に対して、対象物の複数の個所が反射した複数の検出波を受信した場合には、最も早く受信した検出波の応答時間のみを周辺情報に含めてもよい。
測距部14a~14dは車体12の前部に設けられている。これらの測距部14a~14dのうち、測距部14b,14cはフロントソナーとも呼ばれ、車両10の前端部に設けられている。測距部14b,14cは、車両10の前方の対象物を検出して、車両10の前方の周辺情報を収集する。また、測距部14a,14dはコーナーソナーとも呼ばれ、車両10前部のコーナー部分に設けられている。測距部14a,14dは、車両10の前方外側の対象物を検出して、車両10の前方外側の周辺情報を収集する。
測距部14e~14hは車体12の後部に設けられている。これらの測距部14e~14hのうち、測距部14f,14gはリアソナーとも呼ばれ、車両10の後端部に設けられている。測距部14f,14gは、車両10の後方の対象物を検出して、車両10の後方の周辺情報を収集する。また、測距部14e,14hはコーナーソナーとも呼ばれ、車両10後部のコーナー部分に設けられている。測距部14e,14hは、車両10の後方外側の対象物を検出して、車両10の後方外側の周辺情報を収集する。
測距部14i~14lはサイドソナーとも呼ばれ、車体12の側部に設けられている。測距部14i~14lのうち、測距部14i,14jは車両10の前部側方に設けられている。測距部14k,14lは車両10の後部側方に設けられている。測距部14i~14lは、車両10の側方の対象物を検出して、車両10の側方の周辺情報を収集する。
センサとしての撮像部16は、例えばCCD(Charge Coupled Device)、またはCIS(CMOS Image Sensor)等の撮像素子を内蔵するデジタルカメラである。撮像部16は、所定のフレームレートで撮影される複数のフレーム画像を含む動画、または静止画の撮像画像を生成する。
撮像部16は、車体12の外周部に設けられ、それぞれ広角レンズまたは魚眼レンズを有しており、例えば水平方向の140°~190°の範囲を撮影することができる。撮像部16の光軸は、斜め下方に向けて設定されている。
これにより、撮像部16は、路面を含む車両10の周辺を撮像した周辺情報を収集して運転支援装置20に出力する。運転支援装置20は、撮像部16が収集した周辺情報に基づいて、車両10の周辺の障害物等の有無、及びその障害物の位置を検出することができる。また、運転支援装置20は、撮像部16が収集した周辺情報に基づいて、車両10の周辺の駐車区画、及びその駐車区画の位置を検出することができる。
撮像部16aは、車体12の前端部の左右方向の中央部であって、例えばフロントバンパーに設けられている。撮像部16aは、車両10の前方を撮像した撮像画像を周辺情報として収集する。撮像部16bは、車体12の後端部の左右方向の中央部であって、例えばリアバンパーに設けられている。撮像部16bは、車両10の後方を撮像した撮像画像を周辺情報として収集する。
撮像部16cは、車体12の左端部の前後方向の中央部であって、例えば左側のサイドミラーに設けられている。撮像部16cは、車両10の左方を撮像した撮像画像を周辺情報として収集する。撮像部16dは、車体12の右端部の前後方向の中央部であって、例えば右側のサイドミラーに設けられている。撮像部16dは、車両10の右方の周辺を撮像した撮像画像を周辺情報として収集する。
(運転支援システムの構成例)
図2は、実施形態にかかる運転支援システム200の全体構成の一例を示すブロック図である。運転支援システム200は、例えば車両10に搭載され、運転者が行う車両10の駐車区画への入庫(駐車)操作または駐車区画からの出庫操作等の運転支援を行う。
図2に示すように、運転支援システム200は、運転支援装置20、モニタ装置30、制動システム140、加速システム150、操舵システム160、変速システム170、車速センサ183、測距部14、及び撮像部16を備える。これらの構成は、車内ネットワークNTによって互いに情報の送受信が可能に接続されている。
車内ネットワークNTは、例えばCAN(Controller Area Network)及びLIN(Local Interconnect Network)等を含んで構成される。車内ネットワークNTを運転支援システム200の一部に含めてもよい。
運転支援装置20は、ECU(Electronic Control Unit)等のマイクロコンピュータとして構成されており、運転者による車両10の運転支援を行なう。
運転支援装置20は、CPU(Central Processing Unit)21、表示制御回路23、SSD(Solid State Drive)24、ROM(Read Only Memory)25、及びRAM(Random Access Memory)26を備える。CPU21、ROM25、及びRAM26は同一パッケージ内に集積されていてもよい。
CPU21は、ハードウェアプロセッサの一例であって、ROM25等の不揮発性の記憶装置に記憶されたプログラムを読み出し、このプログラムにしたがって各種の演算処理および制御を実行する。
ROM25は、各種プログラム及びプログラムの実行に必要なパラメータ等を記憶する。RAM26は、CPU21による演算で用いられる各種のデータを一時的に記憶する。SSD24は、書き換え可能な不揮発性の記憶装置であって、運転支援装置20の電源がオフされた場合にあってもデータを維持する。
表示制御回路23は、運転支援装置20で行われる演算処理のうち、主として撮像部16で得られた画像の画像処理、モニタ装置30が備える後述の表示部31に表示させる表示用の画像のデータ変換等を実行する。
制動システム140は、制動部141、制動制御部142、及び制動部センサ143を有し、車両10の減速を制御する。
制動部141は、例えばブレーキ及びブレーキペダル等を含む装置であり、車両10を減速させる。制動制御部142は、例えば、CPU等のハードウェアプロセッサを有するマイクロコンピュータである。制動制御部142は、運転者によるブレーキペダル等の操作に基づいて車両10を減速させる。制動部センサ143は、例えば位置センサであって、制動部141に含まれるブレーキペダルの位置を検出する。制動部センサ143は、検出したブレーキペダル位置を車内ネットワークNTに出力する。
加速システム150は、加速部151、加速制御部152、及び加速部センサ153を有し、車両10の加速を制御する。
加速部151は、例えばアクセルペダル等を含む装置であり、車両10を加速させる。加速制御部152は、例えば、CPU等のハードウェアプロセッサを有するマイクロコンピュータである。加速制御部152は、運転者によるアクセルペダル等の操作に基づいて車両10を加速させる。加速部センサ153は、例えた位置センサであって、加速部151に含まれるアクセルペダルの位置を検出する。加速部センサ153は、検出したアクセルペダルの位置を車内ネットワークNTに出力する。
操舵システム160は、操舵部161、操舵制御部162、及び操舵部センサ163を有し、車両10の進行方向を制御する。
操舵部161は、例えばハンドルまたはステアリングホイール等を含む装置であり、車両10の転舵輪を転舵させて、車両10の進行方向を操舵する。操舵制御部162は、例えばCPU等のハードウェアプロセッサを有するマイクロコンピュータである。操舵制御部162は、運転者によるハンドルまたはステアリングホイール等の操作に基づいて車両10の進行方向を制御する。操舵部センサ163は、例えばホール素子等を含む角度センサであって、操舵部161の回転角である操舵角を検出する。操舵部センサ163は、検出した操舵部161の操舵角を車内ネットワークNTに出力する。
変速システム170は、変速部171、変速制御部172、及び変速部センサ173を有し、車両10の変速比を制御する。
変速部171は、例えばシフトレバー等を含む装置であり、車両10の変速比を変更させる。変速制御部172は、例えばCPU等のハードウェアプロセッサを有するマイクロコンピュータである。変速制御部172は、運転者によるシフトレバー等の操作に基づいて車両10の変速比を制御する。変速部センサ173は、例えば位置センサであって、変速部171に含まれるシフトレバーの位置を検出する。変速部センサ173は、検出したシフトレバーの位置を車内ネットワークNTに出力する。
車速センサ183は、例えば車両10の車輪13の近傍に設けられたホール素子を有し、車輪13の回転量または単位時間当たりの回転数を検出する。車速センサ183は、検出した回転量または回転数を示す車輪速パルス数を、車両10の速度(車速)を算出するためのセンサ値として、車内ネットワークNTへ出力する。運転支援装置20は、車速センサ183から取得したセンサ値に基づいて車両10の速度および移動量等を算出することができる。
モニタ装置30は、車両10の車室内のインストルメントパネル等に設けられ、表示部31及び入力部32を有する。
表示部31は、例えば液晶ディスプレイ(LCD:Liquid Crystal Display)、または有機ELディプレイ(OELD:Organic Electroluminescent Display)等の表示装置である。表示部31は、例えば運転支援装置20が送信した画像データに基づく画像、及び通常運転モードと入庫時または出庫時の運転支援モードとの切り替えを指示する操作指示を受け付ける画像等を表示する。
入力部32は、例えば表示部31の表示画面に設けられているタッチパネルである。入力部32は、表示部31が表示画面に表示する内容を透過可能に構成されている。これにより、入力部32は、表示部31の表示内容を乗員に視認させることができる。
入力部32は、表示部31の表示内容に対応した位置を運転者等が触れることによって入力した指示を受け付けて、車内ネットワークNTを介して運転支援装置20へ送信する。なお、入力部32は、タッチパネルに限らず、押しボタン式等のハードスイッチであってもよい。
図3は、実施形態にかかる運転支援装置20の機能構成の一例を示すブロック図である。図3に示すように、運転支援装置20は、表示制御部201、取得部204、検出部205、及び経路算出部206を機能部として備える。
これらの機能部は、例えば上述のCPU21がROM25等の記憶装置に記憶されたプログラムを読み出して、それを実行することにより実現される。または、プログラムにしたがうCPU21の制御下で、表示制御回路23等が動作することにより実現される。
なお、これらの機能部の一部または全部は、ASIC(Applocation Specific Integrated Circuit)を含む回路等のハードウェアによって構成されてもよい。
表示制御部201は、モニタ装置30の表示部31に表示する内容を生成し、表示部31に表示させる。つまり、表示制御部201は、例えば車両10を駐車可能な駐車領域が検出されたことの通知画面、運転支援の開始、中断、または中止等の選択画面、運転支援中の車両10の周辺画像等を表示部31に表示させる。
表示制御部201は、また、運転支援中の車両10の周辺画像を表示部31に表示させる際、測距部14または撮像部16によって車両10の周辺に障害物等が検出された場合には、車両10の周辺画像において、障害物等を視覚的に際立たせる処理を行う。このような処理の詳細については後述する。
取得部204は、車両10の周辺情報として、測距部14から音波の送受波情報および撮像部16から車両10周辺の撮像画像をそれぞれ取得する。
検出部205は、取得部204によって取得された周辺情報に基づいて、車両10周辺の障害物、駐車区画、及び駐車領域等を検出する。
障害物は、例えば他の車両、壁、柱、柵、突起、段差、輪留め等の種々の物体である。また、障害物は、例えば駐車場内を歩く人等であり得る。
駐車区画は、車両10を駐車するように設けられ、例えば区画線、枠線、直線、帯、段差等によって区画された領域である。駐車領域は、車両10が駐車可能な駐車区画、つまり、車両10の駐車に障害となる他の車両等の障害物が存在しない駐車区画である。
検出部205は、例えば測距部14の検出結果に基づいて、障害物の有無、車両10から障害物までの距離等を検出する。また、検出部205は、例えば撮像部16が撮像した画像に基づく画像処理によって、障害物の有無、駐車区画、車両10に対するこれらの位置(方位)、並びにこれらの形状、大きさ、及び高さ等を検出する。
検出部205は、これらの検出結果を組み合わせることで、車両10周辺に障害物があるか否か、障害物が複数あるときに車両10からそれぞれの障害物までの距離がどれくらいか、車両10周辺に駐車区画があるか否か、その駐車区画に車両10を駐車することが可能か否か、つまり、駐車領域として使用しうるか否か等の情報を抽出する。
経路算出部206は、検出部205による検出結果に基づいて、車両10を誘導する目標位置を算出し、目標位置まで車両10を移動させる移動経路を算出する。
車両10を駐車(入庫)する場合であれば、検出部205によって検出された駐車領域が目標位置となる。駐車区画から車両10を出庫する場合であれば、複数の駐車区画間に設けられた通路上等、それ以降、車両10が安全に走行を開始できる所定の場所が目標位置となる。
また、経路算出部206が、必要に応じて切り返し位置の算出を行う場合もある。切り返し位置は、1回の後退または前進等によって駐車または出庫が困難であるような場合に1つ以上設定される。
経路算出部206は、上記のように算出した目標位置に車両10を誘導すべく、車両10の現在位置から目標位置へと至る車両10の移動経路を算出する。移動経路に切り返し位置が含まれる場合には、経路算出部206は、車両10の現在位置から切り返し位置を経て、目標位置へと至る移動経路を算出する。
以上のように、経路算出部206により、例えば後退駐車、前進駐車、後退による並列駐車、前進による並列駐車等の駐車のための移動経路が算出される。また、経路算出部206により、例えば前進出庫、後退出庫、前進による並列出庫、後退による並列出庫等の出庫のための移動経路が算出される。
また、上記のように、運転支援装置20は、運転支援中に車両10周辺の障害物を検出することで、車両10の周辺を監視する周辺監視装置としても機能する。運転支援装置20に、測距部14、撮像部16、及びモニタ装置30等の構成を加えた運転支援システム200は、周辺監視システムとしても機能する。
(運転支援装置の動作例)
次に、図4A~図4Cを用いて、実施形態の運転支援装置20の動作例について説明する。図4A~図4Cは、実施形態にかかる運転支援装置20による駐車支援中のモニタ装置30の表示の一例について説明する模式図である。
図4Aは、運転者によってモニタ装置30の入力部32等から運転支援の開始が指示された場合に、モニタ装置30の表示部31に表示される画像の一例を示している。
図4Aに示すように、運転支援が開始されると、運転支援装置20の表示制御部201は、モニタ装置30の表示部31に例えば周辺画像31Fと俯瞰画像31Bとを表示させる。
周辺画像31Fは、車両10の外周部に設けられた複数の撮像部16によって撮像された画像の中から所定の画像が選択される。具体的には、表示制御部201が、複数の撮像部16による撮像画像の中から、例えば車両10の進行方向を撮像した画像を選択し、表示部31に表示する。
俯瞰画像31Bは、車両10の外周部に設けられた複数の撮像部16によって撮像された画像を、表示制御部201が、上方から車両10を見下ろす俯瞰的な画像に合成した画像である。表示制御部201は、また、俯瞰画像31Bの中央部に車両10を示す車両アイコン10icを表示する。
また、図4Aの例では、これらの周辺画像31F及び俯瞰画像31Bにおいて、撮像部16からの周辺情報に基づいて検出された駐車領域を示す矩形のマーク40が、それぞれの画像に重ねて表示されている。
また、図4Aの例では、周辺画像31Fにおいて、車両10の移動経路を示すマーク41が、撮像部16からの撮像画像に重ねて表示されている。マーク41は、例えば車両10の幅と略等しく、車両10の前方または後方等の、車両10の進行方向に延びる1対の線と、この1対の線の間に、車両10からそれぞれ異なる距離を空けて引かれた複数の横線とを含む。
なお、これらのマーク40,41によって画像自体が隠れてしまわないよう、マーク40,41は半透明で表示され、マーク40,41を介して背後の画像が透けて見えるようになっている。
また、図4Aの例では、周辺画像31F及び俯瞰画像31Bに、撮像部16からの周辺情報に基づいて検出された駐車場内の人物OBaが映り込んでいる。人物OBaは、車両10の移動経路上に位置しており、駐車領域に駐車しようとする車両10の障害物となり得る。
運転支援装置20の検出部205は、上述のように、測距部14及び撮像部16からの周辺情報に基づいて、運転支援中の車両10周辺に障害物たり得る人物OBaを検出し、この人物OBaの大きさ、高さ、車両10に対する方位、及び車両10からの距離等を算出する。
表示制御部201は、検出部205の検出結果に基づいて、周辺画像31F及び俯瞰画像31Bにおいて、人物OBaの画像に重ねてマーク50F,50Bをそれぞれ表示する。これらのマーク50F,50Bもまた、半透明で表示され、マーク50F,50Bを介して背後の画像が透けて見えるようになっている。
なお、表示制御部201は、同一の人物OBaの画像に重ねて表示されるマーク50F,50Bに同一の色を用いる。運転支援装置20においては、障害物が複数検出された場合に備え、それぞれの障害物に用いるマーク50F,50Bの色が複数種類用意されている。
第1のマークとしてのマーク50Fは、例えばポインタ51及びシグナル52,53を含む。
第1のポインタとしてのポインタ51は、例えば円形のマークであって、障害物を指し示す機能を有する。ポインタ51は、検出部205が検出した障害物の接地位置からオフセットした位置、つまり、例えば障害物の高さ方向の中心位置付近に表示される。図4Aの例のように、障害物が人物OBaである場合には、ポインタ51は、例えば人物OBaの足元の位置からオフセットした、人物OBaの体長の中心位置付近に表示される。
第1のシグナルとしてのシグナル52は、例えば円形のポインタ51内に配置される十字のマークである。表示制御部201は、周辺画像31F上にマーク50Fを表示するにあたり、例えば所定の周期でシグナル52の透過度を変化させるなどして、周辺画像31F上に動的にシグナル52を表示する。
この場合、元々半透明で表示されるマーク50Fにおいて、シグナル52の透過度は、例えば透過度が変化しないポインタ51の透過度と同等またはそれ以下の透過度から、所定値以上の透過度まで2段階に、あるいは、2段階より細かい段階を経て徐々に、変化してよい。
また、周期的にシグナル52の透過度を変化させる際、シグナル52が100%の透過度となる、つまり、シグナル52が画面上から消失するタイミングがあってもよい。この場合、周辺画像31F上において、シグナル52は明滅して見えるはずである。
第2のシグナルとしてのシグナル53は、例えば円形のポインタ51の周囲を所定間隔で取り囲むように配置される複数の線分、ドット、または多角形等のマークである。図4Aの例では、シグナル53は、4方向からポインタ51を囲む4つの三角形のマークを含む。ポインタ51の周囲を囲むこれらの三角形はそれぞれ、1つの頂点がポインタ51の中心方向を向き、その頂点に対して底辺にあたる辺がポインタ51の外側を向くよう配置されている。
表示制御部201は、周辺画像31F上にマーク50Fを表示するにあたり、例えばポインタ51の周囲を所定の速度で回転させるなどして、周辺画像31F上に動的にシグナル53を表示する。図4Aの例では、上下および左右からポインタ51を挟んで垂直および水平に対向する2対の三角マークの配置を、右回りまたは左回りに移動させていく。これにより、4つの三角マークがポインタ51の周囲を回転しているように視認される。
第2のマークとしてのマーク50Bは、例えばポインタ54を少なくとも含む。
第2のポインタとしてのポインタ54は、例えば円形に4つの突起を有するマークであって、障害物を指し示す機能を有する。このように、ポインタ54は、例えば同一の障害物を指し示すマーク50Fのポインタ51と類似の形状を有していることが好ましい。
また、ポインタ54は、検出部205が検出した障害物の接地位置付近に表示される。図4Aの例のように、障害物が人物OBaである場合には、ポインタ54は、例えば人物OBaの足元付近に表示される。
なお、車両10の周辺に人物OBa等の障害物が検出された場合に、表示制御部201が、マーク50F,50Bを表示するとともに、「車両周辺を直接確認してください」等のメッセージを表示部31に表示してもよい。
図4Bは、図4Aに示す状態から所定時間が経過した後に、モニタ装置30の表示部31に表示される画像の一例を示している。
図4Bに示すように、例えば人物OBaは図4Aの位置から移動しておらず、周辺画像31Fにおけるマーク50Fのポインタ51の表示位置、及び俯瞰画像31Bにおけるマーク50Bのポインタ54の表示位置は、図4Aの位置から変化していない。
なお、人物OBa等の障害物が移動している場合には、それぞれのマーク50F,50bのポインタ51,54は、それに合わせて障害物に追従するように周辺画像31F上または俯瞰画像31B上を移動する。
また、図4Aから所定時間を経て、周辺画像31Fにおいては、マーク50Fのシグナル52の透過度が増加している。つまり、シグナル52が図4Aの状態よりも薄く表示されている。また、マーク50Fのシグナル53において、4つの三角マークの配置が変化している。つまり、図4Aでは、シグナル52の十字型の各頂点に略一致する配置であった4つの三角マークが、ポインタ51の周囲を回転することにより、図4Bでは、シグナル52の十字型の各頂点の間の位置にそれぞれ配置されている。
表示制御部201は、車両10の周辺に人物OBaが検出されている間は、マーク50Fのシグナル52,53について、上記のような動的な表示を所定周期および所定速度で継続する。
図4Cは、図4Bに示す状態から更に所定時間が経過した後に、モニタ装置30の表示部31に表示される画像の一例を示している。
図4Cに示すように、例えば人物OBaは図4Bの位置から移動しておらず、周辺画像31F及び俯瞰画像31Bにおける人物OBaの画像には依然、マーク50F,50Bが重ねて表示されている。
また、図4Aの例では、周辺画像31F及び俯瞰画像31Bに、撮像部16からの周辺情報に基づいて検出された新たな人物OBbが映り込んでいる。人物OBbは、車両10の移動経路上であって、人物OBaよりも車両10に近い場所に位置しており、駐車領域に駐車しようとする車両10の障害物となり得る。
検出部205は、測距部14及び撮像部16からの周辺情報に基づいて、新たな人物OBbを障害物として検出し、この人物OBbの大きさ、高さ、車両10に対する方位、及び車両10からの距離等を算出する。
また、上述のように、検出部205は、人物OBa,OBbのように複数の障害物が検出されたときは、これらの障害物のそれぞれについて、車両10からの距離が近い順を算出する。図4Cの例では、検出部205は、2つの障害物たる人物OBa,OBbのうち、人物OBbが車両10から最も近い障害物であると算出し、人物OBaが人物OBbに次いで車両10から近い障害物であると算出する。
表示制御部201は、検出部205の検出結果に基づいて、周辺画像31F及び俯瞰画像31Bにおいて、人物OBaの画像に重ねて表示していたマーク50F,50Bの表示を2番目に車両10から近い障害物に対応する態様に切り替える。
上述のように、運転支援装置20では、複数の障害物に対して異なる色でマーク50F,60F・・・、及びマーク50B,60B・・・等を表示するよう設定されている。これらの色は、例えば車両10から、それらの障害物までの距離に応じて割り当てられている。
このとき、例えば車両10から最も近い障害物には最も視認性の高い赤色等の色を割り当て、次いで橙色、更には黄色等、徐々に控えめな色を割り当てるようにしてもよい。また、上述の図4A及び図4Bの例のように、検出された障害物が1つのみである場合には、その障害物に対して車両10から最も近い障害物に割り当てられた色が使用されてよい。
図4Cの例において、表示制御部201は、人物OBaの画像に付すマーク50F,50Bを最も車両10に近い障害物に割り当てられた色から、2番目に車両10に近い障害物に割り当てられた色へと変更する。この場合にも、マーク50F,50Bは互いに同じ色で表示される。
また、表示制御部201は、マーク50Fにおけるシグナル52の透過度の変化を停止させ、シグナル52の表示の態様を静的な表示に切り替える。また、表示制御部201は、マーク50Fにおけるシグナル53の回転を停止させ、シグナル53の表示の態様を静的な表示に切り替える。
表示制御部201は、また、検出部205の検出結果および判定結果に基づいて、周辺画像31F及び俯瞰画像31Bにおいて、新たに検出された人物OBbの画像に重ねてマーク60F,60Bを表示する。これらのマーク60F,60Bもまた、互いに同じ色の半透明で表示される。このとき。マーク60F,60Bには、マーク50Fに代わって、例えば図4A及び図4Bにおいてマーク50F,50Bに割り当てられていた、車両10から最も近い障害物に割り当てられた色が付される。
第1のマークとしてのマーク60Fは、例えばポインタ61及びシグナル62,63を含み、マーク50Fに代わって図4A及び図4Bにおけるマーク50Fと同じ態様で人物OBbの画像に重ねて表示される。
第1のポインタとしてのポインタ61は、例えば人物OBbの足元の位置からオフセットした、人物OBbの体長の中心位置付近に表示され、人物OBbを指し示す。人物OBb等の障害物が移動している場合には、ポインタ61は、それに合わせて障害物に追従するように周辺画像31F上を移動する。
第1のシグナルとしてのシグナル62は、例えば円形のポインタ61内に配置され、所定周期で透過度が変化する。
第2のシグナルとしてのシグナル63は、例えば円形のポインタ61の周囲を所定間隔で取り囲むように配置され、ポインタ51の周囲を所定速度で回転する。
第2のマークとしてのマーク60Bは、例えばポインタ64を少なくとも含み、マーク50Bに代わって図4A及び図4Bにおけるマーク50Bと同じ態様で人物OBbの画像に重ねて表示される。
第2のポインタとしてのポインタ64は、例えば人物OBbの足元付近に表示され、人物OBbを指し示す。
以上のように、運転支援が実行されている間、表示制御部201は、撮像装置16が撮像した撮像画像に基づく周辺画像31F及び俯瞰画像31Bを表示部31に表示し続ける。また、表示制御部201は、検出部205の検出結果に基づいて、車両10周辺に検出された人物等の障害物の画像にマーク50F,60F・・・及びマーク50B,60B・・・を重ねて表示する。
(運転支援装置の処理例)
次に、図5を用いて、実施形態の運転支援装置20による運転支援処理の例について説明する。図5は、実施形態にかかる運転支援装置20による運転支援処理の手順の一例を示すフロー図である。なお、運転支援装置20による周辺監視処理は、運転支援処理と並行して実施される。
図5に示すように、運転支援装置20は、車両10の運転者等により運転支援の開始を指示する入力を待ち受ける(ステップS101:No)。
運転者等から運転支援開始の指示入力があると(ステップS101:Yes)、検出部205が、測距部14及び撮像部16からの周辺情報に基づいて、運転支援の目標位置となる車両10周辺の駐車領域等の検出、及び車両10周辺の人物等の障害物の検出を開始する(ステップS102)。
検出部205は、車両10が目標位置に到達し、運転支援が終了するまで車両10周辺の状況を検出し続ける。
経路算出部206は、検出部205の検出結果に基づいて、車両10を誘導する目標位置、必要に応じては切り返し位置、及び移動経路を算出する(ステップS103)。
表示制御部201は、複数の撮像装置16からの撮像画像のうち、車両10の進行方向前方の画像を車両10の周辺画像31Fとして、モニタ装置30の表示部31に表示する。また、表示制御部201は、複数の撮像装置16からの撮像画像を合成し、それに車両アイコン10icを付した俯瞰画像31Bを、モニタ装置30の表示部31に表示する(ステップS104)。
このとき、表示制御部201は、経路算出部206が算出した駐車領域等の目標位置を示すマーク40を周辺画像31F及び俯瞰画像31Bに重ねて表示し、また、車両10の移動経路を示すマーク41を周辺画像31Fに重ねて表示する。
検出部205は、車両10周辺に障害物があるか否かを判定する(ステップS105)。車両10周辺に障害物がない場合には(ステップS105:No)、ステップS106~S111の処理がスキップされる。
車両10周辺に障害物がある場合には(ステップS105:Yes)、検出部205は車両10周辺の障害物が複数であるか否かを判定する(ステップS106)。
車両10周辺の障害物が1つである場合には(ステップS106:No)、表示制御部201は、周辺画像31Fに表示させるマーク50Fのシンボル52について周期的に透過度を変化させ、シンボル53についてポインタ51の周囲を回転させるなどの動的処理を施す(ステップS109)。
表示制御部201は、シンボル52,53に動的処理を施したマーク50Fを、周辺画像31Fにおける障害物の画像であって、障害物の接地位置からオフセットされた高さ方向の中心位置付近に重ねて表示する。また、表示制御部201は、マーク50Fと同色のマーク50Bを、俯瞰画像31Bにおける障害物の画像であって、障害物の接地位置に重ねて表示する(ステップS110)。
車両10周辺の障害物が複数ある場合には(ステップS106:Yes)、検出部205は、それらの障害物のそれぞれについて車両10からの距離が近い順を算出する(ステップS107)。
表示制御部201は、検出部205の検出結果に基づいて、車両から最も近い障害物に対しては、マーク60Fの表示色として最も近傍の障害物に割り当てられた色を選択するとともに、マーク60Fにおけるシグナル62,63について動的処理を施す(ステップS108)。
表示制御部201は、シンボル62,63に動的処理を施したマーク60Fを、周辺画像31Fにおける障害物の画像であって、障害物の接地位置からオフセットされた高さ方向の中心位置付近に重ねて表示する。また、表示制御部201は、マーク60Fと同色のマーク60Bを、俯瞰画像31Bにおける障害物の画像であって、障害物の接地位置に重ねて表示する(ステップS110)。
表示制御部201は、上記表示を行った障害物が、検出された障害物のうち最後の障害物であったか否かを判定する(ステップS111)。
未処理の障害物が残っていた場合には(ステップS111:No)、表示制御部201は、障害物の数だけステップS110の処理を繰り返す。ただし、最も近傍の障害物を除き、表示制御部201は、シンボル52,53に動的処理を施すことなく、マーク50F,50Bを表示する。
全ての障害物について上記表示を行った後(ステップS111:Yes)、運転支援装置20は、例えば車両10が目標位置に到達するなどして、運転支援が終了したか否かを判定する(ステップS112)。
運転支援装置20は、運転支援が終了するまでステップS105~S111の処理を繰り返し(ステップS112:No)、運転支援が終了すると(ステップS112)周辺監視処理を終了する。
以上により、実施形態の運転支援装置20による運転支援処理が終了する。
(概括)
運転支援装置は、測距部および撮像部等の各種センサからの車両の周辺情報に基づいて、運転者による車両の入庫操作および出庫操作等の運転支援を行う。運転支援中、運転支援装置は、車両の周辺を監視し、障害物等を検出した場合には、視認性の高い色を付したマークをモニタ装置等に表示して運転者に注意喚起する。
上述の特許文献1の技術によれば、電車のホームにいる乗客を検知し、乗客の行動の危険レベルに応じて色分けした枠を各乗客に付し、ホーム内での危険行動の監視を行う。上述の特許文献2の技術によれば、路上を通常走行中の車両において、歩行者の歩行速度に基づき算出される衝突余裕時間が短い歩行者にマーカを付して運転者のヘッドアップディスプレイに表示する。
上述の特許文献3の技術によれば、高速道路上での火災、人の立ち入り等の警告内容に合わせた警告表示を行って、道路施設の監視を効率的に行う。上述の特許文献4の技術によれば、地面の陥没部等で作業するショベルカーの周辺監視を行うため、ショベルカーからの距離に応じて地物の色および輝度を変化させて、ショベルカー周辺における視認性を向上させる。
上述の特許文献5の技術によれば、路上を通常走行中の車両において、前方車両を囲む複数の円弧状の指標画像を回転させ、また、直線的なゲージ画像を伸縮させることにより、リスクポテンシャルの高低を運転者のヘッドアップディスプレイに表示する。
しかしながら、特許文献1,2のように、表示の色を異ならせるだけでは運転者に対して充分な注意喚起が行えない可能性がある。運転者が高齢である場合等には、色覚の老化により色の区別がつき難いことがあり、障害物の検出を知らせる表示が見落とされてしまうリスクがいっそう高まる。
また、運転者による入庫または出庫を支援する運転支援中に周辺監視を行う場合、特許文献2,5のように、通常走行時に運転者のヘッドアップディスプレイに表示させる場合と異なり、煩雑な運転操作を行いながら、運転者が、車両のインストルメントパネル等に配置されるモニタ装置の表示に注意を払うことが困難な場合がある。
このような状況下では、表示の色を異ならせたり、あるいは、特許文献5のようにマーク単体を回転させたりするのみでは、充分な注意喚起が行えない恐れがある。
実施形態の運転支援装置20によれば、表示制御部201は、障害物を指し示すポインタ51と、ポインタ51内に配置されて透過度が周期的に変化するよう動的に表示されるシグナル52と、ポインタ51の周囲に配置されてポインタ51の周囲を回転するよう動的に表示されるシグナル53と、を表示する。
このように、シグナル52,53は、透過度の周期的変化と、回転と、の動的にそれぞれ異なる態様で表示される。また、シグナル52,53は、それぞれポインタ51の内側と外側とに動的に表示される。
このため、高齢者ドライバ等のように、例えばシグナル52の透過度の変化を見落としやすい運転者であっても、他方のシグナル53の回転には気づき易い場合があるなど、シグナル52,53間で補完的に運転者の見落としを抑制することができる。
このような構成により、障害物に付されたマーク50Fの注意喚起力が格段に向上し、運転支援中であっても運転者に対する障害物への注意喚起をより確実に行うことができる。また、例えば障害物が静止している場合であっても、運転者に対する障害物への注意喚起をより確実に行うことができる。
実施形態の運転支援装置20によれば、表示制御部201は、マーク50Fを周辺画像31F中の障害物に重ねて表示する。これにより、車両10に対する障害物の位置が、周辺画像31Fにおいて把握しやすくなる。
実施形態の運転支援装置20によれば、表示制御部201は、マーク50Bを俯瞰画像31B中の障害物の接地位置に重ねて表示する。俯瞰画像31Bは複数の撮像画像の合成画像であり、俯瞰画像31Bにおいては、人物OBa,OBb等の立体的な障害物が高さ方向に引き伸ばされて表示される。上記構成により、このような俯瞰画像31Bにおいても、車両10に対する障害物の位置が把握しやすくなる。
実施形態の運転支援装置20によれば、マーク50Bはポインタ51と同色のポインタ54を含む。このように、同一の障害物に対して同色のマーク50F,50Bが用いられることで、周辺画像31Fと俯瞰画像31Bとに表示される障害物が同一のものか異なるものかを容易に把握することができる。
実施形態の運転支援装置20によれば、表示制御部201は、周辺画像31Fにおいて、車両10から最も近い障害物に対しては、マーク60Fを所定の色で表示するとともに、マーク60Fのシグナル62,63を動的に表示し、他の障害物に対しては、マーク50F・・・を上記のマーク60Fの色とは異なる色であって、障害物ごとに異なる色で表示するとともに、シグナル52・・・の透過度を変化させることなく静的に表示し、シグナル53・・・を回転させることなく静的に表示する。
これにより、車両10に最も近く、車両10の移動の妨げとなりやすい障害物に付すマーク60Fを他のマーク50Fに比べていっそう際立たせ、運転者の注意をいっそう喚起することができる。また、マーク60Fが動的に表示されることで、複数の障害物のうち、車両10に最も近い障害物を容易に判別することができる。
なお、上述の実施形態では、例えばマーク50F,60Fは同一のサイズを有し、マーク50B,60Bは同一のサイズを有することとした。しかし、複数の障害物に対して付されるマーク50F,60F・・・及びマーク50B,60B・・・が種々に異なるサイズを有していてもよい。この場合、車両10からの距離が近いマークほど大きく表示されるようにしてもよい。
また、上述の実施形態では、例えばマーク50F,60Fは同一の形状を有し、マーク50B,60Bは同一の形状を有することとした。しかし、複数の障害物に対して付されるマーク50F,60F・・・及びマーク50B,60B・・・が種々に異なる形状を有していてもよい。
この場合であっても、周辺画像31Fと俯瞰画像31Bとにおいて同一の障害物を指し示すマーク50F,50B同士、及びマーク60F,60B同士・・・等は、互いに類似の形状を有することが好ましい。これにより、周辺画像31Fと俯瞰画像31Bとに表示される同一の障害物同士の対応付けが容易となる。
また、上述の実施形態では、運転支援装置20は、車両10周辺に障害物を検出した場合、モニタ装置30上にマークを付して、運転者に対する注意喚起を行うこととした。しかし、運転支援装置20は、運転者への注意喚起とともに、検出した障害物との接触を回避するよう車両10を制御する機能を有していてもよい。
この場合、例えば運転支援装置20が、制動システム140を制御可能に構成され、制動システム140によって車両10に制動をかけることによって障害物との接触を回避してもよい。
また、上述の実施形態では、運転支援装置20は、車両10の運転操作を行う運転者に車両10の移動経路を示すなどして運転支援をすることとした。しかし、運転支援装置20が、運転者に代わって、運転操作の一部または全部を制御することにより運転支援を行う機能を有していてもよい。
この場合、例えば運転支援装置20が、操舵システム160を制御可能に構成され、操舵システム160によって車両10の移動方向を制御してもよい。あるいは、運転支援装置20が、操舵システム160に加えて制動システム140及び加速システム150等も制御可能に構成され、自動運転によって運転支援を行ってもよい。
ただし、上記のいずれの場合においても、運転支援装置20は、障害物を例えば目視確認したうえで運転者が必要と認めた場合には、障害物との接触回避のための車両10の運転操作を運転者自身が行うことが可能なように構成される。