JP6981433B2

JP6981433B2 - 運転支援装置

Info

Publication number: JP6981433B2
Application number: JP2019001927A
Authority: JP
Inventors: 真悟井村; ウチェルシン
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2019-01-09
Filing date: 2019-01-09
Publication date: 2021-12-15
Anticipated expiration: 2039-01-09
Also published as: JP2020112927A; WO2020145302A1; US20210331680A1

Description

本開示は、車両が交差点に進入する際に、運転者に対する運転支援を行う運転支援装置に関する。

従来、特許文献１に記載のように、車両が見通しの悪い交差点に進入することを検知すると、ディスプレイへの表示画像を、道路案内画像から、左右のブラインドコーナーカメラにて撮像された側方画像に切り替えるように構成された運転支援装置が知られている。

特開２００７−１４０９９２号公報

上記従来の運転支援装置では、車両が見通しの悪い交差点に進入するか否かを、フロントカメラにて撮像された車両前方の画像に基づき判断し、車両前方の走行路の左右に障害物や建物が存在する場合に、表示画像を側方画像に切り替える。

そして、フロントカメラは、車両の室内の中央に設けられたルームミラーのステイに取り付けられ、フロントガラスの中央上部から、車両の前方を左右所定の角度範囲で撮像するように構成されており、その視野角は狭角である。

このため、表示画像を側方画像に切り替えるか否かの判断は、車両が交差点からある程度離れていて、フロントカメラにより交差点付近を撮像可能な位置で行われることになる。
従って、車両が見通しの悪い交差点に進入すると判断され、ディスプレイへの表示画像を側方画像に切り替えた際には、車両が交差点からある程度離れていたり、走行路の左右に障害物等が存在していて、ブラインドコーナーカメラでは、走行路に交差する交差路を撮像できないことがある。

そして、このように表示画像が切り替えられると、表示装置には、障害物だけが映った側方画像が表示されることから、運転者に対する運転支援を良好に実施することができなくなってしまう、という問題がある。

また、ブラインドコーナーカメラは、車両前端部の左右に取り付けられ、前端部の左右に広がる領域を撮像するように構成されていることから、フロントカメラのように車両前方の走行路を撮像することはできない。

このため、上記従来の運転支援装置では、車両が見通しの悪い交差点に進入することを検知するために、交差路撮像用のブラインドコーナーカメラとは別に、表示画像切り替え判定用のフロントカメラを設けなければならない、という問題もある。

本開示の１つの局面は、表示画像切り替え判定用のカメラを別途設けることなく、車両が交差点に進入する際に交差路の画像を表示して、運転者に対する運転支援を適正に行うことのできる、車両の運転支援装置を提供することにある。

本開示の１つの態様による車両の運転支援装置は、車両の周辺画像を撮像するよう構成されたカメラ（１１）と、車両が現在走行中の道路と交差する交差路に接近したことを認識するよう構成された接近認識部（２２，２４，Ｓ１２０〜Ｓ１４０）とを備える。

そして、接近認識部にて交差路への接近が認識されると、路面認識部（２２，２４，Ｓ１６０）が、カメラにより撮像された周辺画像から路面を認識する。また、画像切替部（２２，２４，Ｓ１５０，Ｓ１７０，Ｓ１８０）が、路面認識部にて、交差路の路面が認識されたか否かを判断する。

また、画像切替部は、路面認識部にて交差路の路面が認識されたと判断すると、車両の走行案内を表示する表示装置の表示画像を、前記カメラにより撮像された交差路の画像に切り替える。

従って、本開示の運転支援装置によれば、車両が交差点に進入する手前で、カメラにより交差路の路面が撮像されたときに、表示装置の表示画像が、カメラにより撮像された交差路の画像に切り替えられることになる。

このため、交差点周囲に障害物等があって、カメラにより交差路の路面を撮像できないときに、表示画像が、カメラによる撮像画像に切り替えられることがなく、表示画像を、カメラにより交差路の路面を撮像し得る適正なタイミングで切り替えることができる。

よって、運転者は、その切り替えられた表示画像、つまり、交差路の撮像画像から、交差路の状況を把握し、車両を交差点内に安全に進入させることができるようになる。
また、本開示の運転支援装置によれば、運転支援のために切り替える表示画像に、路面認識に用いるカメラによる撮像画像を利用する。

このため、上述した従来装置のように、交差路撮像用のカメラとは別に、表示画像切り替え判定用のカメラを設ける必要がなく、装置構成を簡素化することができる。また、本開示の運転支援装置は、表示画像切り替え判定用のカメラを搭載していない車両にも適用することができ、運転支援装置の用途を拡大することもできる。

実施形態の運転支援装置の構成を表すブロック図である。車両の前方を撮像する前方カメラの車両への取付位置を表す説明図である。ＣＰＵにて実行される画像切替処理を表すフローチャートである。走行路の停止線、停止表示、停止標識の一例を表す説明図である。画像切替処理による表示画像の切替手順を説明する説明図である。

以下に、本開示の実施形態を図面と共に説明する。
［実施形態］
［構成］
図１に示すように、本実施形態の運転支援装置１は、図２に例示する車両２に搭載され、周辺カメラ１０にて撮像された画像をナビゲーション装置３０のディスプレイ３２に表示させて、運転者に対する運転支援を行うものであり、画像処理用のＥＣＵ２０を備える。

周辺カメラ１０は、例えば、車両２の前方、後方、左側方、右側方をそれぞれ撮像できるように、車両２の前・後・左・右にそれぞれ取り付けられた４つのカメラ１１、１２、１３、１４にて構成されている。

なお、各カメラ１１〜１４は、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等を用いて構成され得る。また、周辺カメラ１０の数は、必要に応じて、適宜変更できるが、本開示の主要部となる周辺カメラは、図２に示すように、車両２の先端中央部分に設けられて、車両２の前方を撮像する前方カメラ１１である。

そして、この前方カメラ１１には、車両２の前方を広範囲に撮像できるように、広角レンズを備えた広角カメラが利用される。また、表示装置としてのディスプレイ３２は、液晶ディスプレイやヘッドアップディスプレイ等にて構成される。

ＥＣＵ２０は、各カメラ１１〜１４にて撮像された撮像画像を処理する画像処理部２２、画像処理部２２を制御するＣＰＵ２４、及び、ＲＯＭ、ＲＡＭ等のメモリ２６、を備えた電子制御装置である。つまり、ＥＣＵ２０は、画像処理機能を有するマイクロコンピュータにて構成されている。

また、ＥＣＵ２０には、車速センサ３４や障害物センサ３６等、車両２の走行状態や車両２の周辺状態を検出する各種センサからの検出信号を取り込み、ＣＰＵ２４に入力する車両入力Ｉ／Ｆ２８も備えられている。なお、Ｉ／Ｆはインターフェイスを表す。

ＥＣＵ２０において、ＣＰＵ２４は、メモリ２６に記憶されたプログラムに従い所定の制御処理を実行することで、車両入力Ｉ／Ｆ２８から入力される検出信号や他の車載装置から得られる情報に基づき車両状態を把握する。

そして、ＣＰＵ２４は、把握した車両状態、若しくは、乗員からの指令に応じて、画像処理部２２に画像処理を実行させることで、車両２の前方画像、後方画像、車両周囲を上方から見た俯瞰画像など、運転支援用の画像を生成させる。

また、画像処理部２２は、ＣＰＵ２４からの指令に従い、運転支援用の画像を生成し、ナビゲーション装置３０に出力することで、ディスプレイ３２への表示画像を、道路案内画像から、運転支援用の画像に切り替える。なお、道路案内画像は、ナビゲーション装置３０にて地図データに基づき生成される走行案内用の画像である。
［交差点での画像切替処理］
このように、ＣＰＵ２４は、画像処理部２２に運転支援用の画像を生成させて、ディスプレイ３２の表示画像を運転支援用の画像に切り替える。そして、車両２が走行中に見通しの悪い交差点に進入する際には、現在走行中の走行路と交わる交差路の画像をディスプレイ３２に表示させることで、運転者が交差路の状況を把握し易くなるように、運転者に対する運転支援を行う。

以下、こうした交差点での運転支援のためにＣＰＵ２４において実行される画像切替処理について、図３に示すフローチャートに沿って説明する。
図３に示す画像切替処理は、車速センサ３４からの検出信号に基づき、車両２が走行していることが検出されているときに、ＣＰＵ２４において繰り返し実行される処理の１つである。

図３に示すように、画像切替処理においては、まずＳ１１０にて、前方カメラ１１による撮像を開始し、続くＳ１２０にて、画像処理部２２に対し、前方カメラ１１による撮像画像から停止表示を認識させる。

この停止表示としては、図４Ａに例示するように、走行路上に記載された停止線４１や、図４Ｂに例示するように、走行路上に記載された「とまれ」を表す表示４２を挙げることができる。また、停止表示には、図４Ｃに例示するように、走行路の路肩若しくは上方に設置された「とまれ」を表す標識４３も含まれる。そして、画像処理部２２は、撮像画像中にこれらの停止表示があるか否かを、パターン認識等で判定する。

次に、Ｓ１３０では、画像処理部２２による認識処理の結果、撮像画像の中から停止表示が検知されたか否かを判断し、停止表示が検知されていれば、Ｓ１４０に移行し、停止表示が検知されていなければ、当該画像切替処理を終了する。

Ｓ１４０では、停止表示が検知されてから、車両２が停止表示に対応した停止位置まで移動したか否かを判断する。
つまり、図５の左側欄に示すように、前方カメラ１１にて停止表示が撮像されて、停止表示が検知されたときには、車両２は、まだ停止位置に到達しておらず、停止位置から離れている。このため、Ｓ１４０では、その後車両２が移動して、図５の中央欄に示すように、車両２が停止表示に対応した停止位置に到達するのを待機する。

なお、図５では、車両２が走行路上の停止線に到達したときに、車両２が停止位置に到達したと判断した状態を表している。そして、Ｓ１４０では、例えば、前方カメラ１１にて停止表示が撮像されなくなったときに、車両２が停止位置に到達したと判断するようにしてもよい。また、Ｓ１４０では、停止表示を検知してから車両２が所定距離移動したときに、車両２が停止位置に到達したと判断するようにしてもよい。

Ｓ１４０にて、車両２が停止位置まで移動したと判断されると、Ｓ１５０に移行し、障害物センサ３６にて、車両２の左右に存在する障害物が検出されているか否かを判断する。つまり、Ｓ１５０では、車両２の停止位置の左右に、駐停車中の他の車両や建造物があるか否か、換言すれば、障害物により運転者が交差路を見難くなっているか否かを判断する。

そして、障害物センサ３６にて左右の障害物が検出されていなければ、車両２が進入しようとしている交差点は見通しがよいと判断して、当該画像切替処理を終了する。
一方、障害物センサ３６にて左右の障害物が検出されている場合には、車両２は見通しの悪い交差点に進入しようとしていると判断して、Ｓ１６０に移行する。

Ｓ１６０では、画像処理部２２に対し、前方カメラ１１による撮像画像を、例えば、セマンティック・セグメンテーション（Semantic Segmentation）により、路面領域と路面以外の非路面領域とに分類して、路面を認識させる、路面認識処理を実行する。

なお、この処理により、画像処理部２２は、本開示の路面認識部として機能し、図５に示すように、車両が停止位置に到達した後、前方カメラ１１にて撮像される撮像画像から、ハッチングで示す路面領域が認識されることになる。

セマンティック・セグメンテーションは、機械学習データ等を利用して、画像を構成する各ピクセルがどのクラスのオブジェクトに属しているのかをラベリングする技術であり、例えば、特許第６３０９６６３号公報に記載のように知られている。このため、本明細書では、セマンティック・セグメンテーションにて路面認識を行う手順については、説明を省略する。

次に、Ｓ１６０にて路面認識処理が実行されると、Ｓ１７０に移行して、画像処理部２２にて認識された路面に、走行路から左右方向に延びる交差路の路面が含まれているか否かを判断する。

なお、この判断は、例えば、認識された路面の幅が車両２の進行方向に対し広がっているときに、交差路の路面が含まれていると判断するようにすればよい。そして、画像処理部２２にて認識された路面に、交差路の路面が含まれていなければ、前方カメラ１１では障害物により交差路を撮像できていないので、Ｓ１６０に戻り、路面認識を継続する。

次に、図５の右側欄に示すように、車両２が停止位置から交差点方向に移動し、前方カメラ１１にて交差路を撮像できるようになると、Ｓ１７０にて、画像処理部２２にて認識された路面に交差路の路面が含まれていると判断されて、Ｓ１８０に移行する。

そして、Ｓ１８０では、画像処理部２２に対し、前方カメラ１１による撮像画像から左右の交差路の撮像画像を抽出して、その左右の交差路の撮像画像を含む運転支援用の画像を生成させ、その生成した運転支援用の画像をナビゲーション装置３０に出力させる。

この結果、図５に示すように、ディスプレイ３２への表示画像が、ナビゲーション装置３０にて地図データに基づき生成された道路案内画像から、左右の交差路の撮像画像を含む運転支援用の画像に切り替えられる。

なお、前方カメラ１１による撮像画像には左右の交差路が映っているので、Ｓ１８０では、画像処理部２２に対し、前方カメラ１１による撮像画像を、そのまま、運転支援用の画像として、ナビゲーション装置３０に出力させるようにしてもよい。

次に、Ｓ１８０にて、ディスプレイ３２への表示画像が、道路案内画像から、前方カメラ１１による交差路の撮像画像に切り替えられると、Ｓ１９０に移行して、車両２が交差点へ進入したか否かを判断することにより、車両２が交差点へ進入するのを待つ。

そして、Ｓ１９０にて、車両２が交差点へ進入したと判断されると、画像処理部２２を介して、ディスプレイ３２への表示画像を、前方カメラ１１による交差路の撮像画像から、道路案内画像に戻し、当該画像切替処理を終了する。
［効果］
以上説明したように、本実施形態の車両の運転支援装置１においては、車両２の走行中に、前方カメラ１１による撮像画像から車両進行方向前方の停止表示を検知すると、車両２が停止位置まで移動するのを待って、撮像画像を利用した路面認識を行う。

そして、その路面認識により、交差点で走行路と交差する交差路の路面が認識されると、ディスプレイ３２への表示画像を、ナビゲーション装置３０にて生成された道路案内画像から、前方カメラ１１により撮像された交差路の画像に切り替える。

このため、本実施形態の運転支援装置１によれば、車両２が交差点に進入する手前で、前方カメラ１１により交差路の路面が撮像されたときに、ディスプレイ３２への表示画像が、交差路の画像に切り替えられることになる。

従って、前方カメラ１１により交差路の路面を撮像できないときに、ディスプレイ３２への表示画像が、前方カメラ１１による撮像画像に切り替えられるのを抑制できる。つまり、本実施形態の運転支援装置１によれば、前方カメラ１１により交差路の路面を撮像し得る適正なタイミングで表示画像を切り替えることができる。

よって、運転者は、その切り替えられた表示画像、つまり、交差路の撮像画像から、交差路の状況を把握し、車両を交差点内に安全に進入させることができるようになる。
また、本実施形態の運転支援装置１においては、前方カメラ１１による撮像画像を利用して、表示画像の切り替え判定を行い、画像切り替えに伴い表示する交差路の画像を生成する。

このため、従来装置のように、表示画像切り替え判定用のカメラを別途設ける必要がなく、装置構成を簡素化できる。また、本実施形態の運転支援装置１は、表示画像切り替え判定用のカメラを搭載していない車両に適用できることから、運転支援装置の用途を拡大することもできる。

また、本実施形態では、車両が停止位置まで移動した際、障害物センサ３６にて左右の障害物が検出されていないとき、つまり、車両が見通しのよい交差点に進入するときには、交差路の撮像画像を表示しないようにされている。

このため、車両が見通しのよい交差点に進入する際、ディスプレイ３２への表示画像が道路案内画像から、前方カメラ１１にて撮像された左右の交差路の画像に切り替えられることはなく、表示画像が不必要に切り替えられるのを抑制することができる。

なお、本実施形態において、ＥＣＵ２０は、本開示の接近認識部、路面認識部、画像切替部に相当する。より詳しくは、ＣＰＵ２４にて実行されるＳ１２０〜Ｓ１４０の処理は、画像処理部２２と共に本開示の接近認識部として機能し、ＣＰＵ２４にて実行されるＳ１６０の処理は、画像処理部２２と共に本開示の路面認識部として機能する。また、ＣＰＵ２４にて実行されるＳ１５０、Ｓ１７０及びＳ１８０の処理は、画像処理部２２と共に本開示の画像切替部として機能する。
［他の実施形態］
以上、本開示の実施形態について説明したが、本開示は上述の実施形態に限定されることなく、種々変形して実施することができる。

例えば、上記実施形態では、画像切替処理において、Ｓ１３０にて前方カメラ１１による撮像画像から停止表示を検知したと判定すると、Ｓ１４０にて、車両２が停止位置まで移動するのを待って、Ｓ１６０の路面認識処理を実行するものとして説明した。

これに対し、Ｓ１３０にて前方カメラ１１による撮像画像から停止表示を検知したと判定すると、Ｓ１４０の判定処理を実施することなく、Ｓ１６０の路面認識処理を開始するようにしてもよい。

また、上記実施形態では、前方カメラ１１によって交差路の路面が撮像されているか否かを判断するために、セマンティック・セグメンテーションによる路面認識を行うものとして説明した。

これに対し、Ｓ１２０での停止表示の認識にも、セマンティック・セグメンテーションを利用するようにしてもよい。つまり、セマンティック・セグメンテーションでは、撮像画像を、停止表示を含む各種領域に分類することができることから、Ｓ１２０において、セマンティック・セグメンテーションにて停止線等の停止表示や路面を同時に認識するようにしてもよい。

一方、セマンティック・セグメンテーションによる路面認識は、周囲が暗くなる夜間や雨が降っていて天候が悪いときには、精度よく実施することができず、交差路の路面が撮像されているか否かを正常に判断できないことがある。

このため、夜間や天候が悪いときには、路面認識を行うことなく、ディスプレイ３２への表示画像を、道路案内画像から前方カメラ１１にて撮像された左右の交差路の画像に切り替えるようにしてもよい。

つまり、夜間や天候が悪いときには、Ｓ１３０にて停止表示を検知したと判定したとき、或いは、Ｓ１４０にて車両２が停止位置まで移動したと判断したときに、ディスプレイ３２への表示画像を、交差路の画像に切り替えるようにしてもよい。

次に、上記実施形態では、Ｓ１３０にて停止表示を検知したか否かを判断する際には、画像処理部２２による停止表示の認識結果を利用するものとして説明した。しかし、運転支援のために交差路の画像表示を行う交差点は、ナビゲーション装置３０の地図データ等から特定できる。

このため、接近認識部としてのＳ１２０〜Ｓ１４０の処理においては、交差点への接近を、地図データと車両の現在位置とに基づき検知するようにしてもよい。このようにしても、車両２が交差点に進入する際に、交差路の画像をディスプレイ３２に表示させて、運転者に対する運転支援を行うことができる。

また次に、上記実施形態では、ディスプレイ３２の表示画像を交差路の画像に切り替える際には、ディスプレイ３２には、ナビゲーション装置３０にて地図データに基づき生成された道路案内画像が表示されているものとして説明した。

しかし、ディスプレイ３２には、道路案内画像ではなく、例えば、エアコンの作動状態等の車両状態を表す情報提供画像や、テレビ・ビデオ出力や音楽再生画面等のオーディオ画像が表示されることもある。

そして、このように、道路案内画像とは異なる画像がディスプレイ３２に表示されている場合であっても、車両２が交差点に進入する際には、上述した画像切替処理によって、ディスプレイ３２の表示画像を交差路の画像に切り替えるようにしてもよい。

また、上記実施形態では、本開示の接近認識部、路面認識部、及び、画像切替部としての機能は、ＣＰＵ２４が、画像切替処理としてのプログラムを実行することで、実現されるものとして説明した。

しかし、これら各部の機能は、ソフトウェアに限るものではなく、その一部又は全部の要素を、論理回路やアナログ回路等を組み合わせたハードウェアを用いて実現するようにしてもよい。

また、上記実施形態における１つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、１つの構成要素が有する１つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、１つの構成要素によって実現したり、複数の構成要素によって実現される１つの機能を、１つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。

また、本開示は、車両の運転支援装置の他、コンピュータを運転支援装置として機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実態的記録媒体、運転支援方法など、種々の形態で本開示を実現することもできる。

１…運転支援装置、２…車両、１１…前方カメラ、２０…ＥＣＵ、２２…画像処理部、２４…ＣＰＵ、３２…ディスプレイ、３６…障害物センサ。

Claims

車両の周辺画像を撮像するよう構成されたカメラ（１１）と、
車両が現在走行中の道路と交差する交差路に接近したことを認識するよう構成された接近認識部（２２，２４，Ｓ１２０〜Ｓ１４０）と、
前記カメラにより撮像された前記周辺画像から路面を認識するよう構成された路面認識部（２２，２４，Ｓ１６０）と、
前記接近認識部にて前記交差路への接近が認識されると、前記路面認識部にて前記交差路の路面が認識されたか否かを判断し、前記路面認識部にて前記交差路の路面が認識されると、車両の走行案内を表示する表示装置の表示画像を、前記カメラにより撮像された前記交差路の画像に切り替えるよう構成された画像切替部（２２，２４，Ｓ１５０，Ｓ１７０，Ｓ１８０）と、
を備えた、車両の運転支援装置。
請求項１に記載の車両の運転支援装置であって、
前記接近認識部は、前記カメラによる撮像画像に基づき、前記車両が前記交差路に接近したことを認識するよう構成されている、車両の運転支援装置。
請求項１又は請求項２に記載の車両の運転支援装置であって、
車両の左右に存在する障害物を検出するよう構成された障害物センサ（３６）を備え、
前記画像切替部は、前記障害物センサにて前記障害物が検出されているときに、前記表示画像を、前記カメラにより撮像された前記交差路の画像に切り替えるよう構成されている、車両の運転支援装置。