JP6832164B2 - 運転補助装置及び運転補助方法 - Google Patents

Description

本発明は、運転者の運転操作を補助する運転補助装置及び運転補助方法に関する。

特許文献１では、交差点が存在しても、より効果的に白線を検出することができる白線検出装置を提供することを課題としている。

当該課題を解決するため、特許文献１に係る白線検出装置は、車両の前方の路面を撮像する撮像手段と、撮像された画像に基づいて交差点を検出する検出手段と、路面の白線を検出する白線検出を行う白線検出手段と、交差点が存在する場合に白線検出の直線近似領域探索に用いられる複数の閾値のうち少なくともいずれかの設定を行う設定手段とを含む。

特開２０１４−１４９６３６号公報

特許文献１では、白線のエッジが検出されて、交差点として認識した場合に、交差点手前側の白線のエッジから遠方に近似直線を延ばし、閾値の感度を低下させて、近似直線上の遠方の白線領域（白線のエッジ）を探索するようにしている。

しかしながら、閾値の感度を低下させて白線のエッジを探索することから、道路上の別の物体や汚れ等を、交差点の遠方の白線のエッジとして検出したり、手前側の右側の白線エッジと、奥側の左側の白線エッジとを近似直線で接続するおそれがある。交差点等では、そもそも抽出されるレーンマーク候補の長さが短く、手前側のレーンマーク候補を正しく認識することも困難である。

本発明は上述した問題を解決するためになされたものであり、検知した手前側レーンマーク候補と奥側のレーンマーク候補との間を補間することで、例えば交差点に仮想のレーンマークを精度良く設定することができ、自車移動経路の計画に応じた好適な自動運転を可能とする運転補助装置及び運転補助方法を提供することを目的とする。

［１］ 第１の本発明に係る運転補助装置は、運転者の運転操作を補助する運転補助装置であって、道路上に存在するレーンマークを検知するレーンマーク検知部と、画像上で所定距離以上の間隔を置いて奥側と手前側でそれぞれレーンマーク候補が存在する特定シーンを検知した場合、前記奥側のレーンマーク候補と手前側のレーンマーク候補との間を補間処理する補間処理部とを有することを特徴とする。

従来は、手前側の白線を検知し、その後、近似直線上に奥側の白線が検知された場合にレーンマークとして認識することから、道路上の別の物体や汚れ等を、交差点の遠方の白線のエッジとして検出したり、手前側の右側の白線エッジと、奥側の左側の白線エッジとを近似直線で接続するおそれがある。交差点等では、そもそも抽出されるレーンマーク候補の長さが短く、手前側のレーンマークを正しく認識することも困難である。

しかし、第１の本発明では、画像上で所定距離以上の間隔を置いて奥側と手前側でそれぞれレーンマーク候補が存在する特定シーンを検知した場合、前記奥側のレーンマーク候補と手前側のレーンマーク候補との間を補間処理することから、仮想のレーンマークを精度良く設定することができる。つまり、ＥＣＵ等に仮想のレーンマークを精度良く、且つ、小さな負荷で認識させることができ、自車移動経路の計画に応じた好適な自動運転を可能とする。

［２］ 第１の本発明において、前記補間処理部は、前記奥側のレーンマーク候補と手前側のレーンマーク候補とが前記手前側のレーンマーク候補と直交する方向の距離にて所定範囲内である場合に、前記奥側のレーンマーク候補と手前側のレーンマーク候補の間を補間処理してもよい。

これにより、実際にレーンマークのない、例えば交差点において、仮想の一対のレーンマークを精度良く設定することができ、ＥＣＵ等に仮想のレーンマークを精度良く、且つ、小さな負荷で認識させることができ、自車移動経路の計画に応じた好適な自動運転を可能とする。

［３］ 第１の本発明において、前記補間処理とは、前記奥側のレーンマーク候補と前記手前側のレーンマーク候補の間に仮想的なレーンマークを設定し、前記奥側のレーンマーク候補と前記手前側のレーンマーク候補を連結することである。

［４］ 第１の本発明において、前記補間処理部は、前記奥側のレーンマーク候補が存在する領域と前記手前側のレーンマーク候補が存在する領域との間の領域を除外して、奥側の領域と手前の領域とを連結してもよい。

これにより、奥側のレーンマーク候補と手前側のレーンマーク候補とを連結することが可能となるため、センサ等にぶれが生じても、確実に、奥側のレーンマーク候補と手前側のレーンマーク候補との間を補間処理することができる。

たとえ、奥側のレーンマーク候補と手前側のレーンマーク候補とが連結しない場合でも、奥側のレーンマーク候補と手前側のレーンマーク候補との離間距離が短くなることから、センサ等にぶれが生じても、確実に、奥側のレーンマーク候補と手前側のレーンマーク候補との間に仮想のレーンマークを設定することができる。

［５］ さらに、前記補間処理部は、道路に沿って３以上の複数の領域を設定し、前記間の領域にレーンマークの候補が検出されない場合に、前記補間処理を行ってもよい。

奥側と手前側でそれぞれレーンマークが存在するシーンとしては、交差点のほか、破線のレーンマークが引かれている車線等がある。破線のレーンマークが引かれた車線は、画像上において破線として描画されるため、ＥＣＵ等はレーンマークとして認識することができる。

一方、交差点等においては、実線のレーンマークや破線のレーンマークが引かれていないため、ＥＣＵ等は走行レーンを認識することができない。そこで、３以上の領域のうち、間の領域にレーンマークの候補が検出されない場合、すなわち、破線のレーンマーク等が検出されない場合に補間処理を行うことで、補間処理したレーンマークをそれぞれ仮想的に延長させて長いレーンマークとすることで、仮想のレーンマークとして認識させることができる。

すなわち、補間処理を実施しなくてもよい場面で、補間処理を実施するという無駄を省くことができ、ＥＣＵ等による認識負荷を抑えることができ、タイムラグの無い認識を行うことができる。

［６］ 第１の本発明において、前記特定シーンは交差点であってもよい。交差点においては、実線のレーンマークや破線のレーンマークが引かれていないため、ＥＣＵ等は走行レーンを認識することができない。そこで、上述の補間処理を行うことで、交差点において、仮想のレーンマークとして認識させることができる。

［７］ 第２の本発明に係る運転補助方法は、運転者の運転操作を補助する運転補助方法であって、画像上で所定距離以上の間隔を置いて奥側と手前側でそれぞれレーンマークが存在する特定シーンを検知するステップと、前記特定シーンの検知に基づいて、前記奥側のレーンマーク候補と手前側のレーンマーク候補との間を補間処理するステップとを有することを特徴とする。

本発明に係る運転補助装置及び運転補助方法によれば、例えば交差点等に仮想のレーンマークを精度良く設定することができ、自車移動経路の計画に応じた好適な自動運転を可能とすることができる。

本実施の形態に係る運転補助装置としての走行電子制御装置を含む車両の構成を示すブロック図である。 自動運転制御の全体的な流れを示すフローチャートである。 第１周辺監視部の構成、主に交差点等の認識や交差点等への仮想のレーンマークの補間に関する周辺監視制御に関する機能ブロック図である。 図４Ａはカメラ画像中の特定シーンの画像の一例を示す説明図であり、図４Ｂは特定シーンを鳥瞰図（ＢＥＶ：バードアイビュー）の画像（以下、ＢＥＶ画像と記す）に変換した一例を示す説明図である。 図５Ａは奥側の第１レーンマーク候補と手前側の第３レーンマーク候補とにおける手前側の第３レーンマーク候補と直交する方向の距離を示す説明図であり、図５Ｂは奥側の第２レーンマーク候補と手前側の第４レーンマーク候補とにおける手前側の第４レーンマーク候補と直交する方向の距離を示す説明図である。 図６Ａは第１レーンマーク候補と第３レーンマーク候補とを補間するように仮想の左側レーンマークを設定し、第２レーンマーク候補と第４レーンマーク候補とを補間するように仮想の右側レーンマークを設定した例を示す説明図であり、図６Ｂは交差点内に自車の進行方向に沿って延長する２本のレーンマークが描画された画像の一例を示す説明図である。 第１補間処理部の第１処理動作を示すフローチャートである。 第１補間処理部の第２処理動作を示すフローチャートである。 第２周辺監視部の構成、主に交差点等の認識や交差点等への仮想のレーンマークの補間に関する周辺監視制御に関する機能ブロック図である。 図１０Ａは特定シーンのＢＥＶ画像を４つの領域に分離した状態を示す説明図であり、図１０Ｂは奥側の領域と手前側の領域を連結した状態を示す説明図である。 図１１Ａは第１レーンマーク候補と第３レーンマーク候補とが連結されておらず、第２レーンマーク候補と第４レーンマーク候補とが連結されていない状態を示す説明図であり、図１１Ｂは第１レーンマーク候補と第３レーンマーク候補とを補間するように仮想の左側レーンマークを設定し、第２レーンマーク候補と第４レーンマーク候補とを補間するように仮想の右側レーンマークを設定した例を示す説明図である。 第２補間処理部の処理動作を示すフローチャートである。

以下、本発明に係る運転補助装置及び運転補助方法の実施の形態例を図１〜図１２を参照しながら説明する。

図１は、本発明の一実施の形態に係る運転補助装置としての走行電子制御装置３６（以下「走行ＥＣＵ３６」という。）を含む車両１０の構成を示すブロック図である。

車両１０（以下「自車１０」ともいう。）は、走行ＥＣＵ３６に加え、車両周辺センサ群２０と、車体挙動センサ群２２と、運転操作センサ群２４と、通信装置２６と、ヒューマン・マシン・インタフェース２８（以下「ＨＭＩ２８」という。）と、駆動力制御システム３０と、制動力制御システム３２と、電動パワーステアリングシステム３４（以下「ＥＰＳシステム３４」という。）とを有する。

車両周辺センサ群２０は、車両１０の周辺に関する情報（以下「車両周辺情報Ｉｃ」ともいう。）を検出する。車両周辺センサ群２０には、複数の車外カメラ５０と、複数のレーダ５２と、ＬＩＤＡＲ５４（Light Detection And Ranging）と、グローバル・ポジショニング・システム・センサ５６（以下「ＧＰＳセンサ５６」という。）とが含まれる。複数の車外カメラ５０からの各々の撮像画像（以下、カメラ画像２０６と記す）は、それぞれ対応する画像メモリに描画される。もちろん、レーンマークを認識するに当たっては、単一のカメラでもよい。

複数の車外カメラ５０は、車両１０の周辺（前方、側方及び後方）を撮像した画像情報Ｉｉｍａｇｅを出力する。複数のレーダ５２は、車両１０の周辺（前方、側方及び後方）に送信した電磁波に対する反射波を示すレーダ情報Ｉｒａｄｅｒを出力する。ＬＩＤＡＲ５４は、車両１０の全方位にレーザーを連続的に発射し、その反射波に基づいて反射点の三次元位置を測定して三次元情報Ｉｌｉｄａｒとして出力する。ＧＰＳセンサ５６は、車両１０の現在位置Ｐｃｕｒを検出する。車外カメラ５０、レーダ５２、ＬＩＤＡＲ５４及びＧＰＳセンサ５６は、車両周辺情報Ｉｃを認識する周辺認識装置である。

車体挙動センサ群２２は、車両１０（特に車体）の挙動に関する情報（以下「車体挙動情報Ｉｂ」ともいう。）を検出する。車体挙動センサ群２２には、車速センサ６０と、横加速度センサ６２と、ヨーレートセンサ６４とが含まれる。

車速センサ６０は、車両１０の車速Ｖ［ｋｍ／ｈ］を検出する。横加速度センサ６２は、車両１０の横加速度Ｇｌａｔ［ｍ／ｓ／ｓ］を検出する。ヨーレートセンサ６４は、車両１０のヨーレートＹｒ［ｒａｄ／ｓ］を検出する。

運転操作センサ群２４は、運転者による運転操作に関する情報（以下「運転操作情報Ｉｏ」ともいう。）を検出する。運転操作センサ群２４には、アクセルペダルセンサ８０と、ブレーキペダルセンサ８２と、舵角センサ８４と、操舵トルクセンサ８６とが含まれる。

アクセルペダルセンサ８０（以下「ＡＰセンサ８０」ともいう。）は、アクセルペダル９０の操作量θａｐ（以下「ＡＰ操作量θａｐ」ともいう。）［％］を検出する。ブレーキペダルセンサ８２（以下「ＢＰセンサ８２」ともいう。）は、ブレーキペダル９２の操作量θｂｐ（以下「ＢＰ操作量θｂｐ」ともいう。）［％］を検出する。舵角センサ８４は、ステアリングハンドル９４の舵角θｓｔ（以下「操作量θｓｔ」ともいう。）［ｄｅｇ］を検出する。操舵トルクセンサ８６は、ステアリングハンドル９４に加えられた操舵トルクＴｓｔ［Ｎ・ｍ］を検出する。

通信装置２６は、外部機器との無線通信を行う。ここでの外部機器には、例えば、図示しない交通情報サーバが含まれる。交通情報サーバは、渋滞情報、事故情報、工事情報等の交通情報を各車両１０に対して提供する。あるいは、外部機器には、図示しない経路案内サーバが含まれてもよい。経路案内サーバは、通信装置２６から受信した車両１０の現在位置Ｐｃｕｒ及び目標地点Ｐｇｏａｌに基づいて、目標地点Ｐｇｏａｌまでの予定経路Ｒｖを走行ＥＣＵ３６に代わって生成又は算出する。

なお、本実施の形態の通信装置２６は、車両１０に搭載（又は常時固定）されているものを想定しているが、例えば、携帯電話機又はスマートフォンのように車両１０の外部へ持ち運び可能なものであってもよい。

ＨＭＩ２８は、乗員からの操作入力を受け付けると共に、乗員に対して各種情報の提示を、視覚的、聴覚的及び触覚的に行う。ＨＭＩ２８には、自動運転スイッチ１１０（以下「自動運転ＳＷ１１０」ともいう。）と、表示部１１２とが含まれる。自動運転ＳＷ１１０は、乗員の操作により自動運転制御の開始及び終了を指令するためのスイッチである。自動運転ＳＷ１１０に加えて又はこれに代えて、その他の方法（図示しないマイクロホンを介しての音声入力等）により自動運転制御の開始又は終了を指令することも可能である。表示部１１２は、例えば、液晶パネル又は有機ＥＬパネルを含む。表示部１１２は、タッチパネルとして構成されてもよい。

駆動力制御システム３０は、エンジン１２０（駆動源）及び駆動電子制御装置１２２（以下「駆動ＥＣＵ１２２」という。）を有する。上述のＡＰセンサ８０及びアクセルペダル９０を駆動力制御システム３０の一部として位置付けてもよい。駆動ＥＣＵ１２２は、ＡＰ操作量θａｐ等を用いて車両１０の駆動力制御を実行する。駆動力制御に際し、駆動ＥＣＵ１２２は、エンジン１２０の制御を介して車両１０の走行駆動力Ｆｄを制御する。

制動力制御システム３２は、ブレーキ機構１３０及び制動電子制御装置１３２（以下「制動ＥＣＵ１３２」という。）を有する。上述のＢＰセンサ８２及びブレーキペダル９２を制動力制御システム３２の一部として位置付けてもよい。ブレーキ機構１３０は、ブレーキモータ（又は油圧機構）等によりブレーキ部材を作動させる。

制動ＥＣＵ１３２は、ＢＰ操作量θｂｐ等を用いて車両１０の制動力制御を実行する。制動力制御に際し、制動ＥＣＵ１３２は、ブレーキ機構１３０等の制御を介して車両１０の制動力Ｆｂを制御する。

ＥＰＳシステム３４は、ＥＰＳモータ１４０と、ＥＰＳ電子制御装置１４２（以下「ＥＰＳ−ＥＣＵ１４２」という。）とを有する。上述の舵角センサ８４、操舵トルクセンサ８６及びステアリングハンドル９４をＥＰＳシステム３４の一部として位置付けてもよい。

ＥＰＳ−ＥＣＵ１４２は、走行ＥＣＵ３６からの指令に応じてＥＰＳモータ１４０を制御して、車両１０の旋回量Ｒを制御する。旋回量Ｒには、舵角θｓｔ、横加速度Ｇｌａｔ及びヨーレートＹｒが含まれる。

走行ＥＣＵ３６は、運転者による運転操作を要さずに目標地点Ｐｇｏａｌまで車両１０を運転する自動運転制御を実行するものであり、例えば、中央処理装置（ＣＰＵ）を含む。ＥＣＵ３６は、入出力部１５０、演算部１５２及び記憶部１５４を有する。

なお、走行ＥＣＵ３６の機能の一部を車両１０の外部に存在する外部機器に担わせることも可能である。例えば、車両１０自体では、後述する行動計画部１７２及び／又は地図データベース１９０を有さず、上記経路案内サーバから予定経路Ｒｖ及び／又は地図情報Ｉｍａｐを取得する構成も可能である。

入出力部１５０は、ＥＣＵ３６以外の機器（センサ群２０、２２、２４、通信装置２６等）との入出力を行う。入出力部１５０は、入力されたアナログ信号をデジタル信号に変換する図示しないＡ／Ｄ変換回路を備える。

演算部１５２は、各センサ群２０、２２、２４、通信装置２６、ＨＭＩ２８及び各ＥＣＵ１２２、１３２、１４２等からの信号に基づいて演算を行う。そして、演算部１５２は、演算結果に基づき、通信装置２６、駆動ＥＣＵ１２２、制動ＥＣＵ１３２及びＥＰＳ−ＥＣＵ１４２に対する信号を生成する。

図１に示すように、走行ＥＣＵ３６の演算部１５２は、周辺認識部１７０と、行動計画部１７２と、走行制御部１７４とを有する。これらの各部は、記憶部１５４に記憶されているプログラムを実行することにより実現される。前記プログラムは、通信装置２６を介して外部機器から供給されてもよい。前記プログラムの一部をハードウェア（回路部品）で構成することもできる。

周辺認識部１７０は、車両周辺センサ群２０からの車両周辺情報Ｉｃに基づいて、道路の境界（レーンマークやガードレール、斜面等）及び周辺障害物（他車、静止物体等）を認識する。例えば、道路の境界は、画像情報Ｉｉｍａｇｅに基づいて認識する。周辺認識部１７０は、認識した道路の境界に基づいて車両１０の走行レーンを認識する。

また、周辺障害物は、画像情報Ｉｉｍａｇｅ、レーダ情報Ｉｒａｄｅｒ及び三次元情報Ｉｌｉｄａｒを用いて認識する。周辺障害物には、他車（他車等）等の移動物体と、建物、標識（例えば信号機）等の静止物体とが含まれる。周辺障害物が信号機である場合、周辺認識部１７０は、信号機の色を判定する。

行動計画部１７２は、ＨＭＩ２８を介して入力された目標地点Ｐｇｏａｌまでの自車１０の予定経路Ｒｖを算出し、予定経路Ｒｖに沿った経路案内を行う。

走行制御部１７４は、車体挙動を制御する各アクチュエータの出力を制御する。ここにいうアクチュエータには、エンジン１２０、ブレーキ機構１３０及びＥＰＳモータ１４０が含まれる。走行制御部１７４は、アクチュエータの出力を制御することで、車両１０（特に車体）の挙動量（以下「車体挙動量Ｑｂ」という。）を制御することとなる。

ここにいう車体挙動量Ｑｂには、車速Ｖ、前後加速度α［ｍ／ｓ／ｓ］、前後減速度β［ｍ／ｓ／ｓ］、舵角θｓｔ、横加速度Ｇｌａｔ及びヨーレートＹｒが含まれる。加速度α及び減速度βは、車速Ｖの時間微分値として算出可能である。

走行制御部１７４は、駆動力制御部１８０と、制動力制御部１８２と、旋回制御部１８４とを有する。駆動力制御部１８０は、主としてエンジン１２０の出力を制御することにより、車両１０の走行駆動力Ｆｄ（又は加速度α）を制御する。制動力制御部１８２は、主としてブレーキ機構１３０の出力を制御することにより、車両１０の制動力Ｆｂ（又は減速度β）を制御する。旋回制御部１８４は、主として、ＥＰＳモータ１４０の出力を制御することにより、車両１０の旋回量Ｒ（又は舵角θｓｔ、横加速度Ｇｌａｔ及びヨーレートＹｒ）を制御する。

記憶部１５４は、演算部１５２が利用するプログラム及びデータ（地図データベース１９０を含む。）を記憶する。地図データベース１９０（以下「地図ＤＢ１９０」という。）には、道路地図の情報（地図情報Ｉｍａｐ）が記憶される。地図情報Ｉｍａｐには、道路の形状等に関する道路情報Ｉｒｏａｄが含まれる。

記憶部１５４は、例えば、ランダム・アクセス・メモリ（以下「ＲＡＭ」という。）を備える。ＲＡＭとしては、レジスタ等の揮発性メモリと、フラッシュメモリ等の不揮発性メモリとを用いることができる。また、記憶部１５４は、ＲＡＭに加え、リード・オンリー・メモリ（以下「ＲＯＭ」という。）を有してもよい。

上記のように、本実施の形態の走行ＥＣＵ３６は、自動運転制御を実行する。自動運転制御では、運転者による運転操作を要さずに目標地点Ｐｇｏａｌまで車両１０を運転する。但し、自動運転制御では、運転者がアクセルペダル９０、ブレーキペダル９２又はステアリングハンドル９４を操作した場合、当該操作を運転に反映してもよい。本実施の形態の自動運転制御では、自動駆動力制御と、自動制動力制御と、自動旋回制御を組み合わせて用いる。

自動駆動力制御は、車両１０の走行駆動力Ｆｄを自動的に制御する。自動制動力制御は、車両１０の走行駆動力Ｆｄを自動的に制御する。自動旋回制御は、車両１０の旋回を自動的に制御する。ここにいう車両１０の旋回は、カーブ路を走行する場合のみならず、車両１０の右左折、走行レーンの変更、別レーンへの合流及び走行レーンの維持を含む。なお、走行レーンを維持するための旋回とは、車幅方向において車両１０を基準位置（例えば車幅方向の中央）に維持するために旋回（又は操舵）することを意味する。

自動駆動力制御は、走行駆動力Ｆｄを制御して車両１０を走行させる。この際、ＥＣＵ３６は、走行駆動力Ｆｄの目標値（例えば、目標エンジントルク）を設定し、この目標値に応じてアクチュエータ（エンジン１２０）を制御する。また、ＥＣＵ３６は、車両１０の前後加速度αの上限値αｍａｘ（以下「加速度上限値αｍａｘ」ともいう。）を設定し、前後加速度αが加速度上限値αｍａｘを超えないように走行駆動力Ｆｄを制御する。

自動制動力制御は、車両１０の制動力Ｆｂを制御して車両１０を減速させる。この際、ＥＣＵ３６は、制動力Ｆｂの目標値（例えば、目標前後減速度βｔａｒ）を設定し、この目標値に応じてアクチュエータ（ブレーキ機構１３０）を制御する。また、ＥＣＵ３６は、車両１０の減速度βの上限値βｍａｘ（以下「減速度上限値βｍａｘ」ともいう。）を設定し、減速度βが減速度上限値βｍａｘを超えないように（急激に減速し過ぎないように）制動力Ｆｂを制御する。

自動旋回制御は、車両１０の旋回量Ｒを制御して車両１０を旋回させる。この際、ＥＣＵ３６は、旋回量Ｒの目標値（例えば、目標舵角θｓｔｔａｒ又は目標横加速度Ｇｌａｔｔａｒ）を設定し、この目標値に応じてアクチュエータ（ＥＰＳモータ１４０）を制御する。また、ＥＣＵ３６は、車両１０の旋回量Ｒの上限値Ｒｍａｘ（以下「旋回量上限値Ｒｍａｘ」ともいう。）を設定し、旋回量Ｒが旋回量上限値Ｒｍａｘを超えないように旋回量Ｒを制御する。旋回量上限値Ｒｍａｘは、例えば、舵角θｓｔの上限値θｓｔｍａｘ又は横加速度Ｇｌａｔの上限値Ｇｌａｔｍａｘの形で用いられる。

ここで、本実施の形態の自動運転制御の全体的な流れを、図２のフローチャートを参照しながら説明する。

先ず、ステップＳ１１において、走行ＥＣＵ３６は、自動運転を開始するか否かを判定する。例えば、ＥＣＵ３６は、自動運転スイッチ１１０（図１）がオフからオンに切り替えられたか否かを判定する。自動運転を開始する場合（ステップＳ１１：ＹＥＳ）、ステップＳ１２に進む。自動運転を開始しない場合（ステップＳ１１：ＮＯ）、今回の処理を終え、所定時間の経過後にステップＳ１１に戻る。

ステップＳ１２において、ＥＣＵ３６は、目標地点Ｐｇｏａｌを設定する。具体的には、ＨＭＩ２８を介してユーザ（運転者等）から目標地点Ｐｇｏａｌの入力を受け付ける。ステップＳ１３において、ＥＣＵ３６は、現在位置Ｐｃｕｒから目標地点Ｐｇｏａｌまでの予定経路Ｒｖを算出する。なお、後述するステップＳ２１の後にステップＳ１３を行う場合、ＥＣＵ３６は、予定経路Ｒｖを更新する。

ステップＳ１４において、ＥＣＵ３６は、各センサ群２０、２２、２４から車両周辺情報Ｉｃ、車体挙動情報Ｉｂ及び運転操作情報Ｉｏを取得する。上記のように、車両周辺情報Ｉｃには車外カメラ５０からの画像情報Ｉｉｍａｇｅ、レーダ５２からのレーダ情報Ｉｒａｄｅｒ、ＬＩＤＡＲ５４からの三次元情報Ｉｌｉｄａｒ、及びＧＰＳセンサ５６からの現在位置Ｐｃｕｒが含まれる。車体挙動情報Ｉｂには、車速センサ６０からの車速Ｖ、横加速度センサ６２からの横加速度Ｇｌａｔ及びヨーレートセンサ６４からのヨーレートＹｒが含まれる。運転操作情報Ｉｏには、ＡＰセンサ８０からのＡＰ操作量θａｐ、ＢＰセンサ８２からのＢＰ操作量θｂｐ、舵角センサ８４からの舵角θｓｔ及び操舵トルクセンサ８６からの操舵トルクＴｓｔが含まれる。

ステップＳ１５において、ＥＣＵ３６は、各アクチュエータの出力上限値Ｐｍａｘを算出する。ここにいうアクチュエータには、エンジン１２０、ブレーキ機構１３０及びＥＰＳモータ１４０が含まれる。

また、エンジン１２０の出力Ｐｅｎｇの上限値Ｐｍａｘ（以下「出力上限値Ｐｅｎｇｍａｘ」ともいう。）とは、例えば、エンジン１２０のトルクの上限値である。ブレーキ機構１３０の出力Ｐｂの上限値Ｐｍａｘ（以下「出力上限値Ｐｂｍａｘ」ともいう。）とは、例えば、制動力Ｆｂの上限値である。ＥＰＳモータ１４０の出力Ｐｅｐｓの上限値Ｐｍａｘ（以下「出力上限値Ｐｅｐｓｍａｘ」ともいう。）とは、例えば、ＥＰＳモータ１４０のトルクの上限値である。これらの出力上限値Ｐｍａｘ（Ｐｅｎｇｍａｘ、Ｐｂｍａｘ、Ｐｅｐｓｍａｘ）を用いることで、過度の出力を避けて乗員の乗り心地を高めること等が可能となる。

出力上限値Ｐｍａｘは、車体挙動量Ｑｂの上限値Ｑｂｍａｘに基づいて算出される。本実施の形態のステップＳ１５では、車速Ｖに応じて出力上限値Ｐｍａｘを切り替える制限制御を実行する。

ステップＳ１６において、ＥＣＵ３６は、自車１０の走行可能領域を算出する。走行可能領域は、現時点で車両１０が走行可能な領域を示す。例えば、車両１０の基準点（例えば車両１０の重心、左右後輪を結ぶ線分の中央）を基準として、車両１０と各周辺物体との距離が所定値以上となる領域を示す。走行可能領域の算出に当たっては、車両１０の周辺障害物（特に、前方障害物）との関係も考慮される。周辺障害物との関係では、ＥＣＵ３６は、周辺監視制御を行う。

また、走行ＥＣＵ３６は、例えば交差点の検知、交差点に対する仮想のレーンマークの補間等において、周辺監視制御を行う。この周辺監視制御については、図３以降を参照して後述する。

なお、周辺認識部１７０が赤信号を認識した場合、信号機手前の停止線より先の領域は、走行可能領域から除外することができる。あるいは、走行可能領域は、単に周辺障害物との関係（距離等）によって算出し、後述する目標走行軌跡Ｌｔａｒの算出に際して、赤信号による走行制限を反映させてもよい。

ステップＳ１７において、走行ＥＣＵ３６は、目標走行軌跡Ｌｔａｒを算出する。目標走行軌跡Ｌｔａｒは、車両１０の走行軌跡Ｌの目標値である。本実施の形態において、目標走行軌跡Ｌｔａｒは、ステップＳ１６で算出された走行可能領域の中から種々の条件を満たす軌跡Ｌのうち最適のものが選択される。

ステップＳ１８において、走行ＥＣＵ３６は、目標走行軌跡Ｌｔａｒに基づいて各アクチュエータの目標制御量（換言すると目標車体挙動量Ｑｂｔａｒ）を算出する。目標車体挙動量Ｑｂｔａｒには、例えば、目標前後加速度αｔａｒ、目標前後減速度βｔａｒ及び目標横加速度Ｇｌａｔｔａｒが含まれる。

ステップＳ１９において、走行ＥＣＵ３６は、ステップＳ１８で算出した目標制御量を用いて各アクチュエータ（換言すると車体挙動量Ｑｂ）を制御する。例えば、駆動力制御部１８０は、目標前後加速度αｔａｒを実現するようにエンジン１２０（アクチュエータ）の目標出力Ｐｅｎｇｔａｒ（例えば目標エンジントルク）を算出する。そして、駆動力制御部１８０は、当該目標出力Ｐｅｎｇｔａｒを実現するように駆動ＥＣＵ１２２を介してエンジン１２０を制御する。

また、制動力制御部１８２は、目標前後減速度βｔａｒを実現するようにブレーキ機構１３０（アクチュエータ）の目標出力Ｐｂｔａｒを算出する。そして、制動力制御部１８２は、当該目標出力Ｐｂｔａｒを実現するように制動ＥＣＵ１３２を介してブレーキ機構１３０を制御する。

さらに、旋回制御部１８４は、目標横加速度Ｇｌａｔｔａｒを実現するように目標舵角θｓｔｔａｒを設定する。そして、旋回制御部１８４は、当該目標舵角θｓｔｔａｒを実現するようにＥＰＳ−ＥＣＵ１４２を介してＥＰＳモータ１４０（アクチュエータ）を制御する。なお、ＥＰＳモータ１４０による旋回に加え又はこれに代えて、左右の車輪のトルク差により車両１０を旋回させること（いわゆるトルクベクタリング）も可能である。

ステップＳ２０において、ＥＣＵ３６は、目標地点Ｐｇｏａｌ又は予定経路Ｒｖを変更するか否かを判定する。目標地点Ｐｇｏａｌを変更する場合とは、ＨＭＩ２８の操作を通じて新たな目標地点Ｐｇｏａｌが入力された場合である。予定経路Ｒｖを変更する場合とは、例えば、予定経路Ｒｖにおいて渋滞が発生し、迂回路の設定を要する場合である。渋滞の発生は、例えば、通信装置２６を介して前記交通情報サーバから取得した渋滞情報を用いて認識することが可能となる。

目標地点Ｐｇｏａｌ又は予定経路Ｒｖを変更する場合（ステップＳ２０：ＹＥＳ）、ステップＳ１３に戻り、新たな目標地点Ｐｇｏａｌに基づく予定経路Ｒｖを算出する又は新たな予定経路Ｒｖを算出する。目標地点Ｐｇｏａｌ又は予定経路Ｒｖを変更しない場合（ステップＳ２０：ＮＯ）、ステップＳ２１に進む。

ステップＳ２１において、走行ＥＣＵ３６は、自動運転を終了するか否かを判定する。自動運転を終了するのは、例えば、車両１０が目標地点Ｐｇｏａｌに到着した場合、又は自動運転スイッチ１１０がオンからオフに切り替えられた場合である。あるいは、自動運転が困難な周辺環境になった場合、ＥＣＵ３６は、自動運転を終了する。

自動運転を終了しない場合（ステップＳ２１：ＮＯ）、ステップＳ１３に戻り、ＥＣＵ３６は、現在位置Ｐｃｕｒに基づいて予定経路Ｒｖを更新する。自動運転を終了する場合（ステップＳ２１：ＹＥＳ）、ステップＳ２２に進む。

ステップＳ２２において、ＥＣＵ３６は、終了処理を実行する。具体的には、車両１０が目標地点Ｐｇｏａｌに到着した場合、ＥＣＵ３６は、車両１０が目標地点Ｐｇｏａｌに到着した旨を、ＨＭＩ２８を介して音声、表示等により運転者等に通知する。自動運転スイッチ１１０がオンからオフに切り替えられた場合、ＥＣＵ３６は、自動運転を終了する旨を、ＨＭＩ２８を介して音声、表示等により運転者等に通知する。自動運転が困難な周辺環境になった場合、ＥＣＵ３６は、その旨を、ＨＭＩ２８を介して音声、表示等により運転者等に通知する。

上記のように、走行可能領域の算出（図２のステップＳ１６）に際し、ＥＣＵ３６は、周辺監視制御を実行する。周辺監視制御は、周辺認識部１７０からの情報に基づいて、車両１０の周辺（特に前方）に存在する周辺障害物との接触回避等を行う制御である。また、交差点等の認識や交差点等への仮想のレーンマークの補間に際し、走行ＥＣＵ３６は、周辺監視制御を実行する。

以下、主に交差点等の認識や交差点等への仮想のレーンマークの補間に関する周辺監視制御について、図３〜図１２を参照しながら説明する。

周辺認識部１７０について代表的に２つの例（第１周辺認識部１７０Ａ及び第２周辺認識部１７０Ｂ）を説明する。

第１周辺認識部１７０Ａは、図３に示すように、特定シーン検知部２０２と、第１補間処理部２０４Ａとを有する。

特定シーン検知部２０２は、図３に示すように、前方を撮像する例えば車外カメラ５０（図１参照）によって画像メモリに描画されたカメラ画像２０６（図４Ａ参照）上で、所定距離以上の間隔を置いて奥側と手前側でそれぞれ線（短い線）が存在する特定シーンの画像（以下、特定シーン２０８と記す）を検知する。

第１補間処理部２０４Ａは、特定シーン検知部２０２での特定シーン２０８の検知に基づいて、奥側のレーンマーク候補と手前側のレーンマーク候補とを補間処理する。

ここで、具体的に、図４Ａ〜図５Ｂも参照しながら、特定シーン２０８として交差点を想定した場合について説明する。

特定シーン検知部２０２で検知される特定シーン２０８は、図４Ａに示すように、カメラ画像２０６のうち、上側の領域（奥側を示す領域）に、左から右に向かって１本目のレーンマーク候補の画像（以下、第１レーンマーク候補２１０ａと記す）と、２本目のレーンマーク候補の画像（以下、第２レーンマーク候補２１０ｂと記す）とが間隔を置いて並び、描画領域のうち、下側の領域（手前側を示す領域）に、左から右に向かって１本目のレーンマーク候補の画像（以下、第３レーンマーク候補２１０ｃと記す）と、２本目のレーンマーク候補の画像（以下、第４レーンマーク候補２１０ｄと記す）とが間隔を置いて並んだ画像である。

そして、図３に示すように、第１補間処理部２０４Ａは、画像変換部２１２、レーンマーク候補判定部２１６と、第１レーンマーク補間部２１８Ａとを有する。

画像変換部２１２は、特定シーン２０８を、図４Ｂに示すように、鳥瞰図（ＢＥＶ：バードアイビュー）の画像（以下、ＢＥＶ画像２２０と記す）に変換する。ＢＥＶ画像２２０は、同一の画像メモリに描画してもよいし、別の画像メモリに描画してもよい。同一の画像メモリに描画する場合は、特定シーン２０８の描画領域とは別の描画領域に描画することが好ましい。

レーンマーク候補判定部２１６は、図５Ａに示すように、奥側の第１レーンマーク候補２１０ａと手前側の第３レーンマーク候補２１０ｃとにおける手前側の第３レーンマーク候補２１０ｃと直交する方向の距離Ｄａが所定範囲内であるかどうかを判定する。例えば第１レーンマーク候補２１０ａと第３レーンマーク候補２１０ｃとの間のずれ、特に、第３レーンマーク候補２１０ｃと直交する方向のずれ（距離Ｄａ）が所定範囲内（例えば５０ｃｍ以内）であるかどうかを判定する。この所定範囲は、交差点の道路形状等に応じて適宜選択してもよい。以下、同様である。

また、レーンマーク候補判定部２１６は、図５Ｂに示すように、奥側の第２レーンマーク候補２１０ｂと手前側の第４レーンマーク候補２１０ｄとにおける手前側の第４レーンマーク候補２１０ｄと直交する方向の距離Ｄｂが所定範囲内であるかどうかを判定する。例えば第２レーンマーク候補２１０ｂと第４レーンマーク候補２１０ｄとの間のずれ、特に、第４レーンマーク候補２１０ｄと直交する方向のずれ（距離Ｄｂ）が所定範囲内であるかどうかを判定する。

なお、奥側の第１レーンマーク候補２１０ａ及び第２レーンマーク候補２１０ｂ並びに手前側の第３レーンマーク候補２１０ｃ及び第４レーンマーク候補２１０ｄを求めるには、例えばハフ変換を利用することができる。

第１レーンマーク補間部２１８Ａは、レーンマーク候補判定部２１６において、奥側の第１レーンマーク候補２１０ａと手前側の第３レーンマーク候補２１０ｃとにおける上述した距離Ｄａが所定範囲内であると判別された場合は、図６Ａに示すように、同一のレーンマークとみなして、第１レーンマーク候補２１０ａと第３レーンマーク候補２１０ｃとを補間するように仮想の左側レーンマーク２２４Ｌを設定する。

同様に、第１レーンマーク補間部２１８Ａは、レーンマーク候補判定部２１６において、奥側の第２レーンマーク候補２１０ｂと手前側の第４レーンマーク候補２１０ｄとにおける上述した距離Ｄｂが所定範囲内であると判別された場合は、図６Ａに示すように、同一のレーンマークとみなして、第２レーンマーク候補２１０ｂと第４レーンマーク候補２１０ｄとを補間するように仮想の右側レーンマーク２２４Ｒを設定する。

ここで、第１補間処理部２０４Ａについての２つの処理動作（第１処理動作及び第２処理動作）を説明する。

最初に、第１処理動作について図７を参照しながら説明する。先ず、図７のステップＳ１０１において、特定シーン検知部２０２は、カメラ画像２０６から特定シーン２０８（図４Ａ参照）を検知する。特定シーン２０８を検知した段階で、ステップＳ１０２に進み、画像変換部２１２は、特定シーン２０８の画像をＢＥＶ画像２２０（図４Ｂ参照）に変換する。

ステップＳ１０３において、レーンマーク候補判定部２１６は、図５Ａに示すように、第１レーンマーク候補２１０ａと第３レーンマーク候補２１０ｃとにおける第３レーンマーク候補２１０ｃと直交する方向の距離Ｄａを算出する。

ステップＳ１０４において、レーンマーク候補判定部２１６は、算出した距離Ｄａが所定範囲内であるかどうかを判定する。所定範囲内であれば、ステップＳ１０５に進み、レーンマーク候補判定部２１６は、図５Ｂに示すように、第２レーンマーク候補２１０ｂと第４レーンマーク候補２１０ｄとにおける第４レーンマーク候補２１０ｄと直交する方向の距離Ｄｂを算出する。

ステップＳ１０６において、レーンマーク候補判定部２１６は、算出した距離Ｄｂが所定範囲内であるかどうかを判定する。所定範囲内であれば、ステップＳ１０７に進み、第１レーンマーク補間部２１８は、図６Ａに示すように、第１レーンマーク候補２１０ａと第３レーンマーク候補２１０ｃとを補間するように仮想の左側レーンマーク２２４Ｌを設定する。さらに、第１レーンマーク補間部２１８は、第２レーンマーク候補２１０ｂと第４レーンマーク候補２１０ｄとを補間するように仮想の右側レーンマーク２２４Ｒを設定する。

これによって、図６Ｂに示すように、交差点内に、自車１０の進行方向に沿って延長する２本のレーンマークＬＭ１及びＬＭ２が描画された画像が得られ、行動計画部１７２等に、交差点内に引かれた仮想のレーンマークとして認識させることができる。その結果、例えば交差点内でのレーンキープ走行等を好適に行うことが可能となる。

なお、図７の上記ステップＳ１０４あるいはステップＳ１０６において、算出した距離Ｄａ、Ｄｂが所定範囲を超えていると判別された場合は、今回の処理を終え、所定時間の経過後にステップＳ１０１に戻る。

上述の例では、ステップＳ１０４での判定結果が、距離Ｄａ≦所定範囲でない場合（ステップＳ１０４：ＮＯ）、ステップＳ１０６での判定処理を行わないが、ステップＳ１０４での判定結果に関わらず、ステップＳ１０６での判定処理を行うようにしてもよい。

次に、第１補間処理部２０４Ａの第２処理動作について図８を参照しながら説明する。

先ず、図８のステップＳ２０１〜Ｓ２０３において、上述した第１処理動作のステップＳ１０１〜Ｓ１０３と同様の処理を行う。

その後、ステップＳ２０４において、レーンマーク候補判定部２１６は、上述した第１処理動作のステップＳ１０５と同様に、第２レーンマーク候補２１０ｂと第４レーンマーク候補２１０ｄとにおける第４レーンマーク候補２１０ｄと直交する方向の距離Ｄｂを算出する。

ステップＳ２０５において、レーンマーク候補判定部２１６は、算出した距離Ｄａが所定範囲内であるかどうかを判定する。所定範囲内であれば、ステップＳ２０６に進み、第１レーンマーク補間部２１８Ａは、図６Ａに示すように、第１レーンマーク候補２１０ａと第３レーンマーク候補２１０ｃとを補間するように仮想の左側レーンマーク２２４Ｌを設定する。

上記ステップＳ２０６での処理が終了した段階、あるいは、上記ステップＳ２０５において、距離Ｄａが所定範囲内でないと判別された場合は、ステップＳ２０７に進み、ステップＳ２０７において、レーンマーク候補判定部２１６は、算出した距離Ｄｂが所定範囲内であるかどうかを判定する。所定範囲内であれば、ステップＳ２０８に進み、第１レーンマーク補間部２１８Ａは、図６Ａに示すように、第２レーンマーク候補２１０ｂと第４レーンマーク候補２１０ｄとを補間するように仮想の右側レーンマーク２２４Ｒを設定する。

次に、第２周辺認識部１７０Ｂについて図９〜図１２を参照しながら説明する。なお、第１周辺認識部１７０Ａと同様の構成及び機能については、その重複説明を省略する。

第２周辺認識部１７０Ｂは、図９に示すように、特定シーン検知部２０２と、第２補間処理部２０４Ｂとを有する。

第２補間処理部２０４Ｂは、上述した第１補間処理部２０４Ａと同様に、特定シーン検知部２０２での特定シーン２０８の検知に基づいて、奥側のレーンマーク候補と手前側のレーンマーク候補とを補間処理する。

この第２補間処理部２０４Ｂは、上述した画像変換部２１２と、シーン分割処理部２２６と、補間処理判定部２２８と、領域連結処理部２３０と、連結判定部２３２と、第２レーンマーク補間部２１８Ｂとを有する。

シーン分割処理部２２６は、図１０Ａに示すように、ＢＥＶ画像２２０を自車１０の進行方向に３つ以上の領域に分割する。図１０Ａでは、ＢＥＶ画像２２０を自車１０の進行方向に４つの領域（第１領域Ｚ１、第２領域Ｚ２、第３領域Ｚ３及び第４領域Ｚ４）に分割した例を示す。

補間処理判定部２２８は、分割された４つ領域（第１領域Ｚ１〜第４領域Ｚ４）のうち、間の領域（第２領域Ｚ２及び第３領域Ｚ３）にレーンマークの候補が存在するか否かを判定する。レーンマークの候補としては、破線の白線の一部が挙げられる。第２領域Ｚ２又は第３領域Ｚ３にレーンマークの候補が存在する場合は、第２補間処理部２０４Ｂでの補間処理を行わない。破線の白線が引かれた車線は、画像上において破線として描画され、奥側の領域と、手前側の領域の間である第２領域Ｚ２又は第３領域Ｚ３で走行ＥＣＵ３６等においてレーンマークとして認識されるからである。これにより、交差点と思われる特定シーン２０８でのみ、補間処理を行うことができる。

一方、間の領域（第２領域Ｚ２及び第３領域Ｚ３）にレーンマークの候補が存在しない場合は、領域連結処理部２３０は、分割された４つの領域（第１領域Ｚ１〜第４領域Ｚ４）のうち、間の領域（第２領域Ｚ２及び第３領域Ｚ３）を除外して、奥側の第１領域Ｚ１と手前の第４領域Ｚ４とを連結する。すなわち、図１０Ｂに示すように、第１領域Ｚ１と第４領域Ｚ４とが連結されたＢＥＶ画像２２０（以下、連結画像２３４と記す）が描画される。

連結判定部２３２は、第１領域Ｚ１の第１レーンマーク候補２１０ａと第４領域Ｚ４の第３レーンマーク候補２１０ｃとが連結され、また、第１領域Ｚ１の第２レーンマーク候補２１０ｂと第４領域Ｚ４の第４レーンマーク候補２１０ｄとが連結されているか否かを判別する。いずれも連結されていれば、図１０Ｂに示すように、第２レーンマーク補間部２１８Ｂは、第１レーンマーク候補２１０ａと第３レーンマーク候補２１０ｃとを１つの左側レーンマーク２３６Ｌとして認識し、第２レーンマーク候補２１０ｂと第４レーンマーク候補２１０ｄとを１つの右側レーンマーク２３６Ｒとして認識する。

一方、図１１Ａに示すように、連結判定部２３２によって、第１レーンマーク候補２１０ａと第３レーンマーク候補２１０ｃとが連結されておらず、また、第２レーンマーク候補２１０ｂと第４レーンマーク候補２１０ｄとが連結されていないと判別された場合は、第２レーンマーク補間部２１８Ｂは、図１１Ｂに示すように、上述した第１レーンマーク補間部２１８Ａと同様の処理を行って、第１レーンマーク候補２１０ａと第３レーンマーク候補２１０ｃとを補間するように仮想の左側レーンマーク２２４Ｌを設定し、第２レーンマーク候補２１０ｂと第４レーンマーク候補２１０ｄとを補間するように仮想の右側レーンマーク２２４Ｒを設定してもよい。

ここで、第２補間処理部２０４Ｂの処理動作を図１２のフローチャートを参照しながら説明する。なお、第１補間処理部２０４Ａと同様の処理を行うステップは、その重複説明を省略する。

先ず、図１２のステップＳ３０１において、特定シーン検知部２０２は、カメラ画像２０６から特定シーン２０８（図４Ａ参照）を検知する。特定シーン２０８を検知した段階で（ステップＳ３０１：ＹＥＳ）、ステップＳ３０２に進み、画像変換部２１２は、特定シーン２０８の画像をＢＥＶ画像２２０（図４Ｂ参照）に変換する。

ステップＳ３０３において、シーン分割処理部２２６は、図１０Ａに示すように、ＢＥＶ画像２２０を自車１０の進行方向に３つ以上の領域に分割する。例えば４つの領域（第１領域Ｚ１〜第４領域Ｚ４）に分割する。

ステップＳ３０４において、補間処理判定部２２８は、分割された４つの領域（第１領域Ｚ１〜第４領域Ｚ４）のうち、間の領域（第２領域Ｚ２及び第３領域Ｚ３）にレーンマークの候補が存在するか否かを判定する。

レーンマークの候補が存在しない場合（Ｓ３０４：ＹＥＳ）は、ステップＳ３０５に進み、領域連結処理部２３０は、分割された４つの領域（第１領域Ｚ１〜第４領域Ｚ４）のうち、間の領域（第２領域Ｚ２及び第３領域Ｚ３）を除外して、図１０Ｂに示すように、奥側の第１領域Ｚ１と手前の第４領域Ｚ４とを連結する。なお、間の領域（第２領域Ｚ２及び第３領域Ｚ３）にレーンマークの候補が存在している場合（ステップＳ３０４：ＮＯ）は、この第２補間処理部２０４Ｂでの処理を終了する。

ステップＳ３０６において、連結判定部２３２は、第１領域Ｚ１の第１レーンマーク候補２１０ａと第４領域Ｚ４の第３レーンマーク候補２１０ｃとが連結され、また、第１領域Ｚ１の第２レーンマーク候補２１０ｂと第４領域Ｚ４の第４レーンマーク候補２１０ｄとが連結されているか否かを判別する。

いずれも連結されていれば（ステップＳ３０６：ＹＥＳ）、ステップＳ３０７に進み、第２レーンマーク補間部２１８Ｂは、図１０Ｂに示すように、第１レーンマーク候補２１０ａと第３レーンマーク候補２１０ｃを、１つの左側レーンマーク２３６Ｌとして認識する。同様に、第２レーンマーク候補２１０ｂと第４レーンマーク候補２１０ｄを、１つの右側レーンマーク２３６Ｒとして認識する。

上記ステップＳ３０６において、第１レーンマーク候補２１０ａと第３レーンマーク候補２１０ｃとが連結されておらず、また、第２レーンマーク候補２１０ｂと第４レーンマーク候補２１０ｄとが連結されていないと判別された場合は（ステップＳ３０６：ＮＯ）、ステップＳ３０８に進み、第２レーンマーク補間部２１８Ｂは、図１１Ｂに示すように、上述した第１レーンマーク補間部２１８Ａと同様の処理を行って、第１レーンマーク候補２１０ａと第３レーンマーク候補２１０ｃとを補間するように仮想の左側レーンマーク２２４Ｌを設定し、第２レーンマーク候補２１０ｂと第４レーンマーク候補２１０ｄとを補間するように仮想の右側レーンマーク２２４Ｒを設定する。

なお、ステップＳ３０６において、第１レーンマーク候補２１０ａと第３レーンマーク候補２１０ｃとが連結し、第２レーンマーク候補２１０ｂと第４レーンマーク候補２１０ｄとが連結していないと判別された場合は、ステップＳ３０７において、第１レーンマーク候補２１０ａと第３レーンマーク候補２１０ｃを、１つの左側レーンマーク２３６Ｌとして認識し、ステップＳ３０８において、第２レーンマーク候補２１０ｂと第４レーンマーク候補２１０ｄとを補間するように仮想の右側レーンマーク２２４Ｒを設定してもよい。

もちろん、ステップＳ３０６において、第１レーンマーク候補２１０ａと第３レーンマーク候補２１０ｃとが連結しておらず、第２レーンマーク候補２１０ｂと第４レーンマーク候補２１０ｄとが連結していると判別された場合は、ステップＳ３０７において、第２レーンマーク候補２１０ｂと第４レーンマーク候補２１０ｄを、１つの右側レーンマーク２３６Ｒとして認識し、ステップＳ３０８において、第１レーンマーク候補２１０ａと第３レーンマーク候補２１０ｃとを補間するように仮想の左側レーンマーク２２４Ｌを設定してもよい。

また、上述したステップＳ３０６及びＳ３０８の処理を省略してもよい。この場合、奥側のレーンマークと手前側のレーンマークが連結されない場合もあり得る。しかし、間の領域（第２領域Ｚ２及び第３領域Ｚ３）を除外することで、奥側のレーンマークと手前側のレーンマークとを互いに近づけることができる。そのため、例えば破線のレーンマークよりも間隔を近づけた状態で認識することが可能となり、レーンマークを精度良く認識することが可能となる。

このように、本実施の形態に係る運転補助装置は、運転者の運転操作を補助する運転補助装置であって、道路上に存在するレーンマークを検知するレーンマーク検知部（車外カメラ５０等）と、カメラ画像２０６上で所定距離以上の間隔を置いて奥側と手前側でそれぞれレーンマーク候補（第１レーンマーク候補２１０ａ〜第４レーンマーク候補２１０ｄ）が存在する特定シーン２０８を検知した場合、奥側のレーンマーク候補（第１レーンマーク候補２１０ａ、第２レーンマーク候補２１０ｂ）と手前側のレーンマーク候補（第２レーンマーク候補２１０ｂ、第４レーンマーク候補２１０ｄ）との間を補間処理する補間処理部（第１補間処理部２０４Ａ、第２補間処理部２０４Ｂ）とを有する。

従来は、手前側の白線を検知し、その後、近似直線上に奥側の白線が検知された場合にレーンマークとして認識することから、道路上の別の物体や汚れ等を、交差点の遠方の白線のエッジとして検出したり、手前側の右側の白線エッジと、奥側の左側の白線エッジとを近似直線で接続するおそれがある。交差点等では、そもそも抽出されるレーンマーク候補の長さが短く、手前側のレーンマークを正しく認識することも困難である。

しかし、本実施の形態では、カメラ画像２０６上で所定距離以上の間隔を置いて奥側と手前側でそれぞれレーンマーク候補（第１レーンマーク候補２１０ａ〜第４レーンマーク候補２１０ｄ）が存在する特定シーン２０８を検知した段階で、奥側のレーンマーク候補（第１レーンマーク候補２１０ａ、第２レーンマーク候補２１０ｂ）と手前側のレーンマーク候補（第３レーンマーク候補２１０ｃ、第４レーンマーク候補２１０ｄ）との間を補間処理することから、例えば交差点内に仮想のレーンマークを精度良く設定することができる。つまり、走行ＥＣＵ３６等に仮想のレーンマークを精度良く、且つ、小さな負荷で認識させることができ、自車移動経路の計画に応じた好適な自動運転を可能とする。

本実施の形態において、第１補間処理部２０４Ａは、奥側のレーンマーク候補（第１レーンマーク候補２１０ａ、第２レーンマーク候補２１０ｂ）と手前側のレーンマーク候補（第３レーンマーク候補２１０ｃ、第４レーンマーク候補２１０ｄ）とが手前側のレーンマーク候補と直交する方向の距離にて所定範囲内である場合に、奥側のレーンマーク候補と手前側のレーンマーク候補の間を補間処理する。

これにより、実際にレーンマークのない、例えば交差点等において、仮想の一対のレーンマークを精度良く設定することができ、走行ＥＣＵ３６等に仮想のレーンマークを精度良く、且つ、小さな負荷で認識させることができ、自車移動経路の計画に応じた好適な自動運転を可能とする。

この場合、補間処理とは、奥側のレーンマーク候補（第１レーンマーク候補２１０ａ、第２レーンマーク候補２１０ｂ）と手前側のレーンマーク候補（第３レーンマーク候補２１０ｃ、第４レーンマーク候補２１０ｄ）の間に仮想的なレーンマークを設定し、奥側のレーンマーク候補と手前側のレーンマーク候補を連結することである。

本実施の形態において、第２補間処理部２０４Ｂは、奥側のレーンマーク候補（第１レーンマーク候補２１０ａ、第２レーンマーク候補２１０ｂ）が存在する領域と手前側のレーンマーク候補（第３レーンマーク候補２１０ｃ、第４レーンマーク候補２１０ｄ）が存在する領域との間の領域を除外して、奥側の領域と手前の領域とを連結してもよい。

これにより、奥側の第１レーンマーク候補２１０ａと手前側の第３レーンマーク候補２１０ｃとを連結し、奥側の第２レーンマーク候補２１０ｂと手前側の第４レーンマーク候補２１０ｄとを連結することが可能となる。その結果、センサ等にぶれが生じても、確実に、奥側の第１レーンマーク候補２１０ａと手前側の第３レーンマーク候補２１０ｃとの間を補間処理することができると共に、奥側の第２レーンマーク候補２１０ｂと手前側の第４レーンマーク候補２１０ｄとを補間処理することができる。

たとえ、奥側の第１レーンマーク候補２１０ａと手前側の第３レーンマーク候補２１０ｃとが連結せず、奥側の第２レーンマーク候補２１０ｂと手前側の第４レーンマーク候補２１０ｄとが連結しない場合でも、奥側の第１レーンマーク候補２１０ａと手前側の第３レーンマーク候補２１０ｃとの離間距離、並びに奥側の第２レーンマーク候補２１０ｂと手前側の第４レーンマーク候補２１０ｄとの離間距離が短くなることから、センサ等にぶれが生じても、確実に、奥側の第１レーンマーク候補２１０ａと手前側の第３レーンマーク候補２１０ｃとの間に仮想の左側レーンマーク２２４Ｌを補間処理することができると共に、奥側の第２レーンマーク候補２１０ｂと手前側の第４レーンマーク候補２１０ｄとの間に仮想の右側レーンマーク２２４Ｒを補間処理することができる。

さらに、第２補間処理部２０４Ｂは、道路に沿って３以上の領域（例えば第１領域Ｚ１〜第４領域Ｚ４）のうち、間の領域（第２領域Ｚ２、第３領域Ｚ３）にレーンマークの候補が検出されない場合に、補間処理を行う。

奥側と手前側でそれぞれ線が存在するシーンとしては、交差点のほか、破線のレーンマークが引かれている車線等がある。破線のレーンマークが引かれた車線は、画像上において破線として描画されるため、走行ＥＣＵ３６等はレーンマークとして認識することができる。

一方、交差点等においては、実線のレーンマークや破線のレーンマークが引かれていないため、走行ＥＣＵ３６等は走行レーンを認識することができない。そこで、３以上の領域（第１領域Ｚ１〜第４領域Ｚ４）のうち、間の領域（第２領域Ｚ２、第３領域Ｚ３）にレーンマークの候補が検出されない場合、すなわち、破線のレーンマーク等が検出されない場合に補間処理を行うことで、ＥＣＵ等に仮想のレーンマークとして認識させることができる。

すなわち、補間処理を実施しなくてもよい場面で、補間処理を実施するという無駄を省くことができ、ＥＣＵ等による認識負荷を抑えることができ、タイムラグの無い認識を行うことができる。

なお、この発明は、上述した実施の形態に限定されるものではなく、この発明の主旨を逸脱しない範囲で自由に変更できることは勿論である。

上述の例では、第１レーンマーク候補２１０ａと第３レーンマーク候補２１０ｃとの間、並びに第２レーンマーク候補２１０ｂと第４レーンマーク候補２１０ｄとの間を、それぞれ直線で補間するようにしたが、それぞれ曲線で補間してもよい。曲線としては、円弧状、楕円弧状等がある。

また、うねった道路に交差点が存在する場合、奥側のレーンマーク候補（第１レーンマーク候補２１０ａ及び第３レーンマーク候補２１０ｃ）を撮像できない場合が生ずる。このような場合、撮像できたレーンマーク候補を含む交差点の画像のＢＥＶ画像２２０に、現在位置Ｐｃｕｒの地図情報Ｉｍａｐを重ね合せて、奥側のレーンマーク候補を描画することで、特定シーン２０８を検知してもよい。

レーンマークとしては、例えば白線、破線の白線等が挙げられるが、レーンマークを表すものであれば何でも適用可能であり、例えば黄色線等も対象としてもよい。

本実施の形態は、周辺監視に基づく仮想のレーンマークの設定を主体としているため、自動走行制御に限らず、レーン逸脱時に警報を出力するという警報装置にも利用することができる。

図４Ａ及び図４Ｂ、図５Ａ及び図５Ｂ、図１０Ａ及び図１０Ｂ、図１１Ａ及び図１１Ｂでは、レーンマーク候補を幅を持つものとして認識しているが、必ずしもそうする必要はなく、幅を持たない単なる線としてレーンマーク候補を認識してもよい。

上述の例では、主に、車外カメラ５０にて撮像した画像に基づいて特定シーンを検知するようにしているが、その他、地図情報Ｉｍａｐから特定シーン２０８を検知（取得）してもよい。

上述の実施の形態では、特定シーン２０８を検知した場合にＢＥＶ画像２２０を作成するようにしているが、それに限らず、必要な場合に適宜作成してもよいし、常時作成してもよい。

上述の実施の形態では、奥側の領域と手前側の領域のいずれか一つにてレーンマーク候補が抽出された場合は、補間処理を行わないとしたが、レーンマーク候補が抽出されなかった領域のみ除外して、抽出された領域同士を連結してレーンマークを認識してもよい。これは、特定シーン２０８を例えば４分割や６分割等、多く分割した場合に、レーンマーク候補が存在しない領域のみ除外し、レーンマーク候補が存在する領域同士を連結してレーンマークを認識する等が挙げられる。もちろん、交差点でない場合でも適用可能である。

上述の実施の形態では、車両周辺センサ群２０に複数の車外カメラ５０を含むが、複数の車外カメラ５０に、車両１０の前方を検出するステレオカメラが含まれてもよい。もちろん、レーンマークを認識するに当たっては、単一のカメラでもよい。

上記実施の形態の車体挙動センサ群２２には、車速センサ６０、横加速度センサ６２及びヨーレートセンサ６４を含むが（図１参照）、これに限らない。例えば、横加速度センサ６２及びヨーレートセンサ６４のいずれか１つ又は複数を省略することも可能である。

上記実施の形態の運転操作センサ群２４には、ＡＰセンサ８０、ＢＰセンサ８２、舵角センサ８４及び操舵トルクセンサ８６を含むが（図１参照）、これに限らない。例えば、ＡＰセンサ８０、ＢＰセンサ８２、舵角センサ８４及び操舵トルクセンサ８６のいずれか１つ又は複数を省略することも可能である。

上記の実施の形態では、自動運転制御で対象となるアクチュエータとして、エンジン１２０、ブレーキ機構１３０及びＥＰＳモータ１４０を用いたが（図１参照）、これに限らない。例えば、エンジン１２０、ブレーキ機構１３０及びＥＰＳモータ１４０のいずれか１つ又は２つを自動運転制御の対象から外すことも可能である。いずれかのアクチュエータを自動運転制御の対象から外した場合、対象から外されたアクチュエータに関する制御は、運転者が行うこととなる。さらに、上記のように、ＥＰＳモータ１４０の代わりに、左右の車輪のトルク差を用いて旋回することも可能である。もちろん、例えばレーンキープ制御や車間維持制御等も自動運転制御に含む。

上記の実施の形態では、車両１０の加速、減速及び旋回のいずれについても運転者の運転操作を要さない自動運転について説明したが（図２参照）、これに限らない。例えば、車両１０の加速、減速及び旋回のいずれか１つ又は２つについてのみ運転者の運転操作を要さない自動運転、又は運転者の運転操作を補助する自動運転に本発明を適用することも可能である。

１０…車両（自車） ２０…車両周辺センサ群
３６…走行ＥＣＵ（ＥＣＵ） ５０…車外カメラ
１７０…周辺認識部 １７０Ａ…第１周辺認識部
１７０Ｂ…第２周辺認識部 １７２…行動計画部
１７４…走行制御部 ２０２…特定シーン検知部
２０４Ａ…第１補間処理部 ２０４Ｂ…第２補間処理部
２０６…カメラ画像 ２０８…特定シーン
２１０ａ〜２１０ｄ…第１レーンマーク候補〜第４レーンマーク候補
２１２…画像変換部 ２１６…レーンマーク候補判定部
２１８Ａ…第１レーンマーク補間部 ２１８Ｂ…第２レーンマーク補間部
２２０…ＢＥＶ画像 ２２４Ｌ…左側レーンマーク
２２４Ｒ…右側レーンマーク ２２６…シーン分割処理部
２２８…補間処理判定部 ２３０…領域連結処理部
２３２…連結判定部 ２３４…連結画像
Ｚ１〜Ｚ４…第１領域〜第４領域

Claims (6)

1. 運転者の運転操作を補助する運転補助装置であって、
   道路上に存在するレーンマークを検知するレーンマーク検知部と、
   画像上で所定距離以上の間隔を置いて奥側と手前側でそれぞれレーンマーク候補が存在する特定シーンを検知した場合、前記奥側のレーンマーク候補と手前側のレーンマーク候補との間を補間処理する補間処理部とを有し、
   前記補間処理部は、前記奥側のレーンマーク候補と手前側のレーンマーク候補とが前記手前側のレーンマーク候補と直交する方向の距離にて所定範囲内である場合に、前記奥側のレーンマーク候補と手前側のレーンマーク候補の間を補間処理することを特徴とする運転補助装置。
2. 請求項１記載の運転補助装置において、
   前記補間処理は、前記奥側のレーンマーク候補と前記手前側のレーンマーク候補の間に仮想的な線を設定し、前記奥側のレーンマーク候補と前記手前側のレーンマーク候補を連結することを特徴とする運転補助装置。
3. 請求項１又は２記載の運転補助装置において、
   前記補間処理部は、
   前記奥側のレーンマーク候補が存在する領域と前記手前側のレーンマーク候補が存在する領域との間の領域を除外して、奥側の領域と手前の領域とを連結することを特徴とする運転補助装置。
4. 請求項１又は２記載の運転補助装置において、
   前記補間処理部は、
   前記道路に沿って３以上の領域を設定し、
   前記３以上の領域のうち、前記奥側のレーンマーク候補が存在する領域と前記手前側のレーンマーク候補が存在する領域との間の領域にレーンマーク候補が検出されない場合に、前記補間処理を行うことを特徴とする運転補助装置。
5. 請求項１〜４のいずれか１項に記載の運転補助装置において、
   前記特定シーンは交差点であることを特徴とする運転補助装置。
6. 運転者の運転操作を補助する運転補助方法であって、
   画像上で所定距離以上の間隔を置いて奥側と手前側でそれぞれレーンマーク候補が存在する特定シーンを検知するステップと、
   前記特定シーンの検知に基づいて、前記奥側のレーンマーク候補と手前側のレーンマーク候補との間を補間処理するステップと、
   前記奥側のレーンマーク候補と手前側のレーンマーク候補とが前記手前側のレーンマーク候補と直交する方向の距離にて所定範囲内である場合に、前記奥側のレーンマーク候補と手前側のレーンマーク候補の間を補間処理するステップとを有することを特徴とする運転補助方法。

Images