JP7792986B2 - 制御装置、制御方法、およびプログラム - Google Patents

Description

本発明は、制御装置、制御方法、およびプログラムに関する。

近年、種々の状況に配慮した持続可能な輸送システムを提供する取り組みが活発化している。この実現に向けて運転支援技術に関する研究開発を通して交通の安全性や利便性をより一層改善する研究開発に注力している。被写体がレーンマークの形状をしているか否かに関する形状評価値を算出する形状評価値算出部と、被写界距離に関する距離評価値を算出する距離評価値算出部と、形状評価値および距離評価値に基づいてレーンマークの信頼度を算出する信頼度算出部とを備え、レーンマークの形状に関する評価値に加え、被写界距離に関する評価値に基づいて信頼度を算出することにより、レーンマークの検出位置精度に影響を与える要因となる被写界距離に応じた信頼度を算出できるようにするとともに、撮影画像を領域分割して領域毎に信頼度を変える方式に比べて、信頼度の計算負荷が小さくなるようにするレーンマーク検出装置が開示されている（例えば特許文献１参照）。

特開２０１３－１９１０４０号公報

従来の技術では、道路区画線の検出の信頼性について十分に考慮されていなかった。

本発明は、このような事情を考慮してなされたものであり、道路区画線の検出の信頼性を精度よく推定することができる制御装置、制御方法、およびプログラムを提供することを目的の一つとする。例えば、この信頼性を利用することで、より精度よく車両を制御することができる。延いては持続可能な輸送システムの発展に寄与するものである。

この発明に係る制御装置、制御方法、およびプログラムは、以下の構成を採用した。
（１）：この発明の一態様に係る制御装置は、車両の周辺が撮像された画像から道路区画線に対応する第１要素および前記道路区画線よりも外側の要素である第２要素を検出し、実際の距離に応じた所定距離間隔で前記第１要素に対応する点列を二次元上に投影する第１処理部と、前記点列を利用して変曲点を特定し、前記変曲点よりも遠方の縦方向の距離が同じ前記第１要素と前記第２要素との横方向の距離が閾値以下であるか否かに基づいて、前記画像から検出される前記道路区画線の信頼度を推定する第２処理部と、を備える。

（２）：上記（１）の態様において、前記第２処理部は、隣接する点列間のそれぞれの角度を導出し、角度の距離ごとの推移がゼロクロスする前記変曲点、または前記角度の推移を距離で二次微分した結果の推移がゼロクロスする前記変曲点を求める。

（３）：上記（２）の態様において、前記第２処理部は、前記変曲点の前後において最も大きい２つの角度の差分が閾値以上である場合、前記画像から検出される前記道路区画線の信頼度を推定する。

（４）：上記（１）から（３）のいずれかの態様において、前記第２処理部は、前記変曲点が存在しない場合、前記変曲点が存在する場合よりも遠方の領域の前記画像から検出される前記道路区画線の信頼度が高いと推定する。

（５）：上記（１）から（３）のいずれかの態様において、前記信頼度を参照して、前記車両を制御する車両制御部を更に備える。

（６）：上記（１）から（３）のいずれかの態様において、前記信頼度を参照して、前記車両を制御するレベルを変更する車両制御部を更に備える。

（７）：本発明の他の態様に係る制御方法は、コンピュータが、車両の周辺が撮像された画像から道路区画線に対応する第１要素および前記道路区画線よりも外側の要素である第２要素を検出し、実際の距離に応じた所定距離間隔で前記第１要素に対応する点列を二次元上に投影する処理と、前記点列を利用して変曲点を特定する処理と、前記変曲点よりも遠方の縦方向の距離が同じ前記第１要素と前記第２要素との横方向の距離が閾値以下であるか否かに基づいて、前記画像から検出される前記道路区画線の信頼度を推定する処理と、を実行する。

（８）：本発明の他の態様に係るプログラムは、コンピュータに、車両の周辺が撮像された画像から道路区画線に対応する第１要素および前記道路区画線よりも外側の要素である第２要素を検出し、実際の距離に応じた所定距離間隔で前記第１要素に対応する点列を二次元上に投影する処理と、前記点列を利用して変曲点を特定する処理と、前記変曲点よりも遠方の縦方向の距離が同じ前記第１要素と前記第２要素との横方向の距離が閾値以下であるか否かに基づいて、前記画像から検出される前記道路区画線の信頼度を推定する処理と、を実行させる。

（１）－（８）の態様によれば、道路区画線の検出の信頼性を精度よく推定することができる。

（５）の態様によれば、制御部は、信頼度に応じた車両の制御を実現することができる。

実施形態に係る車両制御システムを利用した車両システム１の構成図である。 判定処理部１２０の機能構成の一例を示す図である。 第１変換処理部１２２および第２変換処理部１２４の処理について説明するための図である。 投影された点列を用いた処理について説明するための図である。 縦距離ごとの角度θの変化を示す図である。 縦距離ごとの横距離の変化を示す図である。 実測された道路区画線の位置と画像処理から得られた道路区画線の位置との誤差を示す図である。 変曲点の他の一例を示す図である。 運転支援装置１００により実行される処理の流れの一例を示すフローチャートである。 カーブ路でない道路が撮像された画像ＩＭ２の一例を示す図である。 画像ＩＭ２における角度θの変化を示す図である。 画像ＩＭ２における横距離の変化を示す図である。 カーブ路でない道路区画線の位置と実測された道路区画線の位置との誤差を示す図である。 運転支援装置１００により実行される処理の流れの他の一例を示すフローチャートである。

［全体構成］
図１は、実施形態に係る車両制御システムを利用した車両システム１の構成図である。車両システム１が搭載される車両は、例えば、二輪や三輪、四輪等の車両であり、その駆動源は、ディーゼルエンジンやガソリンエンジンなどの内燃機関、電動機、或いはこれらの組み合わせである。電動機は、内燃機関に連結された発電機による発電電力、或いは二次電池や燃料電池の放電電力を使用して動作する。本実施形態は、車両に適用されるものとして説明するが、車両に代えて他の移動体に適用されてもよい。

車両システム１は、例えば、カメラ１０と、レーダ装置１２と、ＬＩＤＡＲ（Light Detection and Ranging）１４と、物体認識装置１６と、通信装置２０と、ＨＭＩ（Human Machine Interface）３０と、車両センサ４０と、ナビゲーション装置５０と、ＭＰＵ６０と、操作子８０と、方向指示器９０と、運転支援装置１００と、走行駆動力出力装置２００と、ブレーキ装置２１０と、ステアリング装置２２０とを備える。これらの装置や機器は、ＣＡＮ（Controller Area Network）通信線等の多重通信線やシリアル通信線、無線通信網等によって互いに接続される。図１に示す構成はあくまで一例であり、構成の一部が省略されてもよいし、更に別の構成が追加されてもよい。運転支援装置１００は「制御装置」の一例である。

カメラ１０は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の固体撮像素子を利用したデジタルカメラである。カメラ１０は、車両システム１が搭載される車両（以下、車両Ｍ）の任意の箇所に取り付けられる。前方を撮像する場合、カメラ１０は、フロントウインドシールド上部やルームミラー裏面等に取り付けられる。カメラ１０は、例えば、周期的に繰り返し車両Ｍの周辺を撮像する。カメラ１０は、ステレオカメラであってもよい。

レーダ装置１２は、車両Ｍの周辺にミリ波などの電波を放射すると共に、物体によって反射された電波（反射波）を検出して少なくとも物体の位置（距離および方位）を検出する。レーダ装置１２は、車両Ｍの任意の箇所に取り付けられる。レーダ装置１２は、ＦＭ－ＣＷ（Frequency Modulated Continuous Wave）方式によって物体の位置および速度を検出してもよい。

ＬＩＤＡＲ１４は、車両Ｍの周辺に光（或いは光に近い波長の電磁波）を照射し、散乱光を測定する。ＬＩＤＡＲ１４は、発光から受光までの時間に基づいて、対象までの距離を検出する。照射される光は、例えば、パルス状のレーザー光である。ＬＩＤＡＲ１４は、車両Ｍの任意の箇所に取り付けられる。

物体認識装置１６は、カメラ１０、レーダ装置１２、およびＬＩＤＡＲ１４のうち一部または全部による検出結果に対してセンサフュージョン処理を行って、物体の位置、種類、速度などを認識する。物体認識装置１６は、認識結果を運転支援装置１００に出力する。物体認識装置１６は、カメラ１０、レーダ装置１２、およびＬＩＤＡＲ１４の検出結果をそのまま運転支援装置１００に出力してよい。車両システム１から物体認識装置１６が省略されてもよい。

通信装置２０は、例えば、セルラー網やＷｉ－Ｆｉ網、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＤＳＲＣ（Dedicated Short Range Communication）などを利用して、車両Ｍの周辺に存在する他車両と通信し、或いは無線基地局を介して各種サーバ装置と通信する。

ＨＭＩ３０は、車両Ｍの乗員に対して各種情報を提示すると共に、乗員による入力操作を受け付ける。ＨＭＩ３０は、各種表示装置、スピーカ、ブザー、タッチパネル、スイッチ、キーなどを含む。ＨＭＩ３０は表示装置を備える。表示装置は、例えば、車両Ｍのインストルメントパネルの中央部に設けられ、車両Ｍの走行速度を表す速度計（スピードメータ）または車両Ｍが備える内燃機関の回転数（回転速度）を表す回転速度計（タコメータ）など、車両Ｍにおける種々の情報を表示させるディスプレイ装置、いわゆるマルチインフォメーションディスプレイである。

車両センサ４０は、車両Ｍの速度を検出する車速センサ、加速度を検出する加速度センサ、鉛直軸回りの角速度を検出するヨーレートセンサ、車両Ｍの向きを検出する方位センサ等を含む。

ナビゲーション装置５０は、例えば、ＧＮＳＳ（Global Navigation Satellite System）受信機５１と、ナビＨＭＩ５２と、経路決定部５３とを備える。ナビゲーション装置５０は、ＨＤＤ（Hard Disk Drive）やフラッシュメモリなどの記憶装置に第１地図情報５４を保持している。ＧＮＳＳ受信機５１は、ＧＮＳＳ衛星から受信した信号に基づいて、車両Ｍの位置を特定する。車両Ｍの位置は、車両センサ４０の出力を利用したＩＮＳ（Inertial Navigation System）によって特定または補完されてもよい。ナビＨＭＩ５２は、表示装置、スピーカ、タッチパネル、キーなどを含む。ナビＨＭＩ５２は、前述したＨＭＩ３０と一部または全部が共通化されてもよい。経路決定部５３は、例えば、ＧＮＳＳ受信機５１により特定された車両Ｍの位置（或いは入力された任意の位置）から、ナビＨＭＩ５２を用いて乗員により入力された目的地までの経路（以下、地図上経路）を、第１地図情報５４を参照して決定する。第１地図情報５４は、例えば、道路を示すリンクと、リンクによって接続されたノードとによって道路形状が表現された情報である。第１地図情報５４は、道路の曲率やＰＯＩ（Point Of Interest）情報などを含んでもよい。地図上経路は、ＭＰＵ６０に出力される。ナビゲーション装置５０は、地図上経路に基づいて、ナビＨＭＩ５２を用いた経路案内を行ってもよい。ナビゲーション装置５０は、例えば、乗員の保有するスマートフォンやタブレット端末等の端末装置の機能によって実現されてもよい。ナビゲーション装置５０は、通信装置２０を介してナビゲーションサーバに現在位置と目的地を送信し、ナビゲーションサーバから地図上経路と同等の経路を取得してもよい。

ＭＰＵ６０は、例えば、推奨車線決定部６１を含み、ＨＤＤやフラッシュメモリなどの記憶装置に第２地図情報６２を保持している。推奨車線決定部６１は、ナビゲーション装置５０から提供された地図上経路を複数のブロックに分割し（例えば、車両進行方向に関して１００［ｍ］毎に分割し）、第２地図情報６２を参照してブロックごとに推奨車線を決定する。推奨車線決定部６１は、左から何番目の車線を走行するといった決定を行う。推奨車線決定部６１は、地図上経路に分岐箇所が存在する場合、車両Ｍが、分岐先に進行するための合理的な経路を走行できるように、推奨車線を決定する。推奨車線決定部６１は、例えば、車両Ｍが進行する分岐路から所定距離手前に到達した場合、分岐路に接続する車線を推奨車線に決定する。推奨車線決定部６１および第２地図情報６２は、運転支援装置１００などの他の装置に含まれる機能部または情報であってもよい。

第２地図情報６２は、第１地図情報５４よりも高精度な地図情報である。第２地図情報６２は、例えば、車線の中央の情報、或いは車線の境界の情報等を含んでいる。第２地図情報６２には、道路情報、交通規制情報、住所情報（住所・郵便番号）、施設情報、電話番号情報などが含まれてよい。第２地図情報６２は、通信装置２０が他装置と通信することにより、随時、アップデートされてよい。

操作子８０は、例えば、ステアリングホイール８２の他、アクセルペダル、ブレーキペダル、シフトレバー、その他の操作子を含む。操作子８０には、操作量、或いは操作の有無を検出するセンサが取り付けられており、その検出結果は、運転支援装置１００、もしくは、走行駆動力出力装置２００、ブレーキ装置２１０、およびステアリング装置２２０のうち一部または全部に出力される。ステアリングホイール８２は、必ずしも環状である必要は無く、異形ステアリングホイールやジョイスティック、ボタンなどの形態であってもよい。操作子８０は、第１操作子８４を含む。方向指示器９０は、第１操作子８４の操作に応じて点灯または消灯する。

第１操作子８４は、例えば、ターンシグナルレバースイッチである。例えば、ドライバが第１操作子８４を操作すると、方向指示器９０が操作に応じて点灯する。ドライバが第１操作子８４に対して所定の操作を行うと、制御部１５０は、ＡＬＣ（Auto Lane Change）機能を起動させて、車両Ｍに自動車線変更（オートレーンチェンジ）を行わせる。所定操作は、ＡＬＣ機能を起動させるトリガーとなる操作である。所定の操作は、例えば、車線変更したい方向へターンシグナルレバースイッチを所定時間の間操作することや、所定の位置までターンシグナルレバースイッチを押し込む操作などである。より具体的には、所定の操作は、ターンシグナルレバースイッチを車線変更したい方向であって所定の位置を維持した状態の操作を所定時間行うことである。第１操作子８４は、ターンシグナルレバースイッチに代えて、ボタンなど他の態様であってもよい。また、ＡＬＣ機能は、所定のボタンなど他の操作子に対する操作によって起動してもよい。

運転支援装置１００は、例えば、認識部１１０と、判定処理部１２０と、制御部１５０とを備える。認識部１１０と、制御部１５０とは、例えば、ＣＰＵ（Central Processing Unit）などのハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。これらの構成要素のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）、ＳＯＣ（System On Chip）などのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予め運転支援装置１００のＨＤＤやフラッシュメモリなどの記憶装置（非一過性の記憶媒体を備える記憶装置）に格納されていてもよいし、ＤＶＤやＣＤ－ＲＯＭなどの着脱可能な記憶媒体に格納されており、記憶媒体（非一過性の記憶媒体）がドライブ装置に装着されることで運転支援装置１００のＨＤＤやフラッシュメモリにインストールされてもよい。

認識部１１０は、カメラ１０、レーダ装置１２、およびＬＩＤＡＲ１４から物体認識装置１６を介して入力された情報に基づいて、車両Ｍの周辺にある物体の位置、および速度、加速度等の状態を認識する。物体の位置は、例えば、車両Ｍの代表点（重心や駆動軸中心など）を原点とした絶対座標上の位置として認識され、制御に使用される。物体の位置は、その物体の重心やコーナー等の代表点で表されてもよいし、領域で表されてもよい。物体の「状態」とは、物体の加速度やジャーク、或いは「行動状態」（例えば車線変更をしている、またはしようとしているか否か）を含んでもよい。

認識部１１０は、例えば、車両Ｍが走行している車線（走行車線）を認識する。例えば、認識部１１０は、第２地図情報６２から得られる道路区画線のパターン（例えば実線と破線の配列）と、カメラ１０によって撮像された画像から認識される車両Ｍの周辺の道路区画線のパターンとを比較することで、走行車線を認識する。認識部１１０は、道路区画線に限らず、道路区画線や路肩、縁石、中央分離帯、ガードレールなどを含む走路境界（道路境界）を認識することで、走行車線を認識してもよい。この認識において、ナビゲーション装置５０から取得される車両Ｍの位置やＩＮＳによる処理結果が加味されてもよい。認識部１１０は、一時停止線、障害物、赤信号、料金所、その他の道路事象を認識する。

認識部１１０は、走行車線を認識する際に、走行車線に対する車両Ｍの位置や姿勢を認識する。認識部１１０は、例えば、車両Ｍの基準点の車線中央からの乖離、および車両Ｍの進行方向の車線中央を連ねた線に対してなす角度を、走行車線に対する車両Ｍの相対位置および姿勢として認識してもよい。これに代えて、認識部１１０は、走行車線のいずれかの側端部（道路区画線または道路境界）に対する車両Ｍの基準点の位置などを、走行車線に対する車両Ｍの相対位置として認識してもよい。

判定処理部１２０については後述する。

制御部１５０は、運転支援制御を実行する。例えば、制御部１５０は、ドライバの操作に依らずに自動で走行駆動力出力装置２００およびブレーキ装置２１０を制御して、車両Ｍの速度を自動で制御する。制御部１５０は、いわゆるＡＣＣ（Adaptive Cruise Control）を実行する。制御部１５０は、設定された速度で車両Ｍが走行するように制御したり、前走車両から所定距離の位置において前走車両に追従して走行したりする。

制御部１５０は、車両Ｍが走行車線から逸脱しないようにステアリング装置２２０を制御する。例えば、制御部１５０は、認識部１１０が認識した走行車線の中央または中央付近を車両Ｍが走行するようにステアリング装置２２０を制御する。以下、この制御を「車線維持制御」と称することがある。制御部１５０は、ハンズオン車線維持制御と、ハンズオフ車線維持制御とを実行する。

ハンズオン車線維持制御は、ドライバがステアリングホイールを把持している状態（不図示のステアリング把持センサがステアリングホイールの把持を検出している状態）で実行される制御である。ハンズオン車線維持制御が実行可能な条件は、ハンズオフ車線維持制御が実行可能な条件よりも緩い。

ハンズオフ車線維持制御は、ドライバがステアリングホイールを把持していない状態（不図示のステアリング把持センサがステアリングホイールの把持を検出していない状態）で実行される制御である。ハンズオフ車線維持制は、例えば、以下の条件を満たした場合に実行可能である。車両Ｍの速度が所定速度以上であること、所定の道路（例えば予めハンズオフ車線維持制が実行可能であると設定された道路または道路の種別）を車両Ｍが走行していること、およびドライバが前方を監視していることである。ドライバが前方を監視している場合にハンズオフ車線維持制御が実行され、ドライバが前方を監視していない場合はハンズオフ車線維持制御が実行されない、または停止する。

上述したハンズオン車線維持制およびハンズオフ車線維持制御が実行可能な条件は、一例であり、他の条件（例えば、車両Ｍが前走車両に追従していること）を含んだり、一部の条件が省略されたりしてもよい。ハンズオン車線維持制が実行可能な条件は、ハンズオフ車線維持が実行可能な条件よりも緩ければよい（ハンズオフ車線維持制が実行可能な条件は、ハンズオン車線維持が実行可能な条件よりも厳しければよい）。なお、ドライバが前方を監視しているかは、運転支援装置１００が、不図示のドライバを撮像するカメラが撮像した画像に基づいて認識する。

走行駆動力出力装置２００は、車両Ｍが走行するための走行駆動力（トルク）を駆動輪に出力する。走行駆動力出力装置２００は、例えば、内燃機関、電動機、および変速機などの組み合わせと、これらを制御するＥＣＵとを備える。ＥＣＵは、運転支援装置１００から入力される情報、或いは操作子８０から入力される情報に従って、上記の構成を制御する。

ブレーキ装置２１０は、例えば、ブレーキキャリパーと、ブレーキキャリパーに油圧を伝達するシリンダと、シリンダに油圧を発生させる電動モータと、ブレーキＥＣＵとを備える。ブレーキＥＣＵは、運転支援装置１００から入力される情報、或いは操作子８０から入力される情報に従って電動モータを制御し、制動操作に応じたブレーキトルクが各車輪に出力されるようにする。

ステアリング装置２２０は、例えば、ステアリングＥＣＵと、電動モータとを備える。電動モータは、例えば、ラックアンドピニオン機構に力を作用させて転舵輪の向きを変更する。ステアリングＥＣＵは、運転支援装置１００から入力される情報、或いは操作子８０から入力される情報に従って、電動モータを駆動し、転舵輪の向きを変更させる。

［判定処理部］
図２は、判定処理部１２０の機能構成の一例を示す図である。判定処理部１２０は、例えば、第１変換処理部１２２、第２変換処理部１２４、角度処理部１２６、および距離処理部１２８を備える。第１変換処理部１２２は「第１処理部」の一例である。角度処理部１２６と距離処理部１２８とを合わせた機能構成は「第２処理部」の一例である。

第１変換処理部１２２は、カメラ１０が撮像した車両Ｍの周辺が撮像された画像を取得する。第１変換処理部１２２は、車両Ｍの周辺が撮像された画像から道路区画線に対応する第１要素および道路区画線よりも外側の要素（外壁や縁石などの物体）である第２要素を検出する。第１変換処理部１２２は、画像から抽出された特徴情報に基づいて道路区画線に対応する第１要素および道路区画線よりも外側の要素である第２要素を検出する。第２変換処理部１２４は、第１要素を所定の曲線に近似する。

図３は、第１変換処理部１２２および第２変換処理部１２４の処理について説明するための図である。第１変換処理部１２２は、車両Ｍの周辺が撮像された画像ＩＭを取得する。第１変換処理部１２２は、画像の道路区画線や外壁などを二次元平面に投影した二次元情報ＩＦ１を生成する。二次元情報ＩＦ１は、例えば、車両Ｍ（カメラ１０）の右側の道路区画線ＬＲ、左側の道路区画線ＬＬ、および側壁Ｃのそれぞれを示す情報を含む画像である。

第１変換処理部１２２は、例えば、画像に対して画像処理を行って画像の特徴情報（例えば輝度情報）を取得して、特徴情報に基づいて道路における要素（道路区画線に対応する第１要素や、道路区画線の外側に存在する側壁や縁石などの第２要素）を特定する。第１変換処理部１２２は、画像において水平方向の輝度が閾値以上変化している部分を抽出する。例えば、画像に対して微分フィルタ（Ｓｏｂｅｌフィルタ）が利用され特徴が抽出される。

上記の実際に撮像された画像の情報を二次元平面上に投影する変換は、例えば、以下の式（１）、式（２）に基づいて行われる。投影される点を（ｄ_ｉ,ｄ_ｊ）と表す。変換後の任意の点は（Ｘ，Ｙ）である。「ｆ」は、カメラ１０と撮像素子とレンズとの焦点距離である。「Ｈ」はカメラ１０の高さである。「λ」は画素のサイズである。「Ｚ」はＸＹ平面に直行する方向の位置である。
ｄ_ｉ＝Ｙｆ／Ｚλ式・・・（１）
ｄ_ｊ＝Ｈｆ／Ｘλ式・・・（２）

第２変換処理部１２４は、上記の特徴について、例えば上述した式（１）、（２）を利用して、特徴を三次元距離に変換して、変換した特徴を道路区画線の数値モデルにフィッティング（回帰）させる。例えば、３次式の最小二乗等を利用して回帰が行われる。これにより、三次元情報ＩＦ２が生成される。

例えば、上記の処理において、道路区画線が精度よく検出できる領域ＡＲ１（カメラ１０から遠い位置に対応する領域）と、道路区画線が精度よく検出できない領域ＡＲ２（カメラ１０から近い位置に対応する領域）とが存在する。しかし、領域ＡＲ１と領域ＡＲ２との間の領域まで精度が担保されるかを判断することができないことがあった。本実施形態では、後述する処理を行って、道路区画線の認識の信頼度を判定することができる。

［信頼度の判定の処理の概要］
第１変換処理部１２２は、実際の距離に応じた所定距離間隔（例えば０．５ｍや１ｍ、２ｍなど任意の距離）で第１要素（道路区画線）に対応する点列を二次元上に投影する。第１変換処理部１２２は、実際の距離に応じた所定距離間隔で第２要素（外壁や縁石などの物体）に対応する点列を二次元上に投影する。角度処理部１２６は、第１要素（または第２要素）の点列を利用して変曲点を特定する。図４は、投影された点列を用いた処理について説明するための図である。

角度処理部１２６は、道路区画線の点列間の画像上の角度θを求め（図４参照）、角度θの縦距離ごとの推移がゼロクロスする変曲点を求める。例えば式（３）を利用して角度θを求める。角度処理部１２６は、道路区画線のそれぞれの点列間についてθを求める。（Ｘ_ＮＬ,Ｙ_ＮＬ）および（Ｘ_Ｌ,Ｙ_Ｌ）については後述する。
θ＝tan^－１（ｄｙ／ｄｘ）・・・式（３）

図５は、縦距離ごとの角度θの変化を示す図である。縦距離は、角度θを求めた点列の前方の点または後方の点を基準にした距離である。角度処理部１２６は、図５において角度θの変化の推移がゼロをクロスする変曲点（ゼロクロス点）を特定する。変曲点が存在する場合、道路区画線はカーブ路に設けられた道路区画線であることを意味する。変曲点以降の領域は、画像から道路区画線を精度よく認識することができない可能性がある領域である。変曲点は、後述する図８から求めてもよい。

距離処理部１２８は、変曲点よりも遠方の縦方向の距離が同じ第１要素と第２要素との横方向の距離が閾値以下であるか否かに基づいて、画像から検出される道路区画線の信頼度を推定する。距離処理部１２８は、変曲点よりも遠方の距離ごとの第１要素（道路区画線）と第２要素（外壁や縁石などの物体）との横方向の距離を導出し、距離に基づいて画像から検出される道路区画線の信頼度を推定する。距離は、同じ縦距離の第１要素の点と第２要素の点との横方向の距離である。なお、第２要素の点列の投影は省略され、第１要素と同じ縦距離の第２要素の特徴の位置とに基づいて第１要素と第２要素との間の距離が求められてもよい。距離処理部１２８は、式（４）を利用して横距離ｄを求める。

図６は、縦距離ごとの横距離の変化を示す図である。距離に対して予め閾値が設定されている。距離処理部１２８は、閾値以上の横距離の領域を信頼度の高い領域とし、閾値未満の横距離の領域を信頼度の低い領域とする。閾値は、例えば、距離の変化の推移の種別ごと（パターンごと）に設定されていてもよいし、地図情報から得られたカーブ路の曲率に応じて設定されてもよい。

上記のように、判定処理部１２０は、変曲点以降の領域であって横距離が閾値以上の検出した道路区画線の信頼度は高いと推定（または判定）することができる。図７は、実測された道路区画線の位置と画像処理から得られた道路区画線の位置との誤差を示す図である。縦距離が長くなるほど誤差が大きくなるが、横距離が閾値以上の領域までは誤差が小さい。このため、横距離が閾値以上の領域までの道路区画線の検出結果の信頼度は高いことが確認できる。

図８は、変曲点の他の一例を示す図である。角度処理部１２６は、角度θの推移を距離で二次微分した結果の推移がゼロクロスする変曲点を求めてもよい。判定処理部１２０は、二次微分した結果の変曲点ＩＰを利用して上述した処理を実行してもよい。

更に判定処理部１２０は、変曲点ＩＰの前後において最も大きい２つの角度の差分（プラスの角度とマイナスの角度との差分）が大きくなる値ｄ１を求め、この値ｄ１が閾値以上である場合、当該画像の道路区画線がカーブ路の道路区画線であると判定してもよい。判定処理部１２０は、当該画像の道路区画線がカーブ路の道路区画線である場合に、横距離を利用して画像から検出される道路区画線の信頼度を推定する処理を行ってもよい。

［フローチャート］
図９は、運転支援装置１００により実行される処理の流れの一例を示すフローチャートである。まず、判定処理部１２０は、画像を取得する（ステップＳ１００）。次に、判定処理部１２０は、画像に基づいて道路区画線および外壁を二次元上に投影する（ステップＳ１０２）。次に、判定処理部１２０は、投影した道路区画線および外壁の点列を設定する（ステップＳ１０４）。なお、ステップＳ１０２の処理は省略されて画像の特徴から点列が直接設定されてもよい。

次に、判定処理部１２０は、道路区画線の２つの点列間の角度θを導出する（ステップＳ１０６）。次に、判定処理部１２０は、外壁と道路区画線との横距離を導出する（ステップＳ１０８）。次に、判定処理部１２０は、ステップＳ１０６で導出した角度θおよび閾値と横距離とに基づいて信頼度が低い領域を特定する（ステップＳ１１０）。これにより、本フローチャートの１ルーチンの処理が終了する。

ここで、カーブ路でない道路区画線の角度θ、横距離、誤差について説明する。図１０は、カーブ路でない道路が撮像された画像ＩＭ２の一例を示す図である。図１１は、画像ＩＭ２における角度θの変化を示す図である。カーブ路でない場合、変曲点が存在しない。図１２は、画像ＩＭ２における横距離の変化を示す図である。カーブ路でない場合、閾値は設けらず全ての領域の信頼度が高いと推定される。カーブ路における横距離の閾値よりも遠い距離の位置に閾値が設けられてもよい。すなわち、判定処理部１２０は、変曲点が存在しない場合、変曲点が存在する場合よりも遠方の領域の画像から検出される道路区画線の信頼度が高いと推定する。

図１３は、カーブ路でない道路区画線の位置と実測された道路区画線の位置との誤差を示す図である。縦距離が長くなるほど誤差が大きくなるが、縦距離が長くなっても誤差は小さい。このため、全ての領域またはカーブ路よりも縦距離が長い領域までの道路区画線の検出結果の信頼度は高いことが確認できる。

［フローチャート］
図１４は、運転支援装置１００により実行される処理の流れの他の一例を示すフローチャートである。ステップＳ１００からステップＳ１０６、およびステップＳ１０８、ステップＳ１１０の処理は、図９の同じステップ番号の処理と同様の処理である。

ステップＳ１０６の処理後に、判定処理部１２０は、画像が信頼度を求める対象の画像であるか否かを判定する（ステップＳ１０８）。判定処理部１２０は、角度θの変化に基づいて判定する。具体的には、上述したように（１）、または（１）と（２）との双方を満たす場合、対象の画像であると判定されてステップＳ１０８の処理に進む。満たされない場合、対象の画像でないと判定されて、本フローチャートの１ルーチンの処理が終了する。

上記の（１）は変曲点が存在することである。変曲点は角度θの変化の推移の変曲点であってもよいし、二次微分した結果の推移の変曲点であってもよい。上記の（２）は角度θを二次微分した結果の差分であって変曲点の前後の差分が閾値以上大きいことである。

上記のように、判定処理部１２０は、角度θの変化を利用して信頼度を求める対象であるか否かを簡易に判定することができる。

ここで、例えば、運転支援制御や自動運転制御などで地図情報やＧＮＳＳ衛星を利用した自己位置の推定結果を利用し、車両Ｍの道路における位置を推定して、車両Ｍを制御することが行われている。このとき、車両Ｍの位置の誤差を補正するため、カメラ１０が撮像した画像から得られる道路区画線の情報と、地図情報の道路区画線の形状の特徴とを利用して、誤差が補正されている。

画像における道路区画線の情報は、側壁などの遮蔽物や撮像素子の性能で遠方の特徴が精度よく検出できないため、道路区画線の形状を正しく把握することができないことがある。このため、カメラ１０が撮像した画像から得られる道路区画線の情報と、地図情報の道路区画線の形状の特徴との照合に誤りが発生することがある。

本実施形態では、運転支援装置１００は、上述したように、画像から得られた道路区画線である第１要素に基づいて所定距離間隔で点列を二次元上に投影し、点列を利用して変曲点を特定し、変曲点よりも遠方の縦方向の距離が同じ第１要素と第２要素との横方向の距離が閾値以下であるか否かに基づいて、画像から検出される道路区画線の信頼度を精度よく推定することできる。

[信頼度の活用]
制御部（車両制御部）１５０は、上述した信頼度を参照して、車両を制御してもよい。運転支援、地図情報とのマッチング処理、自動運転において上述した信頼度が利用される。運転支援装置１００は、例えば、信頼度の低い領域では運転支援を抑制したり、信頼度の低い領域における運転支援の計画の生成を抑制したりする。例えば、信頼度が低い領域で車線維持制御を行うことを抑制したり、車線変更制御を実行することを抑制したりする。例えば、信頼度の低い領域における運転支援の計画の生成を延期する。運転支援装置１００は、信頼度の低い領域の道路区画線と、地図情報の道路区画線のマッチング処理を抑制したり、マッチング処理の内容を変更したりする。例えば、運転支援装置１００は、信頼度の低い領域では、地図情報の道路区画線の位置を優先して利用したり、信頼度が低いことを前提として（道路区画線の位置の特定や自己位置の特定において画像から得られた道路区画線の情報の影響度を信頼度が高いときよりも低くして）マッチング処理を実行したりする。この場合、例えば、制御部１５０は、上記のマッチング処理の結果に基づいて車両Ｍの走行位置を制御する。このように、制御部１５０は、信頼度を参照して、車両Ｍの制御の内容を変更してもよい。

制御部１５０は、信頼度を参照して、車両Ｍを制御するレベルを変更してもよい。制御するレベルとは、自動運転制御の度合または運転支援制御の度合である。例えば、信頼度が高い場合、信頼度が低い場合よりも、制御部１５０が、自動運転制御の度合または運転支援制御の度合を高める。自動運転制御の度合または運転支援制御の度合とは、制御部１５０が、自身で車両Ｍを制御する度合である。自動運転制御の度合または運転支援制御の度合が高いとは、制御部１５０が、自身で車両Ｍを制御する度合が高く、自動運転制御の度合または運転支援制御の度合が低いとは、制御部１５０が、自身で車両Ｍを制御する度合が低く、運転者が車両Ｍを操作で制御する度合が高いことである。例えば、車両Ｍが自動運転を実行可能な車両Ｍである場合、信頼度が低い領域では、自動運転レベルを低下させてもよい。例えば、信頼度が低い領域では、運転者の前方監視やハンズオンなどの運転者への義務を課し、他の領域では、これらの義務を解除してもよい。また、信頼度が低い領域における自動運転の行動計画の生成が抑制されてもよい。運転支援制御でも同様である。

以上説明した実施形態によれば、判定処理部１２０は、変曲点よりも遠方の縦方向の距離が同じ第１要素と第２要素との横方向の距離が閾値以下であるか否かに基づいて、より精度よく画像から検出される道路区画線の信頼度を推定することができる。

上記説明した実施形態は、以下のように表現することができる。
プログラムを記憶した記憶装置と、
ハードウェアプロセッサと、を備え、
前記ハードウェアプロセッサが前記記憶装置に記憶されたプログラムを実行することにより、
車両の周辺が撮像された画像から道路区画線に対応する第１要素および前記道路区画線よりも外側の要素である第２要素を検出し、実際の距離に応じた所定距離間隔で前記第１要素に対応する点列を二次元上に投影し、
前記点列を利用して変曲点を特定し、
前記変曲点よりも遠方の縦方向の距離が同じ前記第１要素と前記第２要素との横方向の距離が閾値以下であるか否かに基づいて、前記画像から検出される前記道路区画線の信頼度を推定する、
ように構成されている、制御装置。

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

１ 車両システム
１０ カメラ
８０ 操作子
１００ 運転支援装置
１１０ 認識部
１２０ 判定処理部
１２２ 第１変換処理部
１２４ 第２変換処理部
１２６ 角度処理部
１２８ 距離処理部
１５０ 制御部

Claims (7)

1. 車両の周辺が撮像された画像から道路区画線に対応する第１要素および前記道路区画線よりも外側の要素である第２要素を検出し、実際の距離に応じた所定距離間隔で前記第１要素に対応する点列を二次元上に投影する第１処理部と、
   前記点列を利用して変曲点を特定し、
   前記変曲点よりも遠方の縦方向の距離が同じ前記第１要素と前記第２要素との横方向の距離が閾値未満の領域を前記画像から検出される前記道路区画線の信頼度が低い領域と推定する第２処理部と、を備え、
   前記第２処理部は、
   隣接する点列間のそれぞれの角度を導出し、角度の距離ごとの推移がゼロクロスする前記変曲点、または前記角度の推移を距離で二次微分した結果の推移がゼロクロスする前記変曲点を求める、
   制御装置。
2. 前記第２処理部は、前記変曲点の前後において最も大きい２つの角度の差分が閾値以上である場合、前記画像から検出される前記道路区画線の信頼度を推定する、
   請求項１に記載の制御装置。
3. 前記第２処理部は、前記変曲点が存在しない場合、前記変曲点が存在する場合よりも遠方の領域の前記画像から検出される前記道路区画線の信頼度が高いと推定する、
   請求項１または２に記載の制御装置。
4. 前記信頼度を参照して、前記車両を制御する車両制御部を更に備える、
   請求項１または２に記載の制御装置。
5. 前記信頼度を参照して、前記車両を制御するレベルを変更する車両制御部を更に備える、
   請求項１または２に記載の制御装置。
6. コンピュータが、
   車両の周辺が撮像された画像から道路区画線に対応する第１要素および前記道路区画線よりも外側の要素である第２要素を検出し、実際の距離に応じた所定距離間隔で前記第１要素に対応する点列を二次元上に投影する処理と、
   前記点列を利用して変曲点を特定する処理と、
   前記変曲点よりも遠方の縦方向の距離が同じ前記第１要素と前記第２要素との横方向の距離が閾値未満の領域を前記画像から検出される前記道路区画線の信頼度が低い領域と推定する処理と、を実行し、
   隣接する点列間のそれぞれの角度を導出し、角度の距離ごとの推移がゼロクロスする前記変曲点、または前記角度の推移を距離で二次微分した結果の推移がゼロクロスする前記変曲点を求める、
   制御方法。
7. コンピュータに、
   車両の周辺が撮像された画像から道路区画線に対応する第１要素および前記道路区画線よりも外側の要素である第２要素を検出し、実際の距離に応じた所定距離間隔で前記第１要素に対応する点列を二次元上に投影する処理と、
   前記点列を利用して変曲点を特定する処理と、
   前記変曲点よりも遠方の縦方向の距離が同じ前記第１要素と前記第２要素との横方向の距離が閾値未満の領域を前記画像から検出される前記道路区画線の信頼度が低い領域と推定する処理と、を実行させるためのプログラムであり、
   隣接する点列間のそれぞれの角度を導出し、角度の距離ごとの推移がゼロクロスする前記変曲点、または前記角度の推移を距離で二次微分した結果の推移がゼロクロスする前記変曲点を求める処理を実行させるためのプログラム。