JP2017116363A - 車両位置推定システム、方法およびプログラム - Google Patents

Abstract

【課題】画像による車両の位置推定の精度を向上できる技術の提供。【解決手段】車両位置推定システムは、第１車載カメラにて撮像された第１画像の画像認識に基づいて推定した車両の位置である第１推定位置と、前記第１車載カメラと光軸方向が異なる第２車載カメラにて撮像された第２画像の画像認識に基づいて推定した車両の位置である第２推定位置とを取得するカメラ別推定位置取得部と、前記第１推定位置と前記第２推定位置、および、前記第１推定位置の信頼度と前記第２推定位置の信頼度に基づいて導出した前記車両の位置である導出位置を取得する導出位置取得部と、を備える。【選択図】図２

Description

本発明は、車両位置推定システム、方法およびプログラムに関する。

カメラで撮像した画像に基づいてカメラの位置や姿勢を算出する技術が知られている（特許文献１、参照）。特許文献１の技術を車両に適用することにより、車両（カメラ）の位置も推定することができる。

特開２００９-２３７８４６号公報

しかしながら、車両は様々な方向や速度で移動するため、車両に搭載されたカメラの光軸方向が必ずしも位置や姿勢の算出に適した方向となっているとは限らないという問題があった。すなわち、車両の移動状態によっては、カメラで撮像した画像に基づいて精度よく車両の位置を推定できないという問題があった。
本発明は、前記課題にかんがみてなされたもので、画像による車両の位置推定の精度を向上できる技術を提供することを目的とする。

前記の目的を達成するため、本発明の車両位置推定システムは、第１車載カメラにて撮像された第１画像の画像認識に基づいて推定した車両の位置である第１推定位置と、第１車載カメラと光軸方向が異なる第２車載カメラにて撮像された第２画像の画像認識に基づいて推定した車両の位置である第２推定位置とを取得するカメラ別推定位置取得部と、第１推定位置と第２推定位置、および、第１推定位置の信頼度と第２推定位置の信頼度に基づいて導出した車両の位置である導出位置を取得する導出位置取得部と、を備える。

前記の目的を達成するため、本発明の車両位置推定方法は、第１車載カメラにて撮像された第１画像の画像認識に基づいて推定した車両の位置である第１推定位置と、第１車載カメラと光軸方向が異なる第２車載カメラにて撮像された第２画像の画像認識に基づいて推定した車両の位置である第２推定位置とを取得するカメラ別推定位置取得工程と、第１推定位置と第２推定位置、および、第１推定位置の信頼度と第２推定位置の信頼度に基づいて導出した車両の位置である導出位置を取得する導出位置取得工程と、を含む。

前記の目的を達成するため、本発明の車両位置推定プログラムは、第１車載カメラにて撮像された第１画像の画像認識に基づいて推定した車両の位置である第１推定位置と、第１車載カメラと光軸方向が異なる第２車載カメラにて撮像された第２画像の画像認識に基づいて推定した車両の位置である第２推定位置とを取得するカメラ別推定位置取得機能と、第１推定位置と第２推定位置、および、第１推定位置の信頼度と第２推定位置の信頼度に基づいて導出した車両の位置である導出位置を取得する導出位置取得機能と、をコンピュータに実現させる。

前記の構成において、第１推定位置と第２推定位置、および、第１推定位置の信頼度と第２推定位置の信頼度を考慮して導出位置を導出できるため、画像による車両の位置推定の精度を向上できる。例えば第１推定位置の信頼度が小さい場合でも、第２推定位置に基づいて導出位置を導出することにより精度を向上させることができる。

ナビゲーション装置のブロック図である。 図２Ａは車両の平面図、図２Ｂは地図、図２Ｃ〜図２Ｆは車載カメラによって撮像された画像である。 車両位置推定処理のフローチャートである。 他の実施形態にかかる車両の平面図である。

ここでは、下記の順序に従って本発明の実施の形態について説明する。
（１）ナビゲーション装置の構成：
（２）車両位置推定処理：
（３）他の実施形態：

（１）ナビゲーション装置の構成：
図１は、本発明の一実施形態にかかる車両位置推定システムとしてのナビゲーション装置１０の構成を示すブロック図である。ナビゲーション装置１０は、車両に備えられている。ナビゲーション装置１０は、制御部２０と記録媒体３０とを備えている。制御部２０は、ＣＰＵとＲＡＭとＲＯＭ等を備え、記録媒体３０やＲＯＭに記憶されたプログラムを実行する。

記録媒体３０は、地図情報３０ａと認識情報３０ｂとを記録している。地図情報３０ａには、車両が走行する道路上に設定されたノードの位置等を示すノードデータ、ノード間を接続する道路区間の形状を特定するための形状補間点の位置等を示す形状補間データ、道路区間についての各種情報を示すリンクデータ、施設の属性等を示す施設データ等が含まれている。

認識情報３０ｂは、画像認識により車両の位置を推定するために使用する情報であり、多数の特徴点の３次元空間内（ワールド座標系）の位置を示す情報である。特徴点とは、カメラで撮像された画像に対して画像処理を行うことにより抽出できる点であり、画像内における特徴点の位置と認識情報３０ｂが示す特徴点の位置とを照合することにより、カメラの位置と光軸方向とを推定することができる。

また、車両は、左車載カメラ４１Ｌと右車載カメラ４１ＲとユーザＩ／Ｆ部４２とを備えている。図２Ａは、車両の平面図である。図２Ａに示すように、左車載カメラ４１Ｌと右車載カメラ４１Ｒとは、それぞれ光軸方向αＬ，αＲが車両の左側方と右側方を向くように備えられている。すなわち、左車載カメラ４１Ｌの光軸方向αＬと右車載カメラ４１Ｒの光軸方向αＲの水平成分は互いに反対方向である。例えば、左右のドアミラーに左車載カメラ４１Ｌと右車載カメラ４１Ｒとが備えられてもよい

ユーザＩ／Ｆ部４５は、制御部２０から出力された制御信号に基づいて各種案内を出力する出力装置を含む。本実施形態において、ユーザＩ／Ｆ部４５の出力装置は、音声により案内を出力するスピーカと、表示部としてのディスプレイとを含む。制御部２０は、地図情報３０ａに基づいてユーザＩ／Ｆ部４５のディスプレイ上に地図を表示させ、当該地図上に車両の位置（後述する導出位置）を示すマーカを表示させる。

制御部２０は車両位置推定プログラム２１を実行する。車両位置推定プログラム２１は、カメラ別推定位置取得モジュール２１ａと導出位置取得モジュール２１ｂとを含む。
カメラ別推定位置取得モジュール２１ａは、左車載カメラ４１Ｌにて撮像された左画像の画像認識に基づいて推定した車両の位置である左推定位置と、左車載カメラ４１Ｌと光軸方向が異なる右車載カメラ４１Ｒにて撮像された右画像の画像認識に基づいて推定した車両の位置である右推定位置とを取得する機能を制御部２０に実現させるプログラムモジュールである。カメラ別推定位置取得モジュール２１ａの機能により制御部２０は、左車載カメラ４１Ｌにて撮像された左画像と、右車載カメラ４１Ｒにて撮像された右画像とを取得する。具体的に、制御部２０は、一定の撮像周期で撮像された左画像と右画像とを連続的に取得する。左画像と右画像の撮像時刻は同じである。なお、"左"と"右"は、本発明の"第１"と"第２"に相当する。

制御部２０は、左画像から特徴点を抽出するとともに、同様に、右画像から特徴点を抽出する。特徴点を抽出手法は特に限定されず、公知の手法を適用できる。例えば、制御部２０は、画像からエッジを抽出し、さらに当該エッジの曲率半径が基準値以下となっている点を特徴点として抽出してもよい。

図２Ｂは、左画像と右画像とが撮像された際の車両の位置を示す地図である。同図に示す例では、第１時刻Ｔ１において車両（破線三角）が地図上を上方に進んでおり、左側方にガードレールＧと海Ｓとが存在し、右側方に道路の区画線ＷとガードレールＧと家Ｈとが存在している。

図２Ｃは第１時刻Ｔ１において左車載カメラ４１Ｌが撮像した左画像ＩＬを示し、図２Ｄは第１時刻Ｔ１において右車載カメラ４１Ｒが撮像した右画像ＩＲを示している。左画像ＩＬにおいてはガードレールＧと海Ｓの像が存在し、右画像ＩＲにおいては区画線ＷとガードレールＧと家Ｈの像が存在している。図２Ｅは第２時刻Ｔ２（図２Ｂの実線三角）において左車載カメラ４１Ｌが撮像した左画像ＩＬを示し、図２Ｆは第２時刻Ｔ２において右車載カメラ４１Ｒが撮像した右画像ＩＲを示している。第１時刻Ｔ１から第２時刻Ｔ２までの期間は、左画像ＩＬと右画像ＩＲの撮像周期を意味する。図２Ｃ〜２Ｆにおいて、特徴点をｘで示す。

カメラ別推定位置取得モジュール２１ａの機能により制御部２０は、左画像ＩＬにて抽出した特徴点の位置を、左車載カメラ４１Ｌの座標系において特定する。左車載カメラ４１Ｌの座標系とは、左車載カメラ４１Ｌの撮像面の位置を原点とし、左車載カメラ４１Ｌの光軸方向αＬの軸と、当該光軸方向αＬの直交方向の軸（水平軸、鉛直軸）とによって規定された３次元のローカル座標系である。同様に、制御部２０は、右画像ＩＲにて抽出した特徴点の位置を、右車載カメラ４１Ｒの座標系において特定する。なお、左画像ＩＬ内の任意の画素の位置と左車載カメラ４１Ｌの座標系内での位置との対応関係は、予め左車載カメラ４１Ｌのキャリブレーションを行うことにより用意されている。同様に、右画像ＩＲ内の任意の画素の位置と右車載カメラ４１Ｒの座標系内での位置との対応関係は、予め右車載カメラ４１Ｒのキャリブレーションを行うことにより用意されている。

このキャリブレーションは、格子点の位置が３次元空間内で既知であるチェッカーボードを車載カメラ４１Ｌ，４１Ｒによって様々な位置や姿勢で撮像することにより行われる。例えば、Ｚ．Ｙ．Ｚｈａｎｇの手法（"A flexible new technique for camera calibration". IEEE Transactions on Pattern Analysis and Machine Intelligence, 22(11):1330-1334, 2000.）によってキャリブレーションが行われてもよい。このキャリブレーションを行うことにより、車載カメラ４１Ｌ，４１Ｒの外部パラメータ（位置、方向）や内部パラメータ（光軸のずれ、歪曲収差等）を得ることができる。姿勢とは、光軸方向を意味する。また、制御部２０は、左車載カメラ４１Ｌの座標系内における特徴点の位置に基づいて、左車載カメラ４１Ｌから特徴点までの距離を導出できる。同様に、制御部２０は、右車載カメラ４１Ｒの座標系内における特徴点の位置に基づいて、右車載カメラ４１Ｒから特徴点までの距離を導出できる。

ここで、車両のうち幅方向の中央の位置を基準位置Ｐとし、車両の前方を基準方向θとして定義する。基準位置Ｐと基準方向θとは、本実施形態において推定する対象となる車両の位置と方向である。ここでは、第１時刻Ｔ１における車両の基準位置Ｐ_T1と基準方向θ_T1とがワールド座標系において既知であるとして、第２時刻Ｔ２における車両の推定位置と推定方向とを推定する手法を説明する。

図２Ａの例において、車両の基準位置Ｐ_T1は、第１時刻Ｔ１における左車載カメラ４１Ｌの位置から光軸方向αＬの反対方向に距離Ａだけ移動した位置、かつ、右車載カメラ４１Ｒの位置から光軸方向αＲの反対方向に距離Ａだけ移動した位置であることとする。図２Ａの例において、車両の基準方向θ_T1は、平面視おいて左車載カメラ４１Ｌの光軸方向αＬに対して時計回りに９０度だけ回転した水平な方向、かつ、平面視おいて右車載カメラ４１Ｒの光軸方向αＲに対して反時計回りに９０度だけ回転した水平な方向であることとする。左車載カメラ４１Ｌと右車載カメラ４１Ｒと基準位置Ｐ_T1と基準方向θ_T1との相対的な位置と方向の関係は既知である。

カメラ別推定位置取得モジュール２１ａの機能により制御部２０は、第１時刻Ｔ１と第２時刻Ｔ２とにおいて撮像された左画像ＩＬから共通の特徴点を抽出し、左車載カメラ４１Ｌの座標系内における当該共通の特徴点の移動量に基づいて、左車載カメラ４１Ｌの移動量を推定する。特徴点の移動量には、並進移動量と回転移動量とが含まれる。例えば、第２時刻Ｔ２の左画像ＩＬ（図２Ｅ）に存在する４個の特徴点は、第１時刻Ｔ１の左画像ＩＬ（図２Ｃ）に存在する６個の特徴点のうち前方側の４個が後方側に移動したものである。制御部２０は、共通して存在する特徴点の組ごとに時刻Ｔ１〜Ｔ２間における特徴点の移動ベクトルを導出し、各移動ベクトルから並進成分と回転成分とを抽出することにより、並進移動量と回転移動量とを導出する。並進移動量は、複数の移動ベクトル間で共通する成分である。回転移動量は、各移動ベクトルから並進成分を除いた成分である回転ベクトルが弦を構成する扇形の基準位置Ｐ_T1まわりの中心角である。並進移動量と回転移動量の算定の基礎となる移動ベクトルの数が大きいほど、並進移動量と回転移動量の信頼度は大きくなる。

ここで、ある特徴点が左車載カメラ４１Ｌの座標系内において、ΔＰ_Lだけ並進移動し、Δθ_Lだけ回転移動したとすると、第１時刻Ｔ１から第２時刻Ｔ２までの間に車両が（−ΔＰ_L）だけ並進移動し、（−Δθ_L）だけ回転移動したと推定できる。そして、制御部２０は、車両の並進移動量（−ΔＰ_L）と回転移動量（−Δθ_L）とをワールド座標系に変換し、第１時刻Ｔ１における基準位置Ｐ_T1と基準方向θ_T1に加算することにより、第２時刻Ｔ２における左推定位置ＰＬ_T2（＝Ｐ_T1−ΔＰ_L）と左推定方向θＬ_T2（＝θ_T1−Δθ_L）とを推定する。

カメラ別推定位置取得モジュール２１ａの機能により制御部２０は、第１時刻Ｔ１と第２時刻Ｔ２とにおいて撮像された右画像ＩＲから共通の特徴点を抽出し、右車載カメラ４１Ｒの座標系内における当該共通の特徴点の移動量に基づいて、右車載カメラ４１Ｒの並進移動量、ΔＰ_Rと回転移動量Δθ_Rを推定する。そして、制御部２０は、車両の並進移動量と回転移動量とをワールド座標系に変換し、第１時刻Ｔ１における基準位置Ｐ_T2と基準方向θ_T2に加算することにより、第２時刻Ｔ２における右推定位置ＰＲ_T2（＝Ｐ_T1−ΔＰ_R）と右推定方向θＲ_T2（＝θ_T1−Δθ_R）とを推定する。

導出位置取得モジュール２１ｂは、左推定位置ＰＬ_T2と右推定位置ＰＲ_T2、および、左推定位置ＰＬ_T2の信頼度と右推定位置ＰＲ_T2の信頼度に基づいて導出した車両の位置である導出位置を取得する機能を制御部２０に実現させるプログラムモジュールである。すなわち、第２時刻Ｔ２について得られている左推定位置ＰＬ_T2と右推定位置ＰＲ_T2とに基づいて、最終的に推定される車両の位置である導出位置を導出するにあたり、左推定位置ＰＬ_T2の信頼度と右推定位置ＰＲ_T2の信頼度とが考慮される。

導出位置取得モジュール２１ｂの機能により制御部２０は、左推定位置ＰＬ_T2の信頼度ＢＬと右推定位置ＰＲ_T2の信頼度ＢＲに応じた重みによって、左推定位置ＰＬ_T2と右推定位置ＰＲ_T2とを加重平均することにより導出位置を導出する。すなわち、制御部２０は、左推定位置ＰＬ_T2の重みＷＬとしてＢＬ／（ＢＬ＋ＢＲ）を設定し、右推定位置ＰＲ_T2の重みＷＲとしてＢＲ／（ＢＬ＋ＢＲ）を設定する。そして、制御部２０は、導出位置Ｐ_T2を、ＷＬ×ＰＬ_T2＋ＷＲ×ＰＲ_T2によって導出する。同様に、制御部２０は、第２時刻Ｔ２における車両の基準方向である導出方向θ_T2、をＷＬ×θＬ_T2＋ＷＲ×θＲ_T2によって導出する。

ここで導出された導出位置Ｐ_T2と導出方向θ_T2とが次の撮像周期における基準位置Ｐ_T1と基準方向θ_T1として適用される。すなわち、導出位置Ｐ_T2と導出方向θ_T2に対して次の撮像周期（Ｔ２〜Ｔ３）における並進移動量と回転移動量とを加算することにより、次の時刻Ｔ２における導出位置Ｐ_T3と導出方向θ_T3とが導出される。以上の処理を行うことにより、撮像周期ごとに導出位置Ｐと導出方向θとを更新していくことができる。なお、初期の基準位置Ｐと基準方向θは、車載カメラ４１Ｌ，４１Ｒ以外の位置センサ（ＧＰＳセンサ等）に基づいて特定されてもよいし、認識情報３０ｂにおける特徴点の分布と第１時刻Ｔ１に撮像された画像における特徴点の分布とをマッチングすることにより特定されてもよい。

ここで、左推定位置ＰＬ_T2の信頼度ＢＬと右推定位置ＰＲ_T2の信頼度ＢＲは、それぞれ左画像ＩＬにおける特徴点の分布と右画像ＩＲにおける特徴点の分布に基づいて導出される。具体的に、左推定位置ＰＬ_T2の信頼度ＢＬは、第１時刻Ｔ１に撮像された左画像ＩＬと第２時刻Ｔ２に撮像された左画像ＩＬとにおいて共通して存在する特徴点の数に基づいて導出され、右推定位置ＰＲ_T2の信頼度ＢＲは、第１時刻Ｔ１に撮像された右画像ＩＲと第２時刻Ｔ２に撮像された右画像ＩＲとにおいて共通して存在する特徴点の数に基づいて導出される。より具体的に、左推定位置ＰＬ_T2の信頼度ＢＬは、第１時刻Ｔ１に撮像された左画像ＩＬと第２時刻Ｔ２に撮像された左画像ＩＬとにおいて共通して存在する特徴点と左車載カメラ４１Ｌまでの距離に基づいて導出され、右推定位置ＰＲ_T2の信頼度ＢＲは、第１時刻Ｔ１に撮像された右画像ＩＲと第２時刻Ｔ２に撮像された右画像ＩＲとにおいて共通して存在する特徴点と左車載カメラまでの距離に基づいて導出される。

第１時刻Ｔ１に撮像された左画像ＩＬと第２時刻Ｔ２に撮像された左画像ＩＬとにおいて共通して存在する特徴点の数をＮＬとし、第１時刻Ｔ１に撮像された左画像ＩＬと第２時刻Ｔ２に撮像された左画像ＩＬとにおいて共通して存在する特徴点と左車載カメラ４１Ｌまでの平均距離をＵＬとすると、制御部２０は、左推定位置ＰＬ_T2の信頼度ＢＬを、ＮＬ／ＵＬによって導出する。すなわち、制御部２０は、共通して存在する特徴点の数ＮＬが大きいほど大きく、かつ、共通して存在する特徴点と左車載カメラ４１Ｌまでの平均距離が大きいほど小さくなるように信頼度ＢＬを導出する。同様に、第１時刻Ｔ１に撮像された右画像ＩＲと第２時刻Ｔ２に撮像された右画像ＩＲとにおいて共通して存在する特徴点の数をＮＲとし、第１時刻Ｔ１に撮像された右画像ＩＲと第２時刻Ｔ２に撮像された右画像ＩＲとにおいて共通して存在する特徴点と右車載カメラ４１Ｒまでの平均距離をＵＲとすると、制御部２０は、右推定位置ＰＲ_T2の信頼度ＢＲを、ＮＲ／ＵＲによって導出する。

左画像ＩＬ（図２Ｃ，図２Ｅ）と、右画像ＩＲ（図２Ｄ，図２Ｆ）とを比較すると、右画像ＩＲの方が共通して存在する特徴点の数が大きい。また、右画像ＩＲには、右車載カメラ４１Ｒとの距離が小さい区画線Ｗ上の特徴点も含まれている。従って、図２Ｃ〜図２Ｆの例では、左推定位置ＰＬ_T2の信頼度ＢＬよりも、右推定位置ＰＲ_T2の信頼度ＢＲの方が大きく、左推定位置ＰＬ_T2よりも右推定位置ＰＲ_T2に近い位置が導出位置として導出されることとなる。

以上説明した本実施形態の構成において、左推定位置ＰＬ_T2と右推定位置ＰＲ_T2、および、左推定位置ＰＬ_T2の信頼度と右推定位置ＰＲ_T2の信頼度に基づいて導出位置を導出できるため、画像による車両の位置推定の精度を向上できる。例えば左推定位置ＰＬ_T2の信頼度が小さい場合でも、右推定位置ＰＲ_T2に基づいて導出位置を導出することにより精度を向上させることができる。また、左車載カメラ４１Ｌの光軸方向αＬと右車載カメラ４１Ｒの光軸方向αＲの水平成分は互いに反対方向である。これにより、左車載カメラと右車載カメラとによって１８０度異なる方向の風景を撮像でき、双方同じような被写体を撮像する可能性を抑制し、推定位置の信頼度が双方とも小さくなることを抑制できる。

左推定位置ＰＬ_T2の信頼度ＢＬと右推定位置ＰＲ_T2の信頼度ＢＲに応じた重みによって、左推定位置ＰＬ_T2と右推定位置ＰＲ_T2とを加重平均を行うことにより、信頼度が大きい推定位置を重視して導出位置を導出することができ、導出位置の精度を向上させることができる。左推定位置ＰＬ_T2の信頼度ＢＬと右推定位置ＰＲ_T2の信頼度ＢＲは、それぞれ左画像Ｉにおける特徴点の分布と右画像における特徴点の分布に基づいて導出されるため、画像の状態に基づく確かな信頼度を得ることができる。

左推定位置ＰＬ_T2の信頼度ＢＬは、第１時刻Ｔ１に撮像された左画像ＩＬと第２時刻Ｔ２に撮像された左画像ＩＬとにおいて共通して存在する特徴点の数に基づいて導出され、右推定位置ＰＲ_T2の信頼度ＢＲは、第１時刻Ｔ１に撮像された右画像ＩＲと第２時刻Ｔ２に撮像された右画像ＩＲとにおいて共通して存在する特徴点の数に基づいて導出される。ここで、共通して存在する特徴点が多いほど、第１時刻Ｔ１から第２時刻Ｔ２までの間における特徴点の変位（移動ベクトル）を多く解析することができ、当該特徴点の変位に基づいて推定位置を大きい信頼度で推定できる。従って、第１時刻Ｔ１に撮像された画像と第２時刻Ｔ２に撮像された画像とにおいて共通して存在する特徴点の数に基づいて推定位置の信頼度を導出できる。

左推定位置ＰＬ_T2の信頼度ＢＬは、第１時刻Ｔ１に撮像された左画像ＩＬと第２時刻Ｔ２に撮像された左画像ＩＬとにおいて共通して存在する特徴点と左車載カメラ４１Ｌまでの距離に基づいて導出され、右推定位置ＰＲ_T2の信頼度ＢＲは、第１時刻Ｔ１に撮像された右画像ＩＲと第２時刻Ｔ２に撮像された右画像ＩＲとにおいて共通して存在する特徴点と左車載カメラまでの距離に基づいて導出される。ここで、車載カメラ４１Ｌ，４１Ｒから特徴点までの距離が小さい場合、車両の移動量がわずかであっても画像における特徴点の変位が大きくなる。従って、特徴点までの距離が小さい場合には、特徴点の変位に基づいて推定位置を大きい信頼度で推定できる。従って、車載カメラ４１Ｌ，４１Ｒから特徴点までの距離に基づいて推定位置の信頼度を導出できる。

（２）車両位置推定処理：
次に、車両位置推定プログラム２１の機能により実行される車両位置推定処理を説明する。図３は車両位置推定処理のフローチャートである。まず、カメラ別推定位置取得モジュール２１ａの機能により制御部２０は、車載カメラ４１Ｌ，４１Ｒの位置を設定する（ステップＳ１００）。すなわち、制御部２０は、基準位置Ｐと基準方向θに対する車載カメラ４１Ｌ，４１Ｒの位置と光軸方向αＬ，θＲの相対関係を設定する。

次に、カメラ別推定位置取得モジュール２１ａの機能により制御部２０は、現在（第２時刻Ｔ２）にて撮像された画像を取得する（ステップＳ１０５）。なお、ステップＳ１０５〜Ｓ１３５は、左車載カメラ４１Ｌで撮像された左画像ＩＬと、右車載カメラ４１Ｒで撮像された右画像ＩＲの双方について同様に行われる。右画像ＩＲについての処理も同様であるため、ここでは左画像ＩＬについて行う処理のみ説明することとする。

まず、制御部２０は、現在（第２時刻Ｔ２）にて撮像された左画像ＩＬを取得する（ステップＳ１０５）。次に、カメラ別推定位置取得モジュール２１ａの機能により制御部２０は、左画像ＩＬから特徴点を抽出する（ステップＳ１１０）。

次に、カメラ別推定位置取得モジュール２１ａの機能により制御部２０は、前回（第１時刻Ｔ１）にて撮像された左画像ＩＬの特徴点情報を取得する（ステップＳ１１５）。特徴点情報とは、前回の左画像ＩＬにおいて抽出された特徴点の左車載カメラ４１Ｌの座標系での位置を示す情報である。

次に、カメラ別推定位置取得モジュール２１ａの機能により制御部２０は、共通して存在する特徴点の数ＮＬを取得する（ステップＳ１２０）。すなわち、制御部２０は、第１時刻Ｔ１にて撮像された左画像ＩＬと、第２時刻Ｔ２にて撮像された左画像ＩＬとにおいて共通して存在する特徴点の数ＮＬを取得する。

次に、カメラ別推定位置取得モジュール２１ａの機能により制御部２０は、共通して存在する特徴点までの距離ＵＬを取得する（ステップＳ１２５）。すなわち、制御部２０は、第１時刻Ｔ１にて撮像された左画像ＩＬと、第２時刻Ｔ２にて撮像された左画像ＩＬとにおいて共通して存在する特徴点から左車載カメラ４１Ｌまでの距離の平均値を距離ＵＲとして取得する。

次に、カメラ別推定位置取得モジュール２１ａの機能により制御部２０は、左推定位置ＰＬ_T2を取得する（ステップＳ１３０）。すなわち、制御部２０は、第１時刻Ｔ１と第２時刻Ｔ２との間において共通する特徴点が移動した移動ベクトルを取得し、当該移動ベクトルに基づいて車両の並進移動量（−ΔＰ_L）と回転移動量（−Δθ_L）とを推定する。さらに、制御部２０は、車両の並進移動量（−ΔＰ_L）と回転移動量（−Δθ_L）とをワールド座標系に変換し、前回（第１時刻Ｔ１）の車両の基準位置Ｐ_T1と基準方向θ_T1に加算することにより、左推定位置ＰＬ_T2と左推定方向θＬ_T2とを取得する。

次に、導出位置取得モジュール２１ｂの機能により制御部２０は、信頼度を導出する（ステップＳ１３５）。すなわち、制御部２０は、ステップＳ１２０にて取得した特徴点の数ＮＬと、ステップＳ１２５にて取得した特徴点から左車載カメラ４１Ｌまでの距離ＵＲとに基づいて左推定位置ＰＬ_T2と左推定方向θＬ_T2の信頼度ＢＬ（＝ＮＬ／ＵＬ）を導出する。説明を省略したが、ステップＳ１０５〜Ｓ１３５において、右推定位置ＰＲ_T2と右推定方向θＲ_T2と、右推定位置ＰＲ_T2と右推定方向θＲ_T2の信頼度ＢＲ（＝ＮＲ／ＵＲ）も導出されていることとなる。

次に、導出位置取得モジュール２１ｂの機能により制御部２０は、導出位置を導出する（ステップＳ１４０）。すなわち、制御部２０は、左推定位置ＰＬ_T2の重みＷＬとしてＢＬ／（ＢＬ＋ＢＲ）を設定し、右推定位置ＰＲ_T2の重みＷＲとしてＢＲ／（ＢＬ＋ＢＲ）を設定する。そして、制御部２０は、導出位置Ｐ_T2を、ＷＬ×ＰＬ_T2＋ＷＲ×ＰＲ_T2によって導出する。さらに、制御部２０は、導出方向θ_T2を、ＷＬ×θＬ_T2＋ＷＲ×θＲ_T2によって導出する。

（３）他の実施形態：
前記実施形態においては、実際に撮像された画像ＩＬ，ＩＲに基づいて信頼度ＢＬ，ＢＲを導出したが、必ずしも画像ＩＬ，ＩＲに基づいて信頼度ＢＬ，ＢＲを導出しなくてもよい。例えば、左推定位置ＰＬ_T2の信頼度ＢＬは、地図上における左車載カメラ４１Ｌの光軸方向αＬに基づいて導出され、右推定位置ＰＲ_T2の信頼度ＢＲは、地図上における右車載カメラ４１Ｒの光軸方向に基づいて導出されてもよい。地図上における光軸方向αＬ，θＲから被写体（種類や距離や数）を予測することができ、被写体に基づいて推定位置の信頼度を導出できる。例えば、光軸方向が対向車線側であるか路肩側であるかに応じて信頼度が設定されてもよい。図２Ｂの例では、地図情報３０ａに基づいて、光軸方向αＬには特徴点が存在する被写体としてガードレールＧしか存在しないのに対して、光軸方向αＲには特徴点が存在する被写体として区画線ＷとガードレールＧと家Ｈとが存在する。従って、制御部２０は、画像ＩＬ，ＩＲの特徴点を解析しなくても、地図情報３０ａに基づいて信頼度ＢＬ，ＢＲを導出できる。

また、図４に示すように、第１車載カメラの光軸方向と第２車載カメラの光軸方向には、少なくとも車両の前後方向のいずれか一方と側方とが含まれてもよい。図４において、第１車載カメラおよび第２車載カメラとして、左車載カメラ４１Ｌと右車載カメラ４１Ｒと前車載カメラ４１Ｆとが備えられており、それぞれが光軸方向αＬ，θＲ，θＦとを有している。前記実施形態のように、光軸方向が側方である場合、車両の前後の移動量を精度よく推定できる。一方、光軸方向が前方または後方である場合、車両が旋回した場合の移動量を精度よく推定できる。車載カメラが３個以上備えられる場合、制御部２０は、３個以上の車載カメラで撮像された画像のそれぞれに基づいて推定位置を推定し、各推定位置と、各推定位置の信頼度とに基づいて導出位置を導出すればよい。

推定位置の信頼度は、必ずしも時刻Ｔ１，Ｔ２に撮像された画像において共通して存在する特徴点の数に基づいて導出されなくてもよく、単に第２時刻Ｔ２に撮像された単一画像において存在する特徴点の数に基づいて導出されてもよい。同様に、推定位置の信頼度は、単に第２時刻Ｔ２に撮像された単一画像において存在する特徴点から車載カメラまでの距離に基づいて導出されてもよい。また、推定位置の信頼度は、特徴点の数のみに基づいて導出されてもよく、必ずしも特徴点から車載カメラまでの距離が考慮されなくてもよい。反対に、推定位置の信頼度は、特徴点から車載カメラまでの距離のみに基づいて導出されてもよく、必ずしも特徴点の数が考慮されなくてもよい。

少なくとも車両は第１車載カメラと第２車載カメラとを備えていればよく、３個以上の車載カメラを備えてもよい。この場合、３個以上の車載カメラのそれぞれにて撮像された画像の画像認識に基づいて推定位置が推定されればよい。また、第１車載カメラは必ずしも単一のカメラによって構成されなくてもよく、例えばステレオカメラであってもよい。同様に第２車載カメラもステレオカメラであってもよい。光軸方向は、車両の位置に応じて撮像される風景が大きく変化する方向に設定されていることが望ましく、例えば水平方向であってもよい。光軸方向が異なるとは、２個の光軸方向がなす角が規定角（例えば１０度、望ましくは３０度）以上であることであってもよい。画像認識に基づいて推定位置を推定する手法として、公知の種々の手法を採用可能である。予め位置情報が対応付けられた比較画像と車載カメラで撮像した画像とを比較することにより推定位置が推定されてもよいし、位置情報と画像のデータベースを作成しながら推定位置の推定を行うＳＬＡＭ（Simultaneous Localization and Mapping）を採用してもよい。推定位置の信頼度は、推定位置の精度が良好である可能性が大きいほど大きくなる指標値である。推定位置の信頼度は、推定位置の算出過程で使用するパラメータから導出されてもよいし、車両の状態（運動状態、位置、外部環境）から導出されてもよい。

また、導出位置取得部は、第１推定位置の信頼度と第２推定位置の信頼度に応じた重みによって、第１推定位置と第２推定位置とを加重平均することにより導出位置を導出してもよい。加重平均を行うことにより、信頼度が大きい推定位置を重視して導出位置を導出することができ、導出位置の精度を向上させることができる。ただし、導出位置取得部は、必ずしも加重平均によって導出位置を導出しなくてもよく、例えば第１推定位置の信頼度が閾値未満で第２推定位置の信頼度が当該閾値以上である場合に、第２推定位置をそのまま導出位置として取得してもよい。

さらに、第１推定位置の信頼度と第２推定位置の信頼度は、それぞれ第１画像における特徴点の分布と第２画像における特徴点の分布に基づいて導出されてもよい。このように、実際に撮像した画像から信頼度を導出することにより、画像の状態に基づく確かな信頼度を得ることができる。

また、第１推定位置の信頼度は、第１時刻に撮像された第１画像と第２時刻に撮像された第１画像とにおいて共通して存在する特徴点の数に基づいて導出され、第２推定位置の信頼度は、第１時刻に撮像された第２画像と第２時刻に撮像された第２画像とにおいて共通して存在する特徴点の数に基づいて導出されてもよい。共通して存在する特徴点が多いほど、第１時刻から第２時刻までの間における特徴点の変位を多く解析することができ、当該特徴点の変位に基づいて推定位置を大きい信頼度で推定できる。従って、第１時刻に撮像された画像と第２時刻に撮像された画像とにおいて共通して存在する特徴点の数に基づいて推定位置の信頼度を導出できる。

さらに、第１推定位置の信頼度は、第１時刻に撮像された第１画像と第２時刻に撮像された第１画像とにおいて共通して存在する特徴点と第１車載カメラまでの距離に基づいて導出され、第２推定位置の信頼度は、第１時刻に撮像された第２画像と第２時刻に撮像された第２画像とにおいて共通して存在する特徴点と第１車載カメラまでの距離に基づいて導出されてもよい。車載カメラから特徴点までの距離が小さい場合、車両の移動量がわずかであっても画像における特徴点の変位が大きくなる。従って、特徴点までの距離が小さい場合には、特徴点の変位に基づいて推定位置を大きい信頼度で推定できる。従って、車載カメラから特徴点までの距離に基づいて推定位置の信頼度を導出できる。

また、第１推定位置の信頼度は、地図上における第１車載カメラの光軸方向に基づいて導出され、第２推定位置の信頼度は、地図上における第２車載カメラの光軸方向に基づいて導出されてもよい。地図上における光軸方向から被写体（種類や距離や数）を予測することができ、被写体に基づいて推定位置の信頼度を導出できる。例えば、光軸方向が対向車線側であるか路肩側であるかに応じて信頼度が設定されてもよい。また、車両の移動方向と光軸方向との関係性に応じて推定位置の信頼度が導出されてもよい。例えば、ステアリングセンサ等から得られた操舵角に応じて推定位置の信頼度が導出されてもよいし、車速に応じて推定位置の信頼度が導出されてもよい。

さらに、第１車載カメラの光軸方向と第２車載カメラの光軸方向の水平成分は互いに反対方向であってもよい。これにより、第１車載カメラと第２車載カメラとによって１８０度異なる方向の風景を撮像でき、双方同じような被写体を撮像する可能性を抑制し、推定位置の信頼度が双方とも小さくなることを抑制できる。

また、第１車載カメラの光軸方向と第２車載カメラの光軸方向には、少なくとも車両の前後方向のいずれか一方と側方とが含まれてもよい。光軸方向が側方である場合、車両の前後の移動量を精度よく推定できる。一方、光軸方向が前方または後方である場合、車両が旋回した場合の移動量を精度よく推定できる。

さらに、本発明の車両位置推定システムを構成する各構成要素は、上述の実施形態のように、１個の装置で実現されてもよいし、２個以上の装置に分かれて存在していてもよい。後者としては、例えば、カメラ別推定位置取得部と導出位置取得部のいずれかが２個以上の装置に分散して実現される構成を採用可能である。

以上のようなシステム、プログラム、方法は、単独の装置として実現される場合や、複数の装置によって実現される場合が想定可能であり、各種の態様を含むものである。例えば、以上のような構成要素を備えたサーバや方法、プログラムを提供することが可能である。また、一部がソフトウェアであり一部がハードウェアであったりするなど、適宜、変更可能である。さらに、システムを制御するプログラムの記録媒体としても発明は成立する。むろん、そのソフトウェアの記録媒体は、磁気記録媒体であってもよいし光磁気記録媒体であってもよいし、今後開発されるいかなる記録媒体においても全く同様に考えることができる。

１０…ナビゲーション装置、２０…制御部、２１…車両位置推定プログラム、２１ａ…カメラ別推定位置取得モジュール、２１ｂ…導出位置取得モジュール、３０…記録媒体、３０ａ…地図情報、３０ｂ…認識情報、４１Ｆ…前車載カメラ、４１Ｌ…左車載カメラ、４１Ｒ…右車載カメラ、４２…ユーザＩ／Ｆ部、ＢＬ，ＢＲ…信頼度、Ｇ…ガードレール、Ｈ…家、ＩＬ…左画像、ＩＲ…右画像、ＰＬ_T2…左推定位置、ＰＲ_T2…右推定位置、Ｓ…海、Ｗ…区画線、αＬ，αＲ…光軸方向、θＬ_T2…左推定方向、θＲ_T2…右推定方向

Claims (10)

1. 第１車載カメラにて撮像された第１画像の画像認識に基づいて推定した車両の位置である第１推定位置と、前記第１車載カメラと光軸方向が異なる第２車載カメラにて撮像された第２画像の画像認識に基づいて推定した車両の位置である第２推定位置とを取得するカメラ別推定位置取得部と、
   前記第１推定位置と前記第２推定位置、および、前記第１推定位置の信頼度と前記第２推定位置の信頼度に基づいて導出した前記車両の位置である導出位置を取得する導出位置取得部と、
   を備える車両位置推定システム。
2. 前記導出位置取得部は、前記第１推定位置の信頼度と前記第２推定位置の信頼度に応じた重みによって、前記第１推定位置と前記第２推定位置とを加重平均することにより前記導出位置を導出する、
   請求項１に記載の車両位置推定システム。
3. 前記第１推定位置の信頼度と前記第２推定位置の信頼度は、それぞれ前記第１画像における特徴点の分布と前記第２画像における特徴点の分布に基づいて導出される、
   請求項１または請求項２のいずれかに記載の車両位置推定システム。
4. 前記第１推定位置の信頼度は、第１時刻に撮像された前記第１画像と第２時刻に撮像された前記第１画像とにおいて共通して存在する特徴点の数に基づいて導出され、
   前記第２推定位置の信頼度は、前記第１時刻に撮像された前記第２画像と前記第２時刻に撮像された前記第２画像とにおいて共通して存在する特徴点の数に基づいて導出される、
   請求項３に記載の車両位置推定システム。
5. 前記第１推定位置の信頼度は、第１時刻に撮像された前記第１画像と第２時刻に撮像された前記第１画像とにおいて共通して存在する特徴点と前記第１車載カメラまでの距離に基づいて導出され、
   前記第２推定位置の信頼度は、前記第１時刻に撮像された前記第２画像と前記第２時刻に撮像された前記第２画像とにおいて共通して存在する特徴点と前記第１車載カメラまでの距離に基づいて導出される、
   請求項３または請求項４のいずれかに記載の車両位置推定システム。
6. 前記第１推定位置の信頼度は、地図上における前記第１車載カメラの光軸方向に基づいて導出され、
   前記第２推定位置の信頼度は、前記地図上における前記第２車載カメラの光軸方向に基づいて導出される、
   請求項１または請求項２のいずれかに記載の車両位置推定システム。
7. 前記第１車載カメラの光軸方向と前記第２車載カメラの光軸方向の水平成分は互いに反対方向である、
   請求項１から請求項６のいずれか一項に記載の車両位置推定システム。
8. 前記第１車載カメラの光軸方向と前記第２車載カメラの光軸方向には、少なくとも前記車両の前後方向のいずれか一方と側方とが含まれる、
   請求項１から請求項６のいずれか一項に記載の車両位置推定システム。
9. 第１車載カメラにて撮像された第１画像の画像認識に基づいて推定した車両の位置である第１推定位置と、前記第１車載カメラと光軸方向が異なる第２車載カメラにて撮像された第２画像の画像認識に基づいて推定した車両の位置である第２推定位置とを取得するカメラ別推定位置取得工程と、
   前記第１推定位置と前記第２推定位置、および、前記第１推定位置の信頼度と前記第２推定位置の信頼度に基づいて導出した前記車両の位置である導出位置を取得する導出位置取得工程と、
   を含む車両位置推定方法。
10. 第１車載カメラにて撮像された第１画像の画像認識に基づいて推定した車両の位置である第１推定位置と、前記第１車載カメラと光軸方向が異なる第２車載カメラにて撮像された第２画像の画像認識に基づいて推定した車両の位置である第２推定位置とを取得するカメラ別推定位置取得機能と、
    前記第１推定位置と前記第２推定位置、および、前記第１推定位置の信頼度と前記第２推定位置の信頼度に基づいて導出した前記車両の位置である導出位置を取得する導出位置取得機能と、
    をコンピュータに実現させる車両位置推定プログラム。

Images