JP6477348B2 - 自己位置推定装置及び自己位置推定方法 - Google Patents

Description

本発明は、車両の地図上での位置を推定する自己位置推定装置及び自己位置推定方法に関する。

特許文献１（特開２００９−１６３７１４号公報）には、自車両の周囲に存在する標識の位置を推定し、推定した標識位置とナビゲーション装置に用いられる地図上の標識位置を照合して、地図情報に含まれる標識位置を補正することが開示されている。

該特許文献１では、投光器より周期的に点灯、消灯が切り替わる光を投光し、更に、この光の反射光をカメラで撮像し、点灯時及び消灯時に撮像した画像の差分画像を生成する。この差分画像に基づき、反射強度が所定値以上であり、且つ、対象とする標識（例えば、四角形）に相当する面積を有する領域を設定して、標識の有無及び位置を算出することが示されている。

特開２００９−１６３７１４号公報

しかしながら、上述した特許文献１に開示された従来例では、投光する光と類似した周期で点灯、消灯する光源の存在や、車両に対する標識面の角度に応じてカメラで撮像した画像に含まれる反射光が変化してしまう。このため、カメラで撮像した画像に含まれる標識位置と地図情報に含まれる標識位置を照合できず、ひいては、車両の自己位置を高精度に推定できなくなるという問題があった。

本発明は、このような従来の課題を解決するためになされたものであり、その目的とするところは、車両の自己位置を高精度に推定することが可能な自己位置推定装置及び自己位置推定方法を提供することにある。

上記目的を達成するため、本発明の一態様は、車両周囲に光を投光する投光部と、投光部より光が投光された領域を含む車両周囲を撮像する撮像部と、撮像部で撮像された画像から反射光を抽出する反射光抽出部と、反射光抽出部にて抽出された反射光に基づいて、撮像部で撮像された画像から反射物の画像領域を設定し、画像領域の面積、中心座標、受信強度の分布、及び受信強度の積分値に基づいて、車両周囲に存在する標識位置を推定する標識位置推定部を有する。更に、地図情報を取得する地図情報取得部と、地図情報に含まれる標識位置と、標識位置推定部で推定された標識位置に基づいて、車両の地図上の位置を推定する自己位置推定部を備える。

本発明によれば、撮像された画像から抽出された反射光の面積、強度の分布から車両周囲に存在する標識位置を推定し、更に、地図情報に含まれる標識位置に基づいて車両の地図上の位置を推定するので、車両の自己位置を高精度に推定することが可能となる。

本発明の一実施形態に係る自己位置推定装置の構成を示すブロック図である。 本発明の一実施形態に係る自己位置推定装置の、自己位置推定の処置手順を示すフローチャートである。 本発明の一実施形態に係る自己位置推定装置の、再散布処理の処置手順を示すフローチャートである。 （ａ）は車両位置と投光される光の強度分布との関係を示し、（ｂ）は撮像部の画角と反射係数との関係を示す特性図である。 再散布処理により生成された計測画像の一例を示す説明図である。 画素のｘ座標と、受信強度との関係を示す特性図であり、（ａ）は反射光抽出部で取得された受信強度の分布を示し、（ｂ）は再散布処理により得られた受信強度の分布を示す。 計測画像と複数の参照画像の画素値を乗算し、更にこれらの加算値を演算し、加算値が最大となる参照画像を選択する処理を模式的に示す説明図である。

以下、本発明の実施形態を図面に基づいて説明する。図１は、本発明の一実施形態に係る自己位置推定装置１００の構成を示すブロック図である。本実施形態に係る自己位置推定装置１００は、車両周囲に存在する標識位置を高精度に検出し、且つ、検出した標識位置と地図情報に含まれる標識位置を照合することにより、地図上での車両の自己位置を推定する。なお、以下に示す「標識」とは、交通標識等の路側に立設されているものやボッツドッツと併設されている反射板等の路面に設けられているものを含む概念である。

図１に示すように、本実施形態に係る自己位置推定装置１００は、投光部１１と、撮像部１２と、反射光抽出部１３と、標識位置推定部１４を備えている。更に、車両の位置情報を取得するＧＰＳ１７と、参照画像生成部１６と、自己位置推定部１５を備えている。

投光部１１は、車両の適所に搭載され、車両の周囲に向けて所定の周期で点灯、消灯を繰り返す点滅光を投光する。

撮像部１２は、車両に搭載される例えばＣＣＤカメラやＣＭＯＳカメラであり、投光部１１より照射され、車両周囲に存在する標識等の反射物Ｐで反射する光を撮像する。

反射光抽出部１３は、投光部１１にて投光した点滅光の周期に同期させて、撮像部１２で撮像された画像を取得する。そして、投光部１１の点灯時の画像と、消灯時の画像の差分を演算することにより、投光部１１により投光した光の反射光のみを抽出する。

標識位置推定部１４は、反射光抽出部１３で検出された反射光に基づいて、撮像部１２で撮像した画像内における標識の位置、領域、及び反射光強度を測定する。そして、後述する正規化処理を実施して、標識を含む画像（以下「計測画像」という）を生成する。即ち、標識位置推定部１４は、反射光抽出部１３で抽出された反射光の面積及び強度の分布から車両周囲に存在する標識位置を推定する機能を備えている。

参照画像生成部１６は、ＧＰＳ１７より取得される車両の現在位置情報、及び車両周囲に存在する標識位置を含む地図情報に基づき、予想される複数の車両姿勢から撮像部１２で撮像される車両周囲の複数の画像を参照画像として生成する。この際、複数の参照画像は、ｘ，ｙ，ｚ座標、及びヨー、ロール、ピッチがそれぞれ異なるように生成される。その結果、撮像部１２で撮像されると予想される複数の参照画像が生成される。即ち、参照画像生成部１６は、車両周囲に存在する標識位置を含む地図情報を取得する地図情報取得部としての機能を備え、この地図情報に基づいて複数の参照画像を生成する。

自己位置推定部１５は、参照画像生成部１６で生成された複数の参照画像と、標識位置推定部１４で生成された計測画像との間でマッチング処理を実行し、各画像間の一致度を演算する。そして、一致度が最も高い参照画像を選択する。更に、選択された参照画像に設定されているｘ，ｙ，ｚ座標、及びヨー、ロール、ピッチに基づいて、地図上での車両位置、及び車両の姿勢角を推定する。即ち、自己位置推定部１５は、地図情報に含まれる標識位置と、標識位置推定部１４で推定された標識位置に基づいて、車両の地図上の位置を推定する機能を備えている。

上記のマッチング処理では、例えば、図７に示すように、計測画像Ｍの各画素と参照画像Ｎの各画素の乗算を乗算器３１にて行い、更に、各乗算結果を加算する。そして、各参照画像Ｎについての加算値を比較し、加算値が最も大きくなる参照画像Ｎが、計測画像との間の一致度が最も高い画像であると判断する。詳細については後述する。

ここで、図１に示す反射光抽出部１３、標識位置推定部１４、自己位置推定部１５、及び参照画像生成部１６は、例えば、中央演算ユニット（ＣＰＵ）や、ＲＡＭ、ＲＯＭ、ハードディスク等の記憶手段からなる一体型のコンピュータとして構成することができる。

次に、本実施形態に係る自己位置推定装置１００の作用を、図２、図３に示すフローチャートを参照して説明する。初めに、図２のステップＳ１１において、投光部１１より車両周囲に点滅光を投光する。ステップＳ１２において、撮像部１２は、車両周囲を撮像する。撮像された画像には、点滅光が照射され標識（反射物）で反射した光が含まれる。

ステップＳ１３において、反射光抽出部１３は、投光部１１が点灯している際に撮像部１２で撮像された画像と、消灯している際に撮像部１２で撮像された画像との差分を演算する。その結果、撮像部１２で撮像される画像の、各画素の受信強度が求められる。標識位置推定部１４は、この受信強度を取得する。

ステップＳ１４において、標識位置推定部１４は、受信強度が一定のレベル以上の領域を標識が存在する領域として設定する。例えば、車両の前方に四角形の標識が存在する場合には、該標識にて投光部１１より投光した光が反射して撮像部１２で撮像されるので、この標識に対応する画像領域にて受信強度が一定のレベル以上となる。従って、この画像領域を標識が存在する領域として設定する。その結果、例えば図５に示すように、撮像部１２で撮像した画像中に、２つの画像領域Ｒ１、Ｒ２が設定される。

ステップＳ１５において、標識位置推定部１４は、ステップＳ１４の処理で設定した画像領域内の中心座標、受信強度の積分値、面積、及び受信強度の分布を演算する。具体的には、図５に示す画像領域Ｒ１に対して、中心座標（ｘ１，ｙ１）、受信強度積分値ΣＡ１、及び面積Ｄ１が演算され、更に、受信強度の分布が演算される。また、画像領域Ｒ２に対して、中心座標（ｘ２，ｙ２）、受信強度積分値ΣＡ２、及び面積Ｄ２が演算され、更に、受信強度の分布が演算される。面積Ｄ１及びＤ２は、例えば、予め設定される所定の受信強度値以上の画素の数から演算することができる。

ステップＳ１６において、標識位置推定部１４は、ステップＳ１５の処理で演算された各情報に基づいて、受信強度情報の再散布処理を実行し、車両Ｖ１の走行方向に対して直交する方向（画像横方向）についての光強度の変動分を補正する。以下、再散布処理を実行する理由を、図４に示す説明図を参照して説明する。

図４（ａ）は、車両Ｖ１が走行路Ｘ１を走行しており、該走行路Ｘ１の右前方に標識Ｑ２が存在し、更にその遠方に標識Ｑ１が存在する状況を示している。車両Ｖ１より点滅光が投光されると、符号ｑ１の曲線に示すように、光の強度は、車両Ｖ１の正面が最も高く、左右方向に向けて徐々に低くなる特性を有する。従って、反射光の受信強度はこの特性の影響を受けることになる。

例えば、図４（ｂ）に示すように標識Ｑ１については、画角の変化に対して光の反射係数に大きな変化は無い。即ち、標識Ｑ１の左端ｐ１に示す反射係数と右端ｐ２に示す反射係数に大差はない。これに対して、標識Ｑ２については、画角の変化に対して光の反射係数が大きく変化する。即ち、標識Ｑ２の左端ｐ３に示す反射係数に対して右端ｐ４に示す反射係数は著しく低下している。従って、標識Ｑ２で反射した光が撮像部１２で撮像されると、画像領域内の各画素で受信強度に大きな偏りが生じてしまい、正確な標識の位置推定ができなくなる。

そこで、図２のステップＳ１６において、受信強度の再散布処理を実行し、車両Ｖ１の走行方向に対して直交する方向（画像横方向）についての光強度の変動分を補正する。以下、図３に示すフローチャートを参照して、再散布処理の詳細な処理手順について説明する。なお、図４（ａ）に示した標識Ｑ１、Ｑ２は、それぞれ図５に示す画像領域Ｒ１、Ｒ２に対応している。ここでは、一例として図５に示した画像領域Ｒ２の再散布処理について説明する。

初めに、図３のステップＳ３１において、標識位置推定部１４は、図２のステップＳ１４で設定された画像領域Ｒ２の受信強度の積分値ΣＡ２を取得する。

ステップＳ３２において、標識位置推定部１４は、画像領域Ｒ２内における各画素の受信強度の分布に基づき、受信強度の重心座標Ｘｃ（図６（ｂ）参照）を取得する。

ステップＳ３３において、標識位置推定部１４は、画像縦方向が一定値で画像横方向が正規分布画像となるように受信強度を再散布する。即ち、画像領域Ｒ２で検出される信号強度は、図４で説明したように、画像領域Ｒ２内で偏りが存在する。具体的には、図６（ａ）に示すように、画像領域Ｒ２の左側の受信強度が大きく、右側に移動するにつれて受信強度が低下する。標識位置推定部１４は、画像領域Ｒ２内における受信強度の積分値ΣＡ２が一定であるという条件下で、受信強度を正規化して各画素に受信強度を再散布する。具体的には、平均値μ、標準偏差σを用いて、下記（１）式で確率密度関数ｆ（ｘ）を演算する。

ステップＳ３４において、標識位置推定部１４は、上記の確率密度関数ｆ（ｘ）に基づいて再散布後の画像を生成する。再散布により得られた画像は、投光部１１の光分布のばらつきによる受信強度の変動が均一化されている。即ち、図６（ｂ）に示すように、正規分布を有する受信強度分布を有する計測画像に変換される。

その後、ステップＳ３５において、自己位置推定部１５は、ステップＳ３４の処理で演算された計測画像と、参照画像生成部１６で生成された複数の参照画像とを比較することにより、車両の自己位置を推定する。具体的には、図７に示すように、乗算器３１にて計測画像Ｍに含まれる各画素と参照画像Ｎに含まれる各画素の乗算を実行する。更に、各乗算結果を加算して加算値を求める。この演算を、複数の参照画像Ｎに対して全て実行する。

計測画像Ｍと参照画像Ｎとの一致度が高いほど、上記の加算値が大きい値になる。従って、各参照画像Ｎのうち加算値が最も大きくなる参照画像を選択し、選択した参照画像のｘ，ｙ，ｚ座標、及びヨー、ピッチ、ロールを取得する。取得したｘ，ｙ，ｚ座標、及びヨー、ピッチ、ロールに基づいて、地図上での車両の位置を高精度に推定することができる。

このように、本実施形態に係る自己位置推定装置１００では、ＧＰＳ１７で検出される車両の自己位置に基づいて、この自己位置で撮影されると予想される画像を、ｘ，ｙ，ｚの各座標、及びヨー、ピッチ、ロールを適宜変更して複数作成し、これらを参照画像とする。そして、各参照画像像と、再散布処理により得られた計測画像との間で、各画素の乗算を実施し、更に各乗算値を加算する。画像の一致度が高い画像は、加算値が大きくなる。よって、複数の参照画像のうち、計測画像との間の加算値が最も大きいものが、計測画像と一致度が高い参照画像であると判断できる。従って、一致度が最も高いと判断された参照画像のｘ，ｙ，ｚ座標、及びヨー、ピッチ、ロールに基づいて、車両の自己位置を推定する。こうして、車両の自己位置を高精度に推定する。

つまり、車両の走行路に存在する標識を検出し、地図上での車両位置を推定する場合において、多くの標識が反射素材を用いており、点滅光源を用いたときに、その形状や受信強度情報は、反射率と距離に応じて変化する。その際、反射光の受信強度は、距離や反射物の傾き、光学的な正反射の有無等に影響され易く、計測画像と複数の参照画像との乗算を実施する場合には、上記の影響が誤差要因となる場合がある。

本実施形態では、標識の反射面の反射強度情報を正規分布補正した画像の画素値と、自車両候補位置から生成した参照画像の画素値との乗算を行うので、反射光学的な誤差要因を低減し、反射板の重心付近でマッチングの合計値が高くなる。従って、反射物の形状に依存し難く位置情報を特定することができることになる。

ここで、上述した実施形態では、ｘ，ｙ，ｚ座標、及びヨー、ピッチ、ロールを適宜変更した参照画像を作成し、この参照画像とのマッチング処理にて加算値が最も大きい参照画像を特定する例について説明したが、周知の技術であるパーティクルフィルタを用いてマッチング処理を実行することもできる。

即ち、図１に示す自己位置推定部１５は、パーティクルフィルタを用いて所定範囲のパーティクル存在分布範囲を設定する。そして、設定した存在分布範囲内にパーティクルフィルタを散布して、各パーティクルフィルタにて予測される複数の車両姿勢に基づいて、地図情報に含まれる標識位置と、標識位置推定部１４で推定された標識位置とのマッチング処理を実施して車両の地図上の位置、及び姿勢角を推定することも可能である。

このようにして、本実施形態に係る自己位置推定装置１００では、反射面の反射強度情報を正規化し、正規化した計測画像を用いて参照画像とのマッチング処理を実施する。従って、標識の形状や反射率等の光学的な特性に影響されることなく、高精度に計測画像を生成することができ、ひいては自己位置を高精度に推定することが可能となる。

また、投光部１１より、周期的に点灯、消灯が切り替わる点滅光を投光し、点滅光が点灯している際の画像、及び点滅光が消灯しているときの画像から、反射物からの反射光を検出する。従って、他の光源等の影響を低減することができ、標識位置の検出を高精度に行うことが可能となる。

更に、標識位置推定部１４は、抽出した領域の、水平方向に抽出した反射光の面積、及び反射強度の分布に基づいて、標識位置を検出する。即ち、強度分布を検出する際に、光学的な位置関係の影響が大きい水平方向について評価することで、強度分布による影響を抑えて、面積及び強度の積分値から高精度に位置を測定することが可能となる。

また、上述した実施形態では、ｘ，ｙ，ｚ座標、及びヨー、ピッチ、ロールが相違する複数の参照画像を生成し、各参照画像と計測画像との一致度を求めて、車両の自己位置を推定する例について説明したが、パーティクルフィルタを用いることも可能である。

更に、パーティクルフィルタを用いて計測画像との一致度を求める場合には、所定範囲内の探索を行う際に、反射強度を重み付けに含めて探索することで、より強い反射が得られる反射物に応じた自己位置計測の結果が得られる。従って、自己位置の推定精度をより一層向上させることが可能となる。

［変形例の説明］
上記した実施形態では、点滅光を投光して、標識が存在する領域を検出する例について説明したが、周期変化された光を投光し、撮像された画像から、その周期と同期した光を抽出して同期画像を生成する同期検波処理を用いることも可能である。具体的には、投光部１１より送信する信号をＳ（ｔ）とし、これをsin（ωt）で変調する。更に、撮像部１２で撮像された画像データにsin（ωt）を乗じる。すると、下記（２）式の関係から、ローパスフィルタで高周波成分を除去すれば、信号Ｓ（ｔ）を抽出できる。
Ｓ（ｔ）*sin(ωt)*sin(ωt)=Ｓ（ｔ）*(１−cos(２ωt))／２ …（２）
なお、同期検波方式は、周知の技術であるので、詳細な説明を省略する。そして、同期検波処理を用いることにより、より高精度に標識位置を推定することが可能となる。

即ち、投光部１１は、周期的に輝度が変化する光を投光し、反射光抽出部１３は、撮像部１２で取得された画像から、輝度の周期的変化と同期する反射光を抽出する。そして、この反射光に基づいて同期画像を生成し、この同期画像を計測画像として用いる。従って、反射光の強度を正確に計測するために、同期検波回路を設けて、投光部１１と同調して反射光の周期的な変調を検知し、振幅強度を観測できるので、画像中に存在する標識位置の検出を、より高精度に実施することが可能となる。

以上、本発明の自己位置推定装置、及び自己位置推定方法を図示の実施形態に基づいて説明したが、本発明はこれに限定されるものではなく、各部の構成は、同様の機能を有する任意の構成のものに置き換えることができる。

１１ 投光部
１２ 撮像部
１３ 反射光抽出部
１４ 標識位置推定部
１５ 自己位置推定部
１６ 参照画像生成部
１７ ＧＰＳ
３１ 乗算器
１００ 自己位置推定装置

Claims (5)

1. 車両に搭載され、車両周囲に光を投光する投光部と、
   車両に搭載され、前記投光部より光が投光された領域を含む車両周囲を撮像する撮像部と、
   前記撮像部で撮像された画像から、前記投光部より投光された光の反射光を抽出する反射光抽出部と、
   前記反射光抽出部にて抽出された反射光に基づいて、前記撮像部で撮像された画像から反射物の画像領域を設定し、前記画像領域の面積、中心座標、受信強度の分布、及び受信強度の積分値に基づいて、車両周囲に存在する標識位置を推定する標識位置推定部と、
   車両周囲に存在する標識位置を含む地図情報を取得する地図情報取得部と、
   前記地図情報に含まれる標識位置と、前記標識位置推定部で推定された標識位置に基づいて、前記車両の地図上の位置を推定する自己位置推定部と、
   を備えたことを特徴とする自己位置推定装置。
2. 前記投光部は、周期的に輝度が変化する光を投光し、
   前記反射光抽出部は、前記撮像部で取得された画像から、前記輝度の周期的変化と同期する反射光を抽出すること
   を特徴とする請求項１に記載の自己位置推定装置。
3. 前記標識位置推定部は、抽出した領域の、水平方向に抽出した反射光の面積、及び反射強度の分布に基づいて、標識位置を検出すること
   を特徴とする請求項２に記載の自己位置推定装置。
4. 前記自己位置推定部は、パーティクルフィルタを用いて所定範囲のパーティクル存在分布範囲を設定し、
   設定した存在分布範囲内に散布したパーティクルと、前記車両が所定時間に進んだ後のパーティクルの位置関係から予測される複数の車両姿勢と、地図情報に含まれる標識位置と、前記標識位置推定部で推定された標識位置に基づいて、前記車両の地図上の位置、及び姿勢角を推定すること
   を特徴とする請求項１〜３のいずれか１項に記載の自己位置推定装置。
5. 車両周囲に光を投光する工程と、
   前記光が投光された領域を含む車両周囲を撮像する工程と、
   前記車両周囲の画像から、前記光の反射光を抽出する工程と、
   前記抽出された反射光に基づいて、前記車両周囲の画像から反射物の画像領域を設定し、前記画像領域の面積、中心座標、受信強度の分布、及び受信強度の積分値に基づいて、車両周囲に存在する標識位置を推定する工程と、
   車両周囲に存在する標識位置を含む地図情報を取得する工程と、
   前記地図情報に含まれる標識位置と、推定された標識位置に基づいて、前記車両の地図上の位置を推定する工程と、
   を備えたことを特徴とする自己位置推定方法。
   
   

Images