JP6160634B2 - 走行路面検出装置及び走行路面検出方法 - Google Patents

Description

本発明の種々の側面は、走行路面検出装置及び走行路面検出方法に関する。

特許文献１には、走行路面を検出する装置が記載されている。この装置は、左右のカメラから得られた画像を用いて、各画素に視差情報が関連づけられた視差画像を取得し、視差画像の視差情報に基づいて路面領域を特定し、視差画像をグリッド状の平面マップに座標変換して、走行路面を検出する。

ＵＳ特許出願公開第２００４／００７１２４０号明細書

しかしながら、視差画像から平面マップへの座標変換の際に、視差画像の視点と平面マップの視点との差異などに起因して、視差画像上で連続していた路面領域がグリッド状の平面マップ上で不連続な領域となる場合がある。この場合、特許文献１記載の装置は、連続している走行路面を、複数の隙間を含む走行路面や複数に分割された走行路面として誤検出することになる。本技術分野では、走行路面の検出精度の低下を改善することができる走行路面検出装置及び走行路面検出方法が望まれている。

本発明の一側面に係る走行路面検出装置は、車載カメラにより取得された車両の周囲の視差画像に基づいて走行路面を検出する走行路面検出装置であって、視差画像の視差情報に基づいて、１又は複数の画素からなる視差画像の単位領域ごとに、単位領域が路面領域であるか非路面領域であるかを判定する領域判定部と、単位領域の視差情報及び座標位置に基づいて、単位領域を、視差画像の視点よりも高い視点に設定され、車両の周囲領域がグリッド状に区切られたマップにおけるグリッドに対応付ける座標変換部と、領域判定部により路面領域と判定された単位領域に対応するグリッドである路面グリッドと、マップ上において路面グリッド間に位置するグリッドと、をマップ上における走行路面として検出する検出部と、を備える。

この走行路面検出装置によれば、座標変換部により視差画像がマップへ座標変換された後に、路面グリッドではないグリッドであってもマップ上において路面グリッド間に位置するグリッドであれば、検出部によりマップ上における走行路面として検出される。このため、この走行路面検出装置は、例えば、路面領域を含む視差画像を座標変換してマップに投影したときに路面領域に対応するマップ上の領域が不連続になった場合であっても、不連続な領域を補間して走行路面を検出することができる。このため、この装置は、走行路面の検出精度の低下を改善することができる。

一実施形態においては、検出部は、マップ上において車載カメラの位置を基準として放射状に延びる方向に並んだ路面グリッドに挟まれたグリッドを、マップ上において路面グリッド間に位置するグリッドとして、マップ上における走行路面を検出してもよい。例えば、マップ上において車載カメラの位置を基準として横方向（車幅方向）に並んだ路面グリッドに挟まれたグリッドを走行路面として検出するように装置を構成した場合には、観測点である車載カメラからみて確認することができない障害物後方のグリッドを走行路面として検出してしまうおそれがある。これに対して、この走行路面検出装置は、車載カメラの位置を基準として放射状に延びる方向に並んだ路面グリッドに挟まれているグリッドを、マップ上において路面グリッド間に位置するグリッドとするため、例えば障害物後方のグリッドを走行路面として誤検出することを回避することができる。

一実施形態においては、走行路面検出装置は、領域判定部により路面領域と判定された単位領域の座標位置又は画素情報に基づいて、領域判定部により路面領域と判定された単位領域に、路面領域を識別する識別情報を関連付ける領域識別部をさらに備えてもよい。そして、検出部は、グリッドを挟む一対の路面グリッドに対応する単位領域のそれぞれに関連づけられた識別情報が互いに異なる場合、一対の路面グリッドに挟まれたグリッドを走行路面として検出しないように構成してもよい。この場合、走行路面検出装置は、例えば視差画像に複数の路面領域が含まれるときに、路面領域間の単位領域に対応するグリッドを走行路面として誤検出することを回避することができる。

本発明の他の側面に係る走行路面検出方法は、車載カメラにより取得された車両の周囲の視差画像に基づいて走行路面を検出する走行路面検出方法であって、視差画像の視差情報に基づいて、１又は複数の画素からなる視差画像の単位領域ごとに、単位領域が路面領域であるか非路面領域であるかを判定する領域判定工程と、単位領域の視差情報及び座標位置に基づいて、単位領域を、視差画像の視点よりも高い視点に設定され、車両の周囲領域がグリッド状に区切られたマップにおけるグリッドに対応付ける座標変換工程と、領域判定工程で路面領域と判定された単位領域に対応するグリッドである路面グリッドと、マップ上において路面グリッド間に位置するグリッドと、をマップ上における走行路面として検出する検出工程と、を備える。この方法によれば、本発明の一側面に係る走行路面検出装置が奏する効果と同様に、走行路面の検出精度の低下を改善することができる。

本発明の種々の側面及び実施形態によれば、走行路面の検出精度の低下を改善することができる。

本実施形態に係る走行路面検出装置を説明するブロック図である。 ステレオカメラにより撮像された視差画像の一例を示す図である。 本実施形態に係る走行路面検出装置により処理されるデータの一例を説明するテーブルである。 視差画像の路面領域の一例である。 視差画像からグリッドマップへの座標変換の一例を説明する図である。 グリッドマップ上での走行路面検出処理の一例を説明する図である。 本実施形態に係る走行路面検出装置による走行路面検出方法の一例を示すフローチャートである。 本実施形態に係る走行路面検出装置による走行路面情報の出力処理の一例を示すフローチャートである。

以下、本発明の実施形態について図面を参照して説明する。

図１は、本実施形態に係る走行路面検出装置を説明するブロック図である。図１に示す走行路面検出装置１は、車両の周囲の視差画像に基づいて走行路面を検出する。走行路面とは、例えば、車両が走行可能な路面である。なお、走行路面には、車両が走行する道路の路面の他、駐車場の通路及び駐車スペースの路面が含まれてもよい。また、本実施形態では、走行路面検出装置１は、例えば乗用車などの車両に搭載された装置として説明する。

走行路面検出装置１は、車両の周囲を撮像する車載カメラにより取得された視差画像に基づいて、走行路面を検出する。視差画像は、視差情報又は奥行き情報を含む像（データ）である。視差画像には、例えば、視差画像を構成する画素のそれぞれに視差情報又は奥行き情報が関連付けされている。より具体的には、視差画像は、例えば画像上の座標位置と視差情報又は奥行き情報とが関連付けられた像である。

［走行路面検出装置の構成］
図１に示すように、走行路面検出装置１は、走行路面を検出するためのＥＣＵ［Electronic Control Unit］２、及びステレオカメラ３（車載カメラの一例）を備えている。ＥＣＵ２は、ＣＰＵ[Central Processing Unit]、ＲＯＭ[Read Only Memory]、ＲＡＭ[Random Access Memory]、ＣＡＮ[Controller Area Network]通信回路などを有する電子制御ユニットである。ＥＣＵ２は、例えばＣＡＮ通信回路を用いて通信するネットワークに接続され、ステレオカメラ３と通信可能に接続されている。ＥＣＵ２は、例えば、ＣＰＵが出力する信号に基づいて、ＣＡＮ通信回路を動作させてデータを入出力し、入力データをＲＡＭに記憶し、ＲＯＭに記憶されているプログラムをＲＡＭにロードし、ＲＡＭにロードされたプログラムを実行することで、後述する構成要素の機能を実現する。なお、ＥＣＵ２は、複数の電子制御ユニットから構成されていてもよい。

ステレオカメラ３は、車両の周囲を撮像して視差画像を取得する画像取得機器である。ステレオカメラ３は、例えば２つのカメラを有している。図１では、ステレオカメラ３は、両眼視差を再現するように配置された第１カメラ４及び第２カメラ５を有している。第１カメラ４及び第２カメラ５は、例えば、車両のフロントガラスの裏側に設けられ、車両の前方を撮像する。

ステレオカメラ３は、第１カメラ４及び第２カメラ５で撮像された第１画像及び第２画像を用いて視差画像を生成する。ステレオカメラ３は、例えば、第１画像を基準とし、第１画像の画素に対応する対応点を第２画像内で探索する処理を、第１画像の画素ごとに行い、画素ごとに視差情報を算出する。視差情報は、例えば、第１画像の画素位置と第２画像の対応点の画素位置との間の距離（画像上のピクセル間距離）である。ステレオカメラ３は、視差画像として、例えば、画像上の横座標位置ｘ、縦座標位置ｙと視差情報であるピクセル間距離とを関連付けた像を生成する。なお、ステレオカメラ３は、画素ごとの視差情報を、変換の一般式に当てはめて、画素ごとに奥行き情報（ステレオカメラ３からの距離情報）を求め、画像上の横座標位置ｘ、縦座標位置ｙと奥行き情報とを関連付けた像を、視差画像として生成してもよい。変換の一般式は、ステレオカメラ３の基礎情報（例えばカメラ間距離など）を係数とし、視差情報と奥行き情報とが反比例の関係となる式である。ステレオカメラ３は、取得した視差画像をＥＣＵ２へ送信する。

次に、ＥＣＵ２の機能的構成について説明する。図１に示すように、ＥＣＵ２は、画像取得部１０、領域判定部１１、領域識別部１２、座標変換部１３及び走行路面情報出力部（検出部）１４を備えている。

画像取得部１０は、ステレオカメラ３から視差画像を取得する。画像取得部１０は、ＣＰＵが出力する信号に基づいてＣＡＮ通信回路が動作することで実現する。図２は、ステレオカメラ３により撮像された視差画像の一例を示す図である。図２に示す視差画像Ｇ１は、車両の前方を撮像した画像より生成された像である。図２に示すように、車両が走行する走行路面Ｒは、縁石Ｋ１とガードレールＫ２との間に存在している。また、縁石Ｋ１とその外側に位置する木Ｋ３との間には歩道Ｈ１が存在し、ガードレールＫ２とその外側に位置する建物Ｋ４との間には歩道Ｈ２が存在している。図３の（ａ）は、視差画像のデータテーブルの一例である。図３の（ａ）に示すテーブルでは、それぞれの画素を識別する画素ＩＤ、視差画像Ｇ１上のｘ座標位置、視差画像Ｇ１上のｙ座標位置、及び、奥行き距離ｚが関連付けられている。例えば、画素ＩＤ「１」には、座標（ｘ，ｙ）として（１，１）、奥行き情報ｚとして「１００」が関連付けられている。同様に、画素ＩＤ「２」には、座標（ｘ，ｙ）として（１，２）、奥行き情報ｚとして「２００」が関連付けられている。なお、画素ＩＤと画素値との関連付けはここでは省略している。画像取得部１０は、取得した視差画像をＲＡＭなどの記憶領域に記憶する。

領域判定部１１は、視差画像Ｇ１の視差情報に基づいて、１又は複数の画素からなる視差画像Ｇ１の単位領域ごとに、単位領域が路面領域であるか非路面領域であるかを判定する。領域判定部１１は、ＣＰＵが、ＲＯＭに記憶されているプログラムをＲＡＭにロードし、ＲＡＭにロードされたプログラムを実行することで実現する。なお、単位領域とは、１又は複数の画素からなる視差画像Ｇ１上の領域である。つまり、最小の単位領域は、一画素の領域となる。以下では、単位領域が一画素（画素単位）である場合を例に説明する。

領域判定部１１は、例えば、視差画像Ｇ１を左上の画素から右下の画素まで走査することで、判定対象の画素の決定処理及び判定処理を、繰り返し実行する。路面領域とは、視差画像Ｇ１上で、路面を描画している範囲である。非路面領域とは、路面領域以外の領域であり、例えば、視差画像Ｇ１上で、路面以外の対象物を描画している範囲である。路面以外の対象物とは、例えば、建物、木、ガードレール、又は縁石などである。

領域判定部１１による路面領域の判定の一例を説明する。領域判定部１１は、奥行き情報と路面勾配との関係を示す予め取得された統計データを利用して、路面勾配を画素ごとに推定する。次に、領域判定部１１は、画素（ｘ座標，ｙ座標）の奥行き情報と、推定した路面勾配とを用いて、推定した路面勾配の高さ情報Ｈｙ（視差画像上のｙ座標に対応）を取得する。そして、領域判定部１１は、ｙ座標と高さ情報Ｈｙとを比較し、差分が所定値未満であれば路面領域、差分が所定値以上であれば非路面領域と判定する。図３の（ｂ）は、領域判定部１１が管理するデータテーブルの一例である。図３の（ｂ）に示すテーブルでは、画素ＩＤ、路面領域と非路面領域とを判定する路面フラグ、及び、後述するラベルが関連付けられている。路面フラグは、「１」の場合は路面領域であることを示し、「０」の場合は非路面領域であることを示すデータであり、領域判定部１１により判定された結果である。例えば、領域判定部１１は、画素ＩＤ「１」が路面領域である場合には、路面フラグとして「１」を関連付ける。同様に、領域判定部１１は、画素ＩＤ「２」が非路面領域である場合には、路面フラグとして「０」を関連付ける。

領域識別部１２は、領域判定部１１により路面領域と判定された画素の座標位置に基づいて、領域判定部１１により路面領域と判定された画素に、路面領域を識別する識別情報を関連付ける。領域識別部１２は、ＣＰＵが、ＲＯＭに記憶されているプログラムをＲＡＭにロードし、ＲＡＭにロードされたプログラムを実行することで実現される。なお、識別情報とは、例えば路面領域の分類を一意に識別可能な情報であり、具体的な一例としては、路面領域の分類を示すラベルである。

最初に、領域識別部１２は、領域判定部１１により路面領域と判定された画素の座標位置を用いて、他の画素との連結性を判定する。例えば、領域識別部１２は、処理対象の画素を中心として上下左右斜めの８方向の隣接画素が路面領域と判定された画素である場合には、処理対象の画素及び隣接画素に連結性があると判定する。次に、領域識別部１２は、連結性があると判定した処理対象の画素及び隣接画素に対して同一のラベルを関連付けする。つまり、同一のラベルであれば、同一の路面領域に含まれていることを示す。上述した図３の（ｂ）に示すテーブルは、領域識別部１２によっても管理されている。領域識別部１２は、処理対象の画素及び隣接画素に連結性があると判定した場合には、図３の（ｂ）に示すテーブルのラベルを更新する。例えば、領域識別部１２は、画素ＩＤ「１」と画素ＩＤ「４０９６」とに連結性があると判定した場合には、これらの画素ＩＤのラベルを同一ラベルの「２」に更新する。図４は、視差画像の路面領域の一例である。図４では、視差画像Ｇ１上に３つの路面領域Ｒ１，Ｒ２，Ｒ３を示している。例えば、路面領域Ｒ１はラベル「１」に関連づけられた画素の集合からなり、路面領域Ｒ２はラベル「２」に関連づけられた画素の集合からなり、路面領域Ｒ１はラベル「３」に関連づけられた画素の集合からなる。つまり、図３の（ｂ）に示すテーブルにおいてラベル「１」に関連付けられた画素ＩＤは、図４に示す視差画像Ｇ１上の路面領域Ｒ１を構成する画素である。同様に、図３の（ｂ）に示すテーブルにおいてラベル「２」に関連付けられた画素ＩＤは、図４に示す視差画像Ｇ１上の路面領域Ｒ２を構成する画素である。同様に、図３の（ｂ）に示すテーブルにおいてラベル「３」に関連付けられた画素ＩＤは、図４に示す視差画像Ｇ１上の路面領域Ｒ３を構成する画素である。

なお、領域識別部１２は、路面領域と判断された画素の位置関係（位置座標）に換えて、画素情報を用いて、連結性を判断してもよい。画素情報とは、輝度値、彩度、コントラストなどの画素値である。例えば、領域識別部１２は、輝度値の差分が所定値以下の画素群に対して、同一のラベルを関連付けてもよい。このように、領域識別部１２は、画素値を用いることで、視差情報が正確に取得できない画素に対してもラベリングを行うことができる。また、領域識別部１２は、路面領域と判断された画素の位置関係及び画素情報を用いて、連結性を判断してもよい。

座標変換部１３は、画素の視差情報及び座標位置に基づいて、画素を、視差画像Ｇ１の視点よりも高い視点に設定され、車両の前方に拡がる領域（周囲領域の一例）がグリッド状に区切られたグリッドマップ（マップの一例）におけるグリッドに対応付ける。座標変換部１３は、ＣＰＵが、ＲＯＭに記憶されているプログラムをＲＡＭにロードし、ＲＡＭにロードされたプログラムを実行することで実現される。

グリッドマップは、例えば、車両からの距離と横位置とからなる二次元平面を一定間隔で区切り、マス目にしたものである。グリッドマップの個々のマス目をグリッドという。マス目は正方形であってもよいし、長方形でもよい。グリッドマップは、データ構造としては、例えば、図３の（ｃ）及び（ｄ）に示すデータテーブルとなる。図３の（ｃ）に示すように、グリッドを一意に識別するグリッドＩＤに、マップの横座標Ｘ（視差画像の横座標ｘに対応）及びマップの縦座標Ｚ（視差画像の奥行き情報ｚに対応）が関連付けられている。座標変換部１３は、例えば、画素ＩＤに関連付けられた視差情報及び座標位置を一般的な座標変換式に代入して、画素ＩＤに対応するグリッドマップ上の位置を特定し、画素ＩＤに対応するグリッドＩＤを導出する。つまり、座標変換部１３は、図３の（ａ）及び（ｂ）に示すデータテーブルを参照し、画素ＩＤに関連付けられた位置情報（ｘ座標位置）及び奥行き情報ｚと座標変換式を用いて、当該画素位置をグリッドマップ上のグリッド（Ｘ，Ｚ）に変換することで、画素ＩＤとグリッドＩＤとを対応付ける。

座標変換部１３は、画素ＩＤに対応するグリッドＩＤに対して、画素ＩＤに関連付けられた路面フラグ及びラベルを付与する。例えば、図３の（ｄ）に示すように、グリッドＩＤには、路面フラグ、ラベル、及び、後述する探索ＩＤが関連付けられている。座標変換部１３は、対応するグリッドＩＤに対して画素ＩＤに関連付けられた路面フラグ及びラベルを付与する。なお、座標変換部１３は、複数の画素ＩＤに１つのグリッドＩＤが対応する場合には、複数の画素ＩＤに関連付けられた路面フラグ及びラベルから所定の条件に基づいて１つの路面フラグを決定し、グリッドＩＤに対応付けてもよい。以下では、領域判定部１１により路面領域と判定された画素に対応するグリッド、つまり、路面フラグが「１」のグリッドを「路面グリッド」、路面フラグが「０」のグリッドを「非路面グリッド」として説明する。なお、後述のとおり、「路面グリッド」及び「非路面グリッド」の何れにも該当しないグリッドが存在するため、図３の（ｄ）では、このようなグリッドの路面フラグをＮＵＬＬ値「−」とする例を図示している（グリッドＩＤ「２」を参照）。

図５は、視差画像Ｇ１からグリッドマップＧ２への座標変換の一例を説明する図である。図５の（ａ）は、視差画像Ｇ１の一例であり、図５の（ｂ）は、視差画像Ｇ１の所定領域Ａ１に対応するグリッドマップＧ２の一例である。図５の（ｂ）に示すグリッドマップＧ２は、平面視した車両前方の領域をグリッド状に区切ったマップであり、図３の（ｃ）及び（ｄ）に示すデータをビジュアル化したものである。グリッドマップＧ２は、路面グリッドＲＧを含んでいる。図中ではハッチングされたグリッドが路面グリッドＲＧである。なお、図中ではラベルの種類に応じてハッチングの種類は変更されている。例えば、路面領域Ｒ１に対応する路面グリッドＲＧにはラベル「１」が関連付けられており、路面領域Ｒ２に対応する路面グリッドＲＧにはラベル「２」が関連付けられており、路面領域Ｒ３に対応する路面グリッドＲＧにはラベル「３」が関連付けられている。つまり、図中の斜線のハッチングの種類は、ラベル「１」，「２」，「３」ごとに使い分けされている。グリッドマップＧ２において、非路面グリッドＮＧは非路面領域に関連付けられた画素に対応している。図中ではドットで埋められたグリッドが非路面グリッドＮＧである。

走行路面情報出力部１４は、例えばグリッドマップＧ２上を走査（探索）し、走査方向順に路面グリッドＲＧを接続し、接続した路面グリッドＲＧの集合体を走行路面として検出する。走行路面情報出力部１４は、ＣＰＵが、ＲＯＭに記憶されているプログラムをＲＡＭにロードし、ＲＡＭにロードされたプログラムを実行することで実現される。ここで、図５の（ｂ）に示すように、視差画像Ｇ１の路面領域Ｒ１，Ｒ２，Ｒ３をグリッドマップＧ２へ投影した場合、グリッドマップＧ２上では路面領域Ｒ１，Ｒ２，Ｒ３に対応する領域に隙間が生じる。また、グリッドマップＧ２上では非路面領域に対応する領域にも隙間が生じる。図５の（ｂ）では、太枠で囲ったグリッドが隙間を示している。以下では、路面領域および非路面領域に関連付けられた画素に対応していないグリッドを、隙間グリッドとして説明する。隙間グリッドは、視差画像Ｇ１の視点とグリッドマップＧ２の視点との差異、視差画像Ｇ１の構成単位である画素とグリッドマップＧ２の構成単位であるグリッドとの大きさの違い、又は、ステレオカメラ３の撮像精度が遠方になるにつれて低下し、遠方になるほど視差情報の誤差が大きくなること、などに起因して発生する。隙間グリッドが存在するグリッドマップＧ２を用いて走行路面が検出された場合、本来であれば連続している走行路面が分割された走行路面であると誤検出するおそれがある。

このため、本実施形態に係る走行路面検出装置１は、例えば、走行路面の検出において、隙間のある路面グリッドＲＧの集合体を、隙間のない路面グリッドＲＧの集合体とみなして走行路面を検出する。具体的には、走行路面情報出力部１４は、路面グリッドＲＧだけでなく、グリッドマップＧ２上において路面グリッドＲＧ間に位置する隙間グリッドＥＧもグリッドマップＧ２上における走行路面として検出する。グリッドマップＧ２上において路面グリッドＲＧ間に位置する隙間グリッドＥＧとは、走行路面情報出力部１４のグリッドマップＧ２の走査方向において、路面グリッドＲＧに挟まれた隙間グリッドＥＧを意味する。例えば、グリッドマップＧ２の走査方向（探索方向）がＸ方向（車幅方向、横方向）であれば、グリッドマップＧ２上において路面グリッドＲＧ間に位置する隙間グリッドＥＧとは、グリッドマップＧ２上においてＸ軸方向において一対の路面グリッドＲＧに挟まれた隙間グリッドＥＧのことである。例えば、グリッドマップＧ２の走査方向（探索方向）がＹ方向（奥行き方向、縦方向）であれば、グリッドマップＧ２上において路面グリッドＲＧ間に位置する隙間グリッドＥＧとは、グリッドマップＧ２上においてＺ軸方向において一対の路面グリッドＲＧに挟まれた隙間グリッドＥＧのことである。

走行路面情報出力部１４は、横方向及び縦方向だけでなく、斜め方向に走査（探索）して路面グリッドを接続して走行路面を検出することができる。例えば、走行路面情報出力部１４は、グリッドマップＧ２上においてステレオカメラ３の位置を基準として放射状に延びる方向に走査してもよい。この場合、路面グリッドＲＧに挟まれた隙間グリッドＥＧとは、ステレオカメラ３の位置を基準として放射状に延びる方向に並んだ一対の路面グリッドＲＧに挟まれた隙間グリッドＥＧを意味する。

なお、グリッドマップＧ２上において路面グリッドＲＧ間に位置する隙間グリッドＥＧは、隣接する一対の路面グリッドＲＧに挟まれた場合のみを意味してもよい。具体的な一例としては、走査方向に路面グリッドＲＧ、隙間グリッドＥＧ、路面グリッドＲＧと順に並んだ場合のみ、グリッドマップＧ２上において路面グリッドＲＧ間に位置する隙間グリッドＥＧとなる。隣接する路面グリッドＲＧ間に挟まれた場合に限定することで、例えば路面グリッドＲＧを遠方で誤検知した場合であっても、誤検知した路面グリッドＲＧを用いて本来は走行路面として検出してはならない領域を検出してしまうことを抑制することができる。反対に、グリッドマップＧ２上において路面グリッドＲＧ間に位置する隙間グリッドＥＧは、隣接する一対の路面グリッドＲＧに挟まれた場合のみに限定されず、一対の路面グリッドＲＧに挟まれた複数の隙間グリッドＥＧを意味してもよい。この場合、例えば、走査方向に路面グリッドＲＧ、隙間グリッドＥＧ１、隙間グリッドＥＧ２、路面グリッドＲＧと順に並んだ場合であっても、挟まれた２つの隙間グリッドＥＧ１,ＥＧ２は、グリッドマップＧ２上において路面グリッドＲＧ間に位置する隙間グリッドＥＧとなる。挟まれた隙間グリッドＥＧの個数を限定しないことによって、隙間グリッドＥＧを走行路面として検出する場面が増加するので、走行路面の検出精度の低下をより一層改善することができる。あるいは、グリッドマップＧ２上において路面グリッドＲＧ間に位置する隙間グリッドＥＧは、隙間グリッドＥＧを挟む一対の路面グリッドＲＧの間の距離が所定値以上である場合に限定してもよい。この場合、例えば、縁石などの高さの低い障害物が存在し、視差画像Ｇ１上で障害物の後ろに路面領域が確認できる場合に、本来は走行路面として検出してはならない領域を検出してしまうことを抑制することができる。走行路面情報出力部１４は、ある路面グリッドＲＧから次の路面グリッドＲＧを探索する範囲を例えば所定値以下、あるいは所定値以上にすることで、グリッドマップＧ２上において路面グリッドＲＧ間に位置する隙間グリッドＥＧを、上述した種々の意味に限定することができる。

図６は、グリッドマップＧ２上での走行路面検出処理の一例を説明する図である。図６の（ａ）は、ステレオカメラ３の位置を基準として放射状に延びる方向にグリッドマップＧ２を走査した場合の一例であり、矢印Ｙのそれぞれは、走査方向を示している。各矢印には、矢印を一意に特定する探索ＩＤが付与されている。走行路面情報出力部１４は、図３の（ｄ）に示すように、図６の（ａ）に示す矢印Ｙ上に並ぶグリッドのグリッドＩＤそれぞれに矢印Ｙに係る探索ＩＤを付与しておく。そして、走行路面情報出力部１４は、グリッドマップＧ２上で図中の矢印の方向に探索する場合、矢印に係る探索ＩＤと同一の探索ＩＤが関連付けられたグリッドＩＤを抽出する。そして、走行路面情報出力部１４は、図３の（ｃ）のグリッドＩＤの位置情報を用いて車両からの距離順に仮想的に一次元に並べ、車両側から遠方側へ一次元に並べたグリッドを走査することで、斜め方向の走査を実現する。

図６に示す矢印Ｙ１を用いて、グリッドマップＧ２上での走行路面検出処理の一例を詳細に説明する。矢印Ｙ１の検索ＩＤは「１」であるとする。走行路面情報出力部１４は、図３の（ｄ）に示すデータテーブルから探索ＩＤ「１」に関連付けられたグリッドＩＤ「１」「３」…「２４０」を抽出し、抽出したグリッドＩＤを車両からの距離順で走査する。図６の（ｂ）は、図６の（ａ）に示すグリッドマップＧ２上での走行路面検出処理を説明する図である。なお、ここでは、図６の（ｂ）に示すように、路面グリッドＲＧ１，隙間グリッドＥＧ１，路面グリッドＲＧ２，非路面グリッドＮＧ１，隙間グリッドＥＧ２，路面グリッドＲＧ３の順に並んだ部分を中心に説明する。また、路面グリッドＲＧ１及び路面グリッドＲＧ２のラベルは「１」，路面グリッドＲＧ３のラベルは「３」であるとする。

走行路面情報出力部１４は、矢印Ｙ１上を走査し、車両から路面グリッドＲＧ１までは路面グリッドが連続していると判定する。そして、走行路面情報出力部１４は、隙間グリッドＥＧ１を検出した場合、さらに遠方に路面グリッドＲＧが存在するか否かを判定する。ここでは、隙間グリッドＥＧ１の遠方に路面グリッドＲＧ２が存在している。そして、走行路面情報出力部１４は、路面グリッドＲＧ１と路面グリッドＲＧ２とのラベルが同一であるか否かを判定する。ここでは、路面グリッドＲＧ１及び路面グリッドＲＧ２のラベルは「１」であるため、走行路面情報出力部１４は、路面グリッドＲＧ１及び路面グリッドＲＧ２が放射状に延びる方向に並んだ一対の路面グリッドＲＧであると判定し、隙間グリッドＥＧ１が一対の路面グリッドＲＧに挟まれた隙間グリッドＥＧであると判定する。そして、走行路面情報出力部１４は、隙間グリッドＥＧ１を路面グリッドＲＧへ変換する。具体的には、走行路面情報出力部１４は、図３に示すデータテーブルにおいて、隙間グリッドＥＧ１に係る路面フラグを「−」から「１」へ変更する。走行路面情報出力部１４は、隙間グリッドＥＧ１に係るラベルとして、一対の路面グリッドＲＧと同一のラベルを付与してもよい。これにより、隙間の空いた路面グリッドＲＧの集合体が補間されたことになる。

一方、走行路面情報出力部１４は、車両から路面グリッドＲＧ２までは路面グリッドＲＧが連続していると判定した後、矢印Ｙ１上をさらに走査し、非路面グリッドＮＧ１を検出した場合、さらに遠方に路面グリッドＲＧが存在するか否かを判定する。ここでは、非路面グリッドＮＧ１の遠方には、隙間グリッドＥＧ２及び路面グリッドＲＧ３が存在している。そして、走行路面情報出力部１４は、路面グリッドＲＧ２と路面グリッドＲＧ３とのラベルが同一であるか否かを判定する。ここでは、路面グリッドＲＧ２のラベルは「１」、路面グリッドＲＧ３のラベルは「３」である。このように、走行路面情報出力部１４は、隙間グリッドＥＧを挟む一対の路面グリッドＲＧに対応する画素のそれぞれに関連づけられたラベルが互いに異なる場合、一対の路面グリッドＲＧに挟まれた隙間グリッドＥＧを走行路面として検出しない。つまり、走行路面情報出力部１４は、走行路面情報出力部１４は、隙間グリッドＥＧ２を路面グリッドＲＧへ変換しない。より具体的には、走行路面情報出力部１４は、図３に示すデータテーブルにおいて、隙間グリッドＥＧに係る路面フラグを「−」のままにする。このように、走行路面検出装置１は、視差画像に複数の路面領域Ｒ１，Ｒ２，Ｒ３が含まれるときに、路面領域Ｒ１，Ｒ３間の画素に対応する隙間グリッドＥＧを走行路面として誤検出することを回避することができる。

走行路面情報出力部１４は、以上説明した処理を全ての探索ＩＤに対して行う。そして、図６の（ｂ）に示すように、路面グリッドＲＧの集合体を補間する。そして、走行路面情報出力部１４は、複数の路面グリッドＲＧの集合体のうち車両に最も近い集合体を選択する。例えば、図６の（ｂ）に示す場面では、走行路面情報出力部１４は、路面グリッドＲＧの集合体ＲＸを選択する。そして、走行路面情報出力部１４は、路面グリッドＲＧの集合体ＲＸの領域を、グリッドマップＧ２上の走行路面として検出する。このように、走行路面検出装置１は、路面グリッドＲＧの集合体に隙間がある場合、隙間のない路面グリッドＲＧの集合体とみなして走行路面を検出する。

［走行路面検出装置の走行路面検出方法］
次に、走行路面検出装置１の走行路面検出方法について図面を参照して説明する。図７は、走行路面検出装置１による走行路面検出方法の一例を示すフローチャートである。図７に示すフローチャートは、例えば、車両がエンジン駆動中である間、予め設定された時間毎に実行される。

図７に示すように、ＥＣＵ２は、ステップＳ１０１として、画像取得部１０による画像取得を行う。画像取得部１０は、ステレオカメラ３から車両の周囲の視差画像を取得する。

次に、ステップＳ１０２として、ＥＣＵ２は、領域判定部１１による画素毎（単位領域毎）の路面領域の判定処理（領域判定工程）を行う。領域判定部１１は、奥行き情報と路面勾配との関係を示す予め取得された統計データを利用して、路面勾配を画素ごとに推定する。次に、領域判定部１１は、画素（ｘ座標，ｙ座標）の奥行き情報と、推定した路面勾配とを用いて、推定した路面勾配の高さ情報Ｈｙ（視差画像上のｙ座標に対応）を取得する。そして、領域判定部１１は、ｙ座標と高さ情報Ｈｙとを比較し、差分が所定値未満であれば路面領域、差分が所定値以上であれば非路面領域と判定する。

次に、ステップＳ１０３として、ＥＣＵ２は、領域識別部１２による画素毎（単位領域毎）のラベリング処理を行う。領域識別部１２は、領域判定部１１により路面領域と判定された画素の座標位置に基づいて、領域判定部１１により路面領域と判定された画素に、路面領域を識別するラベルを関連付ける。

次に、ステップＳ１０４として、ＥＣＵ２は、座標変換部１３によるグリッドマップへの投影処理（座標変換工程）を行う。座標変換部１３は、画素（単位領域）の視差情報及び座標位置に基づいて、画素を、視差画像Ｇ１の視点よりも高い視点に設定され、車両の前方に拡がる領域（周囲領域の一例）がグリッド状に区切られたグリッドマップ（マップの一例）におけるグリッドに対応付ける。

次に、ステップＳ１０５として、ＥＣＵ２は、走行路面情報出力部１４による走行路面情報の出力処理（検出工程）を行う。走行路面情報出力部１４は、例えば、車両に最も近い路面グリッドＲＧの集合体を走行路面であるとする走行路面情報を出力する。走行路面情報出力部１４は、例えば、車両の自動運転を行うＥＣＵ又は車両の運転支援を行うＥＣＵに走行路面情報を出力する。ステップＳ１０５が終了すると、ＥＣＵ２は、図７に示すフローチャートを終了する。

ここで、図７のステップＳ１０５の処理の詳細を図８に示す。図８は、走行路面検出装置１による走行路面情報の出力処理の一例を示すフローチャートである。

図８に示すように、ＥＣＵ２は、ステップＳ２００として、走行路面情報出力部１４による処理対象の探索ＩＤの決定処理を行う。走行路面情報出力部１４は、複数の探索ＩＤの中から処理対象とする探索ＩＤを一つ選択して決定する。

次に、ステップＳ２０１として、ＥＣＵ２は、走行路面情報出力部１４によるグリッド抽出処理を行う。走行路面情報出力部１４は、ステップＳ２００にて決定された探索ＩＤに基づいて、探索対象となるグリッドマップＧ２上のグリッドを全て抽出する。

次に、ステップＳ２０２として、ＥＣＵ２は、走行路面情報出力部１４による処理対象グリッド決定処理を行う。走行路面情報出力部１４は、ステップＳ２００にて決定された探索ＩＤに基づいて、処理対象となるグリッドを決定する。例えば、走行路面情報出力部１４は、探索対象となるグリッドマップＧ２上の全てのグリッドを車両までの距離順に並べ、処理対象のグリッドを１つ選択する。走行路面情報出力部１４は、グリッドまでの距離が短いほど優先的に処理対象のグリッドとなるように、グリッドを１つ選択する。

次に、ステップＳ２０４として、ＥＣＵ２は、走行路面情報出力部１４による路面グリッド判定処理を行う。走行路面情報出力部１４は、ステップＳ２０２にて決定されたグリッドが路面グリッドＲＧまたは非路面グリッドＮＧであるか否かを判定する。つまり、走行路面情報出力部１４は、ステップＳ２０２にて決定されたグリッドが隙間グリッドＥＧであるか否かを判定する。ＥＣＵ２は、ステップＳ２０２にて決定されたグリッドが路面グリッドＲＧまたは非路面グリッドＮＧであると走行路面情報出力部１４により判定された場合（Ｓ２０４：ＹＥＳ）には、ステップＳ２０７へ処理を進める。つまり、ＥＣＵ２は、ステップＳ２０２にて決定されたグリッドが隙間グリッドではない場合には、ステップＳ２０７へ処理を進める。一方、ＥＣＵ２は、ステップＳ２０２にて決定されたグリッドが路面グリッドＲＧまたは非路面グリッドＮＧでないと走行路面情報出力部１４により判定された場合（Ｓ２０４：ＮＯ）には、ステップＳ２０５へ処理を進める。つまり、ＥＣＵ２は、ステップＳ２０２にて決定されたグリッドが隙間グリッドである場合には、ステップＳ２０５へ処理を進める。

ＥＣＵ２は、ステップＳ２０５として、走行路面情報出力部１４による同一ラベル判定処理を行う。走行路面情報出力部１４は、ステップＳ２０２にて決定されたグリッドである隙間グリッドＥＧが同一ラベルの路面グリッドＲＧ間に存在するか否かを判定する。ＥＣＵ２は、隙間グリッドＥＧが同一ラベルの路面グリッドＲＧ間に存在すると走行路面情報出力部１４により判定された場合（Ｓ２０５：ＹＥＳ）には、ステップＳ２０６へ処理を進める。一方、ＥＣＵ２は、隙間グリッドＥＧが同一ラベルの路面グリッドＲＧ間に存在しないと走行路面情報出力部１４により判定された場合（Ｓ２０５：ＮＯ）には、ステップＳ２０７へ処理を進める。

ＥＣＵ２は、ステップＳ２０６として、走行路面情報出力部１４による補間処理を行う。走行路面情報出力部１４は、ステップＳ２０２にて決定されたグリッドである隙間グリッドＥＧを路面グリッドＲＧへ変更する。その後、ＥＣＵ２は、ステップＳ２０７へ処理を進める。

ＥＣＵ２は、ステップＳ２０７として、ステップＳ２０１にて抽出された全てのグリッドに対して処理を完了したか否かの走行路面情報出力部１４による判定処理を行う。ＥＣＵ２は、全てのグリッドに対して処理を完了していないと走行路面情報出力部１４により判定された場合（Ｓ２０７：ＮＯ）には、ステップＳ２０２へ戻り、次の処理対象のグリッドを決定する処理を行う。つまり、ＥＣＵ２は、ステップＳ２０１にて抽出された全てのグリッドに対して処理を完了したと走行路面情報出力部１４により判定される（Ｓ２０７：ＹＥＳ）まで、ステップＳ２０２〜ステップＳ２０７を繰り返し実行する。これにより、図６の（ａ）に示す１つの矢印に関する探索が完了し、条件を満たす隙間グリッドＥＧが路面グリッドＲＧへ変更される。

ＥＣＵ２は、全てのグリッドに対して処理を完了したと走行路面情報出力部１４により判定された場合（Ｓ２０７：ＹＥＳ）には、全ての探索ＩＤに対して処理を完了したか否かの走行路面情報出力部１４による判定処理を行う。ＥＣＵ２は、全ての探索ＩＤに対して処理を完了していないと走行路面情報出力部１４により判定された場合（Ｓ２０８：ＮＯ）には、ステップＳ２００へ戻り、次の処理対象の探索ＩＤを決定する処理を行う。つまり、ＥＣＵ２は、全ての探索ＩＤに対して処理を完了したと走行路面情報出力部１４により判定される（Ｓ２０８：ＹＥＳ）まで、ステップＳ２００〜ステップＳ２０８を繰り返し実行する。これにより、図６の（ａ）に示す全ての矢印に関する探索が完了する。

次に、ステップＳ２０９として、ＥＣＵ２は、走行路面情報出力部１４による走行路面情報出力処理を行う。走行路面情報出力部１４は、探索方向ごとに判定した連続する路面グリッドＲＧを結合させた集合体を、グリッドマップＧ２上の走行路面として検出する。走行路面情報出力部１４は、検出した走行路面に関する情報（走行路面情報）を、例えば他のＥＣＵなどに出力する。ステップＳ２０９の処理が終了すると、図８に示すフローチャートを終了する。

［走行路面検出装置及び走行路面検出方法の作用効果］
以上説明した走行路面検出装置（走行路面検出方法）１によれば、座標変換部１３により視差画像Ｇ１がグリッドマップＧ２へ座標変換された後に、グリッドマップＧ２上において路面グリッドＲＧ間に位置する隙間グリッドＥＧを、走行路面情報出力部１４によりグリッドマップＧ２上の走行路面として検出される。このため、この走行路面検出装置１は、例えば、路面領域Ｒ１，Ｒ２，Ｒ３を含む視差画像Ｇ１を座標変換してグリッドマップＧ２に投影したときに路面領域Ｒ１，Ｒ２，Ｒ３に対応するグリッドマップＧ２上の領域が不連続になった場合であっても、不連続な領域を補間して走行路面を検出することができる。このため、この装置は、走行路面の検出精度の低下を改善することができる。

また、走行路面検出装置（走行路面検出方法）１によれば、走行路面情報出力部１４は、グリッドマップＧ２上においてステレオカメラ３の位置を基準として放射状に延びる方向に並んだ路面グリッドＲＧに挟まれた隙間グリッドＥＧを、グリッドマップＧ２上において路面グリッドＲＧ間に位置する隙間グリッドＥＧとすることができる。例えば、グリッドマップＧ２上においてステレオカメラ３の位置を基準として横方向（車幅方向）に並んだ路面グリッドＲＧに挟まれた隙間グリッドＥＧを走行路面として検出するように装置を構成した場合には、観測点であるステレオカメラ３からみて確認することができない障害物後方の隙間グリッドＥＧを走行路面として検出してしまうおそれがある。これに対して、走行路面検出装置１は、グリッドマップＧ２上においてステレオカメラ３の位置を基準として放射状に延びる方向に走査することで、ステレオカメラ３の位置を基準として放射状に延びる方向に並んだ路面グリッドＲＧに挟まれている隙間グリッドＥＧを、グリッドマップＧ２上において路面グリッドＲＧ間に位置する隙間グリッドＥＧとするため、例えば障害物後方の隙間グリッドＥＧを走行路面として誤検出することを回避することができる。

また、走行路面検出装置（走行路面検出方法）１によれば、走行路面情報出力部１４は隙間グリッドＥＧを挟む一対の路面グリッドＲＧに対応する画素のそれぞれに関連づけられたラベルが互いに異なる場合、一対の路面グリッドＲＧに挟まれた隙間グリッドＥＧを走行路面として検出しないように構成することができる。この場合、走行路面検出装置１は、例えば視差画像Ｇ１に複数の路面領域Ｒ１，Ｒ２，Ｒ３が含まれるときに、路面領域間の画素に対応する隙間グリッドＥＧを走行路面として誤検出することを回避することができる。

以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されるものではない。例えば、上記実施形態では、ＥＣＵ２が、画像取得部１０、領域判定部１１、領域識別部１２、座標変換部１３及び走行路面情報出力部（検出部）１４を備える例を説明したが、領域識別部１２は必ずしも備えなくてもよい。

また、上記実施形態では、走行路面検出装置１は車両に搭載された装置として説明したが、走行路面検出装置１は車載される装置に限定されず、例えば車外に設置され、通信などにより視差画像を取得可能なサーバなどであってもよい。

また、上記実施形態では、第１カメラ４及び第２カメラ５が車両のフロントガラスの裏側に設けられ、車両の前方を撮像する例を説明したが、第１カメラ４及び第２カメラ５の設置位置はこれに限定されない。例えば、第１カメラ４及び第２カメラ５が、車両の側部又は車両の後部（例えばリアガラスの裏側）に設けられ、車両の側方又は後方を撮像してもよい。この場合、座標変換部１３は、視差画像の視点よりも高い視点に設定され、車両の側方領域又は後方領域がグリッド状に区切られたグリッドマップを用意して、座標変換処理を行えばよい。つまり、座標変換部１３は、視差画像の撮像方向にあわせて車両の周囲領域がグリッド状に区切られたグリッドマップを用意すればよい。このように構成することで、例えば車両がバックする場合であっても、走行路面検出装置１は、走行路面の検出精度の低下を改善することができる。

また、上記実施形態では、平面視のグリッドマップＧ２を説明したが、グリッドマップは、平面視に限られるものではなく、視差画像Ｇ１の視点よりも高い視点に設定された鳥瞰図でもよい。また、図５の（ｂ）では、視差画像Ｇ１の所定領域Ａ１に対応するグリッドマップＧ２の一例を示したが、所定領域Ａ１の大きさは適宜の大きさに設定することができ、例えば、視差画像Ｇ１の全体を所定領域Ａ１に設定してもよい。

また、上記実施形態では、走行路面検出装置１がステレオカメラ３に接続されている例を説明したが、ステレオカメラ３に換えて、単眼カメラを備えていてもよい。単眼カメラにおいても、周知の手法（例えば走行中の車両における撮像の時間差を利用した手法）を用いることにより、視差画像を得ることができる。

また、上記実施形態では、走行路面情報出力部１４が、路面グリッドＲＧ間に位置する隙間グリッドＥＧを路面グリッドＲＧへ変換する例を説明したが、必ずしも隙間グリッドＥＧを路面グリッドＲＧへ変換する処理を実行する必要はなく、最終的に路面グリッドＲＧの連続性を判定するときに、隙間グリッドＥＧを路面グリッドＲＧとみなして走行路面を検出してもよい。このような処理は、例えば「路面グリッドみなしフラグ」などを用いて実現することができる。

１…走行路面検出装置、３…ステレオカメラ（車載カメラ）、１１…領域判定部、１２…領域識別部、１３…座標変換部、１４…走行路面情報出力部、Ｇ１…視差画像、Ｇ２…グリッドマップ、ＮＧ…非路面グリッド、Ｒ…走行路面、Ｒ１，Ｒ２，Ｒ３…路面領域、ＲＧ…路面グリッド。

Claims (4)

1. 車載カメラにより取得された車両の周囲の視差画像に基づいて走行路面を検出する走行路面検出装置であって、
   前記視差画像の視差情報に基づいて、１又は複数の画素からなる前記視差画像の単位領域ごとに、前記単位領域が路面領域であるか非路面領域であるかを判定する領域判定部と、
   前記単位領域の視差情報及び座標位置に基づいて、前記単位領域を、前記視差画像の視点よりも高い視点に設定され、前記車両の周囲領域がグリッド状に区切られたマップにおけるグリッドに対応付ける座標変換部と、
   前記領域判定部により前記路面領域と判定された前記単位領域に対応する前記グリッドである路面グリッドと、前記マップ上において前記路面グリッド間に位置する前記グリッドと、を前記マップ上における前記走行路面として検出する検出部と、
   を備える走行路面検出装置。
2. 前記検出部は、前記マップ上において前記車載カメラの位置を基準として放射状に延びる方向に並んだ前記路面グリッドに挟まれた前記グリッドを、前記マップ上において前記路面グリッド間に位置する前記グリッドとして、前記マップ上における前記走行路面を検出する請求項１に記載の走行路面検出装置。
3. 前記領域判定部により前記路面領域と判定された前記単位領域の座標位置又は画素情報に基づいて、前記領域判定部により前記路面領域と判定された前記単位領域に、前記路面領域を識別する識別情報を関連付ける領域識別部をさらに備え、
   前記検出部は、前記グリッドを挟む一対の前記路面グリッドに対応する前記単位領域のそれぞれに関連づけられた前記識別情報が互いに異なる場合、前記一対の前記路面グリッドに挟まれた前記グリッドを前記走行路面として検出しない請求項１又は２に記載の走行路面検出装置。
4. 車載カメラにより取得された車両の周囲の視差画像に基づいて走行路面を検出する走行路面検出方法であって、
   前記視差画像の視差情報に基づいて、１又は複数の画素からなる前記視差画像の単位領域ごとに、前記単位領域が路面領域であるか非路面領域であるかを判定する領域判定工程と、
   前記単位領域の視差情報及び座標位置に基づいて、前記単位領域を、前記視差画像の視点よりも高い視点に設定され、前記車両の周囲領域がグリッド状に区切られたマップにおけるグリッドに対応付ける座標変換工程と、
   前記領域判定工程で前記路面領域と判定された前記単位領域に対応する前記グリッドである路面グリッドと、前記マップ上において前記路面グリッド間に位置する前記グリッドと、を前記マップ上における前記走行路面として検出する検出工程と、
   を備える走行路面検出方法。
   

Images