JP2017199178A - 路面状態検出装置 - Google Patents

Abstract

【課題】路面の段差部分を撮像したステレオ画像から高精度に視差を算出することができ、路面の高さなどの路面状態をより精度良く検出する。【解決手段】この路面状態検出装置は、それぞれ車両の前方の路面を撮像し、垂直方向に視差が生じるように配置された複数のカメラを有するステレオカメラと、ステレオカメラの複数のカメラによって撮像された複数の画像の対応点を垂直方向に探索して視差を算出し、算出された視差をもとに路面の状態として路面の高さを算出する演算処理回路とを具備して構成される。【選択図】図２

Description

本発明は、ステレオカメラを用いて路面の高さなどの路面状態を検出する路面状態検出装置に関する。

アクティブサスペンションシステムの制御方式として、車両前方の路面状況を検出してサスペンションの諸特性を適正に制御するプレビュー制御がある。車両前方の路面状況を検出する方法として、２台のカメラで撮像した車両前方の路面像の視差情報を用いるステレオ法が知られている。

このステレオ法を用いて路面の段差を検出する方式として、例えば、特許文献１には、路面をステレオ撮影した第１の画像と第２の画像とをＸＹ平面座標に投影し、該平面座標上に特定の座標（Ｘ、Ｙ）を中心とする検出領域を設定し、検出領域の画像が路面位置にある場合の視差ｖ１を算出し、第２の画像に視差ｖ１を差し引いた座標（Ｘ−ｖ１、Ｙ）を中心とする比較領域を設定し、検出領域の画像と比較領域の画像とを比較して、検出領域の路面からの高さを検出する技術が記載されている。この特許文献１では、路面の識別が困難である場合でも、路面からの段差の高低差を検出することができる、としている。

特開２０１４−８９５４８号公報

ステレオカメラにおいて水平方向のみの視差が生じるように２つのカメラが左右に水平方向に離間して配置されている場合、ステレオマッチングのための基準画像と参照画像との対応点探索は水平方向に行われる。

これに対し、路面の段差は、路面の施工や補修などにより生じた継目などの部分にできることが多い。このように路面の継目などの部分にできる段差をステレオカメラで撮像した画像において、段差の部分は水平方向のエッジとして多く現れるものの、垂直方向のエッジとして現れにくい。このため、ステレオマッチングのための対応点探索を水平方向に行う方法では、路面の段差部分を撮像したステレオ画像に対して一致度のピークの現れ方が鈍り、このため十分な精度で視差を算出できず、路面の高さを高精度に検出することが難しいという問題があった。

以上のような事情に鑑み、本発明の目的は、路面の段差部分を撮像したステレオ画像から高精度に視差を算出することができ、路面の高さなどの路面状態をより精度良く検出することのできる路面状態検出装置を提供することにある。

上記目的を達成するため、本発明の一形態に係る路面状態検出装置は、
それぞれ物体の移動方向の路面を撮像し、垂直方向に視差が生じるように配置された複数のカメラを有するステレオカメラと、
前記ステレオカメラの前記複数のカメラによって撮像された複数の画像の対応点を垂直方向に探索して視差を算出し、前記算出された視差をもとに前記路面の状態を検出する演算処理回路とを具備して構成されるものである。

本発明にかかる路面状態検出装置では、演算処理回路が、垂直方向に視差が生じるように配置された複数のカメラによって撮像された複数の画像の対応点を垂直方向に探索して視差を算出し、前記算出された視差をもとに前記路面の状態を検出するので、路面の段差部分を撮像したステレオ画像から高精度に視差を算出することができ、路面の高さや路面上の障害物の有無などの路面状態をより精度良く検出することができる。

また、前記演算処理回路は、前記算出された視差をもとに前記画像の横軸方向のエッジの成分を抽出し、前記画像の縦軸方向において互いに隣り合う複数の前記エッジ間の距離および高さの変位量との関係から前記路面の段差および傾斜を判別するように構成されたものであってよい。

本発明によれば、路面の段差部分を撮像したステレオ画像から高精度に視差を算出することができ、路面の高さなどの路面状態をより精度良く検出することができる。

垂直方向に視差が生じ得るように配置されたステレオカメラから路面上の検出対象点までの距離を算出する方法を説明するための図である。 ステレオカメラと検出対象点を含む路面を側方から示す図である。 本発明に係る一実施形態の路面変位検出装置の構成を示すブロック図である。 画像空間におけるタイヤ予想走行軌跡を示す図である。 本実施形態の路面状態検出装置の演算処理回路における垂直方向の視差情報の生成手順を示すフローチャートである。 車両前方の段差を有する路面の画像の例を示す図である。 垂直探索の例において視差探索範囲内での最初のステレオマッチングの様子を示す図である。 垂直探索の例において視差探索範囲内で参照画像に対する視差探索窓の位置を１画素分垂直方向に移動させたときのステレオマッチングの様子を示す図である。 垂直探索の例において視差探索範囲内で参照画像に対する視差探索窓の位置を２画素分垂直方向に移動させたときのステレオマッチングの様子を示す図である。 垂直探索の例において視差探索範囲内で参照画像に対する視差探索窓の位置を３画素分垂直方向に移動させたときのステレオマッチングの様子を示す図である。 水平探索時のステレオマッチングの様子を示す図である。

以下、図面を参照しながら、本発明の路面状態検出装置に係る一実施形態を説明する。
［概要］
本実施形態は、ステレオカメラによって撮影された複数の画像を用いて、車両前方の路面の高さや障害物有無などの路面状態を検出する路面状態検出装置に関するものである。

ステレオカメラは、複数例えば２つのカメラを有する。複数のカメラは各々、車両前方を撮像範囲とし、垂直方向に視差が生じ得るように互いに離間し、かつ各々の光軸が平行となるように配置される。

複数のカメラにより各々撮像された画像は演算処理回路によって処理される。演算処理回路は、各画像の対応点同士の視差情報を算出し、算出した視差情報とステレオカメラのパラメータ情報とをもとにステレオカメラから路面の検出対象点までの距離を算出し、算出された距離をもとに、路面の高さや路面上の障害物有無などの路面状態を検出する。

図１は垂直方向に視差が生じ得るように配置されたステレオカメラ１０から路面上の検出対象点Ｋまでの距離Ｌを算出する方法を説明するための図である。説明の簡単のため、検出対象点Ｋは、下のカメラ１０Ｂの光軸１１Ｂ上に存在することとする。同図において、ステレオカメラ１０（の基準長線Ｃ）から検出対象点Ｋまでの距離Ｄは下記の式１により算出される。
Ｄ＝（ｆ×ｄ）／（ｚ１−ｚ２） ・・・（１）
ここで、ｄはカメラ間距離、ｆはレンズの焦点距離である。ｚ１−ｚ２は上下のカメラ１０Ａ、１０Ｂによって撮像された２つの画像の垂直方向の視差であり、ｚ１は上のカメラ１０Ａの撮像面において検出対象点Ｋが結像される点のｚ座標の値、ｚ２は下のカメラ１０Ｂの撮像面において検出対象点Ｋが結像される点のｚ座標の値である。

図２は、上記のステレオカメラ１０を用いて路面上の検出対象点Ｋの高さｈを算出する方法を説明する図である。
同図に示すように、検出対象点Ｋの高さｈは、上のカメラ１０Ａの光軸１１Ａから角度θだけ下方に傾いた方向に見えるので、
ｈ＝Ｈ−Ｄｓｉｎθ ・・・（２）
により算出される。

また、カメラ１０Ｒ、１０Ｌから検出対象点Ｋまでの水平方向（Ｙ軸方向）の距離Ｌは、
Ｌ＝Ｄｃｏｓθ ・・・（３）
により算出される。
ここで、Ｈは、上のカメラ１０Ａの光軸１１Ａの路面からの高さである。

このように、ステレオ法により算出された垂直方向の視差情報を用いて、ステレオカメラ１０から路面上の検出対象点Ｋまでの距離Ｌと高さｈを算出することができる。

［本実施形態の路面状態検出装置の構成］
以下、本実施形態の路面状態検出装置の構成をより詳細に説明する。

図３は本実施形態の路面状態検出装置１の構成を示すブロック図である。
同図に示すように、本実施形態の路面状態検出装置１は、ステレオカメラ１０と、演算処理回路２０と、メモリ３０とを備える。なお、メモリ３０は演算処理回路２０内に設けられていてもよい。

ステレオカメラ１０は、２つのカメラ１０Ａ、１０Ｂを有する。２つのカメラ１０Ａ、１０Ｂは、車両前方を撮像範囲とし、垂直方向において視差が生じるように互いに離間し、かつ各々の光軸が平行となるように配置される。

カメラ１０Ａ、１０Ｂは、ＣＣＤ（Charge-Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子を備えて構成される。各々のカメラ１０Ａ、１０Ｂにより各々得られた撮像信号は演算処理回路２０に供給される。

演算処理回路２０は、メモリ３０を用いて視差算出および路面変位検出のための演算処理を行うデバイスであり、例えば、ＦＰＧＡ（Field-Programmable Gate Array）などにより構成される。これに限らず、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）などの、他の集積回路により構成されたものであってもよい。

演算処理回路２０は、機能的には、画像処理部２１と、路面変位算出部２２とを有する。
画像処理部２１は、ステレオカメラ１０より供給された２つの映像信号をデジタル化して画像とし、前処理として、各々の画像の歪み補正、各々の画像からのノイズ除去などのフィルタ処理などを行う。さらに、画像処理部２１は、前処理が施された一方の画像（カメラ１０Ａの画像）を基準画像、他方の画像（カメラ１０Ｂの画像）を参照画像として各々の画像の対応関係を垂直方向に探索して、垂直方向の視差情報を生成する。

路面変位算出部２２は、ステレオカメラ１０の画像空間において車両の左右のタイヤがこれから辿ることが予測される２本のタイヤ予想走行軌跡の座標を算出する。図４は画像空間におけるタイヤ予想走行軌跡を示す図である。これらのタイヤ予想走行軌跡６１Ｒ、６１Ｌは、車両のタイヤの左右の間隔と、ステレオカメラ１０の位置などから、マージンを含めたおおよその位置として求められればよい。また、路面変位算出部２２は、車両に設けられた舵角センサー５０によって検出された車両の舵角情報をもとにタイヤ予想走行軌跡６１Ｒ、６１Ｌを算出することも可能である。

路面変位算出部２２は、タイヤ予想走行軌跡６１Ｒ、６１Ｌ上の１以上の検出対象点の、ステレオカメラ１０からの距離Ｌおよび路面の高さｈを、画像処理部２１により求められた垂直方向の視差情報を用いて算出する。このとき路面変位算出部２２は、１つのフレームの画像の垂直方向の視差情報をもとに、複数の検出対象点Ｋの、ステレオカメラ１０からの距離Ｌおよび路面の高さｈを検出してもよい。そして、路面変位算出部２２は、算出した距離Ｌおよび高さｈの情報からサスペンションシステム６０のプレビュー制御のための路面変位情報を生成して、サスペンションシステム６０に供給する。

［路面状態検出装置１の動作］
次に、本実施形態の路面状態検出装置１の動作を説明する。

まず、ステレオカメラ１０の２つのカメラ１０Ａ、１０Ｂによって各々撮像された撮像信号は演算処理回路２０に供給される。演算処理回路２０は、画像処理部２１にて、各々の撮像信号に対して歪み補正、ノイズの除去などの前処理を行い、その結果得られた２つの画像をメモリ３０に保存する。ここで、カメラ１０Ａによって得られた画像を基準画像、カメラ１０Ｂによって得られた画像を参照画像とする。

次に、演算処理回路２０は、画像処理部２１にて、基準画像と参照画像との対応点を垂直方向に探索し、両画像の垂直方向の視差情報を生成する。

図５は、本実施形態の路面状態検出装置１の演算処理回路２０における垂直方向の視差情報の生成手順を示すフローチャートである。
まず、演算処理回路２０において、画像処理部２１は、メモリ３０から基準画像と参照画像を読み込む（ステップＳ１０１）。

画像処理部２１は、基準画像と参照画像との対応点を垂直方向に探索するために用いられる視差探索範囲のサイズと視差探索窓のサイズを設定する（ステップＳ１０２）。画像処理部２１は、視差探索窓を視差探索範囲内で１画素ずつ垂直方向に移動させながらマッチング処理を繰り返すことによって、基準画像の画素（注目画素）毎に、これに対応する参照画像の画素を垂直方向に探索する垂直探索を次のように行う。

この垂直探索では、画像処理部２１は、まず、基準画像の例えば左下隅などの原点にあたる画素を最初の注目画素として設定し（ステップＳ１０３）、この注目画素を所定の位置に含む視差探索窓の画像と、同じく参照画像の原点にあたる画素を所定の位置に含む視差探索窓の画像とのステレオマッチングを行い、一致度を算出する（ステップＳ１０４）。

次に、画像処理部２１は、参照画像の視差探索窓の位置を１画素分垂直方向に移動させ（ステップＳ１０５）、同様にステレオマッチングにより一致度を算出する（ステップＳ１０４）。この処理を設定された視差探索範囲内で繰り返す（ステップＳ１０６）。

画像処理部２１は、視差探索範囲内でのステレオマッチングの繰り返しによって算出されたすべての一致度のなかから最大一致度が得られたときの視差探索窓と最初の視差探索窓との垂直方向の距離を視差として算出する（ステップＳ１０７）。

次に、画像処理部２１は、基準画像の注目画素を次の画素にして（ステップＳ１０８）、同様に垂直探索を行う。このようにして基準画像のすべての画素に対して垂直探索を繰り返す（ステップＳ１０９）。

次に、垂直探索の例を説明する。
図６は、車両前方の段差を有する路面の画像の例を示す図である。
同図に示すように、この例では、路面８０に、例えば、路面施工や路面補修などにより生じた継目など、路線方向に対して直交する方向に沿った段差８１が存在する。このように人為的な作業などに伴って路面８０に出来る段差８１は、ステレオカメラ１０により撮像された画像に主に水平方向のエッジ成分として現れる。

図７Ａないし図７Ｄは、このような段差８１の像８１Ｉを視差探索範囲９１に含む場合に行われる垂直探索の例を示す図である。これらの同図において上は基準画像、下は参照画像である。図７Ａは視差探索範囲９１内での最初のステレオマッチングの様子であり、基準画像および参照画像の視差探索範囲９１は画像の座標空間において同一位置にある。図７Ｂは視差探索範囲９１内で参照画像に対する視差探索窓９２の位置を１画素分垂直方向に移動させたときのステレオマッチングの様子、図７Ｃは視差探索範囲９１内で参照画像に対する視差探索窓９２の位置を２画素分垂直方向に移動させたときのステレオマッチングの様子、図７Ｄは視差探索範囲９１内で参照画像に対する視差探索窓９２の位置を３画素分垂直方向に移動させたときのステレオマッチングの様子である。この例では、視差探索窓９２のサイズは、４×４画素とする。なお、視差探索窓９２のサイズは４×４画素に限定されず、その他、様々なサイズに変更してもよい。縦横の画素数が異なる視差探索窓としてもよい。

この例では、図７Ｃのように、視差探索範囲９１内で参照画像に対する視差探索窓９２の位置を２画素分垂直方向に移動させたときの一致度に急峻なピークが現れ、高い精度で視差が得られることが分かる。これに対し、水平探索では、図８に示すように、水平方向に移動させた先々の視差探索窓９２内の画像に大きな変化が現れないため、視差を精度良く算出することが困難である。このように、垂直探索は、路面の段差部分を撮像したステレオ画像から高精度に視差を算出することができ、路面の高さや、凹凸などの路面状態の検出精度を向上させるために有効である。

上記のようにして得られた垂直方向の視差情報はメモリ３０に保存される。この後、路面変位算出部２２は、メモリ３０に保存された垂直方向の視差情報をもとに、ステレオカメラ１０から検出対象点Ｋまでの距離Ｌおよび検出対象点Ｋの路面の高さｈを算出し、これらをサスペンションシステム６０に路面変位情報として供給する。

このように、本実施形態の路面状態検出装置１は、ステレオカメラ１０により撮像された路面の画像において段差の像が含まれるような場面において、視差情報をより高精度に算出することができ、より高精度の路面変位情報を生成することができる。

［段差および傾斜の判別］
本実施形態の路面状態検出装置では、路面の段差を路面の傾斜と分けて判別することが可能である。

演算処理回路２０の画像処理部２１は、ステレオカメラ１０により撮像された画像から水平方向のエッジ成分を抽出し、そのエッジ成分の、画像の座標空間における位置情報を路面変位算出部２２に出力する。路面変位算出部２２は、画像の座標空間の縦軸方向に互いに隣り合う複数のエッジ間の距離と、各エッジの位置に対応する路面の高さの変位量との関係から路面の段差および傾斜を判別する。例えば、路面変位算出部２２は、画像の座標空間の縦軸方向において、斜面判別用の閾値よりも短い間隔で路面の高さが連続的に高くまたは低くなる場合を傾斜と判別し、画像の座標空間の縦軸方向において斜面判別用の閾値より小さい段差判別用の閾値を基準に判定される間隔で路面の高さが急に高くまたは低くなる場合を段差と判別する。

［補足等］
本発明は上記の実施形態に限らず、本発明の技術思想の範囲で様々な変形が可能である。
ステレオカメラ１０の２つのカメラ１０Ａ、１０Ｂは垂直方向に視差が生じ得るように、各々の光軸１１Ａ、１１Ｂが垂直方向に互いに離間して配置されればよい。その際、２つのカメラ１０Ａ、１０Ｂの基線長軸Ｃの方向を垂直方向にすればよい。あるいは、２つのカメラ１０Ａ、１０Ｂは互いに左右上下の視差が生じるように水平方向および垂直方向に離間して配置されてもかまわない。

さらに、本発明は、路面を走行する車両に適用されるだけでなく、室内の床面などの走行面を移動する各種運搬用の機器やロボットなどにも適用することが可能であり、その他、移動する物体であれば適用され得るものである。

１…路面状態検出装置
１０…ステレオカメラ
１０Ａ…上のカメラ
１０Ｂ…下のカメラ
２０…演算処理回路
２１…画像処理部
２２…路面変位算出部
３０…メモリ
６０…サスペンションシステム

Claims (3)

1. それぞれ物体の移動方向の路面を撮像し、垂直方向に視差が生じるように配置された複数のカメラを有するステレオカメラと、
   前記ステレオカメラの前記複数のカメラによって撮像された複数の画像の対応点を垂直方向に探索して視差を算出し、前記算出された視差をもとに前記路面の状態を検出する演算処理回路とを具備する
   路面状態検出装置。
2. 請求項１に記載の路面状態検出装置であって、
   前記演算処理回路は、前記算出された視差をもとに前記路面の高さを算出するように構成された
   路面状態検出装置。
3. 請求項２に記載の路面状態検出装置であって、
   前記演算処理回路は、前記算出された視差をもとに前記画像の横軸方向のエッジの成分を抽出し、前記画像の縦軸方向において互いに隣り合う複数の前記エッジ間の距離および高さの変位量との関係から前記路面の段差および傾斜を判別するように構成された
   路面状態検出装置。