JP2012123751A - 車両用画像処理装置および車両用画像処理方法 - Google Patents

Abstract

【課題】カメラにより取得された画像から消失点を抽出する車両用画像処理装置を提供する。
【解決手段】カメラ１１は、車両に設けられ車両の周辺を撮像する。記憶部１３は、消失点座標の情報を記憶する。動きベクトル算出部２１は、カメラ１１により撮像された複数の画像間の動きベクトルを求める。フレーム内消失点算出部２２は、動きベクトルにもとづいて画像ごとに画像内の消失点座標を求める。消失点信頼性評価部２３は、フレーム内消失点算出部２２により求められた画像内の消失点座標の収束性が基準範囲内であるか否かを判定し、収束性が基準範囲内であると判定した画像内の消失点座標を出力する。消失点情報更新部２５は、消失点信頼性評価部２３が出力した画像内の消失点座標を用いて記憶部１３に記憶された消失点座標の情報を更新する。
【選択図】図１

Description

本発明の実施形態は、車両用画像処理装置および車両用画像処理方法に関する。

最近、自動車などの車両の運転を支援するための技術として、たとえば、車載カメラにより撮像された画像にもとづいて車両と対象物との衝突可能性を判定する技術がある。この種の技術において、車載カメラにより撮像された画像を解析する際には、画像中の消失点（ＦＯＥ：Focus of Expansion）の情報が必要となる。

車載カメラにより撮像された画像中の消失点ＦＯＥは、積載量や乗車人員の多寡によって生じる車両の傾きに応じて変動する。また、経時変化によってカメラ取り付け角度が変動すると、画像中の消失点ＦＯＥの位置も変動する。消失点が変動すると画像解析の精度が低下する。このため、消失点ＦＯＥの情報は自動的に校正更新されることが望ましい。また、特別なセンサなどを用いることなく車載カメラにより撮像された画像にもとづいて消失点ＦＯＥの情報を更新することにより、コストを低減することができる。

特開２００８−２２５７８４号公報

しかし、従来の技術では、画像中の道路等の直線部を延長した交点として消失点ＦＯＥが定義されている。このため、消失点ＦＯＥを更新するためには、画像中に道路等の直線部が存在することが必要となってしまう。

したがって、他の車両によって道路の直線部分が隠されてしまうと消失点ＦＯＥを抽出することが難しい。また、従来の技術は、被写体が静止物であることを前提としており、被写体に移動体が含まれる場合を考慮していない。このため、従来の技術は、通行量の多い一般道における通常走行時に適用することが難しい。

本発明の一実施形態に係る車両用画像処理装置は、上述した課題を解決するために、カメラと、記憶部と、動きベクトル算出部と、フレーム内消失点算出部と、消失点信頼性評価部と、消失点情報更新部と、を備える。カメラは、車両に設けられ車両の周辺を撮像する。記憶部は、消失点座標の情報を記憶する。動きベクトル算出部は、カメラにより撮像された複数の画像間の動きベクトルを求める。フレーム内消失点算出部は、動きベクトルにもとづいて画像ごとに画像内の消失点座標を求める。消失点信頼性評価部は、フレーム内消失点算出部により求められた画像内の消失点座標の収束性が基準範囲内であるか否かを判定し、収束性が基準範囲内であると判定した画像内の消失点座標を出力する。消失点情報更新部は、消失点信頼性評価部が出力した画像内の消失点座標を用いて記憶部に記憶された消失点座標の情報を更新する。

本発明の一実施形態に係る車両用画像処理装置の一例を示す全体構成図。 カメラ座標系におけるカメラ投影面と路面の対象物上の点Ｐとの関係を示す説明図。 消失点抽出ＥＣＵのＣＰＵが、カメラにより取得された画像から信頼性の高い消失点を抽出する際の手順を示すフローチャート。

本発明に係る車両用画像処理装置の実施の形態について、添付図面を参照して説明する。

図１は、本発明の一実施形態に係る車両用画像処理装置１０の一例を示す全体構成図である。

車両用画像処理装置１０は、カメラ１１、消失点抽出ＥＣＵ（Electronic Control Unit）１２および記憶部１３を有する。

カメラ１１は、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサにより構成され、自家用自動車等の車両周囲の画像を取り込んで画像信号を生成して消失点抽出ＥＣＵ１２に与える。

たとえば後方を監視する場合、カメラ１１は車両後部のナンバープレート付近に路面と平行な線からやや下向きに配設される。カメラ１１には、より広範な車両外画像が取得可能なように広角レンズや魚眼レンズが取り付けられてもよい。また、車両の側方を監視する場合、カメラ１１はサイドミラー付近に配設される。もちろん、複数のカメラ１１を用いることにより広範な車外周囲画像を取り込むようにしてもよい。

消失点抽出ＥＣＵ１２は、ＣＰＵ、ＲＡＭおよびＲＯＭなどの記憶媒体などにより構成される。消失点抽出ＥＣＵ１２のＣＰＵは、ＲＯＭなどの記憶媒体に記憶された画像処理プログラムおよびこのプログラムの実行のために必要なデータをＲＡＭへロードし、このプログラムに従って、カメラ１１により取得された画像から信頼性の高い消失点を抽出する処理を実行する。

消失点抽出ＥＣＵ１２のＲＡＭは、ＣＰＵが実行するプログラムおよびデータを一時的に格納するワークエリアを提供する。消失点抽出ＥＣＵ１２のＲＯＭなどの記憶媒体は、消失点抽出プログラムや、これらのプログラムを実行するために必要な各種データを記憶する。

なお、ＲＯＭをはじめとする記憶媒体は、磁気的もしくは光学的記録媒体または半導体メモリなどの、ＣＰＵにより読み取り可能な記録媒体を含んだ構成を有し、これら記憶媒体内のプログラムおよびデータの一部または全部は図示しないネットワーク接続部を介して電子ネットワークを介してダウンロードされるように構成してもよい。

なお、この場合、ネットワーク接続部は、ネットワークの形態に応じた種々の情報通信用プロトコルを実装し、この各種プロトコルに従って消失点抽出ＥＣＵ１２と他の車両のＥＣＵなどの電気機器とを電子ネットワークを介して接続する。この接続には、電子ネットワークを介した電気的な接続などを適用することができる。ここで電子ネットワークとは、電気通信技術を利用した情報通信網全般を意味し、無線／有線ＬＡＮ（Local Area Network）やインターネット網のほか、電話通信回線網、光ファイバ通信ネットワーク、ケーブル通信ネットワークおよび衛星通信ネットワークなどを含む。

記憶部１３は、消失点抽出ＥＣＵ１２によるデータの読み書きが可能な不揮発性のメモリであり、あらかじめ、消失点（ＦＯＥ：Focus of Expansion）の情報ＦＯＥ（ｘ０、ｙ０）、収束性閾値ｓ１およびＦＯＥ許容領域情報を記憶している。これらの情報は、電子ネットワークを介してまたは光ディスクなどの可搬型記憶媒体を介して更新されてもよい。消失点情報ＦＯＥ（ｘ０、ｙ０）は、消失点抽出ＥＣＵ１２により、カメラ１１により取得された画像にもとづいて抽出された信頼性の高い消失点情報で随時更新される。

図１に示すように、消失点抽出ＥＣＵ１２のＣＰＵは、消失点抽出プログラムによって、少なくとも動きベクトル算出部２１、フレーム内消失点算出部２２、消失点信頼性評価部２３、フレーム間消失点算出部２４、および消失点情報更新部２５として機能する。この各部２１〜２５は、ＲＡＭの所要のワークエリアを、データの一時的な格納場所として利用する。なお、これらの機能実現部は、ＣＰＵを用いることなく回路などのハードウエアロジックによって構成してもよい。

ここで、カメラ座標系について簡単に説明する。

図２は、カメラ座標系におけるカメラ投影面３１と路面３２の対象物上の点Ｐとの関係を示す説明図である。

本実施形態に係る車両用画像処理装置１０は、カメラ座標系のみを用い、世界座標系を併用しないため、座標系の相互変換等の処理が不要である。

カメラ座標系（ｘ、ｙ、ｚ）は、カメラ１１の中心を原点とする左手座標系である。カメラ座標系のｚ軸は、カメラ１１の光軸に一致するよう設定される。カメラ１１は、タイヤが接地する車両直下の路面から高さＨの位置に取り付けられている。

カメラ投影面３１は、カメラ座標系においてｚ＝ｆの面である。ｆはカメラ１１の焦点距離である。カメラ１１は、このカメラ投影面３１に投影される車両周囲を撮像する。

対象物のある点Ｐのカメラ座標系の三次元座標をＰ（Ｘ、Ｙ、Ｚ）とし、点Ｐのカメラ投影面３１に投影された点ｐの座標をｐ（ｘ、ｙ、ｆ）とする。このとき点Ｐのｚ座標（光軸方向座標）をｚと定義すると（Ｚ＝ｚ）、Ｘ＝（ｚ／ｆ）・ｘ、Ｙ＝（ｚ／ｆ）・ｙ、Ｚ＝ｚと書ける。ここで、ｘ、ｙは投影面３１上のｘｙ座標値であり、ｚは対象物のｚ座標値であることに注意する。投影面３１上のｘｙ座標値は、カメラ１１の画素と対応するものであるため、画像から容易に取得することができる。

動きベクトル算出部２１は、ブロックマッチング法や勾配法などを用いて、カメラ１１により撮像された複数の画像から画素ごとに動きベクトル（ｕ、ｖ）を算出する。以下の説明では、画素（ｘｎ、ｙｎ）の動きベクトルを（ｕｎ、ｖｎ）と表記する。

フレーム内消失点算出部２２は、動きベクトル（ｕ、ｖ）にもとづいて、画像（フレーム）ごとに、画像内の消失点情報（消失点座標）ＦＯＥを求める。以下、より具体的に説明する。なお、以下の説明では、ｍ番目のフレームｍの消失点座標をＦＯＥ（ｘ０、ｙ０）ｍと表記する。

カメラ投影面３１上の動きベクトル（ｕ、ｖ）は、次のように書けることが知られている。
u = xy(1/f)R_x−(x²+f²)(1/f)R_y+yR_z−f(T_x/z)+x(T_z/z) （１）
v = (y²+f²)(1/f) R_x−xy(1/f)R_y−xR_z−f(T_y/z)+y(T_z/z) （２）

ここで、ｘ、ｙは投影面３１上のｘｙ座標値、ｚは対象物のｚ座標値をあらわす。また、Ｒ_ｘ、Ｒ_ｙ、Ｒ_ｚ、Ｔ_ｘ、Ｔ_ｙ、Ｔ_ｚは運動パラメータであり、Ｒ_ｘ、Ｒ_ｙ、Ｒ_ｚは車両の回転成分をあらわし、Ｔ_ｘ、Ｔ_ｙ、Ｔ_ｚは自車と対象物との相対並進成分をあらわす。

車両の回転成分Ｒ_ｘはｘ軸中心の回転成分であり、自車のピッチング成分をあらわす。また、Ｒ_ｙはｙ軸中心の回転成分であり、自車のヨーイング成分をあらわす。ヨーイングは、主に舵角時（自車の曲進時）に発生する。Ｒ_ｚはｚ軸中心の回転成分であり自車のローリング成分をあらわす。

対象物が静止物である場合には、回転成分で補正した対象物の動きベクトルの延長線がＦＯＥ（ｘ０、ｙ０）に収束することが知られている（崎本隆志ら、火の国情報シンポジウム２００３講演論文集、「拡張焦点を用いた移動車両検出及び追跡に関する研究」（２００３））。このため、次の式（３）が導かれる。
[u−xy(1/f)R_x+(x²+f²)(1/f)R_y−yR_z]/[ v−(y²+f²)(1/f) R_x+xy(1/f)R_y+xR_z]
= [x-x0]/[y-y0] （３）

よって、回転成分がない場合には、式（３）はＲ_ｘ＝Ｒ_ｙ＝Ｒ_ｚ＝０を代入して次のように書ける。
u/v＝(x−x0)/(y−y0) （４）

したがって、直進時に限定すれば、動きベクトルから消失点座標ＦＯＥ（ｘ０、ｙ０）を求めることができると考えられる。

そこで、フレーム内消失点算出部２２は、フレームｍのＮ個の画素（ｘｎ、ｙｎ）について式（４）を立てることにより（ｘ０、ｙ０）ｍを求める。

たとえば、Ｎ×２型行列ＡとＮ×１型行列Ｂを次のように定義する。

このとき、フレームｍのＮ個の画素（ｘｎ、ｙｎ）と、画素ごとの動きベクトル（ｕｎ、ｖｎ）と、フレームｍの消失点（ｘ０、ｙ０）ｍとは、次の式で関連付けられる。
A(x0,y0)m^t=B （７）

したがって、フレーム内消失点算出部２２は、式（７）の両辺にＡ^ｔを乗じ、特異値分解等を用いることにより最小２乗最適解としてフレームｍの消失点（ｘ０、ｙ０）ｍを求めることができる。

ここで、式（４）−（７）は、Ｒ_ｘ＝Ｒ_ｙ＝Ｒ_ｚ＝０と仮定した場合の式である。しかし、実際の走行中にカメラ１１で撮像される画像は、走行に伴い発生する振動による回転成分の影響を受ける。このため、直進時であっても、完全にＲ_ｘ＝Ｒ_ｙ＝Ｒ_ｚ＝０となることはほとんどない。したがって、フレーム内消失点算出部２２により式（７）にもとづいて求められたフレームｍの消失点（ｘ０、ｙ０）ｍは、回転成分による誤差を含んでいる可能性がある。

たとえば、画像内の被写体が全て静止物であり、車両が直進しており、かつ振動が小さければ、フレームｍの画素（ｘｎ、ｙｎ）の動きベクトル（ｕｎ、ｖｎ）の延長線は、フレームｍの消失点（ｘ０、ｙ０）ｍまたはその近傍を通る。しかし、画像内の被写体に移動体が含まれていると、本来の消失点に向かわない動きベクトルが発生する。この移動体を表示する画素に対応する動きベクトルの延長線は、消失点（ｘ０、ｙ０）ｍの近傍を通らない。

また、車両が曲進している場合や振動が大きい場合には、回転成分（速度）が大きくなる。このため、この場合にも、式(２)および式（３）から明らかなように、動きベクトルの延長線は消失点（ｘ０、ｙ０）ｍの近傍を通らない。

そこで、消失点信頼性評価部２３は、フレーム内消失点算出部２２により求められたフレームｍの消失点座標（ｘ０、ｙ０）ｍの収束性が基準範囲内であるか否かを判定し、基準範囲外の消失点座標（ｘ０、ｙ０）ｍを破棄する。

より具体的には、消失点信頼性評価部２３は、式（７）の右辺を左辺に移項した行列のノルムが収束性閾値ｓ１より小さいと、収束性が基準範囲内であると判定する。
||A(x0,y0)m^t − B|| ＜ s1 （８）

このノルムによって、フレームｍの消失点（ｘ０、ｙ０）ｍの収束性が判定できる。収束性が悪ければノルムが大きくなる。また、このノルムは、動きベクトルの延長線の交点の収束円半径を表していると考えることができる。車両の回転成分が小さいほどノルムの値が小さくなる。また、画像内の被写体に静止物が多いほどノルムの値が小さくなる。

したがって、適当な閾値ｓ１を設定することで、収束性のよい、すなわち画面内は静止物被写体で、回転成分の少ない（直進運動で振動の少ない）時のフレームｍの消失点（ｘ０、ｙ０）ｍを抽出することができる。

ところで、フレームｍの消失点（ｘ０、ｙ０）ｍには、一見収束性が良いものの、実際には本来の消失点からずれしまうものがある。たとえば、緩やかな曲進運動時には、収束性はある程度確保される。しかし、緩やかな曲進運動時に算出される消失点座標は、曲進により本来の位置からみて曲進方向に応じて偏在した位置となってしまう。このため、式（８）を用いて収束性を判定しただけでは、本来の消失点からずれた消失点を抽出してしまう可能性がある。

そこで、消失点信頼性評価部２３は、このように緩曲進によってフレームｍの消失点（ｘ０、ｙ０）ｍが偏在した場合を除外するため、フレームｍの消失点（ｘ０、ｙ０）ｍの座標そのものｘ０ｍ、ｙ０ｍを用い、消失点（ｘ０、ｙ０）ｍの座標ｘ０ｍ、ｙ０ｍが所定の許容領域に入っているか否かを判定することにより、さらにフレームｍの消失点（ｘ０、ｙ０）ｍの信頼性を評価する。

消失点（ｘ０、ｙ０）ｍの座標ｘ０ｍ、ｙ０ｍが所定の許容領域に入っているかを判定する方法としては、たとえば消失点（ｘ０、ｙ０）ｍの座標ｘ０ｍ、ｙ０ｍが所定の座標領域にあるか否かを判定する方法が考えられる。

この方法では、記憶部１３にはあらかじめＦＯＥ許容領域情報としてｘ０ｍの最小値ｘ０_ｍｉｎおよび最大値ｘ０_ｍａｘ、ならびにｙ０ｍの最小値ｙ０_ｍｉｎおよび最大値ｙ０_ｍａｘが記憶されている。消失点信頼性評価部２３は、収束性が基準範囲内にあると判定したフレームｍの消失点（ｘ０、ｙ０）ｍについて、それぞれＦＯＥ許容領域情報の所定の座標領域内にあるか否かを判定し、所定の座標領域内にある消失点（ｘ０、ｙ０）ｍを抽出する。

なお、閾値幅を狭くすれば精度はあがる可能性があるが、車両傾きの許容幅は狭くなる。一方、閾値幅を広くすれば精度は低下する可能性があるが、車両傾きの許容幅は広くなる。たとえば、積載によって車長４ｍで２０ｃｍ上下動までカバーするとすれば、tan^−１（0.2/4）=3degであるので、３degに相当する閾値を設定すればよい。

ところで、上述の通り、フレームｍの消失点（ｘ０、ｙ０）ｍは、振動や雑音の影響を受けてしまう。このため、複数のフレームの消失点座標を平均することで、振動や雑音も平均化されると期待できる。複数のフレームの振動や雑音の平均をとるということは、振動や雑音の時間平均をとることに等しい。したがって、振動や雑音の時間平均は０であると仮定すれば、複数のフレームの消失点座標を平均することにより、振動や雑音の影響を低減することができると考えられる。

そこで、フレーム間消失点算出部２４は、消失点信頼性評価部２３が出力したフレームｍの消失点（ｘ０、ｙ０）ｍを複数のフレームについて受け、この複数のフレームｍの消失点ＦＯＥ（ｘ０、ｙ０）ｍの平均値ＦＯＥ（ｘ０、ｙ０）ａｖｅを求める。たとえば、Ｍ個のフレームの平均値ＦＯＥ（ｘ０、ｙ０）ａｖｅを求めるための式は、次のように書ける。

消失点情報更新部２５は、フレーム間消失点算出部２４から平均値ＦＯＥ（ｘ０、ｙ０）ａｖｅを受け、記憶部１３に記憶された消失点情報ＦＯＥ（ｘ０、ｙ０）をＦＯＥ（ｘ０、ｙ０）ａｖｅに更新する。

次に、本実施形態に係る車両用画像処理装置１０の動作の一例について説明する。

図３は、消失点抽出ＥＣＵ１２のＣＰＵが、カメラ１１により取得された画像から信頼性の高い消失点を抽出する際の手順を示すフローチャートである。図３において、Ｓに数字を付した符号はフローチャートの各ステップを示す。

まず、ステップＳＴ１において、動きベクトル算出部２１は、カメラ１１から撮像画像の画像データを取得する。

次に、ステップＳＴ２において、動きベクトル算出部２１は、取得した画像データにもとづき、カメラ１１により撮像された複数の画像間の動きベクトル（ｕ、ｖ）を画素ごとに求める。

次に、ステップＳＴ３において、フレーム内消失点算出部２２は、動きベクトル（ｕ、ｖ）にもとづいて、画像（フレーム）ごとに、式（７）を用いて画像内の消失点座標ＦＯＥ（ｘ０、ｙ０）ｍを求める。

次に、ステップＳＴ４において、消失点信頼性評価部２３は、式（８）を用いて｜｜Ａ(ｘ０，ｙ０)ｍ^ｔ−Ｂ｜｜が収束性閾値ｓ１より小さいか否かを判定することにより、フレーム内消失点算出部２２により求められたフレームｍの消失点座標（ｘ０、ｙ０）ｍの収束性が基準範囲内であるか否かを判定する。｜｜Ａ(ｘ０，ｙ０)ｍ^ｔ−Ｂ｜｜が収束性閾値ｓ１より小さい場合は、ステップＳＴ５に進む。一方、｜｜Ａ(ｘ０，ｙ０)ｍ^ｔ−Ｂ｜｜が収束性閾値ｓ１以上である場合は、次のフレームｍ＋１の消失点座標（ｘ０、ｙ０）ｍ＋１を取得するべくステップＳＴ１に戻る。

次に、ステップＳＴ５において、消失点信頼性評価部２３は、｜｜Ａ(ｘ０，ｙ０)ｍ^ｔ−Ｂ｜｜が収束性閾値ｓ１より小さい消失点座標（ｘ０、ｙ０）ｍについて、消失点（ｘ０、ｙ０）ｍの座標ｘ０ｍ、ｙ０ｍが記憶部１３に記憶されているＦＯＥ許容領域情報の所定の座標領域内にあるか（ｘ０_ｍｉｎ＜ｘ０ｍ＜ｘ０_ｍａｘかつｙ０_ｍｉｎ＜ｙ０ｍ＜ｙ０_ｍａｘであるか）否かを判定することにより、消失点（ｘ０、ｙ０）ｍの座標ｘ０ｍ、ｙ０ｍが所定の許容領域に入っているかを判定する。消失点（ｘ０、ｙ０）ｍの座標ｘ０ｍ、ｙ０ｍが所定の許容領域に入っている場合は、ステップＳＴ６に進む。一方、消失点（ｘ０、ｙ０）ｍの座標ｘ０ｍ、ｙ０ｍが所定の許容領域に入ってない場合は、この消失点座標（ｘ０、ｙ０）ｍを破棄し、次のフレームｍ＋１の消失点座標（ｘ０、ｙ０）ｍ＋１を取得するべくステップＳＴ１に戻る。

次に、ステップＳＴ６において、フレーム間消失点算出部２４は、所定の数Ｍの消失点座標が得られたか否かを判定する。この数Ｍは、破棄されたフレーム数を含んだ数と比較されてもよいし、ステップＳＴ５で消失点信頼性評価部２３により消失点（ｘ０、ｙ０）ｍの座標ｘ０ｍ、ｙ０ｍが所定の許容領域に入っていると判定された数のみと比較されてもよい。所定の数Ｍの消失点座標が得られた場合はステップＳＴ７に進む。一方、所定の数の消失点座標が得られていない場合は、さらにフレームｍ＋１の消失点座標（ｘ０、ｙ０）ｍ＋１を取得するべくステップＳＴ１に戻る。

次に、ステップＳＴ７において、フレーム間消失点算出部２４は、式（９）を用いて複数のフレームの消失点の平均値ＦＯＥ（ｘ０、ｙ０）ａｖｅを求める。

次に、ステップＳＴ８において、消失点情報更新部２５は、フレーム間消失点算出部２４から平均値ＦＯＥ（ｘ０、ｙ０）ａｖｅを受け、記憶部１３に記憶された消失点情報ＦＯＥ（ｘ０、ｙ０）をＦＯＥ（ｘ０、ｙ０）ａｖｅに更新する。

以上の手順により、カメラ１１により取得された画像から信頼性の高い消失点を抽出することができる。

本実施形態に係る車両用画像処理装置１０は、被写体が静止物であるか否かや、車両の振動強度などを直接測定することなく、フレームごとの消失点座標の信頼性を評価することにより、被写体が静止物であり車両の回転成分（振動を含む）が少ないフレームの消失点座標を抽出することができる。また、被写体の形状に制限は無く、たとえば画像中に直線が存在しなくても容易に画像から信頼性の高い消失点を抽出することができる。

具体的には、本実施形態に係る車両用画像処理装置１０は、信頼性の判定基準として、算出消失点を求める際の収束性を判定し、収束性のよいデータのみを選択する。画像内に自車と異なる方向の移動体が存在する場合、回転成分（回転速度）が大きい（急曲進や早い振動）場合、には収束性が低下する。収束性のよいデータのみを選択することにより、画像内の対象物が静止物であり、回転成分が小さいデータを選択することができ、信頼性の高い消失点座標を求めることができる。

また、収束性が良好でも、消失点座標が偏在する場合がある。たとえば、緩曲進の場合には回転成分（回転速度）が小さくても、消失点位置が特定方向に偏在してしまう。一方、本実施形態に係る車両用画像処理装置１０は、消失点座標そのものが所定の許容領域外であれば棄却し、所定の許容領域内のデータのみ選択する。したがって、直進の場合のみのデータを使用し信頼性の高い消失点座標を求めることができる。

また、本実施形態に係る車両用画像処理装置１０は、フレームごとに算出した消失点座標について、信頼性を評価したものをさらに複数平均した消失点ＦＯＥ（ｘ０、ｙ０）ａｖｅで消失点情報ＦＯＥ（ｘ０、ｙ０）を更新することができる。このため、フレームごとの消失点座標に内在する振動や雑音の影響を低減することができる。

なお、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０ 車両用画像処理装置
１１ カメラ
１２ 消失点抽出ＥＣＵ
１３ 記憶部
２１ 動きベクトル算出部
２２ フレーム内消失点算出部
２３ 消失点信頼性評価部
２４ フレーム間消失点算出部
２５ 消失点情報更新部
３１ カメラ投影面
３２ 路面

Claims (5)

1. 車両に設けられ前記車両の周辺を撮像するカメラと、
   消失点座標の情報を記憶する記憶部と、
   前記カメラにより撮像された複数の画像間の動きベクトルを求める動きベクトル算出部と、
   前記動きベクトルにもとづいて前記画像ごとに前記画像内の消失点座標を求めるフレーム内消失点算出部と、
   前記フレーム内消失点算出部により求められた前記画像内の消失点座標の収束性が基準範囲内であるか否かを判定し、収束性が前記基準範囲内であると判定した前記画像内の消失点座標を出力する消失点信頼性評価部と、
   前記消失点信頼性評価部が出力した前記画像内の消失点座標を用いて前記記憶部に記憶された前記消失点座標の情報を更新する消失点情報更新部と、
   を備えた車両用画像処理装置。
2. 前記消失点信頼性評価部は、
   前記画像内の複数の画素と、この複数の画素ごとの動きベクトルと、前記フレーム内消失点算出部により求められた前記画像内の消失点座標と、を関連付けた式であって、前記車両の回転成分が小さいほど値が小さくなるとともに前記画像内の被写体に静止物が多いほど値が小さくなる式の値を求め、この式の値が所定の収束性閾値より小さいと前記画像内の消失点座標の収束性が基準範囲内であると判定する、
   請求項１記載の車両用画像処理装置。
3. 前記消失点信頼性評価部は、
   収束性が基準範囲内であると判定した前記画像内の消失点座標について、この消失点座標が所定の座標領域内にあるか否かをさらに判定し、収束性が前記基準範囲内であると判定したとともに前記所定の座標領域内にあると判定した前記画像内の消失点座標を出力し、
   請求項１または２に記載の車両用画像処理装置。
4. 前記消失点信頼性評価部が出力した前記画像内の消失点座標を複数の前記画像について受け、この複数の前記画像内の消失点座標の平均を求めるフレーム間消失点算出部、
   をさらに備え、
   前記消失点情報更新部は、
   前記フレーム間消失点算出部により求められた前記複数の前記画像内の消失点座標の平均を用いて前記記憶部に記憶された前記消失点座標の情報を更新する、
   請求項１ないし３のいずれか１項に記載の車両用画像処理装置。
5. 消失点座標の情報を記憶部に記憶させるステップと、
   車両に設けられたカメラが前記車両の周辺を撮像するステップと、
   前記カメラにより撮像された複数の画像間の動きベクトルを求めるステップと、
   前記動きベクトルにもとづいて前記画像ごとに前記画像内の消失点座標を求めるステップと、
   この求められた前記画像内の消失点座標の収束性が基準範囲内であるか否かを判定するステップと
   収束性が前記基準範囲内であると判定された前記画像内の消失点座標を用いて前記記憶部に記憶された前記消失点座標の情報を更新するステップと、
   を有する車両用画像処理方法。

Images