JP6537385B2 - 車載環境認識装置 - Google Patents

Description

本発明は、車載カメラを利用して自車両の周囲に存在する障害物や車線などを認識する車載周囲環境認識装置に関する。

車両に設置されたカメラにより自車両の周囲環境を認識するアプリケーションの製品化が増加傾向にある。その中でも、認識した物体を利用し、未然に事故を防止する予防安全技術や、自律走行を目指した車両制御技術への応用が期待されている。車両制御に利用される認識技術は、高い信頼性が必要とされる。

例えば、夜間や逆光などカメラ視野角内に、明るい領域と暗い領域が共存する光源環境においては、カメラのダイナミックレンジが不足し、白飛びもしくは黒つぶれし、画像で対象物を認識できない要因となりうる。特許文献１には、対向車両などのヘッドライトにより生じる白飛び領域を観測し、白飛び領域には明るい領域であることを考慮した認識にとって適切な露光量に設定し、対向車などの検知を実施することを目的とした技術が示されている。

特開2013-168738号公報

一般的な車両前方の障害物を検知するようなカメラは、視野角が３０度から５０度程度であり、撮像範囲と自車両のヘッドライト照射範囲との間に大きな差異はない。しかしながら、広角なカメラを自車両の前方監視に利用した場合、昼間は広角なセンシングを可能とするが、夜間は広角な画像を撮像可能でありながらヘッドライト照射範囲外は暗くなり、センシングに利用することが困難であった。視野角が４０度程度の車載フロントカメラと同様に、ヘッドライト照射範囲内の画像領域に適切な露光条件を設定した場合、ヘッドライト照射範囲外の画像領域はダイナミックレンジの不足から黒つぶれし、そのままでは障害物などを検知することが困難である、という課題があった。すなわち、広角カメラの視野角よりもヘッドライト照射範囲が狭いため、夜間に広視野角な認識が困難であるという課題が存在する。

本発明は、上記の点に鑑みてなされたものであり、その目的とするところは、車載カメラによる自車両のヘッドライト照射範囲内とヘッドライト照射範囲外の認識性能を向上することができる車載環境認識装置を提供することにある。

上記課題を解決する本発明の車載環境認識装置は、車載カメラを用いて自車両の前方を撮像する撮像部と、該撮像部で撮像された撮像画像を用いて周囲環境の認識を行う認識部と、を備える車載環境認識装置であって、前記車載カメラは、自車両のヘッドライト照射範囲を含みかつ該ヘッドライト照射範囲よりも水平方向に広い範囲を撮像可能であり、前記撮像部は、ヘッドライト照射範囲内を撮像した照射領域内の画像とヘッドライト照射範囲外を撮像した照射領域外の画像とで明るさの調整量を変更して前記撮像画像を撮像することを特徴とする。

本発明によれば、車載カメラによる自車両のヘッドライト照射範囲内とヘッドライト照射範囲外の認識性能を向上することができる。特に、ヘッドライト照射範囲外の画像領域を対象とした露光調整を考慮することで、ヘッドライト照射範囲外においてもセンシングの認識性能低下を抑制する。また、ヘッドライト照射範囲内とヘッドライト照射範囲外との境界領域における認識性能の低下も抑制する。なお、上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

車載環境認識装置の構成図。 照射領域設定部の構成を示す図。 照射内外露光調整部の構成を示す図。 認識部の構成を示す図。 カメラの視野角とヘッドライト照射範囲の一例を模式的に示す図。 照射領域内外の露光枠の設定例を示す図。 照射領域内外の利用画像を説明する図。 照射領域推定部による照射領域の推定方法を説明する図。 広角カメラで撮像した画像を用いたステレオマッチングを説明する図。 ステレオ用左右領域設定部の構成を説明する図。 ステレオ用左右領域設定部の他の構成を説明する図。 単一シャッタータイミングの処理フローを示す図。 2重露光のタイミングチャートを示す図。 2重露光における処理フローを示す図。 2重露光の他のタイミングチャートを示す図。

次に、本発明の実施例について図面を用いて以下に説明する。

図１は、車載環境認識装置の構成図である。本実施例における車載環境認識装置は、車両に搭載された車載カメラを利用して自車両の周囲環境を撮像して障害物や車線などの周囲環境を認識するものであり、例えば障害物と衝突する危険性が高いと判断した場合に、警報もしくは緊急ブレーキ等の車両制御を実行させることができる。車載環境認識装置は、例えばカメラ装置などのハードウエアとソフトウエアの組み合わせにより構成されており、その内部機能として、図１に示すように、撮像部１００、照射領域設定部２００、照射領域内観測部３００、照射領域外観測部３５０、照射内外露光調整部４００、認識部５００、警報制御部６００を有する。

撮像部１００は、車載カメラを用いて自車両の前方を撮像する。車載カメラは、自車両のヘッドライトが照射可能なヘッドライト照射範囲よりも画角の広い広角カメラを使用している。

図５は、カメラの視野角とヘッドライト照射範囲の一例を模式的に示す図である。例えば自車両Ｖｏの前方の障害物を検知するような従来の一般的な車載カメラは、遠方狭角監視用であり、画角（視野角）５２は３０度〜５０度程度で、自車両Ｖｏのヘッドライト照射範囲と類似しており、大きな差異がない。一方、本実施例で用いている車載カメラは、近傍広角監視用の画角が１２０度程度のいわゆる広角カメラであり、自車両Ｖｏのヘッドライト照射範囲よりも画角５１が大きく、昼間は広角なセンシングを可能とする。本実施例は、車載カメラが魚眼カメラを含めた自車両のヘッドライト照射範囲よりも画角の広いカメラである場合、夜間など周囲が暗い環境の認識性能向上のために効果が期待される。本実施例の車載カメラは、広角カメラであればよく、単眼カメラとステレオカメラのいずれでも良い。

図１の説明に戻り、照射領域設定部２００では、撮像画像内で自車両のヘッドライト照射範囲が占める照射領域を設定する処理が行われる。照射領域設定部２００は、ヘッドライトの露光制御に応じてハイビームやロービームなどのヘッドライト照射範囲をあらかじめ情報として記憶しておき、CAN通信による自車両のヘッドライト点灯状況から照射領域を設定しても良い。また、画像認識により照射領域を推定してもよい。

照射領域設定部２００は、照射領域内に画像上の輝度を観測する照射領域内輝度観測領域（露光枠）を設定し、ヘッドライト照射範囲の外側となる照射領域外に画像上の輝度を観測する照射領域外輝度観測領域（露光枠）を設定する。照射領域内観測部３００は、照射領域設定部２００で設定された照射領域内輝度観測領域において画像上の輝度平均を算出する。同様に、照射領域外観測部３５０は、照射領域設定部２００で設定された設定された照射領域外輝度観測領域において画像上の輝度平均を算出する。

照射内外露光調整部４００では、上記、照射領域内観測部３００と照射領域外観測部３５０によって観測された画像上の輝度変化を利用して露光制御を実施する。照射内外露光調整部４００は、照射領域内観測部３００の結果から、ヘッドライトで照射されたヘッドライト照射範囲内の明るい領域を画像処理するのに適切な画像を取得可能な露光条件の設定を行う。そして、照射領域内の平均輝度が特定の輝度範囲内に入るように、かつ1frm間で激しく輝度変化が起こらないように、フィードバック制御しながら、撮像画像の露光条件を変更する。

また、照射内外露光調整部４００は、照射領域外観測部３５０の結果から、ヘッドライト照射範囲外の暗い領域を画像処理するのに適切な画像を取得可能な露光条件の設定を行う。そして、照射領域外の平均輝度が特定の輝度範囲内に入るように、かつ1frm間で激しく輝度変化が起こらないように、フィードバック制御しながら、撮像画像の露光条件を変更する。露光条件の変更では、明るさの調整量（ゲインもしくは露光時間）が変更される。

そして、これらを元に明るい領域用の画像と、暗い領域用の画像を取得する。暗い領域用の画像の取得では、画像が黒つぶれしないように、シャッター時間を長くするもしくは暗い状態のゲインを高く持ち上げる、もしくは高速カメラの積分画像を利用するなどにより、照度の低い領域が認識しやすいような画像を取得する。

認識部５００は、配光パターンの情報を元に、図７に示すようにヘッドライト照射範囲内とヘッドライト照射範囲外が既知であるので、ヘッドライト照射範囲内の対象物の認識にはヘッドライト配光パターン内部の明るい領域用の画像（明領域画像Ｐｂ）を利用し、ヘッドライト照射範囲外の対象物の認識にはヘッドライト配光パターン外部の暗い領域用の画像（暗領域画像Ｐｄ）を利用して、認識処理を実施する。画像上の明るさに応じて適切な画像を選択して画像認識を実施することで、照射領域外においても適切な認識を実施できる。例えば、歩行者検知や車両検知においても、照射領域外と照射領域内との境界領域においても、認識にとって適切な画像を用意することによって夜間であってもカメラの広角な位置に存在する障害物や車線などを検知することが可能である。

警報制御部６００では、認識部５００において認識した結果を利用して、自車両への影響を予測して,例えば車線逸脱防止や衝突防止などの警報もしくは車両制御を実施する。

次に、図１に示す照射領域設定部２００の具体的な構成例について説明する。図２は、照射領域設定部の構成例を説明する図である。照射領域設定部２００は、図２に示すように、配光パターン設定部２１０、自車両姿勢計測部２２０、画像上露光枠設定部２３０、光源環境認識部２４０、ステレオ用左右領域設定部２５０を有する。

配光パターン設定部２１０は、自車両の配光パターンを設定する。まず、周囲環境の明るさは、CAN通信により把握可能なヘッドライトのON,OFF状況と、カメラにより取得可能な周囲環境の明るさにより走行環境の明るさの判定を実施する。そして、昼間なのか夜間なのか、夜間であっても街灯により明るい状況であるか、周囲に光源がないような暗い状況なのかを判断する。これにより、自車両の走行環境の明るさを把握する。自車両のヘッドライトの照射状況は、CAN通信からON,OFFだけでなくHigh,Lowの切り替えも把握可能である。ただし、ヘッドライトの細かい照射角度などは、自車両の傾きや走行路の傾きにより変化する。

そこで次に、自車両姿勢計測部２２０で、自車両と外環境との姿勢の変化をリアルタイムに計測する。自車両の走行中にレーンＷＬや先行車両のテールランプの画像情報や、自車両の車載カメラがステレオカメラの場合には周囲環境から得られる路面の視差画像や立体物の鉛直上向きに伸びるエッジ部分などの情報を利用して、自車両と外環境の姿勢を推定する。推定された姿勢情報を利用してヘッドライト照射範囲の補正情報として利用しても良い。しかし、車両にもよるが手動で細かな角度を調整可能なある場合もある。このような場合も想定し、CANによりヘッドライトのON、OFF、High,Low程度の情報しか得られないような状況においても、画像上の露光枠の設定を利用することで大まかなヘッドライト照射範囲を推定しても良い。

画像上露光枠設定部２３０は、上記の配光パターン設定部２１０において得られた配光情報と、車体の姿勢を自車両姿勢計測部２２０において推定し、これらの情報を利用して推定された配光情報から、図６に示すように、照射領域内と照射領域外に分割し、露光条件を設定するための画像の輝度情報を取得する露光枠Ｆｃ、Ｆｌ、Ｆｒとして設定する。図６は、照射領域内外の露光枠の設定例を示す図である。図６には、ヘッドライトが照射された車両前方を撮像した画像と、露光枠Ｆｃ、Ｆｌ、Ｆｒが示されている。

露光枠Ｆｃで取得される画像は、自車両のヘッドライトが主光源となる。したがって、図１の照射領域内観測部３００において、その露光枠Ｆｃの輝度平均を算出し、これを輝度情報として照射内外露光調整部４００に渡しても良い。夜間は自車両のヘッドライトが主光源となることが明らかであるので、輝度情報を利用した露光条件の設定も緩やかに変化するような設計として照射内外露光調整部４００において露光条件を調整する。

露光枠Ｆｃの側方に位置する左右の露光枠Ｆｌ、Ｆｒは、照射範囲外用の輝度観測領域における平均輝度を算出しても良いし、それぞれ別々に輝度平均を算出することで、左右で異なる周囲環境から外部の光源環境の異なりに左右別に対応できるようにしても良い。これらの平均輝度は、照射領域外観測部３５０において算出する。露光枠Ｆｌ、Ｆｒにおける平均輝度を利用して周囲環境の光源環境の変化にも応じて照射範囲内と比較して暗い領域の画像が認識に利用しやすいように露光条件の設定に利用する。

自車両のヘッドライト配光パターンが未知の場合や、ヘッドライトが切れている状況、もしくはヘッドライトを取り替えたために車両購入時の配光パターンと異なるような場合には、配光パターン設定部２１０の情報を利用しても、適切に露光枠を設定できない可能性がある。このように配光パターンが未知の場合、もしくは配光情報を持っていたとしても推定した配光パターンと実車から見える配光パターンが大きく異なる場合に備えて、自車両の配光パターンを大まかに推定し、露光枠を設定する機能を画像上露光枠設定部２３０に備えても良い。

図８は、照射領域推定部による照射領域の推定方法を説明する図である。図８に示すように、照射領域を推定するために、矩形の輝度を観測する局所露光枠Ｆｓを撮像素子上に複数個並べて配置する。配置された局所露光枠Ｆｓにおいて輝度を観測するとともに、自車両の姿勢推定結果を利用することで、路面と空の境界位置Ｈｏを大まかに利用する。これら局所露光枠Ｆｓの各輝度値は、時系列にその変化を解析することで、変化のすくない明るい領域、特にカーブ中などにおいても変化しないような明るい領域は自車両のヘッドライトにより照らされたヘッドライト照射範囲内の領域（照射領域内）であると判断する。そして、外環境の光源により輝度が変化するもしくは輝度が常に暗い領域は、ヘッドライト照射範囲外の領域（照射領域外）であると判断する。これにより、ヘッドライト照射範囲内と範囲外の領域を大まかに設定しても良い。

光源環境認識部２４０では、外環境が昼か夜かの判定や、トンネル、逆光、対向車ヘッドライトなどの光源位置の算出などを行う。ナビからの位置情報と時刻などを利用してもよいし、カメラの露光情報、ゲインやシャッター値から昼夜の判定は可能である。撮像画像を利用すると、逆光や、対向車のヘッドライトなどの高輝度領域を点光源として抽出することは可能である。まずは昼の明るい環境下においては、安全のためにヘッドライトが点灯状態であったとしても路面上の明るさなどは太陽光が主な光源となりヘッドライトによる明るさの変化は大きく影響しない。

夜間や昼であっても比較的暗いトンネル内などのような場合に、ヘッドライトが点灯すると、照射領域内と照射領域外において明るさが変化するため、この照射領域内と照射領域外において異なる適切な露光調整をすることが認識性能に大きく影響する。本実施例では、広角の車載フロントカメラを想定しているが、これがステレオカメラであっても同様に効果をもたらすことができる。ステレオ用左右領域設定部２５０では、車載カメラがステレオカメラであった場合の特徴を示す。ステレオカメラでない場合には、この機能自体は必ずしも必要とならない。

ステレオカメラが備える２台のカメラを利用してステレオマッチングを行う際に、左右カメラのマッチングを行う範囲においては同一露光条件であることが望ましい。従来の視野角が４０度程度の侠角のステレオカメラでは、カメラ視野角内がヘッドライト照射範囲とほぼ等しいため、左右カメラの露光条件を同一にするだけで、ステレオカメラのマッチング時に露光条件が異なる画像同士でのマッチングなどを考慮する必要がなかった。

しかしながら、広角のステレオカメラを利用してステレオマッチングを行う場合には、照射領域内と照射領域外において、図６に示すような異なる露光枠をそれぞれ設定し、照射領域内と照射領域外で異なる露光条件の画像を取得して画像処理する。これにより、照射領域内では、明るい環境に適切な画像（例えば、シャッタースピードが速いもしくはゲインの低い比較的昼に近い露光条件での画像）を取得し、照射領域外では、暗い環境に適切な画像（例えば、シャッタースピードが遅く、ゲインの高い露光条件での画像）を取得する。そして、これらの画像を画像認識に利用することで、照射領域内と照射領域外において、高い認識性能を維持する車載カメラを得る。

しかし、これを左右のカメラでそのまま実施すると、例えば右カメラをベースとして右カメラの局所矩形領域を基準画像として、左カメラの画像内を水平方向にサーチしながらステレオマッチングする場合、異なる露光条件の画像で左右画像のマッチングがなされてしまい、マッチングの精度が低下する。また、単に左右カメラの画像上同一座標で露光条件を変化させた場合には、その境界領域においては適切なマッチングができず、境界をすぎて異なる露光条件同士の画像を利用したマッチングを利用する際には、マッチング精度が低下する。

図９は、広角カメラで撮像した画像を用いたステレオマッチングを説明する図である。本実施例では、同一露光条件の画像を利用してステレオマッチングを実施する。例えば図９に示すように、右カメラで撮像した右画像（１）を基準画像であると定めた場合には、右画像（１）を基準として露光枠Ｆｃ、Ｆｒ、Ｆｌを設定し、照射領域内画像R_BAと照射領域外画像R_DAを取得する。

照射領域内の画像のステレオマッチングを考慮した場合に、遠方の物体は左右カメラでほぼ同一の場所に撮像されるが、近傍の物体であるほどステレオカメラの左右設置位置の差が影響し、右カメラでは少し左側に左カメラでは少し右といった具合に大きな視差が発生する。したがって、例えば基準画像である右画像（１）の露光領域をベースとして、探索画像である左画像（１）、（２）は、マッチング探索分だけ大きい領域を設定する。左右で同じ高さ領域は同一ゲインとする。

図９の例では至近距離の歩行者Ｐ１の首あたりに設置された局所矩形領域９０１が同一の露光条件の画像でステレオマッチングできるように、左画像（１）において右画像（１）の照射領域内画像R_BAと比較して検出対象となる視差分ｄだけ横方向に広い照射領域内画像L_BAを予め準備しておく。照射領域外においても同様であり、右画像（１）の照射領域外画像R_DAに対して、マッチング対象となる左画像（２）の照射領域外画像L_DAは、有効視差分ｄだけ横方向に広い範囲の照射範囲外画像L_DAを予め準備しておく。このように、左右のカメラにおいて検出対象となる近距離で発生しうる有効視差分を考慮した露光条件の画像をあらかじめ準備することで、露光条件を変更する境界領域においても適切にステレオマッチング可能とする。

右カメラは、露光条件の境界が重なりのない右画像(１)を取得するのに対し、左カメラは、ステレオマッチングを考慮して境界領域において範囲が重複する２つ以上の露光条件の左画像（１）、（２）を取得する。そして、ステレオマッチングには、左右同一露光条件の画像が選択される。すなわち、照射領域内のステレオマッチングには、右画像(１)の照射領域内画像R_BAと左画像(１)の照射領域内画像L_BAを用い、照射領域外のステレオマッチングには、右画像（１）の照射範囲外画像R_DAと左画像（２）の照射範囲外画像L_DAを用いる。

図１に示す、照射領域内観測部３００は、図６に示すような露光枠Ｆｃ内の画像の輝度平均を算出するなど、照射領域内の輝度観測を実施する。また、照射領域が既知でない場合には、図８のような、細かく分割された局所露光枠Ｆｓにそれぞれ照射領域内か照射領域外かの属性を持たせて照射領域内の属性を持った局所露光枠群Ｆｓ＿ｂを利用して、これらの平均輝度を算出しても良い。

照射領域外観測部３５０は、照射領域内観測部３００と同様に、図６に示すよう露光枠Ｆｌ、Ｆｒ内の画像の輝度平均を算出するなど、照射領域外の輝度観測を実施する。照射範囲外の露光枠Ｆｌ、Ｆｒは、左右に分かれて存在するが互いに平均して利用することができる。また、対向車や隣接車線走行車などのヘッドライトを考慮した露光調整を行いたい場合には、左右別に露光観測を実施し、露光調整も左右別で実施した方が、より周囲の光源環境に合わせた露光調整が可能となる。また、照射領域が既知でない場合には、図８のような、細かく分割された局所露光枠Ｆｓにそれぞれ照射範囲内か照射範囲外かの属性を持たせて照射領域外の属性を持った局所露光枠群Ｆｓ＿ｄを利用して、これらの平均輝度を算出しても良い。これも同様に自車両ヘッドライトのあたる照射範囲内の領域を中心に左右別に局所露光枠群を左右に分割して活用しても良い。

次に、照射内外露光調整部４００について詳細な構成について説明する。
図３は、照射内外露光調整部の構成について説明する図である。照射領域設定部２００で設定した露光枠の輝度を、照射領域内観測部３００と照射領域外観測部３５０で観測することにより、撮像画像の状態を観測できる。この輝度情報を利用して、露光枠Ｆｃ内の平均輝度が高い場合は、ある一定値以上を超えないように、白とびしないように露光調整を実施し、反対に露光枠Ｆｌ、Ｆｒ内の平均輝度が低い場合には、黒つぶれしないように、露光調整を実施する。

ここでは、露光調整を実施するにあたり複数の実現方法があるため、何種類かの実現方法をそれぞれ示す。実際の露光調整は、これらのうちどれかを利用した方法であってもよいし、複数を同時に利用したものであっても、切り替えて利用するものであっても良い。

シャッタースピード変更部４１０では、照射領域内観測部３００もしくは照射領域外観測部３５０にて観測された露光枠Ｆｃ、Ｆｌ、Ｆｒの各平均輝度に基づいて、平均輝度がある閾値を超えそうな場合には、シャッタースピードを速めることにより平均輝度が低下するように調整し、取得した画像中の観測領域が白飛びしないようにシャッタースピードの調整を行う。反対に、平均輝度が低い場合には、シャッタースピードを長くすることで、撮像画像が明るくなるようにフィードバック制御しても良い。

夜間は、自車両のヘッドライトが主光源となるため、ヘッドライト照射範囲内の露光条件が大きく変化しないことを想定し、緩やかなフィードバック制御として、1frm間における露光条件の変化度合いを小さく設定する。そして、夜間のヘッドライト照射範囲外の露光条件は、対向車のヘッドライトによる素早い光源環境の変化なども想定されるため、露光条件の変化度合いは照射範囲内の場合よりも大きい。夜間のヘッドライト照射範囲外では、シャッタースピードを限界まで長くしてもそれ以上明るい画像を取得できないような場合には、ゲイン調整と併用して明るい画像を撮像しても良い。また、ヘッドライト照射範囲外とヘッドライト照射範囲内用の画像を領域別に同時に撮影しても良いし、連続した異なるシャッタータイミングで最初は照射範囲内用の画像を撮影するための画像を、次は照射範囲外用の画像を撮影するための画像を取得しても良い。

ゲイン変更部４２０は、シャッタースピードとは異なり、撮像後にソフト的にゲイン変更することも可能であり、画像上の領域に応じて比較的自由にゲインテーブルを変更しやすい。ここでは、照射範囲内と照射範囲外において異なるゲインテーブルを利用して画像を取得する。ステレオカメラの場合には、ステレオマッチングで探索する領域が同一の露光条件であることが重要となるが、単眼カメラの場合にはそのような制約条件を受けないため、自由にゲイン変更が可能である。このため、図８の照射領域内外の局所領域露光枠Ｆｓの各局所領域ごとの平均輝度を利用して、ゲイン補正前の画像の輝度が昼間のように同一照明環境下で取得された画像のようにゲイン補正を実施する。これにより、夜間のヘッドライト照射範囲外であっても、昼間と同様な性能で障害物検知できるように明るい画像を取得し、障害物検知等の認識処理を実施する。

ステレオカメラの場合には、画像上の位置に応じて変化するゲインテーブルを利用すると、ステレオマッチングする探索範囲で同一の露光条件を保つことが難しくなる。露光条件と同様にステレオカメラの１つの設定条件としては、図１０に示すように、ヘッドライト照射範囲内の高輝度露光領域とヘッドライト照射範囲外の高輝度露光領域において異なるゲインテーブルを使用して画像の輝度を補正する。

ステレオカメラの基準画像となる右カメラを基準に左カメラのステレオマッチングの探索範囲である視差分の画像幅を広くした左カメラの画像を準備する。これにより、ステレオマッチングは同一露光条件が保障された画像を取得可能となり照射範囲内外においてより正確な視差画像を取得することが可能である。

ステレオカメラの場合に、照射範囲内外用の左右画像を２組取得し、それぞれ視差画像を取得し、取得した照射範囲内外用の視差画像２枚のうちどちらを利用すべきかを、図７に示すように照射範囲内外の露光パターンなどから画像上の場所に応じて適応的に選択することで、より正確な視差画像を利用しても良い。

積分画像生成部４３０では、複数枚数の画像を積分することにより、ノイズを削減し、よりノイズの少ない画像を取得することが可能であり、特に夜間のヘッドライト照射範囲外の画像取得のために適した手法の一つである。ただし、ある程度の高速シャッターでの撮像を可能とするカメラでなければ、積分時間が長すぎて移動体がぶれて撮影されてしまう欠点がある。このため、60frm以上などのある程度多くの画像を一定時間に撮像可能なカメラでなければ、障害物の認識に向いていない。

ここでは、広角かつ高速撮像可能なカメラである場合に、シャッター時間やゲイン以外に、高速撮像した画像を積分することで、より暗い領域のダイナミックレンジを保持して画像認識に利用する。複数枚数の画像を平均するとノイズが少なくなるとともに、本来のあるはずの輝度差を明確に取得できる。このため、暗くて見えにくいような領域の画像であっても、積分や平均をとることで認識に利用できるような画像を取得することができる。反対に、明るい領域に対してはもともと高速シャッターで撮像しているために、そのまま利用しても良いし、シャッターを更に絞り込んで撮像しても、ゲインを調整しても良い。

マッチング用露光調整部４４０では、ステレオマッチングすることを前提に、左右のカメラ画像のステレオマッチングによる探索範囲では、同一露光条件の画像が保障できるような露光調整と画像の保持を行う。単純な例を、図９、図１０を利用して説明する。

図１０は、ステレオ用左右領域設定部について説明する図である。ステレオマッチングでは、ステレオカメラが有する左右のカメラのうちいずれか一方のカメラの画像をベースとして照射領域内と照射領域外を設定し、一方のカメラの画像の局所矩形領域を基準画像として他方のカメラの画像の局所矩形領域との相関性を計算しながら水平探索を実施する。本実施例のように右画像を基準画像とする場合、右カメラの局所領域と類似する左カメラの局所領域を探索する。この場合に、右カメラにおいて撮像された被写体の一部は、近距離であればより画像上で映る位置の差分が生じる。これが左右カメラでの視差となり、その視差が大きいほど、近距離であることを示し、遠距離であるほど視差が小さく左右カメラの画像上のほぼ同一位置で同一物体が撮像される。

三角測量の原理に基づいて、視差が大きいほど、近距離であることを示し、視差が小さいほど遠距離に存在する物体であることを示す。このような場合に、左右カメラの幾何キャリブレーションが済んだステレオカメラでは、右の基準画像の局所領域を、左カメラの垂直方向が同一高さの同一位置から右側へ同じような景色が写る位置を画像上でマッチングさせながら探す。これにより同じような局所領域を探索し、見つかった位置をその領域が保持する視差として利用する。このような場合には、左右カメラの視差探索する範囲部分は、基準画像より探索範囲分だけ広げた画像を準備することが必須条件となる。本実施例では、左右カメラでマッチング用の画像領域の大きさを変更する。

例えば、図１０に示すように、高輝度露光領域の場合には、探索画像である左画像（１）は、基準画像である右画像（１）よりも探索方向に探索範囲分ｄだけ大きくなるように取得される。同様に、低輝度露光領域の場合には、探索画像である左画像(２)は、基準画像である右画像（２）よりも探索方向に探索範囲分ｄだけ大きくなるように取得される。

図１１は、画像高さ別のステレオ用左右領域設定部について説明する図である。ステレオ用左右領域設定部２５０は、図１１に示すように、縦方向にもゲインやシャッター条件を変化させる構成としても良い。ステレオマッチングでは、左右方向にマッチング処理を実施するために、縦方向に露光条件（ゲインやシャッター、高速カメラでの積分など）が変化することは横方向に探索するマッチングの性能低下要因とはならない。むしろ、図１１に示すように、より細かい条件で領域に応じて変化する適切な露光条件への設定を行うことができる。

図１１に示す例の場合には、照射領域内といっても自車両から離れた照射領域内画像R_BA1,L_BA1は、やはりヘッドライトにより照らされる光の強度が低下するため、自車両近傍の照射領域内画像R_BA4,L_BA4やR_BA3,L_BA3と比較すると暗くなる。このため、その画像上の輝度に合わせた適切な露光条件で画像を取得することで、より適切な画像を利用したステレオマッチングを実施し、障害物や車線を見つけることが可能となる。

また、ヘッドライト照射範囲外においても同様に、自車両周辺の光源環境の影響により領域別に明るさが異なるような場合においても、照射領域外画像R_DA1, R_DA2, R_DA3, R_DA4などのように、領域別に異なる露光条件を適用した画像認識を実施することで、より障害物を認識するための視差画像を生成するために適切な画像を生成する。

また、これらの画像の基準画像を画像認識にそのまま利用すると、例えば車線ＷＬを認識するレーン認識などのように部分的であってもより正確に見えたほうが良い場合に、適切な手法となる。また、障害物検知や歩行者、車両検知であって、このように領域別に異なる露光条件の画像から生成されたエッジなどを利用して画像認識することで、周囲の明暗に影響を受けることなく認識性能を維持することができる。

ただし、ここでは照射領域の境界で生じるような輝度差などでエッジが生じないようにしていることを前提とした処理である。また、滑らかに輝度変化することを利用したような画像認識手法である場合には、このような手法は領域別に輝度差を発生させるために不適切となる場合もあり、この場合には、ステレオ視以外のパターンマッチング用として、画像中の輝度変化が滑らかに起こるようなゲインテーブルを画像上の位置に応じて変化させるような手法で、パターンマッチング用の画像を準備しても良い。

次に、図４を用いて認識部５００の構成について詳細に説明する。図４は、認識部の構成を示す図である。視差画像合成部５１０は、車載カメラが単眼カメラであれば不要な存在であるが、ステレオカメラにおいては必須の構成要素となる。まず、図９に示すように、基準画像の画像位置で一種類の露光条件の画像でのマッチングでのみ視差が求められている場合には、単純にその視差画像を利用する。

境界領域もしくは、画像全体において２つもしくは３つ以上の露光条件の左右ペア画像が存在する場合には、どの露光条件で作られた視差画像を利用するかということ、すなわち、図７に示すような配光パターンもしくは、図８に示したような照射領域推定部により推定された照射領域を利用して、どちらの露光条件から視差画像を生成したほうが、より適切な視差情報を取得できるかを判断する。

また、どちらの露光条件の方がより適切な視差画像を生成可能かどうかの判定方法のひとつに配光パターンや照射領域推定部の結果のみだけでなく、実際の画像のエッジ情報を利用しても良い。ステレオマッチングする際に、露光条件が不適切な画像であるほど、エッジ情報が不足している場合が多い。ただし、そもそも路面のようにエッジ情報が乏しい環境も想定できるために、配光パターンもしくは照射領域推定結果とこれらステレオマッチングの際に計測した局所領域内のエッジ強度情報から、どちらの視差情報を利用するかを判定しても良い。

このように、左右のステレオマッチングする領域同士は同一露光条件にすると、適切な視差情報を取得することが可能となる。更に、同一視野角内（同一箇所）の視差情報を得る場合に、複数の露光条件で画像を取得しているときは、どちらの露光条件の画像を優先して利用したステレオマッチングの方が、正確な視差を算出することができるかを、配光パターンもしくは照射領域推定パターンもしくはエッジ情報の中から１つ以上を利用することにより選択する。このように、より適切な視差情報を選択することで、ロバストな障害物の検知と、より正確な距離情報を取得することができる。

立体物候補抽出部５２０では、視差画像合成部５１０で生成された視差画像を基に、立体物の候補抽出を実施する。まずここでは車載カメラがステレオカメラであった場合の例を示す。視差画像から自車両姿勢計測部２２０により計算された路面領域の視差情報を削除する。自車両に設置されたカメラの位置と姿勢から、画面上に路面が映っていれば取得できる視差値に距離に応じて変化する誤差成分を考慮して路面および路面より鉛直下に存在する視差情報を削除する。

この路面以下の視差情報を削除した画像を利用して、画像上で幅4pix程度で縦方向に視差値別の有効視差頻度ヒストグラムを算出し、これをX方向に並べて縦方向に視差値（距離値）と横方向に画像上の横位置を示すvdisparity画像を生成する。路面上に立体物が存在する場合には、縦方向のエッジから視差画像においても縦方向に立体物までの視差が並んでいる。このためvdisparity画像上では、立体物が存在する視差値（距離値）かつ立体物が存在する画像横方向に高い頻度の山が現れることとなる。このようなvdisparity画像上での山を探索することで、立体物の候補を抽出する。次に、毎フレーム抽出する立体物の候補を時系列に観測して、安定的に立体物候補がトラッキングできることを確認した上で、最終的な立体物候補とする。

立体物候補抽出部５２０では、立体物の候補抽出を実施する。まずここでは車載カメラが単眼カメラであった場合の例を示す。単眼カメラでは、自車両姿勢計測部２２０の情報も利用して立体物の鉛直上向きに伸びるエッジ情報を探索することで立体物候補を探索する。ただし、単眼カメラでは、立体物かどうかわからないので、パターンマッチングを実施する候補を探索する。この際に、自車両の姿勢状態からカメラ幾何を利用して、抽出した候補物体の大きさの大まかな値で、候補物体を絞り込む。更に時系列に、ある程度トラッキングできることを持って、パターンマッチングの処理対象とする最終的な立体物の候補とする。

フロー抽出部５３０は、単眼カメラで利用されことが多いが、これは単眼カメラであっても、ステレオカメラの片目を利用しても良い。フロー抽出部５３０は、時系列に変化する画像上での物体の動きを捉え、自車両の挙動から推定される背景の動きをキャンセルした上で、画像上の動きを観測することで、移動体を抽出することが可能である。

自車両の動きから生じる路面など背景の動きを推定し、自車両姿勢計測部２２０にて推定されたカメラの姿勢を利用して画像上の背景の動きを推定する。画像上における背景の動きを推定し、画像上で同一方向、同一大きさの動きがあるフロー集合体を捉えてこれを移動体の候補物体として抽出する。また、抽出した移動体のフローの平均を求めることで、移動体の画像上の移動量を抽出することができる。この移動体の移動速度を画像上の移動量から算出しても良い。また、これを時系列に続けることで安定してトラッキングできた物体のみを移動体の最終候補として抽出する。

次に、これら立体物候補抽出部５２０から抽出された立体物候補もしくは、フロー抽出部５３０から抽出された移動体候補もしくはこれら両方から抽出された候補物体に対して、何の種類の立体物か特定すべく、パターン認識部５４０においてパターンマッチングを実施する。パターン認識部５４０は、車両や人などのパターンマッチングを実施し、車両の場合には、それが自車両の先行車両でありなおかつどの程度の速度、もしくは速度差で移動中であるかなどを推定する。人の場合にも同様に、位置と移動速度を推定し、これらと自車両が衝突するか判定を実施する。また、パターンマッチングにより人、もしくは車両でなかったとしても、その他の立体物である場合、特にステレオカメラにおいては、車や歩行者以外の立体物であっても、立体物であることには間違いないため、警報や制御の対象としては利用する。

最後に、警報制御部６００では、上記の認識部５００で観測された歩行者、車両、または、その他の立体障害物に対して、その位置と移動速度などを推定し、自車両の進行経路に存在し、衝突の可能性が高いかどうかを判定する。そして、更にドライバーがブレーキを踏んで止まれないような位置と距離にいる場合、もしくはその直前である場合には、自車両の自動ブレーキを実施する。一方、上記の車両制御を実施するには、まだ、距離が長い場合、もしくは、自車両と障害物の位置関係から自車両に衝突する可能性は低いが極めて近距離１ｍ程度の横位置の関係で横をすり抜けるような場合には、警報を鳴らす。

図１２は、単一シャッタータイミングの処理フローを示す図である。まず、最初に、ここでは単一のシャッタータイミングで撮像し、領域別に異なる露光条件の画像を取得する場合の単一シャッタータイミング処理フローを示す。CMOSの構成などでハード的に領域別に異なる露光条件での撮像が可能な場合、もしくは、撮像部ではヘッドライト照射範囲内外を考慮した中間的な画像を撮像し、後処理にてソフト的な補正ゲインなどを領域別にかけることで、異なる露光条件の画像を取得する場合の処理フローについて示す。

まず、露光条件を設定する（ステップＳ０１）。起動時のみは、デフォルト値、もしくは、前回終了時、電源OFF時の露光条件をそのまま利用しても良い。通常は、前フレームの処理にて取得した画像の観測値を基に領域別に露光条件（シャッタースピードもしくはゲイン）のフィードバックを実施し、撮像領域別に異なる露光条件を設定する。もしくは画像全体を照射範囲内外を考慮した中間的なシャッター速度とゲインの露光条件を設定視も良い。

そして、画像を撮像する（ステップＳ０２）。画像の撮像は、設定されている露光条件において行われる。そして、撮像領域別に異なる露光条件で画像を取得する。ここでは、中間的なシャッター速度とゲインの露光条件で撮像して、後処理としてソフト処理でゲイン変更により領域別に異なるゲインをかけることで、領域別に異なる露光条件の画像を取得しても良い。

そして、輝度観測領域を設定する（ステップＳ０３）。輝度観測領域は、画像上において配光パターンもしくは推定した照射領域を利用して照射領域内と照射領域外に、それぞれ設定される。次に、照射領域内と照射領域外の輝度観測領域から平均輝度を観測する（ステップＳ０４）。上記ステップＳ０４の処理にて算出された平均輝度を利用して、露光条件のフィードバック制御を各領域別に実施する(ステップＳ０５）。

次に、撮像した画像を基に、障害物などの認識候補を抽出する（ステップＳ０６）。認識候補の抽出は、立体物候補抽出部５２０もしくはフロー抽出部５３０で行われる。そして、パターン認識を行う（ステップＳ０７）。パターン認識では、抽出された候補物体に関してパターンマッチングを実施し、候補物体が人か車かなど種別を設定する。

そして、認識された人、もしくは車、その他の障害物に対して移動速度や位置を推定し（ステップＳ０８）、衝突予測判定を行う（ステップＳ０９）。衝突予測判定では、自車挙動を推定し自車推定経路上もしくはその付近に、認識された人、もしくは車、その他の障害物が存在するかどうかを位置から判定し、更に、移動速度を考慮して衝突の危険性があるかも判定する。

更に、ドライバーがブレーキを踏んだ際に止まれる距離範囲よりも遠くにいる物体は、ドライバーが自分でブレーキを踏む可能性があり、自動的に制御がかかるとわずらわしいことや自動ブレーキに頼りすぎになることを懸念して、制御をかけない。ドライバーが障害物を認識してブレーキを踏むタイミングとしては遅すぎると判断した場合に警報、更に遅く衝突可能性が高いと判断した場合のみ自動ブレーキの実行を判定する。そして、ステップＳ０９で判定された結果をもとに、警報や制御を実施する（ステップＳ１０）。

図１３には、２重露光を利用した場合の照射領域内外の撮像タイミングと認識処理タイミングの時系列的な処理の流れを、タイムチャートで表現した処理例を２つ示す。

A)交互処理例：２重露光処理は、偶数フレームでは照射領域外の露光条件で撮像し、奇数フレームでは照射領域内の露光条件で撮像するなど、異なるタイミングで異なる露光条件の撮像を行う場合の１つの実施例である。領域別に異なる露光条件を設定することが困難である場合には、毎フレームごとに露光条件を入れ替えて撮像する。これにより、照射領域内の明るい領域に適した露光条件での画像と、照射領域外の暗い領域に適した露光条件での画像を図１３のタイムチャートに示すように交互に撮像する。そして、交互に行われる撮像の後で、照射領域外撮像時に、その前の撮像タイミングで撮像された照射領域内の撮像画像を利用して照射領域内の画像認識処理を実施する。反対に、照射領域内撮像時に、その前の撮像タイミングで撮像された照射領域外の撮像画像を利用して画像認識処理を実施する。

B)統一処理例：２重露光で撮像した画像を利用した認識処理の統一処理の方法では、交互に行われる撮像で１組の撮像（照射領域内用の撮像と照射領域外の撮像）が終了した後に初めて認識処理が実行される。特に、照射領域内と照射領域外の画像から１つの統合した視差画像を生成するような処理が行われる場合には、両方の画像がそろってからでなければ画像認識処理が開始しづらいために、このような処理手順をとる場合もありうる。A)交互処理の方が、撮像してから認識されるまでの遅延時間が少ない。B)統一処理は遅延時間が多いが、照射領域内外の画像両方を利用できる利点がある。

図１４に２重露光の処理フローを示す。図１３のB)統一処理の場合には、ある一定期間に１組の画像を撮像し、その期間を１つの処理サイクルと考えると、処理フローは単一シャッタータイミングとほぼ同等の考え方となるため今回は省略する。Ｓ０１からＳ０５の部分が実際には異なるタイミングで2回処理し、二つの画像がそろってからＳ０６の認識候補抽出処理を開始する。

図１３のA)交互処理の場合の処理フローについて図１４を用いて説明する。詳細内容は図１２と共通である部分が多いため、異なる部分だけを主に説明し、他は簡易的に説明する。図１４のステップＳ０１〜Ｓ０８は、照射領域内を考慮した画像認識処理フローを示す。ステップＳ０１で照射領域内露光条件を設定する。ステップＳ０２で画像を撮像し、ステップＳ０３で照射領域内の輝度観測領域を設定する。そして、ステップＳ０４で輝度観測領域内の平均輝度を観測し、ステップＳ０５で観測された平均輝度を利用して露光条件の設定のフィードバック制御を実施する。ステップＳ０６では、撮像された画像を利用した認識候補を抽出し、ステップＳ０７において候補物体のパターンマッチングによりその種別特定を実施する。ステップＳ０８で障害物となりうる人や車両などの位置と移動速度を算出し、ヘッドライト照射範囲内の障害物を検知する。

図１４のステップＳ０１’〜Ｓ０８’は、照射領域外を考慮した画像認識処理フローを示す。ステップＳ０１’で照射領域外露光条件を設定する。ステップＳ０２’で画像を撮像し、ステップＳ０３’で照射領域外の輝度観測領域を設定する。そして、ステップＳ０４’で照射領域外の輝度観測領域の平均輝度を観測し、ステップＳ０５’で観測された平均輝度を利用して露光条件の設定のフィードバック制御を実施する。ステップＳ０６’では、撮像された画像を利用した認識候補を抽出し、ステップＳ０７’において候補物体のパターンマッチングによりその種別特定を実施する。ステップＳ０８’で障害物となりうる人や車両などの位置と移動速度を算出し、ヘッドライト照射範囲外の障害物を検知する。

ステップＳ０９では、これら２つの処理フローからヘッドライト照射範囲内と照射範囲外の障害物を検知する。これらの障害物の位置、速度と自車挙動から衝突の可能性を判定する。ステップＳ１０では、ステップＳ０９で判定された結果をもとに、警報や制御を実施する。

図１５に示す方法は、A)交互処理例と同様に照射領域内用と照射領域外用の2パターンを交互に撮影するが、ただし、これを全画面撮像する例を示している。撮像自体は使用するCMOSなどの制約条件から全画面撮像を実施するものの、ここから画像認識に利用する画像を、これまで同様に、照射領域外と照射領域内で分割して利用する方法である。

図１５では、照射内露光で撮影された画像を利用した視差画像生成のための領域R_BAとL_BAを図１５の下段に示している。これら2つの領域を利用して照射領域内の視差画像生成を実施する。

反対に、照射領域外については、シャッタータイミングが１つ遅れた場合のシャッターを利用し、暗い領域を撮像するように調整された露光条件の画像を全画面撮像し、この中から照射領域外のR_DAとL_DAの2つの領域を利用して、照射領域外用の視差画像を生成する。このようにある一定周期内の異なるタイミングで撮像された、異なる露光条件の撮像画像を照射領域内と照射領域外にとって適切な画像を用意する。

それぞれの露光条件にとってより適切な画像を用いて外環境を認識することで、ヘッドライトによって照らされた明るい領域と、ヘッドライトによって照らすことのできない暗い領域のそれぞれに、より適切な認識を実施する。特に、従来考慮されてこなかった広角部分の暗い領域の撮影をより適切に実施し、不検知、誤検知を抑制する。

図１５では、右カメラの明るい領域と暗い領域の境界は、重なりなく分割している。それぞれの露光条件において視差画像を生成した後に、視差画像を合成してから全画面での認識処理を実施してもよい。もしくは、照射領域内と照射領域外との間に視差画像のマッチング用のマージンだけでなく、２領域の境界にいる障害物分の大きさのマージンを設けるような方法でもよい。

視差画像上でマッチングする方法の方が処理時間が少なく、効率がよい。ただし、照射領域内と照射領域外にマージンを設けて画像認識する手法の方が処理時間はかかるものの、両方で認識する処理を実施するため、不検知を抑制することができる。

以上、本発明の実施形態について詳述したが、本発明は、前記の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の精神を逸脱しない範囲で、種々の設計変更を行うことができるものである。例えば、前記した実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。さらに、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

100 撮像部
200 照射領域設定部
210 配光パターン設定部
220 自車両姿勢計測部
230 画像上露光枠設定部
240 光源環境認識部
250 ステレオ用左右領域設定部
300 照射領域内観測部
350 照射領域外観測部
400 照射内外露光調整部
410 シャッタースピード変更部
420 ゲイン変更部
430 積分画像生成部
440 マッチング用露光調整部
500 認識部
510 視差画像合成部
520 立体物候補抽出部
530 フロー抽出部
540 パターン認識部
600 警報制御部

Claims (8)

1. 車載カメラを用いて自車両の前方を撮像する撮像部と、
   該撮像部で撮像された撮像画像を用いて周囲環境の認識を行う認識部と、を備える車載環境認識装置であって、
   前記車載カメラは、自車両のヘッドライト照射範囲を含みかつ該ヘッドライト照射範囲よりも水平方向に広い範囲を撮像可能であり、
   前記撮像部は、ヘッドライト照射範囲内を撮像した照射領域内の画像とヘッドライト照射範囲外を撮像した照射領域外の画像とで明るさの調整量を変更して前記撮像画像を撮像し、
   前記撮像部は、前記撮像画像の前記照射領域内と前記照射領域外に露光枠をそれぞれ設定し、各露光枠内の輝度情報を取得し、前記照射領域内と照射領域外の前記明るさの調整量である露光条件を設定することを特徴とする車載環境認識装置。
2. 前記車載カメラはステレオカメラであり、
   前記撮像部は、
   前記ステレオカメラが有する左右のカメラのうちいずれか一方のカメラの画像をベースとして前記照射領域内と前記照射領域外を設定し、
   前記一方のカメラの画像の局所矩形領域を基準画像として他方のカメラの画像の局所矩形領域との相関性を計算しながら水平探索のステレオマッチングを実施するときに、
   一方のカメラの局所矩形領域と、他方のカメラの水平探索された局所矩形領域とが同一露光条件であることが保障されていることを特徴とする請求項１に記載の車載環境認識装置。
3. １つのカメラの連続するシャッタータイミングにおいて、露光条件を設定して前記照射領域内の画像と前記照射領域外の画像をそれぞれ取得し、前記照射領域内の画像はヘッドライト配光パターン内部の画像を利用し、前記照射領域外の画像はヘッドライト配光パターン外部の画像を利用することを特徴とする請求項１に記載の車載環境認識装置。
4. 前記左右のカメラで前記照射領域内と前記照射領域外にそれぞれ２つ以上の露光条件の画像を取得し、
   同一露光条件の画像を利用して視差画像を生成し、
   前記撮像画像の同一箇所において、異なる露光条件の画像から取得された視差情報を保持し、
   ヘッドライト配光パターンとヘッドライト照射範囲の少なくとも一方に基づいて、前記撮像画像においてどちらの視差情報を優先して利用するかを判定することを特徴とする請求項２に記載の車載環境認識装置。
5. 前記照射領域内と前記照射領域外に２つ以上の露光条件の画像を、ある一定期間内に異なるシャッタータイミングで別々に撮像することを特徴とする請求項１に記載の車載環境認識装置。
6. 前記照射領域内と前記照射領域外に２つ以上の露光条件を適用し、領域別に撮像することを特徴とする請求項１に記載の車載環境認識装置。
7. 前記撮像画像に対してゲインテーブルを利用して前記照射領域内の画像と前記照射領域外の画像を取得することを特徴とする請求項１に記載の車載環境認識装置。
8. 連続して撮像した複数の画像を利用して、前記照射領域外では、前記画像を積分してノイズを削減することを特徴とする請求項１に記載の車載環境認識装置。

Images