JP2005350010A

JP2005350010A - ステレオ式車外監視装置

Info

Publication number: JP2005350010A
Application number: JP2004175198A
Authority: JP
Inventors: Takayuki Sogawa; 能之十川
Original assignee: Fuji Heavy Industries Ltd
Current assignee: Subaru Corp
Priority date: 2004-06-14
Filing date: 2004-06-14
Publication date: 2005-12-22
Also published as: US20060018513A1

Abstract

【課題】ステレオ式車外監視装置において、夜間走行時に広範囲な監視領域を確保して、監視精度の一層の向上を図る。
【解決手段】ステレオ式車外監視装置において、自車両の周辺を照射する投光器と、投光器のみの照射時よりも広い監視領域を確保するために、投光器よりも遠方を赤外線で照射するとともに、投光器よりも広い照射角で投光器よりも近傍を赤外線で照射する複数の赤外線補助灯と、一対の赤外線カメラによって構成され、少なくとも赤外線補助灯の照射範囲β，γを撮像するステレオカメラと、ステレオカメラから出力された一対の撮像画像に基づいて、ステレオマッチングを用いて、距離データを算出するステレオ画像処理部と、ステレオ画像処理部から出力された距離データに基づいて、自車両の周辺に存在する対象物を監視する監視部とを有する。
【選択図】図３

Description

本発明は、一対の赤外線カメラによって構成されたステレオカメラを用いて、自車両の周囲を監視するステレオ式車外監視装置に関する。

例えば、特許文献１には、航空機の夜間飛行時における監視精度を確保すべく、一対の赤外線カメラを用いたステレオ式監視装置が開示されている。また、特許文献２には、可視光および赤外光の双方で照射された自車両前方を単眼の赤外線カメラで暗視する暗視装置が開示されている。この暗視装置では、前照灯における光源からの出射光を可視光と赤外光に分離して、赤外光を可視光よりも遠方に照射している。これにより、自車両の前方において、可視光の照射領域外に赤外光のみが照射される領域が形成される。このような状態で、赤外光を受光する単眼の赤外線カメラによって自車両前方の景色が撮像され、撮像された画像が表示装置に表示される。ドライバーは、表示された画像を通じて、可視光の照射領域内のみならず、その領域外に存在する遠方の障害物も把握することが可能になる。
特開２００１−３４４５９７号公報特開２００３−２１７３１９号公報

ところで、自動車等の車両に搭載されたステレオ式車外監視装置で解決すべき課題として、夜間走行時における監視領域の拡大が挙げられる。車両に搭載された前照灯（ロービーム）は、対向車を運転するドライバーへの配慮等から、自車両の比較的近傍を照射するように設定されている。このような照射状況において、監視装置は、前照灯の照射領域内に存在する対象物を認識することはできても、その領域外の対象物に関しては、それ自体が発光している場合等を除いて認識することが困難になる。その結果、夜間走行時に確保される監視領域は、日中走行時のそれよりも必然的に狭くなってしまう。

かかる問題の解決策の一つとして、可視光カメラの代わりに赤外線カメラをステレオカメラとして用いるとともに、赤外線補助灯を追加して、前照灯および赤外線補助灯の双方で自車両前方を照射する方法が考えられる。しかしながら、この場合であっても、夜間走行時に日中走行時と同様の監視領域を確保することは困難である。なぜなら、例えば、前照灯よりも遠方を赤外線で照射する場合には、監視領域を遠方に拡大できても、自車両の極近傍左右が依然死角として残ってしまうからである。逆に、前照灯よりも広い照射角で前照灯よりも近傍を赤外線で照射する場合には、上記死角を解消できても、赤外光が遠方まで届かないので、監視領域を遠方に拡大することができないからである。

なお、上述の課題は、自車両前方に限定されるものではない。すなわち、自車両の後方を監視する場合において、例えば後退灯に赤外線補助灯を追加しても同様の課題を有する。

本発明は、かかる事情に鑑みてなされたものであり、その目的は、ステレオ式車外監視装置において、夜間走行時であっても広範囲な監視領域を確保して、監視精度の一層の向上を図ることである。

かかる課題を解決するために、第１の発明は、自車両の周辺を照射する投光器と、投光器のみの照射時よりも広い監視領域を確保するために、投光器よりも遠方を赤外線で照射するとともに、投光器よりも広い照射角で投光器よりも近傍を赤外線で照射する複数の赤外線補助灯と、一対の赤外線カメラによって構成され、少なくとも赤外線補助灯の照射範囲を撮像するステレオカメラと、ステレオカメラから出力された一対の撮像画像に基づいて、ステレオマッチングを用いて、距離データを算出するステレオ画像処理部と、ステレオ画像処理部から出力された距離データに基づいて、自車両の周辺に存在する対象物を監視する監視部とを有するステレオ式車外監視装置を提供する。

第２の発明は、自車両の周辺を照射する投光器と、投光器よりも遠方を赤外光で照射する第１の赤外線補助灯と、投光器より広い照射角で投光器よりも近傍を赤外光で照射する第２の赤外線補助灯と、一対の赤外線カメラによって構成され、少なくとも第１の赤外線補助灯の照射範囲および第２の赤外線補助灯の照射範囲を撮像するステレオカメラと、ステレオカメラから出力された一対の撮像画像に基づいて、ステレオマッチングを用いて、距離データを算出するステレオ画像処理部と、ステレオ画像処理部から出力された距離データに基づいて、自車両の周辺に存在する対象物を監視する監視部とを有するステレオ式車外監視装置を提供する。

第３の発明は、自車両の周囲を照射する投光器と、投光器の照射方向よりも右側に向けて、投光器よりも遠方を赤外光で照射する第１の赤外線補助灯と、投光器の照射方向よりも左側に向けて、投光器よりも遠方を赤外光で照射する第２の赤外線補助灯と、一対の赤外線カメラによって構成され、少なくとも第１の赤外線補助灯の照射範囲および第２の赤外線補助灯の照射範囲を撮像するステレオカメラと、ステレオカメラから出力された一対の撮像画像に基づいて、ステレオマッチングを用いて、距離データを算出するステレオ画像処理部と、ステレオ画像処理部から出力された距離データに基づいて、自車両の周辺に存在する対象物を監視する監視部とを有するステレオ式車外監視装置を提供する。

ここで、第１から第３の発明のいずれかにおいて、上記投光器は、自車両の前部の左右にそれぞれ取り付けられた一対の前照灯であってもよい。

本発明によれば、複数の赤外線補助灯を用いて、前照灯や後退灯といった投光器によって確保される監視領域を遠方および近傍の双方に拡大することにより、監視制御上、夜間走行時であっても広範囲な監視領域を確保できる。その結果、夜間走行時における監視精度の一層の向上を図ることが可能になる。

図１は、本実施形態にかかるステレオ式車外監視装置のブロック構成図である。このステレオ式車外監視装置１は、自車両前方の視認性が低下する夜間走行時（すなわち極暗状況下での走行時）において、前照灯および赤外線補助灯を協働させることにより、前照灯のみを用いる場合と比較して、監視制御上の監視領域を広範囲に確保する。図２に示すように、投光器としての一対の前照灯２ａ，２ｂは、自車両の前部の左右にそれぞれ取り付けられており、自車両の前方に可視光を照射する。一方の赤外線補助灯３ａは、例えば、車両右前部に取り付けられた一方の前照灯２ａの近傍に設けられている。また、他方の赤外線補助灯３ｂは、例えば、車両左前部に取り付けられた他方の前照灯２ｂの近傍に設けられている。これらの赤外線補助灯３ａ，３ｂは、自車両の前方に非可視光である赤外光、具体的には近赤外光を照射する。赤外線補助灯３ａ，３ｂは、例えば、可視光を照射する前照灯などのランプに可視光カットフィルタを装着することによって実現できるが、近赤外光ＬＥＤ(Light Emitting Diode)を用いてもよい。

図３は、前照灯２ａ，２ｂおよび赤外線補助灯３ａ，３ｂの照射パターンの一例を示す図である。前照灯２ａ，２ｂは、車両の進行方向と略一致する照射方向Ｄに可視光（赤外光成分を含む）を照射する。同図に示した領域αは、前照灯２ａ，２ｂの照射によって形成される可視光の照射領域である。また、領域βは、一方の赤外線補助灯３ａの照射によって形成される赤外光の照射領域である。この照射領域βを形成する補助灯３ａは、前照灯２ａ，２ｂと同様に照射方向Ｄに向かって、前照灯２ａ，２ｂよりも遠方を照射する。したがって、赤外光の照射領域βは、可視光の照射領域αよりも狭い照射角を有し、かつ、照射領域αよりも遠方に延びている。さらに、領域γは、他方の赤外線補助灯３ｂの照射によって形成される赤外光の照射領域である。この照射領域γを形成する補助灯３ｂは、前照灯２ａ，２ｂと同様に照射方向Ｄに向かって、前照灯２ａ，２ｂよりも近傍を赤外光で照射する。したがって、赤外光の照射領域γは、可視光の照射領域αよりも広い照射角を有し、かつ、照射幅αよりも近傍に拡がっている。なお、赤外線補助灯３ａ，３ｂによって照射される赤外光は、視覚的に認識されない光であるから、自車両、先行車または対向車を運転するドライバーが照射領域β，γのような赤外光の照射を感じることはない。

ステレオカメラ４は、例えば、車内のルームミラー近傍に取り付けられており、車両前方の道路状況や障害物に関する監視情報を取得する。このステレオカメラ４は、赤外光に感光する一対の赤外線カメラ４ａ，４ｂによって構成されており、前照灯２ａ，２ｂおよび赤外線補助灯３ａ，３ｂの照射下において、自車両の前方を撮像する。それぞれのカメラ４ａ，４ｂには、ＣＣＤ（Charge-Coupled Device）センサやＣＭＯＳ（Complementary Metal-Oxide Semiconductor）センサ等のイメージセンサが内蔵されている。進行方向右側に配置されたメインカメラ４ａは、ステレオ画像処理を行う際の基準画像を時系列的に撮像する。これに対して、進行方向左側に配置されたサブカメラ４ｂは、メインカメラ４ａと同期して、比較画像を撮像する。メインカメラ４ａから出力されたアナログ信号は、Ａ／Ｄコンバータ５ａによって所定の輝度階調（例えば、256階調のグレースケール）のデジタルデータに変換された後、基準画像データとして画像補正部６に供給される。また、サブカメラ４ｂから出力されたアナログ信号は、Ａ／Ｄコンバータ５ｂによってデジタルデータに変換された後、比較画像データとして画像補正部６に供給される。

画像補正部６は、基準画像データおよび比較画像データに対して、輝度の補正や画像の幾何学的変換などの画像補正を行う。通常、ステレオカメラ４を構成する一対の赤外線カメラ４ａ，４ｂの取付位置には、ボディのゆがみ等に起因した誤差が存在するため、撮像された画像にもズレが生じている。このズレを補正するために、アフィン変換等を用いて、画像の回転や平行移動等の幾何学的変換が行われる。このような画像処理を経た後、１フレーム相当の基準画像データおよび比較画像データは、後段のステレオ画像処理部７に出力されるとともに、画像データメモリ８に保存される。

ステレオ画像処理部７は、基準画像データと比較画像データとに基づいて、１フレーム相当の撮像画像に関する距離データを算出する。ここで、「距離データ」とは、画像データによって規定される画像平面において小領域（例えば4×4画素）毎に算出された視差ｄの集合である。基準画像におけるある画素ブロック（相関元）の視差ｄを算出する場合、この画素ブロックの輝度特性と相関を有する領域（相関先）を比較画像において特定する。周知のように、ステレオカメラ４から対象物までの距離は、基準画像と比較画像との間における水平方向のズレ量として現れる。したがって、比較画像において相関先を探索する場合、相関元となる画素ブロックと同じ水平線（エピポーラライン）上を探索すればよい。また、２つの画素ブロックの相関は、例えばシティブロック距離を算出することにより評価することができ、その値が最小となる画素ブロックが相関先と判断される。そして、特定された相関先と相関元との間のズレ量が視差ｄとなる。このような処理を経て算出された距離データ、すなわち、画像平面上の位置と対応付けられた視差ｄの集合が、距離データメモリ９に保存される。

マイクロコンピュータ１０は、距離データメモリ９に保存された距離データをベースとし、必要に応じて、画像データメモリ８に保存された画像データを参照しながら、自車両の前方に存在する対象物（例えば、先行車や歩行者等）を認識・監視する。なお、具体的な対象物の認識・監視手法については、本願出願人が既に多数の出願において開示しているので、ここでの説明を省略する。マイクロコンピュータ１０は、例えば、認識された対象物に関する実空間上の位置を表示部１１にリアルタイムで表示してもよい。また、マイクロコンピュータ１０は、認識された対象物の挙動や自車両までの距離等をモニタリングし、必要に応じて、ＡＢＳ１２（アンチロック・ブレーキ・システム）、ＡＴ１３（自動変速機）またはエンジン１４を通じた車両の制動制御を行ってもよい。

このように、本実施形態では、複数の赤外線補助灯３ａ，３ｂを用いて、前照灯２ａ，２ｂよりも遠方を赤外線で照射するとともに、前照灯２ａ，２ｂよりも広い照射角で近傍を赤外線で照射している。したがって、前照灯２ａ，２ｂのみの照射時と比較して、夜間走行時であっても広範囲な監視領域を確保できる。この点を図４および図５を比較しながら詳述する。図４は、前照灯２ａ，２ｂのみの照射時における監視領域の図であり、図５は、前照灯２ａ，２ｂおよび赤外線補助灯３ａ，３ｂの併用時における監視領域の説明図である。前者の場合、実際に有効な監視領域は、矩形で示した枠内の全体ではなく、図３に示した可視光の照射領域αに対応する領域に限定されてしまうケースが生じ得る。このケースにおいて、それ以外の領域ａ，ｂ，ｃは、監視制御上、対象物を認識できないマスク領域になってしまう。したがって、例えば、遠方領域ａに先行車が存在する場合、監視制御上、これを対象物として認識できないことがある。同様に、自車両の左右近傍ｂ，ｃに歩行者が存在する場合、これを対象物として認識できないことがある。このようなケースは、自車両の前照灯以外に光源が殆ど存在しないような極暗下において顕著になる。

これに対して、後者の場合では、前照灯２ａ，２ｂのみならず赤外線補助灯３ａ，３ｂも照射されているので、図４のようなマスク領域ａ，ｂ，ｃの発生を有効に抑制することができる。したがって、可視光の照射領域αに含まれない程遠方に先行車が存在する場合であっても、これが赤外光の照射領域β内に存在する限り、対象物として有効に認識することができる。また、可視光の照射領域αに含まれない左右近傍ｂ，ｃに歩行者が存在する場合であっても、これが赤外光の照射領域γ内に存在する限り、対象物として有効に認識することができる。このように、前照灯２ａ，２ｂのみの照射時に確保される監視領域を遠方および近傍の双方に拡大することで、夜間走行時における監視精度の一層の向上を図ることができる。

また、本実施形態によれば、複数の赤外線補助灯３ａ，３ｂを用いることで、光学系を複雑化させることなく簡単に、広範囲な監視領域を確保することができる。一般に、単一光源の場合、照射角および照射距離といった２つの照射特性は相反する関係にあり、照射角を広げれば照射距離が短くなり、逆に照射距離を長くすれば照射角が狭くなる。この点は、特許文献２に開示された前照灯（赤外線の単一光源）についても同様である。本実施形態では、複数の赤外線補助灯３ａ，３ｂの照射特性を変えて、一方の照射特性で他方の照射特性を補完することにより、照射角と照射距離との両立を図っている。

なお、このような補完にて照射角と照射距離とを両立させる照射パターンは、図３に限定されるものではなく、それ以外の照射パターンであってもよい。図６は、前照灯２ａ，２ｂおよび赤外線補助灯３ａ，３ｂの照射パターンの別の一例を示す図である。前照灯２ａ，２ｂは、車両の進行方向と略一致する照射方向Ｄ1に可視光を照射する。同図に示した領域αは、前照灯２ａ，２ｂの照射によって形成される可視光の照射領域である。また、領域βは、一方の赤外線補助灯３ａの照射によって形成される赤外光の照射領域である。この補助灯３ａは、前照灯２ａ，２ｂの照射方向Ｄ1よりも角度θ1だけ右側にずれた照射方向Ｄ2に向かって、赤外光を照射する。したがって、赤外光の照射領域βは、自車両の近傍では照射領域αよりも右側にはみ出ており、かつ、照射領域αよりも遠方に延びている。さらに、領域γは、他方の赤外線補助灯３ｂの照射によって形成される赤外光の照射領域である。この補助灯３ｂは、前照灯２ａ，２ｂの照射方向Ｄ1よりも角度θ2だけ左側にずれた照射方向Ｄ3に向かって、赤外光を照射する。したがって、赤外光の照射領域γは、自車両の近傍では照射領域αよりも左側にはみ出ており、かつ、照射領域αよりも遠方に延びている。

また、上述した実施形態では、２つの赤外線補助灯３ａ，３ｂを用いた例について説明したが、３つ以上の赤外線補助灯を用いても構わないのは当然である。

さらに、上述した実施形態では、投光器として前照灯２ａ，２ｂに着目し、自車両の前方に設定される監視領域の拡大を図る構成例について説明したが、本発明はこれに限定されるものではなく、自車両の周辺を照射する投光器に対して広く適用可能である。例えば、自車両後方を照射する後退灯に着目し、これと補助灯３ａ，３ｂとを併用することによって、自車両の後方の監視領域の拡大を図るといった如くである。

本実施形態にかかるステレオ式車外監視装置のブロック構成図ステレオ式車外監視装置を実装した車両の上面図照射パターンの一例を示す図前照灯のみの照射時における監視領域の説明図前照灯および赤外線補助灯の併用時における監視領域の説明図照射パターンの別の一例を示す図

符号の説明

１ステレオ式車外監視装置
２ａ，２ｂ前照灯
３ａ，３ｂ赤外線補助灯
４ステレオカメラ
４ａ，４ｂ赤外線カメラ
５ａ，５ｂＡ／Ｄコンバータ
６画像補正部
７ステレオ画像処理部
８画像データメモリ
９距離データメモリ
１０マイクロコンピュータ
１１表示部
１２ＡＢＳ
１３ＡＴ
１４エンジン

Claims

ステレオ式車外監視装置において、
自車両の周辺を照射する投光器と、
前記投光器のみの照射時よりも広い監視領域を確保するために、前記投光器よりも遠方を赤外線で照射するとともに、前記投光器よりも広い照射角で前記投光器よりも近傍を赤外線で照射する複数の赤外線補助灯と、
一対の赤外線カメラによって構成され、少なくとも前記赤外線補助灯の照射範囲を撮像するステレオカメラと、
前記ステレオカメラから出力された一対の撮像画像に基づいて、ステレオマッチングを用いて、距離データを算出するステレオ画像処理部と、
前記ステレオ画像処理部から出力された前記距離データに基づいて、前記自車両の周辺に存在する対象物を監視する監視部と
を有することを特徴とするステレオ式車外監視装置。
ステレオ式車外監視装置において、
自車両の周辺を照射する投光器と、
前記投光器よりも遠方を赤外光で照射する第１の赤外線補助灯と、
前記投光器より広い照射角で前記投光器よりも近傍を赤外光で照射する第２の赤外線補助灯と、
一対の赤外線カメラによって構成され、少なくとも前記第１の赤外線補助灯の照射範囲および前記第２の赤外線補助灯の照射範囲を撮像するステレオカメラと、
前記ステレオカメラから出力された一対の撮像画像に基づいて、ステレオマッチングを用いて、距離データを算出するステレオ画像処理部と、
前記ステレオ画像処理部から出力された前記距離データに基づいて、前記自車両の周辺に存在する対象物を監視する監視部と
を有することを特徴とするステレオ式車外監視装置。
ステレオ式車外監視装置において、
自車両の周囲を照射する投光器と、
前記投光器の照射方向よりも右側に向けて、前記投光器よりも遠方を赤外光で照射する第１の赤外線補助灯と、
前記投光器の照射方向よりも左側に向けて、前記投光器よりも遠方を赤外光で照射する第２の赤外線補助灯と、
一対の赤外線カメラによって構成され、少なくとも前記第１の赤外線補助灯の照射範囲および前記第２の赤外線補助灯の照射範囲を撮像するステレオカメラと、
前記ステレオカメラから出力された一対の撮像画像に基づいて、ステレオマッチングを用いて、距離データを算出するステレオ画像処理部と、
前記ステレオ画像処理部から出力された前記距離データに基づいて、前記自車両の周辺に存在する対象物を監視する監視部と
を有することを特徴とするステレオ式車外監視装置。
前記投光器は、前記自車両の前部の左右にそれぞれ取り付けられた一対の前照灯であることを特徴とする請求項１から３のいずれかに記載されたステレオ式車外監視装置。