JP2007295357A - 車載周辺状況提示装置 - Google Patents

Abstract

【課題】死角の発生を抑制しつつ効率的に自車周辺の状況を提示する「車載周辺状況提示装置」を提供する。
【解決手段】
画角４１１で後方を撮影する後方カメラ２を備えた自車４０１の後方にバス４０２と他の自動車４０３と自動二輪車４０４が存在している場合（ａ）、後方カメラ２が撮影した画像（ｃ２）、を、後方カメラ撮影領域からバス４０２による死角領域を除いた領域４２１（ｂ）について有効な後方画像として抽出し、画角４１３を有する左後方カメラ３が撮影した画像（ｃ１）を、左後方カメラ撮影領域とバス４０２による死角領域との重複部分４２２（ｂ）について有効な後方画像として抽出し、画角４１４を有する右後方カメラ４が撮影した画像（ｃ３）を、左後方カメラ撮影領域とバス４０２による死角領域との重複部分４２３（ｂ）について有効な後方画像として抽出する。
【選択図】図４

Description

本発明は、自動車に搭載される、自動車周辺の状況をユーザに対して提示する車載周辺状況提示装置に関するものである。

自動車に搭載される、自動車周辺の状況をユーザに対して提示する技術としては、自動車後部より後方を撮影するカメラと、自動車左側部より後方を撮影するカメラと、自動車右側部より後方を撮影するカメラとの三台のカメラによって、自動車の後方を撮影すると共に、三台のカメラで撮影した画像を合成して表示する技術が知られている（たとえば、特許文献１）。

また、自動車前方をカメラで撮影した画像に対して画像認識処理を施して自動車前方の他車を識別し、識別した他車の情報を提示する技術も知られている（たとえば、特許文献２）。
特開2003-81014号公報 特表2005-509984

カメラで自動車周辺を撮影する場合、他車の陰となるためにカメラによって状況を撮影できなくなる範囲（死角）が発生することが避けられない。一方で、このような死角の大きさは、前記特許文献１の技術のように、異なる方向から同じ領域を撮影する複数のカメラを設ければ縮小することができる。

しかし、カメラで撮影した画像を表示することにより自車周辺の状況を提示する場合において、複数台のカメラで撮影した画像を常時表示することは、死角が発生していない場合には、同じ内容の画像を重複して表示することになるため、表示領域の有効利用などの観点から観て効率的ではない。また、カメラで撮影した画像に対して画像認識処理を施して識別した他車等の情報を提示することにより自車周辺の状況を提示する場合において、複数台のカメラで撮影した画像の全てに対して画像認識処理を常時施すことは、死角が発生していない場合には同じ内容の画像に対して画像認識処理を行うことになるため、画像認識処理の効率性に欠ける。

そこで、本発明は、複数のカメラを用いて、死角の発生を抑制しつつ、より効率的に自車周辺の状況を提示することを課題とする。

前記課題達成のために、本発明は、自動車に搭載され、前記自動車周辺の状況をユーザに対して提示する車載周辺状況提示装置に、自車周辺の第１の撮影領域を撮影する第１のカメラと、前記第１のカメラと異なる方向から、前記第１の撮影領域の少なくとも一部を含む領域である第２の撮影領域を撮影する第２のカメラと、前記第１のカメラが撮影した画像によって表される、前記第１の撮影領域の状況をユーザに提示する状況情報提示手段と、前記第１の撮影領域内の他の物体の陰となるために第１のカメラによって撮影できなくなっている領域である死角領域を算定する死角領域算定手段とを備え、前記状況情報提示手段において、前記死角領域算定手段が算定した死角領域と前記第２の撮影領域とが重複する領域が発生した場合に、前記第２のカメラが撮影した画像によって表される、当該重複する領域の状況の提示を行うようにしたものである。

このような車載周辺状況提示装置によれば、第１のカメラに死角が生じた場合にのみ、第１のカメラが撮影した画像を、第２のカメラで撮影した画像で補完して、第１の撮影領域の周辺状況の提示を行う。したがって、第１の撮影領域の状況を、死角の発生を抑制しつつ、常時第１のカメラが撮影した画像と第２のカメラが撮影した画像を用いて状況の提示を行う場合に比べ、効率的に提示することができるようになる。

ここで、このような車載周辺状況提示装置は、前記第１のカメラは自動車後部より自動車後方を撮影し、前記第２のカメラは自動車側部より自動車後方を含む方向を撮影するものとしてもよい。また、この場合には、車載周辺状況提示装置に、前記第１の撮影領域の少なくとも一部を含む領域である第３の撮影領域を撮影する第３のカメラを設け、前記第２のカメラは自動車左側部より自動車後方を含む方向を撮影するものとし、前記第３のカメラは自動車右側部より自動車後方を含む方向を撮影するものとすると共に、前記状況情報提示手段において、前記死角領域算定手段が算定した死角領域と前記第３の撮影領域とが重複する領域が発生した場合に、前記第３のカメラが撮影した画像によって表される、当該重複する領域の状況の提示を行うようにしてもよい。

これらのようにすることにより、自動車の後方の状況を、死角の発生を抑制しつつ、効率的に提示することができるようになる。
なお、以上のような各車載周辺状況提示装置において、記死角領域算定手段は、前記第１の撮影領域内の他の物体の陰となるために第１のカメラによって撮影できなくなっている領域が所定レベル以上の広がりを持つ場合のみ、当該領域を前記死角領域として算定するようにしてもよい。

このようにすることにより、第１のカメラによって撮影できなくなっている領域がが実用上問題となるほどの広がりを持つ場合以外は、第１のカメラが撮影した画像のみを用いて状況の提示を行うことができ、この結果、自動車周辺の状況を提示するための処理をより効率的に行えるようになる。

以上のように、本発明によれば、複数のカメラを用いて、死角の発生を抑制しつつ、効率的に自車周辺の状況を提示することができる。

以下、本発明の実施形態について説明する。
図１ａに、本実施形態に係る周辺状況提示装置の構成を示す。
本周辺状況提示装置は自動車に搭載される装置であり、図示するように、レーダ装置１、後方カメラ２、左後方カメラ３、右後方カメラ４、後方画像抽出部５、周辺状況提示部６、表示装置７、音声出力装置８とを備えている。
ここで、図１ｂに示すように、レーダ装置１と後方カメラ２は自動車の後部に設置される。そして、レーダ装置１は自車の後方に存在する物体を検出し、検出した物体までの相対位置などを計測する。また、後方カメラ２は自車の後方を撮影する。次に、左後方カメラ３は、たとえば、自動車の左サイドミラーに設置され、自動車の左方から後方を撮影する。また、右後方カメラ４は、たとえば、自動車の右サイドミラーに設置され、自動車の右方から後方を撮影する。

次に、後方画像抽出部５は、以下に示す後方画像抽出処理を行う。
図２に、この後方画像抽出処理の手順を示す。
図示するように、この処理では、まず、自車の後方に、自車の前後方向についての自車からの距離が、所定距離ＴｈＬ内となる他車等の物体が存在するかどうかを判定する（ステップ２０２）。この判定は、レーダ装置１が、自車の後方に、自車の前後方向についての相対距離が所定距離ＴｈＬ内となる相対位置を持つ物体を検出している場合に、そのような物体が存在すると判定することにより行う。ただし、この判定は、後方カメラ２で撮影した自車後方の画像に対して画像認識処理を施して、自車後方の物体を検出すると共に、当該物体が写りこんでいる画像中の位置や、当該物体が写りこんでいる画像中のサイズに応じて、当該物体の自車に対する相対位置を求め、求めた相対位置より求まる自車の前後方向についての相対距離が所定距離ＴｈＬ内であれば、そのような物体が存在すると判定することにより行うようにしてもよい。

そして、自車の後方に、自車からの自車の前後方向についての距離が、所定距離ＴｈＬ内となる他車等の物体が存在しないと判定された場合には、後方カメラ２が撮影した画像を、後方カメラ２の撮影領域の全領域について有効な後方画像として抽出し、周辺状況提示部６に出力し（ステップ２０８）、ステップ２０２からの処理に戻る。ここで、後方カメラ２の撮影領域とは、自車後方の、後方カメラ２が向いている方向（通常は後方カメラ２の対物レンズの光軸方向）と後方カメラ２の画角より定まる、自車後方が水平な地面のみである場合に後方カメラ２によって撮影される範囲内の領域を言う。

一方、自車の後方に、自車からの自車の前後方向についての距離が、所定距離ＴｈＬ内となる他車等の物体が存在する場合（ステップ２０２）には、当該物体を後方隠蔽物体として、水平方向について当該後方隠蔽物体が後方カメラ２の画角中で占める角度範囲を死角角度範囲として算出する（ステップ２０４）。ここで、死角角度範囲は、たとえば、後方カメラ画像の撮影した画像中の後方隠蔽物体の映像の大きさを、先に求めた当該後方隠蔽物体の相対位置などを利用しつつ画像認識処理により求め、後方隠蔽物体の映像の水平方向の大きさより、後方隠蔽物体が後方カメラ２の画角中で占める水平方向の角度範囲を死角角度範囲とすることにより求める。

このようにして死角角度範囲を求めたならば、次に、求めた死角角度範囲の大きさが、予め定めておいた所定の大きさＴｈＡより大きいかどうかを調べ（ステップ２０６）、大きくなければ、後方カメラ２が撮影した画像を、後方カメラ２の撮影領域の全領域について有効な後方画像として抽出し、周辺状況提示部６に出力し（ステップ２０８）、ステップ２０２からの処理に戻る。

一方、求めた死角角度範囲の大きさが、予め定めておいた所定の大きさＴｈＡより大きければ（ステップ２０６）、後方カメラ２が撮影した画像を、後方カメラ２の撮影領域から死角領域を除いた領域について有効な後方画像として抽出し、周辺状況提示部６に出力する（ステップ２１０）。ここで、死角領域とは、後方カメラ２に対して成す角度が、先に求めた死角角度範囲内にあって、先に求めた当該後方隠蔽物体の相対位置より後方カメラ２に対して後ろ側となる領域を指す。

そして、次に、左後方カメラ３の撮影領域と死角領域とに重複する部分があるかどうかを調べ（ステップ２１２）、重複する部分があれば、左後方カメラ３の撮影画像を、左後方カメラ３の撮影領域と死角領域との重複部分について有効な後方画像として抽出し、周辺状況提示部６に出力する（ステップ２１６）。また、右後方カメラ４の撮影領域と死角領域とに重複する部分があるかどうかを調べ（ステップ２１４）、重複する部分があれば、右後方カメラ４の撮影画像を、右後方カメラ４の撮影領域と死角領域との重複部分複部分について有効な後方画像として抽出し、周辺状況提示部６に出力する（ステップ２１８）。そして、ステップ２０２からの処理に戻る。

なお、左後方カメラ３の撮影領域とは、自車後方の、左後方カメラ３が向いている方向と左後方カメラ３の画角より定まる、自車周辺が水平な地面のみである場合に左後方カメラ３によって撮影されることになる範囲内の領域を言う。また、右後方カメラ４の撮影領域とは、自車後方の、右後方カメラ４が向いている方向と右後方カメラ４の画角より定まる、自車周辺が水平な地面のみである場合に右後方カメラ４によって撮影されることになる範囲内の領域を言う。

以上、後方画像抽出部５が行う後方画像抽出処理について説明した。
以下、このような後方画像抽出処理の処理例について示す。
いま、図３ａ１に示す配置関係で、画角３１１で後方を撮影する後方カメラ２を備えた自車３０１の後方に他の自動車３０２と自動二輪車３０３が存在している場合には、自動車３０２と自動二輪車３０３の双方共、自車後方に所定距離ＴｈＬより大きく離れているので（ステップ２０２）、後方カメラ２が撮影した図３ａ２に示す画像が、後方カメラ撮影領域の全てについて有効な後方画像として抽出され、周状強表提示部に出力される（ステップ２０８）。

次に、図３ｂ１に示す配置関係で、画角３１１で後方を撮影する後方カメラ２を備えた自車３０１の後方に他の自動車３０２と自動二輪車３０３が存在している場合には、自動車３０２は自車後方に所定距離ＴｈＬより大きく離れているが、自動二輪車３０３は自車後方の所定距離ＴｈＬ内の位置に存在するので（ステップ２０２）、自動二輪車３０３による死角角度範囲が算出される（ステップ２０４）。図３ｂ１の配置の場合は、この死角角度範囲は図中のθ３１２のようになり、このθ３１２は所定の大きさＴｈＡより小さいので（ステップ２０６）、この場合にも、後方カメラ２が撮影した図３ｂ２に示す画像が、後方カメラ撮影領域の全てについて有効な後方画像として抽出され、周状強表提示部に出力される（ステップ２０８）。

ここで、以上のように、自車後方の所定距離ＴｈＬ内に物体が存在しない場合や、自車後方に存在する物体による視野角度範囲が所定の大きさＴｈＡより小さい場合に、後方カメラ２が撮影した画像を後方カメラ撮影領域の全てについて有効な後方画像として抽出するのでは、他の物体によって生じる後方カメラ２の死角領域が、周辺状況を提示する上で実用上支障ない程度に小さくなる、または、遠くなるからである。

次に、図４ａに示す配置関係で、画角４１１で後方を撮影する後方カメラ２を備えた自車４０１の後方にバス４０２と他の自動車４０３と自動二輪車４０４が存在している場合には、自動車４０３と自動二輪車４０４は自車後方に所定距離ＴｈＬより大きく離れているが、バス４０２は自車後方の所定距離ＴｈＬ内の位置に存在するので（ステップ２０２）、バス４０２による死角角度範囲が算出される（ステップ２０４）。図４ａの場合は、この死角角度範囲は図中のθ４１２のようになり、このθ４１２は所定の大きさＴｈＡより大きくなる（ステップ２０６）。

そこで、この場合には、後方カメラ２が撮影した図４ｃ２に示す画像が、図４ｂに示した後方カメラ撮影領域からバス４０２による死角領域を除いた領域４２１について有効な後方画像として抽出され、周辺状況提示部６に出力される（ステップ２１０）。また、画角４１３を有する左後方カメラ３が撮影した図４ｃ１に示す画像が、図４ｂに示した左後方カメラ撮影領域とバス４０２による死角領域との重複部分４２２について有効な後方画像として抽出され（ステップ２１２、２１６）、周辺状況提示部６に出力される。また、画角４１４を有する右後方カメラ４が撮影した図４ｃ３に示す画像が、図４ｂに示した左後方カメラ撮影領域とバス４０２による死角領域との重複部分４２３について有効な後方画像として抽出され（ステップ２１４、２１８）、周辺状況提示部６に出力される。

以上、後方画像抽出処理の処理例について示した。
さて、図１に戻り、周辺状況提示部６は、後方画像抽出部５より出力された後方画像に基づいて、周辺状況を提示する処理を行う。
この周辺状況の処理は、たとえば、次のように行う。
すなわち、後方画像抽出部５により後方カメラ２が撮影した画像のみが後方画像として出力されている期間は、図５ａ１のように、この後方カメラ２が撮影した画像５０１のみを表示装置７に表示する。
そして、後方画像抽出部５により複数の後方画像が出力されている期間は、出力されている複数の後方画像を、各画像が有効な領域の位置関係に従った配置で表示する。図５ａ２は、図４に示した状況において出力される左後方カメラ３が撮影した画像５１１と、後方カメラ２が撮影した画像５１２と、右後方カメラ４が撮影した画像５１３を、それぞれの撮影領域の位置関係に従って左右に配置した例を示している。ここで、この例では、各画像ついて、当該画像の内の当該画像が有効な領域を撮影したに部分のみを表示するようにしている。なお、図４の状況の場合、左後方カメラ３が撮影した画像中の当該画像が有効な領域を撮影した部分は、図４ｃ１の４３１の部分となり、右後方カメラ４が撮影した画像中の当該画像が有効な領域を撮影した部分は、図４ｃ３の４３２の部分となる。

ただし、後方画像抽出部５により複数の後方画像が出力されている期間には、図５ａ２に示したような表示に代えて、図５ａ３に示すように、複数の後方画像を一枚の単一の視点から観察した画像５２１に合成して表示するようにしてもよい。すなわち、図５ａ３は、左後方カメラ３が撮影した画像中の当該画像が有効な領域を撮影した部分と、右後方カメラ４が撮影した画像中の当該画像が有効な領域を撮影した部分とを抽出し、視点変換処理を施して、後方カメラ２と同じ視点から撮影した画像に変換する。また、このように変換した画像を、後方カメラ２が撮影した画像の後方隠蔽物体が写りこんでいる部分に、当該部分の画像が半透明となって、当該画像の下から透けて見えると視認されるように、各画像に写り込んでいる領域に応じた配置で合成する。このようにすることにより、後方隠蔽物体が半透明となって、その後ろの物体が透けて見えるような表現によって、左後方カメラ３と右後方カメラ４によって、後方隠蔽物体による死角領域を撮影した部分を提示することができる。

また、周辺状況提示の処理は次のように行うようにしてもよい。
すなわち、後方画像抽出部５から出力される各後方画像について、後方画像が有効な領域についての物体検出の画像認識処理を、後方画像の当該後方画像が有効な領域が写り込んでいる部分を用いて行い、各後方画像に対して行った画像認識処理で識別された物体を、表示装置７や音声出力装置８を用いて提示する。

より詳細には、後方画像抽出部５により後方カメラ２が撮影した画像のみが後方画像として出力されている期間は、後方カメラ２が撮影した画像のみに対して画像認識処理を行って、後方カメラ２の撮影領域内の物体の検出や識別を行う。
一方、たとえば、図４に示した状況において、左後方カメラ３が撮影した画像と後方カメラ２が撮影した画像と右後方カメラ４が撮影した画像とが出力されている場合には、後方カメラ２が撮影した画像の、図４ｂに示した後方カメラ撮影領域からバス４０２による死角領域を除いた領域４２１が写り込む部分に対する画像認識処理を行って、当該領域４２１内の物体の検出や識別を行う。また、左後方カメラ３が撮影した画像の、図４ｂに示した左後方カメラ撮影領域とバス４０２による死角領域との重複部分４２２が写りこむ部分（図４ｃ１の４３１）に対する画像認識処理を行って、当該領域４２２内の物体の検出や識別を行う。また、右後方カメラ４が撮影した画像の、図４ｂに示した右後方カメラ撮影領域とバス４０２による死角領域との重複部分４２３が写りこむ部分（図４ｃ３の４３２）に対する画像認識処理を行って、当該領域４２３内の物体の検出や識別を行う。

そして、図５ｂに示すように、識別した各物体を表すマーク５４１、５４２、５４３を自車を表す図形５３１に対して、当該物体と自車との位置関係に従って配置した画像を表示装置７に表示することにより、識別した各物体を提示する。または、識別した物体が、所定のレベルを超えて自車に接近している場合に、その旨を通知する音声を音声出力装置８から出力することにより、識別した物体の情報を提示するなどの処理を行う。

以上、本発明の実施形態について説明した。
このように、本実施形態によれば、後方カメラ２に死角が生じた場合には、後方カメラ２が撮影した画像を、左後方カメラ３や右後方カメラ４で撮影した画像で補完して、周辺状況の提示を行う。したがって、自動車の後方の状況を、死角の発生を抑制しつつ提示することができるようになる。

また、本実施形態は、以上のような左後方カメラ３や右後方カメラ４で撮影した画像を用いた補完を、後方カメラ２の死角領域についてのみ行うので、効率的に自動車の後方の状況の提示を行うことができる。また、左後方カメラ３や右後方カメラ４として、後方カメラ２に比べ解像度等が低いカメラを用いているような場合に、自車後方の状況の提示を、できるだけ後方カメラ２が撮影した高品質の画像を用いて行うことができるようになる。

なお、以上の実施形態は、自車の後方以外の方向の状況を提示する場合についても同様に適用することができる。たとえば、自車の前方の状況を提示する場合には、以上の実施形態の後方を前方に入れ替えて適用すればよい。

本発明の実施形態に係る周辺状況提示装置の構成を示すブロック図である。 本発明の実施形態に係る後方画像抽出処理を示すフローチャートである。 本発明の実施形態に係る後方画像抽出処理の処理例を示す図である。 本発明の実施形態に係る後方画像抽出処理の処理例を示す図である。 本発明の実施形態に係る周辺状況の提示例を示す図である。

符号の説明

１…レーダ装置、２…後方カメラ、３…左後方カメラ、４…右後方カメラ、５…後方画像抽出部、６…周辺状況提示部、７…表示装置、８…音声出力装置。

Claims (5)

1. 自動車に搭載され、前記自動車周辺の状況をユーザに対して提示する車載周辺状況提示装置であって、
   自車周辺の第１の撮影領域を撮影する第１のカメラと、
   前記第１のカメラと異なる方向から、前記第１の撮影領域の少なくとも一部を含む領域である第２の撮影領域を撮影する第２のカメラと、
   前記第１のカメラが撮影した画像によって表される、前記第１の撮影領域の状況をユーザに提示する状況情報提示手段と、
   前記第１の撮影領域内の他の物体の陰となるために第１のカメラによって撮影できなくなっている領域である死角領域を算定する死角領域算定手段とを有し、
   前記状況情報提示手段は、前記死角領域算定手段が算定した死角領域と前記第２の撮影領域とが重複する領域が発生した場合に、前記第２のカメラが撮影した画像によって表される、当該重複する領域の状況の提示を行うことを特徴とする車載周辺状況提示装置。
2. 請求項１記載の車載周辺状況提示装置であって、
   前記第１のカメラは自動車後部より自動車後方を撮影し、前記第２のカメラは自動車側部より自動車後方を含む方向を撮影することを特徴とする車載周辺状況提示装置。
3. 請求項２記載の車載周辺状況提示装置であって、
   当該車載周辺状況提示装置は、前記第１の撮影領域の少なくとも一部を含む領域である第３の撮影領域を撮影する第３のカメラを有し、
   前記第２のカメラは自動車左側部より自動車後方を含む方向を撮影し、
   前記第３のカメラは自動車右側部より自動車後方を含む方向を撮影し、
   前記状況情報提示手段は、前記死角領域算定手段が算定した死角領域と前記第３の撮影領域とが重複する領域が発生した場合に、前記第３のカメラが撮影した画像によって表される、当該重複する領域の状況の提示を行うことを特徴とする車載周辺状況提示装置。
4. 請求項１、２または３記載の車載周辺状況提示装置であって、
   前記死角領域算定手段は、前記第１の撮影領域内の他の物体の陰となるために第１のカメラによって撮影できなくなっている領域が所定レベル以上の広がりを持つ場合のみ、当該領域を前記死角領域として算定することを特徴とする、車載周辺状況提示装置。
5. 自動車に搭載された装置において、前記自動車周辺の状況をユーザに対して提示する周辺状況提示方法であって、
   自動車に搭載された第１のカメラによって、自車周辺の第１の撮影領域を撮影するステップと、
   自動車に搭載された第２のカメラによって、前記第１のカメラと異なる方向から、前記第１の撮影領域の少なくとも一部を含む領域である第２の撮影領域を撮影するステップと、
   前記第１の撮影領域内の他の物体の陰となるために第１のカメラによって撮影できなくなっている領域である死角領域を算定するステップと、
   前記第１のカメラが撮影した画像によって表される、前記第１の撮影領域の状況をユーザに提示するステップと、
   前記算定した死角領域と前記第２の撮影領域とが重複する領域が発生した場合に、前記第２のカメラが撮影した画像によって表される、当該重複する領域の状況の提示を行うステップとを有することを特徴とする周辺状況提示方法。