JP5345992B2 - 車両周辺監視装置 - Google Patents

Description

本発明は、車両に取り付けられたカメラの撮像画像により、車両周辺を監視する車両周辺監視装置に関する。

従来より、車両に取り付けられたカメラの撮像画像から歩行者等の対象物の画像部分を抽出して、対象物の実空間上での位置を算出し、対象物と車両が接触する可能性があると判定されるときに、注意喚起表示等を行って、運転者に注意を促すようにした車両周辺監視装置が提案されている（例えば、特許文献１参照）。

特開２００７−２１３５６１号公報

カメラの撮像画像から対象物と車両間の距離を算出する場合、ステレオカメラの視差を利用する方法や、単眼カメラの時系列の撮像画像における同一対象物の大きさの変化率を用いる方法がある。そして、いずれの方法による場合にも、撮像画像から対象物の画像部分を抽出して対象物の実空間位置を算出し、対象物が運転者に対して注意喚起を行うべきものであるか否かを判定する際には、ある程度の時間を要する。

そのため、歩行者等が脇道から車両が走行中の走行道路に急に飛び出した場合には、歩行者等の実空間位置を算出して運転者に対する注意喚起を行うタイミングが遅れて、有効な注意喚起を行うことができない場合があるという不都合があった。

そこで、本発明は上記不都合を解消し、道路脇から走行道路に飛び出す物体を速やかに検出して、運転者に注意喚起をすることができる車両周辺監視装置を提供することを目的とする。

本発明は上記目的を達成するためになされたものであり、車両に搭載されたカメラによる撮像画像に基づいて、運転者に対する注意喚起を行う車両周辺監視装置に関する。

そして、前記撮像画像から、前記車両が走行している走行道路の端部を検出する走行道路端部検出部と、前記撮像画像から、前記走行道路の端部に繋がる脇道を検出する脇道検出部と、前記脇道検出部が前記脇道を検出した場合には、前記撮像画像において、前記走行道路の端部から前記走行道路の外側への方向の所定範囲内に、前記走行道路と前記脇道との接続箇所の画像部分を含むように、監視領域を設定する監視領域設定部と、前記監視領域設定部により設定された前記監視領域の状態を前記撮像画像に基づいて検出する監視領域状態検出部と、前記監視領域状態検出部が前記撮像画像に基づいて検出した前記監視領域の状態が時系列の前記撮像画像間で第１所定レベル以上変化したときに、運転者に対する注意喚起を行う注意喚起部とを備えたことを特徴とする（第１発明）。

第１発明によれば、前記走行道路端部検出部により検出された走行道路の端部から該走行道路の外側への方向の所定範囲内に、前記監視領域設定部により前記監視領域が設定される。そして、時系列の前記撮像画像間で前記監視領域の状態が前記第１所定レベル以上変化したときには、走行道路の脇（外側）から走行道路に向かって移動する何らかの物体（歩行者、野生動物等）が撮像されたと判断することができる。そこで、前記注意喚起部は、この場合に運転者に対する注意喚起を行う。ここで、前記監視領域の状態変化は、対象物の実空間位置等を求めることなく、少ない演算量により短時間で求めることができる。そのため、前記注意喚起部は、脇道から走行道路に飛び出す物体があったときに、運転者に対して速やかに注意喚起を行うことができる。

第１発明によれば、歩行者等が走行道路に飛び出すおそれがある脇道との接続箇所の画像部分を含むように、前記監視領域を設定することによって、脇道から走行道路に近付く歩行者を検出して、注意喚起を行うことができる。

また、第１発明において、前記脇道検出部は、前記撮像画像において前記走行道路の端部の画像部分に接する三角形状の画像部分を探索することにより、前記走行道路に繋がる脇道を検出することを特徴とする（第２発明）。

第２発明によれば、走行道路と脇道の接続箇所は撮像画像上では三角形状となるため、この三角形状を探索することによって、走行道路に繋がる脇道を容易に検出することができる。

また、前記撮像画像から、前記車両が走行している走行道路の端部を検出する走行道路端部検出部と、前記撮像画像から、前記走行道路の端部の脇に存在する植物群を検出する植物群検出部と、前記植物群検出部が前記植物群を検出した場合には、前記撮像画像において、前記走行道路の端部から前記走行道路の外側への方向の所定範囲内に、前記走行道路の端部と前記植物群との間の箇所の画像部分を含むように、監視領域を設定する監視領域設定部と、前記監視領域設定部により設定された前記監視領域の状態を前記撮像画像に基づいて検出する監視領域状態検出部と、前記監視領域状態検出部が前記撮像画像に基づいて検出した前記監視領域の状態が時系列の前記撮像画像間で第１所定レベル以上変化したときに、運転者に対する注意喚起を行う注意喚起部とを備えたことを特徴とする（第３発明）。

第３発明によれば、野生動物等が走行道路に飛び出すおそれがある走行道路脇の植物群と走行道路の端部との間の箇所の画像部分を含むように、前記監視領域を設定することによって、植物群の中から現れて走行道路に近付く野生動物等を検出して、注意喚起を行うことができる。

また、第１発明から第３発明において、前記注意喚起部は、時系列の前記撮像画像間での前記監視領域の状態の変化から、前記走行道路の端部を超えて前記走行道路内に物体が進入したと判定されるときに、運転者に対する注意喚起を行うことを特徴とする（第４発明）。

第４発明によれば、前記走行道路の周辺から前記走行道路内に飛び出した歩行者等を検出して、運転者に対する注意喚起を行うことができる。

また、第１発明から第４発明において、前記走行道路の脇に動物が存在する可能性を判断する動物存在判断部を備え、前記注意喚起部は、前記動物存在判断部により、前記走行道路の脇に動物が存在する可能性が第２所定レベル以上であると判断されたときに、前記走行道路の端部の位置を前記走行道路の外側方向に移動させた位置に仮想道路端部を設定し、時系列の前記撮像画像間での前記監視領域の状態の変化から、前記走行道路の周辺から前記仮想道路端部を超えて前記走行道路方向に物体が進入したと判定されるときに、運転者に対する注意喚起を行うことを特徴とする（第５発明）。

第５発明によれば、前記走行道路の脇に動物が存在する可能性が高い場合に、前記走行道路の外側に前記仮想道路端部を設定することにより、前記走行道路の脇から前記走行道路内に進入する野生動物等を早期に検出して、運転者に対する注意喚起を行うことができる。

また、第１発明から第５発明において、前記注意喚起部は、前記監視領域の状態として、前記監視領域の各画素の平均輝度又は各画素の輝度の総和を用いることを特徴とする（第６発明）。

第６発明によれば、前記監視領域の輝度を用いることによって、前記監視領域の状態の変化を容易に求めることができる。

車両周辺監視装置の車両への取付態様の説明図。 車両周辺監視装置の構成図。 脇道から走行道路に飛び出す歩行者の認識タイミングの説明図。 車両周辺監視装置の作動フローチャート。 脇道対応の監視領域の説明図。 歩行者等を検出する処理の説明図。 植物群対応の監視領域の説明図。 野生動物等を検出する処理の説明図。

本発明の実施形態について、図１〜図８を参照して説明する。図１を参照して、本実施形態の車両周辺監視装置１０は車両１に搭載して使用され、車両１には、遠赤外線を検出可能な赤外線カメラ２（本発明のカメラに相当する）が備えられている。

赤外線カメラ２は、車両１の前方を撮像するために車両１の前部に取り付けられており、車両１の前部を原点Ｏとして、車両１の左右方向をＸ軸、上下方向をＹ軸、前後方向をＺ軸とした実空間座標系が定義されている。なお、赤外線カメラ２に代えて、可視光等の他の波長域に感度を有するカメラを用いてもよい。

次に、図２を参照して、車両１には、車両１のヨーレートを検出するヨーレートセンサ３、車両１の走行速度を検出する車速センサ４、運転者によるブレーキの操作量を検出するブレーキセンサ５、音声による注意喚起等を行うためのスピーカ６、及び赤外線カメラ２により撮像された画像を表示すると共に、車両１と接触する可能性が高い物体を運転者に視認させる表示を行うためのヘッドアップディスプレイ（Head Up Display）７（以下、ＨＵＤ７という）が接続されている。ＨＵＤ７は、図１に示したように、車両１のフロントウインドウの運転者側の前方位置に画面７ａが表示されるように設けられている。

車両周辺監視装置１０は、ＣＰＵ，メモリ（図示しない）等により構成された電子ユニットであり、赤外線カメラ２から出力される映像信号をデジタルデータに変換して画像メモリ（図示しない）に取り込み、画像メモリに取り込んだ車両１の前方の撮像画像に対して、ＣＰＵにより各種の演算処理を行う機能を有している。

車両周辺監視装置１０は、赤外線カメラ２による撮像画像から所定条件を満たす画像部分を抽出して、この画像部分に対応する実空間上の物体の位置（実空間位置）を、ヨーレートセンサ３により検出される車両１のヨーレート及び車速センサ４により検出される車両１の走行速度等を用いて算出し、時系列の撮像画像間で同一物体の画像部分を追跡して、実空間における物体の移動ベクトルを算出する。

そして、車両周辺監視装置１０は、移動ベクトルに基づいて物体を注意喚起の対象とするか否かを判断し、ブレーキセンサ５の検出信号から把握されるブレーキの操作状況等を考慮して、スピーカ６からの音声出力及びＨＵＤ７への強調表示による注意喚起を行うか否かを決定する。なお、移動ベクトルに基づく注意喚起の処理については、上掲した特開２００７−２１３５６１等に記載された従来手法によるため、ここでは詳細な説明を省略する。

次に、図３に示したように、赤外線カメラ２の撮像画像Ｉmにおいて、車両１の走行道路２０を歩いている歩行者の画像部分３０，３１は、遠方に所在する時から抽出できるため、移動ベクトルを算出して早期に運転者への注意喚起を行うことができる。

それに対して、脇道２３から走行道路２０に飛び出そうとする歩行者の画像部分４０は、車両１に接近した状態で撮像画像Ｉmに急に現れるため、移動ベクトルに基づく注意喚起が、４１に示したように歩行者が車両１に接近した時点にまで遅れるおそれがある。

そこで、車両周辺監視装置１０は、車両１が走行している走行道路への歩行者や野生動物等の飛び出しを速やかに検出して、運転者に対する注意喚起を行う処理（以下、飛び出し監視処理という）を実行する。

そして、この処理を行うため、ＣＰＵに車両周辺監視装置１０の制御用プログラムを実行させることによって、ＣＰＵが、走行道路の端部を検出する走行道路端部検出部１１、走行道路の端部に繋がる脇道を検出する脇道検出部１２、走行道路の端部のわき（外側）に存在する植物群（木々や草原等）を検出する植物群検出部１３、撮像画像上に、脇道又は植物群の間から走行道路に飛び出す物体（歩行者や野生動物等）を監視するための監視領域を設定する監視領域設定部１４、及び、走行道路に飛び出す物体を検出して運転者に対する注意喚起を行う注意喚起部１５として機能する。

以下、図４に示したフローチャートに従って、飛び出し監視処理について説明する。車両周辺監視装置１０は、図４に示したフローチャートによる処理を所定の制御周期で繰り返し実行する。

図４のＳＴＥＰ１で、車両周辺監視装置１０は、赤外線カメラ２から出力される映像信号を入力し、この映像信号をデジタルの階調（輝度）データに変換したグレースケール画像を画像メモリに取り込む。

続くＳＴＥＰ２で、車両周辺監視装置１０は、グレースケール画像の各画素について、輝度が所定の閾値以上である画素を「１」（白）とし、輝度が閾値よりも小さい画素を「０」（黒）とする２値化処理を行って２値画像を取得する。そして、車両周辺監視装置１０は、２値画像中の白の各領域のランレングスデータを算出し、ラベリング処理等を行って白の画像部分を抽出する。

次のＳＴＥＰ３は走行道路端部検出部１１による処理である。走行道路端部検出部１１は、２値画像に対して直線抽出処理やエッジ抽出処理等を行って、図５に示したように、走行道路２０の端部（道路エッジ）Ｅdを検出する。

続くＳＴＥＰ４は脇道検出部１２による処理である。図５に示したように、走行道路２０の脇の壁２１，２２の間の脇道２３が走行道路２０に繋がる箇所は、撮像画像Ｉm(ｔ1-1)においては三角形状Ｔrとなる。そこで、脇道検出部１２は、２値画像若しくはグレースケール画像において三角形状を探索して、脇道２３を検出する。

続くＳＴＥＰ５，ＳＴＥＰ６は監視領域設定部１４による処理である。監視領域設定部１４は、ＳＴＥＰ５で、脇道検出部１２により脇道が検出されたか否かを判断する。そして、脇道が検出されたときはＳＴＥＰ６に進み、監視領域設定部１４は、図５に示したように、撮像画像Ｉm(ｔ1-1)の走行道路２０と脇道２３との接続箇所の画像部分（三角形状Ｔrと走行道路２０の端部Ｅdとの接触箇所の画像部分）を含む監視領域ＡPを設定する。

続くＳＴＥＰ７〜ＳＴＥＰ１０は注意喚起部１５による処理である。注意喚起部１５は、各制御周期での撮像画像における監視領域ＡPの輝度（本発明の監視領域の状態に相当する）を監視し、ＳＴＥＰ７で、図６（ａ）に示した今回の制御周期での撮像画像Ｉm(t1)の監視領域ＡPと、図５に示した前回の制御周期での撮像画像Ｉm(t1-1)の監視領域ＡPとの輝度差を算出する。

なお、監視領域ＡPの輝度としては、監視領域ＡPの各画素の平均輝度や各画素の輝度の総和等を用いる。また、輝度に代えて監視領域ＡPの複雑度等の他の要素を用いて、時系列の撮像画像間の監視領域ＡPの状態の変化を求めるようにしてもよい。

続くＳＴＥＰ８で、注意喚起部１５は、ＳＴＥＰ７で算出した輝度差が所定レベル（本発明の第１所定レベルに相当）以上であるか否かを判断する。ここで、図６（ａ）に示したように、歩行者が脇道２３から走行道路２０に近付いて、監視領域ＡP内に歩行者の画像部分４０が含まれる状態になると、監視領域ＡPの輝度が、図５に示した状態から大きく変化する。

そのため、今回と前回の制御周期での撮像画像における監視領域ＡPの輝度差が所定レベル以上となったときには、歩行者等の物体が脇道から走行道路に飛び出す可能性が高いと判断することができる。

そこで、この場合はＳＴＥＰ９に進み、注意喚起部１５は、スピーカ６から警報音を出力すると共に、ＳＴＥＰ１０でＨＵＤ７に走行道路に飛び出す可能性が高い物体の強調画像を表示して、運転者に対する注意喚起を行う。そして、ＳＴＥＰ１１に進み、車両周辺監視装置１０は処理を終了する。

なお、図６（ｂ）に示したように、次回の制御周期における撮像画像Ｉm(ｔ1+1)では、歩行者が走行車線に飛び出したために、監視領域ＡPに占める歩行者の画像部分４０の割合が大きくなって、監視領域ＡPの輝度がさらに変化している。そこで、このように、監視領域ＡPの輝度がさらに変化するときには、運転者に対する注意喚起のレベルを上げるようにしてもよい。

また、ＳＴＥＰ５で脇道が検出されなかったときにはＳＴＥＰ２０に分岐する。ＳＴＥＰ２０は植物群検出部１３による処理である。植物群検出部１３は、図７に示したように、走行道路２０の端部Ｅdの外側の箇所に存在する植物群５０（木々や草むら等）を、グレースケール画像における端部Ｅdの外側の箇所の輝度分布や形状等により、植物群５０を検出する。そして、植物群５０が検出されたときはＳＴＥＰ６に分岐し、植物群５０が検出されなかったときにはＳＴＥＰ１１に進む。

ＳＴＥＰ６で、監視領域設定部１４は、図７に示したように、植物が検出されたときには、撮像画像Ｉm(ｔ2-1)の走行道路２０の端部Ｅdと植物群との間の箇所の画像部分を含む監視領域ＡWを設定する。続くＳＴＥＰ７で、注意喚起部１５は、図８（ａ）に示した今回の制御周期での撮像画像Ｉm(t2)の監視領域ＡWと、図７に示した前回の制御周期での撮像画像Ｉm(t2-1)の監視領域ＡWとの輝度差を算出する。

続くＳＴＥＰ８で、注意喚起部１５は、ＳＴＥＰ７で算出した輝度差が所定レベル以上であるか否かを判断する。ここで、図８（ｂ）に示したように、動物（鹿等の大型野生動物、放牧中の家畜等）が植物群の間から走行道路２０に近付いて、監視領域ＡW内に動物の画像部分６０が含まれる状態となると、監視領域ＡWの輝度が図７に示した状態から大きく変化する。

そのため、今回と前回の制御周期での撮像画像における監視領域ＡWの輝度差が所定レベル以上となったときには、動物等の物体が植物群の間から走行道路に飛び出す可能性が高いと判断することができる。

そこで、この場合はＳＴＥＰ９に進み、注意喚起部１５は、スピーカ６から警報音を出力すると共に、ＳＴＥＰ１０でＨＵＤ７に走行道路に飛び出す可能性が高い物体の強調画像を表示して、運転者に対する注意喚起を行う。そして、ＳＴＥＰ１１に進み、車両周辺監視装置１０は処理を終了する。

なお、図８（ｂ）に示したように、次回の制御周期における撮像画像Ｉm(ｔ2+1)では、動物がさらに走行車線に近付いたために、監視領域ＡWに占める動物の画像部分６０の割合が大きくなって、監視領域ＡWの輝度がさらに変化している。そこで、このように、監視領域ＡWの輝度がさらに変化するときには、運転者に対する注意喚起のレベルを上げるようにしてもよい。

また、本実施の形態では、図５，図６に示したように、走行道路と脇道との接続箇所の画像部分を含むように監視領域ＡPを設定し、また、図７，図８に示したように走行道路と植物群との間の箇所の画像部分を含むように監視領域ＡWを設定したが、走行道路の端部から走行道路の外側への方向（走行道路内から走行道路の脇への方向）の所定範囲内で、監視領域を設定することで、本発明の効果を得ることができる。

また、図５〜図８では走行道路の左側の端部について、監視領域を設定した例を示したが、走行道路の右側の端部についても、同様に監視領域を設定することにより、走行道路に飛び出す物体を検出して運転者に対する注意喚起を行うことができる。

また、図５〜６において、注意喚起部１５により、監視領域ＡPの状態の変化から、走行道路２０の端部Ｅdを超えて、走行道路２０の外側から走行道路２０内に進入する物体があると判定されるときに、運転者に対する注意喚起を行うようにしてもよい。

また、走行道路の脇に動物が存在する可能性を判断する動物存在判断部を備え、走行道路２０の脇に動物が存在する可能性が高い（第２所定レベル以上）と判断されたときに、図７〜８に示したように、注意喚起部１５により、走行道路２０の端部Ｅdの位置を走行道路２０の外側（植物群５０側、走行道路２０から離れる方向）に移動させた位置に仮想道路端部Ｅd_eを設定し、監視領域ＡWの状態の変化から、走行道路２０の脇から仮想道路端部Ｅd_eを超えて走行道路２０内に進入する物体（野生動物等）があると判定されるときに、運転者に対する注意喚起を行うようにしてもよい。

ここで、走行道路２０の脇に動物が存在する可能性の高さは、植物群検出部１３による走行道路２０の脇の植物群の検出結果、車両１に搭載されたナビゲーションシステム（図示しない）により得られる情報（走行道路２０が郊外路である、走行道路２０における過去の動物出現履歴等）等に基づいて算出される。

また、本実施の形態においては、車両前方を撮像する構成を示したが、車両の後方や側方等、他の方向を撮像して監視対象物との接触可能性を判断するようにしてもよい。

また、本実施の形態においては、ＨＵＤ７に運転者に対する注意喚起を行うための表示をしたが、車両１に搭載されたナビゲーションシステムの表示ユニットやメータパネルに、運転者に対する注意喚起を行うための表示をしてもよい。

１…車両、２…赤外線カメラ、３…ヨーレートセンサ、４…車速センサ、５…ブレーキセンサ、６…スピーカ、７…ＨＵＤ、１０…車両周辺監視装置、１１…走行道路端部検出部、１２…脇道検出部、１３…植物群検出部、１４…監視領域設定部、１５…注意喚起部。

Claims (6)

1. 車両に搭載されたカメラによる撮像画像に基づいて、運転者に対する注意喚起を行う車両周辺監視装置において、
   前記撮像画像から、前記車両が走行している走行道路の端部を検出する走行道路端部検出部と、
   前記撮像画像から、前記走行道路の端部に繋がる脇道を検出する脇道検出部と、
   前記脇道検出部が前記脇道を検出した場合には、前記撮像画像において、前記走行道路の端部から前記走行道路の外側への方向の所定範囲内に、前記走行道路と前記脇道との接続箇所の画像部分を含むように、監視領域を設定する監視領域設定部と、
   前記監視領域設定部により設定された前記監視領域の状態を前記撮像画像に基づいて検出する監視領域状態検出部と、
   前記監視領域状態検出部が前記撮像画像に基づいて検出した前記監視領域の状態が時系列の前記撮像画像間で第１所定レベル以上変化したときに、運転者に対する注意喚起を行う注意喚起部と
   を備えたことを特徴とする車両周辺監視装置。
2. 請求項１記載の車両周辺監視装置において、
   前記脇道検出部は、前記撮像画像において前記走行道路の端部の画像部分に接する三角形状の画像部分を探索することにより、前記走行道路に繋がる脇道を検出することを特徴とする車両周辺監視装置。
3. 車両に搭載されたカメラによる撮像画像に基づいて、運転者に対する注意喚起を行う車両周辺監視装置において、
   前記撮像画像から、前記車両が走行している走行道路の端部を検出する走行道路端部検出部と、
   前記撮像画像から、前記走行道路の端部の脇に存在する植物群を検出する植物群検出部と、
   前記植物群検出部が前記植物群を検出した場合には、前記撮像画像において、前記走行道路の端部から前記走行道路の外側への方向の所定範囲内に、前記走行道路の端部と前記植物群との間の箇所の画像部分を含むように、監視領域を設定する監視領域設定部と、
   前記監視領域設定部により設定された前記監視領域の状態を前記撮像画像に基づいて検出する監視領域状態検出部と、
   前記監視領域状態検出部が前記撮像画像に基づいて検出した前記監視領域の状態が時系列の前記撮像画像間で第１所定レベル以上変化したときに、運転者に対する注意喚起を行う注意喚起部と
   を備えたことを特徴とする車両周辺監視装置。
4. 請求項１から請求項３のうちいずれか１項記載の車両周辺監視装置において、
   前記注意喚起部は、時系列の前記撮像画像間での前記監視領域の状態の変化から、前記走行道路の端部を超えて前記走行道路内に物体が進入したと判定されるときに、運転者に対する注意喚起を行うことを特徴とする車両周辺監視装置。
5. 請求項１から請求項４のうちいずれか１項記載の車両周辺監視装置において、
   前記走行道路の脇に動物が存在する可能性を判断する動物存在判断部を備え、
   前記注意喚起部は、前記動物存在判断部により、前記走行道路の脇に動物が存在する可能性が第２所定レベル以上であると判断されたときに、前記走行道路の端部の位置を前記走行道路の外側方向に移動させた位置に仮想道路端部を設定し、時系列の前記撮像画像間での前記監視領域の状態の変化から、前記走行道路の周辺から前記仮想道路端部を超えて前記走行道路方向に物体が進入したと判定されるときに、運転者に対する注意喚起を行うことを特徴とする車両周辺監視装置。
6. 請求項１から請求項５のうちいずれか１項記載の車両周辺監視装置において、
   前記注意喚起部は、前記監視領域の状態として、前記監視領域の各画素の平均輝度又は各画素の輝度の総和を用いることを特徴とする車両周辺監視装置。

Images