JP2004103018A - 車両の周辺監視装置 - Google Patents

Abstract

　　【課題】　車両周辺に存在する対象物の動きをより正確に検出して衝突の可能性を判定し、運転者への警報をより適切に行うことができる車両の周辺監視装置を提供する。
　　【解決手段】　２つの赤外線カメラ１Ｒ，１Ｌにより得られる画像から、車両周辺の対象物の実空間上の位置を、車両に固定された座標系（Ｘ，Ｙ，Ｚ）を用いて検出する。車両と対象物との距離（Ｚ方向の座標）と、車両進行方向に対して９０°の水平方向（Ｘ方向）の、当該対象物の座標との比が、ほぼ一定であるとき、その対象物が衝突する可能性があると判定する。
【選択図】　図１

Description

　本発明は、鹿、熊等の大型動物との衝突は車両走行に影響を与えるため、衝突を回避すべく、車両に搭載された撮像手段により得られる画像から、当該車両に衝突するおそれのある対象物を検出するために、当該車両の周辺を監視する周辺監視装置に関する。

　車両に２つのＣＣＤカメラを搭載し、２つのカメラから得られる画像のずれ、すなわち視差に基づいて、対象物と当該車両との距離を検出し、車両の３０〜６０ｍ前方の歩行者を検出するようにした横断物の検出装置が従来より知られている（特許文献１）。
特開平９−２２６４９０号公報

　しかしながら上記従来の装置は、カメラにより得られる画像に基づいて検出した対象物のオプティカルフローの方向をそのまま使用して、衝突の可能性を判定しているため、自車両と対象物との相対距離や車速によっては判定精度が低下するという問題があった。すなわち、例えば動体の速度に比べて車速が大きい場合には、実際には道路の中心に向かって移動している動体に対応する画像上のオプティカルフローが道路の外側に向かうベクトルとなってとらえられることがあり、誤判定が発生する。

　本発明はこの点に着目してなされたものであり、車両周辺に存在する対象物の動きをより正確に検出して衝突の可能性を判定し、運転者への警報をより適切に行うことができる車両の周辺監視装置を提供することを目的とする。

　上記目的を達成するため請求項１に記載の発明は、車両に搭載された撮像手段により得られる画像から当該車両の周辺に存在する対象物を検出する車両の周辺監視装置において、前記撮像手段により得られる画像から前記対象物の当該車両に対する相対位置を位置データとして検出する相対位置検出手段と、該相対位置検出手段により検出される、前記対象物についての位置データに基づいてその対象物の実空間での位置を算出する実空間位置算出手段と、該実空間位置算出手段により算出された前記対象物までの距離（Ｚｖ（Ｎ−１））と、前記対象物の、前記車両の進行方向に対して９０度の水平方向の座標（Ｘｖ（Ｎ−１））との比（Ｘｖ（Ｎ−１）／Ｚｖ（Ｎ−１））が、ほぼ一定である場合に、前記対象物が前記車両に衝突する可能性があると判定する判定手段とを備えることを特徴とする。

　請求項２に記載の発明は、請求項１に記載の車両の周辺監視装置において、前記判定手段は、当該車両の車幅に応じた衝突判定条件（式（１２））を用いて前記判定を行うことを特徴とする。

　前記撮像手段は、赤外線を検出可能な２つの赤外線カメラとすることが望ましい。これにより、運転者が確認し難い夜間走行時に動物や走行中の車両などを容易に抽出することができる。

　前記撮像手段は、赤外線または可視光線を検出する２つのテレビカメラであり、一方のカメラの出力画像に含まれる対象物像の位置に基づいて、この対象物像に対応する他方のカメラの出力画像に含まれる対象物像を探索する探索領域を設定し、探索領域内で相関演算を行って前記対応対象物像を特定し、前記対象物像と対応対象物像との視差から当該車両から前記対象物までの距離を算出する。そして、前記相関演算は、中間階調情報を含むグレースケール信号を用いて行うことが望ましい。２値化した信号ではなく、グレースケール信号を用いることにより、より正確な相関演算が可能となり、対応対象物像を誤って特定することを回避できる。

　前記グレースケール信号を２値化した信号を用いて、前記撮像手段の出力画像内を移動する対象物の追跡が行われる。この場合、追跡対象物は、ランレングス符号化したデータにより認識することが望ましい。これにより、追跡する対象物についてのデータ量を低減しメモリ容量を節約することができる。

　また、追跡対象物の同一性は、重心位置座標、面積及び外接四角形の縦横比に基づいて判定することが望ましい。これにより、対象物の同一性の判定を正確に行うことができる。
　前記判定手段により対象物との衝突の可能性が高いと判定されたとき、運転者に警告を発する警報手段を備え、該警告手段は、運転者がブレーキ操作を行っている場合であって、そのブレーキ操作による加速度が所定閾値より大きいときは、警報を発しないようにすることが望ましい。運転者がすでに対象物に気づいて適切なブレーキ操作を行っている場合は警告を発しないようにして、運転者によけいな煩わしさを与えないようにすることができる。

　請求項１に記載の発明によれば、対象物までの距離と、該対象物の、自車両の進行方向に対して９０度の水平方向の座標との比が、ほぼ一定である場合に、前記対象物が自車両に衝突する可能性があると判定される。したがって、車両の進行方向に対して横断するように移動する対象物についても衝突の可能性を判定することができる。

　請求項２に記載の発明によれば、自車両の車幅に応じた衝突判定条件を用いて衝突可能性の判定が行われるので、衝突の可能性を一層正確に判定し、無用の警報を発することを防ぐことができる。

　以下本発明の実施の形態を図面を参照して説明する。
　図１は本発明の一実施形態にかかる車両の周辺監視装置の構成を示す図であり、この装置は、遠赤外線を検出可能な２つの赤外線カメラ１Ｒ，１Ｌと、当該車両のヨーレートを検出するヨーレートセンサ５と、当該車両の走行速度（車速）ＶＣＡＲを検出する車速センサ６と、ブレーキの操作量を検出するためのブレーキセンサ７と、これらのカメラ１Ｒ，１Ｌによって得られる画像データの基づいて車両前方の動物等の対象物を検出し、衝突の可能性が高い場合に警報を発する画像処理ユニット２と、音声で警報を発するためのスピーカ３と、カメラ１Ｒまたは１Ｌによって得られる画像を表示するとともに、衝突の可能性が高い対象物を運転者に認識させるためのヘッドアップディスプレイ（以下「ＨＵＤ」という）４とを備えている。

　カメラ１Ｒ、１Ｌは、図２に示すように車両１０の前部に、車両１０の横方向の中心軸に対してほぼ対象な位置に配置されており、２つのカメラ１Ｒ、１Ｌの光軸が互いに平行となり、両者の路面からの高さが等しくなるように固定されている。赤外線カメラ１Ｒ、１Ｌは、対象物の温度が高いほど、その出力信号レベルが高くなる（輝度が増加する）特性を有している。

　画像処理ユニット２は、入力アナログ信号をディジタル信号に変換するＡ／Ｄ変換回路、ディジタル化した画像信号を記憶する画像メモリ、各種演算処理を行うＣＰＵ（Central Processing Unit）、ＣＰＵが演算途中のデータを記憶するために使用するＲＡＭ（Random Access Memory）、ＣＰＵが実行するプログラムやテーブル、マップなどを記憶するＲＯＭ（Read Only Memory）、スピーカ３の駆動信号、ＨＵＤ４の表示信号などを出力する出力回路などを備えており、カメラ１Ｒ，１Ｌ及びセンサ５〜７の出力信号は、ディジタル信号に変換されて、ＣＰＵに入力されるように構成されている。
　ＨＵＤ４は、図２に示すように、車両１０のフロントウインドウの、運転者の前方位置に画面４ａが表示されるように設けられている。

　図３は画像処理ユニット２における処理の手順を示すフローチャートであり、先ずカメラ１Ｒ、１Ｌの出力信号をＡ／Ｄ変換して画像メモリに格納する（ステップＳ１１，Ｓ１２，Ｓ１３）。画像メモリに格納される画像は、輝度情報を含んだグレースケール画像である。図５（ａ）（ｂ）は、それぞれはカメラ１Ｒ，１Ｌによって得られるグレースケール画像（カメラ１Ｒにより右画像が得られ、カメラ１Ｌにより左画像が得られる）を説明するための図であり、ハッチングを付した領域は、中間階調（グレー）の領域であり、太い実線で囲んだ領域が、輝度レベルが高く（高温で）、画面上に白色として表示される対象物の領域（以下「高輝度領域」という）である。右画像と左画像では、同一の対象物の画面上の水平位置がずれて表示されるので、このずれ（視差）によりその対象物までの距離を算出することができる。

　図３のステップＳ１４では、右画像を基準画像とし、その画像信号の２値化、すなわち、実験的に決定される輝度閾値ＩＴＨより明るい領域を「１」（白）とし、暗い領域を「０」（黒）とする処理を行う。図６に図５（ａ）の画像を２値化した画像を示す。この図は、ハッチングを付した領域が黒であり、太い実線で囲まれた高輝度領域が白であることを示している。

　続くステップＳ１５では、２値化した画像データをランレングスデータに変換する処理を行う。図７（ａ）はこれを説明するための図であり、この図では２値化により白となった領域を画素レベルでラインＬ１〜Ｌ８として示している。ラインＬ１〜Ｌ８は、いずれもｙ方向には１画素の幅を有しており、実際にはｙ方向には隙間なく並んでいるが、説明のために離間して示している。またラインＬ１〜Ｌ８は、ｘ方向にはそれぞれ２画素、２画素、３画素、８画素、７画素、８画素、８画素、８画素の長さを有している。ランレングスデータは、ラインＬ１〜Ｌ８を各ラインの開始点（各ラインの左端の点）の座標と、開始点から終了点（各ラインの右端の点）までの長さ（画素数）とで示したものである。例えばラインＬ３は、（ｘ３，ｙ５）、（ｘ４，ｙ５）及び（ｘ５，ｙ５）の３画素からなるので、ランレングスデータとしては、（ｘ３，ｙ５，３）となる。

　ステップＳ１６、Ｓ１７では、図７（ｂ）に示すように対象物のラベリングをすることにより、対象物を抽出する処理を行う。すなわち、ランレングスデータ化したラインＬ１〜Ｌ８のうち、ｙ方向に重なる部分のあるラインＬ１〜Ｌ３を１つの対象物１とみなし、ラインＬ４〜Ｌ８を１つの対象物２とみなし、ランレングスデータに対象物ラベル１，２を付加する。この処理により、例えば図６に示す高輝度領域が、それぞれ対象物１から４として把握されることになる。

　ステップＳ１８では図７（ｃ）に示すように、抽出した対象物の重心Ｇ、面積Ｓ及び破線で示す外接四角形の縦横比ＡＳＰＥＣＴを算出する。面積Ｓは、ランレングスデータの長さを同一対象物について積算することにより算出し、重心Ｇの座標は、面積Ｓをｘ方向に２等分する線のｘ座標及びｙ方向に２等分する線のｙ座標として算出し、縦横比ＡＰＥＣＴは、図７（ｃ）に示すＤｙとＤｘとの比Ｄｙ／Ｄｘとして算出する。なお、重心Ｇの位置は、外接四角形の重心位置で代用してもよい。

　ステップＳ１９では、対象物の時刻間追跡、すなわちサンプリング周期毎に同一対象物の認識を行う。アナログ量としての時刻ｔをサンプリング周期で離散化した時刻をｋとし、図８（ａ）に示すように時刻ｋで対象物１，２を抽出した場合において、時刻（ｋ＋１）で抽出した対象物３，４と、対象物１，２との同一性判定を行う。具体的には、以下の同一性判定条件１）〜３）を満たすときに、対象物１、２と対象物３、４とは同一であると判定し、対象物３、４をそれぞれ１，２というラベルに変更することにより、時刻間追跡が行われる。

　１）時刻ｋにおける対象物ｉ（＝１，２）の画像上での重心位置座標を、それぞれ（ｘｉ（ｋ），ｙｉ（ｋ））とし、時刻（ｋ＋１）における対象物ｊ（＝３，４）の画像上での重心位置座標を、（ｘｊ（ｋ＋１），ｙｊ（ｋ＋１））としたとき、
　｜ｘｊ（ｋ＋１）−ｘｉ（ｋ）｜＜Δｘ
　｜ｙｊ（ｋ＋１）−ｙｉ（ｋ）｜＜Δｙ
であること。ただし、Δｘ、Δｙは、それぞれｘ方向及びｙ方向の画像上の移動量の許容値である。

　２）時刻ｋにおける対象物ｉ（＝１，２）の画像上での面積をＳｉ（ｋ）とし、時刻（ｋ＋１）における対象物ｊ（＝３，４）の画像上での面積をＳｊ（ｋ＋１）としたとき、
　Ｓｊ（ｋ＋１）／Ｓｉ（ｋ）＜１±ΔＳ
であること。ただし、ΔＳは面積変化の許容値である。

　３）時刻ｋにおける対象物ｉ（＝１，２）の外接四角形の縦横比をＡＳＰＥＣＴｉ（ｋ）とし、時刻（ｋ＋１）における対象物ｊ（＝３，４）の外接四角形の縦横比をＡＳＰＥＣＴｊ（ｋ＋１）としたとき、
　ＡＳＰＥＣＴｊ（ｋ＋１）／ＡＳＰＥＣＴｉ（ｋ）＜１±ΔＡＳＰＥＣＴ
であること。ただし、ΔＡＳＰＥＣＴは縦横比変化の許容値である。

　図８（ａ）と（ｂ）とを対比すると、各対象物は画像上での大きさが大きくなっているが、対象物１と３とが上記同一性判定条件を満たし、対象物２と４とが上記同一性判定条件を満たすので、対象物３、４はそれぞれ対象物１、２と認識される。このようにして認識された各対象物の（重心の）位置座標は、時系列位置データとしてメモリに格納され、後の演算処理に使用される。
　なお以上説明したステップＳ１４〜Ｓ１９の処理は、２値化した基準画像（本実施形態では、右画像）ついて実行する。

　図３のステップＳ２０では、車速センサ６により検出される車速ＶＣＡＲ及びヨーレートセンサ５より検出されるヨーレートＹＲを読み込み、ヨーレートＹＲを時間積分することより、自車両１０の回頭角θｒ（図１４参照）を算出する。

　一方、ステップＳ３１〜Ｓ３３では、ステップＳ１９，Ｓ２０の処理と平行して、対象物と自車両１０と距離ｚを算出する処理を行う。この演算はステップＳ１９，Ｓ２０より長い時間を要するため、ステップＳ１９，Ｓ２０より長い周期（例えばステップＳ１１〜Ｓ２０の実行周期の３倍程度の周期）で実行される。

　ステップＳ３１では、基準画像（右画像）の２値化画像によって追跡される対象物の中の１つを選択することにより、図９（ａ）に示すように右画像から探索画像Ｒ１（ここでは、外接四角形で囲まれる領域全体を探索画像とする）を抽出する。続くステップＳ３２では、左画像中から探索画像に対応する画像（以下「対応画像」という）を探索する探索領域を設定し、相関演算を実行して対応画像を抽出する。具体的には、探索画像Ｒ１の各頂点座標に応じて左画像中に図９（ｂ）に示すように、探索領域Ｒ２を設定し、探索領域Ｒ２内で探索画像Ｒ１との相関の高さを示す輝度差分総和値Ｃ（ａ，ｂ）を下記式（１）により算出し、この総和値Ｃ（ａ，ｂ）が最小となる領域を対応画像として抽出する。なお、この相関演算は、２値画像ではなくグレースケール画像を用いて行う。また同一対象物についての過去の位置データがあるときは、その位置データに基づいて探索領域Ｒ２より狭い領域Ｒ２ａ（図９（ｂ）に破線で示す）を探索領域として設定する。

　ここで、ＩＲ（ｍ，ｎ）は、図１０に示す探索画像Ｒ１内の座標（ｍ，ｎ）の位置の輝度値であり、ＩＬ（ａ＋ｍ−Ｍ，ｂ＋ｎ−Ｎ）は、探索領域内の座標（ａ，ｂ）を基点とした、探索画像Ｒ１と同一形状の局所領域Ｒ３内の座標（ｍ，ｎ）の位置の輝度値である。基点の座標（ａ，ｂ）を変化させて輝度差分総和値Ｃ（ａ，ｂ）が最小となる位置を求めることにより、対応画像の位置が特定される。

　ステップＳ３２の処理により、図１１に示すように探索画像Ｒ１と、この対象物に対応する対応画像Ｒ４とが抽出されるので、ステップＳ３３では、探索画像Ｒ１の重心位置と、画像中心線ＬＣＴＲとの距離ｄＲ（画素数）及び対応画像Ｒ４の重心位置と画像中心線ＬＣＴＲとの距離ｄＬ（画素数）を求め、下記式（２）に適用して、自車両１０と、対象物との距離ｚを算出する。

　ここで、Ｂは基線長、すなわち図１２に示すようにカメラ１Ｒの撮像素子１１Ｒの中心位置と、カメラ１Ｌの撮像素子１１Ｌの中心位置との水平方向（ｘ方向）の距離（両カメラの光軸の間隔）、Ｆはレンズ１２Ｒ、１２Ｌの焦点距離、ｐは、撮像素子１１Ｒ、１１Ｌ内の画素間隔であり、Δｄ（＝ｄＲ＋ｄＬ）が視差量である。

　ステップＳ２１では、画像内の座標（ｘ，ｙ）及び式（２）により算出した距離ｚを下記式（３）に適用し、実空間座標（Ｘ，Ｙ，Ｚ）に変換する。ここで、実空間座標（Ｘ，Ｙ，Ｚ）は、図１３（ａ）に示すように、カメラ１Ｒ、１Ｌの取り付け位置の中点の位置（自車両１０に固定された位置）を原点Ｏとして、図示のように定め、画像内の座標は同図（ｂ）に示すように、画像の中心を原点として水平方向をｘ、垂直方向をｙと定めている。

　ここで、（ｘｃ，ｙｃ）は、右画像上の座標（ｘ，ｙ）を、カメラ１Ｒの取り付け位置と、実空間原点Ｏとの相対位置関係に基づいて、実空間原点Ｏと画像の中心とを一致させた仮想的な画像内の座標に変換したものである。またｆは、焦点距離Ｆと画素間隔ｐとの比である。

　ステップＳ２２では、自車両１０が回頭することによる画像上の位置ずれを補正するための回頭角補正を行う。図１４に示すように、時刻ｋから（ｋ＋１）までの期間中に自車両が例えば左方向に回頭角θｒだけ回頭すると、カメラによって得られる画像上では、図１５に示すようにΔｘだけｘ方向にずれるので、これを補正する処理である。具体的には、下記式（４）に実空間座標（Ｘ，Ｙ，Ｚ）を適用して、補正座標（Ｘｒ，Ｙｒ，Ｚｒ）を算出する。算出した実空間位置データ（Ｘｒ，Ｙｒ，Ｚｒ）は、対象物毎に対応づけてメモリに格納する。なお、以下の説明では、回頭角補正後の座標を（Ｘ，Ｙ，Ｚ）と表示する。

　ステップＳ２３では、図１６に示すように同一対象物について、ΔＴの期間内に得られた、回頭角補正後のＮ個の実空間位置データ（例えばＮ＝１０程度）、すなわち時系列データから、対象物と自車両１０との相対移動ベクトルに対応する近似直線ＬＭＶを求める。具体的には、近似直線ＬＭＶの方向を示す方向ベクトルＬ＝（ｌｘ，ｌｙ，ｌｚ）（｜Ｌ｜＝１）とすると、下記式（５）で表される直線を求める。

　ここでｕは、任意の値をとる媒介変数であり、Ｘａｖ，Ｙａｖ及びＺａｖは、それぞれ実空間位置データ列のＸ座標の平均値、Ｙ座標の平均値及びＺ座標の平均値である。なお、式（５）は媒介変数ｕを消去すれば下記式（５ａ）のようになる。
　（Ｘ−Ｘａｖ）／ｌｘ＝（Ｙ−Ｙａｖ）／ｌｙ＝（Ｚ−Ｚａｖ）／ｌｚ
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　…（５ａ）

　図１６は、近似直線ＬＭＶを説明するための図であり、同図のＰ（０），Ｐ（１），Ｐ（２），…，Ｐ（Ｎ−２），Ｐ（Ｎ−１）が回頭角補正後の時系列データを示し、近似直線ＬＭＶは、この時系列データの平均位置座標Ｐａｖ（＝（Ｘａｖ，Ｙａｖ，Ｚａｖ））を通り、各データ点からの距離の２乗の平均値が最小となるような直線として求められる。ここで各データ点の座標を示すＰに付した（）内の数値はその値が増加するほど過去のデータであることを示す。例えば、Ｐ（０）は最新の位置座標、Ｐ（１）は１サンプル周期前の位置座標、Ｐ（２）は２サンプル周期前の位置座標を示す。以下の説明におけるＤ（ｊ）、Ｘ（ｊ）、Ｙ（ｊ）、Ｚ（ｊ）等も同様である。

　より具体的には、平均位置座標Ｐａｖから各データ点の座標Ｐ（０）〜Ｐ（Ｎ−１）に向かうベクトルＤ（ｊ）＝（ＤＸ（ｊ），ＤＹ（ｊ），ＤＺ（ｊ））＝（Ｘ（ｊ）−Ｘａｖ，Ｙ（ｊ）−Ｙａｖ，Ｚ（ｊ）−Ｚａｖ）と、方向ベクトルＬとの内積ｓを下記式（６）により算出し、この内積ｓの分散が最大となる方向ベクトルＬ＝（ｌｘ，ｌｙ，ｌｚ）を求める。
　ｓ＝ｌｘ・ＤＸ（ｊ）＋ｌｙ・ＤＹ（ｊ）＋ｌｚ・ＤＺ（ｊ）　（６）

　各データ点の座標の分散共分散行列Ｖは、下記式（７）で表され、この行列の固有値σが内積ｓの分散に相当するので、この行列から算出される３つの固有値のうち最大の固有値に対応する固有ベクトルが求める方向ベクトルＬとなる。なお、式（７）の行列から固有値と固有ベクトルを算出するには、ヤコビ法（例えば「数値計算ハンドブック」（オーム社）に示されている）として知られている手法を用いる。

　次いで最新の位置座標Ｐ（０）＝（Ｘ（０），Ｙ（０），Ｚ（０））と、（Ｎ−１）サンプル前（時間ΔＴ前）の位置座標Ｐ（Ｎー１）＝（Ｘ（Ｎ−１），Ｙ（Ｎ−１），Ｚ（Ｎ−１））を近似直線ＬＭＶ上の位置に補正する。具体的には、前記式（５ａ）にＺ座標Ｚ（０）、Ｚ（Ｎ−１）を適用することにより、すなわち下記式（８）により、補正後の位置座標Ｐｖ（０）＝（Ｘｖ（０），Ｙｖ（０），Ｚｖ（０））及びＰｖ（Ｎ−１）＝（Ｘｖ（Ｎ−１），Ｙｖ（Ｎ−１），Ｚｖ（Ｎ−１））を求める。

　式（８）で算出された位置座標Ｐｖ（Ｎ−１）からＰｖ（０）に向かうベクトルとして、相対移動ベクトルが得られる。このようにモニタ期間ΔＴ内の複数（Ｎ個）のデータから対象物の自車両１０に対する相対移動軌跡を近似する近似直線を算出して相対移動ベクトルを求めることにより、位置検出誤差の影響を軽減して対象物との衝突の可能性をより正確に予測することが可能となる。

　図３に戻り、ステップＳ２４では、検出した対象物との衝突の可能性を判定し、その可能性が高いときに警報を発する警報判定処理（図４）を実行する。
　ステップＳ４１では、下記式（９）によりＺ方向の相対速度Ｖｓを算出し、下記式（１０）及び（１１）が成立するとき、衝突の可能性があると判定してステップＳ４２に進み、式（１０）及び／または式（１１）が不成立のときは、この処理を終了する。
　Ｖｓ＝（Ｚｖ（Ｎ−１）−Ｚｖ（０））／ΔＴ　　（９）
　Ｚｖ（０）／Ｖｓ≦Ｔ　　　　　　　　　　　　　（１０）
　｜Ｙｖ（０）｜≦Ｈ　　　　　　　　　　　　　　（１１）

　ここで、Ｚｖ（０）は最新の距離検出値（ｖは近似直線ＬＭＶによる補正後のデータであることを示すために付しているが、Ｚ座標は補正前と同一の値である）であり、Ｚｖ（Ｎ−１）は、時間ΔＴ前の距離検出値である。またＴは、余裕時間であり、衝突の可能性を予測衝突時刻より時間Ｔだけ前に判定することを意図したものであり、例えば２〜５秒程度に設定される。またＨは、Ｙ方向、すなわち高さ方向の範囲を規定する所定高さであり、例えば自車両１０の車高の２倍程度に設定される。
　式（１０）の関係を図示すると図１７に示すようになり、検出した相対速度Ｖｓと距離Ｚｖ（０）とに対応する座標が、ハッチングを付した領域にあり、かつ｜Ｙｖ（０）｜≦Ｈであるとき、ステップＳ４２以下の判定が実行される。

　図１８は、カメラ１Ｒ、１Ｌで監視可能な領域を、太い実線で示す外側の三角形の領域ＡＲ０で示し、さらに領域ＡＲ０内の、Ｚ１＝Ｖｓ×Ｔより自車両１０に近い領域ＡＲ１，ＡＲ２，ＡＲ３を、警報判定領域としている。ここで領域ＡＲ１は、自車両１０の車幅αの両側に余裕β（例えば５０〜１００ｃｍ程度とする）を加えた範囲に対応する領域、換言すれば自車両１０の横方向の中心軸の両側に（α／２＋β）の幅を有する領域であって、対象物がそのまま存在し続ければ衝突の可能性がきわめて高いので、接近判定領域と呼ぶ。領域ＡＲ２，ＡＲ３は、接近判定領域よりＸ座標の絶対値が大きい（接近判定領域の横方向外側の）領域であり、この領域内にある対象物については、後述する侵入衝突判定を行うので、侵入判定領域と呼ぶ。なおこれらの領域は、前記式（１１）に示したようにＹ方向には、所定高さＨを有する。

　前記ステップＳ４１の答が肯定（ＹＥＳ）となるのは、対象物が接近判定領域ＡＲ１または侵入判定領域ＡＲ２，ＡＲ３のいずれかに存在する場合である。
　続くステップＳ４２では、対象物が接近判定領域ＡＲ１内にあるか否かを判別し、この答が肯定（ＹＥＳ）であるときは、直ちにステップＳ４４に進む一方、否定（ＮＯ）であるときは、ステップＳ４３で侵入衝突判定を行う。具体的には、画像上での最新のｘ座標ｘｃ（０）（ｃは前述したように画像の中心位置を実空間原点Ｏに一致させる補正を行った座標であることを示すために付している）と、時間ΔＴ前のｘ座標ｘｃ（Ｎ−１）との差が下記式（１２）を満たすか否かを判別し、満たす場合に衝突の可能性が高いと判定する。

　図１９に示すように、自車両１０の進行方向に対してほぼ９０°の方向から進行してくる動物２０がいた場合、Ｘｖ（Ｎー１）／Ｚｖ（Ｎ−１）＝Ｘｖ（０）／Ｚｖ（０）であるとき、換言すれば動物の速度Ｖｐと相対速度Ｖｓの比Ｖｐ／Ｖｓ＝Ｘｖ（Ｎー１）／Ｚｖ（Ｎ−１）であるとき、自車両１０から動物２０と見る方位角θｄは一定となり、衝突の可能性が高い。式（１２）は、この可能性を自車両１０の車幅αを考慮して判定するものである。以下図２０を参照して式（１２）の導出手法を説明する。

　対象物２０の最新の位置座標と時間ΔＴ前の位置座標と通る直線、すなわち近似直線ＬＭＶとＸＹ平面（Ｘ軸とＹ軸とを含む平面、すなわち車両１０の先端部に対応する線（Ｘ軸）を含み車両１０の進行方向に垂直な面）との交点のＸ座標をＸＣＬとすると、車幅αを考慮した衝突発生の条件は、下記式（１３）で与えられる。

　−α／２≦ＸＣＬ≦α／２　　（１３）
　一方近似直線ＬＭＶをＸＺ平面に投影した直線は、下記式（１４）で与えられる。

　この式にＺ＝０，Ｘ＝ＸＣＬを代入してＸＣＬを求めると下記式（１５）のようになる。

　また実空間座標Ｘと、画像上の座標ｘｃとは、前記式（３）に示した関係があるので、
　Ｘｖ（０）＝ｘｃ（０）×Ｚｖ（０）／ｆ　　　　　　　　　（１６）
　Ｘｖ（Ｎ−１）＝ｘｃ（Ｎ−１）×Ｚｖ（Ｎ−１）／ｆ　　（１７）
であり、これらを式（１５）に適用すると、交点Ｘ座標ＸＣＬは下記式（１８）で与えられる。これを式（１３）に代入して整理することにより、式（１２）の条件が得られる。

　図４に戻り、ステップＳ４３で衝突の可能性が高いと判定したときは、ステップＳ４４に進み、低いと判定したときは本処理を終了する。
　ステップＳ４４では、以下のようにして警報出力判定、すなわち警報出力を行うか否かの判定を行う。先ずブレーキセンサ７の出力から自車両１０の運転者がブレーキ操作を行っているか否かを判別し、ブレーキ操作を行っていなければ直ちにステップＳ４５に進んで、警報出力を行う。ブレーキ操作を行っている場合には、それによって発生する加速度Ｇｓ（減速方向を正とする）を算出し、この加速度Ｇｓが所定閾値ＧＴＨ以下であるときは、ステップＳ４５に進む一方、Ｇｘ＞ＧＴＨであるときは、ブレーキ操作により衝突が回避されると判定して本処理を終了する。これにより、適切なブレーキ操作が行われているときは、警報を発しないようにして、運転者に余計な煩わしさを与えないようにすることができる。

　所定閾値ＧＴＨは、下記式（１９）のように定める。これは、ブレーキ加速度Ｇｓがそのまま維持された場合に、距離Ｚｖ（０）以下の走行距離で自車両１０が停止する条件に対応する値である。

　ステップＳ４５では、スピーカ３を介して音声による警報を発するとともに、図２１に示すようにＨＵＤ４により例えばカメラ１Ｒにより得られる画像を画面４ａに表示し、接近してくる対象物を強調表示する（例えば枠で囲んで強調する）する。図２１（ａ）はＨＵＤの画面４ａの表示がない状態を示し、同図（ｂ）が画面４ａが表示された状態を示す。このようにすることにより、衝突の可能性の高い対象物を運転者が確実に認識することができる。

　以上のように本実施形態では、同一対象物についての時系列の複数の位置データに基づいてその対象物の実空間での位置を算出し、その実空間位置から移動ベクトルを算出し、そのようにして算出された移動ベクトルに基づいて対象物と自車両１０との衝突の可能性を判定するようにしたので、従来の装置のような誤判定が発生することがなく、衝突可能性の判定精度を向上させることができる。
　また、対象物の相対移動軌跡を近似する近似直線ＬＭＶを求め、検出位置がこの近似直線上の位置するように位置座標を補正し、補正後の位置座標から移動ベクトルを求めるようにしたので、検出位置の誤差の影響を軽減してより正確な衝突可能性の判定を行うことができる。
　また車幅αを考慮した衝突判定を行うようにしたので、衝突の可能性を正確に判定し、無用の警報を発することを防止することができる。

　本実施形態では、画像処理ユニット２が、相対位置検出手段、実空間位置算出手段、判定手段、及び警報手段の一部を構成する。より具体的には、図３のステップＳ１４〜Ｓ１９が相対位置検出手段に相当し、ステップＳ２０〜Ｓ２３が実空間位置算出手段に相当し、図４のステップＳ４１〜Ｓ４４が判定手段に相当し、同図のステップＳ４５並びにスピーカ３及びＨＵＤ４が警報手段に相当する。

　なお本発明は上述した実施形態に限るものではなく、種々の変形が可能である。例えば、本実施形態では、撮像手段として赤外線カメラを使用したが、例えば特開平９−２２６４９０号公報に示されるように通常の可視光線のみ検出可能なテレビカメラを使用してもよい。ただし、赤外線カメラを用いることにより、動物あるいは走行中の車両などの抽出処理を簡略化することができ、演算装置の演算能力が比較的低いものでも実現できる。
　また上述した実施形態では、車両の前方を監視する例を示したが、車両の後方などいずれの方向を監視するようにしてもよい。

本発明の一実施形態にかかる周辺監視装置の構成を示すブロック図である。 図１に示すカメラの取り付け位置を説明するための図である。 図１の画像処理ユニットにおける処理の手順を示すフローチャートである。 図３の警報判定処理を詳細に示すフローチャートである。 赤外線カメラにより得られるグレースケール画像を説明するために、中間階調部にハッチングを付して示す図である。 グレースケール画像を２値化した画像を説明するために、黒の領域をハッチングを付して示す図である。 ランレングスデータへの変換処理及びラベリングを説明するための図である。 対象物の時刻間追跡を説明するための図である。 右画像中の探索画像と、左画像に設定する探索領域を説明するための図である。 探索領域を対象とした相関演算処理を説明するための図である。 視差の算出方法を説明するための図である。 視差から距離を算出する手法を説明するための図である。 本実施形態における座標系を示す図である。 回頭角補正を説明するための図である。 車両の回頭により発生する画像上の対象物位置のずれを示す図である。 相対移動ベクトルの算出手法を説明するための図である。 警報判定を行う条件を説明するための図である。 車両前方の領域区分を説明するための図である。 衝突が発生しやすい場合を説明するための図である。 車両の幅に応じた侵入警報判定の手法を説明するための図である。 ヘッドアップディスプレイ上の表示を説明するための図である。

符号の説明

　１Ｒ、１Ｌ　赤外線カメラ（撮像手段）
　２　画像処理ユニット（相対位置検出手段、実空間位置算出手段、判定手段、警報手段）
　３　スピーカ（警報手段）
　４　ヘッドアップディスプレイ（警報手段）
　５　ヨーレートセンサ
　６　車速センサ
　７　ブレーキセンサ

Claims (2)

1. 車両に搭載された撮像手段により得られる画像から当該車両の周辺に存在する対象物を検出する車両の周辺監視装置において、
   　前記撮像手段により得られる画像から前記対象物の当該車両に対する相対位置を位置データとして検出する相対位置検出手段と、
   　該相対位置検出手段により検出される、前記対象物についての位置データに基づいてその対象物の実空間での位置を算出する実空間位置算出手段と、
   　該実空間位置算出手段により算出された前記対象物までの距離と、前記対象物の、前記車両の進行方向に対して９０度の水平方向の座標との比が、ほぼ一定である場合に、前記対象物が前記車両に衝突する可能性があると判定する判定手段とを備えることを特徴とする車両の周辺監視装置。
2. 前記判定手段は、当該車両の車幅に応じた衝突判定条件を用いて前記判定を行うことを特徴とする請求項１に記載の車両の周辺監視装置。

Images