JPH07334800A - 車両認識装置 - Google Patents
車両認識装置Info
- Publication number
- JPH07334800A JPH07334800A JP6122899A JP12289994A JPH07334800A JP H07334800 A JPH07334800 A JP H07334800A JP 6122899 A JP6122899 A JP 6122899A JP 12289994 A JP12289994 A JP 12289994A JP H07334800 A JPH07334800 A JP H07334800A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- area
- image
- extracting
- contour
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
Abstract
(57)【要約】
【目的】 本発明は車載カメラを用いて入力した道路画
像から前方車両を認識して、前方車両との車間距離を計
測する装置を提供することを目的とする。 【構成】 画像入力手段１で入力したアナログ映像信号
をＡ／Ｄ変換手段２でディジタル変換して画像記憶手段
３に記憶する。エッジ抽出手段４でディジタル画像から
エッジを抽出した後、車線領域抽出手段５を用いて道路
上の車線を抽出する。さらにエッジ投影手段６および対
称領域抽出手段７で前方車両の大まかな存在候補領域を
切り出し、初期モデル設定手段８で初期モデルの設定を
行う。輪郭抽出手段９では、こうして設定された初期モ
デルを用いて前方車両の輪郭を抽出する。車間距離算出
手段１０では前方車両の輪郭情報に基づいて車間距離を
算出し、処理結果出力手段１１で処理結果を出力する。
像から前方車両を認識して、前方車両との車間距離を計
測する装置を提供することを目的とする。 【構成】 画像入力手段１で入力したアナログ映像信号
をＡ／Ｄ変換手段２でディジタル変換して画像記憶手段
３に記憶する。エッジ抽出手段４でディジタル画像から
エッジを抽出した後、車線領域抽出手段５を用いて道路
上の車線を抽出する。さらにエッジ投影手段６および対
称領域抽出手段７で前方車両の大まかな存在候補領域を
切り出し、初期モデル設定手段８で初期モデルの設定を
行う。輪郭抽出手段９では、こうして設定された初期モ
デルを用いて前方車両の輪郭を抽出する。車間距離算出
手段１０では前方車両の輪郭情報に基づいて車間距離を
算出し、処理結果出力手段１１で処理結果を出力する。
Description
【０００１】
【産業上の利用分野】本発明は、画像処理技術を用いて
前方車両を認識すると共に、認識した車両との車間距離
を計測する車両認識装置に関するものである。
前方車両を認識すると共に、認識した車両との車間距離
を計測する車両認識装置に関するものである。
【０００２】
【従来の技術】従来、この種の前方車両を認識する装置
としては、例えば特開平1-281600号公報に記載されてい
るように、画像中から抽出したエッジを追跡することに
よって前方車両の存在する領域を抽出するものがある。
としては、例えば特開平1-281600号公報に記載されてい
るように、画像中から抽出したエッジを追跡することに
よって前方車両の存在する領域を抽出するものがある。
【０００３】
【発明が解決しようとする課題】しかしながら、このよ
うな従来の車両認識装置においては、エッジ抽出処理に
よって抽出された車両エッジに途切れがあるような場合
には、領域を正確に抽出できないと言った問題を有して
いる。また、一般にステレオ視による距離計測では、画
像間の対応をどのようにして求めるかという基本的問題
を有している。
うな従来の車両認識装置においては、エッジ抽出処理に
よって抽出された車両エッジに途切れがあるような場合
には、領域を正確に抽出できないと言った問題を有して
いる。また、一般にステレオ視による距離計測では、画
像間の対応をどのようにして求めるかという基本的問題
を有している。
【０００４】本発明はビデオカメラを用いて入力した道
路画像から前方車両を認識して前方車両との車間距離を
計測できる車両認識装置を提供することを目的とする。
路画像から前方車両を認識して前方車両との車間距離を
計測できる車両認識装置を提供することを目的とする。
【０００５】
【課題を解決するための手段】本発明の車両認識装置
は、自車両のビデオカメラで撮像した道路画像から前方
車両を認識して、認識した車両と自車両との車間距離を
計測する装置であって、車両に搭載して前方の道路シー
ンを撮影するステレオ画像入力手段と、前記ステレオ画
像入力手段から入力したアナログ映像信号をディジタル
変換するＡ／Ｄ変換手段と、前記Ａ／Ｄ変換手段によっ
てディジタル化した道路画像を記憶する画像記憶手段
と、前記画像記憶手段に記憶されている道路画像に微分
処理を施してエッジ成分を抽出するエッジ抽出手段と、
前記画像記憶手段に記憶されている道路画像から車線領
域を抽出する車線領域抽出手段と、前記車線領域抽出手
段で抽出した車線領域内に散在するエッジ成分を画像の
横軸あるいは縦軸に投影することにより前記画像記憶手
段に記憶されている道路画像から前方車両の存在候補領
域を抽出するエッジ投影手段と、前記エッジ投影手段に
よって切り出した前方車両の存在候補領域内で左右対称
領域を抽出することにより前記画像記憶手段に記憶され
ている道路画像から前方車両の存在候補領域をさらに限
定する対称領域抽出手段と、前記対称領域抽出手段によ
って切り出した前方車両の存在候補領域に対して初期輪
郭モデルを設定する初期モデル設定手段と、前記初期モ
デル設定手段によって設定した初期値に基づいて前記画
像記憶手段に記憶されている道路画像から前方車両の輪
郭を抽出する輪郭抽出手段と、前記輪郭抽出手段によっ
て抽出した前方車両の輪郭形状に基づいて前方車両との
車間距離を計測する車間距離算出手段と、前記輪郭抽出
手段によって抽出した車両輪郭抽出結果および前記車間
距離算出手段によって計測した車間距離を出力する処理
結果出力手段とを設けたことを特徴とする。
は、自車両のビデオカメラで撮像した道路画像から前方
車両を認識して、認識した車両と自車両との車間距離を
計測する装置であって、車両に搭載して前方の道路シー
ンを撮影するステレオ画像入力手段と、前記ステレオ画
像入力手段から入力したアナログ映像信号をディジタル
変換するＡ／Ｄ変換手段と、前記Ａ／Ｄ変換手段によっ
てディジタル化した道路画像を記憶する画像記憶手段
と、前記画像記憶手段に記憶されている道路画像に微分
処理を施してエッジ成分を抽出するエッジ抽出手段と、
前記画像記憶手段に記憶されている道路画像から車線領
域を抽出する車線領域抽出手段と、前記車線領域抽出手
段で抽出した車線領域内に散在するエッジ成分を画像の
横軸あるいは縦軸に投影することにより前記画像記憶手
段に記憶されている道路画像から前方車両の存在候補領
域を抽出するエッジ投影手段と、前記エッジ投影手段に
よって切り出した前方車両の存在候補領域内で左右対称
領域を抽出することにより前記画像記憶手段に記憶され
ている道路画像から前方車両の存在候補領域をさらに限
定する対称領域抽出手段と、前記対称領域抽出手段によ
って切り出した前方車両の存在候補領域に対して初期輪
郭モデルを設定する初期モデル設定手段と、前記初期モ
デル設定手段によって設定した初期値に基づいて前記画
像記憶手段に記憶されている道路画像から前方車両の輪
郭を抽出する輪郭抽出手段と、前記輪郭抽出手段によっ
て抽出した前方車両の輪郭形状に基づいて前方車両との
車間距離を計測する車間距離算出手段と、前記輪郭抽出
手段によって抽出した車両輪郭抽出結果および前記車間
距離算出手段によって計測した車間距離を出力する処理
結果出力手段とを設けたことを特徴とする。
【０００６】
【作用】この構成によると、画像入力手段で入力したア
ナログ映像信号をＡ／Ｄ変換手段でディジタル画像に変
換して画像記憶手段に記憶する。そして、エッジ抽出手
段でディジタル画像からエッジを抽出した後、車線領域
抽出手段を用いて道路上の車線を抽出する。さらにエッ
ジ投影手段および対称領域抽出手段で前方車両の大まか
な存在候補領域を切り出し、初期モデル設定手段で初期
モデルの設定を行う。輪郭抽出手段では、こうして設定
された初期モデルを用いて前方車両の輪郭を抽出する。
車間距離算出手段では、前方車両の輪郭情報に基づいて
車間距離を算出し、処理結果出力手段で処理結果を出力
する。
ナログ映像信号をＡ／Ｄ変換手段でディジタル画像に変
換して画像記憶手段に記憶する。そして、エッジ抽出手
段でディジタル画像からエッジを抽出した後、車線領域
抽出手段を用いて道路上の車線を抽出する。さらにエッ
ジ投影手段および対称領域抽出手段で前方車両の大まか
な存在候補領域を切り出し、初期モデル設定手段で初期
モデルの設定を行う。輪郭抽出手段では、こうして設定
された初期モデルを用いて前方車両の輪郭を抽出する。
車間距離算出手段では、前方車両の輪郭情報に基づいて
車間距離を算出し、処理結果出力手段で処理結果を出力
する。
【０００７】
【実施例】以下、本発明の実施例について図面を参照し
ながら説明する。本発明の車両認識装置は図１に示すよ
うに構成されている。
ながら説明する。本発明の車両認識装置は図１に示すよ
うに構成されている。
【０００８】車両の前方を撮影する画像入力手段１は、
図２に示すように一対のビデオカメラ１ａ，１ｂで構成
されるステレオカメラから構成されている。２はＡ／Ｄ
変換手段で、画像入力手段１から入力したアナログ映像
信号をディジタル化する。３は画像記憶手段で、Ａ／Ｄ
変換手段２でディジタル化した道路画像を記憶する。４
はエッジ抽出手段で、画像記憶手段３に記憶されている
道路画像に微分処理を施して再び画像記憶手段３に蓄積
する。５は車線領域抽出手段で、画像記憶手段３に蓄積
されている微分画像から、自車両が走行している自車線
領域、およびその左右の隣接車線領域領域を抽出する。
６はエッジ投影手段で、車線領域内から抽出されるエッ
ジ成分を画像の縦軸および横軸に投影することによっ
て、前方車両の存在候補領域を大まかに切り出すもので
ある。７は対称領域抽出手段で、前方車両の左右対称性
を利用して前方車両の存在候補領域をさらに厳密に抽出
するものである。８は初期モデル設定手段で、エッジ投
影手段６および対称領域抽出手段７によって切り出した
前方車両の存在候補領域に対して適切なモデルを適用す
るものである。９は輪郭抽出手段で、動的輪郭モデルの
手法に基づき、初期モデル設定手段８で設定した初期モ
デルを変形させていくことによって最終的に前方車両の
輪郭を抽出するものである。１０は車間距離算出手段
で、輪郭抽出手段９で抽出した前方車両の輪郭モデルを
用いてステレオ画像間の視差を求めることにより、前方
車両との車間距離を算出するものである。１１は処理結
果出力手段で、前方車両を認識した結果ならびに認識し
た前方車両との車間距離を出力するものである。
図２に示すように一対のビデオカメラ１ａ，１ｂで構成
されるステレオカメラから構成されている。２はＡ／Ｄ
変換手段で、画像入力手段１から入力したアナログ映像
信号をディジタル化する。３は画像記憶手段で、Ａ／Ｄ
変換手段２でディジタル化した道路画像を記憶する。４
はエッジ抽出手段で、画像記憶手段３に記憶されている
道路画像に微分処理を施して再び画像記憶手段３に蓄積
する。５は車線領域抽出手段で、画像記憶手段３に蓄積
されている微分画像から、自車両が走行している自車線
領域、およびその左右の隣接車線領域領域を抽出する。
６はエッジ投影手段で、車線領域内から抽出されるエッ
ジ成分を画像の縦軸および横軸に投影することによっ
て、前方車両の存在候補領域を大まかに切り出すもので
ある。７は対称領域抽出手段で、前方車両の左右対称性
を利用して前方車両の存在候補領域をさらに厳密に抽出
するものである。８は初期モデル設定手段で、エッジ投
影手段６および対称領域抽出手段７によって切り出した
前方車両の存在候補領域に対して適切なモデルを適用す
るものである。９は輪郭抽出手段で、動的輪郭モデルの
手法に基づき、初期モデル設定手段８で設定した初期モ
デルを変形させていくことによって最終的に前方車両の
輪郭を抽出するものである。１０は車間距離算出手段
で、輪郭抽出手段９で抽出した前方車両の輪郭モデルを
用いてステレオ画像間の視差を求めることにより、前方
車両との車間距離を算出するものである。１１は処理結
果出力手段で、前方車両を認識した結果ならびに認識し
た前方車両との車間距離を出力するものである。
【０００９】この図１に示した車両認識装置は図３に示
す処理手順にしたがって運転されている。先ず、ステッ
プ 1000 では、レジスタやカウンタをクリアし、以降の
処理を繰り返すための様々な初期設定を行う。ステップ
2000 では道路画像の取り込みを行う。道路画像は、一
対のビデオカメラ１ａ，１ｂを用いてアナログ映像信号
として入力され、このアナログ映像信号をＡ／Ｄ変換器
２でディジタル化した後、画像メモリ３に蓄積する。図
４（ａ）（ｂ）はビデオカメラ１ａ，１ｂによって取り
込まれた左入力画像と右入力画像を示す。
す処理手順にしたがって運転されている。先ず、ステッ
プ 1000 では、レジスタやカウンタをクリアし、以降の
処理を繰り返すための様々な初期設定を行う。ステップ
2000 では道路画像の取り込みを行う。道路画像は、一
対のビデオカメラ１ａ，１ｂを用いてアナログ映像信号
として入力され、このアナログ映像信号をＡ／Ｄ変換器
２でディジタル化した後、画像メモリ３に蓄積する。図
４（ａ）（ｂ）はビデオカメラ１ａ，１ｂによって取り
込まれた左入力画像と右入力画像を示す。
【００１０】ステップ 3000 では、ステップ 2000 で取
り込んだ道路画像から前方車両を認識する。なお、前方
車両の認識処理は、一対の入力画像のそれぞれに対して
同様の処理を行うため、以降ではビデオカメラ１ｂから
の入力画像に対する処理のみを例に挙げて図５にしたが
って説明する。
り込んだ道路画像から前方車両を認識する。なお、前方
車両の認識処理は、一対の入力画像のそれぞれに対して
同様の処理を行うため、以降ではビデオカメラ１ｂから
の入力画像に対する処理のみを例に挙げて図５にしたが
って説明する。
【００１１】図５に示す車両認識処理の一連の処理にお
いて、ステップ 3100 では、図３に示したステップ 200
0 で取り込んだ道路画像に対して微分処理を施してエッ
ジを抽出する。なお、エッジの抽出には３×３のＳｏｂ
ｅｌフィルタを用い、各画素ごとに得られる微分強度を
画像記憶手段３に蓄積する。図６には、各画素ごとに算
出した微分強度Ｅ（ｘ，ｙ）を閾値Ｅthを用いて二値化
した結果を示す。なお、閾値Ｅthは入力に用いたビデオ
カメラ１ａ，１ｂのダイナミック・レンジなどによって
異なるが、８０〜１２０の範囲内で設定されることが望
ましい。また、図６で黒く示されている点が閾値Ｅthを
越える微分強度をもつ画素で、以降ではこの画素のこと
をエッジ画素と呼ぶことにする。
いて、ステップ 3100 では、図３に示したステップ 200
0 で取り込んだ道路画像に対して微分処理を施してエッ
ジを抽出する。なお、エッジの抽出には３×３のＳｏｂ
ｅｌフィルタを用い、各画素ごとに得られる微分強度を
画像記憶手段３に蓄積する。図６には、各画素ごとに算
出した微分強度Ｅ（ｘ，ｙ）を閾値Ｅthを用いて二値化
した結果を示す。なお、閾値Ｅthは入力に用いたビデオ
カメラ１ａ，１ｂのダイナミック・レンジなどによって
異なるが、８０〜１２０の範囲内で設定されることが望
ましい。また、図６で黒く示されている点が閾値Ｅthを
越える微分強度をもつ画素で、以降ではこの画素のこと
をエッジ画素と呼ぶことにする。
【００１２】図５に示したステップ 3200 では、道路画
像から車線領域を抽出する。図７は車線領域抽出手段５
における一連の処理の流れを示しており、この場合、白
線の輪郭抽出精度を向上させるため、処理領域を画像の
下半分に限定する。
像から車線領域を抽出する。図７は車線領域抽出手段５
における一連の処理の流れを示しており、この場合、白
線の輪郭抽出精度を向上させるため、処理領域を画像の
下半分に限定する。
【００１３】図７に示したステップ 3201 では、路面に
ペイントされた左側の白線Ｗ１の輪郭を抽出する。具体
的には、図８に示すように各走査線の中心ｌから左方向
に画素を走査していく。そして、図５に示したステップ
3100 で求めた各画素の微分強度Ｅ（ｘ，ｙ）が閾値Ｅ
thを越えた最初の位置を、その走査線における左側の白
線の輪郭点とする。ステップ 3202 では右側の白線Ｗ２
の輪郭を抽出する。右側の白線の輪郭も左側と同様にし
て、図８に示す各走査線の中心ｌから右方向に画素を走
査していき、微分強度Ｅ（ｘ，ｙ）が閾値Ｅthを越えた
最初の位置を、その走査線における右側の白線の輪郭点
として抽出する。図９には画像から左右の白線の輪郭点
列を抽出した結果を示す。黒い点で示した画素が左右の
白線の輪郭点Ｗ１０，Ｗ２０である。
ペイントされた左側の白線Ｗ１の輪郭を抽出する。具体
的には、図８に示すように各走査線の中心ｌから左方向
に画素を走査していく。そして、図５に示したステップ
3100 で求めた各画素の微分強度Ｅ（ｘ，ｙ）が閾値Ｅ
thを越えた最初の位置を、その走査線における左側の白
線の輪郭点とする。ステップ 3202 では右側の白線Ｗ２
の輪郭を抽出する。右側の白線の輪郭も左側と同様にし
て、図８に示す各走査線の中心ｌから右方向に画素を走
査していき、微分強度Ｅ（ｘ，ｙ）が閾値Ｅthを越えた
最初の位置を、その走査線における右側の白線の輪郭点
として抽出する。図９には画像から左右の白線の輪郭点
列を抽出した結果を示す。黒い点で示した画素が左右の
白線の輪郭点Ｗ１０，Ｗ２０である。
【００１４】ステップ 3203 では、ステップ 3201 で抽
出した左側の白線の輪郭点列を直線近似する。ステップ
3204 でも同様にして、ステップ 3202 で抽出した右側
の白線の輪郭点列を直線近似する。
出した左側の白線の輪郭点列を直線近似する。ステップ
3204 でも同様にして、ステップ 3202 で抽出した右側
の白線の輪郭点列を直線近似する。
【００１５】なお、ステップ 3203 ，ステップ 3204 で
行う点列の直線近似処理にはＨｏｕｇｈ変換の手法（米
国特許Ｎｏ．3,069,654 （１９６２））を用いる。 ス
テップ 3205 では、左側の白線を近似した直線、右側の
白線を近似した直線、および画像の下端、画像の左端、
画像の右端とによって形成される領域を、自車両の走行
している車線領域として抽出する。図１０に自車両が走
行している車線領域を抽出した結果を示す。点Ｖ，Ｌ，
Ｂ，Ａで囲まれる領域が抽出した車線領域である。
行う点列の直線近似処理にはＨｏｕｇｈ変換の手法（米
国特許Ｎｏ．3,069,654 （１９６２））を用いる。 ス
テップ 3205 では、左側の白線を近似した直線、右側の
白線を近似した直線、および画像の下端、画像の左端、
画像の右端とによって形成される領域を、自車両の走行
している車線領域として抽出する。図１０に自車両が走
行している車線領域を抽出した結果を示す。点Ｖ，Ｌ，
Ｂ，Ａで囲まれる領域が抽出した車線領域である。
【００１６】ステップ 3206 では、ステップ 3205 で抽
出した自車両の走行車線領域に隣接する左右の隣接車線
を近似的に求める。この場合、図１１に示すように自車
両の走行車線領域を表す三角形ＶＬＲの底辺ＬＲの長さ
を左右に倍ずつ延長した三角形ＶＣＤを、隣接車線を含
めた道路領域として抽出する。
出した自車両の走行車線領域に隣接する左右の隣接車線
を近似的に求める。この場合、図１１に示すように自車
両の走行車線領域を表す三角形ＶＬＲの底辺ＬＲの長さ
を左右に倍ずつ延長した三角形ＶＣＤを、隣接車線を含
めた道路領域として抽出する。
【００１７】図５に示したステップ 3300 では、ステッ
プ 3200 で抽出した車線領域内に散在するエッジの分布
を調べることにより、前方車両の存在候補領域を求め
る。図１２および図１３に、この処理の概念を示した摸
式図を示す。
プ 3200 で抽出した車線領域内に散在するエッジの分布
を調べることにより、前方車両の存在候補領域を求め
る。図１２および図１３に、この処理の概念を示した摸
式図を示す。
【００１８】図１２の（ｂ）に示すように、図７のステ
ップ 3205 で抽出した自車両の走行車線領域内に処理領
域を限定する。そしてこの処理領域内において、閾値Ｅ
thを越えるエッジ強度をもつ画素（エッジ画素と呼ぶ）
の数を各走査線ごとにカウントし、図１２の（ａ）に示
すようなヒストグラムを作成する。同時に、これらのエ
ッジ画素の走査線方向の平均座標位置を求め、車両候補
領域の走査線方向の重心位置Ｇx とする。なお、このヒ
ストグラムの縦軸が各走査線を、横軸がエッジ画素の数
を表している。次に、このエッジ画素の数に対して閾値
Ｂthを設定する。なお、様々な画像を用いて実験を行な
った結果、閾値Ｂthは“４０”程度に設定することが好
ましい。そして、エッジ画素の数がＢthを越える走査線
の内、最も下に位置する走査線を車両候補領域の下端と
して抽出する。図１２の（ａ）では、Ｂで示す走査線が
車両候補領域の下端を示している。なお、上記の条件を
満たすような走査線が抽出されなかった場合には、前方
車両は存在しないと判断する。
ップ 3205 で抽出した自車両の走行車線領域内に処理領
域を限定する。そしてこの処理領域内において、閾値Ｅ
thを越えるエッジ強度をもつ画素（エッジ画素と呼ぶ）
の数を各走査線ごとにカウントし、図１２の（ａ）に示
すようなヒストグラムを作成する。同時に、これらのエ
ッジ画素の走査線方向の平均座標位置を求め、車両候補
領域の走査線方向の重心位置Ｇx とする。なお、このヒ
ストグラムの縦軸が各走査線を、横軸がエッジ画素の数
を表している。次に、このエッジ画素の数に対して閾値
Ｂthを設定する。なお、様々な画像を用いて実験を行な
った結果、閾値Ｂthは“４０”程度に設定することが好
ましい。そして、エッジ画素の数がＢthを越える走査線
の内、最も下に位置する走査線を車両候補領域の下端と
して抽出する。図１２の（ａ）では、Ｂで示す走査線が
車両候補領域の下端を示している。なお、上記の条件を
満たすような走査線が抽出されなかった場合には、前方
車両は存在しないと判断する。
【００１９】車両候補領域の下端が上記のように抽出さ
れた場合には、車両候補領域の左右の側端の抽出処理を
行う。図１３（ａ）（ｂ）に、この処理の概念を表した
摸式図を示す。
れた場合には、車両候補領域の左右の側端の抽出処理を
行う。図１３（ａ）（ｂ）に、この処理の概念を表した
摸式図を示す。
【００２０】図１３の（ａ）に示すように、図７のステ
ップ 3106 で抽出した隣接車線を含む道路領域、先ほど
の処理で抽出した前方車両候補領域の下端、および画像
の左右の端で囲まれる領域を処理領域に限定する。この
ような処理範囲を設定する理由は、前方車両の車線変更
や他の車両の割り込みなどに備えて、隣接車線を常に監
視するためである。そしてこの処理領域内において、エ
ッジ画素の数を走査線に垂直な縦の画素列ごとにカウン
トし、図１３の（ｂ）に示すようなヒストグラムを作成
する。このヒストグラムの横軸が画像の横方向の座標
を、縦軸がエッジ画素の数を表している。この場合、図
１３の（ａ）（ｂ）から明らかなように、車両の存在す
る領域より外側の領域では車両候補領域内と比較して、
ヒストグラムの度数が急激に減少すると共に、そのばら
つきが小さくなることが分かる。そこで、下記の手順に
従って車両候補領域の左右の側端を抽出する。
ップ 3106 で抽出した隣接車線を含む道路領域、先ほど
の処理で抽出した前方車両候補領域の下端、および画像
の左右の端で囲まれる領域を処理領域に限定する。この
ような処理範囲を設定する理由は、前方車両の車線変更
や他の車両の割り込みなどに備えて、隣接車線を常に監
視するためである。そしてこの処理領域内において、エ
ッジ画素の数を走査線に垂直な縦の画素列ごとにカウン
トし、図１３の（ｂ）に示すようなヒストグラムを作成
する。このヒストグラムの横軸が画像の横方向の座標
を、縦軸がエッジ画素の数を表している。この場合、図
１３の（ａ）（ｂ）から明らかなように、車両の存在す
る領域より外側の領域では車両候補領域内と比較して、
ヒストグラムの度数が急激に減少すると共に、そのばら
つきが小さくなることが分かる。そこで、下記の手順に
従って車両候補領域の左右の側端を抽出する。
【００２１】先ず、このヒストグラムの横軸に対して区
間幅ＳW の小ウィンドウを設ける。次に、この小ウィン
ドウ内でエッジ度数の平均値Ｅmeanと分散値Ｅsigma を
算出しながら、ウィンドウを車両候補領域の重心位置Ｇ
x から左右外側に向かってシフトさせていく。そして、
Ｅmeanが閾値Ｍth以下、かつＥsigma がＳth以下になっ
た最初の位置を、それぞれ車両候補領域の左端および右
端として抽出する。なお、小ウィンドウの区間幅ＳW は
“２０”、Ｅmeanに対する閾値Ｍthは“１５”、Ｅ
sigma に対する閾値Ｓthは“１７”程度に設定すること
が好ましい。以上のような処理によって車両候補領域Ｎ
を抽出した結果を図１４に示す。
間幅ＳW の小ウィンドウを設ける。次に、この小ウィン
ドウ内でエッジ度数の平均値Ｅmeanと分散値Ｅsigma を
算出しながら、ウィンドウを車両候補領域の重心位置Ｇ
x から左右外側に向かってシフトさせていく。そして、
Ｅmeanが閾値Ｍth以下、かつＥsigma がＳth以下になっ
た最初の位置を、それぞれ車両候補領域の左端および右
端として抽出する。なお、小ウィンドウの区間幅ＳW は
“２０”、Ｅmeanに対する閾値Ｍthは“１５”、Ｅ
sigma に対する閾値Ｓthは“１７”程度に設定すること
が好ましい。以上のような処理によって車両候補領域Ｎ
を抽出した結果を図１４に示す。
【００２２】図５のステップ 3400 では、対称領域の抽
出処理を行う。一般に、画像に写った前方車両は、走査
線に垂直な線分を対称軸としたほぼ左右対称形を示す。
そこで、ステップ 3300 で切り出した前方車両候補領域
Ｎの範囲内において左右対称領域を抽出し、前方車両の
存在領域をさらに限定する。これらの処理の概要を、図
１５〜図１８にしたがって説明する。
出処理を行う。一般に、画像に写った前方車両は、走査
線に垂直な線分を対称軸としたほぼ左右対称形を示す。
そこで、ステップ 3300 で切り出した前方車両候補領域
Ｎの範囲内において左右対称領域を抽出し、前方車両の
存在領域をさらに限定する。これらの処理の概要を、図
１５〜図１８にしたがって説明する。
【００２３】先ず、図１５に示すように対称領域を抽出
する処理範囲を図５のステップ 3300 で切り出した前方
車両候補領域内に限定する。次にこの処理領域内におい
て、走査線に垂直な対称軸を求める方法を図１６に従っ
て説明する。例えば、図１５の微分二値画像のある走査
線において、図１６に示したＡ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆの
合計６つのエッジ点が存在したとする。この時、これら
６エッジ点の内の任意の２エッジ点間の中点位置を積算
したヒストグラムを作成し、度数がピークを示す位置を
その走査線における対称軸とする。このような処理を、
エッジ投影手段６で切り出した領域内の全ての走査線に
対して行い、領域全体の対称軸を求める。そして、この
ようにして求めた対称軸について左右対称になっている
エッジ点の組を抽出し、左右対称領域を切り出す。図１
７と図１８はこの処理の一連の流れを示す。
する処理範囲を図５のステップ 3300 で切り出した前方
車両候補領域内に限定する。次にこの処理領域内におい
て、走査線に垂直な対称軸を求める方法を図１６に従っ
て説明する。例えば、図１５の微分二値画像のある走査
線において、図１６に示したＡ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆの
合計６つのエッジ点が存在したとする。この時、これら
６エッジ点の内の任意の２エッジ点間の中点位置を積算
したヒストグラムを作成し、度数がピークを示す位置を
その走査線における対称軸とする。このような処理を、
エッジ投影手段６で切り出した領域内の全ての走査線に
対して行い、領域全体の対称軸を求める。そして、この
ようにして求めた対称軸について左右対称になっている
エッジ点の組を抽出し、左右対称領域を切り出す。図１
７と図１８はこの処理の一連の流れを示す。
【００２４】先ず、図１７に示すステップ 3401 からス
テップ 3412 と図１８に示すステップ 3413 の処理で対
称軸を抽出する。ステップ 3401 およびステップ 3402
では、処理範囲の初期値を設定する。なお、図１７，図
１８においての処理範囲は、図５のステップ 3300 で切
り出した車両候補領域で、その上限のｙ座標をＴｙ、下
限をＢｙ、左限のｘ座標をＬｘ、および右限をＲｘで表
す。そして、ステップ 3403 で示すように、画像中の座
標（ｘ，ｙ）における微分強度Ｅ（ｘ，ｙ）が閾値Ｅth
を越える場合には、ステップ 3404 〜ステップ 3408 に
示すように、その点と同一走査線上に存在し、閾値Ｅth
を越える微分強度を持つ全ての画素との中点を求め、ス
テップ 3406 においてその中点位置に対応するヒストグ
ラムに加算する。なお、この処理はステップ3409 ，ス
テップ 3410 ，ステップ 3411 ，およびステップ 3412
に示すように、処理領域内の全てのエッジ点について繰
り返される。そしてステップ 3413 では、こうして得ら
れたヒストグラムのピークを求め、その時のｘ座標を車
両領域の対称軸ｘsym として記憶する。さらに、図１８
に示すステップ 3414 からステップ 3423 の処理では、
こうして求められた対称軸ｘsym についての対称領域の
抽出を行う。この処理は、ステップ 3414 およびステッ
プ 3415 で処理領域の初期化を行った後、ステップ 341
6 において微分強度が閾値Ｅthを越える画素（ｘ，ｙ）
が確認された場合に、ステップ 3417 においてその画素
と対称軸ｘsym との距離Ｄを求める。そしてステップ 3
418 において、対称軸ｘsym に対して距離Ｄの位置に微
分強度が閾値Ｅthを越える画素が存在するかどうかの判
定を行う。存在した場合は、求めた対称点対をステップ
3419 で登録する。さらにこの処理は、ステップ 3420
からステップ 3423 に示すように処理領域内の全てのエ
ッジ点について行う。このようにして図１５の画像から
対称領域を抽出した結果を図１９の（ａ）に示す。なお
同図ｂは対称軸を求める際に作成したヒストグラムであ
る。
テップ 3412 と図１８に示すステップ 3413 の処理で対
称軸を抽出する。ステップ 3401 およびステップ 3402
では、処理範囲の初期値を設定する。なお、図１７，図
１８においての処理範囲は、図５のステップ 3300 で切
り出した車両候補領域で、その上限のｙ座標をＴｙ、下
限をＢｙ、左限のｘ座標をＬｘ、および右限をＲｘで表
す。そして、ステップ 3403 で示すように、画像中の座
標（ｘ，ｙ）における微分強度Ｅ（ｘ，ｙ）が閾値Ｅth
を越える場合には、ステップ 3404 〜ステップ 3408 に
示すように、その点と同一走査線上に存在し、閾値Ｅth
を越える微分強度を持つ全ての画素との中点を求め、ス
テップ 3406 においてその中点位置に対応するヒストグ
ラムに加算する。なお、この処理はステップ3409 ，ス
テップ 3410 ，ステップ 3411 ，およびステップ 3412
に示すように、処理領域内の全てのエッジ点について繰
り返される。そしてステップ 3413 では、こうして得ら
れたヒストグラムのピークを求め、その時のｘ座標を車
両領域の対称軸ｘsym として記憶する。さらに、図１８
に示すステップ 3414 からステップ 3423 の処理では、
こうして求められた対称軸ｘsym についての対称領域の
抽出を行う。この処理は、ステップ 3414 およびステッ
プ 3415 で処理領域の初期化を行った後、ステップ 341
6 において微分強度が閾値Ｅthを越える画素（ｘ，ｙ）
が確認された場合に、ステップ 3417 においてその画素
と対称軸ｘsym との距離Ｄを求める。そしてステップ 3
418 において、対称軸ｘsym に対して距離Ｄの位置に微
分強度が閾値Ｅthを越える画素が存在するかどうかの判
定を行う。存在した場合は、求めた対称点対をステップ
3419 で登録する。さらにこの処理は、ステップ 3420
からステップ 3423 に示すように処理領域内の全てのエ
ッジ点について行う。このようにして図１５の画像から
対称領域を抽出した結果を図１９の（ａ）に示す。なお
同図ｂは対称軸を求める際に作成したヒストグラムであ
る。
【００２５】さらにステップ 3424 では、こうして抽出
した対称領域に外接する矩形を求める。図２０にこの処
理の概念を表した模式図を示す。図２０の（ａ）は図１
９の（ａ）と同じく対称領域を抽出した結果である。そ
して図２０の（ｂ）に示すように、この画像中に表れて
いるエッジ点を画像の横軸に投影したヒストグラムを作
成し、度数が閾値を越えるものの内、最も左側を対称領
域の左端、最も右側を対称領域の右端としてそれぞれ抽
出する。さらに図２０の（ａ）のエッジ点を画像の縦軸
に投影したヒストグラムを図２０の（ｃ）に示すように
作成し、このヒストグラムの度数が閾値を越えるものの
内、最も上側の走査線を対称領域の上端として、最も下
側の走査線を対称領域の下端としてそれぞれ抽出する。
このようにして求めた対称領域の領域端に外接する矩形
を図２１のように求め、その矩形の横幅をＷ、高さをＨ
とする。
した対称領域に外接する矩形を求める。図２０にこの処
理の概念を表した模式図を示す。図２０の（ａ）は図１
９の（ａ）と同じく対称領域を抽出した結果である。そ
して図２０の（ｂ）に示すように、この画像中に表れて
いるエッジ点を画像の横軸に投影したヒストグラムを作
成し、度数が閾値を越えるものの内、最も左側を対称領
域の左端、最も右側を対称領域の右端としてそれぞれ抽
出する。さらに図２０の（ａ）のエッジ点を画像の縦軸
に投影したヒストグラムを図２０の（ｃ）に示すように
作成し、このヒストグラムの度数が閾値を越えるものの
内、最も上側の走査線を対称領域の上端として、最も下
側の走査線を対称領域の下端としてそれぞれ抽出する。
このようにして求めた対称領域の領域端に外接する矩形
を図２１のように求め、その矩形の横幅をＷ、高さをＨ
とする。
【００２６】次に図５のステップ 3500 では、ステップ
3400 で抽出した対称領域に対して、動的輪郭モデルの
初期モデルを設定する。初期モデルは、図２２に示すよ
うに車両形状を近似した形状になっており、等間隔に配
置されたｎ個の節点から構成されている。なお、この場
合の節点の数ｎは４４個程度であることが好ましい。そ
して、初期モデルの横幅Ｗm と高さＨmは、ステップ 34
24 で求めた“ Ｗ ”と“ Ｈ ”にパラメータ“
Ｐ ”を乗じることによって、図２２の図中に示したよ
うに設定する。パラメータＰとしては“1.05〜1.07”の
範囲で設定することが好ましい。さらに、この初期モデ
ルの重心Ｃm とステップ 3400 で求めた対称領域の重心
Ｃが一致するように初期モデルを設置することにより、
車両領域に対して適切な位置に動的輪郭モデルの初期値
を設定することができる。図２３にこのようにして初期
モデルＱを設定した様子を示す。
3400 で抽出した対称領域に対して、動的輪郭モデルの
初期モデルを設定する。初期モデルは、図２２に示すよ
うに車両形状を近似した形状になっており、等間隔に配
置されたｎ個の節点から構成されている。なお、この場
合の節点の数ｎは４４個程度であることが好ましい。そ
して、初期モデルの横幅Ｗm と高さＨmは、ステップ 34
24 で求めた“ Ｗ ”と“ Ｈ ”にパラメータ“
Ｐ ”を乗じることによって、図２２の図中に示したよ
うに設定する。パラメータＰとしては“1.05〜1.07”の
範囲で設定することが好ましい。さらに、この初期モデ
ルの重心Ｃm とステップ 3400 で求めた対称領域の重心
Ｃが一致するように初期モデルを設置することにより、
車両領域に対して適切な位置に動的輪郭モデルの初期値
を設定することができる。図２３にこのようにして初期
モデルＱを設定した様子を示す。
【００２７】図５のステップ 3600 では、動的輪郭モデ
ルの手法を用いて前方車両の輪郭を抽出する。動的輪郭
モデルは、画像の特徴とモデルの形状からエネルギー関
数Ｅ snakesを定義し、このエネルギー関数を最小化する
過程で対象物の輪郭を抽出する手法である。エネルギー
関数Ｅsnakesは、滑らかさや節点間の距離などモデルの
形状に関する力である内部エネルギーＥint 、モデルが
画像特徴に引き寄せられる力である画像エネルギーＥ
image 、およびモデルの形状変化を外部から抑制する力
である外部エネルギーＥcon とからなり、下記の式
（１）のように表される。ｖi （ｉ＝1,2,3,…, ｎ）は
輪郭モデルの節点である。
ルの手法を用いて前方車両の輪郭を抽出する。動的輪郭
モデルは、画像の特徴とモデルの形状からエネルギー関
数Ｅ snakesを定義し、このエネルギー関数を最小化する
過程で対象物の輪郭を抽出する手法である。エネルギー
関数Ｅsnakesは、滑らかさや節点間の距離などモデルの
形状に関する力である内部エネルギーＥint 、モデルが
画像特徴に引き寄せられる力である画像エネルギーＥ
image 、およびモデルの形状変化を外部から抑制する力
である外部エネルギーＥcon とからなり、下記の式
（１）のように表される。ｖi （ｉ＝1,2,3,…, ｎ）は
輪郭モデルの節点である。
【００２８】 Ｅsnakes（ｖi ）＝Ｅint （ｖi ）＋Ｅimage （ｖi ）＋Ｅcon （ｖi ） ……… （１） さらに、内部エネルギーＥint は式（２）によって算出
することができる。α，βはそれぞれの項に対する重み
パラメータである。
することができる。α，βはそれぞれの項に対する重み
パラメータである。
【００２９】 Ｅint （ｖi ）＝α｜ｖi −ｖi-1 ｜2 ＋β｜ｖi-1 −２ｖi＋ｖi+1 ｜2 ……… （２） また、画像エネルギーＥimage は画像中のエッジからの
ポテンシャル場として、式（３）に示すように画像の濃
度勾配として算出される。γは画像エネルギーに対する
重みパラメータである。
ポテンシャル場として、式（３）に示すように画像の濃
度勾配として算出される。γは画像エネルギーに対する
重みパラメータである。
【００３０】 Ｅimage （ｖi ）＝−γ｜▽Ｉ（ｘ，ｙ）｜ ……… （３） また、外部エネルギーとしては、前方車両の左右対称性
を考慮して下記の式（４）に示すように輪郭モデルが左
右対称に収縮するような形状変化の拘束力を与える。な
お、ｇは輪郭モデルの重心座標で、ｖi*は重心Ｃを通る
対称軸に対するｖi の対称点である。δは外部エネルギ
ーに対する重みパラメータである。
を考慮して下記の式（４）に示すように輪郭モデルが左
右対称に収縮するような形状変化の拘束力を与える。な
お、ｇは輪郭モデルの重心座標で、ｖi*は重心Ｃを通る
対称軸に対するｖi の対称点である。δは外部エネルギ
ーに対する重みパラメータである。
【００３１】 Ｅcon （ｖi ）＝δ｜｜ｖi −ｇ｜−｜ｖi*−ｇ｜｜ ……… （４） そして、このように定義されたエネルギー関数Ｅsnakes
を輪郭モデルの各節点の近傍領域で評価し、最もエネル
ギーが小さくなる位置へ節点を移動させることによりモ
デルを収縮させていく。
を輪郭モデルの各節点の近傍領域で評価し、最もエネル
ギーが小さくなる位置へ節点を移動させることによりモ
デルを収縮させていく。
【００３２】なお、移動させる節点の数がある閾値以下
になった場合には、輪郭モデルが収束したと判断し、モ
デルの収縮を終了する。図２５に、この処理の一連の流
れを示す。
になった場合には、輪郭モデルが収束したと判断し、モ
デルの収縮を終了する。図２５に、この処理の一連の流
れを示す。
【００３３】先ず、ステップ 3601 およびステップ 360
2 でパラメータの初期化を行う。次にステップ 3603 で
は、式（１）〜（４）に従ってＥsnakesの算出を行う。
ステップ 3604 では、ステップ 3603 で算出されたＥ
snakesと隣接画素のエネルギーとの比較を行う。Ｅ
snakesの方が小さいと判断された場合には、ステップ 3
605においてＥsnakesをエネルギーの最小値として保持
して次の隣接画素のエネルギーを算出するためにステッ
プ 3606 でパラメータを加算した後、ステップ 3603へ
と戻る。逆に、Ｅsnakesの方が大きいと判断された場合
には、エネルギーの最小値を更新することなくステップ
3603 へ戻る。なお、この処理はステップ 3607 の判断
に基づいて、あらかじめ設定した近傍領域すべてについ
て繰り返す。そしてステップ 3608 において、最終的な
エネルギーの最小値が節点の現在位置で得られると判断
された場合には、そのままステップ 3610 へと進む。逆
に、エネルギーの最小値が節点の現在位置以外の隣接画
素で得られると判断された場合には、ステップ 3609 で
その隣接画素の位置へと節点を移動してステップ 3610
へと進む。図２４には、この部分の処理概念を示してい
る。
2 でパラメータの初期化を行う。次にステップ 3603 で
は、式（１）〜（４）に従ってＥsnakesの算出を行う。
ステップ 3604 では、ステップ 3603 で算出されたＥ
snakesと隣接画素のエネルギーとの比較を行う。Ｅ
snakesの方が小さいと判断された場合には、ステップ 3
605においてＥsnakesをエネルギーの最小値として保持
して次の隣接画素のエネルギーを算出するためにステッ
プ 3606 でパラメータを加算した後、ステップ 3603へ
と戻る。逆に、Ｅsnakesの方が大きいと判断された場合
には、エネルギーの最小値を更新することなくステップ
3603 へ戻る。なお、この処理はステップ 3607 の判断
に基づいて、あらかじめ設定した近傍領域すべてについ
て繰り返す。そしてステップ 3608 において、最終的な
エネルギーの最小値が節点の現在位置で得られると判断
された場合には、そのままステップ 3610 へと進む。逆
に、エネルギーの最小値が節点の現在位置以外の隣接画
素で得られると判断された場合には、ステップ 3609 で
その隣接画素の位置へと節点を移動してステップ 3610
へと進む。図２４には、この部分の処理概念を示してい
る。
【００３４】そして、ステップ 3610 ではパラメータを
加算した後、ステップ 3611 の判断に基づいて全ての節
点についてステップ 3602 からステップ 3611 の処理を
繰り返す。ステップ 3611 で全ての節点について処理が
終了したと判断された場合には、ステップ 3612 で移動
した節点の数を評価し、この数が閾値以下である場合は
輪郭モデルが収束したと判断して処理を終了する。逆
に、移動節点の数が閾値以上である場合には、ステップ
3601 へと戻って再び全ての節点について処理を繰り返
す。以上のような処理によって、道路画像から前方車両
の輪郭を抽出することができる。図２６に前方車両の輪
郭を抽出した収束結果の輪郭モデルＲを示す。
加算した後、ステップ 3611 の判断に基づいて全ての節
点についてステップ 3602 からステップ 3611 の処理を
繰り返す。ステップ 3611 で全ての節点について処理が
終了したと判断された場合には、ステップ 3612 で移動
した節点の数を評価し、この数が閾値以下である場合は
輪郭モデルが収束したと判断して処理を終了する。逆
に、移動節点の数が閾値以上である場合には、ステップ
3601 へと戻って再び全ての節点について処理を繰り返
す。以上のような処理によって、道路画像から前方車両
の輪郭を抽出することができる。図２６に前方車両の輪
郭を抽出した収束結果の輪郭モデルＲを示す。
【００３５】次に図３のステップ 4000 では、ステップ
3000 で認識した前方車両との車間距離を計測する。車
間距離の計測は、ビデオカメラ１ａ，１ｂから取り込ん
だステレオ画像に写る前方車両間の視差を抽出すること
により、三角測量の原理に従って算出する。
3000 で認識した前方車両との車間距離を計測する。車
間距離の計測は、ビデオカメラ１ａ，１ｂから取り込ん
だステレオ画像に写る前方車両間の視差を抽出すること
により、三角測量の原理に従って算出する。
【００３６】図２７の（ａ），（ｂ）は、輪郭抽出手段
９を用いて図４の左右のビデオカメラ１ａ，１ｂのそれ
ぞれからの入力画像から前方車両の輪郭を近似した輪郭
モデルＲ１，Ｒ２を示している。
９を用いて図４の左右のビデオカメラ１ａ，１ｂのそれ
ぞれからの入力画像から前方車両の輪郭を近似した輪郭
モデルＲ１，Ｒ２を示している。
【００３７】図２８の（ａ），（ｂ）は、この内の輪郭
モデルのみを表したものである。図２９は、ステレオ画
像の原点が一致するように重ねたもので、各走査線上に
おける両輪郭モデルＲ１，Ｒ２のずれが各走査線におけ
る視差に対応する。そして、こうして求めた各走査線に
おける視差を横軸に、その視差を示す走査線の数を縦軸
にとったヒストグラムを作成し、その度数が閾値を越え
るものの内、最も視差が大きいものを前方車両に対応す
るものとして抽出する。
モデルのみを表したものである。図２９は、ステレオ画
像の原点が一致するように重ねたもので、各走査線上に
おける両輪郭モデルＲ１，Ｒ２のずれが各走査線におけ
る視差に対応する。そして、こうして求めた各走査線に
おける視差を横軸に、その視差を示す走査線の数を縦軸
にとったヒストグラムを作成し、その度数が閾値を越え
るものの内、最も視差が大きいものを前方車両に対応す
るものとして抽出する。
【００３８】さらにこうして求めた視差を用い、式
（５）に従って車間距離を算出する。 距離Ｄ ＝ （カメラ光軸間距離ＤＢ×焦点距離ｆ）／（視差（画素）ｄ×画素サイズＰＳ） ……… （５） なお、ビデオカメラ１ａ，１ｂの光軸間距離ＤＢは１
ｍ、焦点距離ｆは７．５ｍｍ程度が好ましい。画素サイ
ズＰＳについては使用している撮像素子によって異なる
が、できるだけ分解能の高いものを用いることが好まし
い。
（５）に従って車間距離を算出する。 距離Ｄ ＝ （カメラ光軸間距離ＤＢ×焦点距離ｆ）／（視差（画素）ｄ×画素サイズＰＳ） ……… （５） なお、ビデオカメラ１ａ，１ｂの光軸間距離ＤＢは１
ｍ、焦点距離ｆは７．５ｍｍ程度が好ましい。画素サイ
ズＰＳについては使用している撮像素子によって異なる
が、できるだけ分解能の高いものを用いることが好まし
い。
【００３９】図３のステップ 5000 では、以上のような
処理によって算出した前方車両との車間距離を出力す
る。結果の出力は車室内に設置したディスプレイに行
う。ディスプレイへの出力例を図３０に示す。また、前
方車両との車間距離を一定に保って走行するオートクル
ーズ装置、あるいは前方車両との車間距離が一定値以下
になるとドライバーに対して警報を発生する車間距離警
報装置など、本発明によって算出される車間距離情報を
用いた様々なアプリケーション機能を実現するために、
ＲＳ２３２Ｃなどの出力端子を備えるものとする。
処理によって算出した前方車両との車間距離を出力す
る。結果の出力は車室内に設置したディスプレイに行
う。ディスプレイへの出力例を図３０に示す。また、前
方車両との車間距離を一定に保って走行するオートクル
ーズ装置、あるいは前方車両との車間距離が一定値以下
になるとドライバーに対して警報を発生する車間距離警
報装置など、本発明によって算出される車間距離情報を
用いた様々なアプリケーション機能を実現するために、
ＲＳ２３２Ｃなどの出力端子を備えるものとする。
【００４０】上記の実施例では、画像からのエッジ抽出
処理の際にＳｏｂｅｌフィルタを用いるものとしたが、
ラプラシアンなどの画像からエッジを抽出することがで
きるフィルタであれば何でもよい。また車線領域抽出処
理において、白線の輪郭点列を直線近似する際にはＨｏ
ｕｇｈ変換を用いるとしたが、最小自乗法などの直線近
似手法であれば何でもよい。また本発明の実施例におい
ては、動的輪郭モデルの初期モデルとして普通乗用車の
形状を表したものを用いたが、大型トラックなどの他の
車種の形状を型どったものでもよい。
処理の際にＳｏｂｅｌフィルタを用いるものとしたが、
ラプラシアンなどの画像からエッジを抽出することがで
きるフィルタであれば何でもよい。また車線領域抽出処
理において、白線の輪郭点列を直線近似する際にはＨｏ
ｕｇｈ変換を用いるとしたが、最小自乗法などの直線近
似手法であれば何でもよい。また本発明の実施例におい
ては、動的輪郭モデルの初期モデルとして普通乗用車の
形状を表したものを用いたが、大型トラックなどの他の
車種の形状を型どったものでもよい。
【００４１】
【発明の効果】以上のように本発明によると、ビデオカ
メラを用いて入力した道路画像から前方車両を認識し、
認識した前方車両との車間距離を計測する装置を提供す
るもので、画像中のエッジの分布や前方車両の左右対称
性に基づいて動的輪郭モデルの初期モデルを設定して前
方車両の輪郭を抽出することができると共に、抽出した
前方車両の輪郭モデルを用いて左右のステレオ画像間で
視差を算出することにより、前方車両との車間距離を高
精度にかつ高速に算出することができるものである。
メラを用いて入力した道路画像から前方車両を認識し、
認識した前方車両との車間距離を計測する装置を提供す
るもので、画像中のエッジの分布や前方車両の左右対称
性に基づいて動的輪郭モデルの初期モデルを設定して前
方車両の輪郭を抽出することができると共に、抽出した
前方車両の輪郭モデルを用いて左右のステレオ画像間で
視差を算出することにより、前方車両との車間距離を高
精度にかつ高速に算出することができるものである。
【図１】本発明の実施例の基本構成を示すブロック図。
【図２】車両へのビデオカメラの設置例を示す図。
【図３】本発明の実施例の動作を示すフローチャート
図。
図。
【図４】カメラ１ａ，１ｂからの入力画像の例を示す
図。
図。
【図５】車両認識処理の動作を示すフローチャート図。
【図６】入力画像からエッジを抽出した結果を示す図。
【図７】車線領域抽出処理の動作を示すフローチャート
図。
図。
【図８】白線の輪郭を抽出する処理を示す摸式図。
【図９】白線の輪郭を抽出した結果を示す図。
【図１０】車線領域の抽出結果を示す図。
【図１１】隣接車線の抽出方法を示す図。
【図１２】エッジ探索処理の内、車両候補領域の下端を
抽出する処理の概念を示す摸式図。
抽出する処理の概念を示す摸式図。
【図１３】エッジ探索処理の内、車両候補領域の左右端
を抽出する処理の概念を示す摸式図。
を抽出する処理の概念を示す摸式図。
【図１４】エッジ探索処理による車両候補領域の抽出結
果を示す図。
果を示す図。
【図１５】対称領域抽出処理における処理範囲を示す
図。
図。
【図１６】対称領域抽出処理の処理概念を示す摸式図。
【図１７】対称領域抽出処理の動作を示すフローチャー
ト図。
ト図。
【図１８】対称領域抽出処理の動作を示すフローチャー
ト図。
ト図。
【図１９】対称領域抽出処理の処理結果を示す図。
【図２０】対称領域の領域端を求める手法を示す模式
図。
図。
【図２１】対称領域に外接する矩形を求めた結果を示す
図。
図。
【図２２】動的輪郭モデルの初期モデルを示す図。
【図２３】動的輪郭モデルの設定状態を示す図。
【図２４】動的輪郭モデルのエネルギー最小化方法を示
す図。
す図。
【図２５】動的輪郭モデルの手法による輪郭抽出処理の
動作を示すフローチャート図。
動作を示すフローチャート図。
【図２６】輪郭抽出処理による車両輪郭抽出結果を示す
図。
図。
【図２７】図４に示した入力画像から車両の輪郭を抽出
した結果を示す図。
した結果を示す図。
【図２８】図２７に示した輪郭抽出結果の輪郭モデル
図。
図。
【図２９】ステレオ画像の両輪郭モデルの視差算出方法
を示す図。
を示す図。
【図３０】処理結果の表示例を示す図。
１ 画像入力手段 １ａ ビデオカメラ １ｂ ビデオカメラ ２ Ａ／Ｄ変換手段 ３ 画像記憶手段 ４ エッジ抽出手段 ５ 車線領域抽出手段 ６ エッジ投影手段 ７ 対称領域抽出手段 ８ 初期モデル設定手段 ９ 輪郭抽出手段 １０ 車間距離算出手段 １１ 処理結果出力手段
フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｈ０４Ｎ 7/18 Ｃ
Claims (8)
- 【請求項１】 自車両のビデオカメラで撮像した道路画
像から前方車両を認識して、認識した車両と自車両との
車間距離を計測する装置であって、車両に搭載して前方
の道路シーンを撮影するステレオ画像入力手段と、前記
ステレオ画像入力手段から入力したアナログ映像信号を
ディジタル変換するＡ／Ｄ変換手段と、前記Ａ／Ｄ変換
手段によってディジタル化した道路画像を記憶する画像
記憶手段と、前記画像記憶手段に記憶されている道路画
像に微分処理を施してエッジ成分を抽出するエッジ抽出
手段と、前記画像記憶手段に記憶されている道路画像か
ら車線領域を抽出する車線領域抽出手段と、前記車線領
域抽出手段で抽出した車線領域内に散在するエッジ成分
を画像の横軸あるいは縦軸に投影することにより前記画
像記憶手段に記憶されている道路画像から前方車両の存
在候補領域を抽出するエッジ投影手段と、前記エッジ投
影手段によって切り出した前方車両の存在候補領域内で
左右対称領域を抽出することにより前記画像記憶手段に
記憶されている道路画像から前方車両の存在候補領域を
さらに限定する対称領域抽出手段と、前記対称領域抽出
手段によって切り出した前方車両の存在候補領域に対し
て初期輪郭モデルを設定する初期モデル設定手段と、前
記初期モデル設定手段によって設定した初期値に基づい
て前記画像記憶手段に記憶されている道路画像から前方
車両の輪郭を抽出する輪郭抽出手段と、前記輪郭抽出手
段によって抽出した前方車両の輪郭形状に基づいて前方
車両との車間距離を計測する車間距離算出手段と、前記
輪郭抽出手段によって抽出した車両輪郭抽出結果および
前記車間距離算出手段によって計測した車間距離を出力
する処理結果出力手段とを設けた車両認識装置。 - 【請求項２】 車線領域抽出手段を、画像記憶手段に記
憶されている道路画像から自車両の走行している車線領
域を抽出した後、その車線領域が画像下端で示す車線幅
を左右に等倍ずつ引き延ばすことにより、近似的に左右
の隣接車線領域を抽出するよう構成した請求項１記載の
車両認識装置。 - 【請求項３】 エッジ投影手段を、車線領域抽出手段で
抽出した自車両の走行している車線領域内のエッジ成分
を画像の縦軸に投影することにより前方車両候補領域の
下端を抽出した後、車線領域抽出手段で抽出した自車両
の走行している車線領域および隣接車線領域内のエッジ
成分を画像の横軸に投影することにより前方車両候補領
域の左右端を抽出するよう構成した請求項１，請求項２
記載の車両認識装置。 - 【請求項４】 エッジ投影手段を、車線領域内から抽出
したエッジ数の分散値に基づいて車両候補領域の領域端
を抽出するよう構成した請求項３記載の車両認識装置。 - 【請求項５】 対称領域抽出手段を、同一走査線上に存
在する任意のエッジ点間で求めた中点位置を積算してい
くことにより領域全体の対称軸を抽出するよう構成した
請求項１記載の車両認識装置。 - 【請求項６】 初期モデル設定手段を、対称領域抽出手
段で抽出した対称領域の領域幅と高さに基づいて、対称
領域に適応したモデルの形状と大きさを求めるよう構成
した請求項１記載の車両認識装置。 - 【請求項７】 初期モデル設定手段を、対称領域抽出手
段で抽出した対称領域の領域幅と高さに基づいて、対称
領域に適応したモデルの形状と大きさを求め、対称領域
抽出手段で抽出した対称領域の重心位置とモデルの重心
位置とを一致させることにより、対称領域に適応したモ
デルを適切な位置に自動的に設定するよう構成した請求
項１記載の車両認識装置。 - 【請求項８】 車間距離算出手段を、右カメラと左カメ
ラから得られた入力画像の内の一方から抽出した前方車
両の輪郭モデルを基準パターンとし、他方の入力画像か
ら抽出した前方車両の輪郭モデルとの間の視差を求める
ことによって前方車両との車間距離を算出するよう構成
した請求項１記載の車両認識装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP6122899A JPH07334800A (ja) | 1994-06-06 | 1994-06-06 | 車両認識装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP6122899A JPH07334800A (ja) | 1994-06-06 | 1994-06-06 | 車両認識装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH07334800A true JPH07334800A (ja) | 1995-12-22 |
Family
ID=14847381
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP6122899A Pending JPH07334800A (ja) | 1994-06-06 | 1994-06-06 | 車両認識装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH07334800A (ja) |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000331148A (ja) * | 1999-05-19 | 2000-11-30 | Nissan Motor Co Ltd | 障害物検出装置 |
| US6163022A (en) * | 1997-05-20 | 2000-12-19 | Matsushita Electric Industrial Co., Ltd. | Imaging apparatus, distance measurement apparatus and method for measuring distance |
| JP2003062777A (ja) * | 2001-08-22 | 2003-03-05 | Honda Motor Co Ltd | 自律行動ロボット |
| WO2006028180A1 (ja) * | 2004-09-10 | 2006-03-16 | Matsushita Electric Industrial Co., Ltd. | カメラ及びカメラ装置 |
| JP2008503757A (ja) * | 2004-06-22 | 2008-02-07 | サーノフ コーポレーション | ビジュアル・オドメトリのための方法および装置 |
| JP2009037284A (ja) * | 2007-07-31 | 2009-02-19 | Daihatsu Motor Co Ltd | 移動物認識装置 |
| JP2009180662A (ja) * | 2008-01-31 | 2009-08-13 | Konica Minolta Holdings Inc | 距離計測装置 |
| JP2009180661A (ja) * | 2008-01-31 | 2009-08-13 | Konica Minolta Holdings Inc | 距離計測装置及び距離計測方法 |
| JP2009180663A (ja) * | 2008-01-31 | 2009-08-13 | Konica Minolta Holdings Inc | 距離計測装置及び距離計測方法 |
| WO2010113239A1 (ja) | 2009-03-31 | 2010-10-07 | コニカミノルタホールディングス株式会社 | 画像統合装置および画像統合方法 |
| US8310546B2 (en) | 2008-10-09 | 2012-11-13 | Denso Corporation | Image processing apparatus adapted to recognize object in acquired image |
| JP2013251656A (ja) * | 2012-05-31 | 2013-12-12 | Sharp Corp | 画像処理装置 |
| WO2016189777A1 (ja) * | 2015-05-28 | 2016-12-01 | 株式会社Ｊｖｃケンウッド | 路面標示検出装置、障害要素検出装置、車線検出装置、車線検出方法及びプログラム |
| KR20230003060A (ko) * | 2020-04-28 | 2023-01-05 | 로베르트 보쉬 게엠베하 | 동적 교통 시나리오들에서의 교통-법-준수 의사 결정 |
| JP2023054084A (ja) * | 2018-09-27 | 2023-04-13 | 株式会社Subaru | 車両用ステレオカメラ装置 |
| JP2023517105A (ja) * | 2020-03-26 | 2023-04-21 | バイドゥドットコム タイムズ テクノロジー （ベイジン） カンパニー リミテッド | 点群の特徴に基づく障害物濾過システム |
-
1994
- 1994-06-06 JP JP6122899A patent/JPH07334800A/ja active Pending
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6163022A (en) * | 1997-05-20 | 2000-12-19 | Matsushita Electric Industrial Co., Ltd. | Imaging apparatus, distance measurement apparatus and method for measuring distance |
| JP2000331148A (ja) * | 1999-05-19 | 2000-11-30 | Nissan Motor Co Ltd | 障害物検出装置 |
| JP2003062777A (ja) * | 2001-08-22 | 2003-03-05 | Honda Motor Co Ltd | 自律行動ロボット |
| JP2008503757A (ja) * | 2004-06-22 | 2008-02-07 | サーノフ コーポレーション | ビジュアル・オドメトリのための方法および装置 |
| WO2006028180A1 (ja) * | 2004-09-10 | 2006-03-16 | Matsushita Electric Industrial Co., Ltd. | カメラ及びカメラ装置 |
| JP2009037284A (ja) * | 2007-07-31 | 2009-02-19 | Daihatsu Motor Co Ltd | 移動物認識装置 |
| JP2009180663A (ja) * | 2008-01-31 | 2009-08-13 | Konica Minolta Holdings Inc | 距離計測装置及び距離計測方法 |
| JP2009180661A (ja) * | 2008-01-31 | 2009-08-13 | Konica Minolta Holdings Inc | 距離計測装置及び距離計測方法 |
| JP2009180662A (ja) * | 2008-01-31 | 2009-08-13 | Konica Minolta Holdings Inc | 距離計測装置 |
| US8310546B2 (en) | 2008-10-09 | 2012-11-13 | Denso Corporation | Image processing apparatus adapted to recognize object in acquired image |
| WO2010113239A1 (ja) | 2009-03-31 | 2010-10-07 | コニカミノルタホールディングス株式会社 | 画像統合装置および画像統合方法 |
| US9415723B2 (en) | 2009-03-31 | 2016-08-16 | Konica Minolta Holdings, Inc. | Image integration unit and image integration method |
| JP2013251656A (ja) * | 2012-05-31 | 2013-12-12 | Sharp Corp | 画像処理装置 |
| WO2016189777A1 (ja) * | 2015-05-28 | 2016-12-01 | 株式会社Ｊｖｃケンウッド | 路面標示検出装置、障害要素検出装置、車線検出装置、車線検出方法及びプログラム |
| JP2023054084A (ja) * | 2018-09-27 | 2023-04-13 | 株式会社Subaru | 車両用ステレオカメラ装置 |
| JP2023517105A (ja) * | 2020-03-26 | 2023-04-21 | バイドゥドットコム タイムズ テクノロジー （ベイジン） カンパニー リミテッド | 点群の特徴に基づく障害物濾過システム |
| KR20230003060A (ko) * | 2020-04-28 | 2023-01-05 | 로베르트 보쉬 게엠베하 | 동적 교통 시나리오들에서의 교통-법-준수 의사 결정 |
| US11926341B2 (en) | 2020-04-28 | 2024-03-12 | Mercedes-Benz Group AG | Traffic-rule-compliant decision-making in dynamic traffic scenarios |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102772870B1 (ko) | 전자기기 및 제어방법 | |
| JP3426060B2 (ja) | 顔画像処理装置 | |
| US7899211B2 (en) | Object detecting system and object detecting method | |
| EP0626655B1 (en) | Vehicle recognition apparatus | |
| JPH07334800A (ja) | 車両認識装置 | |
| JP6184877B2 (ja) | 車両用外界認識装置 | |
| EP0747870B1 (en) | An object observing method and device with two or more cameras | |
| JP4650079B2 (ja) | 物体検出装置、および方法 | |
| JP4872769B2 (ja) | 路面判別装置および路面判別方法 | |
| WO2019202628A1 (ja) | 路面検出装置、路面検出装置を利用した画像表示装置、路面検出装置を利用した障害物検知装置、路面検出方法、路面検出方法を利用した画像表示方法、および路面検出方法を利用した障害物検知方法 | |
| JP4811201B2 (ja) | 走路境界線検出装置、および走路境界線検出方法 | |
| JP3961584B2 (ja) | 区画線検出装置 | |
| CN108846363A (zh) | 一种基于发散式扫描的分区域车底阴影检测方法 | |
| CN105512641A (zh) | 一种采用激光雷达扫描法标定雨雪状态下视频中的动态行人及车辆的方法 | |
| JP3516118B2 (ja) | 物体認識方法および物体認識装置 | |
| KR101032660B1 (ko) | 장애물체 검출 방법 | |
| JP3465531B2 (ja) | 物体認識方法およびその装置 | |
| JP2007249257A (ja) | 移動体検出装置および移動体検出方法 | |
| JP2862199B2 (ja) | 車両認識装置 | |
| JP4106163B2 (ja) | 障害物検出装置及びその方法 | |
| JP3605955B2 (ja) | 車輌判別装置 | |
| JP5903901B2 (ja) | 車両位置算出装置 | |
| JP3447461B2 (ja) | 移動障害物検出装置及びその方法 | |
| JP6569416B2 (ja) | 画像処理装置、物体認識装置、機器制御システム、画像処理方法及び画像処理プログラム | |
| JP3004158B2 (ja) | 車両認識装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040709 |
|
| A131 | Notification of reasons for refusal |
Effective date: 20040720 Free format text: JAPANESE INTERMEDIATE CODE: A131 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040917 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050419 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20050823 |