JPH07160846A

JPH07160846A - 前方物体認識装置

Info

Publication number: JPH07160846A
Application number: JP5305637A
Authority: JP
Inventors: Hisashi Satonaka; 久志里中
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 1993-12-06
Filing date: 1993-12-06
Publication date: 1995-06-23

Abstract

(57)【要約】【目的】本発明は画像センサによって撮像した画像内
に前方物体と推定されるエッジが存在するかを基準に前
方物体の有無を判断する前方物体認識装置に関し、エッ
ジの鮮明度より検出したエッジの信頼度を検出すること
を目的とする。【構成】車両前方をカメラで撮像する（図４
（Ａ））。撮像画像内で先行車両のエッジと推定される
エッジ点（同図中、・）を特定する。水平方向にエッジ
点を計数して度数分布を形成し（同図（Ｂ））、ピーク
度数ＩＹ_Pを求める。垂直方向にエッジ点を計数してピ
ーク点Ｘ_PL，Ｘ_PRを求める。水平方向エッジの長さとＩ
Ｙ_Pより信頼度Ｒｅ＝ＩＹ_P／（Ｘ_PR−Ｘ_PL＋１）を求
める。Ｒｅはエッジ内におけるエッジ点の密度、すなわ
ちエッジの鮮明度に相当し、検出したエッジが先行車両
であることについての信頼度として把握できる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、前方物体認識装置に係
り、特に画像センサによって前方領域を撮像して得られ
た撮像画像内に、前方物体のエッジと推定されるエッジ
が存在するか否かを基準に前方物体の有無を判断する前
方物体認識装置に関する。

【０００２】

【従来の技術】従来より、画像センサを用いて前方物体
の有無を判定する装置が知られている。例えば特開昭６
３−９８１３号公報は、車両前方をカメラで撮像し、得
られた撮像画像内に車両の幅と同等の水平方向エッジが
検出されているか否かを基準に前方物体たる先行車の有
無を判定する装置を開示している。

【０００３】車両において先行車との関係が問題となる
のは、車間距離が適当な距離に保たれている場合であ
り、かかる状況で先行車を撮像した場合、撮像画像内に
おける先行車両の幅は適当な範囲内に納まるはずであ
り、従って、撮像画像内に適当な長さの水平方向エッジ
が検出できれ先行車が存在し、なければ先行車は存在し
ないと推定することができることに鑑みたものである。

【０００４】

【発明が解決しようとする課題】しかし、カメラによる
撮像画像の様相は、周囲の明るさ等によって大きく変化
する。従って、かかる撮像画像を基に実行するエッジ検
出の精度も、車両の置かれる環境により一定ではない。
特に前方物体として車両を想定する上記従来の装置にお
いては、昼間は主に車体の外形がエッジ検出の対象とな
るのに対して、夜間は主にテールランプがエッジ検出の
対象となり、検出の対象までが変化する。

【０００５】このため、上記従来の装置は、予め想定し
た環境下においては有効に機能するものの、環境が変化
することにより撮像画像の明るさ、鮮明度等が変化する
と、前方物体の有無を誤検出する場合があり実用上信頼
性に欠けるという問題があった。

【０００６】この場合、エッジ検出に先立って撮像画像
の明度を平均化する処理を施すことで検出精度の向上を
図ることは可能であるが、かかる処理を施すには、ソフ
トウェア上複雑な構成を必要とすると共に、画像明度の
平均化に長期を要することから迅速な処理が実現できな
いという弊害が生ずることになり好ましくない。

【０００７】本発明は、上述の点に鑑みてなされたもの
であり、前方物体のエッジと推定されるエッジの幅と、
撮像画像内においてエッジ幅の中で現実にエッジ点とし
て検出された点との比に基づいて撮像画像の信頼度を演
算することで上記の課題を解決する前方物体認識装置を
提供することを目的とする。

【０００８】

【課題を解決するための手段】図１は、上記の目的を達
成する前方物体認識装置の原理構成図を示す。すなわち
上記の目的は、図１に示すように、前方物体を撮像する
画像センサＭ１と、該画像センサＭ２が撮像した画像内
において、前方物体のエッジと推定される所定方向エッ
ジを検出するエッジ検出手段Ｍ２と、検出された該所定
方向エッジ内で、現実にエッジ点として検出された画素
数Ｏを計数するエッジ点計数手段Ｍ３と、実質的に前記
所定方向エッジの長さを検出するエッジ長検出手段Ｍ４
と、該エッジ長検出手段Ｍ４が検出した前記所定方向エ
ッジの長さと、前記エッジ点計数手段Ｍ３が計数したエ
ッジ点との比に基づいて、前記所定方向エッジが前方物
体のエッジであることに対する信頼度を演算する信頼度
演算手段Ｍ５とを備える前方物体認識装置により達成さ
れる。

【０００９】また、上記構成の前方物体認識装置におい
て、前記画像センサＭ１が撮像した画像の明るさを検出
する明度検出手段Ｍ６と、該明度検出手段Ｍ６の検出結
果に基づいて前記信頼度演算手段Ｍ５の演算結果を補正
する信頼度補正手段Ｍ６とを備える前方物体認識装置も
有効である。

【００１０】

【作用】本発明に係る前方物体認識装置において前記画
像センサＭ１は、所定の監視領域を撮像する。従って、
監視領域内に前方物体が存在すると、前記画像センサＭ
１により背景と共に前方物体が撮像される。

【００１１】前記エッジ検出手段Ｍ２は、撮像画像内で
前方物体のエッジに相当すると推定される画素をエッジ
点として検出し、所定方向に並んで検出されたエッジ点
を結ぶことで所定方向エッジを検出する。

【００１２】そして、前記エッジ点計数手段Ｍ３は、こ
のようにして検出された所定方向エッジ内において実際
にエッジ点として検出された点を計数する。この場合、
前方物体のエッジが鮮明に撮像されているほど前記エッ
ジ点計数手段Ｍ３では単位長当たりに多くのエッジ点が
計数される。

【００１３】一方、前記エッジ長検出手段Ｍ４は、前記
所定方向エッジの長さを検出する。また、前記信頼度演
算手段Ｍ５は、前記エッジ点計数手段Ｍ３の検出結果と
前記エッジ長検出手段Ｍ４との比を取ることで、所定方
向エッジ内における単位長当たりのエッジ点の演算を行
う。

【００１４】この意味で、前記信頼度演算手段Ｍ５の演
算結果は、前記画像センサＭ１によって撮像された画像
内における所定方向エッジの鮮明度に応じた値となり、
その値が大きいほど前方物体が撮像されている可能性が
高いことになる。

【００１５】また、前記明度検出手段Ｍ６は、撮像画像
の明るさを基に、当該前方物体認識装置の置かれている
環境の明度を検出する。そして、前記信頼度補正手段Ｍ
７は、撮像される所定方向エッジ内におけるエッジ点の
密度が、撮像時の明るさに応じて変化することに鑑み、
その影響を排除すべく前記信頼度演算手段Ｍ５の演算結
果に補正を施す。

【００１６】

【実施例】図２は、本発明の一実施例である前方物体認
識装置１０のブロック構成図を示す。ここで、本実施例
の前方物体認識装置１０は、車両に搭載して車両前方を
走行中の先行車両等を認識するための装置である。

【００１７】図２においてカメラ１２は、前記した画像
センサＭ１に相当し、車両前方を監視領域として撮像を
行う。画像処理ＥＣＵ１４は、中央処理装置（ＣＰＵ）
１６を中心に構成され、前記したエッジ検出手段Ｍ２，
エッジ点計数手段Ｍ３，エッジ長検出手段Ｍ４，信頼度
演算手段Ｍ５，明度検出手段Ｍ６，信頼度補正手段Ｍ７
を実現する本実施例の要部である。

【００１８】画像処理ＥＣＵ１４は、カメラ１２から供
給されるアナログ信号をディジタル信号に変換するＡ／
Ｄ変換器１８、ランダムアクセスメモリ（ＲＡＭ）２
０、リードオンリメモリ（ＲＯＭ）２２とＣＰＵ１６と
を共通バス２４で接続して構成され、ＣＰＵ１６がＲＯ
Ｍ２２内に格納されている後述のプログラムを実行する
ことで上記の機能を実現する。

【００１９】図３は、画像処理ＥＣＵ１４が本発明に係
る前方物体認識装置を実現すべく実行する制御ルーチン
の一例のフローチャートを示す。

【００２０】同図に示すルーチンが起動すると、先ずス
テップ１００においてカメラ１２から画像を入力する処
理を行う。本実施例の前方物体認識装置１０は、上記し
たように車載用であり、撮像画像には図４（Ａ）に示す
ように路面３０、及び存在する場合には前方物体たる先
行車が撮像される。

【００２１】この場合、撮像画像内に先行車両の存在を
認識する手法としては、画像内に先行車両と背景との境
界と推定されるエッジを検出する手法が公知である。す
なわち、撮像画像内に先行車両が撮像されていれば、必
然的に先行車両と背景との間に境界線が生じ、先行車両
の車体側と背景側とで輝度差が生ずる。

【００２２】従って、撮像画像を垂直方向、或いは水平
方向に走査して、輝度が急変する画素をエッジ点として
検出すれば、図４（Ａ）に示すように先行車両の輪郭を
なぞらえるように複数のエッジ点が検出されるはずであ
り、先行車両の輪郭と推定し得るエッジ点が検出される
か否かを判断すれば、それにより先行車両の存在を判断
することが可能である。

【００２３】かかる観点より、本実施例においては上記
ステップ１００の後、ステップ１０２において、撮像画
像中におけるエッジ点の検出を行い、検出されたエッジ
点の集合として垂直方向、及び水平方向のエッジを特定
する処理を行う。この意味で、本ステップ１０２は、前
記したエッジ検出手段Ｍ２に相当する。

【００２４】ところで、図４（Ａ）中に示すエッジ点
（図中、・で示す点）は、先行車両の下端及び両側端が
エッジとして検出された例を示している。この場合、先
行車両と自車との間に適当な車間距離が保たれているこ
とを前提とすると、これらのエッジはほぼ直線と見做す
ことができ、撮像画像中に同図に示す如く（Ｘ，Ｙ）座
標を設定した場合、先行車両下端を表すエッジを構成す
るエッジ点のＹ座標値は特定値Ｙ_P付近に、先行車両の
左右端を表すエッジを構成するエッジ点のＸ座標値は、
特定値Ｘ_PL，Ｘ_PR付近にそれぞれ集中する。

【００２５】従って、撮像画像中に先行車両が撮像され
ている場合、水平方向にエッジ点を計数して度数分布を
作成すると、図４（Ｂ）に示すようにＹ_Pをピークとす
る度数分布が形成され、また垂直方向にエッジ点を計数
して度数分布を作成すると、４（Ｃ）に示しように
Ｘ_PL，Ｘ_PRをピークとする度数分布が形成されることに
なる。

【００２６】この際、これら各エッジを構成するエッジ
点は、エッジが鮮明に撮像されているほど高密度に検出
されるはずであり、従って、このエッジが鮮明に撮像さ
れているほど上記した度数分布のピーク値ＩＹ_P、ＩＸ
_Pは大きな値となるはずである。言い換えれば、これら
ＩＹ_P，ＩＸ_Pの値が大きいほど、撮像されたエッジが
鮮明であることになる。

【００２７】この場合、撮像されたエッジの鮮明度は、
そのエッジが先行車両の車体外形を表すものであること
に対する信頼度を表しており、鮮明度が高いほど先行車
両である可能性が高く、鮮明度が低いほど何らかのノイ
ズによる可能性が高いと判断できる。そして、かかる判
断が可能となれば、カメラ１２の監視領域内に先行車両
が存在するか否かを高い精度で判断することが可能とな
る。

【００２８】そこで、本実施例においては、上記ステッ
プ１０２においてエッジ検出を終了したら、ステップ１
０４〜１１２において、水平方向エッジの鮮明度に相当
する信頼度Ｒｅを算出する処理を行い、その信頼度Ｒｅ
に基づいて前方物体の存在を判定する構成を採用した。

【００２９】すなわちステップ１０４では、上記図４
（Ｂ）に示す如き水平方向の度数分布を作成すべく、検
出したエッジ点の横方向への積分を行う。次いでステッ
プ１０６では、度数分布中ピーク点Ｙ_Pにおける度数Ｉ
Ｙ_Pを検出する。そして、ステップ１０８で上記図４
（Ｃ）に示す如き垂直方向の度数分布を作成すべく、検
出したエッジ点の縦方向への積分を行い、ステップ１１
０で縦方向度数分布のピーク点Ｘ_PL，Ｘ_PRの検出を行
う。

【００３０】この場合、上記ステップ１０６で検出した
ＩＹ_Pは、エッジ内におけるエッジ点の数であり、ま
た、上記ステップ１１０で検出したＸ_PL，Ｘ_PRは、エッ
ジの両端を表す座標であり、両者の間隔はエッジの長さ
に相当する。この意味で、上記ステップ１０６は前記し
たエッジ点計数手段Ｍ３を、ステップ１０８、１１０は
前記したエッジ長検出手段Ｍ４に相当することになる。

【００３１】ステップ１１２は、前記した信頼度演算手
段Ｍ５を実現ステップであり、上記ステップ１０８、１
１０で検出したＩＹ_P、及びＸ_PL，Ｘ_PRを用いて以下の
如く信頼度Ｒｅの演算を行う。

【００３２】Ｒｅ＝ＩＹ_P／（Ｘ_PR−Ｘ_PL＋１）・・・（１）ここで、本実施例においては、撮像画像の画素位置をそ
のまま座標値として用いることとしている。従って、上
記（１）式中“Ｘ_PR−Ｘ_PL＋１”は、水平方向エッジの
長さに対応し、Ｙ＝Ｙ_Pの位置でＸ_PL〜Ｘ_PRにおける全
ての画素がエッジ点として検出されているとすれば、上
記Ｒｅは“１．０”となるはずである。

【００３３】つまり、上記信頼度Ｒｅは、“１．０”を
上限として、水平方向エッジ内におけるエッジ点密度が
低下するに従ってその値を低下させる特性値である。
尚、本実施例においては、上記ステップ１１２が前記し
た信頼度演算手段Ｍ５に相当することになる。

【００３４】尚、本ルーチンにおいては、一般に車両形
状は車幅が車高に勝ること等の理由により、水平方向エ
ッジを用いて信頼度Ｒｅを演算する構成を採用している
が、これに限るものではなく、垂直方向エッジの長さ、
及びその中におけるエッジ点の数に基づいて信頼度Ｒｅ
を演算する構成としてもよい。

【００３５】ところで、図５は、代表的な環境例として
昼間（図５中、実線で示す曲線）及び夜間（図５中、破
線で示す曲線）を想定して、先行車両との距離Ｌとの関
係で信頼度Ｒｅを演算した結果を信頼度曲線として示し
たものである。

【００３６】この場合、個々の環境に対応する信頼度曲
線を越える領域においては、自車の前方に先行車が存在
する可能性が高く、また信頼度曲線に満たない領域にお
いては、先行車両が存在しない可能性が高いはずであ
る。従って、予め図５に示す信頼度曲線を特性マップと
して記憶しておけば、実測した信頼度Ｒｅを同マップに
照らし合わせることにより、先行車の存在を精度良く判
断することが可能である。

【００３７】この際、図５に示す信頼度曲線は、信頼度
Ｒｅが、先行車両との距離Ｌの関数であることを表して
いる。この現象は、検出精度との関係で車間距離が１０
０ｍを越ええる領域では距離が伸びるに従って信頼度Ｒ
ｅが低下する一方、車間距離が５０ｍに満たない領域に
おいては、先行車両のエッジが撮像画像中で直線と見做
せなくなるためと考えられる。

【００３８】また、図５に示す信頼度曲線は、信頼度Ｒ
ｅが距離Ｌの他、外部環境の明るさの影響を受けること
も表している。この現象は、昼間は主に先行車の車体外
形がエッジとして撮像されるのに対して、夜間は主に先
行車の尾灯がエッジとして撮像されることとなり、必然
的に水平方向エッジに対するエッジ点密度が低下するた
めと考えられる。

【００３９】従って、実測した信頼度Ｒｅを図５に示す
如き特性マップに照らし合わせるためには、信頼度Ｒｅ
の他、自車と先行車両との距離Ｌを実測する必要がある
と共に、外部環境が昼間か夜間かの区別を行う必要があ
る。

【００４０】このため、本ルーチンにおいては、上記ス
テップ１１２において信頼度Ｒｅの演算を終えたら、ス
テップ１１４へ進んで車間距離Ｌの算出を行う。車間距
離Ｌの算出については、カメラ１２の撮像画像を処理す
る公知の手法で実行することができる。本実施例におい
ては、カメラ１２の仰角、及び先行車両の下端部の地上
高がほぼ一定であることを前提として、上記ステップ１
０６で求めたＹ_Pより車間距離Ｌを演算することとして
いる。

【００４１】このようにして車間距離Ｌの算出を終えた
ら、ステップ１１６へ進んで入力画像の明るさＩＭＢの
演算を行う。信頼度Ｒｅに影響を与える外部環境の明る
さは、撮像画像の明るさに反映されるはずであり、撮像
画像中の適当な領域における明度を検出すれば、外部の
明るさの代用特性値として把握することが可能だからで
ある。この意味で、本ステップ１１６は前記した明度検
出手段Ｍ６に相当する。

【００４２】尚、この場合、明度を検出すべく抽出する
領域としては、図６（Ａ）に示す如く先行車両が存在す
るとすればその全体が含まれるであろう撮像画像中央の
領域、又は図６（Ｂ）に示す如く先行車両の有無に関わ
らずその影響を受けない撮像画像上下の領域が適当であ
る。

【００４３】上記ステップ１１６において明るさＩＭＢ
の演算を終えたら、ステップ１１８においてＩＭＢが所
定の判定値Ｃより大きいかを判別する。この判定値Ｃ
は、昼間と夜間とを区別するための判定値であり、車両
の特性に応じて実験的に設定した値である。

【００４４】そして、ＩＭＢ＞Ｃが成立する、すなわち
外部環境が十分に明るいと判別された場合は、現在は昼
間であると判断してステップ１２０へ進む。このステッ
プ１２０は、昼間を想定して設定した特性マップ（上記
図５中、実線で示す曲線）を実測車間距離Ｌで検索して
特定した判定値ｇｄ（Ｌ）と、実測した信頼度Ｒｅとを
比較するステップである。

【００４５】一方、上記ステップ１１８においてＩＭＢ
＞Ｃが不成立であると判別された場合は、現在は夜間で
あると判断してステップ１２２へ進む。このステップ１
２２は、夜間を想定して設定した特性マップ（上記図５
中、破線で示す曲線）を実測車間距離Ｌで検索して特定
した判定値ｇｎ（Ｌ）と、実測した信頼度Ｒｅとを比較
するステップである。

【００４６】上記ステップ１２０においてＲｅ＞ｇｄ
（Ｌ）が成立すると判別された場合、又はステップ１２
２においてＲｅ＞ｇｎ（Ｌ）が成立すると判別された場
合は、共にステップ１２４へ進んで車両有りとする判断
を下し、また上記条件が不成立と判別された場合はステ
ップ１２６へ進んで車両なしと判断を下す。

【００４７】この場合、上記ステップ１１８〜１２２
は、実質的には信頼度Ｒｅが先行車両の存在を裏付ける
度合いを補正しており、この意味で前記した信頼度補正
手段Ｍ７に相当することになる。

【００４８】尚、本実施例においては、上記ステップ１
２４において先行車両の存在が認識された場合に限り、
ステップ１２８へ進んで警報・自動ブレーキについての
サブルーチンを実行し、先行車両との車間距離Ｌが不当
に短いことが検出された場合等においては、運転者に対
する警報、自動ブレーキの作動等の処理を行うこととし
ている。

【００４９】このように、本実施例の前方物体認識装置
１０によれば、外部環境の明るさ、先行車両との距離Ｌ
等に基づいて、先行車両が存在するとした場合に本来検
出されるべき鮮明さで水平方向エッジが検出された場合
に限って車両の存在が検出される。このため、環境の変
化、車間距離Ｌの変化等に起因して撮像画像内における
エッジの検出精度が変動するにも関わらず、その変動を
相殺した状態で、常に高い精度で先行車両の存在を認識
することができる。

【００５０】ところで、本実施例の前方物体認識装置１
０は、水平方向エッジの鮮明度に相当する信頼度Ｒｅを
演算し、その値に基づいて先行車両の存在を判断するこ
とで誤検出を防止する構成と、その判断に外部環境の明
るさを反映させる構成とを共に実現しているが、これに
限るものではなく、何れか一方のみを採用する場合にも
有効に機能するものである。

【００５１】

【発明の効果】上述の如く、請求項１記載の発明によれ
ば、画像センサによって撮像された画像内における所定
方向エッジ内におけるエッジ点密度を演算することによ
り、当該所定方向エッジの鮮明度に相当する特性値を信
頼度として演算することができる。

【００５２】この場合、信頼度が高いほど、すなわちエ
ッジが鮮明であるほど現実に前方物体が存在する可能性
が高く、一方、信頼度が低い場合には前方物体が存在す
る可能性が低いと判断することができ、かかる可能性を
反映させて誤検出のない前方物体認識処理を実現するこ
とが可能となる。

【００５３】また、請求項２記載の発明によれば、当該
前方物体認識装置の置かれる環境の明るさに応じて前方
物体の認識結果に関する信頼度を補正することができ
る。この場合、補正後の信頼度には、環境の明るさを反
映させることができることから、環境の明るさをも考慮
したうえで前方物体の有無を判断することが可能とな
る。従って、本発明に係る前方物体認識装置によれば、
上記請求項１記載の発明に比べて、更に広い環境下で有
効な認識処理を行うことができるという特長を有してい
る。

【図面の簡単な説明】

【図１】本発明に係る前方物体認識装置の原理構成図で
ある。

【図２】本発明の一実施例である前方物体認識装置のブ
ロック構成図である。

【図３】画像処理ＥＣＵが実行する制御ルーチンの一例
のフローチャートである。

【図４】本実施例の前方物体認識装置による前方物体認
識手法を説明するための図である。

【図５】本実施例の前方物体認識装置で用いる特性マッ
プの一例である。

【図６】撮像画像から明るさを検出する際に抽出するの
に好適な領域を表す図である。

【符号の説明】

Ｍ１画像センサＭ２エッジ検出手段Ｍ３エッジ点計数手段Ｍ４エッジ長検出手段Ｍ５信頼度演算手段Ｍ６明度検出手段Ｍ７信頼度補正手段１０前方物体認識装置１２カメラ１４画像処理ＥＣＵ１６中央処理装置（ＣＰＵ）１８Ａ／Ｄ変換器２０ランダムアクセスメモリ（ＲＡＭ）２２リードオンリメモリ（ＲＯＭ）

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号庁内整理番号ＦＩ技術表示箇所Ｇ０６Ｔ 9/20

Claims

【特許請求の範囲】

【請求項１】前方物体を撮像する画像センサと、該画像センサが撮像した画像内において、前方物体のエ
ッジと推定される所定方向エッジを検出するエッジ検出
手段と、検出された該所定方向エッジ内で、現実にエッジ点とし
て検出された画素数を計数するエッジ点計数手段と、実質的に前記所定方向エッジの長さを検出するエッジ長
検出手段と、該エッジ長検出手段が検出した前記所定方向エッジの長
さと、前記エッジ点計数手段が計数したエッジ点との比
に基づいて、前記所定方向エッジが前方物体のエッジで
あることに対する信頼度を演算する信頼度演算手段とを
備えることを特徴とする前方物体認識装置。
【請求項２】請求項１記載の前方物体認識装置におい
て、前記画像センサが撮像した画像の明るさを検出する明度
検出手段と、該明度検出手段の検出結果に基づいて前記信頼度演算手
段の演算結果を補正する信頼度補正手段とを備えること
を特徴とする前方物体認識装置。