JPH07220194A - 道路環境認識装置 - Google Patents
道路環境認識装置Info
- Publication number
- JPH07220194A JPH07220194A JP1387494A JP1387494A JPH07220194A JP H07220194 A JPH07220194 A JP H07220194A JP 1387494 A JP1387494 A JP 1387494A JP 1387494 A JP1387494 A JP 1387494A JP H07220194 A JPH07220194 A JP H07220194A
- Authority
- JP
- Japan
- Prior art keywords
- line
- vehicle
- image
- extracted
- rectangle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Instructional Devices (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
Abstract
(57)【要約】
【目的】本発明は車両の自立走行制御を行うための道路
環境認識装置に関し、道路上に影や標識文字、前方車両
が存在しても正確に標識線の位置を認識し、また複数の
前方車両が存在しても別々に認識し得る装置の提供を目
的とする。 【構成】標識線を認識するために、車両前方に取り付け
られた撮像手段により得られる前方画像からエッジ（物
体の輪郭）のみを抽出して、画像上で自車の左又は右斜
めにあってある程度連続して現れるエッジを自車レーン
の左（又は右）標識線と認識する。また、前方車両の位
置を識別するために、進行方向前方の撮像手段を複数設
けて、各々の画像上で抽出された矩形のうち略同一の図
形的特徴を有する矩形を対応付け、この矩形を前方車両
として認識する。また対応付けされた矩形について複数
の画像の間の位置のずれ（視差）から三角測量の原理を
用いて距離を算出する。
環境認識装置に関し、道路上に影や標識文字、前方車両
が存在しても正確に標識線の位置を認識し、また複数の
前方車両が存在しても別々に認識し得る装置の提供を目
的とする。 【構成】標識線を認識するために、車両前方に取り付け
られた撮像手段により得られる前方画像からエッジ（物
体の輪郭）のみを抽出して、画像上で自車の左又は右斜
めにあってある程度連続して現れるエッジを自車レーン
の左（又は右）標識線と認識する。また、前方車両の位
置を識別するために、進行方向前方の撮像手段を複数設
けて、各々の画像上で抽出された矩形のうち略同一の図
形的特徴を有する矩形を対応付け、この矩形を前方車両
として認識する。また対応付けされた矩形について複数
の画像の間の位置のずれ（視差）から三角測量の原理を
用いて距離を算出する。
Description
【０００１】
【産業上の利用分野】本発明は，道路環境を認識する画
像処理システムを有する道路環境認識装置に関するもの
であり、より具体的には、自律走行をする車両において
車両の前方に設置し車両の進行方向前方を捉えたＴＶカ
メラからの画像より，道路面上に設けられている標識線
を自車の近傍領域から遠方領域まで認識し，同時に自車
前方を走行している車両・障害物を認識することができ
る道路環境認識装置に関する。
像処理システムを有する道路環境認識装置に関するもの
であり、より具体的には、自律走行をする車両において
車両の前方に設置し車両の進行方向前方を捉えたＴＶカ
メラからの画像より，道路面上に設けられている標識線
を自車の近傍領域から遠方領域まで認識し，同時に自車
前方を走行している車両・障害物を認識することができ
る道路環境認識装置に関する。
【０００２】
【従来の技術】近年、画像処理部分により道路環境を認
識し、この認識結果に基づいて車両の自立走行の制御を
行う自立走行制御装置が開発されつつある。この自立走
行制御装置は、走行車線内を走っている車両に搭載され
るものであり，例えば自車がレーンを逸脱していたら運
転手に自動的に警告したり，またその情報を元に自動車
を制御するといったことを実現するものである。このよ
うな装置を実現することは運転者の運転に関する負担を
軽減させることができ，事故を未然に防ぐことができる
ようになるので極めて重要である。
識し、この認識結果に基づいて車両の自立走行の制御を
行う自立走行制御装置が開発されつつある。この自立走
行制御装置は、走行車線内を走っている車両に搭載され
るものであり，例えば自車がレーンを逸脱していたら運
転手に自動的に警告したり，またその情報を元に自動車
を制御するといったことを実現するものである。このよ
うな装置を実現することは運転者の運転に関する負担を
軽減させることができ，事故を未然に防ぐことができる
ようになるので極めて重要である。
【０００３】より具体的に言えば、車両の前方に設置し
車両の進行方向前方を捉えたＴＶカメラからの画像よ
り，道路面上に設けられている標識線を自車の近傍領域
から遠方領域まで認識し，同時に自車前方を走行してい
る車両・障害物を認識し、定常走行状態では左側に見え
ている白線等の標識線をガイドラインとしてそれに沿っ
て走行し，自車前方を走行している他車との距離を算出
して前方車と追突しないように自車を操舵するようにす
るものである。
車両の進行方向前方を捉えたＴＶカメラからの画像よ
り，道路面上に設けられている標識線を自車の近傍領域
から遠方領域まで認識し，同時に自車前方を走行してい
る車両・障害物を認識し、定常走行状態では左側に見え
ている白線等の標識線をガイドラインとしてそれに沿っ
て走行し，自車前方を走行している他車との距離を算出
して前方車と追突しないように自車を操舵するようにす
るものである。
【０００４】このように自車前方を捉えた画像から画像
処理技術を用いて自車走行レーンを認識し，同時に自車
前方を走行している他車を認識するシステムとして、本
願出願人は先に『道路環境認識装置』（特願平５−１５
５１３８号）を出願した。この特願平５─１５５１３８
号は、画像中に存在する正負の垂直エッジを抽出し，白
線幅やエッジの連続性を用いて抽出した正負エッジが白
線のエッジであるかを検証しながら，主に垂直方向に延
びている正負一対の垂直エッジを標識線候補として抽出
することにより標識線認識を行っていた。また，前方車
認識では，白線認識の結果抽出された自車レーン内で，
水平エッジが多く現れる領域を一台の前方車として抽出
していた。
処理技術を用いて自車走行レーンを認識し，同時に自車
前方を走行している他車を認識するシステムとして、本
願出願人は先に『道路環境認識装置』（特願平５−１５
５１３８号）を出願した。この特願平５─１５５１３８
号は、画像中に存在する正負の垂直エッジを抽出し，白
線幅やエッジの連続性を用いて抽出した正負エッジが白
線のエッジであるかを検証しながら，主に垂直方向に延
びている正負一対の垂直エッジを標識線候補として抽出
することにより標識線認識を行っていた。また，前方車
認識では，白線認識の結果抽出された自車レーン内で，
水平エッジが多く現れる領域を一台の前方車として抽出
していた。
【０００５】上記先願以外の標識線認識方法としては、
例えば『自律走行車両方向制御装置』（特開平３─２２
５５１３号）があり、該特許出願の公開公報には画像に
おいて自車より遠方領域の標識線の認識結果を利用して
中間領域や自車に近い領域の白線の探索を行うことが開
示されている。
例えば『自律走行車両方向制御装置』（特開平３─２２
５５１３号）があり、該特許出願の公開公報には画像に
おいて自車より遠方領域の標識線の認識結果を利用して
中間領域や自車に近い領域の白線の探索を行うことが開
示されている。
【０００６】
【発明が解決しようとする課題】しかし上記の公知例に
はそれぞれ以下のような問題点がある。まず特願平５−
１５５１３８号での標識線認識では，白線幅やエッジの
連続性といった局所的な性質を利用して，抽出した正負
エッジが白線のエッジであるかを検証しながら、垂直に
延びている正負一対の垂直エッジを白線候補としている
ため，例えば分岐路において白線が滑らかに本線とは別
方向に延びる場合に誤認識する可能性があった。また，
同従来例の前方車認識では，自車レーン内で水平エッジ
が多く現れる領域を一台の前方車として抽出していたた
め，例えば自車直前を走行している前方車Ａがレーン内
の左側を走行し，Ａの前を走行している車Ｂがレーンの
右側を走行しているような場合には，撮像された画像上
でＡとＢは重なり合って写っており，このように場合に
は一台の大きな前方車が存在すると誤認識を起こす可能
性があった。
はそれぞれ以下のような問題点がある。まず特願平５−
１５５１３８号での標識線認識では，白線幅やエッジの
連続性といった局所的な性質を利用して，抽出した正負
エッジが白線のエッジであるかを検証しながら、垂直に
延びている正負一対の垂直エッジを白線候補としている
ため，例えば分岐路において白線が滑らかに本線とは別
方向に延びる場合に誤認識する可能性があった。また，
同従来例の前方車認識では，自車レーン内で水平エッジ
が多く現れる領域を一台の前方車として抽出していたた
め，例えば自車直前を走行している前方車Ａがレーン内
の左側を走行し，Ａの前を走行している車Ｂがレーンの
右側を走行しているような場合には，撮像された画像上
でＡとＢは重なり合って写っており，このように場合に
は一台の大きな前方車が存在すると誤認識を起こす可能
性があった。
【０００７】また、特開平３─２２５５１３号では，遠
方領域の白線の認識結果を利用して中間領域や自車に近
い領域の白線の探索を行っているが，遠方の認識では解
像度が十分でないため，誤差を生じる可能性が多かっ
た。本願発明はこのような課題を解消するためになされ
たものであって、影や路上の標識文字、前方車両が存在
しても容易かつ正確に標識線の位置を認識することと、
２台以上の前方車両が画像上で重なっていても別々に認
識することができる道路環境認識装置の提供を目的とす
る。
方領域の白線の認識結果を利用して中間領域や自車に近
い領域の白線の探索を行っているが，遠方の認識では解
像度が十分でないため，誤差を生じる可能性が多かっ
た。本願発明はこのような課題を解消するためになされ
たものであって、影や路上の標識文字、前方車両が存在
しても容易かつ正確に標識線の位置を認識することと、
２台以上の前方車両が画像上で重なっていても別々に認
識することができる道路環境認識装置の提供を目的とす
る。
【０００８】
【課題を解決するための手段】本発明の道路環境認識装
置では、標識線の位置を認識するために、撮像手段より
得られる前方画像から物体の輪郭のみを抽出したエッジ
画像を作成し，画像上で自車の左斜め（または右斜め）
前方を撮像した領域において，ある程度連続して現れる
エッジを抽出し，それを画像上で遠方へ延長していき，
自車レーンの左標識線（または右標識線）として認識す
る。
置では、標識線の位置を認識するために、撮像手段より
得られる前方画像から物体の輪郭のみを抽出したエッジ
画像を作成し，画像上で自車の左斜め（または右斜め）
前方を撮像した領域において，ある程度連続して現れる
エッジを抽出し，それを画像上で遠方へ延長していき，
自車レーンの左標識線（または右標識線）として認識す
る。
【０００９】また認識を行うのに先立ち、撮像手段（カ
メラ等）に固有のパラメータ（俯角，画角，解像度等）
と、通行している道路に関する知識情報（曲率等）に基
づいてとり得る無限遠点の範囲を算出しておき、前記延
長線がこの範囲を通らない場合には、誤認識したものと
判断する。さらに，道路の走行レーン幅と撮像手段（カ
メラ等）に固有のパラメータ（俯角，画角，解像度等）
から計算される無限遠点に関する知識を利用して，左標
識線（または右標識線）を延長した無限遠点から自車走
行レーンの右標識線（または左標識線）を推定するよう
に構成した。
メラ等）に固有のパラメータ（俯角，画角，解像度等）
と、通行している道路に関する知識情報（曲率等）に基
づいてとり得る無限遠点の範囲を算出しておき、前記延
長線がこの範囲を通らない場合には、誤認識したものと
判断する。さらに，道路の走行レーン幅と撮像手段（カ
メラ等）に固有のパラメータ（俯角，画角，解像度等）
から計算される無限遠点に関する知識を利用して，左標
識線（または右標識線）を延長した無限遠点から自車走
行レーンの右標識線（または左標識線）を推定するよう
に構成した。
【００１０】また、本発明の道路環境認識装置は、前方
車両の位置を認識するために、進行方向前方を撮像する
撮像手段を複数備えて、該複数の撮像手段から得られる
複数の前方画像から，前記一対の撮像装置から得られた
各々の画像上で抽出された矩形において，同じ面積・水
平・垂直線の長さなどの図形的特徴を有する矩形を，同
一の物体を撮像した結果得られた矩形であるとして，矩
形同士の対応付けを行うことにより、前方車両の位置を
認識するようにし、更に対応付けされた矩形の画像上で
の位置のずれ（視差）から三角測量の原理を用いること
により前方にある対象物までの距離を算出するように構
成した。
車両の位置を認識するために、進行方向前方を撮像する
撮像手段を複数備えて、該複数の撮像手段から得られる
複数の前方画像から，前記一対の撮像装置から得られた
各々の画像上で抽出された矩形において，同じ面積・水
平・垂直線の長さなどの図形的特徴を有する矩形を，同
一の物体を撮像した結果得られた矩形であるとして，矩
形同士の対応付けを行うことにより、前方車両の位置を
認識するようにし、更に対応付けされた矩形の画像上で
の位置のずれ（視差）から三角測量の原理を用いること
により前方にある対象物までの距離を算出するように構
成した。
【００１１】前記の矩形抽出の処理は、自車レーン内に
おける水平・垂直エッジを別々に抽出し，各々の投影を
算出して投影累算値がある程度以上存在する水平・垂直
ラインを，画像中に水平あるいは垂直エッジが存在する
ラインの候補として残し，そのライン上にある水平・垂
直エッジによって矩形が構成された場合に，その部分を
矩形として抽出するようにした。
おける水平・垂直エッジを別々に抽出し，各々の投影を
算出して投影累算値がある程度以上存在する水平・垂直
ラインを，画像中に水平あるいは垂直エッジが存在する
ラインの候補として残し，そのライン上にある水平・垂
直エッジによって矩形が構成された場合に，その部分を
矩形として抽出するようにした。
【００１２】さらに、矩形のうち、先に認識された２本
の標識線の範囲内にあるものを抽出するようにして、自
車レーン内にある前方車両を抽出するようにした。
の標識線の範囲内にあるものを抽出するようにして、自
車レーン内にある前方車両を抽出するようにした。
【００１３】
【作用】上記に説明した本発明の道路環境認識装置の作
用効果について、以下図７を用いて説明する。この図７
は、走行車線を走っている車両前方に設置した撮像手段
（ＴＶカメラ等）から前方を撮像した画像の一例であ
る。なお、以下の作用の項及び実施例の項では共に日本
のように車両の左側通行を採用していることを前提とし
て適用すべき技術について説明する。従って車両の右側
通行を前提とする場合は以降の説明の左右を反対にすれ
ば良い。
用効果について、以下図７を用いて説明する。この図７
は、走行車線を走っている車両前方に設置した撮像手段
（ＴＶカメラ等）から前方を撮像した画像の一例であ
る。なお、以下の作用の項及び実施例の項では共に日本
のように車両の左側通行を採用していることを前提とし
て適用すべき技術について説明する。従って車両の右側
通行を前提とする場合は以降の説明の左右を反対にすれ
ば良い。
【００１４】図７から明らかなように，カメラで撮像さ
れた画像は三次元の情景をカメラの焦点を中心として二
次元平面に投影したものであり，カメラの光軸と平行な
線は画像上で一点に集まる。この点を無限遠点と言う。
図において，走行レーン・追越しレーンを規定する白線
等の標識線は画像上で無限遠点に収束する放射線とな
る。この無限遠点はカメラの画角や俯角，解像度といっ
たカメラに固有のパラメータから算出することができ
る。そこで，画像上で走行ラインの左側については他の
走行車両や障害物によって隠蔽されにくいので、この走
行ラインの左側の標識線の一部を抽出し，それを無限遠
点まで延ばして左側の標識線を認識する。さらに，自動
車専用道路では一般的には急激な曲線などは存在しない
から，無限遠点まで延ばした左側の標識線からレーン幅
だけずらした放射線を路面上に引き，右側の標識線を推
定する。本発明では，遠方において標識線が隠蔽されて
いても，また例え左標識線が破線になっていても上記に
記述した方法により正しく自車レーンを特定することが
できる。なお、予め通行する道路の曲率やカメラパラメ
ータに基づいて無限遠点のとり得る範囲を算出してお
き、延長線がこの範囲を通過するか否かをチェックすれ
ば、認識精度を向上することができる。
れた画像は三次元の情景をカメラの焦点を中心として二
次元平面に投影したものであり，カメラの光軸と平行な
線は画像上で一点に集まる。この点を無限遠点と言う。
図において，走行レーン・追越しレーンを規定する白線
等の標識線は画像上で無限遠点に収束する放射線とな
る。この無限遠点はカメラの画角や俯角，解像度といっ
たカメラに固有のパラメータから算出することができ
る。そこで，画像上で走行ラインの左側については他の
走行車両や障害物によって隠蔽されにくいので、この走
行ラインの左側の標識線の一部を抽出し，それを無限遠
点まで延ばして左側の標識線を認識する。さらに，自動
車専用道路では一般的には急激な曲線などは存在しない
から，無限遠点まで延ばした左側の標識線からレーン幅
だけずらした放射線を路面上に引き，右側の標識線を推
定する。本発明では，遠方において標識線が隠蔽されて
いても，また例え左標識線が破線になっていても上記に
記述した方法により正しく自車レーンを特定することが
できる。なお、予め通行する道路の曲率やカメラパラメ
ータに基づいて無限遠点のとり得る範囲を算出してお
き、延長線がこの範囲を通過するか否かをチェックすれ
ば、認識精度を向上することができる。
【００１５】一方，前方道路画像に写る前方車の背面の
画像には，例えば車体・ナンバープレート・リアウィン
ドウ・バンパー・テールランプ・ブレーキランプなど水
平・垂直エッジが多く存在し，矩形を構成する部分が多
く存在する。（ただし，通常のＴＶカメラで撮像された
画像では解像度が悪く，ナンバープレート上に存在する
車両ナンバーなどの文字は抽出・認識することはできな
い。）よって，自車レーン内で水平・垂直エッジを抽出
し，それらによって囲まれる部分を矩形として抽出し，
前方車の特徴とする。ここで，路面に表示されている文
字標識や影などの縦方向のエッジは白線と同じ透視効果
（無限遠点に収束する性質）により，垂直線が抽出され
る確率は少ない。
画像には，例えば車体・ナンバープレート・リアウィン
ドウ・バンパー・テールランプ・ブレーキランプなど水
平・垂直エッジが多く存在し，矩形を構成する部分が多
く存在する。（ただし，通常のＴＶカメラで撮像された
画像では解像度が悪く，ナンバープレート上に存在する
車両ナンバーなどの文字は抽出・認識することはできな
い。）よって，自車レーン内で水平・垂直エッジを抽出
し，それらによって囲まれる部分を矩形として抽出し，
前方車の特徴とする。ここで，路面に表示されている文
字標識や影などの縦方向のエッジは白線と同じ透視効果
（無限遠点に収束する性質）により，垂直線が抽出され
る確率は少ない。
【００１６】以上により，例えば左右二眼のカメラから
撮像された画像において矩形部分を抽出し，両画像にお
いて同じ図形的特徴を有する矩形を対応付け，二眼の画
像での位置のずれ（視差）を算出して，三角測量の原理
により，前方車までの距離を算出する。また、矩形部分
の対応付けにあたって複数の組み合わせが考えられる場
合は、視差の大きい方を採用することにより、より至近
の前方車両を抽出することができる。
撮像された画像において矩形部分を抽出し，両画像にお
いて同じ図形的特徴を有する矩形を対応付け，二眼の画
像での位置のずれ（視差）を算出して，三角測量の原理
により，前方車までの距離を算出する。また、矩形部分
の対応付けにあたって複数の組み合わせが考えられる場
合は、視差の大きい方を採用することにより、より至近
の前方車両を抽出することができる。
【００１７】また、先に認識した２本の標識線の間の範
囲内にある矩形を抽出することにより、自車レーンを走
行する前方車両を抽出することができる。よって，本発
明においては，自車直前の前方車がレーン内で左側を走
り，その前を走行する車が自車レーン上で右側を走行し
ており，画像上で前方二車両が重なって撮像されている
ような場合でも，二車両の距離を別々に抽出することが
できる。
囲内にある矩形を抽出することにより、自車レーンを走
行する前方車両を抽出することができる。よって，本発
明においては，自車直前の前方車がレーン内で左側を走
り，その前を走行する車が自車レーン上で右側を走行し
ており，画像上で前方二車両が重なって撮像されている
ような場合でも，二車両の距離を別々に抽出することが
できる。
【００１８】
【実施例】以下、本発明の道路環境認識装置の一実施例
を説明する。図１は本実施例の全体構成を示すブロック
図である。図中、１は撮像手段である。本発明では各々
の撮像手段を上下あるいは左右に並行して車両に設置す
れば良いが、本実施例では図１のように車両の前方左側
に左画像撮像手段１Ｌを、右側に右画像撮像手段１Ｒを
設置しているものとする。
を説明する。図１は本実施例の全体構成を示すブロック
図である。図中、１は撮像手段である。本発明では各々
の撮像手段を上下あるいは左右に並行して車両に設置す
れば良いが、本実施例では図１のように車両の前方左側
に左画像撮像手段１Ｌを、右側に右画像撮像手段１Ｒを
設置しているものとする。
【００１９】２Ｌ，２Ｒは撮像手段１より得られた画像
より自車レーンを認識する自車レーン認識部であり、３
Ｌ，３Ｒは撮像手段１Ｌ，１Ｒにより得られた画像と自
車レーン認識部２Ｌ．２Ｒで得られた情報を基に矩形を
抽出する矩形抽出部である。４は矩形抽出部３Ｌ，３Ｒ
から出力される、左画像と右画像のそれぞれから得られ
た矩形の情報を照合して前方車を認識し、また前方車の
距離を算出する矩形照合・距離算出部である。
より自車レーンを認識する自車レーン認識部であり、３
Ｌ，３Ｒは撮像手段１Ｌ，１Ｒにより得られた画像と自
車レーン認識部２Ｌ．２Ｒで得られた情報を基に矩形を
抽出する矩形抽出部である。４は矩形抽出部３Ｌ，３Ｒ
から出力される、左画像と右画像のそれぞれから得られ
た矩形の情報を照合して前方車を認識し、また前方車の
距離を算出する矩形照合・距離算出部である。
【００２０】以下、図１に示した各部の動作の説明をす
る。なお、以下の説明では車両の左側通行を前提として
おり、また標識線は白線を例としている。更に、各手段
および処理についてはカッコ内に図面の参照符号を示し
た。本実施例の請求の範囲と名称が異なる場合は、請求
の範囲での対応する呼称を併記した。 １）撮像手段（１Ｌ，１Ｒ） これは上記のように車両の前方左右に取り付けられ、車
両の進行方向前方を撮像するものである。この左右のカ
メラは、図４に示すように水平線に対し俯角Θだけ下に
傾けて取り付けられているので、撮像できる道路面の範
囲（視野）は図Ｂに示すように、四辺形ＡR ＢR ＣR Ｄ
R になる。
る。なお、以下の説明では車両の左側通行を前提として
おり、また標識線は白線を例としている。更に、各手段
および処理についてはカッコ内に図面の参照符号を示し
た。本実施例の請求の範囲と名称が異なる場合は、請求
の範囲での対応する呼称を併記した。 １）撮像手段（１Ｌ，１Ｒ） これは上記のように車両の前方左右に取り付けられ、車
両の進行方向前方を撮像するものである。この左右のカ
メラは、図４に示すように水平線に対し俯角Θだけ下に
傾けて取り付けられているので、撮像できる道路面の範
囲（視野）は図Ｂに示すように、四辺形ＡR ＢR ＣR Ｄ
R になる。
【００２１】また、使用されるカメラに基づいてカメラ
パラメータが設定される。このカメラパラメータには、
以下のようなものがある。 ｆ ：焦点距離 Θ ：俯角 Ｒx ：ｘ（水平）方向解像度 Ｒy ：ｙ（垂直）方向解像度 Φx ：ｘ方向画角 Φy ：ｙ方向画角 また、図５において、路上の点（Ｘ，Ｚ）とそれに対応
する画面の座標（ｘ，ｙ）には、以上のカメラパラメー
タを用いて、次のような関係が成立する。
パラメータが設定される。このカメラパラメータには、
以下のようなものがある。 ｆ ：焦点距離 Θ ：俯角 Ｒx ：ｘ（水平）方向解像度 Ｒy ：ｙ（垂直）方向解像度 Φx ：ｘ方向画角 Φy ：ｙ方向画角 また、図５において、路上の点（Ｘ，Ｚ）とそれに対応
する画面の座標（ｘ，ｙ）には、以上のカメラパラメー
タを用いて、次のような関係が成立する。
【００２２】（１）画面座標から地面座標への変換
【００２３】
【数１】
【００２４】（２）地面座標から画面座標への変換
【００２５】
【数２】
【００２６】２）自車レーン認識部（２Ｌ，２Ｒ） 図２に自車レーン認識部の詳細フローを示す。 ◇エッジ抽出処理（２１：エッジ画像作成手段） まず前方を撮像した画像に対して垂直エッジ抽出を行
う。これは図６（ａ）に示すような３×３等のエッジ検
出フィルタを画面全体に走査させて抽出するものであ
る。このようなエッジ検出方法は既に周知技術であるの
で、詳細な説明は省略する。 ◇自車近方での左白線検証処理（２２：標識線認識手
段） 抽出されたエッジ画像に対して，まず、ある程度以下の
長さのエッジを雑音として除去した後，たとえ前方車が
存在していても走行レーンの左白線が存在する画像の左
下部において，無限遠点の存在範囲に向かって延びるエ
ッジを検出し，白線幅に関する知識を用いてエッジの検
証を行う。
う。これは図６（ａ）に示すような３×３等のエッジ検
出フィルタを画面全体に走査させて抽出するものであ
る。このようなエッジ検出方法は既に周知技術であるの
で、詳細な説明は省略する。 ◇自車近方での左白線検証処理（２２：標識線認識手
段） 抽出されたエッジ画像に対して，まず、ある程度以下の
長さのエッジを雑音として除去した後，たとえ前方車が
存在していても走行レーンの左白線が存在する画像の左
下部において，無限遠点の存在範囲に向かって延びるエ
ッジを検出し，白線幅に関する知識を用いてエッジの検
証を行う。
【００２７】具体的には，このようなエッジが一本も抽
出できなかった場合には，１フレーム前の画像を処理し
た結果求められた左白線を出力し，現フレームに関して
は左白線が抽出できなかったことを記憶する。このよう
に，左白線が抽出できなかったフレームが数フレーム連
続して続いた場合には，白線は存在しないものとして処
理を打ち切る。複数本発見された場合には，より長いエ
ッジでかつ白線幅に関する制限を満足するようなエッジ
ペアを左白線の両側のエッジとみなして出力する（１フ
レーム前の画像の処理結果と照合する）。一本しか発見
できなかった場合は，１フレーム前の画像の処理結果と
照合し，エッジの位置が極端に離れていない場合には，
そのエッジを片方のエッジとして含む白線を左白線とし
て出力する。 ◇遠方への左白線延長処理（２３：延長線作成手段） 前記自車近方における左白線の抽出結果を元にして，図
７で示すような無限遠点まで直線補間して左白線を決定
する。
出できなかった場合には，１フレーム前の画像を処理し
た結果求められた左白線を出力し，現フレームに関して
は左白線が抽出できなかったことを記憶する。このよう
に，左白線が抽出できなかったフレームが数フレーム連
続して続いた場合には，白線は存在しないものとして処
理を打ち切る。複数本発見された場合には，より長いエ
ッジでかつ白線幅に関する制限を満足するようなエッジ
ペアを左白線の両側のエッジとみなして出力する（１フ
レーム前の画像の処理結果と照合する）。一本しか発見
できなかった場合は，１フレーム前の画像の処理結果と
照合し，エッジの位置が極端に離れていない場合には，
そのエッジを片方のエッジとして含む白線を左白線とし
て出力する。 ◇遠方への左白線延長処理（２３：延長線作成手段） 前記自車近方における左白線の抽出結果を元にして，図
７で示すような無限遠点まで直線補間して左白線を決定
する。
【００２８】この無限遠点は先述したカメラパラメータ
を用いて予め算出しておくことができる。即ち無限遠点
は、自車から無限遠（Ｚ→∞）において路面上に存在す
る点のことであり、これは上記式 においてＺ→∞とお
いて、 ｙ ＝｛（Ｒy /2）／tan(Φy /2) ｝tan Θ ──── で表される、画像上の水平線上に存在する。（これを無
限遠線という） 先に抽出した自車近方における左白線について直線近似
したものと式との交点が無限遠点となる。
を用いて予め算出しておくことができる。即ち無限遠点
は、自車から無限遠（Ｚ→∞）において路面上に存在す
る点のことであり、これは上記式 においてＺ→∞とお
いて、 ｙ ＝｛（Ｒy /2）／tan(Φy /2) ｝tan Θ ──── で表される、画像上の水平線上に存在する。（これを無
限遠線という） 先に抽出した自車近方における左白線について直線近似
したものと式との交点が無限遠点となる。
【００２９】ところで、自車が白線と平行に走っている
場合は、画像上で左白線の無限遠点は画面中央に位置す
る。図７で言えば、カメラの真下をＸ座標の原点０と設
定しているので、無限遠点はＺ軸上となる。ところが路
面がカーブしていたり、自車が白線と並行して走行して
いない場合は、無限遠点の位置はＸ軸方向でずれること
になる。
場合は、画像上で左白線の無限遠点は画面中央に位置す
る。図７で言えば、カメラの真下をＸ座標の原点０と設
定しているので、無限遠点はＺ軸上となる。ところが路
面がカーブしていたり、自車が白線と並行して走行して
いない場合は、無限遠点の位置はＸ軸方向でずれること
になる。
【００３０】しかし、自動車専用道等ではカーブの曲率
の最大値は制限速度等に基づいて規定されており、また
正常に走行している場合は自車と白線のなす角度も極端
に大きくなるものではない。そこで、無限遠線上で無限
遠点の存在可能な範囲を設定し、抽出した左白線を画像
上で延長して求めた無限遠点がこの範囲内に存在しない
場合は、左白線の抽出に失敗（誤認識）したものとして
判断する。なお、この範囲についての知識を得る方法に
ついては後述する。 ◇右白線推定処理（２４：標本線推定手段） 最後に，レーン幅に関する知識を用いて画像上で無限遠
点から自車近方まで右白線の位置を推定し，自車レーン
領域を抽出する。
の最大値は制限速度等に基づいて規定されており、また
正常に走行している場合は自車と白線のなす角度も極端
に大きくなるものではない。そこで、無限遠線上で無限
遠点の存在可能な範囲を設定し、抽出した左白線を画像
上で延長して求めた無限遠点がこの範囲内に存在しない
場合は、左白線の抽出に失敗（誤認識）したものとして
判断する。なお、この範囲についての知識を得る方法に
ついては後述する。 ◇右白線推定処理（２４：標本線推定手段） 最後に，レーン幅に関する知識を用いて画像上で無限遠
点から自車近方まで右白線の位置を推定し，自車レーン
領域を抽出する。
【００３１】このために、画像上の自車に近い付近の水
平線上（例えばｙ＝ｙ0 ）において、現在通行している
道路のレーン幅の値を，式に代入することにより、
画像上でのｘ座標値の差Δｘ0 を計算しておく。画像上
での左側白線の方程式が算出され無限遠点が算出された
ら、ｙ＝ｙ0 における左側白線のｘ座標を求めてこれを
Δｘ0 だけ右にシフトすることにより、右側白線のｙ＝
ｙ0 上でのｘ座標（ｘ0 ）を推定する。こうして求めた
（ｘ0 ，ｙ0 ）と無限遠点とを結ぶことにより右側白線
の位置を推定する。
平線上（例えばｙ＝ｙ0 ）において、現在通行している
道路のレーン幅の値を，式に代入することにより、
画像上でのｘ座標値の差Δｘ0 を計算しておく。画像上
での左側白線の方程式が算出され無限遠点が算出された
ら、ｙ＝ｙ0 における左側白線のｘ座標を求めてこれを
Δｘ0 だけ右にシフトすることにより、右側白線のｙ＝
ｙ0 上でのｘ座標（ｘ0 ）を推定する。こうして求めた
（ｘ0 ，ｙ0 ）と無限遠点とを結ぶことにより右側白線
の位置を推定する。
【００３２】なお、上述した道路のカーブの曲率に関す
る知識、及び道路のレーン幅についての知識を得る方法
は種々のものが考えられ、本発明では特に限定するもの
ではないが、幾つかの例をあげれば、 ・ユーザが通行する道路毎に設定入力する。 ・装置毎に各自動車道路毎のレーン幅に関するデータベ
ースを用意しておき、通行する道路に応じて知識を取り
出し、利用する。 ・本装置を含む制御システムに無線受信システムを付加
し、路肩等に設置した無線装置から送信されるレーン幅
や曲率に関するデータを受信して、これを用いる。とい
った実施態様が考えられる。
る知識、及び道路のレーン幅についての知識を得る方法
は種々のものが考えられ、本発明では特に限定するもの
ではないが、幾つかの例をあげれば、 ・ユーザが通行する道路毎に設定入力する。 ・装置毎に各自動車道路毎のレーン幅に関するデータベ
ースを用意しておき、通行する道路に応じて知識を取り
出し、利用する。 ・本装置を含む制御システムに無線受信システムを付加
し、路肩等に設置した無線装置から送信されるレーン幅
や曲率に関するデータを受信して、これを用いる。とい
った実施態様が考えられる。
【００３３】なお、道路のレーン幅（車線幅員）や曲率
については道路構造令（道路法に基づき制定される政
令）により規定があり、これに基づいてその道路を管理
する地方自治体等が決定しているものである。従って、
規格の種類は有限であるので、通行する道路とその規格
との対応が明らかであればよく、データベース化しても
データ量は莫大なものとはならない。また、通行してい
る道路の指定はユーザが入力しても良いが、（公知の）
ナビゲーションシステムから得るようにしてもよく、こ
れについても種々の実施態様が考えられる。 ３）矩形抽出手段 図３に矩形抽出部３Ｌ，３Ｒの動作の詳細フローチャー
トを示す。 ◇水平／垂直エッジ抽出処理（３１１，３１２） まず，水平・垂直エッジを別々に抽出する。垂直エッジ
は図６（ａ）に示したエッジ検出フィルタを用い，水平
エッジは図６（ｂ）に示したエッジ検出フィルタを用い
る。この水平エッジ検出も、先述した垂直エッジ検出と
同様に周知技術である。
については道路構造令（道路法に基づき制定される政
令）により規定があり、これに基づいてその道路を管理
する地方自治体等が決定しているものである。従って、
規格の種類は有限であるので、通行する道路とその規格
との対応が明らかであればよく、データベース化しても
データ量は莫大なものとはならない。また、通行してい
る道路の指定はユーザが入力しても良いが、（公知の）
ナビゲーションシステムから得るようにしてもよく、こ
れについても種々の実施態様が考えられる。 ３）矩形抽出手段 図３に矩形抽出部３Ｌ，３Ｒの動作の詳細フローチャー
トを示す。 ◇水平／垂直エッジ抽出処理（３１１，３１２） まず，水平・垂直エッジを別々に抽出する。垂直エッジ
は図６（ａ）に示したエッジ検出フィルタを用い，水平
エッジは図６（ｂ）に示したエッジ検出フィルタを用い
る。この水平エッジ検出も、先述した垂直エッジ検出と
同様に周知技術である。
【００３４】また、垂直エッジ画像は自車レーン認識部
２Ｌ，２Ｒで求めたものを利用してもよい。 ◇投影算出処理（３２１，３２２：投影算出手段） 検出された水平エッジに対して水平方向の投影（水平方
向の画素数）を，また垂直エッジに対して垂直方向の投
影（垂直方向の画素数）を別々に算出する。 ◇水平／垂直線マスク算出（３３１，３３２） 水平・垂直方向の投影値を利用して次の処理を施す。以
下では図８を参照して水平方向の処理について述べる
が，垂直方向の処理についても同様である。
２Ｌ，２Ｒで求めたものを利用してもよい。 ◇投影算出処理（３２１，３２２：投影算出手段） 検出された水平エッジに対して水平方向の投影（水平方
向の画素数）を，また垂直エッジに対して垂直方向の投
影（垂直方向の画素数）を別々に算出する。 ◇水平／垂直線マスク算出（３３１，３３２） 水平・垂直方向の投影値を利用して次の処理を施す。以
下では図８を参照して水平方向の処理について述べる
が，垂直方向の処理についても同様である。
【００３５】水平方向の投影値の中で最大の投影値を有
するラインとその前後１ラインを，原画像において最も
強いエッジが存在するラインとして水平線抽出用マスク
として設定する。ここで，水平線マスクを設定した３ラ
インの前後の数ライン（例えば３ライン）は，強エッジ
が多く存在する前後のラインであり，エッジが存在する
可能性が低いとして投影値を０にし，マスクとして設定
しない。その後，抽出されたマスクラインを除外して，
同様の処理を画像の全ての水平ラインに対して繰り返し
実行する。 ◇水平／垂直線候補抽出（３１４，３２４） 次に，抽出された水平／垂直線マスクをエッジ画像に走
査させ，マスク領域内にエッジが存在する場合には，マ
スク領域（３ライン）の中央ラインの画素に１をセット
し，水平／垂直線候補を抽出する。 ◇矩形探索処理（３１５，３２５） この処理では、前方車両の候補を抽出するために、面積
の大きな矩形を抽出する処理を行う。
するラインとその前後１ラインを，原画像において最も
強いエッジが存在するラインとして水平線抽出用マスク
として設定する。ここで，水平線マスクを設定した３ラ
インの前後の数ライン（例えば３ライン）は，強エッジ
が多く存在する前後のラインであり，エッジが存在する
可能性が低いとして投影値を０にし，マスクとして設定
しない。その後，抽出されたマスクラインを除外して，
同様の処理を画像の全ての水平ラインに対して繰り返し
実行する。 ◇水平／垂直線候補抽出（３１４，３２４） 次に，抽出された水平／垂直線マスクをエッジ画像に走
査させ，マスク領域内にエッジが存在する場合には，マ
スク領域（３ライン）の中央ラインの画素に１をセット
し，水平／垂直線候補を抽出する。 ◇矩形探索処理（３１５，３２５） この処理では、前方車両の候補を抽出するために、面積
の大きな矩形を抽出する処理を行う。
【００３６】このために、水平／垂直線候補抽出部で抽
出された水平線の各ラインについて、交差する点からの
長さが最も長いラインを探索して抽出していく。例え
ば、図９に示すように、ある水平線Ａに対しては右端か
ら水平線Ａと交わる垂直線Ｂを探索し、次に垂直線Ｂに
対して下端から垂直線Ｂと交わる水平線Ｃを探索し、こ
の水平線Ｃに対して左端から水平線Ｃと交わりかつもと
の垂直線Ａとも交差する垂直線Ｄを探す、というプロセ
スを実行することにより、矩形ＡＢＣＤを抽出する。更
に、水平線Ａを含み最も面積の大きな矩形を抽出するた
めに、垂直線Ｂよりも内側（左側）にある別の垂直線
（例えば垂直線Ｂ’）をも探索して、上記と同様のプロ
セスにより別の矩形（例えば矩形ＡＢ’Ｃ’Ｄ）を抽出
していく。こうして求めた複数の矩形について面積を比
較することにより、最大の面積の矩形を抽出して、これ
を前方車両の候補として採用する。 ４）矩形照合および距離算出部（４） 矩形照合部では，（例えば）左右の画像において抽出さ
れた矩形領域に対して，同じような位置にあり，同様の
図形的特徴（面積，矩形を構成する縦横線の長さ）を有
する矩形を対応付ける。
出された水平線の各ラインについて、交差する点からの
長さが最も長いラインを探索して抽出していく。例え
ば、図９に示すように、ある水平線Ａに対しては右端か
ら水平線Ａと交わる垂直線Ｂを探索し、次に垂直線Ｂに
対して下端から垂直線Ｂと交わる水平線Ｃを探索し、こ
の水平線Ｃに対して左端から水平線Ｃと交わりかつもと
の垂直線Ａとも交差する垂直線Ｄを探す、というプロセ
スを実行することにより、矩形ＡＢＣＤを抽出する。更
に、水平線Ａを含み最も面積の大きな矩形を抽出するた
めに、垂直線Ｂよりも内側（左側）にある別の垂直線
（例えば垂直線Ｂ’）をも探索して、上記と同様のプロ
セスにより別の矩形（例えば矩形ＡＢ’Ｃ’Ｄ）を抽出
していく。こうして求めた複数の矩形について面積を比
較することにより、最大の面積の矩形を抽出して、これ
を前方車両の候補として採用する。 ４）矩形照合および距離算出部（４） 矩形照合部では，（例えば）左右の画像において抽出さ
れた矩形領域に対して，同じような位置にあり，同様の
図形的特徴（面積，矩形を構成する縦横線の長さ）を有
する矩形を対応付ける。
【００３７】この対応づけの方法を図１０を用いて説明
する。図１０において、 D ：左右カメラの距離 L ：カメラと対象物との距離 Ob：対象物の位置 C1：左カメラの位置（レンズ中心） C2：右カメラの位置（レンズ中心） O1：左カメラのレンズ光軸とフィルム面の交点 O2：右カメラのレンズ光軸とフィルム面の交点 f ：カメラの焦点距離 P1：左カメラのフィルム面に対象物が写る点。座標（x1,y1)
はO1を原点としている。 P2：右カメラのフィルム面に対象物が写る点。座標(x2,y2)
はO2を原点としている。 である。
する。図１０において、 D ：左右カメラの距離 L ：カメラと対象物との距離 Ob：対象物の位置 C1：左カメラの位置（レンズ中心） C2：右カメラの位置（レンズ中心） O1：左カメラのレンズ光軸とフィルム面の交点 O2：右カメラのレンズ光軸とフィルム面の交点 f ：カメラの焦点距離 P1：左カメラのフィルム面に対象物が写る点。座標（x1,y1)
はO1を原点としている。 P2：右カメラのフィルム面に対象物が写る点。座標(x2,y2)
はO2を原点としている。 である。
【００３８】この図１０を見れば明らかなように、対象
物との距離が近い程画像上での視差は大きくなる。そこ
で、左右のカメラのパラメータにより予め最大視差を求
めておき、左画像上で抽出された矩形の左上点（(x3,
y3) とする）と右下点（(x4,y4) とする）を，右画像上
でそれぞれ(x3,y3) ，(x4,y4) から左方向に最大視差範
囲まで探索し，一致度の高い (例えば±α（α＝1 or
2）の画素のずれで一致する) 矩形が存在したら，両矩
形の位置の差を求めて視差とする。
物との距離が近い程画像上での視差は大きくなる。そこ
で、左右のカメラのパラメータにより予め最大視差を求
めておき、左画像上で抽出された矩形の左上点（(x3,
y3) とする）と右下点（(x4,y4) とする）を，右画像上
でそれぞれ(x3,y3) ，(x4,y4) から左方向に最大視差範
囲まで探索し，一致度の高い (例えば±α（α＝1 or
2）の画素のずれで一致する) 矩形が存在したら，両矩
形の位置の差を求めて視差とする。
【００３９】右画像上の最大探索範囲内に図形的特徴の
一致する矩形が複数存在する場合には，視差の大きい方
を対応づける。これは、複数の車両の映像による複数の
矩形が存在する場合、視差の大きい方、即ち距離が近い
方を採用することにより、直前の前方車両が認識できる
からである。このように対応付けた矩形を前方車両とみ
なして距離を算出する。図１０において、△ObC1C2と△
ObP1P2は相似であり，以下の関係が成り立つ。（ここ
で，通常のカメラでは，フィルム面はC1を中心としてObと反
対側にあるが，このモデルでは説明を簡単にするためフィ
ルム面を対象物と同じ方向においている。） （Ｌ−ｆ) ： (Ｄ−x1 + x2)＝Ｌ：Ｄ ・・・・ この 式を変形すると、 Ｌ= Ｄ・ｆ／（x1 - x2) ・・・・ ここで，（x1 - x2)は左右のカメラのフィルム面（即ち画像
面）で，同一物体の撮像した時の位置の差であり，視差
である。よって式より，視差に基づき，カメラから対
象物までの距離を算出することができる。
一致する矩形が複数存在する場合には，視差の大きい方
を対応づける。これは、複数の車両の映像による複数の
矩形が存在する場合、視差の大きい方、即ち距離が近い
方を採用することにより、直前の前方車両が認識できる
からである。このように対応付けた矩形を前方車両とみ
なして距離を算出する。図１０において、△ObC1C2と△
ObP1P2は相似であり，以下の関係が成り立つ。（ここ
で，通常のカメラでは，フィルム面はC1を中心としてObと反
対側にあるが，このモデルでは説明を簡単にするためフィ
ルム面を対象物と同じ方向においている。） （Ｌ−ｆ) ： (Ｄ−x1 + x2)＝Ｌ：Ｄ ・・・・ この 式を変形すると、 Ｌ= Ｄ・ｆ／（x1 - x2) ・・・・ ここで，（x1 - x2)は左右のカメラのフィルム面（即ち画像
面）で，同一物体の撮像した時の位置の差であり，視差
である。よって式より，視差に基づき，カメラから対
象物までの距離を算出することができる。
【００４０】なお、一致する矩形が存在しない場合に
は，矩形が抽出されなかった画像（右画像）上で，該矩
形の水平線（カメラが上下に設置されている場合は垂直
線）の長さに対応する間隔で存在する二本の垂直エッジ
（カメラが上下に設置されている場合は垂直エッジ）の
ペアを探し，この垂直エッジペアを対応づけて視差を計
算して、上述の方法で距離を算出する。
は，矩形が抽出されなかった画像（右画像）上で，該矩
形の水平線（カメラが上下に設置されている場合は垂直
線）の長さに対応する間隔で存在する二本の垂直エッジ
（カメラが上下に設置されている場合は垂直エッジ）の
ペアを探し，この垂直エッジペアを対応づけて視差を計
算して、上述の方法で距離を算出する。
【００４１】また、このようにして抽出し、対応付けら
れた矩形は、自車レーン認識部２Ｌ，２Ｒにより得られ
る左右の標識線の間の範囲内に存在するかどうかをチェ
ックし、存在する場合は自車レーンを走行する前方車両
として認識するようにすれば、自立走行に当たって複数
の前方車両の中から最も注意すべき車両を抽出すること
ができる。
れた矩形は、自車レーン認識部２Ｌ，２Ｒにより得られ
る左右の標識線の間の範囲内に存在するかどうかをチェ
ックし、存在する場合は自車レーンを走行する前方車両
として認識するようにすれば、自立走行に当たって複数
の前方車両の中から最も注意すべき車両を抽出すること
ができる。
【００４２】
【発明の効果】以上説明したように、本発明の道路環境
認識装置によれば、自立走行車両に搭載したＴＶカメラ
から捕らえた画像から、影や路上にある標識文字，前方
車が存在していても容易かつ正確に標識線の位置を認識
でき、同時に２台以上の前方車が画像上で重なっていて
も別々に認識することができる。
認識装置によれば、自立走行車両に搭載したＴＶカメラ
から捕らえた画像から、影や路上にある標識文字，前方
車が存在していても容易かつ正確に標識線の位置を認識
でき、同時に２台以上の前方車が画像上で重なっていて
も別々に認識することができる。
【００４３】このように正確な標識線や前方車の情報を
得ることができるので、本発明の道路環境認識装置を用
いることにより、前方車と追突しないように自車を操舵
する自立走行制御装置を構成することができる。
得ることができるので、本発明の道路環境認識装置を用
いることにより、前方車と追突しないように自車を操舵
する自立走行制御装置を構成することができる。
【図１】本発明の一実施例の道路環境認識装置の全体構
成を示すブロック図である。
成を示すブロック図である。
【図２】図１の自車レーン認識部２の処理動作を示すフ
ローチャートである。
ローチャートである。
【図３】図１の矩形抽出部３の処理動作を示すフローチ
ャートである。
ャートである。
【図４】撮像手段（カメラ）の車両への搭載の様子を示
す図である。
す図である。
【図５】撮像画面の座標系と地面の座標系との対応関係
を示す図である。
を示す図である。
【図６】本発明の一実施例にて用いられる垂直エッジ検
出フィルタおよび水平エッジ検出フィルタの例を示す図
である。
出フィルタおよび水平エッジ検出フィルタの例を示す図
である。
【図７】撮像手段１により得られる前方道路画像の一例
を示す図である。
を示す図である。
【図８】水平線抽出用マスク領域作成処理の一例を示す
図である。
図である。
【図９】矩形探索処理の一例を示す図である。
【図１０】距離計測の説明図である。
１…撮像手段 ２…自車レーン認識部 ３…矩形抽出部 ４…矩形照合・距離算出部
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｇ０９Ｂ 29/10 Ａ
Claims (11)
- 【請求項１】車両の進行方向前方を撮像する撮像手段
（１）と、 該撮像手段により得られる画像から、物体の輪郭線のみ
を抽出したエッジ画像を作成する手段（２１）と、 該エッジ画像中の自車両の近い路面に対応する部分で、
かつ自車両の左側または右側の路面に対応する部分に存
在する、所定の長さ以上連続するエッジ部分を抽出し
て、該抽出されたエッジ部分を自車両の左側または右側
の標識線として認識する標識線認識手段（２２）とを備
えて構成することを特徴とする道路環境認識装置。 - 【請求項２】前記標識線認識手段（２２）によって標識
線と認識されたエッジを、前記撮像手段（１）に係わる
パラメータより定まる画像上の無限遠線と交差する点で
ある無限遠点まで延長する延長線作成手段（２３）を備
えたことを特徴とする請求項１に記載の道路環境認識装
置。 - 【請求項３】前記延長線作成手段（２３）は、走行中の
道路に関する知識情報と撮像手段（１）に係わるパラメ
ータとに基づいて自車レーンの無限遠点のとり得る範囲
を算出しておき、前記作成された延長線が該無限遠点の
とり得る範囲内を通過するかを検証し、通過する場合は
左または右標識線を正しく認識したものと判定し、通過
しない場合は誤認識したものと判定することを特徴とす
る請求項２に記載の道路環境認識装置。 - 【請求項４】前記延長線作成手段（２３）により作成さ
れた該延長線の位置と、前記撮像手段（１）に係わるパ
ラメータと、走行中の道路のレーン幅の情報とを用い
て、自車レーンを構成する標識線のうち前記標識線認識
手段により認識された標識線と反対側の標識線につい
て、画像上での位置を推定する標識線推定手段（２４）
を備えたことを特徴とする請求項２に記載の道路環境認
識装置。 - 【請求項５】車両の進行方向前方を撮像する複数の撮像
手段（１Ｌ，１Ｒ）と、 該複数の撮像手段より得られる各々の画像より矩形部分
を抽出する矩形抽出手段（３Ｌ．３Ｒ）と、 該矩形抽出手段（３Ｌ，３Ｒ）により抽出される各々の
矩形情報を照合して、同一の図形的な特徴を有する矩形
を抽出する矩形照合手段（４）とを備え、該抽出された
矩形を前方車両として認識することを特徴とする道路環
境認識装置。 - 【請求項６】前記矩形照合手段（４）は、同一の図形的
な特徴を有する矩形の組み合わせを複数個抽出したとき
は、各組み合わせ毎の視差を比較して、最大の視差を有
する矩形の組み合わせを最も近い前方車両として認識す
ることを特徴とする請求項５に記載の道路環境認識装
置。 - 【請求項７】前記矩形照合手段（４）により抽出された
画像上の矩形について、前記各々の画像上での矩形の位
置のずれと、前記複数の撮像手段の撮像位置の差異に基
づく視差とを用いて前方車両までの距離を算出する距離
算出部を設けたことを特徴とする請求項５に記載の道路
環境認識装置。 - 【請求項８】前記矩形抽出手段（３Ｌ，３Ｒ）は、水平
エッジのみの投影と垂直エッジのみの投影値とを算出す
る投影算出手段（３２１，３２２）と、所定値以上の投
影値を有するラインを矩形が存在する可能性のあるライ
ンとして抽出する水平線・垂直線候補抽出手段（３４
１，３４２）を有することを特徴とする請求項５に記載
の道路環境認識装置。 - 【請求項９】前記水平線・垂直線候補抽出手段（３４
１，３４２）は、前記投影値の多いラインとその前後の
所定幅のラインについて、水平方向または垂直方向から
画像全体に渡ってマスク領域として設定し、マスクと前
記水平・垂直エッジとの重なる部分を矩形を構成する水
平・垂直線の候補として抽出することを特徴とする請求
項８に記載の道路環境認識装置。 - 【請求項１０】前記水平・垂直線候補抽出部（３４１，
３４２）で抽出されたある水平線（７１）について該水
平線と交わる複数の垂直線を抽出し、抽出された垂直線
のそれぞれについて、まず該垂直線と交わる水平線を抽
出し、次に該水平線と，最初に抽出した水平線との両方
とも交わる垂直線を抽出することにより複数の矩形領域
を作成して各矩形領域の面積を算出し、最も大面積の矩
形部分を抽出する矩形探索手段（３５）を有することを
特徴とする請求項８の道路環境認識装置。 - 【請求項１１】車両の進行方向前方を撮像する複数の撮
像手段（１Ｌ，１Ｒ）と、 該撮像手段により得られる画像から、物体の輪郭線のみ
を抽出したエッジ画像を作成する手段（２１）と、 該エッジ画像中の自車両の近い路面に対応する部分で、
かつ自車両の左側または右側の路面に対応する部分に存
在する、所定の長さ以上連続するエッジ部分を抽出し
て、該抽出されたエッジ部分を自車両の左側または右側
の標識線として認識する標識線認識手段（２２）と、 前記標識線認識手段（２２）によって標識線と認識され
たエッジを、前記撮像手段（１）に係わるパラメータよ
り定まる画像上の無限遠線と交差する点である無限遠点
まで延長する延長線作成手段（２３）と、 前記延長線作成手段（２３）により作成された該延長線
の位置と、前記撮像手段（１）に係わるパラメータと、
走行中の道路のレーン幅の情報とを用いて、自車レーン
を構成する標識線のうち前記標識線認識手段により認識
された標識線と反対側の標識線について、画像上での位
置を推定する標識線推定手段（２４）と、 該複数の撮像手段（１Ｌ，１Ｒ）より得られる各々の画
像より矩形部分のうち、前記標識線認識手段（２２）と
前記標識線推定手段（２４）とにより得られる２つの標
識線の間の範囲内に存在する矩形情報を抽出する矩形部
分抽出手段（３Ｌ，３Ｒ）を備えて構成したことを特徴
とする道路環境認識装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP1387494A JPH07220194A (ja) | 1994-02-07 | 1994-02-07 | 道路環境認識装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP1387494A JPH07220194A (ja) | 1994-02-07 | 1994-02-07 | 道路環境認識装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH07220194A true JPH07220194A (ja) | 1995-08-18 |
Family
ID=11845380
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP1387494A Withdrawn JPH07220194A (ja) | 1994-02-07 | 1994-02-07 | 道路環境認識装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH07220194A (ja) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6434270B1 (en) | 1997-05-30 | 2002-08-13 | Fujitsu Limited | Pattern extraction apparatus |
| JP2003150938A (ja) * | 2001-11-09 | 2003-05-23 | Honda Motor Co Ltd | 画像認識装置 |
| WO2013125335A1 (ja) * | 2012-02-22 | 2013-08-29 | 日産自動車株式会社 | 立体物検出装置及び立体物検出方法 |
| JP2014052977A (ja) * | 2012-09-10 | 2014-03-20 | Nippon Telegr & Teleph Corp <Ntt> | 対応付け装置及びコンピュータプログラム |
| US9219891B2 (en) | 2012-01-13 | 2015-12-22 | Brain Co., Ltd. | Object identification apparatus |
| WO2020194570A1 (ja) * | 2019-03-27 | 2020-10-01 | 株式会社日立国際電気 | 標識位置特定システム及びプログラム |
-
1994
- 1994-02-07 JP JP1387494A patent/JPH07220194A/ja not_active Withdrawn
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6434270B1 (en) | 1997-05-30 | 2002-08-13 | Fujitsu Limited | Pattern extraction apparatus |
| JP2003150938A (ja) * | 2001-11-09 | 2003-05-23 | Honda Motor Co Ltd | 画像認識装置 |
| US9219891B2 (en) | 2012-01-13 | 2015-12-22 | Brain Co., Ltd. | Object identification apparatus |
| WO2013125335A1 (ja) * | 2012-02-22 | 2013-08-29 | 日産自動車株式会社 | 立体物検出装置及び立体物検出方法 |
| JPWO2013125335A1 (ja) * | 2012-02-22 | 2015-07-30 | 日産自動車株式会社 | 立体物検出装置及び立体物検出方法 |
| JP2014052977A (ja) * | 2012-09-10 | 2014-03-20 | Nippon Telegr & Teleph Corp <Ntt> | 対応付け装置及びコンピュータプログラム |
| WO2020194570A1 (ja) * | 2019-03-27 | 2020-10-01 | 株式会社日立国際電気 | 標識位置特定システム及びプログラム |
| JPWO2020194570A1 (ja) * | 2019-03-27 | 2021-09-13 | 株式会社日立国際電気 | 標識位置特定システム及びプログラム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3169483B2 (ja) | 道路環境認識装置 | |
| EP1796043B1 (en) | Object detection | |
| JP3596314B2 (ja) | 物体端の位置計測装置および移動体の通行判断装置 | |
| US20040057599A1 (en) | Image processing apparatus and method | |
| JP2002352225A (ja) | 障害物検出装置及びその方法 | |
| JP2005136946A (ja) | 路上走行車両用のカメラ式位置認識装置および方法 | |
| JP2002197470A (ja) | 車線検出装置 | |
| CN112037265A (zh) | 一种库位跟踪方法及装置 | |
| JP3961584B2 (ja) | 区画線検出装置 | |
| JP3656056B2 (ja) | 割り込み車両検出装置及びその方法 | |
| JPH08136237A (ja) | 走行路勾配算出装置および車速制御装置 | |
| JP6631691B2 (ja) | 画像処理装置、機器制御システム、撮像装置、画像処理方法、及び、プログラム | |
| JP3629935B2 (ja) | 移動体の速度計測方法およびその方法を用いた速度計測装置 | |
| JP3326988B2 (ja) | 道路環境認識装置 | |
| JPH07220194A (ja) | 道路環境認識装置 | |
| JP3319401B2 (ja) | 走行路認識装置 | |
| JP3157958B2 (ja) | 先行車両認識方法 | |
| JPH0973545A (ja) | 白線認識装置 | |
| JP3945919B2 (ja) | 走行路検出装置、車両走行制御装置および記録媒体 | |
| JP4106163B2 (ja) | 障害物検出装置及びその方法 | |
| JPH07271978A (ja) | 画像処理装置 | |
| JP4671991B2 (ja) | レーンマーク認識装置 | |
| JPH10232936A (ja) | 物体認識方法およびその装置 | |
| JP2883131B2 (ja) | 走行車線判別方法 | |
| JP3841323B2 (ja) | 車両用後側方監視方法及び車両用後側方監視装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20010508 |