JPH0996507A - 車両前方の路上線検出装置 - Google Patents
車両前方の路上線検出装置Info
- Publication number
- JPH0996507A JPH0996507A JP7252221A JP25222195A JPH0996507A JP H0996507 A JPH0996507 A JP H0996507A JP 7252221 A JP7252221 A JP 7252221A JP 25222195 A JP25222195 A JP 25222195A JP H0996507 A JPH0996507 A JP H0996507A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- scene
- line
- camera
- photographing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Traffic Control Systems (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Image Processing (AREA)
Abstract
方の物体を極力早期に検出する。 【解決手段】 車両前方の、近距離の路面を含む広視野
角の第1シ−ンおよび遠距離の路面を含む狭視野角の第
2シ−ン、を撮影するための撮影装置(16b,16d/26b,26d
/36b,36d);第1シ−ンおよび第2シ−ンの撮影画面の
濃度エッジ点(特徴点)を検出する特徴点検出手段(100
〜300);第1シ−ンおよび第2シ−ンの撮影画面の前記
濃度エッジ点(特徴点)の画面上の位置をそれぞれ、車
両の前後軸の水平面投影線を1軸(Z軸)とする同一の
道路系座標上の位置に変換する座標値変換手段(100〜30
0);および、該道路系座標上の、第1シ−ン起源の濃度
エッジ点および第2シ−ン起源の濃度エッジ点の全体の
連なりを近似する線を算出する近似線検出手段(100);
を備える。
Description
出に関し、特に、これに限定する意図ではないが、車両
上において車両前方の、路面を含むシ−ンを撮影し、撮
影画面上で、路面上の走行レ−ン(を区画する白線)お
よび先行車両(又は前方障害物)の検出ならびに先行車
両に対する自車両の距離を検出する、路上物体検出装置
に関する。
5605号公報に開示されている。これにおいては、車両に
搭載された撮影装置で得た、車両前方の路面を含むシ−
ンをx,y直交座標系画面に表わす画像デ−タの、x軸
に対して45度の角度をなす方向の微分値を算出してそれ
が設定値以上のx,y直交座標上の位置を特徴点とし
て、特徴点の連なりを細線に処理し、所定長以上の細線
を摘出して、車両上のテレビカメラから前方を撮影した
場合の、画面上の白線の特徴に基づいて設定された条件
を満す細線を、路面上の白線と認識する。すなわち自車
が走行中のレ−ンの左,右端白線を表わす二直線を得
る。二直線の交点を求めて、該交点から自車両までの二
直線間の領域(3角形領域)で物体の存否を検出し、物
体を検出すると自車両から該物体までの距離(物体が先
行車両であると車間距離)を算出する。自車が走行中の
レ−ン(自車走行レ−ン)が直線である場合、該レ−ン
上の先行車両はすべて前記3角形領域に存在する(ル−
フは外れても、車底は該領域内にある)。ところが、
左,右端白線を近似する二直線は、カメラに近い位置の
左,右端白線像に基づいて決定されるので、自車レ−ン
が自車前後でカ−ブしていると、あるいは前方でカ−ブ
していると、直線レ−ンの場合には無限遠点と見なしう
る前記二直線の交点は、自車レ−ンの遠方点よりも左
(自車レ−ンが右にカ−ブの場合)又は右(左にカ−ブ
の場合)にずれる。すなわち、前記交点は、自車レ−ン
が右にカ−ブしているときには自車レ−ンの遠方点より
左側にずれ、左にカ−ブしているときには右側にずれ
る。このため、カ−ブがあるところでは、前記3角形領
域内での物体探索のみでは、前方物体(先行車両又は障
害物)、特に遠方に存在する物体、の検知に失敗する確
率が高くなる。
いの指標を車両上のカメラで撮影して車両上で車両位置
情報を生成し、車両位置情報と目的地情報とを対比して
最適経路を決定し、決定した経路に従って車両速度およ
び車輪ステアリングを制御する、との車両自動運転を提
案し、道路沿いの指標を撮影するためにカメラの撮影方
向を水平方向および垂直方向に変更する、カメラ用の2
次元姿勢変更機構を提案している。しかしこの提案は、
決定した最適経路の通りに道路が存在すること、ならび
に、該道路上に先行車両が存在しないことを前提として
いる。実際には、現実の道路の追跡(存在確認)および
先行車両の有無ならびに車間距離の確実な検出が必要で
ある。
先行車両を追跡するために、先行車両像が画面上で実質
上一定サイズとなるように焦点距離およびズ−ムを制御
し、しかも先行車両像が画面上略中央になるようにカメ
ラの姿勢を水平方向および垂直方向に制御する追従装置
を提示している。この追従制御は、最初の先行車両の検
出又は特定、ならびに追従中の先行車両が道をそれて自
車前方から消えたときの、次の先行車両の探索が大前提
となるが、これに関する教示はない。また、追従中の先
行車両が道をそれて自車進行方向から外れるときの、誤
追従に対する処置方の技術の提示もない。
よび又は先行車両の検出は、車両が走行しているため、
サ−チすべき距離が長い。例えば、先行車両検出に基づ
いた車間距離自動制御を行なう場合、単純化して言う
と、時速40Km程度の走行中には、30m程度前方ま
でサ−チすれば一応の安全性は確保されるかも知れない
が、80Km程度の場合には50m以上の長区間に渡っ
ての先行車両検知が必要となるかも知れない。いずれに
しても、車両走行速度の範囲が広いため、高速走行を想
定すれば50m以上の長区間を、先行車両が存在するか
否か自動検出するのが好ましい。
やレ−ン変更に備えるため広角度で車両検出するのが好
ましく、カメラを広視野(広角)にするのが良いが、そ
うすると、遠距離の物体分解能が低下し検出精度が悪く
なる。遠距離検出のために狭視野(望遠)にすると、近
距離(特に隣接レ−ン)が漏れて直近車両(特に隣接レ
−ン)が検知できなくなる。加えて、道路がカ−ブして
いる場合には、カ−ブの先が画面から外れ、カ−ブの先
の車両を認識できない。
車両が確実に特定されている場合にこれをタ−ゲットと
して追跡する制御は比較的に簡単であるが、その前段階
の、道路状態(カ−ブ/直進路)の検出,先行車両等の
存否検出および自車レ−ン前方の車両又は物体の検出又
は特定、ならびに、前方の車両又は物体が自車レ−ン上
にあるか否かの確認は、難かしい問題があり、高精度で
このように検出又は特定もしくは確認を行なう技術が望
まれている。
の物体を極力早期に(それが遠方にある間に)検出する
ことを第1の目的とし、検出精度を向上することを第2
の目的とする。
置は、車両前方の、近距離の路面を含む広視野角の第1
シ−ンおよび遠距離の路面を含む狭視野角の第2シ−
ン、を撮影するための撮影装置(16b,16d/26b,26d/36b,3
6d);第1シ−ンおよび第2シ−ンの撮影画面の濃度エ
ッジ点(特徴点)を検出する特徴点検出手段(100〜30
0);第1シ−ンおよび第2シ−ンの撮影画面の前記濃度
エッジ点(特徴点)の画面上の位置をそれぞれ、車両の
前後軸の水平面投影線を1軸(Z軸)とする同一の道路
系座標上の位置に変換する座標値変換手段(100〜300);
および、該道路系座標上の、第1シ−ン起源の濃度エッ
ジ点および第2シ−ン起源の濃度エッジ点の全体の連な
りを近似する線を算出する近似線検出手段(100);を備
える。なお、理解を容易にするためにカッコ内には、図
面に示し後述する実施例の対応要素に付した記号又は対
応事項を、参考までに付記した。
距離の左右方向に広い範囲のものであるので、近距離(1
0〜30m)の自車走行レ−ンおよび該レ−ン上の先行車両
はもちろん隣接レ−ン上の自車よりやや前方の車両(側
方車両)を含み、第1シ−ンの撮影画面上においてこれ
らの分解能は高い。したがって第1シ−ン撮影画像の画
像デ−タに基づいて自車走行レ−ンを区画する左,右白
線を確実に検出しうる。
離(30〜60m,60〜90m)を狭視野角で撮影されるものであ
るので、第2シ−ンの撮影画面上において遠方の路面お
よび車両の分解能が高い。したがって第2シ−ン撮影画
像の画像デ−タに基づいて遠方路面上の白線を、高精度
で検出しうる。
上述の第1シ−ンと第2シ−ンを撮影し、しかも座標値
変換手段(100〜300)が、第1シ−ンおよび第2シ−ンの
撮影画面の前記濃度エッジ点(特徴点)の画面上の位置
をそれぞれ、車両の前後軸の水平面投影線を1軸(Z
軸)とする同一の道路系座標上の位置に変換するので、
車両前方の路面を上方から見おろした形の濃度エッジ点
分布、すなわち路面の平面図上の濃度エッジ点分布が得
られる。このエッジ点分布は、車両から遠方(30〜60m,6
0〜90m)でも、(狭視野角の第2シ−ンとして撮影したも
のであるので)、精度(分解能)が高い。
道路系座標上の、第1シ−ン起源の濃度エッジ点および
第2シ−ン起源の濃度エッジ点の全体の連なりを近似す
る線を算出するので、得られる線は、車両前方近距離(1
0〜30m)から遠方(30〜60m,60〜90m)に及ぶ長距離に渡る
路上白線の近似線となり、上述のように車両前方近距離
(10〜30m)から遠方(30〜60m,60〜90m)に渡って分解能が
高いので、近似の信頼度が高い線が得られる。このよう
にして得た線(通常、自車走行レ−ンを区画する右白線
と左白線を近似する2本の線)を先行車両検出のための
サ−チ領域設定の基準とすることにより、先行車両検出
精度が向上する。また、道路がカ−ブしている場合に
は、前方のカ−ブを早期に検知でき、しかもカ−ブ半径
R算出の精度と信頼性も高くなる。
置は、車両の前後軸に対して水平方向に第1角度(A)を
なす車両前方の、近距離(10〜30m)の路面を含む広視野
角の第1シ−ン、および、車両の前後軸に対して水平方
向に第2角度(B,C)をなす車両前方の、遠距離(30〜60m,
60〜90m)の路面を含む狭視野角の第2シ−ン、を撮影す
るための撮影装置(16b,16d/26b,26d/36b,36d);第1シ
−ンおよび第2シ−ンの撮影画面の濃度エッジ点(特徴
点)を検出する特徴点検出手段(100〜300);第1シ−ン
の撮影画面の前記濃度エッジ点の画面上の位置を、第1
シ−ンの視野中心線の水平面投影線を1軸とする道路系
座標上の位置に変換する第1座標値変換手段(100);第
2シ−ンの撮影画面の前記濃度エッジ点の画面上の位置
を、第2シ−ンの視野中心線の水平面投影線を1軸とす
る道路系座標上の位置に変換する第2座標値変換手段(2
00,300);第1座標値変換手段(100)が変換した濃度エッ
ジ点の位置を第1角度(A)分回転した、車両の前後軸の
水平面投影線を1軸(Z軸)とする道路系座標上の位置に
変換する第1回転補正手段(100);第2座標値変換手段
(200,300)が変換した濃度エッジ点の位置を第2角度(B,
C)分回転した、前記、車両の前後軸の水平面投影線を1
軸(Z軸)とする道路系座標上の位置に変換する第2回転
補正手段(200,300);前記、車両の前後軸の水平面投影
線を1軸(Z軸)とする道路系座標上の、第1シ−ン起源
の濃度エッジ点および第2シ−ン起源の濃度エッジ点の
全体の連なりを近似する線を算出する近似線検出手段(1
00);および、第1シ−ン上の、前記近似線対応の濃度
エッジ点を追跡するために前記第1角度(A)を変更し、
第2シ−ン上の、前記近似線対応の濃度エッジ点を追跡
するために前記第2角度(B)を変更する撮影方向制御手
段(11,21,31,16e,26e,36e,100);を備える。
が固定であると、道路がカ−ブしている場合には、遠方
の路面が第1および第2シ−ン(特に第2シ−ン)から
外れる可能性が高いが、撮影方向制御手段(11,21,31,16
e,26e,36e,100)が、前記近似線対応の濃度エッジ点を追
跡して第1角度(A)および第2角度(B,C)を変更するの
で、第1シ−ンおよび第2シ−ンはいずれも常に路上白
線を含むものとなり、道路がカ−ブしていても路上白線
が画面から外れる可能性が低減する。すなわちカ−ブ路
での遠方の白線検出の信頼性が高い。
向制御手段(11,21,31,16e,26e,36e,100)は、第1シ−ン
上の2つの近似線の実質上中間点を第1シ−ンの中央と
する前記第1角度(A)を定め、第2シ−ン上の2つの近
似線の実質上中間点を第2シ−ンの中央とする前記第2
角度(B,C)を定める。これによれば、第1シ−ンおよび
第2シ−ンの画面は共に、自車走行レ−ンを区画する右
白線と左白線が画面の略右半分と左半分に存在するもの
となり、路上白線の追跡、特にカ−ブ路での追跡の信頼
度が高い。
更に、第1シ−ン上および第2シ−ン上それぞれ2つの
近似線の間に存在する物体(先行車両/路上障害物)を検
出する前方物体検出手段(100);を備え、撮影方向制御
手段(11,21,31,16e,26e,36e,100)は、前方物体検出手段
(100)が第1シ−ン領域に物体(先行車両/路上障害物)
を検出しているときには該物体を第1シ−ンの実質上中
央とする前記第1角度(A)を定め、検出していないとき
には第1シ−ン上の2つの近似線の実質上中間点を第1
シ−ンの中央とする前記第1角度(A)を定め、前方物体
検出手段(100)が第2シ−ン領域に物体(先行車両/路上
障害物)を検出しているときには該物体を第2シ−ンの
実質上中央とする前記第2角度を定め、検出していない
ときには第2シ−ン上の2つの近似線の実質上中間点を
第2シ−ンの中央とする前記第2角度(A)を定める。
があるときにはそれを追跡するように第1角度(A)が変
更され、第2シ−ン領域に先行車両があるときにはそれ
を追跡するように第2角度(B)が変更される。すなわち
先行車両が追跡される。しかし、自車走行レ−ンを区画
する右白線と左白線の検出が先行車両検出に先立って行
なわれるので、先行車両が自車走行レ−ンを外れると、
自動的に走行レ−ン白線の追跡となる。自車走行レ−ン
に先行車両が進入すると、それから該先行車両を追跡す
ることになる。
手段(100)は、濃度エッジ点の全体の連なりを円弧とし
て最小自乗法で算出する。これにより道路がカ−ブして
いる場合、カ−ブ半径が簡単に求まる。
置(16b,16d/26b,26d/36b,36d)は、車両前方の近距離(10
〜30m)の路面を撮影する広視野角の第1カメラ(16b)お
よび車両前後軸に対する水平方向の第1カメラ(16b)の
撮影方向を変更するために該カメラを回転駆動する第1
回転駆動装置(16d)、および、車両前方の遠距離(30〜60
m,60〜90m)の路面を撮影する狭視野角の第2カメラ(26
b,36b)および車両前後軸に対する水平方向の第2カメラ
(26b,36b)の撮影方向を変更するために該カメラを回転
駆動する第2回転駆動装置(26d,36d)、を含む。
例では、撮影装置(16b,16d/26b,26d/36b,36d)は、車両
前方の近距離(10〜30m)の路面を撮影する広視野角の第
1カメラ(16b)および車両前後軸に対する水平方向の第
1カメラ(16b)の撮影方向を変更するために該カメラを
回転駆動する第1回転駆動装置(16d),車両前方の中距
離(30〜60m)の路面を撮影する中視野角の第2カメラ(26
b)および車両前後軸に対する水平方向の第2カメラ(26
b)の撮影方向を変更するために該カメラを回転駆動する
第2回転駆動装置(26d)、および、車両前方の遠距離(60
〜90m)の路面を撮影する狭視野角の第3カメラ(36b)お
よび車両前後軸に対する水平方向の第3カメラ(36b)の
撮影方向を変更するために該カメラを回転駆動する第3
回転駆動装置(36d)、を含む。
照した以下の実施例の説明より明らかになろう。
す。それぞれ回転機構16d,26dおよび36dで支
持された第1〜第3テレビカメラ16b,26bおよび
36bは、第1〜第3画像処理装置100〜300に接
続されている。回転機構16d,26dおよび36d
は、それぞれ回転駆動用の電気モ−タおよび減速機を内
蔵するものであり、減速機の出力回転軸にカメラ(16
b,26b,36b)が固着されている。
36dは、1つの支持フレ−ムで支持され図1の(b)
に示すように、車両MCRの車内のフロントウィンドウ
の中央上部付近に設置されており、第1〜第3テレビカ
メラ16b,26bおよび36bのそれぞれは、車両前
方のシ−ンを撮影して1フレ−ム当り512×512画
素のアナログ信号を出力する。
れより30m前方の、視野中心線に直交する、略24m
×24mの面積を512×512画素に投影する。視野
中心線は、水平路面の場合で車両の前方略15mで路面
と交わる。この交わる点に第1カメラ16bの焦点が合
せてある。第1カメラ16bの撮影画面が例えば図2に
示すものであり路面が水平であると、画面上のY=15
0にある路面が車両前方30mであり、Y=350にあ
る路面が車両前方10mである。後述の白線検出および
車両検出は、Y=150〜350の範囲(特徴点検出ウ
ィンドウ2)内で行なわれる。
り、それより60m前方の、視野中心線に直交する、略
19m×19mの面積を512×512画素に投影す
る。視野中心線は、水平路面の場合で車両の前方略45
mで路面と交わる。この交わる点に第2カメラ26bの
焦点が合せてある。この第2カメラ26bの撮影画面上
では、Y=150にある路面が車両前方60mであり、
Y=350にある路面が車両前方30mである。後述の
白線検出および車両検出は、Y=150〜350の範囲
(特徴点検出ウィンドウ2)内で行なわれる。
れより90m前方の、視野中心線に直交する、略13m
×13mの面積を512×512画素に投影する。視野
中心線は、水平路面の場合で車両の前方略75mで路面
と交わる。この交わる点に第3カメラ36bの焦点が合
せてある。この第3カメラ36bの撮影画面上では、Y
=150にある路面が車両前方90mであり、Y=35
0にある路面が車両前方60mである。後述の白線検出
および車両検出は、Y=150〜350の範囲(特徴点
検出ウィンドウ2)内で行なわれる。
6bそれぞれの、車両前方距離と撮影範囲(画面全体)
および、後述の白線検出および車両検出を行なう領域
(Y=150〜350:特徴点検出ウィンドウ2の領
域)を図3に示す。また、図4の(a)には、第1〜第
3カメラ16b,26bおよび36bそれぞれの、車両
前方距離と撮影横幅との関係を示し、図4の(b)に
は、車両前方距離と撮影画面上での距離計測の誤差σの
関係を示す。
カメラほど路面から外れた方向を撮影してしまう可能性
が高い。したがってこの実施例では、回転機構16d,
26dおよび36dでカメラ16b,26bおよび36
bを支持して、主に画像処理装置100の後述のCPU
11により、車両前方10m〜90mの走行レ−ン検出
および前方車両検出を行ない、前方車両を検出しないと
きには、図5に示すように、カメラ16b,26bおよ
び36bの視野中心をレ−ン中央に合すように、カメラ
16b,26bおよび36bを個別にステアリングす
る。視野(上述のY=150〜350)内に車両が存在
する(と検出した)カメラは、該車両を視野中心に置く
ようにステアリングする。
示す。この画像処理装置100は、マイクロコンピュ−
タ(以下CPUという)11を中心に構成されており、
そのバスラインには、制御プログラムが格納された読み
出し専用メモリ(ROM)12,処理中のパラメ−タが
格納される読み書きメモリ(RAM)13、および、各
種構成要素が接続された入出力ポ−ト(I/O)15,
16等が接続されている。第1カメラ16bが出力する
アナログ画信号(ビデオ信号)は、A/Dコンバ−タ1
6cに与えられる。A/Dコンバ−タ16cにおいて
は、第1カメラ16bよりのアナログ画信号を各画素毎
に256階調(階調0が黒レベル、階調255が白レベ
ル)のデジタルデ−タ(階調デ−タ)に変換してイメ−
ジメモリ15aに与える。なお、イメ−ジメモリ15a
は、一画面(512×512画素)の階調デ−タを記憶
する領域を一頁とするとその数頁分の階調デ−タ記憶領
域と、1ビット情報(2値デ−タ)を数画面分記憶する
2値デ−タ記憶領域を有する。
16aを介して第1カメラ16bの絞りおよび画信号の
出力レベル等を制御し、A/Dコンバ−タ16cの入出
力およびイメ−ジメモリ15aの書込み処理等を同期制
御する。イメ−ジメモリ15aにはDMA装置14が接
続されており、CPU11が指定したメモリ領域に、画
像処理装置200又は300から送られる画像デ−タを
書込む。
グコントロ−ラ16e(のモ−タドライバ)に接続され
ており、CPU11がコントロ−ラ16eに目標角度を
与え、コントロ−ラ16eは、回動機構16dによる第
1カメラ16bのステアリング角度Aを目標角度Anと
するように回転機構16dの電気モ−タを正転駆動(右
向き方向)又は逆転駆動(左向き方向)し、第1カメラ
16bのステアリング角度Aが目標角度Anに合致する
と電気モ−タを停止する。なお、このステアリング角度
Aは、車両の前後軸(の水平面への投影線)に対するカ
メラ視野中心線(の水平面への投影線)のなす角度であ
り、両者が合致するときがステアリング角度=0であ
る。この実施例では、右方向(+)に60°、左方向
(−)に60°がステアリング範囲(角度Aの調整範
囲)である。
0および第3画像処理装置300の構成を示す。これら
の画像処理システム200および300の構成は、第1
画像処理装置100の構成と略同様である。しかし、第
2,第3画像処理装置200,300のDMA装置2
4,34は、それぞれメモリ25a,25bの、CPU
21,31が指定した領域の画像デ−タを読出して、第
1画像処理装置100のDMA装置14に転送し、DM
A装置14は転送を受けた画像デ−タをメモリ15a
の、CPU11が指定する領域に書込む。
は、第2および第3画像処理装置200,300のCP
U21,31のシリアルデ−タ通信ラインが接続されて
おり、CPU11(マスタ−)が、画像読取,読取画像
の補正および画像デ−タ転送を第2および第3画像処理
装置200,300のCPU21,31(スレ−ブ)に
指示する。CPU11は、第1カメラ16bの撮影画像
デ−タおよび200,300から転送を受けた画像デ−
タに基づいて、車両前方10〜90mの画像上の走行レ
−ン(白線)の検出,カ−ブの検出および走行レ−ン上
の車両(先行車両/路上障害物の場合もある)の検出を
行ない、更に、検出車両があるときにはそれを画面中央
とするためのステアリング角、検出車両がないときには
走行レ−ン中央を画面中央とするためのステアリング角
を、第1〜第3カメラ宛てそれぞれに算出し、カ−ブ情
報(カ−ブ半径)および検出車両情報(前方位置)を、
通信コントロ−ラ17を介してホストマイクロコンピュ
−タ(CPUを主体とするコンピュ−タシステム:以下
MPUと称す)18に転送する。第1カメラ16b宛て
のステアリング角Anはステアリングコントロ−ラ16
eに与え、第2,第3カメラ26b,36b宛てのステ
アリング角Bn,Cnは、シリアル通信ラインを介してC
PU21および31に転送する。これらのCPU21,
31は、受信したステアリング角Bn,Cnをステアリン
グコントロ−ラ26e,36eに与える。
御/車間距離制御)および車両進行方向制御(各車輪ブ
レ−キ個別のブレ−キ圧制御)を行なうコンピュ−タシ
ステムであり、CPU11から受信した先行車両情報お
よびカ−ブ情報を、車両速度制御および車両進行方向制
御に用いる。
の処理動作の概要を示す。CPU11の処理動作の多く
部分は、特開平6−213660号公報(発明の名称:
像の近似直線の検出方法)に提示した車両前方の物体検
出装置のCPU1の処理動作と共通又は類似であり、公
知である。したがって、図9〜図11には、該公知の処
理動作と実質上同じ処理動作を表わすブロックは太線
(太い実線又は太い破線)で表示し、以下においてはそ
の内容の大要のみを記す。本実施例のCPU11の上記
公報に開示のない処理動作を表わすブロックは細線(細
い実線又は細い破線)で表示した。
と同様に実行する処理動作を表わすブロックは実線(太
い実線又は細い実線)で示し、CPU11のみが実行す
る処理動作を表わすブロックは破線(太い破線又は細い
破線)で表示した。以下、図9〜図11を参照してCP
U11の処理動作を説明し、合せてCPU21および2
2の処理動作も説明する。
00のCPU11は、それ自身に電源が投入されると入
出力ポ−トの初期化,内部レジスタ,内部カウンタの初
期化等(初期化A)を行なった後、第2,第3画像処理
装置200,300のCPU21,31に、画像読取を
指令する(T1)。
号を所定周期でデジタル変換してイメ−ジメモリ15a
の入力デ−タメモリ領域に書込む(画像入力B)。CP
U21,31も画像読取指令に応答して同様に、一画面
の画像デ−タをイメ−ジメモリ25a,35aに書込
む。
CPU11,CPU21およびCPU31はそれぞれ、
目標ステアリング角度A,BおよびCをステアリングコ
ントロ−ラ16e,26eおよび36eに与える(A
1)。目標ステアリング角度A,BおよびCはそれぞれ
レジスタA,BおよびCに書込まれており、初期値は0
であり、後述する「カメラステアリング角の算出」(A
4)を実行した後は、それによって算出された値とな
る。
ドウ1セット」(C1)〜「ロ−ル角θr,パン移動量
Xp計算」(C5)を実行する。これらの内容を次に説
明する。
(図12) この内容を図12の(a)に示す。図12の(b)に示
すように、第1カメラ16bの撮影画面(画像デ−タは
入力デ−タメモリにある階調デ−タ)の左上を原点
(0,0)に定めて、一点(0,350)ともう一点
(511,511)を対角コ−ナとする画像領域を特徴
点検出用の領域(ウィンドウ1)に定める。すなわち、
定めようとする領域の左上コ−ナのX座標値0をレジス
タXULに、Y座標値350をレジスタYULに、該領
域の右下コ−ナのX座標値511をレジスタXLRに、
Y座標値511をレジスタYLRに書込む(図12の
(a)のステップ1;カッコ内ではステップという語は
省略し、ステップNo.のみを記す)。これらのレジス
タのそれぞれのデ−タが示す値を以下、レジスタ記号そ
のもので表わす。
の処理に対して、上述の「特徴点検出ウィンドウセッ
ト」C1により、図12の(b)に示すように、2点鎖
線で示すブロック(特徴点検出ウィンドウ1)が、処理
対象領域に指定されたことになる。この領域は、図12
の(b)に示すように、車両のボンネットの先端エッジ
像を十分に含むものである。次に「特徴点検出(U
P)」C2を実行する。
511)よりY方向2画素上方の画素(0,509)か
ら、Y方向座標値を350まで順次小さくするY方向の
下から上への走査により、該方向(X=0の直線上)に
分布する画素を順次に注目画素に指定して、各注目画素
(Xs,Ys)に関して、それより1画素下側の画素
(Xs,Ys+1)と2画素下側の画素(Xs,Ys+
2)の階調デ−タが表わす輝度の和と、注目画素(X
s,Ys)より1画素上側の画素(Xs,Ys−1)と
2画素上側の画素(Xs,Ys−2)の、入力デ−タメ
モリにある階調デ−タが表わす輝度の和、の差の絶対値
すなわち上下方向(Y方向)の階調微分値の絶対値を算
出する。これを注目画素点(Xs,Ys)の階調微分値
D(Xs,Ys)とする。この階調微分値D(Xs,Y
s)は、注目点(Xs,Ys)の上側2画素の画像濃度
和と下側2画素の画像濃度和との差の絶対値であるの
で、注目点を境にした上下方向(Y)の濃度変化を表わ
し、画面上の各像の、水平方向に延びる輪郭線のところ
で大きい値となる。この階調微分値D(Xs,Ys)が
しきい値Th1(設定値)以上であるかをチェックし
て、Th1以上であると、イメ−ジメモリ15aのある
領域に割り当てている2値デ−タテ−ブルの、注目画素
点(Xs,Ys)対応アドレスE(Xs,Ys)に、
「1」を書込む。この情報「1」は、像の水平方向に延
びる輪郭線であることを意味する。Y方向にこのような
処理を一ライン分(X=0,Y=509〜350)行な
うと、走査線を右方向に移して、次の一ライン分(X=
1,Y=509〜350)につき同様な処理を行なう。
以下同様に、最後のライン(X=511,Y=509〜
350)まで同様な処理を行なう。
の2値デ−タテ−ブルE(Xs,Ys),Xs=0〜5
11,Ys=509〜350)に、特徴点検出ウィンド
ウ1(図12のb)内の像の水平方向に延びる輪郭線を
示す情報が書込まれたことになる。特徴点検出ウィンド
ウ1は、ボンネットの先端エッジ像を含む領域に設定さ
れているので、2値デ−タテ−ブルE(Xs,Ys)に
はボンネットの先端エッジを表わす情報が含まれてい
る。この実施例では、ボンネットの先端エッジを直線と
見なして、次の「ボンネット検出」C3で該直線を検出
する。
h)変換」を用いて直線を検出する。ハフ変換は、直交
座標系(X−Y座標系;例えば特徴点検出ウィンドウ1
内の画素分布)で表現されている情報(例えば前記2値
デ−タテ−ブルE(Xs,Ys))を、極座標系(ρ−
θ座標系)で表現する手法であり、 ρ=Xcos(θ)+Ysin(θ) の変換を行なう。X−Y座標系におけるある一点(画
素)はρ−θ極座標系(ρとθを直交2軸の一方と他方
に割り当てる直交座標平面)ではある曲線となり、X−
Y座標系において直線上に乗っている各点をρ−θ座標
系で各曲線で表わすと、これらの曲線は一点で交わる。
この交点をX−Y座標系への変換式に代入することによ
り、X−Y座標系での直線式が得られる。
(Xs,Ys)上の特徴点情報「1」を有する座標をρ
−θ極座標値に変換し、ρ−θ極座標系において曲線の
交点を求め、この交点をX−Y座標系への変換式に代入
することにより、特徴点を結ぶ直線を求めることができ
る。しかし、単に2点を結ぶ直線はX−Y座標系で直接
に求めることができ、ρ−θ極座標系への変換を行なう
意味はない。ところが、画面上のボンネット輪郭線は、
実際のボンネットの先端輪郭線がカ−ブしているとか、
ボンネットへの光の当り具合などにより画面上カ−ブし
ているとかあるいは粗れており、ボンネット輪郭線を直
線で近似する場合、単に2値デ−タテ−ブルE(Xs,
Ys)上の特徴点情報「1」がある2点を結ぶ直線を求
めたのでは、近似誤差が大き過ぎるし、ボンネットでな
いものの輪郭線を摘出してしまうこともあり得る。図1
2の(b)および図2に示すように、ボンネット輪郭線
は広い領域に分布しているので、2値デ−タテ−ブルE
(Xs,Ys)上には特徴点情報「1」が多く存在す
る。したがって、該「1」がある2点(画素)を結ぶ直
線は多数得られる。多数得た直線群を代表する右下りの
一直線を確定すると、それはボンネットの先端輪郭線の
右半分を最も良く近似するものである(図13のb)。
同様に、多数得た直線群を代表する左下りの一直線を確
定すると、それはボンネットの先端輪郭線の左半分を最
も良く近似するものである(図13のb)。しかしなが
らこのような統計的処理をX−Y座標系で行なうと処理
がきわめて複雑となる。ところがハフ変換を用いて、2
値デ−タテ−ブルE(Xs,Ys)上の特徴点情報
「1」がある座標(特徴点)をρ−θ極座標系へ変換す
ると、各特徴点を表わす曲線の交点が2点(ボンネット
の右半分輪郭線と左半分輪郭線に対応)に集中する。し
たがって2値デ−タテ−ブルE(Xs,Ys)の特徴点
をハフ変換し、ρ−θ極座標系上の各点で、曲線が通る
度数(一点を通る曲線の数)をカウントし、度数が最大
の点と次に大きい点の二点を選択して、選択した各点を
X−Y座標系への変換式に代入することによりボンネッ
トの輪郭線の右半分,左半分を表わす直線式が得られ
る。この実施例ではこのような論理に従って、すなわち
ハフ変換とρ−θ極座標系上各点を曲線が通る度数のカ
ウントにより、ボンネットの先端輪郭線を検出する。
交鎖度数のカウントを、2値デ−タテ−ブルE(Xs,
Ys)のサイズ対応の大きさのρ−θ極座標系全領域の
各点で行なうと、曲線が通る度数のカウント処理が膨大
となり、直線検出処理に長い時間がかかる。そこでこの
実施例では、2値デ−タテ−ブルE(Xs,Ys)の最
下端の左右中間点(X=255,Y=511)をρ−θ
極座標系の原点(0,0)に定め、かつ、2値デ−タテ
−ブルE(Xs,Ys)を左右に2分して、右半分につ
いて、第1ハフ変換で、2値デ−タテ−ブルE(Xs,
Ys)の特徴点を、低密度(サンプリングピッチが大き
い)ρ−θ極座標系に変換して該極座標系の各点を曲線
が通る度数(一点を通る曲線の数)をカウントし、度数
が最大の点(第1予測点)を求める。次に第2ハフ変換
で、第1予測点を中心とする小範囲のρ−θ領域を設定
し、該領域の大きさの中密度ρ−θ極座標系に2値デ−
タテ−ブルE(Xs,Ys)の特徴点を変換してこのρ
−θ極座標系の各点を曲線が通る度数をカウントし、度
数が最大の点(第2予測点)を求める。そして第3ハフ
変換で、第2予測点を中心とする更に小範囲のρ−θ領
域を設定し、該領域の大きさの高密度ρ−θ極座標系に
2値デ−タテ−ブルE(Xs,Ys)の特徴点を変換し
てこのρ−θ極座標系の各点を曲線が通る度数をカウン
トし、度数が最大の点(第3予測点)を求める。そして
この第3予測点で表わされる直線をボンネットの先端輪
郭線の右半分と決定する(図13の12R〜14R)。
2値デ−タテ−ブルE(Xs,Ys)の左半分について
も、同様に第1ハフ変換,第2ハフ変換および第3ハフ
変換を行って、ボンネットの先端輪郭線の左半分を表わ
す直線を決定する(図13の12L〜14L)。
ット検出」C3の内容を詳細に説明する。まずボンネッ
トの先端輪郭線の右半分を近似する直線を検出するため
のパラメ−タを設定する(12R)。そして該近似する
直線対応の点(Rm3,Tm3)を検出する(13R)。R
m3はρ−θ極座標系のρ値、Tm3はθ値である。求めた
点の座標値をレジスタRmR,TmRに格納する(14
R)。同様な処理をボンネットの先端輪郭線の左半分を
近似する直線を検出するために行なう(12L〜14
L)。ハフ変換により直線を検出する「直線当てはめ」
13R,13Lの内容は、特願平5−7017号に開示
のものと同じであるので、ここでの詳細な説明は省略す
る。なお、「直線当てはめ」13Rはウィンドウ1(図
2)の右半分の領域の直線を検出し、「直線当てはめ」
13Lは左半分の領域の直線を検出する。
めた直線それぞれは、極座標系の点(RmR,TmR)およ
び(RmL,TmL)で表わされ、これらの直線をX−Y座
標系で表わすと、RmR=Xcos(TmR)+Ysin(T
mR) およびRmL=Xcos(TmL)+Ysin(TmL)と
なる。これらの直線は、図13の(b)に示す如きもの
である。
ると、「直線交点計算」C4で、これらの直線の交点
(Xc,Yc)を次のように算出する: Xc=Xch+〔RmR×sinTmL−RmL×sinTmR〕/〔cosTmR×sinTmL−cosTmL×sinTmR 〕 ・・・(1) yc=Ych+〔RmR×cosTmL−RmL×cosTmR〕/〔sinTmR×cosTmL−sinTmL×cosTmR 〕 ・・・(2) この計算において、Xchは2値デ−タテ−ブルE(X
s,Ys)の領域のX方向中央位置(Xch=255)、Y
chは最下端位置(Ych=509)であり、点(Xch,Y
ch)は前述の直線検出で極座標原点に定めたものであ
る。
(図14) ここでロ−ル角とは、図14の(a)に示すように、前
記検出した2直線の交わる角を2等分する直線(車両の
縦軸線)と撮影画面のY軸線とのなす角θrであり、第
1カメラ16bの視野中心線と車両の縦軸線が、それら
を水平面に投影した場合になす角度、すなわち第1カメ
ラ16bの視野中心線の、車両の縦軸線に対するロ−ル
方向のずれ角である。パン移動量Xpは、撮影画面上で
の、該画面を左右に2等分する縦軸線に対する、ボンネ
ット先端中央(前記2直線の交点)の横方向ずれ量であ
る。自車から進行方向前方の車両(先行車両)を見てこ
の車両との車間距離を算出する場合、ロ−ル角θrある
いはパン移動量Xpが大きいと、自車の進行方向から外
れた方向にある車両や物体を自車レ−ン(自車が走行し
ているレ−ン)上の車両等と誤認する確率が高くなる。
この確率を下げるためにはロ−ル角θrおよびパン移動
量Xpが共に零となるように、カメラ16bの取付角を
調整すればよいが、この調整はむつかしくわずらわし
い。したがってある程度のロ−ル角θrおよびパン移動
量Xpは避けられない。そこでこの実施例では、「画面
の校正」Cにより、画面上でロ−ル角θrおよびパン移
動量Xpを零に調整するが、この調整代の算出のため
に、前述のC1〜C4の処理を行ない、かつ「ロ−ル
角,パン移動量計算」C5で、ロ−ル角θrおよびパン
移動量Xpを算出してロ−ル角レジスタθrおよびパン
移動量レジスタXpに格納する: θr=(TmL+TmR)/2−π/2 ・・・(3) Xp=Xc−256 ・・・(4)。
信ラインにより、算出したロ−ル角θrおよびパン移動
量Xpを、CPU21および31に送信する(図9のT
2)。
C6〜8を実行する。この内容をCPU11に関して説
明する(CPU21,31の処理も同様)と、CPU1
1は、次の、「補正画像メモリイニシャライズ」C6,
「画像回転平行移動」C7および「補間」C8を含む
「画像補正」により、イメ−ジメモリ15aの、入力デ
−タメモリ(1画面分の階調デ−タ記憶領域)の各画素
の階調デ−タのアドレス(図14の(b)のx,y)
を、ロ−ル角θrおよびパン移動量Xpに対応する回転
および平行移動を行なったアドレス(θr=0,Xp=
0で撮影画像を表わす画面座標系のアドレス;図14の
(b)のx’,y’)に変換して、入力デ−タメモリ対
応の補正画像メモリ(イメ−ジメモリ15aの、1画面
分の階調デ−タ記憶領域)に書込む(C6,C7)。
C6 このような回転および平行移動を行なうと、補正した画
面に階調デ−タが存在しない画素が生ずる。このような
画素を後に認識しうるように、「補正画像メモリイニシ
ャライズ」C6では、補正画像メモリの全アドレスに、
撮影画像デ−タ(階調デ−タ)には存在しない「−1」
を表わすデ−タを書込む。
y);x=0〜511,y=0〜511、のそれぞれ
を、θr=0,Xp=0で撮影画像を表わす画面座標系
(補正画像メモリ)のアドレス(x',y');x'=0〜5
11,y'=0〜511、に変換して、入力デ−タメモ
リのアドレス(x,y)の階調デ−タを、補正画像メモ
リの、該アドレス(x,y)を変換したアドレス
(x',y')に書込む。これにより、補正画像メモリの
階調デ−タを仮に2次元ディスプレイに表示すると、図
14の(a)に示すロ−ル角θrおよびパン移動量Xp
共に実質上零の、図2に示す如き画像が表示される。た
だし、この「画像回転平行移動」により、補正画像メモ
リ上には、階調デ−タが存在しないアドレス(画素=空
白画素)が生じることがあり、その場合そこには、上述
の「補正画像メモリイニシャライズ」C6により、「−
1」を示すデ−タが残存していることになる。
の周りの4画素の階調デ−タの平均値を割り当てる。周
り4画素のいずれかが空白画素であると、この割り当て
はしない。この「補間」C8においては、補正画像メモ
リのアドレス(画素)を順次に指定して、指定した画素
(注目画素)が空白画素(メモリデ−タが「−1」を示
すもの)であるかをチェックして、注目画素が空白画素
であると、図15に示すように、その左隣りの画素ロ,
右隣りの画素ハ,上側の画素イおよび下側の画素ニに階
調デ−タがあるかをこの順にチェックし、これら4個の
画素の1つでも空白画素であるとそこで、該注目画素に
対する処理は終了(空白画素のまま放置)し、注目画素
を次に移す。前記4画素を1つづつ階調デ−タがあるか
チェックしたとき、階調デ−タがあるとそれを累算レジ
スタIsの内容に加算し、得た和を累算レジスタIsに
更新メモリし、回数レジスタNsの内容を1インクレメ
ントする。前記4個の画素のすべてについてこれを終了
すると、これらの画素の階調デ−タの平均値Ic(x,
y)を算出して、注目画素にメモリする。
し、CPU11,21,31は次に、レジスタNveの
デ−タが0(無限遠点追跡に成功している:後述)であ
るかをチェックする(図10のA2)。後述の「無限遠
点計算」(D4)で、自車両走行レ−ンを区画する左右
白線の検出に成功しそれらの交点(これを無限遠点と称
す)の算出に成功しているときに、レジスタNveのデ
−タが0である。CPU11は、レジスタNveのデ−
タが0であると、「レ−ン検出ウィンドウ設定」(A
3)を実行し、レジスタNveのデ−タが0でないと、
「特徴点検出ウィンドウ2セット」(D1)を実行す
る。CPU21,31も同様な処理を実行する。
3) ここでは、車両前方のシ−ンの中から樹木,路肩等の背
景像(外乱)を除去し白線のみのエッジ点を検出するた
めに、エッジ検出を行う範囲を限定するウィンドウを設
定する。白線検出の処理速度を高速化するために、レ−
ン形状に応じた複数のレ−ン検出ウィンドウを規定する
デ−タをROM12に格納しており、前回「無限遠点計
算」(D4)で算出した無限遠点(Xv,Yv)および
「左右白線間隔(WL)計算」(D5)で算出した左,
右白線の、画面上の始端位置(xL,yL),(xr,
yr)に基づいて、レ−ン検出ウィンドウを定める。
すような逆V字形で、頂点を5パタ−ン,左右端を各3
パタ−ンで構成する合計45パタ−ンである。各パタ−
ンのウィンドウ形状は、常に白線が捕捉できるように、
次の観点で定められている。 (1)ウィンドウ幅(Wc,WL,Wr:図16) 車両のピッチングによるカメラ16bのチルト角の変動
が吸収できる幅, (2)頂点座標(C0〜C4:図16) 車両と白線とのヨ−角,カ−ブ路及び、カメラ16bの
ステアリングにより、画面上で移動する無限遠点を、常
にウィンドウ内に捕える, (3)左右端座標(L0,L1,L2,r0,r1,r
2:図16) 車両と白線とのヨ−角,カ−ブ路及び、カメラ16b,
26b,36bのステアリングにより、画面上の左右端
に映し出されるレ−ンの位置が変化しても、白線をウィ
ンドウ内に捕える。
である: ウィンドウ頂点C0〜C4のピッチ(Cn-1−Cn) カメラ16b:50,カメラ26b:70,カメラ36
b:80 なお、中央のC2がx方向の画面中央である, ウィンドウ左右端L0〜L2,r0〜r2のピッチ カメラ16b:60,カメラ26b:70,カメラ36
b:80 なお、L1,r1が、基準レ−ン幅で、レ−ンが水平か
つ直線のときに車両がその中央を走行しているときに表
われる白線(を近似した直線)の画面エッジにおける端
部位置である, ウィンドウ頂点の幅Wc: カメラ16b:50,カメラ26b:70,カメラ36
b:80 ウィンドウ左右端の幅WL,Wr: カメラ16b:60,カメラ26b:70,カメラ36
b:80。
CPU11は、C0〜C4の中の前回検出した無限遠点
のx座標値(Xv)に最も近い点(C0〜C4の1つC
i)を検策し、そのx座標値と前回検出した無限遠点の
y座標値を、レ−ン検出ウィンドウの基準位置(逆v字
線)の頂点に定め、前回検出した左,右白線の、画面上
の始端位置(xL,yL),(xr,yr)のy座標値
(yL),(yr)に最も近い点(L0〜L2の1つL
i,r0〜r2の1つri)を検索して、前回検出した
始端位置のx座標値と検出した点のy座標値をウィンド
ウの基準位置(逆v字線)の左,右端に定めて、このよ
うに定めた3点とWc,WL,Wrで規定される画面上
の領域(レ−ン検出ウィンドウ)を定める。なお、定め
たレ−ン検出ウィンドウを適用するメモリは補正画像メ
モリである。
D1 この内容は、前述の「特徴点検出ウィンドウ1セット」
C1と類似であるが、ウィンドウ2のサイズと位置がウ
ィンドウ1とは異なり、しかも、ウィンドウ2を適用す
るメモリは補正画像メモリである。図2に示すように、
ウィンドウ2は、ウィンドウ1の上側に設定される。
ンドウ2内の特徴点を検出する。この内容は前述の「特
徴点検出(UP)」C2と同様であり、「特徴点検出
(UP)」D2でも特徴点を表わす「1」情報は、2値
デ−タテ−ブルE(Xs,Ys)に書込む。ただし、検
出領域がウィンドウ2である点、および、処理対象デ−
タが補正画像メモリ上のデ−タである点、が異なる。
は、補正画像メモリ上の該レ−ン検出ウィンドウの内部
領域の特徴点を検出する。
で、自車レ−ンの右端白線を近似する直線および左端白
線を近似する直線を検出する。ただし、ウィンドウ2
(又はレ−ン検出ウィンドウ)がウィンドウ1とサイズ
および位置が異なるので、極座標原点が異なる(図
2)。
インドウ2(又はレ−ン検出ウィンドウ)の右半分に対
して適用される点に注意されたい。ここではまず、2値
デ−タテ−ブルE(Xs,Ys)上の特徴点をρ−θ極
座標系に変換してこの座標系の各点(r,t)の曲線が
通る度数カウント値を書込む、イメ−ジメモリ15aの
ある領域に割り当てたデ−タテ−ブルHGn(r,
t)、ここではn=1、のデ−タをクリアする。次にハ
フ変換パラメ−タ(変換領域およびハフ変換密度)を設
定し、第1回のハフ変換(HG1)を行なう。
2値デ−タテ−ブルE(Xs,Ys)の、補正画像メモ
リ対応の一画面の中のウィンドウ2(又はレ−ン検出ウ
ィンドウ)対応領域の右半分、に特徴点(「1」情報)
があるかをチェックする。特徴点がある毎に、該点を、
X−Y座標上で原点が(Xch=255,Ych=35
0)、θが0〜π/2の範囲、かつ、θの単位が(π/
2)×(1/32)の極座標ρ−θ上の位置(r,
t)、t=0〜31、rは r=〔(xs−Xch)cos{(Te−Ts)・t/Td+Ts} +(Ych−ys)sin{(Te−Ts)・t/Td+Ts}−Rs〕×Rd/(Re−Rs) ・・・(5) で算出される値、に変換し、データテーブルHGn(こ
こではn=1)の、位置(r,t)対応のアドレスのデ
ータを1インクレメントする。X−Y座標上の一点は極
座標ρ−θに変換すると極座標ρ−θ上では曲線となる
ので、前記変換された位置(r,t)は、t=0〜31
のそれぞれに対応する32個(それらの連なりが曲線)
となる。データテーブルHGnの、これらの位置(r,
t)に割り当てたアドレスのデータが1インクレメント
されるので、各アドレスのデータは、X−Y座標上の特
徴点それぞれの、ρ−θ座標上の曲線が通る度数を表わ
すことになる。
る。
(Re−Rs)である。
原点のX−Y座標上の位置であり、ここでは Xch=255、Ych=350 である。Xsは特徴点の、X−Y座標上のX座標値、Y
sはY座標値である。
4,θ=2π/64,θ=3π/64,・・・,31π
/64と、π/64を最小単位として32点のρ値rが
算出される。すなわちこの第1ハフ変換では、ウィンド
ウ2の右半分の領域の特徴点各点が、θがπ/64を最
小単位とし、かつ0以上π/2未満の範囲の極座標平面
上の位置(r,t)に変換される。
ので、すなわち、π/2を32分割しているので、これ
に対応してρの範囲0〜256も同様に32分割するも
のである。すなわちrの一単位は256/32である。
は、(5)式は具体的には次の(5-1)式である。
1/8 である。
標のθの単位をπ/64と粗いものとし、しかもρの単
位を256/32と粗いものとしているので、1つの特
徴点(Xs,Ys)をρ−θ極座標に変換する演算回数
(tの切換回数32すなわち(1)式の演算を行なう回数)
が極く少く、rデータビット数が少く、特徴点各点をρ
−θ極座標へ変換する速度が速く、かつ、度数カウント
処理速度が速い。
「ハフ変換(HG1)」を終了すると、第1回の「最大
点探索」を実行する。
ドレス(r,t)のデータ(度数)を順次に読出して、
読出したデータをレジスタGmのデータと比較して、読
出しデータの方が大きいと読出しデータをレジスタGm
に更新メモリし、かつこの時読出しデータのアドレス
(r,t)のrはレジスタrm1に、tはレジスタtm1に
更新メモリする。データテーブルHGnのすべてのアド
レスに対してこのような処理を終了すると、レジスタG
mにはデータテーブルHGnにある度数の最大値が、レ
ジスタrm1,tm1には該最大値があるアドレス(rm1,
tm1)が格納されていることになる。
終了すると、r−t極座標系で表現された前記アドレス
(rm1,tm1)を、X−Y座標系画面に対応するρ−θ
極座標系アドレス(Rm1,Tm1)に変換する。ここで
は、 Rm1=rm1・(Re1−Rs1)/Rd1 ・・・(6) Tm1=tm1・(Te1−Ts1)/Td1 ・・・(7) を算出して、算出したRm1をレジスタRm1に、算出した
Tm1をレジスタTm1に格納する。
(Re1−Rs1)=256 Rd1=32 (Te1−Ts1)=π/2 Td1=32 であり、(6)式は、Rm1=8・rm1 を意味し、(7)式
は、Tm1=(π/64)・tm1を意味する。アドレス(Rm
1,Tm1)をX−Y座標系への変換式に代入すると、補
正画像メモリの画像データを表示する画面上の、ウィン
ドウ2(又はレ−ン検出ウィンド)の右半分の領域にあ
る、ある直線(低密度ハフ変換67により検出した直
線:以下第1回検出の直線と称す)を示す式が得られ
る。
のある領域に割り当てたデータテーブルHGn(r,
t)のデータをクリアする。次に第2回のハフ変換であ
る「ハフ変換(HG2)」の変換パラメータを設定す
る。前述の第1回のハフ変換ではθの範囲Ts〜Teを
0〜π/2、単位(Te−Ts)/Tdをπ/64と
し、ρの範囲Rs〜Reは0〜256、単位Rd/(R
e−Rs)を1/8としたが、ここでは、θおよびρの
範囲を、前記(Rm1,Tm1)を中心とする小範囲に設定
し、θおよびρの単位も小さく設定する。具体的には、 Rs=8(rm1−2) Re=8(rm1+2) Rd=32 Ts=(π/64)(tm1−2) Te=(π/64)(tm1+2) Td=32 を設定する。なお、rm1=Rm1/8,tm1=Tm1/(π/
64)である。そして第2回の「ハフ変換(HG2)」を
行なう。
フ変換(HG2)」の内容は、第1回の「ハフ変換(H
G1)」と同様であるが、演算式(前述の(5)式)の内容
が異なる。すなわち前記(5)式は具体的には次の(5-2)式
となる。
d1=1/8 に対して、 a2=(π/512),b2=π(tm1−2)/64,c2=8(rm1−
2),d2=1 となる。
値rが算出される。すなわちこの第2回のハフ変換で
は、ウィンドウ2の右半分の領域の特徴点各点が、θが
(π/512)を最小単位(tの1単位がπ/512)とし、かつ
θ=π(tm1−2)/64以上θ=31(π/512)+π(tm1−2)/
64以下の範囲の極座標平面上の位置(r,t)に変換さ
れる。ρの範囲は8(rm1−2)以上8(rm1+2)以
下で、ρの単位はこの範囲を32分割するものである。
すなわちrの一単位は32/32=(1/1)=1である。
したがって、第2回のハフ変換はウィンドウ2(又はレ
−ン検出ウィンドウ)の右半分の特徴点を、第1のハフ
変換よりも、狭い範囲かつ高い密度の極座標に変換する
ものである。特徴点の1つの極座標変換では、この第2
ハフ変換でもt=0〜31、すなわち32回の演算を行
なうので、第1ハフ変換と処理時間は同程度である。1
つの特徴点(Xs,Ys)をρ−θ極座標に変換する演
算回数が極く少く、rデータビット数が少く、特徴点各
点をρ−θ極座標へ変換する速度が速く、かつ、度数カ
ウント処理速度が速い。
「ハフ変換(HG2)」を終了すると、第2回の「最大
点探索」を実行する。その内容は前述の、第1回の「最
大点探索」と同様である。この処理を終了すると、レジ
スタGmにはデータテーブルHGnにある度数の最大値
が、レジスタrm2,tm2には該最大値があるアドレス
(rm2,tm2)が格納されていることになる。
終了すると、r−t極座標系で表現された前記アドレス
(rm2,tm2)を、X−Y座標系画面に対応するρ−θ
極座標系アドレス(Rm2,Tm2)に変換する。演算式
は、 Rm2=rm2・(Re2−Rs2)/Rd2+Rs2 ・・・(8) Tm2=tm2・(Te2−Ts2)/Td2+Ts2 ・・・(9) である。算出したRm2をレジスタRm2に、算出したTm2
をレジスタTm2に格納する。ここでは、 (Re2−Rs2)=32 Rd2=32 (Te2−Ts2)=π/16 Td2=32 であり、(8)式は、具体的には、 Rm2=rm2+8rm1−16 ・・・(8-1) であり、(9)式は、具体的には、 Tm2=tm2・(π/512)+(π/64)・(tm1−2) ・・・(9-1) を意味する。アドレス(Rm2,Tm2)をX−Y座標系へ
の変換式に代入すると、補正画像メモリの画像データを
表示する画面上の、ウィンドウ2(又はレ−ン検出ウィ
ンドウ)の右半分の領域にある、ある直線(中密度ハフ
変換により検出した直線:以下第2回検出の直線と称
す)を示す式が得られる。
のある領域に割り当てたデータテーブルHGn(r,
t)のデータをクリアする。次に第3回のハフ変換であ
る「ハフ変換(HG3)」の変換パラメータを設定す
る。ここでは、θおよびρの範囲を、第2回の「ハフ変
換(HG2)」の場合よりも、前記(Rm2,Tm2)を中
心とする更に小さい範囲に設定し、θおよびρの単位も
小さく設定する。具体的には、 Rs=rm2+8rm1−18 Re=rm2+8rm1−14 Rd=32 Ts=(π/512)tm2+(π/64)tm1−9π/256 Te=(π/512)tm2+(π/64)tm1−7π/256 Td=32 を設定する。なお、rm2,tm2は、Rm2,Tm2に対して
上記(8-1)式,(9-1)式で規定されるものである。そして
第3回の「ハフ変換(HG3)」を行なう。
フ変換(HG3)」の内容は、前述の第2回の「ハフ変
換(HG2)」と同様であるが、演算式(前述の(5)式)
の内容が異なる。前記(5)式は、この第3回の「ハフ変
換(HG3)」では、具体的には次の(5-3)式となる。
d1=1/8 a2=(π/512),b2=π(tm1−2)/64,c2=8(rm1−
2),d2=1 に対して、 a3=(π/4096),b3=(π/512)tm2+(π/64)tm1−9
π/256,c3=rm2+8rm1−18,d3=8 となる。
31)に対応するρ値rが算出される。すなわちこの第
3回のハフ変換では、ウィンドウ2(又はレ−ン検出ウ
ィンドウ)の右半分の領域の特徴点各点が、θが(π/40
96)を最小単位(tの1単位がπ/4096)とし、かつθ=
(π/512)tm2+(π/64)tm1−9π/256以上 θ=31(π/4
096)+(π/512)tm2+(π/64)tm1−9π/256以下 の範
囲の極座標平面上の位置(r,t)に変換される。ρの
範囲はRs=rm2+8rm1−18 以上 Re=rm2+8rm1−
14 以下で、ρの単位はこの範囲を32分割するもので
ある。すなわちrの一単位は4/32=(1/8)である。
したがって、第3回のハフ変換はウィンドウ2(又はレ
−ン検出ウィンドウ)の右半分の特徴点を、第2回のハ
フ変換よりも、更に狭い範囲かつ高い密度の極座標に変
換するものである。特徴点の1つの極座標変換では、こ
の第3回のハフ変換でもt=0〜31であるので、32
回の演算を行なうので、第2回のハフ変換と処理時間は
同程度である。1つの特徴点(Xs,Ys)をρ−θ極
座標に変換する演算回数が極く少く、rデータビット数
が少く、特徴点各点をρ−θ極座標へ変換する速度が速
く、かつ、度数カウント処理速度が速い。
「ハフ変換(HG3)」を終了すると、第3回の「最大
点探索」を実行する。その内容は前述の、第2回の「最
大点探索」と同様である。この処理を終了すると、レジ
スタGmにはデータテーブルHGnにある度数の最大値
が、レジスタrm3,tm3には該最大値があるアドレス
(rm3,tm3)が格納されていることになる。
終了すると、r−t極座標系で表現された前記アドレス
(rm3,tm3)を、X−Y座標系画面に対応するρ−θ
極座標系アドレス(Rm3,Tm3)に変換する。演算式
は、 Rm3=rm3・(Re3−Rs3)/Rd3+Rs3・・・(10) Tm3=Tm3・(Te3−Ts3)/Td3+Ts3・・・(11) である。算出したRm3をレジスタRm3に、算出したTm3
をレジスタTm3に格納する。ここでは、 (Re3−Rs3)=4 Rd3=32 (Te3−Ts3)=π/128 Td3=32 であり、(10)式は、具体的には、 Rm3=(1/8)・rm3+rm2+8rm1−18 ・・・(10-1) であり、(7)式は、具体的には、 Tm3=(π/128)・tm3+(π/512)tm2+(π/64)tm1−9π/256 ・・・(10-1) を意味する。アドレス(Rm3,Tm3)をX−Y座標系へ
の変換式に代入すると、補正画像メモリの画像データを
表示する画面上の、ウィンドウ2(又はレ−ン検出ウィ
ンドウ)の右半分の領域にある、ある直線(高密度ハフ
変換により検出した直線:以下第3回検出の直線と称
す)を示す式が得られる。以上で「直線当てはめ」を終
了したことになる。
ィンドウ)の右半分領域にある画像中の直線(最も代表
的な直線)を表わす直線(第3回検出の直線)を得たこ
とになる。ウィンドウ2(又はレ−ン検出ウィンドウ)
は、自車レーンの左,右端の白線を検出するに適した領
域に設定されており、ウィンドウ2(又はレ−ン検出ウ
ィンドウ)の右半分領域に右端の白線像があると、第3
回検出の直線はこの白線を近似する直線である確率が高
い。したがって、上述の「直線当てはめ」は、ウィンド
ウ2(又はレ−ン検出ウィンドウ)の右半分領域での、
自車レーンの右端白線の検出である。
表わすデータ(Rm3,Tm3)のRm3をレジスタRmRに、
Tm3をレジスタTmRに格納する。すなわち自車レーンの
右端白線を表わす直線を表わすデータをレジスタRmR,
TmRに格納する。
レ−ン検出ウィンドウ)の右半分領域に関する処理と同
様な処理を、ウィンドウ2(又はレ−ン検出ウィンド
ウ)の左半分領域に施して、自車レーンの左端白線を表
わす直線を検出し、それを表わすデータをレジスタRm
L,TmLに格納する。以上で「左右白線検出」D3を終
了する。CPU11は次に、「無限遠点計算」D4を行
なう。
mRのデータが表わす直線(自車走行レーン右端白線と推
定した)と、レジスタRmL,TmLのデータが表わす直線
(自車走行レーン左端白線と推定した)との交点(X
c,Yc)を算出する。次に、算出した交点(Xc,Y
c)が、レジスタXv,Yvのデ−タが表わす無限遠点
(Xv,Yv)を中心とする横60画素×縦60画素の
領域内に存在するかをチェックする。この領域内である
と、今回求めた交点(Xc,Yc)が無限遠点である信
頼性が高いので、無限遠点データ(Xc,Yc)を、今
回求めた交点(Xc,Yc)に1/8の重み付けをし、
これまでの無限遠点データ(Xc,Yc)に7/8の重
み付けをして加算した値に更新する。そして、無限遠点
追跡に失敗した回数をカウントするためのレジスタNve
をクリアする。
スタXv,Yvのデ−タが表わす無限遠点(Xv,Y
v)を中心とする前記横60画素×縦60画素の領域内
にないときには、無限遠点追跡が失敗(今回の交点算出
がエラー又はこれまでの無限遠点データ(Xv,Yv)
がエラー)であるとして、レジスタNveの内容を1イン
クレメントし、レジスタNveの内容が5になったかをチ
ェックする。5になっていると、今回と過去4回の計5
回連続して交点算出がエラーであったことになり、これ
は現在保待している無限遠点データ(Xc,Yc)がエ
ラーであると見なして、無限遠点データ(Xc,Yc)
を今回算出した交点(Xc,Yc)に更新する。
グ」A4 ここでCPU11は、「左右白線検出」(D3)で検出
した、直線を表わすパラメ−タρ,θおよび「無限遠点
計算」(D4)で算出した直線交点座標(Xv,Yv)
をフィルタリングする。すなわち、 ρL=(3・ρL+RmL)/4 ・・・(11L) ρR=(3・ρR+RmR)/4 ・・・(11R) θL=(3・θL+TmL)/4 ・・・(12L) θR=(3・θR+TmR)/4 ・・・(12R) を算出して、レジスタρL,ρR,θL,θRに格納す
る。上記4式のカッコ内のρL,ρR,θL,θRはレ
ジスタρL,ρR,θL,θRの前回値、RmL等はレ
ジスタRmL等のデ−タである。次に、算出したρL,
ρRで表わされる直線とθL,θRで表わされる直線の
交点(Xv,Yv)を算出し、XvをレジスタXvに、
YvをレジスタYvに書込む。
隔(レーン幅)WLを算出する。これにおいては、カメ
ラ16bの視野中心線(図17の2点鎖線)が路面と交
わる位置(画面上では画面の中心点)L1での、画面上
の右端白線(ρR,θR)のX位置を路面上位置XRに
変換し、画面上の左端白線(ρL,θL)のX位置を路
面上位置XLに変換して、間隔WL=XR−XLを、次のよ
うに算出する: XR=(Sy×Hc×sinθR)/(Sx×cosθR) ・・・(13R) XL=(Sy×Hc×sinρR)/(Sx×cosρR) ・・・(13L) WL=XR−XL ・・・(14) なお、図17のSxおよびSyはそれぞれカメラ16b
の横方向および縦方向のスケールファクタであり、Hc
は、カメラ16bのレンズの中心の、路面からの高さで
ある。
ーン間隔WLが正しい(自車レーン検出成功)かをチェッ
クする(D6)。すなわち、基準値WL3Dに対するWLの
偏差が、許容範囲DwL内であるかをチェックする。この
実施例では、日本の高速道路のレーン幅が3.5±0.
2mであるので、基準値WL3D=3.5mに、許容値Dw
L=0.3mに定めている。
DwL内にあると、自車レーン検出に成功しているとし
て、これを表わす情報「1」をレジスタFLに書込み
(61)、基準値WL3Dに対するWLの偏差が許容範囲D
wLを外れていると、自車レーン検出に失敗しているとし
て、これを表わす情報「0」をレジスタFLに書込む
(62)。以上で、「自車レーン検出」を終了したこと
になり、自車レーン検出が成功していると、レジスタF
Lのデータは「1」である。
11は、レジスタFLのデータをチェックしてそれが
「1」であると、「カ−ブ推定」G1を実行する。すな
わち、 R=(L1/2)・sinA ・・・(15) でカ−ブ半径Rを算出する。L1は、カメラ16bから
その視野中心線が水平路面と交わる点までの距離(L1
=15m)、Aはカメラ16bのステアリング角(図1
1のA5で算出する)である。次に、算出したカ−ブ半
径が2000m以下(カ−ブしている)かをチェックし
て(G2)、そうであると「特徴点選定」G3を実行す
る。
限遠点(Yv)までの、レジスタρR,θRのデ−タρ
R,θRが表わす直線上の画素を中心とする、y方向±
設定半幅値(路面上で±80cm以内)、かつx方向±
5画素以内の特徴点を、右白線(ここでは道路がカ−ブ
しているので右曲線)を表わす特徴点として抽出する。
同様に、ウィンドウ2の領域内かつy軸方向で無限遠点
(Yv)までの、レジスタρL,θLのデ−タρL,θ
Lが表わす直線上の画素を中心とする、y方向±設定半
幅値(路面上で±80cm以内)、かつx方向±5画素
以内の特徴点を、左白線(ここでは道路がカ−ブしてい
るので左曲線)を表わす特徴点として抽出する。
点の座標を、路面の3次元座標系(X,Y,Z)に変換
する。Xは水平左右方向,Yは垂直上下方向,ZはX,
Yに直交する水平方向(車両前方向)である。カメラ1
6bの光学モデルの側面および平面を図18の(a)お
よび(b)に示す。なお、路面は水平な平面(Z軸に平
行)と見なす。図18の(a)において、路面上の点P
が上述の特徴点の1つypを意味するとする: tan(α−θ)=hc/Zp ・・・(16) tanθ=B/f ・・・(17) であり、これらの関係より、点PのZ軸座標値Zpは、 Zp=(f+B・tanα)・hc/(f・tanα−B) ・・・(18) となる。また、カメラ16bの下向き角度αは、 tanα=(yo−VP)/f ・・・(19) である。(19)式のtanαを算出し、これを(18)式に代
入してZpを算出することができる。ここで、yoはカ
メラ座標系(画面座標系)の視野中心位置,ypは特徴
点の位置,Bは、カメラ系のy座標上での、視野中心位
置に対する特徴点の位置差、VPはカメラ系のy座標上
での、道路座標系の水平線を投影した位置である。
と、処理時間が長くなるため、近似計算を考える。関数
tan(β)と角度βとの関係は、βが0に近いときに
は、tanβ=βと近似できるため、(16)式,(17)式
は、 α−θ=hc/Zp ・・・(16a) θ=B/f=(yo−yp)/f ・・・(17a) α=(yo−VP)/f ・・・(19a) となり、(18)式は、 Zp=f・hc/(yp−VP) ・・・(18a) と近似できる。CPU11は、この(18a)式の演算で、
特徴点のカメラ系のy座標値を、道路系のZ軸座標値Z
pに変換する。
P(画面上の特徴点の対応位置)と結像面との関係は、 tanθ=Xp/Zp ・・・(20) tanθ=xp/f ・・・(21) となる。xpが、カメラ座標系での、特徴点のx座標値
である。これら(20),(21)式より、道路座標系の点Pの
X座標値Xpは、 Xp=Zp・xp/f ・・・(22) と算出できる。CPU11は、この(22)式で表わされる
演算で、Xpを算出する。なお、道路座標系(X,Y,
Z)で、特徴点のY座標値は、計算処理を単純化するた
めに、すべて0としている。
角の算出」A5で算出した、カメラ16b,26b,3
6bのステアリング角度A,B,C(図5)が格納され
る。「特徴点の回転補正」G5でCPU11は、上述の
ように道路系座標に変換した特徴点位置デ−タ(Zp,
Xp)を、垂直軸Y(図18の(a))を中心にAだけ
回転した値に変換する。これは、カメラの視野中心線か
ら見た特徴点の方向を、車両の前後軸から見た特徴点の
方向に変換することを意味する。すなわち、この回転補
正前の特徴点位置デ−タ(Zp,Xp)は、Z軸がカメ
ラの視野中心線の水平面投影線と合致する道路座標系の
ものであるが、上述の回転補正は、特徴点位置デ−タ
(Zp,Xp)を、Z軸が車両前後軸の水平面投影線に
合致する道路座標系のものに変換する。
イニシャライズ」C6から図10を経て図11の「特徴
点の回転補正」G5までの上述のCPU11の処理と同
様な処理を、CPU21およびCPU31が、それぞれ
カメラ26bおよび36bで撮影して得た画像デ−タを
対象に、実行する。
点位置デ−タ(右白線対応のものと左白線対応のもの、
計2グル−プ)を、メモリ15aの特定領域に割り当て
たレ−ン領域デ−タテ−ブルの、カメラ16b撮影デ−
タ領域(右白線用領域と左白線用領域)に書込む。
ンを介して、CPU21に、それが上述のように回転補
正を施した特徴点位置デ−タの転送を指示しかつDMA
装置14に、DMA転送装置24から送られて来るデ−
タの、レ−ン領域デ−タテ−ブルのカメラ26b撮影デ
−タ領域への書込みを指示する。CPU21はCPU1
1のこの指示に応じてDMA装置24に、回転補正を施
した特徴点位置デ−タを格納しているメモリ領域を指定
してデ−タ転送を指示する。DMA装置24はこの指示
に応答して該メモリ領域のデ−タを読出してDMAデ−
タラインに送出し、DMA装置14がそれをメモリ15
aに書込む。DMA24が送出終了を報知するとCPU
21は転送終了をCPU11に報知する。
間シリアルデ−タ通信ラインを介して、CPU31に、
それが上述のように回転補正を施した特徴点位置デ−タ
の転送を指示しかつDMA装置14に、DMA転送装置
24から送られて来るデ−タの、レ−ン領域デ−タテ−
ブルのカメラ36b撮影デ−タ領域への書込みを指示す
る。CPU31はCPU11のこの指示に応じてDMA
装置34に、回転補正を施した特徴点位置デ−タを格納
しているメモリ領域を指定してデ−タ転送を指示する。
DMA装置34はこの指示に応答して該メモリ領域のデ
−タを読出してDMAデ−タラインに送出し、DMA装
置14がそれをメモリ15aに書込む。DMA34が送
出終了を報知するとCPU21は転送終了をCPU11
に報知する。
ップG2で推定カ−ブ半径Rが2000m超を判定して
いた場合には、ステップG3,G4A,G5Aを実行し
ていないので、該CPU21又はCPU31はCPU1
1にデ−タなしを報知する。この場合にはそこでCPU
11は、後述の「ρ,θの座標変換」G4Bに進む。 G6A.「曲線検出(最小自乗)」G6A CPU11は次に、上述のレ−ン領域デ−タテ−ブルの
右白線用領域群の特徴点位置デ−タ(カメラ16b,2
6b,36bそれぞれで得た特徴点の集合)に対して、
最小自乗法を適用して、それらの特徴点の分布が表わす
円弧(右白線の近似曲線)を算出する。すなわち、Z方
向で車両に近い側の円弧端のX,Z座標値,遠い側の円
弧端のX,Z座標値,円弧中心のX,Z座標値および半
径RRを算出する。これらの座標値はいずれも、この段
階では、車両の前後軸の水平面投影線をZ軸とする道路
座標系のものである。このとき、特徴点のサンプル数
(存在数)をカウントする。そして同様に、上述のレ−
ン領域デ−タテ−ブルの左白線用領域群の特徴点位置デ
−タ(カメラ16b,26b,36bそれぞれで得た特
徴点の集合)に対して、最小自乗法を適用して、それら
の特徴点の分布が表わす円弧(左白線の近似曲線)を算
出し、特徴点のサンプル数をカウントする。
径R(2組RR,RL)をチェックして、特徴点サンプル
数の1つでも所定値未満であると、又は、カ−ブ半径R
の一方が2000mを越えると、曲線検出不成立と見な
して、レ−ンを直線と決定(判定)する。
ブ半径RR,RLのいずれもが2000m以下であると、
曲線検出成立と見なして、今回検出した半径RRR,RL
のそれぞれをフィルタリング処理して、半径レジスタR
R,RLに更新書込みする。すなわち、今回算出した半
径Rが150m以下のときには係数Kwを16に、15
0m超過300m以下のときには係数Kwを8に、30
0mを越えるときには係数Kwを4に定めて、 RR=〔(Kw−1)・RR+RR〕/Kw ・・・(23R) RL=〔(Kw−1)・RL+RL〕/Kw ・・・(23L) を算出し、算出したRRおよびRLをレジスタRR,R
Lに更新書込みする。(Kw−1)・RR,(Kw−1)
・RLのRRおよびRLは、それぞれレジスタRRおよ
びRLの、更新書込み前のデ−タ値である。Kwを上述
のように定めるので、算出したカ−ブ半径RR,RLが大
きいときには、フィルタリング処理値RR,RLに対す
る今回算出の半径RR,RLの寄与比(重み)が大きく、
算出値に対するフィルタリング処理値の応答性が高い。
算出したカ−ブ半径RR,RLが小さいときには、フィル
タリング処理値RR,RLに対する今回算出の半径
RR,RLの寄与比(重み)が小さく、算出値に対するフ
ィルタリング処理値の応答性は低い。カ−ブ半径に対応
して定められるカメラ16b,26b,36bのステア
リング角A,B,Cは、カ−ブ半径に略反比例し、ホス
トMPU18が行なうカ−ブ対応の制御の重要度がカ−
ブ半径に略反比例し、カ−ブ検出又は算出の誤差が大き
い場合やそれらの信頼性が低い場合には、カ−ブ半径が
小さいときにカメラが走行レ−ンを見失なうとか、ホス
トMPU18のカ−ブ対応制御がエラ−となるとか、制
御の信頼性が低下する。これを改善するために、上述の
ように、フィルタリング処理値を、大きい算出値RR,
RLに対しては高応答(Kw小)に、小さい算出値RR,R
Lに対しては低応答(Kw大)に定めた。
000mを越える場合、先の「補正デ−タの集積」T3
Aで、CPU21又はCPU31が転送デ−タなしを報
知して来た場合、あるいは、「曲線検出の成否判定」G
7で曲線検出不成立と判定した場合、CPU11は、先
の「ρ,θ&無限遠点のフィルタリング」A4で得た走
行レ−ンの左右白線を近似する直線を規定するデ−タ
(ρL,θL),(ρR,θR)を、カメラの視野中心
線の水平面投影線をZ軸とする道路座標系(X,Y,
Z)の直線を規定するデ−タ(Road−ρL,Road−θ
L),(Road−ρR,Road−θR)に変換する。CPU
21およびCPU31も、先の「カ−ブ推定」G1で推
定したカ−ブ半径Rが2000mを越える場合、同様に
変換処理を行なう。
ad−θL),(Road−ρR,Road−θR)に、カメラ1
6bのステアリング角A相当の回転補正を加えた、車両
前後軸を基準とした直線規定デ−タ(ρLR,θLR),
(ρRR,θRR)を算出する。すなわち、カメラの視野
中心線の水平面投影線をZ軸とする道路座標系の直線規
定デ−タ(Road−ρL,Road−θL),(Road−ρR,
Road−θR)を、車両の前後軸の水平面投影線をZ軸と
する道路座標系の直線規定デ−タ(ρLR,θLR),
(ρRR,θRR)に変換する。CPU21およびCPU
31も同様に変換処理を行なう。
して、CPU21およびCPU31より、それらが変換
処理した直線規定デ−タ(ρLR,θLR),(ρRR,
θRR)を得る。
ップG2で推定カ−ブRが2000m以下を判定してい
た場合には、ステップG4B,G5Bを実行していない
ので、該CPU21又はCPU31は、CPU11に該
当デ−タなしを報知する。この場合にはCPU11は、
そのまま次の「直線検出」G6Bに進む。
デ−タ(ρLR,θLR),(ρRR,θRR)ならびにC
PU21およびCPU31が転送して来た同様な直線規
定デ−タの3者(ただし、CPU11のものだけ(1者
のみ)の場合があり、またCPU21又はCPU31の
ものとCPU11のもの合せて2者の場合もある)が表
わす2グル−プの直線(右白線グル−プと左白線グル−
プ)の各グル−プを代表する(近似する)右代表直線お
よび左代表直線を規定するデ−タ(ρRRm,θRRm)お
よび(ρLRm,θLRm)を算出する。これは重み付け平
均で行ない、CPU11のものには8/16の重み付け
を、CPU21のものには5/16の重み付けを、CP
U31のものには3/16の重み付けをする。
この「左右レ−ンの推定」G10に進んだときには、
「カ−ブRのフィルタリング」G9で得た半径レジスタ
RRのデ−タとレジスタRLのRLを比較して右曲りか
左曲りかを判定して、右曲りのときには、RR−WLを
右隣接レ−ンの右白線のカ−ブ半径として、RL+WL
を左隣接レ−ンの左白線のカ−ブ半径として算出し、左
曲りのときには、RR+WLを右隣接レ−ンの右白線の
カ−ブ半径として、RL−WLを左隣接レ−ンの左白線
のカ−ブ半径として算出する。WLは、レジスタWLの
デ−タであり、「左右白線間隔(WL)計算」D5(図
10)でCPU11が算出した自車走行レ−ン幅であ
る。
の推定」G10に進んだときには、「直線検出」G6B
で算出した、右代表直線(を規定するデ−タρRRm,θ
RRm)を右にWL分平行移動した直線を規定するデ−タ
(ρRRR,θRRR)ならびに左代表直線(を規定する
デ−タρLRm,θLRm)を左にWL分平行移動した直線
を規定するデ−タ(ρLLR,θLLR)を算出する。
推定」G10で算出した、右隣接レ−ンの右白線に相当
する円弧および左隣接レ−ンの左白線に相当する円弧そ
れぞれの、図3(道路座標系であり車両の前後軸の水平
面投影線がZ軸)に示す10m,L1=15m,30
m,L2=45m,60m,L3=75mおよび90m
(いずれもZ軸値)の、それぞれの地点の位置デ−タ
(Z,X)を算出する。
「左右レ−ンの推定」G10で算出した、右隣接レ−ン
の右白線に相当する直線および左隣接レ−ンの左白線に
相当する直線それぞれの、図3に示す10m,L1=1
5m,30m,L2=45m,60m,L3=75mお
よび90mの、それぞれの地点の位置デ−タ(Z,X)
を算出する。
に撮影が割り当てられた領域(10〜30mの範囲)
に、道路領域(自車走行レ−ン+右隣接レ−ン+左隣接
レ−ン)を規定する6点(10m地点で左右各1点,1
5m地点で左右各1点および30m地点で左右各1点)
が定められたことになる。
影が割り当てられた領域(30〜60mの範囲)に、道
路領域(自車走行レ−ン+右隣接レ−ン+左隣接レ−
ン)を規定する6点(30m地点で左右各1点,45m
地点で左右各1点および60m地点で左右各1点)が定
められたことになる。
に撮影が割り当てられた領域(60〜90mの範囲)
に、道路領域(自車走行レ−ン+右隣接レ−ン+左隣接
レ−ン)自車両走行レ−ン領域を規定する6点(60m
地点で左右各1点,75m地点で左右各1点および90
m地点で左右各1点)が定められたことになる。
G12 CPU11は、カメラ16b(CPU11)に撮影が割
り当てられた領域の上記6点を、カメラ16bのステア
リング角A対応の補正を施してから、すなわちカメラ1
6bの視野中心線の水平面投影線をZ軸とする道路座標
系の位置に変換してから、カメラ16bの撮影画面上の
座標値に逆変換し、同様に、カメラ26b(CPU2
1)および36b(CPU31)に撮影が割り当てられ
た領域の各6点を、各カメラの撮影画面上の座標値に逆
変換する。
T4 ここでCPU11は、CPU間シリアルデ−タ通信ライ
ンを介して、CPU21に、カメラ26b(CPU2
1)に撮影が割り当てられた領域の上記6点の上記逆変
換した座標値を与えて、該6点で囲まれる領域の特徴点
の摘出,座標変換(カメラ視野中心線の水平面投影線を
Z軸とする道路座標系の位置への変換)および回転補正
(車両前後軸の水平面投影線をZ軸とする道路座標系の
位置への変換)を指示し、CPU31には、カメラ36
b(CPU31)に撮影が割り当てられた領域の上記6
点の逆変換した座標値を与えて、該6点で囲まれる領域
の特徴点の摘出,座標変換および回転補正を指示する。
そしてCPU11は、カメラ16b(CPU11)に撮
影が割り当てられた領域の上記6点の上記逆変換した座
標値に基づいて、該6点が囲む領域(折れ線で囲まれ
る)の、メモリ15a上の特徴点を摘出し、摘出した特
徴点に対して、上述の「座標変換」G4Aと同様な座標
変換処理を実行し、更に、上述の「特徴点の回転補正」
G5Aと同様な回転補正処理を実行する。このようにし
て得た特徴点デ−タは、メモリ15aの特定領域に割り
当てたレ−ン領域デ−タテ−ブルの、カメラ16b撮影
デ−タ領域に書込む。CPU21およびCPU31も同
様な処理を行なう。
タ通信ラインを介して、CPU21に、このように処理
した特徴点デ−タの、メモリ15aへのDMA転送を指
示する。このDMA転送が終了するとCPU11は、C
PU31に、上述のように処理した特徴点デ−タの、メ
モリ15aへのDMA転送を指示する。これらのDMA
転送の詳細は、前述の「補正デ−タの集積」T3Aの中
で説明したDMA転送と同様である。
テ−ブルの、カメラ16b撮影デ−タ領域,カメラ26
b撮影デ−タ領域およびカメラ36b撮影デ−タ領域の
全領域に渡って、特徴点の分布を検索する。すなわち、
車両前後軸の水平面投影線をZ軸とする道路座標系で、
自車走行レ−ン,右隣接レ−ンおよび左隣接レ−ンの3
レ−ン(道路面領域)に分布する特徴点の、X方向(左
右方向)分布数(Z軸投影ヒストグラム)を検索する。
これにおいては、道路面領域をZ方向で下(車両直近)
側から、左から右に水平走査(X方向走査)して、その
走査線上にある特徴点の数をカウントし、カウント値を
走査線No.(Z位置)対応でセ−ブする。このX走査
を道路面領域のZ方向で下(車両直近)から上側(遠
方)へ行なう。
グラムの作成)を完了すると、特徴点の水平カウント値
(X方向分布数)が設定値以上のZ方向連続幅(車両に
近い始端Z位置と終端Z位置)を、Z方向で下(車両直
近)側から検索し、それがあると、そのZ方向連続幅の
Z始端からZ終端までの、道路面領域の特徴点を、X方
向で左端から垂直(Z方向)に走査して右端まで、特徴
点の垂直分布数を検索(X軸投影ヒストグラムを作成)
する。そしてこのX軸投影ヒストグラムから、特徴点の
垂直カウント値(Z方向分布数)が設定値以上のX方向
連続幅(始端X位置と終端X位置)を、X方向で左(左
隣接レ−ンの左白線相当位置)側から検索し、それがあ
ると、その中央点(始端X位置と終端X位置の中間点
(Xt)を算出し、垂直走査幅(前記水平カウント値が
設定値以上のZ方向連続幅の中間点(Zt)を算出し、
車両デ−タテ−ブルに、(Xt,Zt)を書込む。特徴
点の水平カウント値が設定値以上の第1のZ方向連続幅
について、左端から右端まで、上述の垂直カウント値が
設定値以上のx方向連続幅の検索を終了すると、Z軸投
影ヒストグラム上の、車両直近から遠方への次の、水平
カウント値が設定値以上の第2のZ方向連続幅を検索す
る。
ムによりZ方向の、他車両が存在する可能性がある領域
を、自車両直近側から遠方側に(Z方向に)順次に検索
し、1つの該当領域を検索したときにその領域を、自車
両の左方側(左隣接レ−ン)から右方側に(X方向
に)、他車両が存在する可能性がある領域を検索し、そ
れがあると、検索した領域の中心デ−タ(Xt,Zt)
を、車両デ−タテ−ブルに書込む。これを道路面領域全
面について終了すると、カメラ16b,26bおよび3
6bで撮影した路面(自車走行レ−ン+推定の左隣接レ
−ン+推定の右隣性レ−ン)上の存在車両(正確には、
車両でない場合もある。例えば貨物車からの落下物)の
道路座標系上の位置(Xt,Zt)が車両デ−タテ−ブ
ルにあることになる。
の各位置(Xt,Zt)が、左隣接レ−ン(推定レ−
ン)上か,それと自車走行レ−ンとの間(両レ−ンにま
たがる)か、自車走行レ−ン上か、それと右隣接レ−ン
との間か、あるいは、右隣接レ−ン(推定レ−ン)上
か、識別し、この区分を表わすデ−タを、車両デ−タテ
−ブルの各位置情報(Xt,Zt)に付加する。以下に
おいては位置情報(Xt,Zt)+区分デ−タを、他車
両デ−タと称す。
−ブ半径(RR+RL)/2)および車両デ−タテ−ブ
ルの他車両デ−タを、通信コントロ−ラ17を介してホ
ストMPU18に転送する。曲線検出不成立の場合に
は、直線情報(直線であることを表わすデ−タ)と車両
デ−タテ−ブルの他車両デ−タを転送する。
5 CPU11は、車両デ−タテ−ブルの、他車両デ−タの
中から、区分デ−タが自車走行レ−ン,それと左又は右
隣性レ−ンとの間である車両位置の、距離(Zt)が1
0〜30mの範囲内であって、しかも最短のものを検索
する。それがあると、該検索した車両位置(Xt,Z
t)にカメラ16bの視野中心線(の路面上投影線)を
向けるためのステアリング角Aを算出する。該当する車
両位置が無かったときには、自車走行レ−ンの、車両よ
りL1前方(Z位置=L1)の幅WLの中央(左,右白
線の中間点)にカメラ16bの視野中心線(の路面上投
影線)を向けるためのステアリング角Aを算出する。そ
して、レジスタAnのデータAnをレジスタAに書込み、
レジスタAnに、今回算出したステアリング角Aを書込
む。
の、他車両デ−タの中から、区分デ−タが自車走行レ−
ン,それと左又は右隣性レ−ンとの間である車両位置
の、距離(Zt)が30〜60mの範囲内であって、し
かも最短のものを検索する。それがあると、該検索した
車両位置(Xt,Zt)にカメラ26bの視野中心線
(の路面上投影線)を向けるためのステアリング角Bを
算出する。該当する車両位置が無かったときには、自車
走行レ−ンの、車両よりL2前方(Z位置=L2)の幅
WLの中央(左,右白線の中間点)にカメラ26bの視
野中心線(の路面上投影線)を向けるためのステアリン
グ角Bを算出する。そして、レジスタBnのデータBnを
レジスタBに書込み、レジスタBnに、今回算出したス
テアリング角Bを書込む。
の、他車両デ−タの中から、区分デ−タが自車走行レ−
ン,それと左又は右隣性レ−ンとの間である車両位置
の、距離(Zt)が60〜90mの範囲内であって、し
かも最短のものを検索する。それがあると、該検索した
車両位置(Xt,Zt)にカメラ36bの視野中心線
(の路面上投影線)を向けるためのステアリング角Cを
算出する。該当する車両位置が無かったときには、自車
走行レ−ンの、車両よりL3前方(Z位置=L3)の幅
WLの中央(左,右白線の中間点)にカメラ36bの視
野中心線(の路面上投影線)を向けるためのステアリン
グ角Cを算出する。そして、レジスタCnのデータCnを
レジスタCに書込み、レジスタCnに、今回算出したス
テアリング角Cを書込む。
5 CPU11は、CPU間シリアルデ−タ通信ライン介し
て、CPU21に、レジスタBnのデ−タBnを送信し、
CPU31にはレジスタCnのデ−タCnを送信する。
は、先に説明した「カメラステアリング出力」A1で、
デ−タAn,BnおよびCnを、それぞれステアリングコ
ントロ−ラ16e,26eおよび36eに与え、これら
のコントロ−ラが、カメラ16b,26bおよび36b
の視野中心線(の水平面投影線)が車両前後軸(の水平
面投影線)となす角がAn,BnおよびCnとなるように
カメラを回転駆動する。これにより、前方車両があると
きには、カメラは前方車両を追跡し、前方車両がないと
きには、自車走行レ−ンの幅中央を追跡することにな
る。
了するとCPU11は、図9の「画像入力を指令」T1
に進む。これ以降の説明は、ここまでの説明の繰返しに
なるので、省略する。
ある。
示す平面図である。
び36bの撮影範囲(車両前方方向)を示す平面図であ
る。
6bおよび36bの撮影範囲(左右方向)を示すグラ
フ、(b)は量子化誤差を示すグラフである。
び36bの撮影範囲およびステアリング角A,B,Cを
示す平面図である。
示すブロック図である。
示すブロック図である。
示すブロック図である。
び先行車両検出の内容の一部を示すフロ−チャ−トであ
る。
よび先行車両検出の内容の一部を示すフロ−チャ−トで
ある。
よび先行車両検出の内容の残部を示すフロ−チャ−トで
ある。
ドウ1セット」C1の内容を示すフロ−チャ−トであ
る。(b)は、図1に示すテレビカメラ16bの撮影画
面上の特徴点検出ウィンドウ1の領域を示す平面図であ
る。
C3の内容を示すフロ−チャ−トである。(b)は、図
1に示すテレビカメラ16bの撮影画面上の特徴点の分
布と、「直線あてはめ」により検出する直線を示す平面
図である。
の撮影画面上のロ−ル角およびパン移動量を示す平面
図、(b)は図9に示す「画像回転平行移動」C7で用
いる計算式を示す。
デ−タを算出するために参照する画素を示す平面図であ
る。
定」A3で設定されるテレビカメラ16bの撮影画面上
のレ−ン検出ウィンドウを示す平面図である。
および撮像素子と車両前方の先行車両との幾何学的関係
を示す側面概要図である。
のレンズおよび撮像素子と車両前方の先行車両との幾何
学的関係を示す側面概要図、(b)は平面概要図であ
る。
力ポ−ト 15a:イメ−ジメモリ 16a:カメラ
コントロ−ラ 16b:テレビカメラ 16c:A/D
コンバ−タ 16d:回動機構 16e:ステア
リングコントロ−ラ 17:通信コントロ−ラ 18:ホストM
PU 特許出願人 アイシン精機株式会社代理人 弁理士 杉
信 興
Claims (7)
- 【請求項1】車両前方の、近距離の路面を含む広視野角
の第1シ−ンおよび遠距離の路面を含む狭視野角の第2
シ−ンを撮影するための撮影装置;第1シ−ンおよび第
2シ−ンの撮影画面の濃度エッジ点を検出する特徴点検
出手段;第1シ−ンおよび第2シ−ンの撮影画面の前記
濃度エッジ点の画面上の位置をそれぞれ、車両の前後軸
の水平面投影線を1軸とする同一の道路系座標上の位置
に変換する座標値変換手段;および、 該道路系座標上の、第1シ−ン起源の濃度エッジ点およ
び第2シ−ン起源の濃度エッジ点の全体の連なりを近似
する線を算出する近似線検出手段;を備える車両前方の
路上線検出装置。 - 【請求項2】車両の前後軸に対して水平方向に第1角度
をなす車両前方の、近距離の路面を含む広視野角の第1
シ−ン、および、車両の前後軸に対して水平方向に第2
角度をなす車両前方の、遠距離の路面を含む狭視野角の
第2シ−ン、を撮影するための撮影装置;第1シ−ンお
よび第2シ−ンの撮影画面の濃度エッジ点を検出する特
徴点検出手段;第1シ−ンの撮影画面の前記濃度エッジ
点の画面上の位置を、第1シ−ンの視野中心線の水平面
投影線を1軸とする道路系座標上の位置に変換する第1
座標値変換手段;第2シ−ンの撮影画面の前記濃度エッ
ジ点の画面上の位置を、第2シ−ンの視野中心線の水平
面投影線を1軸とする道路系座標上の位置に変換する第
2座標値変換手段;第1座標値変換手段が変換した濃度
エッジ点の位置を第1角度分回転した、車両の前後軸の
水平面投影線を1軸とする道路系座標上の位置に変換す
る第1回転補正手段;第2座標値変換手段が変換した濃
度エッジ点の位置を第2角度分回転した、前記、車両の
前後軸の水平面投影線を1軸とする道路系座標上の位置
に変換する第2回転補正手段;前記、車両の前後軸の水
平面投影線を1軸とする道路系座標上の、第1シ−ン起
源の濃度エッジ点および第2シ−ン起源の濃度エッジ点
の全体の連なりを近似する線を算出する近似線検出手
段;および、 第1シ−ン上の、前記近似線対応の濃度エッジ点を追跡
するために前記第1角度を変更し、第2シ−ン上の、前
記近似線対応の濃度エッジ点を追跡するために前記第2
角度を変更する撮影方向制御手段;を備える車両前方の
路上線検出装置。 - 【請求項3】撮影方向制御手段は、第1シ−ン上の2つ
の近似線の実質上中間点を第1シ−ンの中央とする前記
第1角度を定め、第2シ−ン上の2つの近似線の実質上
中間点を第2シ−ンの中央とする前記第2角度を定め
る、請求項2記載の車両前方の路上線検出装置。 - 【請求項4】装置は更に、第1シ−ン上および第2シ−
ン上それぞれ2つの近似線の間に存在する物体を検出す
る前方物体検出手段;を備え、 撮影方向制御手段は、前方物体検出手段が第1シ−ン領
域に物体を検出しているときには該物体を第1シ−ンの
実質上中央とする前記第1角度を定め、検出していない
ときには第1シ−ン上の2つの近似線の実質上中間点を
第1シ−ンの中央とする前記第1角度を定め、前方物体
検出手段が第2シ−ン領域に物体を検出しているときに
は該物体を第2シ−ンの実質上中央とする前記第2角度
を定め、検出していないときには第2シ−ン上の2つの
近似線の実質上中間点を第2シ−ンの中央とする前記第
2角度を定める、請求項2記載の車両前方の路上線検出
装置。 - 【請求項5】近似線検出手段は、濃度エッジ点の全体の
連なりを円弧を最小自乗法で算出する、請求項1,請求
項2,請求項3又は請求項4記載の車両前方の路上線検
出装置。 - 【請求項6】撮影装置は、車両前方の近距離の路面を撮
影する広視野角の第1カメラおよび車両前後軸に対する
水平方向の第1カメラの撮影方向を変更するために該カ
メラを回転駆動する第1回転駆動装置、および、車両前
方の遠距離の路面を撮影する狭視野角の第2カメラおよ
び車両前後軸に対する水平方向の第2カメラの撮影方向
を変更するために該カメラを回転駆動する第2回転駆動
装置、を含む請求項1,請求項2,請求項3,請求項4
又は請求項5記載の車両前方の物体検出装置。 - 【請求項7】撮影装置は、車両前方の近距離の路面を撮
影する広視野角の第1カメラおよび車両前後軸に対する
水平方向の第1カメラの撮影方向を変更するために該カ
メラを回転駆動する第1回転駆動装置,車両前方の中距
離の路面を撮影する中視野角の第2カメラおよび車両前
後軸に対する水平方向の第2カメラの撮影方向を変更す
るために該カメラを回転駆動する第2回転駆動装置、お
よび、車両前方の遠距離の路面を撮影する狭視野角の第
3カメラおよび車両前後軸に対する水平方向の第3カメ
ラの撮影方向を変更するために該カメラを回転駆動する
第3回転駆動装置、を含む請求項1,請求項2,請求項
3,請求項4又は請求項5記載の車両前方の物体検出装
置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP25222195A JP3588728B2 (ja) | 1995-09-29 | 1995-09-29 | 車両前方の路上線検出装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP25222195A JP3588728B2 (ja) | 1995-09-29 | 1995-09-29 | 車両前方の路上線検出装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0996507A true JPH0996507A (ja) | 1997-04-08 |
| JP3588728B2 JP3588728B2 (ja) | 2004-11-17 |
Family
ID=17234203
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP25222195A Expired - Fee Related JP3588728B2 (ja) | 1995-09-29 | 1995-09-29 | 車両前方の路上線検出装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3588728B2 (ja) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5991427A (en) * | 1996-07-31 | 1999-11-23 | Aisin Seiki Kabushiki Kaisha | Method and apparatus for detecting a lane on a road |
| US6282478B1 (en) | 1997-07-10 | 2001-08-28 | Aisin Seiki Kabushiki Kaisha | Travelling direction correction apparatus |
| KR100373002B1 (ko) * | 2000-04-03 | 2003-02-25 | 현대자동차주식회사 | 차량의 차선 이탈 판단 방법 |
| JP2007011492A (ja) * | 2005-06-28 | 2007-01-18 | Toyota Motor Corp | 走行路検出装置 |
| WO2008108220A1 (ja) * | 2007-03-02 | 2008-09-12 | Toyota Jidosha Kabushiki Kaisha | 目標旋回車速設定装置及び制駆動力制御装置 |
| JP2011095846A (ja) * | 2009-10-27 | 2011-05-12 | Fujitsu Ltd | 車両位置検出装置、車両位置検出方法、及び車両位置検出プログラム |
| CN112304291A (zh) * | 2019-07-26 | 2021-02-02 | 厦门雅迅网络股份有限公司 | 基于hud的车道线显示方法及计算机可读存储介质 |
| JP2021051736A (ja) * | 2019-09-24 | 2021-04-01 | ▲広▼州大学 | 車両走行経路計画方法、装置、システム、媒体及びデバイス |
| CN113191303A (zh) * | 2021-05-14 | 2021-07-30 | 山东新一代信息产业技术研究院有限公司 | 一种基于单摄像机前车距离和转向计算的方法 |
| CN117274939A (zh) * | 2023-10-08 | 2023-12-22 | 北京路凯智行科技有限公司 | 安全区域检测方法和安全区域检测装置 |
| WO2024070215A1 (ja) * | 2022-09-29 | 2024-04-04 | 株式会社トプコン | レーザースキャン装置、レーザースキャン方法およびレーザースキャン用プログラム |
| CN119334263A (zh) * | 2024-10-08 | 2025-01-21 | 南京农业大学 | 封行作物行间路径间距的测量方法 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118865299A (zh) * | 2024-06-28 | 2024-10-29 | 上海安亭地平线智能交通技术有限公司 | 车道线的确定方法、装置、介质和设备 |
-
1995
- 1995-09-29 JP JP25222195A patent/JP3588728B2/ja not_active Expired - Fee Related
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5991427A (en) * | 1996-07-31 | 1999-11-23 | Aisin Seiki Kabushiki Kaisha | Method and apparatus for detecting a lane on a road |
| US6282478B1 (en) | 1997-07-10 | 2001-08-28 | Aisin Seiki Kabushiki Kaisha | Travelling direction correction apparatus |
| KR100373002B1 (ko) * | 2000-04-03 | 2003-02-25 | 현대자동차주식회사 | 차량의 차선 이탈 판단 방법 |
| JP2007011492A (ja) * | 2005-06-28 | 2007-01-18 | Toyota Motor Corp | 走行路検出装置 |
| WO2008108220A1 (ja) * | 2007-03-02 | 2008-09-12 | Toyota Jidosha Kabushiki Kaisha | 目標旋回車速設定装置及び制駆動力制御装置 |
| JP2008213654A (ja) * | 2007-03-02 | 2008-09-18 | Toyota Motor Corp | 目標旋回車速設定装置及び制駆動力制御装置 |
| US8275531B2 (en) | 2007-03-02 | 2012-09-25 | Toyota Jidosha Kabushiki Kaisha | Target turning vehicle speed setting apparatus and braking/driving force control apparatus |
| JP2011095846A (ja) * | 2009-10-27 | 2011-05-12 | Fujitsu Ltd | 車両位置検出装置、車両位置検出方法、及び車両位置検出プログラム |
| CN112304291A (zh) * | 2019-07-26 | 2021-02-02 | 厦门雅迅网络股份有限公司 | 基于hud的车道线显示方法及计算机可读存储介质 |
| CN112304291B (zh) * | 2019-07-26 | 2023-12-22 | 厦门雅迅网络股份有限公司 | 基于hud的车道线显示方法及计算机可读存储介质 |
| JP2021051736A (ja) * | 2019-09-24 | 2021-04-01 | ▲広▼州大学 | 車両走行経路計画方法、装置、システム、媒体及びデバイス |
| CN113191303A (zh) * | 2021-05-14 | 2021-07-30 | 山东新一代信息产业技术研究院有限公司 | 一种基于单摄像机前车距离和转向计算的方法 |
| WO2024070215A1 (ja) * | 2022-09-29 | 2024-04-04 | 株式会社トプコン | レーザースキャン装置、レーザースキャン方法およびレーザースキャン用プログラム |
| JP2024049734A (ja) * | 2022-09-29 | 2024-04-10 | 株式会社トプコン | レーザースキャン装置、レーザースキャン方法およびレーザースキャン用プログラム |
| CN117274939A (zh) * | 2023-10-08 | 2023-12-22 | 北京路凯智行科技有限公司 | 安全区域检测方法和安全区域检测装置 |
| CN117274939B (zh) * | 2023-10-08 | 2024-05-28 | 北京路凯智行科技有限公司 | 安全区域检测方法和安全区域检测装置 |
| CN119334263A (zh) * | 2024-10-08 | 2025-01-21 | 南京农业大学 | 封行作物行间路径间距的测量方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3588728B2 (ja) | 2004-11-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JPH0995194A (ja) | 車両前方の物体検出装置 | |
| JP6522076B2 (ja) | 側方の車両測位のための方法、装置、記憶媒体及びプログラム製品 | |
| JP3125550B2 (ja) | 移動車の前方認識装置ならびに車輌用走行制御装置 | |
| JPH0996507A (ja) | 車両前方の路上線検出装置 | |
| US8477191B2 (en) | On-vehicle image pickup apparatus | |
| JPH06213660A (ja) | 像の近似直線の検出方法 | |
| JP2002352225A (ja) | 障害物検出装置及びその方法 | |
| JP2002197469A (ja) | 車線検出装置 | |
| JP3268325B2 (ja) | 車上認識対象画像デ−タの前処理方法 | |
| KR102003387B1 (ko) | 조감도 이미지를 이용한 교통 장애물의 검출 및 거리 측정 방법, 교통 장애물을 검출하고 거리를 측정하는 프로그램을 저장한 컴퓨터 판독가능 기록매체 | |
| JP3416921B2 (ja) | ステア型撮影装置 | |
| JP3395393B2 (ja) | 車両周囲表示装置 | |
| JP6768554B2 (ja) | キャリブレーション装置 | |
| JP3143814B2 (ja) | 車両前方の物体の距離検出方法 | |
| JPH08315299A (ja) | 車両の外部環境認識装置 | |
| JP2024038527A (ja) | 信号処理装置、信号処理方法及び信号処理システム | |
| CN119991786A (zh) | 基于摄像头的拖车位置确定系统和方法 | |
| JPH08159716A (ja) | 道路消失点の算出方法及び車両の位置・姿勢計測装置 | |
| JP7436331B2 (ja) | 画像処理装置 | |
| CN114814803B (zh) | 一种车辆的视觉测距方法、装置及存储介质 | |
| JP4432730B2 (ja) | 車両用道路標示検出装置 | |
| JP3146427B2 (ja) | 車両前方の物体検出方法 | |
| JP2662583B2 (ja) | 車上距離検出装置 | |
| JP2881248B2 (ja) | 移動車の環境認識装置 | |
| JPH11242735A (ja) | 走行環境認識装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040408 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040723 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20040723 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040805 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070827 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080827 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090827 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090827 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100827 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100827 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110827 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120827 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130827 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |