JPH1040499A - 車両の外界認識装置 - Google Patents

Abstract

(57)【要約】 【課題】 カメラで前方を撮像して走行路区分線を認識
しつつ走行する装置において、乗員数の増減など車両の
定常的なピッチ角変動によるカメラパラメータ、特に俯
角を補正する。また取り付けバラツキなどによるカメラ
のパン角ずれも補正する。 【解決手段】 相互に平行と仮定される２本の走行路区
分線を検出し、その平行度を判定することで行う。また
パン角は、２本の走行路区分線を抽出し、その中心線と
車両の進行方向との偏角を求めることで補正する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は車両の外界認識装
置に関し、より具体的には進行方向の路面を撮像するカ
メラ（撮像手段）が撮像した画像から走行路を認識する
装置において、車両のピッチ角変動などに対してカメラ
パラメータを補正するようにしたものに関する。

【０００２】

【従来の技術】進行方向の路面を撮像し、走行路区分線
を認識するようにした車両の外界認識装置は、例えば特
開平８−３０７７０号公報などから知られている。

【０００３】そのような装置において、車両に搭載した
カメラから入力した画像を処理し、得られた走行路区分
線（レーンマーキング）の位置を実平面（走行路面）座
標に変換するとき、カメラと走行路面との位置関係が既
知であることが必要となる。この位置関係を示す、いく
つかの値を、カメラパラメータ（前記した撮像パラメー
タに同じ）と呼ぶ。

【０００４】カメラパラメータの中で、上記の座標変換
の誤差に対して深刻な影響を与えるのは、カメラの俯角
の誤差、即ち、車両の姿勢変化に伴うカメラの傾き角度
の変動である。車両の姿勢変化、特にピッチ角変動が起
こると、カメラ俯角を補正しないで座標変換を行った場
合、図１９に示すような誤差が生じる。

【０００５】尚、この明細書において路面に対する車両
の前後方向の傾きを「車両のピッチ角変動」と呼ぶ。ま
た、カメラ（撮像手段）の車両前後方向の傾きを「カメ
ラの俯角」と呼ぶ。

【０００６】図２０に示すグラフは、車両（乗員４名）
が約８０ｋｍ／ｈで直進走行しているときのピッチ角変
動を測定したものである。具体的には、停止状態、乗員
２名で測定したピッチ角０．０１９［deg.］（度）を初
期値とし、そこからの変化量を走行距離〔ｍ〕に対して
表した。

【０００７】このデータ測定時の車両のピッチ角は、初
期値よりも平均して０．３５［deg.］ほどプラス方向
（車両のフロントが持ち上がった状態）にシフトしてい
る。それに比較すれば、走行中の車両の揺れによるピッ
チ角変化は、±０．１［deg.］前後であり、乗員数の変
化などによる車両の定常的な姿勢変化量に比べて小さい
ことが分かる。

【０００８】このように、車両のピッチ角方向の姿勢変
化は、次の２つに大別される。 ａ）動的な変化 車両が、走行中に加減速したり、路面の凹凸やウネリに
より揺れたときに生じる短期的な変化。加速度計やピッ
チレートセンサにより定常状態からの変化分として、あ
る程度は測定可能。 ｂ）静的な変化 乗員数や積載荷物の変化などによる、車両の定常な姿勢
変化。傾斜計や車高センサなどで測定可能。静的とは言
っても、走行の度に変化する。

【０００９】走行路区分線の検出誤差は、目的とする自
動運転制御の内容により一様ではないが、例えば検出し
た走行路区分線の直進方向に対する傾き角度の許容誤差
を±０．５［deg.] 程度とするならば、±０．４［de
g.] 以上のピッチ角変化は補正する必要がある。

【００１０】その他にも、座標変換時の誤差要因には道
路形状（坂やバンクなど）が考えられるが、高速道路で
の走行を基本とするとき、そこでは道路構造が法令で規
定されており、走行路（レーン）は幅が一定であり、左
右の区分線（マーキング）も基本的に平行と仮定するこ
とができるので、画像処理結果から補正を行うこともで
きる。

【００１１】このようなピッチ角変動に対して、従来技
術においては、例えば、車両の四隅に車高センサ（超音
波式の距離センサ）を設けて路面との高さを測定し、ピ
ッチ角変動に対してカメラパラメータを補正することも
行われているが、車高センサを４個必要とする点で構成
が複雑であり、コストも増加する。

【００１２】その意図から、特開平３−２７６２１１号
公報で提案されるように、手動走行と自動走行に切換え
可能な車両において、外界認識結果と手動操作量から推
定される認識結果とのずれを求め、そのずれを解消する
ように自動走行時の外界認識結果を補正する手法が提案
されている。特開平３−１１８６１１号公報なども、画
像入力手段の振動に応じて画像処理開始位置を変更す
る、即ち、ピッチ角変動に応じて画像処理開始位置を上
下させる構成を開示する。

【００１３】

【発明が解決しようとする課題】しかしながら、上記し
た従来技術はピッチ角変動のうち主として動的な変化に
起因するずれを補正することを主眼としており、そのた
め補正を常時行うなど、構成が複雑であった。図２０に
関して説明したように、ピッチ角変動をもたらす原因と
しては乗員数や積載貨物の増減などの静的な変化の方が
支配的である。しかも、車両が走行している間は乗員数
や積載貨物の増減などは変化しない筈であるから、補正
は走行中に頻繁に行う必要はない。

【００１４】従って、この発明の目的は上記した従来技
術の欠点を解消し、静的な変化に起因するピッチ角変動
によるカメラパラメータのずれを簡易に補正してレーン
マーキング検出を精度良く行えるようにすると共に、そ
の補正を走行中に一度行えば足るようにした車両の外界
認識装置を提供することにある。

【００１５】更に、カメラは進行方向を直視するように
車両に取り付けられるが、取り付けバラツキなどから車
両走行中心線に対してカメラ視野の中心軸がずれること
がある。このようなパン角のずれがあると、同様にレー
ンマーキング検出誤差の原因となる。他方、取り付け精
度を上げるとすれば、生産効率はある程度犠牲にせざる
を得ない。

【００１６】従って、この発明の別の目的は上記した従
来技術の欠点を解消し、パン角を簡易かつ適正に補正し
てレーンマーキングの検出精度を上げると共に、生産効
率も低下することがないように車両の外界認識装置を提
供することにある。

【００１７】

【課題を解決するための手段】第１の目的を達成するた
めに、この発明に係る車両の外界認識装置は、進行方向
の路面を撮像する撮像手段と、前記撮像された画像か
ら、少なくとも１組の走行路区分線を抽出する走行路区
分線抽出手段と、前記抽出された走行路区分線を所定の
撮像パラメータに基づいて実平面上に座標変換する座標
変換手段と、走行状態を検出する走行状態検出手段と、
および前記検出された走行状態と座標変換された走行路
区分線に基づいて走行中に少なくとも一度、前記撮像パ
ラメータを補正する撮像パラメータ補正手段と、を備え
る如く構成した。

【００１８】請求項２項にあっては、前記撮像パラメー
タ補正手段は、座標変換された少なくとも１組の走行路
区分線が所定の関係にあるか否か判定する判定手段、を
備え、前記走行路区分線が所定の関係にないと判定され
るとき、所定の関係となるように前記撮像パラメータを
補正する如く構成した。

【００１９】請求項３項にあっては、前記撮像パラメー
タが、車両乗員数の変化を含む車両の定常的な姿勢の変
化に起因して変化する、前記撮像手段と走行路面との位
置関係を示すパラメータである如く構成した。

【００２０】請求項４項にあっては、前記走行状態は、
前記走行路区分線が平行な走行環境を車両が直進走行す
る状態である如く構成した。

【００２１】第２の目的を達成するために、請求項５項
に係る車両の外界認識装置は、進行方向の路面を撮像す
る撮像手段と、前記撮像された画像を所定の撮像パラメ
ータに基づいて実平面上に座標変換する座標変換手段
と、前記撮像手段の撮像画像の座標系を基準線と比較
し、進行方向に対する偏角を求める偏角算出手段と、お
よび求めた偏角に基づいて前記撮像パラメータを補正す
る撮像パラメータ補正手段とを備える如く構成した。

【００２２】また、請求項６項にあっては、前記撮像パ
ラメータ補正手段は、補正を完了したか否かを報知する
報知手段を備える如く構成した。

【００２３】

【作用】請求項１項に係る装置にあっては、静的な変化
に起因するピッチ角変動によるカメラパラメータのずれ
を簡易に補正してレーンマーキング検出を精度良く行え
ることができる。また、その補正を走行中に一度行えば
足るようにしたので、構成としても簡易である。尚、そ
の補正の詳細は請求項２項ないし４項に記載の通りであ
る。

【００２４】請求項５項に係る装置にあっては、パン角
を簡易かつ適正に補正してレーンマーキングの検出精度
を上げることができると共に、取り付けバラツキによる
パン角ずれを簡易に補正することができるので、取り付
け精度を所定基準以上に上げる必要がなく、よって生産
効率が低下することもない。

【００２５】請求項６項に係る装置にあっては、運転者
は補正が完了したか否かを認識することができ、補正未
了が継続するときは自動運転を選択しないなど必要な措
置を取ることができる。

【００２６】

【発明の実施の形態】以下、添付図面に即してこの発明
の実施の形態を説明する。

【００２７】図１はこの発明に係る車両の外界認識装置
を全体的に示す説明透視図である。図において、符号１
０はＣＣＤカメラ（モノクロＴＶカメラ）（前記した撮
像手段）を示し、ＣＣＤカメラ１０は運転席上方のルー
ムミラー取り付け位置付近に固定され、車両進行方向を
単眼視する。

【００２８】符号１２は、車両室内の中央部付近に設け
られて車両重心の鉛直軸（ｚ軸）回りの角加速度を検出
するヨーレートセンサを示す。更に、車両のドライブシ
ャフト（図示せず）の付近にはリードスイッチからなる
車速センサ１４が設けられて車両の進行速度を検出する
と共に、舵角センサ１６が車両のステアリングシャフト
１８の付近に設けられてステアリング舵角を検出する。

【００２９】また、ステアリングシャフト１８には舵角
制御モータ２０が取り付けられると共に、スロットル弁
（図示せず）にはパルスモータからなるスロットルアク
チュエータ２２が取り付けられ、更にブレーキ（図示せ
ず）にはブレーキ圧力アクチュエータ（図示せず）が取
り付けられる。

【００３０】上記したＣＣＤカメラ１０などの出力は、
制御ユニット２４に送られる。

【００３１】図２はその制御ユニットの構成をより詳細
に示すブロック図である。

【００３２】ＣＣＤカメラ１０の出力は制御ユニット２
４においてレーンマーキング検出画像処理ユニット３０
に送られ、エッジ検出とハフ（Hough)変換により直線成
分（走行路区分線（レーンマーキング））の抽出が行わ
れる。舵角センサ１６などの出力は処理回路（図示せ
ず）を経て車両走行状態検知ユニット３２に送られると
共に、前記した舵角制御モータ２０などの制御アクチュ
エータの出力も車両制御ユニット３４を解して車両走行
状態検知ユニット３２に送られる。

【００３３】レーンマーキング検出画像処理ユニット３
０、車両走行状態検知ユニット３２および車両制御ユニ
ット３４の出力は、総合判断ユニット３６に入力され
る。他方、車両運転席前方のダッシュボードに設けられ
たドライバインターフェース３８（図１で図示省略）を
通じてドライバ（運転者）から手動運転から自動運転へ
の切換え指令などが入力され、同様に総合判断ユニット
３６に入力される。

【００３４】総合判断ユニット３６では切換え指令がな
されたとき、入力情報に基づいて所定の運転状態におい
てＣＣＤカメラ１０から得られた画像入力に基づき、適
宜舵角および車速を制御すると共に、ブレーキ動作を行
ない、自動運転を行う。尚、自動運転は、例えば本出願
人が先に特開平７−８１６０４号公報で提案したような
技術である。但し、この発明の要旨はカメラパラメータ
の補正にあるので、その説明は省略する。

【００３５】続いて、図３フロー・チャートを参照して
出願に係る車両の外界認識装置の動作を説明する。これ
は前記した総合判断ユニット３６が行う動作である。

【００３６】図示のプログラムは機関が始動してから停
止するまでの１回の走行中に基本的には１度行う。具体
的には、この処理は、イグニションスイッチ（図示せ
ず）がオンされて車速センサ１４の出力が零から所定の
値に達したところで行う。

【００３７】尚、この発明の目的がピッチ角変動の静的
な変化によるカメラパラメータの補正にあることから、
走行中にピッチ角変動の静的な変化が生じた可能性の状
況、例えばパーキングエリアでの停止などを検知し、そ
の後にもこの処理を行うのが望ましい。そのような状況
は例えば、車両ドアにその開閉を検知する手段を設ける
と共に、車速センサ１４の出力から車速零の状態が所定
時間継続したか否かを検出することで検知できよう。

【００３８】先ず、Ｓ１０においてピッチ角変化量（ず
れ）を零に初期設定し、Ｓ１２に進んで車両が所定速度
以上で直進走行中か否か判断する。

【００３９】これは望ましくは、自動運転におけるレー
ンマーキング検出誤差を低減する意図から、自動運転で
はなく、人が操縦している手動運転中にあって所定速度
以上で直進走行中か否か判断する。所定速度（例えば８
０ｋｍ／ｈ）以上か否かは車速センサ１４の出力、直進
走行中か否かは、ヨーレートセンサ１２および舵角セン
サ１６の出力から推定（判断）する。

【００４０】即ち、この装置においては、高速道路など
の走行路区分線が整備された環境を前提とすると共に、
走行路の左右の区分線は平行であると言う仮定に基づ
き、車両のピッチ角の静的な変動分を求めて補正するよ
うにした。所定速度以上であることを要求する理由は、
高速道路を走行していることを推定するためである。

【００４１】Ｓ１２で肯定されるときはＳ１４に進み、
車両運転席前方のダッシュボードのパネルに設けたラン
プ（図示せず）を点灯させ、補正処理中である旨の告知
（報知）を行い、Ｓ１６に進んでレーンマーキング検出
（抽出）画像処理を行う。これは先に述べたように、エ
ッジ検出およびハフ変換などから直線成分を検出し、レ
ーンマーキング（走行路区分線）を検出（抽出）する処
理である。尚、レーンマーキングは走行レーン間に表示
される破線のみならず、路肩を示す実線で表示されるマ
ーキングをも含む意味で使用する。

【００４２】次いでＳ１８に進んで左右のレーンマーキ
ングを検出したか否か判断し、肯定されるときはＳ２０
に進んで検出レーンマーキングを実平面（走行路面）上
で直線近似し、左右２直線の直線式とその積分値（平均
値）を求める。次いでＳ２２に進んで所定回数繰り返し
たか否か判断し、肯定されるときはＳ２４に進んで積分
値を（処理回数−１）で除算して現状の直線式を算出す
る。

【００４３】より具体的には、先ず検出されたレーンマ
ーキング位置を、カメラ俯角を含むカメラパラメータの
初期設定値を用いて実平面上の座標に変換し、検出され
たレーンマーキングの左右２直線の直線式を実平面上で
求める。図４にカメラパラメータの内容を、図５に検出
された左右のレーンマーキングの近似直線を示す。そし
て、このようなレーンマーキング検出、実平面上の座標
への変換および直線式算出処理を繰り返し所定回数行な
い、図６に示すような２本の直線の積分値を求める。上
記積分値を各々（処理回数−１）で除算し、現状の直線
式とする。

【００４４】即ち、図５および図６に示すように左右の
２直線をＬ１，Ｌ２とし、実平面上での直線式を、 Ｌ１：ｙ＝Ａ１・ｘ＋Ｂ１ Ｌ２：ｙ＝Ａ２・ｘ＋Ｂ２ とするとき、各々の直線の傾きＡと切片Ｂについてそれ
ぞれ積分値を求める。

【００４５】この積分について説明すると、レーンマー
キング検出画像処理が一定間隔の入力画像に対して行わ
れるのであれば、結果として得られる左右の２直線の直
線式のデータは、等間隔な分点として考えられる。従っ
て、各直線式のデータの積分値は、ニュートン・コーツ
公式に代表される補間型公式により近似値が与えられ
る。

【００４６】例として直線Ｌ１の傾きＡ１について述べ
る。いま（n+1)回の処理により、傾きＡ１のデータ A1(0), A1(1), A1(2), A1(3), A1(4), ・・・A1(n-1),
A1(n) が得られたとする（ｎ：偶数）。積分の区間（ａ，ｂ）
は（０，ｎ）である。ニュートン・コーツ公式のなかで
最も簡単な台形則を用いれば、積分の近似値Ｓは、以下
のように与えられる。 S ＝h(A1(0)/2 ＋A1(1) ＋A1(2) ＋・・・＋A1(n-1) ＋
A1(n)/2) (但し、h ＝(b−a)/n)

【００４７】また、シンプソン則を用いれば、同様の場
合の積分の近似値Ｓは、以下のように与えられる。 S ＝(h/3)(A1(0) ＋4A1(1)＋2A1(2)＋4A1(3)＋2A1(4)＋
・・・4A1(n-1)＋A1(n)) (但し、h
＝(b−a)/n)

【００４８】現状の傾きＡ１は、かくして得られた積分
の近似値Ｓをｍ（＝処理回数−１）で除算して以下のよ
うに求める。 Ａ１＝Ｓ／ｍ

【００４９】続いてＳ２６に進み、求めた２直線が平行
か否か（前記した所定の関係にあるか否か）判断する。
これは、左右の２直線Ｌ１，Ｌ２の挟み角θ（図７に示
す）を θ＝atan（Ａ１）− atan （Ａ２） と求め、求めた挟み角θを適宜設定するしきい値と比較
することで行う。

【００５０】より具体的には、求めた挟み角θがしきい
値よりも小さい場合、２直線は平行とみなす。しきい値
は、前記した自動運転制御に対する要件から、±０．１
［deg.] 程度とする。

【００５１】このように、路上に区分線が平行に表示さ
れた走行環境において、それら走行路区分線の平行度を
検出できるように初期設定されたカメラパラメータ、特
に俯角を用いて実際に２本の走行路区分線を抽出し、そ
れらが平行となるようなカメラ俯角を逆に求めること
で、初期設定値に対する現状のピッチ角変化量（ずれ）
を推定し、それによって補正量を求めるようにした。

【００５２】Ｓ２６で否定されるときはＳ２８に進み、
検出した２直線を平行とするような（即ち、前記した所
定の関係となるような）カメラ俯角を求め、初期設定値
に対する現状のピッチ角変化量を推定し、カメラパラメ
ータを補正する。

【００５３】これについて説明すると、積分して求めた
左右の２直線Ｌ１，Ｌ２の実平面上での直線式を前記の
如く、 Ｌ１：ｙ＝Ａ１・ｘ＋Ｂ１ Ｌ２：ｙ＝Ａ２・ｘ＋Ｂ２ とするとき、図６に示すようなＬ１とＬ２のカメラ座標
系での中心線ｙ＝Ａ・ｘ＋Ｂを求める。

【００５４】この中心線は、 傾きＡ＝tan ((atan（Ａ１）＋ atan （Ａ２))／２） 切片Ｂ＝（Ｂ１＋Ｂ２）／２ の直線である。

【００５５】続いて２直線Ｌ１，Ｌ２を、画像（撮像
面）座標上に変換する。画像（撮像面）座標上での直線
式を、図８に示す如く、 Ｌ１’：ｙｄ＝Ａｄ１・ｘｄ＋Ｂｄ１ Ｌ２’：ｙｄ＝Ａｄ２・ｘｄ＋Ｂｄ２ とする。

【００５６】画像（撮像面）座標上の直線Ｌ１’，Ｌ
２’を再び実平面（カメラ座標系）に変換するとき、傾
きＡ１”，Ａ２”が、先に求めた中心線の傾きＡと等し
くなるようなカメラ俯角（カメラパラメータ補正値）を
求める。尚、Ａ１”，Ａ２”がともにＡと等しくなるよ
うなカメラ俯角を求めるのは困難であれば、Ａ１”，Ａ
２”それぞれについてＡと等しくなるようなカメラ俯角
を別々に求めて平均しても良い。また、Ｌ１が路肩側に
表示された実線で、Ｌ２が破線である場合には、Ａ１”
がＡと等しくなるカメラ俯角の方を用いるようにしても
良い。

【００５７】尚、この作業はより具体的には図９に示す
ように、処理領域をピッチ角変化量に対応する量だけ、
画像を垂直方向に平行移動させて行っても良い。即ち、
カメラパラメータの補正手法は他にも、ＣＣＤカメラ１
０の取り付け位置を物理的に変更する、座標変換計算値
を変更するなど種々の対応が考えられるが、図示の如く
処理領域を調整して補正しても良い。

【００５８】次いでＳ３０に進んで規定回数（例えばレ
ーンマーキング検出画像処理時間が６６ｍｓの場合、５
回）を超えたか否か判断し、肯定されない限り、Ｓ１２
に戻り、補正したカメラパラメータを用いて以上の処理
を繰り返す。

【００５９】そしてＳ２６で２直線が平行と判断される
ときはＳ３２に進んでダッシュボードのパネルに設けた
別のランプ（図示せず）を点灯させ、補正が完了した旨
の告知（報知）を行ってプログラムを終了する。またＳ
３０で規定回数を超えたと判断されるときはＳ３４に進
んで更に別のランクを点灯させ、補正ができなかった旨
（補正未了）の告知（報知）を行ない、Ｓ１０に戻る。

【００６０】またＳ１２で否定されるときはＳ３６に進
んで更に別のランプを点灯させるなどして補正可能な走
行状況ではないことを告知（報知）し、Ｓ１０に戻る。
Ｓ１８で左右のレーンマーキングが検出できなかったと
判断されるときはＳ３８に進み、それが規定回数（例え
ば５回）を超えたか否か判断し、否定されるときはＳ１
２に戻ると共に、肯定されるときはＳ４０に進んでＳ３
４と同様の処理をしてＳ１０に戻る。

【００６１】以上の如く、図示のプログラムは、基本的
に走行の初期などに起動され、機関始動から停止の走行
の間に一度だけ行われる。

【００６２】上記の如く構成したことによって、静的な
変化に起因するピッチ角変動によるカメラパラメータの
ずれを簡易に補正してレーンマーキング検出を精度良く
行えることができる。また、その補正を走行中に一度行
えば足るようにしたので、構成としても簡易である。

【００６３】また、補正完了などを報知（告知）するよ
うにしたので、運転者は補正が完了したか否かを認識す
ることができ、補正未了が継続するときは自動運転を選
択しないなど必要な措置を取ることができる。

【００６４】続いて、カメラパラメータのパン角補正に
ついて説明する。

【００６５】ＣＣＤカメラ１０は、車両の前方に進行方
向を直視するように車両の直進方向とカメラ視野の中心
軸が取り付けられる。具体的には座標系は、ＣＣＤカメ
ラ１０の視野中央をＸｒ軸とし、レンズの焦点位置を座
標原点としたカメラ座標系（図１０に示す）と、車両の
前方直進方向をＸr-car 軸とした車両の所定位置（重心
位置など）を座標原点とした座標系（「車両のローカル
座標系」という。図１１に示す）からなる。

【００６６】そして、実平面上に座標変換するときは、
正確には、図１２に示すように、車両のローカル座標系
を基準として行う。図１３はその際の点の変換を、図１
４は直線の変換の詳細を示す。

【００６７】従って、ＣＣＤカメラ１０はカメラ座標系
と車両ローカル座標の縦軸（Ｘ軸）が一致するように取
り付けられるが、実際には取り付けバラツキなどからず
れが生じ、図１５に示すように、カメラ座標系での検出
レーンマーキングが常時ある偏角をもつ場合が起こり易
い。カメラパラメータのパン角補正は、このような車両
の直進方向に対するカメラ視野の中心軸のずれを補正
し、図１６に示す如く、両座標系のＸ軸を一致させる作
業である。

【００６８】図１７はその作業を示すフロー・チャート
である。

【００６９】パン角補正は一度行えば、カメラを脱着し
ない限り、繰り返す必要がないので、図示のプログラム
は、例えば製造後の検査時、所定距離走行後の定期点検
時などに行われる。従って、パン角補正は先に図３フロ
ー・チャートで説明した俯角補正に先立って行われる処
理である。また、パン角補正は先の俯角補正と類似する
ので、説明は簡単に止める。

【００７０】以下説明すると、Ｓ１００でパン角補正量
Ｐａｎを零に初期設定し、Ｓ１０２に進んで模擬レーン
マーキング検出（抽出）画像処理を行う。これは、車両
の直進方向を確認するために、検査工場の路面に表示し
た模擬的なレーンマーキング（具体的には先の走行路区
分線と同様な平行な２直線）を検出（抽出）する処理で
ある。

【００７１】続いてＳ１０４に進んで左右のレーンマー
キングを検出したか否か判断し、肯定されるときはＳ１
０６に進んで検出レーンマーキングを実平面上で直線近
似し、左右２直線の中心線（前記した基準線）と実平面
座標の縦軸との偏角とその積分値を求め、Ｓ１０８に進
んで所定回数繰り返したか否か判断し、肯定されるとき
はＳ１１０に進んで図示の如く偏角を求める。

【００７２】即ち、図１８に示すように、検出された模
擬レーンマーキング位置を初期設定のカメラパラメータ
を用いて実平面上の座標に変換する（初期設定ではＰａ
ｎ＝０）。続いて検出された模擬レーンマーキングの左
右の２直線の中心線を実平面上で求め、次いで求めた中
心線と車両ローカル座標系の縦軸（Ｘ軸）との偏角を求
める。中心線の求め方は、図示の如く、先の俯角補正と
同様である。

【００７３】上記処理を繰り返して所定回数行って偏角
の積分値を求め（偏角は反時計方向回りを正とする）、
積分値を（処理回数−１）で除算し、現状の偏角とす
る。続いてＳ１１２に進んで求めた偏角がしきい値（先
と同様の理由から±０．１［deg.] 程度）未満か否か判
断し、否定されるときはＳ１１４に進み、求めた偏角を
パン角補正量Ｐａｎ（初期設定値＝０）に加算してパン
角補正量Ｐａｎを修正する（尚、負の偏角が求められた
ときは減算する）。

【００７４】次いでＳ１１６に進み、そこで規定回数を
超えたと判断されない限り、直ちにＳ１０２に戻ると共
に、規定回数を超えたと判断されたときはＳ１１８に進
んで先の図３フロー・チャートの処理と同様にダッシュ
ボードに設けたランプ（図示せず）を点灯するなどして
補正できなかった旨（補正未了）の告知（報知）を行っ
てプログラムを終了する。この場合、補正未了の告知を
行うことで、例えば検査係員が装置に異常がないかどう
か点検するなどの措置を取ることができる。

【００７５】そしてＳ１１２で偏角がしきい値未満と判
断されたとき、Ｓ１２０に進んでランプに点灯するなど
してパン角補正完了の告知（報知）を行って、プログラ
ムを終了する。

【００７６】またＳ１０４で否定されたときは、Ｓ１２
２に進んで規定回数を超えたか否か判断し、否定される
限りＳ１０２に戻ると共に、肯定されるときはＳ１２４
に進んでＳ１１８と同様の処理を行ってプログラムを終
了する。このときも必要に応じて検査係員が装置を点検
するようにしても良い。

【００７７】上記の如く構成したので、パン角を簡易か
つ適正に補正してレーンマーキングの検出精度を上げる
ことができる。また、取り付けバラツキによるパン角ず
れを簡易に補正することができるので、取り付け精度を
所定基準以上に上げる必要がなく、よって生産効率を低
下させることもない。

【００７８】尚、上記において基準線として走行路区分
線の中心線を使用したが、それに限られるものではな
く、検査工場に白線を表示して基準線としても良い。ま
た車両を走行させて基準線を検出したが、車両を静止さ
せたまま前方にプロジェクタなどを介して路面を投影さ
せ、その中の基準線を検出するようにしても良い。

【００７９】また、この発明をピッチ角変動に基づくカ
メラパラメータの補正とパン角補正の双方について述べ
たが、前記した第１の目的を達成するときパン角補正は
必ずしも必須ではなく、第２の目的を達成するときカメ
ラパラメータの補正は必須ではないことはいうまでもな
い。

【００８０】また、この発明を手動運転と自動運転が切
換え可能なものについて説明したが、自動運転の種別を
問わないことはいうまでもない。但し、自動運転の種別
によってカメラパラメータの許容誤差が異なり、従って
補正で修正する精度が異なることは先に述べた通りであ
る。

【００８１】また、ＣＣＤカメラを１基用いて単眼視す
る構成を例にとったが、２基用いて両眼視するものであ
っても良い。

【００８２】

【発明の効果】請求項１項に係る装置にあっては、静的
な変化に起因するピッチ角変動によるカメラパラメータ
のずれを簡易に補正してレーンマーキング検出を精度良
く行えることができる。また、その補正を走行中に一度
行えば足るようにしたので、構成としても簡易である。

【００８３】請求項５項に係る装置にあっては、パン角
を簡易かつ適正に補正してレーンマーキングの検出精度
を上げることができると共に、取り付けバラツキによる
パン角ずれを簡易に補正することができるので、取り付
け精度を所定基準以上に上げる必要がなく、よって生産
効率を低下させることもない。

【図面の簡単な説明】

【図１】この発明に係る車両の外界認識装置を全体的に
示す説明透視図である。

【図２】図１に示す処理ユニットの詳細を示す機能ブロ
ック図である。

【図３】図１装置の動作を示すフロー・チャートであ
る。

【図４】図３フロー・チャートで用いるカメラパラメー
タを示す説明図である。

【図５】図３フロー・チャートで検出されたレーンマー
キングの近似直線を示す説明図である。

【図６】図３フロー・チャートで積分後求められたレー
ンマーキングの直線を示す説明図である。

【図７】図３フロー・チャートで求められた２直線が平
行であるか否かを判断するのに必要な２直線の挟み角を
求める作業を示す説明図である。

【図８】図３フロー・チャートで検出した２直線を平行
とするようなカメラ俯角を求める作業を示す説明図であ
る。

【図９】図３フロー・チャートのカメラパラメータの補
正手法の一例を示す説明図である。

【図１０】図１に示すＣＣＤカメラの座標系を示す説明
図である。

【図１１】車両の前方直進方向を縦軸（Ｘ軸）とし、車
両の所定位置を座標原点とする車両ローカル座標系を示
す説明図である。

【図１２】図１０のカメラ座標系を図１１の車両ローカ
ル座標系に変換したときの作業を示す説明図である。

【図１３】図１２のカメラ座標系から車両ローカル座標
系の変換を点の変換について詳細に示す説明図である。

【図１４】図１２のカメラ座標系から車両ローカル座標
系の変換を直線の変換について詳細に示す説明図であ
る。

【図１５】車両の進行方向に対するカメラ視野の中心軸
のずれを示すパン角ズレを示す説明図である。

【図１６】カメラ座標系と車両ローカル座標系の縦軸
（Ｘ軸）を一致させ、車両の進行方向に対するカメラ視
野の中心軸のずれを補正する、パン角補正を示す説明図
である。

【図１７】図１６に示すパン角補正作業を具体的に示す
フロー・チャートである。

【図１８】図１７フロー・チャートの偏角の算出作業を
示す説明図である。

【図１９】車両ピッチ角変動のレーンマーキング検出へ
の影響を示す説明図である。

【図２０】車両ピッチ角変動の解析結果を示すグラフ図
である。

【符号の説明】

１０ ＣＣＤカメラ（撮像手段） １２ ヨーレートセンサ １４ 車速センサ １６ 舵角センサ ２４ 制御ユニット ３０ 総合判断ユニット

フロントページの続き (51)Int.Cl.⁶ 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｈ０４Ｎ 7/18 Ｇ０６Ｆ 15/70 ３３０Ｇ

Claims (6)

【特許請求の範囲】
1. 【請求項１】ａ．進行方向の路面を撮像する撮像手段
   と、 ｂ．前記撮像された画像から、少なくとも１組の走行路
   区分線を抽出する走行路区分線抽出手段と、 ｃ．前記抽出された走行路区分線を所定の撮像パラメー
   タに基づいて実平面上に座標変換する座標変換手段と、 ｄ．走行状態を検出する走行状態検出手段と、および ｅ．前記検出された走行状態と座標変換された走行路区
   分線に基づいて走行中に少なくとも一度、前記撮像パラ
   メータを補正する撮像パラメータ補正手段と、を備えた
   ことを特徴とする車両の外界認識装置。
2. 【請求項２】 前記撮像パラメータ補正手段は、 ｆ．座標変換された少なくとも１組の走行路区分線が所
   定の関係にあるか否か判定する判定手段、を備え、前記
   走行路区分線が所定の関係にないと判定されるとき、所
   定の関係となるように前記撮像パラメータを補正するこ
   とを特徴とする請求項１項記載の車両の外界認識装置。
3. 【請求項３】 前記撮像パラメータが、車両乗員数の変
   化を含む車両の定常的な姿勢の変化に起因して変化す
   る、前記撮像手段と走行路面との位置関係を示すパラメ
   ータであることを特徴とする請求項１項または２項記載
   の車両の外界認識装置。
4. 【請求項４】 前記走行状態は、前記走行路区分線が平
   行な走行環境を車両が直進走行する状態であることを特
   徴とする請求項１項ないし３項のいずれかに記載の車両
   の外界認識装置。
5. 【請求項５】ｇ．進行方向の路面を撮像する撮像手段
   と、 ｈ．前記撮像された画像を所定の撮像パラメータに基づ
   いて実平面上に座標変換する座標変換手段と、 ｉ．前記撮像手段の撮像画像の座標系を基準線と比較
   し、進行方向に対する偏角を求める偏角算出手段と、 およびｊ．求めた偏角に基づいて前記撮像パラメータを
   補正する撮像パラメータ補正手 段と、を備えたことを特徴とする車両の外界認識装置。
6. 【請求項６】 前記撮像パラメータ補正手段は、 ｋ．補正を完了したか否かを報知する報知手段、を備え
   ることを特徴とする請求項１項ないし５項のいずれかに
   記載の車両の外界認識装置。