JP2004247979A

JP2004247979A - 車載用カメラ装置

Info

Publication number: JP2004247979A
Application number: JP2003035921A
Authority: JP
Inventors: Masaaki Fukuhara; 雅明福原
Original assignee: Hitachi Ltd; Hitachi Car Engineering Co Ltd
Current assignee: Hitachi Ltd; Astemo Ltd
Priority date: 2003-02-14
Filing date: 2003-02-14
Publication date: 2004-09-02

Abstract

【課題】振動，接触等により車載カメラ装置の取付位置が初期設定位置に対して経時的に変化でカメラ軸の位置ずれを起こした時に正確な画像処理を行うことができない場合があった。
【解決手段】予めフロントガラスに固定してあるターゲットや、路面白線など情報から得られる消失点と、車両の出荷検査などで取得した初期データとを照合し、カメラ軸ずれを検出することが可能となる。ターゲットや消失点を原点とし、先行車や対向車の位置を相対的に求める手法により、カメラ軸ずれを補正することが可能となる。
【選択図】図３

Description

【０００１】
【発明の属する技術分野】
本発明は、画像処理装置を備えた車載カメラ装置の技術分野に属する。
【０００２】
【従来の技術】
画像処理装置を備えた車載カメラ装置は、路面のレーンマークや周辺車両などを認識して画像処理を行い、車両の走行制御や前照灯の配光制御などに活用されている。しかし、振動，接触等により車載カメラ装置の取付位置が初期設定位置に対して経時的に変化した場合に正確な画像処理を行うことができない場合があり、光軸の補正が必要となっていた。
【０００３】
ここで車載カメラ装置の光軸ずれの影響について、画像上にある領域を定義し、車両を検出する手段を備えた、車両制御や前照灯の配光制御などに用いる車載カメラ装置を例にとって、図１と図２を用いて説明する。
【０００４】
車両は、比較的輝度の高いテールランプやヘッドランプなどを検出して、車両認識を行い、自車両との距離が算出できる。信号機や街灯などの外乱ノイズを削除するために、予め先行車両検出領域１０３及び、対向車両検出領域１０４を設けている。それぞれの検出領域は、走行する車線数や、レンズの画角等から、先行車両や対向車両が存在する領域を推定し定められたものである。用途に応じて先行車両検出領域と対向車両検出領域を合せてひとつの領域としても良い。
【０００５】
車載カメラ装置が正常の位置に取り付けている場合は図１のように、先行車両検出領域１０３の中に先行車両１０１のテールランプが存在し、対向車両検出領域１０４の中に対向車両１０２のヘッドランプが存在する。今、画像上の原点
（０，０）を左上角に定義した場合、先行車両１０１は座標（ｘ０１，ｙ０１）の位置に、対向車両１０２は座標（ｘ０２，ｙ０２）の位置にあることを算出し、自車両までの距離を推測することが可能である。
【０００６】
しかし、振動，接触等により車載カメラ装置の取付位置が初期設定位置に対して経時的に変化し、図２のようにカメラの光軸がＸ方向にΔｘ、Ｙ方向にΔｙずれた場合、先行車両１０１は座標（ｘ０１′，ｙ０１′）の位置に、対向車両
１０２は座標（ｘ０２′，ｙ０２′）の位置に存在すると算出される。そのため、それぞれの車両までの距離を実際の距離よりも近くにあると判断し、さらには先行車両１０１は対向車両であると判定、対向車両は車両検出領域外の外乱ノイズと判定して、装置の誤動作につながってしまう。このような車載カメラ装置の光軸ずれが生じた場合の検出及び補正手段としては、例えば特許文献１の発明がある。
【０００７】
【特許文献１】
特開２００１−１７１５４４号公報
【０００８】
【発明が解決しようとする課題】
特許文献１では、画像処理によって路面上のレーンマーカー（白線）を検出し、レーンマーカーに沿って走行するための目標操舵角θ１を算出し、この値が車両の操舵角θ２検出値と一致しない場合を光軸ずれと判定する手段としているが、これは車載カメラ装置がヨー方向（Ｘ方向）に位置ずれを起こした場合のみ有効であり、ピッチ方向（Ｙ方向）に位置ずれを起こした場合には光軸ずれを検出できないという課題があった。本発明では、以上の目的を解決するためになされたものであり、車載カメラ装置が振動，接触等により取付位置が初期設定位置に対して経時的にヨー，ピッチ，ロール方向に変化した場合でも、画像処理上の誤判定を防止する車載カメラ装置を提供するものである。
【０００９】
【課題を解決するための手段】
上記目的はカメラ部と、画像処理部と、カメラ軸補正部と警報装置から構成される車載カメラ装置において、カメラ軸補正部は、予め固定してある原点補正ターゲットを認識し、取り込んだ映像からカメラの軸がどこを向いているか推測し、画像処理を行うための原点補正を行うことを特徴とした車載用カメラ装置により達成される。
【００１０】
また、上記目的はカメラ部と、画像処理部と、カメラ軸補正部と警報装置から構成される車載カメラ装置において、カメラ軸補正部は、自車両が直線路を走行中、カメラ部で路面の白線や路肩，街灯などから消失点を算出し、その消失点の初期値からの位置ずれから原点補正を行うことを特徴とした車載用カメラ装置により達成される。
【００１１】
【発明の実施の形態】
以下、本発明の実施形態を図面と共に詳述する。
【００１２】
図３は本発明を適用した車載用カメラ装置の一実施形態の基本構成を示すものである。レンズ１０ａと撮像素子１０ｂからなるカメラ部１１と画像処理部１２とカメラ軸補正部１３と、初期データを記憶しておくＥＰＲＯＭ１４と、図４のように車両のフロントガラスに貼り付けた形状の原点補正ターゲット２０と警報装置１５から構成される車載カメラ装置である。原点補正ターゲット２０は、撮像素子１０ｂの撮像領域の中にあり、路面の白線や車両認識の妨げにならない位置で、且つできるだけ原点補正調整範囲が大きくとれるように画像中央に位置することが望ましい。
【００１３】
レンズ１０ａのピントが遠方に定められている場合、フロントガラスにある原点補正ターゲット２０はレンズに近すぎてピントぼけが生じてしまうので、その際はボンネット上のマスコット３０を原点補正ターゲットとして利用するか、後に述べる消失点検出による原点補正手段を適用する。
【００１４】
図５に示すように車載カメラ装置は、始動時、原点補正ターゲット２０と車両前方の背景を映し出す。車載カメラ装置の画像処理部１２は、原点補正ターゲット２０を原点（０，０）と定義し、原点を基準として先行車両検出領域１０３及び対向車両検出領域１０４を設ける。この領域を定義することによって、信号機や街灯４２などの外乱ノイズを、車両と誤認識させないことが可能になり、有効である。また必要に応じて先行車両検出領域と対向車両検出領域を合せてひとつの領域としても良い。
【００１５】
ここで、車載カメラ装置が初期設定の位置にあり、先行車両１０１が存在した場合は、原点補正ターゲット２０を原点とした先行車両検出領域１０３内の座標（ｘ１，ｙ１）に位置する。この座標から、先行車両の自車両からの距離を推測し、車両制御或いは前照灯の配光制御などに活用する。
【００１６】
同様に対向車両１０２が存在した場合は、原点補正ターゲット２０を原点とした対向車両検出領域１０４の座標（ｘ２，ｙ２）に位置する。この座標から、対向車両の自車両からの距離を推測し、車両制御或いは前照灯の配光制御などに活用する。
【００１７】
車載カメラ装置が振動，接触等により取付位置が初期設定位置に対して経時的にＸ，Ｙ方向にそれぞれΔｘ，Δｙ方向に位置ずれを起こした場合を図６とフローチャート図８を用いて説明する。
【００１８】
このときの先行車両１０１や対向車両１０２と自車両までの距離は、上記で説明した車載カメラ装置が初期設定の位置にある背景と同じ状態とする。
【００１９】
まず、原点補正ターゲット２０を検出（Ｓ１０１）し、この絶対位置を初期データと照合（Ｓ１０２）し、Δｘ，Δｙがどれくらいであるかを算出する。原点補正ターゲットの絶対位置を検出する場合にのみ、画像の端などを基準にして絶対座標を求める。初期データは車両の出荷検査等で測定した際にＥＰＲＯＭ１４などに記憶した原点補正ターゲット２０の位置の値とする。
【００２０】
ΔｘまたはΔｙが補正できないほど移動していた場合（Ｓ１０３）は警報装置１５を用いて運転者に警告する（Ｓ１０４）。この場合は、ディーラーなどで機械的に光軸を補正する必要がある。
【００２１】
ΔｘとΔｙが補正範囲内の位置ずれであれば、先行車両検出領域１０３と対向車両検出領域１０４を設定する（Ｓ１０５）。原点補正ターゲットを原点と定義しているので、先行車両検出領域１０３と対向車両検出領域１０４も必然的に補正されていて、先行車両１０１や対向車両１０２の位置が誤った領域で検出されることはない。また先行車両１０１の座標（ｘ１，ｙ１），対向車両１０２の座標（ｘ２，ｙ２）も車載カメラ装置が正規の位置の場合と同じ値となり、それぞれの車両から自車両までの距離を誤ることはない。先行車両を検出した場合
（Ｓ１０６）は先行車両距離算出処理を行い（Ｓ１０７）、車両制御或いは前照灯の配光制御などの制御ルーチンへ移行する（Ｓ１０８）。同様に対向車両を検出した場合（Ｓ１０９）は先行車両距離算出処理を行い（Ｓ１１０）、車両制御或いは前照灯の配光制御などの制御ルーチンへ移行する（Ｓ１０８）。
【００２２】
先に述べたように、自車両前方の遠方の車両を検出するために、レンズ１０ａのピントを無限遠方に定めた場合など、フロントガラスに装着した原点補正ターゲット２０にはピントが合わず、映像がボケてしまう場合がある。その際は原点補正ターゲット２０を用いずに、消失点４３を原点と定めて補正する方法を適用する。この方法について図７を用いて説明する。
【００２３】
自車両が平坦な直線路を走行中、白線４０や路肩４１，街灯４２など互いに平行に配置されているものをそれぞれ直線で結ぶと無限遠方で交わり、その点が消失点４３となる。消失点４３は画像処理部１２において白線４０や路肩４１，街灯４２などを検出し、画像処理を重ねることにより求めることが可能である。消失点４３の座標を原点（０，０）と定義し、原点を基準に先行車両検出領域１０３及び、対向車両検出領域１０４を定義すれば、位置ずれが生じた場合でも、原点補正ターゲット２０を適用する方法と同様に原点と車両の位置関係は変化しないため、有効である。また、道路の勾配や直線性を判断するためにはナビゲーションなどのデータを利用する。
【００２４】
先行車両１０１や対向車両１０２と自車両までの距離は、上記で説明した車載カメラ装置が初期設定の位置にある背景と同じ状態とし、取付位置が初期設定位置に対して経時的にＸ，Ｙ方向にそれぞれΔｘ，Δｙ方向に位置ずれを起こした場合での作用についてフローチャート図９を用いて説明する。
【００２５】
ナビゲーションシステム１６のデータを取得し（Ｓ２０１）、走行している道路が直進路で且つ勾配がないか判定する（Ｓ２０２）、道路がカーブや勾配があった場合は消失点４３を正規の位置と比較できないので、直線で勾配が０になるまでナビゲーションシステムのデータの取得（Ｓ２０１）を続ける。直線路になった場合、消失点４３を検出（Ｓ２０３）する。この絶対位置を初期データと照合（Ｓ２０４）し、Δｘ，Δｙがどれくらいであるかを算出する。消失点４３の絶対位置を検出する場合にのみ、画像の端などを基準にして絶対座標を求める。
初期値データは車両の出荷検査等で測定したＥＰＲＯＭ１４などに記憶してある消失点推測値とする。
【００２６】
ΔｘまたはΔｙが補正できないほど移動していた場合（Ｓ２０５）は警報装置１５を用いて運転者に警告する（Ｓ２０６）。この場合は、ディーラーなどで機械的に光軸を補正する必要がある。先行車両検出領域１０３と対向車両検出領域１０４を設定する（Ｓ２０７）。消失点４３を原点と定義しているので、先行車両検出領域１０３と対向車両検出領域１０４も必然的に補正されていて、先行車両１０１や対向車両１０２の位置が誤った領域で検出されることはない。また先行車両１０１の座標（ｘ１，ｙ１），対向車両１０２の座標（ｘ２，ｙ２）も車載カメラ装置が正規の位置の場合と同じ値となり、それぞれの車両から自車両までの距離を誤ることはない。先行車両を検出した場合（Ｓ２０８）は先行車両距離算出処理を行い（Ｓ２０９）、車両制御或いは前照灯の配光制御などの制御ルーチンへ移行する（Ｓ２１０）。同様に対向車両を検出した場合（Ｓ２１１）は対向車両距離算出処理を行い（Ｓ２１２）、車両制御或いは前照灯の配光制御などの制御ルーチンへ移行する（Ｓ２１０）。
【００２７】
以上の原点補正ターゲット２０及び消失点４３の何れの方法においても乗員の重量配分などによって生じるロール方向の位置ずれに対して補正できない場合がある。この際は、自車両の停車時などに、オートレビリングライト機能５０の情報を取り込み、車両の傾きを検出して原点補正を行う方法をとる。
【図面の簡単な説明】
【図１】車載カメラ装置が初期設定位置にある場合の原点と先行車両と対向車の位置関係を示す図。
【図２】車載カメラ装置が位置ずれを起こした場合の原点と先行車両と対向車両の位置関係を示す図。
【図３】本発明の実施形態の一例を示すブロック図。
【図４】原点補正ターゲットとマスコットを示す図。
【図５】車載カメラ装置が初期設定位置にある場合の原点補正ターゲットと先行車両と対向車両の位置関係を示す図。
【図６】車載カメラ装置が位置ずれを起こした場合の原点補正ターゲットと先行車両と対向車両の位置関係を示す図。
【図７】車載カメラ装置が位置ずれを起こした場合の消失点と先行車両と対向車両の位置関係を示す図。
【図８】原点補正ターゲットを用いた原点補正の作用を示すフローチャート図。
【図９】消失点を用いた原点補正の作用を示すフローチャート図。
【符号の説明】
１０ａ…レンズ、１０ｂ…撮像素子、１１…カメラ部、１２…画像処理部、
１３…カメラ軸補正部、１４…ＥＰＲＯＭ、１５…警報装置、１６…ナビゲーションシステム、２０…原点補正ターゲット、３０…マスコット。

Claims

カメラ部と、画像処理部と、カメラ軸補正部と警報装置から構成される車載カメラ装置において、
カメラ軸補正部は、予め固定してある原点補正ターゲットを認識し、取り込んだ映像からカメラの軸がどこを向いているか推測し、画像処理を行うための原点補正を行うことを特徴とした車載用カメラ装置。
請求項１において、ボンネット上のマスコットを前記原点補正ターゲットとしたことを特徴とした車載用カメラ装置。
カメラ部と、画像処理部と、カメラ軸補正部と警報装置から構成される車載カメラ装置において、カメラ軸補正部は、自車両が平坦な直線路を走行中、カメラ部で路面の白線や路肩，街灯などから消失点を算出し、初期値からの位置ずれから原点補正を行うことを特徴とした車載用カメラ装置。
請求項３において、前記カメラ軸補正部は、直線路を判定するための検出手段としてナビゲーションのデータを取り込むことを特徴とした車載用カメラ装置。
請求項１〜４において、前記カメラ軸補正部は、自車両の停車時などに、オートレビリングライト機能の情報を取り込み、乗員配分など要因とした車両の傾きを検出して原点補正を行うことを特徴とした車載用カメラ装置。