JPH11203446A - 撮影対象認識装置 - Google Patents

Abstract

(57)【要約】 【課題】 取得した画像から所望の撮影対象である白線
のみを正確に抽出することのできる撮影対象認識装置を
提供する。 【解決手段】 ＣＣＤカメラ１２によって異なるタイミ
ングの白線を含む画像を取得し、Ａ／Ｄ変換部１６を介
して順次メモリ１８に記録する。座標変換部２２は一方
の画像が他方の画像（基準画像）に一致するように座標
変換を行い、比較除去部２４は、前記座標変換によっ
て、前記基準画像に対して移動した高輝度部分があるか
否かの判断を行い、移動した高輝度部分が検出された場
合、それを鏡面反射と認識し、基準画像から削除する。
その後、認識部２６は基準画像の高輝度反射部分を検出
し、その部分を白線と認識する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、撮影対象認識装
置、特に、路面からの反射光に基づいて路面上の特定の
物体を識別し認識する撮影対象認識装置に関する。

【０００２】

【従来の技術】従来より、車載カメラ等により車両前方
や側方の画像を取得して、画像内の撮影対象物、例えば
道路上の白線を検出して、車両の走行を制御するシステ
ムや走行中の危険回避のための警報を出力するシステム
が提案されている。このようなシステムにおいては、得
られた画像からいかに正確に検出対象物を抽出するかが
重要な課題である。例えば、特開昭６４−８３４２３号
公報には、自動車運転時の居眠り防止用警報装置が開示
されている。この装置によれば、映像認識用のカメラに
より車両の左右の白線までの距離やパターンの認識を行
う。そして、白線の位置認識を行い、当該白線が所定範
囲からずれた場合、つまり、白線に車両が極端に接近し
た場合や白線を越えてしまった場合等に運転者が居眠り
をした可能性があると判断して警報ブザー等による警報
出力を行い、運転者の覚醒を促すものである。また、白
線認識結果を操舵装置の入力信号として用いれば、自動
的にハンドルを最適舵角に戻す制御や道路形状に適した
操舵操作を行う制御等を実現することができる。

【０００３】このような装置において白線の認識は、路
面上の高輝度反射部分を検出して行う。つまり、蛍光顔
料を含む白線によって反射する太陽光や街灯や対向車の
ヘッドライトの反射光が他の路面部分や路面上の物体に
おける反射光よりも高輝度であることに着目して、所定
値以上の輝度を有するものが白線であると判断してい
る。

【０００４】

【発明が解決しようとする課題】しかしながら、路面が
雨等により濡れている場合は、この濡れた路面における
反射光も前記白線で反射した反射光と同様に高輝度であ
るため、前記濡れた部分を白線と誤認識してしまうとい
う問題がある。特に、路面にわだちが形成され、その部
分に雨等の水が溜まっている場合には、ライン状に形成
されるわだちの形状が白線と類似するためパターン認識
によっても白線と誤認識する可能性が高くなる。

【０００５】本発明は、上記従来の課題に鑑みなされた
ものであり、その目的は、取得した画像から所望の撮影
対象のみを正確に抽出することのできる撮影対象認識装
置を提供することにある。

【０００６】

【課題を解決するための手段】上記のような目的を達成
するために、第１の発明は、車両に搭載され、特定の撮
影対象を含む周囲画像を取得する撮影手段と、前記撮影
手段で異なる位置で撮影した複数の周囲画像を比較し各
画像の変化に基づいて周囲画像に含まれる散乱反射光と
鏡面反射光とを識別して前記鏡面反射光のみを周囲画像
から除去する除去手段と、鏡面反射光を除去した周囲画
像から散乱反射する前記撮影対象を認識する認識手段
と、を含むことを特徴とする。

【０００７】ここで、前記撮影対象とは、路面に形成さ
れ、高輝度で反射する白線等である。また、前記撮影手
段とは、例えば、ＣＣＤカメラであり車両の前部に配置
され車両前方を撮影したり、車側に配置され車両側方を
撮影するものである。また、散乱反射光とは、路面の微
少な凹凸によって任意の方向に反射した反射光であり、
例えば、路面に形成された白線の凹凸で反射した反射光
である。また、鏡面反射光とは、路面に存在する高反射
体、例えば雨水等の鏡平面で反射した反射光である。ま
た、前記除去手段とは、路面における反射光の反射の仕
方に基づいて鏡面反射光のみを検出し、元画像である周
囲画像から除去するものである。この構成によれば、雨
水等によって反射した鏡面反射光を除去できるので、撮
影対象で高輝度で反射する散乱反射光のみを確実に認識
し撮影対象の抽出を正確に行うことができる。

【０００８】また、上記目的を達成するために、第２の
発明は、第１の発明において、前記除去手段は、比較す
る複数の周囲画像の座標系を一致させる座標変換を行っ
た時に相対位置の移動する反射光を鏡面反射光であると
認識して除去することを特徴とする。

【０００９】この構成によれば、異なる位置で取得した
複数の周囲画像中で、同一光源による反射光が鏡面反射
光である場合、撮影位置の変化に応じて前記撮影手段の
取得画像上の反射光の反射位置が相対的に移動するの
で、比較する周囲画像の座標系を一致させることによっ
て鏡面反射光を検出することができる。

【００１０】また、上記目的を達成するために、第３の
発明は、第１の発明において、前記除去手段は、比較す
る複数の周囲画像の中の同一対象からの反射光の輝度が
所定値以上異なる場合、鏡面反射光であると認識して除
去することを特徴とする。

【００１１】この構成によれば、異なる位置で取得した
複数の周囲画像中の同一光源による反射光が鏡面反射光
である場合、撮影位置の変化に応じて鏡面反射光の入射
角度が変化し、撮影位置によって反射部分の輝度が変化
するので、鏡面反射光を検出することができる。

【００１２】また、上記目的を達成するために、第４の
発明は、第２の発明において、前記除去手段は、比較す
る複数の周囲画像に関して座標変換による相対位置の移
動を検出できなかったときに、さらに、輝度の変化によ
る比較を行い鏡面反射光であることを認識して除去する
ことを特徴とする。

【００１３】この構成によれば、より正確に鏡面反射光
を検出することができる。

【００１４】また、上記目的を達成するために、第５の
発明は、第１〜４の発明のいずれかにおいて、前記除去
手段は、車両上で所定距離離間した位置から同時に撮影
された周囲画像に基づいて、鏡面反射光を認識して除去
することを特徴とする。

【００１５】この構成によれば、同時に取得した複数の
画像に基づいて、周囲画像の比較を行うので、迅速な鏡
面反射光の検出を行うことができる。

【００１６】また、上記目的を達成するために、第６の
発明は、第１〜４の発明のいずれかにおいて、前記除去
手段は、所定時間離間して単一撮影手段で撮影された周
囲画像に基づいて、鏡面反射光を認識して除去すること
を特徴とする。

【００１７】この構成によれば、単一の撮影手段で鏡面
反射光の検出を行うことができる。

【００１８】

【発明の実施の形態】以下、本発明の好適な実施の形態
（以下、実施形態という）を図面に基づき説明する。な
お、本実施形態では、特定の撮影対象物として、道路表
面に描かれた白線の抽出を行う例を説明する。

【００１９】図１は、図示しない車両に搭載された本実
施形態の撮影対象認識装置（以下、単に認識装置とい
う）１０の構成ブロック図である。前記認識装置１０
は、車両の周囲の画像を取得する撮影手段として、例え
ばＣＣＤカメラ１２を有している。このＣＣＤカメラ１
２は、車両の前部に配置され車両前方（プレビュー）を
撮影したり、車側に配置され車両側方（ドアミラー等の
直下位置も含む）を撮影するものであり、単一または複
数のＣＣＤカメラ１２を車両前部または車側の少なくと
も一方に配置している。なお、単一のＣＣＤカメラ１２
を配置する場合に、撮影角度の変更やＣＣＤカメラ１２
の移動により、複数の画像が連続的に取得できる駆動機
構を含んでいる。

【００２０】前記ＣＣＤカメラ１２で取得された周囲画
像は、画像認識ＥＣＵ（電子制御装置）１４内部のＡ／
Ｄ変換部１６でデジタルデータに変換され、メモリ１８
に画像データとして順次格納されていく。また、前記画
像認識ＥＣＵ１４は、ＣＣＤカメラ１２で取得した周囲
画像を実際に画像処理して、周囲画像内に含まれる鏡面
反射光を当該周囲画像から除去して、撮影対象である白
線を認識するＣＰＵ２０を含んでいる。前記ＣＰＵ２０
の内部には、取得した周囲画像を基準となる座標系（本
実施形態の場合、取得した周囲画像の中の１つを基準画
像とする）に座標変換する座標変換部２２と、前記座標
変換部２２で座標変換された画像と比較対象となる未変
換の周囲画像（基準画像）との比較を行い、その画像変
化部分を鏡面反射部分として認識し、当該鏡面反射部分
を比較に使用した周囲画像（基準画像）から除去する比
較除去部（除去手段）２４と、鏡面反射部分を除去した
画像から撮影対象である白線を認識する認識部２６と、
を含んでいる。

【００２１】認識された白線に関するデータは、結果処
理部２８に供給され、車両の走行を制御するシステムや
走行中の危険回避のための警報を出力するシステムにお
いて利用できるデータに加工され利用される。

【００２２】続いて、図１を参照しつつ、白線の認識手
順を説明する。図２は、車側、例えばバックミラー（ド
アミラー）の位置に配置され、直下の路面の画像を周囲
画像として取得した場合の取得画像例を示すものであ
る。前述したように、路面上の白線３０は、塗料に蛍光
顔料を含んでいるので、太陽光や街灯光、対向車のヘッ
ドライト等が当たった場合、他の物体よりも高輝度で反
射する。白線認識は、この高輝度反射を検出して行う
が、路面が濡れている場合、例えば、わだち３２に水が
溜まっていた場合、このわだち３２に太陽光や街灯光、
対向車のヘッドライト等が入射した場合も、その反射光
は高輝度になる。

【００２３】ところで、白線は、微妙な凹凸を有する路
面上に直接描かれるため白線の表面も路面の凹凸に応じ
た凹凸を有している。この凹凸を有する白線に光が入射
した場合、白線の塗料に蛍光顔料によって高輝度で反射
するものの散乱反射する。その結果、白線３０は、全体
がほぼ一様に高輝度で光る。一方、水の溜まったわだち
３２は光が入射した部分のみが高輝度に光る。

【００２４】すなわち、前記白線３０に太陽光が当たっ
た場合、図２（ａ）に示す任意のタイミングＡで路面を
撮影した場合も、所定時間車両が走行した後のタイミン
グＢで路面を撮影した図２（ｂ）の場合も画像中で前記
白線３０は一様に高輝度で光る。一方、タイミングＡで
わだち３２の左端の位置ａで反射していた太陽光は、光
源である太陽までの距離が長いため車両の移動と共に画
像上で移動し、タイミングＢでは、わだち３２の右端の
位置ｂに移動する。この画像上での反射位置の変化を利
用してわだち３２における高輝度反射（鏡面反射）を認
識する。

【００２５】図１のブロック図、図２の説明図に加え
て、図３のフローチャートを用いて鏡面反射の認識手順
を説明する。まず、ＣＣＤカメラ１２によって、任意の
タイミングＡ0におけるドアミラー直下の画像を撮影す
る（Ｓ１００）。続いて、所定時間経過後（例えば、３
０ｍｓｅｃ）、同様にＣＣＤカメラ１２によって、タイ
ミングＢ0におけるドアミラー直下の画像を撮影する
（Ｓ１０１）。取得された画像は、順次画像認識ＥＣＵ
１４内部のＡ／Ｄ変換部１６でデジタルデータに変換さ
れ、メモリ１８に画像データとして格納されていく。Ｃ
ＰＵ２０の座標変換部２２はタイミングＡ0およびタイ
ミングＢ0における画像（以下、画像Ａ0、画像Ｂ0とい
う）をメモリ１８から読み出し、画像Ｂ0の座標を画像
Ａ0の座標と一致するように座標変換して、画像Ｂ1を作
成する（Ｓ１０２）。この時、画像Ｂ0内の白線３０や
わだち３２は、図２（ｂ）において、右方向に平行移動
することになる。

【００２６】次に、比較除去部２４は、前記画像Ａ0及
び画像Ｂ1を取得し、両者の比較を行い、高輝度部分が
移動したか否かの判断を行う（Ｓ１０３）。画像Ｂ0を
画像Ｂ1に座標変換することによって、画像Ｂ1上の白線
３０やわだち３２等、物理的に存在するものは、画像Ａ
0と一致する。つまり移動しない。一方、わだち３２の
水面で鏡面反射する反射光の位置は前述したように移動
しているため画像Ａ0の反射位置と一致しない。比較除
去部２４は、この高輝度部分の移動を検出し、鏡面反射
と認識し（Ｓ１０４）、認識した高輝度部分（鏡面反射
部分）を画像Ｂ1から削除する（Ｓ１０５）。

【００２７】そして、ＣＰＵ２０の認識部２６は、画像
Ｂ1において、削除されなかった高輝度部分を抽出し
（Ｓ１０６）、この部分を白線と認識する（Ｓ１０
７）。そして、認識された白線３０は、結果処理部２８
にて、車両の走行を制御するシステムや走行中の危険回
避のための警報を出力するシステムにおいて利用できる
データに加工され利用される。

【００２８】一方、（Ｓ１０３）で、高輝度部分の移動
が確認されなかった場合、つまり、画像Ｂ1内に鏡面反
射部分が存在しない場合、（Ｓ１０６）に移行し、高輝
度部分の抽出及び白線認識を行う（Ｓ１０６，Ｓ１０
７）。なお、白線３０に太陽光が入射した場合でも、撮
影タイミングによって、反射位置は移動しているが、白
線３０は散乱反射して当該白線３０のほぼ全体が一様に
高輝度状態にあるため、座標変換を行っても高輝度部分
の移動は認識されず、散乱反射している白線部分が誤っ
て削除されることはない。

【００２９】図４は、他の手法による白線認識を説明す
るイメージ図である。この場合、図１におけるＣＣＤカ
メラ１２は車両の前部に少なくとも２台配置され、異な
る角度で車両前方画像（プレビュー画像）を撮影してい
る。鏡面反射した反射光は、入射方向によって反射方向
が決定されるため、撮影角度が異なると撮影画像上の輝
度も異なる。一方、散乱反射した反射光は、どの角度か
ら撮影してもほぼ一様な輝度を有する。この違いを利用
して、鏡面反射の抽出を行う。

【００３０】図１のブロック図、図４の説明図に加え
て、図５のフローチャートを用いて他の鏡面反射の認識
手順を説明する。まず、２台のＣＣＤカメラ１２によっ
て、同時に画像Ａ2（図４（ａ））及び画像Ｂ2（図４
（ｂ））を撮影する（Ｓ２００）。この場合、ＣＣＤカ
メラ１２は、例えば、フロントガラスやバンパー、フェ
ンダ等の左右位置に固定され、同一の走行車線前方を異
なる角度で撮影するものである。図４（ａ）は、車両左
側のＣＣＤカメラ１２で撮影した映像であり、図４
（ｂ）は、車両右側のＣＣＤカメラ１２で撮影したもの
である。そして、各画像には、対向車両３４と路側の白
線３６、センタラインの白線３８と水溜まり４０とが撮
影されている。取得された画像は、順次画像認識ＥＣＵ
１４内部のＡ／Ｄ変換部１６でデジタルデータに変換さ
れ、メモリ１８に画像データとして格納されていく。Ｃ
ＰＵ２０の座標変換部２２は取得した画像Ａ2及び画像
Ｂ2をメモリ１８から読み出し、画像Ａ2または画像Ｂ2
のいずれか一方の画像（例えば、画像Ｂ2）が他方の画
像（画像Ａ2)に一致するように画像変換（座標変換）し
て、Ｂ2画像を画像Ａ2と同じ角度から撮影した状態のＢ
3画像（図４（ｃ））を作成する（Ｓ２０１）。

【００３１】次に、比較除去部２４は、前記画像Ａ2及
び画像Ｂ3を取得し、画像上の輝度の差分計算、つまり
（画像Ａ2−画像Ｂ3）の演算を行う（Ｓ２０２）。前述
したように、反射光が鏡面反射である場合、撮影角度に
よって輝度が変化するため、画像Ｂ2を画像Ｂ3に座標変
換した場合、輝度の異なる部分（例えば、水溜まり４
０）が存在する同一映像の画像Ａ2と画像Ｂ3とが認識さ
れる。そのため（画像Ａ2−画像Ｂ3）を行うことによっ
て輝度差分があるか否かの判断が行われ（Ｓ２０３）、
輝度の異なる部分（水溜まり４０）のみがプラス輝度や
マイナス輝度として抽出される（Ｓ２０４；図４
（ｄ））。そして、比較除去部２４は、画像比較の基準
となっている画像Ａ2から抽出した輝度の異なる水溜ま
り４０を削除する（Ｓ２０５）。この場合も、散乱反射
している白線部分は、どの角度から見ても一様に高輝度
で散乱反射しているため（画像Ａ2−画像Ｂ3）の演算に
より輝度差分が検出されることが無いので、散乱反射し
ている白線部分が誤って画像Ａ2から削除されてしまう
ことは無い。

【００３２】そして、ＣＰＵ２０の認識部２６は、画像
Ａ2において、削除されなかった高輝度部分を抽出し
（Ｓ２０６）、この部分を白線３６，３８と認識する
（Ｓ２０７）。そして、認識された白線３６，３８は、
結果処理部２８にて、車両の走行を制御するシステムや
走行中の危険回避のための警報を出力するシステムにお
いて利用できるデータに加工され利用される。

【００３３】一方、（Ｓ２０３）で、輝度差分がないと
判断された場合、つまり、画像Ａ2、画像Ｂ2内で高輝度
状態にあるものは、全て散乱反射していて、いずれの角
度から見ても一様な反射状態にあり、鏡面反射が存在し
ない場合、（Ｓ２０６）に移行し、高輝度部分の抽出及
び白線認識を行う（Ｓ２０６，Ｓ２０７）。

【００３４】なお、輝度変化を用いて行う鏡面反射の認
識は、入射光が太陽光のように平行光の場合、撮影角度
による輝度変化は発生しずらいので、図４に示すように
夜間の対向車両のヘッドライトにより反射している水溜
まりやわだちの高輝度反射の検出に有効である。

【００３５】逆に、図２および図３に示す高輝度部分の
移動を利用した鏡面反射の検出は、光源が太陽光のよう
に平行光の場合有効であるが、街灯のように光源までの
距離が近い場合、わだち３２上での反射位置の移動は極
僅かであるため、検出が困難になる場合がある。そこ
で、図３のフローチャートの（Ｓ１０３）で、高輝度部
分の移動が確認されなかった場合、図５のフローチャー
トの（Ｓ２０２）に対応する部分に移行し、輝度差分の
検出を行う。つまり、街灯の場合、距離が近いため撮影
角度の変化による輝度の違いが顕著に現れるため、（画
像Ａ0−画像Ｂ1）の演算を行う。以下、前述した手順で
わだち３２から高輝度部分を削除する。その結果、高輝
度反射している部分は散乱反射している白線３０のみと
なり、正確な白線３０の認識を行うことができる。

【００３６】なお、図２、図３の例では、車両側面に配
置された１台のＣＣＤカメラ１２によって、異なるタイ
ミングで２画像を取得する例を示したが、２台のＣＣＤ
カメラ１２を車両の前部と後部とに配置し、同時に撮影
しても実質的に異なるタイミングで撮影を行ったものと
等価となり、図３と同様な処理を行うことができる。ま
た、図４、図５の例では、２台のＣＣＤカメラ１２を用
いる例を説明したが、ＣＣＤカメラ１２の車両前方部に
おいて、当該ＣＣＤカメラ１２の左右方向の移動を超高
速で行えれば、１台のＣＣＤカメラ１２によっても処理
を行うことができる。

【００３７】また、本実施形態では、鏡面反射するもの
として、路面に形成されたわだちやその他路面のくぼみ
に形成された水溜まりを例にとって説明したが、他の鏡
面反射対象、例えば凍結路面等も同様に鏡面反射として
認識可能であり、鏡面反射する凍結部分と散乱反射する
白線との分離が可能であり良好な白線認識を行うことが
できる。

【００３８】

【発明の効果】本発明によれば、複数の画像を比較して
高輝度部分の移動や輝度の変化を検出することによっ
て、周囲画像の中から鏡面反射のみの抽出が可能にな
り、散乱反射する白線のみを高精度で認識することが可
能になり、白線のみを正確に抽出することができる。

【図面の簡単な説明】

【図１】 本発明の実施形態の撮影対象認識装置の概略
構成を説明する構成ブロック図である。

【図２】 本発明の実施形態の撮影対象認識装置により
高輝度部分の位置移動を利用した鏡面反射検出を説明す
る説明図である。

【図３】 本発明の実施形態の撮影対象認識装置により
高輝度部分の位置移動を利用して鏡面反射を検出する方
法を説明するフローチャートである。

【図４】 本発明の実施形態の撮影対象認識装置により
高輝度部分の輝度変化を利用した鏡面反射検出を説明す
る説明図である。

【図５】 本発明の実施形態の撮影対象認識装置により
高輝度部分の輝度変化を利用して鏡面反射を検出する方
法を説明するフローチャートである。

【符号の説明】

１０ 撮影対象認識装置、１２ ＣＣＤカメラ、１４
画像認識ＥＣＵ、１６Ａ／Ｄ変換部、１８ メモリ、２
０ ＣＰＵ、２２ 座標変換部、２４ 比較除去部、２
６ 認識部、２８ 結果処理部、３０ 白線、３２ わ
だち、３４対向車両、３６ 路側の白線、３８ センタ
ラインの白線、４０ 水溜まり。

Claims (6)

【特許請求の範囲】
1. 【請求項１】 車両に搭載され、特定の撮影対象を含む
   周囲画像を取得する撮影手段と、 前記撮影手段で異なる位置で撮影した複数の周囲画像を
   比較し各画像の変化に基づいて周囲画像に含まれる散乱
   反射光と鏡面反射光とを識別して前記鏡面反射光のみを
   周囲画像から除去する除去手段と、 鏡面反射光を除去した周囲画像から散乱反射する前記撮
   影対象を認識する認識手段と、 を含むことを特徴とする撮影対象認識装置。
2. 【請求項２】 前記除去手段は、比較する複数の周囲画
   像の座標系を一致させる座標変換を行った時に相対位置
   の移動する反射光を鏡面反射光であると認識して除去す
   ることを特徴とする請求項１記載の撮影対象認識装置。
3. 【請求項３】 前記除去手段は、比較する複数の周囲画
   像の中の同一対象からの反射光の輝度が所定値以上異な
   る場合、鏡面反射光であると認識して除去することを特
   徴とする請求項１記載の撮影対象認識装置。
4. 【請求項４】 前記除去手段は、比較する複数の周囲画
   像に関して座標変換による位置移動を検出できなかった
   ときに、さらに、輝度の変化による比較を行い鏡面反射
   光であることを認識して除去することを特徴とする請求
   項２記載の撮影対象認識装置。
5. 【請求項５】 前記除去手段は、車両上で所定距離離間
   した位置から同時に撮影された周囲画像に基づいて、鏡
   面反射光を認識して除去することを特徴とする請求項１
   〜４のいずれかに記載の撮影対象認識装置。
6. 【請求項６】 前記除去手段は、所定時間離間して単一
   撮影手段で撮影された周囲画像に基づいて、鏡面反射光
   を認識して除去することを特徴とする請求項１〜４のい
   ずれかに記載の撮影対象認識装置。