WO2007004439A1

WO2007004439A1 - 車両及びレーンマーク認識装置

Info

Publication number: WO2007004439A1
Application number: PCT/JP2006/312589
Authority: WO
Inventors: Sachio Kobayashi; Tomoyoshi Aoki; Takuma Nakamori; Naoki Mori
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2005-07-06
Filing date: 2006-06-23
Publication date: 2007-01-11
Anticipated expiration: 2008-01-06
Also published as: JP4365352B2; US20090123065A1; CA2614247C; JP2007018154A; EP1909230B1; CA2614247A1; EP1909230A4; US7965870B2; EP1909230A1

Abstract

　カラービデオカメラ１０を介して道路のカラー画像ＩＭ_0を取得する画像取得手段３０と、カラー画像ＩＭ_0から白色のデータを抽出した輝度抽出画像ＩＭ_1及び黄色のデータを抽出した黄色抽出画像ＩＭ_2を生成する特定色抽出画像生成手段３１と、輝度抽出画像ＩＭ_1及び黄色抽出画像ＩＭ_2の合成画像ＩＭ_Cから、白線と黄線を検出して、白線の位置データＰd1及び黄線の位置データＰd2を出力するレーンマーク検出手段５０ａとを備える。

Description

明細書

車両及びレーンマーク認、識装置

技術分野

[0001] 本発明は、道路に設けられたレーンマークを認識する機能を有する車両及びレーンマーク認識装置に関する。

背景技術

[0002] 従来より、車両前方の道路を撮影する車載カメラにより得られるカラー画像から、道路上に設けられた走行車線区分用のレーンマークを認識するレーンマーク認識装置が知られている（例えば、特開 2002— 123819号公報参照）。

[0003] かかる従来のレーンマーク認識装置においては、白線及び黄線のレーンマークを検出するため、カラー画像の各画素のカラー信号に対して、レーンマークとレーンマーク以外の部分との差異を強調して、濃淡信号に変換する処理を行って！/ヽる。

[0004] しかし、カラー画像の輝度が高、場合等、道路の状況によっては、濃淡信号に変換したときに黄線を抽出できない場合がある。そのため、白線と黄線のように、色が異なるレーンマークが混在する場合のレーンマークの検出性能を更に向上させることが要望されている。

発明の開示

発明が解決しょうとする課題

[0005] 本発明は上記背景を鑑みてなされたものであり、異なる色のレーンマークが混在する道路における各レーンマークの検出精度を向上させた車両及びレーンマーク認識装置を提供することを目的とする。

課題を解決するための手段

[0006] 本発明は上記目的を達成するためになされたものであり、本発明の車両は、撮像手段と、該撮像手段を介して道路のカラー画像を取得する画像取得手段と、前記力ラー画像から道路のレーンマークの色に対応した特定色の画素を抽出した特定色抽出画像を生成する処理を、複数種類の該特定色について実行して、複数の特定色抽出画像を生成する特定色抽出画像生成手段と、該特定色抽出画像生成手段により生成された複数の特定色抽出画像を用いて、各特定色のレーンマークを検出するレーンマーク検出手段とを備えたことを特徴とする。

[0007] また、本発明のレーンマーク認識装置は、撮像手段を介して道路のカラー画像を取得する画像取得手段と、前記カラー画像から道路のレーンマークの色に対応した特定色の画素を抽出した特定色抽出画像を生成する処理を、複数種類の該特定色について実行して、複数の特定色抽出画像を生成する特定色抽出画像生成手段と

、該特定色抽出画像生成手段により生成された複数の特定色抽出画像を用いて、各特定色のレーンマークを検出するレーンマーク検出手段とを備えたことを特徴とする。

[0008] 力かる本発明の車両及びレーンマーク認識装置においては、前記特定色抽出画像生成手段によって、レーンマークの色に対応した各特定色の画素を抽出した複数の前記特定色抽出画像が生成される。この場合、各特定色抽出画像においては、対応するレーンマークの色を有する画素の部分と他の色の画素の部分とが、より分離されたものとなるため、前記レーンマーク検出手段は、各特定色抽出画像を用いて各特定色のレーンマークを精度良く検出することができる。

[0009] また、前記レーンマーク検出手段は、前記特定色抽出画像生成手段により生成された複数の特定色抽出画像に基づく合成画像から、各特定色のレーンマークを検出することを特徴とする。

[0010] 力かる発明によれば、前記合成画像は、対応する特定色の画素が抽出された複数の特定色抽出画像を合成したものであるため、前記カラー画像における各特定色のレーンマークの部分力他の色の部分から分離された画像となる。そのため、前記レーンマーク検出手段は、前記合成画像力各特定色のレーンマークを精度良く検出することができる。

[0011] また、前記本発明の車両及びレーンマーク認識装置において、前記レーンマーク検出手段は、前記特定色抽出画像生成手段により生成された複数の特定色抽出画像のうちの第 1の特定色の画素を抽出した第 1の特定色抽出画像の各画素のデータに対して、該第 1の特定色抽出画像以外の特定色抽出画像の対応する画素が特定色であるときに、該第 1の特定色抽出画像において前記第 1の特定色と判定される閾値以上のレベルのデータを付加する処理を行って、前記合成画像を生成することを特徴とする。

[0012] 力かる本発明によれば、前記第 1の特定色抽出画像の各画素のデータに対して、前記第 1の特定色抽出画像以外の特定色抽出画像の対応する画素が特定色であるときに、前記閾値以上のレベルのデータを付加する処理を行って、前記合成画像を生成すると、前記合成画像においては、前記第 1の特定色抽出画像以外の特定色抽出画像における特定色の画素に対応した画素のデータ力前記第 1の特定色と判定されるレベルとなる。そのため、前記レーンマーク検出手段は、前記合成画像において前記閾値以上のレベルのデータを有する画素に基づいて、前記各特定色のレーンマークを容易に検出することができる。

[0013] また、前記本発明の車両及びレーンマーク認識装置において、前記レーンマーク検出手段は、前記特定色抽出画像生成手段により生成された複数の特定色抽出画像のうちの第 1の特定色のデータを抽出した第 1の特定色抽出画像と、該第 1の特定色抽出画像以外の特定色抽出画像の特定色の画素のデータのレベルを、該第 1の特定色抽出画像の第 1の特定色の画素のデータのレベルに整合させたレベル整合画像との間で、対応する各画素のデータのレベルを比較し、レベルが最大であるデータを前記合成画像の対応する画素のデータとする処理を行って、前記合成画像を生成することを特徴とする。

[0014] かかる本発明によれば、前記第 1の特定色抽出画像と前記レベル整合画像との間で、対応する各画素のデータのレベルを比較し、レベルが最大であるデータを前記合成画像の対応する画素のデータとする処理を行って前記合成画像を生成すると、前記合成画像における各特定色の画素のデータのレベルが、前記第 1の特定色抽出画像における前記第 1の特定色の画素のデータのレベルに整合される。そのため、前記レーンマーク検出手段は、前記合成画像において、前記第 1の特定色の画素のデータと同レベルのデータを有する画素に基づいて、各特定色のレーンマークを容易に検出することができる。

[0015] また、前記本発明の車両及びレーンマーク認識装置において、前記レーンマーク検出手段は、前記特定色抽出画像生成手段により生成された各特定色抽出画像に対して、対応する特定色のレーンマークを検出する処理を行って各特定色のレーンマークを検出することを特徴とする。

[0016] 力かる本発明によれば、前記レーンマーク検出手段は、前記特定色抽出画像生成手段により生成された各特定色抽出画像から、特定色のレーンマークを検出するため、他の特定色の影響を抑制して、各特定色のレーンマークを精度良く検出することができる。

図面の簡単な説明

[0017] [図 1]本発明の第 1及び第 2の実施形態におけるレーンマーク認識装置を搭載した車両の構成図。

[図 2]レーンマーク検出における画像の説明図。

[図 3]第 1の実施形態におけるレーンマーク検出処理のフローチャート。

[図 4]第 1の実施形態における画像合成の説明図。

[図 5]第 2の実施形態におけるレーンマーク検出処理のフローチャート。

[図 6]第 2の実施形態における画像合成の説明図。

[図 7]本発明の第 3の実施形態におけるレーンマーク認識装置を搭載した車両の構成図。

発明を実施するための最良の形態

[0018] 本発明の実施の形態について、図 1〜図 7を参照して説明する。

[0019] [第 1の実施形態]先ず、本発明の第 1の実施形態について説明する。図 1を参照して、車両 laに搭載されたレーンマーク認識装置 20aは、走行車線を区分するために道路に設けられたレーンマーク（白線、黄線)を検出して、走行車線を認識するものである。

[0020] レーンマーク認識装置 20aは、車両 laに搭載されて車両 laの前方の道路の画像を撮像するカラービデオカメラ 10 (本発明の撮像手段に相当する)から出力される映像信号 IM_sigを入力して、カラー画像 IM_0を取得する画像取得手段 30、カラー画像 IM_0カゝらレーンマークの色に対応した特定色を抽出した特定色抽出画像 IM_1, I M_2を生成する特定色抽出画像生成手段 31、及び特定色抽出画像 IM_1, IM_2を用いてレーンマークを検出するレーンマーク検出手段 50aを備えて、る。 [0021] 特定色抽出画像生成手段 31は、「白」（本発明の第 1の特定色に相当する）を特定色とした輝度抽出画像 IM_1 (本発明の第 1の特定色抽出画像に相当する）を生成する輝度抽出画像生成部 40と、「黄」を特定色とした黄色抽出画像 IM_2 (本発明の第 1 の特定色抽出画像以外の特定色抽出画像に相当する）を生成する黄色抽出画像生成部 41とを備えている。

[0022] また、レーンマーク検出手段 50aは、輝度抽出画像 IM_1と黄色抽出画像 IM_2とを合成して合成画像 IM_Cを生成する画像合成部 51と、合成画像 IM_Cからレーンマーク（白線及び黄線)を検出して、白線の位置データ Pdlと黄線の位置データ Pd2を出力するレーンマーク検出部 52とを備えて、る。

[0023] 以下、図 1, 2, 4を参照しつつ、図 3に示したフローチャートに従って、レーンマーク認識装置 20aによるレーンマークの認識処理について説明する。図 3の STEP1及び STEP2は画像取得手段 30 (図 1参照）による処理である。画像取得手段 30は、 ST EP1で、カラービデオカメラ 10から出力される道路の映像信号 IM_sigを入力し、 ST EP2で、該映像信号 IM_sigのカラー成分 (R値， G値， B値）をデモザィキングして、各画素のデータとして (R値， G値， B値）を有する m X n個の画素力なるカラー画像 IM_0 (図 2参照）を取得する。

[0024] 続く STEP3は、輝度抽出画像生成部 40 (図 1参照）による処理であり、輝度抽出画像生成部 40は、カラー画像 IM_0の各画素 IM_0 (i, j) (i=0, 1, · ··, m、j = 0, 1,… , η)のカラー成分 (Rij, Gij, Bij)に対して、以下の式（1)によるベクトル演算を行う。

[0025] GRij= (Rij Gij Bij) (KR1 KG1 KB1)^T · · · (1)

但し、 KR1, KG1, KB1 :輝度抽出用の変換係数。

[0026] これにより、図 2に示したように、各画素 IM_1 (i, j)のデータとして、輝度のレベル（明暗)を示す輝度データ GRijを有する輝度抽出画像 IM_1が生成される。

[0027] また、 STEP4は黄色抽出画像生成部 41 (図 1参照）による処理であり、黄色抽出画像生成部 41は、カラー画像 IM_0の各画素 IM_0 (i, j)のカラー成分 (Rij, Gij, Bij) に対して、以下の式（2)によるベクトル演算を行う。

[0028] YEij= (Rij Gij Bij) (KR2 KG2 KB2)^T · · · (2)

但し、 KR2, KG2, KB2 :黄色抽出用の変換係数。 [0029] これにより、図 2に示したように、各画素 IM_2 (i, j)のデータとして、黄色のレベル（黄色との近似度合！/ヽ）を示す黄色データ YEijを有する黄色抽出画像 IM_2が生成される。

[0030] ここで、図 2に示したように、カラー画像 IM_0において、左側のレーンマークとして白線 L1が含まれ、右側のレーンマークとして黄線 L2が含まれている場合、輝度抽出画像 IM_1においては、白線 L1の抽出部分 Lwlの画素の輝度データ GRijに比べて、黄線 L2の抽出部分 Lw2の画素の輝度データ GRijのレベルが低くなる。

[0031] この場合、輝度抽出画像 IM_1を 2値ィ匕してレーンマークを検出するときに、 Lw2を抽出するためには、閾値を Lw2の画素の輝度データ GRijのレベルよりも下げる必要がある。しかし、このように閾値を下げると、レーンマーク以外の要素をノイズとして抽出し易くなり、レーンマークの検出精度が低下する虞がある。

[0032] そこで、レーンマーク検出手段 50a (図 1参照）は、 STEP5で、画像合成部 51により、輝度抽出画像 IM_1と黄色抽出画像 IM_2を合成して、白線と黄線の双方を精度良く検出可能な合成画像 IM_Cを生成する。

[0033] 図 2を参照して、黄色抽出画像 IM_2においては、カラー画像 IM_0における黄線 L2 が強調された Lyの部分が抽出されている。そこで、画像合成部 51は、図 4に示したように、黄色抽出画像 IM_2の各画素の黄色データ YEijのレベルが所定の閾値 YE_th 以上であるとき (YEij≥ YE_th)は、輝度抽出画像 IM_1の対応する画素の輝度データ GRijの最上位ビットとして「1」（本発明の第 1の特定色抽出画像において第 1の特定色と判定される閾値以上のレベルのデータに相当する）を付加したデータを、合成画像 IM_Cの対応する画素のデータとする。

[0034] また、黄色データ YEijのレベルが該閾値 YE_th未満であるとき (YEij< YE_th)には、輝度抽出画像 IM_1の対応する画素の輝度データ GRijの最上位ビットとして「0」を付加したデータを、合成画像 IM_Cの対応するデータとする。これにより、図 2に示したように、左側の白線 Lclの部分の画素と右側の黄線 Lc2の部分の画素のデータのレベル力輝度抽出画像 IM_1における 2値ィ匕閾値 (例えば、輝度 GRijの範囲の中間値。本発明の第 1の特定色抽出画像において第 1の特定色と判定される閾値に相当する）を超える合成画像 IM_Cが生成される。 [0035] 次の STEP6, STEP7は、レーンマーク検出手段 50aに備えられたレーンマーク検出部 52による処理である。レーンマーク検出部 52は、 STEP6で、合成画像 IM_Cの 2値化、直線抽出処理等を行って、白線及び黄線を検出する。そして、 STEP7で、レーンマーク検出部 52は、車両 laのメイン ECU等に白線の位置データ Pdl及び黄線の位置データ Pd2を出力する。

[0036] [第 2の実施形態]次に、本発明の第 2の実施形態について説明する。第 2の実施形態の車両及びレーンマーク検出装置は、画像合成部 51による合成画像 IM_Cの生成方法のみが、上述した第 1の実施形態と相違する。以下、図 1, 2, 6を参照しつつ、図 5に示したフローチャートに従って、レーンマーク認識装置 20aによるレーンマークの認識処理にっ、て説明する。

[0037] 図 5の STEP20〜STEP23は、上述した図 3の STEP1〜STEP4に対応した処理であり、輝度抽出画像 IM—1と黄色抽出画像 IM— 2が生成される。続く STEP24〜ST EP27及び STEP40は、画像合成部 51による処理である。画像合成部 51は、 STE P24で、黄色抽出画像 IM— 2の各画素の黄色データ YEijにレベル整合用の係数 GAI Nを乗じて、レベル整合画像 IM_3 (図 6参照）を生成する。

[0038] そして、画像合成部 51は、輝度抽出画像 IM_1、レベル整合画像 IM_3、及び合成画像 IM_Cの対応する各画素 IM_1 (i, j) , IM_3 (i, j) , IM_C (i, j)のデータについて、 STEP26, STEP27, STEP40の処理を行う。

[0039] STEP26で、画像合成部 51は、輝度抽出画像 IM— 1とレベル整合画像 IM— 3の対応する画素のデータ GRijと LCijのレベルを比較する。そして、 GRijのレベル力LCijのレベルよりも大きいときは STEP27に進み、 GRijを合成画像 IM_Cの対応する画素 I M_C (i, j)のデータ CNijとする（GRij→CNij)。一方、 GRijのレベルが LCijのレベル以下であるときには STEP40に分岐し、 LCijを合成画像 IM_Cの対応する画素 IM_C (i , j)のデータ CNijとする（LCij→CNij)。

[0040] このように、 STEP25の処理を実行することにより、上述した第 1の実施形態と同様に、図 2に示したように、白線部分 Lclの画素のデータ及び黄線部分 Lc2の画素のデータのレベルが輝度抽出画像 IM_1における²値ィ匕閾値を越える合成画像 IM_Cが生成される。 [0041] そして、レーンマーク検出部 52は、次の STEP28で、合成画像 IM_Cの 2値化、直線抽出処理等を行って白線 Lclと黄線 Lc2を検出し、 STEP29で白線の位置データ Pdlと黄線の位置データ Pd2を、車両 laのメイン ECU等に出力する。

[0042] [第 3の実施形態]次に、本発明の第 3の実施形態について図 7を参照して説明する。第 3の実施形態においては、レーンマーク検出手段 50bの構成のみが上記第 1 の実施形態及び第 2の実施形態と相違する。そのため、図 1に示した車両 la及びレーンマーク認識装置 20aと同一の構成については、同一の符号を付して説明を省略する。

[0043] レーンマーク検出手段 50bは、白線検出部 55と黄線抽出部 56とを備えている。そして、白線検出部 55は、輝度抽出画像生成部 40により生成された輝度抽出画像 IM —1を、白線の輝度レベルに応じた閾値で 2値ィ匕し、直線抽出処理等を行って、白線を検出する。また、黄線検出部 56は、黄色抽出画像生成部 41により生成された黄色抽出画像 IM_2を、黄線に対応した黄色データのレベルに応じた閾値で 2値化し、直線抽出処理等を行って黄線を検出する。

[0044] このように、輝度抽出画像 IM_1から白線を検出する場合、図 2を参照して、白線部分 Lwlの輝度データのレベルに合わせて 2値ィ匕の閾値を設定することができるため、輝度データのレベルが低、部分がノイズとして抽出されることを排除して、精度良く白線を検出することができる。

[0045] また、黄色抽出画像 IM_2から黄線を抽出する場合、図 2を参照して、黄線部分 Ly の黄色データのレベルに合わせて 2値ィ匕の閾値を設定することができるため、黄色以外の他の色の部分がノイズとして抽出されることを排除して、精度良く黄線を検出することができる。

[0046] そして、レーンマーク検出手段 50bは、白線検出部 55により検出された白線の位置データ Pdlと、黄線検出部 56により検出された黄線の位置データ Pd2を、車両 lbのメイン ECU等に出力する。

[0047] なお、上述した第 1〜第 3の実施形態では、本発明の特定色として、白色のレーンマークに対応した輝度抽出画像と、黄色のレーンマークに対応した黄色抽出画像を抽出する例を示した力他の色のレーンマークを検出する場合であっても、検出対象とするレーンマークの色の画素を抽出する同様の処理を行うことで、本発明を適用することがでさる。

[0048] また、上述した第 1〜第 3の実施形態では、白色及び黄色という 2種類の色のレーンマークを検出する例を示した力 3種類以上の色のレーンマークを検出する場合であっても、カラー画像力各レーンマークの色に対応した特定色を抽出した特定色抽出画像を生成することにより、本発明を適用することができる。

[0049] また、上述した第 1〜第 3の実施形態では、レーンマークとして、白線及び黄線を検出したが、 Botts Dots,キャッツアイ等、他の種類のレーンマークを検出する場合にも、本発明による効果を得ることができる。

[0050] また、上述した第 1〜第 3の実施形態では、各画素のカラー成分として、（R値， G値 , B値)を有する画像データを用いた力他の種類のカラー成分 (CMY、 HSV等）を有する画像データを用いる場合であっても、本発明の適用が可能である。

[0051]

産業上の利用可能性

以上のように、本発明の車両及びレーンマーク認識装置によれば、色が異なるレーンマークが混在する道路にぉ、て、各レーンマークの検出精度を向上させることができるものとして有用であり、レーンマークの位置の検出に適している。

Claims

請求の範囲

[1] 撮像手段と、

該撮像手段を介して道路のカラー画像を取得する画像取得手段と、

前記カラー画像力道路のレーンマークの色に対応した特定色の画素を抽出した特定色抽出画像を生成する処理を、複数種類の該特定色について実行して、複数の特定色抽出画像を生成する特定色抽出画像生成手段と、

該特定色抽出画像生成手段により生成された複数の特定色抽出画像を用いて、各特定色のレーンマークを検出するレーンマーク検出手段とを備えたことを特徴とする車両。

[2] 前記レーンマーク検出手段は、前記特定色抽出画像生成手段により生成された複数の特定色抽出画像に基づく合成画像から、各特定色のレーンマークを検出することを特徴とする請求の範囲第 1項に記載の車両。

[3] 前記レーンマーク検出手段は、前記特定色抽出画像生成手段により生成された複数の特定色抽出画像のうちの第 1の特定色の画素を抽出した第 1の特定色抽出画像の各画素のデータに対して、該第 1の特定色抽出画像以外の特定色抽出画像の対応する画素が特定色であるときに、該第 1の特定色抽出画像において前記第 1の特定色と判定される閾値以上のレベルのデータを付加する処理を行って、前記合成画像を生成することを特徴とする請求の範囲第 2項に記載の車両。

[4] 前記レーンマーク検出手段は、前記特定色抽出画像生成手段により生成された複数の特定色抽出画像のうちの第 1の特定色のデータを抽出した第 1の特定色抽出画像と、該第 1の特定色抽出画像以外の特定色抽出画像の特定色の画素のデータのレベルを、該第 1の特定色抽出画像の第 1の特定色の画素のデータのレベルに整合させたレベル整合画像との間で、対応する各画素のデータのレベルを比較し、レべルが最大であるデータを前記合成画像の対応する画素のデータとする処理を行って、前記合成画像を生成することを特徴とする請求の範囲第 2項に記載の車両。

[5] 前記レーンマーク検出手段は、前記特定色抽出画像生成手段により生成された各特定色抽出画像に対して、対応する特定色のレーンマークを検出する処理を行って各特定色のレーンマークを検出することを特徴とする請求の範囲第 1項に記載の車両。

[6] 撮像手段を介して道路のカラー画像を取得する画像取得手段と、

該特定色抽出画像生成手段により生成された複数の特定色抽出画像を用いて、各特定色のレーンマークを検出するレーンマーク検出手段とを備えたことを特徴とするレーンマーク認識装置。

[7] 前記レーンマーク検出手段は、前記特定色抽出画像生成手段により生成された複数の特定色抽出画像に基づく合成画像から、各特定色のレーンマークを検出することを特徴とする請求の範囲第 6項に記載のレーンマーク認識装置。

[8] 前記レーンマーク検出手段は、前記特定色抽出画像生成手段により生成された複数の特定色抽出画像のうちの第 1の特定色の画素を抽出した第 1の特定色抽出画像の各画素のデータに対して、該第 1の特定色抽出画像以外の特定色抽出画像の対応する画素が特定色であるときに、該第 1の特定色抽出画像において前記第 1の特定色と判定される閾値以上のレベルのデータを付加する処理を行って、前記合成画像を生成することを特徴とする請求の範囲第 7項に記載のレーンマーク認識装置。

[9] 前記レーンマーク検出手段は、前記特定色抽出画像生成手段により生成された複数の特定色抽出画像のうちの第 1の特定色のデータを抽出した第 1の特定色抽出画像と、該第 1の特定色抽出画像以外の特定色抽出画像の特定色の画素のデータのレベルを、該第 1の特定色抽出画像の第 1の特定色の画素のデータのレベルに整合させたレベル整合画像との間で、対応する各画素のデータのレベルを比較し、レべルが最大であるデータを前記合成画像の対応する画素のデータとする処理を行って、前記合成画像を生成することを特徴とする請求の範囲第 7項に記載のレーンマーク認識装置。

[10] 前記レーンマーク検出手段は、前記特定色抽出画像生成手段により生成された各特定色抽出画像に対して、対応する特定色のレーンマークを検出する処理を行って各特定色のレーンマークを検出することを特徴とする請求の範囲第 6項に記載のレーンマーク認識装置。