WO2008056660A1

WO2008056660A1 - Vanishing point detecting system, vanishing point detecting method, and vanishing point detecting program

Info

Publication number: WO2008056660A1
Application number: PCT/JP2007/071546
Authority: WO
Inventors: Kazuyuki Sakurai
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2006-11-08
Filing date: 2007-11-06
Publication date: 2008-05-15
Anticipated expiration: 2009-05-08
Also published as: EP2098992A4; US20100080467A1; EP2098992A1; JP2008123036A; JP4222411B2; US8396299B2

Description

明細書

消失点検出システム、消失点検出方法および消失点検出用プログラム技術分野

[0001] 本発明は消失点検出システム、消失点検出方法および消失点検出用プログラムに関し、特に、雑音を含む画像力、らも頑健に消失点を検出することを可能とする消失点検出システム、消失点検出方法および消失点検出用プログラムに関する。

[関連出願の記載]

本発明は、日本国特許出願：特願 2006— 302955号（2006年 11月 08日出願）の優先権主張に基づくものであり、同出願の全記載内容は引用をもって本書に組み込み記載されてレヽるものとする。

背景技術

[0002] 図 18は、特許文献 1に開示される従来の消失点検出システムの構成を示す図である。図 18を参照すると、この従来の消失点検出システムは、主制御部 1810と、画像入力部 1820と、エッジ点検出部 1821と、線分検出部 1822と、線分選別部 1823と、消失点推定部 1830を備えている。この従来の消失点検出システムの動作について以下に概説する（詳細は特許文献 1の記載が参照される）。

[0003] 画像入力部 1820が、消失点検出の対象である画像を入力する。

[0004] エッジ点検出部 1821は、画像入力部 1820が入力した画像内のエッジ点を検出す

[0005] 線分検出部 1822は、エッジ点検出部 1821で検出されたエッジ点の連続点列として、線分を検出する。

[0006] 線分選別部 1823は、線分検出部 1822で検出された線分の内、消失点推定に有用と考えられる線分を選別する。

[0007] 消失点推定部 1830は、線分選別部 1823で選別された線分から消失点位置を推疋。

[0008] 次に、消失点推定部 1830の動作について以下に説明する。

[0009] 消失点は、一般に、複数の線分の延長線の交点として定義されることから、各線分の両端点と消失点との位置関係を考えると、これら 3点 (線分の両端点と消失点）は、理想的には、一直線上に並ぶと考えられる。このとき、線分の両端点と消失点とがなす三角形の面積は 0となる。

[0010] そこで、図 19に示すように、各線分 1920の両端点と消失点 1910とがなす三角形 1 930の面積の全線分についての総和を求め、この三角形面積総和が最小となるような位置を消失点位置として推定する。この推定計算は解析的に行うことが出来る。

[0011] 特許文献 1 :特開 2005— 275500号公報

発明の開示

発明が解決しょうとする課題

[0012] 以上の特許文献 1の開示事項は、本書に引用をもって繰り込み記載されているものとする。以下に本発明による関連技術の分析を与える。

上記した従来の消失点検出システムは、雑音に弱い、という問題点を有している。すなわち、従来の消失点検出システムは、頑健 (robust)な消失点の検出ができない

。その理由は以下の通りである。

[0013] 例えば図 20に示すように、消失点推定に用いる線分の中に、消失点方向を向かない不適切な線分 2020が含まれた場合、該不適切な線分と真の消失点とにより面積の大きな三角形が形成される。この影響により、真の位置から大きく外れた位置を、消失点位置として推定してしまうことになる。

[0014] したがって、本発明の目的は、頑健な消失点の検出を行うことができる消失点検出システムと方法並びにプログラムを提供することにある。

課題を解決するための手段

[0015] 本願で開示される発明は、前記課題を解決するため、概略以下の構成とされる。

[0016] 本発明の消失点検出システムは、直線検出手段（120)と、消失点検出手段（130) と、消失点出力手段（140)を備え、消失点検出手段（130)において、当該点又はその近傍を通過する複数の直線の角度力相対的に広い範囲に疎に分布しているか否かを、消失点らしさの評価指標の 1つとして、該評価指標に基づき、消失点を検出する。なお、構成要素の括弧内を参照符号は、本発明の構成の理解を容易とするためのものであり、本発明を限定するために解釈すべきものではない。 [0017] 本発明の 1つのアスペクト（側面）に係る消失点検出システムは、

画像から直線を検出する直線検出手段と、

前記画像内において、複数の直線がその上を通過する点又は複数の直線がその近傍を通過する点に関して、直線の角度のばらつき具合の評価値を算出する手段と前記複数の直線がその上を通過するか又はその近傍を通過する点に対応して導出された直線の角度のばらつき具合の評価値を、消失点らしさの指標として用い、直線の角度のばらつき具合の評価値力他の点に関して導出された直線の角度のばらつき具合の評価値に比べて相対的に大きい値の点を、消失点として検出する手段とを備えている。

[0018] 本発明の他のアスペクト（側面）に係る消失点検出システムは、

画像から直線を検出する直線検出手段と、

前記画像の少なくとも一部を含む空間内の各点について、該点又は該点の周囲の所定の範囲内を通過する直線の角度力相対的に広い範囲に疎に分布している場合に、より大きな値をとる直線角度ばらつき評価値を付与する直線角度ばらつき評価値付与手段と、

前記直線角度ばらつき評価値が、他と比べて相対的に大きな値をとる点を、消失点として、検出する消失点検出手段と、

を備えている。

[0019] 本発明の他のアスペクト（側面）に係る消失点検出システムは、

画像から直線を検出し、検出された各前記直線について、直線としての確信度が付与する直線検出手段と、

前記画像の少なくとも一部を含む空間内の各点について、当該点又は当該点周囲の所定の範囲内を通過する直線の角度力、相対的に広い範囲に疎に分布している場合に、より大きな値をとる直線角度ばらつき評価値を付与する直線角度ばらつき評価値付与手段と、

前記画像の少なくとも一部を含む空間内の各点について、当該点又は当該点周囲の所定の範囲内を通過する直線の確信度に基づき、相対的に直線が多数通過している場合に、より、大きな値をとる消失点評価値を付与する消失点評価値付与手段と前記消失点評価値が相対的に大きな値をとる点を消失点として検出する消失点検出手段と、を備え、前記消失点評価値の算出に際して、前記直線角度ばらつき評価値を考慮する。

[0020] 本発明において、好ましくは、前記直線検出手段は、 Hough変換により直線を検出し、前記直線としての確信度として当該直線の Hough変換での投票値を用いる。

[0021] 本発明において、好ましくは、前記直線角度ばらつき評価値として、前記直線の角度についての統計値を用いる。前記直線の角度についての統計値は、前記直線の角度の、分散と標準偏差、最大値と最小値の差と比、のうちの少なくとも 1つを含む。

[0022] 本発明において、前記直線角度ばらつき評価値として、当該点の右下領域と左下領域との間の前記直線としての確信度の偏りを用いるようにしてもよい。

[0023] 本発明において、前記画像は、車載センサより得られる画像データであり、前記消失点として、走行レーンを表すレーンマーカ及び/又は道路端線に関する消失点を検出する。

[0024] 本発明の車両周辺環境認識システムは、前記した本発明の消失点検出システムを備え、前記消失点の位置に基づき、車両と周辺環境との位置関係を算出する。

[0025] 本発明の車両周辺環境認識システムは、前記車両と周辺環境との位置関係として、前記車両の向いている方向と道路面とのピッチ角を算出する。

[0026] 本発明の 1つのアスペクトに係る消失点検出方法は、

画像から直線を検出する工程と、

前記画像内において、複数の直線がその上を通過する点又は複数の直線がその近傍を通過する点に関して、直線の角度のばらつき具合の評価値を算出する工程と前記複数の直線がその上を通過するか又はその近傍を通過する前記点のうち、前記点に対応して導出された直線の角度のばらつき具合の評価値力 S、他の点に関して導出された直線の角度のばらつき具合の評価値に比べて相対的に大きい点を、消失点として検出する工程と、を含む。

[0027] 本発明の他のアスペクトに係る消失点検出方法は、

画像から直線を検出する工程と、

前記画像の少なくとも一部を含む空間内の各点について、当該点又は当該点周囲の所定の範囲内を通過する直線の角度力、相対的に広い範囲に疎に分布している場合に、より大きな値をとる直線角度ばらつき評価値を付与する工程と、

前記直線角度ばらつき評価値が相対的に大きな値をとる点を消失点として検出する工程と、を含む。

[0028] 本発明の他のアスペクトに係る消失点検出方法は、

画像から直線を、直線としての確信度とともに検出する工程と、

前記画像の少なくとも一部を含む空間内の各点について、当該点又は当該点周囲の所定の範囲内を通過する直線の確信度に基づき、相対的に直線が多数通過している場合に、より大きな値をとる消失点評価値を付与する工程と、

前記消失点評価値が相対的に大きな値をとる点を消失点として検出する工程と、を含み、前記消失点評価値の算出に際して前記直線角度ばらつき評価値を考慮する。

[0029] 本発明に係る消失点検出方法にお!/、て、前記画像から直線を検出する工程において、 Hough変換により直線を検出し、前記直線としての確信度として当該直線の Ho ugh変換での投票値を用いる。

[0030] 本発明に係る消失点検出方法において、前記直線角度ばらつき評価値として、前記直線の角度についての統計値を用いる。前記直線の角度についての統計値は、前記直線の角度の、分散と標準偏差、最大値と最小値の差と比、のうちの少なくとも 1つを含む。

[0031] 本発明に係る消失点検出方法において、前記直線角度ばらつき評価値として、当該点の右下領域と左下領域との間の前記直線としての確信度の偏りを用いるようにしてもよい。

[0032] 本発明に係る消失点検出方法にお!/、て、前記画像として車載センサより得られる画像データを用い、前記消失点として走行レーンを表すレーンマーカ及び/又は道路端線に関する消失点を検出する。

[0033] 本発明に係る車両周辺環境認識方法は、前記消失点検出方法で求めた前記消失点の位置に基づき、車両と周辺環境との位置関係を算出する。前記車両と周辺環境との位置関係として、車両の向いている方向と道路面とのピッチ角を算出する。

[0034] 本発明の 1つのアスペクトに係るコンピュータプログラムは、

画像から直線を検出する処理と、

前記画像内において、複数の直線がその上を通過する点又は複数の直線がその近傍を通過する点に関して、直線の角度のばらつき具合の評価値を算出する処理と前記複数の直線がその上を通過するか又はその近傍を通過する点に対応して導出された直線の角度のばらつき具合の評価値を、消失点らしさの指標として用い、直線の角度のばらつき具合の評価値力他の点に関して導出された直線の角度のばらつき具合の評価値に比べて相対的に大きい値の点を、消失点として検出する処理と、をコンピュータに実行させるプログラムよりなる。

[0035] 本発明の 1つのアスペクトに係るコンピュータプログラムは、

画像から直線を検出する直線検出処理と、

前記画像の少なくとも一部を含む空間内の各点について、当該点又は当該点周囲の所定の範囲内を通過する直線の角度力、相対的に広い範囲に疎に分布している場合に、より大きな値をとる直線角度ばらつき評価値を付与する直線角度ばらつき評価値付与処理と、

前記直線角度ばらつき評価値が相対的に大きな値をとる点を消失点として検出する消失点検出処理と、をコンピュータに実行させるプログラムよりなる。

[0036] 本発明の他のアスペクトに係るコンピュータプログラムは、

画像から直線を、直線としての確信度とともに検出する直線検出処理と、前記画像の少なくとも一部を含む空間内の各点について、当該点又は当該点周囲の所定の範囲内を通過する直線の角度力、相対的に広い範囲に疎に分布している場合に、より大きな値をとる直線角度ばらつき評価値を付与する直線角度ばらつき評価値付与処理と、

前記画像の少なくとも一部を含む空間内の各点について、当該点又は当該点周囲の所定の範囲内を通過する直線の確信度に基づき、相対的に直線が多数通過している場合に、より大きな値をとる消失点評価値を付与し、前記消失点評価値の算出に際して前記直線角度ばらつき評価値を考慮する消失点評価値付与処理と、前記消失点評価値が相対的に大きな値をとる点を消失点として検出する消失点検出処理と、をコンピュータに実行させるプログラムよりなる。

[0037] 本発明に係るプログラムにおいて、前記直線検出処理は、 Hough変換により直線を検出し、前記直線としての確信度として当該直線の Hough変換での投票値を用いる。

[0038] 本発明に係るプログラムにお!/、て、前記直線角度ばらつき評価値として、前記直線の角度についての統計値を用いる。前記直線の角度についての統計値は、前記直線の角度の、分散と標準偏差、最大値と最小値の差と比、の少なくとも 1つを含む。

[0039] 本発明に係るプログラムにおいて、前記直線角度ばらつき評価値として、当該点の右下領域と左下領域との間の前記直線としての確信度の偏りを用いる。

[0040] 本発明に係るプログラムにおいて、前記画像として車載センサより得られるデータを用い、前記消失点として走行レーンを表すレーンマーカや道路端線に関する消失点を検出する。

[0041] 本発明に係るプログラムにおいて、前記消失点の位置に基づき、車両と周辺環境との位置関係を算出する処理を前記コンピュータに実行させ、車両周辺の環境認識を行うようにしてもよい。

[0042] 本発明に係るプログラムにおいて、前記車両と周辺環境との位置関係として、車両の向いて!/、る方向と道路面とのピッチ角を算出するようにしてもよ!/、。

発明の効果

[0043] 本発明によれば、画像の少なくとも一部分を含む 2次元空間内の各点について、当該点又はその近傍を通過する複数の直線の角度が広い範囲に疎に分布しばらついている点を消失点として検出することで、頑健な消失点の検出を実現している。その理由は、当該点周囲の所定の範囲を通過する複数の直線の角度が広い範囲に疎に分布し、ばらついているほど、当該点が消失点として、より検出され易くなり、従って、偽の消失点の検出が抑制される、ためである。

図面の簡単な説明

[図 1]本発明の第 1の実施の形態の構成を示す図である。

[図 2]直線角度のばらつきについて説明する図である。

[図 3]本発明の第 1の実施の形態の動作を説明するためのフローチャートである。

[図 4]本発明の一実施例で用いる道路画像を示す図である。

[図 5] (A)、 (B)は本発明の一実施例のカメラセッティングおよびカメラ座標系を示す図である。

[図 6] (A)、 (B)は本発明の一実施例の構成を示す図である。

[図 7] (A)、 (B)は本発明の一実施例の構成を示す図である。

[図 8] (A)、 (B)はソーベルフィルタを説明する図である。

[図 9]本発明の一実施例の直線投票処理を説明する図である。

[図 10]本発明の一実施例の動作を説明するためのフローチャートである。

[図 11]本発明の第 2の実施の形態の構成を示す図である。

[図 12]本発明の第 2の実施の形態の動作を説明するためのフローチャートである。

[図 13]本発明の第 2の実施例の構成を示す図である。

[図 14] (A)、 (B)は本発明の第 2の実施例の構成を示す図である。

[図 15]消失点近傍の右下領域、左下領域での消失点投票値の分布の一例を示す図である。

[図 16]本発明の第 2の実施例における直線角度ばらつき評価値を説明する図である

〇

[図 17]本発明の第 2の実施例の動作を説明するためのフローチャートである。

[図 18]従来のシステムの構成を示す図である。

[図 19]従来のシステムにおける消失点推定部を説明する図である。

[図 20]従来のシステムにおける消失点推定の失敗例を示す図である。

符号の説明 100、 600、 1100、 1300、 1800 コンピュータ（中央処理装置；プロセッサ；データ処理装置）

110、 610、 1110、 1310 画像入力装置

120、 620、 1120、 1320 直線検出手段

130、 630、 1130、 1330 消失点検出手段

131、 631、 1132、 1332 直線角度ばらつき評価値付与手段

132、 632、 1133、 1333 消失点評価値付与手段

133、 633、 1134、 1334 消失点決定手段

140、 640、 1140、 1340 消失点出力手段

210、 220、 1500、 1900、 2000 画像

211、 221、 1510、 1910、 2010 消失点

212、 222、 1540、 1640、 1920 直線

410 道路画像

411 道路面

412 白線

413 道路端

510 自車両

520 カメラ

521 カメラ光軸

522 カメラ画像面

530 路面

540 ピッチ角

634、 1131、 1331 直線投票手段

635 消失点評価値算出手段

710、 1410 エッジ点検出手段

711、 1411 3x3ソ一ベルフィルタ手段

712、 1412 エッジ強度計算手段

713、 1413 エッジ強度閾値処理手段 714、 1414 エッジ点出力手段

720、 1420 Hough変換手段

730、 1430 直線出力手段

721、 1421 Hough空間投票手段

722、 1422 Hough空間平滑化手段

723、 1423 Hough空間ピーク検出手段

801 X方向勾配カーネル

802 y方向勾配カーネル

910、 1500 直線投票空間

1520、 1620 消失点右下領域

1530、 1630 消失点左下領域

1610 当該点

1810 主制御部

1820 画像入力部

1821 エッジ点検出部

1822 線分検出部

1823 線分選別部

1830 消失点推定部

1930 両端点と消失点がなす三角形

2020 不適切な線分

発明を実施するための最良の形態

[0046] 次に、本発明を実施するための最良の形態について図面を参照して詳細に説明する。

[0047] 前記したように、無限遠点以外の消失点を検出する場合、特に、 Hough変換 (画像中のパラメータ曲線の検出手法）等の代表的な直線の検出手法では、直線の検出において、真に検出すべき直線と角度や位置が類似した偽の直線が検出され易ぐ偽の直線がなす交点（偽の消失点）を、誤まって、消失点として検出しやすい。本発明は、偽の直線による偽の消失点に対して、頑健に、真の消失点を検出可能とするものであり、画像の少なくとも一部分を含む 2次元空間内の各点について、当該点又はその近傍を通過する複数の直線の角度力相対的に広い範囲に疎に分布し、ばらついている点を消失点として検出する。これは、画像の少なくとも一部分を含む 2次元空間内の各点について、当該点又は当該点周囲の所定の範囲を通過する複数の直線の角度が、相対的に広い範囲に疎に分布し、ばらついているほど、当該点が消失点として、より検出され易くなり、従って、偽の消失点の検出が抑制される、ためである。

[0048] 図 1は、本発明の第 1の実施の形態の構成を示す図である。図 1を参照すると、本発明の第 1の実施の形態のシステムは、プログラム制御により動作するコンピュータ（中央処理装置;プロセッサ；データ処理装置） 100と、画像入力装置 110と、を備えて構成されている。

[0049] 本実施形態のシステムにおいて、コンピュータ（中央処理装置；プロセッサ；データ処理装置） 100は、直線検出手段 120と、消失点検出手段 130と、消失点出力手段 140と、を含む。

[0050] 消失点検出手段 130は、直線角度ばらつき評価値付与手段 131と、消失点評価値付与手段 132と、消失点決定手段 133とを含む。これらの手段は、それぞれ概略つぎのように動作する。

[0051] 画像入力装置 110は、消失点を検出する対象となる画像を入力する。

[0052] 直線検出手段 120は、画像入力装置 110が入力した画像から、消失点を通過すると推測される複数の直線を検出する。

[0053] 直線角度ばらつき評価値付与手段 131は、画像の少なくとも一部分を含む 2次元空間内（以下、「直線投票空間」という）の各点について、当該点又は当該点の周囲の所定の範囲を通過する直線の角度のばらつき具合を評価した評価値 (以下、「直線角度ばらつき評価値」という）を付与する。

[0054] 消失点評価値付与手段 132は、

直線投票空間内の各点について、

(a)当該点又は当該点周囲の所定の範囲を通過する直線に関する情報と、

(b)直線角度ばらつき評価値と、から、当該点の消失点らしさ具合を評価した評価値 (以下、「消失点評価値」という）を、直線投票空間内の各点に付与する。

[0055] ただし、消失点評価値付与手段 132は、場合によっては、省略してもよく、この場合

、直線角度ばらつき評価値付与手段 131によって求められた直線ばらつき評価値を

、そのまま、消失点評価値として利用する。

[0056] 消失点決定手段 133は、直線投票空間内の各点に付与された消失点評価値を用いて消失点を決定する。

[0057] 消失点出力手段 140は、消失点決定手段 133で決定された消失点を出力する。

[0058] ここで、角度のばらつき具合について説明する。

[0059] 図 2は、本実施形態を説明するための図である。図 2には、画像内の消失点を通過する複数の直線の角度がばらつレ、てレ、る場合 (A)と、ばらつ!/、て!/、な!/、場合 (B)が示されている。

[0060] 角度がばらついている場合、図 2 (A)に示すように、画像 210内の消失点 211を通過する複数の直線 212が水平線となす角度《1、《2、《3、 α 4が、相対的に広い値域に疎に分布している。

[0061] 一方、角度がばらついていない場合、図 2 (B)に示すように、画像 220内の消失点

221を通過する複数の直線 222が水平線となす角度 /3 1、 /3 2、 /3 3、 /3 4が、相対的に狭!/、値域に密に分布して!/、る。

[0062] 角度のばらつき具合とは、このような複数の直線の角度のばらつきを意味する。

[0063] また、本実施の形態では、角度ばらつき評価値は、画像の各点において、図 2 (A) のように、角度がばらついている場合に値が大きくなり、図 2 (B)のように、角度がばらっレ、て!/、な!/、場合は小さくなるように、設計される。

[0064] 図 3は、本実施の形態の動作を説明するためのフローチャートである。図 1及び図 3 を参照して、本実施の形態の全体の動作について詳細に説明する。

[0065] 画像入力装置 110は、消失点検出の対象である画像を入力する（図 3のステップ A

D o画像入力装置 110は画像データ（デジタルイメージデータ）を不図示の記憶装置に格納する。

[0066] 直線検出手段 120は、画像入力装置 110が入力した画像から消失点を通過すると推測される複数の直線を検出する（ステップ A2)。

[0067] 直線角度ばらつき評価値付与手段 131は、直線投票空間内の各点について、当該点又は当該点周囲の所定の範囲を通過する複数の直線についての角度ばらつき評価値を付与する（ステップ A3)。

[0068] 消失点評価値付与手段 132は、直線投票空間内の各点について、当該点又は当該点周囲の所定の範囲を通過する複数の直線に関する情報と直線角度ばらつき評価値とから、消失点評価値を付与する（ステップ A4)。ただし、ステップ A4を省略し、前述したように、直線角度ばらつき評価値を、消失点評価値として、禾 IJ用してもよい。

[0069] 消失点決定手段 133は、直線投票空間内の各点に付与された消失点評価値を用いて、例えば最大の消失点評価値を与える点を、消失点と決定することで、消失点を検出する（ステップ A5)。なお、消失点決定手段 133において、最大の消失点評価値を与える点を消失点とする構成にのみ限定されるものでなぐ他の手法を用いてもよいことは勿論である。例えば、消失点評価値の極大値を与える点を消失点とする等により、消失点を検出することもできる。

[0070] 消失点出力手段 140は、消失点決定手段 133で検出された消失点を出力する（ステツプ A6)。

[0071] 次に、本実施の形態の作用効果について説明する。

[0072] 本実施の形態では、直線投票空間内の各点について、当該点又は当該点周囲の所定の範囲を通過する複数の直線の角度のばらつき具合が大きいほど当該点が消失点として検出され易いように構成したことにより、無限遠点以外の消失点を検出する場合、特に、直線検出において真に検出すべき直線と角度や位置が類似した偽の直線が検出され易ぐそれらの偽の直線がなす交点を偽の消失点と誤りやすい状況において、それら偽の消失点に対して頑健に真の消失点を検出できる（前述したように、このような偽の直線は、例えば Hough変換等の代表的な直線検出手法において検出されやすい場合がある)。以下、具体的な実施例を用いて説明する。

[0073] <実施例 1〉

図 4、図 5は、本発明を実施した一具体例（一実施例）を説明する図である。図 4は、車載カメラから前方の道路を撮影した画像である。すなわち、図 5 (A)の車両 510に搭載したカメラ 520から道路を撮影した道路画像 410から走行レーンを表す白線 41 2や道路端 413等のエッジ部分を Hough変換により直線として検出し、それらのなす消失点を検出する。なお、図 5 (A)において、ピッチ角 Θは自車両 510と道路面 530 との間の角度である（ピッチ角 Θについては後述する）。図 5 (B)は、図 5 (A)の車両 5 10に搭載したカメラ 520のカメラ光軸 521とカメラ画像面 522、焦点、焦点距離の関係（光学系）を模式的に示したものである（図 5 (B)は後に説明される）。

[0074] 図 6 (A)は、本実施例の構成の一例を示す図である。図 6 (B)は、図 6 (A)の消失点検出手段 630の構成の一例を示す図である。図 6 (A)を参照すると、本実施例は、車載カメラである画像入力装置 610と、直線検出手段 620と、消失点検出手段 630 と、消失点出力手段 640とを含む。

[0075] 図 6 (A)を参照すると、消失点検出手段 630は、直線角度ばらつき評価値付与手段 631と、消失点評価値付与手段 632と、消失点決定手段 633とを含む。

[0076] 図 6 (B)を参照すると、消失点評価値付与手段 632は、直線投票手段 634と、消失点評価値算出手段 635とを含む。

[0077] 図 7 (A)は、図 6の直線検出手段 620の構成の一例を示す図である。図 7 (B)は、図 7 (A)のエッジ点検出手段 710の構成の一例を示す図である。

[0078] 図 7 (A)を参照すると、エッジ点検出手段 710と、 Hough変換手段 720と、直線出力手段 730とを含む。

[0079] 図 7 (B)を参照すると、エッジ点検出手段 710は、 3 X 3ソーベルフィルタ手段 711と、エッジ強度計算手段 712と、エッジ強度閾値処理手段 713と、エッジ点出力手段 7 14とを含む。

[0080] ただし、エッジ点検出手段 710は、上記構成に限定されるものではなぐ画素値の変化が急峻なエッジ部分の点（「エッジ点」と呼ぶ）を検出できるものであれば、任意の構成が用いられる。

[0081] 図 7 (A)を参照すると、 Hough変換手段 720は、 Hough空間投票手段 721と、 Hough 空間平滑化手段 722と、 Hough空間ピーク検出手段 723とを含む。

[0082] 図 6 (A)の画像入力装置 610は、図 4に示した道路画像 410を入力する。

[0083] 図 6 (A)の直線検出手段 620は、画像入力装置 610が入力した道路画像 410 (図 4参照）から、走行レーンを表す白線 412や道路端 413 (図 4参照）等のエッジ部分を

Hough変換により直線として検出する。

[0084] 図 6 (A)の消失点検出手段 630は、直線検出手段 620により検出された直線が集中する点を消失点として検出する。

[0085] 消失点出力手段 640は、消失点を出力する。

[0086] 図 7 (B)の 3x3ソーベルフィルタ手段 711は、道路画像 410 (図 4参照）の各点について 3 X 3近傍中の各画素値と、図 8 (A)、図 8 (B)に示す X方向勾配カーネル 801、 y方向勾配カーネル 802の各係数の積の和をとる。これらの積和を、それぞれ、「ソーベル X成分」、「ソーベル y成分」と呼ぶ。

[0087] 図 7 (B)のエッジ強度計算手段 712は、道路画像 410 (図 4参照）の各点について、ソーベル X成分とソーベル y成分の 2乗和の平方、又は絶対値の和を計算し、各点のエッジ強度とする。

[0088] 図 7 (B)のエッジ強度閾値処理手段 713は、道路画像 410 (図 4参照）の各点についてエッジ強度が予め定められた閾値、例えば 100以上か否かを判断する。

[0089] 図 7 (B)のエッジ点出力手段 714は、エッジ強度閾値処理手段 713でエッジ強度が閾^ I以上と判断された点をエッジ点として出力する。

[0090] 図 7 (A)の Hough空間投票手段 721は、直線を表現するパラメータを軸とする空間（以下、「Hough空間」という）内において、エッジ点検出手段 710で検出されたエッジ点に対応する軌跡上の各点について、エッジ点に応じた重みを投票する。

[0091] ここで、エッジ点に応じた重みとしてエッジ強度を投票する。ただし、エッジ点に応じた重みは、エッジ強度に限定されるものではなぐ例えば、定数、後述のソーベル X成分とソーベル _y成分により算出されるエッジ点における画素値の勾配と軌跡上の点に対応する直線の傾きとのなす角など、エッジ点又はその近傍の画素値等から算出される値、又は、これらの値 (エッジ点又はその近傍の画素値等から算出される値)やエッジ強度等から算出される値等を用いてもよい。

[0092] また、図 7 (A)の Hough空間平滑化手段 722は、 Hough空間の各点について、当該点および近傍の点の投票値 (以下、「直線投票値」という）を用いて、当該点での平滑化された直線投票値を決定する。 [0093] 特に制限されないが、本実施例では、例えば、当該点の 3 X 3近傍の点の平均値として平滑化された直線投票値を決定する。近傍の範囲や平滑化された直線投票値の決定方法は、これに限定されるものではない。なお、場合によっては、図 7 (A)の H ough空間平滑化手段 722を省略してもよ!/、。

[0094] 図 7 (A)の Hough空間ピーク検出手段 723は、 Hough空間内において予め定められた閾値以上であり、且つ、例えば 3 X 3近傍等の近傍範囲で最大の直線投票値を持つ点をピークとして検出する。ただし、ピークを検出する基準はこれに限定されるものではなぐ例えば、 Hough空間内での最大直線投票値をもつ点のみをピークとする等、問題設定に応じた基準をとることが出来る。

[0095] 図 6 (A)の直線角度ばらつき評価値付与手段 631は、道路画像 410の少なくとも一部分を含む 2次元空間（以下、「直線投票空間」という）内の各点について直線角度ばらつき評価値を算出し、付与する。

[0096] また、図 6 (A)の消失点評価値付与手段 632は、直線投票空間の各点について、直線検出手段 620により検出された複数の直線の情報と、図 6 (A)の消失点評価値付与手段 632により、道路画像 410 (図 4参照）、又は直線投票空間の各点に付与された直線角度ばらつき評価値と、から、道路画像 410 (図 4参照）、又は、直線投票空間の各点について、消失点評価値を算出し、付与する。

[0097] 特に制限されないが、図 6 (A)の消失点決定手段 633は、例えば、直線投票空間内で消失点評価値が最大である点を消失点として決定する。

[0098] なお、消失点決定の基準は、直線投票空間内で消失点評価値が最大である点に限定されるものではなぐ例えば、予め定められた閾値以上の消失点評価値をもつ点、または予め定められた近傍内にて極大値をもつ点、又はこれらの条件の組み合わせ等、問題設定に応じた基準をとることが出来る。

[0099] 図 6 (B)の直線投票手段 634は、図 9に示すように、図 7 (A)の Hough変換手段 720 において検出された各直線の軌跡上の点に対応する直線投票空間の点に、例えば Hough空間ピーク検出手段 723で検出したピークの直線投票値を投票する（以下、「消失点投票値」と呼ぶ)。

[0100] なお、図 6 (B)の直線投票手段 634で用いる投票値は、上記に限定されるものではなぐ直線上の点であることが確かであるほど大きな値をもつ投票値であればよい。

[0101] 図 6 (B)の消失点評価値算出手段 635は、直線投票空間の各点について、当該点又はその近傍の点に関しての消失点投票値と直線角度ばらつき評価値とから、例えばそれらの積として消失点評価値を算出し、当該点に付与する。

[0102] なお、消失点評価値算出手段 635において、消失点評価値の算出方法はこれに限定されるものではなぐ消失点投票値および直線角度ばらつき評価値についての単調増加であるような算出方法であればよい。

[0103] 直線角度ばらつき評価値について以下に説明する。

[0104] 前述したように、直線角度ばらつき評価値は、当該点又は当該点周囲の所定の範囲を通過する直線の角度がばらついている程大きな値をもつように算出される。

[0105] ここで、「角度」とは、例えば各直線と水平線とがなす角度であり、「ばらつき」とは直線の角度が、広レヽ範囲に疎に分布して!/、る状態を意味する。

[0106] 道路画像 410(図 4参照)又は直線投票空間内のある点、又は、その周辺を通過する直泉の本数を Nとし、各直泉を Ll、 L2、 ······、 LNとする。

[0107] また、直線 Lk、 k=l、 2、……、 Nの水平線とのなす角度および Hough変換手段での投票値をそれぞれ a k、 wkとする。

[0108] ここで、直線ばらつき評価値を a kの分散丄

•••(1)

kの重み付き分散

•••(2)

などの分散値や、これらの平方根をとつた標準偏差、又は《kの最大値と最小値の差 max a_k _ miri a_k

k k

•••(3)

等として算出することが出来る。

[0109] ただし、直線ばらつき評価値はこれに限定されるものではなぐ当該点又は当該点周囲の所定の範囲を通過する直線の角度がばらついている程大きな値になるものであればよい。

[0110] 次に、本実施例の動作について、図 6、図 7及び図 10のフローチャートを参照して詳細に説明する。

[0111] 図 6 (A)の画像入力装置 610が、道路画像を入力する（図 10のステップ Bl)。

[0112] 次に、図 7 (B)の 3x3ソーベルフィルタ手段 711が、道路画像 410 (図 4参照）の各点について、ソーベル X成分とソーベル y成分を算出する（ステップ B2)。

[0113] 次に、図 7 (B)のエッジ強度計算手段 712が、道路画像の各点についてエッジ強度を計算する (ステップ B3)。

[0114] 次に、図 7 (B)のエッジ強度閾値処理手段 713が、道路画像の各点についてエッジ強度を閾値処理する（ステップ B4)。

[0115] 次に、図 7 (B)のエッジ点出力手段 714が、エッジ強度が閾値以上の点をエッジ点として検出する (ステップ B5)。

[0116] 次に、図 7 (A)の Hough空間投票手段 721が、各エッジ点について Hough空間内の軌跡上に投票を行う（ステップ B6)。

[0117] 次に、図 7 (A)の Hough空間平滑化手段 722が、 Hough空間内の各点の投票値を平滑化する（ステップ B 7)。

[0118] 次に、図 7 (A)の Hough空間ピーク検出手段 723が、 Hough空間内のピーク点を検出する（ステップ B8)。

[0119] 次に、図 7 (A)の直線出力手段 730が、各 Hough空間ピーク点に対応する直線を検出する（ステップ B9)。

[0120] ここで、直線が複数検出されて!/、れば、ステップ Bl 1に進み、直線が複数検出されていなければ終了する（ステップ B10)。 [0121] 次に、図 6 (A)の直線角度ばらつき評価値付与手段 631が、直線投票空間の各点について直線角度ばらつき評価値を算出する（ステップ Bl 1)。

[0122] 次に、図 6 (B)の直線投票手段 634が、図 7 (A)の Hough変換手段 720において検出された各直線の軌跡上の点に対応する直線投票空間の点に、例えば Hough空間ピーク検出手段 723で検出したピークの直線投票値を投票する (ステップ B12)。

[0123] 次に、図 6 (B)の消失点評価値算出手段 635が、直線投票空間の各点での消失点評価値を消失点投票値と直線角度ばらつき評価値とから、例えばそれらの積として算出する (ステップ B 13)。

[0124] 次に、図 6 (A)の消失点決定手段 633が、直線投票空間内での消失点投票値のピーク点に対応する消失点を検出する (ステップ B14)。

[0125] 次に、図 6 (A)の消失点出力手段 640が、消失点決定手段 633で検出した消失点を出力する（ステップ B15)。

[0126] また、本実施例の応用例として、図 5 (A)に示すような自車両 510と道路面 530との間のピッチ角（ Θ ) 540を算出すること力 Sできる。

[0127] すなわち、図 5 (B)に示すように、焦点距離 S既知のカメラ画像面 522およびカメラ座標系 (X, y)をとり、消失点の座標を (XV, yv)とすると、ピッチ角（ Θ ) 540を式 (4)のように定める。 yv=— fcos ( θ )より、

[0128]

θ = arccos

-•(4)

[0129] ただし、ピッチ角 Θの算出は、式 (4)に限定されるものではなぐ式 (4)を近似的に算出するような算法によってもよい。

[0130] 次に、本発明の第 2の実施の形態について図面を参照して詳細に説明する。図 11 は、本発明の第 2の実施の形態の構成を示す図である。

[0131] 図 11を参照すると、本発明の第 2の実施の形態は、プログラム制御により動作するコンピュータ（中央処理装置；プロセッサ；データ処理装置） 1100と、画像入力装置 1 110とを備えて構成される。 [0132] コンピュータ（中央処理装置；プロセッサ；データ処理装置） 1100は、直線検出手段 1120と、消失点検出手段 1130と、消失点出力手段 1140とを含む。

[0133] 消失点検出手段 1130は、直線投票手段 1131と、直線角度ばらつき評価値付与手段 1132と、消失点評価値付与手段 1133と、消失点決定手段 1134とを含む。

[0134] これらの手段は、それぞれ概略つぎのように動作する。

[0135] 画像入力装置 1110は、消失点を検出する対象となる画像を入力する。

[0136] 直線検出手段 1120は、画像入力装置 1110が入力した画像から消失点を通過すると推測される複数の直線を検出する。

[0137] 直線投票手段 1131は、画像入力装置 1110が入力した画像の少なくとも一部分を含む 2次元空間内（以下、「直線投票空間」という）の各点について、直線検出手段 1

120で検出した複数の直線の内当該点又は当該点周囲の所定の範囲を通過する直線に基づレ、た投票値を与える。

[0138] 直線角度ばらつき評価値付与手段 1132は、直線投票空間内の各点について、直線投票手段 1131にて付与した当該点近傍の投票値に基づき、当該点又は当該点周囲の所定の範囲を通過する直線の角度のばらつき具合を評価した直線角度ばらつき評価値を付与する。

[0139] 消失点評価値付与手段 1133は、直線投票空間内の各点について、直線投票手段 1131にて各点に付与した投票値と角度ばらつき評価値とから当該点の消失点らしさ具合を評価した消失点評価値を付与する。

[0140] ただし、消失点評価値付与手段 1133は、場合によっては省略してもよぐこの場合は直線ばらつき評価値を消失点評価値として利用する。

[0141] 消失点決定手段 1134は、画像内又は直線投票空間内の各点に付与された消失点評価値を用いて消失点を決定する。

[0142] 消失点出力手段 1140は、消失点決定手段 1134で決定された消失点を出力する

[0143] 次に、図 12は、本実施形態の動作を説明するフローチャートである。図 11、図 12 を参照して、本実施の形態の全体の動作について詳細に説明する。

[0144] まず、画像入力装置 1110が、消失点検出の対象である画像を入力する（図 12のステップ CI)。

[0145] 次に、直線検出手段 1120は、画像入力装置 1110が入力した画像から消失点を通過すると推測される複数の直線を検出する (ステップ C2)。

[0146] 直線投票手段 1131が、直線投票空間においてステップ C2により検出した直線に対応する投票を行う（ステップ C3)。

[0147] 直線角度ばらつき評価値付与手段 1132が、直線投票空間内の各点について、ステツプ C3にて付与した当該点近傍の投票値に基づき当該点又は当該点周囲の所定の範囲を通過する複数の直線についての直線角度ばらつき評価値を付与する（ステツプ C4)。

[0148] 消失点評価値付与手段 1133が、画像内又は直線投票空間内の各点について、ステップ C3にて各点に付与した投票値と直線角度ばらつき評価値とから消失点評価値を付与する（ステップ C 5)。

[0149] ただし、ステップ C5を省略し、直線角度ばらつき評価値を前記消失点評価値として禾 IJ用してあよい。

[0150] 消失点決定手段 1134が、直線投票空間内の各点に付与された消失点評価値を用いて、例えば最大の消失点評価値を与える点を消失点とするなどして、消失点を検出する（ステップ C6)。ただし、消失点評価値を用いた消失点検出方法は、これに限定するものではなぐ例えば消失点評価値の極大値を与える点を消失点とする等により消失点を検出することもできる。

[0151] 消失点出力手段 1140により検出された消失点を出力する（ステップ C7)。

[0152] 次に、本発明を第 2の実施形態の作用効果について説明する。

[0153] 本実施形態では、直線角度ばらつき評価値が直線投票空間内での近傍の投票値に基づき算出するというように構成されているため、少ない処理量で直線角度ばらつき評価値を算出でき、短!ヽ処理時間で偽の直線に対して頑健な消失点検出を行うこと力 Sできる。

[0154] 次に、具体的な実施例に即して説明する。

[0155] <実施例 2〉

本実施例は、図 4に示した道路画像 410 (車載カメラから前方道路を撮像した画像 )力も走行レーンを表す白線 412や道路端 413等のエッジ部分を Hough変換により直線として検出してそれらのなす消失点を検出する。

[0156] 図 13に示すように、本実施例は、車載カメラである画像入力装置 1310と、直線検出手段 1320と、消失点検出手段 1330と、消失点出力手段 1340とを含む。

[0157] 消失点検出手段 1330は、直線投票手段 1331と、直線角度ばらつき評価値付与手段 1332と、消失点評価値付与手段 1333と、消失点決定手段 1334とを含む。

[0158] 図 14 (A)は、図 13の直線検出手段の構成を示す図である。図 14 (B)は、図 14 (A

)のエッジ点検出手段 1410の構成を示す図である。図 14 (A)に示すように、直線検出手段 1320は、エッジ点検出手段 1410と、 Hough変換手段 1420と、直線出力手段 1430とを含む。

[0159] 図 14 (B)に示すように、エッジ点検出手段 1410は、 3 X 3ソーベルフィルタ手段 14 11と、エッジ強度計算手段 1412と、エッジ強度閾値処理手段 1413と、エッジ点出力手段 1414とを含む。ただし、エッジ点検出手段 1410は構成に限定されるものではなぐ画素値の変化が急峻なエッジ部分の点（以下、エッジ点と呼ぶ）を検出する手段であればよい。

[0160] 図 14 (A)に示すように、 Hough変換手段 1420は、 Hough空間投票手段 1421と、 H ough空間平滑化手段 1422と、 Hough空間ピーク検出手段 1423とを含む。

[0161] 図 13の画像入力装置 1310は、道路画像 410 (図 4参照）を入力する。

[0162] 直線検出手段 1320は、道路画像 410 (図 4参照）から走行レーンを表す白線 412 や道路端 413等のエッジ部分を Hough変換により直線として検出する。

[0163] また、図 13の消失点検出手段 1330は、直線検出手段 1320により検出された直線が集中する点を消失点として検出する。

[0164] 図 13の消失点出力手段 1340は、消失点を出力する。

[0165] 図 14 (B)の 3x3ソーベルフィルタ手段 1411は、道路画像 410 (図 4参照）の各点について 3 X 3近傍中の各画素値と、図 8 (A)、図 8 (B)に示す X方向勾配カーネル 80 l、y方向勾配カーネル 802の各係数の積の和をとる。これらの積和をそれぞれ、「ソ一ベル X成分」、「ソーベル y成分」と呼ぶ。

[0166] 図 14 (B)のエッジ強度計算手段 1412は、道路画像 410 (図 4参照）の各点についてソーベル X成分とソーベル y成分の 2乗和の平方、又は絶対値の和を計算し、各点のエッジ強度とする。

[0167] 図 14 (B)のエッジ強度閾値処理手段 1413は、道路画像 410 (図 4参照）の各点についてエッジ強度が予め定められた閾値、例えば 100以上か否かを判断する。

[0168] 図 14 (B)のエッジ点出力手段 1414は、エッジ強度閾値処理手段 1413でエッジ強度が閾値以上と判断された点をエッジ点として出力する。

[0169] 図 14 (A)の Hough空間投票手段 1421は、直線を表現するパラメータを軸とする空間（以下、 Hough空間と呼ぶ）内において、エッジ点検出手段 1410で検出されたエツジ点に対応する軌跡上の各点について、エッジ点に応じた重みを投票する。

[0170] ここで、エッジ点に応じた重みとしてエッジ強度を投票する。ただし、エッジ点に応じた重みはこれに限定されるものではなぐ前述したように、例えば定数、後述のソ一べル X成分とソーベル y成分により算出されるエッジ点における画素値の勾配と軌跡上の点に対応する直線の傾きとのなす角など、エッジ点又はその近傍の画素値等から算出される値、又はこれらの値やエッジ強度等から算出される値等を用いてもよい。

[0171] 図 14 (A)の Hough空間平滑化手段 1422は、 Hough空間の各点について、当該点および近傍の点の投票値 (以下、「直線投票値」と呼ぶ）を用いて当該点での平滑化された直線投票値を決定する。

[0172] ここでは、例えば、前記当該点の 3 X 3近傍の点の平均値として平滑化された直線投票値を決定する。ただし、近傍の範囲や平滑化された直線投票値の決定方法はこれに限定されるものではない。また、場合によっては、図 14 (A)の Hough空間平滑化手段 1422を省略してもよい。

[0173] 図 14 (A)の Hough空間ピーク検出手段 1423は、 Hough空間内において予め定められた閾値以上であり、かつ例えば 3 X 3近傍等の近傍範囲で最大の直線投票値を持つ点をピークとして検出する。ただし、ピークを検出する基準はこれに限定されるものではなぐ例えば、 Hough空間内での最大直線投票値をもつ点のみをピークとする等、問題設定に応じた基準をとることが出来る。

[0174] 図 13の直線投票手段 1331は、図 14 (A)の Hough変換手段 1420において検出された各直線の軌跡上の点に対応する直線投票空間の点に、例えば、図 14 (A)の Ho ugh空間ピーク検出手段 1423で検出したピークの直線投票値を投票する（以下、「消失点投票値」と呼ぶ）。ただし、投票値は、これに限定されるものではなぐ直線上の点であることが確かであるほど大きな値をもつ投票値であればよい。

[0175] 図 13の直線角度ばらつき評価値付与手段 1332は、直線投票空間内の各点について近傍の消失点投票値に基づき直線角度ばらつき評価値を算出し、付与する。

[0176] 図 13の消失点評価値付与手段 1333は、直線投票空間の各点について、当該点又はその近傍の消失点投票値と直線角度ばらつき評価値とから消失点評価値を算出し、付与する。

[0177] 図 13の消失点決定手段 1334は、例えば直線投票空間内で消失点評価値が最大である点を消失点として決定する。ただし、消失点決定の基準は、これに限定されるものではなぐ例えば予め定められた閾値以上の消失点評価値をもつ点、または予め定められた近傍内にて極大値をもつ点、又はこれらの条件の組み合わせ等、問題設定に応じた基準をとることが出来る。

[0178] 直線角度ばらつき評価値について以下に説明する。

[0179] 前述のように、直線角度ばらつき評価値は当該点又は当該点周囲の所定の範囲を通過する直線の角度がばらついている程大きな値をもつように算出される。

[0180] ここでは、特に図 15に示すような、消失点 1510の右下領域 1520を通過する直線と左下領域 1530を通過する直線とが偏り無く存在するという意味において消失点 15 10における直線角度のばらつきが大きいと仮定できる場合を想定しており、このような状況は画像 1500として、本実施例のような道路画像を対象とした場合には当ては

[0181] そこで、本実施例では、直線投票空間内の各点において、当該点の近傍の消失点投票値に基づき以下のように直線角度ばらつき評価値の算出を行う。

[0182] すなわち、図 16に示すように、当該点 1610の右下領域 1620での消失点投票値の和を Sr、左下領域 1630での消失点投票値の和を SIとして、式（5)のように算出す

[0183] 2- 111111(5^^ )

•••(5)

[0184] ただし、直線角度ばらつき評価値の算出は式（5)に限定されるものではなぐ図 16 の当該点 1610の右下領域 1620内の消失点投票値と左下領域 1630内の消失点投票値とが偏り無く存在する場合に値が大きくなるような他の算出式を用いることが出来る。

[0185] また、右下領域 1620および左下領域 1630として、例えばサイズ 13 X 13の正方領域等をとることが出来る力これらはこれに限定されるものではなぐ用途に応じた領域をとること力 S出来る。

[0186] 図 17は、本実施例の動作を説明するフローチャートである。図 13、図 14及び図 17 を参照して、本実施例の動作について詳細に説明する。

[0187] まず、図 13の画像入力装置 1310が、道路画像を入力する（図 17のステップ Dl)。

[0188] 次に、図 14 (B)の 3x3ソーベルフィルタ手段 1411により道路画像 410 (図 4参照）の各点についてソーベル X成分とソーベル y成分を算出する（ステップ D2)。

[0189] 次に、図 14 (B)のエッジ強度計算手段 1412が、道路画像の各点についてエッジ強度を計算する (ステップ D3)。

[0190] 次に、図 14 (B)のエッジ強度閾値処理手段 1413が、道路画像の各点についてェッジ強度を閾値処理する（ステップ D4)。

[0191] 次に、図 14 (B)のエッジ点出力手段 1414が、エッジ強度が閾値以上の点をエッジ点として検出する (ステップ D5)。

[0192] 次に、図 14 (A)の Hough空間投票手段 1421が、各エッジ点について Hough空間内の軌跡上に投票を行う（ステップ D6)。

[0193] 次に、図 14 (A)の Hough空間平滑化手段 1422が、 Hough空間内の各点の投票値を平滑化する（ステップ D7)。

[0194] 次に、図 14 (A)の Hough空間ピーク検出手段 1423が、 Hough空間内のピーク点を検出する（ステップ D8)。

[0195] 次に、図 14 (A)の直線出力手段 1430が、各 Hough空間ピーク点に対応する直線を検出する（ステップ D9)。

[0196] ここで、直線が複数検出されて!/、れば、ステップ Dl 1に進み、直線が複数検出されていなければ、終了する（ステップ D10)。

[0197] 次に、図 13の直線投票手段 1331が、図 14 (A)の Hough変換手段 1420において検出された各直線の軌跡上の点に対応する直線投票空間の点に、例えば図 14 (A) の Hough空間ピーク検出手段 1423で検出したピークの直線投票値を投票する（ステップ Dl l)。

[0198] 次に、図 13の直線角度ばらつき評価値付与手段 1332が、直線投票空間の各点について、当該点近傍の消失点投票値に基づき直線角度ばらつき評価値を算出する（ステップ D 12)。

[0199] 次に、図 13の消失点評価値付与手段 1333が、直線投票空間の各点での消失点評価値を消失点投票値と直線角度ばらつき評価値とから、例えばそれらの積として算出する (ステップ D 13)。

[0200] 次に、図 13の消失点決定手段 1334が、直線投票空間内での消失点投票値のピーク点に対応する消失点を検出する (ステップ D14)。

[0201] 次に、図 13の消失点出力手段 1340が、検出した消失点を出力する (ステップ D15

)。

[0202] 本発明は、画像からの無限遠点以外の消失点の検出を行う任意の用途に適用できる。以上、本発明を上記実施例に即して説明したが、本発明は上記実施例の構成にのみ制限されるものでなぐ本発明の範囲内で当業者であればなし得るであろう各種変形、修正を含むことは勿論である。

Claims

請求の範囲

[1] 画像から直線を検出する直線検出手段と、

前記直線角度ばらつき評価値を消失点評価値として用い、前記直線角度ばらつき評価値が他と比べて相対的に大きな値をとる点を、消失点として、検出する消失点検出手段と、

を備えた、ことを特徴とする消失点検出システム。

[2] 前記直線角度ばらつき評価値付与手段は、前記画像内において、複数の直線がその上を通過する点又は複数の直線がその近傍を通過する点に関して、直線の角度のばらつき具合を表す評価値として前記直線角度ばらつき評価値を算出し、前記消失点検出手段は、複数の直線がその上を通過するか又はその近傍を通過する点に対応して導出された直線角度ばらつき評価値を、消失点らしさの指標として用い、直線角度ばらつき評価値が、他の点に関して導出された直線角度ばらつき評価値に比べて相対的に大きい値の点を、消失点として検出する、ことを特徴とする請求項 1記載の消失点検出システム。

[3] 画像から直線を検出し、検出された各前記直線につ!/、て、直線としての確信度を付与する直線検出手段と、

前記画像の少なくとも一部を含む空間内の各点について、該点又は該点周囲の所定の範囲内を通過する直線の角度力相対的に広い範囲に疎に分布している場合に、より大きな値をとる直線角度ばらつき評価値を付与する直線角度ばらつき評価値付与手段と、

前記画像の少なくとも一部を含む空間内の各点について、該点又は該点周囲の所定の範囲内を通過する直線の確信度に基づき、直線が相対的に多数通過している場合に、より大きな値をとる消失点評価値を付与する消失点評価値付与手段と、前記消失点評価値が相対的に大きな値をとる点を、消失点として、検出する消失点検出手段と、

を備え、

前記消失点評価値付与手段は、前記消失点評価値の算出に際して、前記直線角度ばらつき評価値を考慮する、ことを特徴とする消失点検出システム。

[4] 前記直線検出手段は、 Hough変換により直線を検出し、

前記直線としての確信度として、該直線の Hough変換での投票値を用いる、ことを特徴とする請求項 1乃至 3のいずれか一記載の消失点検出システム。

[5] 前記直線角度ばらつき評価値として、前記直線の角度の統計値が用いられる、ことを特徴とする請求項 1乃至 4のいずれか一に記載の消失点検出システム。

[6] 前記直線の角度の統計値は、前記直線の角度の分散と標準偏差、最大値と最小値の差と比のうちの少なくとも 1つを含む、ことを特徴とする請求項 5記載の消失点検出システム。

[7] 前記直線角度ばらつき評価値として、該点の右下領域と左下領域との間の前記直線としての確信度の偏りが用いられる、ことを特徴とする請求項 1乃至 4のいずれか一に記載の消失点検出システム。

[8] 前記画像は、車載センサより得られる画像データであり、

前記消失点として、走行レーンを表すレーンマーカ及び/又は道路端線に関する消失点を検出する、ことを特徴とする請求項 1乃至 7のいずれか一に記載の消失点検出システム。

[9] 請求項 1乃至 8のいずれか一に記載の消失点検出システムを備え、

前記消失点の位置に基づき、車両と周辺環境との位置関係を算出する、ことを特徴とする車両周辺環境認識システム。

[10] 前記車両と周辺環境との位置関係として、前記車両の向いている方向と道路面とのピッチ角を算出する、ことを特徴とする請求項 9に記載の車両周辺環境認識システム。

[11] 画像から直線を検出する工程と、

前記画像の少なくとも一部を含む空間内の各点について、該点又は該点周囲の所定の範囲内を通過する直線の角度力相対的に広い範囲に疎に分布している場合に、より大きな値をとる、直線角度ばらつき評価値を付与する工程と、前記直線角度ばらつき評価値を消失点評価値として用い、前記直線角度ばらつき評価値が相対的に大きな値をとる点を消失点として検出する工程と、

を含む、ことを特徴とする消失点検出方法。

[12] 画像から直線を、直線としての確信度とともに検出する工程と、

前記画像の少なくとも一部を含む空間内の各点について、該点又は該点周囲の所定の範囲内を通過する直線の角度力相対的に広い範囲に疎に分布している場合に、より大きな値をとる直線角度ばらつき評価値を付与する工程と、

前記画像の少なくとも一部を含む空間内の各点について、該点又は該点周囲の所定の範囲内を通過する直線の確信度に基づき、相対的に直線が多数通過している場合に、より大きな値をとる消失点評価値を付与する工程と、

前記消失点評価値が相対的に大きな値をとる点を消失点として検出する工程と、を含み、前記消失点評価値の算出に際して前記直線角度ばらつき評価値を考慮する、ことを特徴とする消失点検出方法。

[13] 前記画像から直線を検出する工程にお!/ヽて、

Hough変換により直線を検出し、

前記直線としての確信度として、該直線の Hough変換での投票値を用いる、ことを特徴とする請求項 11又は 12に記載の消失点検出方法。

[14] 前記直線角度ばらつき評価値として、前記直線の角度についての統計値を用いる

、ことを特徴とする請求項 11乃至 13のいずれか一に記載の消失点検出方法。

[15] 前記直線の角度についての統計値は、前記直線の角度の分散と標準偏差、最大値と最小値の差と比、のうちの少なくとも 1つを含む、ことを特徴とする請求項 14記載の消失点検出方法。

[16] 前記直線角度ばらつき評価値として、該点の右下領域と左下領域との間の前記直線としての確信度の偏りを用いる、ことを特徴とする請求項 11乃至 13の!/、ずれか一に記載の消失点検出方法。

[17] 前記画像として車載センサより得られる画像データを用い、

前記消失点として走行レーンを表すレーンマーカ及び/又は道路端線に関する消失点を検出する、ことを特徴とする請求項 11乃至 16のいずれか一に記載の消失点検出方法。

[18] 請求項 11乃至 17のいずれか一に記載の消失点検出方法で求めた前記消失点の位置に基づき、車両と周辺環境との位置関係を算出する、ことを特徴とする車両周辺環境認識方法。

[19] 前記車両と周辺環境との位置関係として、車両の向いている方向と道路面とのピッチ角を算出する、ことを特徴とする請求項 18に記載の車両周辺環境認識方法。

[20] 消失点の検出を行うコンピュータに、

画像から直線を検出する直線検出処理と、

前記画像の少なくとも一部を含む空間内の各点について、該点又は該点周囲の所定の範囲内を通過する直線の角度力相対的に広い範囲に疎に分布している場合に、より大きな値をとる直線角度ばらつき評価値を付与する直線角度ばらつき評価値付与処理と、

前記直線角度ばらつき評価値を消失点評価値として用い、前記直線角度ばらつき評価値が相対的に大きな値をとる点を消失点として検出する消失点検出処理と、を実行させるプログラム。

[21] 前記直線検出処理として、画像から直線を、直線としての確信度とともに検出する処理と、

前記直線角度ばらつき評価値付与処理として、前記画像の少なくとも一部を含む空間内の各点について、該点又は該点周囲の所定の範囲内を通過する直線の角度 1S 相対的に広い範囲に疎に分布している場合に、より大きな値をとる直線角度ばらつき評価値を付与する処理と、

前記画像の少なくとも一部を含む空間内の各点について、該点又は該点周囲の所定の範囲内を通過する直線の確信度に基づき、直線が相対的に多数通過している場合よりも大きな値をとる消失点評価値を付与し、その際、前記直線角度ばらつき評価値を考慮して前記消失点評価値を算出する消失点評価値付与処理と、

前記消失点検出処理として、前記消失点評価値が相対的に大きな値をとる点を消失点として検出する処理と、を前記コンピュータに実行させる請求項 20記載のプログラム。

[22] 前記直線検出処理は、 Hough変換により直線を検出し、前記直線としての確信度として該直線の Hough変換での投票値を用いる、ことを特徴とする請求項 20又は 21に記載のプログラム。

[23] 前記直線角度ばらつき評価値として、前記直線の角度についての統計値を用いる、ことを特徴とする請求項 20乃至 22のいずれか一に記載のプログラム。

[24] 前記直線の角度についての統計値は、前記直線の角度の、分散と標準偏差、最大値と最小値の差と比、の少なくとも 1つを含む、ことを特徴とする請求項 23記載のプログラム。

[25] 前記直線角度ばらつき評価値として、該点の右下領域と左下領域との間の前記直線としての確信度の偏りを用いる、ことを特徴とする請求項 20乃至 22のいずれか一に記載のプログラム。

[26] 前記画像として、車載センサより得られるデータを用い、

前記消失点として走行レーンを表すレーンマーカや道路端線に関する消失点を検出する処理を、前記コンピュータに実行させる、ことを特徴とする請求項 20乃至 25のいずれか一に記載のプログラム。

[27] 導出された前記消失点の位置に基づき、車両と周辺環境との位置関係を算出し、前記車両周辺の環境認識を行う処理を、前記コンピュータに実行させる、ことを特徴とする請求項 20乃至 25のいずれか一に記載のプログラム。

[28] 前記車両と周辺環境との位置関係として、車両の向いている方向と道路面とのピッチ角を算出する、ことを特徴とする請求項 25に記載のプログラム。