JP7004731B2 - 交通信号機に関する誤判定を検出するための方法 - Google Patents

Description

本発明は、自動車運転支援の分野に関し、より詳細には自動車に搭載されたカメラにより捕捉された画像のビデオストリームに基づいて交通信号機に関する誤判定を検出するための方法に関する。

本発明は、運転者をより良く支援できるように、交通信号機の誤検出の回数を低減することを可能にする。

公知のように、自動車では近年、運転者の操作を支援するために運転支援システムが用いられ、そのため運転はより容易かつ安全になっている。

そのような運転支援システムでは、例えばフロントガラスの上部に取り付けられたカメラが用いられる。このカメラは、自動車の前方の画像を撮影してコンピュータに提供し、コンピュータはこの画像を利用する。

そのような運転支援システムの１つの公知の機能は、特に交通信号機が赤であることを運転者に通知し、それにより運転者が自動車を停止できるようにするために交通信号機を検出することである。

公知のように、この機能は画像処理アルゴリズムを用いて実行される。そのようなアルゴリズムでは、種々の検出エラー、例えば、交通信号機が検出されない、または交通信号機の誤った色が検出される、または自動車のカメラの視界内に交通信号機が存在しないにもかかわらず検出が行われるなどの検出エラーが発生する場合がある。最後の種類のエラーは「誤判定」と呼ばれる。

したがって、存在しない交通信号機について運転者に不適切な警告を行うのを回避するために誤判定の回数を可能な限り低減する必要がある。

１つの既存の解決手段では、交通信号機を検出するための画像処理は、発光領域を検出するように画像を区分し、画像全体にわたりそれらの発光領域を追跡し、画像を分類して交通信号機を検出して誤判定をなくしている。区分では画像が複数の領域に分割される。それらの領域は異なる大きさであってもよく、各領域は画素の色に応じて均一である。したがって、この区分によって、画像内に存在する発光領域、特に交通信号機に対応すると考えられる発光領域を識別できるようになる。追跡では、ある画像と次の画像とで、同一の発光対象物に対応する検出領域が関連付けられる。分類では、１つの画像内で識別された発光領域毎に、領域は交通信号機を含むか否かを認識するように、予め訓練された自動学習アルゴリズムが開始される。

しかし、この解決手段では誤判定を十分になくすことができず、その結果、場合によっては運転支援システムの誤作動を招き、また車両の乗員の安全性が脅かされる。

したがって、交通信号機、より一般的にはカメラの視界内での検出が所望である任意の対象物を検出する間により多くの誤判定をなくすことで、自動車運転支援を改善することができる解決手段が必要とされている。

この目的のために、本発明はまず、自動車に搭載されたカメラにより取り込まれる画像のビデオストリームに基づいて交通信号機に関する誤判定を検出する方法に関する。当該交通信号機は、複数の状態を切り替えるように構成される。それぞれの状態は、信号を表す少なくとも１つの色領域により特徴付けられる。

本方法は、画像のビデオストリームにおいて検出された発光対象物を表す色領域の画素の色の所定の履歴に基づいて、交通信号機の状態に関するフィルタリング判定基準の所定のリストを使用して画像をフィルタリングして誤判定を検出するステップを含む点で注目に値する。

本発明による方法が従来技術の方法を用いて分類を行った画像に適用できるのは有利である。分類が画像毎に実行されることを前提として、従来技術では画像の履歴、特に検出された発光対象物の色の変遷は考慮されない。したがって画像の履歴、特に検出された色領域に基づくフィルタリング判定基準を用いることで誤検出を迅速かつ効果的になくすことができる。より詳細には、本発明の方法は画像中で検出されたカラーシーケンスの変遷に基づいて、交通信号機の存在および／または状態に関する誤検出の回数を低減することができ、運転者に対する効果的な支援を可能にする。

本方法は、画像のビデオストリームにおける発光対象物を検出する事前ステップを含むのが好ましい。

また、本方法は、画像のビデオストリームにおいて検出された発光対象物を表す色領域の画素の色の履歴を求める事前ステップを含むのが好ましい。

履歴を求めるステップは、画像のビデオストリームの連続画像毎に、当該画像中で検出された発光対象物を表す色領域の画素の色（色相）を求めて記憶するステップを含むのが有利である。

検出された発光対象物を表す色領域の画素の色を求めるステップは、時間にわたり色を平滑化するステップを含むのが好ましい。この平滑化により色の検出時にノイズを抑制できる。

この色は、画像のビデオストリームにおける当該画像に先行する所定数の画像に基づいて平滑化されるのが有利である。これにより、その信号に対して検出された色の履歴に基づいて交通信号機の最も確率が高い色を求めることができる。

画像は、満足できる確率を得るために先行する少なくとも１０枚の画像に基づいて平滑化されるのが好ましい。

また、判定基準のうちの少なくとも１つは、発光対象物の青色の状態または赤色の状態に関するシーケンスを求めることに関するのが好ましい。

判定基準のうちの１つは、発光対象物の黄色の状態または黄色および赤色の状態の持続時間に関するのが有利である。当該判定基準に関するフィルタリングでは、発光対象物の黄色の状態または黄色および赤色の状態が第１の所定の閾値を超える持続時間にわたりアクティブになっているか否かを検証する。

判定基準のうちの１つは、所定の距離を超える自動車の走行距離にわたる赤色の持続性に関するのが有利である。

判定基準のうちの１つは、発光対象物の青色と赤色との間での遷移に関するのが有利である。当該判定基準に関するフィルタリングでは、青色が第１の所定の閾値を超える枚数の一連の画像で現れ、次に赤色が第２の所定の閾値を超える枚数の一連の画像で現れたことを検証する。

判定基準のうちの１つは、発光対象物が赤色から赤色および黄色に点滅することを観測することに関するのが有利である。

判定基準のうちの１つは、発光対象物の青色の状態の持続時間に関するのが有利である。フィルタリングでは、発光対象物の青色の状態が第２の所定の閾値未満の持続時間にわたりアクティブになっているかを検証する。

判定基準のうちの１つは、他の状態と交互に変化する青色に対応するカラーシーケンスの繰り返しに関するのが有利である。

本発明は、自動車の周囲環境を表す画像のビデオストリームを捕捉するように構成されたカメラと、画像の当該ビデオストリームを利用して交通信号機を検出するように構成されたコンピュータとを備える自動車にも関する。当該交通信号機は、複数の状態に切り替わるように構成され、各状態は信号を表す少なくとも１つの色領域により特徴付けられる。

コンピュータが画像のビデオストリームにおいて検出された発光対象物を表す色領域の画素の色の所定の履歴に基づいて、交通信号機の状態に関するフィルタリング判定基準の所定のリストを使用して画像をフィルタリングして誤判定を検出するように構成される点で、この自動車は注目に値する。

コンピュータは、画像の当該ビデオストリームの連続する画像毎に、画像において検出された発光対象物を表す色領域の画素の色を求めて記憶するように構成されるのが好ましい。

また、コンピュータは、フィルタリング前に当該色を平滑化するように構成されるのが好ましい。

本発明の他の特徴および利点は、添付の図面を参照する以下の説明において明らかとなる。添付の図面は、非限定的な例であり、同一の対象には同一の符号を付している。

本発明による自動車の１つの実施形態を概略的に示す。 本発明による方法の１つの実施形態を概略的に示す。

図１には、本発明による自動車が概略的に示されている。自動車１は、車載ビデオカメラ１０と、このカメラ１０に通信リンクＬ１を介して接続されている車載コンピュータ２０と、を含んでいる。

カメラ１０は、好適には、自動車１のフロントガラス１Ａの上部に取り付けられている。カメラは、自動車１の周囲環境を表す画像のビデオストリームを捕捉し、コンピュータ２０に提供するように構成されている。

コンピュータ２０は、カメラ１０から供給された画像のビデオストリームを使用して、カメラ１０の視界２に位置する交通信号機３を検出するように構成されている。

各交通信号機３は複数の状態に切り替わるように構成されており、各状態は、信号を表す少なくとも１つの色領域によって特徴付けられている。例えば、３色の交通信号機３は、車両交通を制御するために青色の状態、黄色の状態、および赤色の状態、またはさらに黄色および赤色の状態を連続的に切り替えるように構成されている。例えば、点滅する交通信号機３は、黄色の状態と消えた状態を交互に取る。

以下では本発明を、それらの種類の交通信号機３を参照して説明するが、これを多少変更して任意の種類の交通信号機にも適用できることに留意されたい。

コンピュータ２０は、発光対象物が検出された画像毎に、検出された発光対象物に対応する１つの色領域（または、例えば黄色および赤色の状態が連続的に切り替わる多色の対象物の場合には複数の色領域）を表す画素の色を求めるように構成されている。

この好適な例では、コンピュータ２０は、現在の画像に先行する画像、例えば直前の１０枚の画像において求められた色の履歴に基づいて、その色を平滑化するように構成されている。

この平滑化では、検出された発光対象物の色についての検出履歴に基づいて、その発光対象物を表している確率が最も高い画素の色が定義される。色を検出するためのアルゴリズムの性能が考慮される。例えば、黄色は、青色および赤色よりも正確に検出するのが難しい場合がある。したがって、黄色である確率が最も高いとみなすための条件は、赤色および青色についての条件よりもフレキシブルであってよい。この平滑化は、画像全体にわたり発光対象物を追跡することによって実行される。

コンピュータ２０は、画像毎に求められた１つまたは複数の色値（すなわち色相）をメモリ領域（図示せず）に記憶し、時間にわたる１つの色領域の色の変遷を表す履歴を作成するようにも構成されている。したがって色の履歴は、発光対象物が検出された連続的な画像全体にわたって作成される。

以下において説明するように、コンピュータ２０は、履歴に基づいて、かつ交通信号機３の状態に関するフィルタリング判定基準の所定のリストを使用して、画像をフィルタリングし、誤判定を検出するようにも構成されている。

次に、図２を参照しながら、本発明をその実現形態に関して説明する。

まず、ステップＥ１において、カメラ１０は、例えば自動車１が道路２Ａを走行しているときに画像のビデオストリームを捕捉する。

この画像のストリームは、リアルタイムでコンピュータ２０に送信され、コンピュータ２０は、ステップＥ２において、画像ストリームを使用してカメラの視界２内に位置する任意の交通信号機３を検出し、したがってこの任意の交通信号機３は、捕捉された画像に現れる。

１つの実施形態においては、この検出は、捕捉された画像を区分し、区分された画像において検出された発光対象物を追跡し、その発光対象物に分類アルゴリズムを適用することによって実行することができる。

一般的には、区分では、所定の判定基準、例えば形状、色、テクスチャなどが意味する中でそれぞれが均一である複数の領域に画像が分割される。この場合、交通信号機３は、画素を色毎にグループ化することによって検出され、画素の発光領域は、特に交通信号機３であってよい発光対象物に対応する。

追跡では、ある画像から次の画像に、同一の対象物に対応する検出された領域が関連付けられる。

分類では、区分された領域毎に、領域は交通信号機を含むか否かを認識するように、訓練された自動学習アルゴリズムが開始される。この自動学習アルゴリズムは、好適には、例えば車両が販売される前に、またはメンテナンス中に予め訓練される。交通信号機３を検出するために、画像全体にわたって実行されるリアルタイムの学習によって分類を改善することができ、それによって分類の精度も改善され（それどころか新たな分類も行われ）、より多くの誤判定が検出される。

交通信号機３が検出された場合、コンピュータ２０は、連続する複数の画像に基づいて、時間にわたり色領域の色の変遷を表す履歴を作成する（ステップＥ３）。

この目的のために、コンピュータ２０は、交通信号機３が検出された画像毎に検出された交通信号機３の１つの色領域（または例えば黄色および赤色の状態が連続的に切り替わる場合には複数の色領域）を表す画素の色を求め、次に、履歴を作成するために、その色値をコンピュータ２０のメモリ領域に記憶する。したがって色の履歴は、発光対象物が検出された連続する画像全体にわたって作成される。

１つの好適な実施形態においては、色はカラーシーケンスの形で履歴に記憶される。例えば、検出された対象物が２０枚の画像については赤色であり、その前に３５枚の画像については青色であった場合、履歴は２つのカラーシーケンス、すなわち、例えば自動車１が走行した２５メートルに対する２０枚続く画像である現在の赤色のシーケンスと、自動車１が走行した１００メートルにわたって取得された３５枚続く画像である前の青色のシーケンスとを含む。

色を求めることは、好適には、現在の画像に先行する画像、例えば最後の１０枚の画像における発光対象物を表す画素の色に基づいた、事前平滑化を含む。

履歴が作成または更新されると、コンピュータ２０は、ステップＥ４において、履歴に由来するデータに基づき、かつ交通信号機３の状態に関するフィルタリング判定基準の所定のリストを使用して画像をフィルタリングすることで誤判定を検出する。

このフィルタリングは連続的に実行され、カラーシーケンス（青色、黄色／黄色および赤色、赤色）にわたり画像において検出された発光対象物の色変化を観察することを可能にする。

検出された対象物のカラーシーケンスの履歴に適用されるフィルタリング判定基準の所定のリストに基づいてフィルタリングは実行される。

ここで、フィルタリング判定基準のリストの１つの好適な例を、３色の交通信号機３（青色、黄色、赤色）を参照して、以下において説明する。この例では、６つのフィルタリング判定基準が使用される。これらの判定基準は、特に、青色および赤色の持続時間および持続性に関する。これらの判定基準は、好適には、以下の順序で連続的に適用される。

まず、第１の判定基準は、信号の黄色の状態の持続時間、または黄色および赤色の状態の持続時間に関する。この場合のフィルタリングでは、信号の黄色の状態、または黄色および赤色の状態が、第１の所定の閾値、例えば１０秒を超える持続時間にわたりアクティブであるか否かが検証される。閾値を超える場合、検出された信号は、黄色の状態または黄色および赤色の状態が一時的である（青信号もしくは赤信号、または点滅信号に変わる）交通信号機の状態に対応していないと見なされる。この場合、例えば街灯に対応している可能性がある検出は誤判定と見なされ、運転支援には利用されない。

第２の判定基準は、赤色の持続性に関する。自動車１が所定の距離、例えば２００メートルを走行している間に交通信号機３が赤色のままであった場合、コンピュータ２０は所定の距離を超える距離で交通信号機３を検出できていないと見なされるので、検出された対象物は誤判定されている（長距離にわたって前方を走行する別の自動車の尾灯の可能性が高い）と見なされる。なお、自動車１が走行する距離は、コンピュータ２０によって容易に収集することができ、履歴のカラーシーケンス（例えば、自動車１が２０メートルを走行している間に捕捉された５０枚の画像において検出された青のカラーシーケンス）毎にコンピュータ２０のメモリ領域に記憶することができるデータ項目である。

第３の判定基準は、青色と赤色との間での遷移に関する。この場合、第１の所定の閾値を超える枚数の一連の画像、例えば１０枚の画像について青色が現れ、次いで第２の所定の閾値を超える枚数の一連の画像、例えば５枚の画像について赤色が現れたときには、青色から赤色への遷移が証明されたとみなされ、それによって誤判定の存在が示される。なぜならば、そのような遷移は、実際には存在しない（そのような遷移間には黄色が常に存在する）からである。

第４の判定基準は、赤色で点滅する状態から赤色および黄色で点滅する状態までの信号の観測に関する。したがって、赤色のシーケンスと、赤色および黄色のシーケンスの交代が観測される場合、信号は赤色で点滅しているか、または赤色および黄色で点滅しており、別の車両の赤色の点滅光（ブレーキ）または黄色の点滅光（方向指示器）に対応すると推定される（例えば、自動車の赤色光は点灯したままであり、黄色光が点滅していると仮定する）。この場合には誤判定があると見なされる。

第５の判定基準は、青信号の状態の持続時間に関する。この場合のフィルタリングでは、信号の青色の状態が第２の所定の閾値、例えば１０秒未満の持続時間にわたりアクティブであるか否かが検証される。したがって、信号が短期間にわたり青色である連続する画像が検出された場合、検出された信号は交通信号機の状態に対応せず、誤判定があると見なされる。

最後に、第６の判定基準は、他の色と交互に変化する青色（例えば、青色－赤色－青色）に対応するカラーシーケンスの繰り返しに関する。この場合、検出された対象物はやはり誤判定であると見なされる。

この方法は、好適には、発光対象物が誤判定として検出された後、発光対象物を追跡し、それによって、対象物の色がリストにおけるフィルタリング判定基準をもはや満たさない場合、この検出を取り消すことを含むことができ、それによって、正しくない誤判定が検出されるケースは回避される。

本発明による方法は、画像において検出された発光対象物に関するカラーシーケンスに一連の判定基準を適用し、複数の連続する画像に基づいてこれらのカラーシーケンスを求めることで誤判定を迅速かつ確実に検出することを可能にする。したがって使用される判定基準は、特に交通信号機の動作に応じて、検出された発光対象物と交通信号機との間の類似度を示すことを可能にする。

Claims (9)

1. 自動車（１）に搭載されたカメラ（１０）によって捕捉された画像のビデオストリームに基づいて、交通信号機（３）に関する誤判定を検出する方法であって、
   前記交通信号機（３）は、複数の状態間で切り替わるように構成されており、各状態は、信号を表す少なくとも１つの色領域によって特徴付けられており、
   前記方法は、前記画像のビデオストリームにおいて検出された発光対象物を表す前記色領域の画素の色の所定の履歴に基づいて、前記交通信号機（３）の前記状態に関するフィルタリング判定基準の所定のリストを使用して、前記画像をフィルタリングして誤判定を検出するステップ（Ｅ４）を含み、
   前記フィルタリング判定基準の所定のリストは、以下の判定基準、すなわち、
   前記発光対象物の黄色の状態または黄色および赤色の状態の持続時間に関する判定基準であって、該判定基準に関する前記フィルタリングでは、前記発光対象物の黄色の状態または黄色および赤色の状態が、第１の所定の閾値を超える持続時間にわたりアクティブであったか否かが検証される、判定基準と、
   前記発光対象物の青色と前記赤色との間での遷移に関する判定基準であって、該判定基準に関する前記フィルタリングでは、前記青色が第１の所定の閾値を超える枚数の一連の画像で現れ、次に前記赤色が第２の所定の閾値を超える枚数の一連の画像で現れたかを検証する、判定基準と、
   発光対象物が赤色から赤色および黄色まで点滅することを観測することに関する判定基準と、
   前記発光対象物の青色の状態の持続時間に関する判定基準であって、前記フィルタリングでは、前記発光対象物の青色の状態が第２の所定の閾値未満の持続時間にわたりアクティブであるか否かを検証する、判定基準と、
   他の状態と交互に変化する前記青色に対応するカラーシーケンスの繰り返しに関する判定基準と、
   のうちの少なくとも１つを含む
   ことを特徴とする、方法。
2. 前記画像のビデオストリームにおける発光対象物を検出する事前ステップ（Ｅ２）を含む、請求項１記載の方法。
3. 前記画像のビデオストリームにおいて検出された発光対象物を表す前記色領域の前記画素の色の前記履歴を求める事前ステップ（Ｅ３）を含む、請求項１または２記載の方法。
4. 前記履歴を求めるステップ（Ｅ３）は、前記画像のビデオストリームの連続する画像毎に、前記画像において検出された発光対象物を表す前記色領域の前記画素の色を求めて記憶することを含む、請求項３記載の方法。
5. 検出された発光対象物を表す前記色領域の前記画素の色を求めるステップは、時間にわたり前記色を平滑化することを含む、請求項４記載の方法。
6. 前記色は、前記画像のビデオストリームにおける前記画像に先行する所定数の画像に基づいて平滑化される、請求項５記載の方法。
7. 前記画像は、先行する少なくとも１０枚の画像に基づいて平滑化される、請求項６記載の方法。
8. 自動車（１）の周囲環境を表す画像のビデオストリームを捕捉するように構成されているカメラ（１０）と、前記画像のビデオストリームを利用して交通信号機（３）を検出するように構成されているコンピュータ（２０）とを備え、前記交通信号機（３）は、複数の状態間で切り替わるように構成されており、各状態は、信号を表す少なくとも１つの色領域によって特徴付けられている、自動車において、
   前記コンピュータ（２０）は、前記画像のビデオストリームにおいて検出された発光対象物を表す前記色領域の画素の色の所定の履歴に基づいて、前記交通信号機（３）の前記状態に関するフィルタリング判定基準の所定のリストを使用して、前記画像をフィルタリングして誤判定を検出するように構成され、
   前記フィルタリング判定基準の所定のリストは、以下の判定基準、すなわち、
   前記発光対象物の黄色の状態または黄色および赤色の状態の持続時間に関する判定基準であって、該判定基準に関する前記フィルタリングでは、前記発光対象物の黄色の状態または黄色および赤色の状態が、第１の所定の閾値を超える持続時間にわたりアクティブであったか否かが検証される、判定基準と、
   前記発光対象物の青色と前記赤色との間での遷移に関する判定基準であって、該判定基準に関する前記フィルタリングでは、前記青色が第１の所定の閾値を超える枚数の一連の画像で現れ、次に前記赤色が第２の所定の閾値を超える枚数の一連の画像で現れたかを検証する、判定基準と、
   発光対象物が赤色から赤色および黄色まで点滅することを観測することに関する判定基準と、
   前記発光対象物の青色の状態の持続時間に関する判定基準であって、前記フィルタリングでは、前記発光対象物の青色の状態が第２の所定の閾値未満の持続時間にわたりアクティブであるか否かを検証する、判定基準と、
   他の状態と交互に変化する前記青色に対応するカラーシーケンスの繰り返しに関する判定基準と、
   のうちの少なくとも１つを含む
   ことを特徴とする、自動車。
9. 前記コンピュータは、前記画像のビデオストリームの連続する画像毎に、前記画像において検出された発光対象物を表す前記色領域の前記画素の色を求めて記憶するように構成されている、請求項８記載の自動車。

Images