JP4818609B2 - 外部車両照明の自動制御のための画像取得及び処理方法 - Google Patents

Description

（関連出願の説明）
本出願は、米国特許法第１１９（ｅ）条の下で、２００２年８月２１日出願のＪｏｓｅｐｈ Ｓ． Ｓｔａｍ他の米国仮特許出願６０／４０４，８７９「車両用照明制御のための画像取得及び処理方法」に対して優先権を主張する。その開示内容は引用によって本明細書に組み込まれている。
運転安全性の改善及び運転者への便宜のために、車両照明の自動制御を行うことが長い間望まれてきた。そのような自動照明制御は、被制御車両のハイビームヘッドライトの走行条件に応じた自動的な点灯及び消灯を含むであろう。この機能は、周囲照明の条件、対向車のヘッドライト、及び先行車のテールランプを検出するための種々の形式の光学センサを使用して幅広く試みられてきた。最近、電子イメージセンサを利用したセンサが提案されている。そのようなシステムは、本出願人に譲渡された米国特許第５，８３７，９９４号「車両のヘッドライトを自動的に滅光する制御システム」及び米国特許第６，０４９，１７１号「連続可変ヘッドライト制御」、並びに本出願人に譲渡された米国特許出願番号０９／７９９，３１０「車両ヘッドライト又は他の車両機器を制御するための画像処理システム」、米国特許出願番号０９／５２８，３８９「改良型車両用ランプ制御」、及び米国特許出願番号０９／８００，４６０「外部車両照明を制御するためのシステム」に開示されている。これらの開示内容は引用によって本明細書に組み込まれている。画像検出による光源の検出には多くの課題がある。例えば、対向車のヘッドライトと、被制御車両のヘッドライトの標識又は他の物体からの反射とを区別するのは難しい場合がある。更に、例えば頭上の街路灯等の他の光源の近くで遠く離れたテールランプを検出することは、これらの光源が画像中に滲み込んでテールランプの赤色を弱めるので難しい場合がある。

米国特許第５，８３７，９９４号 米国特許第６，０４９，１７１号 米国特許出願番号０９／７９９，３１０ 米国特許出願番号０９／５２８，３８９ 米国特許出願番号０９／８００，４６０

これらの問題のいくつかは、高度なイメージングシステムによって解決することができる。しかしながら、そのようなシステムの構築には、高価なイメージセンサ、高品質レンズ、大きな処理電力、及び現時点では非常に高価な多数のメモリが必要になる。さらに、現在発表されているシステムに対するこれらの問題点の全ては、経済性を無視したとしても、高い解像度だけで解決される見込みがあるとは限らない。

本発明は、対向車のヘッドライトと先行車のテールランプを検出する目的のイメージセンサから画像を取得して解析し、これらの光源を画像内の他の光源から区別するための改善された方法を提供することによって、従来技術の問題点を解決することを目的としている。本明細書に開示された装置及び方法によって取得した情報は、被制御車両の外部照明、フロントガラスのワイパー、デフロスタ、又はその他の目的のための車両機器を自動的に制御するために使用できる。

本発明の少なくとも１つの実施形態では、風景画像を取得するためのデバイスが提供される。関連する実施形態では、関連情報を処理して記憶するためのデバイスが提供される。更に、マイクロプロセッサに対するイメージャのインターフェースとして、メモリバッファを備えた低電圧差分信号デバイスが提供される。

少なくとも１つの実施形態では、関連のイメージャの視野に存在が予期される種々の光源に関連する種々の輝度レベルに適合するように、高ダイナミックレンジの画像が合成される。

少なくとも１つの実施形態では、個々の光源を検出するためにピーク検出アルゴリズムが使用される。開示されたピーク検出アルゴリズムは、非常に近接した又は部分的に重なっている光源を別々に検出するための手段を提供する。

少なくとも１つの実施形態では、システム応答を引き起こす光源を識別するための光源分類アルゴリズムが使用される。確率関数及び／又はニューラルネットワークを組み込んだ多数の分類アルゴリズムが開示されている。

少なくとも１つの実施形態では、外部車両照明の作動を自動的に変更するための切り換え方法が用いられる。２モードの、実質的に連続的に可変の照明及び連続的に可変の照明の両方を制御するための種々の方法が開示されている。

少なくとも１つの実施形態では、分類アルゴリズムを校正するための訓練ルーチンが提供される。訓練を助長するために、経験的、実験的、リアルタイム、及び統計的データを個別に又は種々の組み合わせで使用できる。

本発明の機能性は、最初に図１を参照して詳細に説明する。被制御車両１０１は、イメージャと、一般に被制御車両の前方領域の画像を取得して解析できる画像処理システムとを含む。イメージャ及び画像処理システムは、被制御車両のバックミラー組立体１０２に好適に収容されるので、ワイパーによって払拭された範囲のフロントガラスを通して、運転者と同じ視野からの見通しのきく前方視野１０３がもたらされる。もしくは、イメージャは車両内の任意の適切な場所に配置することができ、処理システムはイメージャと一緒に収容するか又は他の場所に配置することができる。多数の別の構成は、本明細書並びに種々の組み込まれた参考文献に説明されている。本明細書に説明されている画像解析方法は、マイクロコントローラ又はＤＳＰ等の単一のプロセッサ及び多重分散プロセッサによって実行することができ、又はハードウエアＡＳＩＣ又はＦＰＧＡによって実行することができる。

被制御車両のヘッドライトが、車両１０５又は１０６の運転者がまぶしいと知覚するであろう範囲にある場合に、対向車１０５のヘッドライト１０４及び先行車１０７のテールランプ１０６を検出できるように、イメージャは画像を取得する。ヘッドライト又はテールランプが検出された場合、被制御車両のハイビームは、消灯されるか又は他の車両の乗員に対するまぶしさを低減するようにビームパターンを別様に変更することができる。

図２は本発明で使用するイメージャ２００を示す。２つの別個のレンズ要素２０２及び２０３を含むレンズ２０１は、関連する２つの風景画像をイメージセンサ２０４上に形成する。１つの風景画像は、イメージセンサ２０４表面に配置されピクセルの半分をカバーする赤色フィルタ２０５によってフィルタ処理される。同じ空間領域に対応するフィルタ処理された画像及びフィルタ処理されていない画像のピクセルを比較することによって、それらのピクセルで検出された光源の相対的な赤色性を判定することができる。チェッカーボード赤色／透明フィルタ、ストライプ赤色／透明フィルタ、又はモザイク又はストライプの赤色／緑色／青色フィルタの使用といった、別の色識別方法を使用してもよい。本発明で使用する光学系の詳細な説明は、本出願人による同時係属の米国特許第６，１３０，４２１号「車両用ヘッドライト制御のためのイメージングシステム」及び米国特許出願番号１０／２０８，１４２「車両外部照明の自動制御のための光源検出及び分類システム、及びその製造方法」になされており、その開示内容は引用によって本明細書に組み込まれている。

次に図３を参照すると、本発明で使用するイメージセンサのブロック図が示されている。図示のように、イメージャは、ピクセルアレイ３０５、電圧／電流基準器３１０、ディジタルアナログ変換器（ＤＡＣ）３１５、電圧レギュレータ３２０、低電圧差分信号Ｉ／Ｏ３２５、デジタルブロック３３０、行（ＲＯＷ）デコーダ３３５、リセットブースト３４０、温度センサ３４５、パイプラインアナログディジタル変換器（ＡＤＣ）３５０、利得段３５５、水晶発振器インターフェース３６０、アナログ列３６５、及び列デコーダ３７０を備える。これらのデバイスは、共通の回路基板又はシリコン基板上に一体化されることが好ましい。しかしながら、任意の又は全ての個別に特定されるデバイスは、別個の構造体に取り付けることができる。図３に基づく好適なイメージャの詳細は、本出願人による米国仮特許出願である代理人整理番号ＡＵＴＯ３１８Ｖ１「画像取得及び処理システム」に説明されており、その開示内容は引用によって本明細書に組み込まれている。

好適な実施形態では、イメージャは車両用途の要求に適合するように構成されたＣＭＯＳデザインである。イメージャは、１４４列及び１７６行のフォトダイオードベースのピクセルを提供することが好ましい。また、イメージャは、温度を検出し、少なくとも１つの信号を制御して、内部コンポーネント及び組み込まれたデバイスの試験機器に対する電圧調整を行うための装置を有することが好ましい。イメージャのコマンドは、多様な露出、モード、及びアナログ設定の制御を可能にすることが好ましい。イメージャは、別個の開始行から同時に２つの画像サブウインドウを取得できることが好ましく、この機能により、図２を参照して説明したようなデュアルレンズシステムにおいて高度に同期した画像を得ることができる。好適な実施形態では、単一のコマンド命令がイメージャに送信され、次にイメージャは、固有の露出時間をもつ２つの連続画像に応答する。別の好適な選択肢により、イメージャにチェッカーボードパターンのフィルタが適用される用途に対して、チェッカーボード画像にアナログ利得を適用することが可能になる。データは、１０ビットモード、（本明細書に詳細に説明されているように）１０ビット値が８ビットで表される圧縮８ビットモード、又は各々の１０ビットピクセル値の最上位８ビットだけが送信される切捨て８ビットモードで送信できることが好ましい。

図４を参照すると、制御及びデータ信号は、低電圧差分信号方式の直列周辺インターフェース（ＬＶＤＳ ＳＰＩ）４０５を経由して、画像と関連マイクロプロセッサとの間で伝達されることが好ましい。図４に示すように、ＬＶＤＳ ＳＰＩは、イメージセンサ４１０とマイクロコントローラ４１５との間の通信インターフェースを提供する。好適なＬＶＤＳ ＳＰＩは、ＬＶＤＳ送受信器４２０、入力データロジックブロック４２５、デュアルポートメモリ４３０、及びマイクロコントローラインターフェース・ロジックブロック４２５を有する。多数の公知のＬＶＤＳデバイスが市販されており、図４に示される以外のＬＶＤＳを本発明に利用できることが意図されている。例えば、デュアルポートメモリは省略でき、制御及びデータ信号はＬＶＤＳリンクによって直接送信できる。図４に示したものに関連するＬＶＤＳ ＳＰＩインターフェースの詳細な説明は、本出願人による米国仮特許出願である代理人整理番号ＡＵＴＯ３１８Ｖ１になされており、その開示は引用によって本明細書に組み込まれている。

好適な実施形態では、デュアルポートメモリは、画像データがイメージャから送られる間にマイクロコントローラが他の機能を実行できるように設けられる。次に、マイクロコントローラは、一旦それが可能になると、デュアルポートメモリから画像データを読み込む。デュアルポートメモリにより、個々のメモリレジスタに順々に連続アクセスできることが好ましい。特定の交互モードの読み出しでは、２つの読み出しポインタが設けられ、メモリの２つの異なる領域への交互アクセスが可能になる。この機能は、イメージセンサの２元的な積分時間機能と一緒に使用する場合に特に有用である。イメージセンサは、積分時間が異なる２つの画像を連続して送ることになる。交互読み出しモードでは、第１のポインタは第１の画像の先頭に設定され、第２のポインタは第２の画像の先頭に設定される。従って、各々のピクセル位置に対して、第１の積分時間のピクセル値が最初に読み出され、次に第２の積分時間のピクセル値が読み出される。

本発明の画像の取得及び解析方法は、まず図５を参照して説明する。制御は、制御が能動な場合は常に繰り返される、取得及び処理サイクル５００のシーケンスとして進む。繰り返し動作は例えば２００ｍｓ毎の一定速度で生じる。もしくは、繰り返し速度は、車両ランプの能動レベル又は電流状態に応じて調整できる。繰り返し動作は他の機能のために中断できる。例えば、処理システムは、バックミラーの自動防眩、方位計、降雨センサ、照明、ユーザインターフェースボタン、マイクロフォン、ディスプレイ、車両インターフェース、テレメトリー機能、多重化バス通信、及びその他の機能を制御することもできる。これらの機能の１つがプロセッサのアテンションを必要とする場合、サイクル５００は、中断、一時停止、又は延期されることになる。

サイクル５００は、処理のために少なくとも部分的にメモリに記憶される１つ又はそれ以上の画像の取得で始まる。対応する画像は、本明細書でさらに説明するように、合成された高ダイナミックレンジの画像の場合もある。次に、ステップ５０２において、取得画像から種々のオブジェクト及びこれらのオブジェクトのプロパティが抽出される。通常これらのオブジェクトは、検出して分類する必要がある光源である。本明細書で使用する場合「光源」という用語は、光線を照射するソース、並びに光線を反射するオブジェクトを含む。ステップ５０３において、光源の動き及び他の過去の動きは、先のサイクルから光源を見つけて識別し、現在のサイクルの光源との関連付けを行うことで決定される。光源はステップ５０４において、車両のヘッドライトであるか、車両のテールランプであるか、又はその他の種類の光源であるかを決定するために分類される。最後に、ステップ５０５において、必要であれば、被制御車両のランプは、ステップ５０４の出力及び他の車両入力に基づいて変更される。

図５のステップは連続的に示されているが、ステップの順番を変えること、又は種々のステップを並列に行うことが可能なことを理解されたい。例えば、以下に詳細に説明するように、好適なオブジェクト抽出アルゴリズムは、任意の時間に４行の又は少なくともわずか２行の画像だけがメモリに記憶されることを必要とするので、画像の取得と並行して、少なくとも部分的なオブジェクト抽出が容易になる。また、本明細書に示す画像取得方法は、複数の露出による高ダイナミックレンジ（ＨＤＲ）の画像を合成し、その後、合成後に高ダイナミックレンジの画像を処理することができる。もしくは、各々の露出設定をもつ画像は、相互に独立して処理できる。最後に、図５のステップの各々は、次のステップが始まる前に終了する必要はない。例えば、ステップ５０２で光源が検出された状態で、その履歴情報をステップ５０３で直ちに求めて、ステップ５０４で直ちに分類することができる。その後、もしあれば次の光源がステップ５０２で識別される。図５の任意のステップは、他のステップとは独立して、他のステップ又は従来技術の実施形態との様々な組み合わせで、車両イメージングシステムに好都合に適用できることも理解されたい。

イメージングシステムが検出する必要がある広範囲の光レベルは大きな問題を引き起こす。高輝度ヘッドライトは、遠くのテールランプよりも数千倍以上の強度をもつ。互いの光を識別するために使用される多くの手法は、輝度及び色の比較的精密な測定の利益を享受するので、高輝度光源による画像の飽和が誤った識別につながることがある。好都合に利用できる高ダイナミックレンジのイメージャが開発されているが、依然としてかなり不明瞭で高価である。高ダイナミックレンジの画像の生成に関連する詳細は、同時係属の本出願人による米国特許出願である代理人整理番号ＡＵＴＯ２１８「高ダイナミックレンジの車両視覚システム」に説明されており、その開示は引用によって本明細書に組み込まれている。本発明の少なくとも１つの実施形態では、関連する問題は、合成された高ダイナミックレンジ（ＨＤＲ）の画像の形成によって解決される。

図６を参照すると、ＨＤＲ画像の取得及び合成は、異なる輝度の範囲をカバーするために、異なる露出における２つ又はそれ以上の画像の取得を含む。異なる露出時間で任意の数の画像を取得できるが、一例として、露出時間が１、６、及び３６ｍｓの３つの画像を使用できる。好適な実施形態では、ＨＤＲは、それぞれ固有の積分時間、例えば０．２５、０．５、及び３０ｍｓの露出をもつ５つの画像を使用して合成される。本明細書で説明するように、好適なイメージャは、単一のコマンドを使用して固有の積分時間をもつ２つの画像を取得する能力をもたらし、例えば０．５と５０ｍｓとの間の積分時間を用いて、固有の積分時間を有する２つの画像を使用してＨＤＲを形成することが望ましいであろう。使用される画像の数に無関係に０．５から５０ｍｓの範囲の積分時間を使用することが望ましいであろう。任意数の個々の画像を使用するのが望ましく、例えば、１から１０の画像が使用できる。まずステップ６０１で画像メモリはゼロにされる。次にステップ６０２で露出が最も短い（１ｍｓ）第１の画像が取得される。ステップ６０３はメモリが全てゼロなので第１の画像とは無関係である。

ステップ６０４は、一定パターンのイメージャノイズを補正するために使用される随意的なステップを表す。大多数のイメージセンサは、ピクセル間の製造誤差に起因するある種の一定パターンのノイズを示す。一定パターンのノイズは、オフセット、利得、又は傾き、あるいはそれらが組み合わさった変動として現れる。一定パターンのノイズの補正により、画像化された光源の検出光レベルは、画像化されたピクセルに無関係に確実に同じになるので、全体の特性が改善されるであろう。イメージャの製造工程を改善することによってこの補正を不要とすることができる。

補正が保証される場合、オフセット補正（ステップ６０４）、傾き補正（ステップ６０６）、又は両方の補正が以下の方法によって実行される。補正を行うために、各々のセンサは製造時に測定され、各々のピクセルのオフセット及び／又は傾き誤差を記憶する、ピクセル間の参照テーブルが生成される。ステップ６０４において、オフセットは現在のピクセル（ｉ番目）のテーブルに記憶された誤差値を加算又は減算することによって補正される。同様に、傾き補正は、ピクセル値に傾き誤差係数を乗じることによってこの時点で行うことができる。しかしながら、画像は対数正規化値に変換されるのが好ましいので、傾き補正は、ステップ６０６において、対数値に対して計算的により費用のかからない加算又は減算によって行うことができる。この方法の変形例では、複数の異なるピクセルの応答範囲が特定され、対応する補正用参照テーブルが生成され、その各々は特定のビンとして特定される。製造時に、イメージャの各々のピクセルは測定されて、最も近い補正用参照テーブルが特定される。次に、ピクセルにはプロセッサの不揮発性メモリに記憶されたビン番号が割り当てられる。作動時に画像が取得されると、所定のピクセルのビンに対応する補正用参照テーブルが適用され、イメージャの均一性が改善される。

ステップ６０５において、ピクセル値（更にステップ６０４からの随意的なオフセット補正）はＨＤＲ画像を形成するために変換される。この変換は、最初に随意的な線形化ステップを含むことができる。多くのピクセルのアーキテクチャは、入射光に対して非線形的に応答することができる。この非線形性は、増大する光レベルに対してゆっくりと応答を開始し、次により線形になり、次に飽和するまで漸減するＳ形曲線として表すことができる。このような応答性は、輝度及び色の計算をしようとする際に誤差を引き起こす場合がある。幸いにも、非線形性は一般に再現性があり、所定の画像デザインに対して一貫性がある。この補正は、線形値に対して非線形ピクセルの応答性をマッピングする参照テーブルによって最も効率的に実現される。非線形性が同じデザインの全てのイメージャに対して一貫性のある関数である場合、参照テーブルはプロセッサにハードコード化される。さもなければ、一定パターンのノイズ補正の場合と同様に、測定してチップ間ベースで記憶することができる。実質的に線形応答を示すセンサは、線形補正を必要としない。

また、各々のピクセルの出力値は、最大露出と現在の露出との間の比率で倍率変更を行う必要がある。この場合、１ｍｓの画像データには３６を乗じる必要がある。最後に広ダイナミックレンジに適合するために、この値の対数を取ってメモリに記憶することが有用である。これによってピクセル値が８ビット数として保持されることになるので、必要なメモリを少なくすることができる。十分なメモリを使用できる場合、対数圧縮は省略できる。一般に自然対数が使用されるが、２を底とする対数を使用することもできる。２を底とする対数及び逆対数を計算するために、計算効率が高いアルゴリズムを使用することができる。ステップ６０５の全体計算、線形化、倍率変更、及び対数を取ることは、単一の参照テーブルで好適に実現される。これらの係数が予め計算された参照テーブルは、各々の露出設定に対して生成され、ステップ６０４からの値を、メモリに記憶されることになる値に変換するために使用される。もしくは、図７、８、９ａ、及び９ｂを参照して本明細書で説明するように、１０ビットから８ビットへの圧縮アルゴリズムを使用できる。

最後に、一定パターンのノイズ補正を使用する場合、ステップ６０６においてステップ６０５からの対数値に対する傾き誤差補正を行うことができる。最終値はステップ６０７においてメモリに記憶される。この全体プロセスは、ステップ６０８に示すように、画像内の各々のピクセルに対して続行される。最初の画像が記憶されると、次の高露出画像を取得することができる。この画像及び後続の全ての画像の処理は、ステップ６０３以外は同様に続行される。第２の画像及び後続の画像に関して、低感度の画像から何の値も検出されなかった場合にだけ値がメモリに記憶される。値が現在メモリにある場合、高感度の画像からの、飽和していると思われる又はほぼ飽和している値を必要としない。基本的に、高感度の画像は、前の画像で全く光を検出しなかったそれらのピクセルによって残された「空欄を埋める」だけの機能を果たす。最終的に、最も高い露出（本例では３６ｍｓ）の画像を取得する場合、倍率変更は必要ない。

前述の説明を参照して、当業者であれば前記の方法に対する本発明の精神の範疇にある多数の変更例を見出すことができるであろう。例えば、このプロセスは、最も感度が高い画像から始まるように逆方向に行うことができる。この場合、高感度の画像からの飽和ピクセルは、低感度の画像からの非飽和ピクセルで置き換えることができる。ノイズを低減するために、各々の感度で複数の画像を取得して平均化することができる。画像範囲を圧縮するために、均一で正規化された係数を導出するような対数関数以外の関数を使用することができる。画像を取得して記憶するために、９ビット、１０ビット、１６ビット、３２ビット、及び６４ビットといった８ビット以外のビット深さを使用できる。最後に、取得画像の感度を変更するために、利得又はＡ／Ｄ変換パラメータを変更するといった露出時間を変更する以外の方法を使用できる。

最終的に、単一の合成された高ダイナミックレンジの画像を記憶する以外に、異なる感度の個々の画像を別個に記憶することも可能である。以下に詳細に説明されている図４のＬＶＤＳ ＳＰＩインターフェースに関連して説明されているように、メモリバッファを設ける場合のように、２つ以上の画像を記憶するために十分なメモリを利用できる場合にこの方法は有用である。この場合、ピクセル値は適切な露出の画像から選択され、ステップ５０２のオブジェクト検出の間に適切に倍率変更される。

また、画像グレースケール値のダイナミックレンジ圧縮は、イメージセンサをもつチップ上に設けられる機能として又は関連回路としてのハードウエアで行うことができる。このことは、ＳＰＩバス等の多数のバス通信プロトコルが一般に８ビットワード又は８ビットの倍数でデータを送信するので、１０ビット又はそれ以上の高解像度Ａ／Ｄ変換器を設ける場合には特に有用である。従って、１０ビット値は一般に１６ビットのワードとして送信されることになり、実際には８ビット値の２倍の帯域幅及びメモリを必要とする。ヘッドライト制御機能のようなカメラベースの制御機能に関して、読み込み解像度の要件は、一般にフルスケールの定率よりも、読み込みデータの定率により厳密に調整される。線形コード化された変数の変化率は、読み込みデータにおける各々の増分ステップに関するフルスケールの定率であるのに対して、対数コード化された対応物に相当する線形値の変化率は、関連する対数でコード化された値の各々の増分ステップに関する線形の読み込みデータの定率である。線形コード化により、ゼロに近い小さな値の増分変化は、読み込みデータ又は値の非常に大きなパーセント値であり、フルスケールに近い大きな値の増分変化は、読み込みデータ又は値の非常に小さなパーセント値である。カメラのアナログディジタル変換器では、変換は一般に線形であり、変換が必要な場合には、別の形に変換するか又はマッピングを行う必要がある。

特に説明しない限り、一般に増分精度は、すでにそれらの線形範囲に入っているか、又はそれらの線形範囲に変換された値を言及するとことが想定される。ゼロに近い線形コード値に関して、増分ステップは読み込みデータの大きなパーセント値であり、関連の線形値の増分変化が小さな読み込みデータへこれらをマッピングすることで、複数の出力値にマッピングされた単一の入力値がもたらされる。大きなセットから小さなセットに値をコード化する目的は、値をコード化するために利用可能な小さなビット数又はデータ点を用いて、必要な情報を記憶することである。例えば、１０ビット値を圧縮８ビット値に変換する際に利用可能なデータ点の数は、入力セットの１０２４から変換出力セットの２５６まで１／４に低下する。小さな数の利用可能なデータ点を有効に使用するために、大きな入力スペース内の所定数の入力コードは、通常、出力スペース内の大きな数のコードにマッピングしてはいけない。例えば、１０ビットから８ビットへの変換でこれを行うと、大きい数の１０ビットコードを非常に小さな数の８ビットコードにマッピングするために不可逆の圧縮が要求される８ビット出力スペース内に同数のデータ点を残さないことになる。このことから、マッピングされることになる入力値の各々の範囲に対して所望の情報が記憶されるが出力コードの使用を節約するように、変換マッピングを計画する必要があることが分かる。小さな値に関して、利用可能な情報が通常必要とされ、丸め誤差を含む全てのコード化ロスが好ましくないので、慎重なアプローチは、小さな値を一定値の可能性のある加算又は減算以外の変換を行うことなく出力スペースに直接マッピングすることである。大きな値に関しては、出力範囲の各々の増分ステップに関する関連の線形入力値のほぼ等しい変化率を維持するために、対数コード化が望ましい。また、対数は、線形ドメイン内で一定の乗数を適用する効果が、対数ドメイン内のこの乗数の対数の減算によってオフセットされる場合があるという望ましい特性を有する。従って、計算のために対数を使用する際に一般に行われるように、科学記号の変形体を使用することができ、乗数を付加してその数値を特定範囲の値×この範囲の積分累乗として表すことができる。２進数に関して、２から１のオクターブの範囲を選択して、１オクターブ×２の累乗にわたる正規化された値として数値を表すのが通常最も有用である。次に、対数範囲に関して、利用可能な出力コードに基づいて、出力値／オクターブの数値を選択することができる。

データ圧縮のために、対数線形化に加えて多くの単調線形化アルゴリズムを使用できることを理解されたい。更に、データ圧縮のために、非減少アルゴリズムを使用できる。

線形読み込みデータのパーセント値又は分数として表現された解像度の好都合な定義は、説明のために必要である。これは所定の出力値に対して、（出力シーケンス値の次の値の線形等値）−（所定出力値の線形等値）の差に対する所定出力値の線形等値の比として定義できる。デコーダ出力シーケンスにおけるｉ番目の出力値をＯ（ｉ）と表し、この値の線形等値をＬＩｎｖ（Ｏ（ｉ））と表すとする。定義された線形の読み込みデータに基づく解像度をＲＩｒｂ（Ｏ（ｉ））で表すとすると次の式が成り立つ。
（１）ＲＩｒｂ（Ｏ（ｉ））＝１００＊（ＬＩｎｖ（Ｏ（ｉ＋１））−ＬＩｎｖ（Ｏ（ｉ）））／ＬＩｎｖ（Ｏ（ｉ））

オクターブあたりｎ値の対数コード化に関して、対数コード値に対してＲＩｒｂは一定であり（変換丸め誤差を無視）、次の式が成り立つ。
（２）ＲＩｒｂ（Ｏ）＝１００＊（ｅｘｐ（ｌｏｇ（２）／ｎ）−１）
ここでｅｘｐ（ｘ）は自然数ｅのｘ乗であり、ｌｏｇ（ｘ）はｘの自然対数である。

線形の１対１の出力コード化に対して次の式が成り立つ。
（３）Ｏ（ｉ）＝ｉ
（４）ＲＩｒｂ（ｉ）＝１００／ｉ

一例として、１０ビット入力を８ビット出力に圧縮するコード化に対して、最初の６４ビット値０−６３を出力０−６３に直接マッピングし、次に、各々の４つのオクターブ６４−１２７、１２８−２５５、２５６−５１１、及び５１２−１０２３を、４８カウントの出力範囲６４−１１１、１１２−１５９、１６０−２０７、及び２０８−２５５にそれぞれ対数的にマッピングする。次に、式（２）から、ＲＩｒｂは、対数変換範囲の値に対して１．４５％／増分にほぼ等しく、入力範囲６４−１０２３を出力範囲６４−２５５にマッピングする。線形範囲の最上位６３に関して、式（３）及び（４）から、ＲＩｒｂ（６３）は、１．５９％／増分にほぼ等しく、これは対数コード化の１．４５％／増分に近く、線形の１対１マッピングから対数マッピングへ移行するためにそれを上手く位置付ける。実際には、入力対出力マッピングが図７の曲線によって示される好適な実施例において、６４から１２７のオクターブの対数変換は、値７７まで入力対出力の１対１のマッピングを維持する。入力データを適切にシフトすることによって、４つのオクターブの各々に対して、同じ１オクターブの線形−対数変換を使用することができる。コード化により、出力範囲が他よりも大きい変数は、入力範囲内の関連する値の組に関して同じ関係を確実に保つことができる。

段階的線形圧縮を組み込んだカメラは、拡大された範囲を実現するために非線形でおそらく対数の光検出特性を有する検出手段を備えたカメラとして本発明者に知られている。出力範囲の一部分が線形で一部が対数になるような範囲を組み合わせたカメラは知られていない。本発明者は、カメラモジュールに何らかの形の圧縮手段を組み込んだヘッドライト減光用途のカメラは知らない。

本発明の好適な実施形態は、図９ａと９ｂのブロック図に詳細に説明されている。説明される装置は組み合わせ回路であるが、順次的な又は非同期の装置は本発明の範疇にある。１０ビットのデジタル入力信号ｉｎ１０［９：０］（９０１）が回路に入力され、組み合わせ出力は８ビット信号ｏｕｔ８［７：０］（９０２）である。

ブロック９０３において、１つの上位範囲表示信号ｂｄ［４：０］が生成され、図示のように、各々の入力範囲に対してｂｄ［４：０］の５行の１つが高位でありその他はゼロのである。ｉｎ１０［９：０］に対する入力値の範囲は、最初の列に下線分離記号又は接頭辞０ｘのない数として１０進法で表示される。０ｘの接頭辞が付与された出力の数字は１６進形式である。ブロック９０８の２進数は、４つの２進数０及び１の各々のグループを分離する下線によって表示される。これらの規則は、図９ａ及び９ｂにおいて各々のブロックに使用されることになる。０から４までの範囲指示はブロック９０３の中央列に示され、この範囲はロジック及び本説明で頻繁に参照されるので便宜的なものである。範囲０の入力値（０から６３までの入力値）は変更されることなく出力ｏｕｔ８［７：０］に直接送られる。他の４つの範囲の各々は１オクターブの範囲にある。（この説明では、オクターブは最小数を含むものとして見なされ、この数の２倍の数が次のオクターブに含まれるので、入力値に関連する各々のオクターブは、この定義により、厳密に１オクターブに含まれる）。関連するブロックの説明で詳細に説明するように、入力値が４つの１オクターブ範囲１から４のいずれかに属する場合、その値は、どの範囲に属するかに基づいて倍率変更及び／又はオフセットされ、ロジックの共有デコーダブロックを使用して４８の出力値範囲にマッピングされる。次に、１オクターブの４８ステップの対数的に関連付けされた出力値は、入力値が属する範囲に基づいて倍率変更及び／又はオフセットされて出力される。

ブロック９０６において、ｂｄ［４：０］の値によって示されるように、入力値はそれが属する範囲に基づいて倍率変更及び／又はオフセットされ、信号ｉｎ９ｓ［８：０］として対数デコーダの第１のブロック９０８に出力される。対数変換は１から４の範囲に使用され、範囲分類基準によって、範囲１から４に対してそれぞれｉｎ１０［６］からｉｎ１０［９］である次に高位のビットは常に１である。このビットは常に１であり可変情報を追加しないので、これは比較検討から除外され、同様にブロック９０８の逆対数の列３及び６の先頭から１０番目のビットとして除外される。範囲４の入力値に関して、９つの可変ビットは全て対数変換の比較に含まれる。範囲３の入力値に関して、値は２を乗算して左に１だけシフトされ、Ｉｓｂ、ビットｉｎ９ｓ［０］上に１が置かれる。主観的な比較によりビットゼロの１は最も滑らかな変換結果をもたらした。範囲２の入力値に関して、値は左に２だけシフトされ、２つの最下位ビットに２進１０が配置されて、滑らかな変換結果が得られた。範囲１の入力値に関して、値は左に３だけシフトされ、３つの最下位ビットに２進０１０が配置されて、滑らかな変換結果が得られた。

ブロック９０８、９０９、及び９１０は、出力ｌｏｇ［５：０］として０から４７のオクターブ対数変換毎に１０ビットの２進ｏ４８ステップを実行するために使用される。ブロック９０８は、変換の次のブロックで使用される４８の比較関数のグループである。ｇｅ［ｘ，ｉｎ９ｓ［８：０］］項は、出力ｌｏｇ［５：０］がｘ以上である９ビット入力ｇｅ［ｘ，ｉｎ９ｓ［８：０］］の値である場合に限り真である。これらの関数は、入力ｉｎ９ｓ［８：０］に関する出力ｌｏｇ［５：０］がａ以上であるが、ｂよりも小さい範囲に属することを調べるために次の式を使用できるので有用である。
ｇｅ［ａ、ｉｎ９ｓ［８：０］］でありｇｅ［ｂ、ｉｎ９ｓ［８：０］］ではない。

４８の値の出力範囲の６ビットの各々に対して論理式を与えるために、多数の範囲をデコードする必要がある。便宜上、特定の図面及び説明においてｇｅ［ｘ］は、ｇｅ［ｘ、ｉｎ９ｓ［８：０］］と同じことを表すために使用される。

項ｇｅ［０，ｉｎ９ｓ［８：０］］は常に真なので、次の項に明示的に現れない。列１及び４の値ｘは、オクターブのｘ番目の値のインデックスであり、ゼロ番目の値ｘ＝０はオクターブの開始であり、４７番目の値ｘ＝４７は次のオクターブ開始前の最後の値である。ｇｅ［ｘ，ｉｎ９ｓ［８：０］］は、ブロック９０８の３番目と６番目の列に示された関連のｌｏｇ（ｘ）の値以上の場合に限りｉｎ９ｓ［８：０］の値が１である、組み合わせ論理関数を表す関数である。前述のように、１であるｍｓｂは示されていない。逆対数値は次の式によって生成することができる。
ｅｘｐ（（（ｘ／４８）＋９）＊ｌｏｇ（２））
ここで、ｅｘｐ（ｙ）は自然数ｅのｙ乗である指数関数であり、ｌｏｇ（ｚ）はｚの自然対数である。前述の値は５１２からｘが４８に等しいであろう１０２４の１ステップ前の値までの範囲である。この関数値は、所望のオクターブ（連続するオクターブの間で、次のオクターブでのｘ＝０の値としてｘが４８に等しい値が含まれる）をもたらす。最上位の１ビットはブロック９０８の列３及び６では省略されている。

論理回路を設ける必要があり、使用される４７ｇｅ［ｘ、ｉｎ９ｓ［８：０］］項のため、共通の中間項を生成することが好都合であり、これは必要とされる多くのさらにＧＥ（ｇｒｅａｔｅｒ ｅｑｕａｌ）論理項のために共有される場合がある。ｉｎ９ｓ［８：０］の連続ビットの特定の範囲が全て１であることを示すデコード回路は、連続ビットの特定の範囲が１よりも大きいかそれに等しい（全てがゼロではない）ことを示すためのデコード回路と同じように有用である。この項は、組み込まれた４７デコーダ表現式の論理項の共有を可能にするために、コード中に広く使用されている。

ブロック９０９では、随意的なグレイコードのコード化ステージが使用され、さらに随意的にコード化は直接２進法で行うことができるが、いくつかの論理項を必要とするであろう。中間グレイコードの６ビットｇｌｏｇ［０］からｇｌｏｇ［５］の各々に対するコード化は、ｇｅ［ｘ］項の関数として表現される各々のｇｌｏｇビットを使用して行われる。ｇｌｏｇ［５：０］の６ビットの１つだけがｇｌｏｇ出力値の各々の連続ステップを変更するので、グレイコードが選択される。これは、出力ビットｇｌｏｇ［０］からｇｌｏｇ［５］の各々に関する連続的な出力コードをデコードするために、連続したものの最小数のグループを生成する。従って、ブロック９０９の列２の論理式において、最小数のｇｅ［ｘ］項が必要とされる。

ブロック９１０では、グレイコードｇｌｏｇ［５：０］の入力は２進ｌｏｇ［５：０］出力に変換される。

ブロック９０７では、範囲１から４の入力に対する適切な対数ベースの出力値を生成するために、ｌｏｇ［５：０］に加算するための数値が生成される。ｉｎ１０［９：０］値の１６進表記の範囲が第１の列に記載され、ｏｌｏｇ［７：０］のビット４から７に加算するための数値が１６進表記で第２の列に示される。値が加算されるビット位置が考慮される場合、第３の列は各々の範囲に加算される実際のオフセットを示す。

ブロック９０５では、オフセット値ｖａ［３：０］のビット０及び１は、ｏｌｏｇ［５：０］のビット４及び５にそれぞれ加算され、適切な桁上げがビット５、６、及び７で行われ、８ビットの対数ベースの出力ｏｌｏｇ［７：０］が生成される。

ブロック９０４では、範囲０の入力に関して、ビット５、６、及び７に付加された直接線形コード化ｉｎ１０［５：０］ゼロが選択され、８ビットの出力ｏｕｔ８［７：０］を生成するために、別の範囲１から４に対して、対数的にコード化された値ｏｌｏｇ［７：０］が選択される。

図７は、図８のブロック図で詳細に説明したようなデータ圧縮回路の入力７００の関数としての出力７００ａを示す。入力範囲は、第１の範囲では０から７０１（含まない）、同様に４つの１オクターブ範囲で７０１から７０２、７０２から７０３、７０３から７０４、及び最後の７０４から７０５まで広がる。第１の範囲は、範囲０から７０１ａ（含まない）まで直接マッピングし、４つの１オクターブ範囲は、それぞれ７０１ａから７０２ａ、７０２ａから７０３ａ、７０３ａから７０４ａ、及び最後に７０４ａから７０５ａまでの４８の出力値範囲にマッピングする。好適な実施例では、４つの１オクターブの出力範囲の各々に対する出力は、対数変換器に対する共有の入力によって、入力がどの範囲にあるか、従ってもしあればどのオクターブにあるかを最初に決定し、次に入力を一番上のオクターブに適合するように７０４から７０５まで倍率変更し、次に入力値を４８カウントの０−４７対数ベース出力に変換することで処理される。次に入力がそれぞれ第１、第２、第３、又は第４のオクターブにある場合、７０１ａ、７０２ａ、７０３ａ、又は７０４ａのオフセットが選択的に加算される。最後に、その値が範囲０にある場合、直接的な線形出力が選択されるが、そうでなければ前述のように計算した対数ベースの値が選択され、曲線７１０で示すような出力マッピングを生成するようになっている。

図８は、図９ａと９ｂのブロック図に詳細に示した変換手続き手順である。ブロック８０１では、入力が属する範囲が決定される。ブロック８０２では、値が予め倍率変更され及び／又は共通の変換アルゴリズムを使用するために入力が属する範囲からの値を条件付けるように変換される。ブロック８０３では、１つ又は２つ又は場合によるとそれ以上のステージで変換アルゴリズムが適用される。ブロック８０４では、入力が属する範囲に対して出力値が適切になるように、圧縮された値が倍率変更及び／又は変換される。ブロック８０６では、入力が属する範囲がデータに対して適切で、値がブロック８０７で出力される場合、ブロック８０１から８０４の圧縮アルゴリズムが使用される。そうでなければ、特定の範囲に対して適切な別の変換がブロック８０６で出力される。ステップ５０１で生成された画像からの光源（オブジェクトとも呼ぶ）の抽出は、ステップ５０２で行われる。抽出処理の目的は、画像内の光源の存在及び場所を識別して、オブジェクトを対向車のヘッドライト、先行車のテールランプ、又はその他の光源として特徴づけるのに使用できる光源の種々の特性を決定することである。オブジェクト抽出のための従来の方法は、明るいピクセルが結合されたグループを識別する「シードフィル」アルゴリズムを使用している。この方法は多くの光源を非常にうまく識別するが、画像内で近接して単一のオブジェクトにぼやけてしまう複数の光源の識別をできない場合がある。本発明では、光源のピーク輝度の位置を識別するピーク検出アルゴリズムを設けることによってこの問題を解決している。従って、実質的にぼやけてしまうが依然として識別可能なピークを有する２つの光源を相互に識別することができる。

このピーク検出アルゴリズムの詳細な説明は、図１０を参照して行う。図示のステップは、画像全体にわたるループ式走査によって進む。各々のステップは、通常、各々の明るいピクセルに対して実行される。第１の検査１００１は、単に現在検査中のピクセルが、各々の近接ピクセルよりも大きいか否かを判定する。大きくない場合、ピクセルはピークではなく、処理は次のピクセル１００８の検査に進む。直交する隣接ピクセルのみ、又は斜交及び直交する隣接ピクセルのいずれかを検査する。また、１つの方向ではＧＥ（ｇｒｅａｔｅｒ−ｔｈａｎ−ｏｒ−ｅｑｕａｌ）操作を使用し、別の方向ではＧ（ｇｒｅａｔｅｒ−ｔｈａｎ）操作を使用するのが有用である。この方法では、同じ値の２つの隣接ピクセルがピークを形成する場合、それらの１つだけがピークピクセルとして識別されることになる。

ピクセルが隣接ピクセルよりも大きい場合、ピークの鮮明さはステップ１００２で判定される。閾値よりも傾斜の大きなピークだけが選択され、道路や雪だまり等の大きなオブジェクトからの反射を識別することを防止するようになっている。本発明では、画像がピークで飽和していないという条件で（以下に詳細に説明するように飽和オブジェクトは別の形態で取り扱う）、対象とする光源が非常にはっきりとしたピークをもつ傾向がある点に注意している。画像等の個別のサンプルセットの傾きを測定するための多数の数値的方法が存在し、それらは本発明の範囲に属すると見なされる。非常に簡単な方法は、ステップ５０１で生成された対数的画像表示からの恩恵を受ける。この方法では、現ピクセルと、２ピクセル離れた直交方向の４つの隣接ピクセルとの間の傾きは、検討中の現ピクセルの対数値を隣接ピクセルの対数値から減算することによって計算される。次にこれらの４つの傾きは平均化されて、この平均値は傾斜値として使用される。より多くの隣接ピクセル又は異なる距離だけ離れた隣接ピクセルを使用することもできる。高解像度の画像の場合、遠く離れた隣接ピクセルを使用することが好都合であろう。傾斜が一度計算されると、ステップ１００３において閾値と比較される。閾値を超えるピクセルだけがピークと見なされる。もしくは、光源の重心及び／又は輝度は、放物曲線近似法を使用して計算することができる。

一度ピークが識別されると、ピーク値はライトリストに記憶される（ステップ１００４）。ピーク値は単独で光源の輝度の指標として使用できるが、ピークピクセルの局所的区域のピクセル値の合計を使用することが望ましい。このことは、光源の実際のピークを２つ又はそれ以上のピクセル間で画像化することができ、これらのピクセル上にエネルギーが分散され、ピークだけを使用すると大きな誤差の原因になる場合があるので有用である。従って、ピークピクセルと直交及び斜交する最も近い隣接ピクセルとの合計を計算することが好ましい。対数画像表示が使用される場合、高度なビット深さでもって対数値を線形値に変換するために、ピクセル値は、好適には参照テーブルを使用して合計される前に最初に線形値に変換する必要がある。次に、この合計値はステップ１００５でライトリストに記憶され、光源の輝度として使用されることが好ましい。

光源の重心の計算及び記憶はステップ１００６で行われる。最も簡単な方法は、単にピーク座標を重心として使用することである。より正確な部分重心位置を次の式によって計算することができる。

ここで、xはピークピクセルのｘ座標、ｙはピークピクセルのｙ座標、Ｘ及びＹは結果としての重心である。もちろん、ピークピクセルを取り囲む３×３の局所的な区域以外の区域は式を適切に修正して使用できる。

最後に、光源の色はステップ１００７で判定される。前述の場合、図２及び図３と同様のイメージングシステムが使用され、重心を見つけて図１０の全ての前のステップを実行するために赤色のフィルタ処理画像が使用されることが想定されている。赤色と白色の比率は、透明画像の対応する３×３区域の合計値を計算し、次に赤色画像の輝度値をこの数値で除算することによって計算できる。もしくは、赤色画像のピクセルピーク値だけを透明画像の対応するピークピクセル値で除算することができる。別の選択肢として、３×３区域の各々のピクセルは、関連する倍率変更係数をもつことができ、合計する前に乗算される。例えば、中心ピクセルは、隣接ピクセルよりも高い倍率変更係数をもつことができ、直交する隣接ピクセルは斜交する隣接ピクセルよりも高い倍率変更をもつことができる。透明画像の対応する３×３区域に対して同じ倍率変更因子を用いることもできる。

イメージセンサアレイ２０４を覆うレンズ２０１の位置に関する位置合わせ不良は、デバイスの生産試験時に測定して各々のシステムに対する校正係数として記憶することができる。この位置合わせ不良は、色の比率を計算する際の因子となる。この位置合わせ不良は、赤色画像に比べて、透明画像の３×３区域の各々のピクセルに関して異なる重み係数をもつことによって補正できる。例えば、透明画像のピークが赤色画像の１／２ピクセルだけ左側にあるといった、微量の位置合わせ誤差がある場合、透明画像の左側の隣接ピクセルは大きな倍率係数をもつことができ、右側の隣接ピクセルは小さな倍率係数をもつことができる。前述のように、３×３以外のサイズの区域を使用することもできる。

モザイクフィルタパターン又はストライプフィルタパターンを使用するシステム等の、別の色フィルタ法を使用する光学システムに関して、色は本技術分野では公知の従来の色補間法を使用して計算することができ、「赤色」又は完全色情報を使用することができる。色の処理は、取得後すぐに全画像について行うことができ、又は光源と判定されたピクセルのグループに対してだけ行うこともできる。例えば、イメージングシステムが赤色／透明チェッカーボードフィルタパターンをもつと想定する。図１０に示す処理は、赤色でフィルタ処理されたピクセルだけを考慮して、透明ピクセルをすべて飛ばして実行することができる。ピークを検出すると、ステップ１００６の色は、ピークピクセル値（すなわち赤色でフィルタ処理されたピクセル）を４つの隣接する透明ピクセルの平均値で除算することによって判定される。また、より多くのピクセルを考慮することもでき、例えば、ピークピクセルの平均の４／５に４つの直交する隣接ピクセル（同様に赤色でフィルタ処理された）を加算して、４つの透明な直交する隣接ピクセルで除算することができる。

いくつかの他の有用な特徴部はステップ５０２で抽出することができ、ステップ５０４において光源の分類をさらに促進するために使用できる。光源の高さは、ピクセル値が例えば１／２といったピーク値の倍数であってもよい閾値以下に落ちるまで、ピークから正負の垂直方向に増加するピクセルを調べることによって計算できる。オブジェクトの幅も同様に判定できる。また、「シードフィル」アルゴリズムは、オブジェクト内のピクセルの全範囲及び数を判定するために使用できる。

前述のアルゴリズムは、かなり効率的に計算ができることを含む、多くの利点をもつ。最も近い隣接ピクセル及び２行又は２列だけ離れた隣接ピクセルだけを調べる場合、４行＋１ピクセルの画像だけが必要である。従って、解析は画像の取得時に行なうことができ、また単一の画像から十分なダイナミックレンジが得られる場合には、この制限されたデータ数に足りるだけの画像メモリが必要とされる。画像の光源ピークを見つけるための別のアルゴリズムを使用することもできる。例えば、従来技術で使用されているシードフィルアルゴリズムは、ピークの所定の輝度範囲に属するピクセルだけを含むように修正でき、結果的にそれらの間に適度な谷間を有する近接光源を区別できるようになる。また、本明細書にはニューラルネットワークによるピーク検出方法が詳細に説明されている。

前述のピーク検出スキームの潜在的な制約は、ＨＤＲ画像を使用するか又は他の非常に明るいオブジェクトが現われる時でさえも、明るい光源が画像を飽和させる場合に生じる。この場合、オブジェクトは非常に明るいか又は大きいので単独のピークは検出されず、従って、オブジェクトは無視されることになる。この制約はいくつかの方法で乗り越えることができる。第１に、飽和した又は最大輝度の閾値を超えるいかなる単一ピクセルもピークであるか否かに関わりなく光源として識別できる。実際、非常に明るい光の場合、図５の全ての処理を中止して、ハイビームのヘッドライトを消灯することができる。別の変形例では、現時点で検査したピクセルに隣接する所定数のピクセルの合計値を計算する。この合計値が高輝度閾値を超える場合には直ちに光源として識別されるか、又は制御が中止されてハイビームのヘッドライトが減光される。普通、ピクセルをピークとして識別するために２つの条件が用いられ、ピクセルがその隣接ピクセルを超える（又は等しいかそれよりも大きい）ことが必須であり、及び／又は傾きが閾値を超えることが必須である。飽和ピクセルの場合、傾きの条件は、飽和すると傾きを正確に計算できないのでスキップされるであろう。

数サイクルにわたる光源の動きを監視することによって、他の光源から車両光源を識別するのに有用な重要な手がかりを得ることができる。ステップ５０３では、光源の動き、光源の輝度変化を判定するために、及び／又は光源が検出された全サイクル数を判定するために、現サイクルでの光源が前サイクルの光源と比較される。このような解析は、長期にわたる複数の画像を記憶して、次にこれらの画像内の光源を比較することによって可能であるが、現在の低価格プロセッサのメモリの制約は、ライトリストを作成して記憶することをさらに訴求する。しかし、全画像又はその一部を記憶する概念は本発明の範疇にあり、別の手法として考慮する必要がある。１つ又はそれ以上先行サイクルで発見された光源リスト、及び個別の光源のいくつかの又は全ての特性リストを記憶することはより経済的である。これら先行サイクルのリストは、先行サイクルを「親（ｐａｒｅｎｔ）」とする現サイクルにおいて光源が検出されたか否かを判定するために検査できる。

先行サイクル光源の親識別は、図１１に基づいて実行される。図１１の処理は、現サイクルからの全光源に対して行われる。現サイクルからの各々の光は、もしあれば最も可能性の高い親を見つけるために、先行サイクルからの全ての光と比較される。最初に、ステップ１１０１では、現サイクルの光源と先行サイクルの光源（以後、現在の光及び先行の光と呼ぶ）との間の距離は、ステップ１１０２においてピーク座標を減算して閾値と比較することによって計算される。先行の光が閾値から遠く離れている場合、制御はステップ１１０５に進み、次の先行の光が検査される。ステップ１１０２の閾値は、一定閾値、速度及び／又は位置依存閾値であることを含む種々の方法で判定でき、利用できる場合は車両旋回情報を考慮することもできる。ステップ１１０３において、現在の光と先行の光との間の距離は、現時点までで検査した全ての先行の光に対して最小距離か否かを調べるためにチェックされる。もしそうであれば、この先行の光は、親として識別される現在最高の候補である。親光源判定の別の要因は、２つの画像の光源の色比率特性を比較すること及び／又は色比率閾値と比較することである。親光源の判定輝度値を使用することも本発明の範疇にある。ステップ１１０５で示すように、この処理は、先行サイクルからの全ての光のチェックが済むまで継続する。先行の光の全てのチェックが終わると、ステップ１１０６で先行サイクルのライトリストから親の光が見つかったか否かを判定する。親が識別されると、種々の有用なパラメータを計算することができる。ステップ１１０７において、現在の光と親の光との間のＸ及びＹピーク座標の偏差として動きベクトルが計算される。光源の輝度変化は、現在の光と親の光の偏差としてステップ１１０８で計算される。光が存在していた連続サイクルの数として規定される現在の光の世代は、親＋１の世代として設定される。これらのパラメータに加えて、動きベクトル及び輝度変化の平均値は、画像内のノイズ及びジッタに起因して、２つのサイクル間の瞬間的な変化よりも有用であることが分かるであろう。平均値は、２つ以上の先行サイクルからの情報を記憶して、祖父母や曾祖父母等の光源を判定することによって計算できる。もしくは、複数世代の記憶の必要性を緩和する移動平均を計算することができる。例えば、移動平均は、現在の動きベクトル又は輝度変化の分数（例えば１／３）＋前の平均の別の分数（例えば２／３）を利用して新しい移動平均を生じるようになっている。最後に、検出された光源の位置情報及び輝度や色等の他の可能性のある特性を包含するライトリストは、複数のサイクルに対して記憶される。次に、この情報は、ステップ５０４の現在のサイクルからのオブジェクトの分類のために使用できる。

光の履歴情報を判定するさらに高度な方法は当業者であれば理解できるはずである。例えば、親として最も可能性のある先行の光源は、現在の光源と先行の光源との間の輝度差、先行の光源の動きベクトル、及び各光源間の色差等の特性を考慮することができる。また、現サイクルからの２つの光源は、同じ親をもつ場合もある。これは、一対のヘッドライトが最初は１つの光源として画像化されるが被制御車両に近づくと２つの識別できるオブジェクトに分かれる場合にはよく起こる。

先行画像からの複数オブジェクトのどれが検討中の現オブジェクトの親であるかを選択するために、オブジェクトの動きの傾向を利用できる。オブジェクトの動きを追跡するため方法は、画像及び映像処理分野や、例えばレーダー目標追跡等の他の分野では公知である。これらの方法は、適切かつ現実的なところで使用できる。分類ステップ５０４は、ステップ５０２で抽出した光源の特性及びステップ５０３で判定した光源の動きを使用して、ヘッドライト及びテールランプを他の光源と区別する。要するに、従来はピーク輝度、全輝度、重心位置、傾き、幅、高さ、及び色等の特性が識別されていた。また、動きベクトル（ｘ及びｙ）、輝度変化、運動ジッタ、世代、動きベクトルの平均、及び平均輝度変化の平均等の履歴情報を使用することもできた。追加的な特性は、以下に示す分類方法と一緒に使用すると識別を改善できる。画像処理から抽出されるパラメータに加えて、分類を改善するために種々の車両状態パラメータを使用できる。これらは、車両速度、被制御車両の外部照明の輝度に対応する光源輝度（反射を示す）、周囲光レベル、車両旋回速度（画像情報、舵角、方位、車輪速、ＧＰＳ等から）、車線追跡システム、車両のピッチング及びヨーイング、及び地理的位置又は道路種類（ＧＰＳからの）を含むことができる。個々のパラメータに対する特定の用途を説明できるが、本発明はこれらの特定の実施例に制約されるものではない。むしろ、本発明の目的は、上記の任意の又は全てのパラメータ、又は画像内のオブジェクトの識別に使用するための別のパラメータに適用できる汎用の光源分類方法を提供することである。最後に、光源の分類は、オブジェクトのレーダー検出等の画像処理システム以外の情報によって補うことができる。

例示的な分類スキームは図１２に基づいて進む。図１２の制御手順は、１２１２に示すように、現サイクルで識別した各々の光源に対して繰り返される。最初のステップにおいて、光源輝度は、即時滅光閾値と比較される。輝度がこの閾値を超える場合、非常に明るい光が検出されたことが示され、図１２の処理が終了してハイビームの輝度が低減されるか、又は既にオフでなければビームパターンが変更される。この機能は、何らかの可能性のある明るい光源の分類間違いを防止して、検出した明るい光に対する迅速な対応を保証する。

ステップ１２０２は、ＡＣ電源によって引き起こされ人間には見えない光源強度の高速点滅を検出することによって街路灯の識別を可能にする。ＤＣ電源から電力供給される車両照明ではこのような点滅は起こらない。点滅は、好ましくは２４０Ｈｚ、最も好ましくは４８０Ｈｚの点滅速度よりも高速のフレーム速度でもって光源を取り囲む領域の複数の画像を取得することによって検出できる。次に、これらのフレームは、ＡＣ成分を検出するために解析されて点滅を呈するそのような光は無視される（ステップ１２０３）。付加的に、車両が市街さもなければ適切に照明された区域を走行しているか否かを判定するために、街路灯の個数又は平均密度を得ることもできる。この場合、他の車両の存在とは無関係に、ハイビームの使用は禁止されるか又は市街用照明モードが作動する。この解析の詳細な説明は前述の米国特許出願番号０９／８００，４６０号になされており、その開示内容は本明細書に引用によって組み込まれている。別法のニューラルネットワーク解析法が詳細に説明される。

ステップ１２０４で色を比較することで最小赤色閾値基準が判定される。全てのテールランプはこの閾値と同程度の赤色をもつことが想定される。この閾値を超える赤色を示す光源は、ステップ１２０５でテールランプ識別ネットワークによって分類される。分類ネットワークは任意の形を取ることができる。最も簡単には、分類ネットワークは、規則セット及び光源の特性が比較される閾値を含むことができる。輝度、色、動き、及び他のパラメータの閾値は、これらの規則を作成するために公知のテールランプ画像に対して実験的に測定できる。これらの規則は、各々の分類タイプに関して、各々のパラメータ又はパラメータの組み合わせの確率分布関数の検査によって決定することができる。しかしながら、変数の数及び複数の変数を組み合わせた影響は、適切な規則の作成を複雑にする場合が多い。例えば、光源の動きベクトル自体は、テールランプの別の光源からの有用な弁別器でない場合もある。動いている車両は、道路標識と同じ垂直運動及び水平運動を示す場合もある。しかしながら、光源位置、光源色、光源輝度、及び被制御車両の速度の組み合わせで観察される動きベクトルは、優れた識別を可能にする。

少なくとも１つの実施形態において、個々の光源を分類するために確率関数が使用される。個々の確率関数は、一次、二次、三次、又は四次方程式であってもよい。もしくは、個々の確率関数は、互いに、一次、二次、三次、又は四次方程式のどれかから導かれ互いに混ぜ合わせられた組み合わせを含むことができる。いずれの場合でも、所定の確率関数は、所定の関数内の各々の項に対応する固有の乗算重み関数をもつことができる。乗算重み係数は、公知の光源を含む、及び／又は公知の運転状態の間に取得した画像を解析することによって統計的に導き出すことができる。もしくは、乗算重み係数は、種々の画像及び／又は実験データからの異常な分類を解析して実験的に導き出すことができる。

分類ネットワークの出力は、テールランプか否かを示すブール値又は真偽値のいずれであってもよく、又はオブジェクトがテールランプである確率を示す実質的に連続する関数であってもよい。ヘッドランプに関しても同様のことが適用される。実質的に連続する関数は、検出オブジェクトがヘッドライトやテールランプの特性及び動きに対応するパターンに適合する確かさの程度をもたらすので有用である。この確率又は確かさの程度は、迅速な変更をもたらす高い確かさでもって、被制御車両の外部照明の変更速度を可変に制御するために利用できる。２状態の外部照明に関して、自動制御機能を起動するために、０％及び１００％以外の確率又は確かさの尺度閾値を使用することができる。

好適な実施形態において、これらの複雑な変数関係を考慮する優れた分類スキームは、ニューラルネットワークで実施される。このネットワークに対する入力は、車両速度及び利用できる場合は旋回速度情報に加えて、光源の輝度、色、位置、動きベクトル、及び世代等を含むことができる、これらは前述の多くの変数である。このニューラルネットワークの更に詳細な構成は、本明細書では図５の制御手順の説明の後に示されている。分類規則又は使用するニューラルネットワークは、ハイビーム点灯の場合よりもむしろ消灯の場合に異なるであろう。例えば、ハイビーム消灯の場合に別の車両が存在する状態でハイビームが万一点灯するのを防ぐために、疑わしいときは常にオブジェクトをテールランプとして分類するように好都合に働く傾向にある分類スキームを使用できる。しかしながら、ハイビームが点灯している場合、ハイビーム減光の煩わしさを防ぐために高い確実性が要求される。ハイビームが消灯している場合、分類タスクは簡単でありさほど重大ではないので、消灯状態では単純な規則に基づく分類器が使用され、点灯状態ではより複雑なニューラルネットワークが使用される。

ステップ１２０６においてオブジェクトがテールランプであると識別された場合、分類処理は、全ての光源が分類されるまで（１２０９）、残りの光源に対して継続する（１２１２）。光源がテールランプではない場合、ヘッドライトであるか否かを調べるために更に検査を行うことができる。同様に、ステップ１２０４の閾値未満の赤色レベルの光源は、ヘッドライトであるか否かを調べるために検査される。まずステップ１２０７において、光源がヘッドライトの候補であるか否かを判定するために光源の輝度がチェックされる。ステップ１２０７の閾値は、単一の閾値とすることができ、又は好適にはオブジェクトの位置、現在の被制御車両の外部照明の状態、及び随意的に被制御車両の速度又はその他のパラメータの関数とすることができる。光源が閾値よりも明るい場合、ヘッドライトか否かを判定するために検査される。ステップ１２０８は、ステップ１２０５と同様にテールランプの分類を行う。

ヘッドライトの存在は、実験によって又は最適にはニューラルネットワークによって決定された規則セットを使用して判定することができる。ステップ１２０８の出力は、対向車のヘッドライト存在の真偽表示、又はオブジェクトが対向車のヘッドライトである可能性の程度であってもよい。ステップ１２０５と同様にステップ１２０８の分類は、ヘッドランプ点灯の場合にはヘッドライト消灯の場合とは実質的に相違して行うことができる。同様にオブジェクトが先行車のテールランプである可能性が判定される。

ステップ１２０５及び１２０８に関連して前述したように、検出された光源を識別するために、本発明では１つ又はそれ以上のニューラルネットワークを使用することが好ましい。分類の問題を解決するためのニューラルネットワーク及びその実施の詳細な説明は、Ｏｘｆｏｒｄ Ｕｎｉｖｅｒｓｉｔｙ Ｐｒｅｓｓから出版されたＣｈｒｉｓｐｏｐｈｅｒ Ｍ． Ｂｉｓｈｏｐによる「パターン認識のためのニューラルネットワーク」（１９９５年著作権）、及びＡｃａｄｅｍｉｃ Ｐｒｅｓｓから出版されたＴｉｍｏｔｈｙ Ｍａｓｔｅｒｓによる「Ｃ＋＋の実用的なニューラルネットワーク手法」（１９９３年の著作権）になされている。ニューラルネットワークのアルゴリズムは、米国フロリダ州ゲインズヴィル所在のＮｅｕｒｏＤｉｍｅｎｓｉｏｎ社から入手できるソフトウエア「ＮｅｕｒｏＳｏｌｕｔｉｏｎ４」を使用して、設計、シミュレート、及び訓練を行うことができる。

本発明で使用する例示的なニューラルネットワークの説明を図１３を参照して行う。ニューラルネットワーク１３００は、１つ又はそれ以上の入力１３０１、入力ニューロン１３０２、１つ又はそれ以上の出力１３０４、隠れ層ニューロン１３０５、及び結線１３０３で構成することができ、結線１３０３は一般にシナプスと呼ばれる場合もある。本発明の目的において、入力ニューロン１３０２は光源の分類のために使用されるパラメータを表す。入力ニューロン１３０２と第１の隠れ層ニューロン１３０３との間のシナプスは、これらの入力が乗算される加重を表す。ニューロン１３０３はこれらの加重値を合計し、その合計に起動関数を適用する。起動関数はほとんどの場合非線形の関数であり、好適にはロジスティック又は双曲線正接関数等のＳ字状である。次に、これらのニューロンの出力は、この値が乗算される加重をやはり表すシナプスによってニューロンの次の層に接続される。最終的に出力ニューロンはネットワーク１３０４の出力値を与える。図１３に示されるネットワークは汎用の構造である。任意の数の入力ニューロンを使用でき、ゼロ又は任意の数の中間の隠れ層を使用できるが、一般に１層又は２層の隠れ層が必要である。ニューラルネットワークは完全接続で示されており、このことは１つの層内の全てのニューロンの出力は、シナプスによって次の層の全てのニューロンに接続されることを意味する。また、ニューラルネットワークは部分接続とすることもできる。

各々のシナプスの加重は、ニューラルネットワークにその機能を与えるように設定されると共に、所定のパターン認識又は分類タスクでその性能を与えるように設定される。加重は、ニューラルネットワークを「訓練」することで設定される。訓練は、分類されることになる多数の分類サンプルデータをニューラルネットワークに与えることによって行われる。本発明では、イメージングシステムによって多数の光源が取得され、記憶され、その後、画像を検査することによって手動で分類される。手動分類は、データを取得する際に光源の実際の種類に注目することで、又は記憶データを後で検査することで行うことができる。手動分類を助けるために、高解像度又は高感度イメージングシステム使用して、追加の映像を同期的に取得することができる。最後に、訓練のための分類は、製造設備に使用するものよりも高性能な映像処理システムを使用して自動的に行なうことができる。そのような自動システムは、オブジェクトの分類を助けるために、高解像度の映像等の追加情報を使用することができる。いずれの場合も、ニューラルネットワークを訓練するために使用される（又は別の形式の統計的分類アルゴリズムを開発するために使用される）データを分類する人間又は自動システムは、分類問題の「専門知識」をもつと見なすことができる。

シナプス加重は、最初はランダムに設定し、訓練サンプルの正確な分類の達成可能な最大評価が達成されるまで調整できる。ニューラルネットワークを検査するために追加の手動で分類されたサンプルを使用し、訓練データセットの域を超えて一般化できることを保証することが好ましい。前述のＮｅｕｒｏＳｏｌｕｔｉｏｎプログラムは、ニューラルネットワークを設計して訓練を行うために使用できる。理想的には、システムの計算要求を最小化するために、分類タスクを満足に行なう最小の複雑さのニューラルネットワークが使用される。必要であれば、追加のニューロン、隠れ層、及びシナプスを付加して性能を高めることができる。

ニューラルネットワークの訓練は、ニューラルネットワークが分類タスクをどれほど正確に行うかの尺度をもたらす誤差関数に依存する。訓練プログラムの目的は、誤差関数を最小にするシナプス加重セットを収束させることである。最も簡単な誤差関数は、ニューラルネットワークが不正確に光源を分類した時間比率の尺度であってもよい。更に適切な誤差関数は、誤分類の影響度の加重を訓練サンプルに関連付けすることができる。例えば、接近したヘッドライトをヘッドライトではないとする誤分類は、離れたヘッドライトの誤分類よりも容認できないはずである。従って、これらの誤差に対してはより大きな加重を定めることができる。遠く離れた微弱なヘッドライトの誤分類は、遠く離れたヘッドライトに対する減光のわずかな遅延よりも厄介な減光の方が好ましくない場合があるので、かすかな兆候の誤分類よりも厳しくないであろう。誤差ペナルティは、各々の訓練サンプルに対して手動で設定でき、又は光源輝度又はその他のパラメータの関数であってもよい。

ニューラルネットワークが訓練された状態で、アプリケーションに導入するために再現（ｒｅｃａｌｌ）ニューラルネットワークを使用することができる。再現ニューラルネットワークは、訓練で決定された加重を有し、通常はプロセッサのソフトウエアによって実行されるが、ハードウエアＡＳＩＣ又はプログラム可能な論理アレイによってハードウエアでも実行可能である。再現ニューラルネットワークを使用するのと同様に、ニューラルネットワークを訓練するためにかなりの注意を払うことが好ましい。起動関数は、訓練及び再現と同様に計算されることが好ましい。使用する数値精度は同一であることが好ましい。また、訓練に使用するデータは、実際の製品と実質的に同一か又は非常に類似しているイメージセンサを使用して得る必要がある。好適には訓練データは、実際の装置で発生する可能性がある製造差異を代表する複数の部品を使用して取得される。

ニューラルネットワークへの入力は、図１２のステップ１２０５を参照して説明したパラメータとすることができる。これらのパラメータの生の値を使用できるが、ニューラルネットワークの複雑性は、各々の変数がほぼ同じ大きさ範囲になるようにこれらのパラメータを倍率変更することによって低減できる。潜在的に非常に大きな範囲を有する輝度等の変数に関して、ニューラルネットワークへの入力としてこの値の対数を使用することは有用である。色比率等のその他の値は、ファジー論理メンバーシップセットのメンバーシップ度として適切に表現することができる。例えば、小さな赤色値は、光源が確実に赤色ではことを示す場合があるので、「赤色」セットにおけるこの値のメンバーシップはゼロである。中間の値は、「赤色」セットの一部のメンバーシップを示すことができ、光源がおそらく赤色であるが確実に赤ではないことを示す。最後に、閾値を超える赤色値は、「赤色」セットの完全なメンバーシップを示す。光源が確実に赤色であることがすでに判定されているので、この閾値を超える高い測定された赤色値は、光源がそれ以上の「赤色」をもつことを意味しない。同様に、光源が赤色であることが完全に確実に判定された状態で、この閾値を超える赤色値は、光源がテールランプである可能性を高めるものではないであろう。つまり、ファジー赤色メンバーシップ基準は、ニューラルネットワークにとって直接的な色値よりも適切な入力であろう。しかし、色値は直接的な入力として使用することができる。

ニューラルネットワークへの入力として好都合に修正された別のパラメータは、Ｘ及びＹ重心位置座標である。一般に、これらの座標はイメージャ座標として設定される。しかしながら、これらの座標をニューラルネットワークに対して視野中心からの正又は負の距離として与えることは更に有用であろう。対象光源の大部分が画像中心に位置付けられ、大部分の標識の動きは中心から外側に発散するので、中心オフセットパラメータは、良好な結果をもたらすか又はニューラルネットワークの複雑性を低減することができる。Ｘ及びＹ位置のオフセットが計算される画像中心位置は、車両の旋回速度及び／又は車両のピッチングに基づいて調整できる。

画像中心位置は、設計意図中心に基づいて設定でき、又は最適には動的に校正することができる。動的校正は、微弱であり、依然として光源が画像中心付近に単独で存在する状況で画像をモニタすることによって行われる。このような状況が起こる場合は、おそらく遠方の対向車の光又は先行車のテールランプが存在する。この条件を検出するためにやはりニューラルネットワークを導入でき、又は既存の分類ネットワークの付加的な出力は光源が適切な分類の候補か否かを示すことができる。車両が非常に安定走行しており、おそらく旋回していないことを保証するために、車両の速度及び／又は旋回速度情報をモニタすることができる。校正光源が検出された状態で、この光源のＸ及びＹ座標は、現在の画像中心位置と一緒に平均化される。新しい値の比例分担は非常に小さいことが好ましく、例えば１％未満、最適には０．１％未満である。しかしながら、新車の場合、校正係数を迅速に定めるために大きな係数を使用することができる。新車が校正サンプルの閾値の所定数を収集すると後続サンプルの平均分担は減少する。再校正ボタン手順は、フロントガラスを取り替えたような場合に要求される迅速な再校正を強制するために行うことができる。自動補正を有効／無効にする手動スイッチを設けることもできる。

分類ネットワークによる分類の前に、光源が最低輝度の閾値等の最低基準に満たすことを保証するために、最初に光源を評価することができる。この基準を満たさない場合、光源は分類ネットワークによって考慮されない。基準としては、色範囲、位置依存閾値、又は世代依存閾値を挙げることができる。検査の前に特定の世代になるように微弱な光源が要求される場合があるが、明るい光源はこれに先だって検査してもよい。分類ネットワークに先だって光源を拒否又は識別するために、種々の規則を組み合わせたものを使用できる。これは、光源を識別又は拒否することが特に簡単な場合に有用であり、結果的にオブジェクトの計算時間が短くなる。

本発明で使用する例示的なニューラルネットワークの実行は、２３の入力値及び２つの連続した出力値を含み、１つの出力値はヘッドライトの分類用、１つの出力値はテールランプの分類用である。入力値は、Ｘ位置（中心からのオフセットとしての）、Ｙ位置（中心からのオフセットとしての）、輝度（対数的に倍率変更された）、赤対透明の色比率、世代、幅、及び高さである。また、４つの先行サイクルからのＸ位置、Ｙ位置、輝度、及び赤対透明の色比率も入力値であり、合計２３になる。全ての入力値はそれらの範囲にわたって−１０００から１０００まで倍率変更される。１２の隠れ層のニューロンが使用される。

この例示的なニューラルネットワークは、カメラ画像をドライブして記録することによって訓練した。分類を行う前に前述の手法を使用して対応する画像から光源の数千の例を抽出した。次に、光源は手動で分類した。「ＮｅｕｒａｌＳｏｌｕｔｉｏｎ」を使用してニューラルネットワークを訓練した。訓練された再現ネットワークは、１６ビットの符号付き整数演算を使用して、Ｍｏｔｏｒｏｌａ６８ＨＣＳ９１２マイクロプロセッサ上で実行した。計算効率は、各々のネットワークへの入力ドット積を計算するために使用される乗算累算命令（ＭＡＣ）を組み込んだことからの恩恵を受けた。ＮｅｕｒａｌＳｏｌｕｔｉｏｎは、入力値が−１．０から１．０まで倍率変更された浮動小数点数値演算を使用するので、整数数値演算を用いる組み込み処理に対して結果として得られた加重を倍率変更する必要がある。

前述のように他の入力値を使用することができる。例えば、車両速度、車両旋回速度、又は現在の車両照明状態（ハイビームヘッドライトのデューティサイクル等の）を使用することができる。別の実施例において、被制御車両のヘッドライトの輝度も変化する場合、数サイクル間の光源輝度変化を表す入力が使用され、結果的に、ニューラルネットワークがハイビームヘッドライトの輝度低減に起因する標識の反射の変化を検出できるようになる。さらに別の実施形態において、光源のピークを取り囲む選択領域からの実ピクセル値は、ニューラルネットワークに対する入力値として使用できるので、オブジェクトの形状又は光分布を検出できるようになる。この方法は、多数の入力を処理できる場合に特に有効である。チェッカーボード又はストライプフィルタパターンを使用する場合、隣接ピクセル値を包含すると、ニューラルネットワークは、色比率を別個に計算するのではなく、生データから色を直接推測できるようになる。

全ての照明の分類が終了した状態で、ステップ５０５で適切な照明状態が決定される。分類を中断して非常に明るい光源を検出するためのステップ５０５を呼び出すことも可能であり、その場合、ハイビームが消灯されていない場合は輝度が低減される。２つ以上の光源が検出された場合、制御は最大応答をもたらす光源に基づくようにできる。

種々の別の光源分類ネットワークの説明は、適切な被制御車両の外部照明状態の決定に関する説明の後になされている。

適切な動作の判定は、制御されることになる照明システムの特定の機能に大きく依存する。単純なハイビーム点灯／消灯システムでは、対向車のヘッドライト又は先行車のテールランプを検出するとハイビームは消灯される。煩わしい減光を防ぐために、ヘッドライト及びテールランプは、切り換えを行なう前に多数の画像に対して検出する必要があるであろう。遅延量は、好適には検出した光源の輝度の関数なので、明るい光源に対しては比較的早い応答が可能になり、暗い光源に対しては遅い応答が可能になる。また、この遅延は、被制御車両の速度の関数であってもよい。緩慢な遅延により、対向車のヘッドライトと誤って診断された標識は応答が起こる前に通過することになる。１１０８で判定された光源の世代は、適切な応答ポイントを決定するのに使用できる。同様に、ハイビームが消灯されている場合、画像は、ハイビームヘッドライトが自動的に再起動される前に、フレームの閾値数について車両光源がないことが要求されるであろう。

別の実施形態において、ハイビームヘッドライトは完全点灯から完全消灯に、及び／又は完全消灯から完全点灯に切り換えられる代わりに、フェーディング点灯、フェーディング消灯される。この場合、フェーディング速度は検出された光源の輝度に依存してもよく、随意的にステップ１２０５及び１２０８で決定された正確な分類の確率に依存してもよい。また、被制御車両の速度は、変化速度の判定に使用される。このようにして、ハイビームヘッドライトは薄暗い光源に対してゆっくり反応する。これにより、間違った分類の場合に運転者を驚かすことなく、ハイビームヘッドライトを補正すること及び高輝度に戻すことが可能になる。検出された対向車のヘッドライトの輝度が高く、被制御車両のハイビームヘッドライトの輝度の迅速な低減を保証するが分類の確率が低い場合、ハイビームのヘッドライトはより漸進的に低減される。後続サイクルにおいて、オブジェクトの輝度がハイビームの輝度の低減に伴って低減する場合、オブジェクトは標識又はその他の反射であると予想でき、ハイビームヘッドライトは、再度、被制御車両の運転者を少し混乱させて十分な輝度に戻すことができる。

より高性能な照明システムは、ヘッドライトの水平方向及び／又は垂直方向の可変照準が可能になり、又は関連するビームの任意の整形が可能になる。このようなヘッドランプシステムは、同時係属の本出願人の米国仮出願番号６０／２２９，７６２「防眩ヘッドランプ制御」に詳細に説明されており、その開示内容は引用によって本明細書に組み込まれている。このようなシステムを用いて、ビームパターンを変更して、他の車両の運転者を混乱させることなく、被制御車両の運転者に最も適した照明を提供することができる。本発明の原理は、別の車両に対する眩しさを防止するために、他の車両の光源に対する距離及び方向を正確に特定して、被制御車両のヘッドライトビームの照準又はパターンを変更するための制御信号をもたらすことによって上記のシステムに適用することができる。

また、別の検出及び処理方法、又は検出方法を組み合わせたものは、本発明で使用でき、レーダーセンサ、レーザ距離計、超音波センサ、立体視センサ、及びＲＦ車両間通信を含むことを理解されたい。被制御車両の外部照明の適切な照明状態を決定するために開示された方法は、他の光源の検出の結果として、これらの任意の１つ又はそれらの組み合わせ及び他のセンサが使用される場合に使用できる。

本発明は、不連続の切り換え点及び／又は実質的に連続する過渡期を有する外部照明を使用することができる。不連続的な切り換え照明の実施例は、ランプの異なるフィラメントに通電することにより個別のハイビーム及びロービーム状態の間を切り換えること、別個のハイビームランプ及びロービームランプを切り換えること、ロービームランプに通電したままでハイビームランプを通電及び非通電にすること、及び１つ又は複数のランプの照準角度を不連続に切り換えることを含む。２モードキセノンＨＩＤランプ又は単に２キセノンと呼ばれる別の新しいランプ技術は、機械可動式シェードを使用して、単一の高輝度放電ランプのビームパターンを変更する。連続切り換え式照明の実施例は、白熱フィラメントランプの電圧を変更すること、フィラメントランプへのＰＷＭデューティサイクルを変更すること、ランプ照準を変更すること、機械式シェードを可変制御すること、又は種々の光学技術によるビームパターンの別の方法で変更することを含む。実質的に連続の可変ランプは、本当に連続するランプではなく、一連の不連続なステップで遷移することができるランプを含むことができる。最後に、本出願人の米国特許出願番号１０／２３５，４７６に説明したような新しい照明技術は、ＬＥＤヘッドライトや、可変減衰器又は反射器等のビームパターンが空間光変調器を使用して変更されるランプを含むことができる。このような新しい照明技術は、不連続の状態の間又は実質的に連続的に制御することができる。この出願の開示内容は引用によって本明細書に組み込まれている。

連続切り換えシステム及び不連続切り換えシステムの両方を制御するための種々の実施形態は、図１４を参照して説明する。自動制御下ではあるが、車両ヘッドライトは、消灯状態１４０１、遷移状態１４０２、又は点灯状態１４０３の３つの状態の１つとすることができる。自動操作時に運転者は手動操作を優先できるので、自動操作を無視するか、又は強制的に自動操作を消灯状態か点灯状態のいずれかに切り換えるかを決定できる。ロービーム及びハイビームとして機能する単一のヘッドライト装置を備える車両は、不連続的に切り換えるか又は実質的に連続的に可変であるかに無関係に、多数の輝度及び／又は照明パターンを選択するための手動制御を備えている。前述のように、処理は、サイクル形式で進む。２００ｍｓの時間を要する各々のサイクルにおいて、少なくとも１つの画像が取得され解析される。解析の後で、状態を変更するか又は現在の状態を維持するかの決定が行われる。

少なくとも１つの実施形態において、不連続切り換えヘッドライトを制御するように自動ヘッドライト制御システムが構成される。説明のために、ヘッドライト制御は消灯状態１４０１で始まるとする。消灯状態にしておくために、複数の条件を満たすことが必要であろう。例示的な条件及び各々の条件に対する理由付けの一覧は以下の通りである。種々の実施形態は、条件の全て又は一部だけを実行できる。

表１
所望の条件を満たした状態で、１４０４によって示すように、制御は消灯状態１４０１から遷移状態１４０２に進む。図１５は不連続切り換えランプに関する遷移状態１４０２の挙動を示す。ランプが消灯状態で説明を始めると、制御はポイント１５０１で遷移状態１４０２に入る。他の車両の照明が識別されない各々の連続するサイクルに関して、遷移状態におけるレベルは高くなる。レベルが点灯に切り換わるポイント１５０３に達するとハイビームが点灯して、制御状態は遷移１４０５を通って点灯状態１４０３に設定される。ポイント１５０１から１５０３への過渡時に他の車両の照明が識別されると、遷移状態のレベルは高くならず方向を変えて低下し始める。

点灯状態１４０３になると、識別された照明により、制御は、遷移１４０７を通ってポイント１５０２で遷移状態１４０２に移動する。後続の識別された照明は遷移状態のレベルを低下させることができる。遷移状態のレベルが低下する大きさは、識別された光源の種類、光源輝度、光源位置、及び光源の分類の確実性等の種々の因子に依存するであろう。また、車両速度や舵角等のその他の因子も遷移状態のレベルの低下割合に影響を及ぼすであろう。サイクルに識別された光源がない場合、遷移状態のレベルは低くならずに高くなる場合がある。最後に、遷移状態のレベルが消灯切り換え点１５０４に達すると、制御は、遷移９０５を通って消灯状態１４０１に進み、照明は消灯する。

各々の画像サイクルについてレベルが低下する割合は、種々の因子に依存するであろう。これらの因子の例と各々の説明は表２に示されている。遷移状態のレベルの最終的な低下量を決定するために、種々の因子は互いに組み合わせて使用することができる。種々の実施形態は、異なる組み合わせで様々な度合いで、これらの全ての因子のいくつかを実行することができる。また、表２の因子に加えて、遷移レベルの変化率は、先行サイクルでの行為に依存するであろう。例えば、遷移レベルが現在低下している場合、識別された車両の照明は継続的に低下する。しかしながら、レベルが先行サイクルで上昇されると、識別された照明の上昇は中断するが、後続サイクルまで即座に低下しない。この機能は標識の反射又は他の起こる急激な変動を制限するように作用する。

表２

特定の環境において、制御は、遷移１４０９を通って消灯状態１４０１から点灯状態１４０３に直接進むか、又は遷移１４０８をとおって点灯状態１４０３から消灯状態１４０１に直接進む場合がある。遷移１４０９は、例えば、高速高輝度復帰動作を実行するために行われる。暗い道路を適度の速度から高い速度で走行する場合、対向車の通過後はできるだけ早くハイビームを点灯することが望ましい。対向車のライトが被制御車両の運転者の夜間視野感度を低下させるはずなので、ハイビームヘッドライトの素早い点灯はその補償に役立つ。付加的に、自動システムの素早い作動は運転者に対して活動感及び安心感を与えるので、特にスポーツカーのような特定の車の運転者に美的満足を与える。点灯状態１４０３から消灯状態１４０１への直接的な遷移１４０８は、非常に明るい照明が検出されたときに起こるであろう。これは可能な限り素早い応答をもたらし、対向車又は先行車に対するどのような眩しい光も最小限にする。

例示的な実施形態において、図１４の状態線図及び状態レベル線図の使用は、示された概念の単なる例示的なものである。図１５に示す種々の不連続レベルの概念は、種々の光源に対して変動する応答遅延を行う好都合な機構、及び光源が現れたり消えたりする場合に延期され転換されることになる切り換え決定の能力である。当業者であれば、連続的に調節可能な遅延タイマ等の多様な手段によって本発明の動作及び概念を実施できる。

不連続に切り換えられる光源を実施するための実施形態に示したメカニズムは、同様に、実質的に連続的に調節可能な光源の制御にまで容易に拡張できる。図１４の状態挙動は実質的に同じである。遷移状態１４０２のレベルは前述の挙動に基づいて上昇下降する。しかしながら、不連続切り換え点灯ポイント及び不連続切り換え消灯ポイントは存在しない。その代わり図１６に示すように、遷移レベルはポイント１５０１、１６０１で始まり、車両が検出されない限り上昇する。ハイビームヘッドライトが点灯され、車両が検出されると、遷移状態は高レベル１５０２、１６０２に入りその後低下する。前述のように、遷移レベルの変化方向は、遷移状態１４０２の間に車両が現れたり消えたりすると変更される。遷移状態１４０２の挙動を判定するための表２の基準は、同様に実質的に連続的に調節可能な照明の制御に適用される。

現在の遷移レベルは、実質的に連続的に調節可能なランプの現在の出力レベルを設定するために使用することができる。例えば、図１７に示すように、遷移状態レベルは、ハロゲンヘッドライトのＰＷＭデューティサイクルを判定するために使用できる。図１７の異なる形状のプロットは、異なる形式のランプに対して異なるフェーディング動作をもたらすこと、又は異なる外見をもたらすことができる。もしくは、遷移状態レベルは、可変照準ランプの水平及び／又は垂直角度、又はランプの光度と角度の組み合わせを判定するために使用できる。図１７の別の関数は、点灯状態１４０３又は消灯状態１４０１から遷移状態１４０２に入る場合に、ヘッドライトを点灯消灯するための別の動作を実現するために使用できる。ヘッドライト状態の表示インジケータの制御は、遷移レベルに基づいて行うことができる。表示インジケータは、図１７に示すような関数によって制御される輝度に一致して可変であってもよく、又は遷移状態１４０２の範囲の特定レベルにおいて不連続切り換え点灯及び切り換え消灯ポイントを有することもできる。

ステップ１２０８のヘッドライトネットワーク分類及びステップ１２０７のテールランプネットワーク分類の手段は、自動制御の車両用外部照明タスクのためのニューラルネットワークの多くの可能性のある手段の１つにすぎない。全ての入力が送り込まれ、１つがヘッドライト用で１つがテールランプ用の２つの出力を含む単一のニューラルネットワークを使用できる。このニューラルネットワークは、分類タスクが複雑なのでより複雑で計算的に要求が厳しいはずであるが、おそらくは少なくとも２つのニューラルネットワークと同じように機能することになる。より一般的な場合でも、現在の被制御車両ヘッドライト状態に入力及び出力として新しいヘッドライト状態を与えるであろう。

処理能力が限られている場合、分類が色比率ごとに分けられている図１２の場合と同様に、多数の単純なニューラルネットワークを使用することができる。分類は、輝度ごとにさらに分けることができる。例えば、光源が閾値よりも明るく赤色の場合、オブジェクトを評価するために明るいテールランプニューラルネットワークを使用することができる。光源が暗く赤色ではない場合、オブジェクトを評価するために暗いテールランプニューラルネットワークを使用することができる。これらのニューラルネットワークの各々は個別に設計することができ、再現ニューラルネットワークが作動中にさらされる代表データを使用して訓練することができる。タスクを種々の輝度範囲に又は別のパラメータによって更に分割することが意図されている。

例えば、多くの大型トラック及びトラックトレーラの後部は、複数のライト及び／又は反射器を備える。特定の構成により、所定のトラック及びトレーラの後部は、道路沿いの標識、反射器、又は照明に密接に関連する特徴部をもつ場合がある。従って、先行のトラック及び／又はトレーラの後部の識別のために特別に構成されて訓練されたニューラルネットワークを設けることが望ましい場合がある。このタスク用のニューラルネットワークは、トラック及び／又はトレーラの後部の実例を含むことが分かっている画像データを使用して訓練することができる。

このイメージングシステムの他の分類及び識別問題を解決するために、同じニューラルネットワーク技術を利用することができる。例えば、ＡＣ照明の識別はニューラルネットワークの使用によって改善できる。従来、ＡＣリップルは、画像サンプルに存在する１２０Ｈｚフーリエ級数成分の大きさを計算することによって定量化されていた。ニューラルネットワークは、特にノイズの多いデータのパターンを識別するために有用である。フーリエ級数を計算する代わりに、高速サンプリング画像の各々における照明輝度は、ニューラルネットワークへの入力として与えることができる。ニューラルネットワークの出力は、例えば、街路灯を示すことができるブール値であってもよく、ヘッドライト分類ネットワークにさらに供給することができる連続値であってもよい。また、光源の垂直移動及び／又は位置等の他のパラメータは、オブジェクトが街路灯であるか否かを更に確認するためにニューラルネットワークに与えることができる。ＡＣ照明のニューラルネットワークは、高フレーム比の画像サンプル、又は街路灯及び他の照明に関する各々の画像から街路灯を画像化するピクセルの合計をニューラルネットワークに供給することで訓練できる。訓練が終わると、再現ニューラルネットワークを用いて図１２のステップ１２０２を実行することができる。

近年ＬＥＤテールランプが商品化されている。このテールランプの輝度は、ＡＣ街路灯照明と同程度の周波数でパルス幅変調制御される。従って、前述の技術は、ＬＥＤテールランプを街路灯と誤判定する場合がある。照明の色は、両者が強度変調を示す場合でも、赤色のテールランプを街路灯と区別するために使用できる。この問題点は、画像がテールランプの輝度変調の種々の位相で取得される場合があるので、光源の色が最初の画像によって誤判定される可能性があるという事実によって更に複雑になる。この場合、ＡＣ解析のために使用される高速取得画像を色の判定にも使用できる。赤色フィルタ処理画像及び透明ピクセル画像の両方が取得される。光源が高いＡＣフリッカをもつと判定されると、赤色フィルタ処理画像からの全てのピクセルの合計及び全ての透明ピクセルの合計から新しい色比率が計算されるので、全変調期間をカバーする画像を確実に使用される。従って、実質的に赤色の照明は街路灯として識別されない。

誤った減光の別の潜在的な原因は、頭上の点滅式道路標識である。これら標識の点滅特性は、数サイクルの光源輝度を記憶することによって判定できる。２００ｍｓサイクル比で、５サイクルに相当する輝度履歴で十分である。これらオブジェクトの輝度の周期的変化はその点滅を表すことができる。点滅は単に光源の輝度変化率を調べることによって判定できるが、ニューラルネットワークはそのタスクをより正確に実行することができる。この場合、ニューラルネットワークは、現在と少なくとも１つ前の画像における光源の輝度レベルを入力として設計することができる。ニューラルネットワークの出力は、光源が点滅しているか否かを表すことができるブール値とすることができる。また、ニューラルネットワークの出力は、ヘッドライト及び／又はテールランプ分類ニューラルネットワークに供給することができる。このことは、ニューラルネットワークが光源は先行車のターンシグナルではなく頭上の点滅器であることを判定する際に、光源の位置等の他の因子を考慮できるので特に重要である。ニューラルネットワークは、頭上の点滅器及び先行車のターンシグナルを含む他の光源の両方の具体例を使用して訓練することができる。

さらに別の実施形態において、ニューラルネットワークは、標識の反射からの誤った減光を補正するために使用できる。場合によっては、このような誤った分類を防止するためのあらゆる努力にもかかわらず、被制御車両のランプの標識又は他のオブジェクトからの反射が、対向車又は先行車の照明として誤って検出される場合がある。これが起きると、被制御車両のハイビームのヘッドライトは減光され、標識からの反射輝度が低減されることになる。この低減が検出されると、被制御車両の運転者を殆ど又は全く混乱させることなく、被制御車両のハイビームヘッドライトを最大輝度に戻すことができる。このタスクは、被制御車両の速度の二乗に比例する割合で車両と標識との間の距離が近くなるのに起因して、標識からの反射輝度が同時に増加する場合があるという事実によって複雑になる。この関係は分析的に計算及び検出できるが、種々の条件が存在し、凹凸の多い道路や他の要因に起因するシステムに固有のノイズは、被制御車両のハイビームのヘッドライトの輝度と標識の反射輝度との間の相関関係の識別をニューラルネットワークによる解決のための理想的な問題にする。

この目的のニューラルネットワークは、被制御車両のハイビームヘッドライトのフェーディング・オフ処理中に使用できる。前述の点滅検出スキームと同様に、前の数サイクル間の光源輝度が記憶される。これらの輝度値は、被制御車両のハイビームヘッドライトの輝度及び速度と一緒に、ニューラルネットワークに入力することができる。ニューラルネットワークは、標識の反射、及び対向車のヘッドライトや先行車のテールランプに対する適切な応答によって、ハイビームの輝度の低下時に種々の条件を使用して訓練することができる。これらのサンプルは、正確な応答又は標識応答のいずれかとして手動で分類できる。ニューラルネットワークの出力は、オブジェクトが標識であることを表示するブール値、又はヘッドランプ及び／又はテールランプ分類ネットワークに入力される出力値のいずれかとすることができ、その場合は、被制御車両のハイビームヘッドライトが遷移状態の場合のために特別なヘッドライト及びテールランプ分類ニューラルネットワークを設けることができる。

本発明のニューラルネットワークの使用の前記の例では、オブジェクトの抽出プロセス５０２又は親の識別プロセス５０３のいずれかで計算される種々のパラメータを車両の状態パラメータと一緒に、ニューラルネットワークの入力として使用することができる。この方法は計算的に最も効率が高く良好な結果をもたらすであろうが、元の画像からの又は合成されたＨＤＲ画像からの画像生データをニューラルネットワークの入力として使用することも考慮されている。この最も極端な例は、各々のピクセルを個別の入力ニューロンとして、全画像をニューラルネットワークに入力することであろう。ニューラルネットワークに複数の画像を与えることによって、又は先行サイクルからの記憶されたニューラルネットワーク出力の一部を現サイクルに関する追加入力に供給することによって、即ち時間次元をもつニューラルネットワークを作り出すことによって、履歴情報を取得できる。訓練画像セットが対象光源を含むものとして手動で分類される限り、この方法は有効である。しかしながら、計算的要件及びメモリ要件が本発明の他の実施形態の要件を遙かに超えることになる。本発明者は、処理能力の急激な発達を無視しておらず、将来的に使いものになる又は経済的な制約がない用途に対して有用な、実現可能性のある実施形態としてこの選択肢を示すものである。

画像のピクセル情報がニューラルネットワークに直接入力される計算的により適当なアプリケーションは画像カーネルを使用する。一般に、画像カーネルは、同時に画像内のピクセルの小さなサブセット上で実行される動作を意味する。一般に、カーネルは、該カーネルが一時的に画像内の全てのピクセル上の一点に集中するように、画像全域でラスタ走査される。例えば、現在アクセス中のピクセルの３×３カーネルは、直交する４つの隣接ピクセル及び対角線上の４つの隣接ピクセルと共に、演算入力であると考える。カーネル出力は、この小さなグループのピクセルの特定の機能を示すことができる１つ又はそれ以上の値である。本発明では、カーネルは、１つがアクセス中のピクセル用、８つがそれに最も隣接するピクセル用である９つの入力を有するニューラルネットワークであってもよい。例えば、出力は、ピクセルがピーク及び／又は光源輝度を示すことができる連続値であるかを識別するブール値であってもよい。従って、ニューラルネットワークは、図５のステップ５０２のピーク検出機能を実行するようにプログラムすることができる。ピーク及び非ピークの両方を含むカーネルサイズをセグメント化する多様な画像を含む訓練データセットは、全ての輝度の所望値と共に与えられるであろう。種々のサイズのニューラルネットワークカーネルを使用できる。カーネルは、ピクセル間で又はカーネルサイズを飛び越して画像の全域で走査できる。また、カーネルは、全ピクセルにカーネルを適用する計算時間を節約するために、照明されたピクセル又はそれらの隣接ピクセルよりも大きいピクセルだけに適用することができる。最後に、カーネルは、ピークに関連する光源の種類を分類する目的で、ピークであると識別されているピクセル及びそれらの隣接ピクセルに適用することができる。

ニューラルネットワークは、製品の開発段階で設計して訓練することができ、最終製品には調整済みの再現ニューラルネットワークだけが組み込まれる。最終製品で追加の訓練が行い得ることも考慮されている。例えば、制御システムが対向車のヘッドライト又は先行車のテールランプの識別に失敗した場合、運転者はシステムを手動で無効にすると思われる。手動による無効操作が行われると、ニューラルネットワークはこのイベントから学習する潜在能力をもっている。光源が無効イベント時に検出されたが誤分類されたか又は対象ではないと判定されたことが明らかな場合、同様の誤分類が再び起こるのを防止するためにニューラルネットワークの加重は自動的に修正される。例えな、光源が適切に分類されたが、運転者が依然として手動でヘッドライトを減光した場合、運転者が他の交通に対してより早い応答を好むものと判定され、ニューラルネットワークの加重、つまりハイビームヘッドライト切り換え速度、又はシステムの感度閾値は、それに応じて自動的に修正することができる。例えば、手動スイッチ等の一連のユーザが選択可能な入力、又は多機能運転者情報センターを介して構成可能なオプションは、任意の又は全てのニューラルネットワーク重み係数を調整するために供給できることが考慮されている。

少なくとも１つの実施形態では、風景画像は複数の領域に分割することができる。所定の領域で検出された光源は、他の領域で検出された光源に比べて、異なる確率関数又はニューラルネットワークを使用して解析することができる。例えば、風景画像は９つの領域に分割することができる。右ハンドル車では、右寄りの光源は、おそらく標識からの反射、道路沿いの反射器、又は道路照明であろう。更に右ハンドル車の場合、左寄りの光源は、おそらくは対向車であろう。画像中心近くで検出された光源は、おそらく右ハンドル車及び左ハンドル車の国の場合で同じであろう。同様の一般的な特徴は、各々の領域の上側及び下側に付随するであろう。風景画像を左右又は上下の３つの領域に分割するのが好都合である。

風景画像を９つの領域に分割するシステムでは、光源の動き及び／又はサイズに対して左右領域において中心領域に比べて大きな乗算重み係数を与えること、及び光源の色及び／又は輝度に対して中心領域において左右領域と比べて大きな乗算重み係数を与えることが好都合であろう。個別の領域をもつシステム内でニューラルネットワークが使用される場合、各々の領域のニューラルネットワークは、所定の領域と一意的に対応するデータを使用して訓練することができる。

異なった車両又は運転状況に対して、異なったネットワークを開発して訓練する必要があることが見込まれる。例えば、位置の識別及び動きの識別の多くは右ハンドル車及び左ハンドル車の国で異なるはずである。各国では異なった種類及び色の道路標識を使用するであろう。最後に、異なるヘッドライト形式の各車両は、様々に機能する。関連のニューラルネットワークは、特定の車両及び／又は車両が走行する特定の道路条件を代表する訓練データセットを使用して、独立に訓練することができる。理想的には、大きなソフトウエア基盤を支えるロジスティックを単純化するために、コンフィギュレーションの数を最小限に保つことができ、結果的に多数の地理的区域及び／又は種々の車両からの広範な代表的訓練サンプルベースが使用される。

異なったニューラルネットワークが必要な場合、プロセッサのプログラムメモリ内にコンフィギュレーションを記憶して、適切なニューラルネットワークに自動的に切り換えるのが有用である。例えば、車両の走行地域を判定して、その走行条件に合わせて訓練されたニューラルネットワークに切り換えるために、ＧＰＳを使用することができる。また、運転者は、メニュー又は他のスイッチ設定によって現在の走行地域を設定することもできる。車両は、車両バス上でそのモデルと、選択された適切なニューラルネットワークとを知らせる。右ハンドル車及び左ハンドル車の運転条件は、原初期の光源の有力な位置及び動きをモニタすることによって識別することができる。右側通行の国ではヘッドライトは画像の左側に出現して、接近するにつれて左方向に動くはずである。左側通行の国ではその反対になるはずである。これらの状況を識別するために道路標識を使用することもできる。

本明細書で説明される実施例は、本発明を説明されている特定の実施形態に限定するものではない。本発明は、任意の特定のニューラルネットワーク構造、任意の特定の統計的アルゴリズム、又は任意の入出力の組み合わせに限定されるものではない。画像内の光源を識別して分類する方法を提供するために、本発明の精神の範囲内で、多数の小さな又は少し大きなニューラルネットワークを種々の方法で組み合わせることができる。同様に、個別の確率関数を使用できることを理解されたい。個別の確率関数は、固有の統計的解析を含むことができ、又は他の確率関数のサブセットとすることもできる。また、本発明の種々の態様は、本発明の別の態様とは独立して使用できることを理解されたい。例えば、図５に示す各々のステップは、他のステップとは独立して異なる順番で、又は示されたものとは別のコンフィギュレーションで使用することができる。また、従来技術の種々の有用な態様は、本発明の態様と組み合わせると適切に機能して本発明の目的を達成できることが見込まれる。

車両用照明制御の識別及び分類のための方法を提供することに加えて、本発明の種々の態様は、車両用制御機能又は他のイメージング及び非イメージング用途のための別の目的に対して有用であろう。例えば、車両のフロントガラスの湿度レベルを検出し、それに応答して車両のフロントガラスワイパーを自動的に作動させる降雨センサを考えてみる。この装置は、フロントガラスの表面の画像を取得して雨の存在下で画像を解析するために、イメージングシステムを使用することができる。そのようなシステムの実施例は、本出願人による米国特許第５，９２３，０２７号「イメージセンサを使用した湿度センサ及びフロントガラスの曇り検出器」、及び米国特許出願番号０９／９７０，７２８「湿度センサ及びフロントガラスの曇り検出器」に説明されており、その開示内容は引用によって本明細書に組み込まれている。

従来技術によって提案された方法の変形例として、前述のニューラルネットワークのカーネルは、画像内で雨滴の存在を識別するために使用することができる。カーネルは例えば５×５ピクセル領域の小さなサブウインドウ上で作動して、その領域内における画像中の雨滴の存在を表示可能な出力をもたらすことができる。ニューラルネットワークは、その一部は雨滴を含みその他は雨滴を含まない、多数の分類済み画像セグメントを有するニューラルネットワークを与えることによって訓練できる。カーネルを使用する代わりに、シードフィル又はピーク検出アルゴリズム等の方法を使用して、画像からオブジェクト又はピークを抽出することができ、これらのオブジェクトの特性はニューラルネットワークに入力される。

このような湿度検出システムの困難性は、被制御車両の前方風景からの背景オブジェクトとフロントガラスに近接する領域のオブジェクトとを区別することに関連する。従来技術では、遠くのオブジェクトを不鮮明にするが近くのオブジェクトに焦点を合わせるように構成された光学系を用いることによってこの問題を解決しようとしていた。この構成は非常に上手くいっているが、対向車のヘッドライト等の明るい光源が画像を飽和させて雨滴と間違えられる可能性がある不規則性が生じる場合もある。合成ＨＤＲ画像取得及び合成方法は、この問題を改善する働きをするであろう。また、一定パターンのノイズは、本明細書に示されている一定パターンノイズ補正方法によって解決することができる雨滴センサ問題の別の原因となるであろう。

雨滴と背景オブジェクトとを識別する別の方法は、光源の動きを追跡するために本明細書で示されているものと同様の方法で、長時間にわたってオブジェクトの位置を追跡することである。雨滴は画像内を移動しないであろうが、背景内の大部分のオブジェクトは移動するはずである。この相違点は、雨滴とその他のオブジェクトとの識別にさらに役立つ。

雨滴を他のオブジェクトと識別する別の方法は、一方はＬＥＤ等の光源で点灯され他方は点灯されない２つの画像を取得することを含む。ＬＥＤは、雨滴で散乱したＬＥＤ光が、イメージャによって画像化できるように配置される。一方はＬＥＤ点灯、他方はＬＥＤ消灯である２つの画像を取得する。２つの画像の差分は雨滴を識別するために使用される。もしくは、両方の画像を処理することができるが、ＬＥＤ点灯時にだけ出現するオブジェクトのみみが雨滴と見なされる。ＬＥＤ波長に近い光だけを伝達して画像化できるフィルタをイメージャに設けることによって識別性能をさらに向上させることができる。

このような降雨センサは、外部照明制御及び降雨センサの両機能を果たす単一のイメージセンサを使用することによって実現できる。もしくは、各々の機能のために別個のレンズをもつ別個のイメージセンサを使用することもできる。この場合、２つの機能は、マイクロコントローラ、メモリ、ＬＶＤＳ ＳＰＩインターフェース、回路基板、電源、発振器、ケーブル及び相互接続手段、機械的取り付け構造等の多数の構成部品を共有することによって利益を得ることができる。両方の機能、及び場合によれば他のイメージング機能は一緒に車両のバックミラーに設けることができる。その開示内容が引用によって本明細書に組み込まれている本出願人による米国特許出願番号２００２／０１５６５５９、及び米国仮特許出願番号６０／４０４，８７９に記載されているように、カメラは、共通電気バスを共用できる。降雨センサからの出力は、外部照明制御機能をさらに高めるために使用できる。降雨センサは、フロントガラスが乾いていないか又は霧がかかっているので、自動外部照明制御を中止する必要があることを示すことができる。フォグランプ又はその他の悪天候用ランプを点灯することができる。勿論、いずれの機能もバックミラー内、又は他の場所に単独で設けることができる。

本発明は、創意に富んだバックミラー組立体のミラーハウジング内に、エレクトロクロミックミラー素子を組み込むものとして説明されている。当業者であれば、種々の他の車両アクセサリ及び部品の全体又はその一部を、又は種々の組み合わせでバックミラー組立体に組み込み得ることを理解できるはずである。そのような車両アクセサリ及び部品は、ミラーハウジングの内部、上部、又は範囲内、ミラーマウント、ミラーマウント又はハウジングの付属品、又はコンソール又はバックミラー組立体に関連する他のハウジングに取り付けることができる。付加的に、全ての車両アクセサリは、プロセッサ、センサ、電源、ワイヤーハーネス及びプラグ、ディスプレイ、スイッチ、アンテナ当の部品を共有できる。別の車両アクセサリ、部品、又は機能の実施例は、本明細書にさらに説明されている。

図１８を参照すると、テレスコーピング延長部１８２０を介して取り付け部材１８１５に連結されたハウジング１８１０を有する車外バックミラー組立体１８０５の分解組立図が示されている。少なくとも１つの実施形態では、テレスコーピング延長部１８２０は、車室内からテレスコーピング延長部を広げたり格納したりするためのリニアアクチュエータを有する単一のアームを備える。テレスコーピング延長部１８２０は、ラックアンドピニオン式リニアアクチュエータ、電磁式リニアアクチュエータ、空気式ピストン、又は流体式アクチュエータを備えることができる。ハウジング１８１０は、ハウジングがテレスコーピング延長部の周りを旋回するように構成できる。更に、テレスコーピング延長部は、ハウジングを関連の車両に対して内側に格納したり外側に広げたりできるように構成できる。取り付け部材１８１５は、車両マウント１８２５に収容されるように構成される。車両マウントは、ドアパネル、Ａピラー、フロントフェンダ、ウインドウ組立体、又は一般に運転者が関連の車両の後方の風景を見ることができる他の任意の位置に固定できる。テレスコーピング延長部は、２つ又はそれ以上のアームを備えることができ、ハウジングは、使用するアームの数に無関係に旋回して格納されるように構成できることを理解されたい。また、ハウジングは、参照番号１８２０ａで示される場所で非テレスコーピング延長部に連結でき、ハウジングを必要に応じてミラーを車両に対して近づけたり遠ざけたりして配置できるように連結部１８２０ａの周りで旋回できることを理解されたい。この機能は、車室内から操作を行えるように電動位置決め機構を伴う。ミラーハウジング、延長部、及び取り付け部材は、テレスコーピング、旋回、及び格納を手動操作で行えるように構成できることを理解されたい。

車外ミラー及び関連車両の室内に配置された関連装置のインターフェース接続を行うために、コネクタ１８３５を有するワイヤーハーネス１８３０が設けられる。ワイヤーハーネスは、ハウジングのテレスコーピング、格納、及び旋回をもたらすように構成することができ、また、反射要素の制御、電源、ターンシグナルの起動、ミラーヒータの制御、ミラー部品の位置決め、光センサのインターフェース、室外ミラー回路基板のインターフェース、送受信器のインターフェース、情報ディスプレイのインターフェース、アンテナのインターフェース、光源電源及び制御、ハザードライトのインターフェース、及び本明細書に記載された他の全ての電気機能をもたらすように構成することができる。適切であれば、これらの各々の機能に対して、車室内に運転者用インターフェースを設けることができる点も理解されたい。

関連の車室内からハウジング内の関連の反射要素を位置決めするための、ミラー部品用位置決め器１８４０が設けられる。反射要素を位置決めするために、車室内に対応する運転者用インターフェースが設けられることを理解されたい。

位置決め器１８４０は、関連の反射要素を支持して動かすためのしっかりした構造をもたらすために、支持体に機械的に連結される。適切な支持体の例は、米国特許第６，１９５，１９４号及び米国特許第６，２３９，８９９号に記載されており、その開示内容は引用によって本明細書に組み込まれている。

少なくとも１つの実施形態において、反射要素を支持体に取り付けるために両面粘着フォーム１８５０が使用される。特定の実施例において、両面粘着フォームには種々の部品を収容して位置決めするために開口１８５１を設けることができる。

少なくとも１つの実施形態において、バックミラー組立体内には電気回路基板１８５５が設けられる。電気回路基板は、ターンシグナル用照明、キー穴照明、又はその開示内容が引用によって本明細書に組み込まれている米国特許第６，４４１，９４３号で教示されるような車外ドア領域の照明、情報ディスプレイ、アンテナ、送受信器、反射要素の制御、車外ミラー通信システム、遠隔キーレスエントリ、近接センサ、及び本明細書に記載されたその他の装置のインターフェース当の光源を備えることができる。米国特許第６，２４４，７１６号、米国特許第６，５２３，９７６号、米国特許第６，５２１，９１６号、米国特許第６，４４１，９４３号、米国特許第６，３３５，５４８号、米国特許第６，１３２，０７２号、米国特許第５，８０３，５７９号、米国特許第６，２２９，４３５号、米国特許第６，５０４，１４２号、米国特許第６，４０２，３２８号、米国特許第６，３７９，０１３号、及び米国特許第６，３５９，２７４号には１つ又はそれ以上の実施形態で使用できる種々の電気部品及び電気回路基板が開示されており、その開示内容は引用によって本明細書に組み込まれている。

少なくとも１つの実施形態において、バックミラー組立体には、装置の作動を改善すると共に起こり得る凍結した雨水を溶かすためのヒータ１８６０が設けられている。種々のヒータの例は、米国特許第５，５１，８２４号、米国特許第６，２４４，７１６号、米国特許第６，４２６，４８５号、米国特許第６，４４１，９４３号、及び米国特許第６，３５６，３７６号に開示されており、その開示内容は引用によって本明細書に組み込まれている。

少なくとも１つの実施形態において、反射要素は可変反射率の機能を有する。可変反射率の反射要素は、シール１８７５によって間隔をあけて固定された第１の基板１８６５及び第２の基板１８７０を備え、その間にチャンバが形成される。反射要素は、凸型要素、非球面要素、平坦要素、非平坦要素、広角要素、又は異なる領域で複雑なミラー要素形状を形成するためにこれらを組み合わせたものを有するように構成できる。第１の基板の第１の面は、作動を改善するために親水性又は疎水性コーティングを塗布することができる。反射要素の後方には光源又は情報ディスプレイが配置され、そこを通して光線を投射できるように、無反射性を備えることができる。反射要素は、第１の基板及び／又は第２の基板の露出面上で単層又は複層の耐スクラッチ層を備えることができる。反射要素は、情報ディスプレイ領域を形成するために、バーやワードにエッチングされた反射材料のない領域を備えることができる。種々の反射要素の例は、米国特許第５,６８２,２６７号、米国特許第５，６８９，３７０号、米国特許第６，０６４，５０９号、米国特許第６，０６２，９２０号、米国特許第６，２６８，９５０号、米国特許第６，１９５，１９４号、米国特許第５，９４０，２０１号、米国特許第６，２４６，５０７号、米国特許第６，０５７，９５６号、米国特許第６，５１２，６２４号、米国特許第６，３５６，３７６号、米国特許第６，１６６，８４８号、米国特許第６，１１１，６８４号、米国特許第６，１９３，３７８号、米国特許第６，２３９，８９８号、米国特許第６，４４１，９４３号、米国特許第６，０３７，４７１号、米国特許第６，０２０，９８７号、米国特許第５，８２５，５２７号、米国特許第６，１１１，６８４号、及び米国特許第５，９９８，６１７号に開示されており、その開示内容はその開示内容は引用によって本明細書に組み込まれている。

チャンバは、エレクトロクロミック媒体を収容することが好ましい。エレクトロクロミック媒体は、そこを通って移動する光を選択的に減衰させることができることが好ましく、少なくとも１つの溶相エレクトロクロミック材料と、溶相、表面に閉じこめられたもの、又は表面にプレートアウトするものとすることができる少なくとも１つの追加の電気活性材料を有することが好ましい。しかしながら、現時点で好適な媒体は、その開示内容が引用によって本明細書に組み込まれている、本出願人による米国特許第４，９０２，１０８号、米国特許第５，１２８，７９９号、米国特許第５，２７８，６９３号、米国特許第５，２８０，３８０号、米国特許第５，２８２，０７７号、米国特許第５，２９４，３７６号、米国特許第５，３３６，４４８号、米国特許第５，８０８，７７８号、及び米国特許第６，０２０，９８７号に開示されたような溶相レドックス・エレクトロクロミックである。溶相エレクトロクロミック媒体を使用すると、真空裏込め当の公知の方法でもって封止可能な注入口を介してチャンバに入れることができる。

エレクトロクロミック媒体は以下のカテゴリに分類できる、エレクトロクロミック陽極及び陰極材料を含むことが好ましい。

（ｉ）単層
エレクトロクロミック媒体は、小規模の非均質領域を含み更に溶相デバイスを含むことができる材料の単層であり、材料は、イオン導通の電解液の溶液に含まれ、電子的に酸化又は還元されたときに電解液の溶液中に残る。米国特許出願番号０９／０３４，５３１「近赤外線吸収エレクトロクロミック化合物と同じ構成の素子」、米国特許出願番号０９／３７７，４５５「色が安定しているエレクトロクロミック素子」、米国特許出願番号０９／４５４，０４３「可溶性部分を有する陽極エレクトロクロミック材料」、米国特許出願番号０９／３０２，８６６「エレクトロクロミック素子に配合して使用するための、安定化プロセスが強化された濃度のエレクトロクロミック媒体」、米国特許出願番号０９／３６６，１１５「紫外線安定性が強化されたエレクトロクロミック材料」、米国特許出願番号０９／６７７，６８９「陽極エレクトロクロミック材料、エレクトロクロミック媒体、及び同一物を有する素子として使用するための置換メタロセン」、及び米国特許出願番号０９／３５０，８７９「光安定性ジカチ酸化状態の結合型エレクトロクロミック化合物」は、単層のエレクトロクロミック媒体で使用することができる陽極及び陰極の材料を開示しており、その開示内容はその開示内容は引用によって本明細書に組み込まれている。米国特許第５，９２８，５７２号「改良エレクトロクロミック層及びそれを有する装置」、又は国際特許出願番号ＰＣＴ／ＵＳ９８／０５５７０「エレクトロクロミックポリマーの固形フィルム、そのようなフィルムを使用したエレクトロクロミック素子の製法、及びそのような固形フィルムと素子の製造プロセス」の教示によって、架橋リンクポリマーマトリックスの連続溶液相に溶液相電気活性材料を含むことができ、その開示内容はその開示内容は引用によって本明細書に組み込まれている。

少なくとも２つはエレクトロクロミックである、少なくとも３つの電気的活性材料は、米国特許第６，０２０，９８７号「予め選択された色を発生することができるエレクトロクロミック媒体」に開示されているように、予め選択された色を発するために組み合わせることができ、その開示内容はその開示内容は引用によって本明細書に組み込まれている。色を選択するためのエレクトロクロミック媒体のこの能力は、関連要素でもって情報ディスプレイを設計する場合に特に好都合である。

陽極及び陰極材料は、国際特許出願番号ＰＣＴ／ＷＯ９７／ＥＰ４９８「エレクトロクロミックシステム」に説明されるブリッジユニットによって結合又は連結することができ、その開示内容はその開示内容は引用によって本明細書に組み込まれている。同じ方法によって陽極材料及び陰極材料を連結することも可能である。これらの出願に記載された概念は、連結された種々のエレクトロクロミック材料をもたらすためにさらに組み合わすことができる。

更に、単層媒体は、国際特許出願ＰＣＴ／ＷＯ９８／ＥＰ３８６２「エレクトロクロミックポリマーシステム」、米国特許第６，００２，５１１号「エレクトロクロミックポリマーの固形フィルム、そのようなフィルムを使用したエレクトロクロミック素子の製法、及びそのような固形フィルムと素子の製造プロセス」、又は国際特許出願番号ＰＣＴ／ＵＳ９８／０５５７０に説明されるように、陽極及び陰極材料をポリマーマトリックスに組み込むことができる媒体を含み、その開示内容は引用によって本明細書に組み込まれている。

また、デバイス作動時に媒体の１つ又はそれ以上の材料が位相変化を受ける媒体が含まれ、例えが、電気化学的に酸化又は還元されると、イオン導通電極上に層又は部分的な層を形成するイオン導通電解液の溶液中に材料が含まれる堆積システムである。

（ｉｉ）積層
媒体は複数の層に形成され、電子的に導通する電極に直接付着された少なくとも１つの材料を含むか又はその近傍に閉じこめられ、電気化学的に酸化又は還元されると付着されるか又は閉じ込められたままである。この種のエレクトロクロミック媒体の例は、酸化タングステン、酸化インジウム、酸化ニッケル、酸化バナジウム等の金属酸化膜である。また、電極に付着されたポリチオフェン、ポリアニリン、ポリピロール等の１つ又はそれ以上の有機エレクトロクロミック層を含む媒体も積層媒体と見なすことができる。

更に、エレクトロクロミック媒体は、光吸収体、熱安定剤、酸化防止剤、増粘剤、又は粘度調整剤等の他の材料を含むことができる。

本出願人の米国特許第５，９４０，２０１号「２つの薄いガラス部品とゲル化エレクトロクロミック媒体を有するエレクトロクロミックミラー」に開示されるように、エレクトロクロミック素子にゲルを組み込むことが望ましいであろう。この米国特許の開示内容はその開示内容は引用によって本明細書に組み込まれている。

少なくとも１つの実施形態において、実質的に透明なシールをもつ電気光学部品を備えるバックミラー組立体が提供される。実質的に透明なシール及び実質的に透明なシールを形成する方法の例は、米国特許第５，７９０，２９８号に開示されており、その開示内容は引用によって本明細書に組み込まれている。

少なくとも１つの実施形態において、光線による損傷から関連シールを保護して美的に満足できる外観をもたらすためのベゼル１８８０を有するバックミラー組立体が提供される。種々のベゼルの例は、米国特許第５，４４８，３９７号、米国特許第６，１０２，５４６号、米国特許第６，１９５，１９４号、米国特許第５，９２３，４５７号、米国特許第６，２３８，８９８号、米国特許第６，１７０，９５６号、及び米国特許第６，４７１，３６２号に開示されており、その開示内容は引用によって本明細書に組み込まれている。

図１９を参照すると、ベゼル１９５５及びケース１９５６を備えるミラー組立体９０２が示されている。ベゼルとケースは組み合わされて、反射要素及び情報ディスプレイとは別の特徴部を組み入れるためのミラーハウジングが形成される。本出願人による米国特許第６，１０２，５４６号、米国特許第Ｄ４１０，６０７号、米国特許第６，４０７，４６８号、米国特許第６，４２０，８００号、及び米国特許第６，４７１，３６２号には、本発明に使用できる種々のベゼル、ケース、及び関連のボタン構造が開示されており、その開示内容は引用によって本明細書に組み込まれている。

図１９に示すように、ミラー組立体は第１のマイクロフォン１９５９及び第２のマイクロフォン１９６０を備えることができる。本発明で使用するマイクロフォンの例は、本出願人による米国特許出願番号０９／４４４，１７６及び米国特許出願番号０９／７２４，１１９、米国特許公開番号２００２／０１１０２５６Ａ１、ＰＣＴ出願番号ＰＣＴ／ＵＳ／３２３８６に開示されており、その開示内容は引用によって本明細書に組み込まれている。図１９、２０、及び２１に示すように、１つ又は複数のマイクロフォンは、ミラー組立体の上部、ミラーケースの後部、又はミラーケース又はベゼル内の他の任意の場所に取り付けることができる。図１９、２０、及び２１に示すように、２つのマイクロフォンは、各々の端部近傍で、ミラー組立体のミラーケース背面の凹部２０５９ａに組み込まれ、音響ダム２０５９ｂを有することが好ましい。これらのシステムは、少なくとも部分的に、情報ディスプレイを有する共通制御装置と一体化することができ、及び／又は情報ディスプレイと部品を共有することができる。更に、これらのシステム及び／又はこれによって制御されるデバイスの状態は、関連の情報ディスプレイ上に表示できる。

さらに図１９を参照すると、ミラー組立体１９０２は、第１の照明組立体１９６７及び第２の照明組立体１９７１を含むことができる。本発明で使用する種々の照明組立体及び照明は、本出願人による米国特許第５，８０３，５７９号、米国特許第６，３３５，５４８号、米国特許第６，４４１，９４３号、米国特許第６，５２１，９１６号、及び米国特許第６，５２３，９７６号、並びに米国特許出願番号０９／７２３，６７５、１０／０７８，９０６、及び米国特許出願番号１０／２３０，８０４に開示されており、その開示内容は引用によって本明細書に組み込まれている。図２１にさらに示すように、各々の照明組立体は、反射器、レンズ、及び照明器（図示せず）を備えることが好ましい。概して前側乗員席領域を照明するための照明組立体、及び概して運転席領域を照明するための第２の照明組立体の２つの照明組立体が配置される。もしくは、両席の領域を１つの照明組立体のみで照明してもよく、及び／又は中央のコンソール領域、オーバーヘッドコンソール領域、又は２つの前席の間の領域を照明するような追加の照明組立体を設けてもよい。

さらに図１９を参照すると、ミラー組立体１９０２は、第１のスイッチ１９７５及び第２のスイッチ１９７７を含む。本発明で使用するのに適したスイッチの詳細は、本出願人による米国特許第６，４０７，４６８号、米国特許第６，４２０，８００号、米国特許第６，４２６，５６８号、及び米国特許第６，４７１，３６２号、並びに本出願人による米国特許出願公開番号ＵＳ２００２／００２４７１３Ａ１に開示されており、その開示内容は引用によって本明細書に組み込まれている。これらのスイッチは、照明組立体、ディスプレイ、ミラー反射率、音声駆動システム、方位システム、電話システム、高速道路料金所インターフェース、遠隔計測システム、ヘッドライトコントローラ、降雨センサ、タイヤ圧モニタシステム、ナビゲーションシステム、車線離脱警告システム、適応走行制御システム等を制御するために組み込むことができる。本明細書又は本明細書に組み込まれて参考文献に説明されている他の全てのディスプレイ又はシステムは、関連の車両の任意の場所に組み込むことができ、スイッチを使用して制御できる。

さらに図１９を参照すると、ミラー組立体１９０２は、第１のインジケータ１９８０及び第２のインジケータ１９８３を含む。本発明で使用する種々のインジケータは、本出願人による米国特許第５，８０３，５７９号、米国特許第６，３３５，５４８号、米国特許第６，４４１，９４３号、米国特許第６，５２１，９１６号、及び米国特許第６，５２３，９７６号、並びに本出願人による米国特許出願番号０９／７２３，６７５、米国特許出願番号１０／０７８，９０６、及び米国特許出願番号１０／２３０，８０４に開示されており、その開示内容は引用によって本明細書に組み込まれている。これらのインジケータは、ディスプレイの状態、ミラー反射率、音声駆動システム、方位システム、電話システム、高速道路料金所インターフェース、遠隔計測システム、ヘッドライトコントローラ、降雨センサ、セキュリティシステム等を表示することができる。本明細書又は本明細書に組み込まれて参考文献に説明されている他の全てのディスプレイ又はシステムは、関連の車両の任意の場所に組み込むことができ、インジケータで状態を表示することができる。

さらに図１９を参照すると、ミラー組立体１９０２は、第１の光センサ１９８６及び第２の光センサ１９８８を含むことができる（図２１のグレアセンサ２１８７及び環境センサ２１８９）。本発明での使用に好適な光センサの詳細は、本出願人による米国特許第５，９２３，０２７号、米国特許第６，３１３，４５７号、米国特許第６，３５９，２７４号、米国特許第６，３７９，０１３号、及び米国特許第６，４０２，３２８号、米国特許出願公開番号ＵＳ２００２／００５６８０６Ａ１、及び米国特許出願番号１０／０６８，５４０に開示されており、その開示内容は引用によって本明細書に組み込まれている。グレアセンサ及び／又は環境センサは、自己減光反射要素の反射率並びに情報ディスプレイ及び／又はバックライトを自動的に制御する。グレアセンサは後続車のヘッドライトを検出するために使用され、環境センサはシステムが作動している環境の照明条件を検出するために使用される。別の実施形態において、関連の車両の略上側及び前側の光レベルを検出するように配置されたスカイセンサが組み込まれ、スカイセンサは自己減光反射要素の反射率、非制御車両の外部照明、及び／又は情報ディスプレイの光度を自動的に制御するのに使用できる。ミラー組立体は、車両の気候制御システムを制御できるように、車両の運転者側及び同乗者側に向かう光のレベルを検出するためのサンロード（ｓｕｎ−ｌｏａｄ）センサをさらに含むことができる。

さらに図１９を参照すると、ミラー組立体１９０２は、ミラーベゼル１９５５に配置された第１のオペレータ・インターフェース１９９０、第２のオペレータ・インターフェース１９９１、第３のオペレータ・インターフェース１９９２、及び第４のオペレータ・インターフェース１９９３を含むことができる。各々のオペレータ・インターフェースは、バックライト付き情報ディスプレイ「Ａ」「ＡＢ」「Ａ１」、及び「１２」を含むように示されている。これらのオペレータ・インターフェースは、例えばミラーケース、アクセサリ・モジュール、インパネ、オーバーヘッドコンソール、ダッシュボード、シート、コンソール内等の、関連の車両の任意の場所に組み込むことができることを理解されたい。適切なスイッチ構造は、本出願人による米国特許第６，４０７，４６８号、米国特許第６，４２０，８００号、米国特許第６，４２６，５６８号、及び米国特許第６，４７１，３６２号、並びに本出願人による、米国特許出願公開番号２００２／００２４７１３Ａ１に詳細に開示されており、その開示内容は引用によって本明細書に組み込まれている。これらのオペレータ・インターフェースは、照明組立体、ディスプレイ、ミラー反射率、音声駆動システム、方位システム、電話システム、高速道路料金所インターフェース、遠隔計測システム、ヘッドライトコントローラ、降雨センサ、タイヤ圧モニタシステム、ナビゲーションシステム、車線離脱警告システム、適応走行制御システム等を制御することができる。本明細書又は組み込まれている参考文献に説明されている他の全てのディスプレイ又はシステムは、関連の車両の任意の場所に組み込むことができ、１つ又は複数のオペレータ・インターフェースを使用して制御することができる。例えば、ユーザは、所定の情報を示すように１つ又は複数のディスプレイをプログラムすることができ、又は一連の情報の最初から最後までスクロールするために１つ又は複数のディスプレイをプログラムすることができ、又は所定のイベントが発生すると即座に特定の情報を表示するために、関連のセンサ入力を用いて特定の操作装置に関連の設定ポイントを入力することができる。１つの実施形態において、例えば、所定のディスプレイは、エンジン温度が閾値を超えるまで非照明状態とすることができ、その後ディスプレイは自動的にエンジン温度を表示するように設定される。別の例では、車両後部に配置された近接センサは、コントローラに接続され、バックミラーのディスプレイと組み合わされて、オブジェクトまでの距離を運転者に表示することができ、ディスプレイは、所定の距離に比例する長さをもつバー形式で構成することができる。

これらの追加的な特徴部の位置及び数は図１９に示されているが、それ以下の又はそれ以上の個別のデバイスを関連の車両の任意の場所に、本明細書に組み込まれている参考文献のように組み込むことができることを理解されたい。

図２０を参照すると、ミラー組立体２００２の断面図が示されている。図２０の断面図は、図１９のカットライン２０−２０に沿った断面である。図２０は、ケース２０５６及びベゼル２０５５によって形成されたハウジング内の、第３のディスプレイ・バックライト２０２７に加えて、反射要素２００５に対する第の３のディスプレイ２０２６及び第４の情報ディスプレイ２０４１の好適な位置関係を示す。また、ミラー組立体２００２は、マイクロフォン２０５９、第１のオペレータ・インターフェース２０９０、並びに回路基板２０９５、ミラーマウント２０５７、及びアクセサリ・モジュール２０５８を備えるように示されている。ミラーマウント２０５７及び／又はアクセサリ・モジュール２０５８は、方位センサ、カメラ、ヘッドライト制御装置、追加的なマイクロプロセッサ、降雨センサ、追加の情報ディスプレイ、追加的なオペレータ・インターフェース等を備えることができる。

ここで図２１を参照すると、ミラー組立体２１０２の分解組立図が示されている。図２１は、個別の部品の１つの好適な位置関係に関する追加的な詳細を示すと同時に、ミラー組立体の追加的な構造上の詳細を示す。ミラー組立体２１０２は、ベゼル２１５５及びミラーケース２１５６内に反射要素２１０５を備えている。ミラーマウント２１５７は、車室内にミラー組立体を取り付けるために備えられている。降雨センサ、カメラ、ヘッドライト制御、追加的なマイクロプロセッサ、追加的な情報ディスプレイ、方位センサ等の多数のアクセサリは、マウント２０５７に組み込むことができることを理解されたい。これらのシステムは、少なくとも部分的に、情報ディスプレイを有する共通の制御装置と一体化することができ、及び／又は情報ディスプレイと部品を共有することができる。更に、これらのシステム及び／又はこれによって制御されるデバイスの状態は、関連の情報ディスプレイ上に表示することができる。

ミラー組立体２１０２は図２１に示されており、第３の情報ディスプレイ・バックライト２１３７、２１３８、２１３９を有する第３の情報ディスプレイ２１２６、第１のマイクロフォン２１５９及び第２のマイクロフォン２１６０、第１のレンズ２１６９を有する第１の反射器２１６８、第２のレンズ２１７３を有する第２の反射器２１７２、グレアセンサ２１８７、環境光センサ２１８９、第１のオペレータ・インターフェース・バックライト２１９０ａ、第２のオペレータ・インターフェース・バックライト２１９１ａ、第３のオペレータ・インターフェース・バックライト２１９２ａ、第４のオペレータ・インターフェース・バックライト２１９３ａをそれぞれ有する第１のオペレータ・インターフェース２１９０、第２のオペレータ・インターフェース２１９１、第３のオペレータ・インターフェース２１９２、第４のオペレータ・インターフェース２１９３、方位センサモジュール２１９９を有する回路基板２１９５、及び入力／出力バスインターフェース２１９７を有するドーターボード２１９８をさらに備えている。

第１の反射器２１６８は、第１のレンズ２１６９及び第１の光源（図示せず）と組み合わされて第１の照明組立体を形成する。第２の反射器２１７２は、第２のレンズ２１７３及び第２の光源（図示せず）と組み合わされて第２の照明組立体を形成する。関連の光源を有する照明組立体は、本出願による米国特許第５，８０３，５７９号、米国特許第６，３３５，５４８号、米国特許第６，４４１．９４３号、米国特許第６，５２１，９１６号、及び米国特許第６，５２３，９７６号、並びに本出願人による米国特許出願番号０９／７２３，６７５、米国特許出願番号１０／０７８，９０６、及び米国特許出願番号１０／２３０，８０４の教示に基づいて構成されことが好ましく、その開示内容は引用によって本明細書に組み込まれている。

グレア光センサ２１８７及び環境光センサ２１８９は、本出願人による米国特許第６，３５９，２７４号に開示されるようなアクティブな光センサであることが好ましく、その開示内容は引用によって本明細書に組み込まれている。センサ２１８７、２１８９の一方又は両方からの電気出力信号は、反射要素２１０５の反射率及び／又は第３の情報ディスプレイのバックライト２１２７の光度を制御するために、コントローラ２１９６への入力として使用することができる。本発明で使用する種々の制御回路の例は、本出願人による米国特許第５，８８３，６０５号、米国特許第５，９５６，０１２号、米国特許第６，０８４，７００号、米国特許第６，２２２，１７７号、米国特許第６，２２４，７１６号、米国特許第６，２４７，８１９号、米国特許第６，２４９，３６９号、米国特許第６，３９２，７８３号、及び米国特許第６，４０２，３２８号に開示されており、その開示内容は引用によって本明細書に組み込まれている。これらのシステムは、少なくとも部分的に、情報ディスプレイを有する共通制御装置と一体化することができ、及び／又は情報ディスプレイと部品を共有することができる。更に、これらのシステム及び／又はこれによって制御されるデバイスの状態は、関連の情報ディスプレイ上に表示することができる。

方位センサモジュール２１９９は、図２１の回路基板に取り付けるように示されているが、センサモジュールは、マウント２１５７、ミラー組立体２１０２に近接して配置されたアクセサリ・モジュール２１５８内、又はダッシュボードの下、オーバーヘッドコンソール、センターコンソール、トランク、エンジンルーム内等の関連の車両の任意の場所に取り付けることができることを理解されたい。本出願人による米国特許第６，０２３，２２９号、米国特許第６，１４０，９３３号、並びに本出願人による、米国特許出願番号０９／９８９，５５９、米国特許出願番号１０／２１０，９１０、米国特許出願番号６０／３６０，７２３、及び米国特許出願番号６０／４４９，８２８には本発明で使用する種々の方位システムが詳細に開示されており、その開示内容は引用によって本明細書に組み込まれている。これらのシステムは、少なくとも部分的に、情報ディスプレイを有する共通制御装置と一体化することができ、及び／又は情報ディスプレイと部品を共有することができる。更に、これらのシステム及び／又はこれによって制御されるデバイスの状態は、関連の情報ディスプレイ上に表示することができる。

ドーターボード２１９８は回路基板２１９５と通信できる。回路基板２１９５はマイクロプロセッサ等のコントローラ２１９６を備えることができ、ドーターボード２１９８は情報ディスプレイ（図２１には図示せず）を備えることができる。マイクロプロセッサは、例えば方位センサモジュール２１９９から１つ又は複数の信号を受信し、その信号を処理してドーターボードに送信することができ、ディスプレイを制御して対応する車両の方位を表示するようになっている。本明細書及び本明細書に引用によって組み込まれている参考文献に説明されているように、コントローラは、１つ又は複数の光センサ、降雨センサ（図示せず）、自動車外照明コントローラ（図示せず）、マイクロフォン、全地球測位システム（図示せず）、遠隔通信システム（図示せず）、オペレータ・インターフェース、及び多数の他のデバイスから信号を受信することができ、情報ディスプレイを制御して適切な可視表示を行う。

１つ又は複数のコントローラ２１９６は、少なくとも部分的に、ミラー反射率、外部照明、降雨センサ、方位計、情報ディスプレイ、フロントガラスワイパー、ヒータ、デフロスタ、デフォッガー、空調機、遠隔計測システム、デジタル信号ベースの音声駆動システム等の音声認識システム、及び車両速度を制御することができる。１つ又は複数のコントローラ２１９６は、本明細書及び本明細書に引用によって組み込まれている参考文献に説明されている任意のデバイスに関連するスイッチ及び／又はセンサからの信号を受信でき、本明細書及び本明細書に引用によって組み込まれている参考文献に説明されている任意のデバイスを自動的に作動させる。コントローラ２１９６は、少なくとも部分的に、ミラー組立体の外側に配置することができ、又は車両の他の場所に第２のコントローラを備えるか又は車両の全体にわたって追加のコントローラを備えることができる。個々のプロセッサは、ブルートゥースプロトコル、無線通信によって、車両バス上、ＣＡＮバス上、又は他の任意の適切な通信手段上で、直列接続又は並列接続で通信するように構成できる。

本出願人による米国特許第５，９９０，４６９号、米国特許第６，００８，４８６号、米国特許第６，１３０，４２１号、米国特許第６，１３０，４４８号、米国特許第６，２５５，６３９号、米国特許第６，０４９，１７１号、米国特許第５，８３７，９９４号、米国特許第６，４０３，９４２号、米国特許第６，２８１，６３２号、米国特許第６，２９１，８１２号、米国特許第６，４６９，７３９号、米国特許第６，４６５，９６３号、米国特許第６，４２９，５９４号、及び米国特許第６，３７９，０１３号、並びに米国特許出願公開番号ＵＳ２００２／０００５４７２Ａ１、及び米国特許出願番号０９／５２８，３８９、米国特許出願番号０９／６７８，５８６、米国特許出願番号０９／８００，４６０、米国特許出願番号６０／４０４，８７９、米国特許出願番号６０／３９４，５８３、米国特許出願番号１０／２３５，４７６、及び米国特許出願番号１０／２０８，１４２に開示された外部照明制御システムは本発明に基づいて組み込むことができ、その開示内容は引用によって本明細書に組み込まれている。これらのシステムは、少なくとも部分的に、情報ディスプレイを有する共通制御装置と一体化することができ、及び／又は情報ディスプレイと部品を共有することができる。更に、これらのシステム及び／又はこれによって制御されるデバイスの状態は、関連の情報ディスプレイ上に表示することができる。

湿度センサ及びフロントガラス曇り検出システムは、本出願人による米国特許第５，９２３，０２７号、米国特許出願番号０９／９７０，７２８、及び米国特許出願番号０９／９７０，９６２に開示されており、その開示内容は引用によって本明細書に組み込まれている。これらのシステムは、少なくとも部分的に、情報ディスプレイを有する共通制御装置と一体化することができ、及び／又は情報ディスプレイと部品を共有することができる。更に、これらのシステム及び／又はこれによって制御されるデバイスの状態は、関連の情報ディスプレイ上に表示することができる。

本出願人による米国特許第６，２６２，８３１号には本発明で使用する電源が開示されており、その開示内容は引用によって本明細書に組み込まれている。これらのシステムは、少なくとも部分的に、情報ディスプレイを有する共通制御装置と一体化することができ、及び／又は情報ディスプレイと部品を共有することができる。更に、これらのシステム及び／又はこれによって制御されるデバイスの状態は、関連の情報ディスプレイ上に表示することができる。

ミラー組立体は、ＲＦ信号を受信及び／又は送信するための１つ又はそれ以上のアンテナを更に含むことができる。更に、ミラー組立体に適切な受信回路、送信回路、及び／又は処理回路を内蔵するか又は取り付けることができる。そのようなアンテナは、携帯電話システム、ブルートゥース（商標）送信／受信システム、遠隔キーレスエントリ（ＲＫＥ）システム、訓練可能車庫扉開閉システム、タイヤ圧モニタシステム、全地球測位衛星システム、ＬＯＲＡＮシステム等に使用することができる。これらのシステムの一部は、適切な場合には、共同アンテナや、受信回路、送信回路、処理回路、及び表示回路を共有することができる。バックミラー組立体に組み込まれるタイヤ圧モニタシステムの例は、本出願人による米国特許第６，２１５，３８９号及び米国特許第６，４３１，７１２号、並びに米国特許出願番号０９／３５９，１４４及び米国特許出願番号０９／９４９，９５５に開示されており、その開示内容は引用によって本明細書に組み込まれている。バックミラー組立体に組み込まれるＧＰＳシステムの例は、本出願人による米国特許第６，１６６，６９８号、米国特許第６，２９７，７８１号、米国特許第６，３９６，４４６号、並びに米国特許出願公開番号ＵＳ２００２／００３２５１０Ａ１に開示されており、その開示内容は引用によって本明細書に組み込まれている。バックミラー組立体に組み込まれたＬＯＲＡＮシステムの例は、本出願人による米国特許出願公開番号ＵＳ２００２／０１９３９４６Ａ１に開示されており、その開示内容は引用によって本明細書に組み込まれている。バックミラー組立体に組み込まれた電話／テレマティックスシステム及びブルートゥース（商標）システムの例は、本出願人による米国特許出願公開番号ＵＳ２００２／００３２５１０Ａ１に開示されており、その開示内容は引用によって本明細書に組み込まれている。バックミラー組立体に組み込まれた訓練可能車庫扉開閉システムの例は、米国特許第６，０９１，３４３号に開示されており、その開示内容は引用によって本明細書に組み込まれている。更に、ミラーは、ミラー組立体間で及び場合によると車両間で情報を送信／受信するための赤外線（ＩＲ）送受信器を含むことができる。そのようなバックミラー組立体の例は、本出願人による米国特許第６，４０７，７１２号に開示されており、その開示内容は引用によって本明細書に組み込まれている。

ミラー組立体は、１つ又はそれ以上の同じ形式の又は異なる形式のディスプレイを更に含むことができる。異なる形式のディスプレイは、蛍光表示、ＬＣＤ、背面ＬＣＤ、ＬＥＤ、有機ＬＥＤ、ドットマトリックス、バックリット・インディシア（ｉｎｄｉｃｉａ）等を含む。同時に大量の情報を表示することが意図されたディスプレイの場合、本出願人による米国特許第６，３４６，６９８号に開示されたディスプレイを使用することができる。その開示内容は引用によって本明細書に組み込まれている。バックリット・インディシアのパネルディスプレーの例は、本出願人による米国特許第６，１７０，９５６号及び米国特許第６，３５６，３７６号、並びに米国特許出願番号０９／５８６，８１３及び米国特許出願番号０９／６６４，１５１に開示されており、その開示内容は引用によって本明細書に組み込まれている。バックミラーに使用される種々のディスプレイは、本出願人による米国特許第６，３５６，３７６号、並びに米国特許出願公開番号ＵＳ２００２／０１５４３７９Ａ１に開示されており、その開示内容は引用によって本明細書に組み込まれている。

バックミラー組立体内の車両アクセサリ用配線は、マウントブラケットを貫通して、チャネルマウントの下をフロントガラスに沿って配線することができる（マウントブラケットが既にヘッドライナーの方に延びていない場合）。バックミラー組立体内のアクセサリ用配線がマウントブラケットを貫通して経路が定められたバックミラー組立体の例は、本出願人による米国特許第６，４６７，９１９号に開示されており、その開示内容は引用によって本明細書に組み込まれている。

本発明を実施するための最良の形態が詳細に説明されているが、本発明の精神及び範疇において他の可能性が存在する。本発明に関する技術分野に精通する当業者であれば、請求項に定義された本発明を実施するための種々の代替設計及び実施形態を認識できるはずである。

他の対向車及び先行車に対する被制御車両を示す。 イメージャの実施形態を示す。 関連の構成部品を備えたイメージセンサの実施形態を示す。 イメージャとマイクロプロセッサとの間に接続された、メモリバッファを備える低電圧差分信号デバイスを示す。 画像内の種々の光源に基づいて外部照明状態を設定するためのアルゴリズムのフローチャートを示す。 高ダイナミックレンジの画像を合成するためのアルゴリズムのフローチャートを示す。 データ圧縮アルゴリズムの結果のグラフを示す。 データ圧縮アルゴリズムのフローチャートを示す。 データ圧縮アルゴリズムの段階的な説明を示す。 データ圧縮アルゴリズムの段階的な説明を示す。 ピーク検出アルゴリズムのフローチャートを示す。 フレーム間光源特性を決定するためのアルゴリズムのフローチャートを示す。 画像内の種々の光源に基づいて外部照明状態を設定するためのアルゴリズムのフローチャートを示す。 ニューラルネットワークの実施例のフローチャートを示す。 外部照明制御の状態遷移フローチャートを示す。 外部照明制御の第１の状態遷移チャートを示す。 外部照明制御の第２の状態遷移チャートを示す。 外部照明制御のデューティサイクル−遷移レベルのグラフを示す。 外部バックミラー組立体の分解組立図を示す。 内部バックミラー組立体の分解組立図を示す。 図１９のミラー組立体の線２０−２０に沿った断面図を示す。 内部バックミラー組立体の分解組立図を示す。

Claims (13)

1. 少なくとも１つの確率関数に基づいて少なくとも１つの外部照明信号を生成するように構成されたコントローラを備える車両用自動外部照明制御装置であって、
   前記少なくとも１つの確率関数は、被制御車両の前方シーンの少なくとも１つの画像内の個々の光源を分類するのに用いられるものであり、複数の変数を含み、少なくとも３つの状態に前記外部照明を制御するために、所定の光源を正確に分類する確率を表す実質的に連続する、出力値を有し、
   前記変数は、車両速度、周囲照明レベル、車両旋回速度、車線追跡、車両ピッチング、車両ヨーイング、地理的位置、及び道路の種類からなる被制御車両関連運転パラメータのグループから選択されることを特徴とする車両用自動外部照明制御装置。
2. 少なくとも１つの確率関数に基づいて少なくとも１つの外部照明信号を生成するように構成されたコントローラを備える車両用自動外部照明制御装置であって、
   前記少なくとも１つの確率関数は、被制御車両の前方シーンの少なくとも１つの画像内の個々の光源を分類するのに用いられるものであり、複数の変数、複数の重み係数、及び出力を含み、少なくとも３つの状態に前記外部照明を制御するために、該出力は所定の光源を正確に分類する確率を表すものであり、
   前記変数は、車両速度、周囲照明レベル、車両旋回速度、車線追跡、車両ピッチング、車両ヨーイング、地理的位置、及び道路の種類からなる被制御車両関連運転パラメータのグループから選択されることを特徴とする車両用自動外部照明制御装置。
3. 前記変数は、ピーク輝度、全輝度、重心位置、傾斜、幅、高さ、色、ｘ方向の動き、ｙ方向の動き、輝度変化、世代、平均ｘ方向の動き、平均ｙ方向の動き、運動ジッタ、被制御車両の外部照明の輝度変化と相関関係がある輝度変化、及び平均輝度変化からなる光源特性のグループから選択されることを特徴とする請求項１又は２に記載の車両用自動外部照明制御装置。
4. 前記車両旋回速度は、ハンドル角度、方位、車輪速度、ＧＰＳ、及び画像解析結果からなるグループから選択された、少なくとも１つの項目によって判定されることを特徴とする請求項１又は２に記載の車両用自動外部照明制御装置。
5. 前記コントローラは、少なくとも１つの光源が対向車のヘッドライトであるか、先行車のテールランプであるか、又は非車両の光源であるかを、前記確率関数の関数として判定するように更に構成されていることを特徴とする請求項１又は４に記載の車両用自動外部照明制御装置。
6. 前記判定は、更に光源の輝度の関数であることを特徴とする請求項５に記載の車両用自動外部照明制御装置。
7. 前記判定は、更に光源の輝度の関数であることを特徴とする請求項６に記載の車両用自動外部照明制御装置。
8. 前記の判定は、更に光源に存在する場合がある任意のＡＣ点滅の関数であることを特徴とする請求項５又は６に記載の車両用自動外部照明制御装置。
9. 前記少なくとも１つの出力は、ブール真偽値、及び確率を表すことができる実質的に連続する値からなるグループから選択されることを特徴とする請求項２に記載の車両用自動外部照明制御装置。
10. 前記重み係数は、少なくとも１つの既知の光源を含む少なくとも１つの画像を調べることによって実験的に判定されることを特徴とする請求項２に記載の車両用自動外部照明制御装置。
11. 前記重み係数は、統計データを調べることによって判定されることを特徴とする請求項２に記載の車両用自動外部照明制御装置。
12. 前記統計データは、既知の光源を含む複数の画像から導き出されることを特徴とする請求項１１に記載の車両用自動外部照明制御装置。
13. 前記確率関数は、一次方程式、二次方程式、三次方程式、及び四次方程式からなるグループから選択されることを特徴とする請求項１又は２に記載の車両用自動外部照明制御装置。

Images