JP7539459B2 - ミラー置換システムのためのカメラ画像及びセンサ融合 - Google Patents

Description

本開示は、一般に、カメラからの画像データと対応する運動インジケータからの運動データとの融合を含むビデオフィードデータセットを生成するための構造に関する。

（関連出願への相互参照）
本出願は、２０１９年８月１日に出願された米国仮出願第６２／８８１５０６号への優先権を主張する。

商用車で使用されるようなミラー置換システムは、車両操作者に強化された視野を提供するために１つ以上のカメラを利用する。ミラー置換システムは、従来のミラーよりも広い視野をカバーする。ミラー置換システムの動作の一部として、各ミラー置換構造内のカメラによって相当量の画像データが生成される。ミラー置換システムに加えて、他の車両システムも同様にカメラを含むか又は利用することができる。カメラからの画像データは、コントローラによって分析され、車両の動作及びミラー置換を強化する複数の機能を実行するために使用される。

１つの例示的な実施形態では、車両用の測定システムは、対応する光軸を有する視野を画定する第１のカメラと、前記第１のカメラに機械的に固定される運動検出センサとを含み、前記運動検出センサは、前記光軸の運動を検出するように構成される。

上述の車両用の測定システムの別の例では、前記運動検出センサは、加速度計、ジャイロスコープ、及び傾斜計のうちの１つを含む。

上述の車両用の測定システムのいずれかの別の例では、前記運動検出センサは、ＡＳＩＣ（特定用途向け集積回路）の運動が前記光軸の運動に一対一で対応するように、前記第１のカメラの前記ＡＳＩＣに機械的に接続される。

上述の車両用の測定システムのいずれかの別の例では、前記ＡＳＩＣは、前記第１のカメラによって生成された画像データと前記運動検出センサによって生成された運動データとの組合せを含む融合データセットを出力するように構成される。

上述の車両用の測定システムのいずれかの別の例では、前記融合データは、時間相関データである。

上述の車両用の測定システムのいずれかの別の例は、前記融合データセットを受信するように構成されるコントローラをさらに含み、前記コントローラは、機械学習に基づく分析を用いて前記融合データセットを分析するように構成される。

上述の車両用の測定システムのいずれかの別の例では、前記機械学習に基づく分析は、前記カメラの向きを決定し、前記第１のカメラが誤った方向を向いていることに応答して操作者に警告するように構成される。

上述の車両用の測定システムのいずれかの別の例では、前記ＡＳＩＣはコントローラに接続され、前記コントローラは、運動センサ出力及びカメラ出力を受信するように構成され、前記コントローラは、前記運動センサ出力及び前記カメラ出力を融合することによって融合データセットを生成するように構成される。

上述の車両用の測定システムのいずれかの別の例では、前記融合データセットは、自動車安全水準（ＡＳＩＬ）分割融合を使用して生成される。

上述の車両用の測定システムのいずれかの別の例では、前記融合データセットは、カメラ方向監視システム、物体検出システム、カメラ不整合システム、視野調整システム、物体検出冗長システム、画像安定化システム、エンドオブライン較正システム、改ざん認識システム、及び自動カメラパンニングシステム、カメラ変位検出システム、及び遮蔽検出システムのうちの少なくとも１つに提供される。

上述の車両用の測定システムのいずれかの別の例では、前記融合データセットは前記遮蔽検出システムに提供され、前記遮蔽検出システムは、前記融合データの画像に基づく運動検出とセンサに基づく運動検出とを比較して、前記カメラが少なくとも部分的に遮蔽されているかどうかを決定する。

上述の車両用の測定システムのいずれかの別の例では、前記融合データセットは前記カメラ変位検出システムに提供され、前記カメラ変位検出システムは、前記画像分析によって検出された運動の速度と前記センサ分析によって検出された運動の速度とを比較し、前記画像分析によって検出された運動の速度が前記センサ分析によって検出された運動の速度を既定の量だけ上回ったことに応答して、カメラ変位が発生したと決定するように構成される。

上述の車両用の測定システムのいずれかの別の例では、複数の第２のカメラ及び複数の運動検出センサをさらに含み、前記複数の第２のカメラの各々は、対応する光軸を有する視野を画定し、前記複数の運動検出センサにおける各運動検出センサは、対応する特定用途向け集積回路（ＡＳＩＣ）を介して、前記複数の第２のカメラにおける対応する第２のカメラの１つに機械的に固定され、前記複数の第２のカメラにおける各カメラの運動と前記第１のカメラの運動とは、互いのカメラの運動とは独立して決定される。

上述の車両用の測定システムのいずれかの別の例では、対応するＡＳＩＣの各々は、対応するカメラによって生成された画像データと前記運動検出センサによって生成された運動データとの組合せを含む融合データセットを出力するように構成される。

車両用の遮蔽されたカメラレンズを検出するための方法は、カメラシステムから画像データ及びＩＭＵ（慣性運動ユニット）データを受信するステップと、前記ＩＭＵデータを分析して、センサに基づく運動検出システムを用いて前記カメラシステムの運動を検出するステップと、前記画像データを分析して、画像に基づく運動検出分析を用いて前記カメラの運動を検出するステップと、前記画像に基づく運動検出分析は運動がないことを示しかつ及び前記センサに基づく運動検出は運動を示すことに応答して、少なくとも部分的に遮蔽されたレンズの存在を決定するステップとを含む。

上述の車両用の遮蔽されたカメラレンズを検出するための方法の別の例では、前記カメラシステムは、対応する光軸を有する視野を画定する第１のカメラと、前記第１のカメラに機械的に固定される運動検出センサとを含み、前記運動検出センサは、前記光軸の運動を検出するように構成される。

上述の車両用の遮蔽されたカメラレンズを検出するためのいずれかの方法の別の例では、前記画像に基づく運動検出分析は、前記画像データの第１のフレームにおいて参照を識別すること、前記画像データの第２のフレームにおいて前記参照を識別すること、及びフレーム間の前記参照の位置の変化が閾値を超えていることに応答して、前記カメラシステムが運動していることを決定することを含む。

車両用の遮蔽されたカメラレンズを検出するための上述の方法のいずれかの別の例では、前記第２のフレームは前記第１のフレームの後に続くものである。

上述の車両用の遮蔽されたカメラレンズを検出するためのいずれかの方法の別の例では、前記画像データ及び前記ＩＭＵデータは、単一の融合データセットである。

上述の車両用の遮蔽されたカメラレンズを検出するためのいずれかの方法の別の例では、少なくとも部分的に遮蔽されたレンズの存在を決定するステップの間に、前記画像データ及び前記ＩＭＵデータは融合される。

車両用の変位したカメラシステムを検出するための例示的な方法は、画像部分及びＩＭＵ（慣性運動ユニット）部分を含む融合データをカメラシステムから受信するステップと、画像に基づく運動検出システムを用いて前記画像部分を分析して、前記画像内の少なくとも１つの物体における運動の少なくとも１つのパラメータを決定するステップと、センサに基づく運動検出システムを用いて前記ＩＭＵ部分を分析して、前記ＩＭＵの運動の少なくとも１つのパラメータを決定するステップと、前記画像内の少なくとも１つの物体の運動の前記少なくとも１つのパラメータと、前記ＩＭＵの運動の前記少なくとも１つのパラメータとを比較して、前記少なくとも１つの物体の運動の前記少なくとも１つのパラメータが、前記ＩＭＵの運動と少なくとも既定の量だけ異なる場合に、カメラシステムの変位が発生したことを決定するステップと含む。

上述の車両用の変位したカメラシステムを検出するための方法の別の例では、前記少なくとも１つのパラメータは、運動の速度である。

上述の車両用の変位したカメラシステムを検出するための方法のいずれかの別の例では、前記画像内の前記少なくとも１つの物体は、前記画像の外周にある。

上述の車両用の変位したカメラシステムを検出するための方法のいずれかの別の例では、前記画像に基づく運動検出システムが運動を検出しないこと及び前記センサに基づく運動検出システムが運動を検出することに応答して、前記カメラの少なくとも部分的な遮蔽を決定するステップをさらに含む。

ミラー置換システムを含む例示的な商用車両を示す。

カメラを有する複数の車両システムを含む車両用の例示的な運転室及び運転者用サスペンションを概略的に示す。

図１の車両で利用される例示的なミラー置換カメラを概略的に示す。

コントローラが融合画像及びセンサデータを使用してカメラの遮蔽を検出するプロセスを概略的に示す。

図４のプロセスで使用される例示的な画像フィードを概略的に示す。

図１～３に示されたカメラシステム内の固定関係を使用してカメラの変位を検出するプロセスを示す。

図１は、トラクタトレーラ等の商用車両１０を概略的に示す。例示的な商用車両１０は、運転室２０及びトレーラ３０を含む。トレーラ３０は、連結装置３２又は他の接続を介して運転室２０に接続される。また、運転室２０には複数のサイドビューカメラ４０が接続されており、それぞれがコントローラ６０と通信して車両１０のサイドビューのデジタル画像を生成する。トレーラ３０には、リアビューカメラ５０が取り付けられている。サイドビューカメラ４０と同様に、リアビューカメラ５０はコントローラ６０と通信し、コントローラ６０に画像フィードを提供する。単純化された３つのカメラシステムを介して図１に示されているが、ミラー置換システムは、同様の位置に配置された、又は任意の必要な構成で車両１０の周りに分散された任意の数の追加のカメラを含み得ることが理解される。

引き続き図１の車両を参照しながら、図２は、運転室７２内に配置された複数のカメラ７０を含む例示的な運転室７２及び運転席７４の構成を概略的に示す。図２の例では、運転席７４は、サスペンション７６を介して運転室７２に取り付けられる。運転室７２は、別のサスペンション７６を介して車両フレーム７８に取り付けられる。次にフレーム７８は、別の車両サスペンション７６を介してタイヤ７９に取り付けられる。複数のサスペンション７６の結果として、各構成要素は、他の構成要素に対して移動（又は浮動）することができる。その結果、車両運動（すなわち、車両フレーム７８の運動）は、運転室７２の運動、運転席７４の運動、又は運転室７２若しくは運転席７４に接続されたセンサの運動と１：１ベースで相関しない。図１の単純化されたミラー置換システムに加えて、図２のシステムは、運転室内に又は運転室７２に取り付けられた複数の追加のカメラ７０を示す。複数のサスペンション７６により、カメラ４０、５０、７０の各々は、他のカメラ４０、５０、７０の一部又は全部から独立して又は半独立して動く。また、これにより、カメラ４０、５０、７０の移動を追跡するには車両フレームの移動の測定が不十分になる。

車両１０内のコントローラ６０は、各カメラ４０、５０、７０によって生成された画像データを受信してフォーマットし、車両１０の制御を支援するために画像データを車両１０の操作者に提示する。コントローラ６０は、画像データを操作者に提示することに加えて、そのデータをリアルタイム又は準リアルタイムで分析し、その分析に基づいてデータを補強する。いくつかの例において、補強は、画像内に存在する異物の決定、さらなる画像分析からの自己部分の除外、識別された物体との差し迫った衝突の検出、並びに任意の他の数の運転支援機能を含み得る。補強は、画像を操作者に提示する前に画像に適用され、コントローラ６０が、操作者が認識すべき画像の要素及び／又は操作者が通知されるべき画像に関する情報をハイライト又は強調することを可能にする。

運転者支援機能の一部、又は画像データを使用する他の特徴は、カメラ４０、５０、７０の向き、視野内の遮蔽物、衝突検出システムのための接近する車両又は物体等を決定するために、機械学習システムを使用して決定されたアルゴリズムと組み合わせて、画像フィード自体の中のコンテキスト情報を利用する。これらのシステムの画像分析は、カメラ４０、５０が移動している可能性があり、場合によっては、車両１０の他の部分の運転室２０から独立して、又は半独立して移動している可能性があるという事実によって妨げられる。一例として、カメラ４０、５０と物体が衝突すると、カメラ４０、５０の向きがずれることがあり、独立した運動によって、通常の移動と物体の衝突によって生じる移動との差を決定することが困難になる。別の例として、運転室７２に取り付けられたカメラ７０と車両フレーム７８との間には、ある程度の浮動（すなわち、相対運動）が存在するとともに、多数の累積サスペンション７６が存在するために様々なカメラ４０、５０、７０によって生成された画像の角度の間には、ある程度の浮動が存在する。

図１に記載されかつ示されているようなミラー置換システムに加えて、本明細書に記載されている統合慣性測定ユニット（ＩＭＵ）及びカメラ構成は、カメラ４０、５０、７０の全てだけでなく、他の同様の車両カメラシステムにも適用することができる。

引き続き図１を参照しながら、図３は、特定用途向け集積回路（ＡＳＩＣ）１２０に取り付けられたカメラ１１０を含む例示的なカメラ装置１００を概略的に示す。カメラ１１０はレンズ１１２を含み、レンズ１１２は視野（すなわち、カメラ１１０によって取り込まれた画像）を画定する。レンズ軸１１４は、レンズ１１２に対して垂直かつ視野に対して垂直に引かれた線である。また、ＡＳＩＣ１２０には、慣性測定ユニット（ＩＭＵ）１３０も接続されている。ＩＭＵ１３０は、相対運動を検出するように構成された加速度計（例えば、３軸加速度計）、ジャイロスコープ（例えば、３軸ジャイロスコープ）、傾斜計、それらの任意の組み合わせ、又は任意の他のセンサタイプ、又はセンサタイプの組み合わせを含み得る。例示的なＩＭＵ１３０は、ロール、ピッチ及びヨーを含む運動を検出するように構成される。代替的なＩＭＵは、これらの運動のサブセット及び／又は追加の運動を検出することができる。

カメラ１１０とＩＭＵ１３０の両方が単一のＡＳＩＣ１２０に物理的に取り付けられているので、カメラ１１０の軸１１４はＩＭＵ１３０に物理的に結び付けられ、ＩＭＵ１３０のいかなる移動もカメラ１１０の移動に対応する。代替例では、カメラ１１０及びＩＭＵ１３０は、コネクタ、又は任意の他の剛性接続を介して物理的に接続されて、軸１１４の運動をＩＭＵ１３０の運動に対応させてもよい。このように、カメラ１１０によって画定される視野とＩＭＵ１３０の運動とは一対一の相関関係にある。代替例では、ＩＭＵ１３０と軸１１４とが互いに機械的に固定されている場合、ＩＭＵ１３０は、別個の物理的構造又は第２のＡＳＩＣに取り付けられ、同様の機能を提供することができる。本明細書では、機械的に互いに固定された構成とは、２つの構成要素が単一のユニットとして移動するように接続された構成を指す。

車両１０の動作中、カメラ１１０からの画像データとＩＭＵ１３０からの運動データは、コントローラ６０（図１）に提供される前に融合される。他の例では、画像データ及び運動データはそれぞれタイムスタンプを含み、コントローラ６０は、それぞれからデータを受信した後で、データを単一のデータセットに融合することができる。一例において、融合は、自動車安全水準（ＡＳＩＬ）分割融合方法を用いて達成され得る。代替例では、カメラ４０、５０、７０からのデータをＩＭＵ１３０からのデータに融合する別の方法は、任意の既知のデータ融合方法に従って利用され得る。各カメラ４０、５０、７０がそれ自身の運動センサを含むので、カメラ４０、５０、７０からの画像データに融合された運動データは、車体の運動ではなく特定のカメラ軸に結び付けられる。

コントローラ６０が融合データを受信すると、コントローラ６０は、運動データ及び画像データの組み合わせを利用して複数の分析を実行し、追加の制御特徴の機能を強化する。

一例では、コントローラ６０は、軸１１４の相対運動を決定するために画像データを分析し、ＩＭＵ１３０から受信した運動データを分析し、分析間の比較を監視機能として使用する。この例では、ＩＭＵ１３０からの運動データは、画像分析によって検出された運動の精度を検証するように作用する。画像分析データがＩＭＵ１３０からの運動データと一致しない場合、コントローラ６０は、画像データの分析からの運動が誤っていると決定し、それに応じて調整することができる。この決定が画像分析の欠陥であるか又はＩＭＵ１３０データの欠陥であるかは、この決定のコンテキストに依存し、画像内で識別される物体の予想される移動についての、画像内の固定位置を有するべき構成要素に対する画像の分析を含み得る。一旦決定がなされると、コントローラ６０は、ミラー置換システムの１つ以上の機能の操作性を維持するために、ミラー置換システムに必要な調整を行うことができる。図４及び５を参照して、比較プロセスの１つの特定の例を以下に説明する。

別の例では、ＩＭＵ１３０は、ロール、ピッチ及びヨーを検出又は測定し、コントローラ６０が画像の各フレームにおけるカメラの傾きを決定することを可能にする。カメラの傾きを検出することにより、コントローラ６０は、カメラ１１０が正しい位置に方向付けられ、変位していないことを確認するために、短いランチェックを行うことが可能になる。また、これは物体検出を支援し、車両１０の光軸１１４及び加速度軸の不整合を調整することによって、車両１０に対する物体の位置を決定するコントローラ６０の能力を向上させる。

ＩＭＵ１３０がロール、ピッチ及びヨーを検出又は測定する別の例では、ＩＭＵ１３０によってカメラの傾きの突然の変化を検出し得る。一例として、カメラ４０、５０、７０が、低く垂れ下がった枝、他の車両によって跳ね上げられた岩、又は他の何らかの異物に衝突された場合、カメラ４０、５０、７０は、車両１０から完全に外れることなく位置がずれることがある。このような突然の方向変化が発生すると、カメラ４０、５０、７０の視野が大幅に変化する可能性があり、再調整が必要となる。適切に装備された車両１０では、車両１０の後方軸又は他の構造部分は、ＩＭＵ１３０によって検出された突然の運動に対応する視野の変化を補償するために、その高さをオンザフライで調整することができる。代替例では、カメラ４０、５０、７０を調整するための他の任意の機械システムが同様の効果のために利用され得る。さらに他の例では、操作者が最初の機会に手動でカメラを調整又は再配置する必要があることを示す警告が車両操作者に提供され得る。いくつかの例では、突然の位置変化は、１つ又は２つの運動角のみを検出することが可能なＩＭＵ１３０によって検出することができ、完全な運動検出は必要ではない。

別の例では、ＩＭＵ１３０からの融合データは、上述の相対運動分析と同様の遮蔽に対する安全チェック警告のための追加センサとして動作する。この例では、融合された運動データは、ＣＡＮシステムから検出された画像に基づく運動検出及び自己部分車両情報に関する冗長性チェックを提供する。付加的なセンサ情報は、車両が移動しているか又は回転しているかを測定し、画像内の物体検出及び画像遮蔽検出に関する冗長性チェックを提供する。例えば、データのＩＭＵ１３０部分が特定の速度又は軸を中心とした回転での移動を検出するが、画像がほとんど静的なシーンを提示する場合、コントローラ６０は、検出された物体の信頼度の変化を操作者に警告し得る。別の例では、車両１０が移動又は軸の周りを回転し、融合画像データが変化せず、画像分析がカメラ１１０の遮蔽を示さない場合、コントローラ６０は、画像遮蔽検出アルゴリズムを再実行するか、又はＩＭＵ１３０からの運動と画像遮蔽検出アルゴリズムが一致しないことを操作者に通知し得る。

さらに別の例では、融合画像及びＩＭＵ１３０データを利用して、コントローラ６０のビデオ安定化機能を支援することができる。運転者等の操作者が車両１０自体の中に位置する場合、その操作者は、キャビン２０と共に揺動するか又は浮動する。また、キャビン２０は、カメラ１１０と略同じ大きさで揺動又は浮動し、画像を自己解釈することができる。しかしながら、操作者が遠隔制御操作スキームを介して遠隔に位置する場合、カメラ１１０によって提供される画像の視覚的安定化を提供することが重要である。このような場合、コントローラ６０は、画像データのフレーム間の相対運動を比較し、遠隔操作者に提供されるビデオフィードにおける相対運動を補償することができる。これは、ビデオ安定化のために必要なサンプリングレートを減少させてもよく、安定化を実行するためにコントローラ６０によって必要とされるフィルタリングの量を潜在的に減少させ得る。

別の例では、融合データは、物体検出能力を向上させることによってエンドオブライン較正要件を低減し、エンドオブラインシステムを較正するためにコントローラ６０によって使用され得る。別の例では、融合データは、認識の改ざん及び自動カメラパンニングシステムを支援するために使用され得る。上記の概念のいずれかを単独で、又は上記の他の概念のいずれか若しくは全てと組み合わせて使用され得ることがさらに理解される。

引き続き図１～３を参照しながら、図４及び５は、図１～３に関して上述した、カメラ視軸とＩＭＵとの間の固定関係によって可能となる融合された運動データを利用して、カメラの遮蔽された又は遮蔽されていない状態を検証する例示的なプロセス２００を示す。動作を実行するコントローラは、カメラから画像データ２１０を受信し、対応するＩＭＵからＩＭＵデータ２２０を受信する。ＩＭＵは、一例では加速度計であるが、別のＩＭＵセンサタイプを使用して、別のシステムで同様の影響を与えることができる。次に、コントローラは、画像に基づく運動検出分析２３０を用いて画像データ２１０を分析し、画像が運動を示すかどうかを決定する。同時に、又は略同時に、コントローラは、ＩＭＵ分析ブロック２４０においてＩＭＵデータ２２０を分析する。得られた分析結果は比較２５０で比較され、カメラが運動の欠如を示し、ＩＭＵが運動の存在を示す場合、コントローラによって警告２６０が出力される。警告２６０は、画像データ２１０を提供するカメラが視覚障害物を含んでおり、所定の車両システムに依存すべきではないことを、車両操作者及び他の車両システムに通知する。

次に、画像に基づく運動検出分析ブロック２３０を参照すると、一例では、画像に基づく運動検出分析ブロック２３０は、２つのサブブロック、特徴抽出プログラム２３２及び運動検出プログラム２３４を含む。画像に基づく運動検出分析ブロック２３０は、特徴抽出に基づく画像分析方法を使用する。最初に、画像の１つ以上の特徴が、特徴抽出プログラム２３２を介して画像から抽出される。いくつかの例では、特徴は、各フレームの関心領域内の特徴であり得る。特徴が抽出されると、運動検出プログラム２３４は、連続フレームにわたって特徴の運動を追跡する。

一例では、図５に示すように、テンプレートマッチング手法を用いて運動を追跡する。テンプレートマッチング手法では、運動検出プログラム２３４は、フレーム３００の少なくとも一部３１０内で、事前定義されたテンプレート３２０（例えば人間の形）との最良の一致を見つけようとする。運動テンプレートマッチングシステムは、ビデオの最初のフレーム３００からテンプレート３２０のための参照画像を抽出し、次いで、参照画像を次のフレーム３００’に適用し、それによって、システムがフレーム３００’を又はフレーム３００，３００’の部分３１０’を横切る参照画像３２０，３２０’の移動を追跡することを可能にする。いくつかの例では、後続フレーム３００’は、最初のフレーム３００の直後のフレームを含む、最初のフレームの後の任意のフレームとすることができる。別の例では、後続のフレーム３００’は、フレーム間の時間よりも長い時間だけ最初のフレームから分離されたフレームであり、その結果、１つ以上のフレームが画像に基づく分析に含まれない。この例では人間の形状として示されているが、参照画像は第１の画像内の任意の独自の形状であってもよく、参照画像に対する人間の形状の利用は純粋に例示的であることが理解される。さらなる例では、複数の参照を単一の画像フィード内で使用して、独立した移動追跡を提供することができ、それによって、画像に基づく移動追跡の冗長的な追跡及び／又は検証を可能にする。

運動追跡を実行するための例示的なアルゴリズムでは、検索されるフレーム３００，３００’の部分３１０，３１０’は、参照画像３２０のテンプレートのサイズの二倍のサイズになるようにサイズ設定されたフレームの領域３２２に制限される。サイズ設定は、車両が動いている場合に参照画像が合理的に移動する画像３１０，３１０’の領域に検索領域を限定する。画像フィードの後続フレーム３００，３００’で検索される画像の領域を制限することにより、運動検出プログラム２３４で画像分析を実行するのに必要な処理能力及び時間が低減される。代替例では、参照画像のサイズに基づいてサイズ設定される代替的なサイズ設定領域３２２を利用して、運動検出プログラム２３４で必要とされる処理を同様に低減することができる。

参照画像のインスタンスが後続のフレーム３００，３００’で識別されると、参照画像が移動したｘ－ｙ距離が分析され、車両が移動しているか又は静止しているかが決定される。運動検出プログラム２３４が運動がないと決定した場合、車両は２つの状態のうちの１つであることが分かる。第１の状態では、車両は運動していない。第２の状態では、画像のフィードを提供するカメラが遮蔽されているか又は部分的に遮蔽されている。当業者は、これらの状態が相互に排他的でないことを理解するであろう。

参照要素が画像内で検出された物体であるというコンテキストの中で上述したが、この説明による代替法は、限定されないが、画像の領域までの距離の識別、マルチモーダル画像登録、各フレームの特徴の相関付け等を含む代替特徴を含み得る。本明細書で使用される「参照」という用語は、任意の形態の参照に適用され、物体識別の範囲に限定されない。別の代替案では、移動検出は、既知の方法論に従って後続フレームと参照フレームとの間の相関を最大化する最適化問題を介して行うことができる。

次にＩＭＵ分析ブロック２４０を参照すると、コントローラ内のＩＭＵ分析ブロック２４０の動作は、２つの別々のグループに分離され得る。最初に、（複数の）ＩＭＵセンサからのデータ２２０は、（複数の）センサからの電気信号を実行可能な情報に変換する前処理手順２４２を用いて処理される。一例として、（複数の）センサが３軸加速度計等の加速度計を含む場合、（複数の）センサは３軸の力を測定する。運動していない場合、垂直軸は真上方向の重力加速度のみを測定し、その他の軸は０プラス又はマイナスのノイズを測定する。運動中、他の軸の一方又は両方は、車両の運動の方向及び速度を示す測定値を出力する。車両コントローラは、加速度計によって出力された電気信号を前処理して、ＩＭＵセンサデータ２２０に基づいて、車両がどの方向にどのくらい速く移動しているかを決定するように構成される。前処理は、ＩＭＵセンサデータ２２０を提供する特定のセンサタイプに対応する運動データに信号を変換するための任意の方法論であってもよい。

一旦、運動データに処理されると、ＩＭＵ分析ブロック２４０は、感知された運動データを使用して、運動検出プロセス２４４において、車両が運動しているかどうかを決定する。画像に基づく検出と同様に、ＩＭＵ検出は、車両が２つの状態のうちの１つであり得ることを示す。第１の状態は運動中の車両であり、第２の状態は非運動中の車両である。いくつかの例では、運動検出プロセス２４４は、車両の運動の特定の方向及び速度を決定するが、他の例では、運動検出プロセス２４４は、車両が運動しているかどうかのバイナリ状態を検出することに限定される。

画像データ２１０及びセンサデータ２２０の両方を用いて車両が運動しているかどうかを決定した後で、比較モジュール２５０においてタイムスタンプ相関によってデータを融合する。代替システムでは、ＩＭＵ及びカメラからのデータを調整するための代替方法論が、同様の効果に対するタイムスタンプ構成の代わりに利用され得る。

融合されると、比較２５０は、画像データ２１０とセンサデータ２２０との間の「運動中」／「非運動中」の不一致についてデータストリームをサンプリングする。次に、比較２５０は、画像データ２１０が運動がないことを示し、センサデータ２２０が運動を示すと決定し、比較プロセス２５０は、遮蔽された又は部分的に遮蔽された（別の言い方で閉塞とも呼ばれる）カメラが存在することを認識し、警告２６０を出力する。警告２６０は、図１～３に関して上述したように、他のシステム及び／又は車両操作者に提供される。

別の例では、カメラ及びＩＭＵから融合データを受信するコントローラ、又はカメラ及びＩＭＵからのデータを融合するコントローラは、画像に基づく分析及びセンサに基づく分析から別々の運動の検出を利用して、検出された運動の間の差に基づいて事象の発生を決定し得る。そのような事象の１つは、車両の操作中にカメラハウジングが樹木又は基礎構造等の異物と接触するときに起こり得るようなカメラの変位である。代替例では、同様の比較によって代替事象を検出することができる。

引き続き図１～５を参照しながら、図６は、カメラ及びＩＭＵを含むミラー置換システムの変位を決定するための分析方法５００を示す。最初に、プロセスを実行するコントローラは融合データを受信し、定義された期間にわたってセンサに基づく運動分析５１０及び画像に基づく運動分析５２０を実行する。画像に基づく運動分析５２０は、機械学習派生分析、ベクトル分析等を含む任意の既存の運動検出分析を利用して、画像内の少なくとも１つの物体の運動を決定することができる。一例では、少なくとも１つの物体は、画像の周辺で追跡されて識別される。画像の周辺で物体を追跡することは、物体の速度とＩＭＵによって感知された速度との間の不一致が、変位の場合に最大化されることを保証する。同様に、センサに基づく運動分析５１０は、任意の従来の運動検出構成を用いてカメラ軸に対して機械的に固定されたＩＭＵからのセンサ信号を用いて運動を検出する。

図６の例示的なプロセスでは、センサに基づく運動分析５１０及び画像に基づく運動分析５２０は、他の可能なパラメータの中で、運動の速度を検出するように構成される。代替例において、代替運動パラメータは、運動速度に加えて、又はそれに伴って検出され、対応する比較に利用され得る。センサに基づく運動分析５１０及び画像に基づく運動分析５２０の各々において、期間にわたる運動が決定されると、比較ステップ５３０において、決定された運動が比較される。

図示の例では、決定された運動は、ＩＭＵによって測定された運動の速度と、カメラの画像フレームの周辺で検出された１つ以上の物体の運動の速度とを含む。比較は、画像に基づく運動分析５２０によって検出された運動の速度が、センサに基づく運動分析５１０によって検出された運動の速度を既定の量を超えて上回っているかどうかを確認するために行われる。コントローラは、不一致が既定の量を超えた場合に、変位検出ステップ５４０において、カメラとＩＭＵの変位が生じたと決定する。既定の量は、既定の量を超える画像からの運動の検出が、画像の周辺における運動の速度がＩＭＵによって感知される運動の速度を超えることを示すように、画像に基づく検出分析５２０の予測される誤差のマージンになるように選択され得る。また、これは、カメラが変位されていることを示す。

画像に基づく運動分析５２０によって検出された運動が、センサに基づく運動分析５１０によって検出された運動と略同じ速度である（例えば、上述した誤差のマージン内である）場合、比較５３０は、正常運動検出ステップ５５０において正常動作が発生していると決定する。

プロセス５００のいくつかの反復において、図４及び５に関して上述した遮蔽されたカメラ検出プロセスも同様に組み込まれ得る。このような反復において、比較モジュール５３０が、画像に基づく運動分析がゼロであり、かつセンサに基づく運動分析がゼロより大きいことを検出すると（すなわち、ＩＭＵが運動を検出すると）、コントローラは、遮蔽カメラ検出ステップ５６０においてカメラが遮蔽されていると決定する。

車両全体が運動している車両環境を一般的に参照して上述したが、いくつかの例では、検出される運動は、ドアの閉鎖によるカメラ及びＩＭＵの移動、カメラ及びＩＭＵのハウジングと異物との衝突、アイドリングエンジンの振動、又は車両全体の運動以外のカメラ及びＩＭＵの任意の他のソースの移動を含み得ることが理解される。ＩＭＵによって検出される移動データのタイプは、本明細書で生成された融合データの実用的な応用に影響を与えることが理解される。

本発明の例示的な実施形態が開示されているが、当業者であれば、所定の変更が本発明の範囲内に入ることを理解するであろう。そのため、本発明の真の範囲及び内容を決定するために、以下の請求項が検討されるべきである。

Claims (17)

1. 対応する光軸を有する視野を画定する第１のカメラと、
   ＡＳＩＣ（特定用途向け集積回路）の運動が前記光軸の運動に一対一で対応するように、前記第１のカメラの前記ＡＳＩＣに機械的に接続される運動検出センサであって、前記運動検出センサは前記光軸の運動を検出するように構成され、前記ＡＳＩＣは前記第１のカメラによって生成された画像データと前記運動検出センサによって生成された運動データとの組合せを含む融合データセットを出力するように構成される、運動検出センサと、
   前記ＡＳＩＣと通信するコントローラであって、前記コントローラは運動センサ出力及びカメラ出力を受信するように構成され、前記コントローラは前記運動センサ出力及び前記カメラ出力を融合することによって融合データセットを生成するように構成される、コントローラと
   を備え、
   前記コントローラは、前記融合データセットを受信するように構成され、前記コントローラは、機械学習に基づく分析を用いて前記融合データセットを分析するように構成され、前記機械学習に基づく分析は、前記カメラの向きを決定し、前記第１のカメラが誤った方向を向いていることに応答して操作者に警告するように構成され、
   前記コントローラは、遮蔽検出システムに前記融合データセットを提供するように構成され、前記遮蔽検出システムは、前記融合データセットの画像に基づく運動検出とセンサに基づく運動検出とを比較して、前記カメラが少なくとも部分的に遮蔽されているかどうかを決定するように構成され、
   前記コントローラは、画像に基づく運動検出分析を行うように構成され、前記画像に基づく運動検出分析は、前記画像データの第１のフレームにおいて参照を識別すること、前記画像データの第２のフレームにおいて前記参照を識別すること、及びフレーム間の前記参照の位置の変化が閾値を超えていることに応答して、前記第１のカメラが運動していることを決定することによって行われる、車両用の測定システム。
2. 前記運動検出センサは、加速度計、ジャイロスコープ、及び傾斜計のうちの１つを含む、請求項１に記載の測定システム。
3. 融合データは、時間相関データである、請求項１に記載の測定システム。
4. 前記融合データセットは、自動車安全水準（ＡＳＩＬ）分割に基づいた融合を使用して生成される、請求項１に記載の測定システム。
5. 前記融合データセットは、カメラ方向監視システム、物体検出システム、カメラ不整合システム、視野調整システム、物体検出冗長システム、画像安定化システム、エンドオブライン較正システム、改ざん認識システム、及び自動カメラパンニングシステム、及びカメラ変位検出システムのうちの少なくとも１つに提供される、請求項１に記載の測定システム。
6. 対応する光軸を有する視野を画定する第１のカメラと、
   ＡＳＩＣ（特定用途向け集積回路）の運動が前記光軸の運動に一対一で対応するように、前記第１のカメラの前記ＡＳＩＣに機械的に接続される運動検出センサであって、前記光軸の運動を検出するように構成される運動検出センサと、
   前記ＡＳＩＣと通信するコントローラであって、運動センサ出力及びカメラ出力を受信するように構成され、かつ前記運動センサ出力及び前記カメラ出力を融合することによって融合データセットを生成するように構成されるコントローラと
   を備え、
   前記コントローラは、前記融合データセットをカメラ変位検出システムに提供するように構成され、前記カメラ変位検出システムは、画像分析によって検出された運動の速度とセンサ分析によって検出された運動の速度とを比較し、前記画像分析によって検出された運動の速度が前記センサ分析によって検出された運動の速度を既定量だけ上回ったことに応答して、カメラ変位が発生したと決定するように構成される、測定システム。
7. 複数の第２のカメラ及び複数の運動検出センサをさらに備え、前記複数の第２のカメラの各々は、対応する光軸を有する視野を画定し、前記複数の運動検出センサにおける各運動検出センサは、対応するＡＳＩＣ（特定用途向け集積回路）を介して、前記複数の第２のカメラにおける対応する第２のカメラの１つに機械的に固定され、
   前記複数の第２のカメラにおける各カメラの運動と前記第１のカメラの運動とは、互いのカメラの運動とは独立して決定される、請求項１～６のいずれか１項に記載の測定システム。
8. 前記対応するＡＳＩＣの各々は、前記対応するカメラによって生成された画像データと前記運動検出センサによって生成された運動データとの組合せを含む融合データセットを出力するように構成される、請求項７に記載の測定システム。
9. 車両用の遮蔽されたカメラレンズを検出するための方法であって、
   カメラシステムから画像データ及びＩＭＵ（慣性運動ユニット）データを受信するステップと、
   前記ＩＭＵデータを分析して、センサに基づく運動検出システムを用いて前記カメラシステムの運動を検出するステップと、
   前記画像データを分析して、画像に基づく運動検出分析を用いて前記カメラシステムの運動を検出するステップと、
   前記画像に基づく運動検出分析は運動がないことを示しかつ及び前記センサに基づく運動検出は運動を示すことに応答して、少なくとも部分的に遮蔽されたレンズの存在を決定するステップと
   を含み、
   前記画像に基づく運動検出分析は、
   前記画像データの第１のフレームにおいて参照を識別すること、
   前記画像データの第２のフレームにおいて前記参照を識別すること、及び
   フレーム間の前記参照の位置の変化が閾値を超えていることに応答して、前記カメラシステムが運動していることを決定すること
   を含む、方法。
10. 前記カメラシステムは、対応する光軸を有する視野を画定する第１のカメラと、前記第１のカメラに機械的に固定される運動検出センサとを含み、前記運動検出センサは、前記光軸の運動を検出するように構成される、請求項９に記載の方法。
11. 前記第２のフレームは前記第１のフレームの後に続くものである、請求項９に記載の方法。
12. 前記画像データ及び前記ＩＭＵデータは、単一の融合データセットである、請求項９～１１のいずれか１項に記載の方法。
13. 少なくとも部分的に遮蔽されたレンズの存在を決定するステップの間に、前記画像データ及び前記ＩＭＵデータは融合される、請求項９～１２のいずれか１項に記載の方法。
14. 車両用の変位したカメラシステムを検出するための方法であって、
    画像部分及びＩＭＵ（慣性運動ユニット）部分を含む融合データをカメラシステムから受信するステップと、
    画像に基づく運動検出システムを用いて前記画像部分を分析して、前記画像内の少なくとも１つの物体における運動の少なくとも１つのパラメータを決定するステップと、
    センサに基づく運動検出システムを用いて前記ＩＭＵ部分を分析して、前記ＩＭＵの運動の少なくとも１つのパラメータを決定するステップと、
    前記画像内の前記少なくとも１つの物体の運動の前記少なくとも１つのパラメータと、前記ＩＭＵの運動の前記少なくとも１つのパラメータとを比較して、前記少なくとも１つの物体の運動の前記少なくとも１つのパラメータが前記ＩＭＵの運動と少なくとも既定の量だけ異なる場合に、カメラシステムの変位が発生したことを決定するステップと
    を含む、方法。
15. 前記少なくとも１つのパラメータは、運動の速度である、請求項１４に記載の方法。
16. 前記画像内の前記少なくとも１つの物体は、前記画像の外周にある、請求項１４又は１５に記載の方法。
17. 前記画像に基づく運動検出システムが運動を検出しないこと及び前記センサに基づく運動検出システムが運動を検出することに応答して、カメラの少なくとも部分的な遮蔽を決定するステップをさらに含む、請求項１４～１６のいずれか１項に記載の方法。

Images