JP7367031B2 - 自動運転車両におけるセンサ同期性データ分析に用いるシステム - Google Patents

Description

本発明の実施形態は、自動運転車両の運転に関する。より具体的には、本開示の実施形態は、センサ同期検証に関する。

自動運転モード（例えば、無人運転）で作動する車両は、乗員、特に運転者を運転に関連する職責から解放することができる。自動運転モードで動作しているとき、車両は、車載センサを使用して様々な位置にナビゲートすることができ、これにより、最小限の人間とコンピュータの相互作用で、または乗客なしで車両を走行させることができる。

車載センサは、自動運転車両を安全かつ安定に制御するために、較正、同期および融合を行う必要がある。一般に、センサデータの同期は、センサデータ上のタイムスタンプを使用して測定することができる。しかしながら、この方法は単にソフトウェアレベルの検証を提供するだけであり、データ収集および送信を提供するセンサおよびシステムハードウェアを検証することはできない。したがって、システムレベルでセンサデータの同期性を検証し、フィードバックを提供してシステムレベルでの同期精度を向上させるために使用できる技術が望まれている。

第１の態様において、本開示の実施形態は、自動運転車両におけるセンサ同期性を分析する、コンピュータにより実施される方法であって、前記自動運転車両に搭載された第１のセンサおよび第２のセンサから、前記自動運転車両の周囲の対象物を記述した生のセンサデータを取得するステップと、前記生センサデータと、前記生センサデータから抽出されたタイムスタンプとに基づいて、精度マップを生成するステップと、前記生センサデータを用いて前記対象物体を囲む第一バウンディングボックス及び第二バウンディングボックスを生成するステップと、１つまたは複数の予め構成されたセンサ設定に基づいて、所定のアルゴリズムを使用して、第１のバウンディングボックスおよび第２のバウンディングボックスならびに精度マップを分析して、第１のセンサおよび第２のセンサが互いに同期しているかどうかを判定するステップとを含む方法を提供する。

第２の態様では、本開示の実施形態は、コンピュータ指令を記録した非一時的コンピュータ可読媒体であって、前記コンピュータ指令は、プロセッサに実行されると、前記自動運転車両に搭載された第１センサおよび第２センサから、前記自動運転車両の周囲の対象物を記述した生センサデータを取得するステップと、前記生センサデータから抽出されたタイムスタンプに基づいて、前記生センサデータに基づく精度マップを生成するステップと、前記生センサデータを用いて前記対象物体を囲む第一バウンディングボックス及び第二バウンディングボックスを生成するステップと、１つまたは複数の予め構成されたセンサ設定に基づいて、所定のアルゴリズムを使用して、第１のバウンディングボックスおよび第２のバウンディングボックスならびに精度マップを分析して、第１のセンサおよび第２のセンサが互いに同期しているかどうかを判定するステップと、を含む動作をプロセッサに実行させる、非一時的コンピュータ可読媒体を提供する。

第３の態様では、本開示の実施形態は、データ処理システムであって、プロセッサと、前記プロセッサに接続され、指令を記憶するメモリとを備え、前記指令は前記プロセッサによって実行されると、前記自動運転車両に搭載された第１センサおよび第２センサから、前記自動運転車両の周囲の対象物を記述した生センサデータを取得するステップと、前記生センサデータから抽出されたタイムスタンプに基づいて、前記生センサデータに基づく精度マップを生成するステップと、前記生センサデータを用いて前記対象物体を囲む第一バウンディングボックス及び第二バウンディングボックスを生成するステップと、１つまたは複数の予め構成されたセンサ設定に基づいて、所定のアルゴリズムを使用して、第１のバウンディングボックスおよび第２のバウンディングボックスならびに精度マップを分析して、第１のセンサおよび第２のセンサが互いに同期しているかどうかを判定するステップと、を含む動作を前記プロセッサに実行させる、データ処理システムを提供する。
第４の態様では、本開示の実施形態は、コンピュータプログラムであって、プロセッサにより実行されると、第１の態様に記載の方法を実行させるコンピュータプログラムを提供する。

本開示の実施形態は、図面の各図において限定的ではなく例示的な形態で示され、図面における同様の符号が同様の要素を示す。
一実施形態によるネットワーク化システムを示すブロック図である。 実施形態に係る自動運転車両の一例を示すブロック図である。 図３Ａ～３Ｂは、一実施形態による、自動運転車両と共に使用される検知・計画システムの一例を示すブロック図である。 一実施形態による自動運転システムのアーキテクチャを示すブロック図である。 実施形態に係るセンサユニットの一例を示すブロック図である。 一実施形態による、自動運転車両におけるセンサ同期を検証するための例示的なシステムを示す。 一実施形態による自動運転車両における図６に示す例示的なシステムをさらに示す。 いくつかの実施形態による例示的な精度マップを示す図である。 一実施形態による、ターゲットオブジェクトを囲む例示的なバウンディングボックスを示す。 １つの実施形態による、自動運転車両におけるセンサ同期を検証するための例示的なプロセスを示す。

以下、図面を参照して本発明の実施の形態について説明する。以下の説明及び図面は本開示の説明であり、本開示を限定するものと解釈すべきではない。本開示の様々な実施形態の完全な理解を提供するために、多くの特定の詳細が記載されている。しかしながら、いくつかの場合において、本開示の実施形態の簡潔な説明を提供するために、周知の詳細または従来の詳細は記載されていない。

本明細書における「一実施形態」または「実施形態」への言及は、実施形態に関連して説明された特定の特徴、構造、または特性が、本開示の少なくとも１つの実施形態に含まれ得ることを意味する。本明細書の様々な箇所における「一実施形態では」という語句の出現は、必ずしも同一の実施形態を意味するものではない。

本開示は、センサ同期のオンラインシステムレベル検証のための様々な実施形態を記載する。一実施形態によれば、自動運転車両（ＡＤＶ）内のセンサ同期を分析する例示的な方法は、ＡＤＶに取り付けられた第１のセンサおよび第２のセンサから、ＡＤＶの周囲の対象物体を記述する生センサデータを取得するステップと、生センサデータから抽出されたタイムスタンプに従って、生センサデータに基づいて精度マップを生成するステップとを含む。この方法はまた、生のセンサデータを使用して、対象物体を取り囲む第１のバウンディングボックスおよび第２のバウンディングボックスを生成するステップと、第１のバウンディングボックスおよび第２のバウンディングボックスならびに精度マップを、１つまたは複数の予め構成されたセンサ設定に従って所定のアルゴリズムを使用して分析し、第１のセンサおよび第２のセンサが互いに同期しているかどうかを判定するステップとを含む。

一実施形態によれば、同期検証モジュールは、システムレベルで車載センサの同期性およびセンサデータ融合を検証するためにＡＤＶ内に設けられてもよい。ソフトウェアモジュールは、ＡＤＶ内のセンサシステムに結合され、解析のためにセンサシステムから生センサデータを取得することができる。生センサデータに基づいて、同期検証モジュールは、センサシステムによって検出されている対象物のタイプを検出し、生センサデータが互いに同期するために適切なタイムスタンプを有するかどうかを判定することができる。

一実施形態では、同期検証モジュールは、それぞれのタイムスタンプに基づいて異なるセンサデータの整列を示すように、各ターゲットオブジェクトについて精度マップを生成し、各タイプのセンサからのセンサデータについてターゲットオブジェクトを囲むバウンディングボックスを生成する。同期検証モジュールは、ターゲットオブジェクトのタイプが与えられた場合に、異なるセンサデータが所望の点に整列され、ターゲットオブジェクトを囲むバウンディングボックスが互いに一致するかどうかを判定することができる。バウンディングボックスは、バウンディングボックス内に任意の不一致領域が存在することが望ましいかどうかを決定するために、精度マップと照合して照合することができる。

［自動運転車両］
図１は、本開示の一実施形態による自動運転車両ネットワーク構成を示すブロック図である。図１を参照すると、ネットワーク構成１００は、ネットワーク１０２を介して１つまたは複数のサーバ１０３～１０４に通信可能に結合され得る自動運転車両１０１を含む。１つの自動運転車両が示されているが、複数の自動運転車両が、ネットワーク１０２を介して互いにおよび／またはサーバ１０３～１０４に接続されてもよい。ネットワーク１０２は、有線または無線ローカルエリアネットワーク（ＬＡＮ）、インターネットなどの広域ネットワーク（ＷＡＮ）、セルラーネットワーク、衛星ネットワーク、またはそれらの組み合わせなどの任意のタイプのネットワークであってもよい。サーバ１０３～１０４は、ネットワークまたはクラウドサーバ、アプリケーションサーバ、バックエンドサーバ、またはそれらの組み合わせのような任意のタイプのサーバまたはサーバクラスタとすることができる。サーバ１０３～１０４は、データ解析サーバ、コンテンツサーバ、交通情報サーバ、地図及び関心点（ＭＰＯＩ）サーバ、位置サーバ等であってもよい。

自動運転車両とは、車両が運転者からの入力をほとんど又は全く伴わずに環境を通って移動する自動運転モードにあるように構成することができる車両を指す。そのような自動運転車両は、車両の動作環境に関する情報を検出するように構成された１つ以上のセンサを有するセンサシステムを含むことができる。車両およびそれに関連する制御装置は、検出された情報を使用して環境をナビゲートする。自動運転車両１０１は、手動モード、全自動運転モード、または部分自動運転モードで運転することができる。

一実施形態では、自動運転車両１０１は、検知・計画システム１１０、車両制御システム１１１、無線通信システム１１２、ユーザインターフェースシステム１１３、およびセンサシステム１１５を含むが、これらに限定されない。自動運転車両１０１はまた、エンジン、車輪、ハンドル、トランスミッションなどの一般的な車両に含まれるいくつかの一般的な構成要素を含むことができ、これらの構成要素は、加速信号またはコマンド、減速信号またはコマンド、ターンシグナルまたはコマンド、制動信号またはコマンドなどのような様々な通信信号および／またはコマンドを用いて、車両制御システム１１１および／または検知・計画システム１１０によって制御されることができる。

コンポーネント１１０～１１５は、相互接続、バス、ネットワーク、またはそれらの組み合わせを介して互いに通信可能に結合されてもよい。例えば、コンポーネント１１０～１１５は、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）バスを介して互いに通信可能に結合されてもよい。ＣＡＮバスは、マイクロコントローラおよびデバイスがホストなしのアプリケーションにおいて互いに通信することを可能にするように設計された車両バス規格である。これは、最初は自動車内の多重化電気配線のために設計されたメッセージベースのプロトコルであったが、多くの他の環境においても使用されている。

ここで図２を参照すると、一実施形態において、センサシステム１１５は、 １つ以上のカメラ２１１、全地球測位システム（ＧＰＳ）ユニット２１２、慣性測定ユニット（ＩＭＵ）２１３、レーダユニット２１４、および光検出および距離測定（ＬＩＤＡＲ）ユニット２１５を含むが、これらに限定されない。ＧＰＳユニット２１２は、自動運転車両の位置に関する情報を提供するように動作可能なトランシーバを含むことができる。ＩＭＵユニット２１３は、慣性加速度に基づいて自動運転車両の位置および向きの変化を検知することができる。レーダユニット２１４は、無線信号を使用して車両を自動運転するローカル環境内の物体を検知するシステムを表すことができる。いくつかの実施形態では、レーダユニット２１４は、対象物を検知することに加えて、対象物の速度および／または進行方向を検知することができる。ＬＩＤＡＲユニット２１５は、自動運転車両が置かれる環境内の物体を検知するためにレーザを使用することができる。ＬＩＤＡＲユニット２１５は、他のシステム構成要素に加えて、１つ以上のレーザ光源、レーザスキャナ、および１つ以上の検出器を含むことができる。カメラ２１１は、自動運転車両の周囲の画像を取得するための１つ以上の手段を含むことができる。カメラ２１１は，スチルカメラやビデオカメラであってもよい。カメラは、例えば、カメラを回転及び／又は傾斜したプラットフォームに取り付けることによって、機械的に移動可能であってもよい。

センサシステム１１５はまた、ソナーセンサ、赤外線センサ、ステアリングセンサ、スロットルセンサ、ブレーキセンサ、およびオーディオセンサ（例えば、マイクロホン）などの他のセンサを含むことができる。オーディオセンサは、自動運転車両の周囲の環境から音を収集するように構成することができる。ステアリングセンサは、ステアリングホイール、車両の車輪、又はこれらの組み合わせのステアリング角度を検出するように構成することができる。アクセルセンサ及びブレーキセンサはそれぞれ車両のアクセル位置及びブレーキ位置を検出する。場合によっては、アクセルセンサおよびブレーキセンサは、統合型アクセルセンサ／ブレーキセンサとして統合されてもよい。

一実施形態では、車両制御システム１１１は、ステアリングユニット２０１、スロットルユニット２０２（アクセルユニットとも呼ばれる）、およびブレーキユニット２０３を含むが、これらに限定されない。ステアリングユニット２０１は，車両の向きや進行方向を調整するためのものである。スロットルユニット２０２は、車両の速度および加速度を制御するために、モータまたはエンジンの速度を制御するために使用される。ブレーキユニット２０３は，摩擦を付与して車両の車輪やタイヤを減速させることにより，車両を減速させる。なお、図２に示す各構成要素は、ハードウェア、ソフトウェア、またはそれらの組み合わせによって実現されてもよい。

再び図１を参照すると、無線通信システム１１２は、自動運転車両１０１と、装置、センサ、他の車両などの外部システムとの間の通信を可能にする。例えば、ワイヤレス通信システム１１２は、１つまたは複数のデバイスと直接ワイヤレス通信することができ、またはネットワーク１０２を介してサーバ１０３～１０４と通信するなど、通信ネットワークを介してワイヤレス通信することができる。ワイヤレス通信システム１１２は、他のコンポーネントまたはシステムと通信するために、任意のセルラー通信ネットワークまたはワイヤレスローカルエリアネットワーク（ＷＬＡＮ）、例えばＷｉＦｉを使用することができる。ワイヤレス通信システム１１２は、例えば、赤外線リンク、Ｂｌｕｅｔｏｏｔｈなどを使用して、デバイス（例えば、乗客のモバイルデバイス、ディスプレイデバイス、車両１０１内のスピーカ）と直接通信することができる。ユーザインターフェースシステム１１３は、例えば、キーボード、タッチスクリーン表示装置、マイクロホン、およびスピーカなどを含む、車両１０１内に実装された周辺装置の一部であってもよい。

自動運転車両１０１の機能の一部または全部は、特に自動運転モードで動作しているときに、検知・計画システム１１０によって制御または管理されてもよい。検知・計画システム１１０は、センサシステム１１５、制御システム１１１、無線通信システム１１２、および／またはユーザインターフェースシステム１１３から情報を受信し、受信した情報を処理し、出発地から目的地までの経路または経路を計画し、計画および制御情報に基づいて車両１０１を運転するために必要なハードウェア（例えば、プロセッサ、メモリ、記憶装置）およびソフトウェア（例えば、オペレーティングシステム、計画および経路スケジューリングプログラム）を含む。あるいは、検知・計画システム１１０は、車両制御システム１１１と統合されてもよい。

例えば、乗客であるユーザは、例えばユーザインターフェースを介して行程の開始位置及び目的地を指定することができる。検知・計画システム１１０は、行程関連データを取得する。例えば、検知及び計画システム１１０は、サーバ１０３～１０４の一部であってもよいＭＰＯＩサーバから位置及び経路情報を取得してもよい。位置サーバは、位置サービスを提供し、ＭＰＯＩサーバは、地図サービスおよび特定の位置のＰＯＩを提供する。あるいは、そのような位置およびＭＰＯＩ情報は、検知・計画システム１１０の永続的記憶装置内にローカルにキャッシュされてもよい。

自動運転車両１０１が経路に沿って移動する場合、検知及び計画システム１１０は交通情報システム又はサーバ（ＴＩＳ）からリアルタイム交通情報を取得することもできる。なお、サーバ１０３～１０４は、第三者エンティティによって操作されてもよい。あるいは、サーバ１０３～１０４の機能は、検知・計画システム１１０と統合されてもよい。リアルタイム交通情報、ＭＰＯＩ情報および位置情報、ならびにセンサシステム１１５によって検出または検知されたリアルタイムのローカル環境データ（例えば、障害物、物体、周辺車両）に基づいて、検知および計画システム１１０は、車両１０１を安全かつ効率的に指定された目的地に到達させるために、計画された経路に従って、例えば制御システム１１１を介して最適な経路を計画し、運転することができる。

サーバ１０３はデータ分析システムであってもよく、それにより様々なクライアントに対してデータ分析サービスを実行する。一実施形態では、データ分析システム１０３は、データ収集器１２１および機械学習エンジン１２２を含む。データ収集器１２１は、様々な車両（自動運転車両または人間の運転者によって運転される従来の車両）から運転統計データ１２３を収集する。運転統計データ１２３は、発行された運転指令（例えば、アクセル、ブレーキ、操舵指令）、および異なる時点で車両のセンサによって捕捉された車両の応答（例えば、速度、加速、減速、方向）を示す情報を含む。運転統計データ１２３は、例えば、出発地および目的地を含む経路、ＭＰＯＩ、道路状況、天気状況などのような、異なる時点での運転環境を記述する情報も含むことができる。

運転統計データ１２３に基づいて、様々な目的のために、機械学習エンジン１２２は、一連の規則、アルゴリズム、および／または予測モデル１２４を生成または訓練する。次いで、アルゴリズム１２４は、自動運転中にリアルタイムで使用するためにＡＤＶにアップロードすることができる。

図３Ａおよび３Ｂは、一実施形態による自動運転車両と共に使用される検知・計画システムの一例を示すブロック図である。システム３００は、限定ではないが、検知および計画システム１１０、制御システム１１１、およびセンサシステム１１５を含む、図１の自動運転車両１０１の一部として実装することができる。図３Ａ～図３Ｂを参照すると、検知および計画システム１１０は、測位モジュール３０１、検知モジュール３０２、予測モジュール３０３、決定モジュール３０４、計画モジュール３０５、制御モジュール３０６、およびルーティングモジュール３０７を含むが、これらに限定されない。

モジュール３０１～３０７の一部または全部は、ソフトウェア、ハードウェア、またはそれらの組み合わせで実装されてもよい。例えば、これらのモジュールは、永続的記憶装置３５２にインストールされ、メモリ３５１にロードされ、１つまたは複数のプロセッサ（図示せず）によって実行されてもよい。これらのモジュールの一部または全部は、図２の車両制御システム１１１のモジュールの一部または全部に通信可能に結合または統合されてもよいことに留意されたい。モジュール３０１～３０７のいくつかは、一緒に集積モジュールに集積されてもよい。

測位モジュール３０１は、自動運転車両３００の現在位置を決定し（例えば、ＧＰＳユニット２１２を使用して）、ユーザの行程または経路に関連する任意のデータを管理する。測位モジュール３０１（地図及びルートモジュールとも呼ばれる）はユーザの旅行又はルートに関連する任意のデータを管理する。ユーザは、例えば、ユーザインターフェースを介してログインし、移動の開始位置および目的地を指定することができる。測位モジュール３０１は、地図・経路情報３１１のような自動運転車両３００の他の構成要素と通信して、行程関連データを取得する。例えば、測位モジュール３０１は位置サーバ及び地図並びにＰＯＩ（ＭＰＯＩ）サーバから位置及び経路情報を取得することができる。位置サーバは、位置サービスを提供し、ＭＰＯＩサーバは、地図サービスおよび特定の位置のＰＯＩを提供して、地図・経路情報３１１の一部としてキャッシュすることができる。自動運転車両３００が経路に沿って移動する場合、測位モジュール３０１は交通情報システム又はサーバからリアルタイム交通情報を取得することもできる。

検知モジュール３０２は、センサシステム１１５によって提供されるセンサデータと、測位モジュール３０１によって取得される位置情報とに基づいて、周囲環境の検知を決定する。検知情報は、運転者が運転している車両の周囲で一般運転者が検知するものを示すことができる。検知は、例えば、オブジェクトの形態の車線構成、信号機、他の車両の相対位置、歩行者、建物、横断歩道、または他の交通関連標識（例えば、停止標識、許可標識）などを含むことができる。レーン構成は、例えば、レーンの形状（例えば、直線または曲線）、レーンの幅、道路内のレーン数、一方向または双方向レーン、合流または分岐レーン、退出レーンなどのような、１つまたは複数のレーンを記述する情報を含む。

検知モジュール３０２は、１つまたは複数のカメラによって取得された画像を処理および分析して、自動運転車両環境内の物体および／または特徴を識別するためのコンピュータ視覚システムまたはコンピュータ視覚システムの機能を含むことができる。オブジェクトは、交通信号、道路境界、他の車両、歩行者、および／または障害物などを含むことができる。コンピュータ視覚システムは、オブジェクト認識アルゴリズム、ビデオ追跡、および他のコンピュータ視覚技術を使用することができる。いくつかの実施形態では、コンピュータビジョンシステムは、環境マップを描画し、オブジェクトを追跡し、オブジェクトの速度などを推定することができる。検知モジュール３０２は、レーダーおよび／またはＬＩＤＡＲなどの他のセンサによって提供される他のセンサデータに基づいて対象物を検出することもできる。

各オブジェクトについて、予測モジュール３０３は、オブジェクトがこの場合どのように表現されるかを予測する。予測は、地図・経路情報３１１および交通ルール３１２のセットを考慮した時点で運転環境を検知する検知データに基づいて実行される。例えば、対象物が反対方向の車両であり、現在の走行環境が交差点を含む場合、予測モジュール３０３は、車両が直進または旋回する可能性があるかどうかを予測する。認識データが交差点に信号機がないことを示す場合、予測モジュール３０３は、交差点に入る前に車両が完全に停止する必要があると予測することができる。検知データが、車両が現在左折固有車線または右折固有車線にあることを示す場合、予測モジュール３０３は、車両がそれぞれ左折または右折する可能性が高いと予測することができる。

各オブジェクトについて、決定モジュール３０４は、オブジェクトをどのように処理するかについての決定を行う。例えば、決定モジュール３０４は、特定のオブジェクト（例えば、交差経路内の他の車両）と、オブジェクトを記述するメタデータ（例えば、速度、方向、方向転換角）とに対して、オブジェクトとどのように出会うか（例えば、追い越し、行き、停止、超過）を決定する。決定モジュール３０４は、交通ルールまたは運転ルール３１２のような、永続記憶装置３５２に記憶され得るルールセットに基づいて、そのような決定を行うことができる。

ルーティングモジュール３０７は、出発地から目的地までの１つまたは複数のルートまたは経路を提供するように構成される。出発地から目的地までの所与の行程、例えばユーザから受信した所与の行程について、ルーティングモジュール３０７は、地図・経路情報３１１を取得し、出発地から目的地までのすべての可能な経路または経路を決定する。ルーティングモジュール３０７は、出発地から目的地までの各ルートを決定する地形図の形態の基準線を生成することができる。基準線は、他の車両、障害物、または交通状況などの他の任意の干渉を受けない理想的な経路または経路を指す。すなわち、道路上に他の車両、歩行者、または障害物が存在しない場合、ＡＤＶは基準線に正確に追従しなければならない。地形図は、決定モジュール３０４および／または計画モジュール３０５に提供される。決定モジュール３０４および／または計画モジュール３０５は、測位モジュール３０１からの交通状況、検知モジュール３０２によって検知された運転環境、および予測モジュール３０３によって予測された交通状況など、他のモジュールによって提供された他のデータに基づいて最適なルートのうちの１つを選択および変更するために、全ての可能なルートを検査する。時点での特定の走行環境に依存して、ＡＤＶを制御するための実際の経路または経路は、ルーティングモジュール３０７によって提供される基準線に近いか、またはそれとは異なる。

検知されたオブジェクトの各々についての決定に基づいて、計画モジュール３０５は、ルーティングモジュール３０７によって提供された基準線に基づいて、車両の自動運転のための経路または経路および運転パラメータ（例えば、距離、速度、および／または旋回角）を計画する。言い換えると、所与のオブジェクトについて、決定モジュール３０４は、そのオブジェクトに対して何を行うかを決定し、計画モジュール３０５は、どのように行うかを決定する。例えば、所与のオブジェクトについて、決定モジュール３０４は、オブジェクトを超えることを決定することができ、計画モジュール３０５は、オブジェクトの左または右に超えることを決定することができる。計画および制御データは、車両３００が次の移動サイクル（例えば、次の経路／経路セグメント）でどのように移動するかを記述する情報を含む計画モジュール３０５によって生成される。例えば、計画及び制御データは、車両３００が毎時３０マイル（ｍｐｈ）の速度で１０メートル移動し、その後、２５ｍｐｈの速度で右側車線に変化することを示すことができる。

計画および制御データに基づいて、制御モジュール３０６は、車両制御システム１１１に適切なコマンドまたは信号を送信することによって、計画および制御データによって定義される経路または経路に従って車両を制御し、自動運転する。計画及び制御データは、経路又は経路に沿って異なる時点で適切な車両設定又は運転パラメータ（例えば、スロットル、ブレーキ、操舵指令）を使用して車両を経路又は経路の第１の地点から第２の地点まで運転するのに十分な情報を含む。

一実施形態では、計画段階は、複数の計画サイクル（運転サイクルとも呼ばれる）において、例えば、各時間間隔が１００ミリ秒（ｍｓ）のサイクルにおいて実行される。計画期間または運転期間のそれぞれについて、計画および制御データに基づいて１つまたは複数の制御コマンドが発行される。すなわち、計画モジュール３０５は、目標位置およびＡＤＶが目標位置に到達するのに必要な時間を含む次の経路セグメントまたは経路セグメントを１００ｍｓ毎に計画する。あるいは、計画モジュール３０５は、特定の速度、方向、および／または操舵角などを指定することもできる。一実施形態では、計画モジュール３０５は、次の所定の期間（例えば、５秒）の経路セグメントまたは経路セグメントを計画する。計画周期毎に、計画モジュール３０５は、前の周期で計画された目標位置に基づいて、現在の周期（例えば、次の５秒）の目標位置を計画する。次に、制御モジュール３０６は、現在のサイクルの計画および制御データに基づいて、１つまたは複数の制御コマンド（例えば、スロットル、ブレーキ、操舵制御コマンド）を生成する。

決定モジュール３０４および計画モジュール３０５は、統合モジュールとして統合することができることに留意されたい。決定モジュール３０４／計画モジュール３０５は、車両を自動的に運転するための運転経路を決定するためのナビゲーションシステムまたはナビゲーションシステムの機能を含むことができる。例えば、ナビゲーションシステムは、自動運転車両が最終目的地までの車道ベースの経路に沿って進む一方で、検知される障害物を実質的に回避する経路に沿って自動運転車両が移動することに影響を与えるための一連の速度及び進行方向を決定することができる。宛先は、ユーザインターフェースシステム１１３を介して行われるユーザ入力に基づいて設定することができる。ナビゲーションシステムは、自動運転車両が動作している間、運転経路を動的に更新することができる。ナビゲーションシステムは、ＧＰＳシステムおよび１つまたは複数のマップからのデータを統合して、車両を自動的に運転するための運転経路を決定することができる。

図４は、一実施形態による自動運転のためのシステムアーキテクチャを示すブロック図である。システムアーキテクチャ４００は、図３Ａおよび３Ｂに示すような自動運転システムのシステムアーキテクチャを表すことができる。図４を参照すると、システムアーキテクチャ４００は、限定されるものではないが、アプリケーション層４０１、計画及び制御（ＰＮＣ）層４０２、検知層４０３、ドライバ層４０４、ファームウェア層４０５、及びハードウェア層４０６を含む。アプリケーション層４０１は、例えば、ユーザインターフェースシステム１１３に関連する機能など、車両を自動運転するユーザまたは乗員と対話するユーザインターフェースまたは構成アプリケーションを含むことができる。ＰＮＣ層４０２は、少なくとも計画モジュール３０５および制御モジュール３０６の機能を含むことができる。検知層４０３は、少なくとも検知モジュール３０２の機能を含むことができる。一実施形態では、予測モジュール３０３および／または決定モジュール３０４の機能を含む追加のレイヤが存在する。あるいは、そのような機能は、ＰＮＣ層４０２および／または検知層４０３に含まれてもよい。システムアーキテクチャ４００はまた、ドライバ層４０４、ファームウェア層４０５、およびハードウェア層４０６を含む。ファームウェア層４０５は、少なくともセンサシステム１１５の機能を表すことができ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）の形態で実現することができる。ハードウェア層４０６は、制御システム１１１のような自動運転車両のハードウェアを表すことができる。層４０１～４０３は、デバイスドライバ層４０４を介してファームウェア層４０５およびハードウェア層４０６と通信することができる。

図５Ａは、本発明の一実施形態によるセンサシステムの一例を示すブロック図である。図５Ａを参照すると、センサシステム１１５は、複数のセンサ５１０と、ホストシステム１１０に結合されたセンサユニット３１４とを含む。ホストシステム１１０は、図３Ａおよび図３Ｂに示されるモジュールのうちの少なくともいくつかを含むことができる、上述の計画および制御システムを表す。センサユニット３１４は、ＦＰＧＡデバイス又はＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）デバイスの形態で実現することができる。一実施形態では、センサユニット３１４は、１つまたは複数のセンサ処理モジュール５０１（単にセンサ処理モジュールとも呼ばれる）、データ転送モジュール５０２、およびセンサ制御モジュールまたはロジック５０３を含む。モジュール５０１～５０３は、センサインターフェース５０４を介してセンサ５１０と通信することができ、ホストインターフェース５０５を介してホストシステム１１０と通信することができる。あるいは、内部または外部バッファ５０６を使用して、処理のためにデータをバッファリングすることができる。

一実施形態では、受信経路または上流方向のために、センサ処理モジュール５０１は、センサインターフェース５０４を介してセンサからセンサデータを受信し、バッファ５０６に一時的に記憶することができるセンサデータ（例えば、フォーマット変換、エラーチェック）を処理するように構成される。データ転送モジュール５０２は、ホストインターフェース５０５に適合する通信プロトコルを使用して、処理されたデータをホストシステム１１０に転送するように構成される。同様に、伝送路または下流方向について、データ転送モジュール５０２は、ホストシステム１１０からデータまたはコマンドを受信するように構成される。その後、データは、センサ処理モジュール５０１によって、対応するセンサに対応するフォーマットに処理される。処理されたデータは次にセンサに送信される。

一実施形態では、センサ制御モジュールまたはロジック５０３は、ホストインターフェース５０５を介してホストシステム（例えば、検知モジュール３０２）から受信したコマンドに応答して、例えば、センサデータを取り込むタイミングを起動するなど、センサ５１０の特定の動作を制御するように構成される。ホストシステム１１０は、センサデータが任意の時点で車両の周囲の運転環境を検知するために利用されることができるように、センサ５１０を協調的および／または同期的にセンサデータを捕捉するように構成することができる。

センサインターフェース５０４は、イーサネット（登録商標）、ＵＳＢ（ユニバーサルシリアルバス）、ＬＴＥ（ロングタームエボリューション）またはセルラー、ＷｉＦｉ、ＧＰＳ、カメラ、ＣＡＮ、シリアル（例えば、ユニバーサル非同期受信機送信機またはＵＡＲＴ）、ＳＩＭ（加入者識別モジュール）カード、および他のユニバーサル入出力（ＧＰＩＯ）インターフェースのうちの１つまたは複数を含むことができる。ホストインターフェース５０５は、ＰＣＩｅ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ ＩｎｔｅｒｃｏｎｎｅｃｔまたはＰＣＩ Ｅｘｐｒｅｓｓ）インターフェースなどの任意の高速または高帯域幅インターフェースであってよい。センサ５１０は、例えば、カメラ、ＬＩＤＡＲ装置、ＲＡＤＡＲ（レーダー）装置、ＧＰＳ受信機、ＩＭＵ、超音波センサ、ＧＮＳＳ（全地球航法衛星システム）受信機、ＬＴＥまたはセルラーＳＩＭカード、車両センサ（例えば、アクセル、ブレーキ、ステアリングセンサ）、およびシステムセンサ（例えば、温度、湿度、圧力センサ）などのような、車両を自動運転するための様々なセンサを含むことができる。

例えば、カメラは、イーサネット（登録商標）またはＧＰＩＯインターフェースを介して接続することができる。ＧＰＳセンサは、ＵＳＢまたは特定のＧＰＳインターフェースを介して結合されてもよい。車両センサは、ＣＡＮインターフェースを介して接続されてもよい。ＲＡＤＡＲセンサまたは超音波センサは、 ＧＰＩＯインターフェースを介して結合されてもよい。ＬＩＤＡＲデバイスは、イーサネットインターフェースを介して接続されてもよい。外部ＳＩＭモジュールは、 ＬＴＥインターフェースを介して接続することができる。同様に、内部ＳＩＭモジュールをセンサユニット３１４のＳＩＭスロットに挿入することができる。ＵＡＲＴのようなシリアルインターフェースは、デバッグ目的でコンソールシステムに接続することができる。

センサ５１０は、任意の種類のセンサであってもよく、様々なベンダまたはプロバイダによって提供されてもよいことに留意されたい。センサ処理モジュール５０１は、異なるタイプのセンサ、ならびにその対応するデータフォーマットおよび通信プロトコルを処理するように構成される。一実施形態によれば、センサ５１０の各々は、センサデータを処理し、処理されたセンサデータをホストシステム１１０と対応するセンサとの間で通信するための特定のチャネルに関連付けられる。各チャネルは、図５Ｂに示すように、対応するセンサデータおよびプロトコルを処理するように構成またはプログラムされた特定のセンサ処理モジュールおよび特定のデータ転送モジュールを含む。

図５Ｂを参照すると、センサ処理モジュール５０１Ａ～５０１Ｃは、具体的には、センサ５１０Ａ～５１０Ｃからそれぞれ取得されたセンサデータを処理するように構成される。なお、センサ５１０Ａ～センサ５１０Ｃは、同一のセンサであってもよいし、異なるセンサであってもよい。センサ処理モジュール５０１Ａ～センサ処理モジュール５０１Ｃは、異なるタイプのセンサのための異なるセンサプロセスを処理するように構成（例えば、ソフトウェア構成）することができる。例えば、センサ５１０Ａがカメラである場合、処理モジュール５０１Ａは、カメラ５１０Ａによって撮影された画像を表す特定のピクセルデータに対してピクセル処理動作を実行するように構成され得る。同様に、センサ５１０ＡがＬＩＤＡＲデバイスである場合、処理モジュール５０１Ａは、ＬＩＤＡＲデータを具体的に処理するように構成される。すなわち、一実施形態によれば、その対応する処理モジュールは、特定のセンサの特定のタイプに応じて、センサデータのタイプに対応する特定のプロセスまたは方法を使用して、対応するセンサデータを処理するように構成することができる。

同様に、異なる種類のセンサデータは、異なる速度またはタイミング要件を必要とする異なるサイズまたは感度を有し得るので、データ転送モジュール５０２Ａ～５０２Ｃは、異なるモードで動作するように構成され得る。一実施形態によれば、データ転送モジュール５０２Ａ～５０２Ｃの各々は、低遅延モード、高帯域幅モード、および固定メモリモードとも呼ばれるメモリモードのうちの１つで動作するように構成することができる。

低遅延モードで動作しているとき、一実施形態によれば、データ転送モジュール（例えば、データ転送モジュール５０２）は、センサから受信したセンサデータを、遅延なしに、または遅延が最小限で、できるだけ早くホストシステムに送信するように構成される。センサデータのいくつかはタイミングに非常に敏感であり、できるだけ早く処理する必要がある。このようなセンサデータとしては、例えば、車速、加速度、舵角等の車両状態が挙げられる。

高帯域幅モードで動作するとき、一実施形態によれば、データ転送モジュール（例えば、データ転送モジュール５０２）は、センサから受信したセンサデータを所定量まで蓄積するが、データ転送モジュールとホストシステム１１０との間の接続の帯域幅内にあるように構成される。蓄積されたセンサデータは、データ転送モジュールとホストシステム１１０との間の接続の帯域幅が最大であるバッチをホストシステム１１０に転送するために転送される。一般に、大量のセンサデータを生成するセンサには、高帯域幅モードが使用される。そのようなセンサデータの例は、カメラピクセルデータを含む。

メモリモードで動作するとき、一実施形態によれば、データ転送モジュールは、共有メモリページと同様に、センサから受信したセンサデータをホストシステム１１０のマッピングメモリのメモリ位置に直接書き込むように構成される。メモリモードを使用して送信されるセンサデータの例は、温度、ファン速度などのシステム状態データを含む。

多項式最適化または多項式フィットという用語は、多項式関数（例えば、５次または４次の多項式関数）によって表される曲線の形状（この例では、軌跡）が、曲線に沿って連続的になるように（例えば、２つの隣接するセグメントの接続部の導関数が利用可能になるように）最適化されることを意味する。自動運転分野では、始点から終点までの多項式曲線を複数のセグメント（又はセグメント）に分割し、各セグメントはいずれも一つの制御点（又は基準点）に対応する。この区分多項式曲線を区分多項式と呼ぶ。セグメント化多項式を最適化する場合、初期状態制約および最終状態制約のセットに加えて、２つの隣接セグメント間の結合制約のセットおよび境界制約のセットを満たす必要がある。

１組の結合制約は、位置（ｘ、ｙ）、速度、進行方向を含み、隣接セグメントの加速度は同一でなければならない。例えば、第１のセグメント（例えば、前セグメント）の終了位置と第２のセグメント（例えば、後セグメント）の開始位置とは、同一であるか、又は所定の近接範囲内になければならない。第１セグメントの終了位置の速度、進行方向及び加速度、並びに第２セグメントの開始位置のそれぞれの速度、進行方向及び加速度は、同一であるか又は所定の範囲内でなければならない。さらに、各制御点は、所定の境界（例えば、制御点の左右０．２メートル）に関連付けられている。多項式曲線は、対応する境界内の各制御点を通過しなければならない。最適化中に２組の制約が満たされる場合、軌道を表す多項式曲線は滑らかで連続的であるべきである。
センサ同期性検証

図６は、一実施形態による、自動運転車両におけるセンサ同期を検証するための例示的なシステム６００を示す。

図６に示すように、センサ同期検証モジュール６０２は、ホストインターフェース５０５を介してセンサ５１０によって収集された生センサデータを受信することができる。上述したように、ホストシステム１１０は、センサデータが任意の時点で車両の周囲の運転環境を検知するために利用されることができるように、センサ５１０を協調的および／または同期的にセンサデータを捕捉するように構成することができる。センサ同期検証モジュール６０２によって受信されるセンサデータは、周囲の物体および環境を検出するためにホストシステム１１０によって使用されるセンサデータと同じであってもよい。

センサシステム１１５は、ハードウェアセンサ５１０と、センサ５１０によって収集されたセンサデータを送信、処理、管理、および同期するためのソフトウェアコンポーネントおよびハードウェアコンポーネントとを含む。したがって、センサ同期検証モジュール６０２は、センサシステム１１５からのセンサデータ同期を検証する際に、システムレベルでセンサデータ同期を検証することができる。任意のセンサ５１０からのセンサデータが１つまたは複数の他のセンサと非同期である場合、センサ同期検証モジュールは、１つまたは複数の所定の閾値に基づいて、センサシステム１１５がエラーに遭遇したと判定することができる。このエラーは、センサシステムが改良を必要とすることをユーザが視覚的に判断するために、グラフィカルユーザインターフェース６０５上に様々なグラフ、図およびチャートとして表示されてもよい。

図７は、１つの実施形態による、自動運転車両におけるセンサ同期を検証するための例示的なシステム６００をさらに示す。

図７に示すように、センサ同期検証モジュール６０２は、センサユニット３１４からの生センサデータ７０１を検証するためのアルゴリズムを実装することができる。本明細書で使用されるように、一実施形態では、同期センサデータは、センサ５１０からデータポイントのセットを受信することと、データポイントのセットに１つまたは複数のタイムスタンプ値を割り当てることと、データポイントのセットおよび割り当てられたタイムスタンプ値を、特定の期間にわたるデータポイントのセットを表す集約センサデータセットに集約することとを含む。

センサユニット３１４からの生センサデータ７０１は、同期センサデータであってもよい。センサ同期検証モジュール６０２は、所定のアルゴリズムを用いて同期したセンサデータを分析することによって、センサが同期していると判断することができる。

図７にさらに示すように、センサ同期検証モジュール６０２は、失われたセンサデータの発見、エラーデータの検出、およびこれらの２つのデータの修復を含む生センサデータ７０１を前処理７０７することができる。次に、センサ同期検証モジュール６０２は、複数のセンサからのセンサデータを使用して、バウンディングボックスを生成する７０９ことができる。例えば、センサ同期検証モジュール６０２は、カメラからのセンサデータを使用してターゲットオブジェクトの周囲の２Ｄバウンディングボックスを生成し、ＬｉＤＡＲデバイスからのセンサデータを使用してターゲットオブジェクトの周囲の３Ｄバウンディングボックスを生成するために、複数の現在のスレッドのうちの１つ上で一組の命令を実行することができる。

センサ同期検証モジュール６０２は、タイムスタンプ処理ユニット７０３を使用して生センサデータからタイムスタンプを抽出し、生センサデータから抽出されたタイムスタンプから生センサデータに基づいて７０５の精度マップを生成するために、複数の同時スレッドのうちの別のスレッド上で別のセットの命令を実行することができる。

一実施形態では、精度マップは、ＬｉＤＡＲ装置からのセンサデータおよびローリングシャッターカメラからのセンサデータを示すことができる。精度マップは、カメラによって取り込まれた画像を表すことができ、ＬｉＤＡＲ装置の垂直走査線、ローリングシャッターカメラの水平走査線、およびＬｉＤＡＲ装置とカメラとの間の取り込みタイムスタンプの差異を示すことができる。

ローリングシャッターカメラとしては、被写体の画像フレームを１ラインずつ露光するものがある。露光回数は画像フレーム内のライン数に等しい。各フレームラインは、画像フレーム内のピクセルの行を表す。フレームラインは、一定（例えば、３ミリ秒）のオフセットを有する等間隔の平行ラインとすることができる。カメラはまた、所与のトリガ信号と画像取り込みとの間の遅延を示すトリガ遅延パラメータを有してもよい。トリガ遅延は、正、ゼロ、または負であってもよい。トリガ遅延がゼロである場合、カメラは、トリガ信号の直後に測定板画像の第１のフレームラインの取り込みを開始する。トリガ遅延が負である場合、カメラは、トリガ信号の前に測定板画像の第１のフレームラインの取り込みを開始することができる。トリガ遅延が正である場合、カメラは、トリガ遅延によって指定された時間遅延の後に測定板画像の第１のフレームラインの取り込みを開始することができる。

一実施形態では、カメラとＬｉＤＡＲ装置は位置合わせされ、カメラの画像中心は、ＬｉＤＡＲ装置の視野（ＦＯＶ）中心と一致する。ＬｉＤＡＲ装置のＦＯＶもカメラの画像中心も固定してもよい。したがって、デフォルトでは、ＬｉＤＡＲ装置とカメラは、カメラの画像の中心で同期している。しかしながら、センサ構成７０２は、ＬｉＤＡＲデバイスが検出しているターゲットオブジェクトのタイプに基づいて、ＬｉＤＡＲデバイスとカメラとの同期が必要な位置を構成することができる。ＡＤＶがリアルタイム環境を移動している間、センサ構成７０２は、ホストシステム１１０によって動的に変更され得る。

一実施形態では、センサ構成７０２は、カメラとＬｉＤＡＲ装置との間の同期点がセンサ構成７０２に指定されたターゲット領域と一致するように、ＬｉＤＡＲ装置のターゲット領域およびカメラの対応するトリガ遅延を指定することができる。

例えば、リアルタイム運転では、自動運転車両１０１が赤色信号機で待機しているとき、ＬｉＤＡＲ装置の目標領域は、カメラの画像の中心より上にあることができる。ＬｉＤＡＲ装置が他の車両を検出しているとき、ＬｉＤＡＲ装置のターゲット領域は、カメラの画像の中心に位置してもよい。

カメラのフレームライン間に所与のトリガ遅延及び／又は所与の時間オフセットがある場合、カメラは、ターゲットオブジェクトの特定の領域でＬｉＤＡＲ装置の走査ラインを異なる時点で捕捉することができる。カメラがＬｉＤＡＲ走査線を取り込む領域は、ＬｉＤＡＲ装置とカメラが同時に対象物のデータを取り込む同期点である。

一実施形態では、センサ同期検証モジュール６０２は、動的に変化するセンサ構成７０２に基づいてＬｉＤＡＲ装置とカメラとが所望の目標領域で同期しているかどうかを判定するために、精度マップの分析７１１を実行するために分析コンポーネントを呼び出すことができる。

例えば、分析コンポーネントは、学習されたニューラルネットワークを使用してパターン認識および分類を行うことができる。訓練されたニューラルネットワークはまた、２Ｄバウンディングボックスと３Ｄバウンディングボックスとが互いに一致するかどうかを検証し、一致しない場合、センサ構成７０２に基づいて、一致しない部分が望ましいかどうかを検証することができる。さらに、ニューラルネットワークモデルは、バウンディングボックスと精度マップとを比較して、バウンディングボックス間の任意の不一致部分が精度マップ上の領域に対応するかどうかを判定することができ、ＬｉＤＡＲ装置の走査ラインとカメラのフレームラインとの間のキャプチャタイムスタンプに差がある。要約分析の最終結果７１３は、グラフィカルユーザインターフェース６０５に表示することができる。

図８は、いくつかの実施形態による例示的な精度マップを示す図である。

図８Ａにおいて、例示的な精度グラフは、センサＡの走査線８１０、センサＢのフレーム線８０２の分布、およびセンサＡの走査線とセンサＢのフレーム線との間のキャプチャタイムスタンプの差異を示す。センサＡはＬＩＤＡＲ装置であってもよく、センサＢはローリングシャッターカメラであってもよい。精度マップは、センサＢによって取り込まれた画像であってもよい。この例では、センサＡは、垂直走査線８１０を生成するために左から右への水平走査を実行するように構成され、センサＢは、水平フレーム線８０２を生成するために上から下への垂直走査を実行するように構成される。２つの隣接するＬｉＤＡＲ走査線の間に所与の時間オフセット（例えば、５ミリ秒）が存在してもよい。同様に、２つの隣接するカメラフレームライン間には、所与の時間オフセット（例えば、６ミリ秒）が存在し得る。

センサＡとセンサＢとは互いに位置合わせされており、センサＡの視野中心とセンサＢの画像中心とが一致している。したがって、デフォルトでは、センサＡとセンサＢは、センサＢの画像の中心で同期している。しかし、センサＢのトリガ遅延パラメータを調整することによって、センサＡとセンサＢとを、対象領域（すなわち、関心領域またはＲＯＩ）に応じて、センサＢの画像の中心より上または下の位置で同期させることができる。

例えば、図８Ａでは、対象領域はセンサＢの画像の中央にある。リアルタイム走行環境では、このような状況は、センサＡが、自己ＡＤＶに搭載されたセンサＡとほぼ同じ高さの対象物体（例えば、他の車両または他の物体）を走査しているときに起こり得る。したがって、センサＡとセンサＢとの間の同期点８１１は、センサＢの画像の中心に位置することができる。

図８Ａにさらに示されるように、領域Ｃ８０５において、センサＡとセンサＢとの間のキャプチャタイムスタンプ差は、ｔ０～ｔ１ミリ秒の範囲内であり得る。一例では、同期点８１１において、センサＡおよびセンサＢは同時にターゲットオブジェクトを捕捉することができ、キャプチャタイムスタンプの差は０であり、領域Ｃ８０５の他の部分において、センサＡとセンサＢとの間のキャプチャタイムスタンプの差は、ｔ１ミリ秒までずれることができる。

画像の中心から離れるほど、センサＡとセンサＢとの間の取り込みタイムスタンプの差が大きくなる。例えば、領域Ａ８０１および領域Ｅ８０９では、キャプチャタイムスタンプ差はｔ２～ｔ３ミリ秒であり、領域Ｂ８０３および領域Ｄ８０７では、キャプチャタイムスタンプ差はｔ１～ｔ２ミリ秒である。

図８Ｂでは、図８Ａと同じセンサＡとセンサＢが、センサＢの画像の中央より下の２００個のカメラフレームラインである同期点８２３で同期している。したがって、領域Ｉ８１７では、キャプチャタイムスタンプ差異はｔ０～ｔ１ミリ秒である。同期ポイント８２３からより離れた領域は、タイムスタンプ差異を捕捉することに関してより大きな差異を有することができる。例えば、領域Ｈ８１６及び領域Ｊ８１９では、キャプチャタイムスタンプ差はｔ１～ｔ２ミリ秒であり、領域Ｇ８１５及び領域Ｋ８２１では、キャプチャタイムスタンプ差はｔ２～ｔ３ミリ秒であり、領域Ｆ８１３では、キャプチャタイムスタンプ差はｔ３～ｔ４ミリ秒である。

図９は、一実施形態による、ターゲットオブジェクトを囲む例示的なバウンディングボックスを示す。

例示的な例では、ターゲットオブジェクト８２４を囲む２ＤバウンディングボックスＡＢＣＤ８２５は、カメラからのセンサデータに基づいて生成することができ、ターゲットオブジェクト８２４を囲む３ＤバウンディングボックスＥＦＧＨＩＪＫＬ８２６は、ＬｉＤＡＲデバイスからのセンサデータに基づいて生成することができる。

一実施形態では、検証モジュール６０２などのセンサ同期検証モジュールは、１組のセンサデータを使用して、バウンダリボックス８２５およびバウンダリボックス８２６ならびに図８Ａの精度マップを作成することができる。したがって、センサ同期検証モジュールは、バウンダリボックス８２５とバウンダリボックス８２６とを精度マップと比較して、図８Ａに示されているキャプチャタイムスタンプ差異によって不一致部分（例えば、領域Ｍ８２７）が解釈できるかどうかを判定することができる。不一致部分が、有意なタイムスタンプ差を有する１つまたは複数の領域に対応する場合、センサ同期検証モジュールは、ＬｉＤＡＲデバイスとカメラとが同期していると判断することができる。

図１０は、一実施形態による、自動運転車両におけるセンサ同期を検証するための例示的なプロセス１０００を示す。プロセス１０００は、ソフトウェア、ハードウェア、またはそれらの組み合わせを含むことができる処理ロジックによって実行することができる。例えば、プロセス１０００は、図６および図７に示すセンサ同期検証モジュール６０２によって実行されてもよい。

図１０を参照すると、操作１００１において、処理ロジックは、ＡＤＶの周囲の対象物体を記述する生センサデータを、ＡＤＶ上に取り付けられた第１のセンサおよび第２のセンサから取得する。オペレーション１００２において、処理ロジックは、生センサデータから抽出されたタイムスタンプに基づいて、生センサデータに基づく精度マップを生成する。オペレーション１００３において、処理ロジックは、生のセンサデータを使用して、ターゲットオブジェクトを囲む第１のバウンディングボックスおよび第２のバウンディングボックスを生成する。動作１００４において、処理ロジックは、第１および第２のセンサが互いに同期しているかどうかを決定するために、１つまたは複数の予め構成されたセンサ設定に従って、所定のアルゴリズムを使用して第１および第２のバウンディングボックスならびに精度マップの分析を実行する。

上述の構成要素の一部または全部は、ソフトウェア、ハードウェア、またはそれらの組み合わせで実装されてもよいことに留意されたい。例えば、そのような構成要素は、永久記憶装置にインストールされて記憶されたソフトウェアとして実装されてもよく、プロセッサ（図示せず）によってメモリにロードされて実行されて、本明細書に記載のプロセスまたは動作を実行してもよい。あるいは、そのようなコンポーネントは、アプリケーションからの対応するドライバおよび／またはオペレーティングシステムを介してアクセス可能な、集積回路（例えば、特定用途向け集積回路またはＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、またはフィールドプログラマブルゲートアレイ（ＦＰＧＡ）などの特定用途向けハードウェアにプログラムされた、または組み込まれた実行可能コードとして実装されてもよい。さらに、そのようなコンポーネントは、１つまたは複数の特定の命令を介してソフトウェアコンポーネントによってアクセス可能な命令セットの一部として、プロセッサまたはプロセッサコア内の特定のハードウェアロジックとして実装することができる。

上述の詳細な説明の一部は、コンピュータメモリ内のデータビットの演算のアルゴリズムおよび記号表現に基づいて提示されている。これらのアルゴリズム記述および表現は、データ処理分野の当業者が、それらの仕事を当業者に最も効率的に伝えるために使用される方法である。本明細書では、アルゴリズムは、一般に、所望の結果をもたらす自律的動作シーケンスであると考えられる。これらの操作は，物理量を物理的に操作する必要がある操作である。

しかしながら、これらの用語および類似の用語はすべて、適切な物理量との関連を意図しており、これらの量に適用される便宜的な指標に過ぎないことに留意されたい。上記の説明において特に明記しない限り、添付の特許請求の範囲に記載された用語のような用語を用いて行われる説明は、コンピュータシステムのレジスタおよびメモリ内の物理的（電子的）量として表されたデータを操作し、コンピュータシステムのメモリまたはレジスタまたは他のこのような情報記憶装置、伝送または表示装置内の同様に物理的量として表された他のデータにデータを変換するコンピュータシステムまたは同様の電子計算装置の動作および処理を意味することを理解されたい。

本開示の実施形態は、本明細書の動作を実行するための装置にも関する。このようなコンピュータプログラムは，非一時的なコンピュータ可読媒体に格納される。機械可読媒体は、機械（例えば、コンピュータ）によって読み取り可能な形態で情報を記憶するための任意の機構を含む。例えば、機械可読（例えば、コンピュータ可読）媒体は、機械可読記憶媒体（例えば、読み出し専用メモリ（「ＲＯＭ」）、ランダムアクセスメモリ（「ＲＡＭ」）、磁気ディスク記憶媒体、光記憶媒体、フラッシュメモリ装置）を含む。

上述の図面に示されたプロセスまたは方法は、ハードウェア（例えば、回路、専用ロジックなど）、ソフトウェア（例えば、非一時的なコンピュータ可読媒体上に実装される）、またはその両方の組み合わせを含む処理ロジックによって実行されてもよい。プロセスまたは方法は、いくつかの順序の動作に基づいて上述したが、動作のいくつかは、異なる順序で実行されてもよいことを理解されたい。さらに、いくつかの動作は、連続して実行されるのではなく、並行して実行されてもよい。

本開示の実施形態は、いかなる特定のプログラミング言語にも関連して記載されていない。本明細書に記載の本開示の実施形態の教示は、様々なプログラミング言語を使用して実施することができることを理解されたい。

以上、特定の実施形態を参照しながら、本発明について詳解してきた。添付の特許請求の範囲に記載された本開示のより広い趣旨および範囲から逸脱することなく、本発明に様々な変更を行うことができることは明らかである。したがって、本明細書および図面は、限定ではなく例示的な意味で理解されるべきである。

Claims (22)

1. 自動運転車両におけるセンサ同期性を分析する、コンピュータにより実施される方法であって、
   前記自動運転車両に搭載された第１のセンサおよび第２のセンサから、前記自動運転車両の周囲の対象物体を示す生センサデータを取得するステップと、
   前記生センサデータと、前記生センサデータから抽出された前記第１のセンサの第１のタイムスタンプと前記第２のセンサの第２のタイムスタンプとに基づいて、精度マップを生成するステップであって、前記精度マップは、前記第１のセンサにより取り込まれた画像において前記第１のセンサと前記第２のセンサとの間の取り込みタイムスタンプの差異が示されたマップである、ステップと、
   前記生センサデータを用いて前記対象物体を囲む第１のバウンディングボックス及び第２のバウンディングボックスを生成するステップであって、前記第１のバウンディングボックスは、前記第１のセンサからの第１の生センサデータに基づいて生成されたバウンディングボックスであり、前記第２のバウンディングボックスは、前記第２のセンサからの第２の生センサデータに基づいて生成されたバウンディングボックスである、ステップと、
   １つまたは複数の予め構成されたセンサ設定に基づいて、所定のアルゴリズムを使用して、第１のバウンディングボックスおよび第２のバウンディングボックスならびに精度マップを分析して、前記第１のタイムスタンプ及び前記第２のタイムスタンプの差異と、前記第１のバウンディングボックス及び前記第２のバウンディングボックスの間の不一致の部分とを比較した結果に応じて、前記第１のセンサおよび前記第２のセンサが互いに同期しているかどうかを判定するステップと、
   を含む、方法。
2. 前記第１のセンサはカメラであり、前記第２のセンサは光検出及び測距装置である、請求項１に記載の方法。
3. 前記１つ又は複数の予め配置されたセンサ配置は、前記カメラの走査方向及び前記光検出及び測距装置の走査方向を含む、請求項２に記載の方法。
4. 前記判定するステップは、
   それぞれの取得タイムスタンプに基づいて、前記カメラからの第１の生センサデータと、前記光検出及び測距装置からの第２の生センサデータとが、所定の同期点で互いに一致しているか否かを判定するステップ、を含む、
   請求項２に記載の方法。
5. 前記同期点は、ターゲットオブジェクトのタイプに基づいて決定される、請求項４に記載の方法。
6. 前記第１のバウンディングボックスは、前記カメラからの第１の生センサデータに基づいて生成された２Ｄバウンディングボックスであり、前記第２のバウンディングボックスは、前記光検出及び測距装置からの第２の生センサデータに基づいて生成された３Ｄバウンディングボックスである、請求項２に記載の方法。
7. 前記判定するステップは、
   前記第１のバウンディングボックスと前記第２のバウンディングボックスとが一致するか否かを判定するステップを含む、
   請求項２に記載の方法。
8. コンピュータ指令を記録した非一時的コンピュータ可読媒体であって、
   前記コンピュータ指令は、プロセッサに実行されると、自動運転車両に搭載された第１のセンサおよび第２のセンサから、前記自動運転車両の周囲の対象物体を示す生センサデータを取得するステップと、
   前記生センサデータから抽出された前記第１のセンサの第１のタイムスタンプと前記第２のセンサの第２のタイムスタンプとに基づいて、前記生センサデータに基づく精度マップを生成するステップであって、前記精度マップは、前記第１のセンサにより取り込まれた画像において前記第１のセンサと前記第２のセンサとの間の取り込みタイムスタンプの差異が示されたマップである、ステップと、
   前記生センサデータを用いて前記対象物体を囲む第１のバウンディングボックス及び第２のバウンディングボックスを生成するステップであって、前記第１のバウンディングボックスは、前記第１のセンサからの第１の生センサデータに基づいて生成されたバウンディングボックスであり、前記第２のバウンディングボックスは、前記第２のセンサからの第２の生センサデータに基づいて生成されたバウンディングボックスである、ステップと、
   １つまたは複数の予め構成されたセンサ設定に基づいて、所定のアルゴリズムを使用して、第１のバウンディングボックスおよび第２のバウンディングボックスならびに精度マップを分析して、前記第１のタイムスタンプ及び前記第２のタイムスタンプの差異と、前記第１のバウンディングボックス及び前記第２のバウンディングボックスの間の不一致の部分とを比較した結果に応じて、前記第１のセンサおよび前記第２のせンサが互いに同期しているかどうかを判定するステップと、
   を含む動作をプロセッサに実行させる、非一時的コンピュータ可読媒体。
9. 前記第１のセンサはカメラであり、前記第２のセンサは光検出及び測距装置である、請求項８に記載の非一時的コンピュータ可読媒体。
10. 前記１つ又は複数の予め設定されたセンサ配置は前記カメラの走査方向及び前記光検出及び測距装置の走査方向を含む、請求項９に記載の非一時的コンピュータ可読媒体。
11. 前記判定するステップは、
    それぞれの取得タイムスタンプに基づいて、前記カメラからの第１の生センサデータと、前記光検出及び測距装置からの第２の生センサデータとが、所定の同期点で互いに一致しているか否かを判定するステップを含む、
    請求項９に記載の非一時的コンピュータ可読媒体。
12. 前記同期点は、前記対象物体のタイプに基づいて決定される、請求項１１に記載の非一時的コンピュータ可読媒体。
13. 前記第１のバウンディングボックスは、前記カメラからの第１の生センサデータに基づいて生成された２Ｄバウンディングボックスであり、前記第２のバウンディングボックスは、前記光検出及び測距装置からの第２の生センサデータに基づいて生成された３Ｄバウンディングボックスである、
    請求項９に記載の非一時的コンピュータ可読媒体。
14. 前記判定するステップは、
    前記第１のバウンディングボックスと前記第２のバウンディングボックスとが一致するか否かを判定することを更に含む、
    請求項９に記載の非一時的コンピュータ可読媒体。
15. データ処理システムであって、
    プロセッサと、前記プロセッサに接続され、指令を記憶するメモリとを備え、
    前記指令は前記プロセッサによって実行されると、
    自動運転車両に搭載された第１のセンサおよび第２のセンサから、前記自動運転車両の周囲の対象物体を示す生センサデータを取得するステップと、
    前記生センサデータから抽出された前記第１のセンサの第１のタイムスタンプと前記第２のセンサの第２のタイムスタンプとに基づいて、前記生センサデータに基づく精度マップを生成するステップであって、前記精度マップは、前記第１のセンサにより取り込まれた画像において前記第１のセンサと前記第２のセンサとの間の取り込みタイムスタンプの差異が示されたマップである、ステップと、
    前記生センサデータを用いて前記対象物体を囲む第１のバウンディングボックス及び第２のバウンディングボックスを生成するステップであって、前記第１のバウンディングボックスは、前記第１のセンサからの第１の生センサデータに基づいて生成されたバウンディングボックスであり、前記第２のバウンディングボックスは、前記第２のセンサからの第２の生センサデータに基づいて生成されたバウンディングボックスである、ステップと、
    １つまたは複数の予め構成されたセンサ設定に基づいて、所定のアルゴリズムを使用して、第１のバウンディングボックスおよび第２のバウンディングボックスならびに精度マップを分析して、前記第１のタイムスタンプ及び前記第２のタイムスタンプの差異と、前記第１のバウンディングボックス及び前記第２のバウンディングボックスの間の不一致の部分とを比較した結果に応じて、前記第１のセンサおよび前記第２のセンサが互いに同期しているかどうかを判定するステップと、
    を含む動作を前記プロセッサに実行させる、データ処理システム。
16. 前記第１のセンサはカメラであり、前記第２のセンサは光検出及び測距装置である、請求項１５に記載のシステム。
17. 前記１つ又は複数の予め配置されたセンサ配置は前記カメラの走査方向及び前記光検出及び測距装置の走査方向を含む、請求項１６に記載のシステム。
18. 前記判定するステップは、
    それぞれの取得タイムスタンプに基づいて、前記カメラからの第１の生センサデータと、前記光検出及び測距装置からの第２の生センサデータとが、所定の同期点で互いに一致しているか否かを判定するステップを含む、
    請求項１６に記載のシステム。
19. 前記同期点は、前記対象物体のタイプに基づいて決定される、請求項１８に記載のシステム。
20. 前記第１のバウンディングボックスは、前記カメラからの第１の生センサデータに基づいて生成された２Ｄバウンディングボックスであり、前記第２のバウンディングボックスは、前記光検出及び測距装置からの第２の生センサデータに基づいて生成された３Ｄバウンディングボックスである、請求項１３に記載のシステム。
21. 前記判定するステップは、
    前記第１のバウンディングボックスと前記第２のバウンディングボックスとが一致するか否かを判定するステップを含む、
    請求項１６に記載のシステム。
22. コンピュータプログラムであって、プロセッサに、請求項１～７の何れか一項に記載の方法を実行させるコンピュータプログラム。