JP2020201629A

JP2020201629A - 移動体外部環境認識装置

Info

Publication number: JP2020201629A
Application number: JP2019106940A
Authority: JP
Inventors: 大介堀籠; Daisuke Horigome; 大輔濱野; Daisuke Hamano
Original assignee: Mazda Motor Corp
Current assignee: Mazda Motor Corp
Priority date: 2019-06-07
Filing date: 2019-06-07
Publication date: 2020-12-17
Anticipated expiration: 2039-06-07
Also published as: EP3958223A4; JP7306076B2; CN113874920A; US20220230489A1; US11861956B2; EP3958223A1; WO2020246104A1

Abstract

【課題】移動体外部環境認識装置において、イベント発生時の外部環境の検証を、信頼性高く実現可能にする。【解決手段】移動体外部環境認識装置１において、画像処理部１０によって当該移動体の外部環境を映す映像データが生成され、この映像データを用いて、当該移動体の周囲の物標を示す物標データが生成される。所定のイベントが発生したとき、制御部３０は、生成した物標データを記録装置３５に記録し、画像処理部１０は、記録装置３５に記録された物標データに対応する映像データを記録装置１５に記録する。タイムスタンプ生成部４０は、記録された物標データおよび映像データに同一のタイムスタンプを付与する。【選択図】図１

Description

ここに開示する技術は、車両やロボット等の移動体の外部環境を認識する装置に関するものであり、特に、イベントが発生した時の外部環境を表すデータを記録する技術に関する。

特許文献１，２は、いわゆるドライブレコーダに関する技術を開示している。特許文献１は、車載用動画像データ記録装置を開示している。この構成では、通常走行時は、カメラが撮像した動画像データを通常画質によって記録し、一方、事故発生直前直後は、高画質によって動画像データを記録する。特許文献２は、車両の周辺から収集されるマルチメディアデータを保存する装置に用いるＦＡＴ（File Allocation Table）ファイルシステムについて、開示している。

特開２０１３−８０５１８号公報特表２０１７−５０３３００号公報

例えば、車両の自動運転システムでは、一般に、車両に設けられたカメラによって車両周辺の状況を映す映像データを取得し、取得した映像データに基づいて、車両の外部環境を認識する装置が設けられる。車両以外でも、例えばロボット等のような自律移動体では、移動体に設けられたカメラの出力から、外部環境を認識する装置が設けられる。

このような装置では、映像データから、当該移動体の周囲の物標を示す物標データが生成される場合がある。イベントが発生した際に、映像データとともに、この物標データを記録することによって、ドライブレコーダとしての機能を実現することができる。ただしこの場合、処理や記録タイミングの相違によって、映像データと物標データとの一致の立証が困難となり、イベント検証の信頼性が低下する可能性がある。

ここに開示する技術はかかる点に鑑みてなされたものであり、その目的とするところは、移動体外部環境認識装置において、イベント発生時の外部環境の検証を、信頼性高く実現可能にすることにある。

具体的にここに開示する技術は、移動体の外部環境を認識する装置であって、当該移動体に設置されたカメラの出力に対して画像処理を実行し、当該移動体の外部環境を映す映像データを生成する画像処理部と、前記画像処理部によって生成された映像データを用いて、当該移動体の外部環境を認識する処理を行う認識処理部と、前記認識処理部の処理結果を用いて、当該移動体の周囲の物標を示す物標データを生成する制御部と、前記制御部に連結して設けられており、前記物標データを記録可能に構成された第１記録装置と、前記画像処理部に連結して設けられており、前記映像データを記録可能に構成された第２記録装置と、タイムスタンプを生成するタイムスタンプ生成部とを備え、前記制御部は、所定のイベントが発生したとき、生成した物標データを前記第１記録装置に記録するとともに、前記画像処理部に対して、前記第１記録装置に記録した物標データに対応する映像データを、前記第２記録装置に記録するよう指示し、前記タイムスタンプ生成部は、前記第１記録装置に記録される前記物標データと、前記第２記録装置に記録される前記映像データとに、同一のタイムスタンプを付与する。

この構成によると、移動体外部環境認識装置において、当該移動体の外部環境を映す映像データが生成され、この映像データを用いて、当該移動体の周囲の物標を示す物標データが生成される。所定のイベントが発生したとき、制御部が、生成された物標データを、制御部に連結して設けられた第１記録装置に記録する。また、画像処理部は、第１記録装置に記録された物標データに対応する映像データを、第２記録装置に記録する。そして、第１記録装置に記録される物標データと、第２記録装置に記録される映像データとに同一のタイムスタンプが付与される。これにより、イベント発生時の移動体の外部環境を、記録された物標データおよび映像データによって、信頼性高く検証することが可能になる。

そして、前記タイムスタンプ生成部は、前記制御部内に設けられている、としてもよい。

また、前記タイムスタンプ生成部は、当該移動体に設けられたアクチュエータの制御クロックと同期して、前記タイムスタンプを生成する、としてもよい。

この構成により、記録される物標データおよび映像データに付与されるタイムスタンプが、アクチュエータの制御クロックと同期して生成されるので、イベント発生時の検証について、さらに信頼性を向上させることができる。

また、前記制御部は、前記画像処理部に対して映像データの記録を指示する際に、前記認識処理部の処理結果を用いて、前記第１記録装置に記録した物標データに対応する映像データ中の、記録対象となる部分を指定し、前記画像処理部は、当該映像データ中の前記制御部に指定された部分を、前記第２記録装置に記録する、としてもよい。

この構成によると、制御部は、認識処理部の処理結果を用いて、記録した物標データに対応する映像データ中の、記録対象となる部分を指定し、画像処理部は、当該映像データ中の、制御部に指定された部分を、第２記録装置に記録する。これにより、記録される映像データのデータ量を小さく抑えることができるので、記録装置の記憶容量を削減することができる。

また、前記画像処理部は、複数のカメラの出力を受けるものであり、前記制御部は、前記画像処理部に対して映像データの記録を指示する際に、前記複数のカメラのうち記録対象となるカメラを指定し、前記画像処理部は、前記制御部に指定されたカメラの映像データを、前記第２記録装置に記録する、としてもよい。

この構成によると、制御部は、記録対象となるカメラを指定し、画像処理部は、制御部に指定されたカメラの映像データを、第２記録装置に記録する。これにより、記録される映像データのデータ量を小さく抑えることができるので、記録装置の記憶容量を削減することができる。

また、前記第２記録装置に記録される映像データの時間範囲は、前記第１記録装置に記録される物標データの時間範囲よりも、短い、としてもよい。

この構成によると、第２記録装置に記録される映像データの時間範囲は、第１記録装置に記録される物標データの時間範囲よりも、短い。これにより、記録される映像データのデータ量を小さく抑えることができるので、記録装置の記憶容量を削減することができる。

本開示によると、イベント発生時の移動体の外部環境を、記録された物標データおよび映像データによって検証することが可能になる。したがって、信頼性の高いイベント検証が実現できる。

実施形態に係る移動体外部環境認識装置のシステム構成例（ａ）は映像データの例、（ｂ）は３Ｄマップの例、（ｃ）は２Ｄマップの例図１の装置のイベント発生時における動作例図１の装置のイベント発生時における動作例

図１は実施形態に係る車両走行制御装置のシステム構成の一例を示すブロック図である。図１の車両走行制御装置１は、車両に関する各種の信号やデータを入力とし、これらの信号やデータを基にして、例えば深層学習によって生成した学習済みモデルを利用して、演算処理を実行し、車両の走行経路を生成する。図１の車両走行制御装置１は、本開示に係る移動体外部環境認識装置の一例である。

図１の車両走行制御装置１は、画像処理部１０、ＡＩアクセラレータ２０、および制御部３０を備えている。画像処理部１０は、車両に設置されたカメラの出力を受ける入力ポート１１と、カメラ出力に対して所定の画像処理を行うプロセッサ１２と、プロセッサ１２によって生成された画像信号等を記憶するメモリ１３とを備える。画像処理部１０は、車両に設置されたカメラの出力から、車両の外部環境を映す映像データを生成する。ここでは、４台のカメラＡ〜Ｄが車両に設置されている。カメラＡは車両前部に設置され、車両前方を撮像する。カメラＢは車両後部に設置され、車両後方を撮像する。カメラＣ，Ｄは車両両側部にそれぞれ設置され、車両側方を撮像する。画像処理部１０によって生成された映像データは、例えばＰＣＩＥｘｐｒｅｓｓを介してＡＩアクセラレータ２０に転送される。また、生成された映像データは、メモリ１３に一時的に格納される。メモリ１３には、映像データが常時書き込まれ、古いデータから順に廃棄され、最新のデータが上書きされる。

ＡＩアクセラレータ２０は、画像処理部１０から転送された映像データに対して、例えば深層学習によって生成した学習済みモデルを利用して、演算処理を実行する。ＡＩアクセラレータ２０は、例えば、車両の外部環境を表す３Ｄ（３次元）マップを生成する。３Ｄマップでは、例えば、車両周囲に存在する他の車両、自転車、歩行者等の移動物体や、信号機、標識等の固定物、道路形状、白線等が表されている。生成された３Ｄマップのデータは、例えばＰＣＩＥｘｐｒｅｓｓを介して制御部３０に転送される。ＡＩアクセラレータ２０は、車両の外部環境を認識する処理を行う認識処理部の一例である。

制御部３０は、プロセッサ３１と、メモリ３２とを備えている。制御部３０は、車両に設けられたレーダや車速センサ等のセンサ類５から出力された信号と、ＧＰＳ（Global Positioning System）６から送信されたＧＰＳデータとが入力される。制御部３０は、ＡＩアクセラレータ２０から転送された３Ｄマップデータを基にして、２Ｄ（２次元）マップを生成する。制御部３０は、生成した２Ｄマップを基にして、当該車両の走行経路を生成する。そして、生成した走行経路について当該車両の目標運動を決定し、決定した目標運動を実現するための、駆動力、制動力および操舵角を算出する。また、生成された２Ｄマップデータは、少なくとも走行経路が生成されるまでの間、メモリ３２に一時的に格納される。メモリ３２には、２Ｄマップデータが常時書き込まれ、古いデータから順に廃棄され、最新のデータが上書きされる。

図２は図１の走行経路制御装置が生成するデータの例を表すイメージ図であり、（ａ）は画像処理部１０が生成する映像データの例、（ｂ）はＡＩアクセラレータ２０が生成する３Ｄマップの例、（ｃ）は制御部３０が生成する２Ｄマップの例である。図２（ａ）の映像データは、車両前部に設置されたカメラＡの出力から生成された映像データであり、車道５０を走行する車両６１，６２，６３が映っている。図２（ｂ）の３Ｄマップでは、車道５０および車両６１，６２，６３を含めて、各画像領域の属性データが付与されている。図２（ｃ）の２Ｄマップでは、車道５０を走行する車両６１，６２，６３と、自車両１００が示されている。なお、２Ｄマップデータは、映像データに対して、データ量が格段に少なくなっている。２Ｄマップデータは、車両周囲の物標を示す物標データの一例である。

図１の車両走行制御装置１は、さらに、ストレージ（記録装置）１５，３５と、タイムスタンプ生成部４０とを備えている。ストレージ１５は、画像処理部１０に連結して設けられており、画像処理部１０によって生成された映像データを記録可能に構成されている。画像処理部１０のプロセッサ１２は、制御部３０からの指示を受けて、メモリ１３に格納されている映像データをストレージ１５に格納する。ストレージ３５は、制御部３０に連結して設けられており、制御部３０によって生成された２Ｄマップデータを記録可能に構成されている。制御部３０のプロセッサ３１は、所定のイベントが発生したとき、メモリ３２に格納されている２Ｄマップデータをストレージ３５に格納する。ストレージ１５，３５は、例えば、ハードディスクやフラッシュメモリ等によって構成される。

タイムスタンプ生成部４０は、制御部３０からの指示を受けて、タイムスタンプを生成する。タイムスタンプ生成部４０は、例えば、車両に設けられたアクチュエータの制御に用いられるクロックと同期させて、タイムスタンプを生成する。生成されたタイムスタンプは、ストレージ１５に格納される映像データや、ストレージ３５に格納される２Ｄマップデータに付与される。

ここで、所定のイベントとは、例えば、当該車両に対する他の車両の接近、急ブレーキの実施、衝撃の検出等である。所定のイベントの発生は、例えば、当該車両に設けられたセンサ類５、例えば、レーダ、衝撃センサ、ブレーキ検出センサ等の出力から検出される。あるいは、制御部３０が、走行経路を生成する処理の中で、イベントの発生を検出する場合もある。あるいは、路肩や交差点等の車外に設置されたセンサの出力から、イベントの発生を検出する場合もある。また、他車との通信によって、イベントの発生を検出する場合もある。

画像処理部１０、ＡＩアクセラレータ２０、および、制御部３０は、例えば、それぞれ独立した半導体チップによって実現される。ただし、画像処理部１０、ＡＩアクセラレータ２０、および、制御部３０のうちの２個以上が、単一のチップによって実現されてもよい。例えば、画像処理部１０およびＡＩアクセラレータ２０が、認識処理用の単一の半導体チップによって実現されてもかまわない。また、タイムスタンプ生成部４０は、制御部内に設けられ、制御部３０の機能の一部として実現されてもよい。あるいは、タイムスタンプ生成部４０は、制御部３０と別個に設けてもよい。また、ストレージ１５，３５は、別々のハードウェアとして設けてもよいし、共通のハードウェアにおいて記録領域を分けて実現してもよい。

以下、図１の車両走行制御装置１において、所定のイベントが発生したときの動作例について説明する。

＜動作例１＞
図３は本実施形態に係る車両走行制御装置１におけるイベント発生時の動作例を示すフローチャートである。図３に示すように、所定のイベントが発生すると、制御部３０は、生成した２Ｄマップデータをストレージ３５に格納する（Ｓ１１）。具体的には、制御部３０は、経路生成のためにメモリ３２に一時的に保存されている２Ｄマップデータを、ストレージ３５に出力する。これにより、イベント発生より少し前のタイミングから、２Ｄマップデータを記録することができる。そして、タイムスタンプ生成部４０は、制御部３０からの指示を受けて、タイムスタンプを生成する。生成されたタイムスタンプは、ストレージ３５に保存された２Ｄマップデータに付与される（Ｓ１２）。

２Ｄマップデータの記録とタイムスタンプの付与は、イベントが発生してから所定時間が経過するまで、繰り返し実行される（Ｓ１３）。この結果、所定のイベントの発生前後の２Ｄマップデータを、タイムスタンプとともにストレージ３５に記録することができる。

なお、この動作例１では、画像処理部１０によって生成される映像データの記録は行われないので、ストレージ１５は装置構成から省いてもかまわない。

＜動作例２＞
図４は本実施形態に係る車両走行制御装置１におけるイベント発生時の他の動作例を示すフローチャートである。図４に示すように、所定のイベントが発生すると、制御部３０は、生成した２Ｄマップデータをストレージ３５に格納する。またこのとき、制御部３０は、センサ類５から受信したセンサ信号や、ＧＰＳ６から受信したＧＰＳデータを、２Ｄマップデータとともに、ストレージ３５に保存する（Ｓ２１）。タイムスタンプ生成部４０は、制御部３０からの指示を受けて、タイムスタンプを生成する。生成されたタイムスタンプは、ストレージ３５に保存された２Ｄマップデータ、センサ信号およびＧＰＳデータに付与される（Ｓ２２）。

また、制御部３０は、画像処理部１０に対して、ストレージ３５に記録された２Ｄマップデータに対応する映像データの記録を指示する。このとき、制御部３０は、映像データ中の、記録対象となる部分を指定する（Ｓ２３）。すなわち、この動作例２では、映像データから、検証に必要となる重要な情報に関する部分を切り出して、ストレージ１５に記録するものとする。重要な情報に関する部分とは、例えば、他の車両、歩行者や自転車等を映す部分、あるいは、信号機や標識を映す部分等である。映像データの記録部分の決定は、例えば、ＡＩアクセラレータ２０によって生成された３Ｄマップデータを参照して行えばよい。例えば、他の車両を映す部分を記録する場合は、３Ｄマップデータから他の車両が占める領域を特定し、映像データにおいてその特定した領域に対応する座標の範囲を、記録部分として決定する。

画像処理部１０は、制御部３０からの指示を受けて、生成した映像データをストレージ１５に保存する（Ｓ２４）。具体的には、画像処理部１０は、メモリ１３に一時的に保存されている映像データのうち、制御部３０から指定された部分をストレージ１５に保存する。これにより、イベント発生より少し前のタイミングから、映像データを記録することができる。タイムスタンプ生成部４０は、制御部３０からの指示を受けて、ストレージ３５に記録した２Ｄマップデータに付与したものと同一のタイムスタンプを、ストレージ１５に記録した映像データに付与する（Ｓ２５）。

２Ｄマップデータ、センサ信号、ＧＰＳデータおよび映像データの記録とタイムスタンプの付与は、イベントが発生してから所定時間が経過するまで、繰り返し実行される（Ｓ２６）。この結果、所定のイベントの発生前後の２Ｄマップデータ、センサ信号、ＧＰＳデータおよび映像データが、タイムスタンプとともに、ストレージ１５，３５に記録される。

なお、動作例２において、センサ信号およびＧＰＳデータのいずれか一方のみを、２Ｄマップデータとともに記録するようにしてもよい。

本実施形態によると、車両走行制御装置１において、車両の外部環境を映す映像データが生成され、この映像データを用いて、車両の外部環境を表す２Ｄマップデータが生成される。所定のイベントが発生したとき、制御部３０が、生成した２Ｄマップデータを、制御部３０に連結して設けられたストレージ３５に記録する。また、画像処理部１０は、ストレージ３５に記録された２Ｄマップデータに対応する映像データを、ストレージ１５に記録する。そして、ストレージ３５に記録される２Ｄマップデータと、ストレージ１５に記録される映像データとに同一のタイムスタンプが付与される。これにより、イベント発生時の車両の外部環境を、記録された２Ｄマップデータおよび映像データによって、信頼性高く検証することが可能になる。

（他の動作例）
動作例１では、ストレージ３５に記録した２Ｄマップデータにタイムスタンプを付与し、動作例２では、ストレージ１５に記録した映像データ、並びに、ストレージ３５に記録した２Ｄマップデータ、センサ信号およびＧＰＳデータにタイムスタンプを付与した。ただし、ストレージ１５，３５に記録したデータに、タイムスタンプを付与しないようにしてもかまわない。この場合は、タイムスタンプ生成部４０を装置構成から省いてかまわない。

また、動作例２では、映像データからその一部を切り出してストレージ１５に記録するものとしたが、これに限られるものではなく、映像データ全体を記録するようにしてもよい。この場合は、映像データ中の記録対象となる部分を指定する動作は不要になる。ただし、映像データの一部を記録することによって、ストレージ１５の記録容量を削減することができる。

また、車両に設けられた全てのカメラの映像データを記録する必要は必ずしもなく、制御部３０が、記録対象となるカメラを指定するようにしてもよい。例えば、車両前方を映すカメラＡの映像データのみを記録するようにしてもよいし、車両前方を映すカメラＡと車両後方を映すカメラＢの映像データのみを記録するようにしてもよい。すなわち、制御部３０は、画像処理部１０に対して映像データの記録を指示する際に、複数のカメラのうち記録対象となるカメラを指定し、画像処理部１０は、制御部３０に指定されたカメラの映像データをストレージ１５に記録する、というようにしてもよい。これにより、ストレージ１５の記録容量を削減することができる。

また、発生したイベントの内容に応じて、映像データを記録するカメラを選択するようにしてもよい。例えば、車両前方に接近する物体がある場合は、車両前方を映すカメラＡの映像データを記録し、車両後方から接近する物体がある場合は、車両後方を映すカメラＢの映像データを記録する、というようにしてもよい。また、発生したイベントの内容に応じて、映像データから切り出す部分を切り替えるようにしてもよい。

また、動作例２において、２Ｄマップデータを保存する期間と映像データを保存する期間とを変えてもかまわない。例えば、イベント発生における重要な期間のみ（例えば前後３秒間）映像データを記録するようにし、それよりも前の期間や後の期間は、映像データは記録しないで、２Ｄマップデータのみを記録する、というようにしてもよい。すなわち、ストレージ１５に記録する映像データの時間範囲を、ストレージ３５に記録する２Ｄマップデータの時間範囲よりも短くしてもよい。これにより、ストレージ１５の記録容量を削減することができる。

（他の実施形態）
上述の実施形態では、車両の走行経路を生成する車両走行制御装置１を例にとって説明を行ったが、本開示は、走行制御を行う装置に限られるものではない。例えば、カメラ出力から映像データを生成し、この映像データから２Ｄマップデータを生成する装置であればよい。この場合、別の装置が、生成された２Ｄマップデータを用いて、車両の走行制御を行ってもよい。

また、上述の実施形態において、２Ｄマップデータは、車両周囲の物標を示す物標データの一例であり、２Ｄマップデータ以外の物標データを、イベント発生時に記録するようにしてもかまわない。例えば、ＡＩアクセラレータ２０によって生成される３Ｄマップデータを、イベント発生時に記録してもよい。

また、上述の実施形態では、車両に適用されるものとしたが、車両以外の移動体、例えば、ロボット、航空機、船舶等にも、本開示は適用可能である。

１車両走行制御装置（移動体外部環境認識装置）
１０画像処理部
１５ストレージ（記録装置）
２０ＡＩアクセラレータ（認識処理部）
３０制御部
３５ストレージ（記録装置）
４０タイムスタンプ生成部

Claims

移動体の外部環境を認識する装置であって、
当該移動体に設置されたカメラの出力に対して画像処理を実行し、当該移動体の外部環境を映す映像データを生成する画像処理部と、
前記画像処理部によって生成された映像データを用いて、当該移動体の外部環境を認識する処理を行う認識処理部と、
前記認識処理部の処理結果を用いて、当該移動体の周囲の物標を示す物標データを生成する制御部と、
前記制御部に連結して設けられており、前記物標データを記録可能に構成された第１記録装置と、
前記画像処理部に連結して設けられており、前記映像データを記録可能に構成された第２記録装置と、
タイムスタンプを生成するタイムスタンプ生成部とを備え、
前記制御部は、所定のイベントが発生したとき、生成した物標データを前記第１記録装置に記録するとともに、前記画像処理部に対して、前記第１記録装置に記録した物標データに対応する映像データを、前記第２記録装置に記録するよう指示し、
前記タイムスタンプ生成部は、前記第１記録装置に記録される前記物標データと、前記第２記録装置に記録される前記映像データとに、同一のタイムスタンプを付与する
ことを特徴とする移動体外部環境認識装置。
請求項１記載の移動体外部環境認識装置において、
前記タイムスタンプ生成部は、前記制御部内に設けられている
ことを特徴とする移動体外部環境認識装置。
請求項１または２記載の移動体外部環境認識装置において、
前記タイムスタンプ生成部は、当該移動体に設けられたアクチュエータの制御クロックと同期して、前記タイムスタンプを生成する
ことを特徴とする移動体外部環境認識装置。
請求項１〜３のうちいずれか１項記載の移動体外部環境認識装置において、
前記制御部は、前記画像処理部に対して映像データの記録を指示する際に、前記認識処理部の処理結果を用いて、前記第１記録装置に記録した物標データに対応する映像データ中の、記録対象となる部分を指定し、
前記画像処理部は、当該映像データ中の前記制御部に指定された部分を、前記第２記録装置に記録する
ことを特徴とする移動体外部環境認識装置。
請求項１〜４のうちいずれか１項記載の移動体外部環境認識装置において、
前記画像処理部は、複数のカメラの出力を受けるものであり、
前記制御部は、前記画像処理部に対して映像データの記録を指示する際に、前記複数のカメラのうち記録対象となるカメラを指定し、
前記画像処理部は、前記制御部に指定されたカメラの映像データを、前記第２記録装置に記録する
ことを特徴とする移動体外部環境認識装置。
請求項１〜５のうちいずれか１項記載の移動体外部環境認識装置において、
前記第２記録装置に記録される映像データの時間範囲は、前記第１記録装置に記録される物標データの時間範囲よりも、短い
ことを特徴とする移動体外部環境認識装置。