JP7004609B2 - レーダー映像処理方法、装置及びシステム - Google Patents

Description

実施形態はレーダー映像を処理する方法、装置及びシステムに関する。

レーダーはオブジェクトを検出及び分類し、オブジェクトの動きを検出及び分析するために用いられる。レーダーは、衛星や軍事用などの様々なプラットフォームに搭載されるが、最近では車両にも搭載されて映像を分析するために活用されている。自律走行車両は、速い速度で周辺環境及びオブジェクトを検出して反応しなければならないため、レーダーの搭載方式及び映像処理方式は自律走行車両の関連技術で重要なイシューとなっている。

レーダーから取得された映像の処理において、映像の解像度を高めることが必要である。特に、動いているプラットフォームに搭載されたレーダーの映像を処理することにおいて速い反応速度が求められるため、レーダー映像の解像度を高めてリアルタイムに映像を処理し、プラットフォームの周辺環境及び動作により適応的にレーダーを制御するための技術が求められている。

本発明の目的は、レーダー映像を処理する方法、装置及びシステムを提供することにある。

一実施形態に係るレーダー映像処理方法は、同じ時間に同じ地点をビームフォーミングするよう互いに同期化された複数のレーダーからキャプチャー映像を取得するステップと、前記キャプチャー映像の少なくとも１つの重複領域に基づいて前記複数のキャプチャー映像を合成するステップと、前記合成された複数のキャプチャー映像に基づいて高解像度映像を生成するステップとを含む。

一実施形態によれば、前記重複領域の角度範囲は予め設定された条件を満足し得る。

一実施形態によれば、前記複数のレーダーは、車両から離れた距離が同一の複数の地点を順にビームフォーミングするよう互いに同期化され得る。

一実施形態によれば、前記複数のレーダーは、車両に基づいてそれぞれ相違に位置する地点を予め定義された経路に応じて順にビームフォーミングするよう互いに同期化され得る。

一実施形態によれば、前記複数のレーダーからターゲットに向かう複数の送信信号を送信するための送信時間は互いに同期化され、前記ターゲットから前記複数のレーダーに向かう複数の反射信号（前記複数の送信信号によって生成される）を受信するための受信時間は互いに同期化され得る。

一実施形態によれば、前記複数のレーダーはＭＩＭＯ方式（Ｍｕｌｔｉｐｌｅ Ｉｎｐｕｔ Ｍｕｌｔｉｐｌｅ Ｏｕｔｐｕｔ）で構成され、前記レーダーのうち少なくとも１つは仮想ＭＩＭＯ（Ｖｉｒｔｕａｌ ＭＩＭＯ）レーダーを含み得る。

一実施形態によれば、前記複数のレーダーからターゲットに向かう複数の送信信号は互いに相違するようにコード化され、前記レーダーのうちいずれか１つである第１レーダーは、前記複数の送信信号のそれぞれが前記ターゲットから反射した信号である複数の第１受信信号を受信し、前記レーダーのうちいずれか１つである第２レーダーは、前記複数の送信信号のそれぞれが前記ターゲットから反射した信号である複数の第２受信信号を受信し得る。

一実施形態によれば、前記複数のキャプチャー映像を取得するステップは、前記複数の第１受信信号に基づいて前記第１レーダーから第１キャプチャー映像を取得するステップと、前記複数の第２受信信号に基づいて前記第２レーダーから第２キャプチャー映像を取得するステップとを含み得る。

一実施形態によれば、前記複数のレーダーのうち少なくとも一部のレーダーは車両の前方、側方、及び後方のうち少なくとも１つをスキャンするように設けられ得る。

一実施形態によれば、前記複数のレーダー（前記複数のレーダーの利得は相違するように設定される）から取得した前記キャプチャー映像のうち少なくとも１つに基づいてオブジェクトを検出するステップをさらに含み得る。

一実施形態によれば、前記高解像度映像を生成するステップは、前記検出に応答して、前記複数のキャプチャー映像よりもオブジェクト検出範囲の大きい前記高解像度映像を生成するステップを含み得る。

一実施形態のレーダー映像処理方法は、複数のモードのうち現在のモードを判断するステップと、前記現在のモードに基づいて前記レーダーのうち少なくとも１つのレーダーの少なくとも１つのビームフォーミング範囲を制御するステップをさらに含み得る。

一実施形態によれば、前記ビームフォーミング範囲を制御するステップは、前記ビームフォーミング範囲を車両の前方に制限するステップを含み得る。

一実施形態に係る前記現在のモードを判断するステップは、車両の速度、加速度、位置、周辺環境のうち少なくとも１つに基づいて現在のモードを判断するステップをさらに含み、前記複数のモードは、高速道路走行モード及び都心走行モードを含み得る。

一実施形態のレーダー映像処理装置は、命令を記録するメモリと、前記メモリに記録された命令を実行するプロセッサとを含み、前記プロセッサは、同じ時間に同じ地点をビームフォーミングするよう互いに同期化された複数のレーダーからキャプチャー映像を取得し、前記キャプチャー映像の少なくとも１つの重複領域に基づいて前記複数のキャプチャー映像を合成し、前記合成された複数のキャプチャー映像に基づいて高解像度映像を生成する。

一実施形態によれば、前記プロセッサは、車両から離れた距離が同一の複数の地点を順にビームフォーミングするよう前記レーダーを互いに同期化し得る。

一実施形態によれば、前記プロセッサは、車両に基づいてそれぞれ相違に位置する地点を予め定義された経路に応じて順にビームフォーミングするよう前記レーダーを互いに同期化し得る。

一実施形態によれば、前記プロセッサは、前記レーダーの利得のうち少なくとも２つを相違に設定し、前記複数のレーダーから取得した前記キャプチャー映像のうち少なくとも１つに基づいてオブジェクトを検出し得る。

一実施形態によれば、前記プロセッサは、モードのうち現在のモードを判断し、前記現在のモードに基づいて、前記レーダーのうち少なくとも１つのレーダーの少なくとも１つのビームフォーミング範囲を制御し得る。

一実施形態のレーダー映像処理システムは、レーダーと、命令を記録するメモリと、前記メモリに記録された命令を実行するプロセッサとを含み、前記プロセッサは、同じ時間に同じ地点をビームフォーミングするように前記複数のレーダーを同期化し、前記複数のレーダーからキャプチャー映像を取得し、前記キャプチャー映像の少なくとも１つの重複領域に基づいて前記複数のキャプチャー映像を合成し、前記合成された複数のキャプチャー映像に基づいて高解像度映像を生成する。

一実施形態に係るレーダー映像処理方法は、プラットフォームに搭載された複数のレーダーからキャプチャー映像を取得するステップと、前記複数のキャプチャー映像の複数の重複領域に基づいて前記複数のキャプチャー映像を同期化し、３６０°の視野を有する映像を取得するステップと、前記複数の同期化された映像に基づいて高解像度映像を生成するステップとを含み、前記複数のレーダーは、前記プラットフォームの前方に搭載された第１ロングレンジレーダー（Ｌｏｎｇ Ｒａｎｇｅ Ｒａｄａｒ：ＬＲＲ）と、前記プラットフォームの後方に搭載された第２ＬＲＲと、前記第１ＬＲＲの側方のうち一方の側であって前記プラットフォームの前記前方に搭載された第１ショートレンジレーダー（Ｓｈｏｒｔ Ｒａｎｇｅ Ｒａｄａｒ：ＳＲＲ）と、前記第１ＬＲＲの側方のうち他方の側であって前記プラットフォームの前方に搭載された第２ＳＲＲと、前記プラットフォームの前方及び後方の間であって前記プラットフォームの側方のうち一方の側に搭載された第３ＳＲＲと、前記プラットフォームの前方及び後方の間であって前記プラットフォームの側方のうち他方の側に搭載された第４ＳＲＲと、前記第２ＬＲＲの側方のうち一方の側であって前記プラットフォームの後方に搭載された第５ＳＲＲと、前記第２ＬＲＲの側方のうち他方の側であって前記プラットフォームの後方に搭載された第６ＳＲＲとを含む。

一実施形態によれば、前記第１ＬＲＲ、前記第１ＳＲＲ、及び前記第２ＳＲＲは、互いに同期化されて同じ時点に同じ地点上のビームフォーミングを形成し、前記高解像度映像を生成するステップは、互いに同期化された前記第１ＬＲＲ、前記第１ＳＲＲ、及び前記第２ＳＲＲによって取得された複数のキャプチャー映像に基づいて前記プラットフォームの前方領域の高解像度映像を生成するステップを含み得る。

一実施形態によれば、前記第１ＬＲＲ、前記第１ＳＲＲ、及び前記第２ＳＲＲの利得は互いに異なる。

一実施形態によれば、前記第１ＳＲＲはターゲットに向かって第１送信信号を送信し、前記第１ＬＲＲは前記ターゲットに向かって第２送信信号を送信し、前記第２ＳＲＲは前記ターゲットに向かって第３送信信号を送信し、前記複数のキャプチャー映像を取得するステップは、前記第１ＳＲＲによって受信され、前記ターゲットから前記第１送信信号を反射させて生成される第１受信信号、前記第１ＳＲＲによって受信され、前記ターゲットから前記第２送信信号を反射させて生成される第２受信信号、及び前記第１ＳＲＲによって受信され、前記ターゲットから前記第３送信信号を反射させて生成される第３受信信号に基づいて前記第１ＳＲＲから第１受信映像を取得するステップと、前記第１ＬＲＲによって受信され、前記ターゲットから前記第１送信信号を反射させて生成される第４受信信号、前記第１ＬＲＲによって受信され、前記ターゲットから前記第２送信信号を反射させて生成される第５受信信号、及び前記第１ＬＲＲによって受信され、前記ターゲットから前記第３送信信号を反射させて生成される第６受信信号に基づいて前記第１ＬＲＲから第２受信映像を取得するステップと、前記第２ＳＲＲによって受信され、前記ターゲットから前記第１送信信号を反射させて生成される第７受信信号、前記第２ＳＲＲによって受信され、前記ターゲットから前記第２送信信号を反射させて生成される第８受信信号、及び前記第２ＳＲＲによって受信され、前記ターゲットから前記第３送信信号を反射させて生成される第９受信信号に基づいて前記第２ＳＲＲから第３受信映像を取得するステップとを含み、前記高解像度映像を生成するステップは、前記第１受信映像、前記第２受信映像、及び前記第３受信映像に基づいて前記高解像度映像を生成するステップを含む。

一実施形態に係るレーダー映像処理方法は、前記第１ＳＲＲ、前記第１ＬＲＲ、及び前記第２ＳＲＲのビームフォーミング範囲を制御し、前記第１ＳＲＲ、前記第１ＬＲＲ、及び前記第２ＳＲＲの前記ビームフォーミング範囲を高速道路走行モードで前記プラットフォームの前方領域に制限するステップと、前記第１ＳＲＲ、前記第１ＬＲＲ、及び前記第２ＳＲＲのビームフォーミング範囲を制御し、前記第１ＳＲＲ、前記第１ＬＲＲ、及び前記第２ＳＲＲの前記ビームフォーミング範囲を都心走行モードで最大値に拡張するステップとをさらに含み得る。

一実施形態に係るレーダー映像処理方法を説明するための図である。 複数のレーダーの複数のキャプチャー映像が合成される実施形態を説明するための図である。 複数のレーダーの複数のキャプチャー映像が合成される実施形態を説明するための図である。 一実施形態に係る複数のレーダーのビームフォーミング方式を説明するための図である。 一実施形態に係る複数のレーダーのビームフォーミング方式を説明するための図である。 一実施形態に係る複数のレーダーのビームフォーミング方式を説明するための図である。 一実施形態に係る複数のレーダーのビームフォーミング方式を説明するための図である。 一実施形態に係る複数のレーダーのビームフォーミング方式を説明するための図である。 一実施形態に係る複数のレーダーの利得多様化を説明するための図である。 一実施形態に係る複数のレーダーの利得多様化を説明するための図である。 一実施形態に係る複数のレーダーの利得多様化を説明するための図である。 一実施形態に係るレーダーのビームフォーミング範囲が制御される動作を説明するための図である。 一実施形態に係るレーダーのビームフォーミング範囲が制御される動作を説明するための図である。 一実施形態に係るレーダーのビームフォーミング範囲が制御される動作を説明するための図である。 一実施形態に係るレーダー映像処理システムを示す。 一実施形態に係るレーダー映像処理装置を示す。 一実施形態に係るレーダー映像が処理される動作を説明するための図である。

実施形態に対する特定な構造的又は機能的な説明は単なる例示のための目的として開示されたものとして、様々な形態に変更され得る。したがって、実施形態は特定な開示形態に限定されるものではなく、本明細書の範囲は技術的な思想に含まれる変更、均等物ないし代替物を含む。

第１又は第２などの用語を複数の構成要素を説明するために用いることができるが、このような用語は１つの構成要素を他の構成要素から区別する目的としてのみ解釈されなければならない。例えば、第１構成要素は第２構成要素と命名することができ、同様に第２構成要素は第１構成要素にも命名することができる。

いずれかの構成要素が他の構成要素に「連結されて」いると言及された場合、その次の構成要素に直接的に連結されてもよく、又は中間に他の構成要素が存在することもあり得ると理解されなければならない。

単数の表現は、文脈上、明白に異なる意味をもたない限り複数の表現を含む。本明細書において、「含む」又は「有する」等の用語は明細書上に記載した特徴、数字、ステップ、動作、構成要素、部品又はこれらを組み合わせたものが存在することを示すものであって、１つ又はそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品、又はこれを組み合わせたものなどの存在又は付加の可能性を予め排除しないものとして理解しなければならない。

異なるように定義さがれない限り、技術的であるか又は科学的な用語を含むここで用いる全ての用語は、本実施形態が属する技術分野で通常の知識を有する者によって一般的に理解されるものと同じ意味を有する。一般的に用いられる予め定義された用語は、関連技術の文脈上で有する意味と一致する意味を有するものと解釈すべきであって、本明細書で明白に定義しない限り、理想的又は過度に形式的な意味として解釈されることはない。

以下、実施形態を添付する図面を参照しながら詳細に説明する。各図面に提示された同一の参照符号は同一の部材を示す。

図１は、一実施形態に係るレーダー映像処理方法を説明するための図である。

一実施形態によれば、レーダー映像処理装置は、レーダーから取得された情報を収集、処理、加工、格納、又は送信し、レーダーを制御する装置であって、例えば、ソフトウェアモジュール、ハードウェアモジュール、又は、その様々な組合せで実現される。一実施形態によれば、レーダー映像処理装置はレーダーが搭載されたプラットフォームに搭載され得るが、レーダーの搭載されたプラットフォームの外部でレーダーから取得された情報を処理し、レーダーを遠隔に制御してもよい。

一実施形態によれば、レーダーは様々な類型のプラットフォームに搭載され得る。例えば、少なくとも１つのレーダーは、車両、衛星、又は軍事用装置に搭載されてもよい。車両は、自律走行車両を含む。自律走行車両は、自律走行装置によって自律走行され得る車両を意味する。レーダー映像処理装置は、自律走行車両に搭載された少なくとも１つのレーダーから取得された情報又は映像を用いて高解像度映像を生成し、レーダーの検出範囲を拡大及び制御する。レーダー映像処理装置は、自律走行車両に搭載された少なくとも１つのレーダーから取得された情報又は映像を用いて自律走行車両の周辺車両（例えば、自律走行車両の前面又は正面、後面又は背面、及び両側又は側方の車両）を検出することができ、周辺車両を認識して認識結果を格納する。レーダー映像処理装置は、自律走行車両に搭載された少なくとも１つのレーダーから取得された情報又は映像を用いて周辺車両を識別し、周辺車両の速力、自律走行車両との距離、周辺車両間の距離、現在の車線などを追跡して格納し、自律走行車両周辺の環境及びオブジェクトを識別及び認識し得る。

図１を参照すれば、レーダー映像処理装置は、同じ時間に同じ地点をビームフォーミングするよう同期化された複数のレーダーから複数のキャプチャー映像を取得する（Ｓ１０１）。一実施形態によれば、車両に搭載された複数のレーダーは、同じ時間に同じ地点をビームフォーミングするよう同期化されていてもよい。又は、レーダー映像処理装置は、車両に搭載された複数のレーダーをリアルタイムに制御し、レーダー映像処理装置の制御によって複数のレーダーは同じ時間に同じ地点をビームフォーミングするよう同期化されてもよい。ここで、レーダーが同期化されていることは、複数のレーダーが同じターゲットをビームフォーミングするように、複数のタイミングが同期化されていることを意味する。ビームフォーミングするとは、レーダーの主ビームが同じターゲットの方を向くように、ビームが形成又はステアリングされることを意味する。複数のレーダーのビームフォーミングターゲットは、予め設定された周期又はレーダー映像処理装置の制御によって時間に応じて変化する。複数のレーダーの搭載された態様に関する実施形態は、図２Ａ～図２Ｂを参照して後述する。同期化された複数のレーダーの実施形態は図３Ａ～図３Ｃを参照して後述する。

図１を参照すれば、レーダー映像処理装置は、レーダーのキャプチャー映像の少なくとも１つの重複領域に基づいて複数のキャプチャー映像を合成する（Ｓ１０２）。レーダーのキャプチャー映像は互いに重なってもよく、レーダー映像処理装置は、キャプチャー映像のうち少なくとも１つが互いに重なるように複数のレーダーのビームフォーミングを制御する。又は、複数のレーダーのビームフォーミングは予め設定されてもよい。レーダー映像処理装置は、ＳＡＲ（Ｓｙｎｔｈｅｔｉｃ Ａｐｅｒｔｕｒｅ Ｒａｄａｒ）を用いて複数のキャプチャー映像を合成し、レーダー映像を処理し得る。

図１を参照すれば、レーダー映像処理装置は、合成された複数のキャプチャー映像に基づいて高解像度映像を生成する（Ｓ１０３）。オブジェクトの識別及び認識のためには、レーダー映像の解像度は高まる必要がある。レーダー映像処理装置は、複数のレーダーから取得されたキャプチャー映像を合成して個別レーダー映像と比較して高い解像度の映像を生成する。複数のキャプチャー映像が合成され、高解像度映像が生成される実施形態については、図２Ａ～図２Ｂを参照して後述する。

図２Ａは、複数のレーダーの複数のキャプチャー映像が合成される実施形態を説明するための図である。

図２Ａを参照すれば、複数のレーダーのキャプチャー映像は少なくとも１つの重複領域を含み、重複領域の角度範囲は予め設定された条件を満足する。例えば、重複領域の角度範囲は３６０°であってもよい。車両２０１に搭載された複数のレーダーは、ＬＲＲ（Ｌｏｎｇ Ｒａｎｇｅ Ｒａｄａｒ）２０２及びＳＲＲ（Ｓｈｏｒｔ Ｒａｎｇｅ Ｒａｄａｒ）２０３を含む。例えば、ＬＲＲの検出範囲は概略２０°に基づいて設定され、ＳＲＲの検出範囲は概略７５°に基づいて設定される。図２Ａを参照すれば、車両２０１に搭載されたレーダー２０２及び２０３によって形成されたビームパターンが図示され、レーダー映像処理装置は、重複領域を用いて複数のキャプチャー映像を合成する。

図２Ｂは、複数のレーダーの複数のキャプチャー映像が合成される実施形態を説明するための図である。

図２Ｂを参照すれば、車両２０４に搭載されたレーダーはＬＲＲ２０５及びＳＲＲ２０６を含む。図２Ａと比較して、図２Ｂに示されたレーダーは側面のＬＲＲがＳＲＲに代替されている。側面のＬＲＲがＳＲＲに代替された搭載態様によれば、複数の重複領域が拡張され得る。図２Ｂを参照すれば、車両２０４に搭載されたレーダー２０５及び２０６によって形成されたビームパターンが図示され、レーダー映像処理装置は、複数の重複領域を用いてキャプチャー映像を合成する。レーダーのうち少なくとも一部は、車両の前方、側方、及び後方の少なくとも１つをスキャンするように設けられるが、レーダーが搭載又は設けられる態様は、上述した内容又は図面に制限されることなく、様々な方式によって変形又は応用され得る。

複数のレーダーのキャプチャー映像は互いに重なっているため、レーダー映像処理装置は、コーナーを走行中である車両の内側（ｉｎｓｉｄｅ）のみならず、外側（ｏｕｔｓｉｄｅ）に対応する高解像度映像を生成し得る。レーダー映像処理装置は、複数のレーダーのキャプチャー映像が互いに重なるよう、レーダーをリアルタイムに制御し、重複領域の角度範囲を３６０°に制御して３６０°範囲の高解像度映像を生成する。レーダー映像処理装置は、３６０°の角度範囲を有する複数の重複映像を用いてアンテナ開口が大きくなる方式を提供し、アンテナ開口の関連性能（例えば、Ｅｆｆｅｃｔｉｖｅ ａｎｔｅｎｎａ ａｐｅｒｔｕｒｅ ｒａｔｉｏ）を高めることができる。レーダー映像処理装置は、アンテナ開口の関連性能を高め、３６０°範囲の映像処理を行って高解像度映像を生成することができる。

レーダー映像処理装置は、互いに重なっているキャプチャー映像を用いて車両が停止した状態でも高解像度映像を生成することができる。レーダー映像処理装置は、重複領域の角度範囲を拡張して車両の前面及び後面に対応する高解像度映像を生成し得る。

図３Ａは、一実施形態に係る複数のレーダーのビームフォーミング方式を説明するための図である。

図３Ａを参照すれば、映像キャプチャーのための複数のレーダーは、特定オブジェクトを同時にキャプチャーするよう同期化され、同期化は予め設定されレーダー映像処理装置によってリアルタイムに制御されてもよい。例えば、予め同期化が設定された複数のレーダーは、自動で特定周期に応じてビームフォーミング方向を変更し得る。

一実施形態によれば、車両のレーダー（例えば、車両前面に搭載されたレーダー）は、車両から離れた距離が同一の複数の地点を順にビームフォーミングするよう同期化される。図３Ａに示すように、車両の前面に搭載された複数のレーダーは、車両から離れた距離が同一の複数のオブジェクトを交代しながらビームフォーミングするよう同期化される。例えば、レーダー映像処理装置は、複数のレーダーのモードを自動スポットライトモード（Ａｕｔｏ Ｓｐｏｔｌｉｇｈｔ Ｍｏｄｅ）に設定し、前面及び後面のうち少なくとも１つに搭載されたレーダーは、車両から離れた距離が同一の複数の地点を順にビームフォーミングする。レーダー映像処理装置は、複数のレーダー（例えば、３個以上）から同じオブジェクトをビームフォーミングした複数のキャプチャー映像を取得し、キャプチャー映像の重複領域に基づいてオブジェクトに対応する高解像度映像を生成し得る。

レーダー映像処理装置は、同じオブジェクトをビームフォーミングした複数のキャプチャー映像を用いてリアルタイムに高解像度映像を生成する。レーダーが同じオブジェクトをビームフォーミングするよう同期化されているため、レーダー映像処理装置は、重複領域に対応する高解像度映像をリアルタイムに処理できるという有利な側面もある。例えば、レーダー映像処理装置は、前面に設けられた３個以上のレーダーから同じオブジェクトをビームフォーミングした複数のキャプチャー映像を取得し得るため、車両走行中にそのオブジェクトに対応する高解像度映像をリアルタイムに処理できる。

複数のレーダーは、レーダー映像処理装置に基づいてＭＩＭＯ（Ｍｕｌｔｉｐｌｅ Ｉｎｐｕｔ Ｍｕｌｔｉｐｌｅ Ｏｕｔｐｕｔ）を構成する。レーダー映像処理装置は、ＭＩＭＯに対応する複数のレーダーからリアルタイムに重なった複数のキャプチャー映像を受信するため、走行中である車両の周辺環境に対応する高解像度映像をリアルタイムに生成及び処理できる。各レーダーは、レーダー映像処理装置の制御に応じてビームフォーミング方向を調整し得る。ＭＩＭＯを構成しているレーダーは、ビームフォーミングの動作を担当し、レーダーから取得された情報を処理する動作は、レーダー映像処理装置によって集中制御される。ただし、複数のレーダーのキャプチャー映像に関する前処理又は加工の動作は、レーダーにそれぞれ搭載されたプロセッサによって実行され得るが、映像処理に関する動作が分担される実施形態において、設計意図に応じて様々な方式が採用され得る。

一実施形態によれば、レーダーのうち少なくとも１つは仮想ＭＩＭＯ（Ｖｉｒｔｕａｌ ＭＩＭＯ）レーダーを含んでもよい。仮想ＭＩＭＯレーダーは、複数の送信器アレイと複数の受信器アレイを含んでもよく、仮想ＭＩＭＯレーダーによってレーダーのアンテナ性能が高くなる。レーダー映像処理装置は、レーダー映像処理装置に基づいてＭＩＭＯを構成している複数のレーダーと各レーダーに基づいて、仮想ＭＩＭＯを構成している複数の送信器アレイ及び受信器アレイのビームフォーミングによって取得された複数のキャプチャー映像を、ＳＡＲの処理方式を用いて車両の前面及び後面の高解像度映像を生成することができる。

図３Ｂは、一実施形態に係る複数のレーダーのビームフォーミング方式を説明するための図である。

図３Ｂを参照すれば、映像キャプチャーのための複数のレーダーは、車両に基づいてそれぞれ相違に位置する地点を予め定義された経路３０４に応じて順にビームフォーミングするよう同期化され、同期化は予め設定され、レーダー映像処理装置によってリアルタイムに制御されてもよい。図３Ｂに示すｙ軸は、車両から離れた地点のうち車両の前方又は後方にある複数の地点に対応し、ｘ軸は車両から離れた地点のうち車両の側方にある複数の地点に対応し、地面から離れた高さに対応する次元は表現されていない。

レーダー映像処理装置は、予め定義された経路に応じて順にビームフォーミングする複数のレーダーから複数のキャプチャー映像を取得し、取得された複数のキャプチャー映像を用いて予め定義された経路に応じてリアルタイムに高解像度映像を生成し得る。上述したように、ビームフォーミング対象となる経路は予め設定され、予め設定された経路に応じて自動で複数のレーダーがビームフォーミングを実施し、又は、レーダー映像処理装置による制御によって複数のレーダーが特定経路に応じてビームフォーミングを行う。上述したように、複数のレーダーは、同じ時点で同じ地点をビームフォーミングするため、レーダー映像処理装置は、特定時点に該当する高解像度映像をリアルタイムに生成及び処理できる。例えば、レーダー映像処理装置は、オブジェクトを識別及び分類できるほどの高解像度映像をリアルタイムに生成及び処理できる。

図３Ｃは、一実施形態に係る複数のレーダーのビームフォーミング方式を説明するための図である。

図３Ｃを参照すれば、複数のレーダーからターゲットに向かう送信信号の送信器Ｔｘ_１、Ｔｘ_２、Ｔｘ_３は互いに同期化され、送信信号がターゲットから反射して複数のレーダーに向かう受信信号の受信器Ｒｘ_１、Ｒｘ_２、Ｒｘ_３は互いに同期化される。例えば、Ｔｘ_１、Ｔｘ_２、Ｔｘ_３は互いに同一であり、Ｒｘ_１、Ｒｘ_２、Ｒｘ_３は互いに同じであってもよい。レーダー映像処理装置は、動作を処理するタイムスロットのうち、同じタイムスロットで多い量のデータを収集することができるため、車両の速度が速い場合、遅い場合、車両が停止した場合に関わらず、高解像度映像を処理することができる。一実施形態によれば、レーダー映像処理装置は、車両が動いている状況で送信信号の利得（ｇａｉｎ）が受信信号の利得よりも大きくして映像処理の性能を高めることができる。信号の利得は、予め設定され、レーダー映像処理装置によって制御され、利得が調整又は修正される実施形態は、設計意図によって多様に変形され得る。

図３Ｄ及び図３Ｅは、一実施形態に係るレーダーのビームフォーミング方式を説明するための図である。

レーダー映像処理装置は、相違するようにコード化された複数のレーダーの信号を用いて高解像度映像の生成のためのデータを取得する。一実施形態によれば、レーダー映像処理装置は、ＰＭＣＷ（Ｐｕｌｓｅ Ｍｏｄｕｌａｔｉｏｎ Ｃｏｎｔｉｎｕｏｕｓ Ｗａｖｅ）ＭＩＭＯ Ｒａｄａｒ方式、及びＣＤＭＡ（Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）ＭＩＭＯ Ｒａｄａｒ方式を用いて、制限された数のレーダーでコード化方式なしで映像生成のためのデータを取得するよりも多いデータを取得し、より多いデータの取得によって解像度性能を高めることができる。レーダー映像処理装置は、相違するようにコード化された信号を用いて高解像度映像を生成するため、干渉に強いレーダーから取得された情報を重複させ得る。

図３Ｄを参照すれば、レーダー３１１、３１２、３１３からターゲット３１４に向かう送信信号３１５、３１６、３１７は互いに相違するようにコード化される。レーダー映像処理装置は、送信信号３１５、３１６、３１７がターゲット３１４から反射した受信信号３１８、３１９、３２０、３２１、３２２、３２３、３２４、３２５、３２６を用いて高解像度映像の生成のためのデータを取得する。

第１レーダー３１１によって受信された第１受信信号３１８、第２レーダー３１２によって受信される第４受信信号３２１、及び第３レーダー３１３によって受信される第７受信信号３２４は、ターゲット３１４から反射した第１送信信号３１５に対応する。第１レーダー３１１によって受信される第２受信信号３１９、第２レーダー３１２によって受信される第４受信信号３２２、及び第３レーダー３１３によって受信される第８受信信号３２５は、ターゲット３１４から反射する第２送信信号３１６に対応する。第１レーダー３１１によって受信される第３受信信号３２０、第２レーダー３１２によって受信される第６受信信号３２３、及び第３レーダー３１３によって受信される第９受信信号３２６は、ターゲット３１４から反射する第３送信信号３１７に対応する。

第１レーダー３１１は、第１送信器Ｔｘ_１及び第１受信器Ｒｘ_１を含み、第１送信器からＧ_Ｔｘ１の利得で送信された第１送信信号３１５は、第１コードであるＰＮ１（Ｐｓｅｕｄｏ Ｎｏｉｓｅ ｃｏｄｅ １）でコード化される。第２レーダー３１２は、第２送信器Ｔｘ_２及び第２受信器Ｒｘ_２を含み、第２送信器からＧ_Ｔｘ２の利得で送信された第２送信信号３１６は、第２コードであるＰＮ２（Ｐｓｅｕｄｏ Ｎｏｉｓｅ ｃｏｄｅ ２）でコード化される。第３レーダー３１３は、第３送信器Ｔｘ_３及び第３受信器Ｒｘ_３を含み、第３送信器からＧ_Ｔｘ３の利得で送信された第３送信信号３１７は、第３コードであるＰＮ３（Ｐｓｅｕｄｏ Ｎｏｉｓｅ ｃｏｄｅ ３）でコード化される。

第１レーダー３１１の第１受信器Ｒｘ_１は、第１送信信号３１５がターゲット３１４から反射した信号である第１受信信号３１８、第２送信信号３１６がターゲット３１４から反射した信号である第２受信信号３１９、及び第３送信信号３１７がターゲット３１４から反射した信号である第３受信信号３２０を受信する。第２レーダー３１２の第２受信器Ｒｘ_２は、第１送信信号３１５がターゲット３１４から反射した信号である第４受信信号３２１、第２送信信号３１６がターゲット３１４から反射した信号である第５受信信号３２２、及び第３送信信号３１７がターゲット３１４から反射した信号である第６受信信号３２３を受信する。第３レーダー３１１の第３受信器Ｒｘ_３は、第１送信信号３１５がターゲット３１４から反射した信号である第７受信信号３２４、第２送信信号３１６がターゲット３１４から反射した信号である第８受信信号３２５、及び第３送信信号３１７がターゲット３１４から反射した信号である第９受信信号３２６を受信する。

レーダー映像処理装置は、ターゲット３１４の高解像度映像の生成のために第１受信信号３１８～第９受信信号３２６を用いる。各受信信号３１８～３２６は互いに相違するようにコード化された送信信号３１５～３１７に対応するため、第１レーダー３１１から受信された受信信号３１８、３１９、３２０は互いに識別され、第２レーダー３１２から受信された受信信号３２１、３２２、３２３は互いに識別され、第３レーダー３１３から受信された受信信号３２４、３２５、３２６は互いに識別される。一実施形態によれば、レーダー映像処理装置は、受信信号３１８、３１９、３２０を用いて第１レーダー３１１から第１キャプチャー映像を取得し、受信信号３２１、３２２、３２３を用いて第２レーダー３１２から第２キャプチャー映像を取得し、受信信号３２４、３２５、３２６を用いて第３レーダー３１３から第３キャプチャー映像を取得し、取得されたキャプチャー映像を合成してターゲット３１４の高解像度映像を生成する。

図３Ｅを参照すれば、第１レーダー３３１は、ＰＮ１に対応するＴｘ_１のアンテナから第１送信信号３４１を送信し、Ｒｘ_１のアンテナからＰＮ１に対応する第１受信信号３５１、ＰＮ２に対応する第２受信信号３５２、及びＰＮ３に対応する第３受信信号３５４を受信する。第１受信信号３５１は第１送信信号３４１に対応し、第２受信信号３５２は第２レーダーのＴｘ_２のアンテナから送信された第２送信信号３４２に対応し、第３受信信号３５３は第３レーダーのＴｘ_３のアンテナから送信された第３送信信号３４３に対応する。第１レーダー３３１のＲｘ_１はＰＮ１に対応する受信器３３２、ＰＮ２に対応する受信器３３３、及びＰＮ３に対応する受信器３３３を含む。レーダー映像処理装置は、第１受信信号３５１に基づいたデータ３６１をターゲットレンジビン（ｔａｒｇｅｔ ｒａｎｇｅ ｂｉｎ）でソーティングし、第２受信信号３５２に基づいたデータ３６２をターゲットレンジビンにソーティングし、第３受信信号３５３に基づいたデータ３６３をターゲットレンジビンにソーティングする。レーダー映像処理装置は、ソーティングされたデータに基づいてターゲットのキャプチャー映像を生成する。

レーダー映像処理装置は、３個のレーダーを用いた送信信号のコード化方式によってレーダーが１つである場合の９倍のデータを取得する。同様に、レーダー映像処理装置は、４個のレーダーを用いてレーダーが１つである場合の１６倍のデータを取得し、５個のレーダーを用いてレーダーが１つである場合の２５倍のデータを取得する。レーダー映像処理装置は、送信信号のコード化方式によって、レーダー数の増加につれてターゲットの高解像度映像の生成のためのデータをレーダーの数の自乗倍だけ増やすことから、映像の解像度性能を高めることができ、多重映像のキャプチャーを同時に行ってリアルタイムに映像を生成することが有利である性能を提供する。

図４Ａは、一実施形態に係るレーダーの利得多様化を説明するための図である。

複数のレーダーの利得又はゲインが多様に設定される方式を利得多様化（Ｇａｉｎ ｄｉｖｅｒｓｉｆｉｃａｔｉｏｎ）と称する。図４Ａを参照すれば、複数のレーダーの利得は、利得多様化によってそれぞれ相違するように設定される。複数のレーダーの利得が相違するように設定された実施形態は、複数のレーダーの利得が同一に設定された実施形態よりも検出の感度及び検出範囲の性能を高めることができる。複数のレーダーの利得は、予め設定された環境に応じて利得多様化され、レーダー映像処理装置によってリアルタイムに制御され、予め設定され得る。

図４Ａにおいて、Ｇ_１、Ｇ_２及びＧ_３はそれぞれ車両前面に搭載された複数のレーダーの利得に対応し、レーダー映像処理装置は、複数のレーダーの利得をＧ_１＞Ｇ_２＞Ｇ_３に設定して検出関連性能を高める。Ｇ_１＝Ｇ_２＝Ｇ_３に対応する全体利得の総和は、Ｇ_１＞Ｇ_２＞Ｇ_３に対応する全体利得の総和と同じである。Ｇ_１＞Ｇ_２＞Ｇ_３である場合、複数のレーダーの利得がそれぞれ異なるため、レーダーのうちいずれか１つのレーダーによってオブジェクトが検出される可能性がＧ_１＝Ｇ_２＝Ｇ_３である場合より高くなる。例えば、相対的に高い利得のレーダーによって円滑に検出されるオブジェクトの場合、Ｇ_１＝Ｇ_２＝Ｇ_３である複数のレーダーによって検出されなかったとしても、Ｇ_１＞Ｇ_２＞Ｇ_３であるならば、それらのレーダーのうちＧ_１に対応するレーダーによって検出されるかもしれない。したがって、利得多様化によりレーダーの検出性能を高めることができる。

レーダー映像処理装置は、利得多様化された複数のレーダーから取得したキャプチャー映像のうち、少なくとも１つに基づいてオブジェクトを検出する。レーダー映像処理装置は、検出に応答してキャプチャー映像よりもオブジェクト検出範囲の大きい高解像度映像を生成する。例えば、レーダー映像処理装置は、Ｇ_１＞Ｇ_２＞Ｇ_３に設定された複数のレーダーから取得したキャプチャー映像のうち、Ｇ_１に対応するレーダーから取得したキャプチャー映像に基づいてオブジェクトを検出し、オブジェクト検出に応答して高解像度映像を生成する。

図４Ｂは、一実施形態に係る複数のレーダーの利得多様化を説明するための図である。

図４Ｂを参照すれば、レーダー映像処理装置は、Ｇ_１＞Ｇ_２＞Ｇ_３に設定された複数のレーダーを用いて車両前方の車両及び人を全て検出する。車両と人は反射度の特性が異なるため、Ｇ_１＝Ｇ_２＝Ｇ_３である複数のレーダーからいずれの信号も検出されないことがある。一般に、車両の反射度は人の反射度よりも遥かに大きいため、例えば、車両から人が外に出てくる状況で複数のレーダーの利得がＧ_１＝Ｇ_２＝Ｇ_３に設定され、車両の反射信号によって複数のレーダーの受信器が飽和されるほどその利得が大きければ、複数のレーダーから取得されたキャプチャー映像から車両及び人が全て検出されないことがある。

一実施形態によれば、複数のレーダーの利得がＧ_１＞Ｇ_２＞Ｇ_３に設定された場合、利得がそれぞれＧ_１及びＧ_２である複数のレーダーの受信器は飽和され得るが、利得がＧ_３として相対的に小さいレーダーの受信器は飽和されないため、レーダー映像処理装置は、レーダーから取得されたキャプチャー映像から車両と人を検出することができる。

図４Ｃは、一実施形態に係る複数のレーダーの利得多様化を説明するための図である。

図４Ｃを参照すれば、レーダー映像処理装置は、Ｇ_１＞Ｇ_２＞Ｇ_３に設定された複数のレーダーを用いて車両前方の人を検出する。体格が小さい人が車両から遠くに離れている場合、ビームの反射度は小さい。したがって、Ｇ_１＝Ｇ_２＝Ｇ_３である複数のレーダーから取得されたキャプチャー映像から人が検出されないことがある。複数のレーダーの利得がＧ_１＞Ｇ_２＞Ｇ_３に設定された場合、レーダー映像処理装置は、相対的に利得が大きく設定されたＧ_１に対応するレーダーを用いてそのような人を検出することができる。

複数のレーダーの利得が全て同一である場合、利得を最適化するための作業が数回に繰り返されなければならない。これとは異なり、複数のレーダーの利得が相違するように設定された場合、利得を最適化する作業にかかる時間を減らし得る。例えば、３個のレーダーの利得が互いに異なる場合、利得の最適化時間は、複数のレーダーの利得が全て同一である場合よりも１／３以上に減少する。レーダー映像処理装置は、相違に設定された複数の利得のレーダーを用いるため、リアルタイムの制御に有利である。

複数のレーダーの利得が設定される態様は、設計意図に応じて様々に変形又は応用できる。例えば、走行経路方向にビームを形成する複数のレーダーの利得は普通利得（ｎｏｒｍａｌ ｇａｉｎ）として設定される。普通利得は、潜在的オブジェクト（ｐｏｔｅｎｔｉａｌ ｏｂｊｅｃｔ）の検出可能な範囲内で設定されるが、普通利得として設定されたレーダーのうち少なくとも１つのレーダーの受信利得が特定の値に収斂する場合には、その受信利得が収斂したレーダーの利得はさらに小さく設定される。レーダー映像処理装置は、複数のレーダーの利得を走行中に適応的に制御できる。又は、複数のレーダーの利得は自体的に調整され得る。

図５Ａ及び図５Ｂは、一実施形態に係るレーダーのビームフォーミング範囲が制御される動作を説明するための図である。

複数のレーダーのビームフォーミング範囲は状況によって調整されてもよい。例えば、レーダー映像処理装置は、複数のレーダーのビームフォーミング範囲を適応的に制御し得る。

一実施形態によれば、レーダー映像処理装置は、特定状況又は条件に応答して複数のレーダーのビームフォーミング範囲を制限又は調整する。レーダー映像処理装置は、モードのうち現在のモードを判断し、現在のモードに応答してレーダーのうち少なくとも１つのレーダーの少なくとも１つのビームフォーミング範囲を制御する。レーダー映像処理装置は、少なくとも１つのレーダーのビームフォーミング範囲を車両の前方に制限し得る。

図５Ａを参照すれば、レーダー映像処理装置は、現在のモードが高速道路走行モード（Ｈｉｇｈｗａｙ－ｄｒｉｖｅ ｍｏｄｅ）である場合に応答して、車両の前方に搭載された複数のレーダーのビームフォーミング範囲を車両の前方に制限する方式によりビームフォーミング範囲を制御する。高速道路走行時に車両前方物体と車両との間の距離、及び車両と物体との相対速度を早く認識することが重要である。レーダー映像処理装置は、複数のビームフォーミング範囲を制限して電力を集中させ、長い範囲（ｌｏｎｇ ｒａｎｇｅ）の検出及び認識性能を高めることができる。

図５Ｂを参照すれば、レーダー映像処理装置は、現在のモードが都心走行モード（Ｃｉｔｙ－ｄｒｉｖｅ ｍｏｄｅ）の場合に応答して、車両の前方に搭載された複数のレーダーのビームフォーミング範囲の制限なしで最大に広い範囲を検出するようビームフォーミング範囲を制御する。都心走行時の周辺環境の正確な認識が重要である。レーダー映像処理装置は、ビームフォーミング範囲を制限することなく、ビームフォーミング範囲の角度範囲を最大限拡張して周辺環境を認識するために適するようレーダーを制御する。車両の前方に搭載された複数のレーダーを例示にしてビームフォーミング範囲制御の実施形態を説明したが、上述した内容は、車両の前方、側面、及び後面のうち少なくとも１つに適用され得る。レーダー映像処理装置は、上述したようにレーダー映像処理を二元化して状況に応じて複数のビームフォーミング範囲を制御することができるが、ビームフォーミング範囲が調整される実施形態については、上述した内容に制限されることなく設計意図に応じて様々なシナリオが採用される。

図５Ｃは、一実施形態に係るレーダーのビームフォーミング範囲が制御される動作を説明するための図である。

図５Ｃを参照すれば、レーダー映像処理装置は、車両の速度、加速度、位置、周辺環境のうち少なくとも１つに基づいて現在のモードを判断する。現在のモードが高速道路走行モードである場合、上述したように、レーダー映像処理装置は、レーダー１及びレーダー２のビームフォーミング範囲を前方に制限する。レーダー映像処理装置は、レーダー１及びレーダー２から取得された複数のキャプチャー映像を用いて前方－後面のレーダー信号処理を行い、オブジェクトを検出する。レーダー映像処理装置は、現在のモードが高速道路走行モードである場合、レーダー１及び２に関する信号処理を最小化してオブジェクト検出速度を高めることができる。

現在のモードが都心走行モードである場合、上述したようにレーダー映像処理装置は、レーダー１及びレーダー２のビームフォーミング範囲を制限することなく、広い角度範囲でビームフォーミング範囲を拡張し得る。レーダー映像処理装置は、レーダー１及びレーダー２から取得された複数のキャプチャー映像を用いて前方－後面のレーダー信号処理を行い、複数のキャプチャー映像を重複して高解像度キャプチャー映像を生成し得る。レーダー映像処理装置は、高解像度キャプチャー映像を用いてオブジェクトを検出して分類する。レーダー映像処理装置は、現在のモードが都心走行モードである場合、周辺環境を正確に認識するために、レーダー１及び２から取得された情報を用いて高解像度キャプチャー映像を生成し得る。

図６は、一実施形態に係るレーダー映像処理システムを示す。

図６を参照すれば、レーダー映像処理システム６０１は、レーダー映像処理装置６０２及び複数のレーダーを含む。レーダー映像処理システム６０１で実行される動作のうち、キャプチャー又はスキャン動作は複数のレーダーによって実行され、複数のレーダーから取得された情報の処理又は複数のレーダーの同期化はレーダー映像処理装置６０２によって実行される。

一実施形態によれば、２Ｄ ＦＦＴ（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）のような一般的なレーダー処理（Ｃｏｎｖｅｎｔｉｏｎａｌ ｒａｄａｒ ｐｒｏｃｅｓｓｉｎｇ）及び特徴抽出（Ｆｅａｔｕｒｅ ｅｘｔｒａｃｔｉｏｎ）の動作は、簡単で処理負荷が比較的に少ないため、レーダーにより実行され得る。その他に、複数のレーダーから収集された情報を処理し、複数のレーダーのビームフォーミングを制御し、ＳＡＲの処理方式を用いて高解像度映像を生成する動作は処理負荷が比較的に大きいことから、レーダー映像処理装置６０２によって実行される。上述したように、レーダー映像処理装置６０２は、同期化された複数のレーダーから取得されたキャプチャー映像を用いて３６０°の角度範囲を有する高解像度映像を生成し、オブジェクトを検出及び認識し、オブジェクトの動きを追跡する。レーダー映像処理システム６０１は、比較的に複雑な処理をレーダー映像処理装置６０２に転嫁させ、比較的に単純な動作のみをレーダーに負担させ、レーダー映像処理をリアルタイムに処理できるよう有利に設計される。レーダー映像処理システム６０１の動作は上述した実施形態が適用されるため、重複する内容の説明は省略する。

図７は、一実施形態に係るレーダー映像処理装置を示す。

図７を参照すれば、レーダー映像処理装置７０１は、プロセッサ７０２及びメモリ７０３を含む。メモリ７０３は、レーダー映像処理又はレーダー制御に関する命令を処理するためのプログラムが記録され、図１～図６を参照して説明された動作を実行するための命令が記録される。また、メモリ７０３は、複数のレーダーから取得される情報を記録する。

プロセッサ７０２は、メモリ７０３に記録されたプログラムをロードして実行する。ここで、プロセッサ７０２の動作は、上記で説明した実施形態が適用されるため、重複する内容の説明は省略する。

図８は、一実施形態に係るレーダー映像が処理される動作を説明するための図である。

図８を参照すれば、レーダーは上述したように同期化される。同期化された複数のレーダーは一般的なレーダー処理を行う。レーダー映像処理装置は、メモリに記録された情報を用いて複数のレーダーから取得されたキャプチャー映像の座標変換（ｃｏｏｒｄｉｎａｔｅ ｔｒａｎｓｆｏｒｍａｔｉｏｎ）を行い、映像統合（ｉｍａｇｅ ｉｎｔｅｇｒａｔｉｏｎ）を行う。レーダー映像処理装置は、車両の前面、側面、及び後面に対応する複数のキャプチャー映像を合成し、合成された複数のキャプチャー映像に基づいて高解像度映像を生成する。レーダー映像処理装置は、高解像度映像を用いてターゲットを追跡し、エッジを検出して映像を表示する。レーダー映像処理については上記した実施形態が適用されるため、重複する内容の説明は省略する。

以上述した実施形態は、ハードウェア構成要素、ソフトウェア構成要素、又はハードウェア構成要素及びソフトウェア構成要素の組合せで具現される。例えば、本実施形態で説明した装置及び構成要素は、例えば、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、マイクロコンピュータ、ＦＰＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサー、又は命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行して応答する異なる装置のように、１つ以上の汎用コンピュータ又は特殊目的コンピュータを用いて具現される。処理装置は、オペレーティングシステム（ＯＳ）及びオペレーティングシステム上で実行される（Ｓ１つ以上のソフトウェアアプリケーションを実行する。また、処理装置は、ソフトウェアの実行に応答してデータをアクセス、格納、操作、処理、及び生成する。理解の便宜のために、処理装置は１つが使用されるものとして説明する場合もあるが、当該技術分野で通常の知識を有する者は、処理装置が複数の処理要素（ｐｒｏｃｅｓｓｉｎｇ ｅｌｅｍｅｎｔ）及び／又は複数類型の処理要素を含むことが分かる。例えば、処理装置は、複数のプロセッサ又は１つのプロセッサ及び１つのコントローラを含む。また、並列プロセッサ（ｐａｒａｌｌｅｌ ｐｒｏｃｅｓｓｏｒ）のような、他の処理構成も可能である。

ソフトウェアは、コンピュータプログラム、コード、命令、又はこれらのうちの１つ以上の組合せを含み、希望通りに動作するように処理装置を構成し、独立的又は結合的に処理装置に命令する。ソフトウェア及び／又はデータは、処理装置によって解釈され、処理装置に命令又はデータを提供するためのあらゆる類型の機械、構成要素、物理的装置、仮想装置、コンピュータ格納媒体又は装置、或いは送信される信号波を介して永久的又は一時的に具現化される。ソフトウェアは、ネットワークに接続されたコンピュータシステム上に分散され、分散された方法で格納されるか又は実行される。ソフトウェア及びデータは１つ以上のコンピュータ読み取り可能な記録媒体に格納される。

本実施形態による方法は、多様なコンピュータ手段を介して実施されるプログラム命令の形態で具現され、コンピュータ読み取り可能な記録媒体に記録される。記録媒体は、プログラム命令、データファイル、データ構造などを単独又は組合せて含む。記録媒体及びプログラム命令は、本発明の目的のために特別に設計して構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ－ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスクのような磁気－光媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置を含む。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行される高級言語コードを含む。ハードウェア装置は、本発明の動作を実行するために１つ以上のソフトウェアモジュールとして作動するように構成してもよく、その逆も同様である。

上述したように実施形態をたとえ限定された図面によって説明したが、当該技術分野で通常の知識を有する者であれば、前記に基づいて様々な技術的な修正及び変形を適用することができる。例えば、説明された技術が説明された方法と異なる順序で実行され、及び／又は説明されたシステム、構造、装置、回路などの構成要素が説明された方法と異なる形態で結合又は組み合わせられ、他の構成要素又は均等物によって置換されたとしても適切な結果を達成することができる。

Claims (26)

1. 同じ時間に同じ地点をビームフォーミングするよう互いに同期化された複数のレーダーからキャプチャー映像を取得するステップと、
   前記キャプチャー映像の少なくとも１つの重複領域に基づいて前記複数のキャプチャー映像を合成するステップと、
   前記合成された複数のキャプチャー映像に基づいて高解像度映像を生成するステップと、
   を含み、前記複数のレーダーの利得は互いに相違するように設定されている、レーダー映像処理方法。
2. 前記重複領域の角度範囲は予め設定された条件を満足する、請求項１に記載のレーダー映像処理方法。
3. 前記複数のレーダーは、車両から離れた距離が同一の複数の地点を順にビームフォーミングするよう互いに同期化される、請求項１又は２に記載のレーダー映像処理方法。
4. 前記複数のレーダーは、車両に基づいてそれぞれ相違に位置する地点を予め定義された経路に応じて順にビームフォーミングするよう互いに同期化される、請求項１又は２に記載のレーダー映像処理方法。
5. 前記複数のレーダーからターゲットに向かう複数の送信信号を送信するための送信時間は互いに同期化され、
   前記複数の送信信号が前記ターゲットにより反射され、
   前記ターゲットから前記複数のレーダーに向かう複数の反射信号を受信するための受信時間は互いに同期化される、請求項１ないし４のうち何れか一項に記載のレーダー映像処理方法。
6. 前記複数のレーダーはＭＩＭＯ方式に基づいて構成され、
   前記レーダーのうち少なくとも１つは仮想ＭＩＭＯレーダーを含む、請求項１ないし５のうち何れか一項に記載のレーダー映像処理方法。
7. 前記複数のレーダーからターゲットに向かう複数の送信信号は互いに相違するコードで符号化され、
   前記レーダーのうちいずれか１つである第１レーダーは、前記複数の送信信号のそれぞれが前記ターゲットから反射した信号である複数の第１受信信号を受信し、
   前記レーダーのうちいずれか１つである第２レーダーは、前記複数の送信信号のそれぞれが前記ターゲットから反射した信号である複数の第２受信信号を受信する、請求項１ないし６のうち何れか一項に記載のレーダー映像処理方法。
8. 前記複数のキャプチャー映像を取得するステップは、
   前記複数の第１受信信号に基づいて前記第１レーダーから第１キャプチャー映像を取得するステップと、
   前記複数の第２受信信号に基づいて前記第２レーダーから第２キャプチャー映像を取得するステップと、
   を含む、請求項７に記載のレーダー映像処理方法。
9. 前記複数のレーダーのうち少なくとも一部のレーダーは車両の前方、側方、及び後方のうち少なくとも１つをスキャンするように設けられている、請求項１ないし８のうち何れか一項に記載のレーダー映像処理方法。
10. 前記複数のレーダー利得から取得した前記キャプチャー映像のうち少なくとも１つに基づいてオブジェクトを検出するステップをさらに含む、請求項１ないし９のうち何れか一項に記載のレーダー映像処理方法。
11. 前記高解像度映像を生成するステップは、前記検出に応答して、前記複数のキャプチャー映像よりもオブジェクト検出範囲の大きい前記高解像度映像を生成するステップを含む、請求項１０に記載のレーダー映像処理方法。
12. モードのうち現在のモードを判断するステップと、
    前記現在のモードに基づいて前記レーダーのうち少なくとも１つのレーダーの少なくとも１つのビームフォーミング範囲を制御するステップをさらに含む、請求項１ないし１１のうち何れか一項に記載のレーダー映像処理方法。
13. 前記ビームフォーミング範囲を制御するステップは、前記ビームフォーミング範囲を車両の前方に制限するステップを含む、請求項１２に記載のレーダー映像処理方法。
14. 前記現在のモードを判断するステップは、車両の速度、加速度、位置、周辺環境のうち少なくとも１つに基づいて現在のモードを判断するステップをさらに含み、
    前記複数のモードは、高速道路走行モード及び都心走行モードを含む、請求項１２に記載のレーダー映像処理方法。
15. 請求項１ないし１４のうち何れか一項に記載のレーダー映像処理方法を、レーダー映像処理装置のコンピュータに実行させるコンピュータプログラム。
16. 命令を記録するメモリと、
    前記メモリに記録された命令を実行するプロセッサと、
    を含み、
    前記プロセッサは、
    同じ時間に同じ地点をビームフォーミングするよう互いに同期化された複数のレーダーからキャプチャー映像を取得し、
    前記キャプチャー映像の少なくとも１つの重複領域に基づいて前記複数のキャプチャー映像を合成し、
    前記合成された複数のキャプチャー映像に基づいて高解像度映像を生成し、
    前記複数のレーダーの利得は互いに相違するように設定されている、レーダー映像処理装置。
17. 前記プロセッサは、車両から離れた距離が同一の複数の地点を順にビームフォーミングするよう前記レーダーを互いに同期化する、請求項１６に記載のレーダー映像処理装置。
18. 前記プロセッサは、車両に基づいてそれぞれ相違に位置する地点を予め定義された経路に応じて順にビームフォーミングするよう前記レーダーを互いに同期化する、請求項１６に記載のレーダー映像処理装置。
19. 前記プロセッサは、
    前記複数のレーダーから取得した前記キャプチャー映像のうち少なくとも１つに基づいてオブジェクトを検出する、請求項１６ないし１８のうち何れか一項に記載のレーダー映像処理装置。
20. 前記プロセッサは、
    複数のモードのうち現在のモードを判断し、
    前記現在のモードに基づいて、前記レーダーのうち少なくとも１つのレーダーの少なくとも１つのビームフォーミング範囲を制御する、請求項１６ないし１９のうち何れか一項に記載のレーダー映像処理装置。
21. 前記複数のレーダーは、ＭＩＭＯ方式に基づいて構成され、
    前記プロセッサは、前記ＭＩＭＯである前記複数のレーダーを制御し、
    前記レーダーのうち少なくとも１つは、仮想ＭＩＭＯレーダーを含む、請求項１６ないし２０のうち何れか一項に記載のレーダー映像処理装置。
22. 複数のレーダーと、
    命令を記録するメモリと、
    前記メモリに記録された命令を実行するプロセッサと、
    を含み、
    前記プロセッサは、
    同じ時間に同じ地点をビームフォーミングするように前記複数のレーダーを同期化し、
    前記複数のレーダーからキャプチャー映像を取得し、
    前記キャプチャー映像の少なくとも１つの重複領域に基づいて前記複数のキャプチャー映像を合成し、
    前記合成された複数のキャプチャー映像に基づいて高解像度映像を生成し、
    前記複数のレーダーの利得は互いに相違するように設定されている、レーダー映像処理システム。
23. プラットフォームに搭載された複数のレーダーからキャプチャー映像を取得するステップと、
    前記複数のキャプチャー映像の複数の重複領域に基づいて前記複数のキャプチャー映像を同期化し、３６０°の視野を有する映像を取得するステップと、
    前記複数の同期化された映像に基づいて高解像度映像を生成するステップと、
    を含み、
    前記複数のレーダーは、
    前記プラットフォームの前方に搭載された第１ＬＲＲ（Ｌｏｎｇ Ｒａｎｇｅ Ｒａｄａｒ）と、
    前記プラットフォームの後方に搭載された第２ＬＲＲと、
    前記第１ＬＲＲの側方のうち一方の側であって前記プラットフォームの前方に搭載された第１ＳＲＲ（Ｓｈｏｒｔ Ｒａｎｇｅ Ｒａｄａｒ）と、
    前記第１ＬＲＲの側方のうち他方の側であって前記プラットフォームの前方に搭載された第２ＳＲＲと、
    前記プラットフォームの前方及び後方の間であって前記プラットフォームの側方のうち一方の側に搭載された第３ＳＲＲと、
    前記プラットフォームの前方及び後方の間であって前記プラットフォームの側方のうち他方の側に搭載された第４ＳＲＲと、
    前記第２ＬＲＲの側方のうち一方の側であって前記プラットフォームの後方に搭載された第５ＳＲＲと、
    前記第２ＬＲＲの側方のうち他方の側であって前記プラットフォームの後方に搭載された第６ＳＲＲと、
    を含み、前記第１ＬＲＲ、前記第１ＳＲＲ、及び前記第２ＳＲＲの利得は互いに異なる、レーダー映像処理方法。
24. 前記第１ＬＲＲ、前記第１ＳＲＲ、及び前記第２ＳＲＲは、互いに同期化されて同じ時点に同じ地点上のビームフォーミングを形成し、
    前記高解像度映像を生成するステップは、互いに同期化された前記第１ＬＲＲ、前記第１ＳＲＲ、及び前記第２ＳＲＲによって取得された複数のキャプチャー映像に基づいて前記プラットフォームの前方領域の高解像度映像を生成するステップを含む、請求項２３に記載のレーダー映像処理方法。
25. 前記第１ＳＲＲはターゲットに向けて第１送信信号を送信し、
    前記第１ＬＲＲは前記ターゲットに向けて第２送信信号を送信し、
    前記第２ＳＲＲは前記ターゲットに向けて第３送信信号を送信し、
    前記複数のキャプチャー映像を取得するステップは、
    前記第１ＳＲＲによって受信され、前記ターゲットから前記第１送信信号を反射させて生成される第１受信信号、前記第１ＳＲＲによって受信され、前記ターゲットから前記第２送信信号を反射させて生成される第２受信信号、及び前記第１ＳＲＲによって受信され、前記ターゲットから前記第３送信信号を反射させて生成される第３受信信号に基づいて前記第１ＳＲＲから第１受信映像を取得するステップと、
    前記第１ＬＲＲによって受信され、前記ターゲットから前記第１送信信号を反射させて生成される第４受信信号、前記第１ＬＲＲによって受信され、前記ターゲットから前記第２送信信号を反射させて生成される第５受信信号、及び前記第１ＬＲＲによって受信され、前記ターゲットから前記第３送信信号を反射させて生成される第６受信信号に基づいて前記第１ＬＲＲから第２受信映像を取得するステップと、
    前記第２ＳＲＲによって受信され、前記ターゲットから前記第１送信信号を反射させて生成される第７受信信号、前記第２ＳＲＲによって受信され、前記ターゲットから前記第２送信信号を反射させて生成される第８受信信号、及び前記第２ＳＲＲによって受信され、前記ターゲットから前記第３送信信号を反射させて生成される第９受信信号に基づいて前記第２ＳＲＲから第３受信映像を取得するステップと、
    を含み、
    前記高解像度映像を生成するステップは、前記第１受信映像、前記第２受信映像、及び前記第３受信映像に基づいて前記高解像度映像を生成するステップを含む、請求項２３に記載のレーダー映像処理方法。
26. 前記第１ＳＲＲ、前記第１ＬＲＲ、及び前記第２ＳＲＲのビームフォーミング範囲を制御し、前記第１ＳＲＲ、前記第１ＬＲＲ、及び前記第２ＳＲＲの前記ビームフォーミング範囲を高速道路走行モードで前記プラットフォームの前方領域に制限するステップと、
    前記第１ＳＲＲ、前記第１ＬＲＲ、及び前記第２ＳＲＲのビームフォーミング範囲を制御し、前記第１ＳＲＲ、前記第１ＬＲＲ、及び前記第２ＳＲＲの前記ビームフォーミング範囲を都心走行モードで最大値に拡張するステップと、
    をさらに含む、請求項２３に記載のレーダー映像処理方法。

Images