JP7629732B2 - 車両用環境認識方法及び車両用環境認識装置 - Google Patents

Description

本発明は、車両用環境認識方法及び車両用環境認識装置に関する。

従来より、車両のナンバープレートをカメラで撮像して認識する発明が知られている（特許文献１）。特許文献１に記載された発明は識別媒体の領域が予め設定された領域内に位置すると判定された場合に超解像処理を行いナンバープレートを認識する。

米国特許出願公開第２０１８／０１８９５９０号明細書

しかしながら、特許文献１に記載された発明のような特定の領域に超解像領域を設定する方法では適切な超解像領域を設定することができないおそれがある。

本発明は、上記問題に鑑みて成されたものであり、その目的は、超解像処理を行う領域を適切に設定することが可能となる車両用環境認識方法及び車両用環境認識装置を提供することである。

本発明の一態様に係る車両用環境認識方法は、自車両の進行方向を推定し、推定された自車両の進行方向に基づいて複数の画像のそれぞれに対して画像上で所定の領域を設定し、設定された領域における画像上の移動量に基づいて、複数の画像の位置合わせを行い、位置合わせが行われた複数の画像を用いて超解像処理を行い、カメラによって撮像された画像の解像度を超える超解像画像を生成し、超解像画像に基づいて道路構造物を認識する。自車両が交差点を走行すると判断された場合、領域を、自車両が走行する車線、対向車線、及び歩道を含むように自車両から見て左右方向に相当する方向に拡げ、拡げた領域を、自車両が走行する車線を含む領域、対向車線を含む領域、及び歩道を含む領域に分割して、分割した各領域を設定する。

本発明によれば、超解像処理を行う領域を適切に設定することが可能となる。

図１は、本発明の実施形態に係る車両用環境認識装置１の構成図である。 図２は、超解像処理を行う領域の設定方法の一例を説明する図である。 図３は、超解像処理を行う領域の設定方法の他の例を説明する図である。 図４は、超解像処理を行う領域の設定方法のさらに他の例を説明する図である。 図５は、超解像処理を行う領域の設定方法のさらに他の例を説明する図である。 図６は、超解像処理を行う領域の設定方法のさらに他の例を説明する図である。 図７は、超解像処理を行う領域の設定方法のさらに他の例を説明する図である。 図８は、車両用環境認識装置１の一動作例を説明するフローチャートである。

以下、本発明の実施形態について、図面を参照して説明する。図面の記載において同一部分には同一符号を付して説明を省略する。

図１を参照して車両用環境認識装置１の構成例を説明する。図１に示すように、車両用環境認識装置１は、カメラ１０と、ヨーレートセンサ１１と、ＧＰＳ受信機１２と、ナビゲーション装置１３と、コントローラ２０と、ステアリングアクチュエータ１４と、アクセルペダルアクチュエータ１５と、ブレーキアクチュエータ１６を備える。

車両用環境認識装置１は自動運転機能を有する車両に搭載されてもよく、自動運転機能を有しない車両に搭載されてもよい。また、車両用環境認識装置１は自動運転と手動運転とを切り替えることが可能な車両に搭載されてもよい。また、自動運転機能は操舵制御、制動力制御、駆動力制御などの車両制御機能のうちの一部の機能のみを自動的に制御して運転者の運転を支援する運転支援機能であってもよい。本実施形態では車両用環境認識装置１は自動運転機能を有する車両に搭載されるものとして説明する。

カメラ１０はＣＣＤ（ｃｈａｒｇｅ－ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ）、ＣＭＯＳ（ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ ｏｘｉｄｅ ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子を有する。カメラ１０の設置場所は特に限定されないが、一例としてカメラ１０は自車両の前方、側方、後方に設置される。カメラ１０は所定の周期（例えば１０ｍｓｅｃ程度の短周期）で自車両の周囲を連続的に撮像する。つまりカメラ１０は異なるタイミングで撮像した複数の画像を取得する。カメラ１０は自車両の周囲に存在する物体（歩行者、自転車、バイク、他車両など）、及び自車両の前方の情報（区画線、信号機、標識、横断歩道、交差点など）を検出する。カメラ１０によって撮像された画像はコントローラ２０に出力される。

ヨーレートセンサ１１は自車両のヨーレート（旋回方向への回転角の変化速度）を検出する。ヨーレートセンサ１１は検出したヨーレートをコントローラ２０に出力する。

ＧＰＳ受信機１２は、人工衛星からの電波を受信することにより、地上における自車両の位置情報を検出する。ＧＰＳ受信機１２が検出する自車両の位置情報には、緯度情報、及び経度情報が含まれる。なお、自車両の位置情報を検出する方法はＧＰＳ受信機１２に限定されない。例えばオドメトリと呼ばれる方法を用いて位置を推定してもよい。オドメトリとは、自車両の回転角、回転角速度に応じて自車両の移動量及びと移動方向を求めることにより、自車両の位置を推定する方法である。ＧＰＳ受信機１２は検出した位置情報をコントローラ２０に出力する。

コントローラ２０は、ＣＰＵ（中央処理装置）、メモリ、及び入出力部を備える汎用のマイクロコンピュータである。マイクロコンピュータには、車両用環境認識装置１として機能させるためのコンピュータプログラムがインストールされている。コンピュータプログラムを実行することにより、マイクロコンピュータは車両用環境認識装置１が備える複数の情報処理回路として機能する。なおここでは、ソフトウェアによって車両用環境認識装置１が備える複数の情報処理回路を実現する例を示すが、もちろん以下に示す各情報処理を実行するための専用のハードウェアを用意して情報処理回路を構成することも可能である。また複数の情報処理回路を個別のハードウェアにより構成してもよい。コントローラ２０は、複数の情報処理回路の一例として、領域設定部２１と、画像シフト部２２と、超解像処理部２３と、道路構造物認識部２４と、車両制御部２５を備える。

領域設定部２１は、ヨーレートセンサ１１から取得したヨーレートを用いて自車両の進行方向を推定し、推定した自車両の進行方向に基づいて超解像処理を行う領域を設定する。本実施形態において、超解像処理を行う領域はカメラ１０によって撮像された画像の一部である。なお後述するように自車両の進行方向を推定する方法はヨーレートを用いた方法に限定されない。

画像シフト部２２は画像間の移動量を算出し、算出した移動量の分だけ画像を移動させて位置合わせを行う。画像の移動量とは２つの画像間の移動量である。このような移動量算出にはＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）、ＺＮＣＣ（Ｚｅｒｏ－ｍｅａｎ Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ－Ｃｏｒｒｅｌａｔｉｏｎ）などが用いられる。具体的には画像シフト部２２は探索範囲内で上下左右方向に１画素ずつずらして類似度を算出し、もっとも類似度が高い場所へ移動した量を移動量として算出する。２つの画像を比較するためには基準となる画像が必要となる。基準となる画像の抽出方法の一例として、超解像処理を行うため必要な画像枚数をＮ枚とした場合、Ｎ枚の画像のうち撮像された時間がもっとも早い画像が基準となる画像として抽出される。

超解像処理部２３は、画像シフト部２２によって位置合わせが行われた画像を用いて超解像処理を行い、高解像度を有する画像を生成する。超解像処理とは、複数の画像を参照して解像度の高い画像を生成する技術である。超解像処理によってカメラ１０によって撮像された画像の解像度を超える画像が生成される。なお、超解像処理は既に公に知られた周知の技術であるためここでは詳述しない。超解像処理部２３によって生成された画像は道路構造物認識部２４に出力される。

道路構造物認識部２４は超解像処理部２３から入力された画像を用いて道路構造物を認識する。本実施形態において道路構造物とは静止した物体と定義される。具体的には道路構造物には車線、停止線、横断歩道、矢印などの路面標示、路側帯、縁石、標識、信号機などの構造物が含まれる。道路構造物の認識方法の一例として各画素がどのような物体なのかを認識するＳｅｍｅｎｔｉｃ Ｓｅｇｍｅｎｔａｔｉｏｎが用いられる。道路構造物認識部２４は認識結果を車両制御部２５に出力する。

車両制御部２５は道路構造物認識部２４によって認識された道路構造物を用いてステアリングアクチュエータ１４、アクセルペダルアクチュエータ１５、及びブレーキアクチュエータ１６を制御し、ナビゲーション装置１３に入力された目的地まで自車両を自動的に走行させる。

本実施形態において、ＧＰＳ受信機１２及びナビゲーション装置１３は、自車両に搭載されていなくてもよい。ユーザが所持する携帯端末（例えばスマートフォン）を自車両の機能に連携させることができれば、携帯端末がＧＰＳ受信機１２及びナビゲーション装置１３の代替として機能する。

次に図２を参照して超解像処理を行う領域の設定方法の一例を説明する。

図２に示すシーンは、３車線道路において左側車線を自車両が直進走行しているシーンである。図２に示す画像３０は、カメラ１０によって撮像された自車両前方の光景である。図２に示すシーンにおいて領域設定部２１は自車両の進行方向を推定する。自車両の進行方向を推定する方法の一例として、ヨーレートが用いられる。図２に示すように自車両が直進走行しているとき、ヨーレートはゼロ、あるいはゼロとみなせるほど小さい値である。よってヨーレートがゼロ、あるいはゼロとみなせるほど小さい値であると判断されたとき、領域設定部２１は自車両の進行方向は直進方向であると推定することが可能となる。

自車両の進行方向を推定する方法はヨーレートを用いる方法に限定されない。例えば、走行区分線が用いられてもよい。図２に示すように自車両が直進走行しているとき、走行区分線も直線となる。よって走行区分線が直線と判断されたとき、領域設定部２１は自車両の進行方向は直進方向であると推定してもよい。なお走行区分線は周知の画像処理によって検出される。

その他として、ステアリングホイールの回転角度が用いられてもよい。図２に示すように自車両が直進走行しているとき、ステアリングホイールの回転角度はゼロ、あるいはゼロとみなせるほど小さい値である。よってステアリングホイールの回転角度がゼロ、あるいはゼロとみなせるほど小さい値であると判断されたとき、領域設定部２１は自車両の進行方向は直進方向であると推定してもよい。

また、自車両が将来走行する走行軌道を設定し、設定した走行軌道に沿って走行するように自車両が制御される自動走行車両である場合には、設定された走行軌道から自車両の進行方向を推定することができる。あるいは、ナビゲーション装置などによって自車両の現在位置から目的地までの走行経路が探索されている場合には、探索された走行経路に基づいて自車両の進行方向を推定することができる。

領域設定部２１は自車両の進行方向を推定した後、推定した自車両の進行方向に基づいて超解像処理を行う画像上の領域を設定する。図２に示す符号４１が超解像処理を行う領域である。図２に示すように、自車両の進行方向が直進方向と推定されたとき、領域設定部２１は画像３０において自車両の進行方向の一部を領域４１として設定する。領域４１は自車両から見て遠方に対応する画像上の領域であり、かつ自車両が走行する車線上に対応する画像上の領域でもある。ただし後述するように領域設定部２１によって設定される領域は自車両が走行する車線上に対応する画像上の領域のみに限定されない。また領域４１は画像３０の上半分の範囲に設定されてもよい。なお、以下では特に断りが無い限り、「領域」とは画像上の領域を意味し、例えば「車線上の領域」とは画像上において車線上に対応した領域を意味する。

領域４１が設定された後、画像シフト部２２は異なるタイミングで撮像された複数の画像を用いて領域４１に対して位置合わせを行う。超解像処理部２３は、画像シフト部２２によって位置合わせが行われた画像を用いて超解像処理を行い、高解像度を有する画像を生成する。超解像処理によって領域４１が鮮明となる。このように本実施形態によれば自車両の進行方向に基づいて超解像処理を行う領域４１が設定されるため、自車両の走行にとって適切な位置に超解像処理を行う領域を設定することが可能となる。

次に図３を参照して超解像処理を行う領域の設定方法の他の例を説明する。

図３に示すシーンは、図２に示すシーンの続きであって、自車両が左側車線から中央車線へ車線変更するシーンである。この場合、領域設定部２１はヨーレートを用いて自車両の進行方向が左側車線から中央車線への向かう方向と推定する。なお車線変更を行う際のヨーレートは予め実験、シミュレーションによって求められており、記憶装置（不図示）に格納されている。領域設定部２１は記憶装置を参照して走行中に検出されたヨーレートと一致、あるいはほぼ一致するヨーレートを検出する。そして領域設定部２１は検出結果に基づいて自車両の進行方向を推定する。

記憶装置には自車両が左方向に車線変更するときのヨーレートだけでなく、自車両が右方向に車線変更するときのヨーレートも格納されている。さらに記憶装置には自車両が左折するときのヨーレート、自車両が右折するときのヨーレートも格納されている。

図３に示すシーンにおいて自車両の進行方向が左側車線から中央車線への向かう方向と推定されたとき、領域設定部２１は中央車線上に領域４１を設定する。

次に図４を参照して超解像処理を行う領域の設定方法のさらに他の例を説明する。

図４に示すシーンは自車両が左折するシーンである。図４に示す画像３１は、カメラ１０によって撮像された自車両から見て左方向の光景である。この場合、領域設定部２１はヨーレートを用いて自車両の進行方向が左方向と推定する。上述したように自車両が左折するときのヨーレートも予め判明しているため、領域設定部２１はこれを参照すればよい。あるいは領域設定部２１は走行区分線を用いて自車両の進行方向が左方向と推定してもよい。図４に示す走行区分線の一部は所定の曲率で曲がっている。このような走行区分線を用いることにより領域設定部２１は自車両の進行方向が左方向と推定することが可能となる。自車両の進行方向が左方向と推定されたとき、領域設定部２１は将来自車両が走行する車線上に領域４２を設定する。

なお図４に示すように領域設定部２１は領域４２を設定する際、領域４３～４４を設定してもよい。領域４３～４４は自車両が走行する車線の対向車線上に設定される領域である。領域４３～４４も領域４２と同様に超解像処理を行う領域である。このように超解像処理を行う領域を対向車線まで広げることにより、自車両の走行に影響を与える可能性がある障害物（例えば対向車両）の認識精度が向上する。なお領域４２のみが設定されてもよい。

次に図５を参照して超解像処理を行う領域の設定方法のさらに他の例を説明する。

図５に示すシーンは自車両が交差点を走行するシーンである。図５に示す画像３２は、カメラ１０によって撮像された自車両前方の光景である。図５に示すシーンにおいて自車両の進行方向は直進方向である。領域設定部２１は図２で説明した方法と同じ方法で自車両の進行方向を推定する。自車両の進行方向が直進方向と推定されたとき、領域設定部２１は自車両が走行する車線上に領域４５を設定する。領域４５は、交差点の先において自車両が走行する車線（領域４５で示される右側の車線）だけでなく、自車両が走行する車線に隣接する車線（領域４５で示される左側の車線）も含む。ただし領域４５はこれに限定されない。領域４５は交差点の先において自車両が走行する車線のみを含む範囲でもよい。

本実施形態では自車両の進行方向に基づいて超解像処理を行う領域を設定すると説明した。これに加えて図５に示すように横断歩道が画像３２に含まれる場合、領域設定部２１は画像上の横断歩道を超解像処理を行う領域４６，４７として設定してもよい。また図６に示すように画像３２に交差点が含まれる場合、領域４５を自車両から見て左右方向に相当する方向に拡げてもよい。拡げる範囲は特に限定されないが、走行車線、対向車線、及びこれらの車線以外の部分（例えば歩道）を含むように拡げてもよい。また図７に示すように左右方向に相当する方向に拡げた領域は複数領域に分割されてもよい。図７に示す例では４つの領域（領域４８～５１）に分割されている。領域４８は歩道を含み、領域４９は自車両が走行する車線を含み、領域５０～５１は対向車線を含む。超解像処理を行う場合、対象となる領域における物体の動きは同じあるいは類似することが好ましい。そこで走行車線、対向車線、及び歩道といった分類で領域をそれぞれ設定することにより精度の高い超解像処理が実現しうる。なお画像３２に交差点が含まれるか否か、換言すれば自車両が交差点を走行するか否かについて、コントローラ２０は、ＧＰＳ受信機１２から取得した自車両の位置情報とナビゲーション装置１３に格納されている地図データベースとを参照することにより判断することが可能である。あるいは画像処理によって自車両が交差点を走行するか否か判断されてもよい。

次に、図８のフローチャートを参照して、車両用環境認識装置１の一動作例を説明する。

ステップＳ１０１において、自車両に搭載されたカメラ１０によって自車両の周囲が異なるタイミングで撮像される。処理はステップＳ１０３に進みコントローラ２０はヨーレートセンサ１１から自車両のヨーレートを取得する。またコントローラ２０はＧＰＳ受信機１２から自車両の位置情報を取得する。

処理はステップＳ１０５に進み、領域設定部２１は主にヨーレートセンサ１１から自車両のヨーレートに基づいて自車両の進行方向を推定する。ただし上述したとおり、自車両の進行方向を推定する方法はヨーレートを用いる方法に限定されない。領域設定部２１は複数の画像のそれぞれに対して、推定された自車両の進行方向に基づいて超解像処理を行う領域を設定する。

処理はステップＳ１０７に進み、画像シフト部２２は異なるタイミングで撮像された複数の画像を用いて領域に対して位置合わせを行う。処理はステップＳ１０９に進み、超解像処理部２３は画像シフト部２２によって位置合わせが行われた画像を用いて超解像処理を行い、高解像度を有する画像を生成する。処理はステップＳ１１１に進み、超解像処理部２３によって生成された画像は道路構造物認識部２４に出力される。

処理はステップＳ１１３に進み、道路構造物認識部２４は超解像処理部２３から入力された画像を用いて道路構造物を認識する。処理はステップＳ１１５に進み、車両制御部２５は道路構造物認識部２４によって認識された道路構造物を用いてステアリングアクチュエータ１４、アクセルペダルアクチュエータ１５、及びブレーキアクチュエータ１６を制御する。

（作用効果）
以上説明したように、本実施形態に係る車両用環境認識装置１によれば、以下の作用効果が得られる。

車両用環境認識装置１は自車両の周囲を異なるタイミングで複数回撮像するカメラ１０と、カメラ１０によって異なるタイミングで撮像された複数の画像を処理するコントローラ２０とを備える。コントローラ２０は自車両の進行方向を推定し、推定された自車両の進行方向に基づいて複数の画像のそれぞれに対して画像上で所定の領域を設定する。コントローラ２０は設定された領域における画像上の移動量に基づいて複数の画像の位置合わせを行う。コントローラ２０は位置合わせが行われた複数の画像を用いて超解像処理を行い、カメラ１０によって撮像された画像の解像度を超える超解像画像を生成する。そしてコントローラ２０は超解像画像に基づいて道路構造物を認識する。本実施形態によれば自車両の進行方向に基づいて超解像処理を行う領域が設定されるため、自車両の走行にとって適切な位置に超解像処理を行う領域を設定することが可能となる。

また、自車両が交差点を走行すると判断された場合、コントローラ２０は超解像処理を行う領域を自車両から見て左右方向に相当する方向に拡げる。これにより自車両の走行に影響を与える可能性がある障害物（例えば対向車両）を含む範囲に超解像処理を行う領域を設定することが可能となる。

さらにコントローラ２０は画像上の横断歩道の位置に超解像処理を行う領域を設定してもよい。これにより自車両の走行に影響を与える可能性がある障害物（例えば歩行者）を含む範囲に超解像処理を行う領域を設定することが可能となる。

またコントローラ２０は拡げられた領域を複数に分割してもよい。超解像処理を行う場合、対象となる領域における物体の動きは同じあるいは類似することが好ましい。そこで動きが同じあるいは類似する物体が含まれるように領域を分割することにより精度の高い超解像処理が実現しうる。

コントローラ２０は自車両のヨーレートを検出するヨーレートセンサ１１から取得したヨーレート、あるいは、画像から取得された走行区分線に関する情報に基づいて自車両の進行方向を推定する。このように推定された自車両の進行方向に基づいて超解像処理を行う領域が設定されるため、自車両の走行にとって適切な位置に超解像処理を行う領域を設定することが可能となる。

上述の実施形態に記載される各機能は、１または複数の処理回路により実装され得る。処理回路は、電気回路を含む処理装置等のプログラムされた処理装置を含む。処理回路は、また、記載された機能を実行するようにアレンジされた特定用途向け集積回路（ＡＳＩＣ）や回路部品等の装置を含む。

上記のように、本発明の実施形態を記載したが、この開示の一部をなす論述及び図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例及び運用技術が明らかとなろう。

１ 車両用環境認識装置
１０ カメラ
１１ ヨーレートセンサ
１２ ＧＰＳ受信機
１３ ナビゲーション装置
１４ ステアリングアクチュエータ
１５ アクセルペダルアクチュエータ
１６ ブレーキアクチュエータ
２０ コントローラ
２１ 領域設定部
２２ 画像シフト部
２３ 超解像処理部
２４ 道路構造物認識部
２５ 車両制御部

Claims (4)

1. 自車両の周囲を異なるタイミングで複数回撮像するカメラと、前記カメラによって異なるタイミングで撮像された複数の画像を処理するコントローラとを備える車両用環境認識装置の車両用環境認識方法であって、
   前記コントローラは、
   前記自車両の進行方向を推定し、
   推定された前記自車両の進行方向に基づいて前記複数の画像のそれぞれに対して画像上で所定の領域を設定し、
   設定された前記領域における画像上の移動量に基づいて、前記複数の画像の位置合わせを行い、
   前記位置合わせが行われた複数の画像を用いて超解像処理を行い、前記カメラによって撮像された画像の解像度を超える超解像画像を生成し、
   前記超解像画像に基づいて道路構造物を認識し、
   前記自車両が交差点を走行すると判断された場合、前記コントローラは、
   前記領域を、前記自車両が走行する車線、対向車線、及び歩道を含むように前記自車両から見て左右方向に相当する方向に拡げ、
   拡げた前記領域を、前記自車両が走行する車線を含む領域、前記対向車線を含む領域、及び前記歩道を含む領域に分割して、分割した各領域を設定する
   ことを特徴とする車両用環境認識方法。
2. 前記コントローラは前記画像上の横断歩道の位置に前記領域を設定する
   ことを特徴とする請求項１に記載の車両用環境認識方法。
3. 前記コントローラは、前記自車両のヨーレートを検出するセンサから取得した前記ヨーレート、あるいは、前記画像から取得された走行区分線に関する情報に基づいて前記自車両の進行方向を推定する
   ことを特徴とする請求項１又は２に記載の車両用環境認識方法。
4. 自車両の周囲を異なるタイミングで複数回撮像するカメラと、
   前記カメラによって異なるタイミングで撮像された複数の画像を処理するコントローラとを備え、
   前記コントローラは、
   前記自車両の進行方向を推定し、
   推定された前記自車両の進行方向に基づいて前記複数の画像のそれぞれに対して画像上で所定の領域を設定し、
   設定された前記領域における画像上の移動量に基づいて、前記複数の画像の位置合わせを行い、
   前記位置合わせが行われた複数の画像を用いて超解像処理を行い、前記カメラによって撮像された画像の解像度を超える超解像画像を生成し、
   前記超解像画像に基づいて道路構造物を認識し、
   前記自車両が交差点を走行すると判断された場合、前記コントローラは、
   前記領域を、前記自車両が走行する車線、対向車線、及び歩道を含むように前記自車両から見て左右方向に相当する方向に拡げ、
   拡げた前記領域を、前記自車両が走行する車線を含む領域、前記対向車線を含む領域、及び前記歩道を含む領域に分割して、分割した各領域を設定する
   ことを特徴とする車両用環境認識装置。

Images