JP7622686B2 - 移動体支援システム及び移動体支援方法 - Google Patents

Description

本開示は、所定エリアに配置されたマーカを認識することにより動作する移動体を支援する技術に関する。

特許文献１は、マークを認識することによって車両と目標駐車位置との相対位置関係を特定し、車両を目標駐車位置へ誘導するための駐車軌跡を算出する駐車支援技術に関する。マークは目標駐車位置に設置され、車両に搭載されたビデオカメラにより撮影される画像によって認識される。特許文献１の駐車支援技術では、画像上に測光領域を設定し、測光領域の輝度値に基づいて画像の輝度値を調整した後、画像からマークを認識する処理を行う。

特開２０１０－２１５０２９号公報

所定エリアに設置されたマーカを認識する移動体について考える。移動体は、カメラを用いて画像を取得することで、マーカを認識する。マーカの位置における明るさは、天候、時間帯、街灯の有無などの環境の変化により変化する。また、マーカに影がかかることによってもマーカの位置における明るさは変化する。マーカの位置における明るさが変化すると、移動体がマーカを認識しにくくなる可能性がある。移動体がマーカを精度良く認識することができない場合、例えば、マーカの認識結果に基づく移動体の動作の精度が低下する。

本開示の目的は、移動体によるマーカ認識の精度を向上させることができる技術を提供することにある。

第１の観点は、所定エリアに配置されたマーカを認識する移動体を支援する移動体支援システムに関連する。
移動体支援システムは、１又は複数のプロセッサを備える。
１又は複数のプロセッサは、
移動体に搭載されたカメラにより得られる画像を用いることなく、所定エリア内のマーカの位置における明るさを推定する明るさ推定処理と、
マーカの位置における明るさに応じて、マーカを含む画像の輝度補正値を算出する処理と、
移動体に搭載されたカメラを用いて、移動体の周囲の対象マーカを含む第１画像を取得する処理と、
対象マーカに対する輝度補正値を用いて第１画像の輝度を補正することによって第２画像を生成する処理と、
第２画像に基づいて、対象マーカを認識する処理と、
を実行するように構成される。

第２の観点は、所定エリアに配置されたマーカを認識する移動体を支援する移動体支援方法に関連する。
移動体支援方法は、
移動体に搭載されたカメラにより得られる画像を用いることなく、所定エリア内のマーカの位置における明るさを推定することと、
マーカの位置における明るさに応じて、マーカを含む画像の輝度補正値を算出することと、
移動体に搭載されたカメラを用いて、移動体の周囲の対象マーカを含む第１画像を取得することと、
対象マーカに対する輝度補正値を用いて第１画像の輝度を補正することによって第２画像を生成することと、
第２画像に基づいて、対象マーカを認識することと、
を含む。

本開示によれば、マーカの位置における明るさに応じて、取得された画像の補正を行うための輝度補正値が算出される。画像が輝度補正値によって補正されることで、移動体によるマーカ認識の精度が向上する。

自動バレー駐車の概要を説明するための概念図である。 課題を説明するための概念図である。 課題を説明するための概念図である。 課題を説明するための概念図である。 課題を説明するための概念図である。 本実施の形態に係る移動体支援システムによる処理の流れの例を説明するための概念図である。 本実施の形態に係る移動体支援システムによる処理の流れの例を説明するための概念図である。 本実施の形態に係る移動体支援システムによる処理の流れの例を説明するための概念図である。 本実施の形態に係る移動体支援システムによる処理の流れの例を説明するための概念図である。 車両の構成例を示すブロック図である。 管理装置の構成例を示すブロック図である。 本実施の形態に係る移動体支援処理の例を説明するためのブロック図である。 本実施の形態に係る移動体支援処理の第１の例を示すフローチャートである。 本実施の形態に係る明るさ推定処理の例を説明するためのブロック図である。 本実施の形態に係る第２影位置推定処理の効果を説明するための概念図である。 本実施の形態に係る輝度補正値の例を説明するための表である。 本実施の形態に係る移動体支援処理の第２の例を示すフローチャートである。

添付図面を参照して、本開示の実施の形態を説明する。

１．概要
本開示は、所定エリアに配置されたマーカを認識する移動体を支援する移動体支援システムに関する。移動体の支援とは、移動体に関わる全般を支援することであり、移動体を監視することや、移動体の動作を制御すること、移動体に関する情報を管理することなどを含む。所定エリアとしては、駐車場や、巡回バスの運行エリアが例示される。移動体としては、車両やロボットが例示される。車両は自動運転車両であってもよい。一例として、以下の説明においては、移動体が車両である場合について考える。一般化する場合には、以下の説明における「車両」を「移動体」で読み替えるものとする。

図１は、車両１が所定エリアＡＲに配置されたマーカＭを認識する場合の一例として、「自動バレー駐車（AVP: Automated Valet Parking）」を説明するための概念図である。本例では、所定エリアＡＲは駐車場である。入庫エリアは、車両１が自動バレー駐車を開始したり終了したりするエリアであり、所定エリアＡＲに含まれる。駐車場は、屋内であってもよいし、屋外であってもよい。駐車場には複数のマーカＭが配置されている。

車両１は、駐車場における自動バレー駐車に対応したＡＶＰ車両であり、少なくとも駐車場内において自動走行することができる。車両１は、周囲の状況を認識するための認識センサを備えている。認識センサは、カメラを含む。車両１は、認識センサを用いて周囲の状況を認識しながら、駐車場において自動走行を行う。

車両１は、カメラを用いて車両１の周囲の状況を示す画像を取得し、取得した画像に基づいてマーカＭを認識する。車両１は、マーカＭを認識することで、駐車場の識別、入庫の際の初期位置の認識、目標経路の補正、目標駐車位置の検出、自己位置の推定、等を行うことができる。例えば、車両１は、カメラを用いたマーカＭの認識結果と駐車場におけるマーカＭの位置情報とを組み合わせることによって、高精度な自己位置を推定する自己位置推定（Localization）を行う。車両１は、あるいは、マーカＭの認識結果に基づいて、駐車場を認識し、正しい駐車場に入庫されたことを確認してもよい。車両１は、あるいは、マーカＭの認識結果に基づいて、入庫エリアを認識してもよい。

目標経路ＰＴは、車両１が目標駐車枠へ移動するための移動経路である。目標駐車枠は、車両１に割り当てられた駐車枠である。目標経路ＰＴは、入庫エリアから目標駐車枠までの移動経路であってもよいし、車両１の現在位置から目標駐車枠への移動経路であってもよい。車両１は、自己位置推定により推定された車両１の位置と目標経路ＰＴとに基づいて、目標経路ＰＴに追従するように自動走行を行う。これにより、車両１は、入庫エリアから目標駐車枠まで自動的に移動することが可能となる。

管理装置２は、駐車場における自動バレー駐車を管理する。管理装置２はサーバであってもよい。管理装置２は、駐車場内の各車両（車両１、駐車車両３）と通信可能である。例えば、管理装置２は、車両１に対して入庫指示や出庫指示を出してもよい。管理装置２は、駐車場内の各車両（車両１、駐車車両３）の出庫予定時刻を把握してもよい。管理装置２は、駐車場に入庫予定のＡＶＰ車両があるときに、入庫予定の車両の入庫予定時刻を把握してもよい。管理装置２は、駐車場におけるマーカＭの位置情報を車両１に提供してもよい。管理装置２は、車両１に目標駐車枠を割り当ててもよい。管理装置２は、目標経路ＰＴを生成し、目標経路ＰＴの情報を車両１に提供してもよい。管理装置２は、駐車場内の各車両（車両１、駐車車両３）の位置を把握してもよい。管理装置２は、駐車場内の各車両（車両１、駐車車両３）を遠隔操作してもよい。

車両１が正確な動作を行うために、車両１がマーカＭを正確に認識することは重要である。しかし、マーカＭの位置における明るさが変化すると、車両１がマーカＭを正しく認識できなくなることがある。例えば、マーカＭの位置が明るくなると、取得される画像の輝度が高くなり、画像が白飛びして、車両１がマーカＭを認識できなくなることがある。あるいは、マーカＭの位置が暗くなると、取得される画像の輝度が低くなり、画像が全体的に黒っぽくなることで、車両１がマーカＭを認識できなくなることがある。このように、マーカＭの位置における明るさの変化によって画像の輝度が変化することにより、マーカＭの認識の精度は低下する可能性がある。

図２から図５はそれぞれ、朝、昼、夕方、及び夜における駐車場の様子を概念的に示している。マーカＭの位置における明るさは、天候や時間帯によって変化する。昼になり、太陽が昇ると、マーカＭの位置における明るさは朝や夕方と比較して明るくなる。逆に、夜になり駐車場が暗くなると、マーカＭの位置における明るさは暗くなる。あるいは、図示されないが、雨天時や曇天時にもマーカＭの位置における明るさが暗くなることがある。このように、周囲の環境が変化することで、マーカＭの位置における明るさは変化する。

また、マーカＭの位置における明るさは、マーカＭの位置に影ができることによっても変化する。例えば、図２、４、及び５では、駐車車両３や駐車場内の壁によってできた影が一部のマーカＭにかかり、マーカＭの位置における明るさが暗くなっている。マーカＭにかかる影は、太陽や街灯等の光源の位置や、駐車車両３や壁等の障害物の位置によって変化する。

このように、周囲の環境や影の位置の変化によって、車両１によるマーカ認識の精度は低下することがある。本実施の形態に係る移動体支援システムは、マーカＭの位置における明るさが変化し得る状況においても、車両１によるマーカ認識の精度を向上させることを可能とする。

２．明るさ推定と輝度補正
以下の説明において、「カメラ画像」は、車両１に搭載されたカメラにより得られる車両１の周囲の画像を意味する。本実施の形態に係る移動体支援システムは、カメラ画像の輝度を補正することで、マーカ認識の精度を向上させる。具体的には、移動体支援システムは、マーカＭの位置における明るさについての明るさ情報を取得する。好ましくは、移動体支援システムは、車両１に搭載されたカメラにより得られるカメラ画像を用いることなく、マーカＭの位置における明るさ情報を取得する。移動体支援システムは、明るさ情報に基づいて、カメラ画像の輝度を補正するための「輝度補正値」を算出する。輝度補正値は、明る過ぎるカメラ画像を暗くし、あるいは、暗過ぎるカメラ画像を明るくするように設定される。そして、輝度補正値によってカメラ画像の輝度を補正し、補正後の画像に基づいてマーカＭを認識する。

図６から図９は、輝度補正値に関連した処理の流れの例を示す図である。図６では、まず、駐車場（自動バレー駐車）のユーザのユーザ端末から管理装置２へ、車両１の駐車場への入庫リクエストが送信される。このとき、ユーザ端末は、入庫リクエストとともに車両１の入庫予定時刻を送信してもよい。車両１の入庫が可能であれば、管理装置２は、車両１の入庫リクエストを許可し、ユーザ端末に対して、車両１の入庫が許可されたことを通知する。管理装置２は、車両１の入庫リクエストを許可したら、明るさ情報を取得する。明るさ情報は、管理装置２が明るさ推定用情報を用いて推定することにより取得される。明るさ推定用情報は、駐車場内の照度や影の位置等を推定するために用いられる情報である。明るさ推定用情報は、車両１の入庫予定時刻を考慮した情報を含んでいてもよい。明るさ推定用情報の具体例及び取得方法については後述される。

管理装置２は、取得した明るさ情報に基づいてマーカＭの輝度補正値を算出する。管理装置２は、算出した輝度補正値を車両１に送信する。車両１は、輝度補正値を用いてマーカ認識を行う。具体的には、車両１は、カメラを用いて、車両１の周囲のマーカＭを含むと想定される画像を取得する。車両１は、取得した画像の輝度を輝度補正値を用いて補正し、補正後の画像に基づいてマーカＭを認識する。このように、輝度補正値を用いて補正した画像に基づいてマーカ認識を行うことにより、マーカＭの位置における明るさの変化による影響を小さくし、マーカ認識の精度を向上させることができる。尚、車両１により認識される対象であるマーカＭを、「対象マーカ」と呼ぶ場合もある。

図６に示される例の場合、明るさ情報の取得及び輝度補正値の算出は、管理装置２により行われる。言い換えれば、車両１は、明るさ情報の取得及び輝度補正値の算出を行う必要がない。従って、車両１における処理負荷が大幅に軽減される。

図７は、輝度補正値に関連した処理の流れの別の例を示す図である。輝度補正値の算出は、図７に示すように車両１が行ってもよい。図７では、管理装置２が取得した明るさ情報を車両１に送信し、車両１は送信された明るさ情報に基づいてマーカＭの輝度補正値を算出する。車両１は、カメラを用いてマーカＭを含むと想定される画像を取得し、取得した画像の輝度を輝度補正値を用いて補正する。車両１は、補正後の画像に基づいてマーカＭを認識することで、マーカ認識の精度を向上させることができる。

図７に示される例の場合、明るさ情報の取得は、管理装置２により行われる。つまり、車両１は、少なくとも、明るさ情報の取得を行う必要がない。従って、車両１における処理負荷が軽減される。

図８は、輝度補正値に関連した処理の流れの更に別の例を示す図である。明るさ情報の取得は、図８に示すように車両１が行ってもよい。このとき、明るさ推定用情報の一部または全部は、管理装置２から車両１に送信されてもよい。例えば、車両１の入庫予定時刻における、駐車場内の駐車車両３の位置についての情報が、明るさ推定用情報として管理装置２から車両１に送信される。車両１は、明るさ推定用情報を用いてマーカＭの位置における明るさを推定し、明るさ情報を取得する。車両１は、明るさ情報に基づいてマーカＭの輝度補正値を算出する。車両１は、カメラを用いてマーカＭを含むと想定される画像を取得し、取得した画像の輝度を輝度補正値を用いて補正する。車両１は、補正後の画像に基づいてマーカＭを認識することで、マーカ認識の精度を向上させることができる。

図９は、輝度補正値の算出に関連した処理の流れの更に別の例を示す図である。図９の例では、管理装置２が明るさ情報の取得、輝度補正値の算出、及びマーカ認識を行う。車両１は、カメラを用いてマーカを含むと想定される画像を取得し、取得した画像を管理装置２に送信する。管理装置２は、車両１から送信された画像の輝度を輝度補正値を用いて補正し、補正後の画像に基づいてマーカＭを認識する。管理装置２は、マーカＭを認識することで、例えば、車両１の位置情報を取得し、取得した位置情報を車両１に送信する。図９においても、管理装置２が、補正後の画像に基づいてマーカＭを認識することで、マーカ認識の精度を向上させることができる。

後述されるように、マーカＭの位置における明るさは、明るさ推定用情報を用いることにより推定される。明るさ推定用情報は、駐車場内の照度や影の位置等を推定するために用いられる情報である。典型的には、明るさ推定用情報は、車両１に搭載されたカメラにより得られるカメラ画像を含んでいない。その場合、移動体支援システムは、カメラ画像を用いることなく、マーカＭの位置における明るさを推定することができる。比較例として、カメラ画像に基づいて車両１の周囲の明るさを推定することを考える。比較例の場合、カメラ画像の１フレーム毎にカメラ画像を解析する必要があり、このことは処理負荷の増大を招く。一方、本実施の形態によれば、画像の１フレーム毎に明るさを推定する必要がないため、処理負荷が軽減される。

カメラ画像を用いない明るさ推定処理は、車両１の入庫前に予め行われてもよい。更に、輝度補正値も、車両１の入庫前に予め算出されてもよい。必要な処理を車両１の入庫前に予め行っておくことにより、入庫後の処理負荷を軽減し、車両１をスムーズに動作させることが可能となる。また、必要な処理を予め行っておくことにより、処理遅延の影響を抑制することが可能となる。例えば、処理遅延によりマーカ認識精度が期待通りに得られないといった事態が防止される。

明るさ推定用情報は、車両１の入庫予定時刻を含んでいてもよい。車両１の入庫予定時刻が分かれば、入庫予定時刻でのマーカＭの位置における明るさを予め推定し、輝度補正値を予め算出しておくことができる。尚、入庫予定時刻は、駐車場における自動バレー駐車ならではの情報である。入庫予定時刻に基づいて必要な処理を予め行うことは、駐車場における自動バレー駐車ならではの特徴であると言える。

また、図２、図４等で示されたように、駐車車両３によってできた影が一部のマーカＭにかかり、マーカＭの位置における明るさが暗くなる場合がある。よって、明るさ推定用情報は、駐車場における駐車車両３の駐車位置の情報を含んでいてもよい。自動バレー駐車の場合、管理装置２が、駐車場における駐車車両３の駐車位置を把握している。駐車場における駐車車両３の駐車位置に基づいてマーカＭの位置における明るさを推定することも、駐車場における自動バレー駐車ならではの特徴であると言える。

３．車両１の構成例
図１０は、車両１の構成例を示すブロック図である。車両１は、車両状態センサ１１、認識センサ１２、通信装置１３、走行装置１４、及び制御装置１５を備えている。

車両状態センサ１１は、車両１の状態を検出する。車両状態センサ１１としては、車速センサ（車輪速センサ）、操舵角センサ、ヨーレートセンサ、横加速度センサ、等が例示される。

認識センサ１２は、車両１の周囲の状況を認識する。認識センサ１２は、カメラを含む。認識センサ１２としては、その他に、ライダー（LIDAR: Laser Imaging Detection and Ranging）、レーダ、照度センサ、等が例示される。

通信装置１３は、車両１の外部と通信を行う。例えば、通信装置１３は、管理装置２と通信を行う。

走行装置１４は、操舵装置、駆動装置、及び制動装置を含んでいる。操舵装置は、車両１の車輪を転舵する。例えば、操舵装置は、パワーステアリング（ＥＰＳ： Electric Power Steering）装置を含んでいる。駆動装置は、駆動力を発生させる動力源である。駆動装置としては、エンジン、電動機、インホイールモータ、等が例示される。制動装置は、制動力を発生させる。

制御装置１５は、車両１を制御する。具体的には、制御装置１５は、１又は複数のプロセッサ１６（以下、単にプロセッサ１６と呼ぶ）及び１又は複数の記憶装置１７（以下、単に記憶装置１７と呼ぶ）を備えている。プロセッサ１６は、各種処理を実行する。記憶装置１７は、各種情報を格納する。記憶装置１７としては、揮発性メモリ、不揮発性メモリ、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、等が例示される。プロセッサ１６がコンピュータプログラムである制御プログラムを実行することにより、制御装置１５による各種処理が実現される。制御プログラムは、記憶装置１７に格納されている、あるいは、コンピュータ読み取り可能な記録媒体に記録されている。

プロセッサ１６は、各種情報を取得する。取得された各種情報は、記憶装置１７に格納される。各種情報は、地図情報７１０、車両位置情報７２０、明るさ推定用情報７３０、明るさ情報７４０を含む。

地図情報７１０は、所定エリアＡＲについての地図情報である。地図情報７１０は、マーカＭの位置情報、駐車枠の位置情報、構造物の位置情報、照明の位置情報、入庫エリアの位置情報、等を含む。地図情報７１０は、駐車場の管理者等によって車両１へ提供されてもよい。あるいは、地図情報７１０は、管理装置２から車両１に、通信装置１３を介して送信されてもよい。

車両位置情報７２０は、車両１の位置情報を含む。車両位置情報７２０は、車両状態センサ１１によって得られる車両状態情報から算出された車両１の位置情報を含む。具体的には、プロセッサ１６は、車速センサや操舵角センサによって得られる、車両１の車速や操舵角に基づいて車両１の移動量を算出し、それにより、車両１の位置情報を算出する。車両位置情報７２０は、このようにして算出される車両１の位置情報を含む。

更に、プロセッサ１６は、地図情報７１０で示されるマーカＭの設置位置と、カメラによるマーカＭの認識位置とを照らし合わせることによって、車両１の位置情報を補正する。これにより、プロセッサ１６は、車両１の位置を高精度に推定する自己位置推定を行う。車両状態情報による位置情報の算出とマーカ認識による補正を繰り返すことによって、プロセッサ１６は高精度な車両１の位置情報を継続的に得ることができる。車両位置情報７２０は、自己位置推定によって得られた高精度な車両１の位置情報を含む。

車両位置情報７２０は、その他に、目標経路ＰＴについての情報を含んでいてもよい。目標経路ＰＴは、車両１の現在位置または入庫エリアの位置、及び目標駐車枠の位置から算出される。目標経路ＰＴは、入庫エリアの位置及び目標駐車枠の位置から、車両１の入庫前に予め算出されていてもよい。または、目標経路ＰＴは、車両１の入庫後に、車両１の現在位置及び目標駐車枠の位置から算出されてもよい。目標経路ＰＴは、管理装置２によって算出され、車両１に提供されてもよいし、プロセッサ１６によって算出されてもよい。

明るさ推定用情報７３０は、マーカＭの位置における明るさを推定するために用いられる情報である。明るさ推定用情報７３０の例は後述される。

明るさ情報７４０は、マーカＭの位置における明るさを示す情報である。明るさ情報７４０の取得方法は後述される。

４．管理装置２の構成例
図１１は、管理装置２の構成例を示すブロック図である。管理装置２は、通信装置２３、１又は複数のプロセッサ２６（以下、単にプロセッサ２６と呼ぶ）及び１又は複数の記憶装置２７（以下、単に記憶装置２７と呼ぶ）を含んでいる。

通信装置２３は、通信ネットワークを介して、車両１と通信を行う。通信装置２３は、駐車車両３と通信を行ってもよい。通信装置２３は、その他に、インフラセンサと通信を行ってもよい。インフラセンサは、所定エリアＡＲに設置されるセンサであり、インフラカメラ、インフラ照度センサ、等を含む。

プロセッサ２６は、各種処理を実行する。記憶装置２７は、各種情報を格納する。記憶装置２７としては、揮発性メモリ、不揮発性メモリ、ＨＤＤ、ＳＳＤ、等が例示される。プロセッサ２６がコンピュータプログラムである制御プログラムを実行することにより、管理装置２による各種処理が実現される。制御プログラムは、記憶装置２７に格納されている、あるいは、コンピュータ読み取り可能な記録媒体に記録されている。

地図情報７１０は、駐車場の管理者等から、管理装置２へ提供され、記憶装置２７に格納される。プロセッサ２６は、通信装置２３を介して車両１と通信を行い、地図情報７１０を車両１に送信してもよい。

車両位置情報７２０は、車両１の位置情報、目標経路ＰＴについての情報、等を含む。

車両１の位置情報は、プロセッサ２６が通信装置２３を介して車両１と通信を行うことにより取得されてもよい。あるいは、車両１の位置情報は、所定エリアＡＲに設置されたインフラカメラによって取得されてもよい。

目標経路ＰＴは、プロセッサ２６が車両１の現在位置または入庫エリアの位置、及び目標駐車枠の位置から算出することで取得されてもよい。あるいは、プロセッサ２６が車両１と通信を行うことにより、車両１のプロセッサ１６によって算出された目標経路ＰＴが取得されてもよい。

明るさ推定用情報７３０の例及び明るさ情報７４０の取得方法は後述される。

５．移動体支援処理
以下、本実施の形態に係る移動体支援システムによる、移動体支援処理の例について詳しく説明する。

図１２は、本実施の形態に係る移動体支援システムの機能構成例を示すブロック図である。移動体支援システムは、機能ブロックとして、明るさ推定部１１０、輝度補正値算出部１２０、車両位置取得部１３０、第１画像取得部１４０、第２画像生成部１５０、及びマーカ認識部１６０を含んでいる。これら機能ブロックは、プロセッサ１６がコンピュータプログラムである制御プログラムを実行することにより実現されてもよいし、プロセッサ２６がコンピュータプログラムである制御プログラムを実行することにより実現されてもよい。あるいは、プロセッサ１６及びプロセッサ２６の分散処理によりそれぞれの機能ブロックが実現されてもよい。

図１３は、本実施の形態に係る移動体支援処理の第１の例を示すフローチャートである。図１２及び図１３を参照して、移動体支援処理の第１の例について説明する。

５－１．明るさ推定処理（ステップＳ１１０）
ステップＳ１１０において、明るさ推定部１１０は、マーカＭの位置における明るさを推定する、明るさ推定処理を行う。明るさ推定処理は、車両１の入庫前に行われてもよいし、車両１の入庫後に行われてもよい。

５－１－１．明るさ推定用情報
明るさ推定用情報７３０は、明るさを推定する際に参照される情報である。明るさ推定部１１０は、マーカＭの位置情報と明るさ推定用情報７３０に基づいて、マーカＭの位置における明るさを推定し、明るさ情報７４０を取得する。

図１４は、明るさ推定部１１０による明るさ推定処理の例を説明するためのブロック図である。明るさ推定部１１０は、影位置推定部１１１を含む。影位置推定部１１１は、第１影位置推定部１１２及び第２影位置推定部１１３を含む。マーカ位置情報７１１は、所定エリアＡＲ内のマーカＭの位置情報であり、地図情報７１０から得られる。明るさ推定用情報７３０は、照度情報７３１、光源位置情報７３２、障害物位置情報７３５、及び車両情報７３８を含んでいる。

照度情報７３１は、マーカＭの位置における照度及び所定エリアＡＲの照度の少なくとも一方を示す。例えば、照度は、日にち、時間帯、天気情報、日照情報、等に基づいて推定される。他の例として、照度は、照度センサによって検出されてもよい。照度センサは、所定エリアＡＲに設置されたインフラ照度センサであってもよいし、車両１に搭載された車載照度センサであってもよい。

光源位置情報７３２は、光源の位置を示す。光源位置情報７３２は、太陽位置情報７３３及び照明位置情報７３４の少なくとも１つを含む。太陽位置情報７３３は、太陽の位置を示す情報であり、日にちや時間帯に基づいて算出される。照明位置情報７３４は、所定エリアＡＲに設置された照明についての情報であり、照明の設置位置についての情報を含む。照明は、所定エリアＡＲに設置された街灯を含む。照明の設置位置についての情報は、地図情報７１０から得られる。

障害物位置情報７３５は、所定エリアＡＲ内で影をつくる可能性のある障害物の位置を示す。障害物位置情報７３５は、構造物位置情報７３６、及び駐車車両位置情報７３７の少なくとも１つを含んでいる。

構造物位置情報７３６は、所定エリアＡＲ内に設置された構造物の位置を示す。構造物としては、柱や壁が例示される。構造物位置情報７３６は、地図情報７１０から得られる。

駐車車両位置情報７３７は、所定エリアＡＲ内の駐車車両３の位置を示す。駐車車両位置情報７３７は、管理装置２が駐車車両３と通信を行うことにより取得することができる。あるいは、駐車車両位置情報７３７は、管理装置２がインフラカメラと通信を行うことにより取得されてもよい。管理装置２は、取得した駐車車両位置情報７３７を車両１へ送信してもよい。

車両情報７３８は、車両１の現在位置または将来位置の少なくとも１つを含む。車両１の現在位置は、車両位置情報７２０から得られる。車両１の現在位置は、車両状態情報から算出された車両１の位置情報であってもよいし、高精度な自己位置推定によって得られる車両１の位置情報であってもよいし、インフラカメラにより得られる情報であってもよい。車両１の将来位置は、目標経路ＰＴ上の車両１の位置として得られる。目標経路ＰＴは、車両位置情報７２０から得られる。車両情報７３８は、更に、車両１のサイズを示す車両サイズ情報を含んでいてもよい。車両１のサイズとは、車両１の長さ、幅、及び高さのうち、少なくとも１つのことである。車両サイズ情報は、車両１の記憶装置１７が予め取得しておくことができる。車両サイズ情報は、管理装置２に提供され、記憶装置２７に格納されてもよい。

影位置推定部１１１は、所定エリアＡＲ内の影の位置を推定する、影位置推定処理を行う。影の位置は、第１影位置推定部１１２によって推定される第１影位置と、第２影位置推定部１１３によって推定される第２影位置を含む。

第１影位置推定部１１２は、光源と所定エリアＡＲ内の障害物によって生成される影の位置である第１影位置を推定する。光源の位置は、光源位置情報７３２から得られる。所定エリアＡＲ内の障害物の位置は、障害物位置情報７３５から得られる。第１影位置推定部１１２は、光源位置情報７３２と障害物位置情報７３５に基づいて、第１影位置を推定する、第１影位置推定処理を行う。

第２影位置推定部１１３は、光源と車両１とによって生成される影の位置である第２影位置を推定する。光源の位置は、光源位置情報７３２から得られる。車両１の位置は、車両情報７３８から、車両１の現在位置または将来位置として得られる。明るさ推定処理が車両１の入庫前に行われる場合は、第２影位置推定部１１３が取得する車両１の位置は、車両１の将来位置である。第２影位置推定部１１３は、光源位置情報７３２と車両情報７３８に基づいて、第２影位置を推定する、第２影位置推定処理を行う。第２影位置推定処理においては、光源の位置と車両１の位置に加えて、車両サイズ情報を用いた第２影位置の推定が行われてもよい。車両サイズ情報は、車両情報７３８から得られる。

図１５は、光源と車両１によって、マーカＭの位置に影が生成され、マーカＭの位置における明るさが変化する例を示している。影位置推定部１１１が第２影位置推定部１１３を含むことにより、図１５のような場合においても、マーカＭの位置における明るさを正確に推定することができる。

明るさ推定部１１０によって行われる明るさ推定処理は、照度情報７３１及びマーカ位置情報７１１に基づいて、マーカＭの位置における明るさを推定することを含む。明るさ推定処理は、更に、影位置推定処理によって得られる影の位置と、マーカ位置情報７１１に基づいて、マーカＭの位置における明るさを推定することを含んでいてもよい。明るさ推定処理によって取得される明るさ情報７４０は、駐車場内のマーカＭの全てに対して一度に取得されてもよいし、一部のマーカＭに対してのみ取得されてもよい。一部のマーカＭに対してのみ取得される場合は、例えば、車両１の将来位置付近に位置するマーカＭに対してのみ取得されてもよい。

５－１－２．入庫予定時刻
明るさ推定部１１０は、車両１の入庫予定時刻についての情報を取得し、入庫予定時刻における明るさ推定用情報７３０を用いて明るさ推定処理を行ってもよい。入庫予定時刻は、ユーザ端末等から、管理装置２または車両１に送信されることで、プロセッサ１６またはプロセッサ２６によって取得される。

入庫予定時刻における照度情報７３１は、季節、入庫時刻における太陽の位置、入庫時刻における天気情報、日照情報、等に基づいて推定される。

入庫予定時刻における光源位置情報７３２は、入庫予定時刻における太陽位置情報７３３及び照明位置情報７３４の少なくとも１つを含む。入庫予定時刻における太陽位置情報７３３は、季節や入庫予定時刻に基づいて算出される。

入庫予定時刻における障害物位置情報７３５は、構造物位置情報７３６、及び入庫予定時刻における駐車車両位置情報７３７の少なくとも１つを含んでいる。

入庫予定時刻における駐車車両位置情報７３７は、管理装置２がユーザ端末等と通信を行い、駐車車両３の出庫予定時刻や、入庫予定のＡＶＰ車両の入庫予定時刻を取得することにより、算出することができる。管理装置２は、取得した入庫予定時刻における駐車車両位置情報７３７を車両１へ送信してもよい。

入庫予定時刻における車両情報７３８は、車両１の将来位置についての情報である。車両１の将来位置は、目標経路ＰＴ上の車両１の位置として得られる。

５－２．輝度補正値算出処理（ステップＳ１２０）
ステップＳ１２０において、輝度補正値算出部１２０は、輝度補正値を算出する。輝度補正値は、カメラによって取得されるマーカＭを含む画像の輝度を補正するための値であり、明るさ情報７４０に基づいて、それぞれのマーカＭに対して算出される。輝度補正値は、明る過ぎる画像を暗くし、あるいは、暗過ぎる画像を明るくするように設定される。つまり、輝度補正値は、マーカＭをより認識しやすくなるように設定される。輝度補正値は、画像の画素ごとの輝度を補正するための値であってもよいし、画像の輝度に応じて色味を補正するための値であってもよい。輝度補正値は、駐車場内のマーカＭの全てに対して一度に取得されてもよいし、一部のマーカＭに対してのみ取得されてもよい。輝度補正値算出処理は、車両１の入庫前に行われてもよいし、車両１の入庫後に行われてもよい。

５－３．車両位置取得処理（ステップＳ１３０）
ステップＳ１３０において、車両位置取得部１３０は、車両１の位置情報を取得する。車両位置取得部１３０が取得する車両１の位置情報は、車両状態情報から算出された車両１の位置情報であり、車両位置情報７２０から得られる。あるいは、車両位置取得部１３０が取得する車両１の位置情報は、インフラカメラにより得られてもよい。ステップＳ１３０以降の処理は、車両の入庫後に行われる。

５－４．第１画像取得処理（ステップＳ１４０）
ステップＳ１４０において、第１画像取得部１４０は、車両１に搭載されたカメラを用いて、対象マーカＭｔを含むと想定される第１画像を取得する。対象マーカＭｔは、マーカＭのうち、車両１の現在位置付近にあるマーカである。対象マーカＭｔは、車両位置取得部１３０が取得する車両１の位置情報、及びマーカ位置情報７１１に基づいて、車両の現在位置付近にあるマーカＭを推定することにより決定される。

５－５．第２画像生成処理（ステップＳ１５０）
ステップＳ１５０において、第２画像生成部１５０は、第１画像を対象マーカＭｔに対する輝度補正値を用いて補正し、第２画像を取得する。

図１６は、輝度補正値の例を示す表である。輝度補正値は、例えば、図１６の表のような、日中、夜間、影の有無等のカテゴリごとに決められた係数であってもよい。第２画像は、例えば、この係数を用いて、第１画像の画素ごとの輝度を補正することで生成される。係数は、マーカＭの位置における明るさが、基準となる明るさのときに１となるように設定され、明るくなるほど値が小さく、暗くなるほど値が大きくなる。第２画像生成部１５０は、カメラによって取得される画像の画素ごとの輝度を算出し、係数が１よりも小さいときは輝度の高い画素に対してより強い補正をかける。逆に、係数が１よりも大きいときは輝度の低い画素に対してより強い補正をかける。このようにして、画素ごとに輝度が補正されることで、第２画像が生成される。

５－６．マーカ認識処理（ステップＳ１６０）
ステップＳ１６０において、マーカ認識部１６０は、第２画像に基づいて対象マーカＭｔを認識する。マーカ認識部１６０が対象マーカＭｔの認識結果を取得すると、今サイクルの処理は終了する。

５－７．効果
以上に説明した移動体支援処理によって、マーカＭの位置における明るさに応じて、マーカＭ（対象マーカＭｔ）を含む画像の輝度を補正するための輝度補正値が算出される。移動体支援システムは、輝度補正値を用いて第１画像の輝度を補正することにより、対象マーカＭｔの認識精度を向上させることができる。対象マーカＭｔの認識精度が向上することで、対象マーカＭｔの認識結果に基づく車両１の動作の精度も向上する。

また、第１の例においては、明るさ推定処理及び輝度補正値算出処理は、車両１の入庫前に予め行っておくことができる。予め輝度補正値を算出しておくことにより、車両１が画像を取得してからマーカ認識を行うまでの時間を短くし、車両１のスムーズな動作を可能にする。また、車両１が移動するたびに輝度補正値を算出する必要がないため、車両１のプロセッサ１６や管理装置２のプロセッサ２６の処理負荷を低減することもできる。車両１の入庫後に輝度補正値算出処理を行う場合であっても、明るさ情報や輝度補正値の取得は、天気や時刻等の情報を用いて行われるため、カメラによって画像を取得する前に行うことができる。カメラによって画像を取得するごとに画像の輝度を確認する場合と比較して、車両１のプロセッサ１６の処理負荷を低減することができる。

６．移動体支援処理の第２の例
図１７は、本実施の形態に係る移動体支援処理の第２の例を示すフローチャートである。図１７を参照して、移動体支援処理の第２の例について説明する。

６－１．車両位置取得処理（ステップＳ２１０）
ステップＳ２１０において、車両位置取得部１３０は、車両１の位置情報を取得する。車両１の位置情報は、車両１の現在位置についての情報として、車両位置情報７２０から得られる。あるいは、車両１の位置情報は、インフラカメラにより得られてもよい。第２の例において、ステップ２１０以降の処理は、車両１の入庫後に行われる。

６－２．明るさ推定処理（ステップＳ２２０）
ステップＳ２２０において、明るさ推定部１１０は、マーカＭの位置における明るさを推定する。明るさ推定部１１０は、マーカＭの位置情報と明るさ推定用情報７３０に基づいて、マーカＭの位置における明るさを推定し、明るさ情報７４０を取得する。

明るさ推定用情報７３０に含まれる情報のうち、車両情報７３８は、車両１の現在位置についての情報である。車両１の現在位置は、車両位置情報７２０から得られる。明るさ推定用情報７３０に含まれるその他の情報は、ステップ１１０と同様の方法で、明るさ推定部により取得される。

５－２．輝度補正値算出処理（ステップＳ２３０）
ステップＳ２３０において、輝度補正値算出部１２０は、輝度補正値を算出する。ステップＳ２３０における処理は、図１３のステップＳ１２０における処理と同様である。ステップＳ２４０以降は、図１３のステップＳ１４０以降と同様の処理が行われる。

５－３．効果
第１の例と同様、移動体支援システムは、輝度補正値を用いて画像の輝度を補正することにより、マーカ認識の精度を向上させることができる。マーカ認識の精度が向上することで、車両１の動作の精度も向上する。

第２の例においては、車両１の現在位置を取得した後に明るさ推定処理及び輝度補正値算出処理が行われる。車両１の現在位置を用いて明るさ情報７４０が推定されるため、明るさ情報７４０の誤差を少なくすることができる。また、第２の例においても、明るさ情報や輝度補正値の取得に、カメラによって取得される画像を用いる必要はなく、画像を用いて明るさ情報や輝度補正値の算出を行う場合と比較して、車両１のプロセッサ１６の処理負荷を低減することができる。

６．その他の実施の形態
本開示は、駐車場における車両１の自動バレー駐車以外にも適用可能である。例えば、自律走行機能を有さない車両を自律走行ロボットによって牽引する方式の自動バレー駐車にも、本開示を適用可能である。また、街中にマーカＭが配置され、車両やロボット等のモビリティがマーカＭを認識してローカライズ処理を行う場合にも、本開示を適用可能である。

一般化する場合には、上述の説明における「車両」を「移動体」で読み替えるものとする。

１ 車両
２ 管理装置
３ 駐車車両
１１ 車両状態センサ
１２ 認識センサ
１３ 通信装置
１４ 走行装置
１５ 制御装置
１６ プロセッサ
１７ 記憶装置
２３ 通信装置
２６ プロセッサ
２７ 記憶装置
１１０ 明るさ推定部
１１１ 影位置推定部
１１２ 第１影位置推定部
１１３ 第２影位置推定部
１２０ 輝度補正値算出部
１３０ 車両位置取得部
１４０ 第１画像取得部
１５０ 第２画像生成部
１６０ マーカ認識部
７１０ 地図情報
７１１ マーカ位置情報
７２０ 車両位置情報
７３０ 推定用情報
７３１ 照度情報
７３２ 光源位置情報
７３３ 太陽位置情報
７３４ 照明位置情報
７３５ 障害物位置情報
７３６ 構造物位置情報
７３７ 駐車車両位置情報
７３８ 車両情報
７４０ 明るさ情報
ＡＲ 所定エリア
Ｍ マーカ
Ｍｔ 対象マーカ
ＰＴ 目標経路

Claims (15)

1. 駐車場における自動バレー駐車に対応し、前記駐車場に配置されたマーカを認識する移動体を支援する移動体支援システムであって、
   １又は複数のプロセッサを備え、
   前記１又は複数のプロセッサは、
   前記移動体が前記駐車場に入庫する予定である入庫予定時刻の情報を取得する処理と、
   前記移動体に搭載されたカメラにより得られる画像を用いることなく、前記入庫予定時刻における、前記駐車場内の前記マーカの位置における明るさを推定する明るさ推定処理と、
   前記マーカの前記位置における前記明るさに応じて、前記マーカを含む画像の輝度補正値を算出する処理と、
   前記カメラを用いて、前記移動体の周囲の対象マーカを含む第１画像を取得する処理と、
   前記対象マーカに対する前記輝度補正値を用いて前記第１画像の輝度を補正することによって第２画像を生成する処理と、
   前記第２画像に基づいて、前記対象マーカを認識する処理と、
   を実行するように構成された
   移動体支援システム。
2. 請求項１に記載の移動体支援システムであって、
   前記移動体と通信を行う管理装置を更に備え、
   前記管理装置は、前記１又は複数のプロセッサの少なくとも一部を含み、前記明るさ推定処理を実行する
   移動体支援システム。
3. 請求項２に記載の移動体支援システムであって、
   前記管理装置は、更に、前記輝度補正値を算出する前記処理を実行する
   移動体支援システム。
4. 請求項１乃至３のいずれか一項に記載の移動体支援システムであって、
   前記明るさ推定処理は、
   前記駐車場内の影の位置を推定する影位置推定処理と、
   前記駐車場内の前記マーカの前記位置を示すマーカ位置情報と、前記影の前記位置とに基づいて、前記マーカの前記位置における前記明るさを推定する処理と
   を含む
   移動体支援システム。
5. 請求項４に記載の移動体支援システムであって、
   前記影位置推定処理は、前記駐車場内の障害物によって生成される前記影の前記位置を推定する第１影位置推定処理を含む
   移動体支援システム。
6. 請求項５に記載の移動体支援システムであって、
   前記第１影位置推定処理は、
   光源の位置を示す光源位置情報を取得する処理と、
   前記障害物の位置を示す障害物位置情報を取得する処理と、
   前記光源位置情報と前記障害物位置情報に基づいて、前記光源と前記障害物によって生成される前記影の前記位置を推定する処理と
   を含む
   移動体支援システム。
7. 請求項６に記載の移動体支援システムであって、
   前記障害物は、前記駐車場内に存在する他の移動体と、前記駐車場内に設置された構造物のうち少なくとも一方を含む
   移動体支援システム。
8. 請求項４乃至７のいずれか一項に記載の移動体支援システムであって、
   前記影位置推定処理は、少なくとも前記移動体によって生成される前記影の前記位置を推定する第２影位置推定処理を含む
   移動体支援システム。
9. 請求項８に記載の移動体支援システムであって、
   前記第２影位置推定処理は、
   光源の位置を示す光源位置情報を取得する処理と、
   前記移動体のサイズを示す移動体サイズ情報を取得する処理と、
   前記光源位置情報と前記移動体の位置と前記移動体サイズ情報に基づいて、前記移動体によって生成される前記影の前記位置を推定する処理と
   を含む
   移動体支援システム。
10. 請求項６、７、又は９に記載の移動体支援システムであって、
    前記光源位置情報は、
    時間帯に応じて変動する太陽の位置を示す太陽位置情報と、
    前記駐車場内の照明の設置位置を示す照明位置情報と
    のうち少なくとも一つを含む
    移動体支援システム。
11. 請求項１乃至１０のいずれか一項に記載の移動体支援システムであって、
    前記１又は複数のプロセッサは、更に、
    前記移動体に搭載された前記カメラを用いて、前記移動体の周囲の状況を示す画像を取得し、
    前記駐車場内の前記マーカの前記位置を示すマーカ位置情報を取得し、
    前記移動体の位置と前記マーカ位置情報に基づいて、前記移動体の周囲の前記対象マーカを含むと想定される前記画像を前記第１画像として取得する
    ように構成された
    移動体支援システム。
12. 請求項１乃至１１のいずれか一項に記載の移動体支援システムであって、
    前記１又は複数のプロセッサは、更に、
    前記駐車場内の前記マーカの前記位置を示すマーカ位置情報を取得し、
    前記第２画像に基づく前記対象マーカの認識結果と前記マーカ位置情報に基づいて、前記移動体の位置を補正しながら推定する移動体位置推定処理を実行する
    ように構成された
    移動体支援システム。
13. 所定エリアに配置されたマーカを認識する移動体を支援する移動体支援システムであって、
    １又は複数のプロセッサを備え、
    前記１又は複数のプロセッサは、
    前記移動体に搭載されたカメラにより得られる画像を用いることなく、前記所定エリア内の前記マーカの位置における明るさを推定する明るさ推定処理と、
    前記マーカの前記位置における前記明るさに応じて、前記マーカを含む画像の輝度補正値を算出する処理と、
    前記カメラを用いて、前記移動体の周囲の対象マーカを含む第１画像を取得する処理と、
    前記対象マーカに対する前記輝度補正値を用いて前記第１画像の輝度を補正することによって第２画像を生成する処理と、
    前記第２画像に基づいて、前記対象マーカを認識する処理と、
    を実行するように構成され、
    前記明るさ推定処理は、
    前記所定エリア内の影の位置を推定する影位置推定処理と、
    前記所定エリア内の前記マーカの前記位置を示すマーカ位置情報と、前記影の前記位置とに基づいて、前記マーカの前記位置における前記明るさを推定する処理と
    を含み、
    前記影位置推定処理は、少なくとも前記移動体によって生成される前記影の前記位置を推定する第２影位置推定処理を含み、
    前記第２影位置推定処理は、
    光源の位置を示す光源位置情報を取得する処理と、
    前記移動体のサイズを示す移動体サイズ情報を取得する処理と、
    前記光源位置情報と前記移動体の位置と前記移動体サイズ情報に基づいて、前記移動体によって生成される前記影の前記位置を推定する処理と
    を含む
    移動体支援システム。
14. 駐車場における自動バレー駐車に対応し、前記駐車場に配置されたマーカを認識する移動体を支援する移動体支援方法であって、
    前記移動体が前記駐車場に入庫する予定である入庫予定時刻の情報を取得することと、
    前記移動体に搭載されたカメラにより得られる画像を用いることなく、前記入庫予定時刻における、前記駐車場内の前記マーカの位置における明るさを推定することと、
    前記マーカの前記位置における前記明るさに応じて、前記マーカを含む画像の輝度補正値を算出することと、
    前記カメラを用いて、前記移動体の周囲の対象マーカを含む第１画像を取得することと、
    前記対象マーカに対する前記輝度補正値を用いて前記第１画像の輝度を補正することによって第２画像を生成することと、
    前記第２画像に基づいて、前記対象マーカを認識することと、
    を含む
    移動体支援方法。
15. 所定エリアに配置されたマーカを認識する移動体を支援する移動体支援方法であって、
    光源の位置を示す光源位置情報を取得することと、
    前記移動体のサイズを示す移動体サイズ情報を取得することと、
    前記光源位置情報と前記移動体の位置と前記移動体サイズ情報に基づいて、前記移動体によって生成される影の位置を推定することと、
    前記所定エリア内の前記マーカの位置を示すマーカ位置情報と、前記移動体によって生成される前記影の前記位置とに基づいて、前記移動体に搭載されたカメラにより得られる画像を用いることなく、前記マーカの前記位置における明るさを推定することと、
    前記マーカの前記位置における前記明るさに応じて、前記マーカを含む画像の輝度補正値を算出することと、
    前記カメラを用いて、前記移動体の周囲の対象マーカを含む第１画像を取得することと、
    前記対象マーカに対する前記輝度補正値を用いて前記第１画像の輝度を補正することによって第２画像を生成することと、
    前記第２画像に基づいて、前記対象マーカを認識することと、
    を含む
    移動体支援方法。

Images