JP7610904B2 - 駐車支援方法および駐車支援装置 - Google Patents

Description

本開示は、駐車支援方法および駐車支援装置に関する。

近年、運転者によるステアリング操作やアクセルブレーキ操作を伴わずに自動で駐車（以下、自動駐車と称する）を行う駐車支援の機能が求められている。

例えば、特許文献１には、運転者が車両を運転する際に、車両は、周辺環境を撮像した画像に基づき、車両を自動運転するための自動運転情報を生成する。さらに、自動運転を行う際に、車両は、周辺環境を撮像した画像と自動運転情報とに基づき、車両位置情報を算出して、自動駐車を行う。

特開２０１７－１３８６６４号公報

しかし、特許文献１に記載の技術には課題が存在する。特許文献１に記載の技術では、運転者が運転をして駐車を行ったときの情報をもとに自動駐車を行う。このとき、運転者が運転をして駐車を行ったときと、その後自動駐車を行うときとで、車両の周辺環境が異なることがあり得る。例えば、運転者が運転をして駐車を行っていた時には存在していなかった物体（例えば、自転車など）がその後の自動での駐車の際には存在しているといったケースは珍しくはない。

この場合、自動での駐車時において車両の自己位置推定の精度が低下してしまい、結果として自動での駐車自体の精度も低下してしまう可能性がある。一方で、駐車時における車両周辺の環境の変化は一時的な可能性もある。例えば、上述した物体が自転車であれば、次回の駐車の際にはなくなっていたり、位置が変わっていたりする可能性は十分にある。そのため、自動での駐車時に把握した周辺環境に更新したとしても、車両の自己位置推定のための精度の低下は引き続き生じる可能性がある。

本開示は上記の課題に鑑みてなされたものであり、自動駐車を行う際に、周辺環境の変化が生じても高い精度を維持して車両の自己位置推定を行うことが可能な駐車支援システムにおける駐車支援方法および駐車支援装置を提供することをその主たる目的とする。

本開示に係る駐車支援方法は、車両の周辺に存在する地図情報から前記車両の自己位置を推定し、前記自己位置に基づき駐車支援を行う駐車支援システムに用いられる駐車支援方法である。第１の駐車と、前記第１の駐車の後に行われる第２の駐車と、において、前記車両の周囲に存在する前記地図情報を取得する。前記第１の駐車における第１の地図情報と、前記第２の駐車における前記第２の地図情報とが異なる場合に、前記第１の地図情報と前記第２の地図情報との差分を示す差分情報を表示する。

本開示に係る駐車支援装置は、車両の周辺に存在する地図情報から前記車両の自己位置を推定し、前記自己位置に基づき駐車支援を行う駐車支援システムに用いられる駐車支援装置である。第１の駐車と、前記第１の駐車の後に行われる第２の駐車と、において、前記車両の周囲に存在する前記地図情報を取得する取得部と、前記第１の駐車における第１の地図情報と、前記第２の駐車における前記第２の地図情報とが異なる場合に、前記第１の地図情報と前記第２の地図情報との差分を示す差分情報を表示する表示部と、を備える。

本開示に係る駐車支援方法および駐車支援装置では、自動駐車を行う際に、周辺環境の変化が生じても高い精度を維持して車両の自己位置推定を行うことができる。

図１は、実施形態１の駐車支援システムの構成の一例を示すブロック図である。 図２は、実施形態１の情報処理の手順の一例を示すフローチャートである。 図３（ａ）～（ｃ）は、実施形態１の情報処理装置において生成される地図情報の一例を模式的に示す図であり、（ａ）は、記憶部に記録されている地図情報の一例を模式的に示す図であり、（ｂ）は、自動走行モードにおいて生成される地図情報の一例を模式的に示す図であり、（ｃ）は、（ａ）の地図情報と（ｂ）の地図情報とから自己位置を推定した状態の一例を模式的に示す図である。 図４は、実施形態１の差分情報の表示形態の一例を示す図である。 図５は、実施形態１の差分情報の表示形態の一例を示す図である。 図６は、実施形態１の差分情報の表示形態の一例を示す図である。 図７は、変形例の差分情報の表示形態の一例を示す図である。

（実施形態１）
実施形態１に係る駐車支援システムについて、図１～６を参照しつつ説明する。

実施形態１に係る駐車支援システムは、予め記録された経路情報に基づいて車両の駐車を行う自動駐車を実現するための駐車支援を行うシステムである。
具体的には、車両は、ユーザの指示に応じて、教師走行モードおよび自動走行モードのいずれかで走行する。教師走行モードは、自動駐車を行うための前段階として行われる駐車であり、ユーザの操作により車両を駐車させるモードである。
駐車支援装置は、教師走行モードにおいて、ユーザの操作により車両を駐車スペースに駐車する間に、センサ装置または撮像装置５０から得られる情報に基づいて、車両の自己位置推定に用いるための車両周辺の地図情報を作成し、駐車終了までの間、作成した地図情報を順次記録する。さらに、駐車支援装置は、地図情報の作成とともに、車両の駐車終了までに走行した経路情報を記録する。
自動走行モードは、ユーザの操作を伴わず自動で車両を駐車させるモードである。自動走行モードでは、教師走行モード時と同様に撮像装置５０により撮影された画像から周辺の地図情報を生成する。続いて、教師走行モード時に記録した周辺の地図情報を照合して、記録した地図情報の位置情報から車両の自己位置を推定し、その推定位置を踏まえて記録された経路情報に従って車両を駐車させる。次に、実施形態１に係る駐車支援システムを構成する各部材について説明する。

（駐車支援システム１０の構成）
まず、実施形態１の駐車支援システム１０の構成を、図１を参照して説明する。図１は、実施形態１の駐車支援システム１０の構成を示すブロック図である。

駐車支援システム１０は、上述したように車両の自動駐車を実行するためのものであり、情報処理装置２０、情報表示装置３０、自動運転制御装置４０、撮像装置５０、および駆動装置６０を備える。なお、駐車支援システム１０は車両内部に搭載されていてもよいし、別途車両と無線ネットワークで接続されて、その全体あるいは一部を車両の外部に備えていてもよい。情報処理装置２０および情報表示装置３０の構成について以下に詳述する。

（情報処理装置２０の構成）
情報処理装置２０は、処理部２１０および記憶部２２０を備えており、例えば車両の前後左右に設置された撮像装置５０により車両の周辺を撮影した撮像画像から、車両の自己位置の推定に用いるための車両周辺の様々な立体構造物や路面のテクスチャなどの画像特徴点情報、あるいは、立体構造物の画像特徴からOGM情報のいずれかで構成される地図情報を生成する。さらに、車両の走行と共に車両周辺の撮像位置が更新される撮像画像から新たに生成される地図情報を、車載センサとなるステアリングの舵角センサと車輪速パルスセンサから推定される車両の移動量(距離と向き)とを関連付けて１つの地図情報として記憶する。また、情報処理装置２０では、第１の駐車において生成されて情報処理装置２０の記憶部２２０に記録されている第１の地図情報と、第２の駐車において新たに生成された第２の地図情報との比較において、それらの差分を示す差分情報を生成する。さらに、情報処理装置２０では、記憶されている地図情報を必要に応じて更新する。
第１の駐車は運転者が車両を走行させることにより実行され、第２の駐車は自動走行により実行されてもよい。あるいは、自動走行モードによる駐車を繰り返すことで、第１の駐車および第２の駐車は、自動走行により実行されてもよい。

（処理部２１０）
処理部２１０のより詳細な構成について以下に説明する。処理部２１０は、上述した差分情報を生成するための情報処理を行う。処理部２１０は、画像取得部２１１、地図情報生成部２１２、差分情報生成部２１３、出力制御部２１４および自己位置推定部２１５を備える。処理部２１０を構成する各部について以下に説明する。

（画像取得部２１１）
画像取得部２１１は、車両に搭載された撮像装置５０により撮影された車両周辺の撮像画像を取得する。撮像画像は、画素ごとに画素値を規定したデジタル画像データである。通常、車両に搭載された撮像装置５０は車両の前後左右に設置された4つの撮像装置５０で構成される。なお、画像取得部２１１は、車両に搭載された撮像装置５０に限らず、インフラカメラなどの撮像装置５０により撮影された車両周辺の撮像画像を取得してもよい。

（地図情報生成部２１２）
地図情報生成部２１２は、画像取得部２１１が取得した撮像画像を使って、地図情報を生成する。地図情報は、車両の自己位置を算出するために用いられる情報である。事前に記憶されている地図情報中の特徴量と、撮像画像に基づいて生成された地図情報中の特徴量とのマッチングを行うことで、車両の自己位置を推定する。実施形態１では地図情報が、ある一定の大きさ(例えば5cmまたは10cmなど)で規定した格子状に分割された区画(グリッドとも呼ぶ)ごとに、立体障害物の有無または、立体障害物の有無が不明であることが設定されるＯＧＭ（Occupied Grid Map）形式で保持される情報である場合を例に挙げて説明する。

また、地図情報生成部２１２は、情報表示装置３０からの情報に応答して、記憶部２２０に記録されている地図情報に対して差分情報を反映させることにより、記憶部２２０に記録されている地図情報を更新する。

（差分情報生成部２１３）
差分情報生成部２１３は、地図情報生成部２１２が生成した第２の地図情報と予め記録されている第１の地図情報とを用いて差分情報を生成する。実施形態１において、差分情報は、差分が存在する場合に差分をユーザに通知するための情報である。一例として、差分情報は、予め生成されて情報処理装置２０の記憶部２２０に記録されている第１の地図情報と、自動走行モードにおいて新たに生成された第２の地図情報との比較において、差分が存在する区画の集合の合計数が所定値以上である区画集合を示す情報である。

（出力制御部２１４）
出力制御部２１４は、差分情報生成部２１３において生成された差分情報を情報表示装置３０に対して出力する。

（自己位置推定部２１５）
自己位置推定部２１５は、記憶部２２０に記録されている地図情報を照合し、地図情報の位置情報から車両の自己位置を推定する。

（記憶部２２０）
記憶部２２０は、地図情報を記憶するための記録媒体である。記憶部２２０において記録される地図情報は、当初は教師走行モードにおいて生成される地図情報である。その後、ユーザから指示を受けた場合に、自動走行モードにおいて生成された地図情報に基づいて、記憶部２２０に記憶されている地図情報は更新される。

上記記録媒体としては、例えば、磁気テープやカセットテープなどのテープ類、フロッピー（登録商標）ディスク／ハードディスクなどの磁気ディスクやCD-ROM（Compact Disc Read-Only Memory）／MOディスク（Magneto-Optical disc）／MD（Mini Disc）／DVD（Digital Versatile Disc:登録商標）／CD-R（CD Recordable）／ブルーレイディスク（Blu-ray Disc：登録商標）などの光ディスクを含むディスク類、ICカード（メモリカードを含む）／光カードなどのカード類、マスクROM／EPROM（Erasable Programmable Read-Only Memory）／EEPROM（Electrically Erasable and Programmable Read-Only Memory：登録商標）／フラッシュROMなどの半導体メモリ類、あるいはPLD（Programmable logic device）やFPGA（Field Programmable Gate Array）などの論理回路類などを用いることができる。

なお、記憶部２２０は必ずしも情報処理装置２０の内部に備えられている必要はなく、必要に応じて情報処理装置２０の外部に備えられていてもよい。

（情報表示装置３０の構成）
次に、駐車支援システム１０を構成する情報表示装置３０について説明する。情報表示装置３０は、情報処理装置２０で生成された差分情報を、ユーザに視認可能な形態として表示するものである。情報表示装置３０は、情報処理装置２０と直接接続されてもよいし、ネットワークを介して接続されていてもよい。情報処理装置２０と直接接続されるものとしては、例えば、カーナビゲーションシステムや駐車支援システムのＨＭＩとして機能する車載表示装置を挙げることができる。情報処理装置２０とネットワークを介して接続されるものとしては、例えば、スマートフォン、タブレットなどの携帯型情報端末を挙げることができる。

情報表示装置３０は、差分情報取得部３１０、差分情報処理部３２０、表示部３３０、入力部３４０、および指示部３５０を備える。

（差分情報取得部３１０）
差分情報取得部３１０は、情報処理装置２０で生成されて出力される差分情報を取得する。

（差分情報処理部３２０）
差分情報処理部３２０は、差分情報取得部３１０が取得した差分情報を、ユーザに視認可能な形態で表示部３３０に表示するための処理を行う。本実施形態において、ユーザに視認可能な形態での表示とは、具体的には画像による表示である。また、差分情報処理部３２０は、記憶部２２０に記録されている地図情報を更新する指示を入力部３４０から受けた場合、差分が存在する区画の集合の合計数が所定値以上である区画集合を記憶部２２０に記録されている地図情報に反映させるように、指示部３５０に対して指示する。

（表示部３３０）
表示部３３０は、ユーザに対して映像を表示することで情報を通知する表示デバイスである。通知する情報は、差分情報取得部３１０が取得した差分情報および記憶部２２０に記録されている地図情報を更新するか否かの問い合わせをユーザに対して通知するための情報である。表示部３３０としては、具体的には液晶ディスプレイまたは有機ELディスプレイなどの表示デバイスを挙げることができる。

（入力部３４０）
入力部３４０は、ユーザからの指示を受け付けるための入力デバイスである。入力部３４０としては、例えば、表示部３３０と一体で構成されるタッチパネル、または音声の入力を受け付けるマイクなどを挙げることができる。

（指示部３５０）
指示部３５０は、地図情報の差分情報のうち、ユーザから更新指示を受けた区画集合の情報を記憶部２２０に記録されている地図情報に反映させることにより、記憶部２２０に記録されている地図情報を更新するように情報処理装置２０に対して指示をする。

（自動運転制御装置４０の構成）
自動運転制御装置４０は、自動運転情報登録部４１０および自動運転制御部４２０を備える。

（自動運転情報登録部４１０）
自動運転情報登録部４１０は、教師走行モード時に動作する。自動運転情報登録部４１０は、教師走行モードにおいて、車両の駐車終了までに走行した経路情報を記録する。

（自動運転制御部４２０）
自動運転制御部４２０は、自動走行モードである場合に動作する。自動運転制御部４２０は、自動走行モードにおいて撮像装置５０によって撮影された車両周辺の画像と、自己位置推定部２１５により推定された自己位置とに基づき、自動運転情報登録部４１０に記録された経路情報に従って、駆動装置６０を制御して車両を自動走行させる。

（撮像装置５０の構成）
撮像装置５０は、車両の周囲を撮影可能となるように、設置位置および画角が予め調整されている。実施形態１では、車両は、撮影方向の異なる複数の撮像装置５０を備える。

（駆動装置６０の構成）
駆動装置６０は、車両を自動的に運転するために、駆動部を制御する。より具体的には、駆動装置６０は、自己位置と教師走行モード時に記録した経路情報に基づいて、指示された速度で経路上を自動走行するよう、車両のアクセル量、ブレーキ量、操舵角などを制御する。

（駐車支援システム１０の情報処理の手順）
次に、駐車支援システム１０において実行される情報処理の手順を、図２を参照しつつ、以下に説明する。図２は、駐車支援システム１０において実行される情報処理の手順を示すフローチャートである。

まず、画像取得部２１１が、車両走行時に撮像装置５０により撮影された車両周辺の撮像画像を取得する（ステップS１０１）。

次に、地図情報生成部２１２が、ステップＳ１０１で取得した撮像画像を使って、地図情報を生成するとともに、車両の自己位置を推定する（ステップS１０２）。生成される地図情報の具体例について、以下に説明する。

図３の（ａ）～（ｃ）は、地図情報生成部２１２において生成される地図情報の一例を模式的に示す図である。図３（ａ）～（ｃ）に示すように、ＯＧＭ形式の地図情報において、駐車を実施する車両周辺の空間が、ある一定の大きさの区画に分けられており、区画ごとに立体障害物の有無または、立体障害物の有無が不明であることが設定される。斜線のある区画は立体障害物が存在する区画を表し、白色の区画は立体障害物が無い区画を表す。図３（ａ）は、記憶部２２０に記録されている地図情報の一部の領域として一例を模式的に示す図であり、図３（ｂ）は、自動走行モードにおいて車両が走行途中のある地点で取得した撮像画像から生成される地図情報の一例を模式的に示す図であり、図３（ｃ）は、図３（ａ）の地図情報と図３（ｂ）の地図情報とから、図３（ａ）における地図情報に対して自己位置１１０を推定した状態の一例を模式的に示す図である。なお、図３（ａ）および図３（ｃ）において太枠で囲まれた区画が駐車位置１００である。なお、図３における区画の大きさは模式的に大きく表しているが、実際は更に区画の大きさを細分化し、細粒度の区画で地図情報を表す。

自動走行モードにおいて、地図情報生成部２１２は、画像取得部２１１により取得された撮像画像に基づいて、地図情報を生成し、生成された地図情報において自己位置となる車両が存在する区画の位置を算出する。地図情報生成部２１２は、自動走行モードにおいて生成される地図情報（図３（ｂ））と記憶部２２０に記録されている地図情報（図３（ａ））とを読みだしてマッチングを行い、マッチング誤差の合計値が最小となる位置を探索して車両の自己位置を決定する。マッチング処理により算出した自己位置の結果が図３（ｃ）となる。自己位置推定部２１５により推定された自己位置１１０および自動運転情報登録部４１０に記憶された経路情報に基づいて経路に追従するよう車両を走行させ、自動駐車が実行される。
なお、マッチング処理は、前回算出した自己位置から今回撮像画像を取得する位置までの車両の移動量を、車載センサ(例えば舵角センサと車輪速パルスセンサなど)から算出し、前回の自己位置にその移動量を合算した位置に基づいて、その周辺領域を探索することで、探索にかかる処理量を抑え、自己位置の算出ミスを低減しても良い。
なお、マッチングに用いられる撮像画像は１つに限るものではなく、車両の前後左右を撮影した４つの撮像画像から取得した地図情報をマッチング処理してもよい。これにより、位置精度、車両周辺の照度環境の違い、および立体障害物の配置の変化にロバストに自己位置を取得することができる。
なお、マッチング処理において、自己位置の推定結果を、必ずしも区画位置の整数倍位置とせず小数点位置として算出することにより、位置分解能を上げることが可能である。

差分情報生成部２１３が、地図情報生成部２１２が生成した第２の地図情報と、予め記憶部２２０に記録されている第１の地図情報とを対比して差分情報を生成する（ステップS１０３）。具体的には、ステップS１０２で用いた予め記録されている第１の地図情報と自動走行モードにおいて生成された第２の地図情報とを比較し、その差分が誤差の範囲ではなく地図情報として差分と考えられる領域として、差分が存在する区画の集合の合計数が所定値以上である区画集合を検出し、差分情報を生成する。つまり、記憶部２２０に記録されている地図情報が生成された駐車の際と車両走行時との車両周辺の環境の変化を示す情報を生成する。
さらに、差分情報を情報表示装置に表示するために、差分情報生成部２１３は、差分情報を検出する元となった撮像画像と差分情報とを関連付けて出力制御部２１４へ送信する。

出力制御部２１４は差分情報生成部２１３において生成された差分情報と差分情報に関連付けられた撮像画像を情報表示装置３０へ出力する（ステップS１０４）。本ステップまでが、情報処理装置２０において実行される処理となる。以下、情報表示装置３０における処理について引き続き図２を参照しつつ以下に説明する。情報処理装置２０における処理と情報表示装置３０における処理は、一体として連続して処理されてもよいし、時間的な間隔をあけて処理されてもよい。

情報表示装置３０の差分情報取得部３１０は、ステップS１０４において出力された差分情報を取得する（ステップS１０５）。

差分情報処理部３２０は、差分情報取得部３１０が取得した差分情報をユーザに視認可能な形態で表示するための画像を生成する（ステップS１０６）。

差分情報処理部３２０は、差分情報処理部３２０が生成した画像を表示部３３０に表示すると共に、記憶部２２０に記録されている地図情報を更新するか否かを、ユーザに対して通知する（ステップS１０７）。例えば、差分情報処理部３２０は、差分情報処理部３２０が生成した画像とともに、差分が存在する区画の集合の合計数が所定値以上である区画集合を示す情報を記憶部２２０に記録されている地図情報に反映させることにより、記憶部２２０に記録されている地図情報を更新するか否かを示す画像を表示部３３０に出力するように制御する。

入力部３４０は、記憶部２２０に記録されている地図情報を更新するか否かについて、ユーザからの指示を受け付ける（ステップS１０９）。これによりユーザの判定に基づいて車両周辺の環境の変化を地図情報に反映するか否かを決定することができる。記憶部２２０に記録されている地図情報を更新する指示をユーザから受け付けた場合（ステップＳ１０９：Ｙｅｓ）、ステップＳ１１０へ進む。記憶部２２０に記録されている地図情報を更新する指示をユーザから受け付けなかった場合（ステップＳ１０９：Ｎｏ）、駐車支援システム１０の動作を終了する。

指示部３５０は、記憶部２２０に記録されている地図情報を更新するように情報処理装置２０に対して指示し、駐車支援システム１０の動作を終了する（ステップS１１０）。

このように、駐車支援システム１０によれば、車両周辺の撮像画像の変化が一時的であるか否かをユーザが判定し、ユーザの判定に基づいて車両周辺の環境の変化を地図情報に反映させるか否かを決定することができる。したがって、駐車支援システム１０は、駐車が行われる度に車両周辺の環境の変化を正確に反映した地図情報を作成することにより、自動駐車を行う際に周辺環境の変化が生じても高い精度を維持して車両の自己位置推定を行うことができる。

なお、記憶部２２０に記録されている地図情報を更新するか否かをユーザに対して通知するタイミングは、駐車終了後に車両が停車した直後に実施するのが望ましい。

また、記憶部２２０に記憶される地図情報は１つである場合を例に挙げて説明したが、記憶部２２０に記憶される地図情報は複数であってもよい。

さらに、第２の駐車の後に行われる第３の駐車において、車両の周囲に存在する地図情報を取得し、第２の駐車において生成されて情報処理装置２０の記憶部２２０に記録されている第２の地図情報と、第３の駐車において新たに生成された第３の地図情報とが異なる場合に、第２の地図情報と第３の地図情報との差分を示す差分情報を表示してもよい。

（表示形態その１）
続いて、表示部３３０においてユーザに対して差分情報を表示する際の表示形態について以下に図４～６を参照しつつ、具体的に説明する。上述したように、実施形態１における差分情報は、予め記憶部２２０に記録されている第１の地図情報と、自動走行モードにおいて新たに生成された第２の地図情報との比較において、差分が存在する区画の集合の合計数が所定値以上である区画集合を示す情報である。

図４は、差分が存在する区画の集合の合計数が所定値以上である区画集合(以降、差分となる区画集合と呼ぶ)が、車両の走行経路に対して、どこに位置しているかを示す図である。本表示形態において、差分となる区画集合の位置（差分位置とも称する）は、車両の走行経路または駐車位置１００との相対位置により特定され、差分位置は太枠で囲まれて表示される。さらに、差分となる区画集合の位置は、車両の走行経路または駐車位置１００との相対位置により特定され、差分位置は文字情報により新たに追加された物体として表示される。車両の走行経路については、駐車開始地点から駐車終了地点まで走行した経路が矢印線を用いて表示される。このような形態でユーザに差分情報を表示することで、車両周辺の環境が変化した位置を具体的に知ることができる。
なお、図４（ａ）では、立体障害物を上空から見た航空写真を示す図中に、走行経路と、差分情報位置を表す太枠で囲まれた実線と、駐車開始位置および駐車終了位置を示す点線とが示されている。しかし、通常、車両に搭載された撮像装置５０により撮影される撮像画像から航空写真を作成することは困難であるため、情報表示装置に表示される画像は図４（ｂ）のように、走行経路、太枠で囲まれた実線、および点線のみで構成されてもよい。

上述した通知に対して、ユーザは、例えば、表示部３３０と一体的に設けられたタッチパネルにおける入力機能である入力部３４０を用いて、更新するか否かを選択してもよい。

（表示形態その２）
図５は、差分が存在する区画の集合の合計数が所定値以上である区画集合が、車両の走行経路に対して、どこに位置しているかを示す図である。図４の表示形態に加え、さらに、差分が存在する区画の集合の合計数が所定値以上である区画そのものが、他の区画と異なる色を用いて表示される。このような形態でユーザに差分情報を表示することで、車両周辺の環境が変化した位置を具体的に知ることができる。
なお、図５（ａ）では、立体障害物を上空から見た航空写真を示す図中に、走行経路と、他の区画と異なる色を用いて差分情報位置を表す塗りつぶし箇所と、差分情報位置を表す太枠で囲まれた実線と、駐車開始位置および駐車終了位置を示す点線とが示されている。しかし、通常、車両に搭載された撮像装置５０により撮影される撮像画像から航空写真を作成することは困難であるため、情報表示装置に表示される画像は図５（ｂ）のように、走行経路、他の区画と異なる色を用いて差分情報位置を表す塗りつぶし箇所と、太枠で囲まれた実線、および点線のみで構成されてもよい。

（表示形態その３）
図６は、差分が存在する区画の集合の合計数が所定値以上である区画集合を、車両の周辺を撮影した撮像画像に重畳させて示す図である。一例として、撮像画像上において、区画集合が位置する所定の領域を含む範囲が撮像画像から切り出して表示される。差分となる区画集合は、太枠で囲まれて表示される。また、差分となる区画集合は、新たに追加された物体として文字情報により表示される。このような形態でユーザに差分情報を表示することで、車両周辺の環境が変化した位置を具体的に知ることができる。なお、撮像画像は、車両に搭載される複数の撮像装置５０により撮影された撮像画像に基づき合成された合成画像であっても良い。なお、ユーザが差分情報をより認識し易くするために、図６の表示画像に加えて図４または図５の表示画像を並べて表示してもよい。
なお、物体が新たに追加された場合を例に挙げて表示形態その１～３を説明したが、物体が消失した場合であっても同様の表示形態を用いて差分情報を表示することができる。

（差分情報として表される地図情報が複数である場合の処理）
図４～６では、差分情報として表される地図情報は１つである場合を例に挙げて説明したが、差分情報として表される地図情報は複数であってもよい。すなわち、追加されている物体が複数であってもよいし、消失している物体が複数であってもよい。また追加されている物体と消失している物体が同時に存在していてもよい。これにより車両周辺の環境の変化をより詳細に地図情報に反映させることができる。複数の差分情報が存在する場合、図２のフローチャートにおいて、ステップＳ１０９およびステップＳ１１０を繰り返した後、全ての差分情報についてユーザに更新の有無を確認し、処理を終了する。

差分情報として表される地図情報が複数である場合、それらを個別にユーザに通知してもよいし、一括でユーザに通知してもよい。個別にユーザに通知する場合、追加された物体または消失した物体のうちのひとつを通知して、ユーザからの指示を受け付ける動作を順に繰り返すことで、それぞれの差分情報に対して処理を行う。この場合、ユーザは差分情報として表される地図情報を１つずつ吟味し、反映するか否かを判定することができる。また、一括してユーザに通知する場合、追加された物体または消失した物体に対するユーザからの指示を一度に受け付けることで、それぞれの差分情報に対して処理を行う。

（変形例）
上述した駐車支援システム１０では、地図情報は、駐車走行経路周辺をある一定の大きさで規定した格子状に分割された区画ごとに、立体障害物の有無または、立体障害物の有無が不明であることが設定されるOGM形式で保持される情報である場合を例に挙げて説明したが、他の形式で保持される場合を変形例として以下に説明する。

変形例として、地図情報は、撮像画像から抽出される特徴点群の座標位置を示す情報である場合を例に挙げて説明する。このとき、差分情報は、予め生成されて情報処理装置２０の記憶部２２０に記録されている第１の地図情報と、自動走行モードにおいて新たに生成された第２の地図情報との比較において、対応する特徴点群が存在しない座標位置を強調して表示するための情報である。特徴点群の各特徴点は、駐車走行周辺の環境に対して、任意の地点に原点を設定し、２次元平面または３次元空間の座標軸を設定した座標空間内において（Ｘｉ， Ｙｉ）または（Ｘｉ， Ｙｉ， Ｚｉ）で表現される座標位置を有する。さらに、特徴点群の座標情報に加えて、特徴点群抽出時の車両位置の座標を関連づけて地図情報とすることも考えられる。

より具体的には、差分情報は、予め生成されて情報処理装置２０に記録されている第１の地図情報に存在するが、新たに生成された第２の地図情報には存在しない特徴点群の座標位置を強調して表示するための情報である。あるいは、差分情報は、予め生成されて情報処理装置２０に記録されている第１の地図情報に存在しないが、新たに生成された第２の地図情報にのみ存在する特徴点群の座標位置を強調して表示するための情報である。
前者は情報処理装置２０に記録されている地図情報が生成された駐車の際に存在しなかった物体が追加された場合であり、後者は情報処理装置２０に記録されている地図情報が生成された駐車の際に存在した物体が消失した場合である。前者の場合には、ユーザからの指示に応答して、記憶部２２０に記録されている地図情報に対して、新たに生成された地図情報にのみ存在する特徴点群の座標位置を追加することで、記憶部２２０に記録されている地図情報が更新される。また、後者の場合には、ユーザからの指示に応答して、記憶部２２０に記録されている地図情報に対して、新たに生成された地図情報には存在しない特徴点群の座標位置を削除することで、記憶部２２０に記録されている地図情報が更新される。

（表示形態その４）
続いて、変形例においてユーザに対して差分情報を表示する際の表示形態について、以下に図７を参照しつつ、具体的に説明する。図７は、車両の周辺を撮影した撮像画像において、対応する特徴点群が存在しない座標位置を示した図である。対応する特徴点群が存在しない座標位置は、太枠で囲まれて表示される。さらに、記憶部２２０に記録されている地図情報を更新するか否かを、ユーザに対して通知する。上述した通知に対して、ユーザは、例えば、表示部３３０と一体的に設けられたタッチパネルにおける入力機能である入力部３４０を用いて、更新するか否かを選択してもよい。このような形態でユーザに差分情報を表示することで、車両周辺の環境が変化した位置を具体的に知ることができる。

なお、上述した実施の形態における、上記情報処理を実行するためのプログラムは、上記複数の機能部の各々を含むモジュール構成となっており、実際のハードウェアとしては、例えば、ＣＰＵ（プロセッサ回路）がＲＯＭまたはＨＤＤから情報処理プログラムを読み出して実行することにより、上述した複数の機能部の各々がＲＡＭ（主記憶）上にロードされ、上述した複数の機能部の各々がＲＡＭ（主記憶）上に生成されるようになっている。なお、上述した複数の機能部の各々の一部または全部を、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）またはＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などの専用のハードウェアを用いて実現することも可能である。

なお、上記には、実施の形態を説明したが、上記実施の形態は、例として提示したものであり、本開示の範囲を限定することは意図していない。上記実施の形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。上記実施の形態は、本開示の範囲または要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

本開示に係る駐車支援システムは、例えば自動駐車支援などに用いることができる。

１０ 駐車支援システム
２０ 情報処理装置
２１０ 処理部
２１１ 画像取得部
２１２ 地図情報生成部
２１３ 差分情報生成部
２１４ 出力制御部
２１５ 自己位置推定部
２２０ 記憶部
３０ 情報表示装置
３１０ 差分情報取得部
３２０ 差分情報処理部
３３０ 表示部
３４０ 入力部
３５０ 指示部
４０ 自動運転制御装置
４１０ 自動運転情報登録部
４２０ 自動運転制御部
５０ 撮像装置
６０ 駆動装置

Claims (13)

1. 車両の周辺に存在する地図情報から前記車両の自己位置を推定し、前記自己位置に基づき駐車支援を行う駐車支援システムに用いられる駐車支援方法であって、
   第１の駐車と、前記第１の駐車の後に行われる第２の駐車と、において、前記車両の周囲に存在する前記地図情報を取得し、
   前記第１の駐車における第１の地図情報と、前記第２の駐車における第２の地図情報とが異なる場合に、前記第１の地図情報と前記第２の地図情報との差分を示す差分情報を表示し、
   前記地図情報は、前記車両の周辺を撮像した撮像画像において、格子状に分割された区画ごとに立体障害物の有無が設定される形式で保持される情報であり、
   前記差分情報は、前記第１の地図情報と前記第２の地図情報との比較において、差分が存在する区画の集合の合計数が所定値以上である区画集合を示す情報である、
   駐車支援方法。
2. 前記差分情報は、枠線により表示される情報であり、
   前記車両の走行経路または駐車位置との相対位置に基づき、前記第１の地図情報と前記第２の地図情報との差分の位置を示す差分位置を、前記枠線により示す、
   請求項１に記載の駐車支援方法。
3. 前記差分情報は、文字情報により表示される情報であり、
   前記車両の走行経路または駐車位置との相対位置に基づき、前記第１の地図情報と前記第２の地図情報との差分の位置を示す差分位置を、前記文字情報により示す、
   請求項１又は２に記載の駐車支援方法。
4. 前記車両の周辺を撮像した撮像画像から前記差分位置を含む範囲の画像が切り出されて表示される、
   請求項２または３に記載の駐車支援方法。
5. 前記差分情報を表示するタイミングは、前記第２の駐車の終了後である、
   請求項１から４のいずれか１項に記載の駐車支援方法。
6. 前記差分情報を表示するタイミングは、前記第２の駐車の走行中である、
   請求項１から５いずれか１項に記載の駐車支援方法。
7. 前記第１の駐車は、運転者が前記車両を走行させることにより実行され、
   前記第２の駐車は、自動走行により実行される、
   請求項１から６のいずれか１項に記載の駐車支援方法。
8. 前記第１の駐車および前記第２の駐車は、自動走行により実行される、
   請求項１から６のいずれか１項に記載の駐車支援方法。
9. 前記第２の駐車の後に行われる第３の駐車において、前記車両の周囲に存在する前記地図情報を取得し、
   前記第２の駐車における第２の地図情報と、前記第３の駐車における第３の地図情報とが異なる場合に、前記第２の地図情報と前記第３の地図情報との差分を示す差分情報を表示する、
   請求項１から８のいずれか１項に記載の駐車支援方法。
10. 前記第１の地図情報と前記第２の地図情報との差分を、前記地図情報に反映するか否かを前記車両のユーザに対して通知し、
    前記車両のユーザにより、反映することが選択された場合に、前記第１の地図情報と前記第２の地図情報との差分を、前記地図情報に反映する、
    請求項１から９のいずれか１項に記載の駐車支援方法。
11. 前記第１の地図情報と前記第２の地図情報との差分を、前記地図情報に反映するか否かを前記車両のユーザに対して通知し、
    前記車両のユーザにより、反映することが選択されなかった場合に、前記第１の地図情報と前記第２の地図情報との差分を、前記地図情報に反映しない、
    請求項１から１０のいずれか１項に記載の駐車支援方法。
12. 前記差分情報を表示する表示装置は、携帯型情報端末であって、ネットワークを介して情報処理装置に接続されている、
    請求項１０又は１１に記載の駐車支援方法。
13. 車両の周辺に存在する地図情報から前記車両の自己位置を推定し、前記自己位置に基づき駐車支援を行う駐車支援システムに用いられる駐車支援装置であって、
    第１の駐車と、前記第１の駐車の後に行われる第２の駐車と、において、前記車両の周囲に存在する前記地図情報を取得する取得部と、
    前記第１の駐車における第１の地図情報と、前記第２の駐車における第２の地図情報とが異なる場合に、前記第１の地図情報と前記第２の地図情報との差分を示す差分情報を表示する表示部と、
    を備え、
    前記地図情報は、前記車両の周辺を撮像した撮像画像において、格子状に分割された区画ごとに立体障害物の有無が設定される形式で保持される情報であり、
    前記差分情報は、前記第１の地図情報と前記第２の地図情報との比較において、差分が存在する区画の集合の合計数が所定値以上である区画集合を示す情報である、
    駐車支援装置。

Images