JP2020043418A - 周辺監視装置 - Google Patents

Abstract

【課題】目標駐車領域に自車を駐車させる場合に、目標駐車領域や自車の位置が常時確認できような歪みの少ない画像が表示できる周辺監視装置を提供する。【解決手段】周辺監視装置は、車両の周辺を撮像した撮像画像データを取得する画像取得部と、車両を誘導する目標駐車領域を取得する目標取得部と、車両を目標駐車領域に誘導する際に、車両の上空に設定される仮想視点の位置を連続的に車両の移動状況に応じて直上に向けて移動させながら、撮像画像データに基づく目標駐車領域の少なくとも一部と車両の少なくとも一部との両方が表示領域に含まれ続けるような仮想視点画像を生成する画像生成部と、仮想視点画像を表示装置に出力する出力部と、を含む。【選択図】図４

Description

本発明の実施形態は、周辺監視装置に関する。

従来、車両に設けられた複数の撮像部（カメラ）により車両周囲の状況をそれぞれ異なる方向で撮像し、撮像した複数の画像に画像処理（例えば視点変換処理）を施して合成画像を生成する技術が知られている。このように生成される合成画像に対して、例えば、車両の走行状態に応じて視点を変化させたり、表示領域を変化させたりすることにより、運転者が車両周辺の監視を行いやすくなるような画像を提供する画像表示装置が提案されている。

特許第３３００３３４号公報 特許第５３２１２６７号公報

運転者が表示装置を視認して周囲の状況を確認したい場面として、例えば、目的の駐車領域（駐車枠）に自車を駐車させるような場合がある。このような場合に、表示される画像としては、例えば目標駐車領域や自車の位置が確認し易い画像であったり、周辺の画像の歪み等が少ない視認し易い画像であったりすることが望ましい。このように、目標駐車領域や自車の位置が常時確認できような歪みの少ない画像が提供できれば、表示装置に表示される画像を用いた周辺監視の精度向上ができるとともに、ストレスなく監視作業を行うことが可能になり有意義である。

本発明の実施形態にかかる周辺監視装置は、例えば、車両の周辺を撮像した撮像画像データを取得する画像取得部と、上記車両を誘導する目標駐車領域を取得する目標取得部と、上記車両を上記目標駐車領域に誘導する際に、上記車両の上空に設定される仮想視点の位置を連続的に上記車両の移動状況に応じて直上に向けて移動させながら、上記撮像画像データに基づく上記目標駐車領域の少なくとも一部と上記車両の少なくとも一部との両方が表示領域に含まれ続けるような仮想視点画像を生成する画像生成部と、上記仮想視点画像を表示装置に出力する出力部と、を含む。この構成によれば、例えば、仮想視点の位置が変化しても駐車支援による走行中に注目させたい、例えば、目標駐車領域と車両との相対位置関係を、常時認識させ易くなる。そして、最終的に目標駐車領域に移動すると車両を直上付近から見下ろすような画像の表示が可能になる。また、仮想視点が目標駐車領域に常に向けられるため歪みが少ない画像が提供できる。その結果、目標駐車領域が遠方に存在する場合には、目標駐車領域の周辺の確認がし易く、目標駐車領域が接近した場合には、車両の周囲の確認がし易くなり、周辺監視の精度向上に寄与できるとともに、低ストレスの監視作業を行わせ易くなる。

本発明の実施形態にかかる周辺監視装置の上記画像生成部は、例えば、上記車両の直上に設定される車両中心位置と上記目標駐車領域とを結ぶ第１仮想視線ラインの長さと、上記車両中心位置と上記仮想視点の位置とを結ぶ第２仮想視線ラインの長さとの比を一定に保ちながら上記車両の移動状況に応じて上記仮想視点の位置を移動させながら上記仮想視点画像を生成するようにしてもよい。この構成によれば、例えば、車両が目標駐車領域に近づくのに連れて、車両が上々に拡大表示される、いわゆる「ズームイン」表示が容易にできる。その結果、車両の周囲の確認がし易くなり、周辺監視の精度をより向上することができる。

本発明の実施形態にかかる周辺監視装置の上記画像生成部は、例えば、上記車両を覆う仮想曲面と、上記目標駐車領域と上記車両の直上に設定される車両中心位置とを通る仮想視線ラインが上記車両を挟んで上記目標駐車領域と逆側で交差する位置に設定する上記仮想視点の位置を上記車両の移動状況に応じて移動させながら上記仮想視点画像を生成するようにしてもよい。この構成によれば、例えば、仮想視点の位置が移動しても車両（自車）は、ほぼ同じ大きさで表示され続けられる。その結果、仮想視点画像の表示内容が滑らかに変化し不自然な表示が行われることが軽減され、視認し易い画像を提供することが可能になり、より低ストレスの監視作業を行わせ易くなる。

本発明の実施形態にかかる周辺監視装置の上記画像生成部は、例えば、上記仮想視点の位置から上記目標駐車領域を臨む場合の注視点の位置を、上記目標駐車領域の領域中心位置に対して上記車両から遠ざかる方向に所定量移動させた位置とするようにしてもよい。この構成によれば、例えば、車両が目標駐車領域に対してオーバランした場合でも、仮想視点の位置が車両の進行方向から逆方向に向いてしまう可能性、つまり、仮想視点画像が１８０°回転してしまう可能性を軽減することが可能で、駐車終盤で違和感のある画像が表示されてしまうことを抑制できる。

本発明の実施形態にかかる周辺監視装置の上記画像生成部は、例えば、上記仮想視点の位置の移動状況に応じて、上記仮想視点画像の視野角を変更してもよい。この構成によれば、例えば、車両に対して近距離（車両周辺）の監視に重点を置きたい場合の表示や、車両に対して遠距離を含めた全体の監視に重点を置きたい場合の表示等の切り替えが可能になり、監視バリエーションの向上ができる。

本発明の実施形態にかかる周辺監視装置の上記画像生成部は、例えば、上記仮想視点画像における上記目標駐車領域に対応する位置に、上記目標駐車領域を示す駐車枠画像と上記目標駐車領域に上記車両が移動した状況を示す仮想車両とのうち少なくとも一方を示す指標を重畳表示するようにしてもよい。この構成によれば、例えば、目標駐車領域の位置確認や、接近程度の確認等を行わせ易くすることができる。

本発明の実施形態にかかる周辺監視装置の上記画像生成部は、例えば、上記仮想視点画像における上記車両と上記指標とを異なる表示態様で表示するようにしてもよい。この構成によれば、例えば、目標駐車領域の位置確認や、接近程度の確認等をより行わせ易くすることができる。

図１は、実施形態の周辺監視装置を搭載する車両の車室の一部が透視された状態が示された例示的な斜視図である。 図２は、実施形態の周辺監視装置を搭載する車両の例示的な平面図である。 図３は、実施形態の周辺監視装置を含む周辺監視システムの構成の例示的なブロック図である。 図４は、周辺監視システムのＣＰＵで実現される周辺監視部を中心とする構成を例示的に示すブロック図である。 図５は、実施形態の周辺監視装置による仮想視点の位置を、第１仮想視線ラインの長さと第２仮想視線ラインの長さとの比を一定に保ちながら移動させる場合を説明する例示的な模式図である。 図６は、実施形態の周辺監視装置による仮想視点の位置を、車両を覆う仮想曲面上で移動させる場合を説明する例示的な模式図である。 図７は、実施形態にかかる周辺監視装置における注視点の位置を車両から遠ざかる方向に所定量移動させる場合を説明する例示的な模式図である。 図８は、実施形態にかかる周辺監視装置により表示される仮想視点画像の例示的な模式図であり、仮想視点の位置が移動序盤の位置である場合を示す図である。 図９は、実施形態にかかる周辺監視装置により表示される仮想視点画像の例示的な模式図であり、仮想視点の位置が移動中盤の位置である場合を示す図である。 図１０は、実施形態にかかる周辺監視装置により表示される仮想視点画像の例示的な模式図であり、仮想視点の位置が移動終盤の位置である場合を示す図である。 図１１は、実施形態にかかる周辺監視装置による仮想視点画像の表示処理の流れを例示的に説明するフローチャートである。

以下、本発明の例示的な実施形態が開示される。以下に示される実施形態の構成、ならびに当該構成によってもたらされる作用、結果、および効果は、一例である。本発明は、以下の実施形態に開示される構成以外によっても実現可能であるとともに、基本的な構成に基づく種々の効果や、派生的な効果のうち、少なくとも一つを得ることが可能である。

図１に例示されるように、本実施形態において、周辺監視装置（周辺監視システム）を搭載する車両１は、例えば、不図示の内燃機関を駆動源とする自動車、すなわち内燃機関自動車であってもよいし、不図示の電動機を駆動源とする自動車、すなわち電気自動車や燃料電池自動車等であってもよい。また、それらの双方を駆動源とするハイブリッド自動車であってもよいし、他の駆動源を備えた自動車であってもよい。また、車両１は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置、例えばシステムや部品等を搭載することができる。また、車両１の駆動方式としては、四つある車輪３すべてに駆動力を伝え、四輪すべてを駆動輪として用いる四輪駆動車両とすることができるし、前輪駆動方式や後輪駆動方式でもよい。車輪３の駆動に関わる装置の方式や、数、レイアウト等は、種々に設定することができる。

車体２は、不図示の乗員が乗車する車室２ａを構成している。車室２ａ内には、乗員としての運転者の座席２ｂに臨む状態で、操舵部４や、加速操作部５、制動操作部６、変速操作部７等が設けられている。操舵部４は、例えば、ダッシュボード２４から突出したステアリングホイールであり、加速操作部５は、例えば、運転者の足下に位置されたアクセルペダルであり、制動操作部６は、例えば、運転者の足下に位置されたブレーキペダルであり、変速操作部７は、例えば、センターコンソールから突出したシフトレバーである。なお、操舵部４、加速操作部５、制動操作部６、変速操作部７等は、これらには限定されない。

また、車室２ａ内には、表示出力部としての表示装置８や、音声出力部としての音声出力装置９が設けられている。表示装置８は、例えば、ＬＣＤ（liquid crystal display）や、ＯＥＬＤ（organic electroluminescent display）等である。音声出力装置９は、例えば、スピーカである。また、表示装置８は、例えば、タッチパネル等、透明な操作入力部１０で覆われている。乗員は、操作入力部１０を介して表示装置８の表示画面に表示される画像を視認することができる。また、乗員は、表示装置８の表示画面に表示される画像に対応した位置で手指等により操作入力部１０を触れたり押したり動かしたりして操作することで、操作入力を実行することができる。これら表示装置８や、音声出力装置９、操作入力部１０等は、例えば、ダッシュボード２４の車幅方向すなわち左右方向の中央部に位置されたモニタ装置１１に設けられている。モニタ装置１１は、スイッチや、ダイヤル、ジョイスティック、押しボタン等の不図示の操作入力部を有することができる。また、モニタ装置１１とは異なる車室２ａ内の他の位置に不図示の音声出力装置を設けることができるし、モニタ装置１１の音声出力装置９と他の音声出力装置から、音声を出力することができる。なお、モニタ装置１１は、例えば、ナビゲーションシステムやオーディオシステムと兼用されうる。

また、車室２ａ内には、図３に例示されるように、表示装置８とは別の表示装置１２が設けられている。表示装置１２は、例えば、ダッシュボード２４の計器盤部２５（図１参照）に設けられ、計器盤部２５の略中央で、速度表示部と回転数表示部との間に位置されうる。表示装置１２の画面の大きさは、表示装置８の画面の大きさよりも小さくてもよい。この表示装置１２には、例えば車両１の周辺監視や駐車支援機能等の種々の機能が動作している場合に補助的な情報として、インジケータやマーク、文字情報等により制御状態を示す画像が表示されうる。表示装置１２で表示される情報量は、表示装置８で表示される情報量より少なくてもよい。表示装置１２は、例えば、ＬＣＤや、ＯＥＬＤ等である。なお、表示装置８に、表示装置１２で表示される情報が表示されてもよい。

また、図１、図２に例示されるように、車両１は、例えば、四輪自動車であり、左右二つの前輪３Ｆと、左右二つの後輪３Ｒとを有する。これら四つの車輪３は、いずれも転舵可能に構成されうる。図３に例示されるように、車両１は、少なくとも二つの車輪３を操舵する操舵システム１３を有している。操舵システム１３は、アクチュエータ１３ａと、トルクセンサ１３ｂとを有する。操舵システム１３は、ＥＣＵ１４（electronic control unit）等によって電気的に制御されて、アクチュエータ１３ａを動作させる。操舵システム１３は、例えば、電動パワーステアリングシステムや、ＳＢＷ（steer by wire）システム等である。また、トルクセンサ１３ｂは、例えば、運転者が操舵部４に与えるトルクを検出する。

また、図２に例示されるように、車体２には、複数の撮像部１５として、例えば四つの撮像部１５ａ〜１５ｄが設けられている。撮像部１５は、例えば、ＣＣＤ（charge coupled device）やＣＩＳ（CMOS image sensor）等の撮像素子を内蔵するデジタルカメラである。撮像部１５は、所定のフレームレートで動画データ（撮像画像データ）を出力することができる。撮像部１５は、それぞれ、広角レンズまたは魚眼レンズを有し、水平方向には例えば１４０°〜２２０°の範囲を撮影することができる。また、撮像部１５の光軸は斜め下方に向けて設定されている場合もある。よって、撮像部１５は、車両１が移動可能な路面や路面に付された停止線や駐車枠線、区画線等の非立体物、および車両１の周辺に存在する物体（例えば、壁、樹木、人間、自転車、車両等の立体的な物体、接近物等を「障害物」と称する場合もある）を留意対象として逐次撮影可能で、撮像画像データとして出力することもできる。

撮像部１５ａは、例えば、車体２の後側の端部２ｅに位置され、リアハッチのドア２ｈのリアウインドウの下方の壁部に設けられている。撮像部１５ｂは、例えば、車体２の右側の端部２ｆに位置され、右側のドアミラー２ｇに設けられている。撮像部１５ｃは、例えば、車体２の前側、すなわち車両前後方向の前方側の端部２ｃに位置され、フロントバンパやフロントグリル等に設けられている。撮像部１５ｄは、例えば、車体２の左側、すなわち車幅方向の左側の端部２ｄに位置され、左側のドアミラー２ｇに設けられている。ＥＣＵ１４は、複数の撮像部１５で得られた撮像画像データに基づいて演算処理や画像処理を実行し、より広い視野角の画像を生成したり、車両１を上方から見た仮想視点画像を生成したりする。なお、各撮像部１５が撮像する撮像画像データ（画像）には、互いに重複する重複領域が設けられ、画像を繋ぎ合わせるときに欠落領域が生じないようにしている。

図１、図２に例示されるように、車体２には、複数の測距部１６，１７として、例えば四つの測距部１６ａ〜１６ｄと、八つの測距部１７ａ〜１７ｈとが設けられている。測距部１６，１７は、例えば、超音波を発射してその反射波を捉えるソナーである。ソナーは、ソナーセンサ、あるいは超音波探知器、超音波ソナーとも称されうる。本実施形態において、測距部１６，１７は、車両１の車高方向において低い位置、例えば前後のバンパに設けられる。そして、ＥＣＵ１４は、測距部１６，１７の検出結果により、車両１の周囲に位置された障害物等の物体の有無や当該物体までの距離を測定することができる。すなわち、測距部１６，１７は、物体を検出する検出部の一例である。なお、測距部１７は、例えば、比較的近距離の物体の検出に用いられ、測距部１６は、例えば、測距部１７よりも遠い比較的長距離の物体の検出に用いられうる。また、測距部１７は、例えば、車両１の前方および後方の物体の検出に用いられ、測距部１６は、車両１の側方の物体の検出に用いられうる。

また、図３に例示されるように、周辺監視システム１００（周辺監視装置）では、ＥＣＵ１４や、モニタ装置１１、操舵システム１３、測距部１６，１７等の他、ブレーキシステム１８、舵角センサ１９、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２、駆動システム２３等が、電気通信回線としての車内ネットワーク２６を介して電気的に接続されている。車内ネットワーク２６は、例えば、ＣＡＮ（controller area network）として構成されている。ＥＣＵ１４は、車内ネットワーク２６を通じて制御信号を送ることで、操舵システム１３、ブレーキシステム１８、駆動システム２３等を制御することができる。また、ＥＣＵ１４は、車内ネットワーク２６を介して、トルクセンサ１３ｂ、ブレーキセンサ１８ｂ、舵角センサ１９、測距部１６，１７、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２等の検出結果や、操作入力部１０等の操作信号等を、受け取ることができる。

ＥＣＵ１４は、例えば、ＣＰＵ１４ａ（central processing unit）や、ＲＯＭ１４ｂ（read only memory）、ＲＡＭ１４ｃ（random access memory）、表示制御部１４ｄ、音声制御部１４ｅ、ＳＳＤ１４ｆ（solid state drive、フラッシュメモリ）等を有している。ＣＰＵ１４ａは、例えば、表示装置８，１２で表示される画像に関連した画像処理の演算処理および制御を実行することができる。また、ＣＰＵ１４ａは、撮像部１５で得られた広角画像の撮像画像データ（湾曲した画像のデータ）に演算処理や画像処理を施し歪みを補正する歪み補正処理を実行したり、撮像部１５が撮像した撮像画像データに基づき、車両１を示す自車アイコンを例えば中心位置に表示する仮想視点画像（周辺画像）を作成して、表示装置８に表示させたりすることができる。ＣＰＵ１４ａは、生成する仮想視点画像を、仮想視点の位置を車両１の直上に向かって移動させながら生成することができる。また、ＣＰＵ１４ａは、撮像部１５から提供される撮像画像データから車両１の周辺の路面に示された区画線等を識別して駐車支援（走行支援）を実行することができる。例えば、ＣＰＵ１４ａは、区画（例えば、駐車区画線等）を検出（抽出）して、車両１が移動可能な目標領域（例えば、目標駐車領域）を設定したり、その目標領域に車両１を誘導するための誘導経路を取得したり、車両１を完全自動、半自動、手動（例えば音声による操作ガイド）により目標領域に誘導する誘導制御（支援制御）を実行することができる。

ＣＰＵ１４ａは、ＲＯＭ１４ｂ等の不揮発性の記憶装置にインストールされ記憶されたプログラムを読み出し、当該プログラムにしたがって演算処理を実行することができる。ＲＡＭ１４ｃは、ＣＰＵ１４ａでの演算で用いられる各種のデータを一時的に記憶する。また、表示制御部１４ｄは、ＥＣＵ１４での演算処理のうち、主として、表示装置８で表示される画像データの合成等を実行する。また、音声制御部１４ｅは、ＥＣＵ１４での演算処理のうち、主として、音声出力装置９で出力される音声データの処理を実行する。ＳＳＤ１４ｆは、書き換え可能な不揮発性の記憶部であって、ＥＣＵ１４の電源がオフされた場合にあってもデータを記憶することができる。なお、ＣＰＵ１４ａや、ＲＯＭ１４ｂ、ＲＡＭ１４ｃ等は、同一パッケージ内に集積されうる。また、ＥＣＵ１４は、ＣＰＵ１４ａに替えて、ＤＳＰ（digital signal processor）等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、ＳＳＤ１４ｆに替えてＨＤＤ（hard disk drive）が設けられてもよいし、ＳＳＤ１４ｆやＨＤＤは、ＥＣＵ１４とは別に設けられてもよい。

ブレーキシステム１８は、例えば、ブレーキのロックを抑制するＡＢＳ（anti-lock brake system）や、コーナリング時の車両１の横滑りを抑制する横滑り防止装置（ＥＳＣ：electronic stability control）、ブレーキ力を増強させる（ブレーキアシストを実行する）電動ブレーキシステム、ＢＢＷ（brake by wire）等である。ブレーキシステム１８は、アクチュエータ１８ａを介して、車輪３ひいては車両１に制動力を与える。また、ブレーキシステム１８は、左右の車輪３の回転差などからブレーキのロックや、車輪３の空回り、横滑りの兆候等を検出して、各種制御を実行することができる。ブレーキセンサ１８ｂは、例えば、制動操作部６の可動部の位置を検出するセンサである。ブレーキセンサ１８ｂは、可動部としてのブレーキペダルの位置を検出することができる。ブレーキセンサ１８ｂは、変位センサを含む。ＣＰＵ１４ａはブレーキセンサ１８ｂの検出結果に基づき算出した制動力の大きさと、車両１の現在の車速とから制動距離を算出することができる。

舵角センサ１９は、例えば、ステアリングホイール等の操舵部４の操舵量を検出するセンサである。舵角センサ１９は、例えば、ホール素子などを用いて構成される。ＥＣＵ１４は、運転者による操舵部４の操舵量や、例えば駐車支援を実行する際の自動操舵時の各車輪３の操舵量等を、舵角センサ１９から取得して各種制御を実行する。なお、舵角センサ１９は、操舵部４に含まれる回転部分の回転角度を検出する。舵角センサ１９は、角度センサの一例である。

アクセルセンサ２０は、例えば、加速操作部５の可動部の位置を検出するセンサである。アクセルセンサ２０は、可動部としてのアクセルペダルの位置を検出することができる。アクセルセンサ２０は、変位センサを含む。

シフトセンサ２１は、例えば、変速操作部７の可動部の位置を検出するセンサである。シフトセンサ２１は、可動部としての、レバーや、アーム、ボタン等の位置を検出することができる。シフトセンサ２１は、変位センサを含んでもよいし、スイッチとして構成されてもよい。

車輪速センサ２２は、車輪３の回転量や単位時間当たりの回転数を検出するセンサである。車輪速センサ２２は、各車輪３に配置され、各車輪３で検出した回転数を示す車輪速パルス数をセンサ値として出力する。車輪速センサ２２は、例えば、ホール素子などを用いて構成されうる。ＥＣＵ１４は、車輪速センサ２２から取得したセンサ値に基づいて車両１の移動量などを演算し、各種制御を実行する。ＣＰＵ１４ａは、各車輪速センサ２２のセンサ値に基づいて車両１の車速を算出する場合、四輪のうち最も小さなセンサ値の車輪３の速度に基づき車両１の車速を決定し、各種制御を実行する。また、ＣＰＵ１４ａは、四輪の中で他の車輪３に比べてセンサ値が大きな車輪３が存在する場合、例えば、他の車輪３に比べて単位期間（単位時間や単位距離）の回転数が所定数以上多い車輪３が存在する場合、その車輪３はスリップ状態（空転状態）であると見なし、各種制御を実行する。なお、車輪速センサ２２は、図示を省略したブレーキシステム１８に設けられている場合もある。その場合、ＣＰＵ１４ａは、車輪速センサ２２の検出結果をブレーキシステム１８を介して取得してもよい。

駆動システム２３は、駆動源としての内燃機関（エンジン）システムやモータシステムである。駆動システム２３は、アクセルセンサ２０により検出された運転者（利用者）の要求操作量（例えばアクセルペダルの踏み込み量）にしたがいエンジンの燃料噴射量や吸気量の制御やモータの出力値を制御する。また、運転者の操作に拘わらず、車両１の走行状態に応じて、操舵システム１３やブレーキシステム１８の制御と協働してエンジンやモータの出力値を制御しうる。

なお、上述した各種センサやアクチュエータの構成や、配置、電気的な接続形態等は、一例であって、種々に設定（変更）することができる。

本実施形態のＣＰＵ１４ａは、撮像部１５が撮像した撮像画像データ（画像）に視点変換処理や透視投影処理等の画像処理を施すことにより、撮像部１５が撮像する際の視点とは異なる仮想視点から見たような仮想視点画像を生成して表示装置８に表示させる。例えば、車両１を目標駐車領域に誘導する駐車支援を実行する場合に、車両１の周辺状況を運転者（利用者）に認識させやすい画像を提供する。具体的には、車両１の上空に設定される仮想視点の位置を連続的に車両の移動状況に応じて車両１の直上に向けて移動させる。このとき、撮像画像データに基づく目標駐車領域の少なくとも一部と車両１の少なくとも一部との両方が仮想視点画像の表示領域に含まれ続けるようにする。

図４は、ＥＣＵ１４に含まれるＣＰＵ１４ａにおいて、本実施形態の画像処理および車両１を移動させるための駐車支援を実現するための構成の例示的なブロック図である。なお、ＣＰＵ１４ａにおいて、本実施形態の画像処理および駐車支援を実行する以外の構成は図示を省略している。ＣＰＵ１４ａは、上述したような駐車支援処理を実行するとともに、仮想視点画像の生成を実行するための各種モジュールを備える。各種モジュールは、ＣＰＵ１４ａがＲＯＭ１４ｂ等の記憶装置にインストールされ記憶されたプログラムを読み出し、それを実行することで実現される。例えば、ＣＰＵ１４ａは、図４に示されるように、駐車支援部３０、周辺監視部３２等を備える。

駐車支援部３０は、指定された目標駐車領域（駐車枠、駐車位置、目標領域）に、完全自動走行、半自動走行、手動走行のうちいずれかの走行方法によって車両１を誘導する。駐車支援部３０は、駐車支援を実行するためのモジュールとして、例えば、目標駐車領域設定部３０ａ、経路取得部３０ｂ、誘導制御部３０ｃ等を含む。

目標駐車領域設定部３０ａは、撮像部１５が撮像した撮像画像データに基づき、車両１を移動可能な目標駐車領域を設定する。例えば、目標駐車領域設定部３０ａは、車両１が低速（例えば、車速＝５ｋｍ／ｈ以下）で走行している場合にも、前述したように撮像部１５ａ〜１５ｄから車両１の周囲を撮像した撮像画像データおよび測距部１６，１７から車両１の周囲に関する測距データを逐次取得する。そして、目標駐車領域設定部３０ａは、取得した撮像画像データや測距データと、車両１の車幅や車長に基づき、車両１が収まりうる空間である目標駐車領域候補を車両１の周囲で探索する。目標駐車領域設定部３０ａは、目標駐車領域候補が複数箇所で探索できた場合、それらを表示装置８に提示し、運転者に希望する目標駐車領域を選択させる。また、目標駐車領域候補が一箇所の場合は、その位置を表示装置８に提示する。また、目標駐車領域設定部３０ａは、車両１の周囲の状況（例えば、駐車場入口からの距離や周囲の駐車状況、建物がある場合には建物の入口からの距離等）に基づき、複数の目標駐車領域候補の中から推奨する目標駐車領域を提示するようにしてもよい。この場合、目標駐車領域設定部３０ａは、外部の情報センタから車両１が現在存在する位置の情報（例えば、駐車場情報等）を取得して、推奨する目標駐車領域を選択するようにしてもよい。

経路取得部３０ｂは、車両１の現在位置と目標駐車領域設定部３０ａにより設定された目標駐車領域とに基づき、例えば、切返し回数が最小で車両１を現在の位置から目標駐車領域まで誘導できる誘導経路を取得する。誘導経路は、経路取得部３０ｂで演算して取得してもよいし、車両１の位置と目標駐車領域の位置とを外部の処理装置（例えば、駐車場の管理装置等）に送信し、そこで演算された誘導経路を経路取得部３０ｂで受信することで取得するようにしてもよい。なお、誘導経路の算出は周知の技術が利用可能であり、詳細な説明は省略する。

誘導制御部３０ｃは、車両１の誘導開始を要求する操作信号を操作入力部１０等を介して取得した場合、経路取得部３０ｂが取得した誘導経路にしたがい車両１を目標駐車領域に誘導する。例えば、完全自動走行で誘導する場合には、誘導制御部３０ｃは、操舵システム１３、ブレーキシステム１８、駆動システム２３等を制御する。また、例えば、操舵のみを自動制御する半自動走行の場合、運転者に操作させるアクセルペダルやブレーキペダル等の操作量や操作タイミングを表示装置８や表示装置１２に表示させたり、音声出力装置９から出力させたりする。同様に、手動走行させる場合には、ステアリングホイールの転舵方向や転舵量、アクセルペダルやブレーキペダルの操作量や操作タイミング等を表示装置８や表示装置１２に表示させたり、音声出力装置９から出力させたりする。

周辺監視部３２は、駐車支援部３０により駐車支援が実行される場合に、表示装置８に表示される画像としての仮想視点画像を生成する。ここで、仮想視点画像とは、撮像部１５が撮像した当該撮像部１５を視点とする画像に対して視点変換処理等を施して視点の位置を仮想的な位置、例えば、図５や図６等に例示するように車両１の上空に移動させて、車両１を上空から見下ろしながら撮像した場合に得られるような画像である。このような仮想視点画像を生成するために、周辺監視部３２は、画像取得部３４、目標取得部３６、画像生成部３８、出力部４０等のモジュールを含む。

画像取得部３４は、目標駐車領域が設定された後、車両１の誘導開始前および開始後において、車両１の周辺を撮像した撮像画像データを各撮像部１５ａ〜１５ｄから逐次取得する。

目標取得部３６は、目標駐車領域設定部３０ａが設定して目標駐車領域を取得するとともに、例えば、車両１（自車）の現在の位置を基準とする座標系における目標駐車領域の座標および車両１に対する回転角を取得する。この場合、車両１の現在の位置は、例えば、車両１の車幅方向の長さおよび車長方向の長さで規定される中央位置（基準位置）で定義することができる。また、別の実施形態では、車両１の後輪軸の車幅方向の中央位置を車両１の基準位置として定義してもよい。また、目標駐車領域の座標は、例えば、目標駐車領域の幅方向の長さおよび奥行き方向で規定される中央位置で定義することができる。すなわち、車両１の基準位置が車両１の車幅方向の長さおよび車長方向の長さで規定されている場合、その基準位置を目標駐車領域の座標に移動させるとともに、回転調整を行うことにより、車両１を目標駐車領域の中央に誘導しバランスよく収めることができる。また、車両１の基準位置が後輪軸の中央位置で定義されている場合、目標駐車領域の座標を、車両１が目標駐車領域に収まった場合に車両１の後輪軸の中央位置と一致する位置としてもよい。なお、目標取得部３６は、車両１が駐車支援中に移動している間、車両１の現在の位置（移動位置）を基準とする目標駐車領域の座標位置および車両１に対する回転角を逐次取得する。つまり、車両１と目標駐車領域との相対位置関係を逐次取得する。

画像生成部３８は、仮想視点画像を生成するために、例えば、注視点・視点処理部３８ａ、視野設定部３８ｂ、行列式演算部３８ｃ、描画処理部３８ｄ、重畳処理部３８ｅ、指標処理部３８ｆ等のモジュールを含む。

注視点・視点処理部３８ａは、例えば、図５に例示されるように、車両１の位置と目標駐車領域Ｐの位置とに基づき、注視点位置４２と仮想視点位置４４を設定する。図５において、注視点・視点処理部３８ａは、まず、車両１の直上（例えば、地上高２ｍ）に設定される車両中心位置Ｓと目標駐車領域Ｐ（注視点位置４２）とを結ぶ第１仮想視線ラインＬ１を設定する。このときの第１仮想視線ラインＬ１の長さを例えば、「１」とする。そして、注視点・視点処理部３８ａは、第１仮想視線ラインＬ１を例えば、「Ｎ」倍するとともに車両中心位置Ｓに対して目標駐車領域Ｐとは反対側に１８０°反転させて、車両中心位置Ｓを通る第２仮想視線ラインＬ２を設定し、当該第２仮想視線ラインＬ２における車両中心位置Ｓとは逆側の端部を仮想視点位置４４とする。注視点・視点処理部３８ａは、目標駐車領域Ｐに対する車両１の移動状況に応じて、常に車両中心位置Ｓと目標駐車領域Ｐとを結ぶ第１仮想視線ラインＬ１の長さと、車両中心位置Ｓと仮想視点位置４４の位置とを結ぶ第２仮想視線ラインＬ２の長さとの比を一定に保つように仮想視点位置４４を設定する。例えば、車両１に対し遠方に存在する目標駐車領域Ｐａの注視点位置４２ａと車両中心位置Ｓを挟んで設定される仮想視点位置４４ａとの関係は、第１仮想視線ラインＬ１ａ：第２仮想視線ラインＬ２ａ＝１：Ｎになる。同様に、車両１が移動して、当該車両１と目標駐車領域Ｐｂとが接近した場合、注視点位置４２ｂと車両中心位置Ｓを挟んで設定される仮想視点位置４４ｂとの関係は、第１仮想視線ラインＬ１ｂ：第２仮想視線ラインＬ２ｂ＝１：Ｎになる。

このように、第１仮想視線ラインＬ１と第２仮想視線ラインＬ２の関係が、常に１：Ｎになるように仮想視点位置４４を設定することにより、目標駐車領域Ｐに車両１が接近するのに連れて、仮想視点位置４４が徐々に車両１に近づくことになる。つまり、 徐々に車両１の周辺が拡大される（ズームアップ）されるような画像に変換する仮想視点位置４４の設定ができる。例えば、車両１から目標駐車領域Ｐが遠い場合は、目標駐車領域Ｐを、車両１を挟んで遠くから臨み、遠方の目標駐車領域Ｐを含むその周辺を広域的に表示して全体状況を把握しやすい画像を生成するような仮想視点位置４４の設定ができる。また、目標駐車領域Ｐに車両１が接近するのに連れて、目標駐車領域Ｐを、車両１を挟んでより近い位置から臨み、接近した目標駐車領域Ｐを含む車両１の周辺の状況を狭域的に表示して、車両１の周囲の距離感を認識させやすい画像（拡大された画像）を生成するような仮想視点位置４４の設定ができる。その結果、車両１と目標駐車領域Ｐとの相対位置関係に応じた周囲状況を確認し易い仮想視点画像の提供が可能になり、周辺監視の精度をより向上することができる。なお、図５では、第１仮想視線ラインＬ１と第２仮想視線ラインＬ２との比を「１：Ｎ」とする例を示したが、車両１が移動する場合に、第１仮想視線ラインＬ１と第２仮想視線ラインＬ２との比が一定に保たれれば、比は適宜変更してもよく、同様の効果を得ることができる。

また、他の実施形態として、注視点・視点処理部３８ａは仮想視点位置４４を図６に示すように、車両１を覆う仮想曲面Ｅを用いて設定することができる。図６において、注視点・視点処理部３８ａは、まず、車両１を中心とする所定半径（例えば、半径＝８ｍ）の仮想曲面Ｅを設定する。そして、注視点・視点処理部３８ａは、車両中心位置Ｓと目標駐車領域Ｐ（注視点位置４２）とを結ぶ仮想視線ラインＬを設定し、仮想視線ラインＬの延長線が車両１を挟んで目標駐車領域Ｐと逆側で仮想曲面Ｅと交差する位置を仮想視点位置４４とする。したがって、仮想視点位置４４は、車両１が目標駐車領域Ｐに向かって移動して相対位置関係が変化する場合でも、常に仮想曲面Ｅ上に設定されることになる。例えば、車両１に対し遠方に存在する目標駐車領域Ｐａの注視点位置４２ａと車両中心位置Ｓを結ぶ仮想視線ラインＬａが、車両中心位置Ｓを挟んで注視点位置４２ａから遠い側（反対側）で仮想曲面Ｅと交差する位置に仮想視点位置４４ａが設定される。同様に、車両１が移動して、当該車両１と目標駐車領域Ｐｂとが接近した場合、目標駐車領域Ｐｂの注視点位置４２ｂと車両中心位置Ｓを結ぶ仮想視線ラインＬｂが、車両中心位置Ｓを挟んで注視点位置４２ｂから遠い側（反対側）で仮想曲面Ｅと交差する位置に仮想視点位置４４ｂが設定される。

このように、仮想視点位置４４が常に仮想曲面Ｅ上で設定されることにより目標駐車領域Ｐに車両１が接近する場合でも仮想視点位置４４から車両１を臨む距離はほぼ一定に保たれる。つまり、仮想視点画像上で表示される車両１の大きさがほぼ一定に保たれる。その結果、仮想視点画像上で車両１の大きさが変化することが少なく表示内容が滑らかに変化し、視認し易い仮想視点画像を提供可能になり、より低ストレスの監視作業を行わせ易くなる。

なお、注視点・視点処理部３８ａは、図５に示す処理で仮想視点位置４４を設定するか図６で示す処理で仮想視点位置４４を設定するかを予め選択可能である。したがって、注視点・視点処理部３８ａは選択されない処理機能を予め省略するようにしてもよい。

また、注視点・視点処理部３８ａは、目標駐車領域Ｐの注視点位置４２を設定する際に、図７に示すように、目標駐車領域Ｐの領域中心位置Ｐｓに対して車両１から遠ざかる方向に所定量（例えば、０．５ｍ）移動させた位置とする、オフセット処理を実行してもよい。例えば、領域中心位置Ｐｓに注視点位置４２を設定した場合、車両１が目標駐車領域Ｐに収まり、駐車支援が完了または完了に近い状態になった場合、車両１の直上から目標駐車領域Ｐを臨むようになり、車両１を中心とする狭い範囲の表示となる。一方、駐車支援が完了または完了に近い状態の場合、運転者は車両１の進行方向における前方の状況に着目した場合がある。例えば、車両１を目標駐車領域Ｐに駐車した場合に進行方向の空きスペース等を確認したい場合がある。そこで、上述したように、注視点位置４２を車両１から遠ざかる方向にオフセットして設定することにより、駐車支援が完了した時点でも、仮想視点位置４４は、車両１を斜め上空から臨むことになり、車両１の進行方向をより広範囲で表示可能となる。その結果、進行方向の空きスペース等を十分に確認させる仮想視点画像を生成することが可能になる。

また、本実施形態のように、車両中心位置Ｓを挟んで目標駐車領域Ｐの逆側に仮想視点位置４４を設定する場合、車両１が目標駐車領域Ｐに対してオーバランした場合、仮想視点位置４４が車両中心位置Ｓを超えて進行方向側に設定されることになる。その結果、仮想視点位置４４が車両中心位置Ｓを超えた時点で視線方向がそれまでと逆になる。例えば、今まで車両１の後方から車両１の前方側を臨むような仮想視点画像が、車両１の前方から車両１の後方側を臨むような仮想視点画像に急に変わって、不自然な画像切り替えが発生し、運転者等の利用者に違和感を与えてしまう場合がある。上述したように、注視点位置４２を車両１から遠ざかる方向にオフセットして設定することにより、駐車支援が完了した時点でも、仮想視点位置４４が車両中心位置Ｓを超えないようにすることができる。その結果、上述したような画像が急に切り替わる（反転してしまう）不都合を防止することができる。図７に示すように、車両１が前進して目標駐車領域Ｐに接近する場合も車両１が後退して目標駐車領域Ｐに接近する場合も同様である。なお、注視点・視点処理部３８ａが実施するオフセット処理は、目標駐車領域Ｐにおける注視点位置４２の位置を変更するにみで、駐車支援において車両１の基準位置を誘導する目標座標を変更するものではない。

視野設定部３８ｂは、仮想視点位置４４から注視点位置４２を見た場合の視野を設定する。例えば、車両１と目標駐車領域Ｐとの位置関係に拘わらず、または、位置関係に応じて視野を設定することができる。視野を変化させることにより、仮想視点画像の狭域表示や広域表示の設定が可能になり、運転者の視認範囲の変更要求や詳細表示要求等にスムーズに対応することができる。

行列式演算部３８ｃは、撮像部１５から取得される撮像画像データを仮想視点画像として描画する際に、仮想視点位置４４から注視点位置４２を見た場合の空間の座標を求めるための行列式（視線行列式）を算出する。例えば、撮像画像データ上の座標を仮想視点画像上の座標に変換したり、仮想視点画像上で車両１を示すポリゴン（自車アイコン）の座標を変換したりするための視線行列式を算出する。また、行列式演算部３８ｃは、仮想視点画像を表示する表示装置８の表示領域に合わせた二次元空間の座標に画像データを変換するための行列式である、透視投影行列式を算出する。なお、透視投影行列式を算出する際に、視野設定部３８ｂで設定する視野の変更を考慮して行列式を算出してもよい。そして、行列式演算部３８ｃは、視線行列式と透視投影行列式とに基づき、変換行列式を算出する。変換行列式を用いることにより、例えば、各撮像部１５で撮像した画像（撮像画像データ）を、車両１を中心とする３Ｄモデル（例えば、底面を円として、周縁が立ち上がったお椀形状のモデル）へ投影した仮想視点画像を生成することができる。この他、行列式演算部３８ｃは、指標処理部３８ｆにより指定される指標（例えば、目標駐車領域Ｐに車両１が到達した状態をイメージさせる仮想車両（ゴースト）の表示位置や表示姿勢を仮想視点位置４４の移動にしたがって変化させるための行列式（並進回転行列式）等を算出する。

描画処理部３８ｄは、注視点・視点処理部３８ａが算出した変換行列式を用いて、撮像部１５が撮像した撮像画像データの座標変換を行い、現在の仮想視点位置４４の位置から見た車両１の周辺を示す仮想視点画像を描画する。

ところで、図２で示されるように撮像部１５は、例えば、車両１の外周に配置されている。したがって、撮像部１５が撮像する撮像画像データには、車両１の一部（バンパーの一部やドアの一部等）しか含まれない。そのため、撮像部１５が撮像した撮像画像データの座標を、変換行列式を用いて変換しても仮想視点画像上に車両１に対する画像は表示できない。そこで、指標処理部３８ｆは、車両１を示す自車アイコンデータをＲＯＭ１４ｂ等の記憶部から読み出す。そして、重畳処理部３８ｅは、自車アイコンデータに対して注視点・視点処理部３８ａで算出した変換行列式を適用し、現在の仮想視点位置４４の位置から見た自車アイコンを描画処理部３８ｄが描画した車両１の周辺を示す仮想視点画像に重畳する。

指標処理部３８ｆは、前述したように、仮想視点画像上に表示する自車アイコンの他、目標駐車領域Ｐに車両１が到達した状態をイメージさせる仮想車両（ゴースト）の画像、目標駐車領域Ｐを明示するための駐車枠画像等を指標として管理する。指標処理部３８ｆは、各指標の選択を行う指標選択部３８ｆ１および、選択した指標の表示態様を変更する表示態様変更部３８ｆ２等の詳細モジュールを含む。

指標選択部３８ｆ１は、利用者の操作入力部１０等を用いた操作により、車両１を示す自車アイコンとして、車両１の形状を再現したアイコンを選択してもよいし、簡易的な形状の自車アイコンを選択してもよい。車両１の形状を再現したアイコンを用いる場合、車両１を実際に見下ろしているような見栄えのよい仮想視点画像を提供することができる。一方、簡易的な形状の自車アイコンを用いる場合、仮想視点位置４４の変更に追従して表示姿勢が変化する自車アイコンの表示処理のための演算負荷を軽減することができる。また、利用者の操作入力部１０等を用いた操作により、仮想車両（ゴースト）や駐車枠等の指標を表示することが要求された場合、指標選択部３８ｆ１は、要求された指標の選択を行う。また、この場合も、実際の形状を再現した指標や簡易形状の指標を選択できるようにしてもよい。なお、仮想車両を表示するデータは、自車アイコンのデータを流用してもよいし、個別のデータを準備してもよい。

表示態様変更部３８ｆ２は、複数の指標を仮想視点画像上に重畳表示する場合、各指標の識別性が向上するように、表示態様を変更することができる。例えば、自車アイコンと仮想車両（ゴースト）を同時に表示する場合、両者を識別できるように、それぞれの表示色を異ならせる。例えば、自車アイコンを車両１の実際の色に合わせた表示色とし、仮想車両の表示色を色相環で反対の色にすることで識別性を向上させることができる。また、表示態様変更部３８ｆ２は、自車アイコンと仮想車両（目標駐車領域Ｐ）との距離に応じて、例えば、仮想車両の表示色の濃さを変化させてもよい。例えば、遠い場合には仮想車両の表示色を濃くし、自車アイコンと仮想車両とが近づくのに連れて仮想車両の表示色を薄くする。また、表示態様変更部３８ｆ２は、仮想車両の透過度を変化させてもよい。また、表示態様変更部３８ｆ２は、自車アイコンと仮想車両とのうちいずれか一方を点滅表示することにより識別性を向上させるようにしてもよい。なお、複数の指標の識別ができるような表示態様であれば、他の表示態様を採用してもよい。

出力部４０は、画像生成部３８で生成された仮想視点画像を表示制御部１４ｄに逐次出力し、表示装置８に表示させる。

なお、図４に示すモジュール構成は一例であり、同様な処理ができれば、機能の分割や統合は適宜可能である。

図８〜図１０は、表示装置８に表示される仮想視点画像４６の一例を示すもので、車両１が目標駐車領域Ｐに向かい後退しながら移動する様子を示す模式図である。また、仮想視点位置４４は図６で示したように、仮想曲面Ｅ上を移動する例を示している。したがって、目標駐車領域Ｐに対して仮想視点位置４４は車両１を挟んで車両１のフロント側に設定されて、仮想視点位置４４は、仮想曲面Ｅ上を車両中心位置Ｓ（車両１）の直上に向かって移動することになる。

図８は、目標駐車領域Ｐに対して車両１がまだ遠い位置に存在する場合を示す仮想視点画像４６である。この場合、車両１を示す自車アイコン４８ａ（自車指標）は、目標駐車領域Ｐを示す駐車枠指標４８ｂから遠いため、駐車枠指標４８ｂの一部は、仮想視点画像４６の表示範囲外（撮像部１５の撮像画像データ外で、画面上黒塗りされた部分）に位置している。この場合、駐車枠指標４８ｂは、表示範囲外の部分を非表示とされてもよい。また、図８の場合、仮想視点画像４６上で車両１（自車アイコン４８ａ）から遠方で湾曲して表示される実際の駐車枠線に対して、目標駐車領域Ｐの位置をより明確にするための駐車枠指標４８ｂは形状の整った矩形で表示される例を示している。他の実施形態では、変換行列式を用いて駐車枠指標４８ｂを変形して、実際の表示枠線に近い状態で表示されるようにしてもよい。

図９は、目標駐車領域Ｐの一部に車両１が進入した状態を示す仮想視点画像４６である。この場合、車両１の前後方向の向きが、目標駐車領域Ｐの奥行き方向に近づいてきことにより、車両中心位置Ｓに近づいた仮想視点位置４４から見た実際の駐車枠線と矩形の駐車枠指標４８ｂとが概ね一致するように、仮想視点画像４６上で表示されるようになる。

図１０は、目標駐車領域Ｐに車両１が完全に進入して駐車支援が終了した状態を示す仮想視点画像４６である。この場合、図７で説明したように、注視点・視点処理部３８ａが注視点位置４２を車両１から遠ざかる方向にオフセットして設定することにより、車両１の進行方向（この場合、車両１の後方）が十分に仮想視点画像４６に表示され、車両１の後方のスペースの確認をより行い易くすることができる。また、駐車支援の完了またはその直前で仮想視点画像４６が１８０°回転するような（視線の向きが逆になるような）不都合を生じることが防止される。

図８〜図１０のいずれの図においても、仮想視点画像４６には、目標駐車領域Ｐの少なくとも一部と車両１の少なくとも一部との両方が表示され続けられる。その結果、駐車支援による走行中に注目させたい、目標駐車領域Ｐと車両１との相対位置関係を、常時認識させ易くなる。また、仮想視点位置４４が目標駐車領域Ｐに常に向けられるため不自然な歪みが少ない画像が提供できる。その結果、目標駐車領域Ｐが遠方に存在する場合には、目標駐車領域Ｐの周辺の確認がし易く、目標駐車領域Ｐが接近した場合には、車両の周囲の確認や距離感の把握がし易くなり、周辺監視の精度向上に寄与できるとともに、低ストレスの監視作業を行わせ易くなる。

なお、図８〜図１０では、図示を省略しているが、表示装置８に仮想視点画像４６が表示される場合、現在の状況を説明するメッセージや必要な操作を行うスイッチ類等のユーザインターフェースが重畳表示されてもよい。

以上にように構成される周辺監視装置による仮想視点画像４６の表示処理の流れの一例を図１１のフローチャートを用いて説明する。なお、駐車支援のための車両１の誘導は、完全自動走行で行ってもよいし、半自動走行で行ってよいし、手動走行で行ってもよい。

目標駐車領域設定部３０ａおよび画像取得部３４は、車両１の電源がＯＮされている場合、走行の有無に拘わらず、常時、各撮像部１５から撮像画像データ（周辺画像）を取得する（Ｓ１００）。また、目標駐車領域設定部３０ａは、目標駐車領域設定部３０ａで取得した撮像画像データおよび測距部１６，１７から取得した測距データに基づき、車両１の周辺における周辺物体情報（周辺物体の有無および周辺物体が存在する場合は周辺物体存までの距離等）を取得する（Ｓ１０２）。周辺監視部３２は、操作入力部１０等を介して周辺監視（駐車支援）の要求操作が行われたか否か監視し（Ｓ１０４）、要求操作が行われていない場合（Ｓ１０４のＮｏ）、一旦このフローを終了し、要求操作の入力を待つ。

Ｓ１０４において、周辺監視（駐車支援）の要求操作が行われた場合（Ｓ１０４のＹｅｓ）、目標取得部３６は、目標駐車領域設定部３０ａで設定された目標駐車領域Ｐを取得する（Ｓ１０６）。そして、目標取得部３６は、車両１（自車）の現在の位置を基準とする座標系における目標駐車領域Ｐの座標および車両１に対する目標駐車領域Ｐの回転角を取得する（Ｓ１０８）。回転角は、仮想車両や駐車枠指標等を重畳表示する場合に用いることができる。

続いて、注視点・視点処理部３８ａは、目標取得部３６が取得した目標駐車領域Ｐの注視点位置４２を目標駐車領域Ｐの領域中心位置Ｐｓに対して車両１から遠ざかる方向に所定量移動させた位置とするオフセット処理が実行済みか否かを確認する（Ｓ１１０）。オフセット処理がまだ実行されていない場合（Ｓ１１０のＮｏ）、注視点・視点処理部３８ａは、注視点位置４２を、領域中心位置Ｐｓに対して車両１から遠ざかる方向に所定量移動させた位置とする（Ｓ１１２）。また、オフセット処理が実行済みの場合（Ｓ１１０のＹｅｓ）、注視点・視点処理部３８ａは、Ｓ１１２の処理をスキップする。なお、オフセット処理は、仮想視点位置４４が車両１の直上付近に到達するまでに実行されればよく、図８や図９の表示段階では、注視点位置４２を領域中心位置Ｐｓに設定して処理実施してもよい。最初の段階で、注視点位置４２をオフセットしておくことにより、仮想視点画像４６の表示中に視線が急に変化する等を防止できる。

そして、注視点・視点処理部３８ａは、車両１の直上に設定される車両中心位置Ｓと目標駐車領域Ｐの注視点位置４２とを結ぶ仮想視線ラインＬを設定し（Ｓ１１４）、仮想視点位置４４を決定する（Ｓ１１６）。

注視点位置４２および仮想視点位置４４が設定されると、行列式演算部３８ｃは、視線行列式の算出（Ｓ１１８）、透視投影行列式の算出（Ｓ１２０）を実行し、視線行列式および透視投影行列式に基づき、仮想視点画像４６を表示するための座標変換式である変換行列式を算出する（Ｓ１２２）。

描画処理部３８ｄは、行列式演算部３８ｃが算出した変換行列式を用いて、３Ｄモデル上に仮想視点画像４６を描画する（Ｓ１２４）。続いて、指標選択部３８ｆ１は、車両１に対応する自車アイコン４８ａを選択し、変換行列式を用いて現在の仮想視点位置４４で車両１を見た場合の自車アイコン４８ａを示すように座標変換を実施し、自車アイコン４８ａを仮想視点画像４６上に重畳する（Ｓ１２６）。また、運転者等が、仮想車両や駐車枠指標４８ｂ等の指標の表示を操作入力部１０等を介して要求している場合（Ｓ１２８のＹｅｓ）、指標選択部３８ｆ１は、要求されている指標を選択するともに、指標を仮想視点画像４６上に重畳する（Ｓ１３０）。また、表示態様変更部３８ｆ２は、重畳表示する指標の表示態様を、例えば、目標駐車領域Ｐと車両１との相対距離等に応じて変更する。なお、指標の表示画要求されていない場合（Ｓ１２８のＮｏ）、Ｓ１３０の処理はスキップされる。

そして、出力部４０は、画像生成部３８で生成された、自車アイコン４８ａ（車両１）の少なくとも一部および目標駐車領域Ｐ（駐車枠指標４８ｂ）の少なくとも一部の両方が含まれる、仮想視点位置４４から見た場合の仮想視点画像４６（合成画像）を示すデータを表示制御部１４ｄに出力し（Ｓ１３２）、現在の車両１の位置における仮想視点画像４６を表示装置８に表示させる。そして、周辺監視部３２は、車両１が目標駐車領域Ｐに到達したと判定した場合（Ｓ１３４のＹｅｓ）、車両１は目標駐車領域Ｐに所定の姿勢で収まり、周辺監視が必要な駐車支援が終了したと判定し、このフローを一旦終了する。一方、車両１が目標駐車領域Ｐに到達していないと判定した場合（Ｓ１３４のＮｏ）、Ｓ１０８に移行し、前回の表示処理から移動した現在の車両１の位置を基準として、目標駐車領域Ｐの座標および回転角を取得し、Ｓ１０８移行の処理を繰り返して、表示装置８に表示する仮想視点画像４６（合成画像）を更新して、動画として表示する。

なお、図８〜図１０では、後退走行のみで車両１が目標駐車領域Ｐに到達する例を示した。別の実施形態では、誘導経路によっては、切返し等のために車両１が一時的に前進走行を行う場合がある。例えば、シフトセンサ２１からの検出信号に基づき、走行方向の変更が検出された場合、視野設定部３８ｂは、一時的に視野を広げて、切返しによる到達位置（再び走行方向が切り替えられる位置）が仮想視点画像４６の表示範囲に含まれるようにしてもよい。この場合、車両１の周囲状況をより適切に把握させることができるとともに、運転者の安心感を向上させることができる。前進走行で駐車支援が実行される場合も同様であり、同様の効果を得ることができる。

本実施形態のＣＰＵ１４ａで実行される周辺監視処理のためのプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。

さらに、周辺監視処理プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施形態で実行される周辺監視処理プログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。

本発明の実施形態及び変形例を説明したが、これらの実施形態及び変形例は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１…車両、８…表示装置、１４…ＥＣＵ、１４ａ…ＣＰＵ、１５，１５ａ，１５ｂ，１５ｃ，１５ｄ…撮像部、３０…駐車支援部、３０ａ…目標駐車領域設定部、３０ｂ…経路取得部、３０ｃ…誘導制御部、３２…周辺監視部、３４…画像取得部、３６…目標取得部、３８…画像生成部、３８ａ…注視点・視点処理部、３８ｂ…視野設定部、３８ｃ…行列式演算部、３８ｄ…描画処理部、３８ｅ…重畳処理部、３８ｆ…指標処理部、３８ｆ１…指標選択部、３８ｆ２…表示態様変更部、４０…出力部、４２，４２ａ，４２ｂ…注視点位置、４４，４４ａ，４４ｂ…仮想視点位置、４６…仮想視点画像、４８ａ…自車アイコン、４８ｂ…駐車枠指標、Ｅ…仮想曲面、Ｌ…仮想視線ライン、Ｌ１…第１仮想視線ライン、Ｌ２…第２仮想視線ライン、１００…周辺監視システム。

Claims (7)

1. 車両の周辺を撮像した撮像画像データを取得する画像取得部と、
   前記車両を誘導する目標駐車領域を取得する目標取得部と、
   前記車両を前記目標駐車領域に誘導する際に、前記車両の上空に設定される仮想視点の位置を連続的に前記車両の移動状況に応じて直上に向けて移動させながら、前記撮像画像データに基づく前記目標駐車領域の少なくとも一部と前記車両の少なくとも一部との両方が表示領域に含まれ続けるような仮想視点画像を生成する画像生成部と、
   前記仮想視点画像を表示装置に出力する出力部と、
   を含む、周辺監視装置。
2. 前記画像生成部は、前記車両の直上に設定される車両中心位置と前記目標駐車領域とを結ぶ第１仮想視線ラインの長さと、前記車両中心位置と前記仮想視点の位置とを結ぶ第２仮想視線ラインの長さとの比を一定に保ちながら前記車両の移動状況に応じて前記仮想視点の位置を移動させながら前記仮想視点画像を生成する、請求項１に記載の周辺監視装置。
3. 前記画像生成部は、前記車両を覆う仮想曲面と、前記目標駐車領域と前記車両の直上に設定される車両中心位置とを通る仮想視線ラインが前記車両を挟んで前記目標駐車領域と逆側で交差する位置に設定する前記仮想視点の位置を前記車両の移動状況に応じて移動させながら前記仮想視点画像を生成する、請求項１に記載の周辺監視装置。
4. 前記画像生成部は、前記仮想視点の位置から前記目標駐車領域を臨む場合の注視点の位置を、前記目標駐車領域の領域中心位置に対し前記車両から遠ざかる方向に所定量移動させた位置とする、請求項１から請求項３のいずれか１項に記載の周辺監視装置。
5. 前記画像生成部は、前記仮想視点の位置の移動状況に応じて、前記仮想視点画像の視野角を変更する、請求項１から請求項４のいずれか１項に記載の周辺監視装置。
6. 前記画像生成部は、前記仮想視点画像における前記目標駐車領域に対応する位置に、前記目標駐車領域を示す駐車枠画像と前記目標駐車領域に前記車両が移動した状況を示す仮想車両とのうち少なくとも一方を示す指標を重畳表示する、請求項１から請求項５のいずれか１項に記載の周辺監視装置。
7. 前記画像生成部は、前記仮想視点画像における前記車両と前記指標とを異なる表示態様で表示する、請求項６に記載の周辺監視装置。

Images