JP6729409B2 - 周辺監視装置 - Google Patents

Description

本発明の実施形態は、周辺監視装置に関する。

従来、車両に設置された撮像装置で車両の後方の周辺環境を撮像し、撮像された画像を車室内に設けられた表示画面を介して運転者に提供する技術がある。

また、従来、キャンピングカーなどの被牽引車を牽引することができる車両がある。

特開２００２−３５９８３９号公報 特許第３４８３１４３号公報 特開２００６−００１５３３号公報

車両に設けられた連結装置と被牽引車に設けられた連結装置とを車両を被牽引車に向かって後退させることによって連結する場合がある。そのような場合、運転者は、車両を運転しながら双方の連結装置の位置合わせを行う必要がある。

本発明の課題の一つは、車両に被牽引車を連結する際に連結装置間の位置合わせを行いやすくする周辺監視装置を提供することである。

本発明の実施形態の周辺監視装置は、一例として、被牽引車を連結するための第１の連結装置を有する車両の第１の後方画像を第１のタイミングに取得する取得部と、第１のタイミングよりも後の第２のタイミングにおいて、第１の連結装置の第２のタイミングの位置を示す第１の識別情報を第１の後方画像に重畳し、第１の識別情報が重畳された第１の後方画像を車両の室内に設けられた表示画面に表示する画像処理部と、を備えた。運転者は、表示画面を介して第１の連結装置のリアルタイムの位置を確認することが可能であるので、周辺監視装置は、連結装置間の位置合わせを行いやすくすることができる。

また、本発明の実施形態の周辺監視装置では、一例として、車両に撮像装置が設けられ、第１の連結装置は、撮像装置の死角領域に設けられ、取得部は、車両に設けられた撮像装置から第１の後方画像を取得する。周辺監視装置は、第１の連結装置が撮像装置の死角領域に設けられている場合であっても表示画面に第１の連結装置のリアルタイムの位置を示すことができるので、運転者は、表示画面を介して第１の連結装置のリアルタイムの位置を確認することが可能である。

また、本発明の実施形態の周辺監視装置では、一例として、画像処理部は、被牽引車に設けられた第１の連結装置と連結する第２の連結装置の先端から地面まで延伸する第２の識別情報を第１の後方画像にさらに重畳する。よって、運転者は、表示画面を視認することによって、第２の連結装置の先端の高さを直感的に認識することが可能となる。

また、本発明の実施形態の周辺監視装置では、一例として、取得部は、第３のタイミングに第２の後方画像を取得し、画像処理部は、取得された第２の後方画像を表示画面に第３のタイミングの後に即時的に表示し、第３のタイミングは、第１モードで動作中のタイミングであり、第２のタイミングは、第１モードと異なる第２モードで動作中のタイミングである。よって、周辺監視装置が第１のモードで動作しているとき、運転者は、撮像装置の撮像領域内の状態をリアルタイムの実写画像によって確認することが可能である。

また、本発明の実施形態の周辺監視装置では、一例として、取得部は、モード切り替えの操作入力、または車両の変速機構のレンジをリバースレンジから他のレンジに切り替える操作入力、またはテールゲートを閉状態から開状態にする操作入力、または車両に設けられた車両と被牽引車との距離を検出する測距装置からの検出情報、を取得し、周辺監視装置は、取得されたいずれかの操作入力または検出情報に基づいて第１モードから第２モードに遷移する。よって、周辺監視装置は、種々の事象をトリガとしてモード間の遷移を行うことができる。

図１は、実施形態の周辺監視装置を搭載する車両が示された側面図である。 図２は、実施形態の周辺監視装置を搭載する車両を左後方から見た斜視図である。 図３は、実施形態の周辺監視装置を搭載する車両を左後方から見た斜視図である。 図４は、実施形態の周辺監視装置を搭載する車両の車室内の一例を示す図である。 図５は、トレーラの連結方法の一例を説明するための図である。 図６は、トレーラの連結方法の一例を説明するための図である。 図７は、トレーラの連結方法の一例を説明するための図である。 図８は、実施形態の制御システムの構成の一例を示すブロック図である。 図９は、実施形態の表示画面の表示内容の推移を示す図である。 図１０は、実施形態のＥＣＵの機能的構成を示すブロック図である。 図１１は、車両モデルおよび仮想視点の実施形態の配置の一例を示す図である。 図１２は、実施形態の周辺監視装置としてのＥＣＵの動作を説明するためのフローチャートである。 図１３は、実施形態の表示画面の別の表示例を示す図である。 図１４は、実施形態の表示画面のさらに別の表示例を示す図である。

以下、本実施形態の周辺監視装置を車両１に搭載した例をあげて説明する。

＜実施形態＞
実施形態の車両１は、例えば、不図示の内燃機関を駆動源とする自動車、すなわち内燃機関自動車であってもよいし、不図示の電動機を駆動源とする自動車、すなわち電気自動車または燃料電池自動車等であってもよいし、それらの双方を駆動源とするハイブリッド自動車であってもよいし、他の駆動源を備えた自動車であってもよい。また、車両１は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置、例えばシステムや部品等を搭載することができる。また、車両１における車輪３の駆動に関わる装置の方式、数、およびレイアウト等は、種々に設定することができる。

図１は、実施形態の周辺監視装置を搭載する車両１が示された側面図である。図１では、紙面左方向を車両１を基準とする前方、紙面右方向を車両１を基準とする後方としている。図２および図３は、実施形態の周辺監視装置を搭載する車両１を左後方から見た斜視図である。図２および図３では、紙面左上方向が車両１を基準とする前方であり、紙面左下方向が車両１を基準とする左方であり、紙面右下方向が車両１を基準とする後方であり、紙面右上方向が車両１を基準とする右方である。図４は、実施形態の周辺監視装置を搭載する車両１の車室内の一例を示す図であり、車両１の後方から車室内を見た図である。

実施形態の周辺監視装置を搭載する車両１は、左右二つの前輪３Ｆと、左右二つの後輪３Ｒとを有する。そして、車両１の後ろ側には、開放式の荷台２が設けられている。このようなタイプの車両１は、ピックアップトラックと呼ばれる。荷台２のバックパネル（テールゲート）２ａは、荷台２の底部２ｂの後端に開閉自在に取り付けられている。図１および図２は、バックパネル２ａが閉状態であるときの車両１を示しており、図３は、バックパネル２ａが開状態であるときの車両１を示している。

バックパネル２ａの中央には、カメラ４が設けられている。カメラ４は、ＣＣＤ（ｃｈａｒｇｅ ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ）、またはＣＩＳ（ＣＭＯＳ ｉｍａｇｅ ｓｅｎｓｏｒ）、等の撮像素子を内蔵する撮像装置である。カメラ４は、撮像素子によって撮像された画像を所定のフレームレートで後述のＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）１２に出力する。

車両１の周辺環境のうちの後方の領域を撮像可能なように、カメラ４の向き、カメラ４の画角、およびカメラ４の設置位置が決められている。これにより、カメラ４は、車両１の後方の領域が写っている画像である後方画像を撮像することができる。なお、カメラ４の設置位置はバックパネル２ａの中央に限定されない。また、カメラ４の数は、１に限定されない。ＥＣＵ１２が、複数のカメラ４からの画像を合成することによって後方画像を生成してもよい。

車両１のリアバンパーには、ソナーセンサ５が設けられている。ソナーセンサ５は、車両１の後方の物体までの距離を測定する測距装置である。測距装置としては、ソナーセンサ５の代わりに、レーザレンジスキャナ、ステレオカメラ、など、他の種類の装置が採用可能である。ソナーセンサ５は検出した距離を検出情報として出力する。なお、ソナーセンサ５の設置位置は、上記に限定されない。また、ソナーセンサ５の設置数は、１に限定されない。

また、図４に例示されるように、車両１の室内には、表示画面８を有するモニタ装置１０が設けられている。表示画面８は、例えば、ＬＣＤ（liquid crystal display）またはＯＥＬＤ（organic electroluminescent display）等によって構成される。また、表示画面８は透明な操作入力部９で覆われている。操作入力部９は、例えばタッチパネルである。運転者は、操作入力部９を介して表示画面８に表示される画像を視認することができる。また、運転者は、表示画面８に表示される画像に対応した位置で手指等で操作入力部９を触れたり押したり動かしたりして操作することで、操作入力を実行することができる。モニタ装置１０は、例えば、ダッシュボードの車幅方向すなわち左右方向の中央部に設けられている。モニタ装置１０は、タッチパネル以外の操作入力部を備え得る。例えば、モニタ装置１０は、他の操作入力部として、スイッチ、ダイヤル、ジョイスティック、または押しボタンが設けられていてもよい。モニタ装置１０は、例えば、ナビゲーションシステムやオーディオシステムと兼用され得る。

また、車室内において、センターコンソールには、変速機構を操作するためのシフトレバー１１が設けられている。例えば車両１に搭載される変速機構がオートマチックトランスミッションである場合、運転者は、シフトレバー１１を操作することによって、パーキングレンジ、リバースレンジ、ニュートラルレンジ、およびドライブレンジを含む複数のレンジから、所望のレンジを選択することができる。例えば、運転者は、シフトレバー１１をリバースレンジに入れると、不図示のアクセルペダルの操作により、車両１を後退させることが可能になる。

また、図３に例示されるように、荷台２の底部２ｂには、ヒッチボール６が取り付けられている。ヒッチボール６は、被牽引車を連結するための車両１側の連結装置である。以降、被牽引車をトレーラと表記する。

図５〜図７は、トレーラ１０００の連結方法の一例を説明するための図である。図５〜図７の例では、連結対象のトレーラ１０００は、グースネックタイプのキャンピングカーである。トレーラ１０００のグースネック部には、トレーラ１０００側の連結装置であるカプラ１００１が取り付けられている。カプラ１００１は、グースネック部から地面方向に延伸する柱状の形状を有している。そして、カプラ１００１の先端は、ヒッチボール６と嵌合可能な形状を有している。カプラ１００１は、地面方向に伸縮自在にグースネック部に取り付けられている。

連結作業にあたっては、運転者はまず、車両１の真後ろにトレーラ１０００の正面が位置するように、車両１を移動する。車両１とトレーラ１０００との位置関係は、図５に例示される状態になる。この状態から、運転者は、車両１をトレーラ１０００に向かって後退させる。

図５の例では、カプラ１００１の先端は、ヒッチボール６よりも高い位置にあるが、閉状態のバックパネル２ａの最上部よりも低い位置にある。したがって、所定の位置まで車両１を後退させると、バックパネル２ａがカプラ１００１に衝突する。そこで、運転者は、車両１とトレーラ１０００がある距離まで近づいたときに、図６に例示されるように、バックパネル２ａを閉状態から開状態にする。

バックパネル２ａを開状態にした後、運転者は、再び車両１をトレーラ１０００の方に後退させる。荷台２がカプラ１００１の真下に入った後は、バックパネル２ａを閉状態にすることが可能である。運転者は、引き続き車両１を後退させ、ヒッチボール６とカプラ１００１との位置合わせを行う。位置合わせは、この場合、運転者は、カプラ１００１の先端の真下にヒッチボール６が位置する場所に、車両１を停止させることである。図７は、位置合わせの完了後の状態を示している。位置合わせが完了後、運転者は、カプラ１００１を下方に延伸することによってカプラ１００１の先端をヒッチボール６に嵌合させ、その後、双方を連結する。

なお、ヒッチボール６は、トレーラ１０００を連結するための連結装置の一例である。ヒッチボール６のほかには、例えば、第５輪と呼ばれるタイプの連結装置が採用され得る。車両１側の連結装置として第５輪が採用される場合、トレーラ１０００側の連結装置としてキングピンが採用される。

車両１には、車両１を制御する制御システムが設けられている。図８は、実施形態の制御システムの構成の一例を示すブロック図である。制御システムは、カメラ４、ソナーセンサ５、およびモニタ装置１０のほかに、ＥＣＵ１２、シフトセンサ１３、車輪速センサ１４、および車内ネットワーク１５を備える。車内ネットワーク１５は、例えば、ＣＡＮ（controller area network）として構成されている。ＥＣＵ１２、ソナーセンサ５、シフトセンサ１３、および車輪速センサ１４は、車内ネットワーク１５に接続されている。カメラ４は、ＥＣＵ１２に接続されている。モニタ装置１０は、ＥＣＵ１２と車内ネットワーク１５とに接続されている。制御システムは、これらの他にも、アクセルセンサ、ブレーキシステム、または操舵システムなどを備え得る。

シフトセンサ１３は、運転者が操作するシフトレバー１１の位置を検出することによって、運転者によって選択されたレンジを検出する。

車輪速センサ１４は、車輪３の単位時間当たりの回転数を検出するセンサであり、単位時間当たりの回転数を示す車輪速パルス数を検出情報として出力する。車輪速センサ１４は、例えば４つの車輪３のそれぞれに設けられている。

ソナーセンサ５、シフトセンサ１３、および車輪速センサ１４による検出情報は、車内ネットワーク１５を介してＥＣＵ１２に送られる。ＥＣＵ１２は、各検出情報に応じて、エンジンユニット、操舵システム、またはブレーキシステム、等の制御を実行する。

また、ＥＣＵ１２は、カメラ４が出力する画像を受け取ることができる。また、ＥＣＵ１２は、操作入力部９に入力された入力情報を、車内ネットワーク１５を介して受け取ることができる。

ＥＣＵ１２は、ＣＰＵ（Central Processing Unit）１２ａと、ＳＳＤ（Solid State Drive）１２ｂと、ＲＯＭ（Read Only Memory）１２ｃと、ＲＡＭ（Random Access Memory）１２ｄと、を備える。ＣＰＵ１２ａ、ＲＯＭ１２ｃ、およびＲＡＭ１２ｄは、同一パッケージ内に集積されていてもよい。ＣＰＵ１２ａは、任意のプログラムを実行することができるプロセッサであり、ＳＳＤ１２ｂ、ＲＯＭ１２ｃ、およびＲＡＭ１２ｄは、任意のプログラムおよび任意のデータを保持することができるメモリである。即ち、ＥＣＵ１２は、コンピュータと同等のハードウェア構成を備えている。

ＥＣＵ１２は、実施形態の周辺監視装置の一例である。ＲＯＭ１２ｃは、プログラム１００と、車両モデル１０１とを予め記憶する。ＣＰＵ１２ａは、ＲＯＭ１２ｃに予め記憶されたプログラム１００を読み出し、当該プログラム１００を実行することによって周辺監視装置としての機能を実現する。ＲＡＭ１２ｄは、ＣＰＵ１２ａでの演算で用いられる各種のデータを一時的に記憶する。ＳＳＤ１２ｂは、書き換え可能な不揮発性の記憶部であって、ＥＣＵ１２の電源がオフされた場合にあっても、ＣＰＵ１２ａによって格納されたデータを維持することができる。プログラム１００または車両モデル１０１は、ＳＳＤ１２ｂに予め記憶されてもよい。

周辺監視装置としてのＥＣＵ１２は、カメラ４によって撮像された後方画像を利用して、周辺環境を示す画像を表示画面８に表示する。

例えば、ＥＣＵ１２は、カメラ４から所定のフレームレートで出力されるそれぞれの後方画像を、取得した後に即時的に表示画面８に表示する。この表示方法を、ライブモードと表記する。図５に示される状態においては、バックパネル２ａに設けられたカメラ４の撮像領域にトレーラ１０００が入っている。このような場合、ＥＣＵ１２がライブモードで動作することにより、運転者は、車両１とトレーラ１０００とのリアルタイムの位置関係を、表示画面８を介して把握することができる。なお、即時的に、とは、運転者がタイムラグを感じない程度に速やかに、という意味である。したがって、ライブモードにおいては、十分に高速な処理であれば、後方画像が取得されてから表示画面８に表示されるまでの間に当該後方画像に対して任意の画像処理が実行され得る。

ここで、カプラ１００１とヒッチボール６とが近くなってくると、運転者は、位置合わせのために、カプラ１００１とヒッチボール６との位置関係を確認する必要がある。しかしながら、カメラ４の撮像領域は少なくともバックパネル２ａよりも後ろ側であるため、ヒッチボール６は、カメラ４の死角領域に位置する。よって、ＥＣＵ１２は、ライブモードではヒッチボール６を表示することができない。また、図７に示される状態においては、カプラ１００１もカメラ４の死角領域に入るので、ＥＣＵ１２は、ライブモードではカプラ１００１を表示することができない。よって、ライブモードでは、運転者は、表示画面８に表示されている内容に基づいて位置合わせを行うことが困難である。

また、図６に示されるようにバックパネル２ａが開状態である場合には、カメラ４が地面方向を向くため、トレーラ１０００がカメラ４の撮像領域から外れてしまう。このような場合、ＥＣＵ１２は、ライブモードでは、トレーラ１０００を表示することができない。

そこで、ＥＣＵ１２は、ライブモードのほかに過去画モードで動作することができるように構成されている。過去画モードは、カメラ４によって過去に撮像された後方画像を表示するモードである。また、過去画モードでは、運転者が周辺環境における車両１のリアルタイムの位置を確認できるように、ＥＣＵ１２は、過去に撮像された後方画像に車両１の位置を示す識別情報を重畳し、当該識別情報が重畳された後方画像を表示する。

図９は、実施形態の表示画面８の表示内容の推移を示す図である。画像８０ａは、図５に示される状態において表示される表示内容であり、画像８０ｂは、図６に示される状態において表示される表示内容であり、画像８０ｃは、図７に示される状態において表示される表示内容である。画像８０ａは、ライブモードでの表示例であり、画像８０ｂおよび画像８０ｃは過去画モードでの表示例である。

画像８０ａには、トレーラ画像３０１が含まれている。トレーラ画像３０１は、カプラ１００１の画像であるカプラ画像３０２を含んでいる。トレーラ画像３０１は、後方画像に含まれているものであり、実写画像である。即ち、トレーラ画像３０１は、カメラ４の撮像領域に入っている部分のみを示している。運転者は、表示画面８に表示されている画像８０ａを視認することによって、トレーラ１０００と車両１との位置関係を判断することができる。なお、車両１の一部（例えばリアバンパーなど）がカメラ４の撮像領域に入っていてもよく、その場合はリアバンパーの画像が画像８０ａに含まれる。

なお、画像８０ａに、車両１の後端部からの距離を示すガイド線が重畳されて表示されてもよい。例えば、車両１の後端部から０．５ｍ、１ｍ、および１．５ｍの位置をそれぞれ示す３本のガイド線が画像８０ａに重畳されて表示されてもよい。

画像８０ｂには、カプラ画像３０２を含むトレーラ画像３０１が写っている。カプラ画像３０２を含むトレーラ画像３０１は、実写画像である。画像８０ｂの元となっている過去に撮像された後方画像（以降、ベース画像という）は、バックパネル２ａが閉状態であるときに撮像された後方画像であり、例えば、バックパネル２ａが開状態にされる直前に撮像された後方画像である。

画像８０ｂには、車両モデル画像２０１の一部である荷台モデル画像２０２がさらに表示されている。車両モデル画像２０１は、車両１の位置を示す識別情報の一例である。

車両モデル画像２０１は、荷台２（より詳しくは荷台２の底部２ｂ）の輪郭を模擬した形状を有する荷台モデル画像２０２と、後輪３Ｒの輪郭を模擬した形状を有する後輪モデル画像２０３と、ヒッチボールモデル画像２０４と、を含む。ヒッチボールモデル画像２０４は、ヒッチボール６のリアルタイムの位置を示すための識別情報であり、ここではその識別情報の一例として、ヒッチボール６の設置位置の輪郭を模擬した形状を有する。

ＥＣＵ１２は、車両１が移動すると、ベース画像の撮像領域内における移動後の車両１の位置と、ベース画像における車両モデル画像２０１の表示位置と、が対応するように、車両モデル画像２０１の表示位置を、逐次変更する。

例えば画像８０ｂにおいては、荷台モデル画像２０２のうちの一部のみが枠の下端に表示されている。これは、画像８０ｂの表示タイミングにおいて、車両１の荷台２の底部２ｂのうちの後端の一部のみがベース画像の撮像領域に進入する程度に車両１とトレーラ１０００とが離れていることを示している。

なお、車両モデル画像２０１の表示様態は、特定の様態に限定されない。車両モデル画像２０１は、半透明化された様態で表示されてもよいし、輪郭を示す線のみが表示されてもよい。

画像８０ｃには、カプラ画像３０２を含むトレーラ画像３０１が写っている。画像８０ｂのベース画像と画像８０ｃのベース画像とは共通しており、カプラ画像３０２を含むトレーラ画像３０１は、画像８０ｂと同じ様態で画像８０ｃに表示されている。また、画像８０ｃには、車両モデル画像２０１が重畳されている。

画像８０ｃの場合、荷台モデル画像２０２の全体が表示されている。これは、画像８０ｃの表示タイミングにおいては、ベース画像の撮像領域に車両１の荷台２の底部２ｂの全部が進入する程度まで車両１がトレーラ１０００に近づいていることを示す。

また、画像８０ｃには、車両モデル画像２０１に含まれるヒッチボールモデル画像２０４が表示されている。ヒッチボールモデル画像２０４は、ベース画像の撮像領域内におけるヒッチボール６のリアルタイムの位置を示している。ＥＣＵ１２は、過去に撮像された画像上にヒッチボール６のリアルタイムの位置を示すヒッチボールモデル画像２０４を重畳して表示画面８に表示するため、運転者は、カメラ４の死角領域に設けられているヒッチボール６のリアルタイムの位置を表示画面８を介して確認することができる。

図１０は、実施形態の周辺監視装置としてのＥＣＵ１２の機能的構成を示すブロック図である。ＣＰＵ１２ａは、ＲＯＭ１２ｃ内に予め格納されたプログラム１００を実行することで、取得部１２０および画像処理部１２１として機能する。画像処理部１２１は、加工部１２３と、出力部１２４と、を備える。また、ＥＣＵ１２は、車両モデル１０１およびベース画像１１０を記憶する記憶部１２２を備える。記憶部１２２は、例えば、ＳＳＤ１２ｂ、ＲＯＭ１２ｃ、ＲＡＭ１２ｄ、またはそれらの組み合わせによって実現される。

車両モデル１０１は、車両１の形状を示す３次元情報であり、車両モデル画像２０１を生成するための情報である。車両モデル１０１は、予め作成される。車両モデル１０１の詳細は後述する。

ベース画像１１０は、過去画モードにおいて使用される後方画像である。

取得部１２０は、カメラ４から出力される後方画像および車輪速センサ１４から出力される検出情報を取得する。

画像処理部１２１は、取得部１２０によって取得された各情報に基づいて、表示画面８の表示を制御する。

具体的には、ライブモードが設定されている場合には、出力部１２４は、カメラ４から取得した後方画像を、その後方画像を取得したタイミングの後に即時的に表示画面８に出力する。

過去画モードが設定されている場合には、画像処理部１２１は、過去のタイミングに取得された後方画像をベース画像１１０に設定し、加工部１２３は、ベース画像１１０に現在のタイミングにおける車両１の位置を示す車両モデル画像２０１を重畳する。出力部１２４は、ベース画像１１０に車両モデル画像２０１が重畳されて生成された画像を表示画面８に出力する。画像処理部１２１は、ここでは一例として、ライブモードから過去画モードに遷移したタイミングで、そのときに取得した後方画像をベース画像１１０として記憶部１２２に保存する。

車両モデル画像２０１の生成方法は、特定の方法に限定されない。車両モデル画像２０１の生成方法の一例を以下に説明する。

加工部１２３は、３次元の仮想空間を設定し、ベース画像１１０が取得された際に、車両モデル１０１と仮想視点４０２とを仮想空間４００に配置する。

図１１は、車両モデル１０１および仮想視点４０２の実施形態の配置の一例を示す図である。

仮想空間４００において、地面に対応する平面４０１に車両モデル１０１が配置されている。車両モデル１０１は、荷台２の底部２ｂの輪郭を模した形状を有する荷台モデル１０２と、後輪３Ｒの輪郭を模した形状を有する後輪モデル１０３と、ヒッチボール６の設置位置の輪郭を模した形状を有するヒッチボールモデル１０４と、を備える。荷台モデル１０２、後輪モデル１０３、およびヒッチボールモデル１０４の位置関係は、実際の車両１における荷台２の底部２ｂ、後輪３Ｒ、およびヒッチボール６の設置位置の位置関係と対応する。

また、車両モデル１０１を基準とした仮想視点４０２の位置は、車両１を基準としたカメラ４の位置と対応する。また、車両モデル１０１を基準とした仮想視点４０２の向きは、車両モデル１０１を基準としたカメラ４の向きと等しい。また、仮想視点４０２の画角は、カメラ４の画角と等しい。よって、仮想視点４０２からの視界は、カメラ４からの視界と対応する。

加工部１２３は、車両１の移動後、ベース画像１１０が撮像されたタイミングを基準とした車両１の移動量を演算する。加工部１２３は、車輪３毎の車輪速パルス数を積分することによって車両１の移動量を演算する。移動量は、向き情報を含むベクトル量である。加工部１２３は、仮想視点４０２の位置を仮想空間４００内に固定したまま、車両モデル１０１を演算された移動量に対応する量だけ初期位置から移動させる。そして、加工部１２３は、仮想視点４０２を用いた視点変換によって、車両モデル画像２０１を生成する。

視点変換とは、仮想視点４０２を視点とする透視投影によって、仮想視点４０２からの視界を示す画像を得ることである。仮想視点４０２からの視界を示す画像は、枠を有している。仮想視点４０２からの視界は、ベース画１１０像の撮像時のカメラ４の視界に対応するので、仮想視点４０２からの視界を示す画像の枠は、ベース画像１１０の枠に対応する。仮想視点４０２からの視界内に車両モデル１０１が存在する場合には、枠内に車両モデル画像２０１が含まれる。

加工部１２３は、車両モデル画像２０１をベース画像１１０に重畳する際には、車両モデル１０１が投影された２次元平面の枠とベース画像１１０の枠とを位置合わせする。これにより、車両モデル画像２０１は、ベース画像１１０における、車両１のリアルタイムの位置を示す位置に重畳される。同様に、ヒッチボールモデル画像２０４は、ベース画像１１０における、ヒッチボール６のリアルタイムの位置を示す位置に重畳される。

なお、移動量の演算方法は、車輪速パルス数を用いた方法だけに限定されない。移動量の演算方法の別の例として、カメラ４が出力する画像に基づいて移動量を演算する方法が採用可能である。具体的には、撮像されたタイミングが異なる２枚の画像を用いてオプティカルフローを演算し、演算されたオプティカルフローに基づいて画像を撮像したタイミング間の車両１の移動量を演算することが可能である。このような方法によって、加工部１２３は、逐次取得した後方画像から車両１の移動量を演算してもよい。

次に、以上のように構成された実施形態の周辺監視装置の動作について説明する。図１２は、実施形態の周辺監視装置としてのＥＣＵ１２の動作を説明するためのフローチャートである。

画像処理部１２１は、表示開始のタイミングに至ったか否かを判断する（Ｓ１０１）。

表示開始のタイミングの判断方法は、特定の方法に限定されない。一例では、運転者によってシフトレバー１１がリバースレンジに入れられたとき、シフトセンサ１３がリバースレンジが選択された旨を検知し、ＥＣＵ１２に通知する。取得部１２０が当該通知を受けると、画像処理部１２１は、表示開始のタイミングに至ったと判断する。

別の例では、画像処理部１２１は、表示画面８に表示開始の入力を促すボタンを表示する。そして、運転者が当該ボタンをタッチすると、操作入力部９が、その旨を検知してＥＣＵ１２に通知する。取得部１２０は、当該通知を、表示開始の操作入力として受信する。画像処理部１２１は、取得部１２０が表示開始の操作入力を受信すると、表示開始のタイミングに至ったと判断する。

画像処理部１２１は、表示開始のタイミングに至っていないと判断した場合（Ｓ１０１、Ｎｏ）、Ｓ１０１の処理を再び実行する。

画像処理部１２１によって表示開始のタイミングに至ったと判断された場合（Ｓ１０１、Ｙｅｓ）、取得部１２０は、カメラ４から出力された後方画像を取得する（Ｓ１０２）。すると、出力部１２４は、Ｓ１０２によって取得された後方画像を即時的に表示画面８に出力する（Ｓ１０３）。

続いて、画像処理部１２１は、モード切り替えのタイミングに至ったか否かを判断する（Ｓ１０４）。画像処理部１２１は、モード切り替えのタイミングに至っていないと判断した場合（Ｓ１０４、Ｎｏ）、Ｓ１０２〜Ｓ１０３の処理を再び実行し、その後、Ｓ１０４の処理を再び実行する。

Ｓ１０２およびＳ１０３の処理は、ライブモードでの動作に該当する。Ｓ１０２からＳ１０４、Ｎｏまでのループ処理は、制御がこのループ処理を抜けるまで、短い周期で繰り返し実行される。制御がこのループ処理を抜けるまで、ライブモードでの動作が継続される。

モード切り替えのタイミングの判断方法は、特定の方法に限定されない。一例では、取得部１２０は、運転者によるモード切り替えの操作入力を取得し、画像処理部１２１は、モード切り替えの操作入力に基づいてモード切り替えのタイミングを判断する。具体的には、例えば、画像処理部１２１は、表示画面８に、モードの切り替えの入力を促すボタンを表示する。運転者によって当該ボタンがタッチされると、操作入力部９は、当該ボタンがタッチされた旨を検知し、ＥＣＵ１２に通知する。取得部１２０は、当該通知を、モード切り替えの操作入力として受信する。画像処理部１２１は、取得部１２０がモード切り替えの操作入力を受信すると、モード切り替えのタイミングに至ったと判断する。

別の例では、取得部１２０が運転者による変速機構のレンジを切り替える操作入力を取得し、画像処理部１２１は、変速機構のレンジをリバースレンジから他のレンジに切り替える操作入力に基づいてモード切り替えのタイミングを判断する。運転者は、例えば、図５に示される状態から車両１の後退を開始し、その後、車両１を停止させて車両１を降りて、バックパネル２ａを手動で閉状態から開状態にする。運転者が、車両１を停止させるためにシフトレバー１１をリバースレンジからパーキングレンジに入れたとき、シフトセンサ１３がパーキングレンジが選択された旨を検知し、ＥＣＵ１２に通知する。取得部１２０は、その通知を、変速機構のレンジをリバースレンジから他のレンジに切り替える操作入力として受信する。画像処理部１２１は、取得部１２０が変速機構のレンジをリバースレンジから他のレンジに切り替える操作入力を受信すると、モード切り替えのタイミングに至ったと判断する。なお、切り替え後のレンジは必ずしもパーキングレンジでなくてもよい。

さらに別の例では、取得部１２０は、バックパネル２ａを開状態にする操作入力を取得し、画像処理部１２１は、バックパネル２ａを開状態にする操作入力に基づいてモード切り替えのタイミングを判断する。具体的には、例えば、バックパネル２ａのヒンジにセンサが設けられる。当該センサは、バックパネル２ａが閉状態から開状態になったとき、その旨を検知し、ＥＣＵ１２に通知する。取得部１２０は、その通知を、バックパネル２ａを開状態にする操作入力として受信する。画像処理部１２１は、取得部１２０がバックパネル２ａを開状態にする操作入力を受信すると、モード切り替えのタイミングに至ったと判断する。

バックパネル２ａを開状態にする操作入力の検知方法は、バックパネル２ａのヒンジに設けられたセンサによって検知する方法だけに限定されない。例えば、車両１の室内または室外に設けられた操作部の操作によって、バックパネル２ａが開閉可能に構成される場合がある。その場合、取得部１２０は、バックパネル２ａを開状態にする操作入力を、当該操作部を介して取得することができる。

さらに別の例では、取得部１２０は、ソナーセンサ５から検出情報を取得し、画像処理部１２１は、ソナーセンサ５からの検出情報に基づいてモード切り替えのタイミングを判断する。具体的には、例えば、画像処理部１２１は、ソナーセンサ５からの検出情報を逐次取得する。それぞれの検出情報は、車両１からトレーラ１０００までのリアルタイムの距離を示す。画像処理部１２１は、車両１からトレーラ１０００までのリアルタイムの距離を、しきい値と比較し、当該距離がしきい値を下回った場合に、モード切り替えのタイミングに至ったと判断する。カプラ１００１がバックパネル２ａに衝突せずかつカプラ１００１がバックパネル２ａの開閉動作に干渉しない最短の距離よりも大きい値が、判断のためのしきい値として使用される。しきい値は、例えば予め設定される。

画像処理部１２１は、モード切り替えのタイミングに至ったと判断した場合（Ｓ１０４、Ｙｅｓ）、ＥＣＵ１２は、過去画モードでの動作を開始する。

具体的には、まず、取得部１２０は、カメラ４が撮像した後方画像を取得する（Ｓ１０５）。すると、画像処理部１２１は、Ｓ１０５によって取得された後方画像をベース画像１１０として記憶部１２２に保存する（Ｓ１０６）。

続いて、加工部１２３は、車両モデル１０１および仮想視点４０２を仮想空間４００に配置する（Ｓ１０７）。例えば図１１を用いて説明したように、Ｓ１０７では、加工部１２３は、車両モデル１０１を仮想空間４００に配置し、加工部１２３は、カメラ４の設置位置に対応する位置に、仮想視点４０２を配置する。

続いて、加工部１２３は、仮想視点４０２からの透視投影によって、車両モデル画像２０１を生成する（Ｓ１０８）。

出力部１２４は、記憶部１２２からベース画像１１０を読み出して、読み出したベース画像１１０に車両モデル画像２０１を重畳し、車両モデル画像２０１が重畳されたベース画像１１０を表示画面８に表示する（Ｓ１０９）。

続いて、画像処理部１２１は、表示終了のタイミングに至ったか否かを判断する（Ｓ１１０）。

表示終了のタイミングの判断方法は、特定の方法に限定されない。画像処理部１２１は、表示開始のタイミングと同様に、操作入力部９に入力された操作入力に基づいて表示終了のタイミングを判断してもよいし、変速機構のレンジを切り替える操作入力に基づいて表示終了のタイミングを判断してもよい。

表示終了のタイミングに至っていないと画像処理部１２１によって判断された場合（Ｓ１１０、Ｎｏ）、取得部１２０は、車輪速パルス数を取得する（Ｓ１１１）。そして、加工部１２３は、車輪速パルス数に基づいて、車両１の移動量を演算する（Ｓ１１２）。移動量は、車輪速パルス数の積分によって得られる。

なお、Ｓ１０８からＳ１１０、Ｎｏを経てＳ１１３に至るまでの処理は、ループ処理を構成する。即ち、Ｓ１１２の処理は、制御がこのループ処理を抜けるまで、繰り返し実行される。２回目以降のループ処理の場合、加工部１２３は、Ｓ１１２において、前回にＳ１１２を実行したタイミングからの車両１の移動量を演算する。１回目のループ処理の場合、加工部１２３は、Ｓ１１２において、ベース画像が取得されてからの車両１の移動量を演算する。

Ｓ１１２の処理の後、加工部１２３は、仮想空間４００上の車両モデル１０１の位置を移動量に応じて変更する（Ｓ１１３）。例えば、車両１がある移動量だけ後退した場合、加工部１２３は、仮想空間４００内において、対応する量だけ車両モデル１０１を後退させる。

そして、制御がＳ１０８に移行し、加工部１２３は、Ｓ１０８において、車両モデル画像２０１を再び作成する。

Ｓ１１０において、表示終了のタイミングに至ったと画像処理部１２１によって判断された場合（Ｓ１１０、Ｙｅｓ）、動作が終了する。

Ｓ１０８からＳ１１０、Ｎｏを経てＳ１１３に至るまでループ処理は、短い周期で繰り返し実行される。その結果として、画像処理部１２１は、同じベース画像１１０を表示し、ヒッチボールモデル画像２０４を、ヒッチボール６のリアルタイムの位置の移動に対応するように、そのベース画像１１０上で移動させることができる。即ち、ベース画像１１０上のヒッチボールモデル画像２０４の位置は、常にヒッチボール６のリアルタイムの位置を示す。

以上述べたように、実施形態では、周辺監視装置は、過去（第１のタイミング）に取得した後方画像に、ヒッチボール６の第１のタイミングの後のリアルタイム（第２のタイミング）の位置を示す識別情報であるヒッチボールモデル画像２０４を重畳し、ヒッチボールモデル画像２０４が重畳された後方画像を表示画面８に表示する。

これにより、ヒッチボール６がカメラ４の死角領域に位置する場合であっても、表示画面８にヒッチボール６のリアルタイムの位置を示す識別情報が表示され、その結果、運転者は、表示画面８を介してヒッチボール６の位置を確認することが可能となる。よって、実施形態の周辺監視装置は、連結装置間の位置合わせを行いやすくすることができる。

なお、以上では、ヒッチボール６が荷台２の底部２ｂに設けられており、ヒッチボール６はカメラ４の死角領域に位置する、として説明した。ヒッチボール６が設けられる位置は荷台２の底部２ｂでなくてもよい。また、ヒッチボール６は、カメラ４の撮像領域内に設置されている場合であっても、実施形態の技術は適用可能である。

例えば、ヒッチボール６がリアバンパー近傍に設けられ、Ｖノーズタイプのトレーラがそのヒッチボール６を介して連結される。そのような場合、バックパネル２ａに設けられたカメラ４の撮像領域にヒッチボール６が入り得る。しかしながら、位置合わせを行う際、車両１とトレーラとの距離が近づくにつれてカメラ４の撮像領域の光量が減少することで、ヒッチボール６を含む各種対象物の写りが不明瞭となる場合がある。周辺監視装置は、撮像領域の光量が十分に確保されていた過去のタイミングに撮像された後方画像をベース画像１１０として用い、ヒッチボールモデル画像２０４をベース画像１１０に重畳して表示することによって、ヒッチボール６のリアルタイムの位置をわかりやすく表示することが可能になる。

なお、周辺監視装置は、カプラ１００１の先端から地面まで延伸する識別情報をベース画像１１０にさらに重畳してもよい。

図１３は、実施形態の表示画面８の別の表示例を示す図である。画像８０ｄは、過去画モードでの表示例を示している。画像８０ｄには、画像８０ｂと同様に、カプラ画像３０２を含むトレーラ画像３０１が写っている。カプラ画像３０２を含むトレーラ画像３０１は、ベース画像に含まれているものであり、実写画像である。画像８０ｄには、カプラ画像３０２の先端を示す位置からカプラ１００１の先端の直下の地面を示す位置まで延伸する円柱を模したオブジェクト画像２０５が重畳されている。運転者は、表示画面８を介してオブジェクト画像２０５を視認することにより、カプラ１００１の先端の高さ情報を直感的に認識することが可能となる。

オブジェクト画像２０５の表示方法は特定の方法に限定されない。一例では、後方の周辺環境の３次元データを測定可能な測定装置が車両１に設けられ、取得部１２０は、当該測定装置からの測定結果を取得する。測定装置は、例えばステレオカメラまたはレーザレンジスキャナである。加工部１２３は、取得された測定結果に基づいて、車両１からカプラ１００１までの距離および方向と、カプラ１００１の先端の高さとを演算する。そして、加工部１２３は、仮想空間４００内の対応する位置に、カプラ１００１の先端の高さに対応する長さの円柱状のオブジェクトを配置する。そして、加工部１２３は、車両モデル１０１から車両モデル画像２０１を演算する場合と同様に、オブジェクトを仮想視点４０２を視点とする二次元平面に投影することによって、オブジェクト画像２０５を生成する。

３次元データからカプラ１００１を識別する方法は、特定の方法に限定されない。一例では、画像処理部１２１は、表示画面８にベース画像１１０を表示し、運転者は、操作入力部９をタッチすることにより、ベース画像１１０内のカプラ１００１が写っている部分を指示する。加工部１２３は、タッチされた位置と、ベース画像１１０が撮像されたタイミングと略同じタイミングで測定装置から得られた３次元データと、を対比することにより、３次元データ内においてカプラ１００１に相当する部分を特定する。別の例では、加工部１２３は、カプラ１００１の画像を記憶部１２２などに予め記憶しておき、カプラ１００１の画像を用いたパターンマッチングによって、ベース画像１１０内のカプラ１００１が写っている部分を特定する。そして、加工部１２３は、ベース画像１１０内の特定した部分と、ベース画像１１０が撮像されたタイミングと略同じタイミングで測定装置から得られたリアルタイムの３次元データと、を対比することにより、３次元データ内においてカプラ１００１に相当する部分を特定する。

このように、周辺監視装置は、種々の方法でオブジェクト画像２０５を生成することが可能である。なお、カプラ１００１の先端から地面まで延伸する識別情報の表示様態は、円柱の形状を模したオブジェクト画像２０５だけに限定されない。例えば、カプラ１００１の先端から地面まで延伸する識別情報は、線形状を有していてもよい。

また、周辺監視装置は、過去画モードのほかに、ライブモードで動作することができる。周辺監視装置は、ライブモードでは、取得した後方画像を、取得したタイミングの後に即時的に表示画面８に表示する。周辺監視装置がライブモードで動作することにより、運転者は、カメラ４の撮像領域内の状態をリアルタイムの実写画像によって確認することが可能である。

また、周辺監視装置は、モード切り替えの操作入力、または変速機構のレンジをリバースレンジから他のレンジに切り替える操作入力、またはバックパネル２ａを閉状態から開状態にする操作入力、または測距装置としてのソナーセンサ５からの検出情報、に基づいて、ライブモードから過去画モードに遷移する。このように、周辺監視装置は、種々の事象をトリガとしてモード間の遷移を行うことができる。

なお、以上では、モード切り替えの際に取得された後方画像がベース画像１１０として設定される、として説明した。ベース画像１１０の選択方法はこれに限定されない。例えば、画像処理部１２１は、逐次取得される後方画像を例えば記憶部１２２に時系列順に蓄積する。そして、画像処理部１２１は、記憶部１２２に蓄積された複数の後方画像から、カプラ画像３０２が含まれている、最後に取得された後方画像を選択する。そして、画像処理部１２１は、選択した後方画像をベース画像１１０として設定する。後方画像にカプラ画像３０２が含まれているか否かは、例えばパターンマッチングなどによって判断可能である。画像処理部１２１は、逐次取得される後方画像にカプラ画像３０２が含まれているか否かを後方画像が取得される度に判断し、判断結果が、後方画像にカプラ画像３０２が含まれている状態から後方画像にカプラ画像３０２が含まれていない状態に変化したとき、自動でライブモードから過去画モードに遷移してもよい。

または、画像処理部１２１は、モード切り替えのタイミングから所定時間だけ遡ったタイミングで取得された後方画像をベース画像１１０として設定してもよい。

また、以上では、車両モデル１０１は、ヒッチボールモデル１０４のほかに、荷台モデル１０２、後輪モデル１０３を含む、として説明した。車両モデル１０１は、ヒッチボールモデル１０４を含んでいればよい。例えば、車両モデル１０１から荷台モデル１０２は省略することが可能である。また、車両モデル１０１から後輪モデル１０３は省略することが可能である。車両モデル１０１として、車両１の形状をリアルに示す３次元モデルが採用可能である。車両モデル１０１の３次元形状の表現方法は、特定の方法に限定されない。例えば、ポリゴンモデル、ワイヤーフレームモデル、またはソリッドモデルによって、車両モデル１０１の３次元形状が表現され得る。

また、周辺監視装置は、過去画モードからライブモードに遷移可能に構成されてもよい。荷台２がカプラ１００１の真下に入った後、バックパネル２ａを閉状態にすることが可能である。例えば、運転者は、荷台２がカプラ１００１の真下に入った後、過去画モードからライブモードに切り替えてもよい。

なお、荷台２がカプラ１００１の真下に入った後に過去画モードからライブモードに切り替えられた場合、表示画面８にはヒッチボール６もカプラ１００１も表示されないので、そのままでは運転者は位置合わせを行うことが困難である。周辺監視装置は、下記の位置合わせ完了時のトレーラ画像３０１を予め記憶しておき、過去画モードからライブモードに戻った後、ライブモードでの画像に、位置合わせ完了時のトレーラ画像３０１を重畳して表示してもよい。位置合わせ完了時のトレーラ画像３０１は、例えば、過去に連結作業が行われた際に撮像されて保存されたものである。

周辺監視装置は、運転者による実写画像の視認を妨げないように、重畳の前に、位置合わせ完了時のトレーラ画像３０１に対し、種々の画像処理を行う。一例では、周辺監視装置は、位置合わせ完了時のトレーラ画像３０１に対し、輪郭抽出を行い、抽出された輪郭を表示する。図１４は、実施形態の表示画面８のさらに別の表示例を示す図である。この例では、画像８０ｅには、トレーラ画像３０１の輪郭２０６が点線で示されている。運転者は、実写のトレーラ画像３０１と輪郭２０６とが一致するように車両１を運転することによって、位置合わせを行うことができる。

また、周辺監視装置は、ヒッチボール６とカプラ１００１との距離に応じて車両モデル画像２０１の表示様態を変更してもよい。例えば、周辺監視装置は、ヒッチボール６とカプラ１００１との距離が予め設定されたしきい値よりも大きい場合、ヒッチボールモデル画像２０４を青色に着色して表示し、ヒッチボール６とカプラ１００１との距離が当該しきい値よりも小さい場合、ヒッチボールモデル画像２０４を赤色に着色して表示する。表示様態の変更方法は、これに限定されない。例えば、周辺監視装置は、距離が当該しきい値よりも小さくなったときに、非点滅表示から点滅表示に変更したり、あるいはその逆の変更を行うことができる。別の例では、周辺監視装置は、距離が当該しきい値よりも大きい場合、荷台モデル画像２０２、後輪モデル画像２０３、およびヒッチボールモデル画像２０４を表示し、距離が当該しきい値よりも小さくなった場合、車両モデル画像２０１のうちのヒッチボールモデル画像２０４のみを表示する。

また、周辺監視装置は、ヒッチボール６とカプラ１００１との位置合わせが完了する位置までの経路を任意のタイミングで演算し、演算された経路で車両１が移動するように、舵角を制御してもよい。これにより、運転者は、アクセルペダルとブレーキペダルとを操作するだけで、位置合わせを行うことが可能となる。さらに、周辺監視装置は、演算された経路で車両１が移動するように、加減速を自動で行うように構成されてもよい。

なお、以上では、取得部１２０、加工部１２３、および出力部１２４は、ＣＰＵ１２ａがプログラム１００を実行することによって実現される、として説明した。取得部１２０、加工部１２３、および出力部１２４のうちの一部または全部は、ハードウェア回路によって実現されてもよい。

また、プログラム１００は、コンピュータにインストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）、またはフラッシュメモリ等の、コンピュータで読み取り可能な記録媒体に記録されて提供され得る。

また、プログラム１００は、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、プログラム１００は、インターネット等のネットワーク経由で提供または配布され得る。

また、プログラム１００は、ＲＯＭ１２ｃ等に予め組み込んで提供され得る。

同様に、車両モデル１０１は、ＣＤ−ＲＯＭ、ＦＤ、ＣＤ−Ｒ、ＤＶＤ、またはフラッシュメモリ等の、コンピュータで読み取り可能な記録媒体に記録されて提供され得る。また、車両モデル１０１は、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、車両モデル１０１は、インターネット等のネットワーク経由で提供または配布され得る。

以上、本発明の実施形態を例示したが、上記実施形態および変形例はあくまで一例であって、発明の範囲を限定することは意図していない。上記実施形態や変形例は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、組み合わせ、変更を行うことができる。また、各実施形態や各変形例の構成や形状は、部分的に入れ替えて実施することも可能である。

１…車両、２…荷台、２ａ…バックパネル、２ｂ…底部、３…車輪、３Ｆ…前輪、３Ｒ…後輪、４…カメラ、５…ソナーセンサ、６…ヒッチボール、８…表示画面、９…操作入力部、１０…モニタ装置、１１…シフトレバー、１２…ＥＣＵ、１２ａ…ＣＰＵ、１２ｂ…ＳＳＤ、１２ｃ…ＲＯＭ、１２ｄ…ＲＡＭ、１３…シフトセンサ、１４…車輪速センサ、１５…車内ネットワーク、８０ａ，８０ｂ，８０ｃ，８０ｄ，８０ｅ…画像、１００…プログラム、１０１…車両モデル、１０２…荷台モデル、１０３…後輪モデル、１０４…ヒッチボールモデル、１１０…ベース画像、１２０…取得部、１２１…画像処理部、１２２…記憶部、１２３…加工部、１２４…出力部、２０１…車両モデル画像、２０２…荷台モデル画像、２０３…後輪モデル画像、２０４…ヒッチボールモデル画像、２０５…オブジェクト画像、２０６…輪郭、３０１…トレーラ画像、３０２…カプラ画像、４００…仮想空間、４０１…平面、４０２…仮想視点、１０００…トレーラ、１００１…カプラ

Claims (5)

1. 被牽引車を連結するための第１の連結装置を有する車両の第１の後方画像を第１のタイミングに取得する取得部と、
   前記第１のタイミングよりも後の第２のタイミングにおいて、前記第１の連結装置の前記第２のタイミングの位置を示す第１の識別情報を前記第１の後方画像に重畳し、前記第１の識別情報が重畳された前記第１の後方画像を前記車両の室内に設けられた表示画面に表示する画像処理部と、
   を備えた周辺監視装置。
2. 前記車両に撮像装置が設けられ、
   前記第１の連結装置は、前記撮像装置の死角領域に設けられ、
   前記取得部は、前記車両に設けられた撮像装置から前記第１の後方画像を取得する、
   請求項１に記載の周辺監視装置。
3. 前記画像処理部は、前記被牽引車に設けられた前記第１の連結装置と連結する第２の連結装置の先端から地面まで延伸する第２の識別情報を前記第１の後方画像にさらに重畳する、
   請求項１または２に記載の周辺監視装置。
4. 前記取得部は、第３のタイミングに第２の後方画像を取得し、
   前記画像処理部は、前記取得された第２の後方画像を前記表示画面に前記第３のタイミングの後に即時的に表示し、
   前記第３のタイミングは、第１モードで動作中のタイミングであり、
   前記第２のタイミングは、前記第１モードと異なる第２モードで動作中のタイミングである、
   請求項１から３の何れか１項に記載の周辺監視装置。
5. 前記取得部は、モード切り替えの操作入力、または前記車両の変速機構のレンジをリバースレンジから他のレンジに切り替える操作入力、またはテールゲートを閉状態から開状態にする操作入力、または前記車両に設けられた前記車両と前記被牽引車との距離を検出する測距装置からの検出情報、を取得し、
   前記取得されたいずれかの操作入力または検出情報に基づいて前記第１モードから前記第２モードに遷移する、
   請求項４に記載の周辺監視装置。

Images