JP2012105158A - 連結車両用鳥瞰図表示システム - Google Patents

Abstract

【課題】連結車両周辺を上方から見たような鳥瞰図を表示できるようにする。
【解決手段】トラクタ２の周辺を撮像するトラクタカメラと、トレーラ３の周辺を撮像するトレーラカメラと、トラクタ２とトレーラ３との連結部１０の相対角度を検出する相対角度検出手段３３と、トラクタカメラが撮像したトラクタ周辺のトラクタ周辺撮像画像を、上方から鳥瞰した画像に変換してトラクタ周辺鳥瞰画像を得ると共に、トレーラカメラが撮像したトレーラ周辺のトレーラ周辺撮像画像を、上方から鳥瞰した画像に変換してトレーラ周辺鳥瞰画像を得る鳥瞰画像変換手段３４と、トラクタ周辺鳥瞰画像とトレーラ周辺鳥瞰画像とを合成して、連結車両周辺の鳥瞰画像を生成する鳥瞰画像合成手段３６とを備え、鳥瞰画像合成手段３６は、トラクタ２とトレーラ３との相対角度に応じて、トラクタ周辺鳥瞰画像とトレーラ周辺鳥瞰画像とを合成するように構成する。
【選択図】図１

Description

本発明は、連結車両周辺を上方から見たような鳥瞰図を表示する、連結車両用鳥瞰図表示システムに関するものである。

従来より、車両に複数のカメラを設置し、複数のカメラから得られた画像を車両の全周を表示する画像に変換して、表示する装置が開発されている。
例えば、特許文献１には、トラクタとトレーラからなる連結車両の技術として、トラクタとトレーラからなる連結車両のトレーラ側にカメラを設置し、このカメラがトレーラの後方を撮影する運転支援システムが開示されている。この運転支援システムは、各撮影画像を路面に平行な鳥瞰図座標上に投影することによって各撮影画像を鳥瞰画像に変換する一方で、複数の撮影画像から成る動画像のオプティカルフローを鳥瞰図座標上で導出する。このオプティカルフローとトラクタの移動上方からトラクタとトレーラの連結角を推定し、更に、連結角とトラクタの移動情報からトレーラの移動予測軌跡を導出する。そして、この移動予測軌跡を鳥瞰画像に重量した画像を表示装置に出力する。この画像表示により、トラクタが動いた場合にトレーラがどのように動くのかを把握しやすくなる。

特開２００９−６０４９９号公報

ところで、連結車両のような大型車両は内輪差が大きくなるため、ドライバは左右折の際の巻き込みを防止するためなど、車両の周辺状況を把握しながら注意を払う必要がある。特に、連結車両の場合、トラクタとトレーラとの相対角度（連結角）が変化するので、車両の周辺状況を把握することが難しくなる。
しかしながら、特許文献１に開示された技術は、トレーラに設置されたカメラを用いてトレーラの後方を撮影してこれに基づいてトレーラの動きを表示するもので、連結車両の周辺を確認するものではなく、右左折時の巻き込み支援をできるものではなかった。

本発明は、このような課題に鑑みて案出されたもので、トラクタとトレーラが複雑な動きをする連結車においても、連結車両周辺の状況を容易に把握することができるようにした、連結車両用鳥瞰図表示システムを提供することを目的とする。

上記目的を達成するため、本発明の連結車両用鳥瞰図表示システムは、トラクタとトレーラとからなる連結車両周辺の鳥瞰図を表示する連結車両用鳥瞰図表示システムであって、前記トラクタに設けられ前記トラクタの周辺を撮像するトラクタカメラと、前記トレーラに設けられ前記トレーラの周辺を撮像するトレーラカメラと、前記トラクタと前記トレーラとの連結部の相対角度を検出する相対角度検出手段と、前記トラクタカメラが撮像した前記トラクタ周辺のトラクタ周辺撮像画像を、上方から鳥瞰した画像に変換してトラクタ周辺鳥瞰画像を得ると共に、前記トレーラカメラが撮像した前記トレーラ周辺のトレーラ周辺撮像画像を、上方から鳥瞰した画像に変換してトレーラ周辺鳥瞰画像を得る鳥瞰画像変換手段と、前記トラクタ周辺鳥瞰画像と前記トレーラ周辺鳥瞰画像とを合成して、前記連結車両周辺の鳥瞰画像を生成する鳥瞰画像合成手段と、前記鳥瞰画像合成手段により生成された前記連結車両周辺の鳥瞰画像を表示する画像表示手段とを備え、前記鳥瞰画像合成手段は、前記相対角度検出手段により検出された前記相対角度に応じて、前記トラクタ周辺鳥瞰画像と前記トレーラ周辺鳥瞰画像とを合成して前記連結車両周辺の鳥瞰画像を生成することを特徴としている。

また、前記鳥瞰画像合成手段は、前記相対角度に応じて前記トラクタ周辺鳥瞰画像及び前記トレーラ周辺鳥瞰画像の、前記連結車両周辺の鳥瞰画像における表示領域を決定し、前記トラクタ周辺鳥瞰画像及び前記トレーラ周辺鳥瞰画像の重複する部分については、何れか一方の画像の表示を優先することにより前記連結車両周辺の鳥瞰画像を合成することが好ましい。

また、前記鳥瞰画像合成手段は、前記トラクタ周辺鳥瞰画像及び前記トレーラ周辺鳥瞰画像をそれぞれ格子状に分けて各格子画像にそれぞれ識別名称（格子番号）を与え、前記識別名称を用いて、前記格子画像ごとに、前記相対角度に応じた前記連結車両周辺の鳥瞰画像における表示領域の決定と、重複部分の表示を行うことが好ましい。
また、前記格子画像ごとに、前記相対角度に応じた前記連結車両周辺の鳥瞰画像における表示領域を記述するマップデータをさらに備え、前記鳥瞰画像合成手段は、前記マップデータを用いて、前記格子画像の前記相対角度に応じた前記連結車両周辺の鳥瞰画像における表示領域を決定することが好ましい。

また、前記トラクタカメラが、前記トラクタの左右側部にそれぞれ設けられ前記トラクタの左右側方を撮像するトラクタ側方カメラからなり、前記トレーラカメラが、前記トレーラの左右側部にそれぞれ設けられ前記トレーラの左右側方を撮像するトレーラ側方カメラからなることが好ましい。
また、前記トラクタカメラが、前記トラクタの左右側部にそれぞれ設けられ前記トラクタの左右側方を撮像するトラクタ側方カメラと、前記トラクタの前部に設けられ前記トラクタの前方を撮像するトラクタ前方カメラからなり、前記トレーラカメラが、前記トレーラの左右側部にそれぞれ設けられ前記トレーラの左右側方を撮像するトレーラ側方カメラと、前記トレーラの後部に設けられ前記トレーラの後方を撮像するトレーラ後方カメラからなることが好ましい。

本発明の連結車両用鳥瞰図表示システムによれば、トラクタ周辺を鳥瞰視表示した画像とトレーラ周辺を鳥瞰視表示した画像とを、トラクタとトレーラの連結部の相対角度に応じて合成することにより、連結車両周辺を上方の視点から鳥瞰した鳥瞰画像を生成し、表示することが出来る。これにより、相対角度が変化するという連結車両特有の動きに起因して周囲状況の把握が難しい連結車両において、ドライバはこの車両の鳥瞰画像から、連結車両特有の動きに応じた周囲状況を把握して運転することが可能となる。

また、連結部の相対角度に応じて、トラクタ周辺を鳥瞰視表示した画像とトレーラ周辺を鳥瞰視表示した画像の表示領域を決定し、重複部分の合成を行うことで、トラクタとトレーラの相対関係に応じた結車両周辺の鳥瞰画像を確実に生成することができる。
またトラクタ周辺を鳥瞰視表示した画像とトレーラ周辺を鳥瞰視表示した画像をそれぞれ格子状に分けて、格子ごとに重複するかどうかの判断を行うことで、画像処理の負担を軽減し、容易に画像の合成を行うことができる。

また、トラクタとトレーラの連結部の相対角度に応じて、連結車両周辺を上方の視点から鳥瞰した鳥瞰画像におけるトラクタ周辺を鳥瞰視表示した画像の表示領域とトレーラ周辺を鳥瞰視表示した画像の表示領域とを記述したマップデータを用いて、相対角度に応じた連結車両周辺の鳥瞰画像における表示領域を決定することにより、さらに画像処理部の負担を軽減し、容易に画像の合成を行うことができる。

また、トラクタの左右側方を撮像するトラクタ側方カメラと、トレーラの左右側方を撮像するトレーラ側方カメラを備えることにより、連結車両特有の動きに起因して周囲状況の把握が難しい連結車両において、ドライバは車両の鳥瞰画像から、連結車両の側方周辺の状況把握することが可能となり、右左折時の巻き込み防止に役立てることができ、安全性を向上させることができる。

また、トラクタの左右側方を撮像するトラクタ側方カメラと、トラクタの前方を撮像するトラクタ前方カメラと、トレーラの左右側方を撮像するトレーラ側方カメラと、トレーラの後方を撮像するトレーラ後方カメラを備えることにより、連結車両特有の動きに起因して周囲状況の把握が難しい連結車両において、ドライバは車両の鳥瞰画像から、連結車両前後を含む周辺の状況把握することが可能となり、駐車等を支援することができ、さらに安全性を向上させることができる。

本発明の一実施形態に係る連結車両用鳥瞰図表示システムにおける、撮像範囲を説明する連結車両及びその周囲の模式平面図であり、（ａ）は相対角度がない場合を示し、（ｂ）は相対角度がある場合を示している。 本発明の一実施形態に係る連結車両用鳥瞰図表示システムにおける、連結車両周辺の鳥瞰画像の生成をトラクタとトレーラとの相対角度に応じて説明するための模式図であり、（ａ）は相対角度がない場合の鳥瞰画像の全体を示し、（ｂ）は相対角度がある場合の鳥瞰画像の全体を示し、（ｃ）は相対角度がない場合の鳥瞰画像の要部を示し、（ｄ）は相対角度がある場合の鳥瞰画像の要部を示している。 本発明の一実施形態に係る連結車両用鳥瞰図表示システムの全体構成を示すブロック図である。

以下、図面により、本発明の一実施形態に係る連結車両用鳥瞰図表示システムについて説明する。図１は本表示システムにおける撮像範囲を説明する模式図、図２は本表示システムにおける、連結車両周辺の鳥瞰画像の生成を説明する模式図、図３は本表示システムの全体構成を示すブロック図である。

＜全体構成＞
本発明の一実施形態に係る連結車両用鳥瞰図表示システムは、図１に示すように、連結車両１に適用されるものであって、連結車両１のトラクタ２とトレーラ３の相対角度に応じて、トラクタ２の前方及び左右側方、並びにトレーラ３の左右側方及び後方に備えられたカメラ４〜９により撮像された画像から、連結車両の上方の視点から鳥瞰した鳥瞰画像を合成し、画像表示範囲１７に示す連結車両の周囲を鳥瞰視表示する画像の表示を行うものである。

図３に示すように、本実施形態に係る連結車両用鳥瞰図表示システムが適用される連結車両には、画像処理部３１と、トラクタ前方カメラ４と、トラクタ左側方カメラ５と、トラクタ右側方カメラ６と、トレーラ左側方カメラ７と、トレーラ右側方カメラ８と、トレーラ後方カメラ９と、連結車両１の連結部１０のカプラ部３２に備えられた相対角度検出手段としての角度センサ３３と、画像表示部（手段）３８とが設けられている。

画像処理部３１は、図示しない入出力装置，制御プログラムや制御マップ等の記憶に供される記憶装置（ＲＯＭ，ＲＡＭ等），中央処理装置（ＣＰＵ）及びタイマカウンタ等を備えて構成されている。
また、画像処理部３１には、鳥瞰画像変換部（鳥瞰画像変換手段）３４、鳥瞰画像補正部（鳥瞰画像補正手段）３５、鳥瞰画像合成部（鳥瞰画像合成手段）３６、及びマップデータ記憶部（マップデータ記憶手段）３７が機能要素として設けられている。この実施形態では、これら鳥瞰画像変換部３４、鳥瞰画像補正部３５、鳥瞰画像合成部３６、及びマップデータ記憶部３７は、コンピュータプログラムによるソフトウエアとして設けられている。

画像処理部３１の入力側には、トラクタ前方カメラ４、トラクタ左側方カメラ５、トラクタ右側方カメラ６、トレーラ左側方カメラ７、トレーラ右側方カメラ８、及びトレーラ後方カメラ９の６つのカメラ、並びに角度センサ３３が接続されている。各カメラ４〜９により撮像された画像信号及び角度センサ３３により測定された相対角度の情報が画像処理部３１に送られるようになっている。そして、画像処理部３１は、上記情報（信号）を受信したら、上記情報に基づいて、撮像された画像データを一つの画像に合成処理を行い、連結車両の上方の視点から鳥瞰した連結車両周辺の鳥瞰画像の生成を行う。さらに、画像処理部３１は、上記連結車両周辺の鳥瞰画像のデータから、連結車両周辺を上方の視点から鳥瞰した画像を表示する画像信号を生成し、画像表示部３８に送信するようになっている。

鳥瞰画像変換部３４は、トラクタ前方カメラ４、トラクタ左側方カメラ５、トラクタ右側方カメラ６、トレーラ左側方カメラ７、トレーラ右側方カメラ８、及びトレーラ後方カメラ９により撮像された画像を元にして、車両の上方の視点から鳥瞰した鳥瞰画像を作成する。撮像画像から鳥瞰画像への変換は、公知の方法を用いることが出来る。
鳥瞰画像補正部３５は、鳥瞰画像変換部３４により変換された鳥瞰画像の補正を行う。本実施例においては、鳥瞰画像補正部３５は、カメラの取り付け位置に応じて、又はトラクタ２とトレーラ３の相対角度に応じて、連結車両１（ここでは、トレーラ３）に対する鳥瞰画像位置の回転補正を行う。この回転補正は、連結部１０に設けられたカプラ部３２の回転中心を中心としてトラクタ２側の鳥瞰画像或いはトレーラ３側の鳥瞰画像を回転させて位置補正をする。本実施形態では、トレーラ３を基準に画像表示を行なうので、トレーラ３側の鳥瞰画像を固定し、トラクタ２側の鳥瞰画像を回転補正する。

鳥瞰画像合成部３６は、鳥瞰画像変換部３４により変換された鳥瞰画像、又は鳥瞰画像補正部３５により回転補正をされた鳥瞰画像を合成することで、連結車両１の上方の視点から連結車両周辺の画像表示範囲１７を鳥瞰した、連結車両周辺の鳥瞰画像を生成する。
画像表示部３８は、画像処理部３１から画像信号を受信し、連結車両周辺を上方の視点から鳥瞰した画像の表示を行う。画像表示部３８は、詳細を図示しないが、例えば、連結車両の運転席に備え付けられたディスプレイと、このディスプレイの表示を制御する表示制御装置とから構成される。

マップデータ記憶部３７は、鳥瞰画像の合成に用いるマップデータが格納されている。
トラクタ前方カメラ４は、図１に示すように、トラクタの前方を撮像するための撮像手段として、トラクタ前部に斜め下方向を向けて設置されている。トラクタ前方カメラ４により、トラクタの前方を撮像範囲１１としたトラクタ前方撮像画像が得られる。
トラクタ左側方カメラ５は、図１に示すように、トラクタの左側方を撮像するための撮像手段として、トラクタ左側部に斜め下方向を向けて設置されている。トラクタ左側方カメラ５により、トラクタの左側方を撮像範囲１２としたトラクタ左側方撮像画像が得られる。

トラクタ右側方カメラ６は、図１に示すように、トラクタの右側方の撮像するための撮像手段として、トラクタ右側部に斜め下方向を向けて設置されている。トラクタ右側方カメラ６により、トラクタの右側方を撮像範囲１３としたトラクタ右側方撮像画像が得られる。
トレーラ左側方カメラ７は、図１に示すように、トレーラの左側方を撮像するための撮像手段として、トレーラの左側部に斜め下方向を向けて設置されている。トレーラ左側方カメラ７により、トレーラの左側方を撮像範囲１４としたトレーラ左側方撮像画像が得られる。

トレーラ右側方カメラ８は、図１に示すように、トレーラの右側方の撮像するための撮像手段として、トレーラ右側部に斜め下方向を向けて設置されている。トレーラ右側方カメラ８により、トレーラの右側方を撮像範囲１５としたトレーラ右側方撮像画像が得られる。
トレーラ後方カメラ９は、図１に示すように、トレーラの後方を撮像するための撮像手段として、トレーラ後部に斜め下方向を向けて設置されている。トレーラ後方カメラ９により、トレーラの後方を撮像範囲１６としたトレーラ後方撮像画像が得られる。

ここで、それぞれのカメラは各々の撮像範囲１１〜１６が、それぞれの撮像範囲の周辺領域において重複し、連結車両の周囲に死角を生ずることが無いように配置する。さらに、連結車両においては、トラクタ２とトレーラ３が連結角度をなして、その相対位置を変化させるため、トラクタ側方カメラとトレーラ側方カメラとが、トラクタ２とトレーラ３の相対位置が変化しても死角が生じることの無いよう撮像範囲１１〜１６の一部が重なるようにカメラ４〜９を配置する。また、死角を生ずることの無いよう、例えば魚眼レンズのような視野角の広い広角カメラを用いることが好ましい。

角度センサ３３は、トラクタ２とトレーラ３の連結部に設けられたカプラ部３２に設置されている。角度センサ３３はトラクタ２とトレーラ３の相対角度を検知するようになっている。
ここで、トラクタ２の前後方向を結ぶ軸と、トレーラ３の前後軸方向を結ぶ軸とがなす角を相対角度とする。図１（ａ）に示すように、トラクタとトレーラがともに直進方向を向いている場合に相対角度を０度（相対角度なし）とし、例えば、図１（ｂ）に左折を行う場合を例示するように、右左折等の左右への操舵を行う場合には、トレーラの前後方向を結ぶ軸と、トラクタの前後軸方向を結ぶ軸が連結部１０において角度を成す。この場合には、相対角度が発生し、両軸のなす角度をトラクタ２とトレーラ３の相対角度とする。

＜連結車両周辺の鳥瞰画像について＞
次に、本実施形態の連結車両用鳥瞰図について詳しく説明する。
この連結車両用鳥瞰図は、図２（ａ）,（ｂ）に示すように、連結車両１の上方の視点から連結車両周辺の画像表示範囲２７を鳥瞰した、連結車両周辺の鳥瞰画像を表示するものである。この連結車両周辺の鳥瞰画像は、鳥瞰画像変換部３４により変換された鳥瞰画像、又は鳥瞰画像補正部３５により回転補正をされた鳥瞰画像を合成することで得る。
なお、各カメラによる撮像しうる撮像範囲は有限であるため、それらを変換・合成して得られる連結車両周辺の鳥瞰画像の範囲も有限となる。このとき、連結車両周辺の鳥瞰画像の画像表示範囲は、各カメラの最大撮像範囲に合わせて表示させてもよいが、画像の見易さと画像表示部の領域の大きさの制限との観点からは、連結車両の周囲を十分に観察できる範囲で、図２（ａ）,（ｂ）に破線で囲んだ領域で示す画像表示範囲２７のように、一定の領域に映像表示範囲を区切って表示することが好ましい。

連結車両周辺の鳥瞰画像の表示部中心は、連結車両を示しており、この連結車両を中心に表示し、その周囲に結車両周辺の鳥瞰画像を表示する。この連結車両を示す領域には、連結車両を上方から見た場合のトラクタ２の写真画像又はイメージ画像２８、及びトレーラ３の写真画像又はイメージ画像２９を表示する。
連結車両周辺の鳥瞰画像は、図２（ａ）,（ｂ）に示すように、連結車両を上方の視点から見た場合に、連結車両のトレーラ３の前後方向（全長方向）の向きが鳥瞰画像の上下方向に対応するようにトレーラ画像２９が表示され、トレーラ３の進行方向が画像の上側を向くようにトレーラ画像２９が表示される。

ここで、連結車両の画像は、図２（ｂ）に示すように、角度センサ３３により検知されたトラクタ２とトレーラ３の相対角度に応じて、トラクタ２とトレーラ３が検知された相対角度をとるように、トラクタ画像２８をトレーラ画像２９に対して連結部を中心に回転させて表示する。
また、連結車両周辺の鳥瞰画像は、カメラ４〜９により撮像され、鳥瞰画像変換部３４により変換された後述する鳥瞰画像を、それぞれのカメラが設置された連結車の位置に対応するように配置することで生成される。すなわち、トレーラ画像２９を中心とした連結車両周辺の鳥瞰画像において、トラクタ２とトレーラ３の相対角度が０度の場合、トラクタ画像２８の上側にあたる領域にトラクタ前方鳥瞰画像２１が配置され、トラクタ画像２８の左側にあたる領域にトラクタ左側方鳥瞰画像２２が配置され、トラクタ画像２８の右側にあたる領域にトラクタ右側方鳥瞰画像２３が配置される。また、トレーラ画像２９の左側にあたる領域にトレーラ左側方鳥瞰画像２４が配置され、トレーラ画像２９の右側にあたる領域にトレーラ右側方鳥瞰画像２５が配置され、トレーラ画像２９の下側にあたる領域にトレーラ後方鳥瞰画像２６が配置される。

さらに、トラクタ前方鳥瞰画像２１、トラクタ左側方鳥瞰画像２２、及びトラクタ右側方鳥瞰画像２３は、トラクタ画像２８がトレーラ画像２９に対して、トラクタ２とトレーラ３の相対角度に応じて連結部を中心に回転するのに連動して、トラクタ画像２８の周囲に配置されたトラクタ前方鳥瞰画像２１、トラクタ左側方鳥瞰画像２２、及びトラクタ右側方鳥瞰画像２３も、鳥瞰画像補正部３５により回転補正を受け、トラクタ画像２８に追従して回転・移動して配置されるようになっている。

なお、連結車両周辺の鳥瞰画像において、トラクタ２とトレーラ３の相対位置の変化に伴い、カメラの撮像範囲が変化して、カメラの撮像範囲では連結車両周辺の画像表示範囲２７の全てに鳥瞰画像を表示できない場合がある。この場合、鳥瞰画像を表示できない領域には、それを表す画像、又はその領域を単一色で塗りつぶすことにより、表示できない領域であることがわかるように表示を行えば良い。

＜連結車両周辺の鳥瞰画像の生成＞
以下、本発明の実施形態にかかる、連結車両周辺の鳥瞰画像の生成を行う手順について説明する。
鳥瞰画像変換部３４は、カメラ４〜９により撮像された画像を元にして、上方の視点から鳥瞰した鳥瞰画像を作成する。この処理には、周知の画像変換技術を用いる。

この鳥瞰画像変換処理により、トラクタ前方撮像画像から、トラクタの前方の撮像範囲１１を上方の視点から鳥瞰したトラクタ前方鳥瞰画像２１が得られる。
また、トラクタ左側方撮像画像から、トラクタの左側方の撮像範囲１２を上方の視点から鳥瞰したトラクタ左側方鳥瞰画像２２が得られる。
また、トラクタ右側方撮像画像から、トラクタの右側方の撮像範囲１３を上方の視点から鳥瞰したトラクタ右側方鳥瞰画像２３が得られる。
また、トレーラ左側方撮像画像から、トレーラの左側方の撮像範囲１４を上方の視点から鳥瞰したトレーラ左側方鳥瞰画像２４が得られる。
また、トレーラ右側方撮像画像から、トレーラの右側方の撮像範囲１５を上方の視点から鳥瞰したトレーラ右側方鳥瞰画像２５が得られる。
また、トレーラ後方撮像画像から、トレーラの後方の撮像範囲１６を上方の視点から鳥瞰したトレーラ後方鳥瞰画像２６が得られる。

連結車両周辺の鳥瞰画像を生成するにあたって、各鳥瞰画像が連結車両周辺の鳥瞰画像において表示される領域を、トラクタ２に対するトレーラ３の角度に応じて計算を行い、算出結果に基づいて鳥瞰画像を配置してもよいが、本実施形態では、マップデータを用いて各鳥瞰画像の表示領域を決定して、連結車両周辺の鳥瞰画像の生成を行う。

ここで、マップデータとは、鳥瞰画像変換部３４により変換された鳥瞰画像を格子状に分け、各格子に識別名称として格子番号を与えて区別できるようにした場合において、格子番号の格子領域ごとに、連結車両周辺の鳥瞰画像において各格子領域の画像（格子画像ともいう）が表示される領域が記述されたデータである。
なお、連結車両周辺の鳥瞰画像における各格子画像の表示領域が、トラクタ２とトレーラ３の相対角度に応じて変化する場合には、トラクタ２とトレーラ３の相対角度に対応した各格子画像の表示領域がマップデータに記述されている。

換言すれば、マップデータは、トラクタ２とトレーラ３の相対角度とに基づいて、トラクタ前方鳥瞰画像２１の各格子画像、トラクタ左側方鳥瞰画像２２の各格子画像、トラクタ右側方鳥瞰画像２３の各格子画像、トレーラ左側方鳥瞰画像２４の各格子画像、トレーラ右側方鳥瞰画像２５の各格子画像、及びトレーラ後方鳥瞰画像２６の各格子画像が、連結車両周辺の鳥瞰画像のどの領域に表示されるかを規定する。

連結車両周辺の鳥瞰画像を生成するにあたって、各鳥瞰画像の表示の処理について説明する。
まず、鳥瞰画像合成部３６は、図２（ａ）に示すように、各鳥瞰画像を格子状に分け、各格子領域に格子番号を与える。
次に、鳥瞰画像合成部３６は、マップデータ記憶部３７からマップデータを読み出し、格子番号に対応するマップデータを参照する。各鳥瞰画像の各格子番号と相対角度をマップデータに適用することで、その格子番号の格子画像が、連結車両周辺の鳥瞰画像のどの領域に表示されるかが読み出されるようになっている。

鳥瞰画像合成部は、マップデータから読み出された表示領域に従い、連結車両周辺の鳥瞰画像に、各鳥瞰画像の各格子番号ごとに対応する格子画像の配置を行う。
なお、トラクタ２とトレーラ３の相対角度が変化する場合には、図２（ｂ）に示すように、相対角度に応じて各鳥瞰画像の各格子番号の格子画像の表示領域が変化する。このため、鳥瞰画像補正部３５により、格子画像は適宜回転補正が施されて配置される。なお、鳥瞰画像補正部３５は、鳥瞰画像に対して、適宜拡大及び縮小処理、並びにトリミング処理を行ってもよい。

これにより、各鳥瞰画像を合成して連結車両周辺の鳥瞰画像を生成する際に、トラクタ２に備えられたカメラにより撮像された各々の周辺画像は、連結車両１の上方の視点から見た場合に、トレーラ３に対するトラクタ２の角度に連動して、連結車両周辺の鳥瞰画像上に配置され、トラクタ２の周囲の状況を反映して表示される。

連結車両周辺の鳥瞰画像を生成するにあたり、各鳥瞰図の重複部分の処理について説明する。
図２の（ｃ）〜（ｄ）はこの処理を説明するための図であり、図２（ｃ）,（ｄ）はそれぞれ、図２（ａ）,（ｂ）の一部領域を拡大して表示した物である。
連結車両の各部に設けられたカメラは、その撮像範囲がオーバーラップするように配置されており、撮像する画像及び変換される鳥瞰画像２１〜２６の表示範囲も重複する。このため、連結車両周辺の鳥瞰画像を生成するにあたり、各鳥瞰画像２１〜２６の重複部分の処理を行う必要がある。

特に、連結車両においては、トラクタ２とトレーラ３とが相対角度（連結角）をなして、その相対位置を変化させるため、トラクタ２の側方カメラ５，６とトレーラ３の側方カメラ７，８との関係においては、トラクタ２とトレーラ３との相対位置の変化に応じて、トラクタ側方カメラ５，６とトレーラ側方カメラ７，８等の重複部分が変化するため、相対角度に応じて重複部分の処理を行う必要がある。

このため、鳥瞰画像合成部３６は、各々のカメラに４〜９より撮像された画像から変換された鳥瞰画像の、連結車両周辺の鳥瞰画像における表示領域が、他のカメラにより撮像された画像から変換された鳥瞰画像の表示領域と重複する場合には、一のカメラにより撮像された画像から変換された鳥瞰画像を、他のカメラにより撮像された画像から変換された鳥瞰画像より優先して表示を行うことで、各々の鳥瞰画像の合成を行う。つまり、重複する一方の格子番号の格子画像を表示し、重複する他方の格子番号の格子画像の重複部分は表示しない。一方、他の鳥瞰画像と重複しない場合には、画像をそのまま表示を行う。

なお、鳥瞰画像が重複する場合において、優先して表示される画像はいずれの鳥瞰画像に由来する格子の画像であってもよいが、いずれか一方の鳥瞰画像を優先して表示することを定めておくことが好ましい。
鳥瞰画像の重複処理においては、画素単位で重複処理を行ってもよいが、本実施例においては、前述した、各鳥瞰画像を格子状に分け、各格子に格子番号を与えた各格子画像ごとに合成を行う。

なお、各格子画像の重複処理については、その都度重複部分の判定を行い、合成を行ってもよいが、あらかじめマップデータに重複関係を記憶させておき、マップデータから重複関係を読み出して、合成を行ってもよい。
ここで、本実施例においては、トラクタ左側方鳥瞰画像２２を、トレーラ左側方鳥瞰画像２４に優先して表示を行う場合について説明する。

図２（ａ）示すように、トラクタ左側方カメラ５に由来するトラクタ左側方鳥瞰画像２２と、トレーラ左側方カメラ７に由来するトレーラ左側方鳥瞰画像２４の表示領域は重複しており、また、図２（ｂ）示すように、トラクタ２とトレーラ３との相対角度に応じて、重複部分は変化する。
図２（ｃ）示すように、トラクタ左側方鳥瞰画像２２の格子番号Ａ２〜Ａ４、Ａ６〜Ａ９、Ａ１１〜Ａ１５、及びＡ１６〜Ａ２１の格子画像については、トレーラ左側方鳥瞰画像２４に優先して表示を行う。また、トレーラ左側方鳥瞰画像２４の表示領域のうち、トラクタ左側方鳥瞰画像２２の表示領域と重複しない格子番号Ｂ２〜Ｂ６、Ｂ８〜Ｂ１１、Ｂ１３〜Ｂ１５、Ｂ１７、及びＢ１８の格子画像についてはそのまま表示を行う。一方、トレーラ左側方鳥瞰画像２４の表示領域のうち、トラクタ左側方鳥瞰画像２２の表示領域と重複する、Ｂ１、Ｂ７、Ｂ１２、及びＢ１６の格子画像には、トラクタ左側方鳥瞰画像２２のＡ４、Ａ９、Ａ１５、及びＡ２１の格子が優先して表示される。

トラクタ２とトレーラ３の連結角が変化した場合には、図２（ｄ）に示すように、重複部分が変化するため、重複部分の変化に対応して、トレーラ左側方鳥瞰画像２４に、トラクタ左側方鳥瞰画像２２が優先して表示される。
このようにして、各鳥瞰画像の全ての格子について順次表示を行うことで、重複部分の処理の処理を行い、連結車両周辺の鳥瞰画像を生成する。

上記のようにして、カメラで撮像される画像について、画像処理部３１は各フレームの画像ごとに、逐次画像の変換及び合成処理を行い、連続して画像データを画像表示部３８に送信することで、運転状態に応じた連結車両の上方の視点から鳥瞰した鳥瞰画像の画像を、リアルタイムに表示を行うことが出来る。

＜格子画像の表示領域のキャリブレーション＞
マップデータにより読み出される、各格子の連結車両周辺の鳥瞰画像における表示領域及び重複関係は、連結車両に設置されたカメラの設置位置及び取り付け角度、並びに連結車両のトラクタとトレーラの位置関係により変化する。このため、連結車両用鳥瞰図表示システムの使用に当たって、キャリブレーションを行うことによりマップデータの作成、又は補正を行うことが好ましい。

キャリブレーションは、キャリブレーション用の画像が描かれた画像の上に、本連結車両用鳥瞰図表示システムを搭載した連結車両１を配置して、カメラ４〜９により連結車両周辺のキャリブレーション用の画像を撮像することで行う。
キャリブレーション用の画像を連結車両１に設置されたカメラ４〜９で撮像し、撮像画像を鳥瞰画像に変換する。ここで、連結車両とキャリブレーション用の模様との実際の位置関係と、各鳥瞰画像を格子に区切った場合の各格子画像との表示領域を各格子番号ごとに比較することで、各格子画像の連結車両周辺の鳥瞰画像における表示領域についての情報を取得することができる。これによって得られた格子番号ごとの表示領域についての情報を、マップデータに保存する。

また、キャリブレーション用の画像は、各カメラのオーバーラップ領域にキャリブレーション用の画像が含まれるように描かれている。このキャリブレーション用の画像を連結車両に設置されたカメラで撮像し、撮像画像を鳥瞰画像に変換する。ここで、各鳥瞰画像の各格子番号の格子に表示される画像を比較して、同じ画像が表示されている場合に、それぞれの鳥瞰画像の格子が重複している、すなわち各カメラの撮像領域が重複していると判断される。これによって重複していると判断された格子番号の対応についての情報をマップデータに保存する。

このようにして、相対角度を変化させながら各格子の表示領域及び重複関係を検査することにより、相対角度に応じたマップデータのキャリブレーションを行うことが出来る。

＜作用・効果＞
本発明の一実施形態に係る衝突被害軽減装置は上述のように構成されているので、以下のような作用及び効果を奏する。

本連結車両用鳥瞰図表示システムは、トラクタ２の前方及び左右側方、並びにトレーラ３の後方及び左右側方に設けられた６つのカメラにより撮像された画像を、上方から鳥瞰した鳥瞰画像にそれぞれ変換し、トラクタ２とトレーラ３の相対角度に応じて、トラクタ２及びトレーラ３の位置に対応した鳥瞰画像の表示領域を決定して、連結車両周辺の鳥瞰画像を生成する。このため、連結車両特有の動きに起因して周囲状況の把握が難しい連結車両において、トラクタ２とトレーラ３の相対角度に応じて変化するトラクタ２とトレーラ３の位置関係に対応して、鳥瞰画像の表示領域が決定されることで、トラクタ２とトレーラ３の周囲の状況を反映した連結車両周辺の鳥瞰画像が生成される。これにより、ドライバはこの車両の鳥瞰画像から、連結車の周辺の状況を把握することが可能となり、安全性を向上させることができる。

また、鳥瞰視表示した画像をそれぞれ格子状に分けて、トラクタ２とトレーラ３の連結部の相対角度に応じて、各格子ごとに、連結車両周辺を上方の視点から鳥瞰した鳥瞰画像における、各格子画像の表示領域の決定と重複部分の表示を行うことで、画像処理の負担を軽減し容易に画像の合成を行うことができる。
さらに、トラクタ２とトレーラ３の連結部の相対角度に応じて、各格子ごとに、連結車両周辺を上方の視点から鳥瞰した鳥瞰画像における、各格子画像の表示領域を記述するマップデータを保存するマップデータ記憶部３７を有し、このマップデータを用いて、格子画像の相対角度に応じた表示領域を決定することにより、さらに画像処理部の負担を軽減し容易に画像の合成を行うことができる。

［その他］
以上、本発明の実施形態を説明したが、本発明は係る実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々変形して実施することが出来る。

例えば、上記実施形態では、トラクタの前方に１台、トラクタの左側方に１台、トラクタの右側方に１台、トレーラの左側方に１台、トレーラの右側方に１台、トラクタの後方に１台のカメラを設置するとしたが、それぞれの箇所、或いは特定の箇所に、複数のカメラを設置し、複数のカメラを用いてトラクタ又はトレーラの周囲を撮像しても良い。また、トレーラ及びトラクタのコーナー部分にカメラを設置しても良い。

また、上記実施形態では、鳥瞰画像変換部は、各カメラにより撮像された画像を元にして、上方の視点から鳥瞰した鳥瞰画像を作成するとしたが、鳥瞰画像を作成するために、当該撮像された画像について、カメラのレンズによる歪みの補正処理を行っても良い。
また、上記実施形態では、各鳥瞰画像が重複する部分について、どちらかの鳥瞰画像の格子の画像を優先表示するとしたが、トラクタとトレーラの相対角度、及び相対角度の変化に伴うカメラの位置関係に基づいて、それぞれの格子ごとにどの格子の画像が表示されるかを定めても良い。この場合、表示の優先順位をマップデータに含め、各格子の格子画像の合成時にマップデータから優先順位を読み出して合成を行っても良い。

また、上記実施形態では、連結車両周辺の鳥瞰図において、トレーラ画像２９を固定し、トラクタ２とトレーラ３との相対角度に応じて、トラクタ画像２８をトレーラ画像２９に対して回転して表示させるようにしているが、トラクタ画像２８固定し、トレーラ画像２９を回転して表示させ、トレーラ画像２９に追従してトレーラ周囲の鳥瞰画像を配置させてもよい。

１ 連結車両
２ トラクタ
３ トレーラ
４ トラクタ前方カメラ
５ トラクタ左側方カメラ
６ トラクタ右側方カメラ
７ トレーラ左側方カメラ
８ トレーラ右側方カメラ
９ トレーラ後方カメラ
１０ 連結部
１１ トラクタ前方カメラ撮像範囲
１２ トラクタ左側方カメラ撮像範囲
１３ トラクタ右側方カメラ撮像範囲
１４ トレーラ左側方カメラ撮像範囲
１５ トレーラ右側方カメラ撮像範囲
１６ トレーラ後方カメラ撮像範囲
１７、２７ 画像表示範囲
２１ トラクタ前方鳥瞰画像
２２ トラクタ左側方鳥瞰画像
２３ トラクタ右側方鳥瞰画像
２４ トレーラ左側方鳥瞰画像
２５ トレーラ右側方鳥瞰画像
２６ トレーラ後方鳥瞰画像
２８ トラクタ画像
２９ トレーラ画像
３１ 画像処理部
３２ カプラ部
３３ 角度センサ
３４ 鳥瞰画像変換部（鳥瞰画像変換手段）
３５ 鳥瞰画像補正部（鳥瞰画像補正手段）
３６ 鳥瞰画像合成部（鳥瞰画像合成手段）
３７ マップデータ記憶部（マップデータ記憶手段）
３８ 画像表示部

Claims (6)

1. トラクタとトレーラとからなる連結車両周辺の鳥瞰図を表示する連結車両用鳥瞰図表示システムであって、
   前記トラクタに設けられ前記トラクタの周辺を撮像するトラクタカメラと、
   前記トレーラに設けられ前記トレーラの周辺を撮像するトレーラカメラと、
   前記トラクタと前記トレーラとの連結部の相対角度を検出する相対角度検出手段と、
   前記トラクタカメラが撮像した前記トラクタ周辺のトラクタ周辺撮像画像を、上方から鳥瞰した画像に変換してトラクタ周辺鳥瞰画像を得ると共に、前記トレーラカメラが撮像した前記トレーラ周辺のトレーラ周辺撮像画像を、上方から鳥瞰した画像に変換してトレーラ周辺鳥瞰画像を得る鳥瞰画像変換手段と、
   前記トラクタ周辺鳥瞰画像と前記トレーラ周辺鳥瞰画像とを合成して、前記連結車両周辺の鳥瞰画像を生成する鳥瞰画像合成手段と、
   前記鳥瞰画像合成手段により生成された前記連結車両周辺の鳥瞰画像を表示する画像表示手段とを備え、
   前記鳥瞰画像合成手段は、前記相対角度検出手段により検出された前記相対角度に応じて、前記トラクタ周辺鳥瞰画像と前記トレーラ周辺鳥瞰画像とを合成して前記連結車両周辺の鳥瞰画像を生成する
   ことを特徴とする連結車両用鳥瞰図表示システム。
2. 前記鳥瞰画像合成手段は、
   前記相対角度に応じて前記トラクタ周辺鳥瞰画像及び前記トレーラ周辺鳥瞰画像の、前記連結車両周辺の鳥瞰画像における表示領域を決定し、
   前記トラクタ周辺鳥瞰画像及び前記トレーラ周辺鳥瞰画像の重複する部分については、何れか一方の画像の表示を優先することにより前記連結車両周辺の鳥瞰画像を合成する
   ことを特徴とする請求項１記載の連結車両用鳥瞰図表示システム。
3. 前記鳥瞰画像合成手段は、
   前記トラクタ周辺鳥瞰画像及び前記トレーラ周辺鳥瞰画像をそれぞれ格子状に分けて各格子画像にそれぞれ識別名称（格子番号）を与え、
   前記識別名称を用いて、前記格子画像ごとに、前記相対角度に応じた前記連結車両周辺の鳥瞰画像における表示領域の決定と、重複部分の表示を行う
   ことを特徴とする請求項２記載の連結車両用鳥瞰図表示システム。
4. 前記格子画像ごとに、前記相対角度に応じた前記連結車両周辺の鳥瞰画像における表示領域を記述するマップデータをさらに備え、
   前記鳥瞰画像合成手段は、前記マップデータを用いて、前記格子画像の前記相対角度に応じた前記連結車両周辺の鳥瞰画像における表示領域を決定する
   ことを特徴とする請求項３記載の連結車両用鳥瞰図表示システム。
5. 前記トラクタカメラが、前記トラクタの左右側部にそれぞれ設けられ前記トラクタの左右側方を撮像するトラクタ側方カメラからなり、
   前記トレーラカメラが、前記トレーラの左右側部にそれぞれ設けられ前記トレーラの左右側方を撮像するトレーラ側方カメラからなる
   ことを特徴とする請求項１〜４の何れか１項に記載の連結車両用鳥瞰図表示システム。
6. 前記トラクタカメラが、前記トラクタの左右側部にそれぞれ設けられ前記トラクタの左右側方を撮像するトラクタ側方カメラと、前記トラクタの前部に設けられ前記トラクタの前方を撮像するトラクタ前方カメラからなり、
   前記トレーラカメラが、前記トレーラの左右側部にそれぞれ設けられ前記トレーラの左右側方を撮像するトレーラ側方カメラと、前記トレーラの後部に設けられ前記トレーラの後方を撮像するトレーラ後方カメラからなる
   ことを特徴とする請求項１〜４の何れか１項に記載の連結車両用鳥瞰図表示システム。

Images