JP2015154406A - 牽引車用周囲監視装置 - Google Patents

Abstract

【課題】牽引車と被牽引車の周囲を監視して、周囲状況をわかりやすく表示する。
【解決手段】連結検出部２２ａが、牽引車１０と被牽引車３０が連結したことを検出したとき、画像変換部１６ｂが、牽引車１０の周囲の撮像部１２ａ，１２ｂ，１２ｃ，１２ｄで撮像された各画像を、牽引車１０を俯瞰した複数の第１俯瞰画像に変換し、被牽引車３０の周囲の撮像部３２ａ，３２ｂ，３２ｃで撮像された各画像を、被牽引車３０を俯瞰した複数の第２俯瞰画像に変換し、画像合成部１６ｃが、牽引車１０に対する被牽引車３０の姿勢に基づいて、複数の第１俯瞰画像と、複数の第２俯瞰画像と、を合成して第３合成画像を生成し、画像表示部２６ａに表示する。
【選択図】図４

Description

本発明は、牽引車、および牽引車に牽引される被牽引車に搭載されて、車両の周囲状況を画像化して運転者に提示する牽引車用周囲監視装置に関するものである。

近年、車両の周囲に複数のカメラを設置して、これらの複数のカメラで撮影した画像を、それぞれ座標変換して合成し、車両周囲の状況を１枚の俯瞰画像で表現して運転者に提示する周囲監視システムが実用化されている。（例えば、特許文献１）

特開２０１０−２２１８６３号公報

しかしながら、特許文献１に記載された周囲監視装置は、１両の車両に搭載されることを前提とした周囲監視装置であった。このような周囲監視装置では、複数のカメラで撮像されたそれぞれの画像を、予め決められた規則に基づいて座標変換して、座標変換された各画像を１枚の画像に合成して表示している。したがって、牽引車とそれに連結された被牽引車のように、複数の車両が連結されて、なおかつ、前方の車両と後方の車両とで姿勢（向き）が変化する車両にあっては、座標変換された複数の画像を１枚の画像に合成する際の規則が、車両の姿勢に応じて変化するため、従来の周囲監視装置をそのまま適用することができなかった。

本発明は、上記課題に鑑みてなされたもので、牽引車、および牽引車に牽引される被牽引車に搭載されて、連結された複数の車両の姿勢に関わらず、車両の周囲状況を画像化して運転者に提示し、車両の周囲に存在する障害物の方向や位置を容易に認識させることができる牽引車用周囲監視装置を提供することを目的とする。

本発明に係る牽引車用周囲監視装置は、牽引車の周囲に存在する障害物と牽引車との位置関係を容易に確認することができるものである。

すなわち、本発明に係る牽引車用周囲監視装置は、車体の周囲に、複数の撮像部からなる第１周囲監視部を有する牽引車と、車体の周囲に、複数の撮像部からなる第２周囲監視部を有する、前記牽引車に連結されて牽引される被牽引車と、前記牽引車および前記被牽引車が有する複数の前記撮像部の各設置位置，各設置方向，各校正データ、および前記牽引車と前記被牽引車の連結位置を記憶した情報記憶部と、前記牽引車と前記被牽引車が連結されたことを検出する連結検出部と、前記牽引車に対する前記被牽引車の姿勢を検出する姿勢検出部と、前記牽引車の前輪の向きを算出するタイヤ方向算出部と、前記牽引車と前記被牽引車の予測進路を算出する予測進路算出部と、前記第１周囲監視部で撮像された各画像を、前記第１周囲監視部が有する複数の撮像部の各設置位置，各設置方向，各校正データに基づいて、第１仮想視点から俯瞰した複数の第１俯瞰画像に変換するとともに、前記第２周囲監視部で撮像された各画像を、前記第２周囲監視部が有する複数の撮像部の各設置位置，各設置方向，各校正データに基づいて、第２仮想視点から俯瞰した複数の第２俯瞰画像に変換する画像変換部と、前記複数の第１俯瞰画像と前記複数の第２俯瞰画像とを前記牽引車と前記被牽引車の連結位置において１枚の合成画像に合成する画像合成部と、前記牽引車の運転者が視認可能な位置に、前記合成画像を表示する画像表示部と、を有して、前記連結検出部が前記牽引車と前記被牽引車の連結を検出したときに、前記画像変換部は複数の前記第１俯瞰画像と複数の前記第２俯瞰画像を生成して、前記画像合成部は前記姿勢検出部で検出された姿勢に基づいて前記合成画像を生成して、前記合成画像に前記牽引車の前輪の向きと前記牽引車、および前記被牽引車の予測進路を重畳して前記画像表示部に表示することを特徴とする。

このように構成された本発明に係る牽引車用周囲監視装置によれば、連結検出部が、牽引車と被牽引車が連結したことを検出したときに、画像変換部が、牽引車の周囲に設置された第１周囲監視部を構成する複数の撮像部で撮像された各画像を、情報記憶部に記憶された、第１周囲監視部が有する複数の撮像部の各設置位置，各設置方向，各校正データに基づいて第１仮想視点から俯瞰した複数の第１俯瞰画像に変換して、被牽引車の周囲に設置された第２周囲監視部を構成する複数の撮像部で撮像された各画像を、情報記憶部に記憶された、第２周囲監視部が有する複数の撮像部の各設置位置，各設置方向，各校正データに基づいて第２仮想視点から俯瞰した複数の第２俯瞰画像に変換する。そして、画像合成部が、牽引車と被牽引車の連結位置と姿勢検出部が検出した姿勢に基づいて、複数の第１俯瞰画像と複数の第２俯瞰画像を合成して合成画像を生成する。さらに、生成された合成画像に、タイヤ方向算出部が算出した牽引車の前輪の向きと、予測進路算出部が算出した牽引車および被牽引車の予測進路を重畳して画像表示部に表示する。したがって、牽引車と被牽引車の周囲にある障害物の位置と方向を、牽引車と被牽引車の姿勢によらずに、容易に認識することができる。

本発明に係る牽引車用周囲監視装置によれば、牽引車が被牽引車を牽引しているときであっても、牽引車の周囲における障害物の位置と方向を容易に認識することができる。

（ａ）は代表的な牽引車の概略構造を示す上面図である。（ｂ）は図１（ａ）に示した牽引車の側面図である。 （ａ）は代表的な被牽引車の概略構造を示す上面図である。（ｂ）はコンテナ一体型の被牽引車の側面図である。（ｃ）はコンテナ別体型の被牽引車の側面図である。 本発明の一実施形態である実施例１のハードウェア構成要素を示すブロック図である。 本発明の一実施形態である実施例１の機能構成要素を示す機能ブロック図である。 （ａ）は、牽引車が被牽引車を牽引した状態で、上空に仮想視点を設置した様子を示す図である。（ｂ）は仮想視点を図５（ａ）の状態に設置したときに生成される合成画像の一例を示す図である。 複数の俯瞰画像同士を合成する際に行う画像の重ね合わせ処理について説明する図である。 実施例１において、牽引車が前進している際に生成される合成画像の一例を示す図である。 実施例１において、牽引車が後退している際に生成される合成画像の一例を示す図である。 実施例１において、画像表示部に表示される画像の一例を示す図である。 実施例１で行う処理全体の流れを示すフローチャートである。 図１０のフローチャートの中で行われる俯瞰画像の重ね合わせ処理の流れを示すフローチャートである。 本発明の一実施形態である実施例２の機能構成要素を示す機能ブロック図である。 実施例２で行う処理全体の流れを示すフローチャートである。

以下、本発明の一実施形態である実施例１について、図面を参照して説明する。

本実施例は、本発明を、牽引車と、その牽引車に牽引された被牽引車の周囲の画像を撮像して、運転者に、車両の周囲の画像を表示する、牽引車用周囲監視装置に適用したものである。

（牽引車と被牽引車の概略構造の説明）
まず、牽引車と被牽引車の概略構造について、図１（ａ），（ｂ）と図２（ａ），（ｂ），（ｃ）を用いて説明する。

牽引車１０は、図１（ａ），（ｂ）に示す概略構造を有している。すなわち、牽引車１０は図示しない動力源を有して、運転者の操作に応じて走行する。牽引車１０の前方には前方カメラ１２ａ（撮像部）が設置されて、牽引車１０の左側方には左側方カメラ１２ｂ（撮像部）が設置され、牽引車１０の後方には後方カメラ１２ｃ（撮像部）が設置されて、牽引車１０の右側方には右側方カメラ１２ｄ（撮像部）が設置されている。各カメラ（１２ａ，１２ｂ，１２ｃ，１２ｄ）は、それぞれ、牽引車１０の周囲に向けて設置されて、第１周囲監視部１２を構成し、牽引車１０の周囲の地面を含む画像を撮像する。

牽引車１０には、孔部を有する牽引車側連結部１４が設けられており、後述するように、この牽引車側連結部１４において被牽引車３０（４０）（図２（ｂ），（ｃ））と連結される。

各カメラ（１２ａ，１２ｂ，１２ｃ，１２ｄ）の設置位置，設置方向，校正データであるカメラ内部パラメータ（焦点距離，画像中心位置，歪収差係数等）と、牽引車側連結部１４の位置は予め計測されて、後述するメモリ１７（図３）に記憶されている。

被牽引車３０（４０）は、図２（ａ），（ｂ），（ｃ）に示す概略構造を有している。被牽引車３０（４０）は、前述した牽引車１０（図１（ｂ））に連結されて荷物の運搬等に使用され、その形態の違いによって様々なバリエーションを有している。図２（ｂ）は、被牽引車の一例であるコンテナ一体型被牽引車３０の側面図を示し、図２（ｃ）は、被牽引車の別の例であるコンテナ別体型被牽引車４０の側面図を示す。

被牽引車３０（４０）の左側方には左側方カメラ３２ａ（４２ａ）（撮像部）が設置されて、被牽引車３０（４０）の後方には後方カメラ３２ｂ（４２ｂ）（撮像部）が設置されて、被牽引車３０（４０）の右側方には右側方カメラ３２ｃ（４２ｃ）（撮像部）が設置されている。各カメラ（３２ａ，３２ｂ，３２ｃ）は、それぞれ、被牽引車３０（４０）の周囲に向けて設置されて、第２周囲監視部３２（４２）を構成し、被牽引車３０（４０）の周囲の地面を含む画像を撮像する。

被牽引車３０（４０）には、棒状の被牽引車側連結部３４（４４）が設けられており、この被牽引車側連結部３４（４４）が前述した牽引車側連結部１４と嵌合することによって、牽引車１０と被牽引車３０（４０）とが連結される。

各カメラ（３２ａ，３２ｂ，３２ｃ（４２ａ，４２ｂ，４２ｃ））の設置位置，設置方向，校正データであるカメラ内部パラメータ（焦点距離，画像中心位置，歪収差係数等）、および、被牽引車側連結部３４（４４）の位置は予め計測されて、後述するメモリ３７（図３）に記憶されている。

牽引車１０が被牽引車３０（４０）を連結して走行するときには、牽引車１０の向きと被牽引車３０（４０）の向きが牽引車側連結部１４または被牽引車側連結部３４（４４）を支点として変化するため、牽引車１０が単独で走行しているときと比べて、内輪差が大きくなる。したがって、交差点等においては、旋回時に歩行者や他の車両の巻き込みにより一層注意する必要がある。

なお、以後の説明は、コンテナ一体型被牽引車３０が牽引車１０に牽引される例を用いて行う。
（実施例１のシステム構成の説明）

次に、図３を用いて、実施例１に係る牽引車用周囲監視装置１００のハードウェア構成について説明する。牽引車用周囲監視装置１００は、牽引車側連結部１４と被牽引車側連結部３４において連結された、牽引車１０と、被牽引車３０と、からなり、牽引車１０には、第１周囲監視部１２を構成する前方カメラ１２ａ，左側方カメラ１２ｂ，後方カメラ１２ｃ，右側方カメラ１２ｄが設置されている。また、被牽引車３０には、第２周囲監視部３２を構成する左側方カメラ３２ａ，後方カメラ３２ｂ，右側方カメラ３２ｃが設置されている。なお、各カメラ（１２ａ，１２ｂ，１２ｃ，１２ｄ，３２ａ，３２ｂ，３２ｃ）には、それぞれ約１８０度の画角を有する超広角レンズが装着されており、上記した各カメラによって、牽引車１０と被牽引車３０の全周囲を網羅する画像が撮像される。

被牽引車３０は、さらに、第２カメラＥＣＵ３６と、メモリ３７と、第２ＣＡＮコントローラ３８を有する。

第２カメラＥＣＵ３６は、各カメラから出力されたコンポジット信号（アナログ信号）をデジタル化された画像信号に変換するＡＤ変換器と、デジタル化された画像信号をＲＧＢ信号、または、輝度色差信号であるＹＣｂＣｒ，Ｈ−Ｓｙｎｃ，Ｖ−Ｓｙｎｃ信号に変換するデコーダを有している。

メモリ３７には、第２周囲監視部３２を構成する各カメラ（３２ａ，３２ｂ，３２ｃ）の設置位置，設置方向，校正データであるカメラ内部パラメータ（焦点距離，画像中心位置，歪収差係数等）と、被牽引車側連結部３４の位置が記憶されている。

第２周囲監視部３２を構成する各カメラ（３２ａ，３２ｂ，３２ｃ）で撮像された画像は、第２カメラＥＣＵ３６でデジタル画像に変換されて、第２ＣＡＮコントローラ３８を経て、ＣＡＮ通信線５０を介して牽引車１０に送信される。また、メモリ３７に記憶された情報も、第２ＣＡＮコントローラ３８を経て、ＣＡＮ通信線５０を介して牽引車１０に送信される。

牽引車１０は、前述した各カメラ（１２ａ，１２ｂ，１２ｃ，１２ｄ）の他に、第１カメラＥＣＵ１６と、メモリ１７と、第１ＣＡＮコントローラ１８と、姿勢センサ２０と、連結検出センサ２２と、タイヤ切れ角センサ２４と、タッチパネル付モニタ２６と、ＥＣＵ２８を有する。

第１カメラＥＣＵ１６は、第１周囲監視部１２を構成する各カメラ（１２ａ，１２ｂ，１２ｃ，１２ｄ）から出力されたコンポジット信号（アナログ信号）をデジタル化された画像信号に変換するＡＤ変換器と、デジタル化された画像信号をＲＧＢ信号、または、輝度色差信号であるＹＣｂＣｒ，Ｈ−Ｓｙｎｃ，Ｖ−Ｓｙｎｃ信号に変換するデコーダを有している。

メモリ１７には、第１周囲監視部１２を構成する各カメラ（１２ａ，１２ｂ，１２ｃ，１２ｄ）の設置位置，設置方向，校正データであるカメラ内部パラメータ（焦点距離，画像中心位置，歪収差係数等）、および牽引車側連結部１４の位置が記憶されている。

ＣＡＮ通信線５０を介して被牽引車３０から送信された情報は、第１ＣＡＮコントローラ１８を経て、第１カメラＥＣＵ１６とＥＣＵ２８で受信される。

姿勢センサ２０は、例えば角度センサで構成されて、牽引車１０と被牽引車３０の連結角度（姿勢）を検出する。

連結検出センサ２２は、例えば接触による通電を検出することによって、牽引車１０と被牽引車３０が連結されたことを検出する。

タイヤ切れ角センサ２４は、牽引車１０の前輪の向きを検出する。

タッチパネル付モニタ２６は、生成された画像を表示するとともに、タッチパネル機能を有しており、画面切り替え等の操作指示を検出する。

ＥＣＵ２８は、牽引車用周囲監視装置１００の全体の動きを制御するとともに、第１周囲監視部１２と第２周囲監視部３２がそれぞれ撮影した画像を合成する際に、重複する領域の合成方法を決定する。また、牽引車１０と被牽引車３０の予測進路の算出を行う
（実施例１の機能構成の説明）

次に、図４を用いて、牽引車用周囲監視装置１００の機能構成について説明する。図４は牽引車用周囲監視装置１００の機能構成を示す機能ブロック図である。

被牽引車３０は、それぞれ前述した、第２周囲監視部３２を構成する複数のカメラ（３２ａ，３２ｂ，３２ｃ）（撮像部）と、第２カメラＥＣＵ３６（図３）で構成された画像入力部３６ａと、メモリ３７（図３）で構成された被牽引車情報記憶部３７ａ（第２情報記憶部，情報記憶部）と、第２ＣＡＮコントローラ３８（図３）で構成された情報送信部３８ａからなる。

牽引車１０は、それぞれ前述した、第１周囲監視部１２を構成する複数のカメラ（１２ａ，１２ｂ，１２ｃ，１２ｄ）（撮像部）と、第１カメラＥＣＵ１６（図３）で構成された画像入力部１６ａと画像変換部１６ｂと画像合成部１６ｃと、メモリ１７（図３）で構成された牽引車情報記憶部１７ａ（第１情報記憶部，情報記憶部）と、第１ＣＡＮコントローラ１８（図３）で構成された情報受信部１８ａと、姿勢センサ２０（図３）で構成された姿勢検出部２０ａと、連結検出センサ２２（図３）で構成された連結検出部２２ａと、タイヤ切れ角センサ２４（図３）で構成されたタイヤ切れ角検出部２４ａと、ＥＣＵ２８（図３）で構成された画像境界位置算出部２８ａと予測進路算出部２８ｂとタイヤ方向算出部２８ｃと、タッチパネル付モニタ２６（図３）で構成された画像表示部２６ａからなる。

画像入力部１６ａは、第１周囲監視部１２を構成する各カメラ（１２ａ，１２ｂ，１２ｃ，１２ｄ）（撮像部）で撮像された画像をデジタル化する。

画像変換部１６ｂは、第１周囲監視部１２を構成する各カメラ（１２ａ，１２ｂ，１２ｃ，１２ｄ）で撮像された画像を、それぞれ第１仮想視点から俯瞰した複数の第１俯瞰画像Ｉ_ＶＡ，Ｉ_ＶＢ，Ｉ_ＶＤ（詳しくは後述する）に変換するとともに、第２周囲監視部３２を構成する各カメラ（３２ａ，３２ｂ，３２ｃ）（撮像部）で撮像された画像を、それぞれ第２仮想視点から俯瞰した複数の第２俯瞰画像Ｉ_ＶＥ，Ｉ_ＶＦ，Ｉ_ＶＧ（詳しくは後述する）に変換する。

画像合成部１６ｃは、複数の第１俯瞰画像Ｉ_ＶＡ，Ｉ_ＶＢ，Ｉ_ＶＤを合成して第１合成画像Ｉ_Ｖ１（詳しくは後述する）を生成し、複数の第２俯瞰画像Ｉ_ＶＥ，Ｉ_ＶＦ，Ｉ_ＶＧを合成して第２合成画像Ｉ_Ｖ２（詳しくは後述する）を生成する。さらに、第１合成画像Ｉ_Ｖ１と第２合成画像Ｉ_Ｖ２を第３合成画像Ｉ_Ｖ（合成画像）（詳しくは後述する）に合成する。

画像境界位置算出部２８ａは、第１周囲監視部１２で撮像された各画像から生成された複数の第１俯瞰画像Ｉ_ＶＡ，Ｉ_ＶＢ，Ｉ_ＶＤと、第２周囲監視部３２で撮像された各画像から生成された複数の第２俯瞰画像Ｉ_ＶＥ，Ｉ_ＶＦ，Ｉ_ＶＧと、を重ね合わせる際の境界線の位置を算出する。

予測進路算出部２８ｂは、牽引車１０のタイヤの向き（前輪の向き）と、牽引車１０、および被牽引車３０のサイズを利用して牽引車１０、被牽引車３０の予測進路を算出する。

タイヤ方向算出部２８ｃは、タイヤ切れ角検出部２４ａで検出された牽引車１０の前輪の切れ角に基づいて、牽引車１０の前輪の向きを算出する。
（合成画像の構成の説明）

次に、図５（ａ），（ｂ）を用いて、牽引車用周囲監視装置１００によって生成される第３合成画像Ｉ_Ｖ（合成画像）の構成を説明する。

第１周囲監視部１２を構成する各カメラ（１２ａ，１２ｂ，１２ｃ，１２ｄ）（撮像部）で撮像された各画像は、牽引車１０の上空の第１仮想視点Ｖ１に仮想的に設置された第１仮想カメラから観測されると予測される第１合成画像Ｉ_Ｖ１に変換される。

また、第２周囲監視部３２を構成する各カメラ（３２ａ，３２ｂ，３２ｃ）（撮像部）で撮像された各画像は、被牽引車３０の上空の第２仮想視点Ｖ２に仮想的に設置された第２仮想カメラから観測されると予測される第２合成画像Ｉ_Ｖ２に変換される。

第１仮想カメラの設置位置である第１仮想視点Ｖ１と第２仮想カメラの設置位置である第２仮想視点Ｖ２は、それぞれ自由な位置に設置することができるが、第１仮想視点Ｖ１は牽引車１０の真上に設置するのが望ましい。そして、第２仮想視点Ｖ２は被牽引車３０の真上に、第１仮想視点Ｖ１と同じ高さに、第１仮想視点Ｖ１の観測範囲と第２仮想視点Ｖ２の観測範囲が重複するように設置するのが望ましい。

これは、最終的に牽引車１０と被牽引車３０の周囲を見渡した１枚の第３合成画像Ｉ_Ｖ（合成画像）を生成するため、この第３合成画像Ｉ_Ｖに途切れが生じず、なおかつ均一な画質の第３合成画像Ｉ_Ｖを得るためである。図５（ａ）は、このようにして第１仮想視点Ｖ１と第２仮想視点Ｖ２を設置した様子を示している。

第１仮想視点Ｖ１から観測されると予測される第１合成画像Ｉ_Ｖ１は、第１周囲監視部１２を構成する各カメラ（１２ａ，１２ｂ，１２ｃ，１２ｄ）で撮像された各画像を、それぞれ、第１仮想視点Ｖ１から観測されると予測される複数の第１俯瞰画像Ｉ_ＶＡ，Ｉ_ＶＢ，Ｉ_ＶＤに変換して、さらに、それらの画像を１枚の画像に合成することによって生成される。

ここで、牽引車１０に設置された後方カメラ１２ｃの観測範囲には、連結された被牽引車３０の像が映り込んでしまい、本来観測したい牽引車１０の後方が映らないため、以後の処理では、後方カメラ１２ｃで撮像された画像は使用しない。なお、後方カメラ１２ｃで撮像された画像は、牽引車１０が単独で（被牽引車を連結しないで）走行するときに、牽引車１０の後方を監視する目的で利用される。

なお、第２仮想視点Ｖ２から観測されると予測される第２合成画像Ｉ_Ｖ２は、第２周囲監視部３２を構成する各カメラ（３２ａ，３２ｂ，３２ｃ）で撮像された各画像を、それぞれ、第２仮想視点Ｖ２から観測されると予測される複数の第２俯瞰画像Ｉ_ＶＥ，Ｉ_ＶＦ，Ｉ_ＶＧに変換して、さらに、それらの画像を１枚の画像に合成することによって生成される。

第１周囲監視部１２を構成する各カメラ（１２ａ，１２ｂ，１２ｃ）で撮影した各画像を、第１仮想視点Ｖ１から観測されると予測される複数の第１俯瞰画像Ｉ_ＶＡ，Ｉ_ＶＢ，Ｉ_ＶＤに変換する手法には様々なものがあり、そのいずれを用いてもよい。例えば、各カメラ（１２ａ，１２ｂ，１２ｃ）で撮影された各画像に、全て平坦な地面（高さ０の平面）が映っているものと仮定して、その地面の点が、第１仮想視点Ｖ１から見て、複数の第１俯瞰画像Ｉ_ＶＡ，Ｉ_ＶＢ，Ｉ_ＶＤ上でどの位置（座標）に観測されるかを逐次計算することによって生成することができる。複数の第２俯瞰画像Ｉ_ＶＥ，Ｉ_ＶＦ，Ｉ_ＶＧについても同様にして生成することができる。

そして、複数の第１俯瞰画像Ｉ_ＶＡ，Ｉ_ＶＢ，Ｉ_ＶＤは第１合成画像Ｉ_Ｖ１に合成されて、複数の第２俯瞰画像Ｉ_ＶＥ，Ｉ_ＶＦ，Ｉ_ＶＧは第２合成画像Ｉ_Ｖ２に合成されて、第１合成画像Ｉ_Ｖ１と第２合成画像Ｉ_Ｖ２は、境界線Ｌ１，Ｌ２の位置で１枚の第３合成画像Ｉ_Ｖに合成される。

このとき、第１合成画像Ｉ_Ｖ１と第２合成画像Ｉ_Ｖ２は、第１合成画像Ｉ_Ｖ１の中で牽引車１０の牽引車側連結部１４の位置に対応する画素と、第２合成画像Ｉ_Ｖ２の中で被牽引車３０の被牽引車側連結部３４の位置に対応する画素とを合致させることによって合成する。すなわち、図５（ｂ）に示す点Ｃ８の位置で第１合成画像Ｉ_Ｖ１と第２合成画像Ｉ_Ｖ２を合成する。

なお、点Ｃ８を合致させただけでは、２枚の画像の向きが特定されない。そのため、牽引車１０と被牽引車３０のなす角度（姿勢）を検出して、この姿勢に応じた角度で第１合成画像Ｉ_Ｖ１と第２合成画像Ｉ_Ｖ２を合成する。図５（ａ），（ｂ）の場合、牽引車１０と被牽引車３０は直進状態にあるため、第１合成画像Ｉ_Ｖ１と第２合成画像Ｉ_Ｖ２は、図５（ｂ）に示すように、同じ向きで合成される。

次に、第１俯瞰画像Ｉ_ＶＡ，Ｉ_ＶＢ，Ｉ_ＶＤと第２俯瞰画像Ｉ_ＶＥ，Ｉ_ＶＦ，Ｉ_ＶＧを生成する方法について説明する。第１周囲監視部１２を構成する各カメラ（１２ａ，１２ｂ，１２ｃ）で撮影した画像を、第１仮想視点Ｖ１から観測されると予測される複数の第１俯瞰画像Ｉ_ＶＡ，Ｉ_ＶＢ，Ｉ_ＶＤに変換して、さらに第１合成画像Ｉ_Ｖ１に合成するためには、各カメラ（１２ａ，１２ｂ，１２ｃ）の設置位置，設置方向と、各カメラ（１２ａ，１２ｂ，１２ｃ）のカメラ内部パラメータ（焦点距離，画像中心位置，歪収差係数等）が必要である。このうち、各カメラ（１２ａ，１２ｂ，１２ｃ）の設置位置と設置方向は予め計測しておくことができる。またカメラ内部パラメータは、各カメラ（１２ａ，１２ｂ，１２ｃ）の校正（キャリブレーション）を行って推定することができる。このようにして予め取得された値は、牽引車情報記憶部１７ａ（第１情報記憶部，情報記憶部）（図４）に記憶しておく。なお、必要な座標変換、合成の演算は、牽引車情報記憶部１７ａに記憶された値を用いてその都度行ってもよいが、演算をより効率的に行うために、座標変換、合成の規則を、予めＬＵＴ（ルックアップテーブル）で構成された座標変換合成テーブルの形式で用意しておいてもよい。

同様に、第２周囲監視部３２を構成する各カメラ（３２ａ，３２ｂ，３２ｃ）で撮像された各画像を、それぞれ、第２仮想視点Ｖ２から観測されると予測される複数の第２俯瞰画像Ｉ_ＶＥ，Ｉ_ＶＦ，Ｉ_ＶＧに変換して、さらに第２合成画像Ｉ_Ｖ２に合成するためには、各カメラ（３２ａ，３２ｂ，３２ｃ）の取付位置，設置方向と、各カメラ（３２ａ，３２ｂ，３２ｃ）のカメラ内部パラメータが必要である。これらの値は、前述したように、予め測定して被牽引車情報記憶部３７ａ（第２情報記憶部，情報記憶部）（図４）に記憶しておく。また、必要な座標変換、合成の演算をより効率的に行うために、前述したように、座標変換、合成の規則を、予めＬＵＴ（ルックアップテーブル）で構成された座標変換合成テーブルの形式で用意しておいてもよい。

このようにして生成された第１合成画像Ｉ_Ｖ１と第２合成画像Ｉ_Ｖ２を合成して第３合成画像Ｉ_Ｖ（合成画像）を生成するためには、前述した点Ｃ８の位置、および、牽引車１０と被牽引車３０の姿勢が必要である。

このうち、点Ｃ８の位置は、牽引車情報記憶部１７ａに記憶された牽引車側連結部１４の位置と、被牽引車情報記憶部３７ａに記憶された被牽引車側連結部３４の位置を参照することによって取得することができる。また、牽引車１０と被牽引車３０の姿勢は、姿勢検出部２０ａで検出することができる。

ここで、図５（ｂ）に示す境界線Ｌ１，Ｌ２の位置は、牽引車１０に対する被牽引車３０の姿勢（牽引車１０と被牽引車３０のなす角度）に応じて変化する。したがって、牽引車１０と被牽引車３０の姿勢が変化すると、境界線Ｌ１，Ｌ２の位置が変化して、それに応じて第３合成画像Ｉ_Ｖ（合成画像）の形態も変化する。姿勢変化に応じた第３合成画像Ｉ_Ｖの具体的な形態については後述する。

第３合成画像Ｉ_Ｖ（合成画像）には、さらに、図５（ｂ）に示すように、牽引車１０を真上から俯瞰した牽引車アイコンＲ_１と、被牽引車３０を真上から俯瞰した被牽引車アイコンＲ_２がそれぞれ重畳される。

さらに、第３合成画像Ｉ_Ｖ（合成画像）には、牽引車１０の左前輪Ｔ_Ｌと右前輪Ｔ_Ｒの向きが描画されて、牽引車１０の左前輪Ｔ_Ｌの予測進路Ｔraと、牽引車１０の右前輪Ｔ_Ｒの予測進路Ｔrbと、被牽引車３０の左後輪の予測進路Ｔrcと、被牽引車３０の右後輪の予測進路Ｔrdが、それぞれ描画される。牽引車１０の左前輪Ｔ_Ｌと右前輪Ｔ_Ｒの向きは、タイヤ切れ角検出部２４ａ（図４）で検出されたタイヤ切れ角に基づいて、タイヤ方向算出部２８ｃ（図４）で算出される。また、各予測進路Ｔra，Ｔrb，Ｔrc，Ｔrdは、牽引車１０と被牽引車のサイズとタイヤ設置位置を用いて、予測進路算出部２８ｂにおいて算出される。なお、必要な車両情報は、予め記憶されて、必要に応じて使用されるものとする。

このようにして生成された第３合成画像Ｉ_Ｖ（合成画像）は、牽引車１０に設置された画像表示部２６ａ（図４）に出力される。そして、牽引車１０の運転者は、この第３合成画像Ｉ_Ｖを確認して、牽引車１０，被牽引車３０の周囲の障害物の存在や牽引車１０，被牽引車３０の予測進路を把握して運転を行う。

なお、以後の説明を簡単にするため、第１周囲監視部１２を構成する各カメラ（１２ａ，１２ｂ，１２ｄ）（図１（ａ））は、それぞれ点Ｃ１，点Ｃ２，点Ｃ４の位置に設置されているものとする。また、第２周囲監視部３２を構成する各カメラ（３２ａ，３２ｂ，３２ｃ）（図２（ａ））は、それぞれ点Ｃ５，点Ｃ６，点Ｃ７の位置に設置されているものとする。
（第１合成画像と第２合成画像の合成方法の説明）

次に、第１合成画像Ｉ_Ｖ１と第２合成画像Ｉ_Ｖ２の合成方法について、図６を用いて説明する。

図６は、図５（ｂ）に示した第３合成画像Ｉ_Ｖ（合成画像）の右半分の領域のみを、説明のために拡大して示したものである。図６に示すように、第１仮想視点Ｖ１（図５（ａ））から観測されると予測される第１合成画像Ｉ_Ｖ１と、第２仮想視点Ｖ２（図５（ａ））から観測されると予測される第２合成画像Ｉ_Ｖ２は、境界線Ｌ１の位置で合成される。

ここで、点Ｃ４の位置に設置された、牽引車１０の右側方カメラ１２ｄ（図１（ａ））の撮像領域Ｚ_０４と、点Ｃ７の位置に設置された、被牽引車３０の右側方カメラ３２ｃ（図２（ａ））の撮像領域Ｚ_０７と、は重複撮像領域Ｚ_０を有するように配置されているものとする。

したがって、例えば、図６に示す点Ａの位置，点Ｂの位置は、それぞれ、牽引車１０の右側方カメラ１２ｄ（図１（ａ））と被牽引車３０の右側方カメラ３２ｃ（図２（ａ））の両方で観測される。そのため、第１合成画像Ｉ_Ｖ１と第２合成画像Ｉ_Ｖ２を合成する際、重複撮像領域Ｚ_０については、右側方カメラ１２ｄ，３２ｃのうちいずれか一方のカメラで観測された情報を選択する必要がある。

本実施例１では、重複撮像領域Ｚ_０の中の着目した点Ａ，点Ｂから見て、牽引車１０の右側方カメラ１２ｄと被牽引車３０の右側方カメラ３２ｃのうち、より近いカメラで撮像された情報を選択する。これは、カメラから近い位置で撮像された、より解像度の高い情報を選択して利用することによって、より高画質な第３合成画像Ｉ_Ｖ（合成画像）を生成するためである。

例えば、図６に示す例では、点Ａにおいて、線分ＡＣ４の長さ＜線分ＡＣ７の長さとなるため、牽引車１０の点Ｃ４に設置された右側方カメラ１２ｄで撮像された情報が選択される。また、点Ｂにおいては、線分ＢＣ４の長さ＞線分ＢＣ７の長さとなるため、被牽引車３０の点Ｃ７に設置された右側方カメラ３２ｃで撮像された情報が選択される。

すなわち、点Ｃ４と点Ｃ７を結ぶ線分の垂直２等分線を境界線Ｌ１として、境界線Ｌ１よりも上方では、牽引車１０の右側方カメラ１２ｄで撮像された情報が選択される。また、境界線Ｌ１よりも下方では、被牽引車３０の右側方カメラ３２ｃで撮像された情報が選択される。そして、第１合成画像Ｉ_Ｖ１と第２合成画像Ｉ_Ｖ２が合成されて第３合成画像Ｉ_Ｖ（合成画像）が生成される。
（第３合成画像（合成画像）の実例の説明）

次に、図７，図８，図９を用いて、本実施例１で生成される第３合成画像Ｉ_Ｖ（合成画像）の実例について説明する。

図７は、牽引車１０が被牽引車３０を連結した状態で前進しながら右旋回している際に生成される第３合成画像Ｉ_Ｖ（合成画像）の例である。牽引車１０と被牽引車３０が図７の状態にあるとき、牽引車１０は被牽引車３０に対して、牽引車側連結部１４（被牽引車側連結部３４）を支点として右方向を向いている。その角度は姿勢検出部２０ａ（図４）で検出される。そして、第１周囲監視部１２を構成する各カメラ（１２ａ，１２ｂ，１２ｄ）（図１（ａ））で撮像された複数の第１俯瞰画像Ｉ_ＶＡ，Ｉ_ＶＢ，Ｉ_ＶＤから生成された第１合成画像Ｉ_Ｖ１と、第２周囲監視部３２を構成する各カメラ（３２ａ，３２ｂ，３２ｃ）（図２（ａ））で撮像された複数の第２俯瞰画像Ｉ_ＶＥ，Ｉ_ＶＦ，Ｉ_ＶＧから生成された第２合成画像Ｉ_Ｖ２と、が検出された角度に応じて合成される。なお、このとき、第３合成画像Ｉ_Ｖ（合成画像）の視認性を高めるために、牽引車１０を含む第１合成画像Ｉ_Ｖ１は、常に同じ位置に、真上を向いた状態で表示される。

第１合成画像Ｉ_Ｖ１の一部である第１俯瞰画像Ｉ_ＶＤと第２合成画像Ｉ_Ｖ２の一部である第２俯瞰画像Ｉ_ＶＧを合成する際の境界線Ｌ１は、前述したように、点Ｃ４と点Ｃ７を結ぶ線分の垂直２等分線として設定される。同様にして、第１合成画像Ｉ_Ｖ１の一部である第１俯瞰画像Ｉ_ＶＢと第２合成画像Ｉ_Ｖ２の一部である第２俯瞰画像Ｉ_ＶＥを合成する際の境界線Ｌ２は、牽引車１０の左側方カメラ３２ａが設置された点Ｃ２と被牽引車３０の左側方カメラ３２ａが設置された点Ｃ５を結ぶ線分の垂直２等分線として設定される。

牽引車１０と被牽引車３０のなす角度が大きくなると、各カメラ（１２ａ，１２ｂ，１２ｄ，３２ａ，３２ｂ，３２ｃ）から死角となる領域が発生する。この死角領域Ｚ_Ｐに対応する位置には、図７に示すように所定の値（例えば０）を格納して、情報がないことを示す。

また、牽引車１０の左前輪Ｔ_Ｌと右前輪Ｔ_Ｒの向き、および牽引車１０，被牽引車３０の予測進路Ｔra，Ｔrb，Ｔrc，Ｔrdが、それぞれ第３合成画像Ｉ_Ｖ（合成画像）の上に重畳されて、牽引車１０，被牽引車３０の今後の動きが可視化される。

図８は、牽引車１０が被牽引車３０を連結した状態で、左に操舵しながら後退している際に生成される第３合成画像Ｉ_Ｖ（合成画像）の例である。

この場合も、前述した通り、牽引車１０と被牽引車３０の姿勢に応じた角度で第１合成画像Ｉ_Ｖ１と第２合成画像Ｉ_Ｖ２が合成される。そして、境界線Ｌ１，Ｌ２の位置も、前述した通りに計算されて、第１合成画像Ｉ_Ｖ１と第２合成画像Ｉ_Ｖ２の合成が行われる。

図９は、図８に示す第３合成画像Ｉ_Ｖ（合成画像）が得られたときに、画像表示部２６ａ（図４）に表示される表示情報Ｉ_Ｐの例である。画像表示部２６ａはタッチパネル機能を併せ持っており、図９に示すように、第３合成画像Ｉ_Ｖと、被牽引車３０の後方カメラ３２ｂ（図２（ａ））で撮像された後方画像Ｉ_Ｂと、表示情報Ｉ_Ｐを必要に応じて切り換える操作スイッチである情報操作アイコンＱ_１，Ｑ_２がそれぞれ表示される。それぞれの画像およびアイコンは、表示画面Ｉ_Ｃの上に、予め設定された位置に配置される。牽引車１０の運転者は、この表示情報Ｉ_Ｐを確認して、周囲の状況を認識した上で運転を行う。
（実施例１の処理の流れの説明）

次に、実施例１の具体的な処理の流れについて、図１０，図１１のフローチャートを用いて説明する。

図１０は、実施例１で行う処理の全体の流れを示したフローチャートである。以下、順を追って説明する。なお、図１０のフローチャートは、所定の周期で自動的に繰り返して実行される。

（ステップＳ１０）牽引車１０と被牽引車３０が連結したか否かを検出する。連結したことが確認されたらステップＳ１５に進み、連結が確認できないときは図１０の処理を終了する。

（ステップＳ１５）被牽引車３０にカメラ（撮像部）が設置されているか否かを、画像入力部３６ａを構成する第２カメラＥＣＵ３６（図３）が設置されているか否かを判定することによって判断する。被牽引車３０に第２カメラＥＣＵ３６が設置されていることが確認されたときはステップＳ２０に進み、それ以外のときは図１０の処理を終了する。

（ステップＳ２０）ステップＳ２０を以前に実行したか否かを判断する。ステップＳ２０を初めて実行したときはステップＳ２５に進み、それ以外のときはステップＳ３５に進む。

（ステップＳ２５）被牽引車情報記憶部３７ａ（第２情報記憶部，情報記憶部）に記憶された情報を牽引車１０に転送する。これによって、第２周囲監視部３２を構成する各カメラ（３２ａ，３２ｂ，３２ｃ）の設置位置，設置方向，カメラ内部パラメータ、および被牽引車側連結部３４の位置が、それぞれ牽引車１０に転送される。

（ステップＳ３０）牽引車１０に設置された第１周囲監視部１２を構成するカメラ（撮像部）の中で、被牽引車３０が連結されたときに不要となるカメラの有無を判断する。本実施例１の場合、前述したように後方カメラ１２ｃが不要と判断されて、後方カメラ１２ｃへの電源供給を停止し、後方カメラ１２ｃは以降の処理には使用しない。なお、不要になるカメラは、連結される被牽引車の形式によって異なるため、予め、例えば牽引車情報記憶部１７ａ（第１情報記憶部，情報記憶部）に、該当する被牽引車が連結されたときには所定のカメラの電源供給を切断する旨（例えば、被牽引車３０が連結されたときには、後方カメラ１２ｃを停止する）の規則を記憶しておき、この規則に基づいて判断すればよい。

（ステップＳ３５）被牽引車３０に設置された第２周囲監視部３２を構成する各カメラ（３２ａ，３２ｂ，３２ｃ）（撮像部）で撮像された画像を牽引車１０に転送する。

（ステップＳ４０）画像変換部１６ｂにおいて、第１俯瞰画像Ｉ_ＶＡ，Ｉ_ＶＢ，Ｉ_ＶＤと第２俯瞰画像Ｉ_ＶＥ，Ｉ_ＶＦ，Ｉ_ＶＧを生成する。

（ステップＳ４５）画像合成部１６ｃにおいて、第１俯瞰画像Ｉ_ＶＡ，Ｉ_ＶＢ，Ｉ_ＶＤを合成して第１合成画像Ｉ_Ｖ１を生成し、第２俯瞰画像Ｉ_ＶＥ，Ｉ_ＶＦ，Ｉ_ＶＧを合成して第２合成画像Ｉ_Ｖ２を生成する。

（ステップＳ５０）第１合成画像Ｉ_Ｖ１と第２合成画像Ｉ_Ｖ２を重ね合わせて、第３合成画像Ｉ_Ｖ（合成画像）を生成する。この処理の詳細な流れは後述する。

（ステップＳ５５）タイヤ切れ角センサ２４によって牽引車１０の前輪Ｔ_Ｌ，Ｔ_Ｒの向きを検出して、検出された前輪Ｔ_Ｌ，Ｔ_Ｒの向きに基づいて、牽引車１０の前輪を描画する。また、牽引車１０と被牽引車３０の予測進路Ｔra，Ｔrb，Ｔrc，Ｔrdを推定して、推定された予測進路Ｔra，Ｔrb，Ｔrc，Ｔrdを第３合成画像Ｉ_Ｖ（合成画像）に重畳表示する。

（ステップＳ６０）第３合成画像Ｉ_Ｖ（合成画像）を画像表示部２６ａに表示する。

なお、図１０のフローチャートには記載していないが、牽引車１０のエンジンが停止したとき，牽引車１０と被牽引車３０の連結が解除されたとき、または、運転者の操作によって第３合成画像Ｉ_Ｖ（合成画像）の表示が消去されたときには、図１０の処理が中止される。

次に、図１１を用いて、ステップＳ５０で行う第１合成画像Ｉ_Ｖ１と第２合成画像Ｉ_Ｖ２の重ね合わせ処理の流れについて、詳しく説明する。

（ステップＳ８０）姿勢検出部２０ａにおいて、牽引車１０と被牽引車３０のなす角度に基づいて、牽引車１０と被牽引車３０の姿勢を算出する。

（ステップＳ８２）画像境界位置算出部２８ａにおいて、第１合成画像Ｉ_Ｖ１と第２合成画像Ｉ_Ｖ２を重ね合わせる際の境界線Ｌ１，Ｌ２の位置を算出する。

（ステップＳ８４）画像合成部１６ｃにおいて、第１合成画像Ｉ_Ｖ１と第２合成画像Ｉ_Ｖ２を重ね合わせて第３合成画像Ｉ_Ｖ（合成画像）を生成する。具体的には、前述した通り、境界線Ｌ１，Ｌ２を境にして、必要な画像情報を選択して重ね合わせる。その後、メインルーチン（図１０のフローチャート）に戻る。

次に、本発明の別の実施形態である牽引車用周囲監視装置１１０について説明する。
（実施例２のシステム構成の説明）

実施例２は、本発明を、被牽引車３０が連結された牽引車１０の周囲状況を監視する牽引車用周囲監視装置１１０に適用したものである。図１２は、牽引車用周囲監視装置１１０の機能構成を示す機能ブロック図である。以下、牽引車用周囲監視装置１００（図４）との相違点についてのみ簡単に説明する。
（実施例２の機能，作用の説明）

牽引車用周囲監視装置１１０は、実施例１で説明した牽引車用周囲監視装置１００と同じ機能を有するが、内部の機能構成が異なっている。なお、牽引車用周囲監視装置１１０によって生成される第１俯瞰画像Ｉ_ＶＡ，Ｉ_ＶＢ，Ｉ_ＶＤ，第２俯瞰画像Ｉ_ＶＥ，Ｉ_ＶＦ，Ｉ_ＶＧ，第１合成画像Ｉ_Ｖ１，第２合成画像Ｉ_Ｖ２，第３合成画像Ｉ_Ｖ（合成画像）は、いずれも、実施例１で説明したものと同じである。

牽引車用周囲監視装置１１０と牽引車用周囲監視装置１００の構成上の違いは、牽引車用周囲監視装置１００では、被牽引車３０が、被牽引車情報記憶部３７ａ（第２情報記憶部）に、第２周囲監視部３２を構成する各カメラ（３２ａ，３２ｂ，３２ｃ）の設置位置，設置方向，カメラ内部パラメータと牽引車側連結部１４の位置を記憶しており、牽引車１０と被牽引車３０が連結したときに、これらの情報を牽引車１０に転送しているのに対し、牽引車用周囲監視装置１１０では、被牽引車３０は、被牽引車３０を識別することができる識別情報のみを記憶している点である。この識別情報は、図１２に示す識別情報記憶部３９ａに記憶されている。

そして、牽引車１０に設置された被牽引車情報記憶部１９ａ（第３情報記憶部）には、牽引車１０に連結される可能性のある複数の被牽引車（３０，４０，…）のそれぞれの識別情報と、それぞれの被牽引車に設置された各カメラの設置位置，設置方向，カメラ内部パラメータと、各被牽引車（３０，４０，…）の被牽引車側連結部（３４，４４，…）の位置が記憶されている。

牽引車１０と被牽引車３０が連結されたときには、被牽引車３０に記憶された識別情報が、牽引車１０に転送される。

牽引車１０は、被牽引車３０の識別情報を受信すると、被牽引車情報記憶部１９ａ（第３情報記憶部）に記憶された識別情報と照合して、連結された被牽引車３０を特定する。そして、牽引車１０に転送された、被牽引車３０に設置されたカメラの設置位置，設置方向，カメラ内部パラメータと、被牽引車側連結部３４の位置を読み出す。

読み出された情報を基づいて、被牽引車３０から逐次送信される、第２周囲監視部３２を構成する各カメラ（３２ａ，３２ｂ，３２ｃ）で撮像された複数の画像が、それぞれ俯瞰画像に変換されるとともに、変換された複数の俯瞰画像が、牽引車１０と被牽引車３０の姿勢に応じて合成されて、実施例１で説明した第３合成画像Ｉ_Ｖ（合成画像）が生成される。

牽引車１０には様々な形式の被牽引車（３０，４０，…）が連結されるため、このような構成を採ることによって、実施例１において被牽引車３０に設置していた被牽引車情報記憶部３７ａ（図４）の記憶容量を削減することができる。また、被牽引車が連結されたときに識別情報のみを送信すればよいため、連結後、即座に牽引車用周囲監視装置１１０が第３合成画像Ｉ_Ｖ（合成画像）を出力することができ、運用の効率化を図ることができる。
（実施例２の処理の流れの説明）

次に、実施例２の具体的な処理の流れについて、図１３のフローチャートを用いて説明する。なお、図１３のフローチャートは、所定の周期で自動的に繰り返して実行される。

（ステップＳ１００）牽引車１０と被牽引車３０が連結したか否かを検出する。連結したことが確認されたらステップＳ１０５に進み、連結が確認できないときは図１３の処理を終了する。

（ステップＳ１０５）被牽引車３０にカメラ（撮像部）が設置されているか否かを、画像入力部３６ａを構成する第２カメラＥＣＵ３６（図３）が設置されているか否かを用いて判断する。被牽引車３０に第２カメラＥＣＵ３６が設置されていることが確認されたときはステップＳ１１０に進み、それ以外のときは図１３の処理を終了する。

（ステップＳ１１０）ステップＳ１１０を以前に実行したか否かを判断する。ステップＳ１１０を初めて実行したときはステップＳ１１５に進み、それ以外のときはステップＳ１２５に進む。

（ステップＳ１１５）識別情報記憶部３９ａに記憶されている被牽引車３０の識別情報を牽引車１０に転送する。そして、牽引車１０側で、連結された被牽引車３０を特定する。

（ステップＳ１２０）牽引車１０に設置された第１周囲監視部１２を構成するカメラ（撮像部）の中で、被牽引車３０が連結されたときに不要となるカメラの有無を判断する。本実施例２の場合、後方カメラ１２ｃが不要と判断されて、カメラ１２ｃへの電源供給を停止し、カメラ１２ｃは以降の処理には使用しない。

（ステップＳ１２５）被牽引車３０に設置された第２周囲監視部３２を構成する各カメラ（３２ａ，３２ｂ，３２ｃ）（撮像部）で撮像された画像を牽引車１０に転送する。

（ステップＳ１３０）画像変換部１６ｂにおいて、第１俯瞰画像Ｉ_ＶＡ，Ｉ_ＶＢ，Ｉ_ＶＤと第２俯瞰画像Ｉ_ＶＥ，Ｉ_ＶＦ，Ｉ_ＶＧを生成する。

（ステップＳ１３５）画像合成部１６ｃにおいて、第１俯瞰画像Ｉ_ＶＡ，Ｉ_ＶＢ，Ｉ_ＶＤを合成して第１合成画像Ｉ_Ｖ１を生成し、第２俯瞰画像Ｉ_ＶＥ，Ｉ_ＶＦ，Ｉ_ＶＧを合成して第２合成画像Ｉ_Ｖ２を生成する。

（ステップＳ１４０）第１合成画像Ｉ_Ｖ１と第２合成画像Ｉ_Ｖ２を重ね合わせて、第３合成画像Ｉ_Ｖ（合成画像）を生成する。この処理の流れは、図１１のフローチャートで説明した通りである。

（ステップＳ１４５）タイヤ切れ角センサ２４によって牽引車１０の前輪Ｔ_Ｌ，Ｔ_Ｒの向きを検出して、検出された前輪Ｔ_Ｌ，Ｔ_Ｒの向きに基づいて、牽引車１０の前輪を描画する。また、牽引車１０と被牽引車３０の予測進路Ｔra，Ｔrb，Ｔrc，Ｔrdを推定して、推定された予測進路Ｔra，Ｔrb，Ｔrc，Ｔrdを第３合成画像Ｉ_Ｖ（合成画像）に重畳表示する。

（ステップＳ１５０）第３合成画像Ｉ_Ｖ（合成画像）を画像表示部２６ａに表示する。

なお、図１３のフローチャートには記載していないが、牽引車１０のエンジンが停止したとき，牽引車１０と被牽引車３０の連結が解除されたとき、または、運転者の操作によって第３合成画像Ｉ_Ｖ（合成画像）の表示が消去されたときには、図１３の処理が中止される。

以上説明したように、このように構成された本発明の実施例１に係る牽引車用周囲監視装置１００によれば、連結検出部２２ａが、牽引車１０と被牽引車３０が連結したことを検出したときに、画像変換部１６ｂが、牽引車１０の周囲に設置された第１周囲監視部１２を構成する複数のカメラ（１２ａ，１２ｂ，１２ｃ，１２ｄ）（撮像部）で撮像された各画像を、牽引車情報記憶部１７ａ（情報記憶部）に記憶された、第１周囲監視部１２が有する複数のカメラ（１２ａ，１２ｂ，１２ｃ，１２ｄ）（撮像部）の各設置位置，各設置方向，各校正データに基づいて第１仮想視点Ｖ１から俯瞰した複数の第１俯瞰画像（Ｉ_ＶＡ，Ｉ_ＶＢ，Ｉ_ＶＤ）に変換して、被牽引車３０の周囲に設置された第２周囲監視部３２を構成する複数のカメラ（３２ａ，３２ｂ，３２ｃ）（撮像部）で撮像された各画像を、被牽引車情報記憶部３７ａ（情報記憶部）に記憶された、第２周囲監視部３２が有する複数のカメラ（３２ａ，３２ｂ，３２ｃ）（撮像部）の各設置位置，各設置方向，各校正データに基づいて第２仮想視点Ｖ２から俯瞰した複数の第２俯瞰画像（Ｉ_ＶＥ，Ｉ_ＶＦ，Ｉ_ＶＧ）に変換する。そして、画像合成部１６ｃが、牽引車１０と被牽引車３０の連結位置と姿勢検出部２０ａが検出した姿勢に基づいて、複数の第１俯瞰画像（Ｉ_ＶＡ，Ｉ_ＶＢ，Ｉ_ＶＤ）と複数の第２俯瞰画像（Ｉ_ＶＥ，Ｉ_ＶＦ，Ｉ_ＶＧ）を合成して第３合成画像Ｉ_Ｖ（合成画像）を生成する。さらに、生成された第３合成画像Ｉ_Ｖに、タイヤ方向算出部２８ｃが算出した牽引車１０の前輪Ｔ_Ｌ，Ｔ_Ｒの向きと、予測進路算出部２８ｂが算出した牽引車１０および被牽引車３０の予測進路Ｔra，Ｔrb，Ｔrc，Ｔrdを重畳して画像表示部２６ａに表示する。したがって、牽引車１０と被牽引車３０の周囲にある障害物の位置と方向を、牽引車１０と被牽引車３０の姿勢によらずに、容易に認識することができる。

特に、本発明の実施例１に係る牽引車用周囲監視装置１００によれば、連結検出部２２ａが、牽引車１０と被牽引車３０が連結したことを検出したときに、被牽引車情報記憶部３７ａ（第２情報記憶部）に記憶された、複数のカメラ（３２ａ，３２ｂ，３２ｃ）（撮像部）の各設置位置，各設置方向，各校正データと、牽引車１０との連結位置と、第２周囲監視部３２で撮像した各画像を情報送信部３８ａによって牽引車１０に送信する。そして、牽引車１０の情報受信部１８ａは、送信された情報を受信して、受信した情報に基づいて、複数のカメラ（３２ａ，３２ｂ，３２ｃ）で撮像された各画像を画像変換部１６ｂで複数の第２俯瞰画像（Ｉ_ＶＥ，Ｉ_ＶＦ，Ｉ_ＶＧ）に変換する。さらに、牽引車１０に備えられた第１周囲監視部１２で撮像した各画像を、牽引車情報記憶部１７ａ（第１情報記憶部）に記憶された、複数のカメラ（１２ａ，１２ｂ，１２ｃ，１２ｄ）（撮像部）の各設置位置，各設置方向，各校正データに基づいて複数の第１俯瞰画像（Ｉ_ＶＡ，Ｉ_ＶＢ，Ｉ_ＶＤ）に変換する。そして、画像合成部１６ｃで、牽引車情報記憶部１７ａに記憶された、カメラ（１２ａ，１２ｂ，１２ｃ，１２ｄ）（撮像部）の各設置位置と、被牽引車３０との連結位置と、被牽引車情報記憶部３７ａに記憶された、複数のカメラ（３２ａ，３２ｂ，３２ｃ）（撮像部）の各設置位置と、牽引車１０との連結位置と、に基づいて、複数の第１俯瞰画像（Ｉ_ＶＡ，Ｉ_ＶＢ，Ｉ_ＶＤ）を合成した第１合成画像Ｉ_Ｖ１と複数の第２俯瞰画像（Ｉ_ＶＥ，Ｉ_ＶＦ，Ｉ_ＶＧ）を合成した第２合成画像Ｉ_Ｖ２をそれぞれ生成し、さらに、第１合成画像Ｉ_Ｖ１と第２合成画像Ｉ_Ｖ２を合成して第３合成画像Ｉ_Ｖ（合成画像）を生成する。したがって、牽引車１０に、形態が異なる複数種の被牽引車が連結する場合であっても、牽引車と被牽引車の周囲を俯瞰した画像を容易に生成することができる。

また、このように構成された本発明の実施例１に係る牽引車用周囲監視装置１００によれば、画像合成部１６ｃは、第１合成画像Ｉ_Ｖ１と第２合成画像Ｉ_Ｖ２の中から、同一位置が撮像される重複撮像領域Ｚ_０を検出して、検出された重複撮像領域Ｚ_０の中においては、第１周囲監視部１２と第２周囲監視部３２のうち、より高い解像度で撮像された情報を第３合成画像Ｉ_Ｖに反映させる。したがって、視認性が高い第３合成画像Ｉ_Ｖを生成することができる。

そして、このように構成された本発明の実施例１に係る牽引車用周囲監視装置１００によれば、画像合成部１６ｃは、重複撮像領域Ｚ_０の中で、第１周囲監視部１２と第２周囲監視部３２のうち、より近くから撮像された情報を第３合成画像Ｉ_Ｖに反映させる。したがって、簡単な演算で、より一層視認性が高い第３合成画像Ｉ_Ｖを生成することができる。

さらに、このように構成された本発明の実施例１に係る牽引車用周囲監視装置１００によれば、第３合成画像Ｉ_Ｖは、同一位置に同一方向に向けて配置した第１合成画像Ｉ_Ｖ１の中の被牽引車３０との連結位置を示す位置に、第２合成画像Ｉ_Ｖ２の中の牽引車１０との連結位置を示す位置を合致させて、さらに、第２合成画像Ｉ_Ｖ２を、姿勢検出部２０ａが検出した姿勢に応じた量だけ回転して合成する。したがって、牽引車１０と被牽引車３０の周囲状況を認識しやすい第３合成画像Ｉ_Ｖを得ることができる。

また、このように構成された本発明の実施例１に係る牽引車用周囲監視装置１００によれば、第１合成画像Ｉ_Ｖ１は、牽引車１０の前方が上部に位置する向きに配置される。したがって、牽引車１０の前方が、常に画像表示部２６ａの上部に表示されるため、周囲状況をより一層認識しやすい第１合成画像Ｉ_Ｖ１を得ることができる。

そして、このように構成された本発明の実施例１に係る牽引車用周囲監視装置１００によれば、連結検出部２２ａが牽引車１０と被牽引車３０の連結を検出したときに、第１周囲監視部１２が有する複数のカメラ（１２ａ，１２ｂ，１２ｃ，１２ｄ）（撮像部）のうち、被牽引車３０の陰となって牽引車１０の周囲が監視できない状態となる撮像部の出力は使用しない。したがって、第３合成画像Ｉ_Ｖの中に不要な情報が表示されないため、第３合成画像Ｉ_Ｖの質を向上させることができる。また、不要な撮像部を使用しないため、牽引車用周囲監視装置１００の消費電力を節約することができる。

また、このように構成された本発明の実施例２に係る牽引車用周囲監視装置１１０によれば、連結検出部２２ａが、牽引車１０と被牽引車３０が連結したことを検出したときに、被牽引車３０が識別情報記憶部３９ａに記憶した、被牽引車３０を特定する識別情報と、第２周囲監視部３２で撮像した各画像を情報送信部３８ａによって牽引車１０に送信する。牽引車１０の情報受信部１８ａは、送信された情報を受信して、画像変換部１６ｂが、識別情報を参照して被牽引車３０を特定して、受信した各画像を、被牽引車情報記憶部１９ａ（第３情報記憶部）に記憶された、複数のカメラ（３２ａ，３２ｂ，３２ｃ）（撮像部）の各設置位置，各設置方向，各校正データと、牽引車１０との連結位置と、に基づいて複数の第２俯瞰画像（Ｉ_ＶＥ，Ｉ_ＶＦ，Ｉ_ＶＧ）に変換する。さらに、画像変換部１６ｂが牽引車１０に備えられた第１周囲監視部１２で撮像した各画像を、牽引車情報記憶部１７ａ（第１情報記憶部）に記憶された、複数のカメラ（１２ａ，１２ｂ，１２ｃ，１２ｄ）（撮像部）の各設置位置，各設置方向，各校正データに基づいて複数の第１俯瞰画像（Ｉ_ＶＡ，Ｉ_ＶＢ，Ｉ_ＶＤ）に変換する。そして、画像合成部１６ｃで、牽引車情報記憶部１７ａに記憶された、複数のカメラ（１２ａ，１２ｂ，１２ｃ，１２ｄ）の各設置位置と、被牽引車３０との連結位置と、被牽引車情報記憶部１９ａに記憶された、複数のカメラ（３２ａ，３２ｂ，３２ｃ）の各設置位置と、牽引車１０との連結位置と、に基づいて、複数の第１俯瞰画像（Ｉ_ＶＡ，Ｉ_ＶＢ，Ｉ_ＶＤ）を合成した第１合成画像Ｉ_Ｖ１と複数の第２俯瞰画像（Ｉ_ＶＥ，Ｉ_ＶＦ，Ｉ_ＶＧ）を合成した第２合成画像Ｉ_Ｖ２をそれぞれ生成し、さらに、第１合成画像Ｉ_Ｖ１と第２合成画像Ｉ_Ｖ２を合成して第３合成画像Ｉ_Ｖを生成する。したがって、被牽引車３０の識別情報記憶部３９ａには被牽引車３０の識別情報のみを記憶すればよいため、被牽引車３０に記憶しておくべき記憶容量を削減することができ、ハードウェア構成の簡素化を図ることができる。さらに、被牽引車３０が連結されたときに識別情報のみを送信すればよいため、牽引車１０と被牽引車３０の連結後、即座に牽引車用周囲監視装置１１０が第３合成画像Ｉ_Ｖを出力することができ、運用の効率化を図ることができる。

なお、実施例１，実施例２では、各カメラ（１２ａ，１２ｂ，１２ｃ，１２ｄ，３２ａ，３２ｂ，３２ｃ）（撮像部）から出力されたアナログ信号をデジタル変換して、必要な変換合成処理を行った後、再びアナログ信号に変換して画像表示部２６ａに表示する構成としたが、その構成に限定されるものではなく、デジタル出力が可能なカメラを用いたシステム構成を採り、カメラから出力されたデジタル信号をそのまま画像処理する構成を採ってもよい。

また、実施例１，実施例２では、ＣＡＮ通信線５０を用いて、牽引車１０と被牽引車３０の間で情報のやり取りを行ったが、この通信手段はＣＡＮ通信線５０に限定されるものではなく、他の通信線、例えば一般的なシリアル通信線等を用いて行ってもよい。

また、実施例１，実施例２では、画像境界位置算出部２８ａにて第１合成画像Ｉ_Ｖ１と第２合成画像Ｉ_Ｖ２を重ね合わせる際の境界線Ｌ１，Ｌ２の位置を算出したが、この方法は、複数の第１俯瞰画像Ｉ_ＶＡ，Ｉ_ＶＢ，Ｉ_ＶＤを合成して第１合成画像Ｉ_Ｖ１を生成する際、また、複数の第２俯瞰画像Ｉ_ＶＥ，Ｉ_ＶＦ，Ｉ_ＶＧを合成して第２合成画像Ｉ_Ｖ２を生成する際にも、同様に適用することができる。

以上、本発明の実施例を図面により詳述したが、実施例は本発明の例示にしか過ぎないものであるため、本発明は実施例の構成にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲の設計の変更等があっても、本発明に含まれることは勿論である。

１０ 牽引車
１２ 第１周囲監視部
１２ａ 前方カメラ（撮像部）
１２ｂ 左側方カメラ（撮像部）
１２ｃ 後方カメラ（撮像部）
１２ｄ 右側方カメラ（撮像部）
１４ 牽引車側連結部
１６ 第１カメラＥＣＵ
１６ａ 画像入力部
１６ｂ 画像変換部
１６ｃ 画像合成部
１７ａ 牽引車情報記憶部（第１情報記憶部）
１８ａ 情報受信部
２０ａ 姿勢検出部
２２ａ 連結検出部
２４ａ タイヤ切れ角検出部
２６ａ 画像表示部
２８ａ 画像境界位置算出部
２８ｂ 予測進路算出部
２８ｃ タイヤ方向算出部
３０ 被牽引車
３２ 第２周囲監視部
３２ａ 左側方カメラ（撮像部）
３２ｂ 後方カメラ（撮像部）
３２ｃ 右側方カメラ（撮像部）
３４ 被牽引車側連結部
３６ 第２カメラＥＣＵ
３６ａ 画像入力部
３７ａ 被牽引車情報記憶部（第２情報記憶部）
３８ａ 情報送信部
５０ ＣＡＮ通信線
１００ 牽引車用周囲監視装置

Claims (8)

1. 車体の周囲に、複数の撮像部からなる第１周囲監視部を有する牽引車と、
   車体の周囲に、複数の撮像部からなる第２周囲監視部を有する、前記牽引車に連結されて牽引される被牽引車と、
   前記牽引車および前記被牽引車が有する複数の前記撮像部の各設置位置，各設置方向，各校正データ、および前記牽引車と前記被牽引車の連結位置を記憶した情報記憶部と、
   前記牽引車と前記被牽引車が連結されたことを検出する連結検出部と、
   前記牽引車に対する前記被牽引車の姿勢を検出する姿勢検出部と、
   前記牽引車の前輪の向きを算出するタイヤ方向算出部と、
   前記牽引車と前記被牽引車の予測進路を算出する予測進路算出部と、
   前記第１周囲監視部で撮像された各画像を、前記第１周囲監視部が有する複数の撮像部の各設置位置，各設置方向，各校正データに基づいて、第１仮想視点から俯瞰した複数の第１俯瞰画像に変換するとともに、前記第２周囲監視部で撮像された各画像を、前記第２周囲監視部が有する複数の撮像部の各設置位置，各設置方向，各校正データに基づいて、第２仮想視点から俯瞰した複数の第２俯瞰画像に変換する画像変換部と、
   前記複数の第１俯瞰画像と前記複数の第２俯瞰画像とを前記牽引車と前記被牽引車の連結位置において１枚の合成画像に合成する画像合成部と、
   前記牽引車の運転者が視認可能な位置に、前記合成画像を表示する画像表示部と、を有して、前記連結検出部が前記牽引車と前記被牽引車の連結を検出したときに、前記画像変換部は複数の前記第１俯瞰画像と複数の前記第２俯瞰画像を生成して、前記画像合成部は前記姿勢検出部で検出された姿勢に基づいて前記合成画像を生成して、前記合成画像に前記牽引車の前輪の向きと前記牽引車、および前記被牽引車の予測進路を重畳して前記画像表示部に表示することを特徴とする牽引車用周囲監視装置。
2. 前記被牽引車は、前記第２周囲監視部が有する複数の前記撮像部の各設置位置，各設置方向，各校正データ、および前記牽引車との連結位置を記憶した第２情報記憶部と、
   前記第２周囲監視部で撮像された各画像と前記第２情報記憶部に記憶された情報をそれぞれ前記牽引車に送信する情報送信部と、を備えて、
   前記牽引車は、前記第１周囲監視部が有する複数の撮像部の各設置位置，各設置方向，各校正データ、および前記被牽引車との連結位置を記憶した第１情報記憶部と、
   前記情報送信部から送信された情報を受信する情報受信部と、
   前記第１周囲監視部が有する複数の撮像部の各設置位置，各設置方向，各校正データに基づいて複数の前記第１俯瞰画像を生成し、前記第２周囲監視部が有する複数の撮像部の各設置位置，各設置方向，各校正データに基づいて複数の前記第２俯瞰画像を生成する画像変換部と、
   前記第１周囲監視部が有する複数の撮像部の各設置位置，各設置方向，各校正データに基づいて複数の前記第１俯瞰画像を１枚の第１合成画像に合成し、前記第２周囲監視部が有する複数の撮像部の各設置位置，各設置方向，各校正データに基づいて複数の前記第２俯瞰画像を１枚の第２合成画像に合成して、さらに、前記牽引車と前記被牽引車の連結位置、および、前記姿勢検出部で検出された姿勢に基づいて前記第１合成画像と前記第２合成画像を１枚の第３合成画像に合成する画像合成部と、を備えて、
   前記連結検出部が前記牽引車と前記被牽引車の連結を検出したときに、前記情報受信部は前記情報送信部から送信された情報を受信して、前記画像変換部は複数の前記第１俯瞰画像と複数の前記第２俯瞰画像を生成して、前記画像合成部は前記第３合成画像を生成することを特徴とする請求項１に記載の牽引車用周囲監視装置。
3. 前記被牽引車は、前記被牽引車を特定する識別情報を記憶した識別情報記憶部と、前記第２周囲監視部で撮像された各画像と前記識別情報記憶部に記憶された識別情報をそれぞれ前記牽引車に送信する情報送信部と、を備えて、
   前記牽引車は、前記第１周囲監視部が有する複数の撮像部の各設置位置、各設置方向，各校正データ、および前記被牽引車との連結位置を記憶した第１情報記憶部と、
   前記送信部から送信された情報を受信する情報受信部と、
   前記牽引車と連結される複数の被牽引車をそれぞれ特定する識別情報と複数の被牽引車がそれぞれ有する複数の撮像部の各設置位置、各設置方向，各校正データ、および前記牽引車と複数の被牽引車それぞれとの連結位置を記憶した第３情報記憶部と、
   前記第１周囲監視部が有する複数の撮像部の各設置位置，各設置方向，各校正データに基づいて複数の前記第１俯瞰画像を生成し、前記第２周囲監視部が有する複数の撮像部の各設置位置，各設置方向，各校正データに基づいて複数の前記第２俯瞰画像を生成する画像変換部と、
   前記第１周囲監視部が有する複数の撮像部の各設置位置，各設置方向，各校正データに基づいて複数の前記第１俯瞰画像を１枚の第１合成画像に合成し、前記第２周囲監視部が有する複数の撮像部の各設置位置，各設置方向，各校正データに基づいて複数の前記第２俯瞰画像を１枚の第２合成画像に合成して、さらに、前記牽引車と前記被牽引車の連結位置、および、前記姿勢検出部で検出された姿勢に基づいて前記第１合成画像と前記第２合成画像を１枚の第３合成画像に合成する画像合成部と、を備えて、
   前記連結検出部が前記牽引車と前記被牽引車の連結を検出したときに、前記情報受信部は前記情報送信部から送信された情報を受信して、前記画像変換部は前記識別情報に基づいて前記牽引車に連結された前記被牽引車を特定して複数の前記第１俯瞰画像と複数の前記第２俯瞰画像を生成して、前記画像合成部は前記第３合成画像を生成することを特徴とする請求項１に記載の牽引車用周囲監視装置。
4. 前記画像合成部は、前記第１合成画像と前記第２合成画像の中から、同一位置が撮像される重複撮像領域を検出して、検出された前記重複撮像領域の中においては、前記第１周囲監視部と前記第２周囲監視部のうち、より高い解像度で撮像された情報を前記第３合成画像に反映させることを特徴とする請求項２または請求項３に記載の牽引車用周囲監視装置。
5. 前記画像合成部は、前記重複撮像領域の中で、前記第１周囲監視部と前記第２周囲監視部のうち、より近くから撮像された画像を前記第３合成画像に反映させることを特徴とする請求項４に記載の牽引車用周囲監視装置。
6. 前記第３合成画像は、同一位置に同一方向に向けて配置した前記第１合成画像の中の前記被牽引車との連結位置を示す位置に、前記第２合成画像の中の前記牽引車との連結位置を示す位置を合致させて、さらに、前記第２合成画像を、前記姿勢検出部が検出した姿勢に応じた量だけ回転して合成したものであることを特徴とする請求項２から請求項５のいずれか１項に記載の牽引車用周囲監視装置。
7. 前記第１合成画像は、前記牽引車の前方が上部に位置する向きに配置されることを特徴とする請求項６に記載の牽引車用周囲監視装置。
8. 前記連結検出部が前記牽引車と前記被牽引車の連結を検出したときには、前記第１周囲監視部が有する複数の撮像部のうち、前記被牽引車の陰となって前記牽引車の周囲が監視できない状態となる撮像部の出力を使用しないことを特徴とする請求項１から請求項７のいずれか１項に記載の牽引車用周囲監視装置。