JP2012166647A - 画像処理装置およびトラクタ - Google Patents

Abstract

【課題】トレーラを自動的に制御するためのシステムが車体に実装されていなくても、運転者がトレーラの振り子運動の傾向を捉えた安全な運転を促すことができる画像処理装置およびトラクタを提供する。
【解決手段】本発明の画像処理装置は、トラクタ１３０に連結されたトレーラ１２０を含むトラクタ１３０の後方の撮像画像を取得する画像取得手段４と、この画像取得手段４が取得した撮像画像にトレーラ１２０をガイドする指標を重畳し、この重畳画像を表示手段３に出力する重畳手段７を備え、この重畳手段７が、トレーラ１２０の横揺れを示す第１の指標１４１ａ、ｂと、トレーラ１２０の横揺れの継続状態を示す第２の指標１４２を重畳することを特徴とする。
【選択図】図１

Description

本発明は、トラクタによるトレーラの牽引時、トレーラに発生する振り子運動を検出し振り子の揺れ具合を運転手に伝える装置に関するものである。

トラクタがトレーラを牽引しながら走行すると、トレーラに周期的な振り子運動が生じてトラクタの走行に悪影響を与えることが知られている。この振り子運動が次第に限界振動に達すると、トラクタに蛇行走行状態やジャックナイフ現象等の危険な現象が生じてしまい、さらには制御不能に陥るという問題があった。従来、この問題を防止するために、トラクタに横揺れ検出のセンサを設置し、かつ、各車輪毎にブレーキ制御できるように設定することで、一定の閾値以上の横揺れが発生した場合に自動的にブレーキを制御して車体を安定させるシステムが知られている（例えば、特許文献１〜特許文献７を参照）。また、トレーラの横揺れに対して限界振動値を設けて限界振動を超えた場合、運転者に警告しブレーキシステムをモニタして適正な減速が行われているか監視するシステムが知られている（例えば、特許文献８を参照）。

特開平４−１６９３６６号公報 特表２００３−５０３２７６号公報 特表２００５−５０２５２６号公報 特表２００６−５０５４４２号公報 特開２００６−２１７６９号公報 特開２００９−１２４８８号公報 特開２０１０−３０５９１号公報 特表２００８−５０２５２７号公報

しかしながら、トレーラを牽引しているトラクタの走行状態によっては、トレーラの振り子運動が限界振動に達する前にジャックナイフ現象などの危険な現象が発生することがある。また、既存のシステムではブレーキ系統まで制御することが前提となっており、車体への制御系統の追加実装が必要となるため、実装の手間やシステムの複雑化という問題が生じていた。特に、トレーラの種類によっては実装ができずに既存のシステムを用いることすらできない場合もあった。

本発明は、トレーラを自動的に制御するためのシステムが車体に実装されていなくても、運転者がトレーラの振り子運動の傾向を捉えた安全な運転を促すことができる画像処理装置およびトラクタを提供することを目的とする。

上記目的を達成するため、本発明は、重畳手段が前記トレーラの横揺れを示す第１の指標と、前記トレーラの横揺れの継続状態を示す第２の指標を重畳することを特徴とする。

本発明によれば、トレーラを自動的に制御するためのシステムが車体に実装されていなくても、運転者がトレーラの振り子運動の傾向を捉えた安全な運転を促すことができると
いう効果を奏する。

本発明の実施形態における画像処理装置の構成を示すブロック図 同図１の要部である画像認識手段が認識するマーカパターンをイメージで説明する図 同図１の画像処理装置による処理を説明するフローチャート図 同図１の要部である算出手段が算出するトレーラの横揺れ状態をイメージで説明する図 同図３の画像認識処理を説明するフローチャート図 同図１の要部である重畳手段による重畳画像をイメージで説明した図 同図６のイメージの時間的変化を説明する図

以下、本発明の実施形態における画像処理装置について図面を参照しながら説明する。

図１は本発明の実施形態における画像処理装置の構成を示すブロック図である。

図１に示されるように、画像処理装置１は、ＥＣＵ（Ｅｌｅｃｔｒｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）で構成され、自車両であるトラクタの車内に搭載される。また、画像処理装置１は、後方撮像手段２と、表示手段３とに接続する。この画像処理装置１は、後方撮像手段２からの入力信号に基づいて、トレーラの振り子運動の傾向を示す情報に画像処理し、この処理画像を表示手段３に出力する。

後方撮像手段２は例えば広角ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）カメラで構成され、画像処理装置１と接続される。後方撮像手段２は、トラクタの車体後部に設置される。後方撮像手段２近傍の車体後部には夜間用に補助照明や、輝度調整装置が設けられてもよい。後方撮像手段２は、車体後部のピンに連結されたトレーラを含む後方を撮像する。そして、後方撮像手段２は、この撮像画像を画像処理装置１に出力する。

表示手段３は、ディスプレイなどの表示装置で構成され、運転者から視認可能な車体内部に設けられる。表示手段３は、好適には、センターコンソール内に設けられたナビゲーション装置のモニタで構成される。表示手段３は画像処理装置１と接続される。表示手段３は画像処理装置１から出力された画像を表示して、運転者にトレーラの振り子運動の傾向を示す。

次に、画像処理装置１の内部構成について詳細に説明する。

画像処理装置１は、画像取得手段４と、制御手段５と、第１の記憶手段６と、重畳手段７と、表示出力手段８とを備える。

画像取得手段４は例えばコネクタで構成される。画像取得手段４はさらに画像信号の分配器を有していてもよい。画像取得手段４は後方撮像手段２と、制御手段５と、重畳手段７とに接続する。後方撮像手段２で撮像された画像をそのまま制御手段５と重畳手段７とに出力する。なお、画像取得手段４はＥＣＵ内に後方撮像手段２の撮像画像を取り込む手段であればコネクタ以外のハードウェア、ソフトウェアいずれの構成であってもよい。

制御手段５は画像取得手段４と第１の記憶手段６とに接続される。制御手段５は画像取得手段４から取得した画像から過去情報として記憶する必要のある情報を抽出し、必要に応じ算出を行い、第１の記憶手段６に出力する。例えば、制御手段５は、トレーラの横揺
れの継続状態を示すデータやトレーラの横揺れの時系列データを第１の記憶手段６に出力する。

第１の記憶手段６はメモリ素子で構成される。第１の記憶手段６は制御手段５と、重畳手段７とに接続される。第１の記憶手段６は制御手段５から入力されたデータを記憶し、現在から所定期間過去分のデータを重畳手段７に出力する。例えば、第１の記憶手段６は、トレーラの横揺れの継続状態を示すデータやトレーラの横揺れの時系列データを重畳手段７に出力する。

重畳手段７はＣＰＵと、メモリ素子と、不揮発性メモリ素子と、画像信号生成回路とで構成される。重畳手段７は画像取得手段４と、第１の記憶手段６と、表示出力手段８とに接続される。重畳手段７はトレーラをガイドする指標を重畳し、この重畳画像を表示出力手段８を介して表示手段３に出力する。例えば、重畳手段７は、画像取得手段４から取得した自車両より後方の周囲の撮像画像に、自らの不揮発性メモリ素子に記憶されたトレーラの横揺れを示す第１の指標を重畳する。また、重畳手段７は、第１の記憶手段６から入力されたデータに基づいてトレーラの横揺れの継続状態を示す第２の指標やトレーラの横揺れ状態を時系列に示す第３の指標をさらに重畳する。

表示出力手段８はコネクタで構成される。表示出力手段８は重畳手段７と、表示手段３とに接続する。重畳手段７で重畳された重畳画像を表示手段３に出力する。なお、表示出力手段８はＥＣＵ内から表示手段３に重畳手段７による重畳画像を出力する手段であればコネクタ以外のハードウェア、ソフトウェアいずれの構成であってもよい。

次に、制御手段５の内部構成について詳細に説明する。

制御手段５は、第２の記憶手段９と、画像認識手段１０と、算出手段１１とで構成される。

第２の記憶手段９は不揮発性メモリ素子で構成される。第２の記憶手段９は画像認識手段１０に接続される。第２の記憶手段９は画像認識手段１０のパターン認識用のデータを記憶し、画像認識手段１０からの要求に応じて画像認識手段１０にこのパターン認識用のデータを出力する。

画像認識手段１０はＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）と、メモリ素子と、不揮発性メモリ素子で構成される。画像認識手段１０は、画像取得手段４と、第２の記憶手段９と、算出手段１１とに接続される。画像認識手段１０は、第２の記憶手段９から読み出したパターン認識用のデータに基づいて画像取得手段４から取得した撮像画像のパターンマッチングを行い、トレーラやトレーラに設けられたマーカを認識し、この認識結果を算出手段１１に出力する。例えば、画像認識手段１０は認識したトレーラのマーカの座標値やトレーラの中心の座標値を算出手段１１に出力する。

ここで、トレーラに貼り付けられたマーカの例を説明する。図６は、画像認識手段１０が認識するマーカパターンをイメージで説明する図である。画像認識手段１０には、図６に示される画像が画像取得手段４から入力される。この画像には、トレーラ１２０、このトレーラ１２０からトラクタ方向に突出する突出部１２１、この突出部１２１の先端でトラクタと連結するカプラ１２２が含まれている。画像認識手段１０は、突出部１２１の上面に取り付けられたトレーラマーカ１２３、カプラ１２２の先端上面に取り付けられたカプラマーカ１２４を認識する。

算出手段１１はＣＰＵと、メモリ素子と、不揮発性メモリ素子で構成される。算出手段
１１は画像認識手段１０と、第１の記憶手段６とに接続される。算出手段１１は画像認識手段１０から入力された認識結果に基づいて、トレーラの横揺れ状態を時系列に示す第３の指標を第１の記憶手段６に出力する。例えば、算出手段１１は、トレーラのマーカの座標値やトレーラの中心の座標値に基づいて、これらをグラフ状の時系列データに変換し、算出した最大振幅値のデータと共に第１の記憶手段６に出力する。

次に、画像処理装置１による処理について詳細に説明する。

図３は画像処理装置による処理を説明するフローチャート図である。

先ず、エンジンを始動させると処理が開始され、ステップＳ１０に示すように画像取得手段４は後方撮像手段２から画像を取り込む。

次に、ステップＳ１１に示すように、画像認識手段１０はステップＳ１０で取り込まれた画像に基づいて画像認識処理を行う。例えば、画像認識手段１０はステップＳ１０で取り込まれた画像内から、図２に示されるトレーラマーカ１２３とカプラマーカ１２４を認識し抽出する。

次に、ステップＳ１２に示すように、画像認識手段１０は、ステップＳ１１で認識されたトレーラマーカ１２３とカプラマーカ１２４に基づいて、ステップＳ１０で取り込まれた画像内のトレーラを認識する。ステップＳ１２でＹＥＳの場合、ステップＳ１３に示すように、算出手段１１は、ステップＳ１１で認識されたトレーラマーカ１２３とカプラマーカ１２４の位置に基づいてトレーラの横揺れ状態を算出する。具体的には、算出手段１１は、トラクタとトレーラとの角度を算出する。

ここで、算出手段１１が算出するトレーラの横揺れ状態について説明する。図４は、算出手段１１が算出するトレーラの横揺れ状態をイメージで説明する図である。図４に示されるように、自車両であるトラクタ１３０の車体後部に設けられたヒッチ１３１にカプラ１２２が連結されている。このとき、トレーラ１２０は、横揺れしていない状態のトレーラ１２６の位置から角度θだけ右方向（図４の紙面では左方向）に横揺れしている。すなわち、トレーラ１２０の中心線１３２は、横揺れしていない状態のトレーラ１２６の中心線１３３から角度θだけずれている。算出手段１１は、画像認識手段１０から入力されたトレーラマーカ１２３とカプラマーカ１２４の位置に基づいて中心線１３２と中心線１３３の角度θを算出することができる。

次に、ステップＳ１４に示すように、第１の記憶手段６は、ステップＳ１３で算出されたトレーラの横揺れ状態をエンジン停止されるかデータ更新によって上書きされるまで記憶する。

次に、ステップＳ１５に示すように、重畳手段７は、第１の記憶手段６が記憶したトレーラの横揺れの継続状態や横揺れの時系列状態に基づいて、これらの状態を示す指標画像を画像取得手段４から取得した撮像画像に重畳する。そして、表示手段３は、この重畳画像を表示する。なお、所定時間内に所定回数、または、所定の周期で、トレーラの左右の横揺れが所定の閾値を超えたことを算出手段１１が算出したとき、重畳手段７は、さらに警告表示を重畳する。この警告表示の重畳命令は制御手段５から重畳手段７になされてもよい。ステップＳ１５が終了した場合、またはステップＳ１２でＮＯの場合、ステップＳ１０が繰り返される。

次に、図３のステップＳ１１の画像認識処理についてを詳細に説明する。図５は画像認識処理を説明するフローチャート図である。

先ず、ステップＳ２０に示すように、画像認識手段１０は、ステップＳ１０で取り込まれた画像の輪郭強調処理を実施する。

次に、ステップＳ２１に示すように、画像認識手段１０は、ステップＳ１０で取り込まれた画像の下部の中央領域に対して、カプラマーカ１２４のパターン認識を実施する。

次に、ステップＳ２２に示すように、画像認識手段１０は、ステップＳ１０で取り込まれた画像のうちステップＳ２１で認識したカプラマーカ１２４より上の領域に対して、トレーラマーカ１２３のパターン認識を実施する。このパターン認識では、トレーラが左右に振れるほど、トレーラマーカ１２３の位置はステップＳ１０で取り込まれた画像中心から左右にずれている。

次に、ステップＳ２３に示すように、画像認識手段１０は、トレーラマーカ１２３とカプラマーカ１２４の画像内の位置に基づいてトレーラ１２０やカプラ１２２の中心座標を認識する。

次に、画像処理装置１が表示手段３に出力する表示データのイメージ例を詳細に説明する。図６は重畳手段７による重畳画像をイメージで説明した図である。ヒッチ１２４とカプラ１２２の連結によってトラクタ１３０にトレーラ１２０が接続されている。トラクタ１３０の後部には後方撮像手段２が取り付けられている。

画面表示１４０は、表示手段３の表示例を意味するとともに、重畳手段７の重畳画像データをイメージで表した例を意味する。画面表示１４０の上部にはトレーラ１２０が表示されている。画面表示１４０の上部には、トレーラ１２０の車幅方向右端１２０ａ（図６の紙面では左方向）より外側に位置する第１の指標１４１ａと、トレーラ１２０の車幅方向左端１２０ｂ（図６の紙面では右方向）より外側に位置する第１の指標１４１ｂとが重畳されている。この第１の指標１４１ａ、１４１ｂは、トレーラ１２０の横揺れを示す指標である。この第１の指標１４１ａ、１４１ｂが重畳される位置は、好適には画像認識手段１０が認識したトレーラ１２０の車幅距離に応じて定められるが、予め定められた固定位置でもよい。図６に示すように、第１の指標１４１ａ、１４１ｂは、好適にはトレーラ１２０の端部と平行な直線で構成されるが、他の形状のマークであってもよい。

運転者は、第１の指標１４１ａ、１４１ｂによって、トレーラ１２０に振り子運動の危険性があり、安全運転をする必要があることを認識することができる。すなわち、運転者は、第１の指標１４１ａ、１４１ｂ外にトレーラ１２０が位置したときに振り子運動の危険性があることが直感的にわかるため、第１の指標１４１ａ、１４１ｂの範囲内にトレーラ１２０を収めるように運転を行うことができる。

画面表示１４０の下部には、トレーラ１２０の横揺れの継続状態を示す第２の指標１４２が重畳されている。また、画面表示１４０の下部には、トレーラ１２０の横揺れ状態を時系列に示す第３の指標１４３、トレーラ１２０の横揺れの角度ゼロを示す中心線１４４、トレーラ１２０の横揺れが危険領域に達したことを示す第１・第２の危険領域指標１４５、１４６が重畳されている。図６に示されるように、第３の指標１４３は、現在から一定期間過去のトレーラの横揺れ状態を時系列で示したグラフを意味する。

ここで、画面表示１４０の下部の上下方向はトレーラ１２０の横揺れの度合いを示す。一方、画面表示１４０の下部の左右方向は時間軸を示す。画面表示１４０の下部の左右方向で示される時間軸は、図６の紙面右端が現在で、左方向に向かうにつれて過去になるよう設定されている。

トレーラ１２０が第１の指標１４１ａ側に動くと、第３の指標１４３は図６の紙面上方向に移動し、トレーラ１２０が第１の指標１４１ｂ側に動くと、第３の指標１４３は図６の紙面下方向に移動する。トレーラ１２０の横揺れがゼロのとき、第３の指標１４３は中心線１４４に位置する。トレーラ１２０の横揺れが第１の指標１４１ａに達するとき第３の指標１４３は第１の危険領域指標１４５の境界線１４５ａに達する。トレーラ１２０の横揺れが第１の指標１４１ｂに達するとき第３の指標１４３は第２の危険領域指標１４６の境界線１４６ａに達する。そして、トレーラ１２０の横揺れによって第３の指標１４３が第１の危険領域指標１４５または第２の危険領域指標１４６に達すると、重畳手段７は、トレーラ１２０が第１の指標１４１ａ、１４１ｂを超える横揺れを起こしたことを示す第４の指標１４７ａ〜ｅをさらに重畳する。

重畳手段７は、第１の指標１４１ａ、１４１ｂに最初に到達したときから最後に到達したときの範囲まで第２の指標を重畳する。例えば、画面表示１４０の下部に、最初に第４の指標１４７ａを重畳したときから最後に第４の指標１４７ｅを重畳したときまでの範囲（時間ｔ）で第２の指標１４２を重畳する。なお、重畳手段７は、第１の指標１４１ａ、１４１ｂに最初に到達したときから第２の指標１４２を重畳し、最後に到達して所定時間経過したときに第２の指標の重畳を終了してもよい。

なお、重畳手段７は、第１・第２の危険領域指標１４５、１４６の領域の色を、画面表示１４０の下部の他の領域の色と区別して重畳してもよい。これによって、第１・第２の危険領域指標１４５、１４６にトレーラ１２０の横揺れの限界の意味を運転者に把握させやすくなる。

運転者は、第２の指標１４２によって、トレーラ１２０の横揺れが継続していること、その継続時間の長さを直感的に把握することができる。したがって、運転者は、トレーラ１２０に振り子運動の危険性の度合いを直感的に把握することができ、安全運転操作の必要性の度合いを認識することができる。

次に、トレーラ１２０の動作に応じた画面表示１４０の変化について説明する。図７は、図６のイメージの時間的変化を説明する図である。図７に示すように、トラクタ１３０はトレーラ１２０を牽引して紙面下方向に走行中である。

トレーラ１２０が徐々に振れだし、紙面左方向に所定角度以上横揺れしたとき、重畳手段７は画面表示１４０ａに第１の指標１４１ａ、第２の指標１４２、第３の指標１４３、第４の指標１４７ａを重畳する。同様に、再度トレーラ１２０が紙面左方向に所定角度以上横揺れしたとき、重畳手段７は画面表示１４０ａに第４の指標１４７ｂを重畳する。また、制御手段５の命令によって、表示手段３の表示画面は、ナビゲーションなど他の機能の表示から、画面表示１４０ａに切替えられる。

やがてトレーラ１２０が紙面右方向にまで所定角度以上横揺れしたとき、重畳手段７は画面表示１４０ｂに第１の指標１４１ｂ、第４の指標１４７ｃを重畳する。トレーラ１２０が所定角度以上の横揺れを繰り返しているとき、重畳手段７は、第２の指標１４２の重畳を継続する。なお、トレーラ１２０の所定角度以上の横揺れが継続しなくなったとき、制御手段５の命令によって、表示手段３の表示は、もともとの他の機能の表示に切替えられてもよい。

以上のように、本発明によれば、トレーラを自動的に制御するためのシステムが車体に実装されていなくても、運転者がトレーラの振り子運動の傾向を捉えた安全な運転を促すことができる画像処理装置およびトラクタを提供することができる。

本発明は、トレーラを牽引運転中のトレーラの振り子運動状態を車両後方に振り返ることなく確認でき、過去の状態と現在の状態を同時に確認するのに有用である。

１ 画像処理装置
２ 後方撮像手段
３ 表示手段
４ 画像取得手段
７ 重畳手段
１０ 画像認識手段
１１ 算出手段

Claims (9)

1. トラクタに連結されたトレーラを含む前記トラクタの後方の撮像画像を取得する画像取得手段と、
   この画像取得手段が取得した撮像画像に前記トレーラをガイドする指標を重畳し、この重畳画像を表示手段に出力する重畳手段を備え、
   この重畳手段は、前記トレーラの横揺れを示す第１の指標と、前記トレーラの横揺れの継続状態を示す第２の指標を重畳することを特徴とする画像処理装置。
2. 前記重畳手段は、前記トレーラが前記トラクタと正対しているときの前記トレーラの左右の車幅端より外側の位置に前記第１の指標をそれぞれ固定指標として重畳することを特徴とする請求項１に記載の画像処理装置。
3. 前記画像取得手段が取得した撮像画像から前記トレーラの横揺れ状態を認識する認識手段をさらに備え、
   前記重畳手段は、前記認識手段の認識結果に基づいて前記第２の指標を重畳することを特徴とする請求項１または請求項２に記載の画像処理装置。
4. 前記重畳手段は、前記トレーラが前記第１の指標に到達したときに前記第２の指標の重畳を開始することを特徴とする請求項３に記載の画像処理装置。
5. 前記重畳手段は、前記トレーラが前記第１の指標に所定時間到達しなかったときに前記第２の指標の重畳を終了することを特徴とする請求項４に記載の画像処理装置。
6. 前記重畳手段は、前記認識手段の認識結果に基づいて、前記トレーラの横揺れ状態を時系列に示す第３の指標をさらに重畳することを特徴とする請求項３から請求項５のいずれかに記載の画像処理装置。
7. 前記認識手段の認識結果を記憶する記憶手段をさらに備え、
   前記第３の指標は、前記記憶手段に記憶された認識結果に基づいて前記トレーラの横揺れ状態が現在から一定期間過去のトレーラの横揺れ状態を時系列で示したグラフで構成されたことを特徴とする請求項６に記載の画像処理装置。
8. トラクタに連結されたトレーラを撮像してこの撮像画像を前記画像取得手段に入力する撮像手段と、
   前記重畳手段が重畳した重畳画像を表示する表示手段とをさらに備えたことを特徴とする請求項１から請求項７のいずれかに記載の画像処理装置。
9. 車体後部に取り付けられて、車体後部のピンに連結されたトレーラを含む後方を撮像する撮像手段と、
   車内に設けられ、前記撮像手段の撮像画像に前記トレーラをガイドする指標を重畳する重畳手段と、
   運転席から視認可能な車内に設けられ、前記重畳手段が重畳した重畳画像を表示する表示手段とを備え、
   前記重畳手段は、前記トレーラの横揺れを示す第１の指標と、前記トレーラの横揺れの継続状態を示す第２の指標を重畳することを特徴とするトラクタ。