JP6447060B2 - 車両周辺監視装置 - Google Patents

Description

本発明の実施形態は、車両周辺監視装置に関する。

従来、車両の運転操作を支援する技術として、車両に搭載されたカメラ等の撮像装置で車両の周辺環境を撮像し、その撮像結果である撮像画像データを表示することで、運転者の運転操作を支援する技術が提案されている。このような運転支援の一つとして、車輪の通過予想ラインを撮像画像データに重畳表示させるものがある。例えば、車両の旋回時に生じる内輪差に起因して前内輪と後内輪とで旋回半径が異なる。このため、運転者が認識し難い後輪の通過予想ラインやハンドルを最大角度まで操作した場合の通過予想ラインを重畳表示する周辺監視装置が提案されている。

特許第３６０７９９４号公報

しかしながら、ハンドル操作を行うたびに後輪の通過予想ラインが表示されるため、僅かなハンドル操作でも表示が行われる。その結果、利用者に煩わしさを感じさせてしまう場合がある。また、通過予想ラインの表示を参照することで後輪が縁石等の物体に接触するかしないかの判断は容易になるが、例えばオフロード走行等では後輪がどの物体（例えば、石）を踏むか等の判断をスムーズにできない場合がある。

本発明の実施形態にかかる車両周辺監視装置は、例えば、車両の前輪の操舵角を取得する取得部と、前記前輪の操舵による前記車両の旋回時に旋回内側の後輪の移動予想進路を示す後輪幅軌跡を算出する軌跡算出部と、前記車両の側方画像を撮像する撮像部から出力された側方撮像画像データを前記車両の操舵角にかかわらず表示し、前記車両の操舵角が所定値以上になった場合に、前記側方撮像画像データに前記後輪幅軌跡を重畳表示する表示制御部と、を備える。この構成によれば、例えば、側方撮像画像データが車両の操舵角にかかわらず表示され、後輪幅軌跡は操舵角が所定値以上になった場合、例えば大きくステアリングホイールの操作を行った場合（例えば２７０°以上）に側方撮像画像データに表示される。つまり、車両の旋回が大きく内輪差が大きくなるような場合に表示される。また、後輪幅に相当する後輪幅軌跡が表示されるので、側方画像上で後輪の踏む物体の予測や実際に踏んだ場合のイメージが容易になり、利用者に対する走行支援性を高めることができる。

また、上記車両周辺監視装置の前記表示制御部は、例えば、前記後輪幅軌跡を重畳表示するときに、前記操舵角を最大角とした場合の旋回内側の前記後輪の最大移動軌跡を前記側方撮像画像データに重畳表示してもよい。この構成によれば、例えば、操舵角を最大にした場合の後輪と路上物体との関係が理解しやすくなり、例えば後輪の移動方向を変更する場合の変更量の判断が容易になり、利用者に対する走行支援性を高めることができる。

また、上記車両周辺監視装置の前記表示制御部は、例えば、少なくとも前記車両の操舵角が前記所定値未満の場合には、前記車両の外形情報を示す指標を前記側方撮像画像データに重畳表示してもよい。この構成によれば、例えば、後輪の移動方向等をあまり考慮する必要のない操舵角が所定値未満の場合は、側方画像の重畳表示をシンプル化できると共に、車両の外形情報、例えば、車幅や車輪の接地位置等走行時に必要な情報を表示して、利用者に対する走行支援性を高めることができる。

また、上記車両周辺監視装置の前記軌跡算出部は、例えば、前記車両の前輪の移動予想進路を示す前輪幅軌跡をさらに算出し、前記表示制御部は、前記車両の前方画像を撮像する撮像部から出力された前方撮像画像データに前記前輪幅軌跡を重畳表示するようにしてもよい。この構成によれば、例えば、後輪の移動予想進路に加え、前輪の移動予想進路の表示が行われて、車両の姿勢コントロールをより詳細に行えるような走行支援を実現することができる。

また、上記車両周辺監視装置の前記表示制御部は、例えば、前記操舵角に基づく旋回予定状態と前記車両の実旋回状態とが対応する場合と非対応となる場合とで、少なくとも前記後輪幅軌跡の表示態様を変化させるようにしてもよい。この構成によれば、例えば、車両の旋回時に操舵制御と他の制御、例えば制動制御等を組み合わせて実行して、車両の旋回性能を調整するような場合に、表示態様を変化させることで操舵角に基づく旋回予定状態と車両の実旋回状態とに違いが生じていることを容易に利用者に通知することが可能となり、利用者に対する走行支援性を高めることができる。また、上記車両周辺監視装置の前記表示制御部は、例えば、前記車両の操舵角が前記所定値より小さくなった場合、前記後輪幅軌跡を重畳表示しないようにしてもよい。この構成によれば、操舵角が小さき場合、後輪幅規制が重畳表示されないため、後輪幅軌跡の過剰な表示を回避し煩わしさを軽減できる。

図１は、実施形態にかかる車両周辺監視装置を搭載する車両の車室の一部が透視された状態の一例が示された斜視図である。 図２は、実施形態にかかる車両周辺監視装置を搭載する車両の一例が示された平面図（俯瞰図）である。 図３は、実施形態にかかる車両周辺監視装置を含む画像制御システムの一例が示されたブロック図である。 図４は、実施形態にかかる車両周辺監視装置のＥＣＵ内に実現される画像処理部の構成を示すブロック図である。 図５は、実施形態にかかる車両周辺監視装置における後輪幅軌跡を算出する場合の算出例を説明する説明図である。 図６は、実施形態にかかる車両周辺監視装置における操舵角が所定値以上の場合の表示例であり、側方画像に後輪幅軌跡を重畳すると共に前方画像に前輪幅軌跡を重畳した状態を示す表示例である。 図７は、実施形態にかかる車両周辺監視装置における操舵角が所定値未満の場合の表示装置の表示例であり、側方画像には車両外形を示す指標を重畳すると共に前方画像に前輪幅軌跡を重畳した状態を示す表示例である。 図８は、車両の旋回半径を小さくするために旋回修正制御が実行される場合の制動力の発生状態と車両の旋回状態を説明する説明図である。 図９は、図８の旋回修正制御が実行された場合の側方画像に重畳表示される後輪幅軌跡の態様を説明する表示装置の表示例である。 図１０は、実施形態にかかる車両周辺監視装置の画像処理の手順を説明するフローチャートである。

以下、本実施形態の車両周辺監視装置を車両１に搭載した例をあげて説明する。実施形態では、車両１は、例えば、内燃機関（エンジン、図示されず）を駆動源とする自動車（内燃機関自動車）であっても良いし、電動機（モータ、図示されず）を駆動源とする自動車（電気自動車、燃料電池自動車等）であっても良い。また、それらの双方を駆動源とする自動車（ハイブリッド自動車）であっても良い。また、車両１は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置（システム、部品等）を搭載することができる。また、車両１における車輪３の駆動に関わる装置の方式や、数、レイアウト等は、種々に設定することができる。

図１に示されるように、実施形態にかかる車体２は、乗員（図示されず）が乗車する車室２ａを構成している。車室２ａ内には、乗員としての運転者の座席２ｂに臨む状態で、操舵部４や、加速操作部５、制動操作部６、変速操作部７等が設けられている。本実施形態では、例えば、操舵部４は、ダッシュボード（インストルメントパネル）から突出したステアリングホイールであり、加速操作部５は、運転者の足下に位置されたアクセルペダルである。また、制動操作部６は、運転者の足下に位置されたブレーキペダルであり、変速操作部７は、センターコンソールから突出したシフトレバーである。ただし、これらには限定されない。

また、車室２ａ内には、表示装置８（表示出力部）や、音声出力装置９（音声出力部）が設けられている。表示装置８は、例えば、ＬＣＤ（liquid crystal display）や、ＯＥＬＤ（organic electroluminescent display）等である。音声出力装置９は、例えば、スピーカである。また、本実施形態では、例えば、表示装置８は、透明な操作入力部１０（例えば、タッチパネル等）で覆われている。乗員等は、操作入力部１０を介して表示装置８の表示画面に表示される映像（画像）を視認することができる。また、乗員等は、表示装置８の表示画面に表示される映像（画像）に対応した位置で手指等で操作入力部１０を触れたり押したり動かしたりして操作することで、操作入力（指示入力）を実行することができる。また、本実施形態では、例えば、表示装置８や、音声出力装置９、操作入力部１０等は、ダッシュボードの車幅方向（左右方向）の中央部に位置されたモニタ装置１１に設けられている。モニタ装置１１は、スイッチや、ダイヤル、ジョイスティック、押しボタン等の操作入力部（図示されず）を有することができる。また、モニタ装置１１とは異なる車室２ａ内の他の位置に音声出力装置（図示されず）を設けることができるし、モニタ装置１１の音声出力装置９と他の音声出力装置から、音声を出力することができる。また、本実施形態では、例えば、モニタ装置１１は、ナビゲーションシステムやオーディオシステムと兼用されているが、車両周辺監視装置用のモニタ装置を、これらシステムとは別に設けても良い。

また、図１、図２に示されるように、本実施形態では、例えば、車両１は、四輪車（四輪自動車）であり、左右二つの前輪３Ｆと、左右二つの後輪３Ｒとを有する。そして、例えば前輪３Ｆのタイヤ角が操舵部４（ステアリングホイール）の操作に対応して変化（転舵）する。操舵システム１２（図３参照）は、例えば、電動パワーステアリングシステムや、ＳＢＷ（steer by wire）システム等である。操舵システム１２は、図３に示すように、アクチュエータ１２ａによって操舵部４にトルク（アシストトルク）を付加して操舵力を補って、前輪３Ｆを操舵する。

また、本実施形態では、例えば、図２に示されるように、車両１（車体２）には、複数（本実施形態では、例えば４つ）の撮像部１６（１６ａ〜１６ｄ）が設けられている。撮像部１６は、例えば、ＣＣＤ（charge coupled device）やＣＩＳ（CMOS image sensor）等の撮像素子を内蔵するデジタルカメラである。撮像部１６は、所定のフレームレートで撮像画像データ（動画データ、フレームデータ）を出力することができる。撮像部１６は、それぞれ、広角レンズを有し、水平方向には例えば１４０°〜２２０°の範囲（視野角）を撮影（撮像）することができる。また、撮像部１６の光軸は下方（例えば、鉛直方向や斜め下方）に向けて設定されている。よって、撮像部１６は、車両１が移動可能な路面と当該路面から上方の領域とを含む車体２の周辺の外部の環境を撮像することができる。

本実施形態では、例えば、第１撮像部として機能する撮像部１６ａは、車体２の前側（車両前後方向の前方側）の端部２ｃ（平面視での端部）に位置され、フロントグリル等に設けられている。第２撮像部として機能する撮像部１６ｂは、車体２の左側（車幅方向の左側）の端部２ｄに位置され、左側のドアミラー２ｇ（突出部）に設けられている。また、第１撮像部として機能する撮像部１６ｃは、車体２の後側（車両前後方向の後方側）の端部２ｅに位置され、リアトランクのドア２ｈの下方の壁部に設けられている。第２撮像部として機能する撮像部１６ｄは、車体２の右側（車幅方向の右側）の端部２ｆに位置され、右側のドアミラー２ｇ（突出部）に設けられている。なお、本実施形態は、カメラの車載方法を制限するものではなく、車両１に対してフロント方向の撮像画像データ、左右サイド方向の撮像画像データ、リア方向の撮像画像データを取得できるように設置されればよい。

ＥＣＵ１４（Electronic Control Unit；図３参照）は、複数の撮像部１６で得られた撮像画像データに基づいて演算処理や画像処理を実行し、当該画像処理がなされた撮像画像データを表示装置８に表示できる。

また、本実施形態では、例えば、図３に示されるように、周辺監視システム（車両周辺監視装置）１００では、ＥＣＵ１４や、モニタ装置１１等の他、ブレーキシステム１８、舵角センサ１９（角度センサ）、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２、加速度センサ２６等が、車内ネットワーク２３（電気通信回線）を介して電気的に接続されている。車内ネットワーク２３は、例えば、ＣＡＮ（controller area network）として構成されている。ＥＣＵ１４は、車内ネットワーク２３を通じて制御信号を送ることで、ブレーキシステム１８等を制御することができる。また、ＥＣＵ１４は、車内ネットワーク２３を介して、トルクセンサ１２ｂ、ブレーキセンサ１８ｂ、舵角センサ１９、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２、加速度センサ２６等の検出結果を受け取ることができる。また、ＥＣＵ１４は、操作入力部１０等の指示信号（制御信号、操作信号、入力信号、データ）を受け取ることができる。

本実施形態では、車両１に２個の加速度センサ２６（２６ａ，２６ｂ）が設けられているものとする。なお、本実施形態は、車両１をＥＳＣ（electronic stability control）搭載車両とする。そして、ＥＳＣ搭載車両に従来搭載されている加速度センサ２６（２６ａ，２６ｂ）を用いる。なお、本実施形態は、加速度センサを制限するものではなく、車両１の左右方向の加速度を検出可能なセンサであれば良い。

ＥＣＵ１４は、例えば、ＣＰＵ１４ａ（central processing unit）や、ＲＯＭ１４ｂ（read only memory）、ＲＡＭ１４ｃ（random access memory）、表示制御部１４ｄ、音声制御部１４ｅ、ＳＳＤ１４ｆ（solid state drive、フラッシュメモリ）等を有している。ＣＰＵ１４ａは、例えば、表示装置８で表示される画像に関連した画像処理や、車両１の移動経路の演算、物体との干渉の有無の判断等の各種の演算処理を実行する。ＣＰＵ１４ａは、ＲＯＭ１４ｂ等の不揮発性の記憶装置に記憶された（インストールされた）プログラムを読み出し、当該プログラムに従って演算処理を実行する。

ＲＡＭ１４ｃは、ＣＰＵ１４ａでの演算で用いられる各種のデータを一時的に記憶する。また、表示制御部１４ｄは、ＥＣＵ１４での演算処理のうち、主として、撮像部１６で得られた撮像画像データを用いた画像処理や、表示装置８で表示される撮像画像データの画像処理（例えば合成等）等を実行する。また、音声制御部１４ｅは、ＥＣＵ１４での演算処理のうち、主として、音声出力装置９で出力される音声データの処理を実行する。また、ＳＳＤ１４ｆは、書き換え可能な不揮発性の記憶部であって、ＥＣＵ１４の電源がオフされた場合にあってもデータを記憶することができる。なお、ＣＰＵ１４ａや、ＲＯＭ１４ｂ、ＲＡＭ１４ｃ等は、同一パッケージ内に集積されることができる。また、ＥＣＵ１４は、ＣＰＵ１４ａに替えて、ＤＳＰ（digital signal processor）等の他の論理演算プロセッサや論理回路等が用いられる構成であっても良い。また、ＳＳＤ１４ｆに替えてＨＤＤ（hard disk drive）が設けられても良いし、ＳＳＤ１４ｆやＨＤＤは、ＥＣＵ１４とは別に設けられても良い。

図４に示されるように、ＣＰＵ１４ａは、ＲＯＭ１４ｂ等の記憶装置にインストールされ記憶されたプログラムを読み出し、それを実行することで実現される各種モジュールを備える。ＣＰＵ１４ａは、本実施形態における側方画像の表示制御に関連するモジュールとして、例えば、舵角取得部２８、軌跡算出部３０、指標取得部３２、制動状態取得部３４等を備える。

舵角取得部２８は、車内ネットワーク２３を介して供給される舵角センサ１９の検出結果を取得して、前輪３Ｆの操舵角を算出する。取得した操舵角は、軌跡算出部３０、指標取得部３２、表示制御部１４ｄ等に提供する。軌跡算出部３０は、舵角取得部２８から提供された操舵角に基づいて、前輪３Ｆの操舵による車両１の旋回時に旋回内側の後輪３Ｒの移動予想進路を示す後輪幅軌跡を算出する。また、軌跡算出部３０は、舵角取得部２８から提供された操舵角に基づいて、車両１の前輪３Ｆの移動予想進路を示す前輪幅軌跡を算出する。算出した後輪幅軌跡や前輪幅軌跡は、表示制御部１４ｄに提供されて、撮像部１６が撮像した車両１の周辺画像に重畳されて表示される。

指標取得部３２は、舵角取得部２８から提供された操舵角に基づき、ＳＳＤ１４ｆ等の記憶装置に記憶されている車両１の外形情報を示す指標を読み出して表示制御部１４ｄに提供する。車両１の外形情報を示す指標とは、例えば、車両１の車幅を示す情報や、車輪３の接地位置を示す情報、車両前方の距離を示す情報等である。具体的な指標の説明は後述する。

制動状態取得部３４は、車内ネットワーク２３を介してブレーキシステム１８からの制動制御状態を示す情報を取得して表示制御部１４ｄに提供する。車両１の車輪３ごとに搭載される制動装置（例えばディスクブレーキ装置）は、車輪３ごとの制動制御が可能である。例えば、車輪３がロックしてしまった場合に一時的にロックした車輪３の制動力を低下させるまたは解消するアンチロックブレーキ制御が可能である。この機能を利用して、旋回内側の後輪に制動力を発生させることにより旋回半径を小さくすることができる。つまり、操舵角に基づいて算出する後輪幅軌跡３６と異なる移動軌跡（旋回半径の小さな軌跡）に基づいて、後輪３Ｒを移動させることができる。このような制動制御が行われる場合、表示制御部１４ｄは、後輪幅軌跡３６の表示態様を変化させて利用者の注意を喚起することができる。後輪幅軌跡３６の表示態様の変化の具体例は後述する。

表示制御部１４ｄは、軌跡算出部３０から提供される後輪幅軌跡や前輪幅軌跡、指標取得部３２から提供される指標、制動状態取得部３４から提供される制動制御情報等に基づいて、撮像部１６から提供される車両１の周囲画像に重畳する付加画像を決定する。そして付加画像と周囲画像とを合成して表示装置８に出力して表示させる。なお、ＣＰＵ１４ａ内に実現される各モジュールは、上述したように機能ごとに個別に構成されてもよいし、複数の機能をまとめて一つのモジュールで実現してもよい。逆に機能をさらに細分化して実現してもよい。

図５を用いて、後輪幅軌跡３６の算出手順の一例を説明する。操舵部４（ステアリングホイール）を操作して前輪３Ｆの操舵角を変更した場合、前輪３Ｆの向き３Ｆａと直交する方向と、後輪３Ｒを支持する後輪車軸３８の延長方向との交点に車両１の旋回中心Ｇ１が存在する。つまり、車両１が前輪３Ｆの操舵角にしたがって旋回する場合、後輪車軸３８の中心点３８ａもこの旋回中心Ｇ１を中心とする円弧に沿って移動する。また、後輪３Ｒも旋回中心Ｇ１を中心とする円弧に沿って移動する。このように、後輪３Ｒに制動力が与えられたりスリップが発生していない場合等の通常の走行で旋回が行われている場合、後輪３Ｒの後輪幅軌跡３６は、前輪３Ｆの操舵角に基づいて一義的に決定される。このとき、後輪幅軌跡３６が示す向きは、操舵角の変化に応じて刻々と変化するため、後輪幅軌跡３６の表示長さが長すぎると、後輪幅軌跡３６の先端側の振れ量が大きくなり、移動予想進路が分かりにくくなったり、利用者に違和感や煩わしさを与えてしまう場合がある。逆に、後輪幅軌跡３６の表示長さが短かすぎると、車両１の車側部分と重なってしまい後輪３Ｒの移動方向が把握し難くなってしまう場合がある。そこで、本実施形態の軌跡算出部３０は、旋回時に中心点３８ａが所定距離だけ移動した移動量に対応する長さの後輪幅軌跡３６を表示するようにしている。例えば、旋回時に中心点３８ａが旋回中心Ｇ１を中心とする半径Ｒ１の円弧上を所定距離３８ｂ＝２．０ｍだけ移動した場合の後輪幅軌跡３６を表示するようにする。このときの車両１の旋回角度をθ１とすると、後輪幅軌跡３６の表示長さが算出できる。

なお、後輪３Ｒがどのような路面状態の場所を通過するかに注目したい状況とは、例えば、オフロード等の不整地路を低速で走行している場合が考えられる。したがって、操舵角が変化した場合でも刻々と表示される後輪幅軌跡３６の振れ幅が少なく、かつ後輪３Ｒの進行方向を十分に予測できる後輪幅軌跡３６の表示長さを決定することが望ましい。これらの点を考慮して実験を重ねた結果、例えば、上述した後輪車軸３８の中心点３８ａの移動距離が２．０ｍが好適であるという結果を得た。しかし、後輪幅軌跡３６の表示長さは、上述した例に限定されるものではなく、適宜変更可能である。後輪車軸３８の表示長さは、初期設定で固定されてもよいし、利用者が操作入力部１０等を用いて、設定できるようにしてもよい。

また、本実施形態の場合、後輪幅軌跡３６は、後輪３Ｒの実際の幅に対応して表示して、撮像部１６ｂ（撮像部１６ｄ）で撮像した側方画像に重畳している。したがって、側方画像上で、後輪３Ｒが路面の凹凸の何処を通過するか、また路面の凹凸を後輪３Ｒが踏んだ場合に影響をどの程度受けるか等を利用者に容易に理解させることができる。したがって、軌跡算出部３０は、後輪３Ｒの車輪幅等の情報を取得できるようにして、後輪３Ｒが交換された場合には、後輪幅軌跡３６の表示幅も実際の後輪３Ｒの幅に対応して変更できるようにしてもよい。この変更は、車輪３の情報を自動で取得して軌跡算出部３０に反映させるようにしてもよいし、利用者が操作入力部１０等を介して入力するようにしてもよい。

軌跡算出部３０は、車両１の前輪３Ｆの移動予想進路を示す前輪幅軌跡を算出してもよい。また、表示制御部１４ｄは、車両１の前方画像を撮像する撮像部１６ａから出力された前方撮像画像データに前輪幅軌跡を重畳表示するようにしてもよい。前輪幅軌跡は、舵角取得部２８から提供される操舵角に基づいて、前輪３Ｆの向いている方向を示す指標として表示することができる。前輪幅軌跡は、常時表示するようにしてもよいし、操舵部４（ステアリングホイール）が所定角度以上操作された場合に表示されるようにしてもよい。また、前輪幅軌跡の表示長さは、重畳する前方画像上で例えば５ｍに相当する長さのように所定値としてもよいし、利用者が操作入力部１０を用いて適宜設定できるようにしてもよい。

ところで、後輪３Ｒの向きは常に車両前後方向を向いているため、前輪３Ｆが操舵されて車両１が旋回する場合、前輪３Ｆの操舵角が小さい場合、後輪幅軌跡３６の旋回内側へのせり出し量は少なく、車両１の側部とほぼ重なり、認識し難い状態となる。また、車両１の側部から僅かにせり出した後輪幅軌跡３６は車両１の側部輪郭線との区別がし難くなるという利用者に煩わしさを与えてしまう場合もある。そこで、表示制御部１４ｄは、舵角取得部２８から提供される車両１の操舵角が所定値以上になった場合に、車両１の撮像部１６ｂ（撮像部１６ｄ）から提供された側方撮像画像データに後輪幅軌跡３６を重畳表示するようにしている。つまり、前輪３Ｆの操舵角がある程度大きくなり、後輪３Ｒの移動予測進路の表示の必要性が高まった場合に表示するようにしている。後輪幅軌跡３６の表示を開始する操舵角の所定値として、例えば、操舵角＝２７０°とすることができる。この場合、後輪幅軌跡３６は車両１の側部輪郭線から十分に離間して表示されるため、後輪３Ｒの移動予測進路の把握が容易になる。また、後輪幅軌跡３６が車両１の側部輪郭線と区別がし難くなるという利用者に煩わしさを与えてしまうことも抑制できる。

なお、操舵角＝２７０°未満の場合、後輪３Ｒはほぼ前輪３Ｆと同じ進路を通過すると考えられる。前述したように、表示制御部１４ｄは前輪３Ｆの前輪幅軌跡を前方画像上に重畳表示することができる。したがって、利用者は、操舵角が所定値未満で、後輪幅軌跡３６が表示されない場合でも前輪幅軌跡を確認することにより後輪３Ｒの移動予想進路を推定することができる。なお、軌跡算出部３０は、操舵角が所定値未満の場合に後輪幅軌跡３６の算出を行わなくてもよいし、操舵角が所定値未満の場合でも算出してもよい。所定値未満の場合に後輪幅軌跡３６の算出を行わない場合、ＣＰＵ１４ａの処理負荷を軽減することができる。逆に、常時算出する場合は、操舵角が所定値以上になった場合に迅速に重畳表示を実行することができる。また、操舵角が所定値未満の場合でも利用者が後輪幅軌跡３６の重畳表示を希望した場合には、迅速に表示することが可能になる。なお、後輪幅軌跡３６の表示を開始する操舵角（例えば２７０°）は、一例であり、操作入力部１０等を介して利用者が適宜設定変更できるようにしてもよい。

なお、操舵角が所定値未満で後輪幅軌跡３６が表示されない場合、表示制御部１４ｄは、車両１の外形情報を示す指標を撮像部１６ｂ（撮像部１６ｄ）が撮像した側方撮像画像データに重畳表示するようにしてもよい。車両１の外形情報を示す指標とは、前述したように、例えば、車両１の車幅を示す情報や、車輪３の接地位置を示す情報、車両前方の距離を示す情報等である。車両１の車幅を示す情報は、例えば、車幅を示す車幅線４０ａや当該車幅線４０ａから例えば０．３５ｍ車幅外方向にオフセットした車幅オフセット線４０ｂ等である。車幅線４０ａや車幅オフセット線４０ｂ等を表示することにより、車両１と周囲の関係、例えば接触の有無や間隔の是非を利用者に把握させやすくすることができる。また、車輪３の接地位置を示す接地線４２（図６参照）は、例えば車幅オフセット線４０ｂ上に表示され、車両１の車幅と車輪３の接地位置との対応付けがし易いように表示されている。また、車両前方の距離を示す間隔線４４は、車両１の前方の端部２ｃを基準に例えば、一定間隔で複数本表示され、車両１の前方距離感覚を理解し易くしている。なお、間隔線４４の一部は、側方画面上に表示されてもよい。これらの指標は、車両１に対して固定の線であるため、常時表示していても利用者に煩わしさや違和感を与え得にくい。

車幅線４０ａ、車幅オフセット線４０ｂ、接地線４２、間隔線４４等の指標は、後輪幅軌跡３６が表示されない場合、つまり操舵角が所定値未満の場合に、後輪幅軌跡３６に代えて表示するようにしてもよい。また別の実施形態では、操舵角が所定値以上になり、後輪幅軌跡３６が表示された後も指標を併せて表示するようにしてもよい。指標と後輪幅軌跡３６を選択的にいずれか一方を表示する場合、それぞれの表示を際だたせることが可能になり、利用者に認識させやすくすることができる。一方、後輪幅軌跡３６が表示された後も指標を表示する場合、後輪３Ｒの移動予想進路と車両１の外形との関係を理解させやすくなるという効果がある。

指標取得部３２は、舵角取得部２８から提供される操舵角に基づき、操舵角が所定値以上になった場合、つまり後輪幅軌跡３６の重畳表示が行われる場合に、ＳＳＤ１４ｆから最大移動軌跡４６を取得してもよい。最大移動軌跡４６は、操舵角を最大角とした場合の旋回内側の後輪３Ｒの移動予想軌跡であり、最大操舵角に基づいて一時的に定まる。最大移動軌跡４６は、後輪幅軌跡３６と同様に側方撮像画像データに重畳表示することができる。最大移動軌跡４６は、後輪幅軌跡３６との識別を容易にできるように、後輪幅軌跡３６とは異なる表示態様で表示することが望ましい。最大移動軌跡４６の場合、主として、後輪３Ｒが車両１の側方の物体、例えば縁石等と接触するか否かを把握するために利用される。そのため、最大移動軌跡４６は後輪３Ｒの最外郭線として示されるようにしてもよい。また、最大移動軌跡４６と後輪幅軌跡３６とは、異なる表示色で表示してもよいし、例えば、最大移動軌跡４６を点滅表示させて、際だち表示するようにしてもよい。

図６は、操舵角が所定値以上の場合の表示装置８の表示例であり、右側方画像領域４８ａに後輪幅軌跡３６を重畳すると共に、前方画像領域５０に前輪幅軌跡５２を重畳した状態を示す表示例である。図６の表示例では、表示装置８の表示領域の右の上端から下端までに右側方画像領域４８ａが割り当てられ、表示領域の左の上端から下端までに左側方画像領域４８ｂが割り当てられている。右側方画像領域４８ａ及び左側方画像領域４８ｂは、前輪３Ｆ及び後輪３Ｒ（一部）が表示できるように縦長の表示領域にしている。また、右側方画像領域４８ａと左側方画像領域４８ｂとに挟まれた中央上部には、前方画像領域５０が割り当てられている。さらに、右側方画像領域４８ａと左側方画像領域４８ｂとに挟まれた中央下部には、車両１の姿勢を示す姿勢シンボル５４を表示する姿勢シンボル表示領域５４ａが割り当てられている。

図６の場合、操舵部４（ステアリングホイール）が右方向に２７０°以上転舵された状態であり、右側方画像領域４８ａに後輪幅軌跡３６が重畳表示されている。また、図６の場合、後輪幅軌跡３６と共に、車幅オフセット線４０ｂ、前輪３Ｆの接地線４２、間隔線４４（車両１の端部２ｃに最も近い間隔線４４）等も重畳表示されている例が示されている。一方、転舵方向とは逆方向の左側方画像領域４８ｂには、車幅オフセット線４０ｂ、接地線４２、間隔線４４が重畳表示されている。前方画像領域５０には、前輪幅軌跡５２、複数の間隔線４４、左右の車幅オフセット線４０ｂ等が表示されている。なお、前方画像領域５０に表示する前方画像を撮像する撮像部１６ａは、広角レンズを使用しているため、前方画像及びそれに重畳される前輪幅軌跡５２、間隔線４４、車幅オフセット線４０ｂ等は、少し湾曲した形状で表示されている。姿勢シンボル５４は、ＣＰＵ１４ａが車内ネットワーク２３を介して取得した加速度センサ２６のデータに基づいて算出できる車両１のロール角やピッチ角に対応して、表示姿勢が変化するようになっている。その結果、利用者が車両１の姿勢を客観的に容易に理解できるように支援することができる。

このように、操舵角が所定値（例えば２７０°）以上の場合に、後輪３Ｒの車輪幅に対応する幅の後輪幅軌跡３６を側方画像に重畳表示することにより、後輪３Ｒの全体形状の確認や位置の確認が表示装置８の画面上や目視で困難な場合でも、後輪３Ｒの移動予想進路の把握が容易になる。また、後輪３Ｒが旋回を継続する場合、これから後輪３Ｒが踏む路面の把握が容易になり、進路の変更や速度の調整等を適切に行うことができるような走行支援を実現することができる。

図７は、操舵角が所定値未満の場合の表示例であり、後輪幅軌跡３６は表示されず、右側方画像領域４８ａ及び左側方画像領域４８ｂには、車両１の外形情報を示す指標である車幅オフセット線４０ｂ、接地線４２、間隔線４４等が重畳表示されている。また、前方画像領域５０には、前輪幅軌跡５２と共に車幅オフセット線４０ｂや間隔線４４が重畳表示されている。図７の場合は、雪道の轍を走行している場合が示されている。このような場合、前輪幅軌跡５２と轍とが一致するように操舵することにより、安定した走行が容易に実現できて良好な走行支援を行うことができる。また、轍や不整地路を走行する場合、路面の状態によって、操舵部４の操作状態が左右に揺動する場合がある。しかしながら、表示制御部１４ｄは、所定値未満の操舵角では後輪幅軌跡３６の重畳表示を実行しないため、過剰な表示による違和感を利用者に与えることが抑制できる。

ところで、前述したように車両１の旋回動作時に旋回内側の後輪３Ｒに制動力を発生させると、操舵角で定まる旋回半径より小さな半径で旋回が可能になる。例えば、図８に示すように、非制動の状態で旋回動作を行うと、点線矢印５６で示すような軌道で旋回する。一方、例えば、左旋回動作時に、左後輪３ＲＬのみに制動力を付与すると車両１は、左後輪３ＲＬを中心として回転するような挙動を示し、実線矢印５８で示しように、非制動時より小さな軌道で旋回する。このように、旋回時に制動制御が実行されると、操舵角に応じて決定される後輪幅軌跡３６と実際の左後輪３ＲＬの移動方向とが異なってしまう場合がある。つまり、操舵角に基づいて算出した後輪幅軌跡３６の信頼度が低下する場合がある。

そこで、表示制御部１４ｄは、旋回動作中に制動状態取得部３４から旋回内側後輪の制動制御の実行を示す信号を取得した場合（図４参照）、図９に示すように後輪幅軌跡３６を例えば点線態様で重畳表示したり、半透明の態様で重畳表示するようにしてもよい。つまり、操舵角に基づく旋回予定状態と車両１の実旋回状態とが対応する場合と非対応となる場合とで、少なくとも後輪幅軌跡３６の表示態様を変化させて、後輪幅軌跡３６の表示信頼線が低下している旨を利用者に通知するようにしている。同様に、前輪幅軌跡５２も操舵角に基づいて移動予想進路を算出しているため、制動制御により旋回半径が変化した場合、信頼度が低下する。そのため、旋回内側後輪の制動制御が実行された場合、前輪幅軌跡５２についても点線態様の表示や半透明態様の表示に切り替えて、利用者に注意を喚起するようにしてもよい。また、表示装置８に後輪幅軌跡３６や前輪幅軌跡５２の表示信頼度が低下している旨を示すメッセージや注意喚起のマークを表示するようにしてもよい。また、非制動時とは異なる表示色で後輪幅軌跡３６や前輪幅軌跡５２を表示してもよいし、点滅表示としてもよい。また、右側方画像領域４８ａ（左側方画像領域４８ｂ）や前方画像領域５０の表示色を変化させてもよい。さらに、音声出力装置９から音声メッセージを出力して利用者に注意喚起するようにしてもよい。なお、加速度センサ２６の検出結果や他のセンサの検出結果に基づいて、制動制御時の車両１の姿勢や旋回方向が算出できる場合は、その結果に基づいて後輪幅軌跡３６や前輪幅軌跡５２の表示精度を向上できるので、非制動時と同様な態様で重畳表示してもよい。

このように構成される周辺監視システム１００の画像処理の手順の一例を図１０のフローチャートを用いて説明する。なお、図１０のフローチャートに示す処理は、前方画像を表示する前方画像領域５０や右側方画像領域４８ａや左側方画像領域４８ｂを表示する場合に、所定周期で繰り返し実行されるものとする。また、各撮像部１６、舵角センサ１９、ブレーキセンサ１８ｂ等は、所定の制御周期で継続的に検出データをＥＣＵ１４に提供しているものとする。

ＥＣＵ１４は、右側方画像領域４８ａ、左側方画像領域４８ｂ、前方画像領域５０を含む表示装置８の表示が要求された場合、表示制御部１４ｄに各撮像部１６を介して車両１の周囲の撮像画像データを取得させる（Ｓ１００）。続いて、舵角取得部２８は、舵角センサ１９の検出データに基づいて、現在の操舵角を取得する（Ｓ１０２）。また、指標取得部３２は、ＳＳＤ１４ｆから現在の操舵角に対応して表示すべき指標を読み出し、表示制御部１４ｄに提供する（Ｓ１０４）。そして、ＥＣＵ１４は、表示制御部１４ｄに前方画像領域５０に前方画像、右側方画像領域４８ａに右側方画像、左側方画像領域４８ｂに左側方画像をそれぞれに表示させると共に（Ｓ１０６）、各表示領域に指標情報を重畳表示させる（Ｓ１０８）。

また、軌跡算出部３０は、舵角取得部２８から提供される操舵角に基づいて前輪幅軌跡５２を算出して（Ｓ１１０）、表示制御部１４ｄは、算出されたる前輪幅軌跡５２を前方画像領域５０に重畳表示する（Ｓ１１２）。

さらに、軌跡算出部３０は、舵角取得部２８から提供される操舵角が所定値以上、例えば２７０°以上の場合（Ｓ１１４のＹｅｓ）、操舵角に基づいて、後輪幅軌跡３６を算出する（Ｓ１１６）。表示制御部１４ｄは、制動状態取得部３４から旋回内側後輪が制動制御中である旨の信号を受け取っていない場合、すなわち、旋回半径を小さくするために旋回修正制御が実行されていない場合（Ｓ１１８のＮｏ）、後輪幅軌跡３６を「明」状態で重畳表示する（Ｓ１２０）。すなわち、図６に示すように、実線状態で明瞭に表示して、このフローを一旦終了し、次の制御周期でＳ１００から処理を繰り返し実行する。一方、Ｓ１１８の処理で旋回内側後輪が制動制御中である旨の信号を受け取った場合、すなわち、旋回半径を小さくするために旋回修正制御が実行されている場合（Ｓ１１８のＹｅｓ）、後輪幅軌跡３６を「半透明」状態で重畳表示する（Ｓ１２２）。すなわち、図９に示すように、後輪幅軌跡３６の表示信頼度が低下している、つまり、参考表示として後輪幅軌跡３６を表示していることを示し、このフローを一旦終了し、次の制御周期でＳ１００から処理を繰り返し実行する。

Ｓ１１４の処理において、舵角取得部２８から提供される操舵角が所定値未満、例えば２７０°未満の場合、Ｓ１１６以降の処理をスキップして、このフローを一旦終了し、次の制御周期でＳ１００から処理を繰り返し実行する。なお、Ｓ１２０やＳ１２２の処理で後輪幅軌跡３６を重畳表示する場合、Ｓ１０８の処理で重畳表示した指標情報を非表示としてもよい。また、別の実施形態では、Ｓ１２０の処理で後輪幅軌跡３６を「明」状態で重畳表示する場合のみＳ１０８の処理で重畳表示した指標情報を非表示として、Ｓ１２２の処理で後輪幅軌跡３６を「半透明」状態で重畳表示する場合は、指標情報の表示を維持するようにしてもよい。このように、状況に応じて利用者に注目させたい表示内容を際だち表示させることにより、車両１の周囲の状況をより適切に利用者に認識させやすくすることができる。なお、図１０に示すフローチャートは、一例であり、車両１の操舵角が所定値以上になった場合に、車両１の側方画像を撮像する撮像部１６ｂ（１６ｄ）から出力された側方撮像画像データに後輪幅軌跡３６を重畳表示することができれば、適宜処理内容を変更してもよく、本実施形態と同様の効果を得ることができる。

本発明の実施形態及び変形例を説明したが、これらの実施形態及び変形例は、例として提示したものであり、発明の範囲を限定することは意図していない。これらの新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１…車両、３…車輪、３Ｆ…前輪、３Ｒ…後輪、４…操舵部、８…表示装置、１２…操舵システム、１４…ＥＣＵ、１４ａ…ＣＰＵ、１４ｂ…ＲＯＭ、１４ｃ…ＲＡＭ、１４ｄ…表示制御部、１４ｆ…ＳＳＤ、１６，１６ａ，１６ｂ，１６ｃ，１６ｄ…撮像部、１８…ブレーキシステム、１８ｂ…ブレーキセンサ、１９…舵角センサ、２３…車内ネットワーク、２８…舵角取得部、３０…軌跡算出部、３２…指標取得部、３４…制動状態取得部、３６…後輪幅軌跡、３８…後輪車軸、４６…最大移動軌跡、４８ａ…右側方画像領域、４８ｂ…左側方画像領域、５０…前方画像領域、５２…前輪幅軌跡、５４…姿勢シンボル、５４ａ…姿勢シンボル表示領域、１００…周辺監視システム。

Claims (6)

1. 車両の前輪の操舵角を取得する取得部と、
   前記前輪の操舵による前記車両の旋回時に旋回内側の後輪の移動予想進路を示す後輪幅軌跡を算出する軌跡算出部と、
   前記車両の側方画像を撮像する撮像部から出力された側方撮像画像データを前記車両の操舵角にかかわらず表示し、前記車両の操舵角が所定値以上になった場合に、前記側方撮像画像データに前記後輪幅軌跡を重畳表示する表示制御部と、
   を備える車両周辺監視装置。
2. 前記表示制御部は、前記後輪幅軌跡を重畳表示するときに、前記操舵角を最大角とした場合の旋回内側の前記後輪の最大移動軌跡を前記側方撮像画像データに重畳表示する請求項１に記載の車両周辺監視装置。
3. 前記表示制御部は、少なくとも前記車両の操舵角が前記所定値未満の場合には、前記車両の外形情報を示す指標を前記側方撮像画像データに重畳表示する請求項１または請求項２に記載の車両周辺監視装置。
4. 前記軌跡算出部は、前記車両の前輪の移動予想進路を示す前輪幅軌跡をさらに算出し、
   前記表示制御部は、前記車両の前方画像を撮像する撮像部から出力された前方撮像画像データに前記前輪幅軌跡を重畳表示する請求項１から請求項３のいずれか１項に記載の車両周辺監視装置。
5. 前記表示制御部は、前記操舵角に基づく旋回予定状態と前記車両の実旋回状態とが対応する場合と非対応となる場合とで、少なくとも前記後輪幅軌跡の表示態様を変化させる請求項１から請求項４のいずれか１項に記載の車両周辺監視装置。
6. 前記表示制御部は、前記車両の操舵角が前記所定値より小さくなった場合、前記後輪幅軌跡を重畳表示しない、請求項１に記載の車両周辺監視装置。

Images