JP4319928B2

JP4319928B2 - 車両状態検知システムおよび車両状態検知方法

Info

Publication number: JP4319928B2
Application number: JP2004065922A
Authority: JP
Inventors: 護沢田; 平樹松本
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2004-03-09
Filing date: 2004-03-09
Publication date: 2009-08-26
Anticipated expiration: 2024-03-09
Also published as: DE102005009814B4; FR2867567A1; US7477760B2; FR2867567B1; JP2005254861A; US20050201593A1; DE102005009814A1

Description

本発明は、車載カメラで撮影して得た画像データに基づいて、自車両の走行状態を検知する車両状態検知システムおよび車両状態検知方法に関するものである。

従来、車載カメラなどで撮影して得た画像データに基づいて、走行路面の曲率半径や車線幅を認識し、その認識結果をカーブ進入時に車両がオーバスピードとなっていて車線を逸脱する可能性があるか否かに用いるような装置が提案されている（例えば、特許文献１参照）。

この装置では、車載カメラによって車両前方の道路、交通環境を三次元的に認識した画像デ−タを得て、その画像デ−タから道路に相当するデータを抽出している。そして、そのデータからカーブ路であることをその進入前に検出すると共に、そのカーブ路の曲率半径、車線幅を画像データから求めるようにしている。
特開平９−２６３２００号公報

上記従来の装置では、車載カメラで撮影して得た画像データに基づいて、車両走行路面、すなわち車両が走行中における周囲の状況を検出している。しかしながら、車載カメラで撮影した画像データを自車両自身の走行状態、例えば自車両の並進運動量を求めたりするような装置は、未だ提案されていない。

本発明は上記点に鑑みて、車載カメラなどの画像認識手段によって撮影して得た画像データに基づいて、自車両の走行状態の検出を行う車両状態検知システムおよび車両状態検知方法を提供することを目的とする。

上記目的を達成するため、請求項１に記載の発明では、自車両に搭載され、該自車両の外の状況の画像を撮影すると共に、その画像データを出力する画像認識手段（１）と、自車両の車速に応じた検出信号を出力する車速検出手段（２）と、画像認識手段（１）が撮影した自車両の走行中における車外の画像の画像データを受け取り、該画像データからその画像中の任意の注視点のオプティカルフローの横方向速度Ｖｙ＿ｆｌｏｗを自車両の走行状態を示す物理量を含むベクトルとして求め、このオプティカルフローの横方向速度Ｖｙ＿ｆｌｏｗと車速検出手段（２）からの車速に応じた検出信号とに基づいて、前記注視点から見た前記自車両の動きとして走行状態を判定する車両状態検知手段（３）と、を備えており、前記走行状態として、車両の横方向における並進運動を示すスリップ角βおよび車両の重心周りの回転運動を示すヨーレートγを判定することを特徴としている。

このように、画像認識手段（１）によって車外の画像を撮影し、その画像データからオプティカルフローを抽出することで、走行状態を検出することが可能である。

具体的には、車両状態検出手段（３）は、車両から注視点までの距離をｄ、車両質量をＭ、ホイールベースをＬ、車両重心と前輪軸との間の距離をＬｆ、車両重心と後輪軸との間の距離をＬｒ、後輪のタイヤコーナリングパワーをＫｃｒとした場合に、上記した数式１により、スリップ角βを求めることができる。

また、車両状態検出手段（３）は、上記した数式２により、ヨーレートγを求めることができる。

請求項２、５、６に記載の発明は、請求項１、３、４に記載の発明を方法として示したものである。これら各請求項に示す発明により、請求項１、３、４に記載の発明と同様の効果を得ることができる。

なお、上記各手段の括弧内の符号は、後述する実施形態に記載の具体的手段との対応関係を示すものである。

（第１実施形態）
本発明の一実施形態を適用した車両状態検知システムのブロック構成を図１に示す。この図に示されるように、車両状態検知システムは、車載カメラ１、車輪速度センサ２および車両状態検出用のＥＣＵ３を有して構成されている。

車載カメラ１は、車両前方を映し出すものであり、車両走行中、常に車両前方の画像を撮影し、その画像データを車両状態検出用のＥＣＵ３に伝えるようになっている。

車輪速度センサ２は、車輪速度に応じた信号を出力するものであり、この車輪速度センサ２の検出信号に基づいて車速Ｖが求められる。この車速Ｖの演算方法に関しては、ブレーキ分野等において周知のものであるため、ここでは説明を省略する。

ＥＣＵ３は、車載カメラ１の画像データおよび車輪速度センサ２からの検出信号に基づき、車両の走行状態を検出するものである。具体的には、ＥＣＵ３は、車両の走行状態を示すパラメータとして、車両の回転角速度、すなわち車両中心軸まわりのの回転角速度を示すヨーレートγと、車両の並進運動による横方向移動速度を示すスリップ角βとを求めるようになっている。

これらヨーレートレートγおよびスリップ角βは、車載カメラ１によって撮影された画像の画像データから求められる。この求め方について、図２を参照して説明する。

図２（ａ）は、車両が横方向へ並進運動のみを行ったとした場合のオプティカルフロー、図２（ｂ）は、車両が回転運動のみを行ったとした場合のオプティカルフローを示したものである。なお、この図では、車両前後方向をＸ軸、左右方向Ｙ軸、上下方向をＺ軸として示してあり、車両が横方向へ並進運動したということは車両がＹ軸上で移動したことを意味し、車両が回転運動したということは車両がＺ軸を中心として回転したことを意味する。

オプティカルフローとは、車載カメラ１で見た任意の前方注視点での車両横方向移動速度を示したものであり、画像座標中において任意の注視点が所定時間後にある点に移動したとしたときに、それら２点を結ぶベクトルに相当するものである。本発明者らは、このオプティカルフローが自車両の走行状態を示す物理量を含んだものとなっていることを見出し、このオプティカルフローに基づいてヨーレートレートγおよびスリップ角βを求めることを考え出した。

以下、このオプティカルフローの物理的意味について説明する。

図２（ａ）に示されるように、車両が横方向へ並進運動した場合、画像データのうち車両前方における車両から遠い位置ではオプティカルフローは小さく、車両左右の位置ではオプティカルフローが大きくなる。一方、図２（ｂ）に示されるように、車両が回転した場合、画像データのうち車両前方の位置、左右の位置いずれの場合にもオプティカルフローが大きくなっている。

これらから、車両が横方向に並進運動した場合と回転運動した場合とで、それぞれオプティカルフローが異なっていることが判る。これは、オプティカルフローが車両の並進運動および回転運動を表していることを意味しており、車載カメラ１で画像を撮影した場合に、その画像データに含まれるオプティカルフローを解析すれば、車両の並進運動や回転運動を検出することが可能になると考えられる。

図３は、車両の前方注視位置のうち距離ｄの位置を注視点Ｐとして設定し、所定時間後に車両の移動に伴って注視点がどのように移動するかを示した図である。

この図に示されるように、車両がスリップ角βとヨーレートγを持つ状態で進行している場合、注視点Ｐは、車両横方向にｄ・γ＋Ｖβの速度で移動する。したがって、画像データから得られるオプティカルフローの横方向速度をＶｙ_flowとすると、これは次式で示される。

（数５）
ｄ・γ＋Ｖβ＝Ｖｙ_flow
この数式は、車両の横すべりによる横移動速度Ｖβと、重心周りの回転角速度による前方注視点の横移動速度ｄ・γとの総和が画像で捉えた前方注視点Ｐのオプティカルフローの横方向成分として現れることを意味している。換言すれば、オプティカルフローの横方向速度成分は、車両の横滑り運動の回転運動の拘束関係を示すことになる。

一方、定常円旋回時において、スリップ角βとヨーレートγは、以下のように定義される。これらについて、図４を参照して説明する。

図４は、車両各部のサイズ等について模式的に示したものである。この図に示されるように、車両質量［ｋｇ］をＭ、ホイールベース［ｍ］をＬ、車両重心と前輪軸との間の距離［ｍ］をＬｆ、車両重心と後輪軸との間の距離［ｍ］をＬｒとしている。また、車速をＶ［ｍ／ｓｅｃ］、舵角をδ［ｒａｄ］、前後輪のタイヤコーナリングパワーをそれぞれＫｃｆ、Ｋｃｒ［Ｎ／ｒａｄ］としている。これらを基に、旋回半径ρを表すと、次式になることが知られている。

なお、数式６において、Ａはスタビリティファクタ（Stability Factor）であり、次式で示され、車両ごとに決まる値である。

また、旋回半径ρは、車速Ｖおよびヨーレートγとから、数式８のように表すことができることから、数式８と上記数式６とから、ヨーレートγは、数式９のように表されることが判る。

（数８）
ρ＝Ｖ／γ

同様にして、定常円旋回時におけるスリップ角βを表すと、次式のようになる。

なお、数式１０において、Ｋは次式のように定義される。

したがって、数式９と数式１０との関係から、数式１２が導き出される。また、回転角速度による前方注視点の横移動速度ｄ・γと横滑りによる横移動速度Ｖβとは比例関係にあり、横移動速度Ｖβが横移動速度ｄ・γに対して所定の勾配αで増加する関係にあることが確認されている。このため、数式１２は、さらに、横移動速度Ｖβが横移動速度ｄ・γに対して勾配αで増加するという式としても表される。

（数１２）
Ｖβ＝（１−ＫＶ２）Ｌｒγ
＝α・ｄ・γ
ただし、α＝（１−ＫＶ２）Ｌｒ／ｄである。

このような関係が成り立つため、横移動速度Ｖβと横移動速度ｄ・γとは数式１３、１４のように表されることが判る。

したがって、これら各式から、ヨーレートγおよびスリップ角βが数式１５、１６のように表されることが判る。

このようにして、オプティカルフローに基づき、ヨーレートγおよびスリップ角βを求めることが可能となる。

したがって、本実施形態では、車輪速度センサ２からの信号および車載カメラ１からの画像データを受け取ると、ＥＣＵ３にて車速Ｖを求めると共にオプティカルフローを求め、それら車速およびオプティカルフローを数式１５、１６内のＶおよびＶｙ_flowに代入することで、ヨーレートγおよびスリップ角βを求めるようにしている。

なお、数式１５、１６内におけるＶおよびＶｙ_flow以外の係数に関しては、車種やタイヤの種類などに応じて決定するものであるため、ＶおよびＶｙ_flowに基づいて、ヨーレートγおよびスリップ角βを求めることが可能である。

続いて、本実施形態で示した車両状態検知システムの作動について、図５を参照して説明する。

図５は、ＥＣＵ３３が実行する車両状態検知処理のフローチャートである。このフローチャートに示される処理は、例えば車両におけるイグニッションスイッチがＯＮされると同時に実行される。

まず、車載カメラ１１を通じて車外の状況を示す画像が撮影されると、その画像データがＥＣＵ３３に逐次送られる。一方、車輪速度センサ２２が車輪回転に伴う検出信号を出力すると、その検出信号がＥＣＵ３３に送られる。

これにより、ＥＣＵ３３は、図５に示される車両状態処理を実行する。まず、ステップ１００において、画像データから所定時間ごと（例えば、車載カメラ１の分解能で決まる画像データの取り込み間隔）のオプティカルフローが抽出される。この抽出は、画像データにおける注視点の画像座標に基づいて横方向の移動量を求めることにより行われる。

次いで、ステップ１１０では、そのときの車速が車輪速度センサ２２からの検出信号に基づいて求められる。

そして、ステップ１２０では、抽出したオプティカルフローと車速とが上述した数式１５、１６におけるＶおよびＶｙ_flowに代入されることで、ヨーレートγおよびスリップ角βが求められる。このようにして、ヨーレートγおよびスリップ角βが求められる。このような処理が繰り返し行われることで、車両が走行中、常にヨーレートγおよびスリップ角βを求めることが可能となる。

以上説明したように、本実施形態の車両状態検知システムでは、車載カメラ１によって車両前方の画像を撮影し、その画像データからオプティカルフローを抽出することで、車両状態を示すヨーレートγおよびスリップ角βを求めることが可能となる。このように、車載カメラ１による画像データに基づいて、車両の横方向における並進運動や重心周りの回転運動といった自車両の状態を検出することができる。

なお、一般的に、車載カメラ１によって撮影した画像から物、例えば白線や車両、人や障害物を識別する能力に関しては、コンピュータによる処理は人間には敵わない。しかしながら、周囲環境から見た車両の動きを正確に捉えることに関しては、コンピュータの方が人間よりも優れている。したがって、上記のように、ＥＣＵ３にてオプティカルフローを用いた車両の走行状態検出を行うことにより、優れた走行状態検出を行うことが可能となる。そして、この検出結果に基づいて、様々な車両走行制御を行うことが可能となる。

（他の実施形態）
上記実施形態では、車速を求めるために車輪速度センサ２からの検出信号を用いているが、いわゆる車速センサからの検出信号によって車速を求めても構わない。また、車載カメラ１により車両前方の画像を撮影するものとして説明したが、必ずしも前方でなくてもよく、車両側から車外の状況を撮影し、その画像データ中に車両の横方向の並進運動および重心周りの回転運動が含まれるものであればどの方向であっても構わない。

本発明の第１実施形態における車両状態検知システムのブロック構成を示す図である。（ａ）は、車両が横方向へ並進運動のみを行ったとした場合のオプティカルフロー、（ｂ）は、車両が回転運動のみを行ったとした場合のオプティカルフローを示したものである。車両の前方中心位置のうち距離ｄの位置を注視点Ｐとして設定し、所定時間後に車両の移動に伴って注視点がどのように移動するかを示した図である。車両各部のサイズ等について模式的に示した図である。図１に示す車両状態検知システムにおけるＥＣＵが実行する処理のフローチャートである。

符号の説明

１…車載カメラ、２…車輪速度センサ、３…ＥＣＵ。

Claims

（ａ）自車両に搭載され、該自車両の外の状況の画像を撮影すると共に、その画像データを出力する画像認識装置（１）と、
（ｂ）前記自車両の車速に応じた検出信号を出力する車速検出手段（２）と、
（ｃ）画像認識手段（１）が撮影した前記自車両の走行中における車外の画像の画像データを受け取り、該画像データからその画像中の任意の注視点のオプティカルフローの横方向速度Ｖｙ＿ｆｒｏｗを前記自車両の走行状態を示す物理量を含むベクトルとして求め、
（ｄ）このオプティカルフローの横方向速度Ｖｙ＿ｆｒｏｗおよび車速検出手段（２）からの車速に応じた検出信号とに基づいて、前記注視点から見た前記自車両の動きとしての走行状態を判定する車両状態検出手段（３）と、を備えており、
（ｅ）前記車両状態検出手段（３）は、前記走行状態として、車両の横方向における並進運動を示すスリップ角βおよび車両の重心周りの回転運動を示すヨーレートγを判定し、
（ｆ）前記車両状態検知手段（３）は、車両から注視点までの距離をｄ、車両質量をＭ、ホイールベースをＬ、車両重心と前輪軸との間の距離をＬｆ、車両重心と後輪軸との間の距離をＬｒ、後輪のタイヤコーナリングパワーをＫｃｒとした場合に、［数１］により、前記スリップ角βを判定し、
（ｇ）前記車両状態検知手段（３）は、車両から注視点までの距離をｄ、車両質量をＭ、ホイールベースをＬ、車両重心と前輪軸との間の距離をＬｆ、車両重心と後輪軸との間の距離をＬｒ、後輪のタイヤコーナリングパワーをＫｃｒとした場合に、［数２］により、前記ヨーレートγを判定することを特徴とする車両状態検知システム。
（ａ）車両における車速を求めるステップと、
（ｂ）画像認識手段（１）が撮影した前記自車両の走行中における車外の画像の画像データを受け取り、該画像データからその画像中の任意の点のオプティカルフローの横方向速度Ｖｙ＿ｆｒｏｗを前記自車両の走行状態を示す物理量を含むベクトルとして求めるステップと、
（ｃ）前記車速およびオプティカルフローの横方向速度Ｖｙ＿ｆｒｏｗに基づいて、前記注視点から見た前記自車両の動きとして走行状態を判定するステップと、を含んでおり、
（ｄ）前記走行状態として、車両の横方向における並進運動を示すスリップ角βおよび車両の重心周りの回転運動を示すヨーレートγを判定し、
（ｅ）前記走行状態を判定するステップでは、車両から注視点までの距離をｄ、車両質量をＭ、ホイールベースをＬ、車両重心と前輪軸との間の距離をＬｆ、車両重心と後輪軸との間の距離をＬｒ、後輪のタイヤコーナリングパワーをＫｃｒとした場合に、［数３］により、前記スリップ角βを判定し、
（ｆ）前記走行状態を判定するステップでは、車両から注視点までの距離をｄ、車両質量をＭ、ホイールベースをＬ、車両重心と前輪軸との間の距離をＬｆ、車両重心と後輪軸との間の距離をＬｒ、後輪のタイヤコーナリングパワーをＫｃｒとした場合に、［数４］により、前記ヨーレートγを判定することを特徴とする車両状態検知方法。
前記車両状態検出手段（３）は、前記画像データ中における前記自車両の前後方向をＸ軸、左右方向をＹ軸、上下方向をＺ軸としたとき、前記画像データ中における任意の注視点がＹ軸を移動した場合、前記自車両が横方向に並進移動したと判定し、前記画像データ中における任意の注視点がＺ軸を中心として回転した場合、前記自車両が回転運動したと判定することを特徴とする請求項１に記載の車両状態検知システム。
前記車両状態検出手段（３）は、前記画像データ中のうち、前記自車両の前後方向において該自車両から遠い位置でのオプティカルフローの横方向速度Ｖｙ＿ｆｒｏｗが所定値より小さく、該自車両の左右方向でのオプティカルフローの横方向速度Ｖｙ＿ｆｒｏｗが所定値より大きい場合、該自車両が横方向に並進運動したと判定し、前記画像データのうち前記自車両の前方の位置および左右の位置でのオプティカルフローの横方向速度Ｖｙ＿ｆｒｏｗが所定値より大きい場合、該自車両が回転運動したと判定することを特徴とする請求項１に記載の車両状態検知システム。
前記走行状態を判定するテップでは、前記画像データ中における前記自車両の前後方向をＸ軸、左右方向をＹ軸、上下方向をＺ軸としたとき、前記画像データ中における任意の注視点がＹ軸を移動した場合、前記自車両が横方向に並進移動したと判定し、前記画像データ中における任意の注視点がＺ軸を中心として回転した場合、前記自車両が回転運動したと判定することを特徴とする請求項２に記載の車両状態検知方法。
前記走行状態を判定するステップでは、前記画像データ中のうち、前記自車両の前後方向において該自車両から遠い位置でのオプティカルフローの横方向速度Ｖｙ＿ｆｒｏｗが所定値より小さく、該自車両の左右方向でのオプティカルフローの横方向速度Ｖｙ＿ｆｒｏｗが所定値より大きい場合、該自車両が横方向に並進運動したと判定し、前記画像データのうち前記自車両の前方の位置および左右の位置でのオプティカルフローの横方向速度Ｖｙ＿ｆｒｏｗが所定値より大きい場合、該自車両が回転運動したと判定することを特徴とする請求項２に記載の車両状態検知方法。