JP2019091204A

JP2019091204A - 転針検出装置

Info

Publication number: JP2019091204A
Application number: JP2017219054A
Authority: JP
Inventors: 祐一梅実; Yuichi Umemi; 茂小笠原; Shigeru Ogasawara; 章則宇野; Akinori Uno; 浩幸宮山; Hiroyuki Miyayama
Original assignee: Suzuki Motor Corp
Current assignee: Suzuki Motor Corp
Priority date: 2017-11-14
Filing date: 2017-11-14
Publication date: 2019-06-13

Abstract

【課題】路面上の白線の有無に関わらず、車両の転針を検知する。【解決手段】転針検出装置２は、車両前方又は車両後方を写した２つの画像間における複数のオプティカルフローを計算するオプティカルフロー計算手段２１と、前記オプティカルフロー計算手段により計算された前記オプティカルフローの始点及び終点の一方が座標平面の原点に一致するように前記オプティカルフローを平行移動させ、前記平行移動後の前記オプティカルフローの始点及び終点の他方からなる点群の重心を計算する重心計算手段２２と、前記重心計算手段により計算された前記重心の位置に基づいて前記車両が転針しているかどうかを検出する転針検出手段２３とを備えている。【選択図】図２

Description

本発明は転針検出装置に関する。

特許文献１には、車両に搭載される車載器が記載されている。この車載器は、車両前方を撮影する撮影部から撮影画像を受け付ける画像受付部と、車両の現在の走行速度を算出するための情報を受け付ける速度受付部と、画像受付部及び速度受付部に接続された制御部とを備えている。制御部は、撮影画像における消失点位置に基づいて車両の進路変化を検出し、且つ、車両の走行速度が所定の閾値より大きいことを識別した場合には、画像データの記録及び警報の出力の少なくとも一方を所定の動作として実行する。

特開２０１５−７５８３８号公報

本発明は、路面上の白線の有無に関わらず、車両の転針を検知することを目的とする。

上記目的を達成するために、本発明に係る転針検出装置は、車両前方又は車両後方を写した２つの画像間における複数のオプティカルフローを計算するオプティカルフロー計算手段と、前記オプティカルフロー計算手段により計算された前記オプティカルフローの始点及び終点の一方が座標平面の原点に一致するように前記オプティカルフローを平行移動させ、前記平行移動後の前記オプティカルフローの始点及び終点の他方からなる点群の重心を計算する重心計算手段と、前記重心計算手段により計算された前記重心の位置に基づいて前記車両が転針しているかどうかを検出する転針検出手段とを備えている。

本発明によれば、路面上の白線の有無に関わらず、車両の転針を検知することができる。

システムの説明図である。コントローラの説明図である。コントローラにより行われる処理のフローチャートである。オプティカルフローを重畳表示した画像を示す説明図である。座標平面を示す説明図である。計算された重心を示す説明図である。

以下、本発明を図示の実施の形態に基づいて説明する。ただし、本発明は、以下に説明する実施の形態によって限定されるものではない。

図１に示すように、車両に搭載される転針検出システム１は、コントローラ（「転針検出装置」とも呼ぶ）２とカメラ３と表示部４とスピーカ５とを備えている。カメラ３と表示部４とスピーカ５とは、コントローラ２に接続される。

カメラ３は、車両後方を写した画像を撮影する。この画像は、コントローラ２に送られる。カメラ３は広角レンズを備えているため、カメラ３による画像には路面と空が両方写ることになる。

表示部４は、コントローラ２からの入力に基づいて、転針検出システム１が搭載されている車両の乗員に対し、当該車両が転針しているかどうかを視覚的に伝える装置である。表示部４は、転針検出システム１のための専用ディスプレイとすることができる。あるいは、カーナビゲーションシステムのディスプレイを表示部４として利用することも可能である。

スピーカ５は、コントローラ２からの入力に基づいて、乗員に対し、車両が転針状態にあることを音声で伝える装置である。スピーカ５は、転針検出システム１のための専用スピーカとすることができる。あるいは、転針検出システム１が搭載されている車両のオーディオ装置のスピーカをスピーカ５として利用することも可能である。

図２に示すように、コントローラ２は、オプティカルフロー計算手段２１と、重心計算手段２２と、転針検出手段２３とを備えている。各手段の処理内容は後述する。また、コントローラ２は、そのハードウェア構成として、各手段の機能を実行するように動作可能なプログラム及びデータを格納するメモリと、演算処理を行うプロセッサと、転針検出システム１内の他の装置とのインタフェースとを備えている。

図３は、転針検出装置２が行う処理のフローチャートである。まず、ステップＳ１にて、オプティカルフロー計算手段２１は、カメラ３により第１の時点において撮影された画像と、第１の時点よりも未来の第２の時点において撮影された画像とを取得する。これらの２つの画像のうち、第１の時点において撮影された画像を第１の画像とも呼び、第２の時点において撮影された画像を第２の画像とも呼ぶ。

ステップＳ２にて、オプティカルフロー計算手段２１は、ステップＳ１にて取得された２つの画像に基づいてオプティカルフローを計算する。オプティカルフローは、画像上のある点の動きを表すベクトルのことである。第１の画像内のある特徴点が第２の画像において移動している場合、その移動の向きと大きさを表すオプティカルフローを計算することができる。

広角レンズを備えたカメラ３により撮影された画像から計算されるオプティカルフローには、以下のような特徴がある。
・路面の領域内の特徴点の動きは、画像中心に向かうオプティカルフローを発生させやすい。
・空の領域内の点は、特徴点になりにくいため、オプティカルフローが生じないか、又は生じたとしてもその大きさは路面領域のオプティカルフローの大きさに比べて極端に小さい。

図４に、ステップＳ１にて取得された２つの画像のうちの第１の画像６を示す。符号６１は路面の領域を示し、符号６２は空の領域を示す。さらに、ステップＳ２にて計算されたオプティカルフローＦ１〜Ｆ８が画像６に重ね合わされている。符号Ｆ１ａ〜Ｆ８ａはそれぞれ、オプティカルフローＦ１〜Ｆ８の始点である。符号Ｆ１ｂ〜Ｆ８ｂはそれぞれ、オプティカルフローＦ１〜Ｆ８の終点である。

ステップＳ３にて、重心計算手段２２は、オプティカルフローＦ１〜Ｆ８の始点Ｆ１ａ〜Ｆ８ａが図５に示す座標平面の原点Ｏに一致するように、オプティカルフローＦ１〜Ｆ８を平行移動させる。この座標平面を、後述する重心の位置を評価するための評価用座標平面とも呼ぶ。この平行移動の前後を通じて、オプティカルフローＦ１〜Ｆ８の方向及び大きさは変わらない。

ステップＳ４にて、重心計算手段２２は、評価用座標平面におけるオプティカルフローＦ１〜Ｆ８の終点Ｆ１ｂ〜Ｆ８ｂからなる終点群の重心の座標（ｘ_ｇ，ｙ_ｇ）を次式にしたがって計算する。

ただし、ｎはオプティカルフローの数であり（本例ではｎ＝８）、ｘ_ｋは第ｋ番目のオプティカルフローの終点のｘ座標であり、ｙ_ｋは第ｋ番目のオプティカルフローの終点のｙ座標である。このようにして計算された重心Ｇの例を図６に示す。

ステップＳ５にて、転針検出手段２３は、評価用座標平面における重心の位置に応じて、車両が直進状態にあるのか転針状態にあるのかを判断する。重心がｙ軸上あるいはｙ軸の近傍（ｙ軸から所定距離の範囲内）に位置している場合、車両は直進状態にあると判断される。重心がｙ軸の近傍に位置しておらず、かつ第一象限Ｑ_１に位置する場合、車両は車両前方を基準として右転針状態にあると判断される。重心がｙ軸の近傍に位置しておらず、かつ第二象限Ｑ_２に位置する場合、車両は車両前方を基準として左転針状態にあると判断される。

なお、車両が前進している限り、重心が第三象限Ｑ_３及び第四象限Ｑ_４に位置することはない。車両が右転針状態又は左転針状態にあると判断された場合、転針検出手段２３は、車両が右転針状態又は左転針状態にある旨の発報をするよう、表示部４及びスピーカ５の少なくとも一方に命令を送る。

ステップＳ５ではさらに、転針検出手段２３は、横移動速度を推定する。横移動速度とは、上記２つの画像の間の、車幅方向に沿った車両の移動速度である。

ステップＳ６にて、転針検出手段２３は、横移動速度から横移動量を推定する。横移動量とは、上記２つの画像間の、車幅方向に沿った車両の移動量である。具体的には、上記第１の画像と上記第２の画像との間の重心の移動量を計算し、この重心移動量から車線内の自車移動量を計算する。画像上の重心移動量と車線内の自車移動量とは、一対一の対応関係にあると考えることができる。自車移動量の計算は、例えば、事前に実験を重ねて作成した参照表を使う方法が考えられる。本ステップにて推定された横移動量は、上述のメモリに記憶される。

ステップＳ７にて、転針検出手段２３は、上記２つの画像の少なくとも一方に白線が写っているかどうかを判断する。判断結果がＹｅｓである場合、後述するステップＳ１０が行われる。

ステップＳ７における判断結果がＮｏである場合、ステップＳ９にて転針検出手段２３は、横移動量に基づいて白線予想位置を補正する。

ステップＳ１０にて、転針検出手段２３は、白線位置を決定する。

以下に述べるステップＳ１１〜Ｓ１４は警報発報判定と呼ばれる。ステップＳ１１にて、転針検出手段２３は、車両が車線内の発報エリアに位置しているかどうかを判断する。この判断結果がＹｅｓである場合はステップＳ１２が行われ、さもなければステップＳ１に戻る。

ステップＳ１２にて、転針検出手段２３は、車両が左右の発報エリアのいずれに位置しているかを判断する。
車両が左の発報エリアに位置していると判断された場合は、ステップＳ１３にて、左に位置している旨の発報をするよう、表示部４及びスピーカ５の少なくとも一方に命令を送る。その後、ステップＳ１に戻る。
車両が右の発報エリアに位置していると判断された場合は、ステップＳ１４にて、右に位置している旨の発報をするよう、表示部４及びスピーカ５の少なくとも一方に命令を送る。その後、ステップＳ１に戻る。

ステップＳ５〜Ｓ７及びＳ９〜Ｓ１４の処理について補足する。白線が見つかれば（ステップＳ７の判断結果がＹＥＳであれば）、その白線を頼りに車線上での自車位置が計算される。白線が見つからなければ（ステップＳ７の判断結果がＮＯであれば）、ステップＳ６にて得られた横移動量の推定値を使って、「最後に白線が見つかった時点の白線位置」と、「その時点から積算したステップＳ６で出力された横移動量の総和」の足し算により、現在の車線上の自車位置推定値が計算される（ステップＳ９）。ステップＳ９の計算結果を用いて、自車両に対する白線位置が更新される（ステップＳ１０）。

［効果］
以上の実施形態は、広角レンズを備えたカメラにより撮影された画像において、オプティカルフローが車両の転針によって特徴的な変化をすることを利用するものである。この実施形態によれば、路面上の白線の有無及び形状に関わらず、すなわち画像内の路面に領域に白線が写っているかどうかとは無関係に、車両の転針を検出することができる。すなわち、ステップＳ１〜Ｓ５における転針の検知は路面上の白線の有無に関わらず行うことができる。

一般的には、加速度センサ、ヨーレートセンサ、舵角センサなどを用いることで車両の転針を推定することも可能である。しかし、本実施形態によれば、カメラ３以外の、車両の周囲の状態を捉えるセンサは不要である。そのため、転針検出システムの構成をシンプルにすることができ、コストも低減することができる。

［他の形態］
ステップＳ２におけるオプティカルフローの計算は、画像内の全領域について行うことが可能である。あるいは、画像の部分的な領域に限定してオプティカルフローを計算することもできる。部分的な領域の例を、図４の領域Ｒ１として示す。領域Ｒ１は、消失点Ｐを含み、かつ横長である。このように、オプティカルフローを計算する対象領域を限定することにより、画像の左右のベクトル分布の違いが後続の重心の計算に反映されやすくなり、かつ、オプティカルフローの計算量を低減することができる。

消失点Ｐの位置は、カメラ３の取付位置、光軸角度から前もって決めることができる。カーブした道路の走行中は、消失点Ｐの所定位置と現実の消失点の位置とが一致しない場合があるが、それをカバーできるように領域Ｒ１を定めることができる。

オプティカルフローを計算する対象領域をカメラ視野に合わせて更に小さくすることもできる。あるいは、対象領域を特異な形状にして特定の領域内のオプティカルフローのみを計算してもよい。対象領域は、カメラの視野角、電子的な歪除去の有無、自車の移動方向との関係で決まる。

ステップＳ３にて、重心計算手段２２は、オプティカルフローＦ１〜Ｆ８の終点Ｆ１ｂ〜Ｆ８ｂが図５に示した評価用座標平面の原点Ｏに一致するように、オプティカルフローＦ１〜Ｆ８を平行移動させることもできる。そして、ステップＳ４にて、重心計算手段２２は、評価用座標平面におけるオプティカルフローＦ１〜Ｆ８の始点Ｆ１ａ〜Ｆ８ａからなる始点群の重心の座標を計算することができる。ステップＳ５では、重心がｙ軸上あるいはｙ軸の近傍に位置している場合に、車両は直進状態にあると判断される。重心がｙ軸の近傍に位置しておらず、かつ第三象限Ｑ_３に位置する場合、車両は車両前方を基準として右転針状態にあると判断される。重心がｙ軸の近傍に位置しておらず、かつ第四象限Ｑ_４に位置する場合、車両は車両前方を基準として左転針状態にあると判断される。

カメラ３が車両前方を写した画像を撮影し、その画像に基づいてコントローラ２が処理を行うことも可能である。

図３に示したコントローラによる処理は、反復的に実行することができる。

前述した転針検出システム及び転針検出装置の機能的構成及び物理的構成は、前述の態様に限られるものではなく、例えば、各機能や物理資源を統合して実装したり、逆に、さらに分散して実装したりすることも可能である。

以上、本発明の実施の形態につき述べたが、本発明は既述の実施の形態に限定されるものではなく、本発明の技術的思想に基づいて各種の変形及び変更が可能である。

１転針検出システム

２転針検出装置
２１オプティカルフロー計算手段
２２重心計算手段
２３転針検出手段

３カメラ
４表示部
５スピーカ

Claims

車両前方又は車両後方を写した２つの画像間における複数のオプティカルフローを計算するオプティカルフロー計算手段と、
前記オプティカルフロー計算手段により計算された前記オプティカルフローの始点及び終点の一方が座標平面の原点に一致するように前記オプティカルフローを平行移動させ、前記平行移動後の前記オプティカルフローの始点及び終点の他方からなる点群の重心を計算する重心計算手段と、
前記重心計算手段により計算された前記重心の位置に基づいて前記車両が転針しているかどうかを検出する転針検出手段と
を備えた転針検出装置。
前記オプティカルフロー計算手段は、前記画像内で部分的に特定された横長の領域においてのみ前記オプティカルフローを計算するものである、請求項１に記載の転針検出装置。
前記画像は広角カメラにより撮影されるものであり、
前記領域は前記画像の消失点を含むものである、請求項２に記載の転針検出装置。