JP6201809B2

JP6201809B2 - 周辺監視装置及び方法

Info

Publication number: JP6201809B2
Application number: JP2014034496A
Authority: JP
Inventors: 有華祖父江; 真佐人奥田; 勇二郎小畠
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2014-02-25
Filing date: 2014-02-25
Publication date: 2017-09-27
Anticipated expiration: 2034-02-25
Also published as: JP2015158874A

Description

本発明は、周辺監視装置及び方法に関する。

車両が右旋回している場合には、右側方領域の画面上のフローベクトルを参照せず、左旋回している場合には、左側方領域の画面上のフローベクトルを参照しないノーズビューモニタ装置が知られている（例えば、特許文献１参照）。

特開2005-276057号公報

しかしながら、上記の特許文献１に記載の構成では、旋回方向に係る側方領域の画面上のフローベクトルが一律に参照されないので、旋回方向に係る側方領域に移動物が存在する場合には、移動物を判定する精度が低下する可能性がある。

本発明は、移動物を判定する精度を向上させた周辺監視装置及び方法を提供する。

本発明の一態様に係る周辺監視装置は、車両周辺を撮像するカメラと、
前記カメラにより時間的に連続して撮像して得られる各画像から複数の特定特徴点を追跡し、前記追跡した複数の特定特徴点をグルーピングし、車両が旋回中か否かの第１の判定処理を実行し、前記第１の判定処理により車両が旋回中であると判定した場合、左右の検知領域のうちの旋回側の検知領域における、前記グルーピングした複数の特定特徴点のうちの所定数以上の特定特徴点が、車両に向かう方向に向くベクトルを有するか否かの第２の判定処理を実行し、前記第２の判定処理の結果、左右の検知領域のうちの旋回側の検知領域における、前記グルーピングした複数の特定特徴点のうちの所定数以上の特定特徴点が、車両に向かう方向に向くベクトルを有する場合は、前記グルーピングした複数の特定特徴点に係る物体を報知対象の移動物として検出せず、前記第２の判定処理の結果、前記グルーピングした複数の特定特徴点が、複数の方向に向くベクトルを有する場合は、前記グルーピングした複数の特定特徴点に係る物体を前記報知対象の移動物として検出する処理装置とを含む。

本発明によれば、移動物を判定する精度を向上させた周辺監視装置及び方法が得られる。

本発明の一実施例である周辺監視装置の構成図を示す。本実施例の周辺監視装置においてカメラが撮影した映像の中で設定される移動物検知のための検知エリアの一例を表した図を示す。本実施例の周辺監視装置において、路面上の側溝を塞ぐための周期的模様が繰り返される網目状の構造物（グレーチング）がカメラ映像内に含まれる場合を示す。本実施例の周辺監視装置においてＥＣＵの映像認識部が実行する制御ルーチンの一例のフローチャートを示す。同一のグループにグルーピングされた特徴点のベクトルの例を示す。同一のグループにグルーピングされた特徴点のベクトルの例を示す。

以下、添付図面を参照しながら各実施例について詳細に説明する。

図１は、本発明の一実施例である周辺監視装置１０の構成図を示す。本実施例の周辺監視装置１０は、例えば車両に搭載された、その車両の周辺を監視する装置であって、その車両周辺に存在する障害物を検知する。車両の周辺とは、例えば、その車両の運転者にとって死角となる領域である。また、障害物とは、例えば、自車両に対して移動する他車両や人などの移動物である。

図１に示す如く、周辺監視装置１０は、車両周辺を撮影するカメラ１２を備えている。カメラ１２は、比較的広角のレンズ或いは魚眼レンズを有している。カメラ１２は、車体前部のバンパやグリル又は車体後部のスポイラー下部やバックガラス下方などに配設されている。カメラ１２は、車体前方又は車体後方かつ斜め下方に指向されており、特に車両運転者にとって死角となる位置を含めた予め定められた所定範囲内を撮影することが可能である。カメラ１２は、その所定範囲を予め定められたピクセルで撮影するデジタルカメラである。

周辺監視装置１０は、マイクロコンピュータを主体に構成された電子制御ユニット（以下、ＥＣＵと称す。）１４を備えている。ＥＣＵ１４には、上記のカメラ１２が接続されている。カメラ１２の撮影した映像情報は、画像処理を行うＥＣＵ１４に供給される。ＥＣＵ１４は、カメラ１２の映像情報が入力される映像認識部１６を有している。映像認識部１６は、後に詳述する如く、カメラ１２から供給される車両周辺が撮影された映像をオプティカルフロー法に基づいて画像認識することにより少なくとも移動物を検知する。

ＥＣＵ１４は、映像認識部１６での検知結果が入力される画像描画処理部１８を有している。画像描画処理部１８には、車室内に設けられたモニタ２０が接続されている。モニタ２０は、車両運転者が視認可能な例えばコンソールパネルやマルチインフォメーションディスプレイなどに配置されている。画像描画処理部１８は、映像認識部１６からの検知結果に基づいて、モニタ２０に描く画像やモニタ２０に表示する警告等の報知を行う。

例えば、画像描画処理部１８は、カメラ１２の撮影した映像の画像処理を施す。例えば、その映像の特定箇所を切り出し或いはその映像の歪補正を実行する。画像描画処理部１８は、映像認識部１６による検知結果をカメラ１２の撮影した映像に重畳表示させる。例えば、その検知結果に基づく移動物の自車両への接近方向を表示させ或いはその移動物を強調して表示させる。画像描画処理部１８は、車両運転者によるユーザ設定に従った表示を行わせる。例えば、検知状況を知らせる表示方法や対象物の選択に従った表示を行わせる。モニタ２０は、画像描画処理部１８からの表示指令に従った表示を行う。

ＥＣＵ１４には、車速センサ４０、舵角センサ４２、及び、ヨーレートセンサ４４が接続される。

図２は、本実施例の周辺監視装置１０においてカメラ１２が撮影した映像の中で設定される移動物検知のための検知エリアの一例を表した図を示す。図３は、本実施例の周辺監視装置１０において、路面上の側溝を塞ぐための周期的模様が繰り返される網目状の構造物３０（以下、「周期的構造物３０」という）がカメラ映像３２内に含まれる場合を示す。周期的構造物３０は、例えばグレーチングである。また、図４は、本実施例の周辺監視装置１０においてＥＣＵ１４の映像認識部１６が実行する制御ルーチンの一例のフローチャートを示す。図５及び図６は、同一のグループにグルーピングされた特徴点のベクトルの例を示す図であり、図５は、移動物の特徴点の場合を示し、図６は、周期的構造物３０の場合を示す。移動物は、例えば歩行者である。図５及び図６において、黒丸部分は、特徴点の集合を概念的に表す。

以下、図４のフローチャートに従って説明する。

本実施例において、ＥＣＵ１４の映像認識部１６には、カメラ１２が撮影して供給した映像情報が入力される（ステップ１００）。映像認識部１６は、カメラ１２からの映像情報が入力されると、以下の如く、そのカメラ１２からの映像をオプティカルフロー法に基づいて画像認識する。尚、映像認識部１６による上記の画像認識は、所定時間ごとに繰り返し行われる。また、映像認識部１６による上記の画像認識は、時間的に連続する異なるタイミングで得られる複数の映像それぞれに対して行われる。

次に、映像認識部１６は、映像の画像認識を行ううえで、まず、入力された映像の中で移動物検知のために処理が必要な検知エリアを設定する（ステップ１０２）。例えば図２に示す如く、入力された映像の中で、そのＸ−Ｙ座標上、点（Ｘ＿Ｌ１，Ｙ＿Ｌ１）と、点（Ｘ＿Ｌ２，Ｙ＿Ｌ１）と、点（Ｘ＿Ｌ１，Ｙ＿Ｌ２）と、点（Ｘ＿Ｌ２，Ｙ＿Ｌ２）と、で囲まれる領域Ｌ、及び、点（Ｘ＿Ｒ１，Ｙ＿Ｒ１）と、点（Ｘ＿Ｒ２，Ｙ＿Ｒ１）と、点（Ｘ＿Ｒ１，Ｙ＿Ｒ２）と、点（Ｘ＿Ｒ２，Ｙ＿Ｒ２）と、で囲まれる領域Ｒの２つの領域を、検知エリアとして設定する。

尚、この設定される検知エリアは、カメラ１２が撮影した映像の全領域でもよい。またこの設定される検知エリアは、画像処理の迅速化や効率化等を考慮して、一の映像の全領域の中で自車両の車体が映り込んだ領域を除く一部の領域だけであってもよい。自車両の車体が映り込んだ領域とは、例えばバンパなどが映り込んだ領域である。また、この検知エリアは、カメラ１２の指向性や運転者の死角などに基づいて予め定めてもよい。また、検知エリアが映像全領域のうちの一部に限られる場合は、その検知エリアは、例えば、その検知エリアに障害物が存在すれば自車両の走行に与える影響が比較的大きくなる、映像内で自車両に近接する位置が映し出された手前の領域や映像内で自車移動時に中央側に寄る位置が映し出される左右端部の領域を含むものであってもよい。自車移動時とは、例えば旋回時である。

映像認識部１６は、入力された映像の全領域のうち上記の如く設定した検知エリアの画像をノイズ除去フィルタを用いて平準化することにより、その検知エリアの画像からノイズを除去する（ステップ１０４）。そして、その平準化された検知エリアの画像に対してエッジ抽出フィルタを用いてエッジ抽出を行うことにより、その検知エリアの画像から特徴点を抽出する（ステップ１０６）。

次に、映像認識部１６は、上記ステップ１０６で特徴点を抽出した映像を含む時間的に連続する複数の映像を用いて、上記ステップ１０６で抽出した特徴点の近傍エリアを対象として、予め定めた所定速度範囲の速さで移動する特徴点を特定し、追跡する（ステップ１０８）。尚、追跡とは、時系列で順次得られる映像内の同一の特徴点を特定することを意味する。所定速度範囲の上限値は、車速に応じて可変されてよい。具体的には、上記ステップ１０６で抽出した特徴点に対して過去の映像から抽出した同一対象を構成する特徴点をマッチングさせたうえで、それらの各特徴点の座標上の位置の差に基づいて同一対象を構成する特徴点の移動ベクトル量を測定し、所定速度範囲の速さで移動する特徴点を抽出する。追跡できた回数が所定回数（以下、特徴点追跡回数閾値）を超えた特徴点が、次のステップ１１０におけるグルーピング対象の特徴点となる。追跡できた回数は、例えばカメラ１２の映像のフレーム数でカウントされてもよい。

なお、特徴点追跡回数閾値は、特徴点の移動ベクトルの向きに無関係に固定であってもよい。また、特徴点追跡回数閾値は、特徴点の移動ベクトルの向きに応じて可変されてもよい。この場合、特徴点追跡回数閾値は、特徴点の移動ベクトルの向きが所定方向であるとき、他の方向である場合に比べて大きく設定されてよい。これにより、周期的構造物３０のような路面上の固定物に係る特徴点がグルーピング可能となるタイミングを遅らせることができる。所定方向は、周期的構造物３０のような路面上の固定物に係る特徴点が画像内を流れる方向に対応し、車両の舵角に応じて設定されてよい。

上記ステップ１０８の処理後、映像認識部１６は、カメラ映像の検知エリアの全領域内で上記の如く追跡した所定速度範囲の速さで移動する特徴点のうち同一移動物を構成すると推定される特徴点を一つに纏めてグルーピングし、追跡する（ステップ１１０）。尚、追跡とは、時系列で順次得られる映像内の同一のグルーピングした各特徴点を特定することを意味する。グルーピングした各特徴点を追跡できた回数（カメラ１２の映像のフレーム数）が所定回数（以下、グルーピング追跡回数閾値）を超えたグループに係る特徴点が、報知対象のグループ（特徴点）となる。

なお、グルーピング追跡回数閾値は、特徴点の移動ベクトルの向きに無関係に固定であってもよい。また、グルーピング追跡回数閾値は、特徴点の移動ベクトルの向きに応じて可変されてもよい。この場合、グルーピング追跡回数閾値は、特徴点の移動ベクトルの向きが所定方向であるとき、他の方向である場合に比べて大きく設定されてよい。これにより、周期的構造物３０のような路面上の固定物に係る特徴点が、後述のステップ１１８にて仮に除外されない場合であっても、報知されるタイミングを遅らせることができる。所定方向は、周期的構造物３０のような路面上の固定物に係る特徴点が画像内を流れる方向に対応し、車両の舵角に応じて設定されてよい。

グルーピングは、カメラ映像中の検知エリア内の全ピクセルのうち所定速度範囲の速さで移動する特徴点が密集する映像領域が形成されるように行われる。この映像領域とは、例えば、その特徴点が所定幅当たり所定数以上ある映像領域或いはその特徴点の密度が所定密度以上である映像領域などである。また、上記の如くグルーピングにより形成される映像領域は、例えば長方形状や正方形状などのカメラ映像上で予め定められた形状に限定されるものとしてもよい。また、カメラ映像の検知エリアの全領域内で行われるグルーピングは二以上の領域に分かれることとしてもよく、例えば移動物が複数離れて存在すれば、その移動物ごとにグルーピングが行われることとなる。即ち、グループが複数形成される。

そして、映像認識部１６は、上記ステップ１１０の処理後、車速センサ４０、舵角センサ４２、及び、ヨーレートセンサ４４からの出力信号に基づいて、車両が所定車速範囲内で旋回中であるか否かを判定する（ステップ１１２）。所定車速範囲は、０よりも大きい低速範囲であり、例えば０〜８ｋｍ／ｈの範囲であってよい。尚、旋回中であるか否かは、舵角センサ４２及びヨーレートセンサ４４のいずれか一方からの出力信号に基づいて判定されてもよいし、ナビゲーション装置（図示せず）の地図データと自車位置との関係に基づいて判定されてもよい。車両が所定車速範囲内で旋回中である場合は、ステップ１１４に進む。他方、車両が所定車速範囲内で旋回中でない場合は、ステップ１１６に進む。

ステップ１１４では、映像認識部１６は、同一のグループに属する各特徴点の移動ベクトルのすべてが、旋回方向に対応する所定方向に向いているか否かを判定する。所定方向は、車両に向かう方向であり、旋回方向及び車速等に応じて設定されてもよい。車両に向かう方向とは、例えばカメラ１２の映像の中心に向かう方向であってよい。旋回方向は、舵角に基づいて判定されてよい。簡易的に、右旋回時は、所定方向は、左斜め４５度の下方向であってよく、左旋回時は、所定方向は、右斜め４５度の下方向であってよい。所定方向は、ある特定の角度である必要なく、角度範囲を持つ方向であってよい。同一のグループに属する各特徴点の移動ベクトルのすべてが、旋回方向に対応する所定方向に向いている場合は、ステップ１１８に進み、それ以外の場合は、ステップ１１６に進む。

ステップ１１６では、映像認識部１６は、各特徴点の移動ベクトルのすべてが旋回方向に対応する所定方向に向いていないグループについて、移動物に係るグループであると判定する。かかる移動物判定がなされると、映像認識部１６がかかる検知結果を描画処理部１８に供給して、描画処理部１８がその映像認識部１６からの検知結果に基づいて移動物の存在を運転者に視覚的に知らせるための処理を行うことで、モニタ２０に自車両周囲に移動物が存在する旨を運転者に知らせる警告表示などの報知がなされる。尚、この映像的な報知の際には同時に、自車両周囲に移動物が存在する旨を運転者に聴覚的に知らせるための警告音やブザーなどの音響的な報知を発生させることとしてもよい。尚、ステップ１１６の場合、図５及び図６に示す例では、グループ７２Ｌ，７２Ｒ，７０Ｌ，７０Ｒのすべては、報知対象となる。

ステップ１１８では、映像認識部１６は、各特徴点の移動ベクトルのすべてが旋回方向に対応する所定方向に向いているグループについては、移動物に係るグループでないと判定する。具体的には、映像認識部１６は、各特徴点の移動ベクトルのすべてが旋回方向に対応する所定方向に向いているグループについては、周期的構造物３０であると判定する。この場合、かかる周期的構造物３０は、報知対象とならない。即ち、かかる非移動物判定又は周期的構造物判定がなされると、映像認識部１６がかかる検知結果を描画処理部１８に供給することで、描画処理部１８が移動物の存在を運転者に視覚的に知らせるための処理を行わない。即ち、移動物を判定する精度が向上する。

ところで、移動物の一例である歩行者は、手足の動きがあるので、歩行者に係るグループ７０Ｌ、７０Ｒ内の各特徴点の移動ベクトルは、図５に示すように、多様な方向を向く。尚、図５では、グループ７０Ｌ内の各特徴点は、右斜め下、右真横及び右斜め上の３方向の移動ベクトルを持ち、グループ７０Ｒについても同様である。他方、周期的構造物３０は、路面上の固定物であり、歩行者のような不規則な動きがないため、周期的構造物３０に係る各特徴点の移動ベクトルは、図６に示すように、全てが所定方向に向く。具体的には、左旋回中は、車両の左前の側方に位置する周期的構造物３０に係るグループ７２Ｌは、各特徴点の移動ベクトルはすべて同一の右斜め下方向となる。また、右旋回中は、車両の右前の側方に位置する周期的構造物３０に係るグループ７２Ｒは、各特徴点の移動ベクトルはすべて同一の左斜め下方向となる。

従って、図４に示す処理によれば、周期的構造物３０に係るグループ７２Ｒ，７２Ｌを報知対象から精度良く除外することができる。即ち、左旋回中は、車両の左前の側方に位置する周期的構造物３０に係るグループ７２Ｌは、ステップ１１４で肯定判定を受け、報知対象から除外される。尚、このとき、他のグループ７２Ｒ，７０Ｌ，７０Ｒは、報知対象である。また、右旋回中は、車両の右前の側方に位置する周期的構造物３０に係るグループ７２Ｒは、ステップ１１４で肯定判定を受け、報知対象から除外される。尚、このとき、他のグループ７２Ｌ，７０Ｌ，７０Ｒは、報知対象である。

尚、図４に示す処理では、同一のグループに属する各特徴点の移動ベクトルのすべてが、旋回方向に対応する所定方向に向いているか否かを判定しているが、ノイズ等の影響を考慮するため、同一のグループに属する各特徴点のうちの所定数以上の特徴点の移動ベクトルが、例えば大部分の特徴点の移動ベクトルが、旋回方向に対応する所定方向に向いているか否かを判定してもよい。大部分とは、例えば、９割以上であってよい。また、各特徴点の移動ベクトルの方向の分散値を算出し、分散値が所定値以内であり、且つ、各特徴点の移動ベクトルの平均的な方向が所定方向に向いているか否かを判定してもよい。

以上、各実施例について詳述したが、特定の実施例に限定されるものではなく、特許請求の範囲に記載された範囲内において、種々の変形及び変更が可能である。また、前述した実施例の構成要素を全部又は複数を組み合わせることも可能である。

１０周辺監視装置
１２カメラ
１４電子制御ユニット（ＥＣＵ）
１６映像認識部
２０モニタ
３０周期的構造物

Claims

車両周辺を撮像するカメラと、
前記カメラにより時間的に連続して撮像して得られる各画像から複数の特定特徴点を追跡し、前記追跡した複数の特定特徴点をグルーピングし、車両が旋回中か否かの第１の判定処理を実行し、前記第１の判定処理により車両が旋回中であると判定した場合、左右の検知領域のうちの旋回側の検知領域における、前記グルーピングした複数の特定特徴点のうちの所定数以上の特定特徴点が、車両に向かう方向に向くベクトルを有するか否かの第２の判定処理を実行し、前記第２の判定処理の結果、左右の検知領域のうちの旋回側の検知領域における、前記グルーピングした複数の特定特徴点のうちの所定数以上の特定特徴点が、車両に向かう方向に向くベクトルを有する場合は、前記グルーピングした複数の特定特徴点に係る物体を報知対象の移動物として検出せず、前記第２の判定処理の結果、前記グルーピングした複数の特定特徴点が、複数の方向に向くベクトルを有する場合は、前記グルーピングした複数の特定特徴点に係る物体を前記報知対象の移動物として検出する処理装置とを含む、周辺監視装置。
前記処理装置は、前記グルーピングした複数の特定特徴点の全てが、車両の旋回中に、車両に向かう方向に向くベクトルを有する場合は、前記グルーピングした複数の特定特徴点に係る物体を前記報知対象の移動物として検出しない、請求項１に記載の周辺監視装置。
車両周辺を撮像するカメラにより時間的に連続して撮像して得られる各画像から複数の特定特徴点を追跡し、
前記追跡した複数の特定特徴点をグルーピングし、
車両が旋回中か否かの第１の判定処理を実行し、
前記第１の判定処理により車両が旋回中であると判定した場合、左右の検知領域のうちの旋回側の検知領域における、前記グルーピングした複数の特定特徴点のうちの所定数以上の特定特徴点が、車両に向かう方向に向くベクトルを有するか否かの第２の判定処理を実行し、
前記第２の判定処理の結果、左右の検知領域のうちの旋回側の検知領域における、前記グルーピングした複数の特定特徴点のうちの所定数以上の特定特徴点が、車両に向かう方向に向くベクトルを有する場合は、前記グルーピングした複数の特定特徴点に係る物体を報知対象の移動物として検出せず、
前記第２の判定処理の結果、前記グルーピングした複数の特定特徴点が、複数の方向に向くベクトルを有する場合は、前記グルーピングした複数の特定特徴点に係る物体を前記報知対象の移動物として検出することを含む、周辺監視方法。