JP2017138660A - 物体検出方法、物体検出装置、およびプログラム - Google Patents

Abstract

【課題】車両の走行経路上の物体を精度良く検出する。【解決手段】車載カメラを搭載した車両が撮影する画像から前記車両の走行経路上に位置する物体を検出する物体検出方法であって、前記車両の車載カメラが撮影した車載画像を取得する車載画像取得ステップと、前記車載画像の撮影以降の前記車両の挙動情報を取得する挙動情報取得ステップと、前記挙動情報に基づいて、前記車両の移動軌跡を求める軌跡算出ステップと、前記軌跡に基づいて、前記車載画像において前記移動軌跡に対応する領域を求める領域算出ステップと、前記車載画像から検出対象の物体を検出する物体検出ステップと、検出された物体について、前記車載画像における前記移動軌跡に対応する領域との重複量を算出する算出ステップと、を含む。また、当該重複量が所定割合以上である物体を、前記車両の走行経路上に位置する物体であると判定する判定ステップを含むことも好ましい。【選択図】図２

Description

本発明は、画像から物体を検出する技術に関し、特に、車両が撮影した画像から当該車両の走行経路上の物体を検出する技術に関する。

車載カメラで撮影した画像から物体、特に障害物を検出する技術が提案されている。特許文献1は、カメラやレーダーによって車両の進行方向上の物体を検知する技術を開示す
る。特許文献1は、特に、走行予定経路や運転者の視線から車線変更の有無を推定し、車
線変更が行われると予測した場合には、カメラの撮影方向やレーダーの検知方向を変更する。

特許文献2は、カメラとレーダーの両方を用いて物体を検出する際に、車両の進行経路
範囲内についてはカメラとレーダーの両方を用いて検出を行い、進行経路範囲外についてはレーダーのみを用いて検出を行うことを開示する。

特許文献3は、白線検出を行って道路形状および道路上での自車両の位置を検出し、こ
れと撮影画像とを用いて、走行軌跡に沿った危険度を算出することを開示する。

特開2005-231450号公報 特開2012-089114号公報 特開2006-154967号公報

車速や操舵量は運転者の運転操作によって時々刻々と変化し、車両の移動軌跡を予測することは一般に困難である。したがって、予測される移動軌跡を用いる特許文献1，2の手法は、走行経路上の物体を検出する精度が低い。

また、白線検出を利用しても必ずしも精度は向上しない。まず、白線検出自体の精度がそれほど高くない。例えば、白線が消えかかっている場所では精度のよい検出が行えず、また、白線以外にも白線と同様のパターンを有する物体が存在するため誤検出が発生する。さらに、国によっては、従来の白線を削って白線を引き直すことが行われるため、これも誤検出の原因となる。さらに国によっては、車線が白線ではなくドットで表現されていることもあり、これも検出精度低下の原因となる。また、仮に白線が正しく検出できたとしても、車両が車線に沿って走行するとは限らないので、車両の移動軌跡を精度良く予測できるわけではない。

このように、従来技術では車両の走行経路上の物体を精度良く検出することが困難である。そこで、本発明は、車両の走行経路上の物体を精度良く検出することを目的とする。

上記の目的を達成するために、本発明の第一の態様では、車載画像を撮影した後の車両の挙動情報を用いて車両の移動軌跡（走行経路）を求め、車載画像において検出された物体が当該移動軌跡上に位置するか否かを判定することで、車両の移動軌跡上に位置する物体を検出する。なお、本明細書において、車両の移動軌跡上に位置する物体を検出すると
いうのは、物体が車両の移動軌跡上に位置するかしないかを求めること以外に、物体が車両の移動軌跡上に位置する確からしさ（確率）を求めることも含む。

より具体的には、本発明の第一の態様は、
車載カメラを搭載した車両が撮影する画像から前記車両の走行経路上に位置する物体を検出する物体検出方法であって、
前記車両の車載カメラが撮影した車載画像を取得する車載画像取得ステップと、
前記車載画像の撮影以降の前記車両の挙動情報を取得する挙動情報取得ステップと、
前記挙動情報に基づいて、前記車両の移動軌跡を求める軌跡算出ステップと、
前記移動軌跡に基づいて、前記車載画像において前記移動軌跡に対応する領域を求める領域算出ステップと、
前記車載画像から検出対象の物体を検出する物体検出ステップと、
前記物体検出ステップにおいて検出された物体について、前記車載画像における前記移動軌跡に対応する領域との重複量を算出する算出ステップと、
を含むことを特徴とする。

このようにすれば、実際の車両の挙動情報に基づいて車両の移動軌跡を求めているので、移動軌跡を正しく求めることができる。したがって、車両の移動軌跡上の物体を精度良く検出することができる。

車載画像は静止画像であっても動画像であってもよい。車両の挙動情報は、車載画像の撮影後から取得を開始してもよいし、撮影前から継続して取得されていてもよい。典型的には、車両が走行中に、車載画像（動画）の撮影と挙動情報の取得を同期して行い、同期された車載画像と挙動情報を情報処理装置が取得して上記の処理を行うとよい。

挙動情報は、車両の移動軌跡を求めることができる1つまたは複数の情報を含む。挙動
情報の例は、例えば、車両の位置、速度、加速度、ヨーレート、勾配、方位が含まれる。軌跡算出ステップでは、挙動情報に基づいて、ワールド座標系（例えば緯度・経度・高度により表される地理座標系）内または車両座標系（車両を基準とした座標系）内での車両の移動軌跡を求めるとよい。なお、移動軌跡は、挙動情報以外の情報、例えば、地図情報などを用いて求めることも好ましい。また、移動軌跡は、3次元空間内での軌跡であるこ
とが好ましいが、2次元平面内での軌跡として求めてもよい。

本態様において、移動軌跡は、車両の位置に対応する点を含み車両の幅に対応する長さの線分の、車両の移動に伴う軌跡として定義できる。「車両の位置に対応する点」は、車両の幅方向中心であり、かつ地表面位置の点とすることが好ましい。あるいは、車両の位置を面または立体で表し、当該面または立体の軌跡として、車両の移動軌跡を定義してもよい。

領域算出ステップにおける、車載画像において移動軌跡に対応する領域は、移動軌跡が実在すると仮定したときに、車載画像内で当該移動軌跡が存在する（撮影される）領域である。当該領域の算出は、車載カメラの設置位置および撮影方向を用いて、車両の移動軌跡を車載カメラの撮影面に投影（座標変換）することにより得られる。

物体検出ステップにおける物体の検出方法は、既存の任意の手法が採用可能である。例えば、機械学習処理により予め学習された識別器を用いて検出対象の物体を検出することができる。なお、車載画像が動画像である場合は、1枚の画像だけでなくその前後を含む
複数の画像を用いて物体を検出してもよい。また、車載画像以外に距離画像も用いて物体を検出してもよい。

算出ステップでは、車載画像中での検出物体と移動軌跡の重複量が算出される。この重複量が多い物体ほど、車両の移動軌跡上に位置する物体である確率が高い。したがって、この重複量は、検出物体が車両の移動軌跡上に位置する確からしさを表すスコア（確信度）といえる。

本発明は、物体検出ステップにおいて検出された物体ごとの上記の重複量（または重複量から求められるスコア）を出力結果とすることができる。

また、本発明において、上記の重複量に基づいて、検出された物体が車両の走行経路上に位置するか否かを判定する判定ステップを含むことも好ましい。判定ステップでは、車載画像において、検出された物体が移動軌跡の対応領域とどの程度重複するかに応じて、検出された物体が車両の走行経路上に位置する物体であるか否かが判定される。具体的には、例えば、物体検出ステップにおいて、車載画像内で物体が存在する領域を求め、判定ステップにおいて、物体が存在する領域のうち移動軌跡に対応する領域の割合（面積割合）が所定割合以上であれば、検出物体が車両の走行経路上の物体であると判断することができる。あるいは、物体検出ステップにおいて、車載画像内で物体が存在する矩形領域を求め、判定ステップにおいて、当該矩形の下辺のうち移動軌跡に対応する領域内である部分の割合が所定割合以上であれば、検出物体が車両の走行経路上の物体であると判断することができる。

本態様に係る物体検出方法は、前記車載画像に、前記領域算出ステップにおいて求められた前記移動軌跡に対応する領域と、前記物体検出ステップにおいて検出された物体を特定する表示と、を重畳した画像データを出力する画像生成ステップをさらに含む、ことも好ましい。この際、前記重複量に応じた態様で表示を生成することも好ましい。例えば、前記車両の走行経路上に位置する物体（重複量が所定量以上の物体）とそれ以外の物体とを識別可能に前記表示を生成することも好ましい。

なお、本発明は、上記処理の少なくとも一部を実行する物体検出方法として捉えることもできる。本発明は、上記処理の少なくとも一部を実行する手段を備える物体検出装置として捉えることができる。また、本発明は、この方法をコンピュータに実行させるためのコンピュータプログラム、あるいはこのコンピュータプログラムを非一時的に記憶したコンピュータ可読記憶媒体として捉えることもできる。上記手段および処理の各々は可能な限り互いに組み合わせて本発明を構成することができる。

本発明によれば、車両の走行経路上の物体を精度良く検出することができる。

図1は実施形態に物体検出装置および車両の機能ブロック図である。 図2は実施形態にかかる物体検出処理の全体概要を示すフローチャートである。 図3(A)-3(C)は、車両の軌跡を算出する処理を説明する図である。 図4は車載画像および検出物体の例を示す図である。 図5(A),5(B)は、車載カメラの設置情報を説明する図である。 図6(A),6(B)は、車両の軌跡の車載画像への投影処理を説明する図である。 図7(A),7(B)は、検出物体が車両の走行経路上に位置するか否かの判定方法を説明する図である。 図8は、物体検出処理の結果を説明する図である。

本実施形態は、車両が取得した車載画像および挙動情報を物体検出装置に送信し、物体検出装置において処理を行って当該車両の走行経路上に位置する物体を検出する。

＜構成＞
図1は、車載画像を撮影する車両200と、車載画像から車両200の走行経路上の物体を検
出する物体検出装置100の構成を示す図である。本実施形態における車両200は、ECU（Electronic Control Unit）（不図示）、車載カメラ202、各種センサ204、記憶装置206を含
む。ECUはマイクロプロセッサを含み、当該マイクロプロセッサがプログラムを実行する
ことにより、車両200における処理を制御する。車載カメラ202は、車両の外部、特に車両前方を撮影する撮像装置である。センサ204は、例えば、GPS装置などのGNSS（全地球衛星測位システム）装置、速度センサ、加速度センサ、地磁気（方位）センサ、操舵角センサ、アクセル開度センサなど車両の制御状態を取得するための各種のセンサが含まれる。

車両200は、走行中に車載カメラ202による車載画像208の撮影と、センサ204による挙動情報（センサ情報）210の取得を行い、記憶装置206に蓄積する。この際、同一のクロックを用いて車載画像208および挙動情報210の取得時刻を関連付けて記憶するか、同一時刻に取得された車載画像208および挙動情報210を関連付けて記憶する。これにより、同一時刻に取得された車載画像208および挙動情報210を把握可能となる。

記憶装置206には、車両設定情報212も格納される。車両設定情報212は、例えば、車両
の大きさ（幅、長さ、高さ）や、車載カメラ202の設置位置および撮影方向が含まれる。

車両200は、適宜のタイミングで、記憶装置206に蓄積された車載画像208および挙動情
報210を、車両設定情報212とともに物体検出装置100に送信する。

本実施形態における物体検出装置100は、コンピュータ（情報処理装置）によって実現
される。物体検出装置100のハードウェア構成は、CPU（Central Processing Unit）など
の演算装置（マイクロプロセッサ）、RAM（Random Access Memory）などの主記憶装置お
よびHDD（Hard Disk Drive）やSSD（Solid State Drive）などの補助記憶装置を含む記憶装置102、キーボードやマウスやタッチパネルなどの入力装置、ディスプレイやスピーカ
ーなどの出力装置、および無線通信装置を備える。演算装置が、補助記憶装置に格納されているプログラムを主記憶装置にロードし実行することによって、物体検出装置100は図1に示す各機能を提供する。

記憶装置102には、車両200から送信される、車載画像104、挙動情報106、および車両設定情報108が格納される。物体検出装置100は、CPUがプログラムを実行することによって
、軌跡算出部110、走行領域投影部112、物体検出部114、経路上物体判定部116、出力画像生成部118として機能する。これらの各機能部が行う処理は、以下でフローチャートとと
もに説明する。

＜方法＞
図2を参照して、本実施形態に係る物体検出装置100が実行する物体検出処理について説明する。図2は、物体検出方法の流れを示すフローチャートである。

ステップS10において、物体検出装置100は、車両200から車載画像、挙動情報、および
車両設定情報を取得し、記憶装置102に格納する。本実施形態においては、車両200から無線通信によってこれらの情報を取得するが、有線通信や記憶媒体経由で取得してもよく、また、他の装置を経由して取得してもよい。

ステップS12において、図3(A)に示すように、軌跡算出部110が、挙動情報106に基づい
て3次元空間内での車両200の移動軌跡を算出する。本実施形態においては、軌跡算出部110は、挙動情報106に含まれる位置情報（緯度・経度・高度）、速度、ヨーレート、勾配情報を元に、軌跡推定アルゴリズムとしてカルマンフィルタを用いて、車両の移動軌跡を算出する。移動軌跡は、地理座標系（ワールド座標系）によって表すことができる。カルマンフィルタを用いることで、移動軌跡のスムージングが行える。なお、軌跡算出部110は
、移動軌跡の算出に地図情報も用いてマップマッチングを行うことも好ましい。本実施形態においては、移動軌跡は、挙動情報106の取得期間全体にわたって算出される。なお、
移動軌跡は、速度とヨーレートを単に積分することによって求めてもよいし、あるいは各時点の位置情報を単に連結することによって求めてもよい。

移動軌跡は、より詳細には図3(B)、3(C)に示すような、車両200の現在位置に対応する
線分31の軌跡である面32として求めることができる。線分31は、車両200の幅と同じ長さ
を有し、道路表面上の高さとすることが好ましい。具体的には、軌跡推定アルゴリズムによって点の軌跡（線）が得られるので、この結果を基に当該点を中心とする車両200の幅
と同じ長さの線分の軌跡を求めればよい。なお、図3(B)では、線分31が車両200の最前方
に位置するように描いているが、これは一例であり必ずしも線分31が車両200の最前方に
対応するわけではない。また、線分31の位置は道路表面の高さとすることが好ましい。これは地図情報を用いたマップマッチングにより達成できる。また、線分31の幅は必ずしも車両200の幅と同一の値とする必要はなく、車両200の幅に所定値を足した値や所定係数を掛けた値としてもよい。

以降の処理は、動画像である車載画像を構成する処理対象フレームについて繰り返し実行される（ループL1）。処理対象フレームはどのように定められてもよく、例えば全フレームを処理対象としてもよいし、所定時間おきのフレームを処理対象としてもよい。

ステップS14では、物体検出部114が処理対象フレームから検出対象の物体を検出する。検出対象の物体は任意であってよく、例えば、車両、歩行者（人間）などの物体が含まれる。物体検出部114は、あらかじめ検出対象の画像を用いて学習された識別器を用いて物
体を検出することができる。学習アルゴリズムは任意であって構わないが、例えば、Deformable Part ModelやDeep Learningなどの手法を用いることができる。なお、物体の検出は、処理対象フレームの1枚の画像だけをもとに行う必要はなく、それ以前および以降の
フレームの画像を用いて物体を検出してもよい。例えば、いわゆる物体追跡手法を用いて現在のフレームにおける物体を検出してもよい。また、背景抽出技術により画像内の動くものを抽出してもよい。さらに、レーダーやLIDARから得られた距離画像を用いて物体検
出に利用してもよい。さらに、白線検出を行って高信頼度で白線を検出できた場合に白線情報を利用してもよい。

図4は、処理対象フレームの車載画像40と、その中で検出された3つの物体（ここでは車両）41,42,43が示されている。物体検出部114は、検出された物体の車載画像内における
位置（領域）も特定する。本実施形態では、検出物体を含む矩形が、車載画像内における検出物体の位置として特定される。

ステップS16において、走行経路投影部112は、挙動情報及び車両情報を用いて、ステップS12において算出された車両の移動軌跡を、車載画像に投影する。上述したように車両
の移動軌跡は、ワールド座標系において求められている。また、車両の挙動情報106には
車両の位置情報が含まれ、車両設定情報108には車載カメラ202の設置位置および撮影方向が含まれる。

ここで、図5(A),5(B)を参照して、車載カメラ202に関する車両設定情報108を説明する
。図5(A)は車両を上方から見た模式図、図5(B)は車両を側方から見た模式図である。車載
カメラ202の設置位置は、車両中心線51からのオフセット52および地上高53としてあらわ
される。設置位置に車両の前後方向が含まれてもよいが、含まれなくてもよい。また、車載カメラ202の撮影方向は、方位角54および俯角55によって表される。車両設定情報108には、車両200の幅56も含まれる。

図6（A）に示すように、走行経路投影部112は、車両200の位置と車載カメラ202の設置
位置および撮影方向を用いて車両の移動軌跡61を座標変換することにより、投影面62における移動軌跡の領域63を求めることができる。移動軌跡61が車載画像62に投影される領域63は、移動軌跡61が実空間に存在したと仮定した場合に移動軌跡61が撮影される領域といえる。

図6(B)は、車載画像64に投影された移動軌跡65を示す。ここでは車両200は2車線道路の右側車線を走行しており、車載画像64に投影される移動軌跡65はその旨を反映している。なお、車載画像64には、検出物体66,67も示されている。また、図6(B)に示す画像は説明
を目的とするものであり、この画像が表示されたり、この画像のデータが生成されたりする必要はない。

次のステップS17-S22の処理は、処理対象フレームの画像における検出物体ごとに実行
される（ループL2）。例えば、図6(B)に示す例では、車両66および車両67に対してそれぞれ処理が行われる。

ステップS17では、経路上物体判定部116が、検出物体と、車載画像に投影された移動軌跡の重複量を求める。この重複量が大きいほど、検出物体が車両の走行経路上に位置する可能性が高い。すなわち、この重複量は、検出物体が走行経路上に位置するか否かを判定するための指標として有用である。重複量の2つの算出方法について、図7(A),7(B)を参照して説明する。

図7(A)は重複量の第1の算出方法を説明する図である。図7(A)には車載画像における、
検出物体の矩形領域71および投影された移動軌跡72が示されている。ここで、検出物体と移動軌跡の重複量は、矩形領域71の下辺71a全体の長さ73に対する、下辺のうち移動軌跡72に重なる部分の長さ74の比（割合）として定義することができる。

図7(B)は重複量の第2の算出方法を説明する図である。検出物体と移動軌跡の重複量は
、矩形領域71の全体面積に対する、矩形領域71のうち移動軌跡72と重複する領域75（斜線部）の面積の比（割合）として定義することもできる。

上記第1の手法と第2の手法はいずれも利用可能であるが、検出物体の領域を矩形領域として検出し、かつ、当該矩形領域の下辺が検出物体の道路表面に対応する位置とする場合は、第1の手法が好ましい。この場合、矩形領域の下辺が移動軌跡と重複することは、検
出物体が移動軌跡上に位置することを意味するためである。

あるいは、上記第1および第2の手法による2つの重複量に基づいて求められる値を、判
定に用いる重複量としてもよい。例えば、2つの値の単純平均あるいは重みづけ平均、ま
たは最大値あるいは最小値を、判定に用いる重複量としてもよい。

ステップS18では、経路上物体判定部116は、上記のようにして求めた重複割合が所定割合以上であるか否かを判定する。この判定における閾値（所定割合）は、用途に応じて適宜決定すればよい。なお、第1の手法を用いる場合と第2の手法を用いる場合で異なる閾値が用いられてもよい。

重複量が所定割合以上である場合（S18-YES）、経路上物体判定部116は、検出物体が車両200の走行経路上に位置すると判定する（S20）。一方、重複量が所定割合未満である場合（S18-NO）、経路上物体判定部116は、検出物体が車両200の走行経路上に位置しないと判定する（S22）。図6(B)の例では、車両66は車両200の走行経路上に位置すると判定されるのに対し、車両67は車両200の走行経路上に位置しないと判定される。

物体検出装置100は、車両200の位置、走行経路、検出物体に関する情報（例えば、物体の種類、物体の大きさ、車載画像内における位置、車両200との相対的な位置など）や検
出物体が車両200の走行経路上に位置するか否かの情報を、記憶装置に格納する。あるい
は、物体検出装置100はこれらの情報を外部の装置に出力してもよい。

ステップS24において、出力画像生成部118は、処理対象の車載画像に対して、車両の移動軌跡と検出物体の表示を合成した画像データを生成して、表示部に表示したり、記憶装置に格納したりする。ここで、検出物体の表示は、その物体が車両の走行経路上に位置するか否かを判別可能なように、検出物体が走行経路上に位置するか否かに応じて表示態様を異ならせることが好ましい。図8は、出力画像生成部118が生成する出力画像の例を示す図である。車載画像80に対して、車両200の移動軌跡をあらわす表示81と、2つの検出物体をあらわす表示82,83が重畳されている。ここでは、車両200の走行経路上にある物体の表示82を実線とし、走行経路上にない物体の表示83を点線としている。もちろん、線の種類を変える以外にも、線の色を変えるなどのその他の方法によって区別可能としてもよい。また、ステップS17において求めた重複量の値を表示してもよい。あるいは、走行経路上
にない物体については、表示を省略してもかまわない。

＜本実施形態の有利な効果＞
本実施形態によれば、車両の実際の挙動情報、特に処理対象画像の撮影後の挙動情報に基づいて車両の移動軌跡を求めているため、精度よく車両の移動軌跡を求めることができる。したがって、車載画像の中から車両の走行経路上に位置する物体を精度良く検出することができる。

また、本実施形態は位置情報（GNSS位置）の精度が悪い場合であっても、移動軌跡ひいては走行経路上の物体を精度の良く検出可能である。位置情報に誤差がある場合、移動軌跡の地理座標系における位置は誤差を有するが、移動軌跡を投影する際に用いる車両の位置情報も同様の誤差が含まれる。したがって、車両に対する相対的な移動軌跡は精度よく求められる。すなわち、車両に対する相対的な移動軌跡の位置は精度よく求めることができる。このように、位置情報の精度が悪い場合であっても最終的な検出精度は低下しない。

本実施形態の処理は、画像撮影直後には実行できないため、衝突予測のようなリアルタイムの処理が要求される場合には必ずしも最適ではない。しかしながら、実測データを用いて自動運転の制御を学習する際に、単に周囲の物体の種類や位置だけでなく、これらの物体が自車両の走行経路上に位置するか否かという情報が有用である。本実施形態によれば、実測データにおいて周囲の物体が自車両の走行経路上に位置するか否かを、自動的にかつ精度よく検出することができる。したがって、自動運転用の学習データの生成に特に有用であるといえる。

＜変形例＞
上記の説明は、本発明の一実施形態であり本発明をその内容に限定するものではない。本発明は、その技術的思想の範囲内で種々の変形が可能である。

本発明に係る物体検出装置は、マイクロプロセッサとプログラムによって実現する代わ
りに、FPGA（Field Programmable Gate Array）などのプログラム可能な集積回路や、ASIC(Application Specific Integrated Circuit)などの専用の集積回路によって実現されてもよい。また、これらの組み合わせにより実現されてもよい。また、物体検出装置は必ずしも1台のコンピュータによって実現される必要はなく、ネットワークを介して接続され
た複数のコンピュータによって実現されてもよい。また、物体検出装置は、処理対象の車載画像を撮影する車両に搭載されてもよい。

本発明に係る物体検出装置が検出対象とする物体は特に限定されないことは明らかであろう。上記の説明では、車両や歩行者を例にしているが、検出対象物体はこれらに限られず任意の物体であって構わない。

図2のフローチャートに示す処理は一例にすぎず、処理の順序や内容は適宜変更可能で
ある。例えば、物体検出（S14）と移動軌跡の投影（S16）の実行順序は逆にしてもよいし、並行して行ってもよい。

また、ステップS12においてあらかじめ挙動情報から車両200の移動軌跡全体を求めているが、処理対象フレームの車載画像ごとに、当該画像の撮影時刻以降の所定期間の挙動データを用いて移動軌跡を求めてもよい。この場合は、車両の移動軌跡をワールド座標系（地理座標系）で求めずに、ローカル座標系（車両座標系）で求めてもよい。また、移動軌跡を求める期間（上記の所定期間）は適宜定めることができる。例えば、移動軌跡を求める期間は、予め定められた期間であってもよいし、移動軌跡が所定の距離（以上）となる期間であってもよい。また、当該期間は、走行中の道路形状に応じて決定してもよく、曲線道路では直線道路と比較してより短い期間の移動軌跡を求めるようにしてもよい。

また、車両の移動軌跡を求める際に、各時点での車両に対応する線分の軌跡（面）を車両の移動軌跡として求めているが、各時点での車両に対応する点の軌跡（線）を先に求め、その後この軌跡を車両の幅に応じて拡張して同様の面状の軌跡を求めることもできる。

また、ステップS24における表示用画像データの生成処理は省略してもかまわない。

また、上記の実施形態では、車載画像における、検出物体と投影された移動軌跡の重複量に応じて、検出物体が車両200の走行経路上に位置するか否かを判定している。しかし
ながら、この判定を行わずに、上記の重複量または重複量に基づいて算出される値（スコア）を、検出物体が車両200の走行経路上に位置する確信度として出力してもよい。例え
ば、自動運転時に検出される前方車両が自車両の走行経路上に位置するか否かは確率的にしか判断できない。したがって、その確率（確信度）に応じて制御を異ならせるような学習を行うためには、確信度を出力する構成が好適といえる。

100 物体検出装置
110 軌跡算出部 112 走行経路投影部 114 物体検出部
116 経路上物体判定部 118 出力画像生成部
200 車両

Claims (10)

1. 車載カメラを搭載した車両が撮影する画像から前記車両の走行経路上に位置する物体を検出する物体検出方法であって、
   前記車両の車載カメラが撮影した車載画像を取得する車載画像取得ステップと、
   前記車載画像の撮影以降の前記車両の挙動情報を取得する挙動情報取得ステップと、
   前記挙動情報に基づいて、前記車両の移動軌跡を求める軌跡算出ステップと、
   前記移動軌跡に基づいて、前記車載画像において前記移動軌跡に対応する領域を求める領域算出ステップと、
   前記車載画像から検出対象の物体を検出する物体検出ステップと、
   前記物体検出ステップにおいて検出された物体について、前記車載画像における前記移動軌跡に対応する領域との重複量を算出する算出ステップと、
   を含む、物体検出方法。
2. 前記物体検出ステップにおいて検出された物体のうち、前記重複量が所定割合以上である物体を、前記車両の走行経路上に位置する物体であると判定する判定ステップをさらに含む、
   請求項１に記載の物体検出方法。
3. 前記軌跡算出ステップでは、前記車両の幅に対応する線分の軌跡を前記車両の移動軌跡として求める、
   請求項１または２に記載の物体検出方法。
4. 前記物体検出ステップでは、前記車載画像において物体が存在する領域を求め、
   前記判定ステップでは、前記物体が存在する領域のうち、前記移動軌跡に対応する領域に含まれる部分の割合を、前記重複量として算出する、
   請求項１から３のいずれか１項に記載の物体検出方法。
5. 前記物体検出ステップでは、物体が存在する矩形領域を求め、
   前記算出ステップでは、前記物体が存在する矩形領域の下辺のうち、前記移動軌跡に対応する領域に含まれる部分の割合を、前記重複量として算出する、
   請求項１から３のいずれか１項に記載の物体検出方法。
6. 前記車載画像に、前記領域算出ステップにおいて求められた前記移動軌跡に対応する領域と、前記物体検出ステップにおいて検出された物体を特定する表示と、を重畳した画像データを出力する画像生成ステップをさらに含む、
   請求項１から５のいずれか１項に記載の物体検出方法。
7. 前記画像生成ステップでは、前記重複量に応じた態様で前記表示を生成する、
   請求項６に記載の物体検出方法。
8. 前記車両の車載カメラが撮影した車載画像を取得する車載画像取得手段と、
   前記車載画像の撮影以降の前記車両の挙動情報を取得する挙動情報取得手段と、
   前記挙動情報に基づいて、前記車両の移動軌跡を求める軌跡算出手段と、
   前記移動軌跡に基づいて、前記車載画像において前記移動軌跡に対応する領域を求める領域算出手段と、
   前記車載画像から検出対象の物体を検出する物体検出手段と、
   検出された物体について、前記車載画像における前記移動軌跡に対応する領域との重複量を算出する判定手段と、
   を含む、物体検出装置。
9. 前記判定手段は、検出された物体のうち、前記重複量が所定割合以上である物体を、前記車両の走行経路上に位置する物体であると判定する、
   請求項８に記載の物体検出装置。
10. 請求項１から７のいずれか１項に記載の方法の各ステップをコンピュータに実行させるプログラム。

Images