JP4848644B2 - 障害物認識システム - Google Patents

Description

本発明は、概して、車両とインフラとが協調して路上の障害物を認識（検出）する障害物認識システムに係り、特に、簡易且つ安価であって、認識精度及び速度が向上した障害物認識システムに関する。

従来、路車間通信を利用するなど車両とインフラとが協調して路上の障害物を検出・認識する障害物認識システム／装置が提案されている（例えば、特許文献１参照）。

従来のシステムでは、通常、インフラ（路）側で障害物が認識されると、その旨が路車間通信を利用して車両に伝達され、車両において警報が発せられるなどの措置が実施される。

例えば、特許文献１に開示された装置（システム）は、インフラ側においてカメラにより撮像された画像から路上の歩行者を検知し、その結果を車両に送信し、車両側の検知結果との同一性を確認することによって、車両における歩行者検知を確実且つ高速にすることを狙ったものである。
特開２００１−１９５６９８号公報

しかしながら、上記特許文献１に開示された装置（システム）に代表されるような従来システムでは、インフラ側においてカメラによる画像の撮像のみならず障害物等の認識処理まで行われており、その結果が車両へ送信されている。

一方で、近年、車両にもカメラ及びカメラにより撮像された画像から障害物等を認識する機能が備えられている。上記特許文献１にも、車両が、車載カメラにより撮像された画像から歩行者を検知する機能を備えていることが明記されている。

このように、車両が画像データから障害物等を認識する機能を備えている中で、上記特許文献１に開示された装置（システム）のようにインフラ側から送信された認識結果を更に車両側でも再度認識処理するものとすれば、二度手間であり、むしろ認識速度は遅くなる。

また、このようなインフラ側と車両側での二度の認識処理を必須の構成とするならば、インフラ側の設備の各々が、カメラ及び路車間通信機のみならず、画像データから障害物等を認識する機能を備えている必要があり、設備構造が複雑になると共に、インフラ整備に莫大な費用と時間が掛かることになる。

さらに、インフラ側カメラも車両側カメラも、認識されるべき障害物等をそれぞれ略一定の方向からしか見ていないため、それぞれの認識結果がうまく整合しない場合もあり得る。

本発明はこのような課題を解決するためのものであり、簡易且つ安価であって、認識精度及び速度が向上した障害物認識システを提供することを主たる目的とする。

上記目的を達成するための本発明の一態様は、路車間通信を利用して路上の障害物を認識する障害物認識システムであって、路側に設置され、道路を撮像する路側撮像手段（例えばカメラ）と、路側に設置され、該路側撮像手段により撮像された路側画像データを特性情報と共に車両に送信する路側送信手段と、車両に搭載され、道路を撮像する車両側撮像手段（例えばカメラ）と、車両に搭載され、該車両側撮像手段により撮像された車両側画像データを撮像した時刻と関連付けて記憶保持する記憶手段と、車両に搭載され、上記路側送信手段により送信された上記路側画像データを上記特性情報と自車両の走行状態とに基づいて（例えば、道路平面を基準として、同一の道路平面領域を車両側カメラで撮像した画像に変換することにより、道路平面上にない物体の検出が可能となる）補正する補正手段と、該補正手段により得られた補正路側画像データと同一時刻に撮像された車両側画像データを上記記憶手段から抽出し、抽出した車両側画像データと上記補正路側画像データとから障害物を検出・認識する認識手段とを有する障害物認識システムである。

この一態様において、上記特性情報とは、撮像された時刻に加えて、上記路側撮像手段の絶対位置、撮像（光軸）方向、焦点距離、画素サイズ、レンズ歪パラメータ、など設置及び仕様に関する情報を指す。また、上記自車両の走行状態とは、車速、ロール角度、ヨー角度、ピッチ角度などの上記車両側撮像手段の光軸の位置及び角度に影響を与え得るあらゆる任意の車両状態パラメータを指す。

この一態様によれば、インフラ側においては画像の撮像だけが行われ、認識処理は車両側でのみ行われるシステム構成となるため、インフラ側設備を簡易な構成で且つ安価なものとすることができる。これに伴って、インフラ整備に掛かる費用及び時間も大幅に削減される。

また、この一態様によれば、インフラ側の撮像手段により撮像された画像と車両側の撮像手段により異なる角度から撮像された画像とから障害物を検出・認識するため、障害物の検出・認識精度を向上させることができる。また、認識処理の実行が１回で済むことから、認識速度も向上する。

なお、この一態様において、１）上記障害物認識システムが、路側に設置され、歩行者への注意喚起を行う警報手段と、車両に搭載され、上記認識手段による認識結果と該認識結果に対する車両の対応とを上記警報手段に送信する車両側送信手段とを更に有し、該警報手段が、上記認識手段による認識結果と該認識結果に対する車両の対応とに基づいて歩行者への注意喚起を行う（例えば、警報音を鳴らすなど）ようにする、及び／又は、２）上記障害物認識システムが、路側に設置され、信号機の切替制御を行う信号制御手段と、車両に搭載され、上記認識手段による認識結果と該認識結果に対する車両の対応とを上記信号制御手段に送信する車両側送信手段とを更に有し、該信号制御手段が、上記認識手段による認識結果と該認識結果に対する車両の対応とに基づいて信号機の切替制御を行うようにすると、車両において得られた高精度な障害物認識情報及びその障害物認識情報に基づいて車両がどのような対応をとったか（停車、減速、操舵、回避不可能、など）をインフラ側で利用することができるようになるため、より安全な走行が可能となると共に、交通流の改善も期待できる。

本発明によれば、簡易且つ安価であって、認識精度及び速度が向上した障害物認識システムを提供することができる。

以下、本発明を実施するための最良の形態について、添付図面を参照しながら実施例を挙げて説明する。なお、画像データに基づく物体の検出・認識及び路車間通信の基本概念等については当業者には既知であるため、詳しい説明を省略する。

図１〜５を用いて、本発明の一実施例に係る障害物認識システムについて説明する。ここでは、路上の障害物として、移動体である歩行者を例に挙げて説明する。

図１は、本実施例に係る障害物認識システム全体の構成を示す概略図である。インフラ側に設けられた路側カメラ１０１によって撮像された画像データは、インフラ側において認識処理されることなく、生データのまま、路車間通信Ｔを利用して車両１０２へ送信される。このとき、路側カメラで撮像された画像データを補正・変換するための特性情報も同時に車両１０２へ送信される。特性情報については後に詳述する。

車両１０２は、路側カメラにより撮像された画像と、自車両の車載カメラにより撮像された画像とを統合し、認識処理を行うことによって、障害物（この例では歩行者１０３）を検出・認識する。

このように、本実施例に係る障害物認識システムにおいて、認識処理は車両側でのみ実行される。また、図１にも例示的に示したように、路側カメラと車載カメラは通常異なる方向から障害物１０３を撮像しているため、両カメラにより撮像された画像データを用いることにより認識精度が向上する。

図２は、路側設備２００の概略構成を示すブロック図である。例えば交差点に設置される路側設備２００は、車両と路車間通信を行う送受信部２０１と、路側カメラ２０２と、画像データと共に車両に送信する特性情報を記憶保持する記憶部２０３とを有する。

本実施例の路側設備２００は、更に、任意的構成要素として、車両から画像認識結果が受信された場合に、例えば歩行者等が交差点に進入しないように注意喚起することなどを目的とした警報音を出力する警報部２０４と、車両から画像認識結果が受信された場合に、該認識結果に基づいて信号機の切替を制御する信号機制御部２０５とを有する。

図３は、車両に搭載される車載装置３００の概略構成を示すブロック図である。車載装置３００は、路側設備２００と路車間通信を行う送受信部３０１と、車速、ロール角度、ヨー角度、及び、ピッチ角度など車載カメラの光軸の位置及び角度に影響を与え得る自車両の走行状態を検出する車両走行状態検出部３０２とを有する。

車載装置３００は、更に、路側設備２００から受信された特性情報と車両走行状態検出部３０２によって検出された自車両の走行状態とに基づいて、路側設備２００から受信された画像データを車載カメラで撮像された画像データと同じ位置から撮像されたのと等価な同じ座標系のデータに補正・変換する補正部３０３とを有する。

車載装置３００は、更に、特に自車両前方の路上を撮像する車両側カメラ３０４と、車両側カメラ３０４により撮像された画像データを撮像した時刻と関連付けて記憶保持する記憶部３０５とを有する。記憶部３０５の容量を制限する観点から、例えば、車両側カメラ３０４による撮像は交差点進入時（交差点手前）のみ実行されるものとし、当該交差点を通過すると記憶部３０５は記憶保持していた画像を破棄するものと設計・設定してもよい。

車載装置３００は、更に、補正部３０３により補正された路側の画像データと、記憶部３０５に記憶保持された車両側の画像データとを統合し、障害物認識処理を実行する認識処理部３０６を有する。認識処理部３０６は、路側設備２００から受信された特性情報に含まれる撮像時刻情報に基づいて、路側設備２００から受信された画像データと同一の（又は略同一の）時刻に撮像された車両側カメラ３０４が撮像した画像データを記憶部３０５から抽出する。

本実施例の車載装置３００は、任意的に、認識処理部３０６による認識結果を、自車両における運転者への注意喚起等に利用するだけでなく、送受信部３０１を通じて路側設備２００へ送信するものとする。

このような構成の本実施例に係る障害物認識システムについて、次いで、図４を参照して、認識処理の流れについて説明する。図４は、本実施例に係る障害物認識システムによる障害物認識処理の流れを示すフローチャートである。

まず、車両側において、車両側カメラ３０４により特に自車両前方の路上が撮像され、撮像された画像データが撮像した時刻と関連付けて記憶部３０５に記憶保持される（Ｓ４０１）。

次いで、路側において、路側カメラ２０２により所定範囲の路上が撮像される（Ｓ４０２）。撮像された画像データは、何らの認識処理も行われずにそのまま送受信部２０１により車両側へ送信される（Ｓ４０３）。このとき、記憶部２０３に記憶保持された特性情報も同時に（又は略同時に）車両側へ送信される。

ここで、記憶部２０３に記憶保持された特性情報は、車両へ送信される画像データが撮像された時刻を必ず含むと共に、上述のような車両側（の補正部３０３）における路側画像データの補正・変換に必要な情報、例えば路側カメラ２０２の絶対位置、撮像（光軸）方向、焦点距離、画素サイズ、レンズ歪パラメータなど設置及び仕様に関する情報、を含む。

車両側では、路側からの画像データ及び特性情報が受信されると、上述のように補正部３０３が受信された路側画像データを車両側画像データと統合可能なように補正・変換する（Ｓ４０４）。

次いで、車両側では、認識処理部３０６によって、受信された路側画像データと同一の（又は略同一の）時刻に車両側カメラ３０４により撮像された車両側画像データが記憶部３０５から抽出される（Ｓ４０５）。

次いで、認識処理部３０６によって、補正部３０３によって補正された路側画像データと、記録部３０５から抽出された車両側画像データとを用いて、障害物の検出・認識処理が実行される（Ｓ４０６）。

同一時刻の画像が用いられる理由及び統合認識処理の一具体例を図５を用いて説明する。図５は、ステレオ画像を得る手法により、統合認識処理を実行する場合を示している。

図５の時刻ｔ１において、路側カメラＣと、車両側カメラＣ’と、障害物（ここでは歩行者）中の一点である注視点Ｘとを結ぶ直線で構成された平面がエピポーラ平面Σである。

平面πは、路側カメラＣが撮像する撮像平面であり、平面π’は、車両側カメラＣ’が撮像する撮像平面である。撮像平面πは、エピポーラ平面Σと点ｅ及びｘで交わり、撮像平面π’は、エピポーラ平面Σと点ｅ’及びｘ’で交わる。

点ｅと点ｘを結ぶ直線は、撮像平面πとエピポーラ平面Σとの交線であって、エピポーラ線ｌと呼ばれる。同様に、点ｅ’と点ｘ’を結ぶ直線は、撮像平面π’とエピポーラ平面Σとの交線であって、エピポーラ線ｌ’と呼ばれる。エピポーラ線ｌ、ｌ’は、２つのカメラＣ、Ｃ’に映った対象点Ｘのそれぞれの画像間の視差を検出する際の探索範囲を限定している。

このようにして探索範囲が限定されると、当業者には既知のように、カメラＣ、Ｃ’の絶対位置と各カメラの光軸方向から対象点Ｘが数学的に探索可能となる（例えば、佐藤淳、「コンピュータビジョン−視覚の幾何学−」、コロナ社、８０〜１１７頁、など参照）。

したがって、路側画像データと共に受信された上記特性情報と、車両走行状態検出部３０２により検出された上述のような車両の走行状態情報とを用いることによって、カメラＣ、Ｃ’の位置や光軸方向が特定されるため、ステレオ画像認識を実行することができる。これにより、歩行者までの距離、歩行者の高さ、及び、歩行者の位置が特定される。

また、図５には、時刻ｔ０における車両側カメラＣ’も図示してある。図から明らかなように、障害物が歩行者のような移動体である場合、２つのカメラの撮像時刻が異なれば、対象点Ｘが一致せず、正確なステレオ画像認識は実行されない。そこで、認識処理の際には同時刻に撮像された画像を用いることが重要である。

図４の説明に戻る。このようにして路側画像データと車両側画像データとに基づく統合認識処理が完了すると、本実施例では、任意的に、認識結果を路側設備２００へ送信し、情報を共有する（Ｓ４０７）。また、このとき、障害物認識結果に基づいて車両がどのような対応（停車、減速、操舵、回避不可能、など）をとったかについても路側に伝達される。このＳ４０７における路側への認識結果の伝達は必須ではないが、行われることが好ましい。

認識結果及び車両の対応について伝達を受けた路側設備２００は、例えば、警報部２０４が、これらの情報に基づいて例えば交差点に進入しようとしている歩行者などへ例えば警報音を鳴らして注意喚起したり、或いは、信号機の切替制御を行う信号機制御部２０５が、これらの情報に基づいて例えば交差点に進入しようとしている歩行者に対する信号を直ちに赤に切り替えるなどの信号機切替制御を行ったりする。警報部２０４及び信号機制御部２０５は、路側設備２００の必須構成要素ではないが、このように車両側から高精度な認識結果が知らされるのであれば、インフラ側で有益に利用するために好ましい構成要素である。なお、信号機を切り替える場合であっても、信号機を制御する装置が路側設備２００内に備えられている必要は必ずしもなく、別体の信号機制御装置へ制御信号を送信するだけの構成であってもよい。

他方、車両側において、当然、障害物認識結果に基づいて、運転者に警報音で知らせるなどの注意喚起が行われるべきである（Ｓ４０９）。

このように、本実施例によれば、路側においては画像の撮像だけが行われ、認識処理は車両側でのみ行われるシステム構成となっているため、インフラ側設備を簡易な構成で且つ安価なものとすることができる。これに伴って、インフラ整備に掛かる費用及び時間も大幅に削減される。

また、本実施例によれば、路側で撮像された画像と車両側で異なる角度から撮像された画像とから障害物が検出・認識されるため、障害物の検出・認識精度を向上させることができる。また、認識処理の実行が車両側における１回で済むことから、認識速度も向上する。

以上、本発明の一実施例について説明したが、当業者には明らかなように、本発明の実施態様は上記一実施例に限定されるものではない。

例えば、当業者には既知のように、ステレオ画像認識の実行に必要なカメラ数は最低２台であって、３台以上であっても当然よい。むしろ、多くのカメラを利用した方がより精度の高い認識処理が実現される。

したがって、上記一実施例は、路側に１台、車両側に１台、計２台のカメラにより成立する態様であったが、路側及び／又は車両側により多くのカメラが設けられても当然本発明は成立する。

すなわち、車載カメラのみでステレオ画像認識を実行できるようにカメラを２台搭載した車両に本発明を適用する場合、２台の車載カメラのうち一方のみを用いるようにしてもよく、或いは、双方のカメラを用いて路側の１台も含め計３台のカメラにより認識処理を行うようにしてもよい。

また、上記一実施例の説明においては、路上の障害物として歩行者を例に挙げたが、当業者には明らかなように、本発明により検出・認識可能な障害物は歩行者に限られず、路上の落下物や駐車車両などの静止物であってもよく、先行車両や自転車など歩行者以外の移動体であってもよい。

本発明は、路車間通信を利用した障害物認識システムに利用できる。車両の外観、重量、サイズ、走行性能等は問わない。

本発明の一実施例に係る障害物認識システム全体の構成を示す概略図である。 本発明の一実施例に係る路側設備の概略構成を示すブロック図である。 本発明の一実施例に係る車載装置の概略構成を示すブロック図である。 本発明の一実施例に係る障害物認識システムによる障害物認識処理の流れを示すフローチャートである。 ステレオ画像認識の方法を説明するための図である。

符号の説明

１０１ 路側カメラ
１０２ 車両
１０３ 歩行者
２００ 路側設備
２０１ 送受信部
２０２ 路側カメラ
２０３ 記憶部
２０４ 警報部
２０５ 信号機制御部
３００ 車載装置
３０１ 送受信部
３０２ 車両走行状態検出部
３０３ 補正部
３０４ 車両側カメラ
３０５ 記憶部
３０６ 認識処理部

Claims (4)

1. 路車間通信を利用して路上の障害物を認識する障害物認識システムであって、
   路側に設置され、道路を撮像する路側撮像手段と、
   路側に設置され、前記路側撮像手段により撮像された路側画像データを、該路側画像データが撮像された時刻情報、及び前記路側画像データの補正変換に必要な情報と共に車両に送信する路側送信手段と、
   車両に搭載され、道路を撮像する車両側撮像手段と、
   車両に搭載され、前記車両側撮像手段により撮像された車両側画像データを撮像した時刻と関連付けて記憶保持する記憶手段と、
   車両に搭載され、前記路側送信手段により送信された前記路側画像データを、前記時刻情報、前記補正変換に必要な情報、及び自車両の走行状態に基づいて補正する補正手段と、
   前記補正手段により得られた補正路側画像データと同一時刻に撮像された車両側画像データを前記記憶手段から抽出し、抽出した車両側画像データと前記補正路側画像データとから障害物を検出・認識する認識手段と、を有することを特徴とする障害物認識システム。
2. 請求項１記載の障害物認識システムであって、
   前記路側画像データの補正変換に必要な情報は、前記路側撮像手段の絶対位置の情報を含む、障害物認識システム。
3. 請求項１又は２記載の障害物認識システムであって、
   路側に設置され、歩行者への注意喚起を行う警報手段と、
   車両に搭載され、前記認識手段による認識結果と該認識結果に対する車両の対応とを前記警報手段に送信する車両側送信手段とを更に有し、
   前記警報手段は、前記認識手段による認識結果と該認識結果に対する車両の対応とに基づいて歩行者への注意喚起を行う、ことを特徴とする障害物認識システム。
4. 請求項１又は２記載の障害物認識システムであって、
   路側に設置され、信号機の切替制御を行う信号制御手段と、
   車両に搭載され、前記認識手段による認識結果と該認識結果に対する車両の対応とを前記信号制御手段に送信する車両側送信手段とを更に有し、
   前記信号制御手段は、前記認識手段による認識結果と該認識結果に対する車両の対応とに基づいて信号機の切替制御を行う、ことを特徴とする障害物認識システム。

Images