JP7788005B2 - 外界認識装置及び外界認識方法 - Google Patents

Description

本発明は、外界認識装置及び外界認識方法に関する。

自動運転や高度運転支援システムの実現においては、車両の外界を監視し、走行経路にある障害物や、走行経路の車線情報などの車両の走行に必要な物体を検知して外界を認識する外界認識装置の重要性が高まっている。この外界認識装置では、物体の検知性能を高めるために、車両に複数台のカメラ（ステレオカメラ）を搭載し、各カメラが撮影した車両の周囲の情報を取得して、車両の周囲の状況を認識する機能が実現されている。

車両に搭載された外界認識装置で用いられるステレオカメラは、水平方向に所定の間隔を空けて２つのカメラが車両に配置されたものである。そして、外界認識装置は、２つのカメラが撮影した画像の重複領域の視差を利用して、カメラから撮影された物体までの距離を計測することで、車両の進行方向にある物体との接触可能性を求める。ただし、外界には様々な物体があり、車両が自動走行するために必要な情報は多い。このため、車両が正しく外界を認識できる技術が要望されている。

特許文献１には、「算出部が、さらに視覚情報から物体検出を行い、制御部が、検出した物体が視覚情報中の所定の位置に写るように移動体を制御する。さらに、保持部が物体検出のための物体モデルを保持しているとともに、ＡＧＶが目的に到着した際に物体に対してどの位置姿勢でいるべきかという物体に対する目標位置姿勢を保持している。」と記載されている。

特開２０１９－１２５３４５号公報

２つの画像から求めた視差で構成される視差画像は、３次元の点群で構成されるものと想定してよい。従来の外界認識装置は、異なる物体であるにも関わらず高さに差が無いか、高さの差が低い物体を視差画像から求めることが困難であった。例えば、車道と、歩道又は中央分離帯との境界の段差が低ければ、従来の外界認識装置は、境界に視差をほとんど検出できなかったので、視差画像から境界を正しく検知できなかった。同様に、テクスチャが均一な物体（例えば、黒い車）や夜間に撮像される物体などについても、従来の外界認識装置は、物体の視差を検出しにくく、さらに物体と背景との差が不明確となりやすかったので、物体を正しく検知できなかった。また、テクスチャに模様がある物体でも、その物体の高さが低ければ、従来の外界認識装置は、この物体を検知することができなかった。

特許文献１に開示された技術は、予め特定の物体モデルを保持する必要があり、屋外の車道のように物体モデルに規定されない様々な物体が存在する環境では物体を正しく検知できなかった。また、段差の少ない道路の境界やテクスチャの差が少ない物体（黒色の車両等）であれば、なおさら物体を検知しづらく、特許文献１に開示された技術を自動運転による制御システムに用いることができなかった。

本発明はこのような状況に鑑みて成されたものであり、視差から得られる情報だけでは検知しづらい様々な物体を検知できるようにすることを目的とする。

本発明に係る外界認識装置は、外界情報取得部から取得した外界情報から特定するテクスチャごとに外界情報を複数のテクスチャ領域に分割するテクスチャ領域分割部と、外界情報に基づいて外界の奥行き距離に応じた視差を生成する視差生成部と、外界の奥行き距離を一つの軸に持つ投票空間に、外界情報から特定する物体の奥行き距離に応じた視差を投票する視差投票部と、視差が投票された投票空間に対して、テクスチャ領域に基づいて追加した視差を投票する追加視差投票部と、投票空間に投票された視差の投票数に基づいて物体を検知することで外界を認識する物体検知部と、を備える。

本発明によれば、視差が投票された投票空間に対して、テクスチャ領域に基づいて追加した視差が投票されることで、物体を正しく検知できるようになる。

本発明の一実施形態に係る外界認識装置の内部構成例を示すブロック図である。 本発明の一実施形態に係る計算機のハードウェア構成例を示すブロック図である。 本発明の一実施形態に係る立体物が存在しない領域（路面）における距離の頻度分布の例を示す図である。 本発明の一実施形態に係る立体物（先行車）が存在する領域における距離の頻度分布の例を示す図である。 本発明の一実施形態に係る視差画像とＵＤ投票空間の例を示す図である。 本発明の一実施形態に係るステレオカメラで撮影された原画像と、ＵＤ投票空間の例を示す図である。 本発明の一実施形態に係るテクスチャ領域分割部の内部構成例を示すブロック図である。 本発明の一実施形態に係る追加視差投票部の内部構成例を示すブロック図である。 本発明の一実施形態に係る意味的領域分割を説明するための各画像の変遷を示す図である。 本発明の一実施形態に係る各画像における投票結果の例を示す図である。 本発明の一実施形態に係る意味的領域分割が行われた後に障害物補間投票が行われる例を示す図である。 本発明の一実施形態に係る各画像における投票結果の例を示す図である。 本発明の一実施形態に係る個別物体領域分割が行われた後に障害物補間投票が行われる例を示す図である。 本発明の一実施形態に係るパイロンを認識する処理を説明するための図である。 本発明の一実施形態に係る同一物体に含まれる複数のテクスチャ領域に対する処理を説明するための図である。 本発明の一実施形態に係る個別物体領域が規定範囲内の大きさであることを確認する処理を説明するための図である。 本発明の一実施形態に係る外界認識装置の処理の例を示すフローチャートである。

以下、本発明を実施するための形態について、添付図面を参照して説明する。本明細書及び図面において、実質的に同一の機能又は構成を有する構成要素については、同一の符号を付することにより重複する説明を省略する。

［一実施形態］
始めに、本発明の一実施形態に係る外界認識装置１の内部構成例について、図１を参照して説明する。
図１は、外界認識装置１の内部構成例を示すブロック図である。この外界認識装置１は、車両に搭載される電子制御装置（ＥＣＵ：Electronic Control Unit）の一部であり、車両の進行方向から取得した外界情報から外界の対象物を認識する装置である。また、外界認識装置１が搭載される車両を「自車両」とも呼ぶ。本発明は、例えば、先進運転支援システム（ＡＤＡＳ：Advanced Driver Assistance System）、又は自動運転（ＡＤ：Autonomous Driving）向けの車載ＥＣＵ（Electronic Control Unit）が通信可能な車両制御用の演算装置に適用可能である。

外界認識装置１は、外界情報取得部１００、視差生成部２００、視差投票部３００、テクスチャ領域分割部４００、追加視差投票部５００、物体検知部６００、及び警報制御部７００を備える。

外界情報取得部（外界情報取得部１００）は、センシングデバイスが検知する情報と、他のセンシングデバイスが検知する情報とを外界情報として取得する。センシングデバイス、及び他のセンシングデバイスは、車両の進行方向（車両の前部及び後部）に設置される。

センシングデバイスは、第１カメラであり、他のセンシングデバイスは、第１カメラの水平方向に配置される第２カメラとする構成が想定される。この場合、第１カメラ及び第２カメラがステレオカメラとして用いられ、外界情報取得部（外界情報取得部１００）は、第１カメラ及び第２カメラが撮像する外界の画像を外界情報として取得する。センシングデバイスは、単眼カメラであり、他のセンシングデバイスは、電磁波（レーザー光、ミリ波、赤外線光等）を物体に照射して得た３次元点群の分布により物体までの距離を計測する計測装置（ＬｉＤＡＲ（Light Detection and Ranging）、ミリ波レーダー、赤外線センサー等）とする構成も想定できる。この場合、外界情報取得部（外界情報取得部１００）は、単眼カメラが撮像する外界の画像と、計測装置から出力される３次元点群の分布とを外界情報として取得する。

視差生成部（視差生成部２００）は、外界情報取得部１００から入力される外界情報に基づいて外界の奥行き距離に応じた視差を生成する。例えば、視差生成部２００は、ステレオカメラで同時に撮像された２つの画像のパターンマッチングを行って、画像内の任意の物体の視差を生成する。視差生成部２００が生成した視差は、後述する図３と図４に視差画像１０として例示される。視差画像１０は、ステレオカメラから物体までの奥行き方向の相対距離を表す距離情報を含む。以下の説明では、視差画像１０におけるステレオカメラから物体までの奥行き方向の相対距離を「距離」と呼ぶ。

視差投票部（視差投票部３００）は、外界の奥行き距離を一つの軸に持つＵＤ投票空間に、外界情報から特定する物体の奥行き距離に応じた視差を投票する。そこで、視差投票部３００は、視差生成部２００から入力される視差に基づいて、車両から物体までの距離を求め、この距離に応じてＵＤ投票空間に視差を投票する。ＵＤ投票空間は、画像座標の横軸をＵとし、縦軸を視差値Ｄとした空間である。視差値Ｄは奥行き距離を表す。例えば、車両の進行方向の２０ｍ先に別の車両が存在することが外界情報に示されていれば、その別の車両の存在を示す画像が視差画像に表示される。ＵＤ投票空間の詳細な内容は後述する図３～図６にて説明する。

テクスチャ領域分割部（テクスチャ領域分割部４００）は、外界情報取得部（外界情報取得部１００）から取得した外界情報から特定するテクスチャごとに外界情報を複数のテクスチャ領域に分割する。例えば、テクスチャ領域分割部４００は、外界情報に映る各種の物体のうち、同じテクスチャである車道、歩道、車線、車両ごとに領域分割する。テクスチャとは、物体の表面の形状、模様、色等が想定される。このため、同じ車両、車線であっても、テクスチャが異なれば異なるテクスチャ領域として分割されることがある。テクスチャ領域分割部４００の内部構成例は、後述する図７に示す。

追加視差投票部（追加視差投票部５００）は、視差投票部３００によって視差が投票されたＵＤ投票空間に対して、テクスチャ領域分割部４００が分割したテクスチャ領域に基づいて追加した視差を投票する。また、追加視差投票部（追加視差投票部５００）は、テクスチャ領域に基づいて重み付けした視差を投票する。このため、ＵＤ投票空間のうち、分割されたテクスチャ領域の境界に該当する部分が強調される（後述する図９を参照）。例えば、追加視差投票部５００は、段差なし路端等の高さの低い物体に対して重み付けして追加した視差を投票することで、物体検知部６００が段差なし路端を検知できるようになる。

また、追加視差投票部５００は、視差画像から視差が抜けて一つの物体として検知しづらくなった領域に対して、視差を補間することで、物体検知部６００が視差抜けした物体を検知できるようにする。追加視差投票部５００の内部構成例は、後述する図８に示す。

物体検知部（物体検知部６００）は、ＵＤ投票空間に投票された視差の投票数に基づいて物体を検知することで外界を認識する。このため、物体検知部６００は、検知した物体が、自車両が回避すべき障害物であるか否かを判別することができる。なお、外界情報としての原画像には様々な物体が映るが、自車両が回避したり、停止したりする何らかの制御を行わなければならない物体を「障害物」と呼ぶ。そして、物体検知部６００は、従来の外界認識装置に比べて、高さの低い障害物であっても、確実に検知することができる。また、物体検知部６００が検知した障害物に関する情報（障害物の大きさ、距離、種別等）は、不図示の自動運転制御ＥＣＵに送られ、自動運転に利用される。

警報制御部７００は、物体検知部６００により検知された障害物の情報に基づいて、各種の警報を制御する。例えば、障害物を回避する方向にステアリングを動作させたり、ブレーキをかけたりする指示を不図示の自動運転制御装置に出力したり、車内のインストルメンタルパネルに警報メッセージを表示させたり、車内スピーカーから警報音を放音させたりする。

＜計算機のハードウェア構成例＞
次に、外界認識装置１を構成する計算機８００のハードウェア構成を説明する。
図２は、計算機８００のハードウェア構成例を示すブロック図である。計算機８００は、本実施の形態に係る外界認識装置１として動作可能なコンピューターとして用いられるハードウェアの一例である。本実施の形態に係る外界認識装置１、計算機８００（コンピューター）がプログラムを実行することにより、図１に示した各機能ブロックが連携して行う画像認識方法を実現する。

計算機８００は、バス８４０にそれぞれ接続されたＣＰＵ（Central Processing Unit）８１０、ＲＯＭ（Read Only Memory）８２０、及びＲＡＭ（Random Access Memory）８３０を備える。さらに、計算機８００は、不揮発性ストレージ８５０及びネットワークインターフェイス８６０を備える。

ＣＰＵ８１０は、本実施の形態に係る各機能を実現するソフトウェアのプログラムコードをＲＯＭ８２０から読み出してＲＡＭ８３０にロードし、実行する。ＲＡＭ８３０には、ＣＰＵ８１０の演算処理の途中で発生した変数やパラメーター等が一時的に書き込まれ、これらの変数やパラメーター等がＣＰＵ８１０によって適宜読み出される。ただし、ＣＰＵ８１０に代えてＭＰＵ（Micro Processing Unit）を用いてもよく、ＣＰＵ８１０とＧＰＵ（Graphics Processing Unit）を併用してもよい。ＣＰＵ８１０は、図１に示した外界情報取得部１００、視差生成部２００、視差投票部３００、テクスチャ領域分割部４００、追加視差投票部５００、物体検知部６００、及び警報制御部７００の機能を実現する。

不揮発性ストレージ８５０としては、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、フレキシブルディスク、光ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、磁気テープ又は不揮発性のメモリ等が用いられる。この不揮発性ストレージ８５０には、ＯＳ（Operating System）、各種のパラメーターの他に、計算機８００を機能させるためのプログラムが記録されている。ＲＯＭ８２０及び不揮発性ストレージ８５０は、ＣＰＵ８１０が動作するために必要なプログラムやデータ等を記録しており、計算機８００によって実行されるプログラムを格納したコンピューター読取可能な非一過性の記憶媒体の一例として用いられる。外界情報取得部１００が取得した外界情報、視差生成部２００により生成された視差、ＵＤ投票空間に投票された視差の投票数、物体検知部６００により検知された物体の情報等は不揮発性ストレージ８５０に保存され、適宜、ソフトウェアプログラムの開発者によりネットワークを介して収集される。

ネットワークインターフェイス８６０には、例えば、ＮＩＣ（Network Interface Card）等が用いられ、ＮＩＣの端子に接続されたＬＡＮ（Local Area Network）、専用線等を介して各種のデータを装置間で送受信することが可能である。外界認識装置１は、ネットワークインターフェイス８６０を通じて、外部のクラウドサーバ等から各種のデータを送受信することが可能である。

＜視差投票の説明＞
図１に示したテクスチャ領域分割部４００と追加視差投票部５００の内部構成例を説明する前に、視差の投票処理とＵＤ投票空間について、図３～図６を参照して説明する。ここでは、物体の視差から求められた距離の情報を含む視差画像１０の画素ごとに距離の頻度を求める処理について説明する。

図３は、立体物が存在しない領域（路面）における距離の頻度分布の例を示す図である。
図３の左側に示す視差画像１０には、外界情報から求められる立体物が示されている。視差画像１０の範囲は、図３の右側に示すカメラ１１０（例えば、ステレオカメラ）の撮像範囲に対応している。視差画像１０の横軸は、原画像の画面横位置を示し、視差画像１０の縦軸は、視差から求められた原画像に映る物体までの距離（視差値）を示す。このため、視差画像１０の手前（下側）には距離が近い物体が映り、奥（上側）には距離が遠い物体が映る。視差画像１０は、距離の情報を含むため、距離画像とも呼ばれる。

視差画像１０における右側の路面領域１１に車道の路面が映っているとする。路面は、車両の近くから遠くまで一様に敷設されており、凹凸が少ない物体である。図３では、視差画像１０の右側の路面領域１１のうち、縦列１２の範囲に限定して説明する。縦列１２は、図３の右側に示すカメラ１１０からの距離が算出された１１個のブロックで構成されている。１個のブロックは、投票量が「１」であるとする。

図３の右側には、カメラ１１０が縦列１２の範囲で路面領域１１を撮像する様子が示される。図３に示すカメラ１１０の撮像範囲１３には、路面しか入っていない。図３の右上に示すヒストグラム１４は、カメラ１１０の位置から物体までの距離の投票結果を縦列１２の範囲内で表したものである。視差投票部３００は、路面領域１１において、縦列１２の垂直方向の任意のブロックと垂直位置が等しいブロックの距離にブロック数を投票する。こうして、任意の垂直位置に関するヒストグラムが生成される。視差投票部３００が投票するブロック数は距離に関係する値であり、距離は視差から算出されるので、以下の説明では、ある距離に対して等距離のブロックを投票することを「視差投票」又は「視差を投票する」とも呼ぶ。

ヒストグラム１４には、障害物として認識すべき投票数の閾値が示されている。閾値は、５ブロックの位置にある。上述したように路面の凹凸は少ないので、カメラ１１０からの距離によらず、投票されたブロック数が１～２ブロック程度であり、ブロック数が閾値「５」より低い。このため、路面は障害物として認識されない。

図４は、立体物（先行車）が存在する領域における距離の頻度分布の例を示す図である。
図４の左側に示す視差画像１０は、図３に示した視差画像１０と同じである。視差画像１０の左側の車両領域１６には、自車両の１０ｍ先を走行する先行車両１８（図４の右下側を参照）が映っている。図４では、視差画像１０の左側の車両領域１６のうち、縦列１７の範囲に限定して説明する。縦列１７は、図４の右側に示すカメラ１１０からの距離が算出された１１個のブロックで構成されている。

図４の右側には、カメラ１１０が縦列１７の範囲で車両領域１６を撮像する様子が示される。図４に示すカメラ１１０の撮像範囲１３には、距離１０ｍの位置で先行車両１８の背面が入っている。図４の右上に示すヒストグラム１９は、カメラ１１０の位置から物体までの距離の投票結果を縦列１７の範囲内で表したものである。視差投票部３００は、車両領域１６において、縦列１７の垂直方向の任意のブロックと垂直位置が等しいブロックの距離にブロック数を投票する。

図４の左側に示すように先行車両１８の背面である約１０ｍの位置でブロックが高く積み上がっているので、ヒストグラム１９の１０ｍの位置では、閾値「５」を超える６ブロックが投票されている。このため、ヒストグラム１９に基づいて、先行車両１８の背面が自車両の１０ｍ先にあることが判明する。

このように、立体物が存在しない領域と、立体物が存在する領域とで、ヒストグラム１４，１９に示されるブロック数が異なる。また、立体物が存在する領域では、立体物の高さに応じてブロック数が増加する。投票されたブロック数が閾値より多い距離には、自車両が回避すべき物体が障害物として存在している。

ここで、図４に示した先行車両１８のように大きな物体であれば、立体物として検出しやすいが、高さがほとんどない段差なし路端のような境界はブロック数の積み上げ量が少なく、ブロック数が閾値未満のため認識されづらい。そこで、カメラ１１０から等距離のブロックに投票する処理だけでは認識しづらい物体（例えば、段差なし路端、段差の高さが低い路端、車道に倒れているパイロン等）を検知できることが、自動運転制御では必要とされている。

なお、図３と図４に示した物体の距離ごとに行われる視差投票の結果、すなわち物体の距離に応じた視差の投票数が後述するＵＤ投票空間に反映される。なお、ＵＤ投票空間は、視差画像の縦列１２，１７に示したように、縦列をずらすことで、視差画像全体に対して投票された視差の投票数を反映した、横軸を原画像の画面横位置とし、縦軸を物体までの視差値（距離）とした空間である。

図５は、視差画像１０とＵＤ投票空間２０の例を示す図である。
図５の上側には、図３と図４に示した視差画像１０が示される。視差画像１０には、路面が存在する路面領域１１と、先行車両が存在する車両領域１６とが示されている。

図５の下側には、立体物の特徴を示したＵＤ投票空間２０が示される。ＵＤ投票空間２０の横軸は、視差画像１０に対応付けた横位置Ｕを表し、縦軸は立体物までの距離（視差値Ｄ）を表す。ＵＤ投票空間２０は、図３と図４に示した方法で視差画像１０の全体に対して距離ごとに投票されたブロックのブロック数（頻度）を可視化した図である。ＵＤ投票空間２０の下に凡例として示すブロック数の頻度は、図３と図４のヒストグラム１４，１９に対応付けて、「０」～「７」の範囲で求められる。ＵＤ投票空間２０の色が濃い部分は頻度が少なく、色が薄い部分は頻度が多いことを表す。例えば、頻度が「０」～「１」の箇所は、ＵＤ投票空間２０が濃く（黒く）表示され、頻度が「６」～「７」の箇所は、ＵＤ投票空間２０が薄く（白く）表示される。

そして、視差画像１０のある垂直位置（距離）に対して投票されたブロックの頻度に応じて着色する処理を、視差画像１０の垂直位置を変えることでＵＤ投票空間２０が生成される。図５に示すＵＤ投票空間２０では、右下の領域２１は段差なし路端が存在していることを表し、左上の領域２２は先行車両１８が存在していることを表す。このようにブロックの頻度に応じて着色されたＵＤ投票空間２０を用いることで高さのある物体は検知されやすくなるが、やはり高さの低い物体は検知されにくい。例えば、ＵＤ投票空間２０の領域２１に示す段差なし路端は、車道に対して歩道の境界の高さがわずかにあるので路面よりはブロックの頻度が高い。しかし、先行車両１８の背面の高さに比べると、境界の高さは低いので、距離ごとのブロックの頻度は全体的に低い。

ここで、本実施の形態に係る外界認識装置１が立体物をよりよく検知するための視差投票について説明する。
図６は、ステレオカメラで撮影された原画像３０と、ＵＤ投票空間３５の例を示す図である。図６に示す原画像３０は、ステレオカメラの左カメラで撮影された画像である。

図６の上部には、２台の先行車両３１，３２が映る原画像３０が示される。先行車両３１は、自車両と同一車線を走行しており、先行車両３２は、隣の車線から自車両が走行中の車線に進入する途中である。また、自車両が走行する車線の右側には中央分離帯３３が設けられている。

図６の原画像３０の下には、原画像３０を基に生成されたＵＤ投票空間３５の例が示される。ＵＤ投票空間３５は、２つの原画像３０から生成される視差に基づいて生成される。ＵＤ投票空間３５の横軸は、原画像３０の横座標に対応付けた横位置Ｕとし、縦軸は、原画像３０から検知された物体までの距離を表す視差値Ｄとする。ＵＤ投票空間３５における物体は、ＵＤ座標で位置が特定される。このようにＵＤ投票空間は、外界の奥行き距離を一つの軸に持ち、外界情報取得部（外界情報取得部１００）が外界情報を取得可能な角度、又は外界情報が画像である場合の画像の横位置を他の一つの軸に持つ。外界情報を取得可能な角度は、例えば、ステレオカメラの水平方向の撮影画角、又はＬｉＤＡＲが計測可能な水平方向の計測角度に相当する。

視差値Ｄが大きいことは、原画像３０に映る物体までの奥行き（距離）がステレオカメラ（自車両）に近いことを表す。逆に、視差値Ｄが小さいことは、原画像３０に映る物体までの奥行き（距離）がステレオカメラ（自車両）から遠いことを表す。図５に示したように、ＵＤ投票空間３５では、物体までの距離に応じて生成される視差の点群に対して投票が行われた結果が示される。

ＵＤ投票空間３５において、先行車両３１の背面の全体が自車両から同じ距離（例えば、２０ｍ）の位置として視差が投票される。このため、視差値Ｄの２０ｍの位置で先行車両３１に対して投票された視差が蓄積され、先行車両３１の横幅に合わせて白い横線が表示される。一方、先行車両３２は、原画像３０では斜めに映っている。このため、先行車両３２の背面と、右側面の距離が検出される。この結果、ＵＤ投票空間３５では、視差値Ｄの１０ｍの位置で先行車両３２の背面に対して投票された視差が蓄積される。また、先行車両３２の車長分だけ奥行き方向に先行車両３２の右側面に対して投票された視差が蓄積される。先行車両３２の背面と右側面は、ＵＤ投票空間３５では横の白線と斜めの白線で表される。図６に示すように、自車両に近い先行車両３２の高さＨ２は、自車両より遠い先行車両３１の高さＨ１よりも縦方向に大きいので、先行車両３２を表す白線は、先行車両３１を表す白線より薄く（白く）なっている。

図６の下部には、投票結果の例が示される。この投票結果は、ＵＤ投票空間３５に対応付けて作成した簡易的な図である。投票結果に示すように、１０ｍの位置では、先行車両３２に対する視差の投票数が「７」であり、２０ｍの位置では、先行車両３１に対する視差の投票数が「６」であることが示される。原画像３０における、先行車両３２の高さＨ２が、先行車両３１の高さＨ１より高いので、先行車両３２の投票数が多くなっている。

なお、原画像３０の右側に示す中央分離帯３３の高さＨ３は低いので、ＵＤ投票空間３５では、中央分離帯３３に該当する位置における視差の投票数が「１」又は「２」となっている。なお、ＵＤ投票空間３５での投票数は、他のセル内にも記録されているが、図面が煩雑になるため記載を省略している。また、障害物として認識するための閾値は、図３と図４に示したように「５」であるとする。そこで、中央分離帯３３は障害物として認識されていないので、中央分離帯３３の投票数を増加するための方法が必要となる。

＜テクスチャ領域分割部の内部構成例＞
次に、テクスチャ領域分割部４００の内部構成例について説明する。
図７は、テクスチャ領域分割部４００の内部構成例を示すブロック図である。
テクスチャ領域分割部（テクスチャ領域分割部４００）は、外界情報を、局所的に類似するテクスチャごとのテクスチャ領域に分割する局所類似テクスチャ領域分割部（局所類似テクスチャ領域分割部４１０）と、外界情報を物体の種別ごとの意味的領域に分割する意味的領域分割部（意味的領域分割部４２０）と、外界情報を物体ごとの個別物体領域に分割する個別物体領域分割部（個別物体領域分割部４３０）と、を有する。

局所類似テクスチャ領域分割部４１０は、撮像された原画像内で局所的に類似するテクスチャごとに分割する。類似するテクスチャは、少なくとも同じ物体の中の一部であることが必要である。例えば、１台の先行車両がある場合に、その先行車両内で類似するテクスチャ（例えば、同じ色）が存在する場合、類似するテクスチャごとに分割される。

意味的領域分割部４２０は、撮像された原画像に映る各種の物体を、例えば、車両、路面といった物体の意味毎の領域に分割する。このように物体の意味毎に分割された領域を「意味的領域」と呼ぶ。意味的領域分割として、例えば、セマンティックセグメンテーション（Semantic Segmentation）と称される分割手法が用いられる。セマンティックセグメンテーションは、画像内の全ての画素に対して特定のラベルを付与することで、物体の種別ごとに画像内の領域を分割する手法である。セマンティックセグメンテーションにより分割された領域は、例えば、後述する図９の意味的領域分割画像４５として示される。セマンティックセグメンテーションでは、原画像に複数の車両が重なって映っていた場合、その複数の車両全体が意味的領域として原画像から分割される。つまり、意味的領域では、原画像で重なって映る複数の車両が、１台ごとの車両として分割されていない。後述する意味的領域分割処理にて、意味的領域分割部４２０の処理の具体例を説明する。

個別物体領域分割部４３０は、撮像された原画像から、例えば、車両、路面といった個別の物体ごとに領域を分割する。個別物体領域分割として、例えば、インスタンスセグメンテーション（Instance Segmentation）と称される分割手法が用いられる。インスタンスセグメンテーションは、画像内で重なりのある物体を個別に検出し、検出した物体毎に画像内の領域を分割する手法である。インスタンスセグメンテーションにより分割された領域は、例えば、後述する図１３の個別物体領域分割画像７０Ａに示される。このように画像から個別に分割された物体を含む領域を「個別物体領域」と呼ぶ。後述する個別物体領域分割処理にて、個別物体領域分割部４３０の処理の具体例を説明する。

以下の説明で、テクスチャ領域、意味的領域、個別物体領域を区別しない場合、「分割領域」と総称することがある。

＜追加視差投票部の内部構成例＞
次に、追加視差投票部５００の内部構成例について説明する。
図８は、追加視差投票部５００の内部構成例を示すブロック図である。
追加視差投票部５００は、段差なし路端追加投票部５１０、路面ペイント減算部５２０、種別障害物補間投票部５３０、個別障害物補間投票部５４０、及び局所領域補間投票部５５０を備える。

段差なし路端追加投票部５１０は、段差がないか、段差が低い路端（「段差なし路端」と呼ぶ）に対して、ＵＤ投票空間において追加で視差投票を行う。段差なし路端は、段差なし路端には、視差の投票数が少ないので、投票数が閾値より低い。そこで、段差なし路端追加投票部５１０が段差なし路端に対して視差を追加することで、段差なし路端の視差の投票数を多くする。このような処理により、物体検知部６００は段差なし路端を障害物として検知できる。段差なし路端追加投票部５１０の処理の詳細は、後述する図９と図１０にて説明する。

追加視差投票部（追加視差投票部５００）は、路面標示に対して投票された視差の投票数を減少させる減算部（路面ペイント減算部５２０）を有する。例えば、特定のテクスチャ領域の一例である、ゼブラゾーン、横断歩道、停止標識等の路面にペイントされた路面標示（「路面ペイント」と呼ぶ）は、奥行き方向にペイントされると物体としての高さが無いにも関わらず路面と白線との境界に視差が生じることがあり、あたかも障害物があると誤判定されやすかった。また、白線が車線を横切るようにペイントされると視差が生じず、白線までの距離が不明確になる。しかし、本実施の形態に係る意味的領域分割部４２０の処理により、当該箇所が路面にペイントされた部分であることが判明する。そこで、路面ペイント減算部５２０は、視差投票部３００が路面ペイントに投票した視差の投票数を減算する重み付けを行う。テクスチャ領域分割部４００により、路面ペイントのラベルが付された領域が分割された場合、路面ペイント減算部５２０は、路面ペイントのラベルが付された領域に対して、既に視差投票部３００により投票された視差の投票数を調整する。

例えば、路面ペイント減算部５２０は、路面ペイントの投票値を、視差投票部３００が投票した視差の投票値の半分に減算する。ここで、視差投票部３００がＵＤ投票空間に投票する投票数の単位量が通常「１」ずつであることを想定する。路面ペイント減算部５２０は、既に投票された視差の投票数を、例えば「０．５」ずつの単位量で減算する重み付けを行う。なお、路面ペイント減算部５２０は、既に投票された視差の投票数に対して「－１」を投票する重み付けを行うことで、路面ペイントのラベルが付された分割領域に対する視差投票部３００の投票数をキャンセルしてもよい。このように路面ペイント減算部５２０は、路面ペイントのラベルが付された分割領域を物体検知部６００が障害物と誤検知しないようにするため、この分割領域に対して多くの投票が集まらないように調整する。この結果、追加視差投票部５００における追加投票時には、路面ペイントのラベルが付された領域に対する投票数が調整される。

ただし、路面ペイント減算部５２０は、追加投票し終わった後のＵＤ投票空間における特定の箇所の投票数（高さ）を調整してもよい。例えば、路面ペイントが、ＵＤ投票空間における、Ｕ＝１００、Ｄ＝１０の位置にあることが視差値から判明したとする。この場合、路面ペイント減算部５２０は、路面ペイントの領域付近の投票空間の投票数（高さ）を半減する。また、路面ペイントに投票された視差の投票値を、ペイント部分の周辺部の投票値から極端に変わらないようにするため、路面ペイントの領域付近にスムージングフィルタをかけて、その領域付近の投票数（高さ）を低くする処理を行ってもよい。また、路面ペイント減算部５２０は、ペイントされていない路面に投影された路面標示に対しても投票数を減算する処理を行ってよい。このように路面ペイントが平面であることを前提とすることで、ペイント部分の投票値が、ペイント部分の周辺部の投票値に分散される効果が生じ、ペイント部分を障害物と誤判定する可能性を低めることができる。また、物体検知部６００は路面ペイントを障害物として誤検知しなくなる。

種別障害物補間投票部５３０は、障害物の種別を補間するための投票を行う。例えば、種別障害物補間投票部５３０は、原画像に複数の物体が映っていた場合、種別が同じ物体であれば、複数の物体の位置によらず、複数の物体全体に対して、物体の種別を補間する。物体は、例えば、車両、歩行者、道路、白線、路面ペイント等の種別に分けられる。車両や歩行者などの物体は障害物として確実に検知することが求められるため、これらの物体の種別ごとに視差を補間することにより、これらの物体の不検知を抑制する。そこで、種別障害物補間投票部５３０は、図３と図４に示したような画像内の縦列で同じ距離の複数のブロックが想定された投票であるかを判定する。縦列に同じ距離が想定される投票であれば、検知された物体はその距離である程度の高さを有している。一方、縦列に同じ距離が想定される投票でなければ、検知された物体の高さは低い。このような処理により、物体検知部６００は白線などの路面ペイントを障害物として誤検知しなくなり、歩行者や車両等の高さがある物体の一群を障害物として検知できる。

個別障害物補間投票部５４０は、障害物に個別の種別を補間するための投票を行う。例えば、個別障害物補間投票部５４０は、撮像された原画像に複数の物体が映っていた場合、物体ごとに、個別に視差を補間する。例えば、個別物体領域分割部４３０により検知された車両や歩行者などの立体物のそれぞれに対して異なる識別情報（識別ＩＤ）が割り当てられる。個別障害物補間投票部５４０は、横断歩道を渡る複数の歩行者が検知された場合、これらの歩行者はまとめて同一の距離に存在するものとして視差を補間することができる。また、先行車両についても、同一物体内であれば、同一の距離に存在するものとして視差を補間することができる。このような処理により、物体検知部６００は、高さのある物体を個別に障害物として検知したり、複数の物体をまとめて障害物として検知したりすることができる。

局所領域補間投票部５５０は、局所類似テクスチャ領域分割部４１０により分割された局所類似テクスチャ領域を補間するための投票を行う。ここで、局所類似テクスチャ領域を「局所領域」とも呼ぶ。原画像において、同一物体内の同じテクスチャは、局所領域として分割される。そして、局所領域補間投票部５５０は、局所領域類似テクスチャ内であれば、全て同じ物体、同じ距離、又は同じ平面と仮定して視差を投票する。一方、視差が大きく分散していれば、局所領域補間投票部５５０は、局所領域類似テクスチャ領域内であっても視差を補間しないこともある。例えば、視差が５ｍと２０ｍの位置に分散していれば、異なる物体のテクスチャが偶然同じであったとも考えられるため、視差を補間しない。このような処理により、物体検知部６００は同一物体内で分散している同一テクスチャの物体を一つの物体の障害物として検知できる。

＜意味的領域分割の説明＞
次に、意味的領域分割について図９と図１０を参照して説明する。
図９は、意味的領域分割を説明するための各画像の変遷を示す図である。
図１０は、各画像における投票結果の例を示す図である。

図９の上側には、ステレオカメラで撮像された２つの画像の一つ（例えば、右カメラで撮影された右画像）を原画像４０として示される。原画像４０は、横軸を横位置Ｕ、縦軸を縦位置ＶとするＵＶ座標で表される。原画像４０内を横切る水平線４１は、画像処理の対象を区別するために設けられ、実際の原画像４０には映らない。水平線４１の下側の領域が車両の走行に必要な情報が含まれるので、水平線４１の下側の領域に対して障害物の検知が行われる。水平線４１の上側の領域は、遠方のビル、道路、木の上側等であり、車両が接触する可能性がない物体しか映っていないので、この領域で障害物の検知は不要である。

そして、原画像４０には、白線で囲った処理領域４２が示される。自車両が左側通行で真っすぐ走行していると仮定した場合に、車線変更を行う場合以外は、自車両は同じ車線内で走行を維持する必要がある。そこで、自車両が走行する車線の左側の歩道と車道の境界を含む領域、対向車線の歩道と車道の境界を含む領域が処理領域４２として選ばれ、処理領域４２に対して視差の投票、視差の追加等が行われる。なお、水平線４１の下側の領域全体が処理領域４２として選ばれてもよい。図中に示す矢印には、（１）～（４）の処理番号を付加して、各処理の内容を説明する。

（１）視差画像を生成する処理
視差生成部２００は、ステレオカメラで撮像された２つの画像から生成した視差を生成する。視差生成部２００が生成した視差は、図中に視差画像４３として例示される。視差画像４３は、原画像４０と同じＵＶ座標で表される。視差画像４３では、視差の大きい領域が手前側に表示され、視差の小さい領域が奥側に表示される。原画像４０には先行車両や人、信号機等の高さのある物体が映っていないため、視差画像４３には、自車両の障害物となりうる物体の視差は含まれない。

（２）ＵＤ投票空間への投票処理
視差投票部３００は、視差画像４３に基づいて、検知される物体の距離ごとに投票処理を行ってＵＤ投票空間５０を生成する。ＵＤ投票空間５０は、横軸をＵ、縦軸をＤ（奥行き（視差））とするＵＤ座標で表される。上述したように視差画像４３は、自車両の障害物となりうる物体の視差は含まれないが、車道と歩道の境界の段差がわずかであるため、境界５１はぼやけて明確でない。この視差画像４３を自動運転制御に使うと、自車両の車道内の位置が不明確となるおそれがある。そこで、図７に示す意味的領域分割部４２０が原画像４０から意味的領域分割を行う。

図１０の上側には、ＵＤ投票空間５０に対して投票された視差の投票数が示される。ここでは、ＵＤ投票空間５０のうち、視差画像４３でエッジが強調された車道と歩道との境界に投票された視差の投票数に注目する。図１０の上側に示す投票結果では、車道と歩道との境界には閾値「５」より小さい値の投票数（「２」～「４」）しかないため、図１に示した物体検知部６００は、境界を正しく認識できない。

（３）意味的領域分割
意味的領域分割部４２０は、原画像４０から画素毎に意味的領域分割を行う。意味的領域分割が行われると、原画像４０は、物体の意味ごとに領域分割された意味的領域分割画像４５として示される。意味的領域分割画像４５は、原画像４０が、路面を示す領域４６、走行車線を定める白線を示す領域４７、車道以外の歩道を含む領域４８に分割されたものである（図９を参照）。ただし、原画像４０に示した処理領域４２に含まれるのは、路面を示す領域４６、車道以外の歩道を含む領域４８の境界であるため、領域４６，４８の境界を検知することが求められる。

図１０の中側には、意味的領域分割画像４５に基づいて追加される視差（投票数）が示される。意味的領域分割画像４５では、車道と歩道の境界４９が明確に示される。そこで、境界４９に対して、視差が追加される。追加される視差は、一律の値でもよいし、異なる値でもよい。ただし、ＵＤ投票空間５０では不明確であった境界の投票数が閾値を超えるように視差が追加される必要がある。

（４）意味的領域分割画像からＵＤ投票空間への投票処理
追加視差投票部５００の段差なし路端追加投票部５１０は、検知される物体の距離ごとに投票処理を行い、ＵＤ投票空間５５を生成する。この時、段差なし路端追加投票部５１０は、段差なし路端である、車道と歩道の境界に対して、意味的領域分割部４２０によって生成された意味的領域分割画像４５に基づく追加投票を行う。ＵＤ投票空間５５は、ＵＤ座標で表される。ＵＤ投票空間５５では、意味的領域分割画像４５に基づいて視差が追加投票されることで、視差画像４３のみから生成されたＵＤ投票空間５０よりも車道と歩道の境界５６が明確に示される（白く強調される）。この境界５６は、段差なし路肩の特徴を表している。このため、自車両は、段差なし路肩の内側である車道を認識して走行することが可能となる。

図１０の下側には、ＵＤ投票空間５０に対して視差が追加された投票結果が示される。この投票結果では、視差が追加された箇所の投票数がいずれも閾値「５」より大きい値となっている。このため、図１に示した物体検知部６００は、車道と歩道の境界を正しく検知できるようになる。なお、図９と図１０の処理は、局所類似テクスチャ領域分割部４１０により分割されたテクスチャ領域に対して行われるものとしてもよい。

次に、障害物の視差補間後に投票（「障害物補間投票」と呼ぶ）が行われる処理について、図１１と図１２を参照して説明する。
図１１は、意味的領域分割が行われた後に障害物補間投票が行われる例を示す図である。なお、図１１では、原画像の記載を省略する。
図１２は、各画像における投票結果の例を示す図である。

図１１の左上には、視差画像６０の例が示される。
視差画像６０には、自車両と同じ進行方向に走行する車両と、対向車線を走行する複数の車両が示されている。ここで、自車両と同じ進行方向に走行する車両の背面が黒かったり、夜間に走行していたりすると、自車両と同じ進行方向に走行する車両の視差が領域６１の部分で欠けることがある。同様に、対向車線を走行する車両の視差も領域６１の部分で欠けることがある。このように本来視差がある箇所の視差が欠けることを「視差抜け」とも称する。視差抜けは、原画像のテクスチャが弱い部分、例えば、濃淡の差がない部分で発生しやすい。

（１）視差画像６０からＵＤ投票空間への投票処理
視差画像６０からＵＤ投票空間６５への投票処理が行われると、領域６６に示すように視差抜けの領域６１の投票数が閾値より少なくなる。投票数が閾値より少なくなると、物体検知部６００が１台の車両を異なる複数の物体と誤検知する可能性がある。

図１２の上側には、ＵＤ投票空間６５に対して投票された視差の投票数が示される。ここでは、ＵＤ投票空間６５のうち、視差画像６０でエッジが強調された車道と歩道との境界、車両が自車両に向く面に投票された視差の投票数に注目する。図１２の上側に示す投票結果では、車道と歩道との境界には閾値「５」より大きい値の投票数「６」があるので、図１に示した物体検知部６００は、境界を正しく認識できる。一方で、車両が自車両に向く面は、領域６１で視差が欠けていることから、閾値「５」より小さい値の投票数「２」しかない。このため、物体検知部６００は、車両の大きさ、幅や、進行方向に車両が存在することを正しく認識できない。

そこで、図７に示した意味的領域分割部４２０が原画像から画素毎に意味的領域分割を行った意味的領域分割画像７０について検討する。図１１の右上には、意味的領域分割画像７０の例が示される。
意味的領域分割画像７０には、原画像に対して意味的領域分割が行われた各領域が示される。意味的領域分割画像７０は、原画像が、路面を示す領域７１、路面及び車両以外を示す領域７２、車両を示す領域７３に分割されたものである。なお、意味的領域分割では、原画像に映る４台の車両は、車両という種別の一つの領域７３でまとめて表される。また、物体の種別ごと、すなわち領域７１～７３に対して、それぞれ異なる色を塗ることで各領域７１～７３を区別する。また、色が塗られた領域７１～７３を区別しない時は「色塗り領域」と呼ぶ。

次に、視差画像６０を取得する処理と、視差画像６０に視差を補間する処理と、補間後の視差画像６０からＵＤ投票空間に投票する処理に分けて説明する。

（２）視差画像の取得処理
始めに、視差が補間される視差画像６０が取り込まれることを説明する。種別障害物補間投票部５３０（図８を参照）は、視差生成部２００（図１を参照）から視差画像６０を取り込み、視差画像６０の欠けている領域６１に対して視差を補間する。

（３）視差画像への補間処理
次に、種別障害物補間投票部５３０は、視差画像６０で検出された障害物に対して種別ごとに視差を補間する。ここで、種別障害物補間投票部５３０は、視差画像６０内で検出された障害物を、高さ方向（画像内の縦方向）で同じ奥行きの平面であると仮定して障害物の周辺にある視差で、視差抜けした箇所を補間する。

種別障害物補間投票部５３０が視差を補間する方法として、以下の（ａ）～（ｃ）の方法が想定される。
（ａ）視差画像６０内の縦方向の最頻値で視差を補間する方法
追加視差投票部（追加視差投票部５００）の種別障害物補間投票部５３０は、奥行き距離を一つの軸に持つ視差画像のテクスチャ領域が対応する部分に存在する視差抜け箇所を、視差画像の奥行き距離の軸方向に存在する視差で補間する。そして、種別障害物補間投票部５３０は、視差抜け箇所が補間されたテクスチャ領域ごとに追加した視差を投票する。ここで、種別障害物補間投票部５３０は、意味的領域の属性ごとに補間する視差を選択する。例えば、意味的領域の属性が車両、人等の物体の視差抜け箇所に対して、種別障害物補間投票部５３０は、視差画像の奥行き距離の軸方向である縦方向に存在する視差で補間する。一方、意味的領域の属性が路面等の平面の物体で視差抜け箇所に対して、種別障害物補間投票部５３０は、視差画像の奥行き距離の他の軸方向である横位置に存在する視差で補間する。このように物体の種別に合わせた視差で補間されることで、補間後の視差が周囲の視差と比べて変動しにくくなる。

（ｂ）色塗り領域内の視差抜け箇所を中心とした上下左右斜めの８つの周辺画素の画素値を用いて視差抜け箇所を補間する方法
追加視差投票部（追加視差投票部５００）の種別障害物補間投票部５３０は、奥行き距離を一つの軸に持つ視差画像のテクスチャ領域が対応する部分に存在する視差抜け箇所を、視差抜け箇所が存在する物体と同一の物体に存在する視差抜け箇所の周囲の視差で補間する。そして、種別障害物補間投票部５３０は、視差抜け箇所が補間されたテクスチャ領域ごとに追加した視差を投票する。例えば、視差抜け箇所を中心とした上下左右斜めの８つの周辺画素の画素値を用いて視差抜け箇所を補間することで、視差抜け箇所は周囲の画素に対して極端に異なる値とならない。

（ｃ）視差抜けの領域の上下にある領域の視差で補間する方法
例えば、背景と物体、路面と物体の境界で検出されるエッジは視差が生じやすいが、エッジ自体の太さがないので、視差が途切れやすい。また、テクスチャがある部分は左右画像の同一個所を特定できるため視差が生じやすいが、テクスチャがない部分は左右画像の同一個所を特定しづらいので視差が生じにくい。そこで、種別障害物補間投票部５３０は、視差が途切れたり、視差が生じにくかったりする視差が欠けている領域に対して、この領域近傍の視差が含まれる領域の視差で補間する処理を行う。このため、種別障害物補間投票部５３０は、連続した視差を得ることができる。

なお、上述した（ｂ）、（ｃ）の方法では、いずれも視差画像の縦方向で最も多い黒色（視差の頻度少）で視差抜け箇所が補間されるおそれがある。そこで、種別障害物補間投票部５３０は、黒色だけは有効な視差値とせず、無効視差として扱う。そして、視差が欠けている無効視差部分（黒色の領域）を、無効視差部分の周囲（黒以外の部分）の視差で補間する。

また、種別障害物補間投票部５３０は、意味的領域の面積に比例した重み付けを行った視差を意味的領域に補間してもよい。例えば、複数台の先行車両が存在していた場合、自車両に距離が近く、意味的領域の面積が大きい先行車両に対する視差の重み付けを、自車両から距離が遠く、意味的領域の面積が小さい先行車両に対する視差の重み付けより大きくする。このように意味的領域の面積に比例した重み付けが行われることで、物体検知部６００が自車両に近い先行車両を確実に検知できるようになる。

種別障害物補間投票部５３０が視差抜け箇所に視差を補間した画像は、視差補間画像７５として図１１の右側中段に示される。視差補間画像７５の領域７８は、図１１の左上に示した視差抜け箇所である領域６１の視差が補間された部分である。視差画像６０の領域６１以外の部分には視差の補間等の処理が行われない。

図１２の中側には、意味的領域分割画像７０（図１１を参照）に基づいて視差補間画像７５に追加される視差（投票数）が示される。視差補間画像７５では、領域７８（図１１を参照）に視差が補間される。補間される視差は、一律の値でもよいし、異なる値でもよい。ただし、ＵＤ投票空間６５では欠けていた視差の領域６６の投票数が閾値を超えるように視差が補間される必要がある。

（４）視差補間画像からＵＤ投票空間に投票する処理
追加視差投票部５００の種別障害物補間投票部５３０は、視差補間画像７５から検知される物体の種別ごとに投票処理を行い、ＵＤ投票空間８０を生成する。ＵＤ投票空間８０は、ＵＤ座標で表される。種別障害物補間投票部５３０は、ＵＤ投票空間６５では視差が欠けていた視差抜け箇所に対して種別障害物補間投票部５３０が追加した視差が補間される。

図１２の下側には、ＵＤ投票空間８０に対して追加された視差が補間された投票結果が示される。この投票結果では、追加された視差が補間された箇所の投票数がいずれも閾値「５」より大きい値「６」となっている。このため、図１に示した物体検知部６００は、図１１に示す領域８１で車両の幅、大きさ、車両が存在することを正しく認識することができる。これにより、自車両は、車道を認識して走行することが可能となる。

視差画像６０からＵＤ投票空間に直接投票する従来の処理では物体が視差抜け箇所である領域６６の視差が抜けると、従来の物体検知部では障害物を不検知とする可能性が高かった。一方、種別障害物補間投票部５３０が視差抜け箇所に視差を追加してＵＤ投票空間の視差を補間する処理を行うことで、視差画像６０からＵＤ投票空間に視差を投票する処理結果に比べて、物体検知部６００が物体を一つのまとまりとして安定して検知しやすくなる。このため、物体検知部６００が障害物を検知する可能性を高めることができる。

次に、個別物体領域の視差抜け箇所に視差が追加される処理について説明する。
図１３は、個別物体領域分割が行われた後に障害物補間投票が行われる例を示す図である。なお、図１３では、原画像の記載を省略する。また、図１１と図１３では、ほぼ同じ画像を用いるため、詳細な処理の説明を一部省略する。

（１）視差画像６０からＵＤ投票空間への投票処理
視差画像６０からＵＤ投票空間６５への投票処理が行われると、視差抜けの領域６１の部分が、領域６６に示すように投票数が閾値より少なくなる。このため、物体検知部６００が１台の車両を異なる複数の物体であるように誤検知する可能性があることは、図９で説明したとおりである。

そこで、図８に示した個別物体領域分割部４３０が原画像から画素毎に個別物体領域分割を行った個別物体領域分割画像７０Ａを生成する処理について説明する。図１３の右上には、個別物体領域分割画像７０Ａの例が示される。

個別物体領域分割画像７０Ａには、原画像に対して個別物体領域分割が行われた各個別物体領域が示される。個別物体領域分割画像７０Ａは、原画像が、路面を示す領域７１、路面及び車両以外を示す領域７２、車両を示す領域７３ａ～７３ｄの個別物体領域に分割されたものである。なお、個別物体領域分割では、原画像に映る４台の車両が車両ごとに個別の領域７３ａ～７３ｄで表される。そして、個別物体領域分割部４３０は、車両毎の個別の領域７３ａ～７３ｄに対して、「ｃａｒ１」～「ｃａｒ４」のラベルを付す。

（２）視差画像への補間処理
始めに、図８に示す個別障害物補間投票部５４０は、視差画像６０で検出された物体のうち、視差抜け箇所がある物体に対して個別に視差を補間する。ここで、個別障害物補間投票部５４０は、視差画像６０内で検出された障害物のうち、同一物体内で視差を補間する。視差を補間する方法は、視差が欠けている領域の周囲の領域から補間する方法でもよいし、視差が欠けている領域の上下にある視差が含まれる領域で視差を補間する方法でもよい。また、物体の姿勢を考慮しなくてよければ、同一物体の各部までの距離を同じとみなしてもよい。例えば、対向車線を走行する車両の前面と側面の自車両からの距離はそれぞれ異なるが、この車両の側面までの距離を前面までの距離と同じとみなすことができる。そして、個別物体領域分割部４３０により遠距離にある障害物であっても、個別に物体の距離が求められるので、個別に物体の視差抜け箇所の視差を補間することができる。

（３）視差画像６０の視差抜け箇所に追加した視差を補間する処理と、（４）視差補間画像７５に追加された視差をＵＤ投票空間に投票する処理は、図１１を参照して説明したとおりである。

このように個別物体領域分割部４３０が原画像に映る物体を個別に認識して、個別物体領域に分割することで、各物体を正しく認識することができる。このため、視差画像６０からＵＤ投票空間に直接投票する処理に比べて、各物体を個別に検知する可能性を高めることができる。

ここで、障害物検知の方法をいくつか説明する。
上述した意味的領域分割による物体検知手法では、テクスチャ領域分割部４００は、ＵＤ投票空間のある閾値以上に投票値が集まっている部分に対して、ＵＤ投票空間の注目画素の近傍にある８画素（注目画素を中心として上下左右、右上、右下、左上、左下の８画素）の画素値等をつなげながら領域分割が行われる。ただし、ＵＤ投票空間の注目画素の近傍にある８画素（注目画素を中心として上下左右の画素）の画素値等をつなげながら領域分割が行われてもよい。そして、テクスチャ領域分割部４００は、例えば車などの立体物に対して投票された部分に同じＩＤを振るので、物体検知部６００がこの部分を一つの物体として検知可能となる。また、視差抜け箇所に対して視差が追加されることで、物体検知部６００は、個別物体領域分割だけでは難しかった３次元的な車両形状の分析が可能となり、車両の横位置や姿勢、形状を分析することも可能となる。ここで、物体検知部６００が障害物となりうる物体を誤検知することを抑制する処理について、以下に２つの例を説明する。

＜誤検知抑制処理１＞
始めに、個別物体領域分割部４３０が誤った個別物体領域分割処理を行った場合について説明する。例えば、路面平面上などに障害物となりうる、路端や車などの物体の存在を示す誤った個別物体領域分割の結果が個別物体領域分割部４３０によって得られたとする。上述したように、個別障害物補間投票部５４０は、ＵＤ投票空間に対して、路面上に補間された視差を投票する。ここで、ＵＤ投票空間では、路面上の奥行き方向に投票が分散され、路面上に存在する物体として誤って分割された個別物体領域には多くの投票数が得られない。このため、個別物体領域分割部４３０が個別物体領域分割を誤ったとしても、その誤った検知結果を抑制することができる。この結果、自車両が回避すべき路面上の物体が物体検知部６００により正しく検知されることとなる。

＜誤検知抑制処理２＞
また、意味的領域分割部４２０が誤った意味的領域分割処理を行った場合について説明する。ここでは、意味的領域分割の結果が、例えば、本来の障害物である物体だけでなく、この物体の背景の路面を含む領域を大きな障害物として捉えた結果であることを想定する。この場合、意味的領域分割では、本来の障害物よりも大きすぎる領域で原画像が分割される。しかし、図８に示した追加視差投票部５００は、その分割された領域に対する視差の投票結果を確認し、障害物に対して正確な視差が追加される。このため、物体検知部６００は、障害物本来の幅や形状、姿勢を正確に検知することが可能となる。

誤検知抑制処理１及び２は、いずれも単体の領域分割の結果だけから識別される従来の手法と異なり、視差を補間して投票された投票結果を得る処理である。そして、誤検知抑制処理１及び２により、物体検知部６００は、物体の３次元の形状を正確に検知しつつ、障害物の誤検知を抑制することができる効果が得られる。

＜局所領域補間の処理＞
次に、局所領域補間の処理について説明する。
図１４は、パイロンを認識する処理を説明するための図である。図１４の左上には路上に置かれたパイロンが映る原画像９０の例が示される。また、図１４の左下には原画像９０から生成された視差画像９５の例が示される。

図１４の右側には、３次元点群と推定平面の図が示される。上述したように視差画像は３次元点群で構成される。従来の外界認識装置では、円錐状のパイロンのような曲面を有する物体は、背景と混ざって物体だけを認識しづらいことがあった。そこで、図７に示した局所類似テクスチャ領域分割部４１０は、例えばＬｉＤＡＲが取得した同一セル上の点群を平面に近似する。ここで、図１４の左下に示すパイロンのような一つの物体の形状をセルと呼ぶ。

図８に示した局所領域補間投票部５５０は、局所類似テクスチャ領域分割部４１０により分割された局所領域の平面と、ＬｉＤＡＲが取得した点群の誤差量を基に、局所領域の平面が同一立体物の側面であるかどうかを判定する。例えば、局所類似テクスチャ領域分割部４１０により背景と物体が混ざって認識された局所領域では、同一物体でない背景と物体の点群の誤差量は大きい。一方、同一物体でない物体（例えば、パイロンの側面）と背景との点群の誤差量に比べれば、局所領域の平面と、同一物体である物体（例えば、パイロンの側面）は、その物体が曲面を有していても点群の誤差量が小さい。

そこで、局所領域補間投票部５５０は、図１４の右側に示すように、局所領域の点群が、同じ奥行き、又は同じ３次元平面にあるかどうかを確認する。そして、局所領域補間投票部５５０は、一つのセルが一つの物体であると判定できた場合には、そのセル内で奥行きの補間を実施する。その後、局所領域補間投票部５５０は、奥行きを補間したセルを利用することで、無効となっている視差部分やノイズを補間して追加視差を投票できる。

ただし、局所領域補間投票部５５０は、点群を局所領域の平面で近似できた場合であっても、近似した平面が、路面の位置及び傾きに近ければ、局所領域で特定される物体（平面）が障害物である可能性が低い。この場合、局所領域補間投票部５５０は、近似した平面を投票に利用しない。また、物体が背景と混ざっていて奥行きに分散がある場合には、個別物体であるにもかかわらず近距離から遠距離まで奥行き方向に著しく長い物体となる。この場合、局所領域補間投票部５５０は、局所類似テクスチャ領域分割部４１０により、物体が正しく分割できていないと推定する。そこで、局所類似テクスチャ領域分割部４１０が原画像を再分割する。その後、局所領域補間投票部５５０は、再分割した局所領域に対して、視差を投票する。ただし、局所領域補間投票部５５０は、再分割した局所領域に対して視差を投票しないこともある。この場合、再分割された局所領域に対して視差投票部３００が投票した視差の投票数だけで物体検知部６００が物体を検知することとなる。

＜３次元点群を用いた処理の例１＞
ここで、３次元点群を用いた他の例について説明する。
図１５は、同一物体に含まれる複数のテクスチャ領域に対する処理を説明するための図である。図１５では、先行車両１８の背面の例が示される。

局所類似テクスチャ領域分割部４１０（図７を参照）が原画像から分割したテクスチャ領域は、同一物体であっても、異なる場所で分割されることがある。同様に、個別物体領域分割部４３０が原画像から分割した個別物体領域が異なる場所にあっても、個別物体領域が同一物体に含まれることがある。例えば、先行車両１８の内部で同じテクスチャがテクスチャ領域又は個別物体領域として、分割領域１２０，１３０に分かれている。このため、分かれた分割領域１２０，１３０がそれぞれ異なる物体であるとして誤った視差が投票されるおそれがある。

このため、追加視差投票部（追加視差投票部５００）は、複数のテクスチャ領域、又は複数の個別物体領域が同一の物体（先行車両１８）に含まれることを３次元点群の分布で確認できた場合に、同一の物体（先行車両１８）として有効な視差をＵＤ投票空間に投票する。例えば、局所領域補間投票部５５０又は個別障害物補間投票部５４０は、分割領域１２０，１３０に対する３次元点群の分布を確認し、分割領域１２０，１３０が同じ先行車両１８の内部に含まれるか否かを確認する。局所領域補間投票部５５０又は個別障害物補間投票部５４０は、３次元点群の分布により、分割領域１２０，１３０が同じ先行車両１８の内部に含まれると確認できた場合、この分割領域１２０，１３０を一つの物体としてＵＤ投票空間に有効な視差を投票する。この処理により、一つの物体の内部に離れた個別物体領域があっても、一つの物体の視差としてＵＤ投票空間に投票される。

一方、局所領域補間投票部５５０又は個別障害物補間投票部５４０は、分割領域１２０，１３０同じ先行車両１８の内部に含まれないと確認できた場合、この分割領域１２０，１３０をそれぞれ異なる物体としてＵＤ投票空間に視差を投票する。

＜３次元点群を用いた処理の例２＞
上述した３次元点群を用いた処理の例１において、局所領域補間投票部５５０は、分割領域１２０，１３０が同一物体に含まれる同じテクスチャのテクスチャ領域である場合、分割領域１２０，１３０の平面又は曲面を推定してもよい。この場合、追加視差投票部（追加視差投票部５００）は、テクスチャ領域に対する平面又は曲面の推定を行い、推定された平面又は曲面から離れた位置に存在する３次元点群の数及び距離に基づいて、複数のテクスチャ領域が同一の物体（先行車両１８）に含まれることを確認できた場合に、同一の物体（先行車両１８）として有効な視差をＵＤ投票空間に投票する。以降の処理は、３次元点群を用いた処理の例１と同じであるので、説明を省略する。３次元点群を用いた処理の例２を用いることで、離れた場所で分割されたテクスチャ領域であっても、同一物体であることが確認できれば、同一物体として離れた場所にあるテクスチャ領域の間に視差が投票される。このため、物体検知部６００は、物体を正しく検知することが可能となる。

＜３次元点群を用いた処理の例３＞
図１６は、個別物体領域が規定範囲内の大きさであることを確認する処理を説明するための図である。図１６には、斜めに走行する先行車両１８の例が示される。

個別物体領域分割部４３０（図７を参照）は、先行車両１８の全体を１つの物体として原画像から個別物体領域に分割し、「ｃａｒ１」のようにラベルを付したとする。しかし、分割された個別物体領域が、誤った大きさの物体を個別物体として含んでいると、この個別物体領域の視差は投票に適さない。

そこで、追加視差投票部（追加視差投票部５００）は、個別物体領域の大きさが、個別の物体（車両）として存在することを３次元点群の分布で確認できた場合に、個別の物体（先行車両１８）として有効な視差をＵＤ投票空間に投票する。例えば、個別物体が車両であるならば、車両の大きさが、幅３ｍ以内、奥行き１０ｍ以内の範囲内に収まっているかを確認する。個別障害物補間投票部５４０は、車両の大きさが、幅３ｍ以内、奥行き１０ｍ以内の規定範囲内に収まっていると確認できた場合、この個別物体領域を一つの物体としてＵＤ投票空間に視差を投票する。この処理により、適切な大きさの個別物体領域に対する視差がＵＤ投票空間に投票される。

一方、個別障害物補間投票部５４０は、規定範囲内に個別物体が収まっていなければ、物体の他に背景が個別物体領域に取り込まれていると確認できる。この場合、個別障害物補間投票部５４０は、個別物体領域分割部４３０に対して確認結果と、再分割の指示を行い、再分割された個別物体領域を取得する。その後、個別障害物補間投票部５４０は、再分割された個別物体領域に対して視差を補間する。

なお、個別障害物補間投票部５４０が個別物体領域の大きさを確認する範囲は、物体の種類ごとに変えられる。例えば、歩行者のラベルが付された個別物体領域であれば、幅１ｍ、高さ２ｍの範囲内に個別物体領域が収まっているかを確認すればよい。

＜外界認識装置の処理の例＞
次に、外界認識装置１の処理の例について説明する。
図１７は、外界認識装置１の処理の例を示すフローチャートである。ここでは、図１に示す機能ブロックを用いて各部の処理を説明する。

始めに、外界情報取得部１００がステレオカメラ等から外界情報を取得する（Ｓ１）。次に、視差生成部２００が外界情報から視差を生成する（Ｓ２）。次に、視差投票部３００がＵＤ投票空間に視差を投票する（Ｓ３）。

次に、テクスチャ領域分割部４００が外界情報に基づいて原画像をテクスチャ領域に分割する（Ｓ４）。なお、テクスチャ領域分割部４００の処理は、ステップＳ１で外界情報が取得された後、ステップＳ２，Ｓ３の処理と並列に行われてもよい。

次に、追加視差投票部５００が、視差投票部３００により視差が投票されたＵＤ投票空間に対し、テクスチャ領域に基づいて追加した視差を投票する（Ｓ５）。次に、物体検知部６００がＵＤ投票空間に投票された視差に基づいて物体を検知する（Ｓ６）。

そして、警報制御部７００が、物体検知部６００により検知された物体が障害物である場合に警報を制御する（Ｓ７）。この警報制御により、自車両が障害物を回避したり、障害物の手前で停止したりすることができる。なお、物体検知部６００により検知された物体が障害物でなければ、警報制御は行われない。また、所定時間ごとに、外界認識装置１の処理はステップＳ１から繰り返し行われる。

以上説明した一実施の形態に係る外界認識装置１では、視差画像からＵＤ投票空間を生成する際に、物体毎に分割されたテクスチャ領域に基づいて視差に投票することで、ＵＤ投票空間における物体毎の認識が明確となる。このため、例えば、路端や黒い車両、高さの低い落下物等の従来では認識が難しかった物体の不検知又は誤検知を抑制することができ、物体の安定した検知、すなわちロバストな検知が可能となる。

従来の手法は、領域分割された結果に対して、物体の種別のタグを付加したものであった。このため、領域分割された物体が、本来の物体より大きかったり、本来の物体の一部が不明であることから分割したりすることで、誤った結果が得られた場合、車両を急停止したり、走行に支障がない障害物として車両が走行し続けたりするおそれがあった。一方、本実施の形態に係る手法では、物体検知部６００が物体を検知する前に追加視差投票部５００による追加視差の処理が加わっている。このため、物体までの距離に応じて視差が投票された後、物体検知部６００によって物体の形状が正確に検知及び分析される。そして、この物体検知の結果に基づいて、車両の自動運転制御が行われる。したがって、本実施の形態に係る手法によれば、障害物の直前で車両を急停止することがなくなる。また、本実施の形態に係る手法によれば、走行に支障がない物体として誤った認識のまま、車両が走行し続けるおそれがなくなる。

また、従来の手法では、不検知とされる物体が存在することがあった。一方、本実施の形態に係る手法では、従来の手法で不検知とされた物体であっても、追加視差投票部５００が視差を補間し、その物体に対して追加投票することで、物体検知部６００が物体を正しく検知することが可能となる。

なお、本発明は上述した実施形態に限られるものではなく、請求の範囲に記載した本発明の要旨を逸脱しない限りその他種々の応用例、変形例を取り得ることは勿論である。
例えば、上述した実施形態は本発明を分かりやすく説明するために装置の構成を詳細かつ具体的に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されない。また、本実施形態の構成の一部について、他の構成の追加、削除、置換をすることも可能である。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

１…外界認識装置、１００…外界情報取得部、１１０…カメラ、２００…視差生成部、３００…視差投票部、４００…テクスチャ領域分割部、４１０…局所類似テクスチャ領域分割部、４２０…意味的領域分割部、４３０…個別物体領域分割部、５００…追加視差投票部、５１０…路端追加投票部、５２０…路面ペイント減算部、５３０…種別障害物補間投票部、５４０…個別障害物補間投票部、５５０…局所領域補間投票部、６００…物体検知部、７００…警報制御部

Claims (14)

1. 外界情報取得部から取得した外界情報から特定するテクスチャごとに前記外界情報を複数のテクスチャ領域に分割するテクスチャ領域分割部と、
   前記外界情報に基づいて外界の奥行き距離に応じた視差を生成する視差生成部と、
   前記外界の奥行き距離を一つの軸に持つ投票空間に、前記外界情報から特定する物体の前記奥行き距離に応じた視差を投票する視差投票部と、
   視差が投票された前記投票空間に対して、前記テクスチャ領域に基づいて追加した視差を投票する追加視差投票部と、
   前記投票空間に投票された視差の投票数に基づいて前記物体を検知することで前記外界を認識する物体検知部と、を備える
   外界認識装置。
2. 前記追加視差投票部は、前記テクスチャ領域に基づいて重み付けした視差を追加する
   請求項１に記載の外界認識装置。
3. 前記追加視差投票部は、前記奥行き距離を一つの軸に持つ視差画像の前記テクスチャ領域が対応する部分に存在する視差抜け箇所を、前記視差画像の前記奥行き距離の軸方向に存在する視差で補間し、前記視差抜け箇所が補間された前記テクスチャ領域ごとに追加した視差を投票する
   請求項２に記載の外界認識装置。
4. 前記追加視差投票部は、前記奥行き距離を一つの軸に持つ視差画像の前記テクスチャ領域が対応する部分に存在する視差抜け箇所を、前記視差抜け箇所が存在する前記物体と同一の前記物体に存在する前記視差抜け箇所の周囲の視差で補間し、前記視差抜け箇所が補間された前記テクスチャ領域ごとに追加した視差を投票する
   請求項２に記載の外界認識装置。
5. 前記テクスチャ領域分割部は、
   前記外界情報を、局所的に類似するテクスチャごとの前記テクスチャ領域に分割する局所類似テクスチャ領域分割部と、
   前記外界情報を前記物体の種別ごとの意味的領域に分割する意味的領域分割部と、
   前記外界情報を前記物体ごとの個別物体領域に分割する個別物体領域分割部と、を有する
   請求項３に記載の外界認識装置。
6. 前記追加視差投票部は、路面標示に対して投票された視差の投票数を減少させる減算部を有する
   請求項５に記載の外界認識装置。
7. 前記追加視差投票部は、複数の前記テクスチャ領域、又は複数の前記個別物体領域が同一の前記物体に含まれることを３次元点群の分布で確認できた場合に、同一の前記物体として有効な視差を前記投票空間に投票する
   請求項５に記載の外界認識装置。
8. 前記追加視差投票部は、前記テクスチャ領域に対する平面又は曲面の推定を行い、推定された平面又は曲面から離れた位置に存在する３次元点群の数及び距離に基づいて、複数の前記テクスチャ領域が同一の前記物体に含まれることを確認できた場合に、同一の前記物体として有効な視差を前記投票空間に投票する
   請求項５に記載の外界認識装置。
9. 前記追加視差投票部は、前記個別物体領域の大きさが、個別の前記物体として存在することを３次元点群の分布で確認できた場合に、個別の前記物体として有効な視差を前記投票空間に投票する
   請求項５に記載の外界認識装置。
10. 前記投票空間は、前記外界情報取得部が前記外界情報を取得可能な角度、又は前記外界情報が画像である場合の前記画像の横位置を他の一つの軸に持つ
    請求項５に記載の外界認識装置。
11. 前記外界情報取得部は、センシングデバイスが検知する情報と、他のセンシングデバイスが検知する情報とを外界情報として取得する
    請求項５に記載の外界認識装置。
12. 前記センシングデバイスは、第１カメラであり、前記他のセンシングデバイスは、前記第１カメラの水平方向に配置される第２カメラであり、
    前記外界情報取得部は、前記第１カメラ及び前記第２カメラが撮像する外界の画像を前記外界情報として取得する
    請求項１１に記載の外界認識装置。
13. 前記センシングデバイスは、単眼カメラであり、前記他のセンシングデバイスは、電磁波を物体に照射して得た３次元点群の分布により前記物体までの距離を計測する計測装置であり、
    前記外界情報取得部は、前記単眼カメラが撮像する外界の画像と、前記計測装置から出力される前記３次元点群の分布とを前記外界情報として取得する
    請求項１１に記載の外界認識装置。
14. 外界認識装置で行われる外界認識方法であって、
    外界情報取得部が外界情報を取得する処理と、
    前記外界情報に示される物体毎のテクスチャごとに前記外界情報を複数のテクスチャ領域に分割する処理と、
    前記外界情報に基づいて外界の奥行き距離に応じた視差を生成する処理と、
    前記外界の奥行き距離を一つの軸に持つ投票空間に、前記外界情報から特定する物体の前記奥行き距離に応じた前記視差を投票する処理と、
    前記視差が投票された前記投票空間に対して、前記テクスチャ領域に基づいて追加した視差を投票する追加視差投票部と、
    前記投票空間に投票された視差の投票数に基づいて前記物体を検知することで前記外界を認識する処理部と、を含む
    外界認識方法。