JP7344032B2 - 画像処理装置 - Google Patents

Description

本開示は、画像処理を行う画像処理装置に関する。

画像処理装置には、フレーム画像において画像領域を設定し、この画像領域における画像に基づいて、様々な処理を行うものがある。例えば、特許文献１には、物体の表面上の位置を表す３次元点の集合である３次元点群をクラスタリング処理により分割して点群クラスタを生成し、この点群クラスタに基づいて特徴量を抽出する特徴抽出装置が開示されている。

特開２０１９－３５２７号公報

画像処理装置では、フレーム画像において画像領域を適切に設定することが望まれている。

適切に画像領域を設定することができる画像処理装置を提供することが望ましい。

本開示の一実施の形態に係る画像処理装置は、代表距離算出部と、結合処理部とを備えている。代表距離算出部は、ステレオ画像に基づいて生成された、各画素での距離値を含む距離画像に基づいて、距離画像における複数の画素列に対応づけられ、それぞれが、対応する画素列における距離値の代表値である複数の代表距離値を生成するように構成される。結合処理部は、ステレオ画像に含まれる、他車両を含む１または複数の物体の画像に基づいて設定された第１の画像領域および第２の画像領域を結合する結合処理を行うことが可能に構成される。この結合処理部は、第１の画像領域および第２の画像領域が仮結合された領域である仮結合領域が、他車両のコーナー部の画像を含むかどうかを判定する判定処理を行い、仮結合領域がコーナー部の画像を含む場合に、結合処理を回避する。結合処理部は、第１の画像領域において、複数の代表距離値のうちの、第１の画像領域が属する複数の画素列に対応する第１の複数の代表距離値に基づいて第１の近似直線を生成するとともに、第１の複数の代表距離値の第１の近似直線からの第１のばらつき度合いを算出し、第２の画像領域において、複数の代表距離値のうちの、第２の画像領域が属する複数の画素列に対応する第２の複数の代表距離値に基づいて第２の近似直線を生成するとともに、第２の複数の代表距離値の第２の近似直線からの第２のばらつき度合いを算出し、第１のばらつき度合いおよび第２のばらつき度合いに基づいて判定処理を行う。

本開示の一実施の形態に係る画像処理装置によれば、第１の画像領域が属する複数の画素列に対応する第１の複数の代表距離値に基づいて第１の近似直線を生成するとともに、第１の複数の代表距離値の第１の近似直線からの第１のばらつき度合いを算出し、第２の画像領域が属する複数の画素列に対応する第２の複数の代表距離値に基づいて第２の近似直線を生成するとともに、第２の複数の代表距離値の第２の近似直線からの第２のばらつき度合いを算出し、第１のばらつき度合いおよび第２のばらつき度合いに基づいて判定処理を行うようにしたので、適切に画像領域を設定することができる。

本開示の一実施の形態に係る画像処理装置の一構成例を表すブロック図である。 距離画像の一例を表す説明図である。 代表距離値の一例を表す説明図である。 図１に示した処理部の一動作例を表す画像図である。 図１に示した処理部の一動作例を表すフローチャートである。 図１に示した処理部の一動作例を表す他の画像図である。 図１に示した分割処理部における分割処理の一例を表すフローチャートである。 図１に示した分割処理部の一動作例を表す説明図である。 図１に示した分割処理部の一動作例を表す他の説明図である。 図１に示した分割処理部の一動作例を表す他の説明図である。 図１に示した分割処理部の一動作例を表す他の説明図である。 図１に示した分割処理部の一動作例を表す他の説明図である。 図１に示した分割処理部の一動作例を表す他の説明図である。 図１に示した分割処理部の一動作例を表す他の説明図である。 図１に示した結合処理部における結合処理の一例を表すフローチャートである。 図１に示した結合処理部の一動作例を表す説明図である。 図１に示した結合処理部の一動作例を表す他の説明図である。 図１に示した結合処理部の一動作例を表す他の説明図である。 図１に示した結合処理部の一動作例を表す他の説明図である。 図１に示した処理部の一動作例を表す他の画像図である。 図１に示した処理部の一動作例を表す他の画像図である。 図１に示した結合処理部における他の結合処理の一例を表すフローチャートである。 図１に示した結合処理部における他の結合処理の一例を表す他のフローチャートである。 図１に示した結合処理部の一動作例を表す他の説明図である。 図１に示した結合処理部の一動作例を表す他の説明図である。 図１に示した結合処理部の一動作例を表す他の説明図である。 図１に示した結合処理部の一動作例を表す他の説明図である。

以下、本開示の実施の形態について、図面を参照して詳細に説明する。

＜実施の形態＞
［構成例］
図１は、一実施の形態に係る画像処理装置（画像処理装置１）の一構成例を表すものである。画像処理装置１は、ステレオカメラ１１と、処理部２０とを有している。画像処理装置１は、自動車等の車両１０に搭載される。

ステレオカメラ１１は、車両１０の前方を撮像することにより、互いに視差を有する一組の画像（左画像ＰＬおよび右画像ＰＲ）を生成するように構成される。ステレオカメラ１１は、左カメラ１１Ｌと、右カメラ１１Ｒとを有する。左カメラ１１Ｌおよび右カメラ１１Ｒのそれぞれは、レンズとイメージセンサとを含んでいる。左カメラ１１Ｌおよび右カメラ１１Ｒは、この例では、車両１０の車両内において、車両１０のフロントガラスの上部近傍に、車両１０の幅方向に所定距離だけ離間して配置される。左カメラ１１Ｌおよび右カメラ１１Ｒは、互いに同期して撮像動作を行う。左カメラ１１Ｌは左画像ＰＬを生成し、右カメラ１１Ｒは右画像ＰＲを生成する。左画像ＰＬおよび右画像ＰＲは、ステレオ画像ＰＩＣを構成する。左画像ＰＬおよび右画像ＰＲは互いに視差を有する。ステレオカメラ１１は、所定のフレームレート（例えば６０［ｆｐｓ］）で撮像動作を行うことにより、一連のステレオ画像ＰＩＣを生成するようになっている。

処理部２０は、ステレオカメラ１１から供給されたステレオ画像ＰＩＣに基づいて、左画像ＰＬおよび右画像ＰＲに含まれる、車両１０の前方の車両などの様々な物体に、画像領域Ｒを設定することにより、物体を認識するように構成される。車両１０では、例えば、処理部２０が認識した物体についての情報に基づいて、例えば、車両１０の走行制御を行い、あるいは、認識した物体についての情報をコンソールモニタに表示することができるようになっている。処理部２０は、例えば、プログラムを実行するＣＰＵ（Central Processing Unit）、処理データを一時的に記憶するＲＡＭ（Random Access Memory）、プログラムを記憶するＲＯＭ（Read Only Memory）などにより構成される。処理部２０は、距離画像生成部２１と、代表距離算出部２２と、画像領域設定部２３と、グルーピング処理部２４と、分割処理部２５と、結合処理部２６とを有している。

距離画像生成部２１は、左画像ＰＬおよび右画像ＰＲに基づいて、ステレオマッチング処理やフィルタリング処理などを含む所定の画像処理を行うことにより、距離画像ＰＺを生成するように構成される。

図２は、距離画像ＰＺの一例を表すものである。左画像ＰＬおよび右画像ＰＲと同様に、距離画像ＰＺにおける横軸は、車両１０の車幅方向における座標ｘに対応し、縦軸は、車両１０の車高方向における座標ｙに対応する。距離画像ＰＺの各画素Ｐにおける画素値は、３次元の実空間における、各画素に対応する点までの距離値（測定距離値Ｚmeas）に対応している。言い換えれば、各画素Ｐにおける画素値は、車両１０の車長方向における座標ｚに対応している。

代表距離算出部２２は、距離画像ＰＺに基づいて、距離画像ＰＺの画素列ごとに代表距離値Ｚpeakを算出するように構成される。具体的には、代表距離算出部２２は、距離画像ＰＺにおける複数の画素列を順次選択し、選択された画素列に属する複数の測定距離値Ｚmeasに基づいて、ヒストグラムＨを生成する。そして、代表距離算出部２２は、そのヒストグラムＨに基づいて、選択された画素列における代表距離値Ｚpeakを算出する。

図３は、図２に示した距離画像ＰＺにおけるｊ番目の画素列に属する複数の測定距離値Ｚmeasに基づいて生成されたヒストグラムＨｊの一例を表すものである。横軸は座標ｚの値を示し、縦軸は頻度を示す。代表距離算出部２２は、頻度が一番高い座標ｚの値を代表距離値Ｚpeakとして得る。代表距離算出部２２は、全ての画素列に対して、このようなヒストグラムＨをそれぞれ生成することにより、代表距離値Ｚpeakをそれぞれ算出するようになっている。

画像領域設定部２３は、距離画像ＰＺに基づいて複数の画像領域Ｒを設定するように構成される。具体的には、画像領域設定部２３は、距離画像ＰＺにおいて、測定距離値Ｚmeasが連続する複数の画素Ｐが１つの画像領域Ｒに属するように、画像領域Ｒを設定する。

図４は、画像領域Ｒの一例を表すものである。この例では、ステレオ画像ＰＩＣにおける左画像ＰＬは、自車両である車両１０の前方における２台の車両９Ａ，９Ｂの画像を含んでいる。なお、この例では左画像ＰＬを用いて説明するが、右画像ＰＲおよび距離画像ＰＺについても同様である。

車両９Ａは、車両１０の前方を道路に沿って走行しており、この左画像ＰＬは、車両９Ａの背面の画像を含んでいる。車両９Ａの背面において、距離画像ＰＺにおける測定距離値Ｚmeasは連続するので、画像領域設定部２３は、車両９Ａの背面に画像領域Ｒ（画像領域ＲＡ）を設定している。

車両９Ｂは、横から車両１０の前に入り込んできている。この車両９Ｂは、道路の延伸方向からずれた方向を向いているので、左画像ＰＬは、車両９Ｂの側面１０１の画像、車両９Ｂの背面１０２の画像、および車両９Ｂの側面１０１と背面１０２との間のコーナー部１０３の画像を含んでいる。この例では、車両９Ａの側面１０１、背面１０２、およびコーナー部１０３において、距離画像ＰＺにおける測定距離値Ｚmeasは連続するので、画像領域設定部２３は、車両９Ｂの側面１０１、背面１０２、およびコーナー部１０３に１つの画像領域Ｒ（画像領域Ｒ１）を設定している。

グルーピング処理部２４は、現在のステレオ画像ＰＩＣに基づく処理において、過去のステレオ画像ＰＩＣに基づく処理を参考にして、複数の画像領域Ｒを結合することにより１つの画像領域Ｒを設定するように構成される。具体的には、例えば、現在のステレオ画像ＰＩＣにおいて、ある１つの車両に対して複数の画像領域Ｒが設定されており、１つ前のステレオ画像ＰＩＣに基づく処理において、その車両に対して１つの画像領域Ｒが設定されていた場合に、グルーピング処理部２４は、それらの複数の画像領域Ｒを結合することにより１つの画像領域Ｒを設定するようになっている。

分割処理部２５は、画像領域Ｒにおける複数の代表距離値Ｚpeakに基づいて、所定の条件を満たした場合に、その画像領域Ｒを２つの画像領域Ｒに分割する領域分割処理Ａを行うように構成される。領域分割処理Ａは、分割処理Ａ１を含んでいる。分割処理部２５は、この分割処理Ａ１において、例えば、ある画像領域Ｒ（画像領域Ｒ１）が属する複数の画素列に対応する複数の代表距離値Ｚpeakに基づいて、その画像領域Ｒ１が車両のコーナー部の画像を含むかどうかを判定する。そして、分割処理部２５は、その画像領域Ｒ１がそのコーナー部の画像を含む場合に、その画像領域Ｒ１をそのコーナー部に基づいて２つの画像領域Ｒ（画像領域Ｒ２，Ｒ３）に分割する。すなわち、分割処理部２５は、図４の例では、画像領域Ｒ１が車両９Ｂのコーナー部１０３を含むと判定することにより、その画像領域Ｒ１を、車両９Ｂの側面１０１の画像を含む画像領域Ｒ２と、車両９Ｂの背面１０２の画像を含む画像領域Ｒ３とに分割するようになっている。

結合処理部２６は、２つの画像領域Ｒのそれぞれにおける複数の代表距離値Ｚpeakに基づいて、所定の条件を満たした場合に、それらの２つの画像領域Ｒを結合する領域結合処理Ｂを行うように構成される。

領域結合処理Ｂは、結合処理Ｂ１を含んでいる。結合処理部２６は、この結合処理Ｂ１において、ある画像領域Ｒ（画像領域Ｒ４）に含まれる画像に対応する３次元の実空間での部分と、他のある画像領域Ｒ（画像領域Ｒ５）に含まれる画像に対応する３次元の実空間での部分とが互いに近い場合に、その２つの画像領域Ｒ４，Ｒ５を結合することにより１つの画像領域Ｒ（画像領域Ｒ６）を設定する。また、結合処理部２６は、例えば、２つの画像領域Ｒ４，Ｒ５が仮結合された領域が車両のコーナー部の画像を含むかどうかを判定する。そして、結合処理部２６は、その領域がそのコーナー部の画像を含む場合に、これらの２つの画像領域Ｒ４，Ｒ５を結合しないようになっている。

また、領域結合処理Ｂは、結合処理Ｂ２を含んでいる。結合処理部２６は、この結合処理Ｂ２において、ある画像領域Ｒ（画像領域Ｒ７）に含まれる画像に対応する３次元の実空間での部分と、他のある画像領域Ｒ（画像領域Ｒ８）に含まれる画像に対応する３次元の実空間での部分とが互いに少し離れている場合でも、所定の条件を満たした場合に、その２つの画像領域Ｒ７，Ｒ８を結合することにより１つの画像領域Ｒ（画像領域Ｒ９）を設定する。例えば、結合処理部２６は、互いに離間する２つの画像領域Ｒ７，Ｒ８の両方が、ある１つの車両の側面における互いに異なる部分の画像を含むかどうかを判定する。そして、結合処理部２６は、２つの画像領域Ｒ７，Ｒ８の両方が、その車両の側面における互いに異なる部分の画像を含む場合に、２つの画像領域Ｒ７，Ｒ８を結合することにより画像領域Ｒ９を設定する。具体的には、後述するように、例えば、画像領域Ｒ７がバスのように車長が長い車両の側面における前部の画像を含み、画像領域Ｒ８がその車両の側面における後部の画像を含む場合があり得る。すなわち、例えば、バスの側面は、パターンマッチングを行いにくいので、距離画像生成部２１は、精度が高い距離画像ＰＺを生成しにくい。この場合には、バスの側面の前部および側面の後部に、別々の画像領域Ｒ７，Ｒ８がそれぞれ設定されることがあり得る。このような場合には、結合処理部２６は、その２つの画像領域Ｒ７，Ｒ８を結合することにより１つの画像領域Ｒ９を設定することができるようになっている。

このようにして、処理部２０は、車両１０の前方の車両を認識する。そして、処理部２０は、その認識結果についての情報を出力するようになっている。

この構成により、画像処理装置１では、分割処理部２５は、分割処理Ａ１において、ある画像領域Ｒ（画像領域Ｒ１）が、車両のコーナー部の画像を含む場合に、その画像領域Ｒ１を、車両の側面の画像を含む画像領域Ｒ（画像領域Ｒ２）と、車両の背面の画像を含む画像領域Ｒ（画像領域Ｒ３）とに分割する。結合処理部２６は、結合処理Ｂ１において、これらの画像領域Ｒ２および画像領域Ｒ３が仮結合された領域が車両のコーナー部の画像を含むので、これらの画像領域Ｒ２および画像領域Ｒ３を結合しない。これにより、画像処理装置１では、車両の側面とその車両の背面に、別々の画像領域Ｒ２，Ｒ３をそれぞれ設定することができるので、その車両を側面と背面とに分けて認識することができる。

また、画像処理装置１では、結合処理部２６は、結合処理Ｂ２において、ある画像領域Ｒ（画像領域Ｒ７）がバスの側面における前部の画像を含み、他のある画像領域Ｒ（画像領域Ｒ８）がバスの側面における後部の画像を含む場合に、その２つの画像領域Ｒ７，Ｒ８を結合することにより１つの画像領域Ｒ（画像領域Ｒ９）を設定する。これにより、画像処理装置１では、１つの車両の側面に１つの画像領域Ｒ９を設定することができるので、その車両の側面をまとまった１つのものとして認識することができるようになっている。

ここで、代表距離算出部２２は、本開示における「代表距離算出部」の一具体例に対応する。測定距離値Ｚmeasは、本開示における「距離値」の一具体例に対応する。代表距離値Ｚpeakは、本開示における「代表距離値」の一具体例に対応する。画像領域設定部２３は、本開示における「画像領域設定部」の一具体例に対応する。結合処理部２６は、本開示における「結合処理部」の一具体例に対応する。結合処理Ｂ１は、本開示における「結合処理」の一具体例に対応する。画像領域Ｒ４および画像領域Ｒ５は、本開示における「第１の画像領域」および「第２の画像領域」の一具体例に対応する。分割処理部２５は、本開示における「分割処理部」の一具体例に対応する。分割処理Ａ１は、本開示における「分割処理」の一具体例に対応する。画像領域Ｒ１は、本開示における「第３の画像領域」の一具体例に対応する。

［動作および作用］
続いて、本実施の形態の画像処理装置１の動作および作用について説明する。

（全体動作概要）
まず、図１を参照して、画像処理装置１の全体動作概要を説明する。ステレオカメラ１１は、車両１０の前方を撮像することにより、左画像ＰＬおよび右画像ＰＲを含むステレオ画像ＰＩＣを生成する。処理部２０は、ステレオカメラ１１から供給されたステレオ画像ＰＩＣに基づいて、左画像ＰＬおよび右画像ＰＲに含まれる、車両１０の前方の車両などの様々な物体のそれぞれに、画像領域Ｒを設定することにより、物体を認識する。

（詳細動作）
図５は、処理部２０の一動作例を表すものである。処理部２０は、ステレオカメラ１１からステレオ画像ＰＩＣが供給される度に、そのステレオ画像ＰＩＣに基づいて、距離画像ＰＺを生成し、この距離画像ＰＺに基づいて複数の画像領域Ｒを設定する。そして、処理部２０は、１つの画像領域Ｒを分割し、あるいは２つの画像領域Ｒを結合することにより、１または複数の画像領域Ｒを設定する。以下に、この処理について詳細に説明する。

まず、距離画像生成部２１は、ステレオ画像ＰＩＣに含まれる左画像ＰＬおよび右画像ＰＲに基づいて、ステレオマッチング処理やフィルタリング処理などを含む所定の画像処理を行うことにより、距離画像ＰＺを生成する（ステップＳ１０１）。

次に、代表距離算出部２２は、距離画像ＰＺに基づいて、距離画像ＰＺの画素列ごとに代表距離値Ｚpeakを算出する（ステップＳ１０２）。具体的には、代表距離算出部２２は、距離画像ＰＺにおける複数の画素列を順次選択し、選択された画素列に属する複数の測定距離値Ｚmeasに基づいて、ヒストグラムＨ（図３）を生成する。そして、代表距離算出部２２は、そのヒストグラムＨにおいて、頻度が一番高い座標ｚの値を代表距離値Ｚpeakとして得る。代表距離算出部２２は、全ての画素列に対して、ヒストグラムＨをそれぞれ生成することにより、画素列ごとに代表距離値Ｚpeakをそれぞれ算出する。

次に、画像領域設定部２３は、距離画像ＰＺに基づいて複数の画像領域Ｒを設定する（ステップＳ１０３）。具体的には、画像領域設定部２３は、距離画像ＰＺにおいて、測定距離値Ｚmeasが連続する複数の画素Ｐが１つの画像領域Ｒに属するように、画像領域Ｒを設定する。

次に、グルーピング処理部２４は、現在のステレオ画像ＰＩＣに基づく処理において、過去のステレオ画像ＰＩＣに基づく処理を参考にして、複数の画像領域Ｒを結合することにより１つの画像領域Ｒを設定する（ステップＳ１０４）。具体的には、例えば、現在のステレオ画像ＰＩＣにおいて、ある１つの車両に対して複数の画像領域Ｒが設定されており、１つ前のステレオ画像ＰＩＣに基づく処理において、その車両に対して１つの画像領域Ｒが設定されていた場合に、グルーピング処理部２４は、それらの複数の画像領域Ｒを結合することにより１つの画像領域Ｒを設定する。

次に、分割処理部２５は、画像領域Ｒに係る複数の代表距離値Ｚpeakに基づいて、所定の条件を満たした場合に、その画像領域Ｒを２つの画像領域Ｒに分割する領域分割処理Ａを行う（ステップＳ１０５）。この領域分割処理Ａに含まれる分割処理Ａ１については、詳細に後述する。

次に、結合処理部２６は、２つの画像領域Ｒのそれぞれに係る複数の代表距離値Ｚpeakに基づいて、所定の条件を満たした場合に、それらの２つの画像領域Ｒを結合する領域結合処理Ｂを行う（ステップＳ１０６）。この領域結合処理Ｂに含まれる結合処理Ｂ１，Ｂ２については、詳細に後述する。

以上で、このフローは終了する。

（分割処理Ａ１）
次に、図５のステップＳ１０５に示した領域分割処理Ａに含まれる、分割処理Ａ１について詳細に説明する。

分割処理部２５は、この分割処理Ａ１において、例えば、ある画像領域Ｒ（画像領域Ｒ１）が属する複数の画素列に対応する複数の代表距離値Ｚpeakに基づいて、その画像領域Ｒ１が車両のコーナー部の画像を含むかどうかを判定する。そして、分割処理部２５は、その画像領域Ｒ１がそのコーナー部の画像を含む場合に、その画像領域Ｒ１をそのコーナー部に基づいて２つの画像領域Ｒ（画像領域Ｒ２，Ｒ３）に分割する。

図６は、図４に示した画像領域Ｒ１がこの分割処理Ａ１により分割されることにより設定された画像領域Ｒ２，Ｒ３の一例を表すものである。図４に示したように、画像領域Ｒ１は、車両９Ｂの側面１０１の画像と、車両９Ｂの背面１０２の画像と、車両９Ｂのコーナー部１０３の画像とを含んでいる。分割処理部２５は、その画像領域Ｒ１がそのコーナー部の画像を含むと判定する。そして、分割処理部２５は、このコーナー部１０３に基づいて、図６に示したように、画像領域Ｒ１を、車両９Ｂの側面１０１の画像を含む画像領域Ｒ２と、車両９Ｂの背面１０２の画像を含む画像領域Ｒ３とに分割する。これにより、処理部２０は、車両９Ｂを側面と背面とに分けて認識することができる。

図７は、分割処理Ａ１の一例を表すものである。

まず、分割処理部２５は、複数の画像領域Ｒのうち、処理対象となる画像領域Ｒ（画像領域Ｒ１）を選択する（ステップＳ１１１）。

次に、分割処理部２５は、画像領域Ｒ１における複数の代表距離値Ｚpeakに基づいて、最小二乗法により近似直線Ｌを算出し、これらの複数の代表距離値Ｚpeakの、その近似直線Ｌからの分散値Ｖを算出する（ステップＳ１１２）。

図８は、ステップＳ１１２における処理の一例を表すものである。横軸は座標ｘを示し、縦軸は座標ｚを示す。この図８では、このようなｘ－ｚ座標面において、画像領域Ｒ１が属する複数の画素列に対応する複数の代表距離値Ｚpeakを示す複数の座標点がプロットされている。分割処理部２５は、これらの複数の代表距離値Ｚpeakに基づいて、最小二乗法により近似直線Ｌ０を算出する。そして、分割処理部２５は、これらの複数の代表距離値Ｚpeakの、近似直線Ｌ０からの分散値Ｖ０を算出する。

次に、分割処理部２５は、この画像領域Ｒ１において仮分割位置ＰＯＳを設定して、画像領域Ｒ１に対して仮分割を行い（ステップＳ１１３）、仮分割された各領域において、その領域における複数の代表距離値Ｚpeakに基づいて、最小二乗法により近似直線Ｌを算出し、これらの複数の代表距離値Ｚpeakの、その近似直線Ｌからの分散値Ｖを算出する（ステップＳ１１４）。所定回数Ｎだけ仮分割を行っていない場合（ステップＳ１１５において“Ｎ”）には、ステップＳ１１３に戻る。そして、所定回数Ｎだけ仮分割を行うまで、ステップＳ１１３～Ｓ１１５の処理を繰り返す。

図９Ａ～９Ｅは、ステップＳ１１３～Ｓ１１５における処理の一例を表すものである。この例では、所定回数Ｎは“５”であり、分割処理部２５は、画像領域Ｒ１において５つの仮分割位置ＰＯＳ（仮分割位置ＰＯＳ１～ＰＯＳ５）を設定している。

例えば、図９Ａに示したように、分割処理部２５は、仮分割位置ＰＯＳ１において仮分割を行う。そして、分割処理部２５は、この仮分割位置ＰＯＳ１の左の領域における複数の代表距離値Ｚpeakに基づいて、最小二乗法により近似直線Ｌ１１を算出し、これらの複数の代表距離値Ｚpeakの、近似直線Ｌ１１からの分散値Ｖ１１を算出する。また、分割処理部２５は、この仮分割位置ＰＯＳ１の右の領域における複数の代表距離値Ｚpeakに基づいて、最小二乗法により近似直線Ｌ１２を算出し、これらの複数の代表距離値Ｚpeakの、近似直線Ｌ１２からの分散値Ｖ１２を算出する。

同様に、分割処理部２５は、仮分割位置ＰＯＳ２（図９Ｂ）において仮分割を行うことにより、近似直線Ｌ２１，Ｌ２２および分散値Ｖ２１，Ｖ２２を算出し、仮分割位置ＰＯＳ２（図９Ｃ）において仮分割を行うことにより、近似直線Ｌ３１，Ｌ３２および分散値Ｖ３１，Ｖ３２を算出し、仮分割位置ＰＯＳ４（図９Ｄ）において仮分割を行うことにより、近似直線Ｌ４１，Ｌ４２および分散値Ｖ４１，Ｖ４２を算出し、仮分割位置ＰＯＳ５（図９Ｅ）において仮分割を行うことにより、近似直線Ｌ５１，Ｌ５２および分散値Ｖ５１，Ｖ５２を算出する。

次に、分割処理部２５は、近似直線Ｌからのばらつき度合いが最も小さい仮分割位置ＰＯＳを選択する（ステップＳ１１６）。近似直線Ｌからのばらつき度合いは、例えば、以下の式を用いて評価することができる。

ここで、σ１は、仮分割位置ＰＯＳ１において仮分割を行った場合における近似直線Ｌ１１，Ｌ１２からのばらつき度合いである。このばらつき度合いσ１は、仮分割位置ＰＯＳ１の左の領域における分散値Ｖ１１の平方根と、仮分割位置ＰＯＳ１の右の領域における分散値Ｖ１２の和である。言い換えれば、このばらつき度合いσ１は、仮分割位置ＰＯＳ１の左の領域における標準偏差と、仮分割位置ＰＯＳ１の右の領域における標準偏差の和である。同様に、σ２は、仮分割位置ＰＯＳ２において仮分割を行った場合における近似直線Ｌ２１，Ｌ２２からのばらつき度合いであり、σ３は、仮分割位置ＰＯＳ３において仮分割を行った場合における近似直線Ｌ３１，Ｌ３２からのばらつき度合いであり、σ４は、仮分割位置ＰＯＳ４において仮分割を行った場合における近似直線Ｌ４１，Ｌ４２からのばらつき度合いであり、σ５は、仮分割位置ＰＯＳ５において仮分割を行った場合における近似直線Ｌ５１，Ｌ５２からのばらつき度合いである。分割処理部２５は、このばらつき度合いσ１～σ５のうちの最も小さいばらつき度合いσが得られた仮分割位置ＰＯＳを選択する。図９Ａ～９Ｅの例では、分割処理部２５は、仮分割位置ＰＯＳ４を選択する。

次に、分割処理部２５は、ステップＳ１１６において選択した仮分割位置ＰＯＳに基づいて、車両のコーナー部の位置（コーナー位置ＣＰ）を推定する（ステップＳ１１７）。

図１０は、ステップＳ１１７における処理の一例を表すものである。この例では、分割処理部２５は、選択された仮分割位置ＰＯＳ４の左の領域における近似直線Ｌ４１を、仮分割位置ＰＯＳ４の右の領域に向かって延長させるとともに、選択された仮分割位置ＰＯＳ４の右の領域における近似直線Ｌ４２を、仮分割位置ＰＯＳ４の左の領域に向かって延長させる。延長された近似直線Ｌ４１と、延長された近似直線Ｌ４２とが互いに交差する位置は、コーナー位置ＣＰに対応する。すなわち、横軸は、自車両である車両１０の車幅方向における座標ｘを示し、縦軸は、車両１０の車長方向における座標ｚを示すので、このｘ－ｚ平面において、近似直線Ｌ４１は、図４に示した車両９Ｂの側面１０１に対応し、近似直線Ｌ４２は、この車両９Ｂの背面１０２に対応する。よって、延長された近似直線Ｌ４１と、延長された近似直線Ｌ４２とが互いに交差する位置は、車両９Ｂのコーナー部１０３の位置に対応する。このようにして、分割処理部２５は、コーナー位置ＣＰを推定する。

次に、分割処理部２５は、ステップＳ１１７において推定したコーナー位置ＣＰに基づいて画像領域Ｒ１を分割する際の、所定の分割条件を満たすかどうかを判定する（ステップＳ１１８）。所定の分割条件は、例えば、以下の５つの条件を含むことができ、分割処理部２５は、例えば、これらの５つの条件を満たした場合に、所定の分割条件を満たすと判定する。

第１の条件は、ステップＳ１１７において推定されたコーナー位置ＣＰのｘ座標が画像領域Ｒ１に位置していることである。すなわち、この第１の条件を満たすことは、画像領域Ｒ１がコーナー部の画像を含んでいる可能性が高いことを示しているので、この第１の条件は分割条件になり得る。

第２の条件は、コーナー位置ＣＰのｘ座標で画像領域Ｒ１を分割した場合における、近似直線Ｌからの分散値Ｖが、ステップＳ１１２において算出した分散値Ｖ０よりも小さいことである。すなわち、この第２の条件を満たすことは、分割により２つの画像領域Ｒ（画像領域Ｒ２，Ｒ３）がより適切に設定されることを示しているので、この第２の条件は分割条件になり得る。

第３の条件は、ステップＳ１１７において使用された２つの近似直線Ｌのなす角θ（図１０）が、９０度を含む所定の角度範囲の範囲内であることである。すなわち、これらの２つの近似直線Ｌは、車両の側面および背面に対応するので、２つの近似直線Ｌのなす角θは、約９０度になることが期待される。この第３の条件を満たすことは、画像領域Ｒ１がコーナー部の画像を含んでいる可能性が高いことを示しているので、この第３の条件は分割条件になり得る。

第４の条件は、画像領域Ｒ１における、コーナー位置ＣＰのｘ座標よりも左の領域の幅が所定の幅以上であることと、コーナー位置ＣＰのｘ座標よりも右の領域の幅が所定の幅以上であることである。すなわち、この第４の条件を満たすことは、分割により設定される２つの画像領域Ｒ（画像領域Ｒ２，Ｒ３）の大きさがある程度の大きさになることを示しているので、この第４の条件は分割条件になり得る。

第５の条件は、ステップＳ１１２において算出した分散値Ｖ０が所定の値以上であることである。すなわち、この第５の条件を満たすことは、１本の近似直線Ｌ０を用いて近似することが適切でないことを示しており、言い換えれば、画像領域Ｒ１がコーナー部の画像を含んでいる可能性が高いことを示している。よって、この第５の条件は分割条件になり得る。

分割処理部２５は、このような複数の条件を全て満たす場合には、所定の分割条件を満たすと判定する。言い換えれば、分割処理部２５は、画像領域Ｒ１がコーナー部の画像を含んでいると判定する。

ステップＳ１１８において、所定の分割条件を満たさない場合（ステップＳ１１８において“Ｎ”）には、このフローは終了する。また、所定の分割条件を満たす場合（ステップＳ１１８において“Ｙ”）には、分割処理部２５は、ステップＳ１１７において推定されたコーナー位置ＣＰのｘ座標を分割位置ＰＯＳＣとして設定し、この分割位置ＰＯＳＣで、画像領域Ｒ１を２つの画像領域Ｒ２，Ｒ３に分割する（ステップＳ１１９）。

以上で、この分割処理Ａ１は終了する。分割処理部２５は、複数の画像領域Ｒのうち、処理対象となる画像領域Ｒ１を順次選択し、選択された画像領域Ｒ１に対してこのような分割処理Ａ１を行う。

画像処理装置１では、図４に示したように、画像領域Ｒ１が、車両のコーナー部の画像を含む場合には、所定の分割条件を満たすので（ステップＳ１１８において“Ｙ”）、分割処理部２５は、その画像領域Ｒ１を、車両の側面の画像を含む画像領域Ｒ２と、車両の背面の画像を含む画像領域Ｒ３とに分割する。これにより、画像処理装置１では、車両の側面とその車両の背面に、別々の画像領域Ｒ２，Ｒ３をそれぞれ設定することができるので、その車両を側面と背面とに分けて認識することができる。

（結合処理Ｂ１）
次に、図５のステップＳ１０６に示した領域結合処理Ｂに含まれる、結合処理Ｂ１について詳細に説明する。

結合処理部２６は、この結合処理Ｂ１において、ある画像領域Ｒ（画像領域Ｒ４）に含まれる画像に対応する３次元の実空間での部分と、他のある画像領域Ｒ（画像領域Ｒ５）に含まれる画像に対応する３次元の実空間での部分とが互いに近い場合に、その２つの画像領域Ｒ４，Ｒ５を結合することにより１つの画像領域Ｒ（画像領域Ｒ６）を設定する。また、結合処理部２６は、例えば、２つの画像領域Ｒ４，Ｒ５が仮結合された領域が車両のコーナー部の画像を含むかどうかを判定する。そして、結合処理部２６は、その領域がそのコーナー部の画像を含む場合に、これらの２つの画像領域Ｒ４，Ｒ５の結合を回避する。

図１１は、結合処理Ｂ１の一例を表すものである。

まず、結合処理部２６は、複数の画像領域Ｒのうち、処理対象となる２つの画像領域Ｒ（画像領域Ｒ４，Ｒ５）を選択する（ステップＳ１２１）。具体的には、結合処理部２６は、複数の画像領域Ｒのうち、画像領域Ｒに含まれる画像に対応する３次元の実空間での距離が互いに所定の距離よりも近い２つの画像領域Ｒ４，Ｒ５を選択する。

次に、結合処理部２６は、画像領域Ｒ４，Ｒ５に対して仮結合を行い、仮結合された領域における複数の代表距離値Ｚpeakに基づいて、最小二乗法により近似直線Ｌを算出する（ステップＳ１２２）。

図１２は、ステップＳ１２２における処理の一例を表すものである。この図１２では、ｘ－ｚ座標面において、画像領域Ｒ４，Ｒ５が属する複数の画素列に対応する複数の代表距離値Ｚpeakを示す座標点がプロットされている。結合処理部２６は、これらの複数の代表距離値Ｚpeakに基づいて、最小二乗法により近似直線Ｌ１００を算出する。

次に、結合処理部２６は、画像領域Ｒ４，Ｒ５のそれぞれにおいて、複数の代表距離値Ｚpeakに基づいて、最小二乗法により近似直線Ｌを算出し、複数の代表距離値Ｚpeakの、その近似直線Ｌからの分散値Ｖを算出する（ステップＳ１２３）。

図１３は、ステップＳ１２３における処理の一例を表すものである。結合処理部２６は、画像領域Ｒ４における複数の代表距離値Ｚpeakに基づいて、最小二乗法により近似直線Ｌ１０１を算出し、これらの複数の代表距離値Ｚpeakの、近似直線Ｌ１０１からの分散値Ｖ１０１を算出する。同様に、結合処理部２６は、画像領域Ｒ５における複数の代表距離値Ｚpeakに基づいて、最小二乗法により近似直線Ｌ１０２を算出し、これらの複数の代表距離値Ｚpeakの、近似直線Ｌ１０２からの分散値Ｖ１０２を算出する。

次に、結合処理部２６は、画像領域Ｒ４，Ｒ５のそれぞれにおいて、ステップＳ１２２において算出した近似直線Ｌの傾きおよび切片を用いて直線Ｍを算出し、複数の代表距離値Ｚpeakの、その直線からの分散値Ｖを算出する（ステップＳ１２４）。

図１４は、ステップＳ１２４における処理の一例を表すものである。結合処理部２６は、画像領域Ｒ４において、ステップＳ１２２において算出した近似直線Ｌの傾きおよび切片を用いて直線Ｍ１１１を算出し、複数の代表距離値Ｚpeakの、この直線Ｍ１１１からの分散値Ｖ１１１を算出する。この分散値Ｖ１１１は、画像領域Ｒ４における複数の代表距離値Ｚpeakの、近似直線Ｌ１００からの分散値Ｖである。同様に、結合処理部２６は、画像領域Ｒ５において、ステップＳ１２２において算出した近似直線Ｌの傾きおよび切片を用いて直線Ｍ１１２を算出し、複数の代表距離値Ｚpeakの、この直線Ｍ１１２からの分散値Ｖ１１２を算出する。この分散値Ｖ１１２は、画像領域Ｒ５における複数の代表距離値Ｚpeakの、近似直線Ｌ１００からの分散値Ｖである。

次に、結合処理部２６は、仮結合された領域において、複数の代表距離値Ｚpeakの、ステップＳ１２２において算出した近似直線Ｌからの分散値Ｖを算出する（ステップＳ１２５）。

図１５は、ステップＳ１２５における処理の一例を表すものである。結合処理部２６は、仮結合された領域において、複数の代表距離値Ｚpeakの、ステップＳ１２２において算出した近似直線Ｌ１００からの分散値Ｖ１００を算出する。

次に、結合処理部２６は、仮結合を行うことによる分散値Ｖの変化率を算出する（ステップＳ１２６）。分散値Ｖの変化率は、例えば、以下のような３つの変化率を含むことができる。

第１の変化率は、仮結合されることによる、全体領域における分散値Ｖの変化率である。具体的には、この第１の変化率は、例えば、画像領域Ｒ４における分散値Ｖ１０１および画像領域Ｒ５における分散値Ｖ１０２（図１３）の和から、仮結合された領域における分散値Ｖ１００（図１５）への変化率である。

第２の変化率は、仮結合されることによる、画像領域Ｒ４における分散値Ｖの変化率である。具体的には、第２の変化率は、例えば、画像領域Ｒ４における、近似直線Ｌ１０１からの分散値Ｖ１０１（図１３）から、画像領域Ｒ４における、直線Ｍ１１１からの分散値Ｖ１１１（図１４）への変化率である。

第３の変化率は、仮結合されることによる、画像領域Ｒ５における分散値Ｖの変化率である。具体的には、第３の変化率は、例えば、画像領域Ｒ５における、近似直線Ｌ１０２からの分散値Ｖ１０１（図１３）から、画像領域Ｒ５における、直線Ｍ１１２からの分散値Ｖ１１２（図１４）への変化率である。

次に、結合処理部２６は、画像領域Ｒ４，Ｒ５を結合する際の、所定の結合条件を満たすかどうかを判定する（ステップＳ１２７）。所定の結合条件は、例えば、以下の３つの条件を含むことができ、結合処理部２６は、例えば、これらの３つの条件を満たした場合に、所定の結合条件を満たすと判定する。第１の条件は、第１の変化率が所定の第１のしきい値より小さいことである。第２の条件は、第２の変化率が所定の第２のしきい値より小さいことである。第３の条件は、第３の変化率が所定の第３のしきい値よりも小さいことである。結合処理部２６は、このような複数の条件を全て満たすかどうかを判定することにより、所定の結合条件を満たすかどうかを判定する。

ステップＳ１２７において、所定の結合条件を満たさない場合（ステップＳ１２７において“Ｎ”）には、このフローは終了する。また、所定の結合条件を満たす場合（ステップＳ１２７において“Ｙ”）には、結合処理部２６は、画像領域Ｒ４および画像領域Ｒ５を結合することにより画像領域Ｒ６を設定する（ステップＳ１２８）。

以上で、この結合処理Ｂ１は終了する。結合処理部２６は、処理対象となる２つの画像領域Ｒ４，Ｒ５を順次選択し、選択された２つの画像領域Ｒ４，Ｒ５に対してこのような結合処理Ｂ１を行う。

画像処理装置１では、例えば、図７に示した分割処理Ａ１で説明したように、画像領域Ｒ１が、車両のコーナー部の画像を含む場合には、その画像領域Ｒ１は、車両の側面の画像を含む画像領域Ｒ２と、車両の背面の画像を含む画像領域Ｒ３とに分割される。この場合には、結合処理Ｂ１において、これらの画像領域Ｒ２および画像領域Ｒ３を結合すると分散値Ｖが大きくなり、所定の結合条件を満たさないので（ステップＳ１２７において“Ｎ”）、結合処理部２６は、これらの画像領域Ｒ２および画像領域Ｒ３を結合しない。この所定の結合条件は、仮結合された領域が車両のコーナー部の画像を含まない条件である。すなわち、この画像領域Ｒ２，Ｒ３の例では、この所定の結合条件を満たさないので、仮結合された領域が車両のコーナー部の画像を含むと判定する。よって、結合処理部２６は、画像領域Ｒ２および画像領域Ｒ３を結合しない。これにより、画像処理装置１では、分割処理Ａ１で分割することにより設定された画像領域Ｒ２，Ｒ３が、この結合処理Ｂ１において結合されることを防ぐことができる。

（結合処理Ｂ２）
次に、図５のステップＳ１０６に示した領域結合処理Ｂに含まれる、結合処理Ｂ２について詳細に説明する。

結合処理部２６は、この結合処理Ｂ２において、互いに離間する２つの画像領域Ｒ（画像領域Ｒ７，Ｒ８）の両方が、ある１つの車両の側面における互いに異なる部分の画像を含むかどうかを判定する。そして、２つの画像領域Ｒ７，Ｒ８の両方が、その車両の側面における互いに異なる部分の画像を含む場合には、結合処理部２６は、２つの画像領域Ｒ７，Ｒ８を結合することにより画像領域Ｒ９を設定する。

図１６Ａは、画像領域Ｒ７，Ｒ８の一例を表すものである。図１６Ｂは、この結合処理Ｂ２によりこれらの画像領域Ｒ７，Ｒ８が結合されることにより設定された画像領域Ｒ９の一例を表すものである。この例では、ステレオ画像ＰＩＣにおける左画像ＰＬは、自車両である車両１０の前方における車両９Ｃの画像を含んでいる。なお、この例では左画像ＰＬを用いて説明するが、右画像ＰＲおよび距離画像ＰＺについても同様である。

車両９Ｃは、車長が長い車両であり、この例ではバスである。この車両９Ｃは、横から車両１０の前に入り込んできている。この車両９Ｃは、道路の延伸方向からずれた方向を向いているので、左画像ＰＬは、車両９Ｃの側面の画像を含んでいる。画像領域設定部２３は、車両９Ｃの側面に１つの画像領域Ｒを設定するのが望ましい。しかしながら、例えば、バスの側面は、パターンマッチングを行いにくいので、距離画像生成部２１は、精度が高い距離画像ＰＺを生成しにくい。具体的には、距離画像生成部２１は、例えば、バスの側面の中央付近において、座標ｚの値を算出しにくい。これにより、代表距離算出部２２が、距離画像ＰＺにおける、バスの側面の中央付近に対応するある画素列でのヒストグラムＨを生成する際、データの数が不十分になり得る。この場合には、代表距離算出部２２は、代表距離値Ｚpeakを算出できない。よって、バスの側面の中央付近に対応する画素列では、代表距離値Ｚpeakが欠損する。その結果、画像領域設定部２３は、図１６Ａに示したように、１つの車両９Ｃの側面に対して２つの画像領域Ｒ７，Ｒ８を設定し得る。

結合処理部２６は、この結合処理Ｂ２において、２つの画像領域Ｒ７，Ｒ８の両方が、ある１つの車両の側面における互いに異なる部分の画像を含むと判定する。そして、結合処理部２６は、図１６Ｂに示したように、これらの画像領域Ｒ７，Ｒ８を結合することにより、画像領域Ｒ９を設定する。これにより、処理部２０は、車両９Ｃの側面をまとまった１つのものとして認識することができる。

図１７Ａ，１７Ｂは、結合処理Ｂ２の一例を表すものである。この結合処理Ｂ２におけるステップＳ１３２～Ｓ１３７は、図１１に示した結合処理Ｂ１におけるステップＳ１２２～Ｓ１２７と同様である。

まず、結合処理部２６は、複数の画像領域Ｒのうち、処理対象となる２つの画像領域Ｒ（画像領域Ｒ７，Ｒ８）を選択する（ステップＳ１３１）。結合処理部２６は、画像の左端から中央に向かって、２つの画像領域Ｒを順次選択し、画像の右端から中央に向かって、２つの画像領域Ｒを順次選択する。その後に、結合処理部２６は、再度、画像の左端から中央に向かって、２つの画像領域Ｒを順次選択し、画像の右端から中央に向かって、２つの画像領域Ｒを順次選択する。

次に、結合処理部２６は、画像領域Ｒ７，Ｒ８に対して仮結合を行い、仮結合された領域における複数の代表距離値Ｚpeakに基づいて、最小二乗法により近似直線Ｌを算出する（ステップＳ１３２）。

図１８は、ステップＳ１３２における処理の一例を表すものである。この図１８では、ｘ－ｚ座標面において、画像領域Ｒ７，Ｒ８が属する複数の画素列に対応する複数の代表距離値Ｚpeakを示す座標点がプロットされている。結合処理部２６は、これらの複数の座標点に基づいて、最小二乗法により近似直線Ｌ２００を算出する。

次に、結合処理部２６は、画像領域Ｒ７，Ｒ８のそれぞれにおいて、複数の代表距離値Ｚpeakに基づいて、最小二乗法により近似直線Ｌを算出し、複数の代表距離値Ｚpeakの、その近似直線Ｌからの分散値Ｖを算出する（ステップＳ１３３）。

次に、結合処理部２６は、画像領域Ｒ７，Ｒ８のそれぞれにおいて、ステップＳ１３２において算出した近似直線Ｌの傾きおよび切片を用いて直線Ｍを算出し、複数の代表距離値Ｚpeakの、その直線からの分散値Ｖを算出する（ステップＳ１３４）。

次に、結合処理部２６は、仮結合された領域において、複数の代表距離値Ｚpeakの、ステップＳ１３２において算出した近似直線Ｌからの分散値Ｖを算出する（ステップＳ１３５）。

次に、結合処理部２６は、仮結合を行うことによる分散値Ｖの変化率を算出する（ステップＳ１３６）。

次に、結合処理部２６は、画像領域Ｒ４，Ｒ５を結合する際の、所定の結合条件を満たすかどうかを判定する（ステップＳ１３７）。ステップＳ１３７において、所定の結合条件を満たさない場合（ステップＳ１３７において“Ｎ”）には、このフローは終了する。

ステップＳ１３７において、所定の結合条件を満たす場合（ステップＳ１３７において“Ｙ”）には、結合処理部２６は、画像領域Ｒ７における代表距離値Ｚpeakを示す座標点と、画像領域Ｒ８における代表距離値Ｚpeakを示す座標点との間の領域間距離ＤＡを算出する（ステップＳ１３８）。具体的には、結合処理部２６は、図１８に示したように、ｘ－ｚ座標面において、画像領域Ｒ７における代表距離値Ｚpeakを示す座標点のうちの画像領域Ｒ８に最も近い座標点と、画像領域Ｒ８における代表距離値Ｚpeakを示す座標点のうちの画像領域Ｒ７に最も近い座標点との間の、近似直線Ｌ２００に沿った距離を、領域間距離ＤＡとして算出する。

次に、結合処理部２６は、領域間距離ＤＡが所定のしきい値Ｄth以内であるかどうかを確認する（ステップＳ１３９）。領域間距離ＤＡが所定のしきい値Ｄth以内である場合（ステップＳ１３９において“Ｙ”）には、ステップＳ１４６に進む。

ステップＳ１３９において、領域間距離ＤＡが所定のしきい値Ｄth以内ではない場合（ステップＳ１３９において“Ｎ”）には、結合処理部２６は、距離画像ＰＺにおける各画素Ｐでの測定距離値Ｚmeasのうちの、画像領域Ｒ７および画像領域Ｒ８の間の各画素Ｐでの測定距離値Ｚmeasを示す座標点Ｑを、ｘ－ｚ座標面にプロットする（ステップＳ１４０）。

図１９は、ステップＳ１４０における処理の一例を表すものである。この例では、画像領域Ｒ７および画像領域Ｒ８の間の各画素Ｐでの測定距離値Ｚmeasに基づいて、５つの座標点Ｑをプロットしている。なお、この例では、説明の便宜上、５つの座標点Ｑをプロットしたが、実際には、より多くの座標点Ｑがプロットされ得る。これらの座標点Ｑは、距離画像生成部２１が生成した測定距離値Ｚmeasを示すので、この図１９に示したように、近似直線Ｌ２００から少し離れることがあり得る。

次に、結合処理部２６は、ｘ－ｚ座標面において、ステップＳ１４０においてプロットした座標点Ｑを、近似直線Ｌ２００上に移動させる（ステップＳ１４１）。

図２０は、ステップＳ１４１における処理の一例を表すものである。この例では、結合処理部２６は、ステップＳ１４０においてプロットされた座標点Ｑを、近似直線Ｌ２００と直交する方向において、近似直線Ｌ２００に向かって移動させる。その結果、移動後の座標点Ｑは、近似直線Ｌ２００の直線上に配置される。

次に、結合処理部２６は、近似直線Ｌ２００上の複数の座標点Ｑの密度を算出し、これらの複数の座標点Ｑのうちの、密度が低い領域における座標点Ｑを削除する（ステップＳ１４２）。

図２１は、ステップＳ１４２における処理の一例を表すものである。この例では、ステップＳ１４１において近似直線Ｌ２００上に移動した５つの座標点Ｑのうち、中央の座標点Ｑは、密度が低い領域にあるので、結合処理部２６はこの座標点Ｑを削除している。

次に、結合処理部２６は、複数の座標点Ｑのうち、近似直線Ｌ２００上の複数の座標点Ｑを、画像領域Ｒ７に対応するグループＧ７、または画像領域Ｒ８に対応するグループＧ８に区分する（ステップＳ１４３）。

次に、結合処理部２６は、グループＧ７における座標点ＱおよびグループＧ８における座標点Ｑの間の、近似直線Ｌ２００に沿ったグループ間距離ＤＢを算出する（ステップＳ１４４）。具体的には、結合処理部２６は、図２１に示したように、ｘ－ｚ面において、グループＧ７における座標点ＱのうちのグループＧ８に近い座標点Ｑと、グループＧ８における座標点ＱのうちのグループＧ７に近い座標点Ｑの間の、近似直線Ｌ２００に沿った距離を、グループ間距離ＤＢとして算出する。

次に、結合処理部２６は、グループ間距離ＤＢが所定のしきい値Ｄth以内であるかどうかを確認する（ステップＳ１４５）。グループ間距離ＤＢが所定のしきい値Ｄth以内ではない場合（ステップＳ１４５において“Ｎ”）には、このフローは終了する。

そして、結合処理部２６は、画像領域Ｒ７および画像領域Ｒ８を結合することにより画像領域Ｒ９を設定する（ステップＳ１４６）。

以上で、この結合処理Ｂ２は終了する。結合処理部２６は、処理対象となる２つの画像領域Ｒ７，Ｒ８を順次選択し、選択された２つの画像領域Ｒ７，Ｒ８に対してこのような結合処理Ｂ２を行う。

画像処理装置１では、図１６Ａに示したように、互いに離間する２つの画像領域Ｒ７，Ｒ８の両方が、ある１つの車両の側面における互いに異なる部分の画像を含む場合には、これらの画像領域Ｒ７，Ｒ８を結合しても、分散値Ｖをある程度小さい値に抑えることができるので、所定の結合条件を満たす（ステップＳ１３７において“Ｙ”）。この場合において、例えば、画像領域Ｒ７における画像が示す車両の側面の部分と、画像領域Ｒ８における画像が示す車両の側面の部分とが互いに近い場合には、領域間距離ＤＡが所定のしきい値Ｄth以内（ステップＳ１３９において“Ｙ”）になるので、結合処理部２６は、２つの画像領域Ｒ７，Ｒ８を結合することにより画像領域Ｒ９を設定する。一方、画像領域Ｒ７における画像が示す車両の側面の部分と、画像領域Ｒ８における画像が示す車両の側面の部分とがやや離れている場合には、領域間距離ＤＡが所定のしきい値Ｄthよりも長くなり得る（ステップＳ１３９において“Ｎ”）。この場合でも、画像領域Ｒ７および画像領域Ｒ８の間の各画素Ｐでの測定距離値Ｚmeasを用いて、グループ間距離ＤＢを算出し、このグループ間距離ＤＢが所定のしきい値Ｄth以内である場合（ステップＳ１４５において“Ｙ”）に、２つの画像領域Ｒ７，Ｒ８を結合することにより画像領域Ｒ９を設定する。これにより、画像処理装置１では、１つの車両の側面に１つの画像領域Ｒ９を設定することができるので、その車両の側面をまとまった１つのものとして認識することができる。

ここで、近似直線Ｌ１０１は、本開示における「第１の近似直線」の一具体例に対応する。近似直線Ｌ１０２は、本開示における「第２の近似直線」の一具体例に対応する。近似直線Ｌ１００は、本開示における「第３の近似直線」の一具体例に対応する。近似直線Ｌ４１は、本開示における「第４の近似直線」の一具体例に対応する。近似直線Ｌ４２は、本開示における「第５の近似直線」の一具体例に対応する。近似直線Ｌ０は、本開示における「第６の近似直線」の一具体例に対応する。分散値Ｖ１０１は、本開示における「第１のばらつき度合い」の一具体例に対応する。分散値Ｖ１０２は、本開示における「第２のばらつき度合い」の一具体例に対応する。分散値Ｖ１００は、本開示における「第３のばらつき度合い」の一具体例に対応する。分散値Ｖ１１１は、本開示における「第４のばらつき度合い」の一具体例に対応する。分散値Ｖ１１２は、本開示における「第５のばらつき度合い」の一具体例に対応する。分散値Ｖ０は、本開示における「第６のばらつき度合い」の一具体例に対応する。分散値Ｖ４１は、本開示における「第７のばらつき度合い」の一具体例に対応する。分散値Ｖ４２は、本開示における「第８のばらつき度合い」の一具体例に対応する。仮分割位置ＰＯＳ４は、本開示における「仮分割位置」の一具体例に対応する。仮分割位置ＰＯＳ１～ＰＯＳ５は、本開示における「複数の仮分割位置」の一具体例に対応する。分割位置ＰＯＳＣは、本開示における「分割位置」の一具体例に対応する。

以上のように、画像処理装置１では、分割処理部２５が、画像領域Ｒ１が属する複数の画素列に対応する複数の代表距離値Ｚpeakに基づいて、画像領域Ｒ１が他車両のコーナー部の画像を含むかどうかを判定し、この画像領域Ｒ１がコーナー部の画像を含む場合に、そのコーナー部に基づいて分割処理を行うことにより２つの画像領域Ｒ２，Ｒ３を設定するようにした。これにより、画像処理装置１では、他車両の側面とその他車両の背面に、別々の画像領域Ｒ２，Ｒ３をそれぞれ設定することができるので、その他車両を側面と背面とに分けて認識することができる。このように、画像処理装置１では、適切に画像領域Ｒを設定することができる。

特に、画像処理装置１では、分割処理部２５は、図１０に示したように、画像領域Ｒ１において仮分割位置ＰＯＳ（この例では仮分割位置ＰＯＳ４）を設定し、複数の代表距離値Ｚpeakを、この仮分割位置ＰＯＳの左のグループとこの仮分割位置ＰＯＳの右のグループに区分するようにした。そして、分割処理部２５は、この仮分割位置ＰＯＳの左のグループに区分された複数の代表距離値Ｚpeakに基づいて近似直線Ｌ（この例では近似直線Ｌ４１）を生成し、この仮分割位置ＰＯＳの右のグループに区分された複数の代表距離値Ｚpeakに基づいて近似直線Ｌ（この例では近似直線Ｌ４２）を生成し、これらの近似直線Ｌに基づいて分割位置ＰＯＳＣを設定するようにした。これにより、画像処理装置１では、分割位置ＰＯＳＣを精度よく設定することができる。

また、画像処理装置１では、結合処理部２６は、画像領域Ｒ４，Ｒ５が仮結合された領域（仮結合領域）が、他車両のコーナー部の画像を含むかどうかを判定し、この仮結合領域がコーナー部の画像を含む場合に、２つの画像領域Ｒ４，Ｒ５を結合しないようにした。これにより、画像処理装置１では、例えば、画像領域Ｒ４が他車両の側面の画像を含み、画像領域Ｒ５が他車両の背面の画像を含む場合には、これらの２つの画像領域Ｒ４，Ｒ５を結合しないので、その他車両を側面と背面とに分けて認識することができる。このように、画像処理装置１では、適切に画像領域Ｒを設定することができる。

特に、画像処理装置１では、図１３に示したように、結合処理部２６は、画像領域Ｒ４が属する複数の画素列に対応する複数の代表距離値Ｚpeakに基づいて近似直線Ｌ１０１を生成するとともに、これらの複数の代表距離値の近似直線Ｌ１０１からの分散値Ｖ１０１を算出するようにした。同様に、結合処理部２６は、画像領域Ｒ５が属する複数の画素列に対応する複数の代表距離値Ｚpeakに基づいて近似直線Ｌ１０２を生成するとともに、これらの複数の代表距離値の近似直線Ｌ１０２からの分散値Ｖ１０２を算出するようにした。そして、結合処理部２６は、これらの分散値Ｖに基づいて、仮結合領域が、他車両のコーナー部の画像を含むかどうかを判定するようにした。これにより、画像処理装置１では、仮結合により分散値Ｖが大きくなる場合に、他車両のコーナー部の画像を含むと判定することができ、これらの２つの画像領域Ｒ４，Ｒ５を結合しないようにすることができる。

また、画像処理装置１では、結合処理部２６は、画像領域Ｒ７，Ｒ８の両方が他車両の側面の画像を含むかどうかを判定し、画像領域Ｒ７，Ｒ８の両方が他車両の側面の画像を含む場合には、２つの画像領域Ｒ７，Ｒ８を結合するようにした。これにより、画像処理装置１では、例えば、画像領域Ｒ７が他車両の側面の前部の画像を含み、画像領域Ｒ８がその他車両の側面の後部の画像を含む場合には、これらの２つの画像領域Ｒ７，Ｒ８を結合させることができるので、その他車両の側面をまとまった１つのものとして認識することができる。このように、画像処理装置１では、適切に画像領域Ｒを設定することができる。

特に、画像処理装置１では、結合処理部２６は、図２１に示したように、画像領域Ｒ７が属する複数の画素列に対応する代表距離値Ｚpeakと、画像領域Ｒ８が属する複数の画素列に対応する複数の代表距離値Ｚpeakと、画像領域Ｒ７，Ｒ８の間の各画素Ｐでの測定距離値Ｚmeasとに基づいて、画像領域Ｒ７，Ｒ８の両方が他車両の側面の画像を含むかどうかを判定するようにした。これにより、画像処理装置１では、例えばバスの側面の中央付近に対応する画素列において、代表距離値Ｚpeakが欠損している場合でも、測定距離値Ｚmeasを用いることにより、画像領域Ｒ７，Ｒ８の両方が、同じ１つの他車両の側面の画像を含むことを判定しやすくすることができ、これらの２つの画像領域Ｒ７，Ｒ８を結合させやすくすることができる。

このように、画像処理装置１では、適切に画像領域を設定することができる。これにより、車両１０では、この認識結果に基づいて、例えば、自車両である車両１０の走行制御をより精度良く行うことができ、あるいは、認識した物体についてのより正確な情報をコンソールモニタに表示することができる。

［効果］
以上のように本実施の形態では、画像領域Ｒ１が属する複数の画素列に対応する複数の代表距離値に基づいて、画像領域Ｒ１が他車両のコーナー部の画像を含むかどうかを判定し、この画像領域Ｒ１がコーナー部の画像を含む場合に、そのコーナー部に基づいて分割処理を行うことにより２つの画像領域Ｒ２，Ｒ３を設定するようにした。これにより、他車両の側面とその他車両の背面に、別々の画像領域Ｒ２，Ｒ３をそれぞれ設定することができるので、適切に画像領域を設定することができる。

本実施の形態では、画像領域Ｒ４，Ｒ５が仮結合された領域である仮結合領域が、他車両のコーナー部の画像を含むかどうかを判定し、この仮結合領域がコーナー部の画像を含む場合に、２つの画像領域Ｒ４，Ｒ５を結合しないようにした。これにより、例えば、画像領域Ｒ４が他車両の側面の画像を含み、画像領域Ｒ５が他車両の背面の画像を含む場合には、これらの２つの画像領域Ｒ４，Ｒ５を結合しないので、適切に画像領域を設定することができる。

本実施の形態では、画像領域Ｒ７，Ｒ８の両方が他車両の側面の画像を含むかどうかを判定し、画像領域Ｒ７，Ｒ８の両方が他車両の側面の画像を含む場合には、２つの画像領域Ｒ７，Ｒ８を結合するようにした。これにより、例えば、画像領域Ｒ７が他車両の側面の前部の画像を含み、画像領域Ｒ８がその他車両の側面の後部の画像を含む場合には、これらの２つの画像領域Ｒ７，Ｒ８を結合させることができるので、適切に画像領域を設定することができる。

以上、実施の形態を挙げて本技術を説明したが、本技術はこれらの実施の形態等には限定されず、種々の変形が可能である。

例えば、上記実施の形態では、ステレオカメラ１１が車両１０の前方を撮像するようにしたが、これに限定されるものではなく、例えば、車両１０の側方や後方を撮像してもよい。

なお、本明細書中に記載された効果はあくまで例示であって限定されるものではなく、また、他の効果があってもよい。

１…画像処理装置、１０…車両、１１…ステレオカメラ、１１Ｌ…左カメラ、１１Ｒ…右カメラ、２０…処理部、２１…距離画像生成部、２２…代表距離算出部、２３…画像領域設定部、２４…グルーピング処理部、２５…分割処理部、２６…結合処理部、Ａ…領域分割処理、Ａ１…分割処理、Ｂ…領域結合処理、Ｂ１，Ｂ２…結合処理、ＣＰ…コーナー位置、ＤＡ…領域間距離、ＤＢ…グループ間距離、Ｈ…ヒストグラム、Ｌ…近似直線、Ｍ…直線、Ｐ…画素、ＰＩＣ…ステレオ画像、ＰＯＳ…仮分割位置、ＰＯＳＣ…分割位置、ＰＬ…左画像、ＰＲ…右画像、ＰＺ…距離画像、Ｒ，Ｒ１～Ｒ９…画像領域、Ｖ…分散値、Ｚmeas…測定距離値、Ｚpeak…代表距離値。

Claims (10)

1. ステレオ画像に基づいて生成された、各画素での距離値を含む距離画像に基づいて、前記距離画像における複数の画素列に対応づけられ、それぞれが、対応する画素列における前記距離値の代表値である複数の代表距離値を生成する代表距離算出部と、
   前記ステレオ画像に含まれる、他車両を含む１または複数の物体の画像に基づいて設定された第１の画像領域および第２の画像領域を結合する結合処理を行うことが可能であり、前記第１の画像領域および前記第２の画像領域が仮結合された領域である仮結合領域が、前記他車両のコーナー部の画像を含むかどうかを判定する判定処理を行い、前記仮結合領域が前記コーナー部の画像を含む場合に、前記結合処理を回避する結合処理部と
   を備え、
   前記結合処理部は、
   前記第１の画像領域において、前記複数の代表距離値のうちの、前記第１の画像領域が属する複数の画素列に対応する第１の複数の代表距離値に基づいて第１の近似直線を生成するとともに、前記第１の複数の代表距離値の前記第１の近似直線からの第１のばらつき度合いを算出し、
   前記第２の画像領域において、前記複数の代表距離値のうちの、前記第２の画像領域が属する複数の画素列に対応する第２の複数の代表距離値に基づいて第２の近似直線を生成するとともに、前記第２の複数の代表距離値の前記第２の近似直線からの第２のばらつき度合いを算出し、
   前記第１のばらつき度合いおよび前記第２のばらつき度合いに基づいて前記判定処理を行う
   画像処理装置。
2. 前記第１の画像領域における画像は、前記他車両の側面を示し、
   前記第２の画像領域における画像は、前記他車両の背面を示す
   請求項１に記載の画像処理装置。
3. 前記結合処理部は、前記判定処理において、
   前記仮結合領域において、前記第１の複数の代表距離値および前記第２の複数の代表距離値に基づいて第３の近似直線を生成するとともに、前記第１の複数の代表距離値および前記第２の複数の代表距離値の前記第３の近似直線からの第３のばらつき度合いを算出し、
   前記第１のばらつき度合い、前記第２のばらつき度合い、および前記第３のばらつき度合いに基づいて、前記仮結合領域が前記コーナー部の画像を含むと判定する
   請求項１または請求項２に記載の画像処理装置。
4. 前記結合処理部は、前記判定処理において、
   前記仮結合領域において、前記第１の複数の代表距離値および前記第２の複数の代表距離値に基づいて第３の近似直線を生成し、
   前記第１の画像領域において、前記第１の複数の代表距離値の前記第３の近似直線からの第４のばらつき度合いを算出し、
   前記第２の画像領域において、前記第２の複数の代表距離値の前記第３の近似直線からの第５のばらつき度合いを算出し、
   前記第１のばらつき度合い、前記第２のばらつき度合い、前記第４のばらつき度合い、および前記第５のばらつき度合いに基づいて、前記仮結合領域が前記コーナー部の画像を含むと判定する
   請求項１または請求項２に記載の画像処理装置。
5. 前記１または複数の物体の画像に基づいて第３の画像領域を設定する画像領域設定部と、
   前記第３の画像領域を前記第１の画像領域および前記第２の画像領域に分割する分割処理を行うことが可能であり、前記第３の画像領域が属する複数の画素列に対応する第３の複数の代表距離値に基づいて、前記第３の画像領域が前記他車両の前記コーナー部の画像を含むかどうかを判定する初期判定処理を行い、前記第３の画像領域が前記コーナー部の画像を含む場合に、前記コーナー部に基づいて前記分割処理を行う分割処理部をさらに備えた
   請求項１から請求項４のいずれか一項に記載の画像処理装置。
6. 前記分割処理部は、前記初期判定処理において、
   前記第３の画像領域において仮分割位置を設定し、
   前記第３の複数の代表距離値を、前記仮分割位置に基づいて第１のグループおよび第２のグループに区分し、
   前記第３の複数の代表距離値のうちの、前記第１のグループに区分された前記第３の複数の代表距離値に基づいて第４の近似直線を生成し、
   前記第３の複数の代表距離値のうちの、前記第２のグループに区分された前記第３の複数の代表距離値に基づいて第５の近似直線を生成し、
   前記第４の近似直線および前記第５の近似直線に基づいて、前記第３の画像領域における分割位置を設定する
   請求項５に記載の画像処理装置。
7. 前記分割処理部は、所定の条件を満たした場合に、前記第３の画像領域が前記コーナー部の画像を含むと判定し、
   前記所定の条件は、前記第３の画像領域における前記分割位置についての第１の条件を満たすことを含む
   請求項６に記載の画像処理装置。
8. 前記分割処理部は、所定の条件を満たした場合に、前記第３の画像領域が前記コーナー部の画像を含むと判定し、
   前記所定の条件は、前記第４の近似直線および前記第５の近似直線がなす角度についての第２の条件を満たすことを含む
   請求項６または請求項７に記載の画像処理装置。
9. 前記分割処理部は、前記初期判定処理において、
   前記第３の複数の代表距離値に基づいて第６の近似直線を生成するとともに、前記第３の複数の代表距離値の前記第６の近似直線からの第６のばらつき度合いを算出し、
   前記第３の複数の代表距離値のうちの、前記第１のグループに区分された前記第３の複数の代表距離値の前記第４の近似直線からの第７のばらつき度合いを算出し、
   前記第３の複数の代表距離値のうちの、前記第２のグループに区分された前記第３の複数の代表距離値の前記第５の近似直線からの第８のばらつき度合いを算出し、
   所定の条件を満たした場合に、前記第３の画像領域が前記コーナー部の画像を含むと判定し、
   前記所定の条件は、前記第６のばらつき度合い、前記第７のばらつき度合い、および前記第８のばらつき度合いについての第３の条件を満たすことを含む
   請求項６から請求項８のいずれか一項に記載の画像処理装置。
10. 前記分割処理部は、前記初期判定処理において、
    前記第３の画像領域において複数の仮分割位置を設定し、
    前記複数の仮分割位置のそれぞれに基づいて、前記第３の複数の代表距離値を、前記第１のグループおよび前記第２のグループに区分し、
    前記複数の仮分割位置のそれぞれについて、前記第３の複数の代表距離値のうちの、前記第１のグループに区分された前記第３の複数の代表距離値に基づいて前記第４の近似直線を生成し、前記第１のグループに区分された前記第３の複数の代表距離値の前記第４の近似直線からの第７のばらつき度合いを算出し、
    前記複数の仮分割位置のそれぞれについて、前記第３の複数の代表距離値のうちの、前記第２のグループに区分された前記第３の複数の代表距離値に基づいて前記第５の近似直線を生成し、前記第２のグループに区分された前記第３の複数の代表距離値の前記第５の近似直線からの第８のばらつき度合いを算出し、
    前記複数の仮分割位置のそれぞれにおける、前記第７のばらつき度合いおよび前記第８のばらつき度合いに基づいて、前記複数の仮分割位置の１つを前記仮分割位置として選択する
    請求項６に記載の画像処理装置。

Images