JP4435525B2 - ステレオ画像処理装置 - Google Patents

Description

本発明は、ステレオ画像による距離計測において、画像内の光源近傍でブルーミング等が発生している領域でも距離を正しく求めるようにしたステレオ画像処理装置に関する。

一般に、画像による三次元計測技術として、２台のカメラ（ステレオカメラ）で対象物を異なる位置から撮像した１対の画像の相関を求め、同一物体に対する視差からステレオカメラの取り付け位置や焦点距離等のカメラパラメータを用いて三角測量の原理により距離を求める、いわゆるステレオ法による画像処理が知られている。

このステレオ法による画像処理では、ステレオカメラからの２つの画像信号を順次シフトしながら重ね合わせて２つの画像信号が一致した位置を求めることで、２つの画像間の視差を検出し、これにより、対象物までの距離を算出するようになっている。一般的には、２つのカメラからの画像信号の輝度を比較することで、２つの画像信号が一致した位置を判断する。

従って、ステレオ法による距離計測では、ステレオカメラの明るさバランスがとれている必要がある。これに対して、本件出願人は、先に出願した特開２００１−６９４０２号公報（特許文献１）において、ステレオカメラの明るさバランスを自動的に調整する技術を開発している。これにより、２台のステレオカメラの輝度特性を略々一致させて、距離計測の精度を向上させている。
特開２００１−６９４０２号公報 特開平９−２１４８２７号公報

上述したように、特許文献１の技術を採用することにより、２台のステレオカメラの輝度特性を略々一致させることができる。しかしながら、原理的に、ステレオカメラ同士の輝度特性を完全には一致させることができないことから、撮像画像中に光源が含まれる場合等の特殊な画像の撮像時には、距離計測の精度が低下することがあるという問題があった。

図６乃至図８はこの問題を説明するためのものである。図６は左右のステレオカメラによって撮像した画像及びその輝度分布を示す説明図であり、図６（ａ）は右カメラが撮像した右画像を示し、図６（ｂ）は左カメラが撮像した左画像を示し、図６（ｃ）は図６（ａ），（ｂ）中の一点鎖線上の所定区間における輝度分布を示している。

図６に示す撮像画像は、夜間に並列して停車中の自動車及びバイクを撮影して得たものである。画面右側には一対のヘッドライト光を照射している自動車が撮像され、画面左側にはヘッドライト光を照射しているバイクが撮像されている。図６に示すように、ヘッドライトの光源周辺では、ブルーミングが生じている。いま、このブルーミング領域を含む所定の水平区間における輝度分布を調べる。

図６（ｃ）は横軸に画面上の水平位置をとり縦軸に輝度をとって、図６（ａ），（ｂ）中の一点鎖線上のＡ区間における撮像画像の輝度分布を示している。なお、Ａ区間は、左右のカメラの画面上で同一水平位置に設定されている。

左右の画像中において、Ａ区間には、バイクのヘッドライトによるブルーミング領域の外側の左側の位置からバイクのヘッドライトの中心近傍の位置までが撮像されている。このＡ区間については、右画像については図６（ｃ）の太線に示す輝度分布が得られ、左画像については図６（ｃ）の細線に示す輝度分布が得られる。左右画像のいずれについても、水平位置の左から右に向かうにつれて輝度が高くなり、ヘッドライトの中心近傍位置において、カメラ特性に基づいて輝度が飽和している。図６（ａ），（ｂ）に示すように、右画像と左画像とでは、同一画面位置の画像はずれており、図６（ｃ）に示すように、輝度分布は相互に水平方向にシフトしたものとなる。

図６（ｃ）は左右のカメラの輝度特性が完全に一致した場合の理想的な輝度分布を示している。図７はこの場合における視差の検出方法を示している。

図７においては、Ａ区間内の所定範囲（マッチングウィンドウ）の右画像を基準として、Ａ区間内の左画像の輝度相関を求める。そして、輝度相関度が極大となる範囲を検出する。図７では、右画像中のマッチングウィンドウの画像に対して輝度相関度が極大となった範囲を、左画像の輝度分布上に太線にて示している。そして、右画像のマッチングウィンドウとこれに対応する左画像の範囲との画面水平距離（左右画像のずれ）が視差に相当する。つまり、図７の例では輝度分布同士の左右方向のずれ量が視差を示す。

なお、周知のように、ステレオ法では、２台のカメラの基線長（カメラ光軸間の距離）をｒ、視差をｘ、焦点距離をｆとした場合、レンズから目標物体までの距離Ｄは、下記（１）式によって算出することができる。

Ｄ＝ｒｆ／ｘ …（１）
しかしながら、実際のカメラシステムにおいては、ＣＣＤ撮像素子、アンプ及びＡＤ変換器等の輝度特性を左右のカメラシステム相互間で完全に整合させることは不可能である。例えば、左画像を基準とした場合に右画像が暗めに或いは明るめに撮像されることもある。

図８はこのような場合のＡ区間の輝度分布を示している。図８の破線及び細線は夫々左右の輝度特性が一致した場合の右画像及び左画像の輝度分布を示している。実線太線は、左画像を基準として暗めに撮像された右画像の輝度分布を示している。

上述したように、真の視差は、図８の破線と細線との水平方向のずれ量で表されるのに対して、実際の撮像画像では、太線と細線との水平方向のずれ量が視差として検出される。真の視差と検出視差との差が視差誤差となってしまう。この場合でも、輝度の変化が急峻であった場合には、視差誤差は十分に小さく、距離測定の誤差は比較的小さい。

輝度特性のずれＥｂと視差誤差Ｅｄとの関係は、図８から明らかなように、下記（２）式にて表される。

Ｅ_d＝（Ｅ_b）／（ｄｂ／ｄｘ） …（２）
なお、ｄｂ／ｄｘはマッチング領域の輝度傾斜を示す。

この（２）式から明らかなように、輝度傾斜が緩やかであるほど、輝度特性ズレが視差に与える影響は大きくなる。即ち、ブルーミング領域の周辺部のように、光源近傍のぼやけた領域では、一様で且つ比較的緩やかに輝度が変化し、輝度特性ずれによる距離測定の誤差が増大してしまうという問題があった。

なお、文献２（特開平９−２１４８２７号公報）においては、ブルーミングの発生そのものを抑止する技術が開示されている。しかしながら、この手法では、通常のカメラに加えて光の透過率を調整する特別なハードウェアを具備する必要があり、コスト高を招来するという欠点を有する。

本発明はかかる問題点に鑑みてなされたものであって、ブルーミング等の輝度傾斜が比較的緩やかに変化する領域についても、高精度の距離測定を可能にすることができるステレオ画像処理装置を提供することを目的とする。

本発明に係るステレオ画像処理装置は、ステレオカメラで撮像した基準画像と参照画像からなる一対の画像を用いて視野内の物体までの距離を計測するステレオ画像処理装置において、前記基準画像中のエピポーラ線方向の正の輝度傾斜部分と負の輝度傾斜部分とを検出するものであって、前記基準画像中の高輝度部分を挟むように前記正の輝度傾斜部分と負の輝度傾斜部分とを検出する輝度傾斜検出手段と、前記正の輝度傾斜部分及び負の輝度傾斜部分をそれぞれ含む前記基準画像中の第１及び第２の注目領域にそれぞれ対応する前記参照画像中の第３及び第４の領域を前記エピポーラ線方向に移動させながら前記第１の注目領域と前記第３の領域との第１のマッチング演算及び前記第２の注目領域と前記第４の領域との第２のマッチング演算を行って、前記第１及び第２のマッチング演算の演算結果を平均化して視差を求める視差探索手段とを具備したものである。

本発明によれば、ブルーミング等の輝度傾斜が比較的緩やかに変化する領域についても、高精度の距離測定を可能にすることができるという効果を有する。

以下、図面を参照して本発明の実施の形態について詳細に説明する。図１は本発明の第１の実施の形態に係るステレオ画像処理装置を示すブロック図である。

右カメラ１及び左カメラ２によって構成されるステレオカメラは、各カメラ１，２が図示しないカメラステイに所定の基線長を有して配設される。カメラ１，２は、例えばモノクロＣＣＤカメラである。例えば、右カメラ１は、ステレオ処理の際の基準画像を撮像し、他方の左カメラ２はステレオ処理の際の参照画像を撮像するようになっている。

なお、左右のカメラ１，２は、所定の基線長を有して配設すればよく、両カメラ１，２を基線が水平方向に向くように水平方向に配置してもよく、また、基線が鉛直方向に向くように鉛直方向に配置してもよく、更に、基線が斜めに傾斜した、斜め方向に２台のカメラ１，２を設置してもよい。なお、以後、説明の簡略化のために、カメラ１，２を基線が水平方向に向くように水平方向に配置したものとして説明する。

カメラ１，２は対象物を撮像して撮像画像の画像信号を出力する。カメラ１，２からの画像信号は夫々アンプ３，４に与えられる。アンプ３，４は入力された画像信号を比例増幅して夫々Ａ／Ｄ変換器５，６に出力する。

Ａ／Ｄ変換器５，６は、入力されたアナログ画像信号を所定の輝度階調のデジタル画像信号に変換して、夫々補正回路７，８に出力する。補正回路７，８は、入力されたデジタル画像信号に対して所定の画像補正処理を施して、ステレオマッチング回路９に出力すると共に、画像メモリ１０にも出力する。なお、補正回路７，８による補正処理としては、左右のカメラ１，２の出力特性の相違等に起因する相互の画像信号のバラツキ補正、画素毎の輝度の歪みを補正するシェーディング補正等がある。

ステレオマッチング回路９は、マイクロコンピュータ１４に制御されて、右画像と左画像との所定の小領域（例えば４×４画素の領域）毎にシティブロック距離を計算して互いの相関を求めることで対応する領域を特定し、対象物までの距離に応じて生じる画素のズレ（＝視差）を求めることができるようなっている。そして、このズレ量から得られる対象物までの遠近情報を数値化した３次元画像情報（距離画像）を生成して画像メモリ１０に出力することができるようになっている。なお、ステレオカメラの撮像画像から距離画像を生成する処理については、本出願人による特開平５−１１４０９９号公報に詳述されている。

画像メモリ１０は距離画像データ蓄積用の距離画像データメモリ１１、右画像データ蓄積用の右画像データメモリ１２及び左画像データ蓄積用の左画像データメモリ１３を有している。距離画像データメモリ１１は、ステレオマッチング回路９からの距離画像データを保持し、右画像データメモリ１２は補正回路７からの右画像データを保持し、左画像データメモリ１３は補正回路８からの左画像データを保持する。これらのデータメモリ１１〜１３に保持されたデータはマイクロコンピュータ１４に供給されるようになっている。マイクロコンピュータ１４は、画像認識ソフトウェア１５を利用して、入力された左右画像及び距離画像に対する各種画像処理によって、撮像画像の画像認識を実行する。例えば、マイクロコンピュータ１４は、これらの画像認識によって、例えば踏切への自動車の侵入等を検知することができるようになっている。

本実施の形態においては、マイクロコンピュータ１４は、左右画像内の同一垂直位置（エピポーラ線上）における画像の輝度傾斜が相互に逆向きとなる領域を検出し、これらの各領域のステレオマッチング結果を利用することで、ブルーミングを含む画像においても距離測定の精度を向上させるようにしている。

なお、同一垂直位置における輝度傾斜を検出するのは、上述したように、カメラ１，２を基線が水平方向となるように配置したためであり、例えばカメラ１，２を基線が垂直方向に向くように配置されている場合には、同一水平位置における輝度傾斜を検出すればよい。

図２は輝度傾斜が相互に逆向き（正負）の領域をステレオマッチング処理に用いる理由を説明するための説明図である。図２は図８に対応したものであり、横軸に画面上の水平位置をとり縦軸に輝度をとって、エピポーラ線上の撮像画像の輝度分布の一例を示している。図２において、細線は左画像の輝度特性を示し、破線は左右の輝度特性が一致した場合の理想的な右画像の輝度特性を示し、太線は右画像が左画像よりも暗めに撮像された場合の輝度特性を示している。また、図２では、右画像中のマッチングウィンドウの画像に対して輝度相関度が極大となった範囲を、左画像の輝度分布上に太線にて示している。

図２は、画面左側において、画像が画面右側に向かうにつれて明るくなり、画面右側において、画像が画面右側に向かうにつれて暗くなる画像の輝度分布を示している。マッチングウィンドウにおける破線と細線とのずれ量が真の視差である。これに対し、実際には太線と細線とのずれ量が誤った視差として検出される。即ち、画面左側では、上述したように、誤った視差は真の視差よりも小さな値となる。

一方、右画像が左画像よりも画面上において一様に暗い輝度特性で撮像されたものである場合には、画面右側では、図２に示すように、太線と破線とのずれ量である誤った視差は、真の視差よりも大きな値となる。従って、図２の画面左側の領域における視差と画面右側の領域における視差とを、例えば平均化することによって、左右の画像の輝度特性の一致不一致に拘わらず、真の視差を検出することが可能である。

この理由から、本実施の形態においては、エピポーラ線上において、輝度傾斜が逆向きの領域を検出し、これらの領域のステレオマッチング結果によって、距離の測定を行うようになっている。なお、この場合において、輝度傾斜の向きは逆向きで、傾斜は略同様の２つの領域をステレオマッチング演算に用いることによって、十分に高い距離測定精度を得ることができる。しかし、必ずしも輝度傾斜の角度が同様である必要はなく、多少角度に相違がある場合でも、実用上十分な距離測定精度を得ることが可能である。

また、一方の輝度傾斜の領域についての視差及び他方の輝度傾斜の領域についての視差を夫々求め、これらの視差を例えば平均化することで距離測定を実施してもよく、また、両方の輝度傾斜の領域についての相関を求めて平均化することで、誤差を相殺した視差の検出を行うようにしてもよい。

また、本実施の形態においては、左右の輝度特性の不一致による測定精度の悪化が顕著に現れるブルーミング領域を検出し、このブルーミング領域において、輝度傾斜が逆向きの２つの領域を用いたステレオマッチングを行うようになっている。

次に、このように構成された実施の形態の作用について図３のフローチャート及び図４の説明図を参照して説明する。図３はマイクロコンピュータ４による侵入物検知及び距離測定処理の動作フローを示している。また、図４は本実施の形態におけるステレオマッチング処理を説明するためのものである。

左右のカメラ１，２から入力されたアナログ画像信号は、先ず、アンプ３，４において夫々比例増幅される。増幅された画像信号は、Ａ／Ｄ変換器５，６によって、夫々２５６階調のデジタル信号に変換される。デジタル化された左右の画像は、補正回路７，８を経て画像メモリ１０の右画像データメモリ１２又は左画像データメモリ１３に蓄積される。また、補正回路７，８からの左右画像は、ステレオマッチング回路９にも与えられ、ステレオマッチング回路９は、画像内の視差を求めて、距離画像として画像メモリ１０の距離画像データメモリ１１に蓄積させる。

マイクロコンピュータ１４は、画像認識ソフトウェア１５が組込まれて、図３の動作フローを撮像画像のフレーム毎に繰り返すことで、画像メモリ１０に蓄積された画像データを用いた侵入物検知及び距離測定を実行する。即ち、マイクロコンピュータ１４は、先ず、図３のステップＳ１において、ステレオ画像等を用いた侵入物検知処理を実行する。これにより、撮像範囲内への侵入物の有無と、３次元的位置情報が検出される。なお、マイクロコンピュータ１４による具体的な処理は、第４動画像処理実用化ワークショップ予稿集 セッション２−２１「踏切障害物検知用のステレオ画像装置の開発」に記載された手法と同様の手法を採用して実施することができる。なお、ステップＳ１における侵入物検知処理は、ステレオ処理に限らない。

例えば、ステップＳ１では、カメラ１，２によって踏切を監視し、踏切に侵入しようとする物体の侵入物検知を実施することができる。いま例えば、対象侵入物として、ヘッドライト点灯中の自動車等が侵入するものとする。この場合には、自動車が夜間ヘッドライトを点灯させることによって、侵入した自動車の撮像画像はブルーミング領域を有する。そうすると、上述したように、このブルーミング領域においては、輝度傾斜は一様で且つ緩やかであり、従来の手法では左右の撮像系の輝度特性の不一致によって視差検出に大きな誤差が生じる。

そこで、本実施の形態においては、次のステップＳ２において、このようなブルーミング領域が画像中に存在するか否かを判定する。即ち、マイクロコンピュータ１４は、輝度傾斜検出手段であるステップＳ２において、右画像中で侵入物の近傍において水平方向の輝度傾斜を有する点を探す。以下、この点を点ａと表記する。

例えば、マイクロコンピュータ１４は、点ａの検出条件として、右隣又は左隣の画素との輝度値の差の絶対値が所定の閾値以上の画素であるか否かを用いる。例えば、２５６階調のデジタル画像信号の場合には、輝度値が２０以上相違するか否かを点ａの検出条件とする。また、例えば、マイクロコンピュータ１４は、所定画素数毎の輝度値の平均値の差が所定値以上大きいことによって、点ａを検出するようにしてもよい。なお、マイクロコンピュータ１４は、点ではなく、輝度変化の大きい部分を検出するようにしてもよい。

マイクロコンピュータ１４は、例えば、侵入物の輪郭の図心を検出し、この図心を中心として、螺旋状に拡大しながら探索を行い、最初に点ａの検出条件に適合した画素を取り出すものとする。もし所定の広さ（例えば螺旋の半径が２４画素以上）に達しても点ａの検索条件に合致する画素が見つからなかった場合には、ブルーミング領域が無かったものとして処理を終了する（ステップＳ３）。

ヘッドライト等の光源によるブルーミング領域は、その境界において、隣接する画素との輝度値の差が十分に大きく、ステップＳ２の処理によって、ブルーミング領域の境界部分を検出することができる可能性がある。

図４は撮像した右画像を模式的に示しており、図４中の矩形は検出した侵入物である自動車を示している。太線による楕円は、ヘッドライトによるブルーミング領域の境界を示しており、楕円内がブルーミング領域である。図４では、黒丸で示す図心から検索を開始して、ブルーミング領域の一方の境界において、上述したａ点の検索条件によって点ａが検出されたことを示している。

次のステップＳ４において、マイクロコンピュータ１４は、右画像中で、点ａに対して水平な位置にあり、点ａとは逆方向の輝度傾斜を有する点を探す。以下、この点を点ｂと表記する。マイクロコンピュータ１４は、点ｂを以下の３つの検索条件によって検出する。

即ち、点ａにおける輝度傾斜が右上がり（例えば正の輝度傾斜とする）であった場合(点ａは左隣の画素よりも輝度が大きい、右隣の画素よりも輝度が小さい)、
１．点ａの水平方向右側にある
２．近傍の輝度差の絶対値は所定の閾値以上（例えば、２５６階調のデジタル画像信号の場合には、輝度値が２０以上相違する）
３．輝度傾斜は右下がりである（即ち、負の輝度傾斜である）(点ｂは左隣の画素よりも輝度が小さい、右隣の画素よりも輝度が大きい)
マイクロコンピュータ１４は、これらの点ｂの検索条件を満たす点を、点ａから水平右に向かって探索し、点ａの最近傍で見つかった点を点ｂとする。もし点ａの輝度傾斜が右下がりであった場合には、探索方向を点ａから左向きに設定し、点ｂの輝度傾斜は右上がりとする。もし条件を満たす点が画面領域内で見つからなかった場合には、ブルーミング領域が画像中に存在しないものとして処理を終了する（ステップＳ５）。

図４では、点ａの右方向に検索を開始して、楕円の右端において点ｂが検出されたことを示している。なお、点ｂについても、マイクロコンピュータ１４は、点ではなく輝度変化の大きい部分を検出するようにしてもよい。

次のステップＳ６において、マイクロコンピュータ１４は、右画像上でａ、ｂ両点を中心として所定の大きさの矩形領域(例えば８×８画素)を注目領域として設定する。以下、これらの設定した注目領域を夫々領域Ａ、領域Ｂと表記する（図４参照）。

そして、マイクロコンピュータ１４は、左画像上のエピポーラ線上にも同一の大きさで、同一間隔の２つの矩形領域を設定し、これらの領域を夫々領域Ａ’、領域Ｂ’と表記する。マイクロコンピュータ１４は、領域Ａ〜Ａ’間、Ｂ〜Ｂ’間の輝度情報の相関度を求め、更に両相関度の和を求める。

相関度としては、例えばＡ〜Ａ’間、Ｂ〜Ｂ’間夫々における輝度差の自乗和（Sum of Squared Difference）、即ち画素毎の輝度差の自乗和を用いる。なお、自乗和がゼロに近いほど高相関であることになる。また相関度の評価基準としては、輝度差の自乗和に限るものではなく、例えば輝度値の正規化相互相関値等を採用してもよい。また、例えば、相関度として輝度差の絶対値和を用いてもよい。

即ち、マイクロコンピュータ１４は、領域Ａ〜Ａ’間の相関度（輝度差の自乗和等）と領域Ｂ〜Ｂ’間の相関度（輝度差の自乗和等）とを例えば加算して、合計相関度を求めるのである。マイクロコンピュータ１４は、領域Ａ' Ｂ'をエピポーラ線上で徐々にずらしながら合計相関度を順次求め、合計相関度が高相関を示したときの左右画像の水平位置のズレ量を視差ｄとして求める。

図２に示すように、領域Ａ，Ｂのうちのいずれか一方（例えば領域Ａ）を用いたステレオマッチング演算では、高相関が得られた場合の左右画像の水平位置のずれ量は輝度特性のずれに応じて誤差を含む。逆に、領域Ａ，Ｂのうちの他方（領域Ｂ）を用いたステレオマッチング演算では、高相関が得られた場合の左右画像の水平位置のずれ量は領域Ａを用いた場合と反対側にずれる。本実施の形態においては、領域Ａ，Ｂの間隔と領域Ａ’，Ｂ’の間隔とを一致させて固定した状態で、これらの２つの領域の合計相関度を求めており、輝度特性のずれに応じた誤差は相殺されて、正確な視差を検出することができる。

最後のステップＳ７において、マイクロコンピュータ１４は、下記（３）式に従って、侵入物までの距離Ｚを求めて、出力する。

Ｚ＝ｂ・ｆ／ｄ …（３）
但し、Ｚ：距離、ｂ：カメラ１，２の間隔（基線長）、ｆ：カメラ１，２の焦点距離、ｄ：求めた視差である。

なお、マイクロコンピュータ１４は、ステップＳ３，Ｓ５において、点ａ又は点ｂが検出できないと判定した場合には、ブルーミング領域が存在しないものと判断して、画像メモリ１０に蓄積された距離画像を用いた距離値をそのまま侵入物までの距離として出力する。

このように本実施の形態においては、輝度変化が緩やかな画像が含まれる場合でも、輝度傾斜の符号が異なる２つの領域を用いてステレオマッチング処理を行っており、これらの２つの領域単独によるステレオマッチング処理による視差誤差は打ち消しあい、略正しい視差を検出することができ、距離測定精度を向上させることができる。例えば、ヘッドライト等によるブルーミング領域近傍においても、対象までの正確な距離を計測することができる。

なお、本実施の形態においては、領域Ａ，Ｂを夫々別領域として説明したが、点ａ，ｂを含む１つの領域を設定し、この１つの領域に対して上述した相関度を求めた場合でも、同様の効果が得られることは明らかである。

また、点ａの検出は、侵入物として検出した画像の図心を中心にして、検索条件に合致し図心に最も近い位置を点ａとして検出したが、検索条件に合致すれば、侵入物内の任意の位置において点ａを検出するようにしてもよい。

図５は本発明の第２の実施の形態に係るステレオ画像処理装置に採用される侵入物検知及び距離測定処理の動作フローを示すフローチャートである。図５において図３と同一の手順については同一符号を付して説明を省略する。

本実施の形態におけるハードウェア構成は第１の実施の形態と同様であり、マイクロコンピュータ１４における処理フローが異なるのみである。図５のフローは、ステップＳ１１，Ｓ１２の手順を付加した点が図３のフローと異なるのみである。

ステップＳ１１において、マイクロコンピュータ１４は、検出した点ａと点ｂとの間の輝度値を検出する。次のステップＳ１２において、マイクロコンピュータ１４は、ステップＳ１１で検出した各輝度値について、飽和点に達したものがあるか否かを判定する。即ち、マイクロコンピュータ１４は、点ａ，ｂ間において輝度の飽和点に達した画素が存在する場合には、点ａ，ｂ間はブルーミング領域に含まれるものとして処理をステップＳ６に移行し、そうでない場合には、ブルーミング領域ではないものとして処理を終了する。

このように、本実施の形態においては、点ａとｂを結ぶ線分上にある全ての画素の輝度を調べる。もし１つでも飽和輝度（２５６階調のデジタル画像信号の場合には輝度値＝２５５）に達している画素が存在する場合にのみ、ブルーミング領域と判断して、以降のステップＳ６の処理を実行する。これにより、ブルーミング領域を確実に検出して、ブルーミング領域ではない対象に対してステレオマッチング演算を実施してしまうことによる、ＣＰＵ処理時間の浪費を回避することができる。

以上のように、本発明に係るステレオ画像処理装置は、対象物の距離測定を行うものに有用であり、例えば踏切の侵入物検知等に適している。

本発明の第１の実施の形態に係るステレオ画像処理装置を示すブロック図。 第１の実施の形態において真の視差が得られる理由を説明するための説明図。 第１の実施の形態の作用を説明するためのフローチャート。 第１の実施の形態の作用を説明するための説明図。 本発明の第２の実施の形態に係るステレオ画像処理装置に採用される侵入物検知及び距離測定処理の動作フローを示すフローチャート。 従来例の問題点を説明するための説明図。 従来例の問題点を説明するための説明図。 従来例の問題点を説明するための説明図。

符号の説明

１…右カメラ、２…左カメラ、９…ステレオマッチング回路、１０…画像メモリ、１４…マイクロコンピュータ。
代理人 弁理士 伊 藤 進

Claims (7)

1. ステレオカメラで撮像した基準画像と参照画像からなる一対の画像を用いて視野内の物体までの距離を計測するステレオ画像処理装置において、
   前記基準画像中のエピポーラ線方向の正の輝度傾斜部分と負の輝度傾斜部分とを検出するものであって、前記基準画像中の高輝度部分を挟むように前記正の輝度傾斜部分と負の輝度傾斜部分とを検出する輝度傾斜検出手段と、
   前記正の輝度傾斜部分及び負の輝度傾斜部分をそれぞれ含む前記基準画像中の第１及び第２の注目領域にそれぞれ対応する前記参照画像中の第３及び第４の領域を前記エピポーラ線方向に移動させながら前記第１の注目領域と前記第３の領域との第１のマッチング演算及び前記第２の注目領域と前記第４の領域との第２のマッチング演算を行って、前記第１及び第２のマッチング演算の演算結果を平均化して視差を求める視差探索手段とを具備したことを特徴とするステレオ画像処理装置。
2. 前記視差探索手段は、
   前記第１及び第２の注目領域間の距離と前記第３及び第４の領域間の距離とを一致させ、前記第１のマッチング演算に基づいて求めた前記第１の注目領域と前記第３の領域との間の第１の相関度と前記第２のマッチング演算に基づいて求めた前記第２の注目領域と前記第４の領域との間の第２の相関度との合計相関度を最大にする前記第３及び第４の領域の位置と前記第１及び第２の注目領域の位置との間のずれ量に基づいて前記視差を求めることを特徴とする請求項１に記載のステレオ画像処理装置。
3. 前記視差探索手段は、
   前記第１の注目領域と前記第３の領域との間のマッチング演算に基づいて求めた前記第３の領域の位置と前記第１の注目領域の位置との間の第１のずれ量と、前記第２の注目領域と前記第４の領域との間のマッチング演算に基づいて求めた前記第４の領域の位置と前記第２の注目領域の位置との間の第２のずれ量と、を平均化することで前記視差を求めることを特徴とする請求項１に記載のステレオ画像処理装置。
4. ステレオカメラで撮像した基準画像と参照画像からなる一対の画像を用いて視野内の物体までの距離を計測するステレオ画像処理装置において、
   前記基準画像中のエピポーラ線方向の正の輝度傾斜部分と負の輝度傾斜部分とを検出するものであって、前記基準画像中の高輝度部分を挟むように前記正の輝度傾斜部分と負の輝度傾斜部分とを検出する輝度傾斜検出手段と、
   前記正の輝度傾斜部分及び負の輝度傾斜部分を含む前記基準画像中の１つの注目領域に対応する前記参照画像中の１つの領域を前記エピポーラ線方向に移動させながら前記基準画像中の注目領域と前記参照画像中の領域とのマッチング演算を行って、前記マッチング演算の演算結果に基づいて視差を求める視差探索手段とを具備したことを特徴とするステレオ画像処理装置。
5. 前記ステレオカメラの撮像範囲内で撮像された物体の有無によって前記物体を侵入物として検知する侵入物検知手段を更に具備し、
   前記の輝度傾斜検出手段は、前記侵入物検知手段によって侵入物と判定された画像領域の中心に最も近い位置の輝度傾斜部分を前記正及び負の輝度傾斜部分のうち一方の輝度傾斜部分とし、前記一方の輝度傾斜部分に最も近い位置に存在する逆向きの輝度傾斜部分を前記正及び負の輝度傾斜部分のうち他方の輝度傾斜部分として検出することを特徴とする請求項１乃至４のいずれか１つに記載のステレオ画像処理装置。
6. 前記ステレオカメラの撮像範囲内で撮像された物体の有無によって前記物体を侵入物として検知する侵入物検知手段を更に具備し、
   前記の輝度傾斜検出手段は、前記侵入物検知手段によって侵入物と判定された画像領域中の輝度傾斜部分を前記正及び負の輝度傾斜部分のうち一方の輝度傾斜部分とし、前記一方の輝度傾斜部分に最も近い位置に存在する逆向きの輝度傾斜部分を前記正及び負の輝度傾斜部分のうち他方の輝度傾斜部分として検出することを特徴とする請求項１乃至４のいずれか１つに記載のステレオ画像処理装置。
7. 前記輝度傾斜検出手段は、輝度が飽和した部分を挟むように前記正の輝度傾斜部分と負の輝度傾斜部分とを検出することを特徴とする請求項１乃至６のいずれか１つに記載のステレオ画像処理装置。