JP4554316B2 - ステレオ画像処理装置 - Google Patents

Description

本発明は、ステレオマッチング処理が適正に行われずにミスマッチングした小領域に対して補正を行うステレオ画像処理装置に関する。

一般に、画像による三次元計測技術として、２台のカメラ（ステレオカメラ）で対象物を異なる位置から撮像した１対の画像の相関を求め、同一物体に対する視差からステレオカメラの取り付け位置や焦点距離等のカメラパラメータを用いて三角測量の原理により対象物までの距離情報を求める、いわゆるステレオ法による画像処理が知られている。

このステレオ法による画像処理では、ステレオカメラからの２つの画像信号を順次シフトしながら２つの画像信号が一致した位置を求めることで、２つの画像間の視差を検出し、これにより、対象物までの距離を算出するようになっている。一般的には、２つのカメラからの画像信号の輝度を比較することで、２つの画像信号が一致した位置を求めている。

画像の比較は、演算速度等の観点から、所定画素数の小領域毎に行われる。例えば、基準画像と参照画像に対し、各画像の小領域（マッチングブロックともいう）毎にシティブロック距離を計算して互いの相関を求めることで対応する領域を特定するステレオマッチング処理を行い、対象物までの距離に応じて生じる画素のズレ（＝視差）から得られる対象物までの遠近情報を数値化した３次元画像情報（距離画像）を取得する。

しかしながら、ステレオマッチング処理においては、２枚の画像における対応付けにおいて、誤った対応付けを行うミスマッチングを行ってしまうという問題がある。

このミスマッチングの問題に対して、特許文献１においては、画像のマッチング処理において得られた結果からミスマッチングの有無を判定する機構を有する装置を開示している。

また、特許文献２においては、対象とするマッチングブロック及びその周辺８ブロックについて視差の多数決を行い、ミスマッチングの軽減を図る技術が開示されている。

更に、特許文献３においては、仮に求めた対応点候補に対して、他対応点との優先度を規定し、対応付けに矛盾なく視差を獲得する技術が開示されている。
特開２００１−１６０１４４公報 特開平１１−２４８４４６号公報 特開平８−２７９０４５号公報

しかしながら、上記特許文献１の技術では、ミスマッチングの有無を判定するのみであり、ミスマッチングの影響を軽減させてステレオマッチングの制度を向上させる構成については開示されていない。

また、特許文献２の提案では、実際の空間がマッチングブロックの分解能に対して同等の幅の３次元的な起伏を持つ場合、或いは壁面等のようにマッチング処理に関して十分な画像特徴を有しない領域については十分な補正効果が得られない。

また同様に、特許文献３の提案においても、壁面等の領域については十分な補正効果が得られない。

本発明はかかる問題点に鑑みてなされたものであって、画像の対応付けに際しミスマッチングを軽減して高精度の視差検出を行なうことができるステレオ画像処理装置を提供することを目的とする。

本発明に係るステレオ画像処理装置は、対象物を撮像する撮像手段と、前記撮像手段で撮像した一対の画像の小領域毎に、互いの相関を求めることで対応する領域を特定するステレオマッチング処理を行い、ステレオマッチング処理結果である評価関数、該評価関数に基づいて得られる前記対象物までの距離情報及びその信頼度を示す、該評価関数の特徴量に基づいて算出した信頼度情報を取得するステレオ処理手段と、前記信頼度に応じて対象となる小領域の周辺に再探索範囲を設定し、前記再探索範囲内の小領域について求めた前記評価関数に基づいて、前記対象となる小領域について求めた評価関数を修正して修正評価関数を求め、求めた修正評価関数に基づいて距離情報を補正する視差補正手段とを備えたことを特徴とする。

本発明によれば、視差の補正を行なうことで，ミスマッチングの影響を軽減することが出来，特に従来では困難であった壁面など低テクスチャ領域でのステレオマッチングの精度向上を図ることができる。特に、領域の特徴を保持した補正が実現できることから、高精度の補正が実現できる．

以下、図面を参照して本発明の実施の形態について詳細に説明する。図１は本発明の第１の実施の形態に係るステレオ画像処理装置を示すブロック図である。

右カメラ１及び左カメラ２によって構成されるステレオカメラ１０は、各カメラ１，２が図示しないカメラステイに所定の基線長を有して配設される。カメラ１，２は、相互に同一の焦点距離を有し、視線方向は基線に垂直に設定されている。例えば、右カメラ１は、ステレオ処理の際の基準画像を撮像し、他方の左カメラ２はステレオ処理の際の参照画像を撮像するようになっている。

なお、左右のカメラ１，２は、所定の基線長を有して配設すればよく、両カメラ１，２を基線が水平方向に向くように水平方向に配置してもよく、また、基線が鉛直方向に向くように鉛直方向に配置してもよく、更に、基線が斜めに傾斜した、斜め方向に２台のカメラ１，２を設置してもよい。なお、以後、説明の簡略化のために、カメラ１，２を基線が水平方向に向くように水平方向に配置したものとして説明する。

カメラ１，２は対象物を撮像して撮像画像の画像信号を出力する。カメラ１，２からの画像信号は画像入力部３に与えられる。

画像入力部３は、図示しないゲインコントロールアンプを有するアナログインターフェース、アナログ画像データをデジタル画像データに変換するＡ／Ｄコンバータ及び画像の明暗部に対して対数変換を行うためのＬＯＧ変換テーブル等を備えている。画像入力部３は、カメラ１，２からの画像信号を、夫々ゲイン調整して信号バランスを揃えた後デジタル信号に変換する。更に、画像入力部３は、ＬＯＧ変換により低輝度部分のコントラストを改善する等の画像補正を行って、所定の輝度階調のデジタル画像信号に変換して元画像メモリ４にストアする。

元画像メモリ４に記憶されたデジタル画像信号はステレオ処理部５に供給される。ステレオ処理部５は、基準画像と参照画像との所定の小領域（例えば４×４画素の領域：以下ブロックともいう）毎に輝度値の例えばＳＡＤ (Sum of Absolute Difference：差の絶対値和)値を計算して互いの相関を求めることで対応する領域を特定するステレオマッチング処理を行う。対応する小領域同士の距離は、対象物までの距離に応じて生じるものであり、この距離（画素のズレ）は視差に相当する。そして、ステレオ処理部５は、このズレ量から得られる対象物までの距離情報を数値化した３次元画像情報（距離画像）を生成して出力することができるようになっている。

なお、カメラ１，２を基線が水平となるように配置し、カメラ１，２が基線と垂直な方向を撮像するように設定していることから、ステレオ処理部５は、水平方向のエピポーラ線上にブロックを移動させたマッチング処理によって、距離情報を取得することができる。また、相関度を示すマッチング評価関数としては、ＳＡＤを用いたものだけでなく、基準画像と参照画像との間の画素毎の輝度差の自乗和（Sum of Squared Difference）を用いてもよい。この場合には、自乗和がゼロに近いほど高相関であることになる。また相関度の評価基準としては、輝度差の自乗和に限るものではなく、例えば輝度値の正規化相互相関値等を採用してもよい。

ステレオマッチング処理においては、基準画像中の小領域（以下、マッチングブロックともいう）に対して、参照画像中の対応する位置の小領域を所定の探索範囲内で、エピポーラ線上に１画素ずつずらして、基準画像中のマッチングブロックと参照画像中の各小領域（以下、参照ブロックという）とのＳＡＤ値を夫々計算する。そして、最も小さいＳＡＤ値を与える参照ブロックとマッチングブロックとのずれ（視差値）を距離情報として求めるようになっている。

更に、ステレオ処理部５は、マッチングブロックの視差値に加えて、該視差値の信頼度についても求めるようになっている。具体的には、マッチングブロック毎に求めたＳＡＤ値の最小値Ｈｍと、ＳＡＤ値の最大値ＨＭとの差分Ｈｘ を求め、距離情報の信頼度を、以下の３つの条件を満足するか否かによって判定する。

（１）Ｈｍが所定値以下
（２）Ｈｘが所定値以上
（３）エッジ有効と判定された画素が所定数以上存在する
そして、（１）、（２）及び（３）の条件をすべて満たす場合には、信頼度を「適」と判定し、条件を２つまで満たす場合には、「やや適」、それ以外については「否」と判断する。

（１）及び（２）の条件は、得られた最小値Ｈｍ がノイズによる揺らぎによるものか否かを判定するための条件であり、また、最大値Ｈｘ を用いることにより、曲面等のように緩やかに輝度が変わる物体に対しても距離検出を行うことを可能にしている。

（３）の条件は、エッジ有効判定の閾値を比較的大きく設定するとエッジ検出となるが、閾値を低くすると、輝度が緩やかに変化している場合にも対応可能である。この条件は、輝度変化のない部分では、距離検出が行なえないという基本的な原理に基づいて採用される。エッジ有効判定は、小領域中の画素毎に行なわれるため、小領域の中でも実際に距離の検出された画素のみが採用されることになり、（３）の条件を用いることで、自然な結果を得ることができる。

また、ステレオ処理部５は、マッチングブロックのユニークさ、周辺部マッチングブロックとの視差値の関係等から得られる値によって、信頼度を求めることも可能である。

ステレオ処理部５は、信頼度を適否の２値で表すこともでき、「やや適」等を含めた３値で表現することも可能である。なお、ステレオカメラの撮像画像から距離画像を生成する処理については、本出願人による特開平５−１１４０９９号公報に詳述されている。

尚、信頼性の判定については、上記の判定に限定されずに、本出願人による特願２００４−２３２３９４号に記載されるように、複数の特徴量として評価関数の値（ＳＡＤ値の最大値、最小値及び平均値）、評価関数の形状（評価関数の極小点の数、最小点を含む谷の幅寸法、最小点を含む谷の鋭角度）、マッチングブロックの独創性、及び、周辺画素領域との関連性により、判定を行うことも可能である。

ここで、極小点の数とは、ＳＡＤ値Ｓiがある閾値（例えばＳＡＤの平均値）以下の点で近傍Ｎ点（Ｎ＞２で固定値）対してＳ_i-N＞Ｓ_i-(N-1)・・＞Ｓi，かつＳ_i+N＞Ｓ_i+N-1・・＞Ｓ_iを満たす点の数、即ち、谷の数である。最小値を含む谷の幅寸法とは、極小点から左近傍方向についてｋ×Ｓ_i-n＞Ｓ_i-n-1が成り立つ最小のｎと右近傍に対してｋ×Ｓ_i+m＞Ｓ_i+m+1が成り立つ最小のｍを求めｎ＋ｍを谷の幅とする。ここでｋは定数で通常１に設定される。また、最小点を含む谷の鋭角度としては２種類の方法により算出され、一方が、最小値を含む谷の幅寸法における両端のＳＡＤ値の平均と、最小点のＳＡＤ値との差分を、最小値を含む谷の幅寸法で割ったものとし、他方が、最小点を含む谷の両隣のＳＡＤ値との差の平均，つまり（Ｓ_i+1＋Ｓ_i-1−２・Ｓ_i）／２により算出する。

マッチングブロックの独創性を示す要素としては、マッチングブロックにおけるエピポーララインに沿った方向への差分の絶対値が所定の値を超える画素の数と、マッチングブロックにおけるエピポーララインに沿った方向への差分の絶対値の平均値と、マッチングブロックにおける輝度値の分散とが挙げられる。

更にまた、周辺マッチングブロックとの関連性を示す要素として、自己マッチング処理において自ブロックと類似したブロックの数と、自己マッチング処理におけるＳＡＤ関数の平均値と、自己マッチング処理におけるＳＡＤ関数の形状に関する値と、自ブロックの周辺で同一の視差を出力したブロックの数とが挙げられる。

本実施の形態においては、ステレオ処理部５は、各マッチングブロックについての距離情報（視差情報）、その信頼度の情報（信頼度情報）及びそのマッチング処理時の全探索範囲のマッチング評価関数の値（ＳＡＤ値）を視差補正部６に出力するようになっている。

図２は横軸に所定のマッチングブロックと参照ブロックとのずれ量をとり縦軸にＳＡＤ値をとって、所定のマッチングブロックについてのマッチング評価関数であるＳＡＤ関数の一例を示すグラフである。ステレオ処理部５は、ＳＡＤ関数の最小値を距離情報（視差情報）として出力する。更に、ステレオ処理部５は、探索範囲内の各ＳＡＤ値についても出力する。視差補正部６は、メモリ７を有しており、マッチングブロック毎に、探索範囲内のＳＡＤ値の最小値である距離情報、その信頼度及び探索範囲内の全ＳＡＤ値をメモリ７に保持することができるようになっている。

ところで、所定のマッチングブロックとその周辺のブロックとは、距離情報については比較的似通ったものとなり、同様のＳＡＤ関数が得られることが考えられる。例えば、マッチングブロックについて求めた距離情報の信頼度が低い場合には、隣接したブロックの信頼度が高いＳＡＤ関数を利用した方が、正確な距離情報を得られる可能性もある。

この理由から、本実施の形態においては、視差補正部６は、マッチングブロック毎に、そのマッチングブロックを含む所定範囲の複数のブロック（以下、再探索範囲ブロックという）についてのＳＡＤ値を求め、求めたＳＡＤ値に基づいて修正ＳＡＤ関数を得るようになっている。例えば、視差補正部６は、再探索範囲ブロックのＳＡＤ関数の総和によって修正ＳＡＤ関数を得ることができる。更に、視差補正部６は、再探索範囲ブロックのＳＡＤ関数に、対象とするマッチングブロックからの距離及び信頼度に応じた重み付けを付してずれ量毎に加算して、修正ＳＡＤ関数を得るようにしてもよい。この場合には、視差補正部６が求める修正ＳＡＤ関数Ｓ’は、
Ｓ_i,j（Ｘ）を対象マッチングブロックを基準とした再探索範囲ブロックの位置（ｉ，ｊ）におけるＳＡＤ関数とし、
Ｓ’_i,j（Ｘ）を対象マッチングブロックを基準とした再探索範囲ブロックの位置（ｉ，ｊ）における修正ＳＡＤ関数とし、
Ｗ_pを信頼度に基づく重み係数とし、
Ｗ_dを対象マッチングブロックと再探索範囲ブロックとの距離に基づく重み係数として、下記（１）式にて与えられる。

Ｓ’_i,j（Ｘ）＝ Σ Ｗ_d・Ｗ_p・Ｓ_a,b （Ｘ）…（１）
^ab
即ち、視差補正部６は、対象マッチングブロックからの距離が大きい再探索範囲ブロックについて求めたＳＡＤ関数ほど足し合わせの重みを低くする。また、視差補正部６は、距離情報の信頼度が低い再探索範囲ブロックのＳＡＤ関数も、足し合わせの重みを低くする。

そして、視差補正部６は、修正ＳＡＤ関数の最小値を与えるずれ量を距離情報として出力する。この距離情報は距離画像メモリ８に与えられる。距離画像メモリ８は、視差補正部６からの距離情報を保持するようになっている。各ブロックの距離情報は各ブロックの輝度値を距離情報に変換したものであり、各ブロックの位置毎に距離情報に基づく表示を行うことで、距離画像を得ることができる。画像認識ソフトウェア等によって、距離画像メモリ８に記憶された距離情報を用いた演算を行うことにより、距離測定や、障害物認識等を行うことができる。

次に、このように構成された実施の形態の作用について図３乃至図７を参照して説明する。図３は所定の対象マッチングブロック及びその周辺のブロックについて求めた距離情報の信頼度の一例を示す説明図である。また、図４は再探索範囲ブロックの決定方法を説明するための説明図である。図５は横軸に対象マッチングブロックからの距離をとり縦軸に重み係数をとって、対象マッチングブロックと再探索範囲ブロックとの距離に基づく重み係数Ｗ_dを示すグラフであり、図６は横軸に再探索範囲ブロックについて求めた距離情報の信頼度をとり縦軸にその再探索範囲ブロックのＳＡＤ関数に対する重み係数をとって、信頼度に基づく重み係数Ｗ_pを示すグラフである。また、図７は視差補正部６による視差補正処理を示すフローチャートである。

左右のカメラ１，２から入力されたアナログ画像信号は、画像入力部３において夫々比例増幅される。増幅された画像信号は、Ａ／Ｄ変換されて、夫々例えば２５６階調のデジタル信号に変換される。デジタル化された基準画像及び参照画像は、所定の画像補正処理が施された後、元画像メモリ４に蓄積される。

ステレオ処理部５は、基準画像内の所定のマッチングブロックに対して、参照画像内の参照ブロックを設定し、対象マッチングブロックと参照ブロックとの輝度値のＳＡＤ関数を求める。ステレオ処理部５は、ＳＡＤ関数の最小値を距離情報として算出すると共に、その信頼度の情報も算出する。ステレオ処理部５は、各マッチングブロックについての距離情報、その信頼度情報及びそのマッチング処理時の全探索範囲のＳＡＤ値を視差補正部６に出力する。

視差補正部６は、図７のステップＳ１において、マッチングブロック毎に、距離情報、その信頼度情報及びマッチング処理時の全探索範囲のＳＡＤ値を記憶する。視差補正部６は、マッチング処理結果に基づいて距離情報（視差）を補正する。例えば、視差補正部６は、全ブロックについてのマッチング処理終了後に、視差補正処理を実施する。

図３は枠によってマッチング処理におけるブロックを示している。図３の網線部はマッチング処理結果の距離情報の信頼度が「適」であるブロックを示し、斜線部は信頼度が「やや適」であるブロックを示し、無地は信頼度が「否」のブロックを示している。視差補正部６はマッチング処理結果をブロック毎に補正する。この場合には、視差補正部６は、信頼度が「適」でないブロック、即ち、マッチング処理にミスマッチが生じたブロック又は生じている可能性が高いブロックに対してのみ補正を行う。視差補正部６は、ステップＳ２において、対象ブロックの信頼度が「適」であるか否かを判定する。

いま、ステレオ処理部５におけるマッチング処理の処理結果が図３に示すものであるものとし、視差補正部６が図３の太枠に示すブロックの距離情報を補正するものとする。太枠のブロックは信頼度が「やや適」であるので、ステップＳ２から処理をステップＳ３に移行して、再探索範囲ブロックが設定される。視差補正部６は、例えば、対象となるブロックを基準として、水平及び垂直方向に信頼度が「適」であるブロックを発見するまで、視差補正に用いるブロックの範囲を広げる。

図４は図３の例における再探索範囲ブロックを太枠にて示している。再探索範囲ブロックは、対象ブロックを中心とした十字状の範囲の複数のブロックであり、図４の例では、対象ブロックの水平左側２ブロック、水平右側４ブロック、垂直上側４ブロック、垂直下側４ブロックの計１５ブロックである。

なお、再探索範囲としては、所定の閾値を設定することも可能である。即ち、対象ブロックからの距離が所定の閾値以上はなれたブロックについては再探索範囲ブロックに設定しない。また、水平及び垂直方向に、閾値以内に信頼度が「適」」のブロックが存在しない場合には、視差補正部６はその方向に対しては再探索範囲を設定しない。例えば、４方向のうちの１方向について閾値以内の距離に信頼度が「適」のブロックが存在しない場合には、再探索範囲はＴ字状となる。

また、再探索範囲ブロックの決定方法としては種々の方法が考えられることは明らかである。例えば、再探索範囲ブロックとして、対象ブロックを含む矩形状の範囲内のブロックを指定することも可能である。また、信頼度を考慮することなく、予め設定された再探索範囲を設定しても良い。

次に、視差補正部６は、ステップＳ４において、上記（１）式に基づいて修正ＳＡＤ関数を求める。即ち、視差補正部６は、図４の太枠で囲った再探索範囲ブロックについて夫々求めた各ＳＡＤ関数に、信頼度及び対象ブロックからの距離に応じた重み付けを付して、加算する。

図５は対象ブロックからの距離と重み付けとの関係を示している。図５に示すように、対象ブロックに近いブロックほど、大きな重み付けを設定する。また、図６は信頼度と重み付けとの関係を示している。図６に示すように、信頼度が高いほど、大きな重み付けを設定する。なお、図５及び図６の重み付けは一例であり、種々の重み付け特性が考えられることは明らかである。

図４の例では、再探索範囲内の信頼度が「適」の４つのブロックについては、対象ブロックの水平左方向のブロックが対象ブロックに最も近接しており、このブロックのＳＡＤ関数に対する重み付けが最も大きい。また、例えば、図４の例では、対象ブロックに上下左右に隣接した４つのブロックについては、信頼度が「やや適」の２つのブロックの方が信頼度が「否」の２つのブロックよりも、重み付けが大きい。

こうして、視差補正部６は、再探索範囲ブロックのＳＡＤ関数に、距離及び信頼度に応じた重み付けを付して、ずれ量毎にＳＡＤ値の加算を行って、修正ＳＡＤ関数を求める。信頼度が「やや適」又は「否」のブロックの修正ＳＡＤ関数は、周辺のブロックのＳＡＤ関数を平均化したものであること、及び、信頼度が「適」のブロックのＳＡＤ関数の情報を利用していることから、修正前のＳＡＤ関数に基づく距離情報よりも信頼度が向上する可能性が高い。

視差補正部６は、ステップＳ５において、修正ＳＡＤ関数の最小値を与えるずれ量を、補正後の距離情報として求める。以後、視差補正部６は、ステップＳ２〜Ｓ５の処理を繰返し、全ブロックについての視差補正を行ったことをステップＳ６において判定した後、処理を終了する。視差補正部６は、補正後の距離情報を距離画像メモリ８に出力する。

このように、本実施の形態においては、ステレオマッチング処理の処理結果の信頼度が低いと判定されたブロックについては、そのブロックを含む所定の再探索範囲を設定し、再探索範囲内のブロックのステレオマッチング評価関数の総和によって、距離情報を補正している。これにより、補正後の距離情報の精度を向上させることができる。また、再探索範囲は、信頼度が高いブロックを含むように設定していることから、補正後の距離情報の信頼度は高い。しかも、対象ブロックとの距離や信頼度に応じてステレオマッチング評価関数に重み付けを付した後、総和を求めており、補正後の距離情報の精度を一層向上させることができる。

図８は本発明の第２の実施の形態に係るステレオ画像処理装置に採用されるステレオマッチング処理の動作フローを示すフローチャートである。

第１の実施の形態においては、視差補正部６はステレオ処理部５からのＳＡＤ関数の値を例えば全ブロックについて保持する必要があり、メモリとして、極めて大きな記憶容量を必要とする。このように大きい容量のメモリを確保することができない場合には、各ブロックのマッチング処理に際して、複数回のステレオマッチング処理を実施することで、第１の実施の形態と同様の機能を達成することができる。

即ち、本実施の形態は比較的小容量のメモリによって距離情報の補正を可能にするものである。即ち、本実施の形態においては、ステレオ処理部５は、２回のステレオマッチング処理を行う。１回目のステレオマッチング処理においては、ステレオ処理部５は、対象マッチングブロックについて求めた距離情報及び信頼度情報のみを視差補正部６に出力する。

対象マッチングブロックについて、距離情報の信頼度が比較的低い場合、例えば信頼度が「否」又は「やや適」である場合には、視差補正部６は、所定の再探索範囲を設定する。この場合には、ステレオ処理部５は、再探索範囲内の各ブロックについて、夫々ステレオマッチング処理を実施する。そして、ステレオ処理部５は、再探索範囲ブロックについて求めたＳＡＤ関数及び信頼度情報を視差補正部６に与える。視差補正部６は再探索範囲ブロックのＳＡＤ関数を、信頼度及び対象ブロックとの距離に応じた重み付けを付して加算することで、修正ＳＡＤ関数を得る。

他の構成は第１の実施の形態と同様である。

このように構成された実施の形態においては、図８のステップＳ１１において、視差補正部６は、ステレオ処理部５からの対象マッチングブロックについての距離情報及び信頼度情報を取得し、信頼度が「適」か否かを判定する（ステップＳ２）。信頼度が「適」である場合には、ステレオ処理部５は次の対象マッチングブロックについのステレオマッチング処理を行う。

信頼度が「否」又は「やや適」の場合には、視差補正部６はステップＳ３において再探索範囲を決定する。ステレオ処理部５は、ステップＳ１２において、各再探索範囲ブロックのステレオマッチング処理を実施する。ステレオ処理部５は、各ブロック毎に、信頼度及びＳＡＤ関数を求めて視差補正部６に出力する。視差補正部６は、再探索範囲ブロックについて得られた信頼度及びＳＡＤ関数を記憶する（ステップＳ１３）。視差補正部６は、第１の実施の形態と同様に、再探索範囲ブロックのＳＡＤ関数に信頼度及び距離に基づく重み付けを行って加算し、修正ＳＡＤ関数を求める。

なお、視差補正部６は、上述したように全再探索範囲ブロックの信頼度及びＳＡＤ関数を記憶した後に修正ＳＡＤ関数を算出してもよく、再探索範囲ブロックの信頼度及びＳＡＤ関数が入力される毎に、ＳＡＤ関数に重み付けを付しながら累積加算することで、修正ＳＡＤ関数を求めても良い。この場合には、全探索範囲ブロックのステレオマッチング処理結果を記憶するメモリ及びその処理は不要である。

他の作用は第１の実施の形態と同様である。このように、本実施の形態においても、第１の実施の形態と同様の効果を得ることができる。

本発明の第１の実施の形態に係るステレオ画像処理装置を示すブロック図。 横軸に所定のマッチングブロックと参照ブロックとのずれ量をとり縦軸にＳＡＤ値をとって、所定のマッチングブロックについてのマッチング評価関数であるＳＡＤ関数の一例を示すグラフ。 所定の対象マッチングブロック及びその周辺のブロックについて求めた距離情報の信頼度の一例を示す説明図。 再探索範囲ブロックの決定方法を説明するための説明図。 横軸に対象マッチングブロックからの距離をとり縦軸に重み係数をとって、対象マッチングブロックと再探索範囲ブロックとの距離に基づく重み係数Ｗ_dを示すグラフ。 横軸に再探索範囲ブロックについて求めた距離情報の信頼度をとり縦軸にその再探索範囲ブロックのＳＡＤ関数に対する重み係数をとって、信頼度に基づく重み係数Ｗ_pを示すグラフ。 視差補正部６による視差補正処理を示すフローチャート。 本発明の第２の実施の形態に係るステレオ画像処理装置に採用されるステレオマッチング処理の動作フローを示すフローチャート。

符号の説明

１…右カメラ、２…左カメラ、３…画像入力部、４…元画像メモリ、５…ステレオ処理部、６…視差補正部、７…距離画像メモリ。
代理人 弁理士 伊 藤 進

Claims (5)

1. 対象物を撮像する撮像手段と、
   前記撮像手段で撮像した一対の画像の小領域毎に、互いの相関を求めることで対応する領域を特定するステレオマッチング処理を行い、ステレオマッチング処理結果である評価関数、該評価関数に基づいて得られる前記対象物までの距離情報及びその信頼度を示す、該評価関数の特徴量に基づいて算出した信頼度情報を取得するステレオ処理手段と、
   前記信頼度に応じて対象となる小領域の周辺に再探索範囲を設定し、前記再探索範囲内の小領域について求めた前記評価関数に基づいて、前記対象となる小領域について求めた評価関数を修正して修正評価関数を求め、求めた修正評価関数に基づいて距離情報を補正する視差補正手段とを備えたことを特徴とするステレオ画像処理装置。
2. 前記視差補正手段は、前記再探索範囲内の小領域について求めた評価関数の和を修正評価関数とすることを特徴とする請求項１に記載のステレオ画像処理装置。
3. 前記視差補正手段は、前記再探索範囲内の小領域について求めた評価関数を、各小領域について求めた信頼度情報及び各小領域と対象とする小領域との距離に応じた重み付けを付した後、和をとって修正評価関数とすることを特徴とする請求項１又は２のいずれか一方に記載のステレオ画像処理装置。
4. 前記視差補正手段は、前記ステレオ処理手段が求めた全小領域についての評価関数、距離情報及び信頼度情報を記憶する記憶手段を具備し、
   前記記憶手段から読出した前記評価関数、距離情報及び信頼度情報に基づいて修正評価関数を求めることを特徴とする請求項１に記載のステレオ画像処理装置。
5. 前記視差補正手段は、前記ステレオ処理手段が求めた信頼度情報に基づいて再探索範囲を設定し、
   前記ステレオ処理手段は、設定された前記再探索範囲内の各小領域について、前記評価関数及び信頼度情報を取得し、
   前記視差補正手段は、前記ステレオ処理手段が求めた前記再探索範囲内の各小領域についての前記評価関数に基づいて、前記修正評価関数を算出することを特徴とする請求項１に記載のステレオ画像処理装置。

Images