JPH047805B2

JPH047805B2 -

Info

Publication number: JPH047805B2
Application number: JP59024163A
Authority: JP
Inventors: Yasuo Seki
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: NTT Inc
Priority date: 1984-02-10
Filing date: 1984-02-10
Publication date: 1992-02-13
Also published as: JPS60173403A

Description

【発明の詳細な説明】 (1) 発明の属する分野の説明本発明は、ステレオ画像の対応付け処理方法、
特にカメラにより複数の視点で撮影した画像か
ら、計算機処理により自動的にシーン中の物体ま
での奥行（３次元情報）を求めるようにしたステ
レオ画像の対応付け処理方法に関する。

(2) 従来の技術の説明従来このようなステレオ法により自動的に奥行
情報を求める方法は多く発表されているが、十分
な性能を持つに至つていない。このうち、左右画
の各点のまわりの窓内の画像の相互相関の値によ
り対応点を求める相互相関法は、航空写真により
地形高度を求める等の場合のように奥行変化率
（奥行の変化量の奥行の絶対値に対する比）を小
さく視点を選べる場合には、使用に耐える能力を
有しているが、知能ロボツトの目の対象となる地
上シーン、室内シーンでは、一般に奥行の変化率
が大きく、奥行のステツプ変化もしばしば生じ、
そのような場合には、対応付けエラーが多く、十
分な性能を有していない。

他の代表的手法に、分解能による階層性と奥行
の連続性とに基づく方法がある。これは、予め定
めた粗い分解能から出発し、順次分解能を細かく
し、予め定めた分解能で処理を停止し、結果を得
る。そして各分解能では、１つ前の段階の処理結
果に基づいて処理を行なう。具体的には、原画よ
り各分解能に応じた線画を求め、左右の線画と同
じ高さ（カメラの光軸は平行）の水平線との交点
を比較し、各左画の点に対応した右画の点の探索
の中心を前の処理結果より求め、分解能に比例し
た探索幅を用いた探索に基づいて、対応する右画
の点を求めるようにしている。しかしこのような
手法は、階層性により改良はされているが、十分
な対応付け性能を有していない。

いずれにしても、従来のこの種方法は、左右画
の対応点を、点の局所情報のみに基づいて決定し
ており、従つて不安定で誤りやすく、広汎なシー
ンに対し、必らずしも十分な性能を有していな
い。

(3) 発明の目的本発明はこれらの欠点を除去するため、画像間
の対応付けを、点間で直接行わずに、まずより空
間的広がりを持ち雑音の影響を受けにくい、より
安定した連結線成分またはその一部であるセグメ
ントをその全体特徴により対応付けを行ない、そ
の結果に基づいて、その線上の各点の対応付けを
行ない、それにより奥行を求めるようにしたもの
で、以下図面により詳細に説明する。

(4) 発明の構成および作用の説明第１図は、本発明で考えるステレオカメラ系の
配置をカメラモデルにより概念的に示した図であ
る。ここでカメラモデルでは、像を正立像として
把えている。図中１，２はカメラ１，２（以下同
様）の視点、３，４は光軸、５，６は像画、７，
８は像画の中心である。ただし、光軸は、像画の
中心を通り且つ像面に垂直である。９，１１はカ
メラ系１，２の像面のｘ軸（x₁，x₂軸）、１０，
１２は像面のｙ軸（y₁，y₂軸）、１３は対象物体
上の点、１４，１５は物体点１３に対応した像上
の点（画像点）、１６，１７は画像点１４，１５
を含むエピポーラ線（Epipolar線または
Matching線）を示す。ここで、点１，２を結ぶ
線分を基線、基線を含む平面をエピポーラ面
（Epipolar面）と言い、エピポーラ面上のすべて
の点の像は各像面に１本の曲線を作る。これが上
記エピポーラ線であり、レンズの収差を無視した
時、エピポーラ線は直線となる。同じエピポーラ
面に対応したエピポーラ線１６，１７は互いに対
応したエピポーラ線である。つまり、カメラ１の
画像点１４に対応したカメラ２の画像点はエピポ
ーラ線１７上にある。本発明では、この性質を用
いる。各エピポーラ線は、それに対応するエピポ
ーラ面の回転角（基線を通りカメラ系に対し相対
的に固定された平面との符号付き面角であり、例
えば基準面として一方の光軸を含むものでも良
い）により特性付けられる。この回転角を画像点
の“一般化高さ”と名付ける。

一般化高さは、左右カメラの光軸が平行で、両
カメラの焦点距離が同じで、両カメラの光学中心
を結ぶ直線が両光軸に直角で、両カメラの撮像面
が正確に長方形でそのサイズが同じで、両横軸
（ｘ軸）が平行な時、各カメラの撮像面のｙ座標
として定義される。左右画像上の点がエピポーラ
拘束を満たしていることと一般化高さが等しいこ
とは等価である。左右の画像点がエピポーラ拘束
を満たしているということは、両画像点が両カメ
ラの視点を通る一つの平面上にのつていることを
示しており、それは両画像点が同一の物体点より
発した光によつて生じた左右画像上の点であるた
めの必要条件を表している。輻輳視（光軸が平行
でないより一般的な場合）の時の画像対の場合
も、光軸が平行な仮想的フレームの画像に変換す
れば、一般化高さは各フレームのｙ座標に等しい
ものとなる。

ここで一般化高さについて第１図ｂを参照して
説明しておく。第１図ｂは基線（点１，２を通る
線分）に垂直な平面上の点２の方から点１の方向
を見た投影図であつて、点１８は基線を投影して
得られる点であり、直線１９，２０は夫々光軸３
と基線，光軸４と基線を通る平面を投影して得ら
れる直線であり、直線２１′は直線１９，２０の
２等分線であり、直線２２′は物点１３と基線と
を通る平面を投影して得られる直線である。この
時、一般化高さは、線分２２′の線分２１′に対す
る（符号付き）角度を用いて、 y_g＝ftan として定義される。但しｆはカメラの像焦点距離
であり、当該一般化高さは光軸が平行な場合には
各画像上の点ｙの座標（高さ）に等しくなる。

両カメラの光軸が平行で各像のｘ軸が基線に平
行な時、対応画像点１４，１５は同じ高さ（ｙ軸
の値）を有する。また点１，７の間及び点２，８
の間の距離は焦点距離を表わす。

第２図は本発明の実施例の構成を示すブロツク
図である。奥行を求めるためにカメラ（光学写真
機、テレビカメラ等）により撮影した２枚の白黒
画像（２次元の画素の濃度配列）の一方を左画
像、他方を右画像と名付ける。ただし、両カメラ
の光軸は互いに平行であり、左右像面が同一平面
上にあり、両像面のｘ軸は基線に平行であるとす
る。図中、２１，２２は左原画入力装置、右原画
入力装置、２３，２４は左線画抽出回路、右線画
抽出回路、２５は視差オフセツト検出回路、２
６，２７は左画セグメント抽出回路、右画セグメ
ント抽出回路、２８は左右セグメント対応付け回
路、２９は左右画特徴点対応付け回路、３０は奥
行計算回路を表わす。

ここで、原画入力装置２１，２２は、例えば、
テレビカメラとADコンバータとフレームメモリ
との組合わせ、または写真機より作成したプリン
トやポジフイルムやネガフイルムを入力するフラ
イングスポツトスキヤナやドラムスキヤナとAD
コンバータとフレームメモリとの組合わせ等より
成る。左右の線画抽出回路２３，２４では、例え
ば、原画に３×３画素を単位とした離散的ラブラ
シアンを適用した結果に閾値処理して２値化し、
その結果に細線化処理を施して太さ１の線に納め
た。なお、上記離散的ラプラシアンは次の如く処
理されるものと考えてよい。

U_i,j＝S_i+3,j＋S_i-3,j＋S_i,j+3 ＋S_i,j-3−4S_i,j S_i,j≡_i+1 〓^k=i-1 _j+1 〓^l=j-1 Z_k,l ここでZ_K,lはラプラシアン作用素適用前の画像
の画素（ｋ，ｌ）（ｋ，ｌは正整数）における濃
度（明るさ）を表わし、U_i,jはラプラシアン作用
素適用後の画像の画素（ｉ，ｊ）における値を表
わす、とくにここでは、U_i,j＜０の時U_i,j＝０に修
正して、ラプラシアン作用素処理結果が非負なる
如くしている。

視差オフセツト検出回路２５における“視差オ
フセツト”は画像が全体として一致すべきシフト
量を表わし、左原画と右原画の（全体としての）
相互相関が最大となるが如き、シフト量として求
められる。

左画・右画のセグメント抽出回路２６，２７に
おける“セグメント”は、回路２３，２４より得
られる本質的に太さ１の線画の線成分のうち、次
のいずれかの点の間の部分として考える。即ち(1)
端点、(2)分岐点、(3)極値点（線を追跡した時、画
面上での高さ（ｙ座標）が極大または極小となる
点）の間の部分と考える。セグメントの概念図を
第３図に示す。第３図ａ，ｂは左・右の線画のセ
グメントへの分解の様子を示す。図中、白丸４１
〜５６は端点、分岐点、ｙ座標値極値点のいずれ
かの点であることを表わし、白丸の間の部分５７
〜６９がセグメントである。左右画特徴点対応付
け回路２９では、線成分上の任意の点（“特徴点”
と名付ける）の対応付けを行ない、対応付けられ
た左右画の単セグメントまたは合成セグメント上
の特徴点のうち同一の高さにあるものを対応付け
る。奥行計算回路３０では、対応付けられた特徴
点に対応した奥行Ｚを求めるが、それは、式Ｚ＝ｆ・Ｂ／（x_l−x_r）により計算される。ただし、奥行Ｚを測るＺ軸
は、両カメラの光軸を含む平面内にあり、両カメ
ラの視点（物体側主点）を結ぶ線分の中点を原点
とし、その線分に垂直な軸である。つまり、両カ
メラの中間位置から見た奥行である。上式中、ｆ
はカメラの焦点距離、Ｂは基線長で、両カメラの
物体側主点の間の距離、x_l，x_rは左画、右画にお
ける対応する特徴点の像のｘ座標を表わしてい
る。

左右のセグメント抽出回路２６，２７での処理
は、実施例では、太さ１の線画をラスタスキヤン
して、未追跡セグメントを検出する。そして未追
跡セグメントが検出されたら、そのセグメントを
追跡する。セグメントの追跡においては、各現在
点において、その８隣接点を左まわりに調べて未
追跡黒点を次追跡点とする（黒点は特徴線上の
点、白点はそれ以外の点を表わす。）ただし、も
し、現在点の８近傍中の黒点数NBが３であり、
且つ８近傍を左まわり１周したときの白から黒へ
変化する点対の数NWBが２個であれば、 (1) 次追跡点P_Aが非４隣接点であり、且つ現在
点から見て次追跡点の１つ左まわり隣りの８近
傍点P_Bが未追跡点であれば、次追跡点を点P_B
に修正し、 (2) 「点P_Bが既追跡黒点」または、「点P_Bが白点
且つ、現在点から見てP_Aの１つ右まわり隣り
の８近傍点が黒点」であれば、次追跡点なしと
いう状態に修正する。そして、次追跡点がない
か、現在点が現セグメントの開始点でなく且つ
分岐点（NB＝４なる点またはNB＝３で且つ
NWB＝３なる点）であるか、現在点がｙ座標
値極値点であるとき、現在点を現セグメントの
終端点と判断し、セグメント開始点に戻り、ラ
スタスキヤンを再開する。このような処理を繰
り返す。

左右セグメント対応付け回路２８では、左画セ
グメントをすべて掃引し、各左画セグメントに対
して、対応候補なる右画セグメントをすべて検出
し、登録する。しかる後に、各左画セグメントに
対して、対応候補から１個の右画セグメントを対
応相手として決定する。

対応候補検出は具体的には以下の如くにする。
左画セグメントをすべて掃引し、その各左画セグ
メントに対して、右画セグメントをすべて掃引す
る。左画セグメントとの視差と視差のオフセツト
値との差の絶対値が許容差内の右画セグメントの
みをとり、その右画セグメントと左画セグメント
との夫々の開始点（上端）と終端点（下端）との
ｙ値を比較し、上下端とも一致していれば、それ
をランク１候補に登録する。上端、下端の一方の
みが一致している場合には、不一致の端の短かい
方の側のセグメントに、それと元来直接連結して
いたセグメントを結合した合成セグメントを考え
る。ただし、この合成セグメントとしては、ｙ値
が単調に変化するもののみを考える。この合成セ
グメントと、当該相手の単セグメントの上・下端
のｙ値を比較し、上下端とも一致すれば、やはり
ランク１候補へ登録する。上下端とも一致する合
成セグメントが見つからない時は、もとの右画単
セグメント（左画セグメントも単体）をランク２
候補に登録する。

すでに述べた第３図を用いて、対応候補抽出の
考え方を概念的に示す。左画セグメント５７，５
９，６１，６２，６３は単セグメントとして、右
画セグメント６４，６６，６７，６８，６９に対
応する。しかし、左画セグメント５８，６０は単
セグメントとしては、右画セグメントに対応する
相手はない。しかし、５８と６０を結合した合成
セグメントとしてはセグメント６５を候補として
とることができる。したがつて、本発明により、
左右画での雑音による影響を克服することができ
る（左画の分岐点４２に対応した分岐点は右画に
ない）。

対応決定においては、各左画セグメントに対し
て候補として登録された右画セグメントの中から
対応相手を決定する。ランク１候補があれば、そ
の中からある特徴量の最大または最小化（例え
ば、視差と視差オフセツトとの差の絶対値の最小
化）により、唯一つ右画セグメントを対応相手と
して決定する。

以上述べた実施例の方法を実際、プログラム化
し、デイジタル電子計算機により実行したシミユ
レーシヨン実験を以下に示す。机上の押ボタン電
話器をアツプして２つの異なる視点から撮影し、
計算機に入力した原画に前に述べた３×３画素を
単位としたラプラシアン（負値は０に修正）を適
用し、その結果を細線化した結果を第４図ａ，ｂ
に示す。撮影条件は、同一のカメラを移動し、両
撮影状態において光軸が互に平行であり、両カメ
ラの画像面は同一平面上にあり、矩形の画像枠の
一辺は、両光軸を含む平面に平行である。細線化
は、ヒルデイツチ（Hilditch）による８連結用に
よるものである。第４図ａが左視点、第４図ｂが
右視点のものである。

上記の左線画（第４図ａ）と右線画（第４図
ｂ）とを対応付けた結果を第５図に示す。ただ
し、第５図図示のものは、左線画と右線画との対
応する特徴点から求めた奥行に対応した３次元的
な点を、左視点（第４図ａに対応）及び右視点
（第４図ｂに対応）以外の第３の視点より見たと
き得られる特徴点画（“合成第３視点画”）として
描いたもので、実際第３の視点としては、上記左
視点と右視点の丁度中間の視点をとつたものであ
る。セグメントの上下端の一致性判定に於ける許
容差は±３画素である。

第５図は、第４図ａ，ｂに類似しているので一
応正しく対応付けられていることが了解される
が、対応付け結果第５図図示のものを、より定量
的に評価するために、上記の第３視点で直接撮影
した原画に対してやはりラプラシアンと細線化と
を施して得られる線画（第３視点画）が第６図に
示される。第５図図示のものと第６図図示のもの
とを重ねて透かして見れば分かるように、第５図
の特徴点は第６図の特徴線の上に殆んど完全に載
つていることが分かる。ただし、合成第３視点画
では、同じセグメント上では、同一のｙ座標（離
散値）に対し、１点のみ描いてあるので、長い水
平線も一点に対応し、見掛け上第６図の水平線が
第５図では欠落している如くに見えるが、第６図
図示の水平線上にほぼ載つている第５図上の特徴
点が対応する点である。以上より、第５図の対応
付けは、すべてではないが、主要な線部分は殆ん
ど完全に対応付けられており、良好な結果である
ことが分かる。

さらに、対応付けの結果得られる奥行の絶対値
の正しさを調べるため、いくつかの代表的なセグ
メントの各３点での奥行の計算値Z_c（単位cm）を
第７図ａに示す。図中丸内の数字は代表的セグメ
ントの通し番号を示す。図中には、各代表的セグ
メントに対応した部分の平均奥行の実測値Z_d（単
位cm）を合わせて示す。実測値Z_dは、巻尺による
直接計測値と当該計測値から幾何学的計算のみか
ら求めた値とのいずれかであり、その計測の状況
を第７図ｂに示す（丸内の番号は第７図ａに対
応）。第７図ｃは第７図ｂに示す測定点を対象物
体上で具体的に示す図である。第７図ａは本図を
右方向から撮影して得た対応付け画像である。な
お図中，は垂直部分のパネルと番号早見台と
の連接部分、はコードの出口部分、はコード
部分、は受話器の向う側の台のエツジ（視点か
らみて左端の奥）、ボタン□５は押釦「５」の位置
を表わしている。

第７図ａのZ_c，Z_dを比較すれば、本対応付け方
法により得られる奥行値Z_cは、測定精度の範囲で
一致していることが分かる。画像を計算機に入力
する時の画素精度をより大きくすれば、一致度は
もつと良くなる。

以上の実施例では、原画から線画を得るのに３
×３画素の平均化を伴なう離散型ラプラシアンを
用いているが、他のｎ×ｎ画素（ｎは任意）の平
均化を伴なう離散型ラプラシアンでも良い。さら
に離散型ラプラシアンの代わりに、２次元ガウシ
アンにラプラシアンオペレータ（∂²／∂x²＋∂²／∂y²）を適用して得られるガウスラプラシアンでも良
く、また一般の１次、２次、３次等の離散型微分
オペレータまたは、それに等価なものでも良い。
また、線画を得るのに微分オペレータを原画に作
用後、２値化、細線化（または中心線抽出）する
代わりに、２階微分オペレータ作用後、零交差線
抽出（その後必要なら細線化しても良い）により
線画を得ても良い。特徴線画として、以上のよう
なエツジを表わす線画以外、領域分割（region
segm−entation）結果の境界線や画像の濃度地
形のいかなる微分幾何学的な特徴線でも良く、原
画の特徴を表わす線画であれば良く必ずしも細線
化（Thin−ning）または芯線抽出（Medial
Axis Transforma−tion）を用いなくても得ら
れた特徴線画の線の太さが本質的に１であれば良
い。

セグメント抽出は、「連結線成分のうち端点、
分岐点または高さについての極値点の間の部分」
で定義されるセグメントまたはそれに近かいもの
を抽出できれば、いかなるアルゴリズムでも良
い。このアルゴリズムは一般にその前の段階の特
徴線画の抽出特に細線化アルゴリズムに依存しう
る。セグメントの定義において、高さの極値点
（次の追跡点で高さ方向に１画素分戻る点）の代
わりに疑似極値点（次の追跡点で高さ方向にｉ画
素分戻る点（ｉ＝２，３…））をとることも考え
られる。

対応候補抽出の実施例において、候補をランク
１、ランク２に分けて抽出しており、対応決定に
おいてランク１，２の階層性を考慮しているが、
ランクの構成をこれ以外でも良く、またランク１
の候補だけを抽出し、その範囲内で対応決定を行
なうことも考えられる。また、対応付けの対象と
して単セグメント及び２個のセグメントより成る
合成セグメントまでを考えているが、より拡張し
て単セグメント及び、ｎ個（ｎ≧３）まで、また
は任意個数のセグメントより成る合成セグメント
を対象にすることも考えられる（ただし、その合
成セグメントは、高さについてほぼ単調に変化す
る如きものである）。さらに一般に、連結線成分
の端点、分岐点、極値点（高さについて）の高さ
を含む所の連結線成分の構造特徴に基づいて連結
線成分の対応付けを行なうことも考えられる。

実施例の対応決定では（ランク１またはランク
２の）候補が複数ある場合には、視差と視差オフ
セツトとの差が最小なるものを選んでいるが、こ
の代わりに、他の特徴量の最小（大）なものでも
良い。例えば、左右セグメントが存在する共通の
高さ（ｙ値）の範囲の幅と、各セグメントが存在
する高さの範囲の幅の平均との比の最大なもので
も良い。さらに、対応候補抽出の段階で、連結成
分の構造情報その他の特徴により、出来るだけ候
補数を１とし、候補数が複数残つた時は、決定を
拒否（reject）することも考えられる。

実施例では、対応付け対象なる画像を撮影した
カメラの光軸は互に平行であり、カメラの像平面
は同一平面上にあり、画像の矩形枠の一方（ｘ
軸）が両光軸を含む平面に平行であることを仮定
しているが、両カメラの相対位置、相対姿勢が一
応分つており、シーンとしての共通部分が十分大
きければ、必ずしもこのような条件を満たす必要
はない。この場合、実施例の、光軸が平行な場合
に用いた“高さ”（画像の高さ方向位置であつて、
“高さの極値点”や、“端点、分岐点、高さの極値
点の高さ”等で用いたものでｙ座標値に同じ）の
代わりに前記“一般化高さ”を用いる必要があ
る。

ほぼ同じ特性のカメラが２台以上あつても良い
が、そのうちの任意の２台の画像の間の対応付け
に本発明の方法を適用できる。さらに１台のカメ
ラを用いて視点を変えて撮影して、左画、右画を
得るようにしてもよい。

本発明の方法は、白黒濃淡画像だけでなく、カ
ラー階調画像に適用することも考えられる。また
本発明の方法は、物体の形状及び表面材料を反映
して主に光の反射を通して生ずるエツジ等の画像
の特徴線が、写真の粒状性雑音やテレビカメラの
電子的雑音等によりトギレたり、曲つたり、ひつ
ついたり、分岐したりという変形に抗して、特徴
線上の点（特徴点と名付ける）を正しく対応付け
るものであり、そのために、カメラに於て、視点
から見た物体上の点のカメラに相対的な方向と像
面に於ける位置とが光の屈折の法則から一対一対
応する性質を利用している。

更に実施例第２図では、図中のブロツク間に一
方向の信号の伝達しか表わされていないが、他の
方向の線により信号がフイードバツクされること
も可能であり、例えば、対応付け回路２８の結果
を左右の線画抽出回路にフイードバツクをかけ
て、その処理パラメータ例えば２値化の閾値を変
えるようにしてもよい。

(5) 効果の説明以上説明したように、本発明によれば、特徴線
上の点の対応付けが確実に行われ、それにより特
徴線上で奥行情報が確実に得られ、しかもそれが
レーザ照射やスリツト光照射法等の光投影による
奥行測定法の如くにあまり明るい部屋では使いに
くいという制限がなく、また光照射による人間に
対する危険もなく、対象となる人間側の不快感や
煩わしさを招くという事もないので、汎用性があ
り、且つ人間との共存空間にも使用することが出
来るという長所を持つている。したがつて、汎用
知能ロボツト用ビジヨンにおいて、物体主要特徴
点までの距離が得られ、したがつて物体までの平
均距離が求まり、さらに主要特徴点までの距離と
トツプダウン知識により、物体の識別・理解に用
いることができ、さらに、物体の主要特徴点での
奥行を物体面全体へ内挿すれば、形状の再現によ
る、より高度な理解にも使用することが出来る。

【図面の簡単な説明】

第１図はステレオカメラ系の概念図、第２図は
本発明の構成を示す流れ図、第３図は線画のセグ
メントへの分解及びセグメント間の対応付けを例
示する概念図、第４図ａはシミユレーシヨン実験
における電話シーンの左線画、第４図ｂは同じく
右線画を示す。第５図は第４図の線画を本実施例
の対応付け法により対応付けした結果の合成第３
視点画を示し、第６図は第３視点での原画から直
接求めた特徴点を示した画であり、第７図ａは対
応付け結果に基づく、サンプル点での奥行の計算
値と直接計測に基づく値を示した説明図、第７図
ｂおよびｃは直接計測に基づく値を求める状況を
表わした説明図を示す。１，２……カメラNo.１，２の視点、３，４……
光軸、５，６……像面、７，８……像面の中心、
９，１１……ｘ軸（x₁，x₂）、１０，１２……ｙ
軸（y₁，y₂）、１３……対象物体上の点、１４，
１５……物体点１３に対応したカメラNo.１，２の
像点（または画像点）、１６，１７……エピポー
ラ線、２１，２２……左・右の原画入力装置、２
３，２４……左・右線画抽出回路、２５……視差
オフセツト、２６，２７……左・右画セグメント
抽出回路、２８……左右セグメント対応付け回
路、２９……左・右画特徴点対応付け回路、３０
……奥行計算回路、４１〜５６……端点・分岐
点・高さ極値点のいずれかの点、５７〜６９……
セグメント。

Claims

【特許請求の範囲】１同一シーンに対して、画像入力光学装置によ
り異なる視点から撮影した複数枚の画像のうち、
２枚の画像に対して、両画像より特徴線画を抽出
し、その特徴線画中の各連結な線成分中で、その端
点、分岐点、および上記異なる視点の夫々の光軸
が平行であるとみなした際の各夫々の画像上での
ｙ座標に相当する一般化高さについての極大値点
または極小値点により分離したセグメントを抽出
し、２枚の画像について左右画でのセグメントの上
下端点の一般化高さが許容差内で一致しているか
否かの情報及び各画でのセグメント間の隣接構造
情報に基づいて、左右画のセグメント間の対応付
けを行い、セグメントの対応付け結果に基づいて
各セグメント上の点に対応した奥行Ｚを、Ｚ＝ｆ・Ｂ／（x_L−x_r）但しｆは画像入力光学装置の焦点距離Ｂは基線長 x_L，x_rは夫々対応する点の像のｘ座標を求める
ようにしたことを特徴とするステレオ画像の対応付け処理方
法。２セグメント間の対応付け方法として、セグメ
ント１個または複数個のセグメントより成つてい
て、その中に枝分かれを含まず、且つ一般化高さ
についてほぼ単調に変化する合成セグメントを左
右画間で比較し、両画の単セグメントまたは合成
セグメントの上下端の一般化高さが一致するか否
かを基本として、両画のセグメント間の対応付け
を定めることを特徴とする特許請求の範囲第１項
記載のステレオ画像の対応付け処理方法。