JPH0816930B2 - ステレオ画像データから３次元数値データを求める方法 - Google Patents

Description

【発明の詳細な説明】 産業上の利用分野 本発明は、人工衛星又は航空機等から得られた画像デ
ータを元にして、３次元計測を行い、このデータを用い
て地形補正された画像を作成しまた必要に応じて自由に
視点を変えた画像（鳥瞰画像）を作成するような３次元
画像処理技術に関するものであり、特に、このような３
次元画像処理技術において使用するのに適したような、
画像データから３次元数値画像データを求める方法に関
するものである。

従来の技術 この種の画像データから３次元数値画像データを求め
る方法は、数値地形モデル（Digital Terrain Mode
l）、いわゆるDTMを求める方法として知られており、現
在、DTM作成方法としては次のようなものがある。

A.地形図を用いる方法 現在、既成図（1/50000、1/25000等の地形図）を用い
てDTMを取得する方法として、次に示す２通りの方法を
あげることができる。

（１）マニュアルモード この方法は、地形図にメッシュを引きコンターからメ
ッシュ点の標高を読み取っていく方法である。

（２）スキャナーモード この方法は、ドラムスキャナーによって地形図を読み
込み、ラスターベクター変換、細線化処理、標高属性付
加処理、メッシュ化処理を行いDTMを作成する方法であ
る。

B.解析図化機を用いる方法 （１）メッシュモード この方法は、メスマークを指定したステップサイズで
ステップさせながら、DTMを作成していく方法である。

（２）コンターモード 通常の図化作業と同様に等標高値（コンター）を追跡
していきながらランダム標高値を数値化していく方法で
ある。

C.汎用コンピュータを用いて全自動計測を行う方法 この方法は、航空写真のAD変換データを入力データと
し、汎用コンピュータを用いて面積相関法によって左右
の画像マッチングを自動で行い、DTMを取得する方法で
ある。

発明が解決しようとする課題 前述したような各種DTM作成方法のうち、地形図を用
いる方法は、ベースデータが地形図であるため、DTMの
精度は写真から直接取得する方法に比較して劣るもので
あり、また、自動的に行われるものでないので、大変な
作業であり、時間の掛かるものであった。また、解析図
化機によるメッシュモードの方法によって取得したDTM
からコンターを作成した場合、測定順序及びオペレータ
の熟練度によってコンターが波打つ現象が生じ、数回の
スムージング処理を行わない限り、最終成果品とはなら
ない。さらにまた、解析図化機によるコンターモードの
場合には、メッシュモードに比較してコンターの精度は
良いが、データ量が膨大（データを等距離、等時間モー
ドで取得）となり且つランダムデータからメッシュデー
タ（DTM）に変換する必要性が生じる。

また、汎用コンピュータを用いて全自動計測を行う方
法は、自動的にDTMを取得するという点で、前述した従
来の方法に比べてオペレータの作業量は大幅に減少する
のであるが、この際、標定計算は別途に行っておく必要
がある上、膨大な画像データを用いた計算を行うため、
汎用コンピュータでは相当な計算時間が必要とされ、さ
らに、一括処理によって得られたDTMデータは対応点の
ミスマッチングにより部分的に誤差が生じており、これ
らを修正するのが非常に困難であった。

本発明の目的は、前述したような従来の問題点を解決
しうるような、画像データから３次元数値画像データを
求める方法を提供することである。

課題を解決するための手段 本発明によるステレオ画像データから３次元データを
求める方法は、画像データに対応するAD変換データを入
力データとしてコンピュータを用いて、１画像データ単
位で一括処理による左右の画像マッチングを自動的に行
って左右の画像の対応点を求め、マッチングの良否を示
す相関係数、残差自乗和によってマッチングの良くない
箇所の対応点のみを左右のグラフィックディスプレイ上
に出力し、これらマッチング異常が発生している対応点
についてはオペレータが正しいと思われる対応点をカー
ソルによって指定して再度コンピュータに左右の画像マ
ッチングを行わせることにより、コンピュータによるマ
ッチング異常を修正させながら、半自動的に画像データ
の所望の各点の３次元データを求めることを特徴とす
る。

実施例 次に、添付図面に基づいて、本発明の実施例について
本発明をより詳細に説明する。

第１図は、本発明の一実施例としての画像データを用
いた半自動３次元計測システムのフローチャートを示し
ている。本発明によって、航空写真による画像データか
ら３次元数値画像データを取得する場合について説明す
るに、先ず、第１図のフローチャートのステップ１に示
すように、解析対象の航空写真をコンピュータで直接扱
える形とするため、アナログからデジタルへデータ変換
を行う。また、解析対象データが人工衛星データのよう
にデジタルデータの場合は、本システムで取り扱うこと
のできるフォーマットへフォーマット変換を行う。次
に、ステップ２に示すように、コンピュータによる標定
計算を行うための基準となる、写真の指標、パスポイン
ト、基準点等の座標を計測する。座標計測の方法は、オ
ペレータがCRT上に出力された計測対象画像を見なが
ら、測定点上にカーソルを移動し、座標を計測する。ま
た、パスポイント計測の場合は、左右の画像を同時にCR
T上に出力し、２つのカーソルを用いて計測を行う。そ
れから、ステップ３に示すように、標定計算を行う。

ここで、標定計算は、カメラの焦点距離、カメラのレ
ンズの歪を求める内部標定と、撮影点（カメラ）の位置
（X,Y,Z）、カメラ（センサー）の傾き（κ，ω，φ）
を求める外部標定と、左右の写真の位置関係を求める相
互標定と、左右の写真で形成されるモデルと地上との位
置関係を求める対地標定（絶対標定）とを含むものであ
り、標定計算の手法は、通常の解析写真測量の手法を用
いて行われる。解析対象が航空写真ではなくスポットデ
ータのような人工衛星データの場合は、画像の投影方式
が中心投影ではなく、スリットカメラのような投影方式
となるため、標定要素を時間の関数として計算を行う。

画像データは、通常データ量が膨大であり、一括して
マッチングを行うことはメモリーや時間等の制約上無理
がある。また、対応点の探索時に迷走を防止するという
理由からも一括処理は行わないことが望ましい。そこ
で、ステップ４に示すように、解析領域を１度に処理す
る複数の単位（これをパッチと呼ぶ）に分割し、後述す
るマッチングの処理はパッチ毎に独立して行えるように
する。

次にステップ５に示すように、左右画像の対応点を求
めていくのに先立って、画像をモデル座標系のXY平面上
に投影して、偏位修正を行う。こうすると、左右画像の
対応点は、常に同一のＹ座標をもつため、対応点を探索
する際にＸ軸の一次方向にのみ探索すればよく、マッチ
ングの処理が容易となる。

後述するような面積相関法を用いたマッチングにおい
ては、画像の高周波部が投影歪のために雑音化され、相
関を低下させてしまい、精度の良いマッチングを行うこ
とができないので、ステップ６に示すように、画像を予
め狭域な帯域フィルタであるラプラシアン・ガウスフィ
ルタ（L/Gフィルタ）に通しておいて、投影歪の影響を
抑えることにより、マッチングの収束性を高めておく。
具体的には、偏位修正後の画像に対して、周波数特性の
異なる３種類のL/Gフィルタをかけ、低周波数から高周
波数へ変化する３種類の画像を作成する。そして、マッ
チングを行う際に、最初、低周波数の画像を用いて粗い
マッチングを行い、その結果を考慮しながら次第に周波
数が高い画像を用いてマッチングを行い、対応点の位置
を収束させていく。

次に、ステップ７に示すように、低周波から高周波へ
移る各段階のフィルタリング画像を４、２、１が画素毎
にサンプリングして縮納したパッチ画像を作成する。以
後のマッチングは、これらの縮納したパッチ画像を用い
て行う。それから、ステップ８に示すように、各段階の
縮納パッチ画像の左画像上に、８画素間隔で格子点を配
置する。後述するコンピュータによるマッチングでは、
この左画像の格子点に対応する右画像の対応点の探索を
行う。オリジナル画像上での格子点の配置を第２図に示
している。

次に、ステップ９に示すように、第１段階のマッチン
グでは、平均標高Ｈの平坦地形と仮定し、画像上に格子
点を配置しマッチングを行う。次の段階では、各格子点
で求められたＸ視差からＸ軸方向の投影歪をなくすよう
に左右画像をリサンプリングする。

ここで、コンピュータを用いてステレオ画像から３次
元情報を得る際に最も重要となる問題は、いかにして左
右の画像の対応点を正確にみつけていくかということで
ある。現在一般的に知られている左右画像の対応点の取
得方法（ステレオマッチング手法）としては、次に示す
３種類の手法に大別することができる。

A.濃度分布の面積相関 左右画像の有限部分の濃度分布の類似性を比較する。
通常は左右画像の相関を計算して最大点を見出す。

B.特徴のマッチング 左右画像から特徴（feature）を抽出して記号化し、
それを対応付ける。

C.分割画像同志のマッチング 画像を何らかの特性によって類似部分に分割し、分割
画像毎に対応付ける。類似性を表す特性としては、一様
なテクスチャ部分、エッジの輪郭、カラー画像であれば
同色部分などを用いる。

前述の３種類の手法のうち、A.項の面積相関法は、最
も古くからステレオに限らずいろいろなパターンのマッ
チングに用いられている。具体的には、左画像上に正方
形の相関窓をとり、これをテンプレートとして右画像上
に定めた探索窓内を動かして、最も一致度の良い対応点
を探索する。従って、マッチングさせる画像は、テクス
チャが豊富であることが必要とされる。写真測量では、
扱う画像が比較的テクスチャが豊富な航空写真画像であ
ることが多いこと、また実用という観点から面積相関は
扱いやすい手法であることから、専らこの方法が用いら
れてきている。

この面積相関については、相関の尺度を工夫して、ピ
ークの感度を向上させ、且つ信号雑音比の低い画像でも
安定してマッチングできるようにしようという研究が比
較的多くなされている。

画像関数および雑音の相関関数が分かっているときに
は、適合フィルターによる手法を用いることができる。

ｎ（ｘ）を白色雑音、ｆ（ｘ）を左画像の信号とした
とき、 ｇ（ｘ）＝ｆ（ｘ）＋ｎ（ｘ） の関係があるとする。このとき、適当な線型フィルタｈ
（ｘ）をｇ（ｘ）に通したときの出力 の信号対雑音比がｘ＝ａで最大となるようにするには、 ｈ（ｘ）＝ｆ（ａ−ｘ） とすればよい。これは、通常の相互相関 が最大の信号対雑音比を与えることを意味する。このこ
とが、マッチングの基準に相互関係が多く用いられる根
拠であり、本発明の実施例でもこの面積相関法を用いて
いる。

ステップ10に進んで、コンピュータにて相互相関係数
による左右対応点の探索を行うのであるが、これは、第
３図に示すように、ステップ９にてリサンプリングを終
えたパッチ上の格子点の回りに相関窓を設定することに
より行われる。この相関窓を右パッチ上に設けた探索窓
内で動かし（Ｘ方向）、最大相関を与える対応点を探索
する。マッチングの基準としては、相互相関係数を用い
る。

相関窓の大きさは、16＊16画素とし、左右パッチ上の
相関窓および探索窓に含まれる画素の濃度値をそれぞれ
ａ（i,j）、ｂ（i,j）（i,j＝1,2,〜,16）で表すと、 探索幅は、第１段階では±16画素、第２、３段階では
±３画素とした。

このステレオマッチングの段階でミスマッチングが起
こった場合、次の段階でのマッチングに悪影響を及ぼ
し、マッチングが迷走してしまう。そこで、ステップ11
に示すように、突発的なミスマッチングを除去し、比高
の急変部分のエッジを保つフィルタ特性を持つメディア
ン・フィルタでＸ視差をフィルタリングする。

このようにして、ステレオマッチングについては、全
てコンピュータを用いて自動的に行われていくのである
が、結果は全て正しいとはいえない場合がある。そこ
で、本システムでは、ステップ12に示すように、これら
の修正処理をグラフィックディスプレイ上（ステレオ画
像の対応点を画像上に出力）に出力し、これをオペレー
タがモニターしながら修正する。

本システムでは、このようなステレオマッチングのオ
ペレーション方法としては、次の３つのモードで行われ
る。

A.モード１‥‥一括処理モード（平坦地適応） モデル単位で一括処理によるステレオマッチングの計
算を行い、マッチングの良否を示す相関係数、残差自乗
和によってマッチングの良くない箇所のみについてグラ
フィックディスプレイ上に対応点を出力し、オペレータ
がこれをチェックしマッチング異常が発生している対応
点については、オペレータが大体の位置をカーソルによ
って指定し、再度ステレオマッチングの計算を行い対応
点の計算をしなおす。

B.モード２‥‥単点処理モード（急峻地適応） 各単点単位でステレオマッチングの計算を行い、グラ
フィックディスプレイ上に対応点を出力し、オペレータ
がこれをチェックし、マッチング異常が発生している対
応点については、オペレータが大体の位置をカーソルに
よって指定し、再度ステレオマッチングの計算を行い対
応点の計算をしなおす。

C.モード３‥‥地域処理モード（平坦地と急峻地の複合
した地域に適応） 予め平坦地と急峻地（陰影部）の区別を画像処理（濃
度スライス、最尤法等）又は、オペレータによって区分
し、この区分結果をもとに一括処理モードを先ず行い、
次に、単点処理モードによって陰影部の処理を行う。

この点さらに詳述すると、パッチ画像に対してステッ
プ５にて偏位修正、ステップ６にてフィルタリングが施
され、ステップ10にて、左右対応点の探索が行われる。
このとき、ディスプレイ装置上には、第４図に示すよう
に、左右の偏位修正画像が表示される。そして、探索が
行われた対応点の位置がディスプレイ装置上に点滅表示
（ブリンク）される。一括処理モードの如く、処理が異
常点のみチェック処理ならば、対応点の探索結果が異常
と判定された時のみ、“OK"、“NO"の表示が出力され、
オペレータは対応点の位置の正否を指定する。“OK"を
指定すると、次の格子点へ進む、単点処理モードの如
く、処理が全点チェック処理ならば、対応点が探索され
ると、“OK"、“NO"の表示が出力され、オペレータは対
応点の位置の正否を指定する。“OK"を指定すると、次
の格子点へ進む。すべての格子点の対応点が求まると、
ステップ12の対応点チェック処理へ移る。そして、すべ
てのパッチが終了すると、ステップ14のDTM出力処理へ
移る。

ステップ12での対応点チェック処理においては、部分
的にマッチングがうまく行われていない場合には次のよ
うな原則にしたがって、処理する。先ず、左右の画像パ
ターンがほとんど無く、実体視が不可能で計測ができな
いと判断される場合には、計測を行わない。左右の画像
パターンはあるが、計測ポイントが不良（ハレーショ
ン、影等が片側の写真のみで写っている）と判断され且
つ近くの別の場所で対応がとり易いと判断される場所が
ある場合、左側の計測点をマウスで指定し右側の対応点
ゾーンを指定する。すなわち、ステップ13からステップ
10へ戻って、指定された地点のマッチング計算処理を再
度コンピュータ側で行い、この結果をモニター上に表示
し再度チェックする。この第１回目に表示される対応点
もオペレータが視差差が大き過ぎて全面的におかしいと
判断する場合には、左右画像上には対応点がないものと
判断して、オペレータは、ステップ６の１段階目より低
周波のL/Gフィルタリングへと戻るようにする。また、
局所的（地域的）にマッチング処理がうまく行われてい
ない場合には、次のような原則にしたがって、処理す
る。マッチング探索領域が不良のためミスマッチングが
連続的に発生していると判断されるので、ミスマッチン
グのスタートポイントおよびミスマッチング領域をマウ
スで指示し、右画像上のスタートポイントの対応点ゾー
ンを指示し、スタートポイントから再度マッチング処理
を行う。

より具体的には、対応点位置の正否で“NO"を指定し
ていた場合は、第４図の下方に示すように、マウスによ
り右画像上の正しい対応点の位置を指定する。位置指定
が終わったならば、“OK"をマウスで指定する。こうし
て、パッチ内のすべての対応点の位置が求まったなら
ば、第５図に示すように、ディスプレイ装置上に格子点
とその対応点が表示される。そのままで良ければ、マウ
スで“OK"を指定する。“OK"を指定すると、処理は次の
パッチへ進む。修正を行いたいならば、マウスで“NO"
を指定する。“NO"を指定したならば、修正を行う方法
をマウスで指定する。“全点やり直し”ならば、パッチ
内の対応点の探索を初めからやり直す。“１点ずつやり
直し”ならば、１点ずつ修正を加える。

“１点ずつやり直し”処理の場合には、第６図に示す
ように、修正を行いたい点について、初めに左画像上の
格子点の位置をマウスで指定する。次に、右画像上の対
応点の位置をマウスで指定する。他の点に対して修正を
行うならば、“次の点”をマウスで指定する。修正が終
わりならば、“終り”をマウスで指定する。処理は、対
応点チェック処理へ再び戻る。

単点モードの場合には、第７図に示すように、パッチ
画像に対して偏位修正処理が施され、ディスプレイ装置
上に左右の偏位修正画像が出力される。標高を求めたい
点に対して、初めに左画像上の位置をマウスで指定し、
次に右画像上の位置をマウスで指定する。位置の指定が
終わったら、マウスで次の処理を指定する。すなわち、
“次の点”を指定すれば、次の点の入力を行い、“終
り”を指定すれば、次のパッチへ進む。こうして、すべ
てのパッチが終了したならば、処理は、ステップ14のDT
Mの出力へ進む。

ステップ14のDTMの作成においては、マッチング終了
後、格子点ごとに求められていたＸ視差を用いて地上標
高をコンピュータにより計算する。第８図において、点
Ｐの地上座標を偏位修正後の写真座標で表すと、次の式
の通りである。

但し、B:撮影基線長 S:縮尺係数 C:画面距離 d_ij（ｉ＝１、２、3:j＝１、２、３） :モデル全体の回転行列 上式より各格子点の地上座標（X_GP,Y_GP,Z_GP）が求ま
り、DTMを作成する。この地上点の集合は、ある程度規
則的ではあるが地上座標系では正方格子を作らない。そ
のため、後の利用に便利なように、これらのランダム・
メッシュを正方メッシュに内挿する。このようにして計
測されたDTMは、ディスクに記録してファイル化してお
く。

このようにしてファイル化された正方化メッシュ（DT
M）を用いて、等高線図（コンター図）や３次元鳥瞰図
を作成することができ、また、これら正方化メッシュお
よび画像データを用いて写真地図や３次元鳥瞰画像を作
成することができる。

発明の効果 本発明の方法によれば、画像データからコンピュータ
によるステレオマッチングにより３次元情報を自動的に
取得できるので、写真地図および鳥瞰画像等の３次元グ
ラフィック処理を効率よく行うことができる上、従来ミ
スマッチングの修正時にコンピュータが迷走したりして
長時間を徒過してしまっていたような問題も、オペレー
タが介在することにより半自動的にミスマッチングを修
正できるようにしたので、解消できる。

【図面の簡単な説明】

第１図は、本発明の一実施例としての画像データを用い
た半自動３次元計測システムのフローチャートを示す
図、第２図は、オリジナル画像上での格子点の配置例を
示す図、第３図は、ステレオマッチングにおいて使用す
る相関窓と探索窓との関係を説明するための図、第４図
から第７図は、ステレオマッチングにおける対応点の探
索およびチェックを行う手順の例を説明するための図、
第８図は、DTMを求める式を説明するための図である。 １……A/D変換、２……座標計測、３……標定計算、４
……パッチ分割、５……偏位修正、６……L/Gフィルタ
リング、７……サンプリング、８……格子点の配置、９
……左右画像のリサンプリング、10……左右対応点の探
索、11……Ｘ視差のメディアンフィルタリング、12……
対応点のチェック、14……DTMの作成。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 池田 俊男 神奈川県厚木市愛名948―９ 愛名グリー ンハイツ203号 (56)参考文献 特開 昭61−209315（ＪＰ，Ａ)

Claims (1)

【特許請求の範囲】
1. 【請求項１】ステレオ画像データから３次元データを求
   める方法において、画像データに対応するAD変換データ
   を入力データとしてコンピュータを用いて、１画像デー
   タ単位で一括処理による左右の画像マッチングを自動的
   に行って左右の画像の対応点を求め、マッチングの良否
   を示す相関係数、残差自乗和によってマッチングの良く
   ない箇所の対応点のみを左右のグラフィックディスプレ
   イ上に出力し、これらマッチング異常が発生している対
   応点についてはオペレータが正しいと思われる対応点を
   カーソルによって指定して再度コンピュータに左右の画
   像マッチングを行わせることにより、コンピュータによ
   るマッチング異常を修正させながら、半自動的に画像デ
   ータの所望の各点の３次元データを求めることを特徴と
   する方法。